CN108830216A - 一种视场可调的连续变焦目标识别系统及方法 - Google Patents

一种视场可调的连续变焦目标识别系统及方法 Download PDF

Info

Publication number
CN108830216A
CN108830216A CN201810619390.9A CN201810619390A CN108830216A CN 108830216 A CN108830216 A CN 108830216A CN 201810619390 A CN201810619390 A CN 201810619390A CN 108830216 A CN108830216 A CN 108830216A
Authority
CN
China
Prior art keywords
target
focus
continuous
adjustable
visual field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810619390.9A
Other languages
English (en)
Other versions
CN108830216B (zh
Inventor
郝群
曹杰
王营博
刘逢丁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN201810619390.9A priority Critical patent/CN108830216B/zh
Publication of CN108830216A publication Critical patent/CN108830216A/zh
Application granted granted Critical
Publication of CN108830216B publication Critical patent/CN108830216B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Image Input (AREA)

Abstract

本发明公开的一种视场可调的连续变焦目标识别系统及方法，属于目标识别技术领域。本发明公开的一种视场可调的连续变焦目标识别系统，包括视场可调的连续变焦一级子系统、图像采集一级子系统和目标识别一级子系统。视场可调的连续变焦一级子系统用于对可变视场内移动目标的精准对焦捕捉。图像采集一级子系统用于对聚焦目标的红外与可见光采集，并生成目标图像数据库。目标识别一级子系统采用目标图像数据库训练深度神经网络，实现对所采集目标图像的准确识别。本发明还公开一种视场可调的连续变焦目标识别方法。在目标移动的条件下，本发明能够实现对移动目标的清晰采集，并对采集后的目标进行准确识别。

Description

一种视场可调的连续变焦目标识别系统及方法
技术领域
本发明属于目标识别技术领域，特别涉及一种视场可调的连续变焦目标识别系统及方法。
背景技术
图像作为一种信息传播载体，具有信息量大、直观等特点，容易被人们理解、接受，是人们同他人及外界交流的重要方式。然而，仅凭人们对外界物体特征的认知进行目标识别与信息获取无疑加重了人的工作量，同时目标特征库的建立往往需要综合多种环境、消耗大量时间，不利于依靠人力建立众多目标特征数据库，为了将人从单调的目标图像识别及特征库建立任务中解脱出来，开发目标识别系统势在必行。因此，开发一种通用型视场可调的连续变焦目标识别系统，实现多场景下目标图像准确识别，对诸如自动导航、驾驶、中医诊疗、精准医疗、工业机器人等方面的自动化可持续发展至关重要。
传统的自动目标识别方法，主要依靠人为目标特征提取，并制作特征数据库的方式为计算机目标识别系统提供先验知识，而目标特征数据库人为制作时效长、准确度低等特点限制了其进一步发展。采用基于深度学习的目标识别系统对可调视场内采集的目标进行训练与识别，充分利用深度神经网络自我学习的优势为多场景、多目标准确识别提供支持。目标识别系统在目标识别之前需要对目标进行红外及可见光采集，针对目标动态变化、视场移动的特点，需要视场可调的连续变焦光学系统对目标先行采集，传统的红外成像变焦过程不能实现视场可调，如中国电子科技集团公司第十一研究所的CN204515227U号专利“一种红外连续变焦镜头”提出了一种折射式连续变焦镜头，该镜头在连续变焦过程中难以解决视场可调、大口径的问题；中国科学院西安光学精密机械研究所的CN103345059B号专利“反射式变形镜变焦方法及系统”提出了一种离轴反射式变焦光学系统，但是该系统随着焦距改变会导致像面移动问题，难以满足目标检测过程中视场可调、像面稳定的需求；而简单结合折射与反射形成共轴连续变焦光学系统时会产生中心遮挡的问题，因此，提出基于变形镜的视场可调离轴折反式连续变焦系统，用于对视场变化的移动目标红外及可见光成像。同时为了增强用于目标识别时网络训练的非线性拟合能力、加速网络收敛，提出非线性构造激活函数，该激活函数能极大地克服线性修正单元(Rectified Linear Unit，ReLU)带来的“死亡单元”问题，使得用于目标识别的深度神经网络对初始化参数不敏感、易于收敛，并且具有泛化能力，便于目标的准确识别。因此，提出建立视场可调的连续变焦目标识别系统，实现对变化视场内的目标有效捕捉，并能够对所采集的目标图像准确识别。
发明内容
本发明公开的一种视场可调的连续变焦目标识别系统及方法，要解决的技术问题是在目标移动的条件下，实现对移动目标的清晰采集，并对采集后的目标进行准确识别。本发明能应用于自动导航、驾驶、中医诊疗、精准医疗、工业机器人等领域。
本发明的目的是通过下述技术方案实现的。
本发明公开的一种视场可调的连续变焦目标识别系统，包括视场可调的连续变焦一级子系统、图像采集一级子系统和目标识别一级子系统。所述的视场可调的连续变焦一级子系统用于对可变视场内移动目标的精准对焦捕捉。所述的图像采集一级子系统用于对聚焦目标的红外与可见光采集，并生成目标图像数据库。所述的目标识别一级子系统采用目标图像数据库训练深度神经网络，实现对所采集目标图像的准确识别。
所述的视场可调是指变形镜连续面形变化量所对应的物方视场移动量可调。所述的物方视场移动量可调范围由变形镜连续面形变化量决定，变形镜连续面形变化量取决于驱动器驱动电压调节量大小，而变形镜连续面形最大变化量由变形镜规格参数而定。
所述的一种视场可调的连续变焦目标识别系统是基于深度神经网络实现的，而深度神经网络的建立需要样本数据库，只有与样本数据库中样本同属性的目标才能被识别，但不需要保证目标采集时的姿态、环境一致。因此，所述的一种视场可调的连续变焦目标识别系统能够对目标训练数据库中的同属性目标进行识别。本发明能应用于自动导航、驾驶、中医诊疗、精准医疗、工业机器人等领域。
所述的视场可调的连续变焦一级子系统包括离轴折反式连续变焦二级子系统、驱动模块、D/A转换与驱动器控制电路。所述的视场可调的连续变焦一级子系统采用基于变形镜的离轴折反式连续变焦二级子系统，将来自目标的光线经多次反射及折射后，实现对光学系统位置不发生变动的情况下，能够对目标视场可调并且连续变焦；驱动模块用于对离轴反射式光学系统中的主变形镜、次变形镜以及连续变焦光学系统中的变倍组、补偿组的控制，在驱动模块驱动电压信号下主变形镜和次变形镜产生变形镜连续面形改变实现视场可调，同时驱动模块输出驱动电压驱动变倍组和补偿组的凸轮运动实现连续变焦；D/A转换与驱动器控制电路用于将上位机输出的数字信号转换成模拟信号，并控制驱动模块工作。因此，所述的视场可调的连续变焦一级子系统在D/A转换与驱动器控制电路的控制与数模转换、以及驱动模块的驱动下，实现对所述的视场可调的连续变焦一级子系统可变视场内移动目标的精准对焦捕捉。
所述的图像采集一级子系统包括红外相机、可见光CCD相机、红外驱动与接口控制电路模块、CCD驱动与接口控制电路模块、FPGA图像预处理电路模块，其中红外相机用于对目标进行红外成像，实现夜间及恶劣天气、伪装及隐蔽情况下的目标红外图像采集；可见光CCD相机用于对自然光照下的目标实现彩色图像采集；红外驱动与接口控制电路模块用于控制红外相机采集目标图像；CCD驱动与接口控制电路模块用于控制可见光CCD相机采集目标图像；FPGA图像预处理电路模块用于对相机模块采集的图像进行图像处理，当特征增强与提取时，能够对目标进行特征量化后构建目标图像数据库，所述的FPGA图像预处理电路模块包括光电隔离电路、自适应降噪电路、特征提取电路、特征量化电路、制式转换电路，其中光电隔离电路用于光电转换器件输入与输出的电气隔离，自适应降噪电路用于自适应消除不同环境下图像采集所带来的噪声，特征提取电路用于对表达目标形态的特征进行降维提取、减小数据量，特征量化电路用于为便于计算对所提取的目标特征进行客观的量化及类别标定，制式转换电路用于为后期目标识别系统进行图像处理的格式转换。
所述的目标识别一级子系统包括ARM+GPU控制模块、存储模块、输入模块、显示模块，其中ARM+GPU控制模块是基于深度神经网络实现，用于对目标数据库的训练以及测试样本的识别。存储模块用于存放目标特征数据库、网络结构参数及缓存数据；输入模块用于向训练好的网络输入待识别的目标图像，或手动改变网络参数；显示模块用于向用户呈现目标识别结果。
作为优选，ARM+GPU控制模块的深度神经网络采用基于非线性构造激活函数(Nonlinearity Gnerator，简写为：NG)训练的深度神经网络，用于对目标数据库的训练以及测试样本的识别，所提出的非线性构造激活函数能克服线性修正单元(RectifiedLinear Unit，简写为：ReLU)带来的“死亡单元”问题，使得用于目标识别的深度神经网络对初始化参数不敏感、易于收敛，并且具有泛化能力，便于目标的准确识别；
视场可调的连续变焦一级子系统中所述的离轴折反式连续变焦二级子系统是由离轴反射式光学系统和连续变焦光学系统组合而成，其中离轴反射式光学系统包括主变形镜和次变形镜，主变形镜和次变形镜均采用连续表面变形镜，主变形镜通过变形镜连续面形变化改变目标视场，实现光学系统位置不变的情况下对可调视场范围目标成像，同时将来自目标的光线反射至次变形镜；次变形镜用于将主变形镜的反射光线耦合至连续变焦光学系统入瞳处，同时需要通过调节主变形镜连续面形的改变与次变形镜连续面形的改变确保以下两个条件成立：条件一：离轴反射式光学系统入瞳经过次变形镜及折射透镜后成像在连续变焦光学系统的出曈像面处；条件二：离轴反射式光学系统入瞳尺寸D1等于连续变焦光学系统的出曈D3尺寸。满足条件一、二的可调视场范围目标成像能够克服传统反射镜机械移动精度低、时间长、视场不变的缺点，实现对光学系统位置不发生变动的情况下，能够对目标视场可调并且连续变焦；其中连续变焦光学系统包括前固定组、变倍组、补偿组、后固定组，前固定组用于接收连续变焦系统的入瞳光线，变倍组用于实现连续变焦，补偿组用于补偿由于变焦而产生的像面移动，保持像面稳定，后固定组用于将连续变焦系统的出曈像投射至固定像面处，离轴反射式光学系统和连续变焦光学系统组合整体上实现可调视场的连续变焦功能。
目标识别一级子系统中所述的ARM+GPU控制模块是基于提出的非线性构造激活函数训练的深度神经网络实现的，深度神经网络训练时采用提出的非线性构造激活函数，对提出的非线性构造激活函数NG(·)定义为：
NG(f(xi))＝f(xi-ti)+ti (1)
其中，f(·)是基于ReLU、LReLU以及PReLU等的激活函数，xi是在第i个节点上激活函数的输入，ti是可训练的参数，当训练参数ti已知时，即可将NG(·)作为深度神经网络训练时的激活函数实现网络训练。
参数ti根据激活函数输入数据的分布，控制着非线性构造激活函数的线性程度。当参数ti增大时，则认为非线性构造激活函数为模型引入了更多的非线性，当参数ti的值小于输入信号的最小值时，则认为非线性构造激活函数的输入信号将落入其线性对称区域。非线性构造激活函数根据数据分布改变参数ti以实现控制模型的非线性程度，从而使模型从低容量模型逐渐变为高容量。在△ti更新时，采用动量法更新参数：
其中，η为动量参数；ε表示损失函数；γ为学习率。
参数ti可以嵌入BP算法进行更新，以按元素连接模型为例，参数ti的梯度可以由链式求导法则求得，见式(3)
由于非线性构造激活函数具有良好的可求导性质，其导数为式(4)
由式(4)可以看到，非线性构造激活函数可以解决：当激活函数f(·)是ReLU，输入信号为负值时引入的“死亡单元”问题，因为参数ti的更新方式使该激活函数重新激活。由于参数ti在训练过程中是不断变化的，即参数ti的梯度并不为零，因此当输入信号小于参数ti时，也会重新激活非线性构造激活函数的“死亡单元”，随着BP算法的后向反馈，参数ti会将变化后的值不断更新至非线性构造激活函数中，保证非线性构造激活函数对所有输入信号均有效，实现对非线性函数的良好逼近。
基于所述的一种视场可调的连续变焦目标识别系统实现的一种视场可调的连续变焦目标识别方法，包括如下步骤：
步骤一、通过基于变形镜的离轴折反式连续变焦二级子系统，构建视场可调的连续变焦一级子系统，实现目标视场可调并且连续变焦。
采用视场可调的连续变焦一级子系统通过改变变形镜连续面形及透镜组的位置，将来自目标的光线经多次反射及折射后，实现对光学系统位置不发生变动的情况下，能够对目标视场可调并且连续变焦。
步骤一具体实现方法包括如下步骤：
步骤1.1：构建基于变形镜的离轴反射式光学系统，实现目标视场可调。
离轴反射式光学系统是通过改变变形镜连续面形实现视场可调，变形镜连续面形的改变受驱动电压控制，因此，通过改变变形镜驱动电压大小即能够实现目标视场可调。离轴反射式光学系统也可实现系统变焦，主变形镜和次变形镜的形变量与变焦比τ和半视场角θ的关系可表示为：
其中：
式中：△s1为主变形镜变形量，△s2为次变形镜变形量，D2为主变形镜半径，D3为次变形镜半径，为便于计算定义q为主变形镜与次变形镜半径之比，W为探测器的宽，此处离轴反射式光学系统的出曈尺寸，θ为变焦前离轴反射式光学系统的半视场角，F为为变焦时离轴反射式光学系统的总焦距，S为主变形镜到次变形镜的间距，为便于计算定义s为主变形镜和次变形镜的一个小间距，τ为离轴反射式光学系统的变焦比。
由于该离轴反射式光学系统只实现在光学系统位置不发生变动的情况下，对目标视场可微调，不改变离轴反射式光学系统的总焦距F，焦距的改变通过连续变焦光学系统实现。因此，离轴反射式光学系统没有变焦功能，只是实现视场可调，即τ＝1，并且离轴反射式光学系统入瞳直径不变。由于F、W均不变，所以离轴反射式光学系统的半视场角θ也不变，所以，变形量△s1、△s2带来的只是视场的移动，不会带来因视场缩放而导致的像差。
连续表面薄膜变形镜在不同驱动电压下会产生相应形变，表面r处的面形S(r)在静电驱动压力P(r)的作用下形变量表示为：
半径为rm的薄膜，在r处由于压力P的作用得到新面形S(r)表示为：
式中：ra为驱动电压作用后薄膜变化半径；静电驱动压力P＝ε0V2/d2(ε0为空间介电常数，V为驱动电压，d驱动器与薄膜间的距离)；T为薄膜表面拉力。
根据式(5)、(6)和式(10)求出变形镜形变量△s与静电驱动力P的关系，也即求出变形镜形变量与驱动电压V的关系，因此通过改变驱动电压大小可以改变变形镜连续面形变化量；同时可以将驱动电压大小代入式(11)、(12)计算变形镜的新面形S(r)，面形改变并已知后即可实现目标视场可调。
步骤1.2：将离轴反射式光学系统的出曈光束耦合至连续变焦光学系统入瞳，构建视场可调的连续变焦一级子系统。
为了解决折射式变焦系统通光口径小，反射式变焦系统会导致像面移动，以及同轴折反式变焦系统会产生中心遮挡的问题，引入基于变形镜无光焦度的离轴反射式光学系统与连续变焦光学系统结合形成离轴折反式连续变焦二级子系统。
构建离轴折反式连续变焦二级子系统时，需要确保离轴反射式光学系统入瞳尺寸D1等于连续变焦光学系统的出曈尺寸D3，此处通过变形镜连续面形变化来实现将离轴反射式光学系统的出曈光线耦合至连续变焦光学系统的入瞳处。其中连续变焦光学系统由前固定组、变倍组、补偿组、后固定组四组份组成；前固定组用于接收连续变焦系统的入瞳光线；变倍组用于实现连续变焦，采用负变倍组，利用凸轮驱动实现焦距变倍；补偿组采用正补偿组的凸轮机械补偿方式，用于补偿由于变焦而产生的像面移动，为了保证变焦过程中始终能够得到清晰稳定的像，机械补偿变焦系统中变倍组作线性运动来改变整个系统的放大倍率，补偿运动组元作非线性运动来补偿前一运动组元在运动过程中导致的系统像面的位移量，如此保持像面稳定；后固定组用于将连续变焦系统的出曈像投射至固定像面处。离轴反射式光学系统和连续变焦光学系统组合形成离轴折反式连续变焦二级子系统，在驱动模块、D/A转换与驱动器控制电路协同作用下，构建视场可调的连续变焦一级子系统实现目标视场可调并且连续变焦。
步骤二、利用步骤一中视场可调的连续变焦一级子系统，通过图像采集一级子系统实现可调视场的连续变焦目标采集，构建目标图像数据库。
步骤2.1：基于视场可调的连续变焦一级子系统，利用红外相机和可见光CCD相机实现目标图像采集。
为了满足夜间及恶劣天气、伪装及隐蔽情况下的目标成像，利用红外相机热感应性强的特点，采用红外相机结合视场可调的连续变焦一级子系统对目标进行多姿态、复杂环境红外成像采集。同时利用高清可见光相机的图像高分辨、直观性强的优点，利用可见光CCD相机结合视场可调的连续变焦一级子系统对目标进行多姿态、复杂环境彩色成像采集。
步骤2.2：利用FPGA图像预处理电路模块对采集到的目标图像进行图像处理，构建目标图像数据库。
红外图像数据库及可见光数据库的建立是在FPGA图像预处理电路模块中完成的，由四部分组成，包括:对所获得的图像进行预处理、进行特征提取、进行特征量化并根据量化信息的类别进行相应的类别标定、最后对量化信息进行建库保存。
FPGA图像预处理电路模块中的自适应降噪电路用于进行图像预处理，对未经过预处理的图像进行特征提取会受到干扰信息影响产生大量误差，因此对图像预处理是非常必要的。常用的预处理方法包括定标校正法、高通滤波校正法、人工神经网络法、高频振动扫描法。现选用定标校正法中的二点校正法，之所以选取二点校正法是因为在探测器的响应为线性而且具有时间稳定性时，二点法是简单、虽常用、最有效的方法。
FPGA图像预处理电路模块中的特征提取电路用于进行图像特征提取，图像经过预处理基本消除干扰信息影响，但采集到的图片信息往往包含很多无用信息，如图像中包含背景信息、目标信息冗余等。而目标识别时往往仅需要某个区域的图像特征即可，因此需要进行特征提取，对某个区域进行精准对比。图像特征提取方法包括人工标定法或算法自动提取。
FPGA图像预处理电路模块中的特征量化电路用于进行图像特征量化及类别标定，特征量化是指从原始特征中选取一组有效的特征子集，并使特征空间维度降低的过程。其任务就是根据待识别对像的实验观测，信号处理或有关专家知识，挑选出那些能够表征待识别对象特点而又对识别正确性有影响的特征，摒弃冗杂的特征信息，从D个特征中选取一组d个最优特征(D>d)。现采用全局寻优的分支定界法进行特征选择与量化，采用KNN分类器进行类别标定。在完成了目标图像预处理、特征提取、特征量化及类别标定后，将量化后的目标及标签分类存储，构建目标图像数据库，用于训练深度神经网络。
步骤三、利用步骤二中目标图像数据库，训练基于NG(·)的目标识别一级子系统，实现目标识别。
步骤3.1：构建基于NG(·)的深度神经网络模型，采用步骤二中的目标图像数据库训练该网络形成目标识别一级子系统。
深度学习通过模拟具有丰富层次结构的脑神经系统，建立类似于人脑的分层模型结构，对输入数据逐级提取，形成更加抽象的高层表示。深度神经网络利用多层非线性信息处理来实现有监督或者无监督的特征提取和转换、模式分析和分类，用来解释如图像、声音、文本的数据。
目标识别一级子系统的深度神经网络采用DenseNet(Densely ConnectedConvolutional Networks)网络结构，通过DenseNet提升网络层数，采用本专利提出的非线性构造激活函数：NG(f(xi))＝f(xi-ti)+ti激活网络非线性，并且采用Xavier初始化网络参数，对网络进行Batch Normalization，解决网络收敛速度慢、鲁棒性差的不足。目标识别一级子系统的深度神经网络采用目标红外图像与彩色图像进行分析，利用步骤二中构建的目标图像数据库训练深度神经网络，由于红外图像数据与彩色图像数据分别对应两组张量，即红外图像数据有一个通道数，彩色图像数据有三个通道，因此构建两个DenseNet。取目标图像数据库中的70％-90％样本数据训练网络，再用剩余10％-30％作为测试样本检验网络的分类识别性能。网络训练完成，样本测试合格后保存网络结构，构建目标识别一级子系统。
步骤3.2：利用步骤3.1中构建的目标识别一级子系统，识别可调视场的连续变焦目标系统采集的目标图像。
利用视场可调的连续变焦目标识别系统采集与数据库中样本相同属性的目标，该目标可以在不同环境、不同姿态下采集，将采集后的样本信息分别输入已训练好的两个DenseNet网络，得到每个输入数据目标识别结果的概率分布，系统将红外图像数据与彩色图像数据目标识别结果的概率分布相加，选取概率值最大的目标识别结果作为最终的输出结果，即实现采集后的目标进行准确识别。
有益效果：
(1)本发明专利公开的一种视场可调的连续变焦目标识别系统及方法，提出的基于变形镜的离轴反射式光学系统，构建离轴折反射式连续变焦二级子系统，通过改变变形镜连续面形及透镜组的位置，将来自目标的光线经多次反射及折射后，实现对光学系统位置不发生变动的情况下，能够对目标视场可调并且连续变焦，并能够解决折射式变焦系统通光口径小、反射式变焦系统会导致像面移动、以及同轴折反式变焦系统会产生中心遮挡的问题。
(2)本发明专利公开的一种视场可调的连续变焦目标识别系统及方法，提出的非线性构造激活函数，根据训练参数ti的更新控制激活函数的线性程度，极大地克服线性修正单元带来的“死亡单元”问题，由于训练参数ti可嵌入BP算法中不断更新，使得用于目标识别的深度神经网络对初始化参数不敏感、易于收敛，并且具有泛化能力，便于目标的准确识别。
(3)本发明专利公开的一种视场可调的连续变焦目标识别系统及方法，能够对视场可调的目标进行连续变焦采集，利用基于非线性构造函数训练的深度神经网络构成目标识别系统，实现对可调视场的连续变焦目标进行有效准确识别，因此，本发明可应用于样本类别有限的场合，如：自动导航、驾驶，中医诊疗，精准医疗，工业机器人等领域。
附图说明
图1为本发明的一种视场可调的连续变焦目标识别系统原理图；
图2为本发明的一种视场可调的连续变焦目标识别系统结构框图
图3-1为视场可调的连续变焦一级子系统光学结构示意图
图3-2为连续表面变形镜镜面变化示意图
图3-3为连续变焦系统光学结构示意图
图4为视场可调的连续变焦系统流程图
图5为视场可调的连续变焦系统实验目标变化图，其中：图5a为视场可调的连续变焦系统变倍比为2:1时广角端标板测试示意图，图5b为视场可调的连续变焦系统变倍比为4:1时中间态标板测试示意图，图5c为视场可调的连续变焦系统变倍比为5:1时远摄端标板测试示意图
图6-1为ReLU、LReLU、PReLU与其对应的NG函数对比图，其中：图6-1a为传统ReLU、LReLU、PReLU激活函数对比图，图6-1a为NG-ReLU、NG-LReLU、NG-PReLU激活函数对比图
图6-2为ReLU、LReLU、PReLU与其对应的NG训练及测试曲线对比图，其中，图6-2a为ReLU及其对应的NG-ReLU训练及测试曲线对比图，图6-2b为LReLU及其对应的NG-LReLU训练及测试曲线对比图，图6-2c为PReLU及其对应的NG-PReLU训练及测试曲线对比图
图7为本发明的一种视场可调的连续变焦目标识别系统流程图
其中：0—目标、1—视场可调的连续变焦一级子系统、1.1—离轴折反式连续变焦二级子系统、1.1.1—离轴反射式光学系统、1.1.1.1—主变形镜、1.1.1.2—次变形镜、1.1.1.3—驱动电压、1.1.1.4—变形镜连续面形、1.1.2—连续变焦光学系统入瞳、1.1.3—连续变焦光学系统、1.1.3.1—前固定组、1.1.3.2—变倍组、1.1.3.3—补偿组、1.1.3.4—后固定组、1.1.4—连续变焦光学系统出曈、1.1.5—像面、1.2—驱动模块、1.3—D/A转换与驱动器控制电路、2—图像采集一级子系统、2.1—红外相机、2.2—可见光CCD相机、2.3—采集图像、2.4—FPGA图像预处理电路模块、2.5—图像处理、2.6—目标图像数据库、3—目标识别一级子系统、3.1—待识别目标、3.2—深度神经网络、3.3—ARM+GPU控制模块、3.4—目标识别结果。
具体实施方式
为了更好的说明本发明的目的和优点，下面结合附图和实例对发明内容做进一步说明。
实施例1：
如图1、图2所示，本实施例公开的一种视场可调的连续变焦目标识别系统，包括视场可调的连续变焦一级子系统1、图像采集一级子系统2和目标识别一级子系统3。所述的视场可调的连续变焦一级子系统1用于对可变视场内移动目标的精准对焦捕捉。所述的图像采集一级子系统2用于对聚焦目标的红外与可见光采集，并生成目标图像数据库。所述的目标识别一级子系统3采用目标图像数据库训练深度神经网络，实现对所采集目标图像的准确识别。
所述的视场可调的连续变焦一级子系统1包括离轴折反式连续变焦二级子系统1.1、驱动模块1.2、D/A转换与驱动器控制电路1.3。所述的视场可调的连续变焦一级子系统1采用基于变形镜的离轴折反式连续变焦二级子系统1.1，将来自目标的光线经多次反射及折射后，实现对光学系统位置不发生变动的情况下，能够对目标视场可调并且连续变焦；驱动模块1.2用于对离轴反射式光学系统1.1.1中的主变形镜1.1.1.1、次变形镜1.1.1.2以及连续变焦光学系统1.1.3中的变倍组1.1.3.2、补偿组1.1.3.3的控制，在驱动模块1.2驱动电压1.1.1.3信号下主变形镜1.1.1.1和次变形镜1.1.1.2产生变形镜连续面形1.1.1.4改变实现视场可调，同时驱动模块1.2输出驱动电压1.1.1.3驱动变倍组1.1.3.2和补偿组1.1.3.3的凸轮运动实现连续变焦；D/A转换与驱动器控制电路1.3用于将上位机输出的数字信号转换成模拟信号，并控制驱动模块1.2工作。因此，所述的视场可调的连续变焦一级子系统1在D/A转换与驱动器控制电路1.3的控制与数模转换、以及驱动模块1.2的驱动下，实现对所述的视场可调的连续变焦一级子系统1可变视场内移动目标的精准对焦捕捉。
所述的图像采集一级子系统2包括红外相机2.1、可见光CCD相机2.2、红外驱动与接口控制电路模块、CCD驱动与接口控制电路模块、FPGA图像预处理电路模块2.4，其中红外相机2.1用于对目标进行红外成像，实现夜间及恶劣天气、伪装及隐蔽情况下的目标红外图像采集；可见光CCD相机2.2用于对自然光照下的目标实现彩色图像采集；红外驱动与接口控制电路模块用于控制红外相机2.1采集目标图像；CCD驱动与接口控制电路模块用于控制可见光CCD相机2.2采集目标图像；FPGA图像预处理电路模块2.4用于对相机模块的采集图像2.3进行图像处理2.5，如特征增强与提取，能够对目标进行特征量化后构建目标图像数据库2.6，所述的FPGA图像预处理电路模块2.4包括光电隔离电路、自适应降噪电路、特征提取电路、特征量化电路、制式转换电路，其中光电隔离电路用于光电转换器件输入与输出的电气隔离，自适应降噪电路用于自适应消除不同环境下图像采集所带来的噪声，特征提取电路用于对表达目标形态的特征进行降维提取、减小数据量，特征量化电路用于为便于计算对所提取的目标特征进行客观的量化及类别标定，制式转换电路用于为后期目标识别系统进行图像处理的格式转换。
所述的目标识别一级子系统3包括ARM+GPU控制模块3.3、存储模块、输入模块、显示模块，其中ARM+GPU控制模块3.3是基于深度神经网络3.2实现，用于对目标图像数据库2.6的训练以及测试样本的识别。存储模块用于存放目标特征数据库、网络结构及参数及缓存数据；输入模块用于向训练好的网络输入待识别的目标图像，或手动改变网络参数；显示模块用于向用户呈现目标识别结果3.4。
作为优选，ARM+GPU控制模块3.3的深度神经网络3.2采用基于非线性构造激活函数(Nonlinearity Gnerator，简写为：NG)训练的深度神经网络，用于对目标数据库2.6的训练以及测试样本的识别，所提出的非线性构造激活函数能克服线性修正单元(RectifiedLinear Unit，简写为：ReLU)带来的“死亡单元”问题，使得用于目标识别的深度神经网络对初始化参数不敏感、易于收敛，并且具有泛化能力，便于目标的准确识别。
如图3-1所示，视场可调的连续变焦一级子系统1中所述的离轴折反式连续变焦二级子系统1.1是由离轴反射式光学系统1.1.1和连续变焦光学系统1.1.3组合而成，其中离轴反射式光学系统1.1.1包括主变形镜1.1.1.1和次变形镜1.1.1.2，主变形镜1.1.1.1和次变形镜1.1.1.2均采用连续表面变形镜，主变形镜1.1.1.1通过变形镜连续面形1.1.1.4变化改变目标视场，实现光学系统位置不变的情况下对可调视场范围目标成像，同时将来自目标的光线反射至次变形镜1.1.1.2；次变形镜1.1.1.2用于将主变形镜1.1.1.1的反射光线耦合至连续变焦光学系统入瞳1.1.2处，同时需要通过调节主变形镜连续面形改变与次变形镜连续面形改变确保以下两个条件成立，如图3-2所示，条件一：离轴反射式光学系统入瞳经过次变形镜镜及折射透镜后成像在连续变焦光学系统的出曈1.1.4像面1.1.5处；条件二：离轴反射式光学系统入瞳尺寸D1等于连续变焦光学系统的出曈D3尺寸。满足条件一、二的可调视场范围目标成像能够克服传统反射镜机械移动精度低、时间长、视场不变的不足，实现对光学系统位置不发生变动的情况下，能够对目标视场可调并且连续变焦；如图3-3所示，其中连续变焦光学系统1.1.3包括前固定组1.1.3.1、变倍组1.1.3.2、补偿组1.1.3.3、后固定组1.1.3.4，前固定组1.1.3.1用于接收连续变焦系统的入瞳1.1.2光线，变倍组1.1.3.2用于实现连续变焦，补偿组1.1.3.3用于补偿由于变焦而产生的像面1.1.5移动，保持像面1.1.5稳定，后固定组1.1.3.4用于将连续变焦系统的出曈1.1.4像投射至固定像面1.1.5处，离轴反射式光学系统1.1.1和连续变焦光学系统1.1.3组合整体上实现可调视场的连续变焦功能。图3-1中D1为主变形镜口径(离轴反射式光学系统入瞳)，D2为(离轴反射式光学系统出曈尺寸)连续变焦光学系统入瞳尺寸，L1为离轴反射式光学系统入瞳到次变形镜的距离，L2为次变形镜到离轴反射式光学系统出曈的距离，L3为连续变焦光学系统入瞳到连续变焦光学系统折射透镜的距离，L4连续变焦光学系统折射透镜到连续变焦光学系统出曈的距离，L5连续变焦光学系统出曈到像面的距离。
目标识别一级子系统3中所述的ARM+GPU控制模块3.3是基于提出的非线性构造激活函数训练的深度神经网络实现的，深度神经网络训练时采用提出的非线性构造激活函数，对提出的非线性构造激活函数NG(·)定义为：
NG(f(xi))＝f(xi-ti)+ti (13)
其中，f(·)是基于ReLU、LReLU以及PReLU等的激活函数，xi是在第i个节点上激活函数的输入，ti是一个可训练的参数，当训练参数ti已知时，即可将NG(·)作为深度神经网络训练时的激活函数实现网络训练，图6-1为ReLU、LReLU、PReLU与其对应的NG函数对比图。
参数ti根据激活函数输入数据的分布，控制着非线性构造激活函数的线性程度。当参数ti增大时，则认为非线性构造激活函数为模型引入了更多的非线性，当参数ti的值小于输入信号的最小值时，则认为非线性构造激活函数的输入信号将落入其线性对称区域。非线性构造激活函数根据数据分布改变参数ti以实现控制模型的非线性程度，从而使模型从低容量模型逐渐变为高容量。在△ti更新时，采用动量法更新参数：
其中，η为动量参数，此处取0.9；ε表示损失函数；γ为学习率。
参数ti可以嵌入BP算法进行更新，以按元素连接模型为例，参数ti的梯度可以由链式求导法则求得，见式(15)
由于非线性构造激活函数具有良好的可求导性质，其导数为式(16)
由式(16)可以看到，非线性构造激活函数可以解决：当激活函数f(·)是ReLU，输入信号为负值时引入的“死亡单元”问题，因为参数ti的更新方式可以使该激活函数重新激活。由于参数ti在训练过程中是不断变化的，即参数ti的梯度并不为零，因此当输入信号小于参数ti时，也会重新激活非线性构造激活函数的“死亡单元”，随着BP算法的后向反馈，参数ti会将变化后的值不断更新至非线性构造激活函数中，保证非线性构造激活函数对所有输入信号均有效，实现对非线性函数的良好逼近，图6-2为ReLU、LReLU、PReLU与其对应的NG训练及测试曲线对比图。
基于所述的一种视场可调的连续变焦目标识别系统实现的一种视场可调的连续变焦目标识别方法，包括如下步骤：
步骤一、通过基于变形镜的离轴折反式连续变焦二级子系统1.1，构建视场可调的连续变焦一级子系统1，实现目标视场可调并且连续变焦。
采用视场可调的连续变焦一级子系统1通过改变变形镜连续面形1.1.1.4及透镜组的位置，将来自目标的光线经多次反射及折射后，实现对光学系统位置不发生变动的情况下，能够对目标视场可调并且连续变焦，视场可调的连续变焦系统流程图如图4所示。
步骤一具体实现方法包括如下步骤：
步骤1.1：构建基于变形镜的离轴反射式光学系统1.1.1，实现目标视场可调。
离轴反射式光学系统1.1.1是通过改变变形镜连续面形1.1.1.4实现视场可调，变形镜连续面形1.1.1.4的改变受驱动电压1.1.1.3控制，因此，通过改变变形镜驱动电压1.1.1.3大小即可实现目标视场可调。离轴反射式光学系统1.1.1也可实现系统变焦，主变形镜1.1.1.1和次变形镜1.1.1.2的形变量与变焦比τ和半视场角θ的关系可表示为：
其中：
式中：△s1为主变形镜变形量，△s2为次变形镜变形量，r1为主变形镜半径，r2为次变形镜半径，为便于计算定义q为主变形镜与次变形镜半径之比，W为探测器的宽，此处离轴反射式光学系统的出曈尺寸，θ为变焦前离轴反射式光学系统的半视场角，F为为变焦时离轴反射式光学系统的总焦距，S为主变形镜到次变形镜的间距，为便于计算定义s为主变形镜和次变形镜的一个小间距，τ为离轴反射式光学系统的变焦比。
由于该离轴反射式光学系统1.1.1只实现在光学系统位置不发生变动的情况下，对目标视场可微调，不改变离轴反射式光学系统的总焦距F，焦距的改变通过连续变焦光学系统实现。因此，离轴反射式光学系统没有变焦功能，只是实现视场可调，即τ＝1，并且离轴反射式光学系统入瞳直径不变。由于F、W均不变，所以离轴反射式光学系统的半视场角θ也不变，所以，变形量△s1、△s2带来的只是视场的移动，不会带来因视场缩放而导致的像差。
连续表面薄膜变形镜在不同驱动电压下会产生相应形变，表面r处的面形S(r)在静电驱动压力P(r)的作用下形变量可表示为：
半径为rm的薄膜，在r处由于压力P的作用得到新面形S(r)可表示为：
式中：ra为驱动电压作用后薄膜变化半径；静电驱动压力P＝ε0V2/d2(ε0为空间介电常数，V为驱动电压，d驱动器与薄膜间的距离)；T为薄膜表面拉力。
根据式(17)、(18)和式(22)可以求出变形镜形变量△s与静电驱动力P的关系，也即可以求出变形镜形变量与驱动电压V的关系，因此可以通过改变驱动电压1.1.1.3大小改变变形镜连续面形1.1.1.4，连续表面变形镜镜面形变如图3-2所示；同时可以将驱动电压1.1.1.3大小代入式(23)、(24)计算变形镜的新面形S(r)，面形改变并已知后即可实现目标视场可调。
步骤1.2：将离轴反射式光学系统24的出曈光束耦合至连续变焦光学系统入瞳1.1.2，构建视场可调的连续变焦一级子系统1。
为了解决折射式变焦系统通光口径小，反射式变焦系统会导致像面移动，以及同轴折反式变焦系统会产生中心遮挡的问题，引入基于变形镜无光焦度的离轴反射式光学系统24与连续变焦光学系统21结合形成离轴折反式连续变焦二级子系统2。
构建离轴折反式连续变焦二级子系统1.1时，需要确保离轴反射式光学系统入瞳尺寸D1等于连续变焦光学系统的出曈D3尺寸，此处通过变形镜连续面形1.1.1.4变化来实现将离轴反射式光学系统的出曈光线耦合至连续变焦光学系统的入瞳处。如图3-3所示，连续变焦光学系统1.1.2由前固定组1.1.3.1、变倍组1.1.3.2、补偿组1.1.3.3、后固定组1.1.3.4四组份组成；前固定组1.1.3.1用于接收连续变焦系统的入瞳光线；变倍组1.1.3.2用于实现连续变焦，采用负变倍组，利用凸轮驱动实现焦距变倍；补偿组1.1.3.3采用正补偿组的凸轮机械补偿方式，用于补偿由于变焦而产生的像面移动，为了保证变焦过程中始终能够得到清晰稳定的像，机械补偿变焦系统中变倍组作线性运动来改变整个系统的放大倍率，补偿运动组元作非线性运动来补偿前一运动组元在运动过程中导致的系统像面的位移量，如此保持像面稳定；后固定组1.1.3.4用于将连续变焦系统的出曈像投射至固定像面处。离轴反射式光学系统1.1.1和连续变焦光学系统1.1.3组合形成离轴折反式连续变焦二级子系统1.1，在驱动模块1.2、D/A转换与驱动器控制电路1.3协同作用下，构建视场可调的连续变焦一级子系统1实现目标视场可调并且连续变焦，标板测试效果如图5所示。
步骤二、利用步骤一中视场可调的连续变焦一级子系统1，通过图像采集一级子系统2实现可调视场的连续变焦目标采集，构建目标图像数据库2.6。
目标识别系统流程图如图7所示，第一步是建立目标图像数据库。
步骤2:1：基于视场可调的连续变焦一级子系统1，利用红外相机2.1和可见光CCD相机2.2实现目标图像采集2.3。
为了满足夜间及恶劣天气、伪装及隐蔽情况下的目标成像，利用红外相机2.1热感应性强的特点，采用红外相机2.1结合视场可调的连续变焦一级子系统1对目标进行多姿态、复杂环境红外成像采集。同时利用高清可见光相机的图像高分辨、直观性强的优点，利用可见光CCD相机2.2结合视场可调的连续变焦一级子系统1对目标进行多姿态、复杂环境彩色成像采集。
步骤2.2：利用FPGA图像预处理电路模块2.4对采集到的目标图像进行图形处理2.5，构建目标图像数据库2.6。
红外图像数据库及可见光数据库的建立是在FPGA图像预处理电路模块2.4中完成的，由4部分组成，包括:对所获得的图像进行预处理、进行特征提取、进行特征量化并根据量化信息的类别进行相应的类别标定、最后对量化信息进行建库保存。
FPGA图像预处理电路模块2.4中的自适应降噪电路用于进行图像预处理，对未经过预处理的图像进行特征提取会受到干扰信息影响产生大量误差，因此对图像预处理是非常必要的。常用的预处理方法包括：定标校正法、高通滤波校正法、人工神经网络法、高频振动扫描法等。现选用定标校正法中的二点校正法，之所以选取二点校正法是因为在探测器的响应为线性而且具有时间稳定性时，二点法是简单、虽常用、最有效的方法。
FPGA图像预处理电路模块2.4中的特征提取电路用于进行图像特征提取，图像经过预处理基本消除干扰信息影响，但采集到的图片信息往往包含很多无用信息，如图像中包含背景信息、目标信息冗余等。而目标识别时往往仅需要某个区域的图像特征即可，因此需要进行特征提取，对某个区域进行精准对比。图像特征提取方法一般有人工标定法和算法自动提取，现采用算法自动提取的方式提取图像的颜色和灰度特征、纹理边缘特征。
FPGA图像预处理电路模块2.4中的特征量化电路用于进行图像特征量化及类别标定，特征量化是指从原始特征中选取一组有效的特征子集，并使特征空间维度降低的过程。其任务就是根据待识别对像的实验观测，信号处理或有关专家知识，挑选出那些能够表征待识别对象特点而又对识别正确性有影响的特征，摒弃冗杂的特征信息，从D个特征中选取一组d个最优特征(D>d)。现采用全局寻优的分支定界法进行特征选择与量化，采用KNN分类器进行类别标定。在完成了目标图像预处理、特征提取、特征量化及类别标定后，将量化后的目标及标签分类存储，构建目标图像数据库，用于训练深度神经网络。
步骤三、利用步骤二中目标图像数据库2.6，训练基于NG(·)的目标识别一级子系统3，实现目标识别。
步骤3.1：构建基于NG(·)的深度神经网络3.2模型，采用步骤二中的目标图像数据库2.6训练该网络形成目标识别一级子系统3。
如图7所示，第二步是训练深度学习网络。
深度学习通过模拟具有丰富层次结构的脑神经系统，建立类似于人脑的分层模型结构，对输入数据逐级提取，形成更加抽象的高层表示。它利用多层非线性信息处理来实现有监督或者无监督的特征提取和转换、模式分析和分类，用来解释如图像、声音、文本的数据。
本系统采用DenseNet(Densely Connected Convolutional Networks)网络结构，通过DenseNet提升网络层数，采用本专利提出的非线性构造激活函数：NG(f(xi))＝f(xi-ti)+ti激活网络非线性，并且采用Xavier初始化网络参数，对网络进行BatchNormalization，解决网络收敛速度慢、鲁棒性差的不足。本系统采用目标红外图像与彩色图像进行分析，利用步骤二中构建的目标图像数据库2.6训练深度神经网络3.2，由于红外图像数据与彩色图像数据分别对应两组张量，即红外图像数据有一个通道数，彩色图像数据有三个通道，因此构建两个DenseNet。取目标图像数据库中的80％样本数据训练网络，再用剩余20％作为测试样本检验网络的分类识别性能。网络训练完成，样本测试合格后保存网络结构，构建目标识别一级子系统3。
步骤3.2：利用步骤3.1中构建的目标识别一级子系统3，识别可调视场的连续变焦目标系统采集的目标图像。
如图7所示，第三步是目标识别。
利用视场可调的连续变焦目标识别系统采集与数据库中样本相同属性的目标，该目标可以在不同环境、不同姿态下采集，将采集后的样本信息分别输入已训练好的两个DenseNet网络，可以得到每个输入数据目标识别结果的概率分布，系统将红外图像数据与彩色图像数据目标识别结果的概率分布相加，选取概率值最大的目标识别结果3.4作为最终的输出结果，即实现采集后的目标进行准确识别。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种视场可调的连续变焦目标识别系统，其特征在于：包括视场可调的连续变焦一级子系统(1)、图像采集一级子系统(2)和目标识别一级子系统(3)；所述的视场可调的连续变焦一级子系统(1)用于对可变视场内移动目标的精准对焦捕捉；所述的图像采集一级子系统(2)用于对聚焦目标的红外与可见光采集，并生成目标图像数据库；所述的目标识别一级子系统(3)采用目标图像数据库训练深度神经网络，实现对所采集目标图像的准确识别。
2.如权利要求1所述的一种视场可调的连续变焦目标识别系统，其特征在于：所述的视场可调的连续变焦一级子系统(1)包括离轴折反式连续变焦二级子系统(1.1)、驱动模块(1.2)、D/A转换与驱动器控制电路(1.3)；所述的视场可调的连续变焦一级子系统(1)采用基于变形镜的离轴折反式连续变焦二级子系统(1.1)，将来自目标的光线经多次反射及折射后，实现对光学系统位置不发生变动的情况下，能够对目标视场可调并且连续变焦；驱动模块(1.2)用于对离轴反射式光学系统(1.1.1)中的主变形镜(1.1.1.1)、次变形镜(1.1.1.2)以及连续变焦光学系统(1.1.3)中的变倍组(1.1.3.2)、补偿组(1.1.3.3)的控制，在驱动模块(1.2)驱动电压(1.1.1.3)信号下主变形镜(1.1.1.1)和次变形镜(1.1.1.2)产生变形镜连续面形(1.1.1.4)改变实现视场可调，同时驱动模块(1.2)输出驱动电压(1.1.1.3)驱动变倍组(1.1.3.2)和补偿组(1.1.3.3)的凸轮运动实现连续变焦；D/A转换与驱动器控制电路(1.3)用于将上位机输出的数字信号转换成模拟信号，并控制驱动模块(1.2)工作；因此，所述的视场可调的连续变焦一级子系统(1)在D/A转换与驱动器控制电路(1.3)的控制与数模转换、以及驱动模块(1.2)的驱动下，实现对所述的视场可调的连续变焦一级子系统(1)可变视场内移动目标的精准对焦捕捉；
所述的图像采集一级子系统(2)包括红外相机(2.1)、可见光CCD相机(2.2)、红外驱动与接口控制电路模块、CCD驱动与接口控制电路模块、FPGA图像预处理电路模块(2.4)，其中红外相机(2.1)用于对目标进行红外成像，实现夜间及恶劣天气、伪装及隐蔽情况下的目标红外图像采集；可见光CCD相机(2.2)用于对自然光照下的目标实现彩色图像采集；红外驱动与接口控制电路模块用于控制红外相机(2.1)采集目标图像；CCD驱动与接口控制电路模块用于控制可见光CCD相机(2.2)采集目标图像；FPGA图像预处理电路模块(2.4)用于对相机模块采集的图像(2.3)进行图像处理(2.5)，当特征增强与提取时，能够对目标进行特征量化后构建目标图像数据库(2.6)，所述的FPGA图像预处理电路模块(2.4)包括光电隔离电路、自适应降噪电路、特征提取电路、特征量化电路、制式转换电路，其中光电隔离电路用于光电转换器件输入与输出的电气隔离，自适应降噪电路用于自适应消除不同环境下图像采集所带来的噪声，特征提取电路用于对表达目标形态的特征进行降维提取、减小数据量，特征量化电路用于为便于计算对所提取的目标特征进行客观的量化及类别标定，制式转换电路用于为后期目标识别系统进行图像处理的格式转换；
所述的目标识别一级子系统(3)包括ARM+GPU控制模块(3.3)、存储模块、输入模块、显示模块，其中ARM+GPU控制模块(3.3)是基于深度神经网络实现，用于对目标数据库(2.6)的训练以及测试样本的识别；存储模块用于存放目标特征数据库、网络结构参数及缓存数据；输入模块用于向训练好的网络输入待识别的目标图像，或手动改变网络参数；显示模块用于向用户呈现目标识别结果(3.4)。
3.如权利要求2所述的一种视场可调的连续变焦目标识别系统，其特征在于：视场可调的连续变焦一级子系统(1)中所述的离轴折反式连续变焦二级子系统(1.1)是由离轴反射式光学系统(1.1.1)和连续变焦光学系统(1.1.3)组合而成，其中离轴反射式光学系统(1.1.1)包括主变形镜(1.1.1.1)和次变形镜(1.1.1.2)，主变形镜(1.1.1.1)和次变形镜(1.1.1.2)均采用连续表面变形镜，主变形镜(1.1.1.1)通过变形镜连续面形(1.1.1.4)变化改变目标视场，实现光学系统位置不变的情况下对可调视场范围目标成像，同时将来自目标的光线反射至次变形镜(1.1.1.2)；次变形镜(1.1.1.2)用于将主变形镜(1.1.1.1)的反射光线耦合至连续变焦光学系统入瞳(1.1.2)处，同时需要通过调节主变形镜连续面形的改变与次变形镜连续面形的改变确保以下两个条件成立：条件一：离轴反射式光学系统入瞳经过次变形镜及折射透镜后成像在连续变焦光学系统的出曈(1.1.4)像面(1.1.5)处；条件二：离轴反射式光学系统入瞳尺寸D1等于连续变焦光学系统的出曈D3尺寸；满足条件一、二的可调视场范围目标成像能够克服传统反射镜机械移动精度低、时间长、视场不变的缺点，实现对光学系统位置不发生变动的情况下，能够对目标视场可调并且连续变焦；其中连续变焦光学系统(1.1.3)包括前固定组(1.1.3.1)、变倍组(1.1.3.2)、补偿组(1.1.3.3)、后固定组(1.1.3.4)，前固定组(1.1.3.1)用于接收连续变焦系统的入瞳(1.1.2)光线，变倍组(1.1.3.2)用于实现连续变焦，补偿组(1.1.3.3)用于补偿由于变焦而产生的像面(1.1.5)移动，保持像面(1.1.5)稳定，后固定组(1.1.3.4)用于将连续变焦系统的出曈(1.1.4)像投射至固定像面(1.1.5)处，离轴反射式光学系统(1.1.1)和连续变焦光学系统(1.1.3)组合整体上实现可调视场的连续变焦功能；
目标识别一级子系统(3)中所述的ARM+GPU控制模块(3.3)是基于提出的非线性构造激活函数训练的深度神经网络实现的，深度神经网络训练时采用提出的非线性构造激活函数，对提出的非线性构造激活函数NG(·)定义为：
NG(f(xi))＝f(xi-ti)+ti (1)
其中，f(·)是基于ReLU、LReLU以及PReLU等的激活函数，xi是在第i个节点上激活函数的输入，ti是可训练的参数，当训练参数ti已知时，即可将NG(·)作为深度神经网络训练时的激活函数实现网络训练；
参数ti根据激活函数输入数据的分布，控制着非线性构造激活函数的线性程度；当参数ti增大时，则认为非线性构造激活函数为模型引入了更多的非线性，当参数ti的值小于输入信号的最小值时，则认为非线性构造激活函数的输入信号将落入其线性对称区域；非线性构造激活函数根据数据分布改变参数ti以实现控制模型的非线性程度，从而使模型从低容量模型逐渐变为高容量；在△ti更新时，采用动量法更新参数：
其中，η为动量参数；ε表示损失函数；γ为学习率；
参数ti可以嵌入BP算法进行更新，以按元素连接模型为例，参数ti的梯度可以由链式求导法则求得，见式(3)
由于非线性构造激活函数具有良好的可求导性质，其导数为式(4)
由式(4)可以看到，非线性构造激活函数可以解决：当激活函数f(·)是ReLU，输入信号为负值时引入的“死亡单元”问题，因为参数ti的更新方式使该激活函数重新激活；由于参数ti在训练过程中是不断变化的，即参数ti的梯度并不为零，因此当输入信号小于参数ti时，也会重新激活非线性构造激活函数的“死亡单元”，随着BP算法的后向反馈，参数ti会将变化后的值不断更新至非线性构造激活函数中，保证非线性构造激活函数对所有输入信号均有效，实现对非线性函数的良好逼近。
4.如权利要求3所述的一种视场可调的连续变焦目标识别系统，其特征在于：ARM+GPU控制模块(3.3)的深度神经网络采用基于非线性构造激活函数(Nonlinearity Gnerator，简写为：NG)训练的深度神经网络，用于对目标数据库(2.6)的训练以及测试样本的识别，所提出的非线性构造激活函数能克服线性修正单元(Rectified Linear Unit，简写为：ReLU)带来的“死亡单元”问题，使得用于目标识别的深度神经网络对初始化参数不敏感、易于收敛，并且具有泛化能力，便于目标的准确识别。
5.如权利要求1、2、3或4所述的一种视场可调的连续变焦目标识别系统，其特征在于：所述的视场可调是指变形镜连续面形(1.1.1.4)变化量所对应的物方视场移动量可调；所述的物方视场移动量可调范围由变形镜连续面形变化量决定，变形镜连续面形变化量取决于驱动器驱动电压调节量大小，而变形镜连续面形最大变化量由变形镜规格参数而定；
所述的一种视场可调的连续变焦目标识别系统是基于深度神经网络(3.2)实现的，而深度神经网络(3.2)的建立需要样本数据库，只有与样本数据库中样本同属性的目标才能被识别，但不需要保证目标采集时的姿态、环境一致；因此，所述的一种视场可调的连续变焦目标识别系统能够对目标训练数据库中的同属性目标进行识别，应用领域包括自动导航、驾驶、中医诊疗、精准医疗、工业机器人领域。
6.基于如权利要求1、2、3或4所述的一种视场可调的连续变焦目标识别系统实现的一种视场可调的连续变焦目标识别方法，其特征在于：包括如下步骤：
步骤一、通过基于变形镜的离轴折反式连续变焦二级子系统(1.1)，构建视场可调的连续变焦一级子系统(1)，实现目标视场可调并且连续变焦；
采用视场可调的连续变焦一级子系统(1)通过改变变形镜连续面形(1.1.1.4)及透镜组的位置，将来自目标的光线经多次反射及折射后，实现对光学系统位置不发生变动的情况下，能够对目标视场可调并且连续变焦；
步骤二、利用步骤一中视场可调的连续变焦一级子系统(1)，通过图像采集一级子系统(2)实现可调视场的连续变焦目标采集，构建目标图像数据库(2.6)；
步骤三、利用步骤二中目标图像数据库(2.6)，训练基于NG(·)的目标识别一级子系统(3)，实现目标识别。
7.如权利要求6所述的一种视场可调的连续变焦目标识别方法，其特征在于：步骤一具体实现方法包括如下步骤，
步骤1.1：构建基于变形镜的离轴反射式光学系统(1.1.1)，实现目标视场可调；
离轴反射式光学系统(1.1.1)是通过改变变形镜连续面形(1.1.1.4)实现视场可调，变形镜连续面形(1.1.1.4)的改变受驱动电压(1.1.1.3)控制，因此，通过改变变形镜驱动电压(1.1.1.3)大小即能够实现目标视场可调；离轴反射式光学系统(1.1.1)也可实现系统变焦，主变形镜(1.1.1.1)和次变形镜(1.1.1.2)的形变量与变焦比τ和半视场角θ的关系表示为：
其中：
式中：△s1为主变形镜变形量，△s2为次变形镜变形量，D2为主变形镜半径，D3为次变形镜半径，为便于计算定义q为主变形镜与次变形镜半径之比，W为探测器的宽，此处离轴反射式光学系统的出曈尺寸，θ为变焦前离轴反射式光学系统的半视场角，F为为变焦时离轴反射式光学系统的总焦距，S为主变形镜到次变形镜的间距，为便于计算定义s为主变形镜和次变形镜的一个小间距，τ为离轴反射式光学系统的变焦比；
由于该离轴反射式光学系统(1.1.1)只实现在光学系统位置不发生变动的情况下，对目标视场可微调，不改变离轴反射式光学系统的总焦距F，焦距的改变通过连续变焦光学系统实现；因此，离轴反射式光学系统没有变焦功能，只是实现视场可调，即τ＝1，并且离轴反射式光学系统入瞳直径不变；由于F、W均不变，所以离轴反射式光学系统的半视场角θ也不变，所以，变形量△s1、△s2带来的只是视场的移动，不会带来因视场缩放而导致的像差；
连续表面薄膜变形镜在不同驱动电压下会产生相应形变，表面r处的面形S(r)在静电驱动压力P(r)的作用下形变量表示为：
半径为rm的薄膜，在r处由于压力P的作用得到新面形S(r)表示为：
式中：ra为驱动电压作用后薄膜变化半径；静电驱动压力P＝ε0V2/d2(ε0为空间介电常数，V为驱动电压，d驱动器与薄膜间的距离)；T为薄膜表面拉力；
根据式(5)、(6)和式(10)求出变形镜形变量△s与静电驱动力P的关系，也即求出变形镜形变量与驱动电压V的关系，因此通过改变驱动电压(1.1.1.3)大小可以改变变形镜连续面形变化量；同时可以将驱动电压(1.1.1.3)大小代入式(11)、(12)计算变形镜的新面形S(r)，面形改变并已知后即可实现目标视场可调；
步骤1.2：将离轴反射式光学系统的出曈光束耦合至连续变焦光学系统入瞳(1.1.2)，构建视场可调的连续变焦一级子系统(1)；
为了解决折射式变焦系统通光口径小，反射式变焦系统会导致像面移动，以及同轴折反式变焦系统会产生中心遮挡的问题，引入基于变形镜无光焦度的离轴反射式光学系统(1.1.1)与连续变焦光学系统(1.1.3)结合形成离轴折反式连续变焦二级子系统(1.1)；
构建离轴折反式连续变焦二级子系统(1.1)时，需要确保离轴反射式光学系统入瞳尺寸D1等于连续变焦光学系统的出曈尺寸D3，此处通过变形镜连续面形(1.1.1.4)变化来实现将离轴反射式光学系统的出曈光线耦合至连续变焦光学系统的入瞳处；其中连续变焦光学系统(1.1.2)由前固定组(1.1.3.1)、变倍组(1.1.3.2)、补偿组(1.1.3.3)、后固定组(1.1.3.4)四组份组成；前固定组(1.1.3.1)用于接收连续变焦系统的入瞳光线；变倍组(1.1.3.2)用于实现连续变焦，采用负变倍组，利用凸轮驱动实现焦距变倍；补偿组(1.1.3.3)采用正补偿组的凸轮机械补偿方式，用于补偿由于变焦而产生的像面移动，为了保证变焦过程中始终能够得到清晰稳定的像，机械补偿变焦系统中变倍组作线性运动来改变整个系统的放大倍率，补偿运动组元作非线性运动来补偿前一运动组元在运动过程中导致的系统像面的位移量，如此保持像面稳定；后固定组(1.1.3.4)用于将连续变焦系统的出曈像投射至固定像面处；离轴反射式光学系统(1.1.1)和连续变焦光学系统(1.1.3)组合形成离轴折反式连续变焦二级子系统(1.1)，在驱动模块(1.2)、D/A转换与驱动器控制电路(1.3)协同作用下，构建视场可调的连续变焦一级子系统(1)实现目标视场可调并且连续变焦。
8.如权利要求7所述的一种视场可调的连续变焦目标识别方法，其特征在于：步骤二具体实现方法包括如下步骤，
步骤2.1：基于视场可调的连续变焦一级子系统(1)，利用红外相机(2.1)和可见光CCD相机(2.2)实现目标图像采集(2.3)；
为了满足夜间及恶劣天气、伪装及隐蔽情况下的目标成像，利用红外相机(2.1)热感应性强的特点，采用红外相机(2.1)结合视场可调的连续变焦一级子系统(1)对目标进行多姿态、复杂环境红外成像采集；同时利用高清可见光相机的图像高分辨、直观性强的优点，利用可见光CCD相机(2.2)结合视场可调的连续变焦一级子系统(1)对目标进行多姿态、复杂环境彩色成像采集；
步骤2.2：利用FPGA图像预处理电路模块(2.4)对采集到的目标图像进行图像处理(2.5)，构建目标图像数据库(2.6)；
红外图像数据库及可见光数据库的建立是在FPGA图像预处理电路模块(2.4)中完成的，由4部分组成，包括:对所获得的图像进行预处理、进行特征提取、进行特征量化并根据量化信息的类别进行相应的类别标定、最后对量化信息进行建库保存；
FPGA图像预处理电路模块(2.4)中的自适应降噪电路用于进行图像预处理，对未经过预处理的图像进行特征提取会受到干扰信息影响产生大量误差，因此对图像预处理是非常必要的；常用的预处理方法包括定标校正法、高通滤波校正法、人工神经网络法、高频振动扫描法；现选用定标校正法中的二点校正法，之所以选取二点校正法是因为在探测器的响应为线性而且具有时间稳定性时，二点法是简单、虽常用、最有效的方法；
FPGA图像预处理电路模块(2.4)中的特征提取电路用于进行图像特征提取，图像经过预处理基本消除干扰信息影响，但采集到的图片信息往往包含很多无用信息，如图像中包含背景信息、目标信息冗余等；而目标识别时往往仅需要某个区域的图像特征即可，因此需要进行特征提取，对某个区域进行精准对比；图像特征提取方法包括人工标定法或算法自动提取；
FPGA图像预处理电路模块(2.4)中的特征量化电路用于进行图像特征量化及类别标定，特征量化是指从原始特征中选取一组有效的特征子集，并使特征空间维度降低的过程；其任务就是根据待识别对像的实验观测，信号处理或有关专家知识，挑选出那些能够表征待识别对象特点而又对识别正确性有影响的特征，摒弃冗杂的特征信息，从D个特征中选取一组d个最优特征(D>d)；现采用全局寻优的分支定界法进行特征选择与量化，采用KNN分类器进行类别标定；在完成了目标图像预处理、特征提取、特征量化及类别标定后，将量化后的目标及标签分类存储，构建目标图像数据库，用于训练深度神经网络。
9.如权利要求8所述的一种视场可调的连续变焦目标识别方法，其特征在于：步骤三具体实现方法包括如下步骤，
步骤3.1：构建基于NG(·)的深度神经网络(3.2)模型，采用步骤二中的目标图像数据库(2.6)训练该网络形成目标识别一级子系统(3)；
深度学习通过模拟具有丰富层次结构的脑神经系统，建立类似于人脑的分层模型结构，对输入数据逐级提取，形成更加抽象的高层表示；深度神经网络利用多层非线性信息处理来实现有监督或者无监督的特征提取和转换、模式分析和分类，用来解释如图像、声音、文本的数据；
目标识别一级子系统(3)的深度神经网络(3.2)采用DenseNet(Densely ConnectedConvolutional Networks)网络结构，通过DenseNet提升网络层数，采用本专利提出的非线性构造激活函数：NG(f(xi))＝f(xi-ti)+ti激活网络非线性，并且采用Xavier初始化网络参数，对网络进行Batch Normalization，解决网络收敛速度慢、鲁棒性差的不足；目标识别一级子系统的深度神经网络采用目标红外图像与彩色图像进行分析，利用步骤二中构建的目标图像数据库(2.6)训练深度神经网络(3.2)，由于红外图像数据与彩色图像数据分别对应两组张量，即红外图像数据有一个通道数，彩色图像数据有三个通道，因此构建两个DenseNet；取目标图像数据库中的70％-90％样本数据训练网络，再用剩余10％-30％作为测试样本检验网络的分类识别性能；网络训练完成，样本测试合格后保存网络结构，构建目标识别一级子系统(3)；
步骤3.2：利用步骤3.1中构建的目标识别一级子系统(3)，识别可调视场的连续变焦目标系统采集的目标图像；
利用视场可调的连续变焦目标识别系统采集与数据库中样本相同属性的目标，该目标可以在不同环境、不同姿态下采集，将采集后的样本信息分别输入已训练好的两个DenseNet网络，得到每个输入数据目标识别结果的概率分布，系统将红外图像数据与彩色图像数据目标识别结果的概率分布相加，选取概率值最大的目标识别结果(3.4)作为最终的输出结果，即实现采集后的目标进行准确识别。
10.如权利要求6、7、8或9所述的一种视场可调的连续变焦目标识别方法，其特征在于：所述的视场可调是指变形镜连续面形(1.1.1.4)变化量所对应的物方视场移动量可调；所述的物方视场移动量可调范围由变形镜连续面形变化量决定，变形镜连续面形变化量取决于驱动器驱动电压调节量大小，而变形镜连续面形最大变化量由变形镜规格参数而定；
所述的一种视场可调的连续变焦目标识别系统是基于深度神经网络(3.2)实现的，而深度神经网络(3.2)的建立需要样本数据库，只有与样本数据库中样本同属性的目标才能被识别，但不需要保证目标采集时的姿态、环境一致；因此，所述的一种视场可调的连续变焦目标识别系统能够对目标训练数据库中的同属性目标进行识别，应用领域包括自动导航、驾驶、中医诊疗、精准医疗、工业机器人领域。
CN201810619390.9A 2018-06-11 2018-06-11 一种视场可调的连续变焦目标识别系统及方法 Active CN108830216B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810619390.9A CN108830216B (zh) 2018-06-11 2018-06-11 一种视场可调的连续变焦目标识别系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810619390.9A CN108830216B (zh) 2018-06-11 2018-06-11 一种视场可调的连续变焦目标识别系统及方法

Publications (2)

Publication Number Publication Date
CN108830216A true CN108830216A (zh) 2018-11-16
CN108830216B CN108830216B (zh) 2021-11-16

Family

ID=64142410

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810619390.9A Active CN108830216B (zh) 2018-06-11 2018-06-11 一种视场可调的连续变焦目标识别系统及方法

Country Status (1)

Country Link
CN (1) CN108830216B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109391776A (zh) * 2018-12-07 2019-02-26 中国航空工业集团公司洛阳电光设备研究所 一种用于光电吊舱连续变焦红外组件的调焦补偿控制方法
CN109885693A (zh) * 2019-01-11 2019-06-14 武汉大学 基于知识图谱的快速知识对比方法及系统
CN110188650A (zh) * 2019-05-24 2019-08-30 张碧辉 基于ptz相机的双级视场目标检测方法、装置及系统
CN112000226A (zh) * 2020-08-26 2020-11-27 杭州海康威视数字技术股份有限公司 一种人眼视线估计方法、装置及视线估计系统
CN113312992A (zh) * 2021-05-18 2021-08-27 中山方显科技有限公司 一种基于多源传感器信息融合的动态物体感知及预测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101349809A (zh) * 2008-08-29 2009-01-21 北京理工大学 基于moems的变焦和调焦系统
CN102622586A (zh) * 2012-03-08 2012-08-01 湖南创远智能科技有限公司 一种利用可见光辅助调焦的虹膜采集光学系统
CN103051884A (zh) * 2013-01-14 2013-04-17 哈尔滨工程大学 一种粗精观察模式相结合的全方位视觉监视系统
CN103813102A (zh) * 2014-03-08 2014-05-21 哈尔滨工业大学 一种用于细节成像的车载可变焦全景监控系统
CN105301748A (zh) * 2015-12-04 2016-02-03 中国航空工业集团公司洛阳电光设备研究所 一种双波段三视场红外光学系统
CN107846536A (zh) * 2017-10-27 2018-03-27 李晨阳 一种用于校园监控的自动跟踪系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101349809A (zh) * 2008-08-29 2009-01-21 北京理工大学 基于moems的变焦和调焦系统
CN102622586A (zh) * 2012-03-08 2012-08-01 湖南创远智能科技有限公司 一种利用可见光辅助调焦的虹膜采集光学系统
CN103051884A (zh) * 2013-01-14 2013-04-17 哈尔滨工程大学 一种粗精观察模式相结合的全方位视觉监视系统
CN103813102A (zh) * 2014-03-08 2014-05-21 哈尔滨工业大学 一种用于细节成像的车载可变焦全景监控系统
CN105301748A (zh) * 2015-12-04 2016-02-03 中国航空工业集团公司洛阳电光设备研究所 一种双波段三视场红外光学系统
CN107846536A (zh) * 2017-10-27 2018-03-27 李晨阳 一种用于校园监控的自动跟踪系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杜柯;程雪岷;郝群: "深海探测变焦光学系统的设计", 《激光与光电子学进展》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109391776A (zh) * 2018-12-07 2019-02-26 中国航空工业集团公司洛阳电光设备研究所 一种用于光电吊舱连续变焦红外组件的调焦补偿控制方法
CN109885693A (zh) * 2019-01-11 2019-06-14 武汉大学 基于知识图谱的快速知识对比方法及系统
CN109885693B (zh) * 2019-01-11 2021-08-03 武汉大学 基于知识图谱的快速知识对比方法及系统
CN110188650A (zh) * 2019-05-24 2019-08-30 张碧辉 基于ptz相机的双级视场目标检测方法、装置及系统
CN110188650B (zh) * 2019-05-24 2021-01-19 张碧辉 基于ptz相机的双级视场目标检测方法、装置及系统
CN112000226A (zh) * 2020-08-26 2020-11-27 杭州海康威视数字技术股份有限公司 一种人眼视线估计方法、装置及视线估计系统
CN113312992A (zh) * 2021-05-18 2021-08-27 中山方显科技有限公司 一种基于多源传感器信息融合的动态物体感知及预测方法

Also Published As

Publication number Publication date
CN108830216B (zh) 2021-11-16

Similar Documents

Publication Publication Date Title
CN108830216A (zh) 一种视场可调的连续变焦目标识别系统及方法
CN107132516B (zh) 一种基于深度置信网络的雷达一维距离像目标识别方法
CN108537191B (zh) 一种基于结构光摄像头的三维人脸识别方法
CN105138998B (zh) 基于视角自适应子空间学习算法的行人重识别方法及系统
CN109559332B (zh) 一种结合双向LSTM和Itracker的视线跟踪方法
CN101202845B (zh) 红外图像转换为可见光图像的方法及其装置
CN113627504B (zh) 基于生成对抗网络的多模态多尺度特征融合目标检测方法
CN103679266B (zh) 一种管道视频检测的自动光源系统
CN109448035A (zh) 基于深度学习的红外图像与可见光图像配准方法
CN113743544A (zh) 一种跨模态神经网络构建方法、行人检索方法及系统
CN107845145B (zh) 一种电子显微场景下的三维重构系统及方法
Ocquaye et al. Dual exclusive attentive transfer for unsupervised deep convolutional domain adaptation in speech emotion recognition
CN110097033A (zh) 一种基于特征扩充的单样本人脸识别方法
CN113239824B (zh) 一种基于3D-Ghost模块的多模态训练单模态测试的动态手势识别方法
CN113419624A (zh) 一种基于头部时序信号校正的眼动交互方法及装置
CN116185182B (zh) 一种融合眼动注意力的可控图像描述生成系统及方法
CN108460829B (zh) 一种用于ar系统的三维图像注册方法
Zhu et al. Emotion Recognition in Learning Scenes Supported by Smart Classroom and Its Application.
Cao et al. Effects of Imperfection and Noise on the Image Reconstruction Through a Multimode Fiber with a Neural Network
CN118379562B (zh) 一种基于渐进式互指导的组合零样本图像分类方法
CN114863505B (zh) 一种基于三叉戟卷积神经网络的行人重识别方法
CN113688800B (zh) 一种显性状态引导的视频行人属性识别方法
CN117935172B (zh) 一种基于光谱信息过滤的可见光红外行人重识别方法及系统
CN115223220B (zh) 一种基于关键点回归的人脸检测方法
Wang et al. Image dehazing based on Uformer modified WGAN

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant