CN110210292A - 一种基于深度学习的目标识别方法 - Google Patents
一种基于深度学习的目标识别方法 Download PDFInfo
- Publication number
- CN110210292A CN110210292A CN201910328057.7A CN201910328057A CN110210292A CN 110210292 A CN110210292 A CN 110210292A CN 201910328057 A CN201910328057 A CN 201910328057A CN 110210292 A CN110210292 A CN 110210292A
- Authority
- CN
- China
- Prior art keywords
- image
- main control
- control chip
- spectral information
- infrared
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000013135 deep learning Methods 0.000 title claims abstract description 16
- 238000001228 spectrum Methods 0.000 claims abstract description 65
- 238000003384 imaging method Methods 0.000 claims abstract description 61
- 230000003595 spectral effect Effects 0.000 claims abstract description 60
- 238000012937 correction Methods 0.000 claims abstract description 31
- 230000000694 effects Effects 0.000 claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 19
- 230000004927 fusion Effects 0.000 claims description 24
- 238000002156 mixing Methods 0.000 claims description 19
- 239000000284 extract Substances 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 238000003709 image segmentation Methods 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 3
- 230000005855 radiation Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000155 melt Substances 0.000 description 1
- 238000002844 melting Methods 0.000 description 1
- 230000008018 melting Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
一种基于深度学习的目标识别方法，包括如下步骤：通过高精度成像系统获取活动场景的光谱图像；提取所述光谱图像的光谱信息，并导入至所述成像系统的光谱信息数据库进行数据匹配；若所述光谱信息数据库中匹配到对应的光谱信息，所述主控芯片自动定位出所述光谱信息在光谱图像中的位置坐标，并根据所述位置坐标，所述主控芯片控制所述成像系统进行活动场景的全方位摄像扫描，获得红外图像和光谱图像，并进行图像融合处理；最后，将所述融合后的图像进行非均匀校正；本发明方法简单易操作，采用FPGA作为成像系统的主控芯片，算法精确，能够较快速对待识别目标进行实时识别，适于在公共场合中普及使用。
Description
技术领域
本发明涉及基于目标识别的安防技术领域，尤其涉及一种基于深度学习的目标识别方法。
背景技术
现有的公共场合多应用闭路视频监控系统对待识别目标进行事后监控，如对丢失儿童的找寻、嫌疑犯的识别，而缺乏对待识别目标的实时识别、定位与跟踪；目前，高光谱相机作为图像识别的主流技术之一，已存有将高光谱相机应用于公共场合配合闭路视频监控系统进行目标识别，然而，基于高光谱相机成像的图像清晰度不高，凸显程度一致，可识别性不强，容易造成系统误判，无法快速准确对待识别目标进行实时识别，也不能较为准确地对待识别目标进行实时定位与跟踪。
发明内容
本发明的目的是提供一种基于深度学习的目标识别方法，用于解决现有技术中存在的高光谱相机进行公共场合实时目标识别时图像清晰度不高、凸显程度一致，导致无法快速准确对待识别目标进行实时识别的技术问题。
本发明采用的技术方案如下：
一种基于深度学习的目标识别方法，所述方法包括如下步骤：
步骤1：通过高精度成像系统获取活动场景的光谱图像；
步骤2：提取所述光谱图像的光谱信息，将所述光谱信息导入至所述成像系统的光谱信息数据库进行数据匹配，完成初步信息筛选；
步骤3：若所述光谱信息匹配失败，则所述成像系统中的主控芯片控制进行下一帧活动场景光谱图像的获取；
步骤4：若所述光谱信息数据库中匹配到对应的光谱信息，所述主控芯片自动定位出所述光谱信息在光谱图像中的位置坐标，并根据所述位置坐标，所述主控芯片控制所述成像系统进行活动场景的全方位摄像扫描，获得红外图像和光谱图像，并进行图像融合处理；
步骤5：将融合处理后的图像进行非均匀校正。
优选地，所述成像系统包括高光谱成像仪、焦平面相机和红外相机；所述红外相机数量为2个以上，且所述焦平面相机与红外相机集成在高光谱成像仪中，并分别与所述主控芯片通信连接，所述主控芯片包括FPGA，所述光谱信息在FPGA的内部RAM中进行数据匹配。
优选地，在所述步骤1中获取活动场景光谱图像时，所述主控芯片控制所述红外相机处于未激活状态。
优选地，所述步骤4具体包括：
所述主控芯片自动定位出所述光谱信息在光谱图像中的位置坐标后，确定出已匹配成功的所述光谱信息的中心位置，计算出所述成像系统的成像标板与水平方向的夹角，并确定出所述成像标板与所述成像系统中的摄像模组之间的偏转角度，所述主控芯片控制所述红外相机以及所述高光谱成像仪沿着所述偏转角度进行分辨率扫描，完成活动场景的全方位摄像扫描。
在所述红外相机以及所述高光谱成像仪沿着所述偏转角度进行分辨率扫描时，所述主控芯片通过对红外视场内的光谱信息识别区域以及光谱视场内的光谱信息识别区域进行运动检测，确定其运动轨迹，并完成两个运动轨迹的拟合，选取尺度变换矩阵，使用该矩阵生成待融合的红外图像以及高光谱图像。
所述主控芯片进一步控制FPGA中的图像融合处理单元对所述红外图像以及所述高光谱图像进行亮度调节、去噪、中心配准、融合以及图像增强等操作，其中，所述图像融合处理单元包括DSP，FLASH以及尺度校正存储器；所述FPGA结合尺度校正存储器共同完成红外图像的细节提取以及轮廓提取，并完成光谱图像与红外图像之间的配准几何尺度变换，以及图像细节和轮廓融合；所述DSP连接图像编码器，并结合连接FLASH以及FPGA中的RAM，用于将经过处理的数字视频信号结合行、场同步信号合成为模拟视频信号并进行驱动以便于显示；
当所述主控芯片控制进行所述红外图像以及光谱图像融合时，所述图像融合处理单元对所述红外图像以及光谱图像各自分成不重叠的块，分别计算其中的信息量，将所述红外图像以及光谱图像使用高斯金字塔分成不同尺度的图像，所述FPGA在不同尺度提取细节特征，并根据所述信息量特征进行加权评估，最后采用拉普拉斯金字塔进行合成，形成新的融合图像。
对融合处理后的图像进行亮度检测，并与一标准亮度进行对比，当所述图像亮度低于所述标准亮度时，对图像亮度进行处理以达到适于测试的亮度值；对融合处理后的图像进行图像去噪，所述图像去噪仅针对所述光谱信息识别区域进行去噪，以减少所述主控芯片的运算消耗；采用自适应图像增强技术对融合后的图像进行图像增强处理。优选地，在所述步骤5中，对融合处理后的图像进行非均匀校正方法，其具体包括：
步骤5.1：在所述高精度成像系统用于活动场景成像前，分别采集所述红外相机各个光敏元在各温度值下的响应数据，并利用如下公式分别计算各温度段的增益系数Gij和偏置系数Qij
其中Xij(H)和Xij(L)分别是像元(i，j)在高温和低温均匀辐射背景下的响应，VH和VL分别是所述红外相机中所有像元的平均输出；
步骤5.2：所述成像系统的主控芯片将上述各温度段的增益系数Gij和偏置系数Qij实时存储至FPGA内部RAM，以备后续使用；
步骤5.3：在所述步骤4完成后，利用融合处理后的融合图像的纹理和边缘特征对融合图像中的光谱信息识别区域进行深度识别；
步骤5.4：依据融合图像的不同光谱信息分布，将目标光谱区域进行图像分割，形成各个特征区域；
步骤5.5：基于FPGA的并行处理能力，分别对所述融合图像的各个特征区域同时进行非均匀校正；针对每一个特征区域，所述主控芯片首先计算所述特征区域中各点的平均温度，然后根据所述平均温度，从所述FPGA中的RAM中读取相应的校正参数，并根据如下公式完成非均匀校正
其中表示均匀辐照度条件下红外探测器输出的图像；
步骤5.6：校正后的融合图像采用均值滤波法对边界灰度值进行补偿。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
1.本发明通过对提取的光谱信息进行初步筛选，匹配成功后主控芯片激活红外相机，与高光谱成像仪进行全方位成像扫描，通过对获得的红外图像和光谱图像进行图像融合处理以及非均匀校正，完成最终的目标识别，提高了图像的清晰度、纹理以及凸显程度，使得成像系统可快速准确地进行待识别目标的实时图像识别；
2.本发明的成像系统可以实现自适应，通过图像融合处理单元对红外图像以及光谱图像进行亮度调节、去噪、融合、图像增强等处理，再对融合图像进行非均匀校正，使得融合图像分辨率进一步得到提高，从而提高了待识别目标的识别精度；
3.本发明采用FPGA作为成像系统主控芯片的核心处理单元，充分利用其并行处理能力对图像中的每一个分割区域进行非均匀校正，极大地提高了图像处理速度，使得成像系统的识别反馈更加及时。
附图说明
图1是根据本发明方法的流程图；
图2是根据本发明方法的图像融合处理流程图；
图3是根据本发明方法的图像非均匀校正流程图；
图4是根据本发明方法的实施例一的示意图；
图5是根据本发明方法的实施例二的示意图。
具体实施方式
以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。
如图1所示，本发明提供的一种基于深度学习的目标识别方法，包括以下步骤：步骤1：通过高精度成像系统获取活动场景的光谱图像；
步骤2：提取所述光谱图像的光谱信息，将所述光谱信息导入至所述成像系统的光谱信息数据库进行数据匹配，完成初步信息筛选；
步骤3：若所述光谱信息匹配失败，则所述成像系统中的主控芯片控制进行下一帧活动场景光谱图像的获取；
步骤4：若所述光谱信息数据库中匹配到对应的光谱信息，所述主控芯片自动定位出所述光谱信息在光谱图像中的位置坐标，并根据所述位置坐标，所述主控芯片控制所述成像系统进行活动场景的全方位摄像扫描，获得红外图像和光谱图像，并进行图像融合处理；
步骤5：将融合处理后的图像进行非均匀校正。
所述成像系统包括高光谱成像仪、焦平面相机和红外相机；所述红外相机数量为2个以上，优选为2个，且所述焦平面相机与红外相机集成在高光谱成像仪中，并分别与所述主控芯片通信连接，所述主控芯片包括FPGA，所述光谱信息在FPGA的内部RAM中进行数据匹配。
所述红外相机集成在高光谱成像仪的上边缘部位，并设置为3个，分别在所述上边缘部位的左、中、右位置，以实现较佳的全方位扫描摄像效果。
在所述步骤1中获取活动场景光谱图像时，所述主控芯片控制所述红外相机处于未激活状态。
如图2所示，所述步骤4具体包括：
所述主控芯片自动定位出所述光谱信息在光谱图像中的位置坐标后，确定出匹配成功的所述光谱信息的中心位置，计算出所述成像系统的成像标板与水平方向的夹角，并确定出所述成像标板与所述成像系统中的摄像模组之间的偏转角度，所述主控芯片控制所述红外相机以及所述高光谱成像仪沿着所述偏转角度进行分辨率扫描，完成活动场景的全方位摄像扫描；
在所述红外相机以及所述高光谱成像仪沿着所述偏转角度进行分辨率扫描时，所述主控芯片通过对红外视场内的光谱信息识别区域以及光谱视场内的光谱信息识别区域进行运动检测，确定其运动轨迹，并完成两个运动轨迹的拟合，选取尺度变换矩阵，使用该矩阵生成待融合的红外图像以及高光谱图像；
所述主控芯片进一步控制FPGA中的图像融合处理单元对所述红外图像以及所述高光谱图像进行亮度调节、去噪、中心配准、融合以及图像增强等操作，其中，所述图像融合处理单元包括DSP、FLASH以及尺度校正存储器；所述FPGA结合尺度校正存储器共同完成红外图像的细节提取以及轮廓提取，并完成光谱图像与红外图像之间的配准几何尺度变换，以及图像细节和轮廓融合；所述DSP连接图像编码器，并结合连接FLASH以及FPGA中的RAM，用于将经过处理的数字视频信号结合行、场同步信号合成为模拟视频信号并进行驱动以便于显示；
当所述主控芯片控制进行所述红外图像以及光谱图像融合时，所述图像融合处理单元对所述红外图像以及光谱图像各自分成不重叠的块，分别计算其中的信息量，将所述红外图像以及光谱图像使用高斯金字塔分成不同尺度的图像，所述FPGA在不同尺度提取细节特征，并根据所述信息量特征进行加权评估，最后采用拉普拉斯金字塔进行合成，形成新的融合图像；
对融合处理后的图像进行亮度检测，并与一标准亮度进行对比，当所述图像亮度低于所述标准亮度时，对图像亮度进行处理以达到适于测试的亮度值；
对融合处理后的图像进行图像去噪，所述图像去噪仅针对所述光谱信息识别区域进行去噪，以减少所述主控芯片的运算消耗；
采用自适应图像增强技术对融合后的图像进行图像增强处理；
如图3所示，在所述步骤5中，对融合处理后的图像进行非均匀校正方法，其具体包括：
步骤5.1：在所述高精度成像系统用于活动场景成像前，分别采集所述红外相机各个光敏元在各温度值下的响应数据，并利用如下公式分别计算各温度段的增益系数Gij和偏置系数Qij
其中Xij(H)和Xij(L)分别是像元(i，j)在高温和低温均匀辐射背景下的响应，VH和VL分别是所述红外相机中所有像元的平均输出；
步骤5.2：所述成像系统的主控芯片将上述各温度段的增益系数Gij和偏置系数Qij实时存储至FPGA内部RAM，以备后续使用；
步骤5.3：在所述步骤4完成后，针对融合后的图像，利用融合图像的纹理和边缘特征对融合图像中的光谱信息识别区域进行深度识别；
步骤5.4：依据融合图像的不同光谱信息分布，将目标光谱区域进行图像分割，形成各个特征区域；
步骤5.5：基于FPGA的并行处理能力，分别对所述融合图像的各个特征区域同时进行非均匀校正；针对每一个特征区域，所述主控芯片首先计算所述特征区域中各点的平均温度，然后根据所述平均温度，从所述FPGA中的RAM中读取相应的校正参数，并根据如下公式完成非均匀校正
其中表示均匀辐照度条件下红外探测器输出的图像；
步骤5.6：校正后的融合图像采用均值滤波法对边界灰度值进行补偿。
上述基于深度学习的目标识别方法简单易操作，采用FPGA作为成像系统的主控芯片，使得成像系统具有较高的运算效率，算法精确，能够较快速对待识别目标进行实时识别，适于在公共场合中普及使用，为公共场合中的安防工作提供了一种简单易行、精确度较高的方法。
下面以举例说明本发明的高精度成像系统的公共监控区域目标识别方法的应用：
实施例一：用于追踪嫌疑犯
如图4所示，在公共区域安装多个本发明的高精度成像系统，成像系统包括高光谱成像仪、焦平面相机和红外相机；所述红外相机数量为2个，且所述焦平面相机与红外相机集成在高光谱成像仪中，并分别与所述主控芯片通信连接，所述主控芯片包括FPGA，在FPGA的内部RAM储存嫌疑犯面部及身体特征数据。
通过高精度成像系统获取公共区域活动场景的光谱图像；提取所述光谱图像的光谱信息，将所述光谱信息导入至所述成像系统的光谱信息在FPGA的内部RAM数据库中进行匹配，完成初步信息筛选；若所述光谱信息匹配失败，则所述成像系统中的主控芯片控制进行下一帧活动场景光谱图像的获取；
若所述光谱信息数据库中匹配到对应的光谱信息，所述主控芯片自动定位出所述光谱信息在光谱图像中的位置坐标，并根据所述位置坐标，所述主控芯片控制所述成像系统进行活动场景的全方位摄像扫描，获得红外图像和光谱图像，并进行图像融合处理；将融合处理后的图像进行非均匀校正。
最后，将位置坐标和融合图像实时发送到相关监控部门或直接发送到附近警务人员，可进行快速追捕。
实施例二：用于找寻丢失儿童
如图5所示，在公共区域安装多个本发明的高精度成像系统，成像系统包括高光谱成像仪、焦平面相机和红外相机；所述红外相机数量为2个，且所述焦平面相机与红外相机集成在高光谱成像仪中，并分别与所述主控芯片通信连接，所述主控芯片包括FPGA，在FPGA的内部RAM储存丢失儿童面部及身体特征数据。
通过高精度成像系统获取公共区域活动场景的光谱图像；提取所述光谱图像的光谱信息，将所述光谱信息导入至所述成像系统的光谱信息在FPGA的内部RAM数据库中进行匹配，完成初步信息筛选；若所述光谱信息匹配失败，则所述成像系统中的主控芯片控制进行下一帧活动场景光谱图像的获取；
若所述光谱信息数据库中匹配到对应的光谱信息，所述主控芯片自动定位出所述光谱信息在光谱图像中的位置坐标，并根据所述位置坐标，所述主控芯片控制所述成像系统进行活动场景的全方位摄像扫描，获得红外图像和光谱图像，并进行图像融合处理；将融合处理后的图像进行非均匀校正。
最后，将位置坐标和融合图像实时发送到相关监控部门或直接发送到家属，方便进行快速确认，从而进一步寻找到丢失儿童。本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方法可以有任何形式或修改。
Claims (8)
1.一种基于深度学习的目标识别方法，其特征在于，所述方法包括如下步骤：
步骤1：通过高精度成像系统获取活动场景的光谱图像；
步骤2：提取所述光谱图像的光谱信息，将所述光谱信息导入至所述成像系统的光谱信息数据库进行数据匹配，完成初步信息筛选；
步骤3：若所述光谱信息匹配失败，则所述成像系统中的主控芯片控制进行下一帧活动场景光谱图像的获取；
步骤4：若所述光谱信息数据库中匹配到对应的光谱信息，所述主控芯片自动定位出所述光谱信息在光谱图像中的位置坐标，并根据所述位置坐标，所述主控芯片控制所述成像系统进行活动场景的全方位摄像扫描，获得红外图像和光谱图像，并进行图像融合处理；
步骤5：将融合处理后的图像进行非均匀校正。
2.根据权利要求1所述基于深度学习的目标识别方法，其特征在于，所述成像系统包括高光谱成像仪、焦平面相机和红外相机；所述红外相机数量为2个以上，且所述焦平面相机与红外相机集成在高光谱成像仪中，并分别与所述主控芯片通信连接，所述主控芯片包括FPGA，所述光谱信息在FPGA的内部RAM中进行数据匹配。
3.根据权利要求2所述基于深度学习的目标识别方法，其特征在于，在所述步骤1中获取活动场景光谱图像时，所述主控芯片控制所述红外相机处于未激活状态。
4.根据权利要求3所述基于深度学习的目标识别方法，其特征在于，所述步骤4具体包括：所述主控芯片自动定位出所述光谱信息在光谱图像中的位置坐标后，确定出已匹配成功的所述光谱信息的中心位置，计算出所述成像系统的成像标板与水平方向的夹角，并确定出所述成像标板与所述成像系统中的摄像模组之间的偏转角度，所述主控芯片控制所述红外相机以及所述高光谱成像仪沿着所述偏转角度进行分辨率扫描，完成活动场景的全方位摄像扫描。
5.根据权利要求4所述基于深度学习的目标识别方法，其特征在于，在所述红外相机以及所述高光谱成像仪沿着所述偏转角度进行分辨率扫描时，所述主控芯片通过对红外视场内的光谱信息识别区域以及光谱视场内的光谱信息识别区域进行运动检测，确定其运动轨迹，并完成两个运动轨迹的拟合，选取尺度变换矩阵，使用该矩阵生成待融合的红外图像以及高光谱图像。
6.根据权利要求5所述基于深度学习的目标识别方法，其特征在于，所述主控芯片进一步控制FPGA中的图像融合处理单元对所述红外图像以及所述高光谱图像进行亮度调节、去噪、中心配准、融合以及图像增强等操作，其中，所述图像融合处理单元包括DSP，FLASH以及尺度校正存储器；所述FPGA结合尺度校正存储器共同完成红外图像的细节提取以及轮廓提取，并完成光谱图像与红外图像之间的配准几何尺度变换，以及图像细节和轮廓融合；所述DSP连接图像编码器，并结合连接FLASH以及FPGA中的RAM，用于将经过处理的数字视频信号结合行、场同步信号合成为模拟视频信号并进行驱动以便于显示；
当所述主控芯片控制进行所述红外图像以及光谱图像融合时，所述图像融合处理单元对所述红外图像以及光谱图像各自分成不重叠的块，分别计算其中的信息量，将所述红外图像以及光谱图像使用高斯金字塔分成不同尺度的图像，所述FPGA在不同尺度提取细节特征，并根据所述信息量特征进行加权评估，最后采用拉普拉斯金字塔进行合成，形成新的融合图像。
7.根据权利要求6所述基于深度学习的目标识别方法，其特征在于，
对融合处理后的图像进行亮度检测，并与一标准亮度进行对比，当所述图像亮度低于所述标准亮度时，对图像亮度进行处理以达到适于测试的亮度值；
对融合处理后的图像进行图像去噪，所述图像去噪仅针对所述光谱信息识别区域进行去噪，以减少所述主控芯片的运算消耗；
采用自适应图像增强技术对融合后的图像进行图像增强处理。
8.根据权利要求7所述基于深度学习的目标识别方法，其特征在于，在所述步骤5中，对融合处理后的图像进行非均匀校正方法，其具体包括：
步骤5.1：在所述高精度成像系统用于活动场景成像前，分别采集所述红外相机各个光敏元在各温度值下的响应数据，并利用如下公式分别计算各温度段的增益系数Gij和偏置系数Qij
其中Xij(H)和Xij(L)分别是像元(i，j)在高温和低温均匀辐射背景下的响应，VH和VL分别是所述红外相机中所有像元的平均输出；
步骤5.2：所述成像系统的主控芯片将上述各温度段的增益系数Gij和偏置系数Qij实时存储至FPGA内部RAM，以备后续使用；
步骤5.3：在所述步骤4完成后，利用融合处理后的融合图像的纹理和边缘特征对融合图像中的光谱信息识别区域进行深度识别；
步骤5.4：依据融合图像的不同光谱信息分布，将目标光谱区域进行图像分割，形成各个特征区域；
步骤5.5：基于FPGA的并行处理能力，分别对所述融合图像的各个特征区域同时进行非均匀校正；针对每一个特征区域，所述主控芯片首先计算所述特征区域中各点的平均温度，然后根据所述平均温度，从所述FPGA中的RAM中读取相应的校正参数，并根据如下公式完成非均匀校正：
其中表示均匀辐照度条件下红外探测器输出的图像；
步骤5.6：校正后的融合图像采用均值滤波法对边界灰度值进行补偿。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910328057.7A CN110210292A (zh) | 2019-04-23 | 2019-04-23 | 一种基于深度学习的目标识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910328057.7A CN110210292A (zh) | 2019-04-23 | 2019-04-23 | 一种基于深度学习的目标识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110210292A true CN110210292A (zh) | 2019-09-06 |
Family
ID=67786147
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910328057.7A Pending CN110210292A (zh) | 2019-04-23 | 2019-04-23 | 一种基于深度学习的目标识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110210292A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110940641A (zh) * | 2019-12-20 | 2020-03-31 | 吉林求是光谱数据科技有限公司 | 一种基于成像光谱芯片技术的衣服材质的识别系统及方法 |
| CN112115850A (zh) * | 2020-09-16 | 2020-12-22 | 哈尔滨工程大学 | 一种伪装目标与背景光谱一致性分析方法 |
| CN113280919A (zh) * | 2021-05-08 | 2021-08-20 | 中国科学院长春光学精密机械与物理研究所 | 目标物体的光谱探测方法、光谱探测装置及存储介质 |
| CN115082302A (zh) * | 2021-03-15 | 2022-09-20 | 芯视界（北京）科技有限公司 | 一种光谱图像处理装置及方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103390281A (zh) * | 2013-07-29 | 2013-11-13 | 西安科技大学 | 一种双光谱夜视仪车载系统及双光谱融合设计方法 |
| CN108124142A (zh) * | 2018-01-31 | 2018-06-05 | 西北工业大学 | 基于rgb景深相机和高光谱相机的图像目标识别系统及方法 |
| CN109308702A (zh) * | 2018-09-14 | 2019-02-05 | 南京理工技术转移中心有限公司 | 一种目标实时识别定位方法 |
-
2019
- 2019-04-23 CN CN201910328057.7A patent/CN110210292A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103390281A (zh) * | 2013-07-29 | 2013-11-13 | 西安科技大学 | 一种双光谱夜视仪车载系统及双光谱融合设计方法 |
| CN108124142A (zh) * | 2018-01-31 | 2018-06-05 | 西北工业大学 | 基于rgb景深相机和高光谱相机的图像目标识别系统及方法 |
| CN109308702A (zh) * | 2018-09-14 | 2019-02-05 | 南京理工技术转移中心有限公司 | 一种目标实时识别定位方法 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110940641A (zh) * | 2019-12-20 | 2020-03-31 | 吉林求是光谱数据科技有限公司 | 一种基于成像光谱芯片技术的衣服材质的识别系统及方法 |
| CN112115850A (zh) * | 2020-09-16 | 2020-12-22 | 哈尔滨工程大学 | 一种伪装目标与背景光谱一致性分析方法 |
| CN112115850B (zh) * | 2020-09-16 | 2023-01-03 | 哈尔滨工程大学 | 一种伪装目标与背景光谱一致性分析方法 |
| CN115082302A (zh) * | 2021-03-15 | 2022-09-20 | 芯视界（北京）科技有限公司 | 一种光谱图像处理装置及方法 |
| CN115082302B (zh) * | 2021-03-15 | 2024-05-03 | 芯视界（北京）科技有限公司 | 一种光谱图像处理装置及方法 |
| CN113280919A (zh) * | 2021-05-08 | 2021-08-20 | 中国科学院长春光学精密机械与物理研究所 | 目标物体的光谱探测方法、光谱探测装置及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110210292A (zh) | 一种基于深度学习的目标识别方法 | |
| CN109308702A (zh) | 一种目标实时识别定位方法 | |
| CN103927741B (zh) | 增强目标特征的sar图像合成方法 | |
| EP0932114B1 (en) | A method of and apparatus for detecting a face-like region | |
| Steiner et al. | Design of an active multispectral SWIR camera system for skin detection and face verification | |
| CN107253485A (zh) | 异物侵入检测方法及异物侵入检测装置 | |
| CN107730445A (zh) | 图像处理方法、装置、存储介质和电子设备 | |
| CN106446873A (zh) | 人脸检测方法及装置 | |
| CN109472831A (zh) | 面向压路机施工过程的障碍物识别测距系统及方法 | |
| CN106056594A (zh) | 一种基于双光谱的可见光图像提取系统与方法 | |
| CN107800965B (zh) | 图像处理方法、装置、计算机可读存储介质和计算机设备 | |
| CN108731587A (zh) | 一种基于视觉的无人机动态目标跟踪与定位方法 | |
| CN110334635A (zh) | 主体追踪方法、装置、电子设备和计算机可读存储介质 | |
| CN109685078A (zh) | 基于自动标注的红外图像识别方法 | |
| CN110276831B (zh) | 三维模型的建构方法和装置、设备、计算机可读存储介质 | |
| CN109270853A (zh) | 一种智能生态水资源管理系统的工作方法 | |
| CN114973028B (zh) | 一种航拍视频图像实时变化检测方法及系统 | |
| CN111967288A (zh) | 智能三维物体识别和定位系统和方法 | |
| CN111965636A (zh) | 一种基于毫米波雷达和视觉融合的夜间目标检测方法 | |
| CN109059868A (zh) | 一种基于自适应匹配窗口的双目测距方法 | |
| CN112470189B (zh) | 光场系统的遮挡消除 | |
| Kurmi et al. | Pose error reduction for focus enhancement in thermal synthetic aperture visualization | |
| CN110378934A (zh) | 主体检测方法、装置、电子设备和计算机可读存储介质 | |
| CN110245575B (zh) | 一种以人体轮廓线为基础的人体体型参数捕获方法 | |
| CN113225484B (zh) | 快速获取屏蔽非目标前景的高清图片的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190906 |