CN108154494A - 一种基于微光和红外传感器的图像融合系统 - Google Patents
一种基于微光和红外传感器的图像融合系统 Download PDFInfo
- Publication number
- CN108154494A CN108154494A CN201711419454.2A CN201711419454A CN108154494A CN 108154494 A CN108154494 A CN 108154494A CN 201711419454 A CN201711419454 A CN 201711419454A CN 108154494 A CN108154494 A CN 108154494A
- Authority
- CN
- China
- Prior art keywords
- image
- low
- light
- fusion
- chip
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 51
- 238000012545 processing Methods 0.000 claims abstract description 40
- 239000003086 colorant Substances 0.000 claims abstract description 13
- 238000004364 calculation method Methods 0.000 claims abstract description 5
- 238000000034 method Methods 0.000 claims description 40
- 238000003860 storage Methods 0.000 claims description 26
- 238000002156 mixing Methods 0.000 claims description 17
- 230000015654 memory Effects 0.000 claims description 13
- 238000013519 translation Methods 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 9
- 230000002708 enhancing effect Effects 0.000 claims description 8
- 238000004891 communication Methods 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 6
- 238000007500 overflow downdraw method Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 230000001133 acceleration Effects 0.000 claims description 3
- 230000003321 amplification Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 3
- 230000002093 peripheral effect Effects 0.000 claims description 3
- 230000003139 buffering effect Effects 0.000 claims 1
- 230000002349 favourable effect Effects 0.000 abstract 1
- 230000000694 effects Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000011835 investigation Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 206010044565 Tremor Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 235000019504 cigarettes Nutrition 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 239000000155 melt Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于微光和红外传感器的图像融合系统，分为微光和红外传感器信息采集模块，FPGA核心处理模块，DSP协处理模块和输出显示模块；外部的微光与红外传感器采集的视频图像经过接口输入到装置中；输入视频图像进行图像的预处理：包括图像去噪声、图像增强和图像配准，其中图像去噪声和图像增强处理，要求延时较低，在FPGA芯片中实现，图像配准算法需要的计算量较大，在DSP芯片中实现；经过预处理后的视频图像通过FPGA芯片进行融合，包括灰度融合和伪彩色融合；FPGA控制逻辑可以选择一路图像通过接口输出：单微光视频、单红外视频、灰度融合视频和伪彩色融合视频。本发明实现了高精度，低延迟和扩展性好的图像融合系统，对于夜间的观测、探查应用有重要实践意义。
Description
技术领域
本发明涉及一种基于微光和红外传感器的图像融合系统，适用于观瞄系统在夜间对室外场景进行观测、探查，属于数字图像处理的技术领域。
背景技术
不同的图像传感器可以接收到不同波段的光谱信号，对于光谱的响应要远远的超过人眼的能力，因此可以得到更丰富的图像信息。在现实的应用中，人们往往需要结合不同传感器提供的信息进行分析处理，鉴于便携性的考虑，更多的应用场景下多传感器的信息需要通过一个显示设备进行展示；图像融合技术就是一种将多种传感器得到的多源图像提炼、整合成为一幅图像，以获得对同一场景更精确、全面的描述的方法。本发明一种基于微光传感器和红外传感器的图像融合装置及方法，就是将微光传感器采集到的图像和红外传感器采集到的图像，通过数字图像处理的技术融合成一幅图像的技术。
在夜晚低照度的场景下，人眼不能有效的提取到场景信息。微光传感器通过高感光度CCD(电荷耦合元件)/CMOS(互补金属氧化物半导体)传感器，可以在星光的条件下正常成像，源图像有丰富的对比度、形状纹理信息，但是受于可见光波段的限制，会受到遮挡物的影响；红外传感器则可以提取场景中不同目标的热辐射信息，成像不受光照条件影响，具有穿透烟、雾等的能力，探测距离远，然而图像分辨率较低、缺乏纹理信息。综上所述，可以发现在夜晚的侦查、探测应用中，比如军事侦查、森林防火、交通检测、安防监控等，如果能够将微光传感器和红外传感器的图像信息进行融合将大大提高侦查、探测的精度。
将可见光波段和中、远红外波段的图像进行融合，从实现的手段上划分技术方案有两种：光学融合方法、全数字融合方法。
专利(公开号)CN107045208A提出了一种光学融合的方法，系统延迟低，但是存在无法查看单一传感器信息、无法保存采集到的图像的问题；而采用全数字融合的方式，虽然能解决光学融合的弊端，但是由于受到硬件的限制、传感器的性能影响，实际获得的源图像往往不能直接通过融合算法实现有效的图像融合，需要经过图像校正、增强、配准等预处理后再进行融合。
专利(公开号)CN107203987A提出了一种全数字方式的融合系统，提出了采用多核异构处理器AM572x加多核异构处理器DSP的系统方案，图像预处理通过相机的图像处理器(ISP)芯片实现，但是可扩展性比较差。
发明内容
本发明的技术解决问题是：克服现有技术的不足，提供一种基于微光和红外传感器的图像融合系统，具有高精度、低延时、可扩展性好的优点，适用于微光传感器和红外传感器的图像融合。
本发明的技术解决方案是：一种基于微光和红外传感器的图像融合系统，包括：微光和红外传感器采集模块、FPGA核心处理模块、DSP协处理模块和输出显示模块；微光和红外传感器分别采集微光和红外视频图像经过输入接口后进行预处理，所述预处理过程包括图像去噪、图像增强和图像配准：FPGA核心处理模块对输入的微光和红外视频图像进行实时去噪声和图像增强，去噪、增强的预处理算法有效地提高了后续配准的精度；DSP协处理模块对完成去噪、增强的视频图像进行配准参数计算，通过初始配准和实时配准相结合的方法，利用DSP的高速计算能力精确地求出两幅图像之间的尺度、旋转和平移参数变化关系；其中，初始配准方法计算尺度和旋转参数，实时配准利用计算复杂低的互信息方法，调整图像平移参数；DSP协处理模块完成配准参数计算后，将配准参数传输给FPGA核心处理模块，通过FPGA核心处理模块实现图像的变换以及融合算法，得到最终的融合输出图像，从视频图像输入到输出的延时小于20ms，实时性能好；所述视频图像融合算法包括灰度融合算法或伪彩色融合算法，其中灰度融合输出图像纹理细节更丰富，适合用做后续的计算机数据处理使用；伪彩融合输出图像还原了图像的色彩信息，适合监测人员的观测使用；最后通过输出显示模块进行输出，所述输出在下面4个状态中切换，包括：微光单通路视频图像、红外单通路视频图像、灰度融合输出视频图像、伪彩色视频输出视频图像。
所述灰度融合算法采用拉普拉斯金字塔融合方法。
所述拉普拉斯金字塔融合方法具体实现为：
第一步，对输入的微光视频图像进行N层拉普拉斯金字塔分解，原始的输入图像为G0,通过递推的方法求出拉普拉斯金字塔LP1,LP2,…,LPN，记作LP1_N，递推公式如下：
其中，Gl是原图G0经过l次下采样得到的；是通过对插值图像经过高斯滤波后得到的：
其中m,n是图像的水平和垂直方向的位置信息，ω(m,n)为高斯卷积核的参数，是将第(l+1)层的图像Gl+1通过补零插值放大到和第l层图像Gl相同尺度得到的，插值公式为：
由此构造出的微光拉普拉斯金字塔，记作
第二步，对输入的红外视频图像利用相同的方法进行N层拉普拉斯金字塔分解，构造出的红外拉普拉斯金字塔，记作
第三步，通过将微光和红外拉普拉斯金字塔的各层信息叠加得到融合后图像的拉普拉斯金字塔记作
其中，ωW,ωH分别是微光拉普拉斯金字塔和红外拉普拉斯金字塔的融合系数；
第四步，利用拉普拉斯金字塔重构的方法，已知融合图像各层的拉普拉斯金字塔利用自顶向下的递推方法可以得到最终拉普拉斯金字塔的融合结果
所述FPGA核心处理模块包括：FPGA芯片、SRAM存储芯片、EEPROM存储芯片、SPI-FLASH程序配置芯片、串口RS422通信模块、电源模块和时钟电路；在FPGA芯片的外围外扩了SRAM存储器芯片，用来做图像处理过程中的缓存器，对处理前、后的数据进行临时存储，起到很好的缓冲作用；EEPROM芯片则用来存储配准参数，包括尺度缩放、旋转参数、平移值；串口芯片用来接收上位机的命令，控制FPGA逻辑，控制输出显示；电源模块为FPGA芯片提供所需的1.2V、2.5V和3.3V电压，并为外部SRAM存储芯片、EEPROM存储芯片、SPI-FLASH程序配置芯片提供3.3V电压；时钟电路对FPGA芯片提供独立的时钟信号。
所述DSP协处理模块包括：DSP芯片、FLASH程序配置芯片、DDR外部存储器、电源模块和时钟电路；DSP芯片在处理过程中所需的软件程序事先固化在外扩的Flash存储器中，另外还外扩了DDR存储器用以存储处理前后的数据；时钟电路提供独立的时钟信号，电源模块为DSP提供所需的1.8V内核电压和外围电路所需的3.3V电压，利用DSP芯片处理速度快、运算精度高优点，完成微光和红外图像的初始和实时配准功能，同时通过SRIO和GPIO的接口与FPGA核心处理模块进行数据通信，FLASH存储器用于装载实现各种功能的算法程序，DDR存储器用于存储处理前后的数据。
所述初始配准的步骤如下：
第一步，利用Canny算子提取图像的边缘特征；
第二步，将边缘特征利用聚类的方法分成n组匹配特征集；
第三步，采用随机抽样一致算法RANSAC调整特征集，分别计算尺度变换和旋转变换后的误差值；
第四步，最后，通过迭代方法得到尺度和旋转的参数。
所述实时配准采用了最大互信息算法，两幅图像的互信息计算公式：
令图像A和B的互信息分别为I(A,B)，PA(a)、PB(b)为图像A、B的归一化分布；PAB(ab)为图像A和B的归一化联合分布，采用鲍威尔方向加速法Powell，在垂直和水平的方向上寻找使得I(A,B)最大的平移量，结合尺度、旋转和平移信息可以得到最终的配准参数。
所述I(A,B)计算的迭代次数为200-500，能得到收敛的优解。
本发明与现有技术相比的优点在于：
(1)通过运行在FPGA上的视频图像预处理算法，包括去噪声和增强，可以提高图像的边缘信息，进而优化图像的配准精度，提高融合效果；另外，通过图像去噪声提高图像信噪比，通过图像增强丰富图像的纹理信息，达到提高图像融合效果的目的；
(2)基于FPGA+DSP的处理系统，通过初始配准和实时配准相结合的方法，DSP可以精确的计算出两幅图像之间的尺度、旋转和平移参数变化关系，将参数传输给FPGA后，FPGA可以实时的将图像通过尺度、旋转和平移变换达到图像配准的目的。初始配准方法计算尺度和旋转参数，结合实时配准方法调整平移参数，配准精度高，实时性能好。
(3)采用全数字融合的方法，系统的可扩展性能好，可支持多种输入分辨率和帧频的视频图像源；
附图说明
图1为本发明系统框图；
图2为本发明内部结构组成示意图；
图3为本发明中FPGA内部信号流程图；
图4为本发明中DSP配准算法流程图；
图5为本发明中直接的融合效果和经过图像预处理后的融合效果对比。
具体实施方式
下面结合附图及实施例对本发明进行详细说明。
如图1所示，为本发明的整体框架，外部的微光与红外传感器采集的视频图像经过接口输入到系统中；输入视频图像进行图像的预处理：包括图像去噪声、图像增强和图像配准，其中图像去噪声和图像增强处理，要求延时较低，在FPGA芯片中实现，图像配准算法需要的计算量较大，在DSP芯片中实现；经过预处理后的视频图像通过FPGA芯片进行融合，包括灰度融合和伪彩色融合；FPGA控制逻辑可以选择一路视频图像通过接口输出：单微光视频、单红外视频、灰度融合视频和伪彩色融合视频；上位机通信RS422协议向本装置发送控制指令，主要控制的功能包括:开启图像去噪、开启图像增强、重新进行初始配准、存储配准参数、切换输出通路的功能。
如图2所示，为本发明的内部结构组成示意图，采用Xilinx公司的可编程逻辑器件FPGA作为核心处理器加TI公司的多核异构处理器DSP作为协处理器，集成度高、实时处理能力强、可扩展性能好；整个装置可以分为微光和红外传感器信息采集模块，FPGA核心处理模块，DSP协处理模块和输出显示模块四个部分。
传感器信息采集模块用来接收外部传感器传输来的图像数据，模块由输入接口、视频信号预解码芯片和触发信号电平转换芯片组成。其中微光和红外传感器数据均采用cameralink协议传输图像数据。外部传感器数据通过cameralink接口传输给本发明中的装置后，通过解码芯片DS90CR287将信号转换成LVDS信号，作为图像数据预处理模块的输入信号。
FPGA核心处理模块包括FPGA主芯片、配置芯片、储存器SRAM/SDRAM和EEPROM、电源子模块和时钟子模块组成，其中FPGA主芯片接收来自信息采集模块的LVDS信号，完成cameralink时序解码，图像去噪声和图像增强的预处理，图像灰度和伪彩色的融合以及最终的输出视频时序编码的工作。时钟电路为FPGA芯片提供时钟信号，配置芯片为FPGA芯片存储软件程序，SRAM或SDRAM存储器为FPGA芯片提供存储空间，EEPROM存储器存储图像的配准参数，电源模块为FPGA芯片提供电源。
DSP协处理模块包括DSP主芯片、配置芯片、储存芯片DDR、电源子模块和时钟子模块组成；DSP协处理模块与FPGA核心处理模块之间通过SRIO和GPIO协议进行数据交换，主要传输图像数据和配准参数。其中DSP主芯片接收FPGA发送的微光和红外的图像数据，通过配准算法计算出两个不同传感器采集到的图像之间的仿射变换矩阵，然后通过GPIO将矩阵参数传输给FPGA核心处理模块；配置芯片为DSP芯片存储软件程序，DDR存储器为DSP芯片提供存储空间，时钟模块和电源模块分别为DSP芯片提供主时钟和供电。配准算法采用了初始配准和实时配准相结合的方式，初始配准通过精确的尺度和旋转参数计算修正两幅图像之间的差异，实时配准利用计算复杂低的互信息方法，调整图像平移参数，完成最终的图像配准。提高了配准精度，也能够达到实时性配准的要求。
输出显示模块包括视频信号编号芯片和输出接口。输出视频同样选用cameralink的传输协议，为了装置的便携性和集成性考虑装置只留有一路cameralink输出接口，但是通过FPGA内部信号切换的方式，显示模块可以提供单微光通路视频、单红外通路视频、双传感器灰度融合视频以及双传感器伪彩色融合视频四中不同的视频输出模式。编码芯片采用DS90CR288，接口采用的标准cameralink制式。
其中微光和红外传感器信息采集模块包括：输入微光接口1、输入红外接口2、微光解码模块3、红外解码模块4、电平转换模块6。其中微光接口1和红外接口2采用标准的cameralink制式，微光和红外的解码模块采用DS90CR287芯片；红外传感器的输入帧频50Hz，数据位宽8bit，分辨率为640x480；微光传感器的输入帧频为50Hz，数据位宽12bit，分辨率为1024x768。通过微光和红外传传感器信息采集模块后，将微光和红外视频转换成4路LVDS信号，输入FPGA核心处理模块进行处理。
FPGA核心处理模块包括：FPGA芯片7、SRAM存储芯片8、EEPROM存储芯片9、SPI-FLASH程序配置芯片10、串口RS422通信模块11、电源稳压降压模块12和时钟电路14。其中FPGA芯片7采用了Xilinx公司生产的XC7KxT，与其配套的程序配置芯片选用NUMONYX公司的N25Q128，具有体积小的特点；在FPGA芯片7的外围外扩了SRAM存储器芯片8，用来做图像处理过程中的缓存器，可以对处理前、后的数据进行临时存储，起到很好的缓冲作用；EEPROM芯片则是用来存储配准参数，包括尺度缩放、旋转参数、平移值；串口芯片采用Maxim公司的MAX3467芯片；电源模块12为FPGA芯片7提供所需的1.2V、2.5V和3.3V电压，并为SRAM存储芯片8、EEPROM存储芯片9，配置芯片10提供3.3V电压；时钟电路14对FPGA芯片7提供独立的时钟信号。
FPGA作为主控芯片，内部的视频信号处理流程如图3所示。首先微光和红外传感器的信号，分别经过图像去噪声算法和图像增强算法，达到提升图像的信噪比、锐化图像边缘、增加图像纹理信息的功能。同时通过串口422控制程序，可以控制是否需要在原图的基础上使用去噪声或增强的预处理。进一步，通过通用目的IO接口(GPIO)接收来自于DSP协处理模块计算出的配准参数，将配准参数通过I2C协议写入到EEPROM存储芯片中。将EEPROM存储器中的初始配准读入FPGA逻辑单元，对红外通路的图像进行变倍和旋转变化；读取GPIO的实时配准参数，对微光通路的图像进行平移变化。进一步，经过图像预处理的微光、红外图像通过灰度融合算法和伪彩色融合算法实现不同的图像融合效果；
其中灰度融合算法采用拉普拉斯金字塔融合的方法，具体实现为：
第一步，对输入的微光视频图像进行N层拉普拉斯金字塔分解，原始的输入图像为G0,通过递推的方法求出拉普拉斯金字塔LP1,LP2,…,LPN，记作LP1_N，递推公式如下：
其中，Gl是原图G0经过l次下采样得到的；是通过对插值图像经过高斯滤波后得到的：
其中m,n是图像的水平和垂直方向的位置信息，ω(m,n)为高斯卷积核的参数，是将第(l+1)层的图像Gl+1通过补零插值放大到和第l层图像Gl相同尺度得到的，插值公式为：
当0≤l<N-1
由此构造出的微光拉普拉斯金字塔，记作
第二步，对输入的红外视频图像利用相同的方法进行N层拉普拉斯金字塔分解，构造出的红外拉普拉斯金字塔，记作
第三步，通过将微光和红外拉普拉斯金字塔的各层信息叠加得到融合后图像的拉普拉斯金字塔记作
其中，ωW,ωH分别是微光拉普拉斯金字塔和红外拉普拉斯金字塔的融合系数；
第四步，利用拉普拉斯金字塔重构的方法，已知融合图像各层的拉普拉斯金字塔利用自顶向下的递推方法可以得到最终拉普拉斯金字塔的融合结果
伪彩色融合算法采用了自然色融合的方法。
进一步，通过串口接收的命令和FPGA内部控制逻辑可以进行输出模式的切换：微光单通路视频输出，红外单通路视频输出，灰度融合视频输出，伪彩色融合视频输出。
DSP协处理模块包括：DSP芯片13、FLASH程序配置芯片15、DDR外部存储器16、电源模块12和时钟电路14。其中DSP芯片采用TI公司的多核异构处理器TMS320C6455。DSP芯片13在处理过程中所需的软件程序事先固化在外扩的Flash存储器15中，另外还外扩了DDR存储器16用以存储处理前后的数据。时钟电路14对DSP提供独立的时钟信号，电源模块12为DSP提供所需的1.8V内核电压和外围电路所需的3.3V电压。利用DSP芯片13处理速度快、运算精度高等优点，完成微光和红外图像的初始和实时配准功能，同时通过SRIO和GPIO的接口与FPGA核心模块进行数据通信，Flash存储器15用于装载实现各种功能的算法程序，DDR存储器16用于存储处理前后的数据。
如图4所示，DSP中的配准算法通过两个步骤来实现，系统上电后通过参考场景进行初始配准，计算出两张图像之间的仿射变换矩阵，将参数存储在EEPROM芯片中，作为基本图像配准参数；在基本配准参数的基础上，通过实时配准：最大互信息算法调整图像的平移参数，移除装置的使用中左右扰动或上下震动产生的误差。
初始配准的步骤如下：第一步，利用Canny算子提取图像的边缘特征；第二步，将边缘特征利用聚类的方法分成n组匹配特征集；第三步，采用随机抽样一致(RANSAC)算法调整特征集，分别计算尺度变换和旋转变换后的误差值；最后，通过迭代方法得到尺度和旋转的参数，实时配准采用了最大互信息算法，两幅图像的互信息计算公式：
令图像A和B的互信息分别为I(A,B)，Pa(A)、Pb(B)为图像A、B的归一化分布；Pab(AB)为图像A和B的归一化联合分布。采用鲍威尔方向加速法(Powell)在垂直和水平的方向上寻找使得I(A,B)取值最大的平移量，实验表明迭代200～500次之内，能得到收敛的优解。
输出显示模块包括：cameralink编码芯片17和输出视频接口18。其中cameralink编码芯片采用DS90CR288，输出视频接口采用标准的cameralink制式。
本发明通过图像的预处理过程，消除了前端传感器的视场不一致问题，最终的融合指标达到了两路传感器中对应点的平均误差小于1.5个像素，对比效果图如图5所示。其中上图为正常的融合输出图像，有明显的重影效果；下图为本发明的融合效果，两路传感器的图像完全重合；同时，本发明的预处理和配准过程总共耗时在17到19ms左右，满足50Hz实时视频处理的要求。
本发明使用了FPGA+DSP的架构，可扩展性能好，其中输入视频图像支持多种分辨率的格式(包括1280*720,1024*768，640*480)和多种输入帧频(包括25Hz,30Hz和50Hz)。
本发明说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。
Claims (8)
1.一种基于微光和红外传感器的图像融合系统，其特征在于：包括微光和红外传感器采集模块、FPGA核心处理模块、DSP协处理模块和输出显示模块；微光和红外传感器分别采集微光和红外视频图像经过输入接口后进行预处理，所述预处理过程包括图像去噪、图像增强和图像配准：FPGA核心处理模块对输入的微光和红外视频图像进行实时去噪声和图像增强，去噪、增强的预处理算法有效地提高了后续配准的精度；DSP协处理模块对完成去噪、增强的视频图像进行配准参数计算，通过初始配准和实时配准相结合的方法，利用DSP的高速计算能力精确地求出两幅图像之间的尺度、旋转和平移参数变化关系；其中，初始配准方法计算尺度和旋转参数，实时配准利用计算复杂低的互信息方法，调整图像平移参数；DSP协处理模块完成配准参数计算后，将配准参数传输给FPGA核心处理模块，通过FPGA核心处理模块实现图像的变换以及融合算法，得到最终的融合输出图像；所述视频图像融合算法包括灰度融合算法或伪彩色融合算法，其中灰度融合输出图像纹理细节更丰富，适合用做后续的计算机数据处理使用；伪彩融合输出图像还原了图像的色彩信息，适合监测人员的观测使用；最后通过输出显示模块进行输出，所述输出在下面4个状态中切换，包括：微光单通路视频图像、红外单通路视频图像、灰度融合输出视频图像、伪彩色视频输出视频图像。
2.根据权利要求1所述的基于微光和红外传感器的图像融合系统，其特征在于：所述灰度融合算法采用拉普拉斯金字塔融合方法。
3.根据权利要求2所述的基于微光和红外传感器的图像融合系统，其特征在于：所述拉普拉斯金字塔融合方法具体实现为：
第一步，对输入的微光视频图像进行N层拉普拉斯金字塔分解，原始的输入图像为G0,通过递推的方法求出拉普拉斯金字塔LP1,LP2,…,LPN，记作LP1_N，递推公式如下：
其中，Gl是原图G0经过l次下采样得到的；是通过对插值图像经过高斯滤波后得到的：
其中m,n是图像的水平和垂直方向的位置信息，ω(m,n)为高斯卷积核的参数，是将第(l+1)层的图像Gl+1通过补零插值放大到和第l层图像Gl相同尺度得到的，插值公式为：
当0≤l<N-1
由此构造出的微光拉普拉斯金字塔，记作
第二步，对输入的红外视频图像利用相同的方法进行N层拉普拉斯金字塔分解，构造出的红外拉普拉斯金字塔，记作
第三步，通过将微光和红外拉普拉斯金字塔的各层信息叠加得到融合后图像的拉普拉斯金字塔记作
其中，ωW,ωH分别是微光拉普拉斯金字塔和红外拉普拉斯金字塔的融合系数；
第四步，利用拉普拉斯金字塔重构的方法，已知融合图像各层的拉普拉斯金字塔利用自顶向下的递推方法可以得到最终拉普拉斯金字塔的融合结果
4.根据权利要求1所述的基于微光和红外传感器的图像融合系统，其特征在于：所述FPGA核心处理模块包括：FPGA芯片、SRAM存储芯片、EEPROM存储芯片、SPI-FLASH程序配置芯片、串口RS422通信模块、电源模块和时钟电路；在FPGA芯片的外围外扩了SRAM存储器芯片，用来做图像处理过程中的缓存器，对处理前、后的数据进行临时存储，起到很好的缓冲作用；EEPROM芯片则用来存储配准参数，包括尺度缩放、旋转参数、平移值；串口芯片用来接收上位机的命令，控制FPGA逻辑，控制输出显示；电源模块为FPGA芯片提供所需的1.2V、2.5V和3.3V电压，并为外部SRAM存储芯片、EEPROM存储芯片、SPI-FLASH程序配置芯片提供3.3V电压；时钟电路对FPGA芯片提供独立的时钟信号。
5.根据权利要求1所述的基于微光和红外传感器的图像融合系统，其特征在于：所述DSP协处理模块包括：DSP芯片、FLASH程序配置芯片、DDR外部存储器、电源模块和时钟电路；DSP芯片在处理过程中所需的软件程序事先固化在外扩的Flash存储器中，另外还外扩了DDR存储器用以存储处理前后的数据；时钟电路提供独立的时钟信号，电源模块为DSP提供所需的1.8V内核电压和外围电路所需的3.3V电压，利用DSP芯片处理速度快、运算精度高优点，完成微光和红外图像的初始和实时配准功能，同时通过SRIO和GPIO的接口与FPGA核心处理模块进行数据通信，FLASH存储器用于装载实现各种功能的算法程序，DDR存储器用于存储处理前后的数据。
6.根据权利要求1所述的基于微光传感器和红外传感器的图像融合系统，其特征在于：所述初始配准的步骤如下：
第一步，利用Canny算子提取图像的边缘特征；
第二步，将边缘特征利用聚类的方法分成n组匹配特征集；
第三步，采用随机抽样一致算法RANSAC调整特征集，分别计算尺度变换和旋转变换后的误差值；
第四步，最后，通过迭代方法得到尺度和旋转的参数。
7.根据权利要求6所述的基于微光传感器和红外传感器的图像融合系统，其特征在于：所述实时配准采用了最大互信息算法，两幅图像的互信息计算公式：
令图像A和B的互信息分别为I(A,B)，PA(a)、PB(b)为图像A、B的归一化分布；PAB(ab)为图像A和B的归一化联合分布，采用鲍威尔方向加速法Powell，在垂直和水平的方向上寻找使得I(A,B)最大的平移量，结合尺度、旋转和平移信息可以得到最终的配准参数。
8.根据权利要求7所述的基于微光传感器和红外传感器的图像融合系统，其特征在于：所述I(A,B)计算的迭代次数为200-500，能得到收敛的优解。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711419454.2A CN108154494B (zh) | 2017-12-25 | 2017-12-25 | 一种基于微光和红外传感器的图像融合系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711419454.2A CN108154494B (zh) | 2017-12-25 | 2017-12-25 | 一种基于微光和红外传感器的图像融合系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108154494A true CN108154494A (zh) | 2018-06-12 |
| CN108154494B CN108154494B (zh) | 2019-05-14 |
Family
ID=62464510
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711419454.2A Active CN108154494B (zh) | 2017-12-25 | 2017-12-25 | 一种基于微光和红外传感器的图像融合系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108154494B (zh) |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109544489A (zh) * | 2018-10-10 | 2019-03-29 | 中国航空工业集团公司洛阳电光设备研究所 | 一种多波段增强视景系统图像融合方法 |
| CN109618087A (zh) * | 2019-01-28 | 2019-04-12 | 北京晶品特装科技有限责任公司 | 一种具备精确目标定位功能的红外和微光融合夜视仪 |
| CN109788170A (zh) * | 2018-12-25 | 2019-05-21 | 合肥芯福传感器技术有限公司 | 一种基于红外与可见光的视频图像处理系统及方法 |
| CN110097491A (zh) * | 2018-01-29 | 2019-08-06 | 北京展讯高科通信技术有限公司 | 一种基于片上系统的图像数据处理方法、系统及电子设备 |
| WO2020125062A1 (zh) * | 2018-12-20 | 2020-06-25 | 广东浪潮大数据研究有限公司 | 一种图像融合方法及相关装置 |
| CN111601014A (zh) * | 2019-02-20 | 2020-08-28 | 中科院微电子研究所昆山分所 | 一种图像处理传输方法及系统 |
| CN111652809A (zh) * | 2019-07-29 | 2020-09-11 | 天津大学 | 一种增强细节的红外图像噪声抑制方法 |
| CN111784621A (zh) * | 2020-07-10 | 2020-10-16 | 深圳市中江天华科技有限公司 | 一种利用微光、红外融合的图像采集信号增强方法 |
| CN111815732A (zh) * | 2020-07-24 | 2020-10-23 | 西北工业大学 | 一种针对中红外图像上色的方法 |
| CN112965922A (zh) * | 2021-03-03 | 2021-06-15 | 南昌黑鲨科技有限公司 | 一种用于增强智能终端的ai性能的方法及系统 |
| CN113727028A (zh) * | 2021-09-03 | 2021-11-30 | 中国人民解放军32802部队 | 一种模块化夜视成像相机 |
| CN114159007A (zh) * | 2022-02-11 | 2022-03-11 | 极限人工智能有限公司 | 内窥镜、内窥镜影像系统以及手术机器人 |
| CN114240860A (zh) * | 2021-12-06 | 2022-03-25 | 深圳先进技术研究院 | 图像融合方法、电子设备及存储介质 |
| CN114936174A (zh) * | 2022-06-09 | 2022-08-23 | 中国兵器工业计算机应用技术研究所 | 基于地面无人平台的图像处理与融合计算方法 |
| CN116017122A (zh) * | 2023-03-22 | 2023-04-25 | 中国科学院长春光学精密机械与物理研究所 | 微光数字观瞄镜成像机芯电路及观瞄镜 |
| CN116245708A (zh) * | 2022-12-15 | 2023-06-09 | 江苏北方湖光光电有限公司 | 一种红外图像目标轮廓勾勒ip核的设计方法 |
| CN116363026A (zh) * | 2022-12-26 | 2023-06-30 | 江苏北方湖光光电有限公司 | 一种用于复杂环境条件下目标快速发现的图像融合方法 |
| CN117030733A (zh) * | 2023-07-07 | 2023-11-10 | 哈尔滨工业大学 | 一种基于fpga的多模激光激发宽光谱多源融合成像检测系统及方法 |
| CN117097994A (zh) * | 2023-07-14 | 2023-11-21 | 四川辰宇微视科技有限公司 | 多个微光图像放大增强的采集系统 |
| CN117132519A (zh) * | 2023-10-23 | 2023-11-28 | 江苏华鲲振宇智能科技有限责任公司 | 基于vpx总线多传感器图像融合处理模块 |
| CN117173070A (zh) * | 2023-11-02 | 2023-12-05 | 南昌理工学院 | 一种基于fpga的图像处理融合方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080177507A1 (en) * | 2006-10-10 | 2008-07-24 | Mian Zahid F | Sensor data processing using dsp and fpga |
| CN103177433A (zh) * | 2013-04-09 | 2013-06-26 | 南京理工大学 | 红外与微光图像融合方法 |
| CN103390281A (zh) * | 2013-07-29 | 2013-11-13 | 西安科技大学 | 一种双光谱夜视仪车载系统及双光谱融合设计方法 |
| CN105590305A (zh) * | 2016-03-04 | 2016-05-18 | 温健阳 | 基于红外与微光图像融合技术的彩色夜视系统 |
| CN106815826A (zh) * | 2016-12-27 | 2017-06-09 | 上海交通大学 | 基于场景识别的夜视图像彩色融合方法 |
-
2017
- 2017-12-25 CN CN201711419454.2A patent/CN108154494B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080177507A1 (en) * | 2006-10-10 | 2008-07-24 | Mian Zahid F | Sensor data processing using dsp and fpga |
| CN103177433A (zh) * | 2013-04-09 | 2013-06-26 | 南京理工大学 | 红外与微光图像融合方法 |
| CN103390281A (zh) * | 2013-07-29 | 2013-11-13 | 西安科技大学 | 一种双光谱夜视仪车载系统及双光谱融合设计方法 |
| CN105590305A (zh) * | 2016-03-04 | 2016-05-18 | 温健阳 | 基于红外与微光图像融合技术的彩色夜视系统 |
| CN106815826A (zh) * | 2016-12-27 | 2017-06-09 | 上海交通大学 | 基于场景识别的夜视图像彩色融合方法 |
Non-Patent Citations (3)
| Title |
|---|
| 栾莹莹: "微光与红外图像配准技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 王飞宇: "多核图像处理平台及其在夜视图像融合中的应用", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 皮冬明: "一种基于FPGA红外微光图像融合夜视系统设计", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110097491A (zh) * | 2018-01-29 | 2019-08-06 | 北京展讯高科通信技术有限公司 | 一种基于片上系统的图像数据处理方法、系统及电子设备 |
| CN110097491B (zh) * | 2018-01-29 | 2023-01-24 | 北京紫光展锐通信技术有限公司 | 一种基于片上系统的图像数据处理方法、系统及电子设备 |
| CN109544489A (zh) * | 2018-10-10 | 2019-03-29 | 中国航空工业集团公司洛阳电光设备研究所 | 一种多波段增强视景系统图像融合方法 |
| CN109544489B (zh) * | 2018-10-10 | 2022-10-04 | 中国航空工业集团公司洛阳电光设备研究所 | 一种多波段增强视景系统图像融合方法 |
| WO2020125062A1 (zh) * | 2018-12-20 | 2020-06-25 | 广东浪潮大数据研究有限公司 | 一种图像融合方法及相关装置 |
| CN109788170A (zh) * | 2018-12-25 | 2019-05-21 | 合肥芯福传感器技术有限公司 | 一种基于红外与可见光的视频图像处理系统及方法 |
| CN109618087A (zh) * | 2019-01-28 | 2019-04-12 | 北京晶品特装科技有限责任公司 | 一种具备精确目标定位功能的红外和微光融合夜视仪 |
| CN111601014A (zh) * | 2019-02-20 | 2020-08-28 | 中科院微电子研究所昆山分所 | 一种图像处理传输方法及系统 |
| CN111652809A (zh) * | 2019-07-29 | 2020-09-11 | 天津大学 | 一种增强细节的红外图像噪声抑制方法 |
| CN111784621A (zh) * | 2020-07-10 | 2020-10-16 | 深圳市中江天华科技有限公司 | 一种利用微光、红外融合的图像采集信号增强方法 |
| CN111815732A (zh) * | 2020-07-24 | 2020-10-23 | 西北工业大学 | 一种针对中红外图像上色的方法 |
| CN112965922A (zh) * | 2021-03-03 | 2021-06-15 | 南昌黑鲨科技有限公司 | 一种用于增强智能终端的ai性能的方法及系统 |
| CN113727028B (zh) * | 2021-09-03 | 2022-03-25 | 中国人民解放军32802部队 | 一种模块化夜视成像相机 |
| CN113727028A (zh) * | 2021-09-03 | 2021-11-30 | 中国人民解放军32802部队 | 一种模块化夜视成像相机 |
| CN114240860A (zh) * | 2021-12-06 | 2022-03-25 | 深圳先进技术研究院 | 图像融合方法、电子设备及存储介质 |
| CN114159007A (zh) * | 2022-02-11 | 2022-03-11 | 极限人工智能有限公司 | 内窥镜、内窥镜影像系统以及手术机器人 |
| CN114936174A (zh) * | 2022-06-09 | 2022-08-23 | 中国兵器工业计算机应用技术研究所 | 基于地面无人平台的图像处理与融合计算方法 |
| CN114936174B (zh) * | 2022-06-09 | 2024-01-30 | 中国兵器工业计算机应用技术研究所 | 基于地面无人平台的图像处理与融合计算方法 |
| CN116245708A (zh) * | 2022-12-15 | 2023-06-09 | 江苏北方湖光光电有限公司 | 一种红外图像目标轮廓勾勒ip核的设计方法 |
| CN116245708B (zh) * | 2022-12-15 | 2024-07-30 | 江苏北方湖光光电有限公司 | 一种红外图像目标轮廓勾勒ip核的设计方法 |
| CN116363026A (zh) * | 2022-12-26 | 2023-06-30 | 江苏北方湖光光电有限公司 | 一种用于复杂环境条件下目标快速发现的图像融合方法 |
| CN116017122A (zh) * | 2023-03-22 | 2023-04-25 | 中国科学院长春光学精密机械与物理研究所 | 微光数字观瞄镜成像机芯电路及观瞄镜 |
| CN117030733A (zh) * | 2023-07-07 | 2023-11-10 | 哈尔滨工业大学 | 一种基于fpga的多模激光激发宽光谱多源融合成像检测系统及方法 |
| CN117030733B (zh) * | 2023-07-07 | 2024-08-16 | 哈尔滨工业大学 | 一种基于fpga的多模激光激发宽光谱多源融合成像检测系统及方法 |
| CN117097994A (zh) * | 2023-07-14 | 2023-11-21 | 四川辰宇微视科技有限公司 | 多个微光图像放大增强的采集系统 |
| CN117132519A (zh) * | 2023-10-23 | 2023-11-28 | 江苏华鲲振宇智能科技有限责任公司 | 基于vpx总线多传感器图像融合处理模块 |
| CN117132519B (zh) * | 2023-10-23 | 2024-03-12 | 江苏华鲲振宇智能科技有限责任公司 | 基于vpx总线多传感器图像融合处理模块 |
| CN117173070A (zh) * | 2023-11-02 | 2023-12-05 | 南昌理工学院 | 一种基于fpga的图像处理融合方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108154494B (zh) | 2019-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108154494B (zh) | 一种基于微光和红外传感器的图像融合系统 | |
| US20180158246A1 (en) | Method and system of providing user facial displays in virtual or augmented reality for face occluding head mounted displays | |
| US11196918B2 (en) | System, method, and apparatus for determining a high dynamic range image | |
| US10580140B2 (en) | Method and system of real-time image segmentation for image processing | |
| DE102018132245A1 (de) | Verfahren und System zur rekurrenten semantischen Segmentierung zur Bildverarbeitung | |
| CN108171734B (zh) | 一种orb特征提取与匹配的方法及装置 | |
| US11871110B2 (en) | Single image ultra-wide fisheye camera calibration via deep learning | |
| CN111652921B (zh) | 一种单目深度预测模型的生成方法及单目深度预测方法 | |
| CN105651384A (zh) | 一种全光信息采集系统 | |
| CN104580933A (zh) | 基于特征点的多尺度实时监控视频拼接装置及拼接方法 | |
| CN113076685A (zh) | 图像重建模型的训练方法、图像重建方法及其装置 | |
| US10861243B1 (en) | Context-sensitive augmented reality | |
| WO2020056769A1 (en) | Method and system of facial resolution upsampling for image processing | |
| CN108200324B (zh) | 一种基于可变焦距镜头的成像系统及成像方法 | |
| EP3466051A1 (en) | Three-dimensional noise reduction | |
| WO2017205492A1 (en) | Three-dimensional noise reduction | |
| WO2019042034A1 (zh) | 三光融合智能成像仪及其方法 | |
| GB2599217A (en) | Multi-level optical flow estimation framework for stereo pairs of images based on spatial partitioning | |
| CN110620885B (zh) | 一种红外微光图像融合系统、方法及电子设备 | |
| WO2022083118A1 (zh) | 一种数据处理方法及相关设备 | |
| CN108401551B (zh) | 双镜头微光立体全景成像装置及其超大视场测距方法 | |
| CN116824080A (zh) | 一种基于多传感器融合实现输电走廊slam点云建图方法 | |
| CN106023057B (zh) | 一种用于皮下静脉显影仪的控制处理系统及成像方法 | |
| Liu et al. | Sensors for future VR applications | |
| CN114067134A (zh) | 烟尘环境下多光谱目标探测方法、系统、设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |