CN108270968A - 一种红外与可见光图像融合探测系统及方法 - Google Patents

Abstract

本发明公开了一种红外与可见光图像融合探测系统，包括FPGA控制器和数字信号处理器，所述FPGA控制器的信号端接连接有红外传感器，所述FPGA控制器的信号端还连接有可见光传感器，所述FPGA控制器的信号端通过数据存储器与数字信号处理器相连接，所述数字信号处理器的信号端通过RS232接口与上位机相连接，所述FPGA控制器的内部设置有图像融合处理模块，所述图像融合处理模块的信号端连接有图像匹配器，所述图像匹配器的输出端连接有特征提取器，所述特征提取器的输出端通过阈值分类模块与数字信号处理器相连接，采用DSP+FPGA模式，体积小、成本低，不仅能够降低处理机的设计成本和减少处理机体积，同时使处理机具有较强的灵活性和稳定性。

Description

一种红外与可见光图像融合探测系统及方法

技术领域

本发明涉及融合探测系统领域，具体为一种红外与可见光图像融合探测系统及方法。

背景技术

多源图像融合是指对来源于不同属性、不同波段的传感器图像进行多级别、多方面、多层次的处理与综合，从而获得更丰富、更精确、更可靠的有用信息，典型的图像传感器有可见光成像器、红外成像仪、夜视仪和微波成像仪等，还存在以下不足之处：

例如，申请号为201611239157.5，专利名称为一种多模态探测系统图像融合的方法和装置的发明专利：

其根据第一转换矩阵和每个第一像素点在第一坐标系中的第一坐标，确定每个第一像素点在第二坐标系中的第二坐标；根据每个第一像素点的第二坐标和第二图像中的每个第二像素点在第二坐标系中的第三坐标，将第一图像和第二图像融合，得到多模态探测图像。本发明提高了第一图像和第二图像融合的准确性。

但是，现有的红外与可见光图像融合探测系统存在以下缺陷：

(1)不同属性成像传感器获取图像的方式不同，致使多源图像的目标特性不同，因此对于不同的应用环境，图像融合实时信息处理系统的设计也不同，同时也对图像融合处理系统有了更高的要求，如实时性、智能性、稳定性和可维护性等；

(2)现有的可见光图像与红外图像实时融合系统是当前多源成像制导信息处理领域的研究热点，在成像制导应用中，由于受飞行器装载环境的制约，可见光和红外图像融合实时信息处理系统有体积约束和功耗的限制，不能像通用计算机信息处理系统那样有充分的空间和能量资源用于满足计算机处理速度的需求。

发明内容

为了克服现有技术方案的不足，本发明提供一种红外与可见光图像融合探测系统及方法，能有效的解决背景技术提出的问题。

本发明解决其技术问题所采用的技术方案是：

一种红外与可见光图像融合探测系统，包括FPGA控制器和数字信号处理器，所述FPGA控制器的信号端接连接有红外传感器，所述FPGA控制器的信号端还连接有可见光传感器，所述FPGA控制器的信号端通过数据存储器与数字信号处理器相连接，所述数字信号处理器的信号端通过RS232接口与上位机相连接，所述FPGA控制器的内部设置有图像融合处理模块，所述图像融合处理模块的信号端连接有图像匹配器，所述图像匹配器的输出端连接有特征提取器，所述特征提取器的输出端通过阈值分类模块与数字信号处理器相连接。

进一步地，所述图像融合处理模块的信号端连接有数模转换器。

进一步地，所述FPGA控制器的内部采用乒乓操作，所述FPGA控制器的输入端通过数据线与内部的SRAM存储器相连接，所述SRAM存储器的输出端与FPGA控制器输出端的控制线路相连接。

进一步地，所述上位机的内部设置有Labview控制器，所述Labview控制器的交互端口与人机交互界面相连接。

进一步地，所述FPGA控制器的信号端还设置有帧存储器。

另外本发明还设计了一种红外与可见光图像融合探测方法，包括如下步骤：

步骤100、红外传感器接收到红外图像和可见光图像后，FPGA数字逻辑对红外图像和可见光图像进行预处理，通过帧存储器对预处理过的可见光图像和红外图像进行帧存；

步骤200、DSP对帧存的数字图像进行提取、配准和图像融合，并通过DSP系统对图像进一步的目标检测和识别；

步骤300、通过通信接口将图像识别信息输出；

步骤400、DSP实现图像信息的融合处理。

与现有技术相比，本发明的有益效果是：

(1)本发明采用DSP+FPGA模式，体积小、成本低，不仅能够降低处理机的设计成本和减少处理机体积，同时使处理机具有较强的灵活性和稳定性，通过硬件芯片选型和电路设计可解决处理机的功耗、体积和处理速度矛盾，使可见光与红外图像实时信息处理机的设计完全达到飞行器的应用要求；

(2)本发明在接收到红外图像和可见光图像后，FPGA数字逻辑对红外图像和可见光图像进行预处理，通过帧存储器对预处理过的可见光图像和红外图像进行帧存，利用DSP对帧存的数字图像进行提取、配准和图像融合，并通过DSP系统对图像进一步的目标检测和识别，最后通过通信接口将图像识别信息输出；采用DSP实现图像信息的融合处理，便于系统调试过程中，信息处理方法的优化和改进，通过软件可以有针对性的分别实现三种不同层次的融合算法，给图像融合处理带来了很大的灵活性。

附图说明

图1为本发明的整体结构示意图；

图2为本发明的图像融合处理模块示意图。

图中标号：

1-FPGA控制器；2-数字信号处理器；3-数据存储器；4-RS232接口；5-SRAM存储器；6-可见光传感器；7-红外传感器；8-帧存储器；9-上位机；10-Labview控制器；11-人机交互界面；12-图像融合处理模块；13-图像匹配器；14-特征提取器；15-阈值分类模块；16-数模转换器。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明提供了一种红外与可见光图像融合探测系统，包括FPGA控制器1和数字信号处理器2，所述FPGA控制器1的信号端接连接有红外传感器7，所述FPGA控制器1的信号端还连接有可见光传感器6，所述FPGA控制器1的信号端通过数据存储器3与数字信号处理器2相连接，红外传感器7和可见光传感器6通过成像曝光主要负责对图像曝光参数进行控制，传感器则按着一定编码协议将采集到的信号通过高速串行通信链路传输至FPGA控制器1中，然后解调为16字节的数据并以20MHz暂存在FIFO中，当FIFO达到N个像元后，送入图像缓存中，FPGA的控制信号对系统的缓存写入时间、FIFO发送时间以及地址产生的有效时间进行控制，其中地址产生是指在FIFO发送时产生存储地址，该地址是用来缓存数据的存储地址。

其方法是：

步骤100、红外传感器接收到红外图像和可见光图像后，FPGA数字逻辑对红外图像和可见光图像进行预处理，通过帧存储器对预处理过的可见光图像和红外图像进行帧存；

步骤200、DSP对帧存的数字图像进行提取、配准和图像融合，并通过DSP系统对图像进一步的目标检测和识别；

步骤300、通过通信接口将图像识别信息输出；

步骤400、DSP实现图像信息的融合处理。

所述数字信号处理器2的信号端通过RS232接口4与上位机9相连接，所述上位机9的内部设置有Labview控制器10，所述Labview控制器10的交互端口与人机交互界面11相连接，数字信号处理器2作用是产生控制信息和地址信息，一方面将调制后的传感器控制信息通过高速串行通信链路发送至传感器，实现对传感器的控制；另一方面将存储在缓存区的图像信息进行提取和处理，并依据通信协议将处理过的图像信息调制传输至上位机9，数字信号处理器2通过数据内存控制器实现对数据存储器3的读/写操作进行控制，将FIFO发送的缓存图像和已处理图像信息按照数字信号处理器2发送的存储地址进行存储；数字信号处理器2通过EMIF接口控制EEROM中的程序信息的读取，并将EEROM的处理程序送入DSP内部ROM，便于下一步CPU的调用。

所述FPGA控制器1的内部设置有图像融合处理模块12，所述图像融合处理模块12的信号端连接有图像匹配器13，所述图像匹配器13的输出端连接有特征提取器14，所述特征提取器14的输出端通过阈值分类模块15与数字信号处理器2相连接，所述图像融合处理模块12的信号端连接有数模转换器16，图像融合处理模块12将各传感器所获得的图像特征信息进行提取，并对这些特征信息综合分析和处理，图像的特征信息主要包括背景的相似亮度区域和轮廓特征、边缘特征、形状特征、拓扑特征等，特征级的融合处理主要是在原始图像信息中获取相关的特征信息，达到提高图像特征信息可信度，去除虚假特征信息，并重新建立其图像复合特征的目的。特征级图像处理输入是图像，输出的却是数据。

进一步说明的是，通过对图像特征级的融合处理，其数据量要比源图像的数据小，因此能够提高图像数据的处理速度和图像数据传输效率，从而有效的实现对图像数据的自动实时处理，特征级图像融合处理为更高层的决策级图像融合处理做准备，特征级图像融合的方法主要有聚类分析方法、贝叶斯估计方法、Dempster-Shafer推理方法、信息熵方法、加权平均方法等，由于特征级图像融合是将原始图像信息中提取相关的特征信息，并重新建立图像复合特征，原始图像特征提取的质量好坏，直接决定特征级图像融合的质量好坏，在进行特征级图像融合时，其配准要求没有像素级图像融合那么高，因此在实时信息处理器进行特征级图像融合时，FPGA中进行原始图像信息的特征提取操作，而特征分类主要在DSP中进行。

进一步说明的是，所述FPGA控制器1的内部采用乒乓操作，所述FPGA控制器1的输入端通过数据线与内部的SRAM存储器5相连接，所述SRAM存储器5的输出端与FPGA控制器1输出端的控制线路相连接，所述FPGA控制器1的信号端还设置有帧存储器8，所述FPGA控制器1采用了乒乓操作作为从SRAM存储器5中读写数据的方式，在同一时间两个SRAM存储器5分别执斤写入和读出的操作，提高了系统程序的处理效率。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (6)

1.一种红外与可见光图像融合探测系统，包括FPGA控制器(1)和数字信号处理器(2)，其特征在于：所述FPGA控制器(1)的信号端接连接有红外传感器(7)，所述FPGA控制器(1)的信号端还连接有可见光传感器(6)，所述FPGA控制器(1)的信号端通过数据存储器(3)与数字信号处理器(2)相连接，所述数字信号处理器(2)的信号端通过RS232接口(4)与上位机(9)相连接，所述FPGA控制器(1)的内部设置有图像融合处理模块(12)，所述图像融合处理模块(12)的信号端连接有图像匹配器(13)，所述图像匹配器(13)的输出端连接有特征提取器(14)，所述特征提取器(14)的输出端通过阈值分类模块(15)与数字信号处理器(2)相连接。

2.根据权利要求1所述的一种红外与可见光图像融合探测系统，其特征在于：所述图像融合处理模块(12)的信号端连接有数模转换器(16)。

3.根据权利要求1所述的一种红外与可见光图像融合探测系统，其特征在于：所述FPGA控制器(1)的内部采用乒乓操作，所述FPGA控制器(1)的输入端通过数据线与内部的SRAM存储器(5)相连接，所述SRAM存储器(5)的输出端与FPGA控制器(1)输出端的控制线路相连接。

4.根据权利要求1所述的一种红外与可见光图像融合探测系统，其特征在于：所述上位机(9)的内部设置有Labview控制器(10)，所述Labview控制器(10)的交互端口与人机交互界面(11)相连接。

5.根据权利要求1所述的一种红外与可见光图像融合探测系统，其特征在于：所述FPGA控制器(1)的信号端还设置有帧存储器(8)。

6.一种基于权利要求1所述系统的探测方法，其特征在于：包括如下步骤：

步骤100、红外传感器接收到红外图像和可见光图像后，FPGA数字逻辑对红外图像和可见光图像进行预处理，通过帧存储器对预处理过的可见光图像和红外图像进行帧存；

步骤200、DSP对帧存的数字图像进行提取、配准和图像融合，并通过DSP系统对图像进一步的目标检测和识别；

步骤300、通过通信接口将图像识别信息输出；

步骤400、DSP实现图像信息的融合处理。