CN105139370A - 一种基于可见光与近红外双波段相机的实时图像融合方法 - Google Patents

Abstract

本发明一种基于可见光与近红外双波段相机的实时图像融合方法，包含以下步骤：一、首先通过局部最小算子求出可见光图像和近红外图像的共有分量；二、将可见光图像减去共有分量得到可见光图像独有分量；三、将近红外图像减去共有分量得到近红外图像独有分量；四、将近红外图像独有分量和可见光图像独有分量分别赋给中间图像的R和G分量值，将可见光图像独有分量与近红外图像独有分量之差赋给中间图像的B分量；五、将中间图像的RGB分量转换成YUV分量，然后将可见光图像的U、V分量替换中间图像的U、V分量；六、将替换后的中间图像转换成RGB分量获得融合图像。本发明硬件结构简单，可以同时呈现红外目标轮廓和可见光彩色信息。

Description

一种基于可见光与近红外双波段相机的实时图像融合方法

技术领域

本发明涉及图像融合处理技术。图像融合是多传感器信息融合的可视信息部分的融合，是将多源信道所采集的关于同一目标图像经过一定的图像处理，提取各自信道的信息，最后综合成统一图像或综合图像特性以供观察或进一步处理。图像融合在军用方面主要是军事目标的定位、识别、跟踪、侦察，隐蔽武器的探测，战场监控，夜间飞行指导等。图像融合技术还广泛的应用在导航、摄影、医学等领域。

背景技术

图像融合系统具有突出的探测优越性，时空覆盖宽、目标分辨率与测量维数高、冗余性、互补性、及相对较低的成本优势，由于图像融合系统所具有的突出的探测优越性，所以在美、英等技术发达国家受到高度重视并已取得相当的进展。

国际上在图像信息融合的不同层次上开展大量的模型与算法研究，提出了各种系统形式。理论上对于图像融合方法的研究是取得了很大的进步，发展很快。

图像融合的方法较多，从最初最为简单的加权平均法，即将原图像对应像素的灰度值进行加权平均，生成新的图像；然后出现了由Blln提出的拉普拉斯金字塔法，比率低通金字塔法，对比度金字塔法，梯度金字塔等融合方法。随着90年代小波变换在图像处理中的广泛应用，小波变换技术也被成功地应用于图像融合；本发明主要涉及到像素级比例图像融合方法。

发明内容

为了克服复杂图像融合算法处理实时性不足问题，本发明提出了一种基于可见光与近红外双波段相机的实时图像融合方法，包含以下步骤：

一、通过局部最小算子求出可见光图像和近红外图像的共有分量，设可见光图像分量为V(i,j)，近红外图像分量为I(i,j)。则两种图像的共有分量C(i,j)可用式(1)表示

C(i,j)＝V(i,j)∩I(i,j)＝min{V(i,j),I(i,j)}(1)

二、将可将光图像分量减去可见光与近红外的共有分量，得到可见光图像独有分量V^*(i,j)，表示如下式

V^*(i,j)＝V(i,j)–C(i,j)(2)

三、将近红外图像分量减去可见光与近红外的共有分量，得到近红外图像独有分量I^*(i,j)，表示如下式

I^*(i,j)＝I(i,j)–C(i,j)(3)

四、将近红外图像独有分量和可见光图像独有分量分别赋给中间图像M(i,j)的R和G分量值，另外将可见光图像独有分量与近红外图像独有分量之差赋给M(i,j)的B分量，表示如下式

$\left(\begin{array}{c}R\\ G\\ B\end{array}\right)=\left(\begin{array}{c}{I}^{*}\\ V^{*}\\ V^{*}-I^{*}\end{array}\right)---\left(4\right)$

五、将中间图像M(i,j)的RGB空间转换成YUV空间，然后将可见光图像V(i,j)的U’、V’分量替换U、V分量获得YU’V’图像；

六、最后将替换后的中间图像的YU’V’空间图像转换成RGB空间，获得最终融合图像F(i,j)，如下式：

F(i,j)＝T_RGB{YU’V’}(5)

其中T_RGB{},表示色彩空间转换符。

本发明的另一目的在于提供一种实现实时图像融合方法的实时图像融合系统，采用FPGA芯片，通过硬件描述语言实现以下模块：局部最小运算模块、灰度相减模块、RGB转YUV模块、和YUV转RGB模块；

所述局部最小运算模块用于通过局部最小算子求出可见光图像和近红外图像的共有分量；

所述灰度相减模块用于将可见光图像减去共有分量得到可见光图像独有分量；将近红外图像减去共有分量得到近红外图像独有分量；将近红外图像独有分量和可见光图像独有分量分别赋给中间图像的R和G分量值，将可见光图像独有分量与近红外图像独有分量之差赋给中间图像的B分量；

所述RGB转YUV模块用于将中间图像的RGB分量转换成YUV分量，然后将可见光图像的U、V分量替换中间图像的U、V分量；

所述YUV转RGB模块用于将替换后的中间图像转换成RGB分量，获得最终融合图像。

本发明方法采用线性运算，硬件实现简单，实时性好，不会降低融合图像的分辨率，可以同时呈现红外目标轮廓和可见光彩色信息，在近红外光照条件下，可以达到彩色夜视融合效果。

附图说明：

图1是基于可见光与近红外双波段相机的实时图像融合处理流程图

图2是基于FPGA的融合算法实现框图

图3(a)是实施例中可见光通道图像；

图3(b)是实施例中近红外通道图像

图3(c)是实施例中可将光与近红外融合图像

具体实施方式

根据说明书所述的基于可见光与近红外双波段相机的实时图像融合方法，其处理流程如图1所示。

一、通过局部最小算子求出可见光图像和近红外图像的共有分量，设可见光图像分量为V(i,j)，近红外图像分量为I(i,j)。则两种图像的共有分量C(i,j)可用式(1)表示

C(i,j)＝V(i,j)∩I(i,j)＝min{V(i,j),I(i,j)}(1)

二、将可将光图像分量减去可见光与近红外的共有分量，得到可见光图像独有分量V^*(i,j)，表示如下式

V^*(i,j)＝V(i,j)–C(i,j)(2)

三、将近红外图像分量减去可见光与近红外的共有分量，得到近红外图像独有分量I^*(i,j)，表示如下式

I^*(i,j)＝I(i,j)–C(i,j)(3)

四、将近红外图像独有分量和可见光图像独有分量分别赋给中间图像M(i,j)的R和G分量值，另外将可见光图像独有分量与近红外图像独有分量之差赋给M(i,j)的B分量，表示如下式

$\left(\begin{array}{c}R\\ G\\ B\end{array}\right)=\left(\begin{array}{c}{I}^{*}\\ V^{*}\\ V^{*}-I^{*}\end{array}\right)---\left(4\right)$

五、将中间图像M(i,j)的RGB空间转换成YUV空间，然后将可见光图像V(i,j)的U’、V’分量替换U、V分量获得YU’V’图像；

六、最后将替换后的中间图像的YU’V’空间图像转换成RGB空间，获得最终融合图像F(i,j)，如下式：

F(i,j)＝T_RGB{YU’V’}(5)

其中T_RGB{},表示色彩空间转换符。

实施方式采用FPGA来实现，其中包括局部最小运算模块、灰度相减模块、RGB转YUV模块、和YUV转RGB模块，所有处理形成一个流水线式的pipiline,便于实现高速的实时处理。本发明的具体实施方案是采用Altera的Arrial-II系列FPGA实现，这些模块都采用VHDL语言进行编写，FPGA中的处理流程如图2所示，通过ModelSim进行功能仿真和时序仿真，并最终下载到FPGA中进行在线验证。本方案中具体是采用JAI一款可见光和近红外双波段相机作为视频源，可同时送出可见光和近红外图像，参见图3(a),图3(b)，分辨率1024X768,其帧频达到每秒30帧频，图像融合算法仿真效果如图3(c)所示。实验证明该图像融合方法适合于近红外光照条件下的实时融合处理，并且能够满足时延小，高帧频的要求。

可以理解的是，对本领域普通技术人员来说，可以根据本发明的技术方案及其发明构思加以等同替换或改变，而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。

Claims (2)

1.一种基于可见光与近红外双波段相机的实时图像融合方法，包含以下步骤：

一、通过局部最小算子求出可见光图像和近红外图像的共有分量；

二、将可见光图像减去共有分量得到可见光图像独有分量；

三、将近红外图像减去共有分量得到近红外图像独有分量；

四、将近红外图像独有分量和可见光图像独有分量分别赋给中间图像的R和G分量值，将可见光图像独有分量与近红外图像独有分量之差赋给中间图像的B分量；

五、将中间图像的RGB分量转换成YUV分量，然后将可见光图像的U、V分量替换中间图像的U、V分量；

六、将替换后的中间图像转换成RGB分量，获得最终融合图像。

2.一种实现权利要求1所述的实时图像融合方法的实时图像融合系统，采用FPGA芯片，通过硬件描述语言实现以下模块：局部最小运算模块、灰度相减模块、RGB转YUV模块、和YUV转RGB模块；

所述局部最小运算模块用于通过局部最小算子求出可见光图像和近红外图像的共有分量；

所述灰度相减模块用于将可见光图像减去共有分量得到可见光图像独有分量；将近红外图像减去共有分量得到近红外图像独有分量；将近红外图像独有分量和可见光图像独有分量分别赋给中间图像的R和G分量值，将可见光图像独有分量与近红外图像独有分量之差赋给中间图像的B分量；

所述RGB转YUV模块用于将中间图像的RGB分量转换成YUV分量，然后将可见光图像的U、V分量替换中间图像的U、V分量；

所述YUV转RGB模块用于将替换后的中间图像转换成RGB分量，获得最终融合图像。