CN103793896B - 一种红外图像与可见光图像的实时融合方法 - Google Patents

Abstract

本发明涉及一种红外图像与可见光图像的实时融合方法，其特征在于：应用草帽变换将待融合的红外图像与可见光图像进行融合，得到第一幅融合结果图；应用触发对比运算将待融合的红外图像与可见光图像进行融合，得到第二幅融合结果图；将前述第一幅融合结果图和第二幅融合结果图作为原始数据，应用像素取平均法进行二次图像融合，得到最终的融合结果图。

Description

一种红外图像与可见光图像的实时融合方法

技术领域

本发明涉及一种红外图像与可见光图像的实时融合方法。

背景技术

可见光图像包含了所拍摄场景丰富的细节纹理信息和频谱信息，但是体现不出有烟雾遮挡或者隐藏在低光照条件下的物体，尤其是刻意伪装的人或物。红外成像传感器穿透烟尘能力强，可以昼夜工作，能捕获到有热辐射的物体，然而红外成像仪只对温度分布较敏感，无法获取拍摄场景丰富的纹理信息和频谱信息。基于两种传感器的互补特性，将可见光图像与红外图像融合，得到一幅对场景描述更全面的图像，其中既包含了可见光图像中的信息又包含了红外图像中的信息。该两种图像的融合在军事侦察、火灾区域探测、夜间目标探测等领域有非常重要的应用。

在实际应用领域，融合效果和实时融合尤为重要。融合效果指：是否有效的将两者的互补信息融合到一起，比如在火灾现场融合效果不好就会导致遗漏目标，最终导致他人的生命受到威胁，在军事侦察领域，如果融合效果不好，会导致热辐射低或者目标较小的物体探测不到，后果不堪设想。实时融合指：能否满足在实际应用中的需求，在危机时刻，时间就是生命，在实际应用中通常需要将融合后的图像合成视频，最终实现视频融合，若融合需要的时间长，就不能满足实际需求，从而失去了使用价值。因此，融合结果要同时满足这两个条件，然而，经典的融合方法如小波变换、提升小波变换等能满足实时性需求，但是融合效果不好，近几年发展起来的基于滤波器组的图像融合如曲波变换、轮廓波变换等满足了融合效果的要求但是需要较长的时间。随着融合技术的发展，基于形态学的图像融合方法逐渐发展起来，相比基于滤波器组的图像融合方法，它具有融合效果好且融合时间短的特性。

发明内容

本发明目的在于提供一种红外图像与可见光图像的实时融合方法，融合效果好且满足实时融合要求。

实现本发明目的的技术方案：

一种红外图像与可见光图像的实时融合方法，其特征在于：

应用草帽变换将待融合的红外图像与可见光图像进行融合，得到第一幅融合结果图:；应用触发对比运算将待融合的红外图像与可见光图像进行融合，得到第二幅融合结果图；将前述第一幅融合结果图和第二幅融合结果图作为原始数据，应用像素取平均法进行二次图像融合，得到最终的融合结果图。

第一幅融合结果图通过如下方法获得，

草帽变换的多尺度分析:通过一组圆盘型的大小递增的结构体元素B₀,B₁,…B_n-1来实现，其中0≤i≤n-1，假设待融合图像为f₁、f₂。

步骤1：先通过白色草帽WTH和黑色草帽BTH分别求出f₁、f₂在各个尺度上的亮暗成分WF、BF，从以下公式（3）开始，白色草帽部分与黑色草帽部分计算过程相同，统一用XTH代表WTH、BTH，XF代表WF、BF，具体过程如下：

${\mathrm{BTH}}_i^{\mathrm{1,2}}=f_{\mathrm{1,2}}\·B_i-f_{\mathrm{1,2}}---\left(2\right)$

${\mathrm{XTH}}_{i,i+1}^{\mathrm{1,2}}={\mathrm{XTH}}_{i+1}^{\mathrm{1,2}}-{\mathrm{XTH}}_i^{\mathrm{1,2}}---\left(3\right)$

然后通过对f₁、f₂在各个尺度上取最大的方法，根据公式（4）提取出原始图像中各个尺度上的亮暗成分，

${\mathrm{XF}}_{i,i+1}=\max \{{\mathrm{XTH}}_{i,i+1}^1,{\mathrm{XTX}}_{i,i+1}^2\}---\left(4\right)$

最后，对各个尺度上的亮暗成分分别求和，根据如下公式（5）求出原始图像最终的亮暗成分WF、BF；

$\mathrm{XF}=\underset{i=0}{\overset{n-1}{\mathrm{\Σ}}}{\mathrm{XF}}_{i,i+1}---\left(5\right)$

步骤2：求出基底图像A，具体实现过程如下：

$C_n=\underset{1\≤j\≤2}{\min }\{f_j\·B_{n-1}\}---\left(7\right)$

A＝0.5×(O_n+C_n) （8）

步骤3：根据以下公式（9）得出第一幅融合图像f_u，其中p_w、p_b为基于标准偏差的权重矩阵，

f_u(x,y)＝A(x,y)+p_W(x,y)×WF(x,y)-p_B(x,y)×BF(x,y) （9）

第二幅融合结果图通过如下方法获得，

步骤1：触发对比运算通过一组圆盘型的大小递增的结构体元素B₀,B₁,…B_n-1来实现，其中0≤i≤n-1，假设待融合图像为g₁、g₂，定义多尺度触发对比运算为，

${\mathrm{TCO}}_i(x,y)=\left\{\begin{array}{c}g\&CirclePlus;B_i(x,y),\mathrm{ifg}\&CirclePlus;B_i(x,y)-g(x,y)<g(x,y)-\mathrm{g\&Theta;}{B}_i(x,y)\\ \mathrm{g\&Theta;}{B}_i(x,y),\mathrm{ifg}\&CirclePlus;B_i(x,y)-g(x,y)>g(x,y)-\mathrm{g\&Theta;}{B}_i(x,y)\\ g(x,y),\mathrm{else}\end{array}\right.---\left(10\right)$

步骤2：通过触发对比运算，根据以下公式（11）求出g₁、g₂在各个尺度上的膨胀特征和腐蚀特征，

$\left\{\begin{array}{c}{\mathrm{DTCO}}_i\left(g\right)(x,y)=\max ({\mathrm{TCO}}_i\left(g\right)(x,y)-g(x,y),0)\\ {\mathrm{ECTO}}_i\left(g\right)(x,y)=\max (g(x,y)-{\mathrm{TCO}}_i\left(g\right)(x,y),0)\end{array}\right.---\left(11\right)$

步骤3：然后通过对g₁、g₂在各个尺度上取最大的方法，根据以下公式（12）、公式（13）提取出原始图像中各个尺度上的膨胀特征和腐蚀特征，

D_i(x,y)＝max(DTCO_i(g₁)(x,y),DTCO_i(g₂)(x,y)) （12）

E_i(x,y)＝max(ETCO_i(g₁)(x,y),ETCO_i(g₂)(x,y)) （13）

步骤4：对各个尺度上的膨胀特征和腐蚀特征分别求和，根据以下公式（14）、公式（15）求出原始图像最终的膨胀特征和腐蚀特征D(x,y),E(x,y)。

$D(x,y)=\underset{i}{\max }\left(D_i(x,y)\right)---\left(14\right)$

$E(x,y)=\underset{i}{\max }\left(E_i(x,y)\right)---\left(15\right)$

步骤5：根据以下公式（16）得出融合图像g_u，其中A(x,y)为g₁、g₂的均值图像，

g_u(x,y)＝A(x,y)+D(x,y)-E(x,y) （16）

本发明具有的有益效果：

本发明利用形态学的多尺度思想，实现图像的实时融合，利用多尺度草帽变换融合红外图像和可见光图像，得到第一幅融合图像，该图像很好的融合了红外图像的亮暗信息，但是可见光图像中的细节纹理信息没有很好的融合进来；同时，利用多尺度触发对比运算融合红外图像和可见光图像，得到第二幅融合图像，该图像融合了可见光图像中丰富的细节纹理信息，但是对于红外图像中的亮度区域，没能清晰明了的体现出来；然后，将得到的两幅融合图像采用像素取平均法进行二次融合，得到最终的融合结果图。

本发明不同于传统的草帽变换算法，在草帽变换的基础上应用触发对比运算对原始图像进行多尺度融合，利用腐蚀和膨胀求出原始图像中的丰富的细节纹理信息，然后将两种算法融合后的结果图通过平均法进行二次融合，将两者的优势结合起来，融合结果图中既完整的保存了可见光图像中的细节信息，又有效的提取出了红外图像中的亮度信息。

采用灰度可见光图像与红外图像进行仿真实验，结果表明本发明取得了了较好的融合效果，同时实现了图像的实时融合。本发明融合结果图中，融合后的图像有较高的对比度和分辨率，既包含了原始可见光图像中丰富的细节纹理信息又充分的体现出了红外图像中的亮度信息，融合后的图像中较完整的保存了红外图像中目标区域的亮度和轮廓。本发明不仅融合效果好，且满足实时性需求，计算冗余量少，运算速度快，本发明与应用较为广泛的NSCT相比，融合时间缩短为它的1/10。

附图说明

图1是一幅原始的可见光图像与红外图像数据；

图2是草帽变换融合后的图像数据；

图3是触发对比运算融合后的图像数据；

图4是NSCT变换融合后的图像数据；

图5是本发明二次融合后的最终融合图像数据。

具体实施方式

应用草帽变换将待融合的红外图像与可见光图像进行融合，得到第一幅融合结果图:；应用触发对比运算将待融合的红外图像与可见光图像进行融合，得到第二幅融合结果图；

第一幅融合结果图通过如下方法获得，

草帽变换的多尺度分析:通过一组圆盘型的大小递增的结构体元素B₀,B₁,…B_n-1来实现，其中0≤i≤n-1，假设待融合图像为f₁、f₂，

步骤1：先通过白色草帽WTH和黑色草帽BTH分别求出f₁、f₂在各个尺度上的亮暗成分WF、BF，从以下公式（3）开始，白色草帽部分与黑色草帽部分计算过程相同，统一用XTH代表WTH、BTH，XF代表WF、BF，具体过程如下：

${\mathrm{BTH}}_i^{\mathrm{1,2}}=f_{\mathrm{1,2}}\&CenterDot;B_i-f_{\mathrm{1,2}}---\left(2\right)$

${\mathrm{XTH}}_{i,i+1}^{\mathrm{1,2}}={\mathrm{XTH}}_{i+1}^{\mathrm{1,2}}-{\mathrm{XTH}}_i^{\mathrm{1,2}}---\left(3\right)$

然后通过对f₁、f₂在各个尺度上取最大的方法，根据公式（4）提取出原始图像中各个尺度上的亮暗成分，

${\mathrm{XF}}_{i,i+1}=\max \{{\mathrm{XTH}}_{i,i+1}^1,{\mathrm{XTX}}_{i,i+1}^2\}---\left(4\right)$

最后，对各个尺度上的亮暗成分分别求和，根据如下公式（5）求出原始图像最终的亮暗成分WF、BF；

$\mathrm{XF}=\underset{i=0}{\overset{n-1}{\mathrm{\&Sigma;}}}{\mathrm{XF}}_{i,i+1}---\left(5\right)$

步骤2：求出基底图像A，具体实现过程如下：

$C_n=\underset{1\&le;j\&le;2}{\min }\{f_j\&CenterDot;B_{n-1}\}---\left(7\right)$

A＝0.5×(O_n+C_n) （8）

步骤3：根据以下公式（9）得出第一幅融合图像f_u，其中p_w、p_b为基于标准偏差的权重矩阵，

f_u(x,y)＝A(x,y)+p_W(x,y)×WF(x,y)-p_B(x,y)×BF(x,y) （9）

第二幅融合结果图通过如下方法获得，

步骤1：触发对比运算通过一组圆盘型的大小递增的结构体元素B₀,B₁,…B_n-1来实现，其中0≤i≤n-1，假设待融合图像为g₁、g₂，定义多尺度触发对比运算为，

${\mathrm{TCO}}_i(x,y)=\left\{\begin{array}{c}g\&CirclePlus;B_i(x,y),\mathrm{ifg}\&CirclePlus;B_i(x,y)-g(x,y)<g(x,y)-\mathrm{g\&Theta;}{B}_i(x,y)\\ \mathrm{g\&Theta;}{B}_i(x,y),\mathrm{ifg}\&CirclePlus;B_i(x,y)-g(x,y)>g(x,y)-\mathrm{g\&Theta;}{B}_i(x,y)\\ g(x,y),\mathrm{else}\end{array}\right.---\left(10\right)$

步骤2：通过触发对比运算，根据以下公式（11）求出g₁、g₂在各个尺度上的膨胀特征和腐蚀特征，

$\left\{\begin{array}{c}{\mathrm{DTCO}}_i\left(g\right)(x,y)=\max ({\mathrm{TCO}}_i\left(g\right)(x,y)-g(x,y),0)\\ {\mathrm{ECTO}}_i\left(g\right)(x,y)=\max (g(x,y)-{\mathrm{TCO}}_i\left(g\right)(x,y),0)\end{array}\right.---\left(11\right)$

步骤3：然后通过对g₁、g₂在各个尺度上取最大的方法，根据以下公式（12）、公式（13）提取出原始图像中各个尺度上的膨胀特征和腐蚀特征，

D_i(x,y)＝max(DTCO_i(g₁)(x,y),DTCO_i(g₂)(x,y)) （12）

E_i(x,y)＝max(ETCO_i(g₁)(x,y),ETCO_i(g₂)(x,y)) （13）

步骤4：对各个尺度上的膨胀特征和腐蚀特征分别求和，根据以下公式（14）、公式（15）求出原始图像最终的膨胀特征和腐蚀特征D(x,y),E(x,y)。

$D(x,y)=\underset{i}{\max }\left(D_i(x,y)\right)---\left(14\right)$

$E(x,y)=\underset{i}{\max }\left(E_i(x,y)\right)---\left(15\right)$

步骤5：根据以下公式（16）得出融合图像g_u，其中A(x,y)为g₁、g₂的均值图像，

g_u(x,y)＝A(x,y)+D(x,y)-E(x,y) （16）

将前述第一幅融合结果图f_u和第二幅融合结果图g_u作为原始数据，应用像素取平均法进行二次图像融合，得到最终的融合结果图fused image。

结合具体实施例，对本发明做进一步说明。

参照图1，来自荷兰TNO Human Factors Research Institute拍摄的“UN Camp”红外与可见光序列图中的一帧，数据大小为240×320×3。左图为灰度可见光图像，为了方便对比，任意取出了两块能体现可见光图像的细节信息的区域。由于该可见光图像是灰度的，不包含光谱信息，在处理的前端对可见光图像进行灰度处理，将数据大小变为240×320。右图为红外图像，数据大小240×320×3，红外图像三个通道的数据是一样的，所以取出任意一个波段的数据240×320作为处理数据，正在准备翻越栅栏的人为其中的重要信息，图像融合的目的在于将两幅图像中标出的区域能很好的体现在一张图像上。

参照图2，该图是由草帽变换得到的第一幅融合结果图，由于草帽变换在提取特征的过程中，主要提取图像的亮暗区域，而忽视了细节信息，将融合结果图中的重要区域放大，可以看出栅栏的线条模糊不清，人物的边缘也是模糊的，但是红外图像中的小人基本上在亮度上无失真的融合在了结果图中。融合图像评价表（见以下表一）中草帽变换第一个评价指标“灰度均值”最大，说明融合后的图像总体上越亮，也就是说融合结果中包含的红外图像中的信息越丰富。

参照图3，该图是由触发对比运算得到的第二幅融合结果图，将图像的重要区域放大，栅栏的线条清晰明了，人物的边缘也很清晰。表一中看出，此图平均梯度最大，平均梯度反应了图像的清晰度，值越大，图像像素振动越剧烈，也说明图像清晰度越高。

参照图4，为了便于分析比较，图4给出了基于NSCT的融合结果，从放大后的小人可以看出，人物边缘还算清晰，栅栏线条清晰明了。从表一中的SSIM和Q两项评价指标看出，NSCT有最高的SSIM值和Q值。SSIM表征源图像与融合后图 像的结构相似度，值越大，表示相似度越高，融合效果越好。Q表征融合图像保留源图像中边缘信息的多少，其取值范围为0～1。值越大，说明融合图像保留源图像中的边缘信息越多，融合效果越好。但是NSCT变换有两个较为致命的缺点，首先融合图像中小人的亮度信息有明显失真，其次融合过程耗费了大量的时间，不能应用于实时图像处理。

参照图5，本方法融合后的图像，综合了图1与图2的优点，亮度信息与边界信息等重要信息都较好的体现在了融合结果图中，除了SSIM和Q两项指标略微低于NSCT，其他指标都有明显提升，最重要是运行时间在10秒以内，还有降低的空间，适合实时处理。

表一

Claims (1)

1.一种红外图像与可见光图像的实时融合方法，其特征在于：

应用草帽变换将待融合的红外图像与可见光图像进行融合，得到第一幅融合结果图；应用触发对比运算将待融合的红外图像与可见光图像进行融合，得到第二幅融合结果图；将前述第一幅融合结果图和第二幅融合结果图作为原始数据，应用像素取平均法进行二次图像融合，得到最终的融合结果图；

第一幅融合结果图通过如下方法获得，

草帽变换的多尺度分析:通过一组圆盘型的大小递增的结构体元素B₀,B₁,…B_n-1来实现，0≤i≤n-1，其中dilation i times表示“膨胀了i次”，假设待融合图像为f₁、f₂，

步骤(1)：先通过白色草帽WTH和黑色草帽BTH分别求出f₁、f₂在各个尺度上的亮暗成分WF、BF，从以下公式(3)开始，白色草帽部分与黑色草帽部分计算过程相同，统一用XTH代表WTH、BTH，XF代表WF、BF，具体过程如下：

然后通过对f₁、f₂在各个尺度上取最大的方法，根据公式(4)提取出原始图像中各个尺度上的亮暗成分，

最后，对各个尺度上的亮暗成分分别求和，根据如下公式(5)求出原始图像最终的亮暗成分WF、BF；

步骤(2)：求出基底图像A_Tophat(x,y)，具体实现过程如下：

A_Tophat(x,y)＝0.5×(O_n+C_n) (8)

步骤(3)：根据以下公式(9)得出第一幅融合图像f_u，其中p_w、p_b为基于标准偏差的权重矩阵，

f_u(x,y)＝A_Tophat(x,y)+p_w(x,y)×WF(x,y)-p_b(x,y)×BF(x,y) (9)；

所述应用触发对比运算将待融合的红外图像与可见光图像进行融合，得到第二幅融合结果图通过如下方法获得，

步骤1：触发对比运算通过一组圆盘型的大小递增的结构体元素B₀,B₁,…B_n-1来实现，其中0≤i≤n-1，其中dilation i times表示“膨胀了i次”，假设待融合图像为g₁、g₂，定义多尺度触发对比运算为，

步骤2：通过多尺度触发对比运算，根据以下公式(11)求出g₁、g₂在各个尺度上的膨胀特征和腐蚀特征，

步骤3：然后通过对g₁、g₂在各个尺度上取最大的方法，根据以下公式(12)、公式(13)提取出原始图像中各个尺度上的膨胀特征和腐蚀特征，

D_i(x,y)＝max(DTCO_i(g₁)(x,y),DTCO_i(g₂)(x,y)) (12)

E_i(x,y)＝max(ETCO_i(g₁)(x,y),ETCO_i(g₂)(x,y)) (13)

步骤4：提取各个尺度上的膨胀特征和腐蚀特征，根据以下公式(14)、 公式(15)求出原始图像最终的膨胀特征和腐蚀特征D(x,y),E(x,y)；

步骤5：根据以下公式(16)得出融合图像g_u，其中A_Contrast(x,y)为g₁、g₂的均值图像，

g_u(x,y)＝A_Contrast(x,y)+D(x,y)-E(x,y) (16)。