CN103839244B - 一种实时的图像融合方法及装置 - Google Patents

Abstract

本发明涉及一种实时的图像融合方法及相应的装置，所述方法包括以下步骤：步骤一：输入已配准好的待融合图像数据A₁和A₂；步骤二：对A₁和A₂进行归一化预处理操作得I₁,I₂；步骤三：分别求I₁和I₂进行融合时的权重图w₁和w₂；步骤四：计算I₁和I₂进行分段融合的阈值T₁和T₂；步骤五：按照所求的分段融合的阈值T₁和T₂，将I₁和I₂分段进行融合；步骤六：输出融合结果。该技术能够快速提高融合之后的图像质量，同时满足工程化应用中实时性要求。

Description

一种实时的图像融合方法及装置

技术领域

本发明涉及到数字图像处理领域，特别涉及到一种实时的图像融合算法，并应用于满足实时性要求的嵌入式工程化产品中。

背景技术

图像融合技术是通过单一传感器，提取同一场景在不同曝光值下的图像信息，并融合成一幅具有高动态范围信息的图像，以增加图像对不同环境的适应能力。随着国民经济的不断发展，该技术在安防、机器视觉、医学、军事遥感等领域具有广泛的应用价值。

现有的图像融合技术主要有直接加权平均的融合算法，基于主成分分析（Principal Component Analysis,PCA）的融合算法，基于图像金字塔分解的融合算法，基于相机响应曲线的融合方法，基于小波变换的融合算法等。

基于直接加权平均的算法是最简单的图像融合方法，主要是为两幅待融合图像，分别通过手动设置权值进行融合，权值越大表示该图像对融合结果的贡献越大。该方法的优点是融合速度快，缺点是权值需要根据主观视觉进行手动设置，而不是根据图像特征自动分配，而且融合之后图像的对比度会降低。

基于PCA的融合算法是一种常用的图像融合方法，主要是先计算两幅图像的协方差，再通过协方差计算两幅图像的特征值和特征向量，最后比较这两个特征值，取特征值大的所对应的特征向量作为图像融合的最后权值。该算法优点是根据图像的特征实现了融合权值的自动分配，缺点是融合之后图像对比度有一定损失。

基于图像金字塔分解的融合算法主要是先用高斯金字塔分别对权值图进行分解，再利用拉普拉斯金字塔对待融合图像分别进行分解，并对分解的每一层分别进行加权融合，最后对融合金字塔用拉普拉斯金字塔反变换得到最终的融合图像。该算法利用了多分辨率技术，融合效果较好，但正因为此技术，使得该算法在计算方面占用了大量内存资源，运行时间较长，不适用于要求实时性的场合。

基于小波变换的融合算法是在频率域处理的一种方法，通过对分解后的低频系数和高频系数分别进行融合处理，每个分解层数的不同分量系数采用不同的融合规则进行融合处理，得到最终融合的小波系数，最后，对融合后得到的小波系数进行小波逆变换得到最终的融合图像。该算法和金字塔算法一样都需要进行分解、融合和重构三个阶段，在实施中需要消耗大量的内存和时间，不满足实时性要求。

基于相机响应曲线的方法是一种需要精确曝光时间的融合算法，通过多幅待融合图像标定出相机响应曲线，从而恢复实际场景，得到融合之后的图像。由于该算法需要精确知道待融合图像的曝光时间，导致在某些场合会出现不稳定的融合效果，融合的鲁棒性较差。

因此，为了实时提高图像细节、对比度以及图像融合的稳定性，增强图像对环境的适应能力，本发明提出一种实时的图像融合算法，采用分段融合规则，加权平均的融合方法，弥补现有算法的不足。

发明内容

本发明的目的是解决上述已有技术的不足，提出一种实时的图像融合算法，该技术能够快速提高融合之后的图像质量，同时满足工程化应用中实时性要求。

为实现本发明目的，对图像融合处理所采用的一种实时的图像融合方法，主要包括如下几个步骤：

步骤一：输入已配准好的待融合图像数据A₁和A₂；

步骤二：对A₁和A₂进行归一化预处理操作得I₁,I₂；

步骤三：分别求I₁和I₂进行融合时的权重图w₁和w₂；

步骤四：计算I₁和I₂进行分段融合的阈值T₁和T₂；

步骤五：按照所求的分段融合的阈值T₁和T₂，将I₁和I₂分段进行融合；

步骤六：输出融合结果。

本发明还涉及一种实时的图像融合装置，包括：

图像输入装置，用于向归一化处理装置输入已配准好的待融合图像数据A₁和A₂；

归一化处理装置，用于对A₁和A₂进行归一化预处理操作得I₁和I₂，并将结果传送给权重图计算装置和阈值计算装置；

权重图计算装置，用于分别求I₁和I₂进行融合时的权重图w₁和w₂，并将结果传送给融合装置；

阈值计算装置，用于计算I₁和I₂进行分段融合的阈值T₁和T₂，并将结果传送给融合装置；

融合装置，用于按照所求的分段融合的阈值T₁和T₂，将I₁和I₂分段进行融合，并将结果传送给输出装置；

输出装置，用于输出融合结果。

所述的一种实时的图像融合方法具体包括如下步骤：

1、读入已配准好的待融合图像数据A₁和A₂，为了得到反映图像曝光程度的权值，本发明对A₁和A₂进行归一化预处理操作得I₁和I₂。

2、分别求I₁和I₂进行融合时的权重图w₁和w₂。权值对图像融合质量的好坏有决定性作用，图像曝光好，细节丰富的区域需要较高的权值，而曝光不足或曝光过度等区域，则需要较低的权值。为了得到这样的权重图，本发明采用高斯函数生成权重图，该函数描述了像素的曝光程度。先利用高斯函数g(x,y)分别对图像I₁和I₂进行处理，得到g₁(x,y)和g₂(x,y)；为了得到更自然的融合结果，本发明对权重图g_i(x,y)，i=1,2的值进行归一化，得到g’₁(x,y)和g'₂(x,y)；如果将g’₁(x,y)和g'₂(x,y)作为权值进行融合，那么在图像融合边界会出现不连续现象，为了解决此问题，本发明对g’₁(x,y)和g'₂(x,y)分别进行均值滤波操作。这样，就得到图像进行融合的最终权重图w₁和w₂；

3、计算图像进行分段融合的阈值T₁和T₂。本发明中，先分别计算图像I₁和I₂的亮度值L₁和L₂，然后求L₁和L₂的最大值M，再令T₁=α*M,T₂=(1-α)*M,α∈(0,0.5)，就得到图像分段融合的阈值；

4、按照所求的分段融合阈值，本发明将图像分成三部分分别进行融合。如果图像I₁的灰度值小于阈值T₁，那么最终融合的图像F取I₂的部分；如果图像I₂的灰度值都大于阈值T₂，那么最终融合的图像F取I₁的部分；对于其它情况，采用加权平均的方法进行融合，权值按照步骤2中的方法进行计算。

5、输出融合结果

在本发明中，是针对已配准好的两幅图像进行融合，由于待融合图像都是RGB颜色模式，所以在对图像进行处理时，R、G、B三个分量都单独处理。待融合两幅图像的曝光时间一般相差8倍以下，因为太亮的区域和太暗的区域所含信息量很少，融合之后图像的信息量也不会很多，而且边缘会出现明显的不连续现象，这样的融合就失去意义。

本发明采用了分段融合规则，加权平均的融合方法。该发明方法相比于图像金字塔方法，算法运行时间少，占用内存资源低；而相比于小波变换方法以及PCA等方法，图像信息熵更高，意味着融合之后含有的平均信息量更多，而且图像对比度明显增强。

本领域普通技术人员可以理解实现上述方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成。

相应地，本发明还提供一种图像融合设备，包括：

图像输入装置，用于输入已配准好的待融合图像数据A₁和A₂；

归一化处理装置，用于对A₁和A₂进行归一化预处理操作得I₁,I₂；

权重图计算装置，用于分别求I₁和I₂进行融合时的权重图w₁和w₂；

阈值计算装置，用于计算I₁和I₂进行分段融合的阈值T₁和T₂；

融合装置，用于按照所求的分段融合的阈值T₁和T₂，将I₁和I₂分段进行融合；

输出装置，用于输出融合结果。

本发明克服了现有融合方法的不足，能够达到了实时稳定的融合效果，并在嵌入式工程化产品中得到应用，具有重大的实用价值。

附图说明

图1是本发明处理的总体流程图；

图2是本发明进行分段融合的示意图；

图3是本发明实施实例待融合图像数据A₁和A₂，其中，a是图像A₁，b是图像A₂；

图4是本发明进行融合时产生的权重图，其中，a是图像A₁的权重图，b是图像A₂的权重图；

图5是不同方法的融合结果以及本发明的融合结果，其中，a是PCA方法的融合结果，b是基于图像金字塔的融合结果，c是基于小波变换的融合结果，d是本发明的融合结果。

具体实施方式

为了更好理解本发明的实施过程，下面将结合附图和实施实例对本发明的具体实施方式进行详细描述。

图1是本发明的总体流程图，从中可以看出本发明有4个主要的实施步骤，即图像预处理、权重图计算、阈值确定及融合处理，各部分的具体实施方式如下：1、图像数据A₁和A₂的预处理

输入颜色模式为RGB的待融合图像A₁和A₂，对R、G、B三个分量单独处理。如果A₁和A₂都是8位图像，那么其最高灰度级为2⁸-1=255，将图像A₁和A₂都除以255，就可得到归一化的图像I₁和I₂。如果是高于8位的RGB图像，可同样按照此方法处理。

2、计算权重图w₁和w₂

分别求I₁和I₂进行融合时的权重图w₁和w₂。在加权融合中，权值对图像最终融合质量的好坏起决定性作用，图像曝光好，细节丰富的区域需要较高的权值，而曝光不足或曝光过度等区域，则需要较低的权值。为了得到这样的权值，本发明采用高斯函数生成权重图，该函数描述了像素的曝光程度。利用（1）式高斯函数g(x,y)分别对图像I₁和I₂中R、G、B三个分量单独进行处理，得到g_ij(x,y)，其中，i=1,2，j=r,g,b

$g_{\mathrm{ij}}(x,y)=\exp (-\frac{{(I_{\mathrm{ij}}-\mathrm{\μ})}^2}{2\·{\mathrm{\σ}}^2}),---\left(1\right)$

（1）式中，μ和σ是可调整参数，因为亮度越接近中间值，则认为图像的颜色信息越丰富，所以在本发明实施实例中取μ=0.5，σ=0.4，

令

g₁(x,y)=g_1r(x,y)·g_1g(x,y)·g_1b(x,y)，

g₂(x,y)=g_2r(x,y)·g_2g(x,y)·g_2b(x,y)，

这样就可得到图像经过高斯函数处理的二维权重图，为了得到更自然的融合效果，本发明对g_i(x,y)，i=1,2按照（2）式进行归一化，即

$g_i^{\text{'}}(x,y)={\left[\underset{k=1}{\overset{2}{\mathrm{\Σ}}}{g}_k(x,y)\right]}^{-1}{g}_i(x,y),i=\mathrm{1,2}---\left(2\right)$

如果将g’₁(x,y)，i=1,2作为权值进行融合，那么在图像融合边界处会出现不连续现象，为了解决此问题，本发明对g’₁(x,y)和g'₂(x,y)分别进行n×n的均值滤波操作，在本发明中取滤波窗口大小为7×7，即n=7，而边界处理采用镜像方式。这样，就得到图像进行融合的最终权重图w₁和w₂。

3、确定阈值T₁和T₂

计算图像进行分段融合的阈值T₁和T₂，分别计算图像I₁和I₂的亮度值L₁和L₂，然后求取L₁和L₂的最大值M，最后，令T₁=α*M和T₂=(1-α)*M，α∈(0,0.5)，即可得到分段融合阈值，其中，参数α可根据待融合图像的曝光程度不同进行调整，在本发明中α取0.1。

4、融合处理

按照所求的分段融合阈值，本发明将图像分成三部分分别进行融合。如果图像I₁的灰度值小于阈值T₁，那么最终融合的图像F取I₂的部分；如果图像I₂的灰度值大于阈值T₂，那么最终融合的图像F取I₁的部分；对于其它情况，采用加权平均的方法进行融合，权值w₁和w₂按照步骤2中的方式进行计算，具体融合规则如（3）式，

采用这样的融合规则可以达到实时稳定的融合效果。

5、输出融合结果F

本发明方法的实施实例与现有的融合方法的融合结果如图5所示，图3是本发明方法实施实例的原图，尺寸大小为1024×768×3，曝光时间a是1秒（s），b是4秒，两张图像相差4倍的曝光时间，下面将分别从图像信息熵（Entropy）和算法运行时间（Time）进行比较，这里的Time不包括输入和输出的时间，实施平台为windows732位操作系统的计算机，4G内存，处理器是AMD A8-5600KAPU with Radeon(tm)HD Graphics，实施工具是matlab R2012b。其评价结果如表1所示，表1中各种融合算法评价结果的排序方式采用图5中a，b，c，d

表1

从表1中可以发现，b方法的图像信息熵最大，即是基于图像金字塔分解的融合算法，表明该算法对融合之后图像所含的平均信息量较大，但是其计算复杂度也是最大，运行时间较长，占用内存资源较多，不适用于实时性的场合；而本发明方法d的运行时间最短，满足实时性场合，而且其图像信息熵是除b方法以外最大的；综合考虑，本发明方法在满足实时性的情况下，图像的信息熵也比较高，不但含有丰富的图像细节信息，而且图像融合的视觉效果很好，相比于其它方法整体优势明显，满足工程化应用要求。

Claims (10)

1.一种实时的图像融合方法，其特征在于，包括以下步骤：

步骤一：输入已配准好的待融合图像数据A₁和A₂；

步骤二：对A₁和A₂进行归一化预处理操作得I₁,I₂；

步骤三：分别求I₁和I₂进行融合时的权重图w₁和w₂；

步骤四：计算I₁和I₂进行分段融合的阈值T₁和T₂；

步骤五：按照所求的分段融合的阈值T₁和T₂，将I₁和I₂分段进行融合；

步骤六：输出融合结果；

所述的步骤一包括：

输入需要融合的两幅源图像，并将两幅源图像分别用图像矩阵A1和A2表示；对源图像的R、G、B三个分量单独处理，生成对应源图像的图像矩阵A_1j和A_2j,其中j＝r,g,b；

所述的步骤二包括：对A_1j和A_2j进行归一化预处理操作得I_1j和I_2j,

所述的步骤三包括：

利用(1)式高斯函数g(x,y)分别对图像I_1j和I_2j中R、G、B三个分量单独进行处理，得到g_ij(x,y),其中，i＝1,2，j＝r,g,b

$g_{ij}(x,y)=\exp (-\frac{{(I_{ij}-\mathrm{\μ})}^2}{2\·{\mathrm{\σ}}^2}),---\left(1\right)$

令

g₁(x,y)＝g_1r(x,y)·g_1g(x,y)·g_1b(x,y)，

g₂(x,y)＝g_2r(x,y)·g_2g(x,y)·g_2b(x,y)，

对g_i(x,y)，i＝1,2按照(2)式进行归一化，即

$g_i^{\′}(x,y)={\[\underset{k=1}{\overset{2}{\Σ}}{g}_k(x,y)\]}^{-1}{g}_i(x,y),i=1,2---\left(2\right)$

对g’₁(x,y)和g'₂(x,y)分别进行n×n的均值滤波操作，边界处理采用镜像方式,得到图像进行融合的最终权重图w₁和w₂。

2.根据权利要求1所述的一种实时的图像融合方法，其特征在于：

所述的步骤四包括：

分别计算图像I₁和I₂的亮度值L₁和L₂，然后求取L₁和L₂的最大值M，最后，令T₁＝α*M和T₂＝(1-α)*M，α∈(0,0.5)；

所述的步骤五包括：

将图像分成三部分分别进行融合，具体融合规则如(3)式，

3.根据权利要求1所述的一种实时的图像融合方法，其特征在于：所述待融合的两幅图像的曝光时间相差8倍以下。

4.根据权利要求1所述的一种实时的图像融合方法，其特征在于：所述待融合的两幅图像的曝光时间相差4倍。

5.根据权利要求2所述的一种实时的图像融合方法，其特征在于：所述(1)式中μ＝0.5，σ＝0.4。

6.根据权利要求2所述的一种实时的图像融合方法，其特征在于：所述步骤三中n＝7。

7.根据权利要求2所述的一种实时的图像融合方法，其特征在于：所述步骤四中α取0.1。

8.一种实时的图像融合装置，其特征在于，包括：

图像输入装置，用于输入颜色模式为RGB的已配准好的待融合图像A₁和A₂，对R、G、B三个分量单独处理；

归一化处理装置，用于对A₁和A₂进行归一化预处理操作得I₁,I₂；

权重图计算装置，用于利用(1)式高斯函数g(x,y)分别对图像I₁和I₂中R、G、B三个分量单独进行处理，得到g_ij(x,y)，其中，i＝1,2，j＝r,g,b

$g_{ij}(x,y)=\exp (-\frac{{(I_{ij}-\mathrm{\μ})}^2}{2\·{\mathrm{\σ}}^2}),---\left(1\right)$

(1)式中，μ和σ是可调整参数，

令

g₁(x,y)＝g_1r(x,y)·g_1g(x,y)·g_1b(x,y)，

g2(x,y)＝g2r(x,y)·g2g(x,y)·g2b(x,y)，

对gi(x,y)，i＝1,2按照(2)式进行归一化，即

$g_i^{\′}(x,y)={\[\underset{k=1}{\overset{2}{\Σ}}{g}_k(x,y)\]}^{-1}{g}_i(x,y),i=1,2---\left(2\right)$

对g’1(x,y)和g'2(x,y)分别进行n×n的均值滤波操作，边界处理采用镜像方式,得到图像进行融合的最终权重图w1和w2；

阈值计算装置，用于计算I1和I2进行分段融合的阈值T1和T2；

融合装置，用于按照所求的分段融合的阈值T₁和T₂，将I₁和I₂分段进行融合；

输出装置，用于输出融合结果。

9.根据权利要求8所述的一种实时的图像融合装置，其特征在于：所述待融合的两幅图像的曝光时间相差8倍以下。

10.根据权利要求8所述的一种实时的图像融合装置，其特征在于：所述待融合的两幅图像的曝光时间相差4倍。