CN101770640A - 基于图像相似度的图像融合方法 - Google Patents

Abstract

一种图像处理技术领域的基于视觉相似度的图像融合方法，包括以下步骤：对被融合的原始图像进行初始化种群处理；根据每幅图像的视觉相似度值，从初始化种群中选择2n张原始图像，进行两两配对；针对选中的每对原始图像进行子图像像素交换处理，得到n对新图像并放入种群中；根据新的种群中每幅图像的视觉相似度值，从新的种群中选择2n张视觉相似度值最大的图像进行丢弃处理，使得新的种群中剩余N张图像；重复上述步骤T次后，选择视觉相似度值最小的图像即为融合后的图像。本发明简单可靠，融合过程中并不在融合图像中加入源图像所没有的信息，且能够高效准确的提取源图像中的有效信息使之融合成所需的图像。

Description

基于图像相似度的图像融合方法

技术领域

本发明涉及的是一种图像处理技术领域的方法，具体是一种基于图像相似度的图像融合方法。

背景技术

在光学传感器在对同一场景成像时，由于光学成像原理所限，场景中总有一部分目标处于离焦模糊状态。为了清晰地反映场景中所有目标信息，国际上普遍采用对场景中各个目标进行聚焦拍摄，然后对得到的多幅图像进行图像融合进而得到一幅完全清晰图像。对于多幅离焦图像进行融合目的就是使融合后的图像尽可能多的包含各张源图像中的聚焦部分信息，得到一张更为清晰、更便于观察与处理的融合图像。对于图像融合需求的早在上世纪70年代就已产生，显然，最简单的图像融合方法就是对多幅源图像进行加权的平均。这种方法虽然使用方便，但是缺点也十分明显：可靠性低，往往和主观判断相去甚远。

经对现有文献检索发现，Burt1984年在期刊《Multiresolution Image Processing andAnalysis(多尺度图像处理与分析)》上发表了题为“The pyramid as a structure forefficient computation(金字塔：一种快捷有效的计算方法)”一文，该文用了金字塔分级方法第一次对图像融合问题提出了一种新的可靠的解决方案，之后，众多研究人员都对金字塔融合方法予以关注，提出应用形态学金字塔和基于区域特征的高层次金字塔处理图像融合问题。但是，总体上应用金字塔方法处理图像融合问题受困于金字塔的分解和重构，融合后的图像会产生比较明显的条纹理现象(融合图像中存在源图像所没有的条纹纹理)，降低了图像内容信息的准确性。

经检索又发现，Manjunath在1995年在期刊《Graphical Models and ImageProcessing(地理建模和图像处理)》上发表了“Multisensor image fusion using thewavelet transform(应用小波多尺度分析进行多传感器图像融合)”一文，该文提出了用小波分析的方法对离焦图像进行融合，这是首次将小波方法应用于图像融合问题当中，之后各种基于小波的融合方法又不断地的提出并应用于图像融合问题当中，但是基于小波方法的融合方法会因图像的内容不同，在图像的分解和重构过程中产生比较明显的块纹理现象(图像中会依据内容不同产生不均匀的小块)，而引入了不必要得信息，降低了图像内容信息的准确性。

经检索还发现，杨兵在2008年在期刊《Image and Vision Computing(图像视觉计算)》中发表了“Multifocus image fusion using region segmentation and spatialfrequency(基于边缘分割和空间频率的多离焦图像融合方法)”一文，该文提出了先用图像分割工具将模糊图像分割为若干部分，再将清晰的部分取出，进行组合，以达到图像融合目的。但是该方法对图像分割工具的准确性有较大的依靠，一旦在图像分割阶段出现较大的偏差，则后续的图像融合结果会引入较大的误差，而实际上现今前沿的图像分割方法与实际主观判断相比，仍含有较大偏差。

发明内容

本发明的目的在于克服现有技术存在的上述不足，提供一种基于视觉相似度的图像融合方法。本发明通过对多幅图像模糊程度的判断和随机优化的区域选择，实现了图像融合的效果，具有准确性高的优点。

本发明是通过以下技术方案实现的，包括以下步骤：

第一步，对被融合的若干张原始图像进行初始化种群处理，共得到N张原始图像。

所述的初始化种群处理是：将每张被融合的原始图像随机的复制成若干张原始图像，并将所有的原始图像的集合作为初始化种群，初始化种群中图像的个数为N。

第二步，利用视觉相似度方法得到初始化种群中每幅图像的视觉相似度值，进而从初始化种群中选择2n张原始图像，第i张原始图像被选中的概率为P(i)，2≤2n＜N。

所述的图像的视觉相似度值，具体步骤为：

1)当图像I是彩色图像时，先将彩色图像转换为灰度图像，然后执行2)；否则直接执行2)；

2)将灰度图像进行傅里叶变换转换为谱空间图像；

3)采用视觉兴趣区滤波器提取图像中人视觉兴趣区域信息，得到滤波后的图像；

4)对滤波后的图像进行傅里叶反变换；

5)根据傅里叶反变换结果中的实部，得到视觉兴趣区域图像I_D；

6)将图像I_D和图像I同时分为M×N个大小为p×q的子图像；

7)将图像I_D和图像I中的每个相同位置的子图像进行结构相似度计算，得到M×N个结构相似度值；

8)上述M×N个结构相似度值的平均值就是该图像的视觉相似度值。

所述的视觉兴趣区滤波器是Daly滤波器，或者是Mannos-Sakrison滤波器，或者是DoG滤波器。

值最大的图像进行丢弃处理，使得新的种群种剩余N张图像。

第七步，将新得到的种群作为初始化种群，依次重复第二步柕诹  焦睺次。

第八步，根据重复T次后得到的N张图像中每张图像的视觉相似度值，选择视觉相似度值最小的图像即为融合后的图像。

与现有技术相比，本发明的有益效果是：简单可靠，融合过程中并不在融合图像中加入源图像所没有的信息，且能够高效准确的提取源图像中的有效信息使之融合成所需的图像。

附图说明

图1是实施例1融合前和融合后的图像；

其中：(a)是被融合的第一幅图像；(b)是被融合的第二幅图像；(c)是融合后的图像。

图2是应用不同融合方法对图1两幅被融合图像进行融合后的图像；

其中：(a)是应用金字塔方法融合的图像；(b)是应用小波方法融合的图像；(c)是应用图像分割方法融合的图像；(d)是应用本实施例方法融合的图像。

图3是应用不同融合方法对图1两幅被融合图像进行融合的局部图像；

其中：(a)是应用金字塔方法融合后图像的局部图像；(b)是应用本实施例方法融合后的局部图像；(c)是应用小波方法融合后图像的局部图像；(d)是应用本实施例方法融合后的局部图像；(e)是应用图像分割方法融合后图像的局部图像；(f)是应用本实施例方法融合后的局部图像。

图4是实施例2融合前和融合后的图像；

其中：(a)是被融合的第一幅图像；(b)是被融合的第二幅图像；(c)是融合后的图像。

图5是应用不同融合方法对图4两幅被融合图像进行融合的结果；

其中：(a)是应用金字塔方法融合的图像；(b)是应用小波方法融合的图像；(c)是应用图像分割方法融合的图像；(d)是应用本实施例方法融合的图像。

图6是用不同融合方法对图4两幅被融合图像进行融合的局部图像；

其中：(a)是应用金字塔方法融合后图像的局部图像；(b)是应用本实施例方法融合后的局部图像；(c)是应用小波方法融合后图像的局部图像；(d)是应用本实施例方法融合后图像的局部图像信息；(e)是应用图像分割方法融合后图像的局部图像；(f)是应用本实施例方法融合后图像的局部图像。

具体实施方式

以下结合附图对本发明的方法进一步描述：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例1

如图1(a)和图1(b)所示，本实施例用于将该两幅灰度离焦模糊图像进行融合，包括以下步骤：

第一步，对被融合的两张原始图像进行初始化种群处理，即将每张原始图像分别复制为10张，从而得到20张原始图像，该20张原始图像就是初始化种群。

所述的原始图像的面积是512×512。

第二步，利用视觉相似度方法得到初始化种群中每幅图像的视觉相似度值，进而从初始化种群中选择8张原始图像，第i张原始图像被选中的概率为P(i)。

所述的图像视觉相似度值，具体步骤为：

1)将灰度图像进行傅里叶变换转换为谱空间图像F(u，v)；

2)采用视觉兴趣区滤波器提取图像中人视觉兴趣区域信息，得到滤波后的图像F_D(u，v)；

本实施例中的视觉兴趣区滤波器是Daly滤波器，具体为：

$\mathrm{Daly}\left(\mathrm{\ρ}\right)={(\frac{0.008}{{\mathrm{\ρ}}^3}+1)}^{-0.2}\·1.42\·\mathrm{\ρ}\·e^{-0.3\mathrm{\ρ}}\sqrt{1+0.06e^{0.3\mathrm{\ρ}}}$

其中：ρ＝sqrt(u²+v²)，sqrt为平方根，u和v代表图像在谱空间中的坐标位置。

滤波后的图像F_D(u，v)为：

$F_D(u,v)=\mathrm{Daly}\left(\sqrt{u^2+v^2}\right)\·F(u,v)$

3)对滤波后的图像进行傅里叶反变换；

4)根据傅里叶反变换结果中的实部，得到视觉兴趣区域图像I_D；

5)将图像I_D和图像I同时分为64×64个大小为8×8的子图像；

6)将图像I_D和图像I中的每个相同位置的子图像进行结构相似度计算，得到64×64个结构相似度值；

7)上述64×64个结构相似度值的平均值就是该图像的视觉相似度值。

对于每个8×8的子图像，结构相似度值的具体公式是：

第七步，将新得到的种群作为初始化种群，依次重复第二步柕诹  焦？00次。

第八步，根据重复200次后得到的20张图像中每张图像的视觉相似度值，选择视觉相似度值最小的图像即为融合后的图像。

本实施例得到的融合后的图像如图1(c)所示，其中：图1(a)的视觉相似度为0.5707，图1(b)的视觉相似度为0.5529，图1(c)的视觉相似度为0.5476，由此可知经本实施例方法融合后的图像的视觉相似度值明显变小。

图2(a)是用金字塔法对本实施例两幅原始图像进行融合的结果，图2(b)是用小波方法对本实施例两幅原始图像进行融合的结果，图2(c)是用图像分割方法对本实施例两幅原始图像进行融合的结果，图2(d)是用本实施例方法对本实施例两幅原始图像进行融合的结果，由此可知：金字塔方法和小波方法得到的融合图像亮度值较原始图像的高，即金字塔方法和小波方法在融合过程中对融合图像加入了不必要的信息，从而改变了融合图像信息；而应用图像分割方法产生的融合图像，有明显的离焦部分，并没有在整体上完成图像融合任务；本实施例方法得到的融合图像效果最佳。

图3(a)是用金字塔方法对本实施例两幅原始图像进行融合的部分结果，图3(c)是用小波方法对本实施例两幅原始图像进行融合的部分结果，图3(e)是用图像分割方法对本实施例两幅原始图像进行融合的部分结果，图3(b)、图3(d)和图3(f)分别是用本实施例方法对本实施例两幅原始图像进行融合的部分结果，由此可见：在图像中时钟边框反光处，由金字塔方法产生的融合图像有明显的不均匀纹理，使得光线在图像上的过渡不够自然，而本实施例方法对此则处理的很好，图像清晰自然；在图像中的钟表指针(分针和秒针)和文字附近，小波方法产生的融合图像有明显的纹理现象，本实施例方法由于直接使用了交换手段，在指针和文字处是使用的原始清晰图像信息，因而没有任何纹理现象；在图像中的钟表轮廓上，应用图像分割方法产生的融合图像有明显的模糊区域，因而可以认为其没有完成融合任务，而本实施例方法则很好的解决了此问题，获得了很好的融合效果。

实施例2

本实施例用于将两幅彩色离焦模糊图像进行融合，包括以下步骤：

第一步，对被融合的两张原始图像进行初始化种群处理，即将每张原始图像分别复制为10张，从而得到20张原始图像，该20张原始图像就是初始化种群。

所述的原始图像的面积是640×480。

第二步，利用视觉相似度方法得到初始化种群中每幅图像的视觉相似度值，进而从初始化种群中选择10张原始图像，第i张原始图像被选中的概率为P(i)。

所述的图像视觉相似度值，具体步骤为：

1)将彩色图像转换为灰度图像，具体转换公式为：

I＝0.299*r+0.587*g+0.11 4*b

其中：r、g和b分别代表彩色图像中每个像素的红、绿和蓝成份，I代表得到的灰度图像。

本实施例转换成灰度图像后的被融合图像分别如图4(a)和图4(b)所示。

第二步，利用视觉相似度方法得到初始化种群中每幅图像的视觉相似度值，进而从初始化种群中选择8张原始图像，第i张原始图像被选中的概率为P(i)，2≤i＜20。

所述的图像视觉相似度值，具体步骤为：

1)将灰度图像进行傅里叶变换转换为谱空间图像F(u，v)；

2)采用视觉兴趣区滤波器提取图像中人视觉兴趣区域信息，得到滤波后的图像F_D(u，v)；

本实施例中的视觉兴趣区滤波器是Mannos-Sakrison滤波器，具体是：

MS(ρ)＝2.6(0.0192+0.144ρ)exp(-(0.144ρ)^1.1)

其中：ρ＝sqrt(u²+v²)，sqrt为平方根，exp为自然对数为底的幂次，u和v代表图像在谱空间中的坐标位置。

滤波后的结果F_D(u，v)为：

$F_D(u,v)=\mathrm{MS}\left(\sqrt{u^2+v^2}\right)\·F(u,v)$

3)对滤波后的图像进行傅里叶反变换；

4)根据傅里叶反变换结果中的实部，得到视觉兴趣区域图像I_D；

5)将图像I_D和图像I同时分为80×80个大小为8×6的子图像；

6)将图像I_D和图像I中的每个相同位置的子图像进行结构相似度计算，得到80×80个结构相似度值；

7)上述80×80个结构相似度值的平均值就是该图像的视觉相似度值。

所述的结构相似度值的具体公式是：

所述的新子图像的面积S_新子＝10×7＝70，且：70≤225。

第六步，根据新的种群中每幅图像的视觉相似度值，从新的种群中选择10张视觉相似度值最大的图像进行丢弃处理，使得新的种群种剩余20张图像。

第七步，将新得到的种群作为初始化种群，依次重复第二步柕诹  焦？50次。

第八步，根据重复250次后得到的20张图像中每张图像的视觉相似度值，选择视觉相似度最小的图像即为融合后的图像。

本实施例得到的融合后的图像如图4(c)所示，其中：图4(a)的视觉相似度为0.5707，图4(b)的视觉相似度为0.5696，图4(c)的视觉相似度为0.5448，由此可知经本实施例方法融合后的图像的视觉相似度明显变小。

图5(a)是用金字塔法对本实施例两幅原始图像进行融合的结果，图5(b)是用小波方法对本实施例两幅原始图像进行融合的结果，图5(c)是用图像分割方法对本实施例两幅原始图像进行融合的结果，图5(d)是用本实施例方法对本实施例两幅原始图像进行融合的结果，由此可知：应用金字塔方法和小波方法得到的融合图像有一定的色彩失真(改变了源图像中书籍封面的颜色)，即金字塔方法和小波方法对于彩色图像的融合效果差；用小波方法得到的融合图像亮度值在边缘处(观察边缘及书籍上的文字)具有较高的亮度(比源图像高)，即小波方法对源图像的信息进行了更改，从而改变了融合图像的信息；而应用图像分割方法产生的融合图像，仍有明显的离焦部分，并没有在整体上完成图像融合任务；本实施例方法得到的融合图像效果最佳。

图6(a)是用金字塔方法对本实施例两幅原始图像进行融合的部分结果，图6(c)是用小波方法对本实施例两幅原始图像进行融合的部分结果，图6(e)是用图像分割方法对本实施例两幅原始图像进行融合的部分结果，图6(b)、图6(d)和图6(f)分别是用本实施例方法对本实施例两幅原始图像进行融合的部分结果，由此可见：在文字显示上，由金字塔方法产生的融合图像有明显的纹理效应，并造成了文字的模糊，而本实施例方法直接采用了源图像的有效信息，对应部分文字显示清晰；在图像的书本边缘附近，由小波方法产生的融合图像有明显的纹理(毛刺)现象，而本实施例方法由于直接使用了交换手段，在边缘处是使用的原始清晰图像信息，因而没有任何纹理现象；在图像中的部分区域上，应用图像组合分割方法产生的融合图像有明显的模糊区域，因而可以认为其没有完成融合任务，而本实施例方法则获得了很好的融合效果。

Claims (6)

1.一种基于图像相似度的图像融合方法，其特征在于，包括以下步骤：

第一步，对被融合的若干张原始图像进行初始化种群处理，共得到N张原始图像；

第二步，利用视觉相似度方法得到初始化种群中每幅图像的视觉相似度值，进而从初始化种群中选择2n张原始图像，第i张原始图像被选中的概率为P(i)，2≤2n＜N；

第三步，将选中的2n张原始图像随机进行两两配对，得到n对原始图像；

第四步，针对选中的每对原始图像，在每对原始图像中随机选择若干对位置相同且面积相等的子图像，将每对原始图像中的每对子图像进行像素交换，得到n对新的图像，

所述的子图像的面积S范围是：K≤S≤S，其中：S是子图像所在的原始图像的面积，K是设定的阈值；

第五步，针对第四步得到的每对新图像，在每对新图像进行像素交换的子图像的相同边界位置随机选择1对位置相同且面积相等的新子图像，将每对新图像中的每对新子图像进行像素交换，得到n对最新图像，并将这n对最新图像添加到种群中，使得新的种群中图像的数目为(N+2n)幅，

所述的新子图像的面积S范围是：S≤K，其中：K是设定的阈值；

第六步，根据新的种群中每幅图像的视觉相似度值，从新的种群中选择2n张视觉相似度值最大的图像进行丢弃处理，使得新的种群中剩余N张图像；

第七步，将新得到的种群作为初始化种群，依次重复第二步柕诹  焦睺次；

第八步，根据重复T次后得到的N张图像中每张图像的视觉相似度值，选择视觉相似度值最小的图像即为融合后的图像。

2.根据权利要求1所述的基于图像相似度的图像融合方法，其特征是，所述的初始化种群处理是：将每张被融合的原始图像随机的复制成若干张原始图像，并将所有的原始图像的集合作为初始化种群，初始化种群中图像的个数为N。

3.根据权利要求1所述的基于图像相似度的图像融合方法，其特征是，所述的图像的视觉相似度值，具体步骤为：

1)当图像I是彩色图像时，先将彩色图像转换为灰度图像，然后执行2)；否则直接执行2)；

2)将灰度图像进行傅里叶变换，转换为谱空间图像；

3)采用视觉兴趣区滤波器提取图像中人视觉兴趣区域信息，得到滤波后的图像；

4)对滤波后的图像进行傅里叶反变换；

5)根据傅里叶反变换结果中的实部，得到视觉兴趣区域图像ID；

6)将图像ID和图像I同时分为M×N个大小为p×q的子图像；

7)将图像ID和图像I中的每个相同位置的子图像进行结构相似度计算，得到M×N个结构相似度值；

8)上述M×N个结构相似度值的平均值就是该图像的视觉相似度值。

4.根据权利要求3所述的基于图像相似度的图像融合方法，其特征是，所述的视觉兴趣区滤波器是Daly滤波器，或者是Mannos-Sakrison滤波器，或者是DoG滤波器。

5.根据权利要求3所述的基于图像相似度的图像融合方法，其特征是，所述的结构相似度值的具体公式是：

$\mathrm{SSIM}(m,n)=\frac{4{\mathrm{\μ}}_{I_D}{\mathrm{\μ}}_I{\mathrm{\σ}}_{{I\·I}_D}}{({\mathrm{\μ}}_{I_D}^2+{\mathrm{\μ}}_I^2+C_1)({\mathrm{\σ}}_{I_D}^2+{\mathrm{\σ}}_I^2+C_2)},$

其中：

${\mathrm{\μ}}_{I_D}=\frac{1}{p\·q}\underset{i=1}{\overset{p}{\mathrm{\Σ}}}\underset{j=1}{\overset{q}{\mathrm{\Σ}}}{I}_D(l,k),$ ${\mathrm{\μ}}_I=\frac{1}{p\·q}\underset{i=1}{\overset{p}{\mathrm{\Σ}}}\underset{j=1}{\overset{q}{\mathrm{\Σ}}}I(l,k),$

${\mathrm{\σ}}_{I\·I_D}=\frac{1}{p\·q}\underset{i=1}{\overset{p}{\mathrm{\Σ}}}\underset{j=1}{\overset{q}{\mathrm{\Σ}}}(I(l,k)-{\mathrm{\μ}}_I)(I_D(l,k)-{\mathrm{\μ}}_{I_D}),$

${\mathrm{\σ}}_I^2=\frac{1}{p\·q}\underset{i=1}{\overset{p}{\mathrm{\Σ}}}\underset{j=1}{\overset{q}{\mathrm{\Σ}}}{(I(l,k)-{\mathrm{\μ}}_I)}^2,$ ${\mathrm{\σ}}_{I_D}^2=\frac{1}{p\·q}\underset{i=1}{\overset{p}{\mathrm{\Σ}}}\underset{j=1}{\overset{q}{\mathrm{\Σ}}}{(I_D(l,k)-{\mathrm{\μ}}_{I_D})}^2,$

SSIM(m，n)是图像ID和图像I中第m×n个p×q子图像的结构相似度值，C1和C2都是常数，I(l，k)为图像I中第m×n个p×q子图像中坐标为(l，k)的像素，ID(l，k)为图像ID中第m×n个p×q子图像中坐标为(l，k)的像素，1≤m≤M，1≤n≤N，1≤l≤p，1≤k≤q。

6.根据权利要求1所述的基于图像相似度的图像融合方法，其特征是，所述的P(i)的具体公式为：

$P\left(i\right)=1-\mathrm{VSS}\left(i\right)/\underset{i}{\overset{N}{\mathrm{\Σ}}}\mathrm{VSS}\left(i\right),$

其中：i代表初始化种群中的第i幅图像，VSS(i)代表第i幅图像的视觉相似度值，N代表初始化种群中总的图像数量，1≤i＜N。

Images