CN102184534B - 一种利用多尺度高帽选择变换的图像融合方法 - Google Patents

Abstract

一种利用多尺度高帽选择变换的图像融合方法，它有五大步骤：一、通过定义高帽选择变换中的参数用于提取图像中的有效区域；二、利用多尺度结构元素通过定义的高帽选择变换提取原始图像多尺度亮区域和暗区域：三、针对每一尺度下提取到的不同原始图像的亮区域和暗区域，利用最大值获取每一尺度下对应融合图像的亮区域和暗区域；四、通过取所有尺度上对应融合图像的亮区域或暗区域的最大值来获取用于最后图像融合的亮区域和暗区域；五、利用原始图像平均得到基本图像后，在基本图像上分别加上获取的亮区域并减去获取的暗区域达到图像融合的目的，使得融合图像的对比度和图像细节明显改善。本发明应用于各类基于图像的应用系统，具有广阔的应用前景。

Description

一种利用多尺度高帽选择变换的图像融合方法

(一)技术领域

本发明涉及一种利用多尺度高帽选择变换的图像融合方法，属于数字图像处理领域，它主要涉及数学形态学和图像融合技术。在各类基于图像的应用系统中有广阔的应用前景。

(二)背景技术

图像融合是图像处理中的重要关键技术，是合理有效利用多传感器获取数据信息的有效工具。图像融合的关键是提取出原始图像中的有用区域并将这些区域合理地合并于结果图像中。为了更好地提取多传感器获取的图像中的有用信息并将其融合于同一幅图像中，各种方法被提出。直接平均法是一种简单有效的图像融合方法，然而该方法并不能很好地提取图像中的细节，并有可能使结果图像不够清晰。基于小波和曲波的方法(参见文献：冈萨罗等，基于小波的图像融合教程，模式识别，37卷，(2004)1855-1872。(Gonzalo Pajares，Jesus Manuelde la Cruz，A wavelet-based image fusion tutorial，Pattern Recognition 37(2004)1855-1872.))首先将图像变换到变换空间中，然后在变换空间中提取图像的有用信息并将这些信息进行融合达到图像融合的目的。不过，该类方法可能造成图像信息的丢失，从而影响图像融合方法的效果。基于主成分或独立成份分析的方法(参见文献：尼克雷奥斯等，利用独立成份分析的像素级和区域级图像融合框架，信息融合，8卷，(2007)131-142。(Nikolaos Mitianoudis andTania Stathaki，Pixel-based and region-based image fusion schemes using ICA bases，InformationFusion 8(2007)131-142.))通过将原始图像中的主要信息提取出来并合并达到图像融合的目的。但该类方法可能会忽略一些图像细节，造成融合图像模糊。

数学形态学作为图像处理的重要工具也被应用于图像融合。利用数学形态学中的高帽变换提取原始多幅图像中的有用信息并将其融合于结果图像中可达到图像融合的目的(参见文献：萨三塔等，利用多尺度形态学的二维灰度图像融合，模式识别，34卷，(2001)1939-1949。(Susanta Mukhopadhyay and Bhabatosh Chanda，Fusion of 2D grayscale images using multiscalemorphology，Pattern Recognition 34(2001)1939-1949.))。但由于高帽变换并不能有效提取图像中的有用区域，使得传统方法不能很好地保留图像的细节。虽然中心环绕高帽变换能够进一步改善融合图像的视觉效果(参见文献：白相志等，利用多尺度中心环绕高帽变换提取图像区域的红外与可见光图像融合，光学快讯，19卷，(2011)8444-8457。(Xiangzhi Bai，FugenZhou，Bindang Xue.Fusion of infrared and visual images through region extraction by using multiscale center-surround top-hat transform.Optics Express 19(2011)8444-8457.))，但图像细节仍然不是非常清晰。

高帽选择变换可选择性地提取图像的有用信息，从而可更加灵活有效地提取图像的有效区域。因此，高帽选择变换可有目的的提取图像中的有用区域并抑制经典高帽变换平滑图像细节的缺点，将更有利于提取原始图像中的有用信息用于图像融合。而且多尺度运算可以有效提取图像的多尺度特征，合理利用从原始图像中提取的多尺度特征可以有效提高图像融合的效果。因此，为了更加有效地融合图像中的有用信息，本发明提出了一种利用多尺度高帽选择变换的图像融合方法。

(三)发明内容

1、目的：图像融合是图像处理的重要研究领域，可将多幅图像中的有用信息有效融合于最后的结果图像中，从而提高图像信息的可利用率。虽然各种图像融合方法被用于图像融合，然而多数方法并不能很好地提取原始图像中的有效图像区域用于图像融合，从而不同程度地模糊图像细节或遗漏部分图像信息，使得图像融合的效果不佳。

为了解决上述问题并弥补传统方法的不足，本发明提供了一种利用多尺度高帽选择变换的图像融合方法，它通过定义高帽选择变换中的参数使高帽选择变换能够用于有效提取图像中的感兴趣区域；利用多尺度结构元素通过定义的高帽选择变换提取原始图像的多尺度亮区域和暗区域：并针对每一尺度下提取到的不同原始图像的亮区域和暗区域，利用最大值获取每一尺度下对应融合图像的亮区域和暗区域；通过取所有尺度上对应融合图像的亮区域或暗区域的最大值来获取用于最后图像融合的亮区域和暗区域；在利用原始图像平均得到基本图像后，通过在基本图像上分别加上获取的亮区域并减去获取的暗区域达到图像融合的目的，使得融合图像的对比度和图像细节得到明显改善。

2、技术方案：为了实现这个目的，本发明一种利用多尺度高帽选择变换的图像融合方法，该方法具体步骤如下：

步骤一：定义高帽选择变换中的参数使之能够用于提取图像中的感有效区域，具体定义如下：

$\mathrm{BTHS}(x,y)=\left\{\begin{array}{c}f\·B(x,y)-f(x,y),\mathrm{iff}\·B(x,y)-f(x,y)\≥\mathrm{nL}\\ 0,\mathrm{else}\end{array}\right..$

其中，WTHS和BTHS分别代表白高帽选择变换和黑高帽选择变换，可分别用于提取图像中的亮区域和暗区域。

●，和

分别为形态学开、闭、膨胀和腐蚀运算符号。(x，y)和(u，v)分别为图像f和结构元素B的像素坐标。nL为高帽选择变换中用于提取图像区域的参数，针对不同类型的图像可选用不同的参数。图像融合的常用原始图像是可见光、红外图像等。针对可见光图像，nL可定为nL＝0.2×σ；针对红外图像，nL可定为nL＝0.4×σ。σ为原始图像的方差。

步骤二：多尺度扩展步骤一定义的高帽选择变换，设有n个尺度的结构元素B₁，B₂，...，B_n参与计算，

1≤i≤n。设用于图像融合的两幅原始图像为f_IR和f_VI。

计算每个尺度i(1≤i≤n)下原始图像f_IR和f_VI中提取得到的多尺度亮区域如下：

计算每个尺度i(1≤i≤n)下原始图像f_IR和f_VI中提取得到的多尺度暗区域如下：

$\left[{\mathrm{BTHS}}_i\left(f_{\mathrm{IR}}\right)\right](x,y)=\left\{\begin{array}{c}{f}_{\mathrm{IR}}\·B(x,y)-f_{\mathrm{IR}}(x,y),\mathrm{if}{f}_{\mathrm{IR}}\·B(x,y)-f_{\mathrm{IR}}(x,y)\≥\mathrm{nIR}\\ 0,\mathrm{else}\end{array}\right.,$

$\left[{\mathrm{BTHS}}_i\left(f_{\mathrm{VI}}\right)\right](x,y)=\left\{\begin{array}{c}{f}_{\mathrm{VI}}\·B(x,y)-f_{\mathrm{VI}}(x,y),\mathrm{if}{f}_{\mathrm{VI}}\·B(x,y)-f_{\mathrm{VI}}(x,y)\≥\mathrm{nVI}\\ 0,\mathrm{else}\end{array}\right..$

步骤三：按下式计算每一尺度i下提取的f_IR和f_VI中的用于图像融合的亮区域(WTHS_i)和暗区域(BTHS_i)：

WTHS_i＝max{WTHS_i(f_IR)，WTHS_i(f_VI)}，

BTHS_i＝max{BTHS_i(f_IR)，BTHS_i(f_VI)}。

步骤四：按下式计算所有n尺度下提取的f_IR和f_VI中的用于图像融合的亮区域(RB)和暗区域(RD)：

$\mathrm{RB}=\underset{i}{\max }\left\{{\mathrm{WTHS}}_i\right\},$

$\mathrm{RD}=\underset{i}{\max }\left\{{\mathrm{BTHS}}_i\right\}.$

步骤五：按下式计算最后的融合图像：

f_F＝RA+RB×pb-RD×pd，

其中，

$\mathrm{pb}=\underset{x,y}{\mathrm{mean}}\left(\mathrm{RB}\right),$

$\mathrm{pd}=\underset{x,y}{\mathrm{mean}}\left(\mathrm{RD}\right),$

$\mathrm{RA}(x,y)=\frac{f_{\mathrm{IR}}(x,y)+f_{\mathrm{VI}}(x,y)}{2},$

f_F是最后的融合图像。

3、优点及功效：

通过设定高帽选择变换的参数使其能够有效提取图像中的有效区域用于图像融合，从而抑制传统方法不能很好地提取原始图像中的有效图像区域的缺点；通过多尺度运算有效提取图像中的多尺度有效区域，并合理地融合各尺度上的亮区域和暗区域从而有效合并原始图像中的有用信息，进一步提高融合图像的效果。因此，本发明可以更好地用于图像融合，使得融合图像的对比度和图像细节得到明显改善，可广泛应用于各类基于图像的应用系统，具有广阔的市场前景与应用价值。

(四)附图说明

图1为本发明一种利用多尺度高帽选择变换的图像融合方法的流程框图；

图2是本发明应用于红外和可见光图像融合的实例并与中心环绕高帽变换方法、直接平均方法和小波金字塔方法的量化对比结果示意图；

图中符号说明如下：

WTHS表示白高帽选择变换；

BTHS表示黑高帽选择变换；

f_IR和f_VI表示用于图像融合的原始图像；

f_F表示融合结果图像；

+表示加法运算；

-表示减法运算；

Max表示最大值运算；

Mean表示平均值运算；

pb和pd表示第五步图像融合时的权值。

(五)具体实施方式

为了更好地理解本发明的技术方案，以下结合附图对本发明的实施方式作进一步描述。本发明的流程框图如图1所示，本发明一种利用多尺度高帽选择变换的图像融合方法，该方法的具体实施步骤如下：

步骤一：定义高帽选择变换中的参数使之能够用于提取图像中的有效区域

数学形态学是一种重要的图像处理工具。数学形态学运算的基本理论是集合理论，用于数学形态学的两个基本集合是：原始图像f和结构元素B。数学形态学运算的两个基本运算是：膨胀和腐蚀。设利用结构元素B对图像f进行膨胀、腐蚀可表示为：

$f\⊕B=\underset{u,v}{\max }(f(x-u,y-v)+B(u,v)),$

其中，(x，y)是图像像素坐标；(u，v)是结构元素中的像素坐标；

和分别是数学形态学膨胀和腐蚀运算符。

在膨胀和腐蚀的基础上，可定义利用结构元素B对图像f进行开、闭运算为：

其中，○和●分别是数学形态学开、闭运算符。

在开、闭运算的基础上，可定义利用结构元素B对图像f进行高帽选择变换为：

$\mathrm{BTHS}(x,y)=\left\{\begin{array}{c}f\·B(x,y)-f(x,y),\mathrm{iff}\·B(x,y)-f(x,y)\≥\mathrm{nL}\\ 0,\mathrm{else}\end{array}\right..$

其中，WTHS和BTHS分别代表白高帽选择变换和黑高帽选择变换，可分别用于提取图像中的亮区域和暗区域。

图像中的有效区域通常与其周围背景区域不同，因此其灰度分布与周围背景区域也不同。因此可通过设定nL为一个正值达到提取有效区域与图像细节并抑制背景区域的目的，从而更加有效地提取能够用于图像融合的信息。针对不同类型的图像nL可选用不同的参数。图像融合的常用原始图像是可见光、红外图像等。针对可见光图像，nL可设定为nL＝0.2×σ；针对红外图像，nL可设定为nL＝0.4×σ。σ为原始图像的方差。

步骤二：提取多尺度有效区域用于图像融合

图像中的有用区域通常存在于图像的不同尺度下，因此，为了获得更好的融合效果，需要提取原始图像不同尺度下的有效图像区域。

设有n个尺度的结构元素B₁，B₂，...，B_n参与计算，

1≤i≤n。设用于图像融合的两幅原始图像为f_IR和f_VI。

计算每个尺度i(1≤i≤n)下原始图像f_IR和f_VI中提取得到的多尺度亮区域如下：

计算每个尺度i(1≤i≤n)下原始图像f_IR和f_VI中提取得到的多尺度暗区域如下：

$\left[{\mathrm{BTHS}}_i\left(f_{\mathrm{IR}}\right)\right](x,y)=\left\{\begin{array}{c}{f}_{\mathrm{IR}}\·B(x,y)-f_{\mathrm{IR}}(x,y),\mathrm{if}{f}_{\mathrm{IR}}\·B(x,y)-f_{\mathrm{IR}}(x,y)\≥\mathrm{nIR}\\ 0,\mathrm{else}\end{array}\right.,$

$\left[{\mathrm{BTHS}}_i\left(f_{\mathrm{VI}}\right)\right](x,y)=\left\{\begin{array}{c}{f}_{\mathrm{VI}}\·B(x,y)-f_{\mathrm{VI}}(x,y),\mathrm{if}{f}_{\mathrm{VI}}\·B(x,y)-f_{\mathrm{VI}}(x,y)\≥\mathrm{nVI}\\ 0,\mathrm{else}\end{array}\right..$

步骤三：计算每一尺度下融合不同图像有效区域的亮区域和暗区域

在每一尺度下，高帽选择变换提取亮区域的灰度值通常大于其它区域，因此不同图像中有效区域的灰度值应较大。则第i尺度下提取的f_IR和f_VI中的用于图像融合的亮区域(WTHS_i)可由下式获得。

WTHS_i＝max{WTHS_i(f_IR)，WTHS_i(f_VI)}，

同理，第i尺度下提取的f_IR和f_VI中的用于图像融合的暗区域(BTHS_i)可由下式获得。

BTHS_i＝max{BTHS_i(f_IR)，BTHS_i(f_VI)}。

步骤四：计算最终的用于图像融合的亮区域和暗区域

不同尺度下的有效亮区域的灰度值应大于其它尺度上对应像素的灰度值。因此，所有n尺度下提取的f_IR和f_VI中的用于图像融合的亮区域(RB)可通过最大值运算按下式计算得到。

$\mathrm{RB}=\underset{i}{\max }\left\{{\mathrm{WTHS}}_i\right\},$

同理，所有n尺度下提取的f_IR和f_VI中的用于图像融合的暗区域(RD)可通过最大值运算按下式计算得到。

$\mathrm{RD}=\underset{i}{\max }\left\{{\mathrm{BTHS}}_i\right\}.$

步骤五：图像融合

提取的有效图像区域应被合理地合并于包含原始图像基本信息的基本图像RA中。RA按下式计算。

$\mathrm{RA}(x,y)=\frac{f_{\mathrm{IR}}(x,y)+f_{\mathrm{VI}}(x,y)}{2}.$

为了自动根据图像所包含的信息调节融合结果图像的对比度，达到更好的融合效果，本发明将提取的有效区域图像的均值作为权值按下式计算最后的融合图像f_F：

f_F＝RA+RB×pb-RD×pd，

其中，

$\mathrm{pb}=\underset{x,y}{\mathrm{mean}}\left(\mathrm{RB}\right),$

$\mathrm{pd}=\underset{x,y}{\mathrm{mean}}\left(\mathrm{RD}\right).$

为了展示本发明的效果，利用多模图像进行验证并与其它方法的效果进行对比。图2是本发明应用于红外和可见光图像融合的实例并与中心环绕高帽变换方法、直接平均方法和小波金字塔方法的量化对比结果。采用的量化指标为空间频率，其具体定义请参见文献：阿斯兰塔斯等，变焦噪声图像融合准则函数比较，光学通讯，282(2009)3231-3242。(V.Aslantasand R.Kurban，A comparison of criterion functions for fusion of multi-focus noisy images，OpticsCommunications 282(2009)3231-3242.)。量化指标的值越大，说明融合方法的效果越好。从图2中可以看出，本发明的效果明显好于其他方法，这充分说明了本发明的有效性。而且，本发明可以用于不同多模图像的融合，因此本发明可应用于各类基于图像的应用系统，具有广阔的市场应用价值。

Claims (1)

1.一种利用多尺度高帽选择变换的图像融合方法，其特征在于：该方法具体步骤如下： 

步骤一：定义高帽选择变换中的参数使之能够用于提取图像中的感兴趣有效区域，具体定义如下： 

其中，WTHS和BTHS分别代表白高帽选择变换和黑高帽选择变换，分别用于提取图像中的亮区域和暗区域；

⊕和

分别为形态学开、闭、膨胀和腐蚀运算符号；(x,y)和(u,v)分别为图像f和结构元素B的像素坐标；nL为高帽选择变换中用于提取图像区域的参数，针对不同类型的图像选用不同的参数；图像融合的常用原始图像是可见光、红外图像，针对可见光图像，nL定为nL=0.2×σ;针对红外图像，nL定为nL=0.4×σ，σ为原始图像的方差； 

步骤二：多尺度扩展步骤一定义的高帽选择变换，设有n个尺度的结构元素B₁,B₂，…,B_n参与计算，

1≤i≤n，设用于图像融合的两幅原始图像为f_IR和f_VI， 

计算每个尺度i下原始图像f_IR和f_VI中提取得到的多尺度亮区域如下： 

其中，1≤i≤n； 

计算每个尺度i下原始图像f_IR和f_VI中提取得到的多尺度暗区域如下： 

其中，1≤i≤n； 

步骤三：按下式计算每一尺度i下提取的f_IR和f_VI中的用于图像融合的亮区域   

和暗区域   

步骤四：按下式计算所有n尺度下提取的f_IR和f_VI中的用于图像融合的亮区域RB和暗区域RD： 

步骤五：按下式计算最后的融合图像： 

f_F=RA+RB×pb-RD×pd，其中， 

f_F是最后的融合图像。 

Images