CN103903243A - 一种利用形态学中心算子的图像融合方法 - Google Patents

Abstract

一种利用形态学中心算子的图像融合方法，它有三大步骤：一、基于形态学开闭运算产生两种交替滤波器，并用两种交替滤波器产生形态学中心算子和反中心算子，通过形态学中心和反中心算子提取红外和可见光图像中的亮、暗特征；二、将多尺度形态学理论和形态学中心及反中心算子结合起来，在多尺度空间提取图像的亮、暗特征，据此产生有效的融合特征；三、在由形态学中心和反中心算子产生的基本图像的基础上，利用提取的多尺度融合特征构建融合图像。本发明应用于各类基于图像的应用系统，具有广阔的应用前景。

Description

一种利用形态学中心算子的图像融合方法

技术领域

本发明涉及一种利用形态学中心算子的图像融合方法，属于数字图像处理领域，它主要涉及数学形态学和图像融合技术。在各类基于图像的应用系统中有广阔的应用前景。

背景技术

红外图像包含很多不能被可见光传感器所捕捉的重要图像区域。同样，可见光图像包含很多不能被红外传感器所捕捉的大量细节。为了获得既包含重要图像区域又包含大量细节的图像，红外和可见光图像融合是一种有效的解决方法。图像融合是信号处理领域的一个重要方向，并且应用广泛，如目标识别、分割等。主成分分析和独立成份分析作为提取图像重要特征的工具已被广泛用来创建有效的融合图像（参见文献：冈萨雷斯等，利用基于小波分解的改进HIS和主成分分析融合子的多光谱和全色图像融合，地球科学和遥感会刊，42卷，(2004)1291-1299。（M.González-Audícana,J.L.Saleta,R.G.Catalán,R.García,Fusion ofmultispectral and panchromatic images using improved IHS and PCA mergers based on waveletdecomposition,IEEE Transactions on Geoscience and Remote Sensing42(6)(2004)1291–1299.）；茨韦伊奇等，利用独立成份分析的基于区域的多模型图像融合，传感器杂志，7卷，(2007)743-751。（N.Cvejic,D.Bull,N.Canagarajah,Region-based multimodal imagefusion using ICA bases,IEEE Sensors Journal7(5)(2007)743–751.））。但是，一些有用的图像细节会被平滑掉，从而影响融合的结果。小波变换和曲波变换能构建原图像的多尺度空间并提取图像的各尺度重要特征来进行图像融合（参见文献：帕亚雷斯等，一种基于小波的图像融合策略，模式识别，37卷，(2004)1855-1872。（Gonzalo Pajares,Jesus Manuel de la Cruz,A wavelet-based image fusion tutorial,Pattern Recognition37(2004)1855–1872）;菲利普等，利用曲波变换的遥感图像融合，信息融合，8卷，(2007)143–156。（Filippo Nencini,AndreaGarzelli,Stefano Baronti,Luciano Alparone,Remote sensing image fusion using the curvelettransform,Information Fusion8(2007)143–156.））。然而，一些有用的信息在尺度空间分解时也会被平滑，从而影响融合图像的细节。把图像分割成若干重要的区域，然后再结合起来产生融合图像的方法在某些情况下能取得很好的效果（尼克罗夫等，朝向感知的图像融合，信息融合，11卷，(2010)95–113。（A.Toet,M.A.Hogervorst,S.G.Nikolov,J.J.Lewis,T.D.Dixon,D.R.Bull,C.N.Canagarajah,Towards cognitive image fusion,Information Fusion11(2010)95–113.））。但是，对于红外和可见光图像融合，分割并不能有效地提取可见光图像中的图像细节。智能工具（参见文献：王兆斌等，利用脉冲耦合神经元网络的多聚焦图像融合，模式识别，43卷，(2010)2003–2016。（Zhaobin Wang,Yide Ma,JasonGu,Multi-focusimage fusion using PCNN,Pattern Recognition43(2010)2003–2016.）），如神经元网络，也被广泛应用于多聚焦图像的融合。但是，此方法不适用于红外和可见光图像的融合。

数学形态学是光学和信号处理领域中的重要理论，可被应用于红外和可见光图像融合。其中，形态学高帽(top-hat)变换（参考文献：白相志等，基于多尺度中心环绕高帽变换特征提取的红外和可见光图像融合，光学快报，19卷，(2011)8444–8457。（Xiangzhi Bai,Fugen Zhou,Bindang Xue,Fusion of infrared and visual images through region extraction by using multi scalecenter-surround top-hat transform,Optics Express19(9)(2011)8444–8457.））能有效结合原始红外和可见光图像中的信息。然而，这些方法会产生噪声或平滑图像的细节，从而影响图像融合的效果。为了保留更多的原始红外和可见光图像的有用信息，在图像融合过程中的重要图像特征应该被提取出来并加以利用。形态学中心算子（参考文献：白相志等，基于形态学中心算子特征提取的矿物显微图像增强，显微研究和技术，76卷，(2013)163–172。（Xiangzhi Bai,Enhancing microscopy images of minerals through morphological center operator-based featureextraction,Microscopy Research and Technique76(2013)163–172.））能够很好地提取图像的特征。而且，形态学中心算子提取特征是基于灰度的。而红外和可见光图像中的主要信息一般均依靠灰度表达。因此，形态学中心算子是红外和可见光图像融合的有效工具。据此，为了更加有效地融合图像中的有用信息，本发明提出了一种利用形态学中心算子的图像融合方法。

发明内容

1、目的：图像融合是图像处理中的重要关键技术，是合理有效利用多传感器获取数据信息的有效工具。图像融合的关键是提取出原始图像中的有用区域并将这些区域合理地合并于结果图像中。为了更好地提取多传感器获取的图像中的有用信息并将其融合于同一幅图像中，各种方法被提出。然而多数方法并不能很好地提取原始图像中的有效图像区域用于图像融合，从而不同程度地模糊图像细节或遗漏部分图像信息，使得图像融合的效果不佳。

为了解决上述问题并弥补传统方法的不足，本发明提供了一种利用形态学中心算子的图像融合方法，它通过形态学中心算子和反中心算子提取红外和可见光图像中的亮、暗特征作为有用的信息；结合多尺度形态学理论和中心及反中心算子提取原始红外和可见光图像的多尺度特征；利用得到的多尺度特征构建融合图像。形态学中心算子和反中心算子很好地融合了原图的信息。

2、技术方案：为了实现这个目的，本发明一种利用形态学中心算子的图像融合方法，该方法具体步骤如下：

步骤一：利用形态学中心算子和反中心算子提取红外和可见光图像的亮、暗特征，具体定义如下：

AF₁(f)=(f○B)●B,

AF₂(f)=(f●B)○B，

MC(f)=min{max{f,min{AF₁(f),AF₂(f)}},max{AF₁(f),AF₂(f)}，

其中，AF₁和AF₂是两种交替滤波器；MC代表形态学中心算子，同理，

代表形态学反中心算子，是MC的补运算。利用形态学中心和反中心算子可以提取图像中的重要亮、暗特征。

$f\⊕B=\underset{u,v}{\max }\left(f(x-u,y-v)\right),$

○，·，⊕和

分别为形态学开、闭、膨胀和腐蚀运算符号。(x,y)和(u,v)分别为图像f和结构元素B的像素坐标。

利用形态学中心算子和反中心算子计算提取原图像的亮、暗特征如下：

DIF₁(f)=max{MC(f)-f,0}，

${\mathrm{DIF}}_2\left(f\right)=\max \{\stackrel{\‾}{\mathrm{MC}}\left(f\right)-f,0\},$

DIF(f)=max{DIF₁(f),DIF₂(f)}，

BIF₁(f)=max{f-MC(f),0}，

${\mathrm{BIF}}_2\left(f\right)=\max \{f-\stackrel{\‾}{\mathrm{MC}}\left(f\right),0\},$

BIF(f)=max{BIF₁(f),BIF₂(f)}。

其中，DIF和BIF分别是通过形态学中心算子和反中心算子提取出的暗、亮特征。

步骤二：结合多尺度理论和形态学中心算子及反中心算子提取红外和可见光图像的多尺度特征，设有n个尺度的结构元素B₁,B₂,…,B_n参与计算，

1≤i≤n。设用于图像融合的两幅原始图像为f_IR和f_VI。

计算每个尺度i(1≤i≤n)下原始图像f_IR和f_VI中提取得到的多尺度亮特征如下：

${\mathrm{BIF}}_1^i\left(f_{\mathrm{IR}}\right)=\max \{f_{\mathrm{IR}}-{\mathrm{MC}}_i\left(f_{\mathrm{IR}}\right),0\},$

${\mathrm{BIF}}_2^i\left(f_{\mathrm{IR}}\right)=\max \{f_{\mathrm{IR}}-\stackrel{\‾}{{\mathrm{MC}}_i}\left(f_{\mathrm{IR}}\right),0\},$

${\mathrm{BIF}}_i\left(f_{\mathrm{IR}}\right)=\max \{{\mathrm{BIF}}_1^i\left(f_{\mathrm{IR}}\right),{\mathrm{BIF}}_2^i\left(f_{\mathrm{IR}}\right)\}.$

${\mathrm{BIF}}_1^i\left(f_{\mathrm{VI}}\right)=\max \{f_{\mathrm{VI}}-{\mathrm{MC}}_i\left(f_{\mathrm{VI}}\right),0\},$

${\mathrm{BIF}}_2^i\left(f_{\mathrm{VI}}\right)=\max \{f_{\mathrm{VI}}-\stackrel{\‾}{{\mathrm{MC}}_i}\left(f_{\mathrm{VI}}\right),0\},$

${\mathrm{BIF}}_i\left(f_{\mathrm{VI}}\right)=\max \{{\mathrm{BIF}}_1^i\left(f_{\mathrm{VI}}\right),{\mathrm{BIF}}_2^i\left(f_{\mathrm{VI}}\right)\};$

利用所有尺度信息获得的最终的融合亮特征如下：

$\mathrm{FBIF}(f_{\mathrm{IR}},f_{\mathrm{VI}})=\underset{i}{\max }\left\{{\mathrm{BIF}}_i(f_{\mathrm{IR}},f_{\mathrm{VI}})\right)\},$

其中，

BIF_i(f_IR,f_VI)=max{BIF_i(f_IR),BIF_i(f_VI)}。

计算每个尺度i(1≤i≤n)下原始图像f_IR和f_VI中提取得到的多尺度暗特征如下：

${\mathrm{DIF}}_1^i\left(f_{\mathrm{IR}}\right)=\max \{{\mathrm{MC}}_i\left(f_{\mathrm{IR}}\right)-f_{\mathrm{IR},}0\},$

${\mathrm{DIF}}_2^i\left(f_{\mathrm{IR}}\right)=\max \{\stackrel{\‾}{{\mathrm{MC}}_i}\left(f_{\mathrm{IR}}\right)-f_{\mathrm{IR}},0\},$

${\mathrm{DIF}}_i\left(f_{\mathrm{IR}}\right)=\max \{{\mathrm{DIF}}_1^i\left(f_{\mathrm{IR}}\right),{\mathrm{DIF}}_2^i\left(f_{\mathrm{IR}}\right)\},$

${\mathrm{DIF}}_1^i\left(f_{\mathrm{VI}}\right)=\max \{{\mathrm{MC}}_i\left(f_{\mathrm{VI}}\right)-f_{\mathrm{VI}},0\},$

${\mathrm{DIF}}_2^i\left(f_{\mathrm{VI}}\right)=\max \{\stackrel{\‾}{{\mathrm{MC}}_i}\left(f_{\mathrm{VI}}\right)-f_{\mathrm{VI}},0\},$

${\mathrm{DIF}}_i\left(f_{\mathrm{VI}}\right)=\max \{{\mathrm{DIF}}_1^i\left(f_{\mathrm{VI}}\right),{\mathrm{DIF}}_2^i\left(f_{\mathrm{VI}}\right)\};$

利用所有尺度信息获得的最终的融合暗特征如下：

$\mathrm{FDIF}(f_{\mathrm{IR}},f_{\mathrm{VI}})=\underset{i}{\max }\left\{{\mathrm{DIF}}_i(f_{\mathrm{IR}},f_{\mathrm{VI}})\right)\},$

其中，

DIF_i(f_IR,f_VI)=max{DIF_i(f_IR),DIF_i(f_VI)}。

步骤三：按下式计算最后的融合图像：

FI(f_IR,f_VI)=BI(f_IR,f_VI)+FBIF(f_IR,f_VI)–FDIF(f_IR,f_VI)，

其中，

$\mathrm{BI}\left(f_{\mathrm{IR},}{f}_{\mathrm{VI}}\right)=\mathrm{mean}\{{\mathrm{MC}}_n\left(f_{\mathrm{VI}}\right),{\mathrm{MC}}_n\left(f_{\mathrm{IR}}\right),{\stackrel{\‾}{\mathrm{MC}}}_n\left(f_{\mathrm{VI}}\right),{\stackrel{\‾}{\mathrm{MC}}}_n\left(f_{\mathrm{IR}}\right)\},$

FI是最后的融合图像。

3、优点及功效：

通过形态学中心算子能有效地提取图像的重要特征用以实现红外和可见光图像的融合。此外，多尺度形态学理论和形态学中心及反中心算子的结合，成功提取了图像的多尺度特征。因为有效地提取了原图像的特征，原图像的有用信息都和融合图像很好地结合起来。因此，本发明能将红外和可见光图像很好地融合，并且融合图像很清晰。总之，本发明可以更好地用于图像融合，使得融合图像的对比度和图像细节得到明显改善，可广泛应用于各类基于图像的应用系统，具有广阔的市场前景与应用价值。

附图说明

图1是本发明一种利用形态学中心算子的图像融合方法的流程框图；

图2是本发明应用于红外和可见光图像融合的实例与直接平均方法、多尺度形态学方法和中心环绕高帽变换方法的量化对比的互信息示意图；

图3是本发明应用于红外和可见光图像融合的实例与直接平均方法、多尺度形态学方法和中心环绕高帽变换方法的量化对比的空间频率示意图；

图4是本发明应用于红外和可见光图像融合的实例与直接平均方法、多尺度形态学方法和中心环绕高帽变换方法的量化对比的均值梯度示意图；

图1中的符号说明如下：

f_IR和f_VI分别表示待融合的红外和可见光图像；

DIF_n(f_IR)表示在尺度n下利用形态学中心和反中心算子提取的红外图像的暗特征；

DIF_n(f_VI)表示在尺度n下利用形态学中心和反中心算子提取的可见光图像的暗特征；

BIF_n(f_IR)和BIF_n(f_VI)分别表示在尺度n下利用中心和反中心算子提取的红外和可见光图像的亮特征；

MC_n(f_VI)和

(f_VI)分别是经过形态学中心和反中心算子处理的可见光图像；

MC_n(f_IR)和(f_IR)分别是经过形态学中心和反中心算子处理的红外图像；

FBIF和FDIF分别是融合亮特征和融合暗特征；

Max，Mean，+，-分别代表取最大，取均值，加法运算和减法运算；

FI代表最终的融合图像。

图2-4中的符号说明如下：

DA代表直接平均方法；

MSM代表多尺度形态学方法；

MSNTH代表中心环绕高帽变换方法；

The proposed algorithm代表本发明的方法。

具体实施方式

为了更好地理解本发明的技术方案，以下结合附图对本发明的实施方式作进一步描述。本发明的流程框图如图1所示，本发明是一种利用形态学中心算子的图像融合方法，该方法的具体实施步骤如下：

步骤一：形态学中心算子和反中心算子被用来提取红外图像的可见光图像的亮、暗特征

数学形态学是一种重要的图像处理工具（参考文献：塞拉等，图像分析和数学形态学，学术出版社，纽约，1982。（J.Serra,Image analysis and mathematical morphology,Academic Press,New York,1982.））。数学形态学运算的基本理论是集合理论，用于数学形态学的两个基本集合是：原始图像f和结构元素B。数学形态学运算的两个基本运算是：膨胀和腐蚀。设利用结构元素B对图像f进行膨胀、腐蚀可表示为：

$f\⊕B=\underset{u,v}{\max }(f(x-u,y-v)+B(u,v)),$

其中，(x,y)是图像像素坐标；(u,v)是结构元素中的像素坐标；⊕和分别是数学形态学膨胀和腐蚀运算符。

在膨胀和腐蚀的基础上，可定义利用结构元素B对图像f进行开、闭运算为：

其中，○和●分别是数学形态学开、闭运算符。

在开、闭运算的基础上，可定义利用结构元素B构造的两类交替滤波器为：

AF₁(f)=(f○B)●B，

AF₂(f)=(f●B)○B。

其中，AF₁和AF₂分别代表两种交替滤波器，可以用于提取图像中的亮、暗特征。

尽管AF₁和AF₂能有效地提取图像的亮、暗特征，但是噪声和背景区域也会被提取，因此会影响融合的结果，为了提取图像真实有效地特征，在AF₁和AF₂的基础上构造形态学中心算子如下（参考文献：索爱黎等，形态学图像分析原理与应用，斯普林格，德国，2003。（P.Soille,Morphological image analysis-principle and applications,Springer,Germany,2003.））：

MC(f)=min{max{f,min{AF₁(f),AF₂(f)}},max{AF₁(f),AF₂(f)}}。

因为MC是原图像f与AF₁和AF₂的中心图像，所以被MC平滑的图像特征应该与原图像差别很大。也就是说MC会平滑图像的重要特征，这个结论有助于图像特征的提取。同样，形态学反中心算子是形态学中心算子的补运算，表示为：也能平滑图像的特征（参考文献：白相志等，基于形态学中心算子特征提取的矿物显微图像增强，显微研究和技术，76卷，(2013)163–172。（Xiangzhi Bai,Enhancing microscopy images of minerals throughmorphological center operator-based feature extraction,Microscopy Research and Technique76(2013)163–172.））。

形态学中心算子和反中心算子能平滑可见光图像和红外图像的特征，而那些被平滑的特征能用来有效地融合图像（参考文献：白相志等，基于形态学中心算子特征提取的矿物显微图像增强，显微研究和技术，76卷，(2013)163–172。（Xiangzhi Bai,Enhancing microscopy imagesof minerals through morphological center operator-based feature extraction,Microscopy Researchand Technique76(2013)163–172.））。通过形态学中心算子MC和反中心算子MC提取图像的暗特征为：

DIF₁(f)=max{MC(f)-f,0}，

${\mathrm{DIF}}_2\left(f\right)=\max \{\stackrel{\‾}{\mathrm{MC}}\left(f\right)-f,0\},$

其中，DIF₁(f)和DIF₂(f)分别是通过形态学中心算子和反中心算子提取的图像的暗特征。

在DIF₁(f)和DIF₂(f)中，提取出来的图像暗特征都有很大的灰度值，通过形态学中心算子和反中心算子提取的图像暗特征应该是其中灰度值最大的，故融合需要的暗特征为：

DIF(f)=max{DIF₁(f),DIF₂(f)}。

DIF(f)代表通过形态学中心算子和反中心算子提取的图像暗特征。

亮特征的提取与暗特征的提取过程类似。通过形态学中心算子MC和反中心算子

提取图像的亮特征为：

BIF₁(f)=max{f-MC(f),0}，

${\mathrm{BIF}}_2\left(f\right)=\max \{f-\stackrel{\‾}{\mathrm{MC}}\left(f\right),0\},$

其中，BIF₁(f)和BIF₂(f)分别是通过形态学中心算子和反中心算子提取的图像的亮特征。

在BIF₁(f)和BIF₂(f)中，提取出来的图像亮特征应该有很大的灰度值，因此通过形态学中心算子和反中心算子提取的图像亮特征应该是最大的灰度值所对应的特征，故融合需要的亮特征为：

BIF(f)=max{BIF₁(f),BIF₂(f)}。

BIF(f)代表通过形态学中心算子和反中心算子提取的图像亮特征。

步骤二：利用形态学多尺度理论提取图像的多尺度特征

图像中的有用区域通常存在于图像的不同尺度下。因此，为了获得更好的融合效果，需要提取原始图像不同尺度下的有效图像区域（参考文献：Maragos等，基于形态学滤波的图像增强和特征提取，图像和视频处理指南，第二版，艾斯维尔出版社，2005。（P.Maragos,Morphological filtering for image enhancement and feature detection,The Image and VideoProcessing Handbook,2nd edition,Edited by A.C.Bovik,Elsevier Academic Press,2005,pp.135–156.）；白相志等，基于形态学中心算子特征提取的矿物显微图像增强，显微研究和技术，76卷，(2013)163–172。（Xiangzhi Bai,Enhancing microscopy images of minerals throughmorphological center operator-based feature extraction,Microscopy Research and Technique76(2013)163–172.））。

设有n个尺度的结构元素B₁,B₂,…,B_n参与计算，

1≤i≤n。设用于图像融合的两幅原始图像为f_IR和f_VI。

计算每个尺度i(1≤i≤n)下原始图像f_IR和f_VI中提取得到的多尺度暗特征如下：

对于红外图像f_IR：

${\mathrm{DIF}}_i\left(f_{\mathrm{IR}}\right)=\max \{{\mathrm{DIF}}_1^i\left(f_{\mathrm{IR}}\right),{\mathrm{DIF}}_2^i\left(f_{\mathrm{IR}}\right)\},$

其中，

${\mathrm{DIF}}_1^i\left(f_{\mathrm{IR}}\right)=\max \{{\mathrm{MC}}_i\left(f_{\mathrm{IR}}\right)-f_{\mathrm{IR},}0\},$

${\mathrm{DIF}}_2^i\left(f_{\mathrm{IR}}\right)=\max \{\stackrel{\‾}{{\mathrm{MC}}_i}\left(f_{\mathrm{IR}}\right)-f_{\mathrm{IR}},0\}.$

对于可见光图像f_VI：

${\mathrm{DIF}}_i\left(f_{\mathrm{VI}}\right)=\max \{{\mathrm{DIF}}_1^i\left(f_{\mathrm{VI}}\right),{\mathrm{DIF}}_2^i\left(f_{\mathrm{VI}}\right)\},$

其中，

${\mathrm{DIF}}_1^i\left(f_{\mathrm{VI}}\right)=\max \{{\mathrm{MC}}_i\left(f_{\mathrm{VI}}\right)-f_{\mathrm{VI}},0\},$

${\mathrm{DIF}}_2^i\left(f_{\mathrm{VI}}\right)=\max \{\stackrel{\‾}{{\mathrm{MC}}_i}\left(f_{\mathrm{VI}}\right)-f_{\mathrm{VI}},0\}.$

依据步骤一中的特征提取过程，在尺度i下，结合DIF_i(f_IR)和DIF_i(f_VI)的融合暗特征DIF_i(f_IR,f_VI)如下：

DIF_i(f_IR,f_VI)=max{DIF_i(f_IR),DIF_i(f_VI)}。

由于中心和反中心变换在每尺度下提取得到的特征的灰度值较大，因此可通过灰度最大值的比较综合所有尺度的融合暗特征，最终的融合暗特征FDIF(f_IR,f_VI)表示如下：

$\mathrm{FDIF}(f_{\mathrm{IR}},f_{\mathrm{VI}})=\underset{i}{\max }\left\{{\mathrm{DIF}}_i(f_{\mathrm{IR}},f_{\mathrm{VI}})\right)\}.$

最终的融合亮特征的计算过程与最终的融合暗特征FDIF(f_IR,f_VI)的计算类似，具体如下所述。计算每个尺度i(1≤i≤n)下原始图像f_IR和f_VI中提取得到的多尺度亮特征如下：

对于红外图像f_IR：

${\mathrm{BIF}}_i\left(f_{\mathrm{IR}}\right)=\max \{{\mathrm{BIF}}_1^i\left(f_{\mathrm{IR}}\right),{\mathrm{BIF}}_2^i\left(f_{\mathrm{IR}}\right)\},$

其中，

${\mathrm{BIF}}_1^i\left(f_{\mathrm{IR}}\right)=\max \{f_{\mathrm{IR}}-{\mathrm{MC}}_i\left(f_{\mathrm{IR}}\right),0\},$

${\mathrm{BIF}}_2^i\left(f_{\mathrm{IR}}\right)=\max \{f_{\mathrm{IR}}-\stackrel{\‾}{{\mathrm{MC}}_i}\left(f_{\mathrm{IR}}\right),0\}.$

对于可见光图像f_VI：

${\mathrm{BIF}}_i\left(f_{\mathrm{VI}}\right)=\max \{{\mathrm{BIF}}_1^i\left(f_{\mathrm{VI}}\right),{\mathrm{BIF}}_2^i\left(f_{\mathrm{VI}}\right)\},$

其中，

${\mathrm{BIF}}_1^i\left(f_{\mathrm{VI}}\right)=\max \{f_{\mathrm{VI}}-{\mathrm{MC}}_i\left(f_{\mathrm{VI}}\right),0\},$

${\mathrm{BIF}}_2^i\left(f_{\mathrm{VI}}\right)=\max \{f_{\mathrm{VI}}-\stackrel{\‾}{{\mathrm{MC}}_i}\left(f_{\mathrm{VI}}\right),0\}.$

在尺度i下，结合BIF_i(f_IR)和BIF_i(f_VI)的融合亮特征BIF_i(f_IR,f_VI)如下：

BIF_i(f_IR,f_VI)=max{BIF_i(f_IR),BIF_i(f_VI)}。

综合所有尺度的融合亮特征，最终的融合亮特征FBIF(f_IR,f_VI)表示如下：

$\mathrm{FBIF}(f_{\mathrm{IR}},f_{\mathrm{VI}})=\underset{i}{\max }\left\{B{\mathrm{IF}}_i(f_{\mathrm{IR}},f_{\mathrm{VI}})\right)\}.$

步骤三：利用得到的多尺度特征融合红外和可见光图像

提取的有效图像特征应被合理地合并于包含原始图像基本信息的基本图像BI中。BI按下式计算。

$\mathrm{BI}\left(f_{\mathrm{IR},}{f}_{\mathrm{VI}}\right)=\mathrm{mean}\{{\mathrm{MC}}_n\left(f_{\mathrm{VI}}\right),{\mathrm{MC}}_n\left(f_{\mathrm{IR}}\right),{\stackrel{\‾}{\mathrm{MC}}}_n\left(f_{\mathrm{VI}}\right),{\stackrel{\‾}{\mathrm{MC}}}_n\left(f_{\mathrm{IR}}\right)\},$

考虑到原图像的亮和暗特征已被有效的提取出来，亮、暗特征对比度增强的策略是一种有效的融合方式，融合方式如下：

FI(f_IR,f_VI)=BI(f_IR,f_VI)+FBIF(f_IR,f_VI)–FDIF(f_IR,f_VI)，

其中，FI是最终的融合图像。

为了展示本发明的效果，利用多模图像进行验证并与其它方法的效果进行对比。图2-4是本发明应用于红外和可见光图像融合的实例并与直接平均方法、多尺度形态学方法（参考文献：Susanta等，利用多尺度形态学的2维图像融合，模式识别，34卷，(2001)1939–1949。（Susanta Mukhopadhyay and Bhabatosh Chanda,Fusion of2D grayscale images using multiscalemorphology,Pattern Recognition34(2001)1939–1949.））和中心环绕高帽变换方法（参考文献：白相志等，基于多尺度中心环绕高帽变换特征提取的红外和可见光图像融合，光学快报，19卷，(2011)8444–8457。（Xiangzhi Bai,Fugen Zhou,Bindang Xue,Fusion of infrared and visualimages through region extraction by using multi scale center-surround top-hat transform,OpticsExpress19(9)(2011)8444–8457.））的量化对比结果。

采用的量化指标为互信息、空间频率和平均梯度，其具体定义请参见文献：曲桂红等，图像融合的信息测度，电子信件，38卷，(2002)313–315，(Guihong Qu,Dali Zhang,Pingfan Yan,Information measure for performance of image fusion.Electronic Letters38(7)(2002)313–315.)；阿斯兰塔斯等，变焦噪声图像融合准则函数比较，光学通讯，282(2009)3231–3242，(V.Aslantasand R.Kurban,A comparison of criterion functions for fusion of multi-focus noisy images,OpticsCommunications282(2009)3231–3242.)；王伟杰等，一种基于小波变换的图像融合方法，6卷，(2001)1130–1136,(Weijie Wang,Ping Tang,Chongguang Zhu,A wavelet transform basedimage fusion method,Journal of Image and Graphics6(11)(2001)1130–1136.)。

各量化指标的值越大，说明融合方法的效果越好。从图2中可以看出，本发明方法融合图像的互信息最大，意味着较其他方法本发明能更好地保留原图像的信息；从图3中可以看出，本发明方法融合图像的空间频率最大，意味着较其他方法本发明能很好的结合红外和可见光图像的空间信息，从而融合的图像更清晰；从图4中可以看出，本发明方法融合图像的均值梯度最大，意味着较其他方法本发明能在融合图像中保留更多红外和可见光图像的细节。综合图2—图4，可以看出本发明的效果明显好于其他方法，这充分说明了本发明的有效性。此外，本发明不仅很好地保留了原始红外和可见光图像中的信息，并且使融合的图像更清晰，从而有利于进一步的图像分析。因此，本发明能有效地融合红外和可见光图像，具有广阔的市场应用价值。

Claims (1)

1.一种利用形态学中心算子的图像融合方法，其特征在于：该方法具体步骤如下：

步骤一：利用形态学中心算子和反中心算子提取红外和可见光图像的亮、暗特征，具体定义如下：

AF₁(f)=(f○B)●B，

AF₂(f)=(f●B)○B，

MC(f)=min{max{f,min{AF₁(f),AF₂(f)}},max{AF₁(f),AF₂(f)}，

其中，AF₁和AF₂是两种交替滤波器；MC代表形态学中心算子，同理，

代表形态学反中心算子，是MC的补运算；利用形态学中心和反中心算子提取图像中的重要亮、暗特征，

$f\⊕B=\underset{u,v}{\max }\left(f(x-u,y-v)\right),$ ○，·，⊕和

分别为形态学开、闭、膨胀和腐蚀运算符号，(x,y)和(u,v)分别为图像f和结构元素B的像素坐标；

利用形态学中心算子和反中心算子计算提取原图像的亮、暗特征如下：

DIF₁(f)=max{MC(f)-f,0}，

${\mathrm{DIF}}_2\left(f\right)=\max \{\stackrel{\‾}{\mathrm{MC}}\left(f\right)-f,0\},$

DIF(f)=max{DIF₁(f),DIF₂(f)}，

BIF₁(f)=max{f-MC(f),0}，

${\mathrm{BIF}}_2\left(f\right)=\max \{f-\stackrel{\‾}{\mathrm{MC}}\left(f\right),0\},$

BIF(f)=max{BIF₁(f),BIF₂(f)}；

其中，DIF和BIF分别是通过形态学中心算子和反中心算子提取出的暗、亮特征；

步骤二：结合多尺度理论和形态学中心算子及反中心算子提取红外和可见光图像的多尺度特征，设有n个尺度的结构元素B₁,B₂,…,B_n参与计算，

1≤i≤n；设用于图像融合的两幅原始图像为f_IR和f_VI；

计算每个尺度i(1≤i≤n)下原始图像f_IR和f_VI中提取得到的多尺度亮特征如下：

${\mathrm{BIF}}_1^i\left(f_{\mathrm{IR}}\right)=\max \{f_{\mathrm{IR}}-{\mathrm{MC}}_i\left(f_{\mathrm{IR}}\right),0\},$

${\mathrm{BIF}}_2^i\left(f_{\mathrm{IR}}\right)=\max \{f_{\mathrm{IR}}-\stackrel{\‾}{{\mathrm{MC}}_i}\left(f_{\mathrm{IR}}\right),0\},$

${\mathrm{BIF}}_i\left(f_{\mathrm{IR}}\right)=\max \{{\mathrm{BIF}}_1^i\left(f_{\mathrm{IR}}\right),{\mathrm{BIF}}_2^i\left(f_{\mathrm{IR}}\right)\};$

${\mathrm{BIF}}_1^i\left(f_{\mathrm{VI}}\right)=\max \{f_{\mathrm{VI}}-{\mathrm{MC}}_i\left(f_{\mathrm{VI}}\right),0\},$

${\mathrm{BIF}}_2^i\left(f_{\mathrm{VI}}\right)=\max \{f_{\mathrm{VI}}-\stackrel{\‾}{{\mathrm{MC}}_i}\left(f_{\mathrm{VI}}\right),0\},$

${\mathrm{BIF}}_i\left(f_{\mathrm{VI}}\right)=\max \{{\mathrm{BIF}}_1^i\left(f_{\mathrm{VI}}\right),{\mathrm{BIF}}_2^i\left(f_{\mathrm{VI}}\right)\};$

利用所有尺度信息获得的最终的融合亮特征如下：

$\mathrm{FBIF}(f_{\mathrm{IR}},f_{\mathrm{VI}})=\underset{i}{\max }\left\{{\mathrm{BIF}}_i(f_{\mathrm{IR}},f_{\mathrm{VI}})\right)\},$

其中，

BIF_i(f_IR,f_VI)=max{BIF_i(f_IR),BIF_i(f_VI)}；

计算每个尺度i(1≤i≤n)下原始图像f_IR和f_VI中提取得到的多尺度暗特征如下：

${\mathrm{DIF}}_1^i\left(f_{\mathrm{IR}}\right)=\max \{{\mathrm{MC}}_i\left(f_{\mathrm{IR}}\right)-f_{\mathrm{IR},}0\},$

${\mathrm{DIF}}_2^i\left(f_{\mathrm{IR}}\right)=\max \{\stackrel{\‾}{{\mathrm{MC}}_i}\left(f_{\mathrm{IR}}\right)-f_{\mathrm{IR}},0\},$

${\mathrm{DIF}}_i\left(f_{\mathrm{IR}}\right)=\max \{{\mathrm{DIF}}_1^i\left(f_{\mathrm{IR}}\right),{\mathrm{DIF}}_2^i\left(f_{\mathrm{IR}}\right)\},$

${\mathrm{DIF}}_1^i\left(f_{\mathrm{VI}}\right)=\max \{{\mathrm{MC}}_i\left(f_{\mathrm{VI}}\right)-f_{\mathrm{VI}},0\},$

${\mathrm{DIF}}_2^i\left(f_{\mathrm{VI}}\right)=\max \{\stackrel{\‾}{{\mathrm{MC}}_i}\left(f_{\mathrm{VI}}\right)-f_{\mathrm{VI}},0\},$

${\mathrm{DIF}}_i\left(f_{\mathrm{VI}}\right)=\max \{{\mathrm{DIF}}_1^i\left(f_{\mathrm{VI}}\right),{\mathrm{DIF}}_2^i\left(f_{\mathrm{VI}}\right)\};$

利用所有尺度信息获得的最终的融合暗特征如下：

$\mathrm{FDIF}(f_{\mathrm{IR}},f_{\mathrm{VI}})=\underset{i}{\max }\left\{{\mathrm{DIF}}_i(f_{\mathrm{IR}},f_{\mathrm{VI}})\right)\},$

其中，

DIF_i(f_IR,f_VI)=max{DIF_i(f_IR),DIF_i(f_VI)}；

步骤三：按下式计算最后的融合图像：

FI(f_IR,f_VI)=BI(f_IR,f_VI)+FBIF(f_IR,f_VI)–FDIF(f_IR,f_VI)，

其中，

$\mathrm{BI}\left(f_{\mathrm{IR},}{f}_{\mathrm{VI}}\right)=\mathrm{mean}\{{\mathrm{MC}}_n\left(f_{\mathrm{VI}}\right),{\mathrm{MC}}_n\left(f_{\mathrm{IR}}\right),{\stackrel{\‾}{\mathrm{MC}}}_n\left(f_{\mathrm{VI}}\right),{\stackrel{\‾}{\mathrm{MC}}}_n\left(f_{\mathrm{IR}}\right)\},$

FI是最后的融合图像。

Images