CN101872473A - 基于过分割与优化的多尺度图像自然色彩融合方法及装置 - Google Patents

Abstract

本发明提出一种基于过分割与优化的多尺度图像自然色彩融合方法，包括：获得灰度融合图像；选取参考图像，对灰度融合图像和参考图像进行过度分割处理；将上述图像从RGB颜色空间变换到lαβ颜色空间，进行区域传递；将参考图像中过度分割区域中色彩信息传递给灰度融合图像；根据红外图像中高于图像整体亮度的点确定特殊区域；从lαβ颜色空间到RGB颜色空间的变换以获得自然色彩的融合图像。本发明提出了一种基于过分割与优化的多尺度图像自然色彩融合装置，包括：变换模块、过度分割模块、区域传递模块、色彩传递模块和色彩融合模块。根据本发明的方法及装置，改善多源灰度图像的融合效果，提高信息分辨力，减轻观察者的视疲劳，提高可持续观察能力。

Description

基于过分割与优化的多尺度图像自然色彩融合方法及装置

技术领域

本发明涉及图像处理领域，具体涉及基于过分割与优化的多尺度图像自然色彩融合方法及装置。

背景技术

多传感器图像融合就是将两个或两个以上的传感器获取的关于某个具体场景的图像或图像序列信息采用一定的算法加以综合，生成一个新的有关此场景的图像。融合得到的新图像具有更高的可信度、较少的模糊以及更好的可理解性，更适合人的视觉或者计算机检测、分类、识别、理解等处理，从而能够提高图像探测系统的探测和识别能力。

灰度图像融合的方法主要有：

1)简单的像素融合：直接对源图像的像素点进行平均或加权运算，典型的有广义线性加权、主分量(PCA)方法等。

2)金字塔变换融合：在这类算法中，源图像不断地被滤波，形成一个塔状结构，在塔的每一层都依据某种规则对这一层的数据进行融合，从而得到一个合成的塔式结构，然后对合成的塔式结构进行重构，得到融合图像。

3)小波(Wavelet)变换融合：将源图像分解在不同频段上，然后依据某种融合规则对各频段数据进行融合，构成新的小波金字塔结构，最后再用小波逆变换得到融合图像。

4)多尺度几何分析融合：多尺度几何分析提供了一种具有灵活局部性和方向性的多分辨率图像表示方法，其方法的基本思路同金字塔变换融合法和小波变换融合法相似。

目前灰度图像融合的关键在于获得清晰的融合图像的同时，尽可能地保持源图像中原有的信息。由于人眼只能分辨出大约100个灰度级，却能分辨几千种颜色，人们开始考虑将8bit灰度级映射到三维彩色空间里，理论上能达到24bit的动态范围，将原受限于人眼的图像细节通过颜色差异分辨出来。该方法也用于图像融合的细节分辨力，一般称图像彩色融合，主要方法包括：

1)直接映射融合法：将源图像直接映射入RGB通道，从而形成彩色融合图像的方法，如NRL方法。

2)TNO融合法：该方法首先确定两幅源图像的共有部分，再从每幅源图像中分别减去共有部分，得到每幅图像的独有部分，然后用两幅图像分别减去另一幅图像的独有部分得到细节增强图像，最后将所得的结果送入不同的颜色通道进行显示。

3)MIT融合法：MIT融合法以中心-环绕分离网络为基础，应用生物视觉拮抗特征融合红外和可见光图像，算法内部对融合结果的颜色进行了重新映射。

4)基于颜色传递技术的融合法：首先将源彩色融合图像和目标彩色图像变换到1αβ空间，将目标图像的颜色分布传递到源彩色融合图像中，最后通过1αβ逆变换获得重染色了的彩色融合图像。

当前图像彩色融合方法在视觉细节信息上还存在着不足，也没有给融合的灰度图像并赋以具有自然感觉的色彩，观察者观看图像易产生疲劳感，不适于长时间观察。

发明内容

本发明的目的旨在至少解决上述技术缺陷之一，特别针对减小观察者的疲劳感，给融合的灰度图像并赋以具有自然感觉的色彩，提供了基于过分割与优化的多尺度图像自然色彩融合方法及装置。

为实现上述目的，本发明实施例的一方面公开了一种基于过分割与优化的多尺度图像自然色彩融合方法，包括如下步骤：

根据红外和可见光灰度图像获得灰度融合图像ImgN；

选取参考图像ImgR，并对所述灰度融合图像ImgN和参考图像ImgR分别进行过度分割处理以获得过度分割区域；

将所述灰度融合图像ImgN和参考图像ImgR从RGB颜色空间变换到/αβ颜色空间，并根据所述过度分割区域的亮度信息、所述变换后的灰度融合图像ImgN和参考图像ImgR进行区域传递；

将所述参考图像ImgR中的过度分割区域中各个像素的色彩信息传递给所述灰度融合图像ImgN中对应区域的各个像素；

根据红外图像中高于图像整体亮度的点确定特殊区域，并分别为所述特殊区域和其他区域选择色彩信息和亮度信息，其中，所述特殊区域和其他区域的亮度为所述灰度融合图像ImgN中对应区域的亮度，所述特殊区域单独赋以颜色，所述其他区域根据传递过来的色彩信息和亮度信息进行从/αβ颜色空间到RGB颜色空间的变换以获得自然色彩的融合图像。

本发明实施例的另一方面还公开了基于过分割与优化的多尺度图像自然色彩融合装置，包括变换模块、过度分割模块、区域传递模块、色彩传递模块和色彩融合模块。

其中，变换模块，根据红外和可见光灰度图像获得灰度融合图像ImgN；过度分割模块，用于选取参考图像ImgR，并对所述灰度融合图像ImgN和参考图像ImgR分别进行过度分割处理以获得过度分割区域；

区域传递模块将所述灰度融合图像ImgN和参考图像ImgR从RGB颜色空间变换到/αβ颜色空间，并根据所述过度分割区域的亮度信息、所述变换后的灰度融合图像ImgN和参考图像ImgR进行区域传递；

色彩传递模块，用于将所述参考图像ImgR中的过度分割区域中各个像素的色彩信息传递给所述灰度融合图像ImgN中对应区域的各个像素；

色彩融合模块，用于根据红外图像中高于图像整体亮度的点确定特殊区域，并分别为所述特殊区域和其他区域选择色彩信息和亮度信息，其中，所述特殊区域和其他区域的亮度为所述灰度融合图像ImgN中对应区域的亮度，所述特殊区域单独赋以颜色，所述其他区域根据传递过来的色彩信息和亮度信息进行从/αβ颜色空间到RGB颜色空间的变换以获得自然色彩的融合图像。

根据本发明实施例的基于过分割与优化的多尺度图像自然色彩融合方法及装置，与现有技术相比具有以下优点：

(1)Curvelet变换属于多尺度分析方法，而且更适于分析信号中高维奇异性。其良好的方向选择与辨识能力，能够有效地逼近图像中的边缘与纹理等细节信息。在图像融合中应用Curvelet变换以及本发明所提出的高频融合方法，可以更好地描述图像的原始特征，提高图像融合的质量。

(2)在色彩传递过程中，先后应用了过度分割的方法进行区域传递、优化的方法进行像素色彩传递。前者以“过度分割的小区域”为传递单位，有效地利用小区域内图像的色差恒定的特征，可以更好地进行色彩的映射。后者应用优化技术在匹配的过度区域中进行像素级的色彩传递，可以获得精确的色彩效果。二者结合，获得的图像颜色层次分明、更加自然，可观测性强。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的多尺度图像自然色彩融合方法的流程框图；

图2为根据本发明实施例的多尺度图像自然色彩融合方法的实施流程图；

图3为本发明实施例提供的方法与其他灰度图像的彩色融合方法比较的彩色融合效果示意图；

图4为根据本发明实施例的多尺度图像自然色彩融合装置的结构框图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。当然，下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

为了实现本发明之目的，本发明公开了一种基于过分割与优化的多尺度图像自然色彩融合方法。图1示出了该方法的流程框图。结合图1所示，该方法包括如下步骤：

S101：根据红外和可见光灰度图像获得灰度融合图像ImgN；

A1：分别对红外图像Img1、灰度图像Img2进行二代离散Curvelet变换，得到两幅原始图像在不同尺度与不同方向下的Curvelet系数，c1＝{低频系数cl1，高频系数ch1}和c2＝{低频系数cl2，高频系数ch2}。

其中，

l表示放置角序列参数l＝0，1，2，...。

A2：根据红外与可见光传感器的物理特性，对两幅图像的低频与高频系数分别采取不同的融合策略，得到融合结果在各尺度与方向下的Curvelet系数

具体的说，对上述两个低频系数cl1和cl2取平均值，得到融合图像的低频系数

$C_{j_0}^{\mathrm{imgN}}(k_1,k_2)=\frac{1}{2}\·[C_{j_0}^{\mathrm{img}1}(k_1,k_2)+C_{j_0}^{\mathrm{img}2}(k_1,k_2)],$

对上述两个高频系数ch1和ch2，采用基于扩展的局部区域能量匹配的融合规则：

首先分别求取红外与可见光图像高频子带中各元素的局部区域能量测度：

$E_{j,l}(k_1,k_2)=\underset{s\∈S,t\∈T}{\mathrm{\Σ}}{\left|C_{j,l}(k_1+s,k_2+t)\right|}^2,$

其中，S，T为局部区域的大小。

然后计算各元素对应的局部区域匹配度：

$M_{j,l}^{\mathrm{img}1,\mathrm{img}2}(k_1,k_2)=\frac{\underset{s\∈S,t\∈T}{\mathrm{\Σ}}\left|C_{j,l}^{\mathrm{img}1}(k_1+s,k_2+t)C_{j,l}^{\mathrm{img}2}(k_1+s,k_2+t)\right|}{E_{j,l}^{\mathrm{img}1}(k_1,k_2)+E_{j,l}^{\mathrm{img}2}(k_1,k_2)},$

根据确定的阈值T^M，确定如下融合规则：

$C_{j,l}^{\mathrm{imgN}}(k_1,k_2)=\left\{\begin{array}{c}\left\{\begin{array}{c}(1-\mathrm{\&beta;})\&CenterDot;C_{j,l}^{\mathrm{img}1}(k_1,k_2)+\mathrm{\&beta;}\&CenterDot;C_{j,l}^{\mathrm{img}2}(k_1,k_2),E_{j,l}^{\mathrm{img}1}(k_1,k_2)\&GreaterEqual;E_{j,l}^{\mathrm{img}2}(k_1,k_2)\\ \mathrm{\&beta;}\&CenterDot;C_{j,l}^{\mathrm{img}1}(k_1,k_2)+(1-\mathrm{\&beta;})\&CenterDot;C_{j,l}^{\mathrm{img}2}(k_1,k_2),E_{j,l}^{\mathrm{img}1}(k_1,k_2)<E_{j,l}^{\mathrm{img}2}(k_1,k_2)\end{array};M_{j,l}^{\mathrm{img}1,\mathrm{img}2}<T^M\right.\\ \left\{\begin{array}{c}\mathrm{\&beta;}\&CenterDot;C_{j,l}^{\mathrm{img}1}(k_1,k_2)+(1-\mathrm{\&beta;})\&CenterDot;C_{j,l}^{\mathrm{img}2}(k_1,k_2),E_{j,l}^{\mathrm{img}1}(k_1,k_2)\&GreaterEqual;E_{j,l}^{\mathrm{img}2}(k_1,k_2)\\ (1-\mathrm{\&beta;})\&CenterDot;C_{j,l}^{\mathrm{img}1}(k_1,k_2)+\mathrm{\&beta;}\&CenterDot;C_{j,l}^{\mathrm{img}2}(k_1,k_2),E_{j,l}^{\mathrm{img}1}(k_1,k_2)<E_{j,l}^{\mathrm{img}2}(k_1,k_2)\end{array};M_{j,l}^{\mathrm{img}1,\mathrm{img}2}\&GreaterEqual;T^M\right.\end{array}\right.$

其中， $\mathrm{\&beta;}=\frac{1}{2}(1-\frac{1-M_{j,l}^{\mathrm{img}1,\mathrm{img}2}(k_1,k_2)}{1-T^M}).$

根据融合后的低频系数

和高频系数共同形成融合图像的系数

A3：对融合后的系数cN进行逆变换，得到灰度融合图像ImgN。

S102：选取参考图像ImgR，对灰度融合图像ImgN和参考图像ImgR分别进行过度分割处理。

在执行过度分割处理之前，首先选取一幅彩色图像作为色彩传递的参考图像ImgR。采用过度分割算法对参考图像ImgR和灰度融合图像ImgN分别进行分割，得到过度分割区域。其中参考图像ImgR的过度分割区域为r个，灰度融合图像ImgN分的过度分割区域为n个。

在本实施例中，过度分割算法采用分水岭算法，该算法边界定位较好，而且易于将图像过度分割。

S103：将灰度融合图像ImgN和参考图像ImgR从RGB颜色空间变换到/αβ颜色空间，并根据过度分割区域的亮度信息、变换后的灰度融合图像ImgN和参考图像ImgR进行区域传递；

B1：对参考图像ImgR和灰度融合图像ImgN进行从RGB到1αβ空间的转换。

B2：调整参考图像ImgR的亮度分量，避免参考图像ImgR和灰度融合图像ImgN由于整体亮度差异而影响传递效果，即

$l_{\mathrm{imgR}}\left(p\right)=\frac{{\mathrm{\&sigma;}}_{\mathrm{imgN}}}{{\mathrm{\&sigma;}}_{\mathrm{imgR}}}(l_{\mathrm{imgR}}\left(p\right)-{\mathrm{\&mu;}}_{\mathrm{imgR}})+{\mathrm{\&mu;}}_{\mathrm{imgN}}$

其中，

为参考图像中某个像素点的亮度，μ_imgR和μ_imgN分别为参考图像ImgR和灰度融合图像ImgN的亮度均值，σ_imgR和σ_imgN为标准方差。

B3：计算参考图像ImgR和灰度融合图像ImgN中各过分割区域，采用亮度和过分割区域统计信息的组合作为像素匹配的依据，计算ImgN中每个过分割区域的匹配值

和ImgR中每个过分割区域的

具体的说，计算参考图像ImgR中每个过分割区域的匹配值

$M_{\mathrm{imgR}}^i={\mathrm{\&omega;}}_1{\mathrm{\&mu;}}_{\mathrm{imgR}}^i+{\mathrm{\&omega;}}_2{\mathrm{\&sigma;}}_{\mathrm{imgR}}^i,i=\mathrm{1,2,3},...,r,$

其中，ω₁和ω₂为权系数，

和

分别为第i个过分割区的亮度平均值和标准方差，r为ImgR的过度分割区域数目。

计算灰度融合图像ImgN中每个过分割区域的匹配值

$M_{\mathrm{imgN}}^j={\mathrm{\&omega;}}_3{\mathrm{\&mu;}}_{\mathrm{imgN}}^j+{\mathrm{\&omega;}}_4{\mathrm{\&sigma;}}_{\mathrm{imgN}}^j,j=\mathrm{1,2,3},...,n$

其中，ω₃和ω₄为权系数，

和

分别为第j个过分割区域的亮度平均值和标准方差，n为ImgN的过度分割区域数目。

B4：将上述

和

进行比较，为每个灰度融合图像ImgN中的过度分割区域i在参考图像ImgR寻找一个对应的过度分割区域，即匹配的区域m，进行区域传递。

S104：将参考图像ImgR中的过度分割区域中各个像素的色彩信息传递给灰度融合图像ImgN中对应的各个像素；

采用优化的方法，从参考图像ImgR中的过度分割区域中将某像素的α分量和β分量传递给灰度融合图像ImgN中对应的过度分割区域中的另一像素。达到像素级的色彩信息传递的目的。实质上是进行了像素级的色彩信息传递。具体的说，对每个灰度融合图像ImgN中的过度分割区域i，建立其在参考图像ImgR中对应的过度分割区域j像素间α分量传递优化函数。图像中相邻像素，如果它们的亮度值相近，那么它们应该具有相近的颜色值。为此，对于α分量设定最小化目标函数，即传递优化函数：

$J\left(\mathrm{\&alpha;}\right)=\underset{r}{\mathrm{\&Sigma;}}[\mathrm{\&alpha;}\left(r\right)-\underset{S\&Element;N\left(r\right)}{\mathrm{\&Sigma;}}{w}_{\mathrm{rs}}\mathrm{\&alpha;}\left(s\right){]}^2,$

其中，α(r)和α(s)分别为参考图像、灰度融合图像匹配区域中的像素色差，N(r)为邻域，w_rs为像素间依据亮度值确定的权值。

w_rs满足下述条件：

$\left\{\begin{array}{c}{w}_{\mathrm{rs}}\&Proportional;e^{-{(L\left(r\right)-L\left(s\right))}^2/2{\mathrm{\&sigma;}}_r^2}\\ \mathrm{\&Sigma;}{w}_{\mathrm{rs}}=1\end{array}\right.$

其中，L(r)和L(s)为像素的1分量，

为r邻域内1分量的方差。邻域外像素与邻域中心像素间的权值为0。

求解上述传递优化函数，在参考图像和灰度融合图像匹配区域中获得优化的像素间α分量传递关系。

同理，在参考图像和灰度融合图像匹配区域中，即传递优化函数：

$J\left(\mathrm{\&beta;}\right)=\underset{r}{\mathrm{\&Sigma;}}[\mathrm{\&beta;}\left(r\right)-\underset{S\&Element;N\left(r\right)}{\mathrm{\&Sigma;}}{w}_{\mathrm{rs}}\mathrm{\&beta;}\left(s\right){]}^2,$

其中，β(r)和β(s)分别为参考图像和灰度融合图像匹配区域中的像素色差，N(r)为邻域，w_rs为像素间依据亮度值确定的权值。

求解上述β的传递优化函数，获得优化的像素间β分量传递关系。

S105：根据红外图像中高于图像整体亮度的点确定特殊区域，并分别为所述特殊区域和其他区域选择色彩信息和亮度信息，根据其他区域的色彩信息和亮度信息进行从/αβ颜色空间到RGB颜色空间的变换以获得自然色彩的融合图像。

在红外图像中寻找明显高于图像整体亮度的点，采用膨涨的方法获得特殊区域。该特殊区域作为红外图像中热辐射目标，如人、车辆。将上述特殊区域单独赋以颜色。在本实施例中，将上述特殊区域单独赋以红色，其亮度为灰度融合图像ImgN中的亮度。

其他区域，根据步骤103中传递的α和β分量，应用灰度融合图像ImgN中的亮度，进行从1αβ颜色空间到RGB颜色空间的变换，获得自然色彩的融合图像ImgF。

下面结合实施例对本实施例的方法与现有技术中的融合方法的融合效果比较进行详细说明。

在本实施例中，采用如下实验环境检验对红外、可见光灰度融合及近自然色彩融合的性能：硬件CPU为Intel(R)Core(TM)2Duo CPU，E7500，2.93GHz，内存4G，操作系统Windows XP，软件环境MATLAB2009a。

在上述相同实验环境中，分别对本实施例的方法与梯度金字塔方法、提升小波方法和Contourlet方法进行比较，评价指标包括：

信息熵：该指标反映图像携带信息的多少。熵值越大，表示图像的信息量越大。

互信息：该指标越大表示融合图像从源图像中提取的信息越多，融合的效果也越好。

标准差：该指标越大表示灰度分布越分散，图像的对比度就越大。

平均梯度：该指标越大表示图像中的微小细节反差与纹理变化特征表现越好。

表1示出了四种融合方法的上述指标比较结果。如表1所示，本发明实施例提供的方法在上述指标上均优于其他方法。由此说明发明实施例提供的方法具有更丰富的信息量，而且保证了图像的对比度和清晰度，表现出更多的细节。

表1

	梯度金字塔方法	提升小波方法	Contourlet方法	本实施例方法
					信息熵	7.5938	7.6052	7.6704	7.8029

	梯度金字塔方法	提升小波方法	Contourlet方法	本实施例方法
					互信息	1.7356	2.2583	2.6391	2.7635
标准差	51.563	56.452	60.513	63.186
					平均梯度	16.748	18.192	15.937	19.207

图3是本发明方法与其他灰度图像的彩色融合方法比较的融合效果示意图。其中，图3(a)为红外图像；图3(b)为可见光图像。对图3(a)和图3(b)中的红外图像和可见光图像采用上述步骤中的方法，即通过二代离散Curvelet变换的灰度融合、根据参考图像图3(e)和灰度融合图像进行过分割的区域传递、应用优化方法的色彩传递和自然色彩融合，得到彩色融合图像，如图3(f)所示。

图3(c)为采用NRL方法获得的彩色融合效果，图2(d)为采用TNO方法获得的彩色融合效果，图3(f)为采用本发明实施例提供方法获得的彩色融合效果。从上述图中可以发现，本发明实施例提供方法的彩色融合效果色彩更自然，层次更清晰，细节更丰富，更适合于观察。

本发明实施例还公开了一种基于过分割与优化的多尺度图像自然色彩融合装置。结合图4所示，该装置100包括变换模块110、过度分割模块120、区域传递模块130、色彩传递模块140和色彩融合模块150。

其中，变换模块110，根据红外和可见光灰度图像进行变换，得到灰度融合图像ImgN，包括：

A1：变换模块110分别对红外图像Img1、灰度图像Img2进行二代离散Curvelet变换，得到两幅原始图像在不同尺度与不同方向下的Curvelet系数，c1＝{低频系数cl1，高频系数ch1}和c2＝{低频系数cl2，高频系数ch2}。

其中，

l表示放置角序列参数l＝0，1，2，...。

A2：根据红外与可见光传感器的物理特性，变换模块110对两幅图像的低频与高频系数分别采取不同的融合策略，得到融合结果在各尺度与方向下的Curvelet系数

具体的说，对上述两个低频系数cl1和cl2取平均值，得到融合图像的低频系数

$C_{j_0}^{\mathrm{imgN}}(k_1,k_2)=\frac{1}{2}\&CenterDot;[C_{j_0}^{\mathrm{img}1}(k_1,k_2)+C_{j_0}^{\mathrm{img}2}(k_1,k_2)],$

对上述两个高频系数ch1和ch2，采用基于扩展的局部区域能量匹配的融合规则：

首先分别求取红外与可见光图像高频子带中各元素的局部区域能量测度：

其中，S，T为局部区域的大小。

然后计算各元素对应的局部区域匹配度：

$M_{j,l}^{\mathrm{img}1,\mathrm{img}2}(k_1,k_2)=\frac{\underset{s\&Element;S,t\&Element;T}{\mathrm{\&Sigma;}}\left|C_{j,l}^{\mathrm{img}1}(k_1+s,k_2+t)C_{j,l}^{\mathrm{img}2}(k_1+s,k_2+t)\right|}{E_{j,l}^{\mathrm{img}1}(k_1,k_2)+E_{j,l}^{\mathrm{img}2}(k_1,k_2)},$

根据确定的阈值TM，确定如下融合规则：

$C_{j,l}^{\mathrm{imgN}}(k_1,k_2)=\left\{\begin{array}{c}\left\{\begin{array}{c}(1-\mathrm{\&beta;})\&CenterDot;C_{j,l}^{\mathrm{img}1}(k_1,k_2)+\mathrm{\&beta;}\&CenterDot;C_{j,l}^{\mathrm{img}2}(k_1,k_2),E_{j,l}^{\mathrm{img}1}(k_1,k_2)\&GreaterEqual;E_{j,l}^{\mathrm{img}2}(k_1,k_2)\\ \mathrm{\&beta;}\&CenterDot;C_{j,l}^{\mathrm{img}1}(k_1,k_2)+(1-\mathrm{\&beta;})\&CenterDot;C_{j,l}^{\mathrm{img}2}(k_1,k_2),E_{j,l}^{\mathrm{img}1}(k_1,k_2)<E_{j,l}^{\mathrm{img}2}(k_1,k_2)\end{array};M_{j,l}^{\mathrm{img}1,\mathrm{img}2}<T^M\right.\\ \left\{\begin{array}{c}\mathrm{\&beta;}\&CenterDot;C_{j,l}^{\mathrm{img}1}(k_1,k_2)+(1-\mathrm{\&beta;})\&CenterDot;C_{j,l}^{\mathrm{img}2}(k_1,k_2),E_{j,l}^{\mathrm{img}1}(k_1,k_2)\&GreaterEqual;E_{j,l}^{\mathrm{img}2}(k_1,k_2)\\ (1-\mathrm{\&beta;})\&CenterDot;C_{j,l}^{\mathrm{img}1}(k_1,k_2)+\mathrm{\&beta;}\&CenterDot;C_{j,l}^{\mathrm{img}2}(k_1,k_2),E_{j,l}^{\mathrm{img}1}(k_1,k_2)<E_{j,l}^{\mathrm{img}2}(k_1,k_2)\end{array};M_{j,l}^{\mathrm{img}1,\mathrm{img}2}\&GreaterEqual;T^M\right.\end{array}\right.$

其中， $\mathrm{\&beta;}=\frac{1}{2}(1-\frac{1-M_{j,l}^{\mathrm{img}1,\mathrm{img}2}(k_1,k_2)}{1-T^M}).$

根据融合后的低频系数

和高频系数

共同形成融合图像的系数cN。

A3：变换模块110对融合后的系数cN进行逆变换，得到灰度融合图像ImgN。

过度分割模块120对灰度融合图像ImgN和参考图像ImgR分别进行过度分割处理，在执行过度分割处理之前，首先选取一幅彩色图像作为色彩传递的参考图像ImgR。

过度分割模块120采用过度分割算法对参考图像ImgR和灰度融合图像ImgN分别进行分割，得到过度分割区域。其中参考图像ImgR的过度分割区域为r个，灰度融合图像ImgN分的过度分割区域为n个。

在本实施例中，过度分割算法采用分水岭算法，该算法边界定位较好，而且易于将图像过度分割。

区域传递模块130将灰度融合图像ImgN和参考图像ImgR从RGB颜色空间变换到/αβ颜色空间，并根据过度分割区域的亮度信息、变换后的灰度融合图像ImgN和参考图像ImgR进行区域传递。具体的说，区域传递模块130采用以下步骤：

B1：区域传递模块130对参考图像ImgR和灰度融合图像ImgN进行从RGB到1αβ空间的转换。

B2：区域传递模块130调整参考图像ImgR的亮度分量，避免参考图像ImgR和灰度融合图像ImgN由于整体亮度差异而影响传递效果，即

$l_{\mathrm{imgR}}\left(p\right)=\frac{{\mathrm{\&sigma;}}_{\mathrm{imgN}}}{{\mathrm{\&sigma;}}_{\mathrm{imgR}}}(l_{\mathrm{imgR}}\left(p\right)-{\mathrm{\&mu;}}_{\mathrm{imgR}})+{\mathrm{\&mu;}}_{\mathrm{imgN}},$

其中，为参考图像中某个像素点的亮度，μ_imgR和μ_imgN分别为参考图像ImgR和灰度融合图像ImgN的亮度均值，σ_imgR和σ_imgN为标准方差。

B3：区域传递模块130计算参考图像ImgR和灰度融合图像ImgN中各过分割区域，采用亮度和过分割区域统计信息的组合作为像素匹配的依据，计算ImgN中每个过分割区域的匹配值

和ImgR中每个过分割区域的

具体的说，区域传递模块130计算参考图像ImgR中每个过分割区域的匹配值

$M_{\mathrm{imgR}}^i={\mathrm{\&omega;}}_1{\mathrm{\&mu;}}_{\mathrm{imgR}}^i+{\mathrm{\&omega;}}_2{\mathrm{\&sigma;}}_{\mathrm{imgR}}^i,i=\mathrm{1,2,3},...,r,$

其中，ω₁和ω₂为权系数，

和

分别为第i个过分割区的亮度平均值和标准方差，r为ImgR的过度分割区域的数目。

计算灰度融合图像ImgN中每个过分割区域的匹配值

$M_{\mathrm{imgN}}^j={\mathrm{\&omega;}}_3{\mathrm{\&mu;}}_{\mathrm{imgN}}^j+{\mathrm{\&omega;}}_4{\mathrm{\&sigma;}}_{\mathrm{imgN}}^j,j=\mathrm{1,2,3},...,n$

其中，ω₃和ω₄为权系数，

和

分别为第j个像素所在的过分割区域的亮度平均值和标准方差，n为ImgN的过度分割区域的数目。

B4：将上述和进行比较，区域传递模块130为每个灰度融合图像ImgN中的过度分割区域i在参考图像ImgR寻找一个对应的过度分割区域，即匹配的区域j。

色彩传递模块140采用优化的方法，将所述参考图像ImgR中的过度分割区域中各个像素的色彩信息传递给所述灰度融合图像ImgN中对应区域的各个像素，实现了像素级的色彩信息传递。

具体的说，色彩传递模块140对每个灰度融合图像ImgN中的过度分割区域i，建立其在参考图像ImgR中对应的过度分割区域j像素间α分量传递优化函数。图像中相邻像素，如果它们的亮度值相近，那么它们应该具有相近的颜色值。为此，对于α分量设定最小化目标函数，即传递优化函数：

$J\left(\mathrm{\&alpha;}\right)=\underset{r}{\mathrm{\&Sigma;}}{[\mathrm{\&alpha;}\left(r\right)-\underset{S\&Element;N\left(r\right)}{\mathrm{\&Sigma;}}{w}_{\mathrm{rs}}\mathrm{\&alpha;}\left(s\right)]}^2,$

其中，α(r)和α(s)分别为参考图像、灰度融合图像匹配区域中的像素色差，N(r)为邻域，w_rs为像素间依据亮度值确定的权值。

w_rs满足下述条件：

$\left\{\begin{array}{c}{w}_{\mathrm{rs}}\&Proportional;e^{-{(L\left(r\right)-L\left(s\right))}^2/2{\mathrm{\&sigma;}}_r^2}\\ \mathrm{\&Sigma;}{w}_{\mathrm{rs}}=1\end{array}\right.,$

其中，L(r)和L(s)为像素的1分量，

为r邻域内1分量的方差。邻域外像素与邻域中心像素间的权值为0。

色彩传递模块140求解上述传递优化函数，在参考图像和灰度融合图像匹配区域中获得优化的像素间α分量传递关系。

同理，在参考图像和灰度融合图像匹配区域中，即传递优化函数：

$J\left(\mathrm{\&beta;}\right)=\underset{r}{\mathrm{\&Sigma;}}{[\mathrm{\&beta;}\left(r\right)-\underset{S\&Element;N\left(r\right)}{\mathrm{\&Sigma;}}{w}_{\mathrm{rs}}\mathrm{\&beta;}\left(s\right)]}^2,$

其中，β(r)和β(s)分别为参考图像和灰度融合图像匹配区域中的像素色差，N(r)为邻域，w_rs为像素间依据亮度值确定的权值。

色彩传递模块140求解上述β的传递优化函数，获得优化的像素间β分量传递关系。

色彩融合模块150根据红外图像中高于图像整体亮度的点确定特殊区域，并分别为特殊区域和其他区域选择色彩信息和亮度信息，根据其他区域的色彩信息和亮度信息进行从/αβ颜色空间到RGB颜色空间的变换以获得自然色彩的融合图像。

具体的说，色彩融合模块150在红外图像中寻找明显高于图像整体亮度的点，采用膨涨的方法获得特殊区域。该特殊区域作为红外图像中热辐射目标，如人、车辆。将上述特殊区域单独赋以颜色。在本实施例中，将上述特殊区域单独赋以红色，其亮度为灰度融合图像ImgN中的亮度。

其他区域，根据来自色彩传递模块140的α和β分量，应用灰度融合图像ImgN中的亮度，进行从1αβ颜色空间到RGB颜色空间的变换，获得自然色彩的融合图像ImgF。

根据本发明实施例提供的色彩融合方法及装置，提高了图像融合的信息含量，提高了细节表现能力，并赋予了近自然的色彩，减轻了观察者的视疲劳，提高了融合图像的长时间观察能力，可用于红外、可见光、遥感、SAR、医学等多源图像的自然色彩的融合。

与现有技术相比具有以下优点：

(1)Curvelet变换属于多尺度分析方法，而且更适于分析信号中高维奇异性。其良好的方向选择与辨识能力，能够有效地逼近图像中的边缘与纹理等细节信息。在图像融合中应用Curvelet变换以及本发明所提出的高频融合方法，可以更好地描述图像的原始特征，提高图像融合的质量。

(2)在色彩传递过程中，先后应用了过度分割的方法进行区域传递、优化的方法进行像素色彩传递。前者以“过度分割的小区域”为传递单位，有效地利用小区域内图像的色差恒定的特征，可以更好地进行色彩的映射。后者应用优化技术在匹配的过度区域中进行像素级的色彩传递，可以获得精确的色彩效果。二者结合，获得的图像颜色层次分明、更加自然，可观测性强。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。

Claims (10)

1.基于过分割与优化的多尺度图像自然色彩融合方法，其特征在于，包括如下步骤：

根据红外和可见光灰度图像获得灰度融合图像ImgN；

选取参考图像ImgR，并对所述灰度融合图像ImgN和参考图像ImgR分别进行过度分割处理以获得过度分割区域；

将所述灰度融合图像ImgN和参考图像ImgR从RGB颜色空间变换到/αβ颜色空间，并根据所述过度分割区域的亮度信息，对所述变换后的灰度融合图像ImgN和参考图像ImgR进行区域传递；

将所述参考图像ImgR中的过度分割区域中各个像素的色彩信息传递给所述灰度融合图像ImgN中对应区域的各个像素；

根据红外图像中高于图像整体亮度的点确定特殊区域，并分别为所述特殊区域和其他区域选择色彩信息和亮度信息，其中，所述特殊区域和其他区域的亮度为所述灰度融合图像ImgN中对应区域的亮度，所述特殊区域单独赋以颜色，所述其他区域根据传递过来的色彩信息和亮度信息进行从/αβ颜色空间到RGB颜色空间的变换以获得自然色彩的融合图像。

2.如权利要求1所述的多尺度图像自然色彩融合方法，其特征在于，所述根据红外和可见光灰度图像获得灰度融合图像ImgN进一步包括：

利用二代离散Curvelet变换分别对红外和可见光灰度图像进行变换，得到相应的变换系数c1＝{低频系数cl1，高频系数ch1}和c2＝{低频系数cl2，高频系数ch2}；

分别根据所述低频系数cl1和cl2，和所述高频系数ch1和ch2确定融合图像的低频系数和高频系数，并根据所述低频系数和高频系数确定所述变换系数；和

根据所述变换系数进行Curvelet逆变换，得到灰度融合图像ImgN。

3.如权利要求1中所示的多尺度图像自然色彩融合方法，其特征在于，所述根据过度分割区域的亮度信息、所述灰度融合图像ImgN和参考图像ImgR进行区域传递进一步包括：

调整所述参考图像ImgR的亮度分量，

$l_{\mathrm{imgR}}\left(p\right)=\frac{{\mathrm{\&sigma;}}_{\mathrm{imgN}}}{{\mathrm{\&sigma;}}_{\mathrm{imgR}}}(l_{\mathrm{imgR}}\left(p\right)-{\mathrm{\&mu;}}_{\mathrm{imgR}})+{\mathrm{\&mu;}}_{\mathrm{imgN}},$

其中，为参考图像中ImgR某个像素点的亮度，μ_imgR和μ_imgN分别为参考图像ImgR和目标图像ImgN的亮度均值，σ_imgR和σ_imgN为亮度标准方差；

计算参考图像ImgR和灰度融合图像ImgN中各个过分割区域，根据亮度和过分割区域统计信息的组合，计算灰度融合图像ImgN中每个过分割区域的匹配值

和参考图像ImgR中每个过分割区域的

和

将所述

和

进行比较，得到匹配区域以进行区域传递。

4.如权利要求3所述的多尺度图像自然色彩融合方法，其特征在于，

其中，所述参考图像ImgR中每个过分割区域的匹配值

为：

$M_{\mathrm{imgR}}^i={\mathrm{\&omega;}}_1{\mathrm{\&mu;}}_{\mathrm{imgR}}^i+{\mathrm{\&omega;}}_2{\mathrm{\&sigma;}}_{\mathrm{imgR}}^i,i=\mathrm{1,2,3},...,r,$

其中，ω₁和ω₂为权系数，

和

分别为第i个过分割区域的亮度平均值和标准方差，r为参考图像ImgR中过度分割区域的数目；

其中，所述灰度融合图像ImgN中每个过度分割区域的匹配值为：

$M_{\mathrm{imgN}}^j={\mathrm{\&omega;}}_3{\mathrm{\&mu;}}_{\mathrm{imgN}}^j+{\mathrm{\&omega;}}_4{\mathrm{\&sigma;}}_{\mathrm{imgN}}^j,j=\mathrm{1,2,3},...,n,$

其中，ω₃和ω₄为权系数，

和

分别为第j个过分割区域的亮度平均值和标准方差，n为灰度融合图像ImgN中过度分割区域的数目。

5.如权利要求1所述多尺度图像自然色彩融合方法，其特征在于，所述将参考图像ImgR中的过度分割区域中各个像素的色彩信息传递给所述灰度融合图像ImgN中对应区域的各个像素进一步包括：

对每个灰度融合图像ImgN中的过度分割区域，建立其在参考图像ImgR中对应的过度分割区域像素间α分量和β分量的传递优化函数；

求解所述传递优化函数，在所述参考图像ImgR和灰度融合图像ImgN的匹配区域中获得优化的像素间α分量和β分量传递关系；

根据所述优化的像素间α分量和β分量传递关系，将所述参考图像ImgR匹配区域中像素的α和β分量传递给所述灰度融合图像ImgN。

6.基于过分割与优化的多尺度图像自然色彩融合装置，其特征在于，包括变换模块、过度分割模块、区域传递模块、色彩传递模块和色彩融合模块，

所述变换模块，用于根据红外和可见光灰度图像获得灰度融合图像ImgN；

所述过度分割模块，用于选取参考图像ImgR，并对所述灰度融合图像ImgN和参考图像ImgR分别进行过度分割处理以获得过度分割区域；

所述区域传递模块，用于将所述灰度融合图像ImgN和参考图像ImgR从RGB颜色空间变换到/αβ颜色空间，并根据所述过度分割区域的亮度信息、所述变换后的灰度融合图像ImgN和参考图像ImgR进行区域传递；

所述色彩传递模块，用于将所述参考图像ImgR中的过度分割区域中各个像素的色彩信息传递给所述灰度融合图像ImgN中对应区域的各个像素；

所述色彩融合模块，用于根据红外图像中高于图像整体亮度的点确定特殊区域，并分别为所述特殊区域和其他区域选择色彩信息和亮度信息，其中，所述特殊区域和其他区域的亮度为所述灰度融合图像ImgN中对应区域的亮度，所述特殊区域单独赋以颜色，所述其他区域根据传递过来的色彩信息和亮度信息进行从/αβ颜色空间到RGB颜色空间的变换以获得自然色彩的融合图像。

7.如权利要求6所述的多尺度图像自然色彩融合装置，其特征在于，所述变换模块用于利用二代离散Curvelet变换分别对红外和可见光灰度图像进行变换，得到相应的变换系数c1＝{低频系数cl1，高频系数ch1}和c2＝{低频系数cl2，高频系数ch2}，并

分别根据所述低频系数cl1和cl2，和所述高频系数ch1和ch2确定融合图像的低频系数和高频系数，并根据所述低频系数和高频系数确定所述变换系数，以及根据所述变换系数进行Curvelet逆变换，得到灰度融合图像ImgN。

8.如权利要求6所述的多尺度图像自然色彩融合装置，其特征在于，所述区域传递模块用于调整所述参考图像ImgR的亮度分量，

$l_{\mathrm{imgR}}\left(p\right)=\frac{{\mathrm{\&sigma;}}_{\mathrm{imgN}}}{{\mathrm{\&sigma;}}_{\mathrm{imgR}}}(l_{\mathrm{imgR}}\left(p\right)-{\mathrm{\&mu;}}_{\mathrm{imgR}})+{\mathrm{\&mu;}}_{\mathrm{imgN}},$

其中，

为参考图像中ImgR某个像素点的亮度，μ_imgR和μ_imgN分别为参考图像ImgR和目标图像ImgN的亮度均值，σ_imgR和σ_imgN为亮度标准方差；

并计算参考图像ImgR和灰度融合图像ImgN中各过分割区域，根据亮度和过分割区域统计信息的组合，计算灰度融合图像ImgN中每个过分割区域的匹配值

和参考图像ImgR中每个过分割区域的

将所述

和

进行比较，得到匹配区域，进行区域传递。

9.如权利要求8所述的多尺度图像自然色彩融合装置，其特征在于，其中，所述参考图像ImgR中每个过分割区域的匹配值

为：

$M_{\mathrm{imgR}}^i={\mathrm{\&omega;}}_1{\mathrm{\&mu;}}_{\mathrm{imgR}}^i+{\mathrm{\&omega;}}_2{\mathrm{\&sigma;}}_{\mathrm{imgR}}^i,i=\mathrm{1,2,3},...,r,$

其中，ω₁和ω₂为权系数，

和分别为第i个过分割区域的亮度平均值和标准方差，r为参考图像ImgR的过度分割区域的数目；

其中，所述灰度融合图像ImgN中每个像素点的匹配值为：

$M_{\mathrm{imgN}}^j={\mathrm{\&omega;}}_3{\mathrm{\&mu;}}_{\mathrm{imgN}}^j+{\mathrm{\&omega;}}_4{\mathrm{\&sigma;}}_{\mathrm{imgN}}^j,j=\mathrm{1,2,3},...,n,$

其中，ω₃和ω₄为权系数，

和

分别为第j个过分割区域的亮度平均值和标准方差，n为灰度融合图像ImgN的过度分割区域的数目。

10.如权利要求6所述的多尺度图像自然色彩融合装置，其特征在于，所述色彩传递模块用于对每个灰度融合图像ImgN中的过度分割区域，建立其在参考图像ImgR中对应的过度分割区域像素间α分量和β分量的传递优化函数，并求解所述传递优化函数，在所述参考图像ImgR和灰度融合图像ImgN的匹配区域中获得优化的像素间α分量和β分量传递关系，以及根据所述优化的像素间α分量和β分量传递关系，将所述参考图像ImgR匹配区域中像素的α和β分量传递给所述灰度融合图像ImgN。

Images