CN103854267B - 一种基于变分与分数阶微分的图像融合与超分辨率实现方法 - Google Patents

Abstract

本发明涉及一种基于变分与分数阶微分的图像融合与超分辨率实现方法，属于图像处理领域以及信息融合领域。本发明在图像融合与超分辨率实现上，将待融合的低分辨率源图像看成是一幅多通道图像，通过构建其结构张量求得多通道图像梯度特征的单值表示，根据低分辨率融合图像与多通道图像之间具有相同或相近的梯度特征，建立图像融合与超分辨率实现模型：在该模型中，通过引入分数阶微分和分数阶全变分最小化方法实现噪声抑制，并通过双向滤波扩散来增强图像边缘信息，抑制虚假信息的产生。本发明克服了传统方法不能同时进行融合与超分辨率实现的不足，在目标成像、安全监视等领域具有较好的应用前景。

Description

一种基于变分与分数阶微分的图像融合与超分辨率实现方法

技术领域

本发明涉及一种基于变分与分数阶微分的图像融合与超分辨率实现方法，属于图像处理领域以及信息融合领域。

背景技术

多源图像融合是把不同类型的传感器(或同一类型传感器在不同时刻或方式下)所获取的有关某一具体场景的多幅图像信息进行综合，生成一幅新的有关此场景的解释，以便对该场景或目标进行更为清晰、完整、可靠的描述。通过综合而获得的图像，能有效克服单一传感器图像数据在几何、光谱、时间以及空间分辨率方面的差异性和局限性，这非常有利于对事件或物理现象进行识别、理解和定位。目前，该技术因具有冗余性、互补性、时间优越性、成本相对较低等优点而被广泛应用于计算机视觉、医疗成像与诊断、遥感测绘、军事等相关领域。

国内外学者在多源图像融合方面取得了一系列研究成果，提出了一些性能优异的融合算法。这些算法主要有基于多尺度分解的融合方法、基于假彩色的融合方法、基于神经网络的融合方法等。这些传统的融合方法通常需要假设源图像具有较好的空间分辨率和清晰度。当这些假设被满足时，融合方法便能获得较为满意的融合效果。然而，现实中的许多成像系统，如红外成像仪和CCD照相机等因固有传感器阵列排列密度的限制，使得采集到的图像分辨率不可能很高。这使得融合结果的分辨率达不到应用的需要或不能满足人眼的视觉观察需要。显然，这类对源图像具有较高要求的融合方法极大地限制了算法的应用推广，更不能满足现实需求。针对这一问题通常可先对源图像进行超分辨率实现，然后对其融合；或者先对低分辨率图像进行融合然后再对融合结果进行超分辨率实现。这样做虽然都能得到分辨率较高的融合图像，但很容易把第一步图像处理过程中引入的一些虚假信息传送到最终的结果中，并影响最终结果的视觉效果。

为解决传统图像融合方法功能单一，且对待融合图像空间分辨率具有较高要求的不足，本发明设计出能同时执行图像融合与分辨率提升的变分与分数阶微分方法。该方法从应用的实际需求出发，避免了传统方法对源图像具有较超分辨率的要求。从这一层面来说，该研究不再局限于多源图像信息利用率的保持上，更重要的是利用变分与分数阶微分的某些特性构建出具有双重或多重功能的图像融合模型，以此提升融合图像的空间分辨率，以便于人眼视觉的观察以及融合结果的后续处理。

发明内容

本发明提供了一种基于变分与分数阶微分的图像融合与超分辨率实现方法，以用于解决传统图像融合方法功能单一，且对待融合图像空间分辨率具有较高要求的不足。

本发明的技术方案是：一种基于变分与分数阶微分的图像融合与超分辨率实现方法，所述方法的步骤如下：

A、将多源待融合的l幅低分辨率图像看成是一幅多通道图像，同时引入带权值的多通道图像；其中，为第i幅图像的权系数；

B、采用步骤A中带权值的多通道图像f(x,y)的结构张量的特征值与特征向量来描述其自身信息的变化，并由此得到带权值多通道图像f(x,y)的梯度信息V(x,y)；

C、在超分辨率实现上，假设理想的超分辨融合图像I是已知的，通过下采样算子矩阵H作用于该图像上来获得低分辨率融合图像HI；

D、根据步骤B中所得到的梯度信息V(x,y)与步骤C所获取的低分辨率融合图像HI的梯度信息具有相同或相近的梯度特征，建立图像融合与超分辨率实现模型；其中，表示待融合源图像所在的矩形区域，为梯度算子；

E、在步骤D建立的图像融合与超分辨率实现模型中引入分数阶微分与分数阶全变分的噪声抑制项，得到新的模型；其中，，和分别为图像I关于x和y的阶偏微分，为阶梯度算子，、为大于零的权衡因子，为的次数；

F、在步骤E的融合模型中，引入双向滤波处理来抑制人工锯齿和边缘附近的震荡，从而得到更新后的图像融合模型；其中，为双向滤波的积分形式；，，，k₁、c_N与为常数；

G、对步骤F所获得的融合与超分辨率实现模型采用梯度下降法进行求解，并对结果进行离散化处理，得到以时间为演化参数的迭代公式如下： ；其中，、、分别为分数阶微分算子、以及下采样算子矩阵H的共轭算子，为时间增量；

H、对步骤G设置迭代终止次数k以及初始融合图像：当步骤G的结果稳定时则获得最终的融合图像。

所述；

其中，

，

离散情况下：

，

+，

其中，W(m,n)表示大小为m×n的邻域窗。

所述带权值的多通道图像f(x,y)的结构张量描述如下：；其中，，，；

所述带权值多通道图像f(x,y)的梯度信息V(x,y)的计算可描述如下：；其中，、分别表示矩阵的最大和最小特征值，为对应的特征向量。

将V(x,y)的值进行归一化处理，使其处于[0, 1]范围内；其中，。

所述步骤C中，降采样操作HI为P·I·Q：

其中，

，

，

r、s表示待融合低分辨率图像矩阵的行列大小，qr×qs为获得的超分辨率融合图像的尺寸大小，q为放大因子，T表示转置。

所述。

所述、、、、与的取值分别为1.6、1、0.05、1.6、0.085、0.001。

所述步骤G中，采样操作与的计算公式分别为、，T表示转置。

所述初始融合图像，其中，迭代终止次数k=20。

本发明的有益效果是：能克服传统图像融合方法不能同时实现图像融合与超分辨率获取的不足，降低了对源图像具有较高分辨率的要求；通过在融合模型中引入了噪声抑制项、边缘增强项以及人工锯齿等虚假信息的抑制项，在一定程度上能改善了融合图像的质量。

附图说明

图1为本发明的流程图；

图2-图5为本发明中两组超分辨率图像；

图6-图9为本发明中经下采样后得到的待融合低分辨率图像；

图10-图11为本发明中的梯度信息；

图12-图15为不同方法获得的多聚焦融合图像的视觉效果比较；

图16-图19为不同方法获得的红外与可见光图像融合结果比较。

具体实施方式

实施例1：如图1-19所示，一种基于变分与分数阶微分的图像融合与超分辨率实现方法，所述方法的步骤如下：

A、将多源待融合的l幅低分辨率图像看成是一幅多通道图像，同时引入带权值的多通道图像；其中，为第i幅图像f_i(x,y)的权系数；

B、采用步骤A中带权值的多通道图像f(x,y)的结构张量的特征值与特征向量来描述其自身信息的变化，并由此得到带权值多通道图像f(x,y)的梯度信息V(x,y)；

C、在超分辨率实现上，假设理想的超分辨融合图像I是已知的，通过下采样算子矩阵H作用于该图像上来获得低分辨率融合图像HI；

D、根据步骤B中所得到的梯度信息V(x,y)与步骤C所获取的低分辨率融合图像HI的梯度信息具有相同或相近的梯度特征，建立图像融合与超分辨率实现模型；其中，表示待融合源图像所在的矩形区域，为梯度算子；

E、在步骤D建立的图像融合与超分辨率实现模型中引入分数阶微分与分数阶全变分的噪声抑制项，得到新的模型；其中，，和分别为图像I关于x和y的阶偏微分，为阶梯度算子，、为大于零的权衡因子，为的次数；

F、在步骤E的融合模型中，引入双向滤波处理来抑制人工锯齿和边缘附近的震荡，从而得到更新后的图像融合模型；其中，为双向滤波的积分形式；，，，k₁、c_N与为常数；

G、对步骤F所获得的融合与超分辨率实现模型采用梯度下降法进行求解，并对结果进行离散化处理，得到以时间为演化参数的迭代公式如下： ；其中，、、分别为分数阶微分算子、以及下采样算子矩阵H的共轭算子，为时间增量；

H、对步骤G设置迭代终止次数k以及初始融合图像：当步骤G的结果稳定时则获得最终的融合图像。

所述；

其中，

，

离散情况下：

，

+，

其中，W(m,n)表示大小为m×n的邻域窗。

所述带权值的多通道图像f(x,y)的结构张量描述如下：；其中，，，；

所述带权值多通道图像f(x,y)的梯度信息V(x,y)的计算可描述如下：；其中，、分别表示矩阵的最大和最小特征值，为对应的特征向量。

将V(x,y)的值进行归一化处理，使其处于[0, 1]范围内；其中，。

所述步骤C中，降采样操作HI为P·I·Q：

其中，

，

，

r、s表示待融合低分辨率图像矩阵的行列大小，qr×qs为获得的超分辨率融合图像的尺寸大小，q为放大因子，T表示转置。

所述。

所述、、、、与的取值分别为1.6、1、0.05、1.6、0.085、0.001。

所述步骤G中，采样操作与的计算公式分别为、，T表示转置。

所述初始融合图像，其中，迭代终止次数k =20。

实施例2：如图1-19所示，一种基于变分与分数阶微分的图像融合与超分辨率实现方法，所述方法的步骤如下：

A、将多源待融合的l幅低分辨率图像看成是一幅多通道图像，同时引入带权值的多通道图像；其中，为第i幅图像的权系数；

B、采用步骤A中带权值的多通道图像f(x,y)的结构张量的特征值与特征向量来描述其自身信息的变化，并由此得到带权值多通道图像f(x,y)的梯度信息V(x,y)；

C、在超分辨率实现上，假设理想的超分辨融合图像I是已知的，通过下采样算子矩阵H作用于该图像上来获得低分辨率融合图像HI；这一过程可表示为HI=P·I·Q：

其中，

，

，

r、s表示待融合低分辨率图像矩阵的行列大小，qr×qs为获得的超分辨率融合图像的尺寸大小，q为放大因子，T表示转置。

D、根据步骤B中所得到的梯度信息V(x,y)与步骤C所获取的低分辨率融合图像HI的梯度信息具有相同或相近的梯度特征，建立图像融合与超分辨率实现模型；其中，表示待融合源图像所在的矩形区域，为梯度算子，；

E、在步骤D建立的图像融合与超分辨率实现模型中引入分数阶微分与分数阶全变分的噪声抑制项，得到新的模型；其中，为阶梯度算子，、为大于零的权衡因子，为的次数，，和分别为图像I关于x和y的阶偏微分，

F、在步骤E的融合模型中，引入双向滤波处理来抑制人工锯齿和边缘附近的震荡，从而得到更新后的图像融合模型；其中，为双向滤波的积分形式；，，，k₁、c_N与为常数；

G、对步骤F所获得的融合与超分辨率实现模型采用梯度下降法进行求解，并对结果进行离散化处理，得到以时间为演化参数的迭代公式如下： ；其中，为时间增量，、、分别为分数阶微分算子、以及下采样算子矩阵H的共轭算子，它们可分别表示为：

式中，H^*=H^T，为图像的傅里叶变换；采样操作与的计算公式分别为、，T表示转置；

H、对步骤G设置迭代终止次数k=20以及初始融合图像，当步骤G的结果稳定时则获得最终的融合图像；其中，。

所述；

其中，

，

离散情况下：

，

+，

其中，W(m,n)表示大小为m×n的邻域窗。

所述带权值的多通道图像f(x,y)的结构张量描述如下：；其中，，，；

所述带权值多通道图像f(x,y)的梯度信息V(x,y)的计算可描述如下：；其中，、分别表示矩阵的最大和最小特征值，、为其对应的特征向量。

将V(x,y)的值进行归一化处理，使其处于[0, 1]范围内；其中，；其中，为能反映图像变化率的增函数。由于这里的可能有相反的两个方向，这里将待融合图像的梯度信息叠加后与相乘来减小这种不确定性。可以看出经过上式的处理后的符号已经和保持一致了。由于在上式中，图像在点处沿变化最快，变化率达到，而沿变化最慢，变化率仅为，因此可取。

所述、、、、与的取值分别为1.6、1、0.05、1.6、0.085、0.001。

如图2-5所示，为两组超分辨率图像(其大小分别为512384，320240)；其中图2-图3为一组多聚焦图像，图4-图5为一组红外与可见光图像；

如图6-9所示，为图2-5经下采样后得到的待融合低分辨率图像；

如图10、图11所示，分别为图2-3、图4-5经过步骤B处理后的梯度信息；

从图10-11可以看出，通过步骤B所得到的梯度信息包含了源图像大部分的边缘结构，这说明将源图像表示成多通道图像并根据理想融合图像与其具有相近的梯度V(x,y)来建立融合模型是合理的。

为了比较说明本发明方法的有效性和相对于传统图像融合方法的优越性，这里采用经典的DWT方法，提升静态小波LSWT方法，基于稀疏表示的方法SR分别对待融合图像进行处理。其中基于DWT，LSWT的方法分别采样简单的低频子带取平均，高频子带模值取大的融合规则，基于稀疏表示（SR）的方法是杨斌等于2010年提出并发表在IEEE Transactions onInstrumentation and Measurement期刊上的一种具有代表性方法。由于传统方法不具有超分辨率实现功能，为了在比较上的方便这里采用本发明方法所采用的下采样算子H的共轭算子来对上述三种传统方法所获得的融合图像进行放大处理。

如图12-14、16-18所示，分别为两组基于传统DWT，LSWT，SR的融合方法所获得的融合结果再采用下采样算子H的共轭算子获取的融合放大图像；如图15、19所示，分别为两组本发明方法所获得融合结果（其中两组图像为对融合结果的某一局部区域进行了提取放大比较）：通过比较可以发现传统融合方法所获取的融合结果在图像的边缘附近出现了明显的人工锯齿，这是因为传统方法只具有融合功能而不具有超分辨率实现功能，尽管采用降采样算子的共轭算子来对其进行放大处理，但这只能实现对图像的尺寸进行拉伸，而图像的边缘细节信息的分辨率却没有得到应有的提升。从图15和图19可以看出，本发明方法所产生的结果具有最好的视觉效果，图像的分辨率在融合的过程中同时得到了相应地提高。这是因为本发明方法不仅能同时实现图像融合与超分辨率获取，而且考虑到了在此过程中可能会引入的一些人工锯齿等虚假信息，并采取了一定的抑制措施，因而本发明方法能获得较好的视觉效果。

另外，除了从主观视觉上来评价融合结果以外，这里还采用了客观评价指标来对融合结果进行客观评价。在客观评价指标上互信息MI、边缘信息度量算子以及结构相似度SIMM是比较常用典型的评价指标。其中MI可评价有源图像有多少信息量保留到了融合图像；衡量融合图像中包含了多少源图像的边缘信息；SIMM可用来度量融合图像与源图像之间结构的相似程度。通常，这三个指标同时使用能获得较为客观的评价结果，且其值越大表明融合图像的质量越好。在融合结果的客观评价方面，我们采用高分辨源图像作为融合结果的源图像参与客观评价计算，这也是我们为什么要对传统融合方法所获取的结果进行放大的原因。不同融合方法的客观评价效果如表1所示：

从表1中可以看出，基于DWT的融合方法客观评价数据最低，基于LSWT的方法次之：在这两种方法中采用的是相同的融合规则，而不同之处在于使用的小波不同，前者使用的是普通的小波变换，因在图像分解和重构过程中具有采样操作环节，使其不具有平移不变性，容易在融合图像的奇异处产生伪吉布斯现象，使融合图像失真；后者使用的是具有平移不变性的静态小波变换，能够克服传统小波变换缺乏平移不变性所具有的缺陷，因而在客观评价上LSWT方法所获得的客观评价数据较高。SR方法虽然在融合图8和图9时互信息MI的数值略高于本发明方法，但在其它几个客观评价指标上却明显低于本发明方法，这从客观上证明了本发明方法是有效的。

上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (9)

1.一种基于变分与分数阶微分的图像融合与超分辨率实现方法，其特征在于：所述方法的步骤如下：

A、将多源待融合的l幅低分辨率图像f₁(x,y),f₂(x,y)…f_l(x,y)看成是一幅多通道图像F(x,y)＝(f₁(x,y),f₂(x,y),…f_l(x,y))，同时引入带权值的多通道图像f(x,y)＝(s₁(x,y)f₁(x,y),s₂(x,y)f₂(x,y),…s_l(x,y)f_l(x,y))；其中，s_i(x,y),(i＝1,2,…l)为第i幅图像f_i(x,y)的权系数；

B、采用步骤A中带权值的多通道图像f(x,y)的结构张量的特征值与特征向量来描述其自身信息的变化，并由此得到带权值多通道图像f(x,y)的梯度信息V(x,y)；

C、在超分辨率实现上，假设理想的超分辨融合图像I是已知的，通过下采样算子矩阵H作用于该图像上来获得低分辨率融合图像HI；

D、根据步骤B中所得到的梯度信息V(x,y)与步骤C所获取的低分辨率融合图像HI的梯度信息具有相同或相近的梯度特征，建立图像融合与超分辨率实现模型其中，Ω∈R²表示待融合源图像f_i(x,y)所在的矩形区域，为梯度算子；

E、在步骤D建立的图像融合与超分辨率实现模型中引入分数阶微分与分数阶全变分的噪声抑制项，得到新的模型其中， 和分别为图像I关于x和y的α阶偏微分，为α阶梯度算子，η、γ为大于零的权衡因子，β为的次数；

F、在步骤E的融合模型中，引入双向滤波处理来抑制人工锯齿和边缘附近的震荡，从而得到更新后的图像融合模型其中，∫_ΩP(x,y)dxdy＝E_t(x,y)为双向滤波的积分形式； k₁、c_N与为常数；

G、对步骤F所获得的融合与超分辨率实现模型采用梯度下降法进行求解，并对结果进行离散化处理，得到以时间为演化参数的迭代公式如下： 其中，H^*分别为分数阶微分算子 以及下采样算子矩阵H的共轭算子，Δt为时间增量；

H、对步骤G设置迭代终止次数k以及初始融合图像I⁰(x,y)：当步骤G的结果稳定时则获得最终的融合图像。

2.根据权利要求1所述的基于变分与分数阶微分的图像融合与超分辨率实现方法，其特征在于：所述

其中，

${\mathrm{JND}}_i\left(x,y\right)=\left\{\begin{array}{ccc}\frac{1}{\left(0.575-0.009f_i\left(x,y\right)\right)}& if& 0<f_i\left(x,y\right)<60\\ \frac{1}{0.0035\left(f_i\left(x,y\right)+1\right)}& if& 60<f_i\left(x,y\right)\&le;200\\ \frac{1}{\left(0.035+0.001\left(f_i\left(x,y\right)-200\right)\right)\left(f_i\left(x,y\right)+1\right)}& if& 200<f_i\left(x,y\right)\&le;255\end{array}\right.,$

离散情况下：

${\mathrm{FRSF}}_i(x+m,y+n)=\underset{m}{\&Sigma;}\underset{n}{\&Sigma;}W(m,n){\mathrm{FSF}}_i(x+m,y+n),$

$\begin{array}{c}{\mathrm{FSF}}_i\left(x,y\right)=\left(\right|f_i\left(x,y\right)-{\mathrm{\&alpha;f}}_i\left(x,y-1\right)-0.5\mathrm{\&alpha;}\left(1-\mathrm{\&alpha;}\right)f_i\left(x,y-2\right){|}^2\\ +|f_i\left(x,y\right)-{\mathrm{\&alpha;f}}_i\left(x-1,y\right)-0.5\mathrm{\&alpha;}\left(1-\mathrm{\&alpha;}\right)f_i\left(x-2,y\right){|}^2{)}^{\frac{1}{2}}\end{array},$

其中，W(m,n)表示大小为m×n的邻域窗。

3.根据权利要求1所述的基于变分与分数阶微分的图像融合与超分辨率实现方法，其特征在于：

所述带权值的多通道图像f(x,y)的结构张量A′描述如下：其中，

所述带权值多通道图像f(x,y)的梯度信息V(x,y)的计算可描述如下：其中，λ₁、λ₂分别表示矩阵A'的最大和最小特征值，θ₁为λ₁对应的特征向量。

4.根据权利要求3所述的基于变分与分数阶微分的图像融合与超分辨率实现方法，其特征在于：将V(x,y)的值进行归一化处理，使其处于[0,1]范围内；其中，

5.根据权利要求1所述的基于变分与分数阶微分的图像融合与超分辨率实现方法，其特征在于：所述步骤C中，降采样操作HI为P·I·Q：

其中，

r、s表示待融合低分辨率图像矩阵的行列大小，qr×qs为获得的超分辨率融合图像的尺寸大小，q为放大因子，T表示转置。

6.根据权利要求1所述的基于变分与分数阶微分的图像融合与超分辨率实现方法，其特征在于：所述

7.根据权利要求1所述的基于变分与分数阶微分的图像融合与超分辨率实现方法，其特征在于：所述α、η、γ、β、Δtc_N与的取值分别为1.6、1、0.05、1.6、0.085、0.001。

8.根据权利要求5所述的基于变分与分数阶微分的图像融合与超分辨率实现方法，其特征在于：所述步骤G中，采样操作H^*divV(x,y)与H^*ΔHI^k的计算公式分别为P^T·divV(x,y)·Q^T、P^T·ΔHI^k·Q^T，T表示转置。

9.根据权利要求2所述的基于变分与分数阶微分的图像融合与超分辨率实现方法，其特征在于：所述初始融合图像其中迭代终止次数k＝20。