CN107767342B - 一种基于积分平差模型的小波变换超分辨率图像重建方法 - Google Patents

Abstract

一种基于积分平差模型的小波变换超分辨率图像重建方法，包括以下步骤：1)首先对N幅低分辨率图像进行预处理，使得图像间的分辨率一致。2)然后对预处理后的低分辨率图像序列进行尺度为J的二维小波变换分解，将每一个图像分解成一个近似原始图像的低频子图(LL^J)和三个方向的高频子图(LH^j,HL^j,HH^j，分解级数为J，j＝1,2,....,J)。3)为各低分辨率图像对应的高、低频子图建立相应的积分平差模型，并求解，估算出高分辨率图像的低频子图的估计值

和高频子图的估计值

4)最后对高分辨率图像的低频子图

和高频子图

进行小波逆变换，得到高分辨率图像。本发明的算法不仅能获得较好的重建效果，且具有较好的鲁棒性和稳定性，还具有抑制重建图像噪声的能力。

Description

一种基于积分平差模型的小波变换超分辨率图像重建方法

技术领域

本发明涉及一种图像处理方法，尤其涉及一种基于积分平差模型的小波变换超分辨率图像重建方法。

背景技术

随着科技的高速发展人们对图像的分辨率要求越来越高。提高图像分辨率可以通过硬件和软件两种方式，由于硬件方式受到传感器排列密度极限的限制，而且价格昂贵，因此采用软件方式如超分辨率图像重建技术提高图像分辨率已成为图像处理领域的热门研究课题。该技术是针对一幅低分辨率图像或同一场景存在亚像素位移的多幅低分辨率图像序列利用信号处理算法获取一幅比原图像包含更多信息和细节的高分辨率图像，它克服了硬件的限制，成本低、效率高且能显著改善图像的质量。因此，超分辨率重建技术在遥感、医学、视频、监控、公共安全和军事等领域具有十分重要的应用价值和广泛的应用前景。

发明内容

本发明要解决的技术问题是克服现有技术的不足，提供一种受噪声密度影响小，峰值信噪比(Peak Signal to Noise Ratio,PNSR)/均方根误差(RootMean Square Error,RMSE)的值变化幅度最小，说明本发明的算法不仅能获得较好的重建效果，且具有较好的鲁棒性和稳定性，还具有抑制重建图像噪声的能力的基于积分平差模型的小波变换超分辨率图像重建方法。为解决上述技术问题，本发明提出的技术方案为：一种基于积分平差模型的小波变换超分辨率图像重建方法，其特征在于：包括以下步骤，1)对N幅低分辨率图像进行图像去噪和图像配准等一系列前期处理，使得图像间的分辨率一致。

2)对预处理后的低分辨率图像序列进行尺度为J的二维小波变换分解，每一个都可以分解成一个低频子图(LL^J)和三个方向的高频子图(LH^j,HL^j,HH^j，分解级数为J，j＝1,2,....,J)；

二维图像f(x,y)的大小为M×N，对应的二维离散小波变换为：

其中j₀为初始尺度，通常为0，令M＝N＝2^J,j＝0,1,2,...,J-1，m,n＝0,1,2,...,2^j-1；W_s(j₀,m,n)表示图像f(x,y)在尺度j₀的近似，W_t ⁱ(j,m,n)表示图像f(x,y)在j₀以上尺度的水平、垂直和对角线方向的高频细节信息。

f(x,y)的二维离散小波逆变换可表示为：

对二维图像Lena进行三层小波分解的效果图如图1所示。在图1(c)中，最左上角的图像是一幅低频子图，它是Lena图像在低分辨率上的一个近似，其余各个不同分辨率的子图像都是高频子图，它们在不同方向和不同分辨率上反映了Lena图像的高频细节。其中，各个HL分量反映了图像的水平边缘等细节信息；各个LH分量反映了图像的垂直边缘等细节信息；各个HH分量反映了图像的对角方向的变化信息。

超分辨率图像重建过程是对同一目标进行多次观测，获取多幅低分辨率影像，利用低分辨率影像求取高分辨率影像的过程，这一过程与测绘领域中对同一对象进行多次观测，用测量平差方法求取对象最佳值的过程类似，可以用一种含积分的平差模型来描述。

研究将每个像素值看做客体表面函数在该象元范围内的一个积分，低分辨率图像的每个像素值都是客体表面函数在这个像素内的积分值，即：

其中g_i表示像素值，x,y是像素坐标，v_i是像元范围，f(x,y)是客体表面灰度函数。当有多幅低分辨率图像时，所有低分辨率图像的像素都可与客体表面函数建立这种积分关系，可以构成观测方程：

这里，观测值是像素值L_i，V_i为改正值向量，待求的为灰度函数f(x,y)。然后用最小二乘平差方法反求客体表面真实的灰度函数，根据真实的灰度函数就可以求出高分辨率图像。

3)为各低分辨率图像对应的低频子图和高频子图建立相应的积分平差模型，估算出高分辨率图像的低频子图和高频子图的估计值；

所述各低分辨率图像的低频子图可表示为：

针对以上N幅低频子图，选取

为参考子图，建立其积分平差模型，可表示为：

其中L_i为i点的小波系数值，V_i为改正数，s为点i积分空间的范围，f(x,y)为客体表面函数，(x,y)表示i点坐标，ds对应dxdy；

对f(x,y)进行三次多项式展开，代入(6)式可得：

令X^T＝(a₀,a₁,a₂,a₃,a₄,a₅,a₆,a₇,a₈,a₉)，为三次多项式的系数值，B_i为误差方程的系数矩阵，B_i＝(B_i,1,B_i,2,B_i,3,B_i,4,B_i,5,B_i,6,B_i,7,B_i,8,B_i,9,B_i,10)，则：

在

子图中，i点和与之相邻的8个点可以代入(7)式，产生9个观测方程，同时在

各图中，每个图与i点对应的点都可以产生9个观测方程，对于i点，一共可以建立9N个观测方程来求解f(x,y)的系数矩阵；根据最小二乘原理，(7)式必须满足V^TPV＝min原则；

N_BBX-W＝0,(N_BB＝B^TPB,W＝B^TPL) (8)

其中B为i点对应的系数矩阵B_i的集合，此时近似取权阵P为单位阵，L为i点对应的观测阵L_i的集合；根据求得的结果可以获得最终观测点的平差估计值：

通过(9)式求出高分辨率图像对应小波分解后的低频子图

中i点的小波系数估计值，依次进行从而可解算出高分辨率图像的低频子图的估计值

针对水平方向高频子图:

选取

为参考子图，建立其积分平差模型，然后根据(6)、(7)、(8)、(9)式求解出高分辨率图像的水平方向高频子图的估计值

针对垂直方向高频子图:

选取

为参考子图，建立其积分平差模型，然后根据(6)、(7)、(8)、(9)式求解出高分辨率图像的垂直方向高频子图的估计值

针对对角方向高频子图:

选取

为参考子图，建立其积分平差模型，然后根据(6)、(7)、(8)、(9)式求解出高分辨率图像的对角方向高频子图的估计值

4)由获得的高分辨率图像的低频子图

和高频子图

通过(3)式对高低频子图组合进行小波逆变换，得到高分辨率图像。

超分辨率重建的积分平差方法充分利用了图像间的相关信息，所以使用超分辨率重建的积分平差方法后，小波超分辨率重建方法将会有更好的效果。超分辨率重建的积分平差方法的关键是要使用一个灰度函数来描述图像局部的灰度变化，从图1可以看出，与原图像相比，小波分解后的各层图像，灰度变化将比原图像小很多，局部灰度函数能更加准确地描述实际灰度，因而小波分解后使用积分平差方法相比直接对原图像使用积分平差方法将获得更好的效果。

附图说明

图1为对二维图像Lena进行三层小波分解的效果图

图2为无噪实验图像(a)fg01；(b)fg01A；(c)fg01B。

图3为基于图2b和图2c的重建图像，(a)POCS重建结果；(b)IBP重建结果；(c)文献[1]算法重建结果；(d)本发明重建算法结果。

图4重建图像比较。(a)原始图像(b)加噪图像,混合噪声为0.02/0.001；(c)隔点重采样图1；(d)隔点采样图2；(e)POCS重建结果；(f)IBP重建结果；(g)文献[1]算法重建结果；(h)本发明重建结果。

具体实施方式

为了便于理解本发明，下文将结合较佳的实施例对本发明作更全面、细致地描述，但本发明的保护范围并不限于以下具体的实施例；

需要特别说明的是，当某一元件被描述为“固定于、固接于、连接于或连通于”另一元件上时，它可以是直接固定、固接、连接或连通在另一元件上，也可以是通过其他中间连接件间接固定、固接、连接或连通在另一元件上；

除非另有定义，下文中所使用的所有专业术语与本领域技术人员通常理解的含义相同；本发明中所使用的专业术语只是为了描述具体实施例的目的，并不是旨在限制本发明的保护范围。

实施例

采用遥感图像数据进行无噪实验，如图2所示。尺寸为256×256的图2(a)经过隔点降采样得到两幅具有互补信息的低分辨率图像图2(b)和图2(c)。

(1)无噪实验

采用凸集投影算法(Projections Onto Convex Set,POCS)(Y.Zhou,"A POCSmethod for iterative deblending constrained by a blending mask,"Journal ofApplied Geophysics,vol.138,no.pp.245-254,2017.)、迭代反投影算法(Iterative BackProjection,IBP)(M.Irani and S.Peleg,"Improving resolution by imageregistration,"CVGIP:Graphical models and image processing,vol.53,no.3,pp.231-239,1991.)、文献[1](L.Ying,B.An,and B.Xue,"Research on Super-resolutionReconstruction of Sub-pixel Images,"Infrared Technology,vol.35,no.5,pp.274-278,May 2013.)算法和本发明算法分别对图2(b)和图2(c)进行超分辨率图像重建，最后把各种算法重建得到的高分辨率图像与图2(a)进行比较，这里采用PNSR与RMSE来定量评价重建效果。各算法重建效果如图3所示，定量评价结果如表1所示。

①由表1可知，实验结果表明，本发明重建算法得到的PNSR值最大，说明利用本发明算法重建得到的高分辨率图像与原始图像灰度相似度最接近，同时得到的RMSE的值最小，RMSE是用来衡量观测值同真值之间的偏差，从而说明本发明算法重建的误差最小。另外，以上四种重建算法之间的PNSR/RMSE的值相差不超过1dB，说明四种算法重建的效果都较好。IBP算法的PNSR/RMSE的值均优于POCS算法和文献[1]算法的值，说明理想无噪声的情况下，IBP算法效果较好。

②把各算法的重建结果放大显示，从图3可以看到本发明算法重建的图像线条清晰、连续光滑，与POCS、IBP和[1]文献算法比较，本发明算法重建的图像包含了更多的细节信息，且图像连续。由此可知，在理想情形下，本发明提出的小波重建算法优于传统重建算法POCS和IBP，同时比小波简单的融合信息包含更多的细节和边缘信息。

(2)算法鲁棒性实验

表2重建效果评价表

为验证本发明重建算法的鲁棒性和稳定性，在遥感图像图4(a)中加入常见的混合噪声，然后对含噪图像进行隔点降采样成两幅低分辨率图像，再用以上四种重建算法对两幅低分辨率图像进行超分辨率图像重建，最后比较各算法重建后的效果。具体步骤如下：首先对图4(a)分别加入遥感图像中常见的混合噪声类型，即高斯噪声和脉冲噪声的组合。其中混合噪声的类型为：0.01/0.0005、0.02/0.001、0.05/0.001、0.1/0.01，每组数据的前一个值代表的是高斯噪声方差，后一个值代表的是脉冲噪声的密度。图4(a)经过四次加噪处理后获得四幅噪声密度不一、分辨率不同的图像，然后对四幅图像分别进行隔点降采样，每幅图像都获得两幅具有互补信息的低分辨率图像，此时共得到四组实验数据。采用POCS、IBP、文献[1]算法和本发明重建算法对四组实验数据进行超分辨率图像重建。最后用PNSR和RMSE对各算法重建的效果进行评价，评价表如表2所示。为了便于从视觉上进行比较，列出混合噪声为0.02/0.001时的重建效果情况，如图4所示。

从表2和图4可得如下结论：

(1)在四种噪声组合实验中，本发明重建算法获得的PNSR值在每组数据中都是最大的，同时RMSE的值在每组数据中都是最小的，根据评价标准，PNSR的值越大越好，RMSE的值越小越好的规则，且随着噪声密度的增大，本发明重建算法的PNSR/RMSE值变化均匀，说明在实际图像处理中，本发明的重建算法相比传统重建算法具有更好的重建效果和更强的稳定性。

(2)与POCS算法比较，当噪声组合是0.01/0.0005时，本发明算法的PNSR值比POCS的大约高2dB，随着噪声密度增大，这个差值逐渐增大；当噪声组合为0.1/0.01时，PNSR的差值大约为4dB；而两者的RMSE差值变化更大，从3到20，说明本发明重建算法比POCS算法具有更强的鲁棒性和更好的抑制噪声的能力。与文献[1]算法比较，本发明重建算法的PNSR高出的值在3-4dB之间变化，而RMSE的差值变化较大，说明本发明重建算法优于文献[1]算法。IBP算法在这四组实验中，效果是最差的，是因为IBP算法没有考虑噪声模型，故该重建算法对噪声敏感。

(3)从图4的效果可得，视觉上明显可以看出，本发明重建算法的重建效果最好，不但图像更接近原图，轮廓清晰，线条光滑，甚至还去除了重建原图的大量噪声，说明本发明重建算法具有很强的鲁棒性和稳定性，且还具有抑制噪声的作用。而POCS、IBP和文献[1]算法重建后的图像明显可见大量的噪声，重建图像边缘模糊。由此可见，本发明提出的基于积分平差模型的小波变换超分辨率图像重建算法是可行的、有效的。

结合积分平差模型和小波变换理论应用于超分辨率图像重建领域，是一个全新的探索，本发明通过无噪实验和算法鲁棒性实验，分析并比较本发明重建算法与经典重建算法的优劣。实验结果表明本发明重建算法明显优于POCS和IBP算法，因为该算法在重建过程中不仅通过积分平差利用了低分辨率图像的所有相关信息，同时采用了小波分析在边缘、细节信息处理上的优势，使得重建后的图像细节信息丰富，说明了结合小波的超分辨率图像重建算法具有良好的性质。同时本发明重建算法也优于文献[1]算法，因为本发明算法利用了不同像素之间的相关信息，为小波系数建立领域相关的积分模型，结合平差理论求解高分辨率图像的最优小波系数解。这样能保留更多的高频信息和细节。而文献[1]对低分辨率图像的高、低频系数进行小波融合成高分辨率图像的高、低频，易对重建图像高频边缘细节成分产生平滑效应，造成图像模糊的现象。因此，本发明重建算法不仅表现出了较好的重建效果，且具有较好的鲁棒性和稳定性，能抑制重建图像的噪声。

Claims (2)

1.一种基于积分平差模型的小波变换超分辨率图像重建方法，其特征在于：包括以下步骤，

1)对N幅低分辨率的二维图像进行预处理，使得图像间的分辨率一致；

2)对预处理后的低分辨率图像序列进行尺度为J的二维小波变换分解，每一个都可以分解成一个低频子图LL^J和三个方向的高频子图LH^j,HL^j,HH^j，分解级数为J，j＝1,2,....,J；

二维图像F(x,y)的大小为M×N，对应的二维离散小波变换为：

其中j₀为初始尺度，通常为0，令M＝N＝2^J,j＝0,1,2,...,J-1，m,n＝0,1,2,...,2^j-1；W_s(j₀,m,n)表示图像F(x,y)在尺度j₀的近似，W_t ⁱ(j,m,n)表示图像F(x,y)在j₀以上尺度的水平、垂直和对角线方向的高频细节信息；

F(x,y)的二维离散小波逆变换可表示为：

3)为各低分辨率图像对应的低频子图和高频子图建立相应的积分平差模型，估算出高分辨率图像的低频子图和高频子图的估计值；

所述各低分辨率图像的低频子图可表示为：

针对以上N幅低频子图，选取

为参考子图，建立其积分平差模型，可表示为：

其中L_i为i点的小波系数值，V_i为改正数，s为点i积分空间的范围，f(x,y)为客体表面函数，(x,y)表示i点坐标，ds对应dxdy；

对f(x,y)进行三次多项式展开，代入(4)式可得：

令X^T＝(a₀,a₁,a₂,a₃,a₄,a₅,a₆,a₇,a₈,a₉)，为三次多项式的系数值，B_i为误差方程的系数矩阵，B_i＝(B_i,1,B_i,2,B_i,3,B_i,4,B_i,5,B_i,6,B_i,7,B_i,8,B_i,9,B_i,10)，则：

在

子图中，i点和与之相邻的8个点可以代入(5)式，产生9个观测方程，同时在

各图中，每个图与i点对应的点都可以产生9个观测方程，对于i点，一共可以建立9N个观测方程来求解f(x,y)的系数矩阵；根据最小二乘原理，(5)式必须满足V^TPV＝min原则；

N_BBX-W＝0，N_BB＝B^TPB，W＝B^TPL (6)

其中B为i点对应的系数矩阵B_i的集合，此时近似取权阵P为单位阵，L为i点对应的观测阵L_i的集合；根据求得的结果可以获得最终观测点的平差估计值：

通过(7)式求出高分辨率图像对应小波分解后的低频子图

中i点的小波系数估计值，依次进行从而可解算出高分辨率图像的低频子图的估计值

针对水平方向高频子图:

选取

为参考子图，建立其积分平差模型，然后根据(4)、(5)、(6)、(7)式求解出高分辨率图像的水平方向高频子图的估计值

针对垂直方向高频子图:

选取

为参考子图，建立其积分平差模型，然后根据(4)、(5)、(6)、(7)式求解出高分辨率图像的垂直方向高频子图的估计值

针对对角方向高频子图:

选取

为参考子图，建立其积分平差模型，然后根据(4)、(5)、(6)、(7)式求解出高分辨率图像的对角方向高频子图的估计值

4)由获得的高分辨率图像的低频子图

和高频子图

通过(3)式对高低频子图组合进行小波逆变换，得到高分辨率图像。

2.根据权利要求1所述的基于积分平差模型的小波变换超分辨率图像重建方法，其特征在于：所述预处理包括图像去噪和图像配准。

Images