CN104123705A - 一种超分辨率重建图像质量Contourlet域评价方法 - Google Patents

Abstract

一种超分辨率重建图像质量Contourlet域评价方法，包括的步骤有：对原始低分辨率图像和超分辨率重建图像分别进行非降采样Contourlet变换，得到变换域的方向子带系数图像；利用方向熵计算各子带图像能量分布，以能量分布的变化度为标准，评价超分辨率重建后图像细节信息的增加程度，重建后图像细节信息的增加程度记为重建熵因子；根据Contourlet系数的特点，将建图像中的像素分为强边缘、弱边缘和噪声，对于强边缘像素根据重建前后边缘像素邻域内的系数变化来评价振铃效应的严重程度得到振铃因子，对于弱边缘像素评价其模糊程度得到模糊因子；融合熵因子、振铃因子和模糊因子，得到统一的质量评价标准。

Description

一种超分辨率重建图像质量Contourlet域评价方法

技术领域

本发明涉及一种超分辨率重建图像质量Contourlet域评价方法，属于数字图像处理技术领域。

背景技术

图像数字化采集中的降采样、压缩时的变换与量化等过程引入的噪声以及在图像转换或传输中相对运动和大气扰动等多种因素的影响，会引起图像退化现象，这极大地影响了图像数据效用的发挥。超分辨率重建技术是利用图像处理手段，通过单幅或多幅模糊、有噪、频谱混叠的低分辨率降质图像估计出一幅高分辨率图像，是在不修改成像系统硬件构造的情况下解决这一问题的有效手段。重建图像质量是评价超分辨率方法性能优劣的关键性指标，对于同一组低分辨率降质图像，不同的超分辨率算法生成的重建图像质量差别很大，因此有必要建立一种有效的定量评价方法对超分辨率技术进行全面、客观的评价。

按照对参考图像的需求，图像质量客观评价方法分为三类，分别为：无参考、部分参考和完全参考图像质量评价。完全参考质量评价方法发展最为成熟，但是实际应用中很少能得到与重建后影像相对应的高分辨率图像作为参考图像，因此这种方法对超分辨率重建图像质量评价的意义并不大。部分参考评价法需提取参考图像的部分特征与待评价图像做对比，与全参考评价无本质的区别。现有的无参考评价方法大多是针对一种或多种失真类型，量化失真特征得到评价指标，如基于结构相似度的评价、模糊评价等。其中基于结构相似度的评价应用最为广泛，它是利用人类高层视觉对图像结构敏感的特性，从亮度、对比度、结构三方面的相似度来衡量失真图像与原始图像的视觉差异，但人体视觉系统对于图像结构的处理过程极为复杂，结构相似度只描述了人体视觉系统的某一方面特性，其评价指标与图像失真类型和图像本身的内容相关性较强，所以许多时候与主观评价差异很大。事实上，超分辨率重建的目的是重构图像高频信息、扩展空间分辨率，因此超分辨率重建图像质量评价的关键是评估重建后图像中有效信息量的增加程度和由重建产生的模糊、振铃效应等无效信息的影响程度，本发明就建立了一种仅依靠重建前后图像自身信息评估图像空间分辨率提高程度的超分辨率重建图像质量评价方法。

发明内容

本发明的目的是提供一种科学合理，适用性强，能够准确的评价超分辨率重建图像中有效信息量的增加程度和无效信息的影响程度，评价结果与人类主观评价结果相一致的超分辨率重建图像质量Contourlet变换域评价方法。

本发明的目的是通过以下技术方案来实现的，一种超分辨率重建图像质量Contourlet域评价方法，其特征是，它包含以下步骤：

1)对原始低分辨率图像和超分辨率重建图像分别进行非降采样Contourlet变换NSCT，得到变换域的方向子带系数图像；

2)以图像在某尺度各个方向的归一化子带能量作为概率在Contourlet域定义图像方向熵，利用方向熵计算各子带图像能量分布，以重建前后能量分布的变化度为标准，评价超分辨率重建后图像细节信息的增加程度记为重建熵因子，对于尺度l的i方向子带图像I_l,i，c_k(l,i)为该子带的第k个Contourlet系数，则根据该尺度i方向的归一化子带能量P_l,i作为概率计算该子带方向熵H_i的公式定义如下：

H_i＝-P_l,ilog₂P_l,i    (2)；

3)根据Contourlet系数的特点，将重建图像中的像素分为强边缘、弱边缘和噪声，强边缘系数在图像的各尺度间相对稳定，因此用Contourlet域尺度间的相关程度来确定，相关性大于阈值的标记为强边缘，对于小系数，根据各系数在同一尺度内的相关性来区分弱边缘与噪声并标记；

4)对于强边缘像素根据重建前后边缘像素邻域内的系数变化来评价振铃效应的严重程度，对于弱边缘像素评价其模糊程度，分别得到振铃因子和模糊因子两个质量指标；

5)融合熵因子、振铃因子和模糊因子这三个质量指标，得到统一的质量评价标准。

本发明的一种超分辨率重建图像质量Contourlet变换域评价方法，利用图像在Contourlet变换域系数的特点，能够准确的评价超分辨率重建图像中有效信息量的增加程度和无效信息的影响程度，整体性能优于PSNR和基于结构相似度的评价，尤其对高斯模糊和白噪声的评价优势较为明显，评价结果与人类主观评价结果相一致，具有方法科学合理，适用性强，应用效果好等优点。

附图说明

图1是超分辨率重建图像质量Contourlet域评价方法流程图；

图2是图像的非降采样Contourlet变换后第三层和第四层的分解图。

具体实施方式

以下结合附图和实施例对本发明的方法做进一步的描述：

参照图1和图2，本发明的一种超分辨率重建图像质量Contourlet域评价方法，包括以下步骤：

(1)图像非降采样Contourlet分解

对原始低分辨率图像和超分辨率重建图像分别进行非降采样Contourlet变换，得到变换域的方向子带系数图像。Contourlet变换是一种新的图像多尺度多方向几何分析工具，具有高度的多方向特性和各向异性，可以更准确地捕获图像中边缘和纹理的奇异性，能用比小波更少的系数来表示光滑的曲线，擅长于表示图像纹理和轮廓信息，能很好地保留自然场景中的纹理和细节。图像非降采样Contourlet变换去除了Contourlet变换中的下采样，分别采用非降采样的塔型滤波器组和非降采样的方向滤波器组进行尺度分解和方向分解，具有多尺度多方向特性、平移不变特性，能够有效降低图像的伪吉布斯现象，对图像边缘或纹理的方向敏感。本实施例采用的是“9-7”塔式分解和“dmaxflat7”方向滤波器组。对方向滤波器组进行4层分解，各层方向数依次为4，4，8，8。

(2)利用方向熵计算各子带图像能量分布，以能量分布的变化度为标准，评价超分辨率重建后图像细节信息的增加程度。

超分辨率重建的基本目的是利用信号处理的手段为图像附加上合理的高频成分，从而提高原图像的空间分辨率。由于重建过程获得的细节信息主要是体现在图像的高频部分，因此高频部分能量的增大会改变图像能量分布情况。设变换后尺度l的i方向子带图像为I_l,i，c_k(l,i)为该子带的第k个Contourlet系数，采用1式计算步骤1所得的最小尺度i方向的归一化子带能量P_l,i，对于本实例l＝4，尺度内子带方向数为8。为了对图像进行熵分析，按照2式定义图像的方向熵H_i:

H_i＝-P_l,ilog₂P_l,i    (2)；

对低分辨率图像和重建图像分别累加最小尺度所有子带的方向熵得低分辨率图像和重建图像的方向熵H_LR和H_SR，定义重建图像细节增加因子s₁为：

$s=\frac{H_{\mathrm{SR}}}{H_{\mathrm{LR}}}---\left(3\right)$

(3)根据Contourlet系数的特点，区分重建图像中的强边缘、弱边缘和噪声，以便对不同的图像区域进行相应评价。

①强边缘提取

经非降采样Contourlet变换后产生的带通子带包含了大量的多个分辨率下，多个方向的图像轮廓和纹理信息。分解的级数越多，尺度也会越来越精细，随着尺度越来越精细，代表噪声的Contourlet系数将迅速衰减，代表图像轮廓和纹理信息的系数则会相对稳定，图像强边缘信号的Contourlet系数在尺度间的相关性最强，因此可以根据尺度间的系数相关性来判断强边缘，具体步骤如下：

对每一像素k计算其在当前尺度l和上一相邻尺度l-1下的系数乘积，定义子带间像素相关系数corr_k为这个乘积的归一化值。

${\mathrm{corr}}_k=\frac{\left|c_k(l,i)\right|\×\left|c_k(l-1,i)\right|}{\sqrt{\underset{k\∈I_{l,i}}{\mathrm{\Σ}}(c_k^2(l,i)\×c_k^2(l-1,i))}}---\left(4\right)$

上式中i为子带方向的序号，对于某一系数c_k(l,i)，若corr_k>0.645，则将此像素点即标记为强边缘。

②弱边缘提取

噪声和弱边缘的变换系数都较小，但是噪声没有明显的几何结构，所以可以根据同一尺度内不同方向子带间的系数相关性来区分。采用贝叶斯萎缩法计算子带阈值，对于小于阈值的系数考查其相关性，相关性弱的即被标记为噪声，具体步骤如下：

首先用中值估计获得每个方向子带的噪声标准差，记尺度l的i方向子带图像噪声标准差为δ_l,i，像素数为N，利用最大似然估计估算l层i方向子带的信号标准差为

${\stackrel{\‾}{\mathrm{\δ}}}_{l,i}=\sqrt{\max (0,\frac{1}{N}\underset{t=1}{\overset{N}{\mathrm{\Σ}}}{c}_t^2(l,i)-{\mathrm{\δ}}_{l,i}^2)}---\left(5\right)$

子带阈值T_B为

$T_B=\frac{{\mathrm{\δ}}_{l,i}^2}{{\stackrel{\‾}{\mathrm{\δ}}}_{l,i}}---\left(6\right)$

对子带内小于阈值T_B的像素按照式7计算其变异系数cv以区分弱边缘和噪声：

$\mathrm{cv}=\frac{\sqrt{\frac{1}{N}\underset{t=1}{\overset{N}{\mathrm{\Σ}}}{c}_t^2(l,i)-{\mathrm{\δ}}_{l,i}^2}}{\frac{1}{N}\underset{t=1}{\overset{N}{\mathrm{\Σ}}}{c}_t(l,i)}---\left(7\right)$

按照上式计算的变异系数取值范围与子带图像尺寸相关，对于像素数为N的子带，设定阈值变异系数小于阈值T_Y的像素点系数在子带内相对平稳，可以认为是噪声，其他的小阈值像素点即标记为弱边缘。

为方便计算，本实例中对边缘的提取均在最小尺度进行，即公式4至公式7中的l均取值为4。

(4)超分辨率重建算法对于图像中不同成分的影响不同，强边缘部分的失真主要表现为振铃，弱边缘区的失真则以模糊为主。所以对强边缘像素根据重建前后边缘像素邻域内的系数变化来评价振铃效应的严重程度。对于弱边缘像素评价其模糊程度，分别得到振铃因子和模糊因子两个质量指标。

①超分辨率重建中由于高频分量的粗量化，失真图像中高对比度的强边缘区域往往会出现振铃效应，即高对比度边缘处的有明显抖动。许多基于迭代的重建算法图像清晰度随着迭代次数的增加会有所提高，但同时振铃效应也会更严重，从而影响图像本身信息的识别。均方误差、峰值信噪比等传统的图像质量评价指标不区分振铃与图像真正细节，评价结果与人的主观评价不相符对后续检索、匹配等处理不具有指导性，因此，对于重建图像的质量评价应正确评估由于振铃所产生的无效信息的影响程度。

对步骤2中标记的每一个强边缘像素j，在低分辨率图像最小尺度的各个方向子带中取直线3邻域，对像素c_i即在邻域方向上取邻域c_i-1c_ic_i+1，邻域方向与子带方向一致，以此邻域为结构元素对边缘像素进行膨胀，膨胀后所得的强边缘图像记为I_LE，在重建图像的相应分解子带中按同样的方法提取强边缘图像I_SE，将I_LE和I_SE进行“与”操作后得结果图像I_ur，I_ur中为0的像素即认为是振铃，统计I_ur相对于I_SE的能量变化度r_i定义为该方向的振铃因子，各方向振铃因子的均值为总体振铃因子r。本实例是对低分辨率图像进行2倍重建，所以对低分辨率图像先进行2倍插值放大后再做膨胀，式9中的t是最小尺度中的方向子带数，对于本实例取值为8。

$r_i=\frac{\underset{k\∈I_{\mathrm{ur}}}{\mathrm{\Σ}}\left|c_k(l,i)\right|}{\underset{k\∈I_{\mathrm{SE}}}{\mathrm{\Σ}}\left|c_k(l,i)\right|}---\left(8\right)$

$r=\frac{\underset{i=1}{\overset{t}{\mathrm{\Σ}}}{r}_i}{t}---\left(9\right)$

②图像成像过程中由于光学衍射、相对运动等影响会产生模糊现象，超分辨率重建过程中采用的插值等操作进一步平滑了像素差异，造成高频信息的丢失，出现在弱边缘区的模糊会给图像判读带来很大的困难，因此有必要对超分辨率图像进行模糊度评价指标。图像的模糊退化过程是对图像的空间域滤波过程，由空间滤波器对图像进行卷积运算后图像被进一步平滑，此时模糊像素的空间相关性大大增强，因此我们用重建前后弱边缘像素邻域内变异系数的差值来表示模糊的程度。

对步骤2中标记的每一个弱边缘像素j，在低分辨率图像最小尺度的i方向子带中取3邻域记为对中所有像素计算变异系数c_j1；按照图像放大尺寸，在重建图像中取相应邻域对中所有像素计算变异系数c_j2，c_j1与c_j2的归一化差值b_j即为像素j的模糊度，模糊因子b定义为所有弱边缘模糊度的均值。本实例是对低分辨率图像进行2倍重建，所以重建图像邻域取5，即当进行m倍重建时，在重建图像中取的邻域为2m+1。由于模糊的效果是邻域变异系数变小，所以计算中只取c_j1-c_j2>0的点作为有效弱边缘点进行计算。设有效弱边缘点的个数为t，以下为模糊因子的计算公式：

$c_{j1}=\frac{\sqrt{\frac{1}{3}\underset{k\∈I_{\mathrm{lT}}^j}{\mathrm{\Σ}}{c}_k^2(l,i)-\frac{1}{9}\left(\underset{k\∈I_{\mathrm{lT}}^j}{\mathrm{\Σ}}{c}_k^2(l,i)\right)}}{\frac{1}{3}\underset{k\∈I_{\mathrm{lT}}^j}{\mathrm{\Σ}}{c}_k^2(l,i)}=\frac{\sqrt{3\underset{k\∈I_{\mathrm{lT}}^j}{\mathrm{\Σ}}{c}_k^2(l,i)-\underset{k\∈I_{\mathrm{lT}}^j}{\mathrm{\Σ}}{c}_k^2(l,i)}}{\underset{k\∈I_{\mathrm{lT}}^j}{\mathrm{\Σ}}{c}_k^2(l,i)}---\left(10\right)$

$c_{j2}=\frac{\sqrt{\frac{1}{2m+1}\underset{k\∈I_{\mathrm{ST}}^j}{\mathrm{\Σ}}{c}_k^2(l,i)-\frac{1}{{(2m+1)}^2}\left(\underset{k\∈I_{\mathrm{ST}}^j}{\mathrm{\Σ}}{c}_k^2(l,i)\right)}}{\frac{1}{2m+1}\underset{k\∈I_{\mathrm{ST}}^j}{\mathrm{\Σ}}{c}_k^2(l,i)}=\frac{\sqrt{(2m+1)\underset{k\∈I_{\mathrm{ST}}^j}{\mathrm{\Σ}}{c}_k^2(l,i)-\underset{k\∈I_{\mathrm{ST}}^j}{\mathrm{\Σ}}{c}_k^2(l,i)}}{\underset{k\∈I_{\mathrm{ST}}^j}{\mathrm{\Σ}}{c}_k^2(l,i)}---\left(11\right)$

$b_j=\frac{c_{j1}-c_{j2}}{c_{j1}}$ if  c_j1-c_j2>0        (12)

$b=\frac{\underset{t}{\mathrm{\Σ}}{b}_j}{t}$         (13)

(5)按照下式融合以上熵因子、振铃因子和模糊因子指标得到统一的质量评价指标

q＝sαr^β(1-b)^γ    α>0,β>0.γ>0        (14)

其中，α,β,γ是调节参数，本实例中均取值为1。

采用LIVE Database Release2图库作为进行评价实验，该图库选取29幅高质量高精度彩色图像作为原始图像，模拟JPEG2000、JPEG、快速衰减、白噪声，高斯模糊5种失真构造了982幅失真图像，同时提供了每幅图像的主观评价分DMOS作为参考。为验证本评价指标的有效性，利用峰值信噪比(PSNR)、结构相似度(SSIM)、多尺度结构相似度(MS_SSIM)作为对比算法。评价有效度采用VQEG II(2003)报告中所定义的评价指标来衡量，为避免不同算法度量范围的差异，首先要对算法进行非线性回归，式15定义了回归函数，其中的参数β₁-β₅为待定参数，可利用matlab中的非线性最小二乘回归法得到参数值，回归准则为均方误差最小：

$\mathrm{Quality}={\mathrm{\β}}_1(0.5-\frac{1}{1+\exp \left({\mathrm{\β}}_2(q-{\mathrm{\β}}_3)\right)})+{\mathrm{\β}}_4+{\mathrm{\β}}_5---\left(15\right)$

主观与客观评价分数的相关系数CC可以评估出算法的准确度和单调性。表1为不同评价方法CC值比较，可以看出本算法的评价准确度远高于PSNR和SSIM，与同样采用多尺度处理的MS_SSIM相比，算法在对高斯模糊和白噪声的评价中优势较为明显。

表1 不同评价方法准确度比较(CC)

除了相关系数以外，Spearman等级相关系数SROCC、均方根误差RMSE、平均绝对误差MAE和离出率OR也是常用的客观指标，SROCC表征了算法的单调性，RMSE和MAE表征了算法的一致性，OR表征了算法的稳定性。

表2 LIVE图库不同评价方法对比

表2采用对比算法对LIVE图库进行评估后上述四项指标的对比，从表中数据可以看出本算法一致性好，单调性更加严格，与MS_SSIM相比稳定性略有改善。

Claims (1)

1.一种超分辨率重建图像质量Contourlet域评价方法，其特征是，它包含以下步骤：

1)对原始低分辨率图像和超分辨率重建图像分别进行非降采样Contourlet变换NSCT，得到变换域的方向子带系数图像；

2)以图像在某尺度各个方向的归一化子带能量作为概率在Contourlet域定义图像方向熵，利用方向熵计算各子带图像能量分布，以重建前后能量分布的变化度为标准，评价超分辨率重建后图像细节信息的增加程度记为重建熵因子，对于尺度l的i方向子带图像I_l,i，c_k(l,i)为该子带的第k个Contourlet系数，则根据该尺度i方向的归一化子带能量P_l,i作为概率计算该子带方向熵H_i的公式定义如下：

H_i＝-P_l,ilog₂P_l,i    (2)；

3)根据Contourlet系数的特点，将重建图像中的像素分为强边缘、弱边缘和噪声，强边缘系数在图像的各尺度间相对稳定，因此用Contourlet域尺度间的相关程度来确定，相关性大于阈值的标记为强边缘，对于小系数，根据各系数在同一尺度内的相关性来区分弱边缘与噪声并标记；

4)对于强边缘像素根据重建前后边缘像素邻域内的系数变化来评价振铃效应的严重程度，对于弱边缘像素评价其模糊程度，分别得到振铃因子和模糊因子两个质量指标；

5)融合熵因子、振铃因子和模糊因子这三个质量指标，得到统一的质量评价标准。