CN110634126A - 基于小波包分解的无参考3d立体图像质量评价方法 - Google Patents

Abstract

本发明涉及一种一种基于小波包分解的无参考立体图像质量评价方法，包括以下步骤：利用Daubechies小波系对立体图像对进行两级分解，得到左右视图的子带图像；计算合值图和差值图；对合值图和差值图做分离归一化处理；运用广义高斯模型GGD分别对归一化后的图进行拟合，分别取其GGD分布的均值、方差和形状参数，作为统计特征参数之一；分别计算合值图和差值图的信息熵，将其作为统计特征参数之二；计算左右视图结构相似度，作为统计特征参数之三：分别用Kovesi模型计算左右视图子带图像的相位一致性，计算左右视图子带图像的局部相似度；使用支持向量回归SVR来预测图像质量分数。

Description

基于小波包分解的无参考3D立体图像质量评价方法

技术领域：

本发明涉及对3D立体图像进行无参考的客观质量评价领域。

背景技术：

随着科技日新月异的发展、科学技术的更新换代，数字化时代产品已逐渐进入人们的生活。在数字时代的浪潮下，3D立体图像领域正在取得快速发展与应用，相比于二维平面图像，立体图像能使人们身临其境地体验到立体感及临场感，逐渐地成为多媒体研究的主流方向。然而，立体图像在经过编码、压缩、传输等处理过程中，往往会存在不同形式的失真，这些失真均会引起视觉质量的下降，一个失真程度非常严重的立体图像会使人出现眼晕、脑不舒服等现象，甚至出现呕吐、恶心等症状。因此，如何对图像质量进行准确有效的评价已成为图像处理领域的研究热点。

立体图像质量评价(Stereo Image Quality Assessment，SIQA)的主要目标是获取立体图像的一个视觉感知分数，以此评判图像失真对立体图像质量的影响。一般根据评价主体的不同，可以将图像质量评价(Image Quality Assessment，IQA)分为主观评价方法和客观评价方法，主观评价方法是把被试对观看图像的主观感受作为评价依据，而客观评价方法则是基于人眼视觉系统建立相关算法模型来对图像质量进行评价，因此建立一个基于人类立体视觉感知特性的立体图像质量评估方法，有着重要的研究意义和应用价值。

相比于2D平面图像，3D领域的研究还不够充分彻底，立体图像仍然是一项富有挑战的工作，视觉匹配、深度感知等原理目前还不够完善，这些关键的技术问题亟待解决；另一方面，立体图像的最终接受者是人眼，因此需充分深入研究大脑视神经相关机制，解决人眼观看立体图像的呈现原理，这有利于计算机更好的模拟人眼视觉系统来代替人眼来评判视觉效果。因此，如何建立更加符合人眼视觉系统的模型，提取出更精确的图像特征来评价立体图像质量仍然是是一个值得研究的课题。同时立体图像质量评价技术的研究也促进着图像处理、计算机视觉、人眼视觉系统等相关领域的发展。

发明内容：

本发明针对3D立体数字图像，提出了一种新的无参考客观质量评价算法(NR-IQA)——基于小波包的无参考立体图像质量评价算法。本发明技术方案如下：

1.一种基于小波包分解的无参考立体图像质量评价方法，包括以下步骤：

1)利用Daubechies小波系对立体图像对进行两级分解，得到左右视图的子带图像；第一级分解为4个子带，其中第一级分解为4个子带，分别用表示，其中

仅代表空间频率的低频信息，反映的是图像的轮廓结构，而

均含有图像的高频信息，可以表示图像的细节部分，则是能够体现图像的对角线信息，同样，第二级分解是在第一层分解的每一个频域子带上再次分解为4个子带，从而得到16个频域子带其中Q∈{L,R}，L表示左视图，R表示右视图；

2)由左视图的子带图像W_L和右视图的子带图像W_R逐像素点相加得到一幅合值图 C(x,y)；

3)由左视图的子带图像W_L和右视图的子带图像W_R绝对差值相减得到一幅差值图D(x,y)；

4)对合值图和差值图做分离归一化处理，对于差值图为，归一化后的差值图表示为：

其中，N_D(x,y)表示分离归一化之后的差值图，μ(x,y)是局部窗口均值，σ(x,y)是局部窗口加权方差，c为一个小正数，局部窗口选择为11×11高斯权重函数；同样地，对合值图C(x,y)做分离归一化处理，得到N_C(x,y)；

5)运用广义高斯模型GGD分别对归一化后的N_D(x,y)和N_C(x,y)进行拟合，分别取其GGD分布的均值、方差和形状参数，作为统计特征参数之一；

6)分别计算合值图和差值图的信息熵，将其作为统计特征参数之二；

7)计算左右视图结构相似度，作为统计特征参数之三：

第1步：分别用Kovesi模型计算左右视图子带图像的相位一致性(PhaseCongruency， PC)，表示为P_L(x,y)和P_R(x,y)；

第2步：分别计算左右视图子带图像的高斯拉普拉斯(LaplaceofGaussian，LoG)，表示为L_L(x,y)和L_R(x,y)；

第3步：计算得到左右视图的PC相似度指标为I_pc(x,y)：

式中，

为小于1的正数；

第4步：计算左右视图LOG相似度指标为I_LoG(x,y)：

式中,

为大于100的正数；

第5步：用左右视图平均PC值来加权图像块所占比重：

第6步：计算左右视图子带图像的局部相似度：

8)使用支持向量回归SVR来预测图像质量分数。

附图说明：

图1算法框架示意图；

图2左视图小波包分解子带示意图；

图3立体图像融合示意图,(a)左视图子带图，(b)右视图子带图，(c)合值，(d)差值图；

图4融合图分离归一化直方图,(a)合值图直方图，(b)差值图直方图；

图5不同失真类型的GGD拟合分布图,(a)合值图GGD拟合分布图，(b)差值图GGD 拟合分布图；

图6融合图信息熵随子带序列变化示意图,(a)合值图信息熵变化折线，(b)差值图信息熵变化折线。

表1算法的评价指标PLCC、SROCC、RMSE结果。

具体实施方式：

本发明将小波包分解应用到立体图像质量评价上，经过小波包分解之后的立体图像能提供频域中的局部化信息，所携带的图像质量信息较多，可以精确的量化自然图像的统计特征，较好地模拟人类视觉系统的多分辨率特性。该算法基于双眼竞争和双眼抑制特性，对小波包分解后的左右视图进行融合，得到合值图和差值图，对其提取特征并进行质量预测，可分为三大步骤：左右视图融合、立体图像联合特征提取、特征映射。第一步，左右视图融合。首先采用Daubechies小波系分别对立体图像左右视图进行小波包两级分解，然后将小波包分解后的频域子带图像进行融合，融合图分为合值图和差值图。第二步，立体图形联合特征提取。首先计算融合图像的自然场景统计特征和信息熵特征，并计算左右视图的结构相似度用来刻画立体图像左右视图之间的内在联系关系。第三步，特征映射。使用SVR进行回归以预测图像质量。在LIVE 3D立体图像数据库上进行实验，实验结果表明该方法的预测评分与主观评分具有高度的一致性。对比实验表明该算法性能优于当今主流的无参考质量评价算法。

为使本发明的方案更加清楚明了，便于实施，以便于更加凸显本发明的优点及目的，下面结合附图对本发明实施方案作进一步地详细阐述与说明，图1为算法框架示意图。

101：小波包分解

小波包分解之后的立体图像能提供频域中的局部化信息，所携带的图像质量信息较多，可以精确的量化自然图像的统计特征。因此，本发明采用Daubechies小波系分别对立体图像左右视图进行小波包两级分解。

以左视图为例，用V_L表示，经过小波包变换两层分解之后得到

表示分解之后的20个子带图像，其中第一级分解为4个子带，分别用

表示，其中

仅代表空间频率的低频信息，反映的是图像的轮廓结构，而均含有图像的高频信息，可以表示图像的细节部分，其中

表示在水平方向的低频信息、垂直方向的高频信息，表示垂直方向的低频信息、水平方向的高频信息，

则是能够体现图像的对角线信息，同样，第二级分解是在第一层分解的每一个频域子带上再次分解为4个子带得到16个频域子带同理，右视图V_R在小波包分解后得到

如图2所示，为失真图像左视图经过2层小波包分解之后的20个子带图像，可以看到低频子图像描绘图像全局信息，高频子图像表现的局部信息灰度值都偏小，描述的图像的高分辨率特性更丰富。经过小波包分解后的子带图像

既包括有全局信息，用于描述图像的整体像素及相关性特性，也富含有局部信息，当图像失真时，局部结构会出现突变，因此可以较好地模拟人类视觉系统的视觉感知特性。

102：生成合值图

在人眼观察物体时，由于左右眼在位置上有一定的距离，所观察的范围不同，所以双眼呈现的视图会经过大脑视觉系统处理后合并成一幅视图，合值图的目的是对感知图像给予直观的描述，本发明所描述的合值图是将左视图子带图像W_L和右视图子带图像W_R进行叠加，所得到的合值图表达式为：

C(x,y)＝W_L(x,y)+W_R(x,y) (1)

式中x和y表示空间坐标，C(x,y)表示融合所得合值图，为了更直观的展现合值图的效果，由于高频子带呈现的是一片局部数值较小细节区域，呈现效果为边缘轮廓纹理，所以以立体图像低频子带视图为例，所得合值图如图3(c)所示。

103：生成差值图

立体图像在传输过程中，左右视图会遇到各种各样的失真，包括对称失真和非对称失真，非对称失真会具有随机性，会在左右视图不同的位置发生不同强度的失真，因为双眼视觉系统需要考虑左右视图抑制信息，考虑到立体图像左右视图存在水平视差以及立体图像的不对称性，本发明用差值图来进行描述。差值图由分解后的小波包左右视图子带系数差值绝对值构成，以此反映立体视图的深度信息，相比左右视图，差值图对立体质量深度感知有着更好的敏感度。差值图能被表示为：

D(x,y)＝|W_L(x,y)-W_R(x,y)| (2)

如图3(d)所示为立体图像融合所得到的差值图，从轮廓分布中可以体现出立体图像的视差信息。

104:融合图NSS特征提取

自然统计图像归一化的亮度值服从一定统计规律，而合值图和差值图作为自然立体图像左右视图融合的结果，也会服从这种自然规律，失真后的图像会改变这种特性。因此，可以基于NSS对立体图像对生成的合值图和差值图分别进行特征提取。在进行特征参数提取之前，首先对合值图和差值图子带做分离归一化处理，以差值图为例，归一化后的差值图表示为：

其中，N_D(x,y)表示分离归一化之后的差值图，μ(x,y)是局部窗口均值，σ(x,y)是局部窗口加权方差，c是常数来保证分母稳定性。在本文实现中，局部窗口选择为11×11高斯权重函数，c取0.01。

同样地，对合值图C(x,y)做分离归一化处理，得到N_C(x,y)。归一化之后的子带N_D(x,y) 和N_C(x,y)趋向于单元正态高斯分布特性，各种失真的存在会改变这种特性。对于一张LIVE PhaseI中JP2K失真图像，图4描述了分离归一化之后的子带合值图和差值图的分布直方图，可以明显看出近似服从标准高斯正态分布，不同程度的失真会导致高斯分布的统计特性发生改变，自然图像小波包系数的边缘概率分布统计特性可用广义高斯分布(Generalized GaussianDistribution，GGD)建模，因此，对归一化后的N_D(x,y)和N_C(x,y)运用GGD进行拟合：

式中，μ、δ²和γ分别是GGD分布的均值、方差和形状参数。公式(4)中，a＝bγ/2Γ(1/γ)，

对于LIVE Phase II一幅立体图像的非对称五种不同类型失真图，图5显示了小波包分解后子带的合值图和差值图GGD拟合分布图，可以看出合值图分布中不同失真类型区分较明显，在差值图系数分布中，主要集中在数据分布形态的顶峰位置。因此，本发明选取方差δ²、形状参数γ、峰度k和偏度s参数来表示立体视图NSS特征，这样，对合值图和差值图分别提取这4维特征，在20个子带上共提取立体视图160维NSS特征。

105：融合图信息熵特征提取

图像的信息熵能够表示图像所蕴含的大量信息，与图像质量有一定的对应关系，先前的研究已经表明信息熵对图像失真的程度高度敏感。失真的改变会引起频域像素之间的相关性变化而导致信息熵发生改变，例如：白噪声的引入会增加较高的频率信息，使信息熵变大，而图像压缩产生的模糊会使图像细节信息丢失，使信息熵变小。所以分别计算合值图和差值图的信息熵来表示立体图像特征信息。以合值图C(x,y)为例，信息熵E_c为：

上式中，p(x,y)表示像素值概率密度函数。同样可以得到差值图D(x,y)的信息熵为E_d。图6描述了在白噪声不同失真程度下，20个合值图子带和差值图子带信息熵变化曲线图，可以看出立体图像在小波包分解下，不同子带的信息熵是有差异的，而且在总体上，随着白噪声失真等级变大，相应的子带信息熵也同步增大。因此，可以对一幅立体图像提取信息熵特征40维。

106：左右视图结构相似度特征提取

现有的大多数算法主要考虑单独在左右视点或融合图基础上进行特征提取，而忽略了立体图像左右视图之间的内在联系。对于立体图像左右视图，由对称性失真引起的立体图像场景图不同主要体现在左右视点的视差，不同的视差会影响到人观看立体图像的感知，而对于非对称性失真，既表现在视差的不同，也因左右视图失真位置、失真程度大小等的不同而显现差别，这都会影响人眼的立体感知质量。因此，可以用结构相似度来衡量左右视图的变化程度，即分别表示小波包分解之后的左右子带视图的结构信息，然后提取两者局部相似度因子作为特征。

本发明选择用相位一致性(Phase Congruency，PC)和高斯拉普拉斯(Laplace ofGaussian， LoG)来表示20对左右子带视图局部结构特征。LoG主要是一种利用频域空间进行图像边缘检测的方法，能够比较准确的获取图像各个方向因亮度改变而带来的变化。对于立体视图每一个小波包子带W_L和W_R，分别用Kovesi模型来计算PC特征表示为P_L(x，y)和P_R(x,y)，得到左右视图的PC相似度指标为I_PC(x,y)，即：

式中常数

同样计算左右视图LoG特征表示为L_L(x,y)和L_R(x,y)，相似度指标为 I_LoG(x,y)，即：

式中LoG(x,y)为LoG算子公式，高斯函数参数σ设置为0.5，常数设置为120，考虑到左右视图不同的位置对视觉敏感度不同，所以用左右视图平均PC值来加权图像块所占比重，即：

这样得到的加权结构相似度特征为：

因此，对于一幅立体图像所提取的相似度特征为20维。

104：SVR预测图像质量分数

利用MATLABL环境LIBSVM工具箱中的支持向量回归SVR来预测图像质量。SVR 主要用来解决优化问题，其表达形式如式(7)所示：

z_j,z'_j≥0,ξ,μ＞0 j＝1,…m

其中，x_j是特征向量，y_j是训练样本所对应的DMOS值，w是权重，φ(x_j)是映射函数，参数z_j与z'_j是松弛变量，Ω是偏值，ξ和η与训练样本有关。在训练中，我们采用径向基函数(RBF)作为核函数来度量高维向量空间2个样本之间的距离。

对于每一张3D立体图像提取特征后，便得到一个特征向量。我们在LIVE 3D图像数据库上进行SVR回归预测实验。LIVE 3D数据库包括LIVE Phase I数据库和LIVE Phase II数据库。其中LIVE Phase I是对称失真立体图像数据库，包括20张原始图像以及由这20张参考图像经过不同失真类型及程度获得失真图像共365幅，包括45幅高斯模糊(Gblur)以及JPEG、JP2K、高斯白噪声(WN)、快速衰落(FF)失真类型图片各80张。LIVE Phase II 数据库包含8幅不同的原始图像，同样的由5类失真类型组成，每类有9种程度失真共72 幅失真图像，由此生成360幅失真图像，按照立体图像失真的对称性，可以分为120幅对称立体图像对和240幅非对称立体图像对。每一幅失真图像都有唯一的DMOS值与之对应， LIVE Phase I和LIVE Phase II是互不相同的，主要针对立体图像左右视图对称性失真和非对称性失真。在具体的实验过程中，首先将数据库随机划分为无交叉重叠的训练集和测试集两部分子集，其中训练集图像占数据库总数80％，测试集图像比例占20％，迭代次数为1000 次，取测试数据的中间值作为最终的质量评价分数。

107：实验结果

为了评估本发明所提出来的无参考3D立体图像质量评价的性能，我们选择斯皮尔曼等级次序相关系数(SROCC)、皮尔森线性相关系数(PLCC)和均方根误差(RMSE)3个评价指标来评价算法性能。本发明所提出的算法所对应的PLCC、SROCC、RMSE评价值如表 1所示。其中，PLCC、SROCC的值越大表示与主观评价值DMOS越一致，算法效果越好， RMSE值则越小越好。从图中可以看出本发明提出的算法在LIVE Phase I和LIVE Phase II 上LCC值分别达到0.956和0.955，与人眼视角系统一致性较好，并且在非对称失真的LIVE Phase II上性能表现优越。在单独失真类型下，他们的表现效果也很好。

综上所述，本发明主要就3D立体图像失真，提出一种基于小波包分解的无参考3D立体图像质量评价方法。通过实验结果，我们已经证明提出的评价方法是一种与人眼感知高度一致的评价模型，相比于全参考和部分参考立体图像评价算法，该算法高效可靠。展望未来，今后进一步的工作是进一步挖掘立体图像深度信息，建立更加符合人眼视觉系统的模型，提取出更精确的图像特征来评价立体图像质量。

表1 本算法性能的评价指标SROCC、PLCC的实验结果

Claims (2)

1.一种基于小波包分解的无参考立体图像质量评价方法，包括以下步骤：

1)利用Daubechies小波系对立体图像对进行两级分解，得到左右视图的子带图像；第一级分解为4个子带，其中第一级分解为4个子带，分别用

表示，其中

仅代表空间频率的低频信息，反映的是图像的轮廓结构，而

均含有图像的高频信息，可以表示图像的细节部分，

则是能够体现图像的对角线信息，同样，第二级分解是在第一层分解的每一个频域子带上再次分解为4个子带，从而得到16个频域子带

其中Q∈{L,R}，L表示左视图，R表示右视图；

2)由左视图的子带图像W_L和右视图的子带图像W_R逐像素点相加得到一幅合值图C(x,y)；

3)由左视图的子带图像W_L和右视图的子带图像W_R绝对差值相减得到一幅差值图D(x,y)；

4)对合值图和差值图做分离归一化处理，对于差值图为，归一化后的差值图表示为：

其中，N_D(x,y)表示分离归一化之后的差值图，μ(x,y)是局部窗口均值，σ(x,y)是局部窗口加权方差，c为一个小正数，局部窗口选择为11×11高斯权重函数；同样地，对合值图C(x,y)做分离归一化处理，得到N_C(x,y)；

5)运用广义高斯模型GGD分别对归一化后的N_D(x,y)和N_C(x,y)进行拟合，分别取其GGD分布的均值、方差和形状参数，作为统计特征参数之一；

6)分别计算合值图和差值图的信息熵，将其作为统计特征参数之二；

7)计算左右视图结构相似度，作为统计特征参数之三：

第1步：分别用Kovesi模型计算左右视图子带图像的相位一致性(Phase Congruency，PC)，表示为P_L(x,y)和P_R(x,y)；

第2步：分别计算左右视图子带图像的高斯拉普拉斯(Laplace of Gaussian，LoG)，表示为L_L(x,y)和L_R(x,y)；

第3步：计算得到左右视图的PC相似度指标为I_pc(x,y)：

式中，

为小于1的正数；

第4步：计算左右视图LOG相似度指标为I_LoG(x,y)：

式中,

为大于100的正数；

第5步：用左右视图平均PC值来加权图像块所占比重：

第6步：计算左右视图子带图像的局部相似度：

8)使用支持向量回归SVR来预测图像质量分数。

2.根据权利要求1所述的评价方法，其特征在于，

Images