CN112233089B - 一种无参考立体混合失真图像质量评价方法 - Google Patents

Abstract

本发明公开了一种无参考立体混合失真图像质量评价方法，本发明能够分析左、右眼视图的失真信息，自适应构建符合人眼立体视觉特性的双目融合图像，同时通过预测左、右眼视图和融合图像的失真参数，实现立体混合失真图像质量的无参考评价。本发明可以在不依赖现有图像数据库的MOS/DMOS值的情况下训练图像质量评价模型，在多个立体图像数据库上的测试表明，本发明与其他无参考立体图像质量评价方法相比，具有更高的准确性。

Description

一种无参考立体混合失真图像质量评价方法

技术领域

本发明属于图像质量评价领域，具体涉及一种无参考立体混合失真图像质量评价方法。

背景技术

近年来，虚拟现实技术的迅速发展为各种立体视觉应用的普及提供重要基础。这些立体视觉内容在最终呈现给消费者之前通常要经过多个处理阶段(例如图像的采集、压缩、传输、接收、显示等)，每个阶段都会产生不同类型的失真，从而影响人们的立体视觉体验。降低甚至彻底杜绝图像质量退化是图像消费者和使用者的共同愿望。因此，设计符合测试者主观感受的立体图像质量评价算法成为计算机视觉领域的重要研究课题。然而，目前多数算法都只针对单类型失真(即图像只包含一种失真类型)，且模型训练过程需要现有立体图像数据库中测试者主观评价数据(即MOS或DMOS值)的配合，故算法的应用范围受到限制。由于在现实生活中立体图像质量更易受到多种失真因素的影响，因此设计不依赖现有图像数据库信息的完全无参考立体混合失真图像质量评价模型，具有广阔的应用前景和实用价值。

发明内容

本发明的目的在于克服上述不足，提供一种无参考立体混合失真图像质量评价方法，该方法通过分析左右眼视图的失真信息，自适应构建符合人眼立体视觉特性的双目融合图像，同时通过预测左右眼视图以及双目融合图像的失真参数，实现对立体混合失真图像质量进行无参考评价。

为了达到上述目的，本发明包括以下步骤：

步骤一，识别立体图像的左、右眼视图的失真类型，计算失真类型的失真参数，获得左、右眼视图的质量评分；

步骤二，构建符合人眼立体视觉特性的双目融合图像，并得出双目融合图像的质量评分；

步骤三，将步骤一得到的左、右眼视图的质量评分与步骤二得到的双目融合图像的质量评分相结合，得出立体图像质量的最终评分。

步骤一的具体方法如下：

第一步，采用双层分类模型，通过特征提取，区分所有失真类型的所有组合形式；

第二步，采用回归模型计算所有失真类型对应的失真参数；

第三步，拟合失真参数与图像质量的关系，利用混合失真联合降质效应，得到左、右眼视图的质量评分。

训练双层分类模型时，通过对原始图像添加失真类型生成失真图像数据库，并从失真图像中提取特征作为训练数据，使用支持向量机(SVM)进行训练；每个分类模型都有两个的输出，即分类标签和分类概率，分类标签和分类概率与相应的回归模型结合，采用概率加权求和的方法计算失真参数值。

步骤二的具体方法如下：

第一步，采用C-BM3D算法对左、右眼视图进行降噪处理；

第二步，利用光流算法计算得到视差图；

第三步，采用基于质量补偿的多通道对比度增益控制模型(quality-compensatedmultipathway contrast gain-control model,QC-MCM)，构建双目融合图像；

第四步，识别双目融合图像的左、右眼视图的失真类型，计算失真类型的失真参数，得出双目融合图像的质量评分。

在构建双目融合图像的过程中，质量差的视图通过被赋予大权重进行补偿；当低质量视图不含噪声且估计的JPEG压缩参数小于某一阈值Q_T时，对质量较好的视图进行JPEG压缩，新压缩的图像将作为计算双目融合图像的输入。

步骤三的具体方法如下：

将步骤一得出的左、右眼视图质量评分进行对比度加权，得出两视图的组合质量，将两视图的组合质量与步骤二得出的双目融合图像质量评分的乘积的开方，得到立体图像的最终质量评分。

与现有技术相比，本发明能够分析左、右眼视图的失真信息，自适应构建符合人眼立体视觉特性的双目融合图像，同时通过预测左、右眼视图和融合图像的失真参数，实现立体混合失真图像质量的无参考评价。本发明可以在不依赖现有图像数据库的MOS/DMOS值的情况下训练图像质量评价模型，在多个立体图像数据库上的测试表明，本发明与其他无参考立体图像质量评价方法相比，具有更高的准确性。

附图说明

图1为本发明的方法框架图；

图2为本发明用于识别失真类型的双层分类模型框架图；

图3为本发明用于计算每种失真类型的失真参数的双层回归模型框架图；

图4为本发明的四个失真参数值与VIF质量分数的多项式拟合散点图；其中，(a)为高斯模糊参数σ_G与VIF质量分数的散点图，(b)为高斯噪声参数

与VIF质量分数的散点图，(c)为JPEG压缩参数Q与VIF质量分数的散点图，(d)为JPEG2000压缩参数

与VIF质量分数的散点图；

图5为本发明的算法在不同立体图像数据库上的测试结果；其中，(a)为NBU-MDSIDPhase I数据库的测试结果，(b)为NBU-MDSID Phase II数据库的测试结果，(c)为LIVEPhase I数据库的测试结果，(d)为LIVE Phase II数据库的测试结果，(e)为Waterloo IVCPhase I数据库的测试结果，(f)为Waterloo IVC Phase II数据库的测试结果，(g)为NBU数据库的测试结果，(h)为IRCCy/IVC数据库的测试结果。

具体实施方式

下面结合附图对本发明做进一步说明。

本发明包括以下步骤：

步骤一，识别立体图像的左、右眼视图的失真类型，计算失真类型的失真参数，获得左、右眼视图的质量评分；

步骤二，构建符合人眼立体视觉特性的双目融合图像，并计算双目融合图像的质量评分；

步骤三，将步骤一得到的左、右眼视图的质量评分与步骤二得到的双目融合图像的质量评分相结合，得出立体图像质量的最终评分。

实施例：

如图1所示，本发明一种基于双目立体视觉感知的无参考立体混合失真图像质量评价方法，包括以下步骤：

步骤一：通过MUSIQUE算法，识别立体图像的左、右眼视图的失真类型，计算相应失真参数，进而获得左、右眼视图的质量评分。

如图2所示，失真类型识别具体过程如下：

四种失真类型包括：高斯噪声(WN)、高斯模糊(Gblur)、JPEG压缩和JPEG2000压缩(JP2K)，相应的失真等级控制变量为：噪声方差σ_N、高斯卷积核方差σ_G、JPEG压缩质量因子Q、JPEG2000压缩率R。本发明中定义：噪声失真参数

JPEG2000压缩参数

高斯模糊和JPEG压缩的失真参数分别为σ_G和Q。采用双层分类模型，第一层分类器(Class-I)把图像失真分成“只含高斯噪声”、“高斯噪声+高斯模糊/JPEG/JPEG2000”、以及“高斯模糊/JPEG/JPEG2000”三种类型。第二层的两个并行子分类模型(Class-II和Class-III)进一步区分在图像包含和不包含噪声两种情况下的四个子类，从而区分出9种失真类型组合：Gblur，JPEG，JP2K，WN，Gblur+JPEG，Gblur+WN，JPEG+WN，JP2K+WN和Gblur+JPEG+WN。

为了训练双层分类模型，将四种失真类型添加到Berkeley分割数据库中的125幅原始自然图像以及高分辨率立体数据集中的20幅原始立体图像的左视图中，生成一个大的失真图像数据集，并从失真图像中提取特征作为训练数据，使用支持向量机进行训练；每个分类模型都有两个输出，即分类标签和分类概率，这些信息与相应的回归模型结合，采用概率加权求和的方法计算失真参数值。

如图3所示，计算失真参数的具体过程如下：

Regress-I-N表示在WN和WN+Gblur/JPEG/JP2K失真图像上训练的两个回归模型。

噪声失真参数

计算式为：

其中，

为回归模型Regress-I-N的两个输出；p₁，p₂为分类器Class-I的输出分类概率；L₁为预测的分类标签；数字1,2,3表示图2对应的失真类型。

高斯模糊参数σ_G计算式为：

JPEG压缩参数Q计算式为：

JPEG2000压缩参数

计算式为：

式(2)～(4)中，σ_G2，σ_G3分别为回归模型Regress-II-G、Regress-III-G的输出；Q₂，Q₃分别为回归模型Regress-II-Q、Regress-III-Q的输出；

分别为回归模型Regress-II-R、Regress-III-R的输出；p₁，p₂，p₃为分类器Class-I的输出分类概率；L₁为预测的分类标签；数字1,2,3表示图2对应的失真类型，ω为

经过Sigmoid传递函数后的参数：

其中，t₁＝6，t₂＝1.25。令A＝1，B＝0，所以0<ω<1。

分类回归模型中进行了特征优化，即仅采用部分原始MUSIQUE算法特征，这些特征在表1列出(具体的特征提取方法请参考MUSIQUE算法)。图2中每个分类回归模型提取的图像特征为表1所示的特征的组合，其组合方式如表2所示。这样的特征优化可以显著提高算法速度，并仍然保持同等的算法性能。

表1本发明算法需提取的图像特征清单

表2图3所示的各分类回归模型从左右视图中提取的特征，其中“√”表示表1中的相应特征被提取

为了利用失真参数预测图像质量，采用多项式拟合的方法，将失真参数值映射为图像质量分数。如图4所示，采用四参数三阶多项式把四个失真参数映射为VIF质量分数。

y＝λ₁·x³+λ₂·x²+λ₃·x+λ₄ (6)

其中，λ_i(i＝1，2，3，4)是多项式拟合系数，取值如表3所示。

表3针对四种失真类型的多项式拟合系数取值

用VIF_G、VIF_N、VIF_Q、和VIF_R分别表示高斯模糊、高斯噪声、JPEG压缩、JPEG2000压缩的失真参数经式(6)拟合后的质量分数，则对应于四种失真类型的图像质量退化分数(分别用D_G、D_N、D_Q、和D_R表示)为：

D_G＝1-VIF_G， (7)

D_N＝1-(VIF_N+β₁)， (8)

D_Q＝1-(VIF_Q+β₂)， (9)

D_R＝1-VIF_R， (10)

式(8)、(9)中，β1和β2是使映射图像质量在不同失真类型之间更合理的两个偏移量。

综合得到左、右眼视图最终质量评分S：

其中，D_GR为D_G和D_R的最大值；ρ＝1.15用于建模混合失真对图像质量的影响；D₁和D₂是分别针对不同的噪声等级计算的两个质量估计值：当图像包含少量噪声时，计算D₁；当图像被大量噪声污染时，计算D₂，在这种情况下，其他失真则因图像局部对比度显著增大而被掩蔽。为了计算同时被噪声和其他失真类型破坏的图像的整体质量退化水平，D₁和D₂基于控制参数γ进行自适应组合，γ由参数

通过式(5)确定。D₁和D₂的计算公式如下：

式(12)中，d₁和d₂为D_GR、D_Q、D_N中较大的两个值，且d₁>d₂；式(13)中，β₃和β₄用于建模大量噪声引起的掩蔽效应。设置以下参数值：β₁＝β₂＝β₃＝-0.1，β₄＝0，A＝1，B＝0，t₁＝3，t₂＝0.5，以使得在不同立体图像数据库中获得最佳性能。

步骤二：通过基于质量补偿的多通道对比度增益控制模型，构建符合人眼立体视觉特性的双目融合图像。之后，遵循步骤一中的过程，得出双目融合图像的质量评分。

在四种失真类型中，噪声是准确计算视差图的最大干扰因素。因此，在计算视差图之前，首先采用C-BM3D算法，对左右眼视图进行降噪处理，然后使用中的光流算法，计算降噪后立体图像的视差图。

在视差图的基础上，利用基于质量补偿的多通道对比度增益控制模型构建双目融合图像。为获得更好的融合图像质量评价效果，构建两幅融合图像，一幅基于图像像素点亮度，另一幅基于图像局部对比度，后者计算公式如下：

其中，L表示亮度值，L_B(x，y)表示以像素(x，y)为中心的9×9图像块的平均亮度值，K＝0.001是一个防止除数为零的常数。

对每个像素点(x，y)，计算双目立体视觉感知到的图像亮度和对比度：

其中，I_i，L/R(i＝1，2)表示左右视图的亮度和对比度；d_x，y＝D(x，y)表示计算的视差图；γ₂＝0.5；α＝β＝1；

C_L和C_R表示立体图像左右视图的局部对比度图，γ₁＝1.5，ρ＝10；对于参考图像，η_L＝η_R＝1；对于失真图像，若

则η_L＝1，η_R＝0.9；若

则η_L＝0.9，η_R＝1。E_L和E_R是两个补偿因子，在本发明中定义为：

式(16)(17)中，S_L，S_R分别表示左、右眼视图的质量分数；u(·)为阶跃函数，l(·)为线性分段函数，用于控制质量较差视图的权重补偿，在本发明中定义为：

s(ω)为Sigmoid函数，其表达式与式(5)相同，参数设置为A＝50，B＝1，t₁＝-20，t₂＝0.75；变量

用于表征左右眼视图的对比度差异。

为获得失真图像的对比度信息，本发明采用计算CSF滤波图像的RMS对比度和FISH锐度图的方法，即：

其中，C_L和C_R表示立体图像左右视图的局部对比度图，F_L和F_R表示使用FISH算法计算得到的左右眼视图的锐度图，n_t和N_T表示锐度图中具有较大值(前1％)的像素点的位置和个数。

如前所述，当低质量视图不含噪声且估计的JPEG压缩参数小于阈值Q_T时，对质量较好的视图进行JPEG压缩，其压缩参数为：

其中，Q_L、Q_R分别表示步骤一中预测的左右眼视图的JPEG参数。之后，利用原始的低质量视图和新压缩的视图，计算融合后的亮度和对比度图像。

为了训练双层分类回归模型预测融合图像的失真参数，选定50幅原始立体图像(其中30幅来自Middlebury高分辨率立体图像数据集，其余20幅来源于富士Real 3D相机拍摄)，通过计算机编程模拟失真并记录相应失真参数的方法构建大数据样本进行模型训练。所有训练图像均采用对称失真模式(即左右眼视图的失真等级一致)，在这种情况下，融合图像的失真参数与左右视图的失真参数相同。遵循步骤二中的过程计算融合图像，并提取相应特征(如表4所示)用于模型训练。

表4图3所示的各分类回归模型从融合图像中提取的特征，其中“√”表示表1中的相应特征被提取

在获得融合图像失真参数后，遵循步骤一中的过程综合得出双目融合图像的质量评分。其中，D_GR＝max(D_G，D_R)-0.05，β₁＝0，β₃＝-0.2，β₄＝-0.05，其他参数与步骤一相同。

步骤三：将步骤一得出的左右眼视图质量评分与步骤二得出的双目融合图像的质量评分相结合，得出立体图像质量的最终评分；

如图1所示，将步骤一得出的左、右眼视图质量评分S_L和S_R进行对比度加权，得出两视图的组合质量S_2D：

其中，E_L、E_R、C_L、C_R与式(16)～(18)中对应的同名参数的含义和计算方法一致；P_L和P_R用于建模低质量JPEG压缩视图的权重补偿，计算公式为：

式(21)、(22)中，Q_T＝15表示JPEG压缩参数阈值；Q_L、Q_R表示步骤一中预测的左、右眼视图的JPEG参数；r、S_L、S_R与式(16)(17)中对应的同名参数的含义和计算方法一致。

立体图像的最终质量评分S_3D为：

其中，S_2D为左、右眼视图的组合质量；S_cyc表示步骤二得出的双目融合图像的质量评分。

表5本发明算法(MUSIQUE-3D)与其他全参考/无参考图像质量评价方法在不同立体图像数据库上的实验结果(SROCC)。

表6本发明算法(MUSIQUE-3D)与其他全参考/无参考图像质量评价方法在不同立体图像数据库上针对每种失真类型的实验结果(SROCC)。

表5和表6展示了本发明算法与其他全参考/无参考图像质量评价方法在不同立体图像数据库上的测试性能，性能指标为算法的客观评价分数与主观分数之间的相关系数(Spearman rank-order correlation coefficient，SROCC)。其中，LIVE-3D、WaterlooIVC-3D、NBU-3D、IRCCyN/IVC-3D为立体单失真图像数据库，NBU-MDSID为立体混合失真图像数据库；Cyclopean MS-SSIM、FI-PSNR、SOIQE为全参考算法，其他为无参考算法。StereoQUE和SINQ的测试结果为算法在LIVE-3D Phase II数据库上训练，然后在其他数据库上测试获得；BRISQUE、GM-LOG、GWH-GLBP的测试结果为算法使用本发明构建的融合亮度图像和相应的VIF质量评分进行训练，然后在待测数据库的融合亮度图像上测试获得。图5为MUSIQUE-3D方法在各立体图像数据库上的评价结果的散点分布图。实验结果表明，无论是混合失真还是单失真立体图像数据库，MUSIQUE-3D方法结果与主观评价分数都有较高的一致性，更加符合人类视觉的主观感受。

总之，本发明一种基于双目立体视觉感知的无参考立体混合失真图像质量评价方法，通过MUSIQUE算法，识别立体图像左、右眼视图的失真类型，计算相应失真参数，进而获得左、右眼视图的质量评分；通过基于质量补偿的多通道对比度增益控制模型，构建符合人眼立体视觉特性的双目融合图像，同时通过预测左、右眼视图和双目融合图像的失真参数，对立体混合失真图像的质量进行无参考评价。本发明可以在不依赖现有图像数据库的MOS/DMOS值的情况下训练图像质量评价模型，在多个立体图像数据库上的测试表明，本发明与其他无参考立体图像质量评价方法相比，具有更高的准确性。

Claims (4)

1.一种无参考立体混合失真图像质量评价方法，其特征在于，包括以下步骤：

步骤一，识别立体图像的左、右眼视图的失真类型，计算失真类型的失真参数，获得左、右眼视图的质量评分；

步骤二，构建符合人眼立体视觉特性的双目融合图像，并得出双目融合图像的质量评分；具体方法如下：

第一步，采用C-BM3D算法对左、右眼视图进行降噪处理；

第二步，利用光流算法计算得到视差图；

第三步，采用基于质量补偿的多通道对比度增益控制模型，构建双目融合图像；

第四步，识别双目融合图像的左、右眼视图的失真类型，计算失真类型的失真参数，得出双目融合图像的质量评分；

在构建双目融合图像的过程中，质量差的视图通过被赋予大权重进行补偿；当低质量视图不含噪声且估计的JPEG压缩参数小于某一阈值Q_T时，对质量较好的视图进行JPEG压缩，新压缩的图像将作为计算双目融合图像的输入；

步骤三，将步骤一得到的左、右眼视图的质量评分与步骤二得到的双目融合图像的质量评分相结合，得出立体图像质量的最终评分。

2.根据权利要求1所述的一种无参考立体混合失真图像质量评价方法，其特征在于，步骤一的具体方法如下：

第一步，采用双层分类模型，通过特征提取，区分所有失真类型的所有组合形式；

第二步，采用回归模型计算所有失真类型对应的失真参数；

第三步，拟合失真参数与图像质量的关系，利用混合失真联合降质效应，得到左、右眼视图的质量评分。

3.根据权利要求2所述的一种无参考立体混合失真图像质量评价方法，其特征在于，训练双层分类模型时，通过对原始图像添加失真类型生成失真图像数据库，并从失真图像中提取特征作为训练数据，使用支持向量机进行训练；每个分类模型都有两个的输出，即分类标签和分类概率，分类标签和分类概率与相应的回归模型结合，采用概率加权求和的方法计算失真参数值。

4.根据权利要求1所述的一种无参考立体混合失真图像质量评价方法，其特征在于，步骤三的具体方法如下：

将步骤一得出的左、右眼视图质量评分进行对比度加权，得出两视图的组合质量，将两视图的组合质量与步骤二得出的双目融合图像质量评分的乘积的开方，得到立体图像的最终质量评分。

Images