CN105654465A - 一种采用视差补偿视点间滤波的立体图像质量评价方法 - Google Patents

Abstract

本发明公开了一种采用视差补偿视点间滤波的立体图像质量评价方法，其通过对立体图像的左、右视点图像进行视差补偿和视点间滤波，得到高频图像和低频图像，在频域完成了对立体图像的立体感知特性的描述，能够更准确地评价立体图像的质量；其对低频图像进行二维小波变换，提取近似系数矩阵、水平细节系数矩阵、垂直细节系数矩阵以及对角线细节系数矩阵来获得部分特征，这些特征能够有效地提高对失真立体图像的质量评价的准确性；其利用支持向量回归的方法构建立体图像的特征向量与图像主观质量之间的映射关系，避免了对于人类视觉系统工作机制的复杂模拟，同时避免了对于训练过程的过度依赖，从而提高了主观质量和客观预测质量之间的相关性。

Description

一种采用视差补偿视点间滤波的立体图像质量评价方法

技术领域

本发明涉及一种立体图像质量评价技术，尤其是涉及一种采用视差补偿视点间滤波的立体图像质量评价方法。

背景技术

随着图像编码技术和立体显示技术的快速发展，立体图像及其相关应用已经越来越多的出现在了人们的日常生活之中，并已逐渐成为图像处理领域的一个研究热点。立体图像技术根据人眼的双目视差原理，利用双目分别独立接受来自同一场景的左视点图像和右视点图像，双目视差通过大脑融合形成立体感，从而使观看者欣赏到具有深度感和真实感的立体场景。由于立体图像在图像采集、编码压缩、网络传输以及解码显示等各个阶段均会不可避免地因为一系列不可控制的因素而引入失真。因此，如何准确有效地衡量立体图像质量对于立体图像技术的进一步发展起到了重要的作用。立体图像质量评价主要分为主观质量评价和客观质量评价两大类。由于视觉信息最终由人眼所接受，因此主观质量评价的准确性最为可靠，然而主观质量评价需要观察者打分得到，费时费力且不易集成于立体图像系统之中。而客观质量评价模型却可以很好地集成于立体图像系统中实现实时质量评价，有助于及时调整立体图像系统参数，从而实现高质量立体图像系统应用。因此，建立准确有效且符合人眼视觉特点的立体图像质量客观评价方法具有很高的实际应用价值。

现有的立体图像质量客观评价方法主要从模拟人眼视觉对于立体图像的左、右视点的处理方式的角度出发，并结合一些平面图像的质量评价方法，即在现有的平面图像质量评价方法的基础上加入立体感知特性，从而完成对于立体图像的质量评价。虽然上述的这类方法通过模拟人眼视觉系统完成对于立体图像立体感知特性的描述，然而由于目前对于人眼视觉系统工作机制的研究尚不成熟，因此这类评价方法也存在一定的局限性。因此，研究符合人类视觉特性的立体图像质量客观评价方法是一个重要的研究问题。

发明内容

本发明所要解决的技术问题是提供一种采用视差补偿视点间滤波的立体图像质量评价方法，其能够有效地提高客观评价结果与人眼主观感知质量之间的相关性。

本发明解决上述技术问题所采用的技术方案为：一种采用视差补偿视点间滤波的立体图像质量评价方法，其特征在于包括以下步骤：

①令S_org表示原始的无失真立体图像，令S_dis表示S_org经失真后的失真立体图像，将S_dis作为待评价的失真立体图像，将S_org的左视点图像记为L_org，将S_org的右视点图像记为R_org，将S_dis的左视点图像记为L_dis，将S_dis的右视点图像记为R_dis；

②以L_org作为参考视点图像，对R_org进行视差补偿，得到S_org的右视点视差补偿图像，记为同样，以L_dis作为参考视点图像，对R_dis进行视差补偿，得到S_dis的右视点视差补偿图像，记为

③对L_org和进行视点间滤波，得到S_org的高频图像和低频图像，对应记为HV_org和LV_org；同样，对L_dis和进行视点间滤波，得到S_dis的高频图像和低频图像，对应记为HV_dis和LV_dis；

④对LV_org进行二维离散小波变换，得到LV_org的近似系数矩阵、水平细节系数矩阵、垂直细节系数矩阵以及对角线细节系数矩阵，对应记为以及同样，对LV_dis进行二维离散小波变换，得到LV_dis的近似系数矩阵、水平细节系数矩阵、垂直细节系数矩阵以及对角线细节系数矩阵，对应记为以及

⑤计算与之间的结构相似度，记为 其中，SSIM()为结构相似度计算函数；

⑥对的系数分布直方图进行α稳定分布拟合，得到的α稳定分布尺度参数，记为同样，对的系数分布直方图进行α稳定分布拟合，得到的α稳定分布尺度参数，记为对的系数分布直方图进行α稳定分布拟合，得到的α稳定分布尺度参数，记为对的系数分布直方图进行α稳定分布拟合，得到的α稳定分布尺度参数，记为对的系数分布直方图进行α稳定分布拟合，得到的α稳定分布尺度参数，记为对的系数分布直方图进行α稳定分布拟合，得到的α稳定分布尺度参数，记为

然后计算与之间的距离，记为 ${\mathrm{Dist}}_H^{LV}=\frac{\left|{\mathrm{\γ}}_H^{LV,org}-{\mathrm{\γ}}_H^{LV,dis}\right|}{\left|{\mathrm{\γ}}_H^{LV,org}+{\mathrm{\γ}}_H^{LV,dis}\right|};$ 同样，计算与之间的距离，记为 ${\mathrm{Dist}}_V^{LV}=\frac{\left|{\mathrm{\γ}}_V^{LV,org}-{\mathrm{\γ}}_V^{LV,dis}\right|}{\left|{\mathrm{\γ}}_V^{LV,org}+{\mathrm{\γ}}_V^{LV,dis}\right|};$ 计算与之间的距离，记为 ${\mathrm{Dist}}_D^{LV}=\frac{\left|{\mathrm{\γ}}_D^{LV,org}-{\mathrm{\γ}}_D^{LV,dis}\right|}{\left|{\mathrm{\γ}}_D^{LV,org}+{\mathrm{\γ}}_D^{LV,dis}\right|};$ 其中，符号“||”为取绝对值符号；

⑦计算HV_org的相位一致性图，记为PC^HV,org；并计算HV_dis的相位一致性图，记为PC^{HV ,dis}；然后计算PC^HV,org中的每个像素点与PC^HV,dis中对应的像素点之间的相似度，将PC^HV,org中坐标位置为(x,y)的像素点与PC^HV,dis中坐标位置为(x,y)的像素点之间的相似度记为 $Sim\_{\mathrm{map}}_{PC}^{HV}(x,y)=\frac{2\×{\mathrm{PC}}^{HV,org}(x,y)\×{\mathrm{PC}}^{HV,dis}(x,y)+c_3}{{\[{\mathrm{PC}}^{HV,org}(x,y)\]}^2+{\[{\mathrm{PC}}^{HV,dis}(x,y)\]}^2+c_3},$ 其中，1≤x≤8R,1≤y≤8C，PC^HV,org(x,y)表示PC^HV,org中坐标位置为(x,y)的像素点的像素值，PC^HV,dis(x,y)表示PC^HV,dis中坐标位置为(x,y)的像素点的像素值，c₃为常数；再计算PC^HV,org中的所有像素点与PC^HV,dis中对应的像素点之间的相似度的平均值，记为 ${\mathrm{Sim}}_{PC}^{HV}=\frac{1}{8R\×8C}\×\underset{x=1}{\overset{8R}{\Σ}}\underset{y=1}{\overset{8C}{\Σ}}Sim\_{\mathrm{map}}_{PC}^{HV}(x,y);$

⑧获得S_dis的特征向量，记为X_dis， $X_{dis}=\[{\mathrm{Sim}}_{AC}^{LV},{\mathrm{Dist}}_H^{LV},{\mathrm{Dist}}_V^{LV},{\mathrm{Dist}}_D^{LV},{\mathrm{Sim}}_{PC}^{HV}\],$ 其中，符号“[]”为向量表示符号；

⑨采用n”幅原始的无失真立体图像，建立其在不同失真类型不同失真程度下的失真立体图像集合，将该失真立体图像集合作为训练集，训练集包括多幅失真立体图像；然后利用主观质量评价方法评价出训练集中的每幅失真立体图像的平均主观评分差值，将训练集中的第j幅失真立体图像的平均主观评分差值记为DMOS_j；再按照步骤①至步骤⑧的操作，以相同的方式获取训练集中的每幅失真立体图像的特征向量，将训练集中的第j幅失真立体图像的特征向量记为X_dis,j；其中，n”>1，j的初始值为1，1≤j≤N'，N'表示训练集中包含的失真立体图像的总幅数，0≤DMOS_j≤100；

⑩利用支持向量回归对训练集中的所有失真立体图像各自的平均主观评分差值及特征向量进行训练，使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小，拟合得到最优的权值矢量W^opt和最优的偏置项b^opt；接着利用W^opt和b^opt构造得到支持向量回归训练模型；再根据支持向量回归训练模型，对X_dis进行测试，预测得到S_dis的客观质量评价预测值，记为Q，Q＝f(X_dis)，其中，Q是X_dis的函数，f()为函数表示形式，(W^opt)^T为W^opt的转置矢量，为X_dis的线性函数。

所述的步骤②中的的获取过程为：

②-1a、将R_org划分为R×C个互不重叠的尺寸大小为8×8的图像块，其中， M表示S_org和S_dis的宽度，N表示S_org和S_dis的高度，符号为向下取整运算符；

②-1b、构建一个维数为8R×8C的空白矩阵，记为B；

②-1c、将R_org中当前待处理的图像块定义为当前图像块；

②-1d、假设当前图像块为R_org中的第i个图像块，并记为则在L_org中对进行视差匹配，得到L_org中与匹配的图像块的左上角像素点的坐标位置，记为(s,t)；然后将中的所有像素点的像素值一一对应的作为B中自坐标位置为(s,t)开始的8×8个元素的值；其中，i的初始值为1，1≤i≤R×C，1≤s≤8R,1≤t≤8C；

②-1e、将R_org中下一个待处理的图像块作为当前图像块，然后返回步骤②-1d继续执行，直至R_org中的所有图像块处理完毕，得到每个元素的值已知的B；

②-1f、将B中的每个元素的值一一对应的作为中的每个像素点的像素值，的宽度为8R，的高度为8C；

所述的步骤②中的的获取过程为：

②-2a、将R_dis划分为R×C个互不重叠的尺寸大小为8×8的图像块，其中， M表示S_org和S_dis的宽度，N表示S_org和S_dis的高度，符号为向下取整运算符；

②-2b、构建一个维数为8R×8C的空白矩阵，记为B'；

②-2c、将R_dis中当前待处理的图像块定义为当前图像块；

②-2d、假设当前图像块为R_dis中的第i个图像块，并记为则在L_dis中对进行视差匹配，得到L_dis中与匹配的图像块的左上角像素点的坐标位置，记为(s',t')；然后将中的所有像素点的像素值一一对应的作为B'中自坐标位置为(s',t')开始的8×8个元素的值；其中，i的初始值为1，1≤i≤R×C，1≤s'≤8R,1≤t'≤8C；

②-2e、将R_dis中下一个待处理的图像块作为当前图像块，然后返回步骤②-2d继续执行，直至R_dis中的所有图像块处理完毕，得到每个元素的值已知的B'；

②-2f、将B'中的每个元素的值一一对应的作为中的每个像素点的像素值，的宽度为8R，的高度为8C。

所述的步骤③中的HV_org和LV_org的获取过程为：

③-1a、去除L_org中最下方的M-8R行像素点和最右侧的N-8C列像素点，得到新的图像，记为L'_org，其中，M表示S_org和S_dis的宽度，N表示S_org和S_dis的高度， 符号为向下取整运算符，L'_org的宽度为8R，L'_org的高度为8C；

③-1b、获取S_org的高频图像HV_org，将HV_org中坐标位置为(m,n)的像素点的像素值记为HV_org(m,n)，HV_org(m,n)为通过对L'_org中坐标位置为(m,n)的像素点的像素值L'_org(m,n)和中坐标位置为(m,n)的像素点的像素值进行视点间滤波得到的高频分量， ${\mathrm{HV}}_{org}(m,n)=\frac{1}{\sqrt{2}}\left({L^{\′}}_{org}\right(m,n)-{\mathrm{DC}}_{org}^R(m,n\left)\right),$ 其中，1≤m≤8R，1≤n≤8C；

并获取S_org的低频图像LV_org，将LV_org中坐标位置为(m,n)的像素点的像素值记为LV_org(m,n)，LV_org(m,n)为通过对L'_org中坐标位置为(m,n)的像素点的像素值L'_org(m,n)和中坐标位置为(m,n)的像素点的像素值进行视点间滤波得到的低频分量， ${\mathrm{LV}}_{org}(m,n)=\frac{1}{\sqrt{2}}\left({L^{\′}}_{org}\right(m,n)+{\mathrm{DC}}_{org}^R(m,n\left)\right),$ 其中，1≤m≤8R，1≤n≤8C；

所述的步骤③中的HV_dis和LV_dis的获取过程为：

③-2a、去除L_dis中最下方的M-8R行像素点和最右侧的N-8C列像素点，得到新的图像，记为L'_dis，其中，M表示S_org和S_dis的宽度，N表示S_org和S_dis的高度， 符号为向下取整运算符，L'_dis的宽度为8R，L'_dis的高度为8C；

③-2b、获取S_dis的高频图像HV_dis，将HV_dis中坐标位置为(m,n)的像素点的像素值记为HV_dis(m,n)，HV_dis(m,n)为通过对L'_dis中坐标位置为(m,n)的像素点的像素值L'_dis(m,n)和中坐标位置为(m,n)的像素点的像素值进行视点间滤波得到的高频分量， ${\mathrm{HV}}_{dis}(m,n)=\frac{1}{\sqrt{2}}\left({L^{\′}}_{dis}\right(m,n)-{\mathrm{DC}}_{dis}^R(m,n\left)\right),$ 其中，1≤m≤8R，1≤n≤8C；

并获取S_dis的低频图像LV_dis，将LV_dis中坐标位置为(m,n)的像素点的像素值记为LV_dis(m,n)，LV_dis(m,n)为通过对L'_dis中坐标位置为(m,n)的像素点的像素值L'_dis(m,n)和中坐标位置为(m,n)的像素点的像素值进行视点间滤波得到的低频分量， ${\mathrm{LV}}_{dis}(m,n)=\frac{1}{\sqrt{2}}\left({L^{\′}}_{dis}\right(m,n)+{\mathrm{DC}}_{dis}^R(m,n\left)\right),$ 其中，1≤m≤8R，1≤n≤8C。

与现有技术相比，本发明的优点在于：

1)本发明方法将视差补偿、视点间滤波应用于立体图像质量评价之中，通过对立体图像的左视点图像和右视点图像进行视差补偿和视点间滤波，得到立体图像的高频图像和低频图像，在频域完成了对立体图像的立体感知特性的描述，避免了对于人眼视觉特性的复杂模拟，从而能够更准确地评价立体图像的质量。

2)本发明方法对低频图像进行二维小波变换，并通过研究自然图像中所存在的统计特性，提取近似系数矩阵、水平细节系数矩阵、垂直细节系数矩阵以及对角线细节系数矩阵来获得部分特征，相比于一些传统图像特征，这些特征能够稳定地反映立体图像的失真程度，从而能够有效地提高对失真立体图像的质量评价的准确性。

3)本发明方法利用支持向量回归的方法构建立体图像的特征向量与图像主观质量之间的映射关系，从而避免了对于人类视觉系统工作机制的复杂模拟，同时，由于训练样本独立，因此避免了对于训练过程的过度依赖，从而提高了主观质量和客观预测质量之间的相关性。

附图说明

图1为本发明方法的总体实现框图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提出的一种采用视差补偿视点间滤波的立体图像质量评价方法，其总体实现框图如图1所示，其包括以下步骤：

①令S_org表示原始的无失真立体图像，令S_dis表示S_org经失真后的失真立体图像，将S_dis作为待评价的失真立体图像，将S_org的左视点图像记为L_org，将S_org的右视点图像记为R_org，将S_dis的左视点图像记为L_dis，将S_dis的右视点图像记为R_dis。

②以L_org作为参考视点图像，对R_org进行视差补偿，得到S_org的右视点视差补偿图像，记为同样，以L_dis作为参考视点图像，对R_dis进行视差补偿，得到S_dis的右视点视差补偿图像，记为

在此具体实施例中，的获取过程为：

②-1a、将R_org划分为R×C个互不重叠的尺寸大小为8×8的图像块，其中， M表示S_org和S_dis的宽度，N表示S_org和S_dis的高度，符号为向下取整运算符。

②-1b、构建一个维数为8R×8C的空白矩阵，记为B。

②-1c、将R_org中当前待处理的图像块定义为当前图像块。

②-1d、假设当前图像块为R_org中的第i个图像块，并记为则在L_org中对进行视差匹配，得到L_org中与匹配的图像块的左上角像素点的坐标位置，记为(s,t)；然后将中的所有像素点的像素值一一对应的作为B中自坐标位置为(s,t)开始的8×8个元素的值，即这8×8个元素的左上角元素在B中的坐标位置为(s,t)，中的第1个像素点的像素值作为B中坐标位置为(s,t)的元素的值，中的第2个像素点(即该图像块中的第1行第2列的像素点)的像素值作为B中坐标位置为(s,t+1)的元素的值，依次类推；其中，i的初始值为1，1≤i≤R×C，1≤s≤8R,1≤t≤8C。

②-1e、将R_org中下一个待处理的图像块作为当前图像块，然后返回步骤②-1d继续执行，直至R_org中的所有图像块处理完毕，得到每个元素的值已知的B。

②-1f、将B中的每个元素的值一一对应的作为中的每个像素点的像素值，即B与中相同坐标位置的值相同，的宽度为8R，的高度为8C。

在此具体实施例中，的获取过程为：

②-2a、将R_dis划分为R×C个互不重叠的尺寸大小为8×8的图像块，其中， M表示S_org和S_dis的宽度，N表示S_org和S_dis的高度，符号为向下取整运算符。

②-2b、构建一个维数为8R×8C的空白矩阵，记为B'。

②-2c、将R_dis中当前待处理的图像块定义为当前图像块。

②-2d、假设当前图像块为R_dis中的第i个图像块，并记为则在L_dis中对进行视差匹配，得到L_dis中与匹配的图像块的左上角像素点的坐标位置，记为(s',t')；然后将中的所有像素点的像素值一一对应的作为B'中自坐标位置为(s',t')开始的8×8个元素的值，即这8×8个元素的左上角元素在B'中的坐标位置为(s',t')；其中，i的初始值为1，1≤i≤R×C，1≤s'≤8R,1≤t'≤8C。

②-2e、将R_dis中下一个待处理的图像块作为当前图像块，然后返回步骤②-2d继续执行，直至R_dis中的所有图像块处理完毕，得到每个元素的值已知的B'。

②-2f、将B'中的每个元素的值一一对应的作为中的每个像素点的像素值，的宽度为8R，的高度为8C。

③对L_org和进行视点间滤波，得到S_org的高频图像和低频图像，对应记为HV_org和LV_org；同样，对L_dis和进行视点间滤波，得到S_dis的高频图像和低频图像，对应记为HV_dis和LV_dis。

在此具体实施例中，HV_org和LV_org的获取过程为：

③-1a、去除L_org中最下方的M-8R行像素点和最右侧的N-8C列像素点，得到新的图像，记为L'_org，其中，M表示S_org和S_dis的宽度，N表示S_org和S_dis的高度， 符号为向下取整运算符，L'_org的宽度为8R，L'_org的高度为8C。

③-1b、获取S_org的高频图像HV_org，将HV_org中坐标位置为(m,n)的像素点的像素值记为HV_org(m,n)，HV_org(m,n)为通过对L'_org中坐标位置为(m,n)的像素点的像素值L'_org(m,n)和中坐标位置为(m,n)的像素点的像素值进行视点间滤波得到的高频分量， ${\mathrm{HV}}_{org}(m,n)=\frac{1}{\sqrt{2}}\left({L^{\′}}_{org}\right(m,n)+{\mathrm{DC}}_{org}^R(m,n\left)\right),$ 其中，1≤m≤8R，1≤n≤8C。

并获取S_org的低频图像LV_org，将LV_org中坐标位置为(m,n)的像素点的像素值记为LV_org(m,n)，LV_org(m,n)为通过对L'_org中坐标位置为(m,n)的像素点的像素值L'_org(m,n)和中坐标位置为(m,n)的像素点的像素值进行视点间滤波得到的低频分量， ${\mathrm{LV}}_{org}(m,n)=\frac{1}{\sqrt{2}}\left({L^{\′}}_{org}\right(m,n)+{\mathrm{DC}}_{org}^R(m,n\left)\right),$ 其中，1≤m≤8R，1≤n≤8C。

在此具体实施例中，HV_dis和LV_dis的获取过程为：

③-2a、去除L_dis中最下方的M-8R行像素点和最右侧的N-8C列像素点，得到新的图像，记为L'_dis，其中，M表示S_org和S_dis的宽度，N表示S_org和S_dis的高度， 符号为向下取整运算符，L'_dis的宽度为8R，L'_dis的高度为8C。

③-2b、获取S_dis的高频图像HV_dis，将HV_dis中坐标位置为(m,n)的像素点的像素值记为HV_dis(m,n)，HV_dis(m,n)为通过对L'_dis中坐标位置为(m,n)的像素点的像素值L'_dis(m,n)和中坐标位置为(m,n)的像素点的像素值进行视点间滤波得到的高频分量， ${\mathrm{HV}}_{dis}(m,n)=\frac{1}{\sqrt{2}}\left({L^{\′}}_{dis}\right(m,n)-{\mathrm{DC}}_{dis}^R(m,n\left)\right),$ 其中，1≤m≤8R，1≤n≤8C。

并获取S_dis的低频图像LV_dis，将LV_dis中坐标位置为(m,n)的像素点的像素值记为LV_dis(m,n)，LV_dis(m,n)为通过对L'_dis中坐标位置为(m,n)的像素点的像素值L'_dis(m,n)和中坐标位置为(m,n)的像素点的像素值进行视点间滤波得到的低频分量， ${\mathrm{LV}}_{dis}(m,n)=\frac{1}{\sqrt{2}}\left({L^{\′}}_{dis}\right(m,n)+{\mathrm{DC}}_{dis}^R(m,n\left)\right),$ 其中，1≤m≤8R，1≤n≤8C。

④对LV_org进行二维离散小波变换，得到LV_org的近似系数矩阵、水平细节系数矩阵、垂直细节系数矩阵以及对角线细节系数矩阵，对应记为以及同样，对LV_dis进行二维离散小波变换，得到LV_dis的近似系数矩阵、水平细节系数矩阵、垂直细节系数矩阵以及对角线细节系数矩阵，对应记为以及

⑤计算与之间的结构相似度，记为 其中，SSIM()为结构相似度计算函数；将作为S_dis的其中一个特征， $SSIM(C_A^{LV,org},C_A^{LV,dis})=\frac{(2{\mathrm{\μ}}_{org}{\mathrm{\μ}}_{dis}+c_1)(2{\mathrm{\σ}}_{org-dis}+c_2)}{({{\mathrm{\μ}}_{org}}^2{{\mathrm{\μ}}_{dis}}^2+c_1)({{\mathrm{\σ}}_{org}}^2+{{\mathrm{\σ}}_{dis}}^2+c_2)},$ 其中，μ_org表示中的所有元素的值的均值，μ_dis表示中的所有元素的值的均值，σ_org表示中的所有元素的值的方差，σ_dis表示中的所有元素的值的方差，σ_org-dis表示与之间的协方差，c₁和c₂为控制参数，在本实施例中取c₁＝0.01、c₂＝0.05。

⑥采用现有技术对的系数分布直方图进行α稳定分布拟合，得到的α稳定分布尺度参数，记为同样，采用现有技术对的系数分布直方图进行α稳定分布拟合，得到的α稳定分布尺度参数，记为采用现有技术对的系数分布直方图进行α稳定分布拟合，得到的α稳定分布尺度参数，记为采用现有技术对的系数分布直方图进行α稳定分布拟合，得到的α稳定分布尺度参数，记为采用现有技术对的系数分布直方图进行α稳定分布拟合，得到的α稳定分布尺度参数，记为采用现有技术对的系数分布直方图进行α稳定分布拟合，得到的α稳定分布尺度参数，记为

然后计算与之间的距离，记为 ${\mathrm{Dist}}_H^{LV}=\frac{\left|{\mathrm{\γ}}_H^{LV,org}-{\mathrm{\γ}}_H^{LV,dis}\right|}{\left|{\mathrm{\γ}}_H^{LV,org}+{\mathrm{\γ}}_H^{LV,dis}\right|};$ 同样，计算与之间的距离，记为 ${\mathrm{Dist}}_V^{LV}=\frac{\left|{\mathrm{\γ}}_V^{LV,org}-{\mathrm{\γ}}_V^{LV,dis}\right|}{\left|{\mathrm{\γ}}_V^{LV,org}+{\mathrm{\γ}}_V^{LV,dis}\right|};$ 计算与之间的距离，记为 ${\mathrm{Dist}}_D^{LV}=\frac{\left|{\mathrm{\γ}}_D^{LV,org}-{\mathrm{\γ}}_D^{LV,dis}\right|}{\left|{\mathrm{\γ}}_D^{LV,org}+{\mathrm{\γ}}_D^{LV,dis}\right|},$ 其中，符号“||”为取绝对值符号；将以及作为S_dis的其中三个特征。

⑦采用现有技术计算HV_org的相位一致性图，记为PC^HV,org；并采用现有技术计算HV_dis的相位一致性图，记为PC^HV,dis；然后计算PC^HV,org中的每个像素点与PC^HV,dis中对应的像素点之间的相似度，将PC^HV,org中坐标位置为(x,y)的像素点与PC^HV,dis中坐标位置为(x,y)的像素点之间的相似度记为 $Sim\_{\mathrm{map}}_{PC}^{HV}(x,y)=\frac{2\×{\mathrm{PC}}^{HV,org}(x,y)\×{\mathrm{PC}}^{HV,dis}(x,y)+c_3}{{\[{\mathrm{PC}}^{HV,org}(x,y)\]}^2+{\[{\mathrm{PC}}^{HV,dis}(x,y)\]}^2+c_3},$ 其中，1≤x≤8R,1≤y≤8C，PC^HV,org(x,y)表示PC^HV,org中坐标位置为(x,y)的像素点的像素值，PC^{HV ,dis}(x,y)表示PC^HV,dis中坐标位置为(x,y)的像素点的像素值，c₃为常数，在本实施例中取常数c₃＝0.1；再计算PC^HV,org中的所有像素点与PC^HV,dis中对应的像素点之间的相似度的平均值，记为 ${\mathrm{Sim}}_{PC}^{HV}=\frac{1}{8R\×8C}\×\underset{x=1}{\overset{8R}{\Σ}}\underset{y=1}{\overset{8C}{\Σ}}Sim\_{\mathrm{map}}_{PC}^{HV}(x,y),$ 将作为S_dis的一个特征。

⑧将S_dis的所有特征组合在一起，获得S_dis的特征向量，记为X_dis， $X_{dis}=\[{\mathrm{Sim}}_{AC}^{LV},{\mathrm{Dist}}_H^{LV},{\mathrm{Dist}}_V^{LV},{\mathrm{Dist}}_D^{LV},{\mathrm{Sim}}_{PC}^{HV}\],$ 其中，符号“[]”为向量表示符号。

⑨采用n”幅原始的无失真立体图像，建立其在不同失真类型不同失真程度下的失真立体图像集合，将该失真立体图像集合作为训练集，训练集包括多幅失真立体图像；然后利用现有的主观质量评价方法评价出训练集中的每幅失真立体图像的平均主观评分差值，将训练集中的第j幅失真立体图像的平均主观评分差值记为DMOS_j，DMOS_j＝100-MOS_j；再按照步骤①至步骤⑧的操作，以相同的方式获取训练集中的每幅失真立体图像的特征向量，将训练集中的第j幅失真立体图像的特征向量记为X_dis,j；其中，n”>1，如取n”＝3，j的初始值为1，1≤j≤N'，N'表示训练集中包含的失真立体图像的总幅数，0≤DMOS_j≤100，MOS_j表示训练集中的第j幅失真立体图像的主观评分的平均值。

⑩支持向量回归(SupportVectorRegression，SVR)是基于结构风险最小化准则的新型机器学习方法和统计学理论，其可以有效地抑制过拟合问题，因此本发明利用支持向量回归对训练集中的所有失真立体图像各自的平均主观评分差值及特征向量进行训练，使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小，拟合得到最优的权值矢量W^opt和最优的偏置项b^opt；接着利用W^opt和b^opt构造得到支持向量回归训练模型；再根据支持向量回归训练模型，对X_dis进行测试，预测得到S_dis的客观质量评价预测值，记为Q，Q＝f(X_dis)，其中，Q是X_dis的函数，f()为函数表示形式，(W^opt)^T为W^opt的转置矢量，为X_dis的线性函数。

为说明本发明方法的有效性和可行性，利用德克萨斯大学奥斯汀分校视频图像工程实验室所建立的LIVE立体图像数据库进行了实验验证，以分析利用本发明方法得到的客观评价结果与平均主观评分差值(DifferenceMeanOpinionScore，DMOS)之间的相关性。LIVE立体图像数据库中包含了20幅原始的无失真立体图像和365幅经添加对称失真而得到的失真立体图像。其中，失真立体图像包括80幅经JPEG编码标准得到的JPEG压缩失真立体图像，80幅经JPEG2000编码标准得到的JPEG2000压缩失真立体图像，80幅添加了高斯白噪声得到的高斯白噪声失真立体图像，80幅添加了经信道传输所产生的快速衰落失真的快衰落失真立体图像以及45幅添加了高斯模糊噪声所产生的高斯模糊失真立体图像。同时，利用评估视频质量评价方法的4个常用客观参量作为评价标准，即非线性回归条件下的Pearson相关系数(CorrelationCoefficients，CC)、Spearman等级相关系数(SpearmanRankOrderCorrelationCoefficients，SROCC)、异常值比率指标(OutlierRatio，OR)以及均方根误差(RootedMeanSquaredError，RMSE)。其中，CC用来反映客观质量评价方法预测的精确性，SROCC用来反映客观质量评价方法的预测单调性，CC和SROCC的值越接近1，表示该客观质量评价方法的性能越好；OR用来反映客观质量评价方法的离散程度，OR值越接近0表示客观质量评价方法越好；RMSE用来反映客观质量评价方法的预测准确性，RMSE的值越小表示客观质量评价方法准确性越高。

反映本发明方法准确性、单调性和离散率的CC、SROCC、OR和RMSE系数如表1所列，根据表1所列数据可见，虽然对于不同失真类型的评价准确性稍有差异，但是对于365幅失真立体图像相对的整体评价指标表明，本发明方法的整体混合失真CC值和SROCC值均达到0.91以上，离散率OR为0，均方根误差RMSE低于5.5，按本发明方法得到的失真立体图像的客观质量评价预测值和平均主观评分差值DMOS之间的相关性较高，表明本发明方法的客观评价结果与人眼主观感知的结果较为一致，很好地说明了本发明方法的有效性。

表1本发明方法对于各类型失真立体图像的客观评价准确性性能指标

	CC	SROCC	OR	RMSE
					80幅高斯白噪声失真立体图像	0.9235	0.9177	0	5.2021
45幅高斯模糊失真立体图像	0.8893	0.8313	0	5.8260
					80幅JPEG压缩失真立体图像	0.7382	0.6653	0	7.4110
80幅JPEG压缩失真立体图像	0.9306	0.8737	0	4.9612
					80幅块衰落失真立体图像	0.8443	0.7922	0	6.4570
共365幅失真立体图像	0.9131	0.9107	0	5.4528

Claims (3)

1.一种采用视差补偿视点间滤波的立体图像质量评价方法，其特征在于包括以下步骤：

①令S_org表示原始的无失真立体图像，令S_dis表示S_org经失真后的失真立体图像，将S_dis作为待评价的失真立体图像，将S_org的左视点图像记为L_org，将S_org的右视点图像记为R_org，将S_dis的左视点图像记为L_dis，将S_dis的右视点图像记为R_dis；

②以L_org作为参考视点图像，对R_org进行视差补偿，得到S_org的右视点视差补偿图像，记为同样，以L_dis作为参考视点图像，对R_dis进行视差补偿，得到S_dis的右视点视差补偿图像，记为

③对L_org和进行视点间滤波，得到S_org的高频图像和低频图像，对应记为HV_org和LV_org；同样，对L_dis和进行视点间滤波，得到S_dis的高频图像和低频图像，对应记为HV_dis和LV_dis；

④对LV_org进行二维离散小波变换，得到LV_org的近似系数矩阵、水平细节系数矩阵、垂直细节系数矩阵以及对角线细节系数矩阵，对应记为以及同样，对LV_dis进行二维离散小波变换，得到LV_dis的近似系数矩阵、水平细节系数矩阵、垂直细节系数矩阵以及对角线细节系数矩阵，对应记为以及

⑤计算与之间的结构相似度，记为 其中，SSIM()为结构相似度计算函数；

⑥对的系数分布直方图进行α稳定分布拟合，得到的α稳定分布尺度参数，记为同样，对的系数分布直方图进行α稳定分布拟合，得到的α稳定分布尺度参数，记为对的系数分布直方图进行α稳定分布拟合，得到的α稳定分布尺度参数，记为对的系数分布直方图进行α稳定分布拟合，得到的α稳定分布尺度参数，记为对的系数分布直方图进行α稳定分布拟合，得到的α稳定分布尺度参数，记为对的系数分布直方图进行α稳定分布拟合，得到的α稳定分布尺度参数，记为

然后计算与之间的距离，记为 ${\mathrm{Dist}}_H^{LV}=\frac{|{\mathrm{\γ}}_H^{LV,org}-{\mathrm{\γ}}_H^{LV,dis}|}{|{\mathrm{\γ}}_H^{LV,org}+{\mathrm{\γ}}_H^{LV,dis}|};$ 同样，计算与之间的距离，记为 ${\mathrm{Dist}}_V^{LV}=\frac{|{\mathrm{\γ}}_V^{LV,org}-{\mathrm{\γ}}_V^{LV,dis}|}{|{\mathrm{\γ}}_V^{LV,org}+{\mathrm{\γ}}_V^{LV,dis}|};$ 计算与之间的距离，记为 ${\mathrm{Dist}}_D^{LV}=\frac{|{\mathrm{\γ}}_D^{LV,org}-{\mathrm{\γ}}_D^{LV,dis}|}{|{\mathrm{\γ}}_D^{LV,org}+{\mathrm{\γ}}_D^{LV,dis}|},$ 其中，符号“||”为取绝对值符号；

⑦计算HV_org的相位一致性图，记为PC^HV,org；并计算HV_dis的相位一致性图，记为PC^HV,dis；然后计算PC^HV,org中的每个像素点与PC^HV,dis中对应的像素点之间的相似度，将PC^HV,org中坐标位置为(x,y)的像素点与PC^HV,dis中坐标位置为(x,y)的像素点之间的相似度记为 $Sim\_{\mathrm{map}}_{PC}^{HV}(x,y)=\frac{2\×{\mathrm{PC}}^{HV,org}(x,y)\×{\mathrm{PC}}^{HV,dis}(x,y)+c_3}{{\[{\mathrm{PC}}^{HV,org}(x,y)\]}^2+{\[{\mathrm{PC}}^{HV,dis}(x,y)\]}^2+c_3},$ 其中，1≤x≤8R,1≤y≤8C，PC^HV,org(x,y)表示PC^HV,org中坐标位置为(x,y)的像素点的像素值，PC^HV,dis(x,y)表示PC^HV,dis中坐标位置为(x,y)的像素点的像素值，c₃为常数；再计算PC^HV,org中的所有像素点与PC^HV,dis中对应的像素点之间的相似度的平均值，记为 ${\mathrm{Sim}}_{PC}^{HV}=\frac{1}{8R\×8C}\×\underset{x=1}{\overset{8R}{\Σ}}\underset{y=1}{\overset{8C}{\Σ}}Sim\_{\mathrm{map}}_{PC}^{HV}(x,y);$

⑧获得S_dis的特征向量，记为X_dis， $X_{dis}=\[{\mathrm{Sim}}_{AC}^{LV},{\mathrm{Dist}}_H^{LV},{\mathrm{Dist}}_V^{LV},{\mathrm{Dist}}_D^{LV},{\mathrm{Sim}}_{PC}^{HV}\],$ 其中，符号“[]”为向量表示符号；

⑨采用n”幅原始的无失真立体图像，建立其在不同失真类型不同失真程度下的失真立体图像集合，将该失真立体图像集合作为训练集，训练集包括多幅失真立体图像；然后利用主观质量评价方法评价出训练集中的每幅失真立体图像的平均主观评分差值，将训练集中的第j幅失真立体图像的平均主观评分差值记为DMOS_j；再按照步骤①至步骤⑧的操作，以相同的方式获取训练集中的每幅失真立体图像的特征向量，将训练集中的第j幅失真立体图像的特征向量记为X_dis,j；其中，n”>1，j的初始值为1，1≤j≤N'，N'表示训练集中包含的失真立体图像的总幅数，0≤DMOS_j≤100；

⑩利用支持向量回归对训练集中的所有失真立体图像各自的平均主观评分差值及特征向量进行训练，使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小，拟合得到最优的权值矢量W^opt和最优的偏置项b^opt；接着利用W^opt和b^opt构造得到支持向量回归训练模型；再根据支持向量回归训练模型，对X_dis进行测试，预测得到S_dis的客观质量评价预测值，记为Q，Q＝f(X_dis)，其中，Q是X_dis的函数，f()为函数表示形式，(W^opt)^T为W^opt的转置矢量，为X_dis的线性函数。

2.根据权利要求1所述的一种采用视差补偿视点间滤波的立体图像质量评价方法，其特征在于所述的步骤②中的的获取过程为：

②-1a、将R_org划分为R×C个互不重叠的尺寸大小为8×8的图像块，其中， M表示S_org和S_dis的宽度，N表示S_org和S_dis的高度，符号为向下取整运算符；

②-1b、构建一个维数为8R×8C的空白矩阵，记为B；

②-1c、将R_org中当前待处理的图像块定义为当前图像块；

②-1d、假设当前图像块为R_org中的第i个图像块，并记为则在L_org中对进行视差匹配，得到L_org中与匹配的图像块的左上角像素点的坐标位置，记为(s,t)；然后将中的所有像素点的像素值一一对应的作为B中自坐标位置为(s,t)开始的8×8个元素的值；其中，i的初始值为1，1≤i≤R×C，1≤s≤8R,1≤t≤8C；

②-1e、将R_org中下一个待处理的图像块作为当前图像块，然后返回步骤②-1d继续执行，直至R_org中的所有图像块处理完毕，得到每个元素的值已知的B；

②-1f、将B中的每个元素的值一一对应的作为中的每个像素点的像素值，的宽度为8R，的高度为8C；

所述的步骤②中的的获取过程为：

②-2a、将R_dis划分为R×C个互不重叠的尺寸大小为8×8的图像块，其中， M表示S_org和S_dis的宽度，N表示S_org和S_dis的高度，符号为向下取整运算符；

②-2b、构建一个维数为8R×8C的空白矩阵，记为B'；

②-2c、将R_dis中当前待处理的图像块定义为当前图像块；

②-2d、假设当前图像块为R_dis中的第i个图像块，并记为则在L_dis中对进行视差匹配，得到L_dis中与匹配的图像块的左上角像素点的坐标位置，记为(s',t')；然后将中的所有像素点的像素值一一对应的作为B'中自坐标位置为(s',t')开始的8×8个元素的值；其中，i的初始值为1，1≤i≤R×C，1≤s'≤8R,1≤t'≤8C；

②-2e、将R_dis中下一个待处理的图像块作为当前图像块，然后返回步骤②-2d继续执行，直至R_dis中的所有图像块处理完毕，得到每个元素的值已知的B'；

②-2f、将B'中的每个元素的值一一对应的作为中的每个像素点的像素值，的宽度为8R，的高度为8C。

3.根据权利要求1或2所述的一种采用视差补偿视点间滤波的立体图像质量评价方法，其特征在于所述的步骤③中的HV_org和LV_org的获取过程为：

③-1a、去除L_org中最下方的M-8R行像素点和最右侧的N-8C列像素点，得到新的图像，记为L'_org，其中，M表示S_org和S_dis的宽度，N表示S_org和S_dis的高度， 符号为向下取整运算符，L'_org的宽度为8R，L'_org的高度为8C；

③-1b、获取S_org的高频图像HV_org，将HV_org中坐标位置为(m,n)的像素点的像素值记为HV_org(m,n)，HV_org(m,n)为通过对L'_org中坐标位置为(m,n)的像素点的像素值L'_org(m,n)和中坐标位置为(m,n)的像素点的像素值进行视点间滤波得到的高频分量， ${\mathrm{HV}}_{org}(m,n)=\frac{1}{\sqrt{2}}\left({L^{\′}}_{org}\right(m,n)-{\mathrm{DC}}_{org}^R(m,n\left)\right),$ 其中，1≤m≤8R，1≤n≤8C；

并获取S_org的低频图像LV_org，将LV_org中坐标位置为(m,n)的像素点的像素值记为LV_org(m,n)，LV_org(m,n)为通过对L'_org中坐标位置为(m,n)的像素点的像素值L'_org(m,n)和中坐标位置为(m,n)的像素点的像素值进行视点间滤波得到的低频分量， ${\mathrm{LV}}_{org}(m,n)=\frac{1}{\sqrt{2}}\left({L^{\′}}_{org}\right(m,n)+{\mathrm{DC}}_{org}^R(m,n\left)\right),$ 其中，1≤m≤8R，1≤n≤8C；

所述的步骤③中的HV_dis和LV_dis的获取过程为：

③-2a、去除L_dis中最下方的M-8R行像素点和最右侧的N-8C列像素点，得到新的图像，记为L'_dis，其中，M表示S_org和S_dis的宽度，N表示S_org和S_dis的高度， 符号为向下取整运算符，L'_dis的宽度为8R，L'_dis的高度为8C；

③-2b、获取S_dis的高频图像HV_dis，将HV_dis中坐标位置为(m,n)的像素点的像素值记为HV_dis(m,n)，HV_dis(m,n)为通过对L'_dis中坐标位置为(m,n)的像素点的像素值L'_dis(m,n)和中坐标位置为(m,n)的像素点的像素值进行视点间滤波得到的高频分量， ${\mathrm{HV}}_{dis}(m,n)=\frac{1}{\sqrt{2}}\left({L^{\′}}_{dis}\right(m,n)-{\mathrm{DC}}_{dis}^R(m,n\left)\right),$ 其中，1≤m≤8R，1≤n≤8C；

并获取S_dis的低频图像LV_dis，将LV_dis中坐标位置为(m,n)的像素点的像素值记为LV_dis(m,n)，LV_dis(m,n)为通过对L'_dis中坐标位置为(m,n)的像素点的像素值L'_dis(m,n)和中坐标位置为(m,n)的像素点的像素值进行视点间滤波得到的低频分量， ${\mathrm{LV}}_{dis}(m,n)=\frac{1}{\sqrt{2}}\left({L^{\′}}_{dis}\right(m,n)+{\mathrm{DC}}_{dis}^R(m,n\left)\right),$ 其中，1≤m≤8R，1≤n≤8C。