发明内容
本发明所要解决的技术问题是提供一种立体图像客观质量评价方法,其能够有效地提高图像客观评价结果与主观感知之间的一致性。
本发明解决上述技术问题所采用的技术方案为:一种立体图像客观质量评价方法,其特征在于该方法的实现过程如下:
令X表示原始的无失真的立体图像,并令Y表示待评价的失真的立体图像,将X的左视点图像记为XL,将X的右视点图像记为XR,将Y的左视点图像记为YL,将Y的右视点图像记为YR;
将XL、XR、YL和YR分别分割成多个图像块,再计算XL、XR、YL和YR中的每个图像块中的所有像素点的亮度均值和亮度标准差,同时计算XL和YL中所有的坐标位置相同的两个图像块之间的亮度协方差,并计算XR和YR中所有的坐标位置相同的两个图像块之间的亮度协方差;
通过水平方向和垂直方向的3×3Soble算子,获取XL、XR、YL和YR各自的水平方向梯度矩阵映射图和垂直方向梯度矩阵映射图,再根据XL、XR、YL和YR各自的水平方向梯度矩阵映射图和垂直方向梯度矩阵映射图,获取XL、XR、YL和YR各自的梯度图;
根据XL和YL的梯度图,获取XL和YL中所有的坐标位置相同的两个像素点之间的梯度相似度,根据XL和YL中的每个图像块中的所有像素点的亮度标准差,获取XL和YL中所有的坐标位置相同的两个像素点之间的对比度相似度,根据XL和YL中的每个图像块中的所有像素点的亮度标准差及XL和YL中所有的坐标位置相同的两个图像块之间的亮度协方差,获取XL和YL中所有的坐标位置相同的两个像素点之间的结构度相似度;同样,根据XR和YR的梯度图,获取XR和YR中所有的坐标位置相同的两个像素点之间的梯度相似度,根据XR和YR中的每个图像块中的所有像素点的亮度标准差,获取XR和YR中所有的坐标位置相同的两个像素点之间的对比度相似度,根据XR和YR中的每个图像块中的所有像素点的亮度标准差及XR和YR中所有的坐标位置相同的两个图像块之间的亮度协方差,获取XR和YR中所有的坐标位置相同的两个像素点之间的结构度相似度;再根据XL和YL中所有的坐标位置相同的两个像素点之间的梯度相似度、对比度相似度和结构度相似度,计算XL和YL中所有的坐标位置相同的两个像素点之间的基于梯度的结构相似度,并根据XR和YR中所有的坐标位置相同的两个像素点之间的梯度相似度、对比度相似度和结构度相似度,计算XR和YR中所有的坐标位置相同的两个 像素点之间的基于梯度的结构相似度;
获取XL和XR各自的双目恰可觉察失真图;
根据XL和YL中坐标位置相同的两个像素点之间的基于梯度的结构相似度,以及XL的双目恰可觉察失真图,获取YL的客观质量分值;同样,根据XR和YR中坐标位置相同的两个像素点之间的基于梯度的结构相似度,以及XR的双目恰可觉察失真图,获取YR的客观质量分值;
根据YL的客观质量分值和YR的客观质量分值,获取Y的客观质量分值。
本发明的立体图像客观质量评价方法具体包括以下步骤:
①令X表示原始的无失真的立体图像,并令Y表示待评价的失真的立体图像,将X的左视点图像记为XL,将X的右视点图像记为XR,将Y的左视点图像记为YL,将Y的右视点图像记为YR;
②采用尺寸大小为8×8的滑动窗口在X
L中逐像素点移动,将X
L分割成M×N个相重叠的且尺寸大小为8×8的图像块,将X
L中坐标位置为(i,j)的图像块记为
采用尺寸大小为8×8的滑动窗口在Y
L中逐像素点移动,将Y
L分割成M×N个相重叠的且尺寸大小为8×8的图像块,将Y
L中坐标位置为(i,j)的图像块记为
采用尺寸大小为8×8的滑动窗口在X
R中逐像素点移动,将X
R分割成M×N个相重叠的且尺寸大小为8×8的图像块,将X
R中坐标位置为(i,j)的图像块记为
采用尺寸大小为8×8的滑动窗口在Y
R中逐像素点移动,将Y
R分割成M×N个相重叠的且尺寸大小为8×8的图像块,将Y
R中坐标位置为(i,j)的图像块记为
其中,M=H-7,N=W-7,H表示XL、YL、XR和YR的高度,W表示XL、YL、XR和YR的宽度,1≤i≤M,1≤j≤N;
③计算X
L中的每个图像块中的所有像素点的亮度均值和亮度标准差,并计算Y
L中 的每个图像块中的所有像素点的亮度均值和亮度标准差,将X
L中坐标位置为(i,j)的图像块
中的所有像素点的亮度均值和亮度标准差对应记为
和
将Y
L中坐标位置为(i,j)的图像块
中的所有像素点的亮度均值和亮度标准差对应记为
和
其中,1≤u≤8,1≤v≤8,
表示
中坐标位置为(u,v)的像素点的亮度值,
表示
中坐标位置为(u,v)的像素点的亮度值;然后计算X
L和Y
L中所有的坐标位置相同的两个图像块之间的亮度协方差,将X
L中坐标位置为(i,j)的图像块
与YL中坐标位置为(i,j)的图像块
之间的亮度协方差记为
同样,计算X
R中的每个图像块中的所有像素点的亮度均值和亮度标准差,并计算Y
R中的每个图像块中的所有像素点的亮度均值和亮度标准差,将X
R中坐标位置为(i,j)的图像块
中的所有像素点的亮度均值和亮度标准差对应记为
和
将Y
R中坐标位置为(i,j)的图像块
中的所有像素点的亮度均值和亮度标准差对应记为
和
其中,1≤u≤8,1≤v≤8,
表示
中坐标位置为(u,v)的像素点的亮度值,
表示
中坐标位置为(u,v)的像素点的亮度值;然后计算X
R和Y
R中所有的坐标位置相同的两个图像块之间的亮度协方差,将X
R中坐标位置为(i,j)的图像块
与YR中坐标位置为(i,j)的图像块
之间的亮度协方差记为
④对X
L分别实施水平方向和垂直方向的3×3Soble算子处理,对应得到X
L的水平方向梯度矩阵映射图和垂直方向梯度矩阵映射图,并对应记为
和
将
中坐标位置为(p,q)的像素点的水平梯度值记为
将
中坐标位置为(p,q)的像素点的垂直梯度值记为
其中,1≤p≤H,1≤q≤W,-1≤u'≤1,-1≤v'≤1,X
L(p,q)表示X
L中坐标位置为(p,q)的像素点的亮度值,X
L(p+u',q+v')表示X
L中坐标位置为(p+u',q+v')的像素点的亮度值,w
h(u'+2,v'+2)表示水平方向的3×3Soble算子w
h中坐标位置为(u'+2,v'+2)处的值,w
v(u'+2,v'+2)表示垂直方向的3×3Soble算子w
v中坐标位置为(u'+2,v'+2)处的值;
对Y
L分别实施水平方向和垂直方向的3×3Soble算子处理,对应得到Y
L的水平方向梯度矩阵映射图和垂直方向梯度矩阵映射图,并对应记为
和
将
中坐标位置为(p,q)的像素点的水平梯度值记为
将
中坐标位置为(p,q)的像素点的垂直梯度值记为
其中,Y
L(p,q)表示Y
L中坐标位置为(p,q)的像素点的亮度值,Y
L(p+u',q+v')表示Y
L中坐标位置为(p+u',q+v')的像素点的亮度值;
对X
R分别实施水平方向和垂直方向的3×3Soble算子处理,对应得到X
R的水平方向梯度矩阵映射图和垂直方向梯度矩阵映射图,并对应记为
和
将
中坐标位置为(p,q)的像素点的水平梯度值记为
将
中坐标位置为(p,q)的像素点的垂直梯度值记为
其中,X
R(p,q)表示X
R中坐标位置为(p,q)的像素点的亮度值,X
R(p+u',q+v')表示X
R中坐标位置为(p+u',q+v')的像素点的亮度值;
对Y
R分别实施水平方向和垂直方向的3×3Soble算子处理,对应得到Y
R的水平方向梯度矩阵映射图和垂直方向梯度矩阵映射图,并对应记为
和
将
中坐标位置为(p,q)的像素点的水平梯度值记为
将
中坐标位置为(p,q)的像素点的垂直梯度值记为
其中,Y
R(p,q)表示Y
R中坐标位置为(p,q)的像素点的亮度值,Y
R(p+u',q+v')表示Y
R中坐标位置为(p+u',q+v')的像素点的亮度值;
⑤根据X
L的水平方向梯度矩阵映射图
和垂直方向梯度矩阵映射图
获取X
L的梯度图,记为
将
中坐标位置为(p,q)的像素点的梯度值记为
其中,1≤p≤H,1≤q≤W;
根据Y
L的水平方向梯度矩阵映射图
和垂直方向梯度矩阵映射图
获取Y
L的梯度图,记为
将
中坐标位置为(p,q)的像素点的梯度值记为
根据X
R的水平方向梯度矩阵映射图
和垂直方向梯度矩阵映射图
获取X
R的梯度图,记为
将
中坐标位置为(p,q)的像素点的梯度值记为
根据Y
R的水平方向梯度矩阵映射图
和垂直方向梯度矩阵映射图
获取Y
R的梯度图,记为
将
中坐标位置为(p,q)的像素点的梯度值记为
⑥计算X
L和Y
L中所有的坐标位置相同的两个像素点之间的梯度相似度、对比度相似度和结构度相似度,将X
L中坐标位置为(p,q)的像素点与Y
L中坐标位置为(p,q)的像素点之间的梯度相似度、对比度相似度和结构度相似度对应记为g
L(p,q)、c
L(p,q)和s
L(p,q),
其中,C
1、C
2、C
3为避免分母出现零而设置的小值常数;
同样,计算X
R和Y
R中所有的坐标位置相同的两个像素点之间的梯度相似度、对比度相似度和结构度相似度,将X
R中坐标位置为(p,q)的像素点与Y
R中坐标位置为(p,q)的像素点之间的梯度相似度、对比度相似度和结构度相似度对应记为g
R(p,q)、c
R(p,q)和s
R(p,q),
⑦根据XL和YL中所有的坐标位置相同的两个像素点之间的梯度相似度、对比度相 似度和结构度相似度,计算XL和YL中所有的坐标位置相同的两个像素点之间的基于梯度的结构相似度,将XL中坐标位置为(p,q)的像素点与YL中坐标位置为(p,q)的像素点之间的基于梯度的结构相似度记为GSSIML(p,q),GSSIML(p,q)=gL(p,q)×cL(p,q)×sL(p,q);
根据XR和YR中所有的坐标位置相同的两个像素点之间的梯度相似度、对比度相似度和结构度相似度,计算XR和YR中所有的坐标位置相同的两个像素点之间的基于梯度的结构相似度,将XR中坐标位置为(p,q)的像素点与YR中坐标位置为(p,q)的像素点之间的基于梯度的结构相似度记为GSSIMR(p,q),GSSIMR(p,q)=gR(p,q)×cR(p,q)×sR(p,q);
⑧获取X
L的双目恰可觉察失真图,记为BJND
L,将BJND
L中坐标位置为(p,q)的像素点的双目恰可觉察失真值记为BJND
L(p,q),
其中,
表示X
R中坐标位置为(i',j)的图像块
中的所有像素点的亮度均值,
表示
中坐标位置为(p',q)的像素点的梯度值,d
L(p,q)表示X
L中坐标位置为(p,q)的像素点的水平视差值,
获取X
R的双目恰可觉察失真图,记为BJND
R,将BJND
R中坐标位置为(p,q)的像素点的双目恰可觉察失真值记为BJND
R(p,q),
其中,
表示X
L中坐标位置为(i',j)的图像块
中的所有像素点的亮度均值,
表示
中坐标位置为(p',q)的像素点的梯度值,d
R(p,q)表示X
R中坐标位置为(p,q)的像素点的水平视差值,
⑨根据XL和YL中坐标位置相同的两个像素点之间的基于梯度的结构相似度,以及XL的双目恰可觉察失真图BJNDL,计算YL的客观质量分值,记为QL, 其中,BJNDL(p'',q'')表示BJNDL中坐标位置为(p'',q'')的像素点的双目恰可觉察失真值,GSSIML(p'',q'')表示XL中坐标位置为(p'',q'')的像素点与YL中坐标位置为(p'',q'')的像素点之间的基于梯度的结构相似度;
根据XR和YR中坐标位置相同的两个像素点之间的基于梯度的结构相似度,以及XR的双目恰可觉察失真图BJNDR,计算YR的客观质量分值,记为QR, 其中,BJNDR(p'',q'')表示BJNDR中坐标位置为(p'',q'')的像素点的双目恰可觉察失真值,GSSIMR(p'',q'')表示XR中坐标位置为(p'',q'')的像素点与YR中坐标位置为(p'',q'')的像素点之间的基于梯度的结构相似度;
⑩根据YL的客观质量分值QL和YR的客观质量分值QR,计算Y的客观质量分值,记为Q3D,
所述的步骤④中水平方向的3×3Soble算子 垂直方向的3×3Soble算子
所述的步骤⑥中取C1=0.01、C2=0.02、C3=0.01。
与现有技术相比,本发明的优点在于:
1)本发明方法在获取待评价的失真的立体图像的客观质量分值时,不仅考虑了待评价的失真的立体图像的左视点图像与原始的无失真的立体图像的左视点图像中所有的坐标位置相同的两个像素点之间的基于梯度的结构相似度,及待评价的失真的立体图像的右视点图像与原始的无失真的立体图像的右视点图像中所有的坐标位置相同的两个像素点之间的基于梯度的结构相似度,还考虑了人眼在观察立体图像时会产生的双目掩盖效应,将结构失真与双目掩盖效应相结合,使得对待评价的失真的立体图像的客观评价结果与主观感知的一致性更高。
2)本发明方法在计算待评价的失真的立体图像的左视点图像与原始的无失真的立体图像的左视点图像中所有的坐标位置相同的两个像素点之间的基于梯度的结构相似度时,由于利用了待评价的失真的立体图像的左视点图像与原始的无失真的立体图像的左视点图像中所有的坐标位置相同的两个像素点之间的梯度相似度、对比度相似度和结构度相似度,因此能够准确的度量出失真的立体图像的左视点图像的结构损失程度;同样,在计算待评价的失真的立体图像的右视点图像与原始的无失真的立体图像的右视点图像中坐标位置相同的两个像素点之间的基于梯度的结构相似度时,由于利用了待评价的失真的立体图像的右视点图像与原始的无失真的立体图像的右视点图像中坐标位置相同的两个像素点之间的梯度相似度、对比度相似度和结构度相似度,因此能够准确的度量出失真的立体图像的右视点图像的结构损失程度。
3)本发明方法在模拟人眼的双目掩盖效应时,利用了双目恰可觉察失真值,使得本发明方法的客观评价结果更与主观感知相符。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种立体图像客观质量评价方法,其总体实现框图如图1所示,其实现过程如下:
令X表示原始的无失真的立体图像,并令Y表示待评价的失真的立体图像,将X的左视点图像记为XL,将X的右视点图像记为XR,将Y的左视点图像记为YL,将Y的右视点图像记为YR。
将XL、XR、YL和YR分别分割成多个图像块,再计算XL、XR、YL和YR中的每个图像块中的所有像素点的亮度均值和亮度标准差,同时计算XL和YL中所有的坐标位置相同的两个图像块之间的亮度协方差,并计算XR和YR中所有的坐标位置相同的两个图像块之间的亮度协方差。
通过水平方向和垂直方向的3×3Soble算子,获取XL、XR、YL和YR各自的水平方向梯度矩阵映射图和垂直方向梯度矩阵映射图,再根据XL、XR、YL和YR各自的水平方向梯度矩阵映射图和垂直方向梯度矩阵映射图,获取XL、XR、YL和YR各自的梯度图。
根据XL和YL的梯度图,获取XL和YL中所有的坐标位置相同的两个像素点之间的梯度相似度,根据XL和YL中的每个图像块中的所有像素点的亮度标准差,获取XL和YL中所有的坐标位置相同的两个像素点之间的对比度相似度,根据XL和YL中的每个图像块中的所有像素点的亮度标准差及XL和YL中所有的坐标位置相同的两个图像块之间的亮度协方差,获取XL和YL中所有的坐标位置相同的两个像素点之间的结构度相似度;同样,根据XR和YR的梯度图,获取XR和YR中所有的坐标位置相同的两个像素点 之间的梯度相似度,根据XR和YR中的每个图像块中的所有像素点的亮度标准差,获取XR和YR中所有的坐标位置相同的两个像素点之间的对比度相似度,根据XR和YR中的每个图像块中的所有像素点的亮度标准差及XR和YR中所有的坐标位置相同的两个图像块之间的亮度协方差,获取XR和YR中所有的坐标位置相同的两个像素点之间的结构度相似度;再从结构失真的角度,根据XL和YL中所有的坐标位置相同的两个像素点之间的梯度相似度、对比度相似度和结构度相似度,计算XL和YL中所有的坐标位置相同的两个像素点之间的基于梯度的结构相似度,并根据XR和YR中所有的坐标位置相同的两个像素点之间的梯度相似度、对比度相似度和结构度相似度,计算XR和YR中所有的坐标位置相同的两个像素点之间的基于梯度的结构相似度。
从双目掩盖效应出发,获取XL和XR各自的双目恰可觉察失真图。
根据XL和YL中坐标位置相同的两个像素点之间的基于梯度的结构相似度,以及XL的双目恰可觉察失真图,即利用XL的双目恰可觉察失真图作为加权项,对XL和YL中坐标位置相同的两个像素点之间的基于梯度的结构相似度进行线性加权求和,获取YL的客观质量分值;同样,根据XR和YR中坐标位置相同的两个像素点之间的基于梯度的结构相似度,以及XR的双目恰可觉察失真图,即利用XR的双目恰可觉察失真图作为加权项,对XR和YR中坐标位置相同的两个像素点之间的基于梯度的结构相似度进行线性加权求和,获取YR的客观质量分值。
根据YL的客观质量分值和YR的客观质量分值,获取Y的客观质量分值,可以取YL的客观质量分值和YR的客观质量分值的均值作为Y的客观质量分值。
本发明的立体图像客观质量评价方法具体包括以下步骤:
①令X表示原始的无失真的立体图像,并令Y表示待评价的失真的立体图像,将X的左视点图像记为XL,将X的右视点图像记为XR,将Y的左视点图像记为YL,将Y的右视点图像记为YR。
②采用尺寸大小为8×8的滑动窗口在X
L中逐像素点移动,将X
L分割成M×N个相重叠的且尺寸大小为8×8的图像块,将X
L中坐标位置为(i,j)的图像块记为
采用尺寸大小为8×8的滑动窗口在Y
L中逐像素点移动,将Y
L分割成M×N个相重叠的且尺寸大小为8×8的图像块,将Y
L中坐标位置为(i,j)的图像块记为
采用尺寸大小为8×8的滑动窗口在X
R中逐像素点移动,将X
R分割成M×N个相重叠的且尺寸大小为8×8的图像块,将X
R中坐标位置为(i,j)的图像块记为
采用尺寸大小为8×8的滑动窗口在Y
R中逐像素点移动,将Y
R分割成M×N个相重叠的且尺寸大小为8×8的图像块,将Y
R中坐标位置为(i,j)的图像块记为
其中,M=H-7,N=W-7,H表示XL、YL、XR和YR的高度,即XL、YL、XR和YR的高度一致,W表示XL、YL、XR和YR的宽度,即XL、YL、XR和YR的宽度一致,1≤i≤M,1≤j≤N。
③计算X
L中的每个图像块中的所有像素点的亮度均值和亮度标准差,并计算Y
L中的每个图像块中的所有像素点的亮度均值和亮度标准差,将X
L中坐标位置为(i,j)的图像块
中的所有像素点的亮度均值和亮度标准差对应记为
和
将Y
L中坐标位置为(i,j)的图像块
中的所有像素点的亮度均值和亮度标准差对应记为
和
其中,1≤u≤8,1≤v≤8,
表示
中坐标位置为(u,v)的像素点的亮度值,
表示
中坐标位置为(u,v)的像素点的亮度值;然后计算X
L和Y
L中所有的坐标位置相同的两个图像块之间的亮度协方差,将X
L中坐标位置为(i,j)的图像块
与YL中坐标位置为(i,j)的图像块
之间的亮度协方差记为
其中,1≤i≤M,1≤j≤N。
同样,计算X
R中的每个图像块中的所有像素点的亮度均值和亮度标准差,并计算Y
R中的每个图像块中的所有像素点的亮度均值和亮度标准差,将X
R中坐标位置为(i,j)的图像块
中的所有像素点的亮度均值和亮度标准差对应记为
和
将Y
R中坐标位置为(i,j)的图像块
中的所有像素点的亮度均值和亮度标准差对应记为
和
其中,1≤u≤8,1≤v≤8,
表示
中坐标位置为(u,v)的像素点的亮度值,
表示
中坐标位置为(u,v)的像素点的亮度值;然后计算X
R和Y
R中所有的坐标位置相同的两个图像块之间的亮度协方差,将XR中坐标位置为(i,j)的图像块
与YR中坐标位置为(i,j)的图像块
之间的亮度协方差记为
其中,1≤i≤M,1≤j≤N。
④对X
L分别实施水平方向和垂直方向的3×3Soble算子处理,对应得到X
L的水平方向梯度矩阵映射图和垂直方向梯度矩阵映射图,并对应记为
和
将
中坐标位置为(p,q)的像素点的水平梯度值记为
将
中坐标位置为(p,q)的像素点的垂直梯度值记为
其中,1≤p≤H,1≤q≤W,-1≤u'≤1,-1≤v'≤1,X
L(p,q)表示X
L中坐标位置为(p,q)的像素点的亮度值,X
L(p+u',q+v')表示X
L中坐标位置为(p+u',q+v')的像素点的亮度值,w
h(u'+2,v'+2)表示水平方向的3×3Soble算子w
h中坐标位置为(u'+2,v'+2)处的值,w
v(u'+2,v'+2)表示垂直方向的3×3Soble算子w
v中坐标位置为(u'+2,v'+2)处的值。
对Y
L分别实施水平方向和垂直方向的3×3Soble算子处理,对应得到Y
L的水平方向梯度矩阵映射图和垂直方向梯度矩阵映射图,并对应记为
和
将
中坐标位置为(p,q)的像素点的水平梯度值记为
将
中坐标位置为(p,q)的像素点的垂直梯度值记为
其中,Y
L(p,q)表示Y
L中坐标位置为(p,q)的像素点的亮度值,Y
L(p+u',q+v')表示Y
L中坐标位置为(p+u',q+v')的像素点的亮度值。
对X
R分别实施水平方向和垂直方向的3×3Soble算子处理,对应得到X
R的水平方向梯度矩阵映射图和垂直方向梯度矩阵映射图,并对应记为
和
将
中坐标 位置为(p,q)的像素点的水平梯度值记为
将
中坐标位置为(p,q)的像素点的垂直梯度值记为
其中,X
R(p,q)表示X
R中坐标位置为(p,q)的像素点的亮度值,X
R(p+u',q+v')表示X
R中坐标位置为(p+u',q+v')的像素点的亮度值。
对Y
R分别实施水平方向和垂直方向的3×3Soble算子处理,对应得到Y
R的水平方向梯度矩阵映射图和垂直方向梯度矩阵映射图,并对应记为
和
将
中坐标位置为(p,q)的像素点的水平梯度值记为
将
中坐标位置为(p,q)的像素点的垂直梯度值记为
其中,Y
R(p,q)表示Y
R中坐标位置为(p,q)的像素点的亮度值,Y
R(p+u',q+v')表示Y
R中坐标 位置为(p+u',q+v')的像素点的亮度值。
在本实施例中,水平方向的3×3Soble算子 垂直方向的3×3Soble算子
⑤根据X
L的水平方向梯度矩阵映射图
和垂直方向梯度矩阵映射图
获取X
L的梯度图,记为
将
中坐标位置为(p,q)的像素点的梯度值记为
其中,1≤p≤H,1≤q≤W。
根据Y
L的水平方向梯度矩阵映射图
和垂直方向梯度矩阵映射图
获取Y
L的梯度图,记为
将
中坐标位置为(p,q)的像素点的梯度值记为
根据X
R的水平方向梯度矩阵映射图
和垂直方向梯度矩阵映射图
获取X
R的梯度图,记为
将
中坐标位置为(p,q)的像素点的梯度值记为
根据Y
R的水平方向梯度矩阵映射图
和垂直方向梯度矩阵映射图
获取Y
R的梯度图,记为
将
中坐标位置为(p,q)的像素点的梯度值记为
⑥计算X
L和Y
L中所有的坐标位置相同的两个像素点之间的梯度相似度、对比度相似度和结构度相似度,将X
L中坐标位置为(p,q)的像素点与Y
L中坐标位置为(p,q)的像素点之间的梯度相似度、对比度相似度和结构度相似度对应记为
g L(
p,
q)、c
L(
p,
q)和s
L(p,q),
其中,C
1、C
2、C
3为避免分母出现零而设置的小值常数。
同样,计算X
R和Y
R中所有的坐标位置相同的两个像素点之间的梯度相似度、对比度相似度和结构度相似度,将X
R中坐标位置为(p,q)的像素点与Y
R中坐标位置为(p,q)的像素点之间的梯度相似度、对比度相似度和结构度相似度对应记为g
R(p,q)、c
R(p,q)和s
R(p,q),
在本实施例中,取C1=0.01、C2=0.02、C3=0.01。
⑦根据XL和YL中所有的坐标位置相同的两个像素点之间的梯度相似度、对比度相似度和结构度相似度,计算XL和YL中所有的坐标位置相同的两个像素点之间的基于梯度的结构相似度,将XL中坐标位置为(p,q)的像素点与YL中坐标位置为(p,q)的像素点之间的基于梯度的结构相似度记为GSSIML(p,q),GSSIML(p,q)=gL(p,q)×cL(p,q)×sL(p,q)。
根据XR和YR中所有的坐标位置相同的两个像素点之间的梯度相似度、对比度相似度和结构度相似度,计算XR和YR中所有的坐标位置相同的两个像素点之间的基于梯度的结构相似度,将XR中坐标位置为(p,q)的像素点与YR中坐标位置为(p,q)的像素点之间的基于梯度的结构相似度记为GSSIMR(p,q),GSSIMR(p,q)=gR(p,q)×cR(p,q)×sR(p,q)。
⑧获取XL的双目恰可觉察失真图,记为BJNDL,将BJNDL中坐标位置为(p,q)的像素点的双目恰可觉察失真值记为BJNDL(p,q),
表示X
R中坐标位置为(i',j)的图像块
中的所有像素点的亮度均值,
表示
中坐标位置为(p',q)的像素点的梯度值,d
L(p,q)表示X
L中坐标位置为(p,q)的像素点的水平视差值,
获取X
R的双目恰可觉察失真图,记为BJND
R,将BJND
R中坐标位置为(p,q)的像素点的双目恰可觉察失真值记为BJND
R(p,q),
其 中,
表示X
L中坐标位置为(i',j)的图像块
中的所有像素点的亮度均值,
表示
中坐标位置为(p',q)的像素点的梯度值,d
R(p,q)表示X
R中坐标位置为(p,q)的像素点的水平视差值,
⑨根据XL和YL中坐标位置相同的两个像素点之间的基于梯度的结构相似度,以及XL的双目恰可觉察失真图BJNDL,计算YL的客观质量分值,记为QL, 其中,BJNDL(p'',q'')表示BJNDL中坐标位置为(p'',q'')的像素点的双目恰可觉察失真值,GSSIML(p'',q'')表示XL中坐标位置为(p'',q'')的像素点与YL中坐标位置为(p'',q'')的像素点之间的基于梯度的结构相似度。
根据XR和YR中坐标位置相同的两个像素点之间的基于梯度的结构相似度,以及XR的双目恰可觉察失真图BJNDR,计算YR的客观质量分值,记为QR, 其中,BJNDR(p'',q'')表示BJNDR中坐标位置为(p'',q'')的像素点的双目恰可觉察失真值,GSSIMR(p'',q'')表示XR中坐标位置为(p'',q'')的像素点与YR中坐标位置为(p'',q'')的像素点之间的基于梯度的结构相似度。
⑩根据YL的客观质量分值QL和YR的客观质量分值QR,计算Y的客观质量分值,记为Q3D,
在本实施例中,使用的图像数据为美国Texas大学图像和视频工程实验室公开 的图像质量估计数据库(LIVE)所提供的385对立体图像,其中包括无失真的参考立体图像20对,失真的立体图像365对。另外,这365对失真的立体图像被分为高斯白噪声失真(WN,white noise)(共80对立体图像)、高斯模糊失真(Gblur,Gaussian blurring)(共45对立体图像)、JPEG失真(共80对立体图像)、JPEG2000失真(共80对立体图像)以及快衰落失真(FF,fast fading)(共80对立体图像);同时,该数据库为每对无失真的立体图像的左视点图像与右视点图像都提供了视差图;每对失真的立体图像均有其唯一的主观分数DMOS(Difference Mean Opinion Scores),且DMOS值越大表示失真的立体图像的质量越差,DMOS值越小表示失真的立体图像的质量越好。
对这385对失真的立体图像按照步骤①至步骤⑩的操作过程,计算得到每对失真的立体图像的客观质量分值,然后将各失真的立体图像的客观质量分值与其主观分数DMOS使用Logistic四参数函数进行非线性拟合,得到各失真的立体图像的主观预测分数DMOSP。在此基础上,利用评估图像质量评价方法的4个常用客观参量作为评价指标来衡量评价方法的性能,这4个指标分别为非线性回归条件下的Pearson相关系数(Pearson Linear Correlation Coefficient,PLCC)、Spearman相关系数(Spearman Rank Order Correlation Coefficient,SROCC)、Kendall相关系数(Kendall Rank Order Correlation Coefficient,KROCC)和均方误差系数(Rooted Mean Squared Error,RMSE),其中,PLCC、SROCC和KROCC值越高说明立体图像客观质量评价方法与DMOS相关性越好,RMSE值越低说明立体图像客观质量评价方法与DMOS相关性越好。
表1列出了本发明方法对各失真类型的立体图像的评价性能的PLCC、SROCC、KROCC和RMSE系数的值,从表1所列的数据可见,本实施例得到的失真的立体图像的客观质量分值与主观分数DMOS之间的相关性很高,其中对高斯模糊失真和JPEG2000失真的立体图像的评价效果最佳,两类失真的评价结果中PLCC值均超过0.95,SROCC值均超过0.91,KROCC值均超过0.75,RMSE值均低于4.5;对高斯白噪声失真的立体图像的评价效果次之。从整体上看,本发明方法能够较准确的评价失真的立体图像,整体的PLCC值、SROCC值和KROCC值分别为0.9425、0.9391和0.7752,RMSE值为5.4796,这些数据表明了本发明方法的客观评价结果与人眼主观感知的结果较为一致,充分说明了本发明方法的有效性。
表1 本实施例得到的失真的立体图像的客观质量分值与主观分数之间的相关性