发明内容
本发明所要解决的技术问题是提供一种基于双目信息处理的立体图像质量评价方法,其能够有效地提高客观质量评价结果与主观感知之间的一致性。
本发明解决上述技术问题所采用的技术方案为:一种基于双目信息处理的立体图像质量评价方法,其特征在于总体处理过程为:令Lorg表示原始的无失真的立体图像的左视点图像的亮度图,令Rorg表示原始的无失真的立体图像的右视点图像的亮度图,令Ldis表示待评价的失真的立体图像的左视点图像的亮度图,令Rdis表示待评价的失真的立体图像的右视点图像的亮度图;对Lorg、Rorg、Ldis和Rdis分别实施M级复小波变换,得到的系数矩阵作为简单细胞信息矩阵,其中,1≤M≤5;根据Lorg、Rorg、Ldis和Rdis各自对应的简单细胞信息矩阵获取对应的复杂细胞信息矩阵;根据Lorg和Rorg各自对应的复杂细胞信息矩阵,获取原始的无失真的立体图像对应的双目融合图,并根据Ldis和Rdis各自对应的复杂细胞信息矩阵,获取待评价的失真的立体图像对应的双目融合图;根据原始的无失真的立体图像对应的双目融合图和待评价的失真的立体图像对应的双目融合图,获取待评价的失真的立体图像相对于原始的无失真的立体图像的双目融合质量评价指标值;根据Lorg和Rorg各自对应的复杂细胞信息矩阵,获取原始的无失真的立体图像对应的立体视觉图,并根据Ldis和Rdis各自对应的复杂细胞信息矩阵,获取待评价的失真的立体图像对应的立体视觉图;获取原始的无失真的立体图像对应的立体视觉图中的每个5×5的图像块的双目恰可觉察失真值及双目恰可觉察失真值的失真权重,并获取待评价的失真的立体图像对应的立体视觉图中的每个5×5的图像块的双目恰可觉察失真值及双目恰可觉察失真值的失真权重;利用原始的无失真的立体图像对应的立体视觉图中的每个5×5的图像块的双目恰可觉察失真值的失真权重,获得原始的无失真的立体图像对应的加权后立体视觉图,并利用待评价的失真的立体图像对应的立体视觉图中的每个5×5的图像块的双目恰可觉察失真值的失真权重,获得待评价的失真的立体图像对应的加权后立体视觉图;获取原始的无失真的立体图像对应的加权后立体视觉图和待评价的失真的立体图像对应的加权后立体视觉图中位置相同的图像块之间的梯度结构相似度,再根据梯度结构相似度获取待评价的失真的立体图像相对于原始的无失真的立体图像的立体视觉评价度量值;根据双目融合质量评价指标值和立体视觉评价度量值,获取待评价的失真的立体图像的图像质量评价分值。
本发明的一种基于双目信息处理的立体图像质量评价方法,其具体包括以下步骤:
①令Sorg表示原始的无失真的立体图像,令Sdis表示待评价的失真的立体图像,将Sorg的左视点图像的亮度图记为Lorg,将Sorg的右视点图像的亮度图记为Rorg,将Sdis的左视点图像的亮度图记为Ldis,将Sdis的右视点图像的亮度图记为Rdis;
②对L
org实施M级复小波变换,得到每级的三个方向的复小波子带的系数矩阵、一个直流复小波子带的系数矩阵,并将这些系数矩阵作为简单细胞信息矩阵,将L
org实施第m级复小波变换后得到的第m级的第q个方向的复小波子带的系数矩阵记为
将L
org实施M级复小波变换后得到的直流复小波子带的系数矩阵记为
其中,1≤M≤5,1≤m≤M,三个方向分别为水平方向、垂直方向和对角线方向,q=1,2,3,当q=1时第q个方向为水平方向、当q=2时第q个方向为垂直方向、当q=3时第q个方向为对角线方向;
对R
org实施M级复小波变换,得到每级的三个方向的复小波子带的系数矩阵、一个直流复小波子带的系数矩阵,并将这些系数矩阵作为简单细胞信息矩阵,将R
org实施第m级复小波变换后得到的第m级的第q个方向的复小波子带的系数矩阵记为
将R
org实施M级复小波变换后得到的直流复小波子带的系数矩阵记为
对L
dis实施M级复小波变换,得到每级的三个方向的复小波子带的系数矩阵、一个直流复小波子带的系数矩阵,并将这些系数矩阵作为简单细胞信息矩阵,将L
dis实施第m级复小波变换后得到的第m级的第q个方向的复小波子带的系数矩阵记为
将L
dis实施M级复小波变换后得到的直流复小波子带的系数矩阵记为
对R
dis实施M级复小波变换,得到每级的三个方向的复小波子带的系数矩阵、一个直流复小波子带的系数矩阵,并将这些系数矩阵作为简单细胞信息矩阵,将R
dis实施第m级复小波变换后得到的第m级的第q个方向的复小波子带的系数矩阵记为
将R
dis实施M级复小波变换后得到的直流复小波子带的系数矩阵记为
③获取L
org实施M级复小波变换后得到的每级的三个方向的复小波子带的复杂细胞信息矩阵,将L
org实施第m级复小波变换后得到的第m级的第q个方向的复小波子带的复杂细胞信息矩阵记为
其中,
exp()表示以自然基数e为底的指数函数,符号“||”为求复数的模值,arctan()表示反正切函数,
表示
的实部,
表示
的虚部;并获取L
org实施M级复小波变换后得到的直流复小波子带的复杂细胞信息矩阵,记为
其中,
表示
的实部,
表示
的虚部;
获取R
org实施M级复小波变换后得到的每级的三个方向的复小波子带的复杂细胞信息矩阵,将R
org实施第m级复小波变换后得到的第m级的第q个方向的复小波子带的复杂细胞信息矩阵记为
其中,
表示
的实部,
表示
的虚部;并获取R
org实施M级复小波变换后得到的直流复小波子带的复杂细胞信息矩阵,记为
其中,
表示
的实部,
表示
的虚部;
获取L
dis实施M级复小波变换后得到的每级的三个方向的复小波子带的复杂细胞信息矩阵,将L
dis实施第m级复小波变换后得到的第m级的第q个方向的复小波子带的复杂细胞信息矩阵记为
其中,
表示
的实部,
表示
的虚部;并获取L
dis实施M级复小波变换后得到的直流复小波子带的复杂细胞信息矩阵,记为
其中,
表示
的实部,
表示
的虚部;
获取R
dis实施M级复小波变换后得到的每级的三个方向的复小波子带的复杂细胞信息矩阵,将R
dis实施第m级复小波变换后得到的第m级的第q个方向的复小波子带的复杂细胞信息矩阵记为
其中,
表示
的实部,
表示
的虚部;并获取R
dis实施M级复小波变换后得到的直流复小波子带的复杂细胞信息矩阵,记为
其中,
表示
的实部,
表示
的虚部;
④根据L
org实施M级复小波变换后得到的每级的每个方向的复小波子带的复杂细胞信息矩阵和R
org实施M级复小波变换后得到的每级的每个方向的复小波子带的复杂细胞信息矩阵,获取S
org的每级的每个方向的复小波子带的双目融合图,将S
org的第m级的第q个方向的复小波子带的双目融合图记为
其中,符号“||”为求复数的模值,cos()为求余弦函数,
并根据
和
获取S
org的直流复小波子带的双目融合图,记为
其中,
根据L
dis实施M级复小波变换后得到的每级的每个方向的复小波子带的复杂细胞信息矩阵和R
dis实施M级复小波变换后得到的每级的每个方向的复小波子带的复杂细胞信息矩阵,获取S
dis的每级的每个方向的复小波子带的双目融合图,将S
dis的第m级的第q个方向的复小波子带的双目融合图记为
其中,
并根据
和
获取S
dis的直流复小波子带的双目融合图,记为
其中,
⑤计算S
org与S
dis所有的同级的同方向的两个复小波子带的双目融合图的双目融合峰值信噪比,将
与
的双目融合峰值信噪比记为BFPSNR
q,m,
其中,w
q,m表示
和
的宽度,h
q,m表示
和
的高度,
“||
1”为1范数符号,
表示
中坐标位置为(i,j)的像素点的像素值,
表示
中坐标位置为(i,j)的像素点的像素值,ω
q,m表示
和
的视觉敏感度权值;
计算S
org的直流复小波子带的双目融合图
与S
dis的直流复小波子带的双目融合图
的双目融合峰值信噪比,记为BFPSNR
DC,
其中,w
DC表示
和
的宽度,h
DC表示
和
的高度,
“||
1”为1范数符号,
表示
中坐标位置为(i,j)的像素点的像素值,
表示
中坐标位置为(i,j)的像素点的像素值,ω
DC表示
和
的视觉敏感度权值;
⑥计算Sdis相对于Sorg的双目融合质量评价指标值,记为Qs,
⑦根据L
org实施M级复小波变换后得到的每级的每个方向的复小波子带的复杂细胞信息矩阵和R
org实施M级复小波变换后得到的每级的每个方向的复小波子带的复杂细胞信息矩阵,获取S
org的每级的每个方向的复小波子带的立体视觉图,将S
org的第m级的第q个方向的复小波子带的立体视觉图记为
其中,符号“||”为求复数的模值,cos()为求余弦函数,
并根据
和
获取S
org的直流复小波子带的立体视觉图,记为
其中,
根据L
dis实施M级复小波变换后得到的每级的每个方向的复小波子带的复杂细胞信息矩阵和R
dis实施M级复小波变换后得到的每级的每个方向的复小波子带的复杂细胞信息矩阵,获取S
dis的每级的每个方向的复小波子带的立体视觉图,将S
dis的第m级的第q个方向的复小波子带的立体视觉图记为
其中,
并根据
和
获取S
dis的直流复小波子带的立体视觉图,记为
其中,
⑧采用尺寸大小为5×5的滑动窗口在S
org的每级的每个方向的复小波子带的立体视觉图中逐像素点移动,将S
org的每级的每个方向的复小波子带的立体视觉图分割成多个相重叠的且尺寸大小为5×5的图像块;采用尺寸大小为5×5的滑动窗口在
中逐像素点移动,将
分割成多个相重叠的且尺寸大小为5×5的图像块;
采用尺寸大小为5×5的滑动窗口在S
dis的每级的每个方向的复小波子带的立体视觉图中逐像素点移动,将S
dis的每级的每个方向的复小波子带的立体视觉图分割成多个相重叠的且尺寸大小为5×5的图像块;采用尺寸大小为5×5的滑动窗口在
中逐像素点移动,将
分割成多个相重叠的且尺寸大小为5×5的图像块;
⑨分别获取Sorg的每级的每个方向的复小波子带的立体视觉图及Sorg的直流复小波子带的立体视觉图中的每个图像块的双目恰可觉察失真值及双目恰可觉察失真值的失真权重;
分别获取Sdis的每级的每个方向的复小波子带的立体视觉图及Sdis的直流复小波子带的立体视觉图中的每个图像块的双目恰可觉察失真值及双目恰可觉察失真值的失真权重;
⑩对S
org的每级的每个方向的复小波子带的立体视觉图中的每个图像块进行失真权重加权,得到S
org的每级的每个方向的复小波子带的加权后立体视觉图,将S
org的第m级的第q个方向的复小波子带的加权后立体视觉图记为
将
中坐标位置为(x,y)的图像块中坐标位置为(u,v)的像素点的像素值记为
其中,在此1≤x≤w
q,m-4,1≤y≤h
q,m-4,1≤u≤5,1≤v≤5,
表示
中坐标位置为(x,y)的图像块中坐标位置为(u,v)的像素点的像素值,
表示
中坐标位置为(x,y)的图像块的双目恰可觉察失真值的失真权重;
对
中的每个图像块进行失真权重加权,得到S
org的直流复小波子带的加权后立体视觉图,将S
org的直流复小波子带的加权后立体视觉图记为
将
中坐标位置为(x,y)的图像块中坐标位置为(u,v)的像素点的像素值记为
其中,在此1≤x≤w
DC-4,1≤y≤h
DC-4,1≤u≤5,1≤v≤5,
表示
中坐标位置为(x,y)的图像块中坐标位置为(u,v)的像素点的像素值,
表示
中坐标位置为(x,y)的图像块的双目恰可觉察失真值的失真权重;
对S
dis的每级的每个方向的复小波子带的立体视觉图中的每个图像块进行失真权重加权,得到S
dis的每级的每个方向的复小波子带的加权后立体视觉图,将S
dis的第m级的第q个方向的复小波子带的加权后立体视觉图记为
将
中坐标位置为(x,y)的图像块中坐标位置为(u,v)的像素点的像素值记为
其中,在此1≤x≤w
q,m-4,1≤y≤h
q,m-4,1≤u≤5,1≤v≤5,
表示
中坐标位置为(x,y)的图像块中坐标位置为(u,v)的像素点的像素值,
表示
中坐标位置为(x,y)的图像块的双目恰可觉察失真值的失真权重;
对
中的每个图像块进行失真权重加权,得到S
dis的直流复小波子带的加权后立体视觉图,将S
dis的直流复小波子带的加权后立体视觉图记为
将
中坐标位置为(x,y)的图像块中坐标位置为(u,v)的像素点的像素值记为
其中,在此1≤x≤w
DC-4,1≤y≤h
DC-4,1≤u≤5,1≤v≤5,
表示
中坐标位置为(x,y)的图像块中坐标位置为(u,v)的像素点的像素值,
表示
中坐标位置为(x,y)的图像块的双目恰可觉察失真值的失真权重;
计算S
org和S
dis同级的同个方向的复小波子带的加权后立体视觉图中所有的坐标位置相同的两个图像块之间的梯度结构相似度,将S
org的第m级的第q个方向的复小波子带的加权后立体视觉图
中坐标位置为(x,y)的图像块和S
dis的第m级的第q个方向的复小波子带的加权后立体视觉图
中坐标位置为(x,y)的图像块之间的梯度结构相似度记为
其中,
表示
中坐标位置为(x,y)的图像块中的所有像素点的像素值的均值,
表示
中坐标位置为(x,y)的图像块中的所有像素点的像素值的均值,
表示
中坐标位置为(x,y)的图像块中的所有像素点的像素值的方差,
表示
中坐标位置为(x,y)的图像块中的所有像素点的像素值的方差,
表示
中坐标位置为(x,y)的图像块与
中坐标位置为(x,y)的图像块的相关系数,
表示
中坐标位置为(x,y)的图像块中坐标位置为(u,v)的像素点的像素值,
表示
中坐标位置为(x,y)的图像块中坐标位置为(u,v)的像素点的像素值,C
1、C
2、C
3均为防止分母为零的常数,α=1、β=1、γ=1;
计算S
org的直流复小波子带的加权后立体视觉图
和S
dis的直流复小波子带的加权后立体视觉图
中所有的坐标位置相同的两个图像块之间的梯度结构相似度,将S
org的直流复小波子带的加权后立体视觉图
中坐标位置为(x,y)的图像块和S
dis的直流复小波子带的加权后立体视觉图
中坐标位置为(x,y)的图像块之间的梯度结构相似度记为
其中,
表示
中坐标位置为(x,y)的图像块中的所有像素点的像素值的均值,
表示
中坐标位置为(x,y)的图像块中的所有像素点的像素值的均值,
表示
中坐标位置为(x,y)的图像块中的所有像素点的像素值的方差,
表示
中坐标位置为(x,y)的图像块中的所有像素点的像素值的方差,
表示
中坐标位置为(x,y)的图像块与
中坐标位置为(x,y)的图像块的相关系数,
表示
中坐标位置为(x,y)的图像块中坐标位置为(u,v)的像素点的像素值,
表示
中坐标位置为(x,y)的图像块中坐标位置为(u,v)的像素点的像素值;
计算S
dis相对于S
org的立体视觉评价度量值,记为Q
d,
根据S
dis相对于S
org的双目融合质量评价指标值Q
s和S
dis相对于S
org的立体视觉评价度量值Q
d,计算S
dis的图像质量评价分值,记为Q,Q=Q
s×(Q
d)
λ,其中,λ为常数,λ表示乘性系数。
所述的步骤⑤和所述的步骤
中ω
q,m的确定过程为:当q=1或q=2时,
当q=3时,
其中,f表示复小波变换的频率,a
m为区间[0,0.5]分成M个子区间后的第m个子区间的下限,
b
m为区间[0,0.5]分成M个子区间后的第m个子区间的上限,
所述的步骤⑤和所述的步骤
中ω
DC的确定过程为:ω
DC=ω
1,M+ω
3,M或ω
DC=ω
2,M+ω
3,M,其中,ω
1,M表示S
org的第M级的第1个方向的复小波子带的双目融合图
和S
dis的第M级的第1个方向的复小波子带的双目融合图
的视觉敏感度权值,ω
3,M表示S
org的第M级的第3个方向的复小波子带的双目融合图
和S
dis的第M级的第3个方向的复小波子带的双目融合图
的视觉敏感度权值,ω
2,M表示S
org的第M级的第2个方向的复小波子带的双目融合图
和S
dis的第M级的第2个方向的复小波子带的双目融合图
的视觉敏感度权值。
所述的步骤⑨的具体过程为:
⑨-1、计算S
org的每级的每个方向的复小波子带的立体视觉图中的每个图像块的背景亮度的恰可觉察失真值,将S
org的第m级的第q个方向的复小波子带的立体视觉图
中坐标位置为(x,y)的图像块的背景亮度的恰可觉察失真值记为
其中,在此1≤x≤w
q,m-4,1≤y≤h
q,m-4,
B(h
1,h
2)为平均背景亮度算子B中下标为(h
1,h
2)处的值,1≤h
1≤5,1≤h
2≤5,
表示
中坐标位置为(x,y)的图像块中坐标位置为(h
1,h
2)的像素点的像素值;
计算S
org的直流复小波子带的立体视觉图
中的每个图像块的背景亮度的恰可觉察失真值,将S
org的直流复小波子带的立体视觉图
中坐标位置为(x,y)的图像块的背景亮度的恰可觉察失真值记为
其中,在此1≤x≤w
DC-4,1≤y≤h
DC-4,
表示
中坐标位置为(x,y)的图像块中坐标位置为(h
1,h
2)的像素点的像素值;
计算S
dis的每级的每个方向的复小波子带的立体视觉图中的每个图像块的背景亮度的恰可觉察失真值,将S
dis的第m级的第q个方向的复小波子带的立体视觉图
中坐标位置为(x,y)的图像块的背景亮度的恰可觉察失真值记为
其中,在此1≤x≤w
q,m-4,1≤y≤h
q,m-4,
表示
中坐标位置为(x,y)的图像块中坐标位置为(h
1,h
2)的像素点的像素值;
计算S
dis的直流复小波子带的立体视觉图中的每个图像块的背景亮度的恰可觉察失真值,将S
dis的直流复小波子带的立体视觉图
中坐标位置为(x,y)的图像块的背景亮度的恰可觉察失真值记为
其中,在此1≤x≤w
DC-4,1≤y≤h
DC-4,
表示
中坐标位置为(x,y)的图像块中坐标位置为(h
1,h
2)的像素点的像素值;
⑨-2、计算S
org的每级的每个方向的复小波子带的立体视觉图中的每个图像块的纹理掩蔽的恰可觉察失真值,将S
org的第m级的第q个方向的复小波子带的立体视觉图
中坐标位置为(x,y)的图像块的纹理掩蔽的恰可觉察失真值记为
其中,在此1≤x≤w
q,m-4,1≤y≤h
q,m-4,max()为取最大值函数,在此“||”为取绝对值符号,G
k(h
1,h
2)表示第k个方向的高斯平均加权因子G
k中下标为(h
1,h
2)处的加权值,第1个方向的高斯平均加权因子G
1为水平方向的高斯平均加权因子,第2个方向的高斯平均加权因子G
2为垂直方向的高斯平均加权因子,第3个方向的高斯平均加权因子G
3为45度角方向的高斯平均加权因子,第4个方向的高斯平均加权因子G
4为135度角方向的高斯平均加权因子,β'为调节因子;
计算S
org的直流复小波子带的立体视觉图
中的每个图像块的纹理掩蔽的恰可觉察失真值,将S
org的直流复小波子带的立体视觉图
中坐标位置为(x,y)的图像块的纹理掩蔽的恰可觉察失真值记为
其中,在此1≤x≤w
DC-4,1≤y≤h
DC-4;
计算S
dis的每级的每个方向的复小波子带的立体视觉图中的每个图像块的纹理掩蔽的恰可觉察失真值,将S
dis的第m级的第q个方向的复小波子带的立体视觉图
中坐标位置为(x,y)的图像块的纹理掩蔽的恰可觉察失真值记为
其中,在此1≤x≤w
q,m-4,1≤y≤h
q,m-4;
计算S
dis的直流复小波子带的立体视觉图中的每个图像块的纹理掩蔽的恰可觉察失真值,将S
dis的直流复小波子带的立体视觉图
中坐标位置为(x,y)的图像块的纹理掩蔽的恰可觉察失真值记为
其中,在此1≤x≤w
DC-4,1≤y≤h
DC-4;
⑨-3、计算S
org的每级的每个方向的复小波子带的立体视觉图的空间对比灵敏度,将S
org的第m级的第q个方向的复小波子带的立体视觉图
的空间对比灵敏度记为
表示
的空间频率,
表示
的行频率,
表示
中坐标位置为(i,j)的像素点的像素值,
表示
中坐标位置为(i,j-1)的像素点的像素值,
表示
的列频率,
表示
中坐标位置为(i-1,j)的像素点的像素值;
计算S
org的直流复小波子带的立体视觉图
的空间对比灵敏度,记为
表示
的空间频率,
表示
的行频率,
表示
中坐标位置为(i,j)的像素点的像素值,
表示
中坐标位置为(i,j-1)的像素点的像素值,
表示
的列频率,
表示
中坐标位置为(i-1,j)的像素点的像素值;
计算S
dis的每级的每个方向的复小波子带的立体视觉图的空间对比灵敏度,将S
dis的第m级的第q个方向的复小波子带的立体视觉图
的空间对比灵敏度记为
表示
的空间频率,
表示
的行频率,
表示
中坐标位置为(i,j)的像素点的像素值,
表示
中坐标位置为(i,j-1)的像素点的像素值,
表示
的列频率,
表示
中坐标位置为(i-1,j)的像素点的像素值;
计算S
dis的直流复小波子带的立体视觉图
的空间对比灵敏度,记为
表示
的空间频率,
表示
的行频率,
表示
中坐标位置为(i,j)的像素点的像素值,
表示
中坐标位置为(i,j-1)的像素点的像素值,
表示
的列频率,
表示
中坐标位置为(i-1,j)的像素点的像素值;
⑨-4、计算S
org的每级的每个方向的复小波子带的立体视觉图中的每个图像块的中心凹位置权重,将S
org的第m级的第q个方向的复小波子带的立体视觉图
中坐标位置为(x,y)的图像块的中心凹位置权重记为
其中,在此1≤x≤w
q,m-4,1≤y≤h
q,m-4,在此i
c和j
c分别表示
中的中心像素点的横坐标和纵坐标,
σ表示高斯函数的尺度参数,
计算S
org的直流复小波子带的立体视觉图
中的每个图像块的中心凹位置权重,将S
org的直流复小波子带的立体视觉图
中坐标位置为(x,y)的图像块的中心凹位置权重记为
其中,在此1≤x≤w
DC-4,1≤y≤h
DC-4,在此i
c和j
c分别表示
中的中心像素点的横坐标和纵坐标,
σ表示高斯函数的尺度参数,
计算S
dis的每级的每个方向的复小波子带的立体视觉图中的每个图像块的中心凹位置权重,将S
dis的第m级的第q个方向的复小波子带的立体视觉图
中坐标位置为(x,y)的图像块的中心凹位置权重记为
其中,在此1≤i≤w
q,m-4,1≤j≤h
q,m-4,在此i
c和j
c分别表示
中的中心像素点的横坐标和纵坐标,
σ表示高斯函数的尺度参数,
计算S
dis的直流复小波子带的立体视觉图
中的每个图像块的中心凹位置权重,将S
dis的直流复小波子带的立体视觉图
中坐标位置为(x,y)的图像块的中心凹位置权重记为
其中,在此1≤x≤w
DC-4,1≤y≤h
DC-4,在此i
c和j
c分别表示
中的中心像素点的横坐标和纵坐标,
σ表示高斯函数的尺度参数,
⑨-5、依据Canny边缘算子分别将S
org的每级的每个方向的复小波子带的立体视觉图、S
org的直流复小波子带的立体视觉图
S
dis的每级的每个方向的复小波子带的立体视觉图和S
dis的直流复小波子带的立体视觉图
中的图像块划分到边缘区域或非边缘区域;
计算S
org的每级的每个方向的复小波子带的立体视觉图中的每个图像块的双目恰可觉察失真值,将S
org的第m级的第q个方向的复小波子带的立体视觉图
中坐标位置为(x,y)的图像块的双目恰可觉察失真值,记为
其中,max()为取最大值函数,min()为取最小值函数;
计算S
org的直流复小波子带的立体视觉图
中的每个图像块的双目恰可觉察失真值,将S
org的直流复小波子带的立体视觉图
中坐标位置为(x,y)的图像块的双目恰可觉察失真值,记为
计算S
dis的每级的每个方向的复小波子带的立体视觉图中的每个图像块的双目恰可觉察失真值,将S
dis的第m级的第q个方向的复小波子带的立体视觉图
中坐标位置为(x,y)的图像块的双目恰可觉察失真值,记为
计算S
dis的直流复小波子带的立体视觉图
中的每个图像块的双目恰可觉察失真值,将S
dis的直流复小波子带的立体视觉图
中坐标位置为(x,y)的图像块的双目恰可觉察失真值,记为
⑨-6、计算S
org的每级的每个方向的复小波子带的立体视觉图中的每个图像块的双目恰可觉察失真值的失真权重,将S
org的第m级的第q个方向的复小波子带的立体视觉图
中坐标位置为(x,y)的图像块的双目恰可觉察失真值的失真权重,记为
其中,
表示S
org的第m级的第q个方向的复小波子带的立体视觉图
中的所有图像块的双目恰可觉察失真值中的最大值,
表示S
org的第m级的第q个方向的复小波子带的立体视觉图
中的所有图像块的双目恰可觉察失真值中的最小值;
计算S
org的直流复小波子带的立体视觉图
中的每个图像块的双目恰可觉察失真值的失真权重,将S
org的直流复小波子带的立体视觉图
中坐标位置为(x,y)的图像块的双目恰可觉察失真值的失真权重,记为
其中,
表示S
org的直流复小波子带的立体视觉图
中的所有图像块的双目恰可觉察失真值中的最大值,
表示S
org的直流复小波子带的立体视觉图
中的所有图像块的双目恰可觉察失真值中的最小值;
计算S
dis的每级的每个方向的复小波子带的立体视觉图中的每个图像块的双目恰可觉察失真值的失真权重,将S
dis的第m级的第q个方向的复小波子带的立体视觉图
中坐标位置为(x,y)的图像块的双目恰可觉察失真值的失真权重,记为
其中,
表示S
dis的第m级的第q个方向的复小波子带的立体视觉图
中的所有图像块的双目恰可觉察失真值中的最大值,
表示S
dis的第m级的第q个方向的复小波子带的立体视觉图
中的所有图像块的双目恰可觉察失真值中的最小值;
计算S
dis的直流复小波子带的立体视觉图
中的每个图像块的双目恰可觉察失真值的失真权重,将S
dis的直流复小波子带的立体视觉图
中坐标位置为(x,y)的图像块的双目恰可觉察失真值的失真权重,记为
其中,
表示S
dis的直流复小波子带的立体视觉图
中的所有图像块的双目恰可觉察失真值中的最大值,
表示S
dis的直流复小波子带的立体视觉图
中的所有图像块的双目恰可觉察失真值中的最小值。
所述的步骤⑨-1中平均背景亮度算子 所述的步骤⑨-2中 所述的步骤⑨-2中β'=2/17。
所述的步骤中λ的获取过程为:
、采用n幅无失真的立体图像建立其在不同失真类型不同失真程度下的失真立体图像集,该失真立体图像集包括多幅失真的立体图像,其中,n≥1;
、采用主观质量评价方法获取该失真立体图像集中的每幅失真的立体图像的平均主观评分差值,记为DMOS,DMOS=100-MOS,其中,MOS表示主观评分均值,DMOS∈[0,100];
、根据步骤①至步骤
的操作过程,计算该失真立体图像集中的每幅失真的立体图像相对于对应的无失真的立体图像的双目融合质量评价指标值Q
s和立体视觉评价度量值Q
d;
、采用乘性加权的数学拟合方法Q=Q
s×(Q
d)
λ拟合该失真立体图像集中的每幅失真的立体图像的平均主观评分差值DMOS及每幅失真的立体图像相对于对应的无失真的立体图像的双目融合质量评价指标值和立体视觉评价度量值,得到λ值。
与现有技术相比,本发明的优点在于:本发明方法从人类双目信息的传输过程角度考虑,即人眼双目视觉信息从光信号进入双眼后,先经过了简单细胞来确定双眼各自接收的信息,再传输复杂细胞来汇聚来自双眼的信息;接着进入到更高层次的视皮层进行加工处理,如双目竞争、双目融合、双目抑制等特性;最后由人的大脑感知信息,认识世界,对上述本发明方法通过复小波变换来获取简单细胞信息矩阵,再根据这些复小波变换的各项系数汇聚成复杂细胞信息矩阵;接着在这些复杂细胞信息矩阵基础上,进行两方面的评价,一是融合双目复杂细胞信息矩阵得到双目融合图像,再根据人眼对不同频率的双目信息具有不同视觉敏感度特性,最后得到双目融合图像评价质量;二是从复杂细胞信息矩阵中提取双目立体感知信息,从立体视差角度考虑,再结合双目的掩蔽特性,人眼在视觉感知过程中会受到背景亮度的变化、纹理掩蔽特性及空间对比灵敏度等特性的影响,来获取立体视觉感知评价质量;最后结合这两部分的评价得到最终的立体图像质量评价结果,而该评价结果与人眼的主观感知性能具有较好的一致性,更加符合人眼的主观感知。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种基于双目信息处理的立体图像质量评价方法,其总体实现框图如图1所示,其总体处理过程为:令Lorg表示原始的无失真的立体图像的左视点图像的亮度图,令Rorg表示原始的无失真的立体图像的右视点图像的亮度图,令Ldis表示待评价的失真的立体图像的左视点图像的亮度图,令Rdis表示待评价的失真的立体图像的右视点图像的亮度图;对Lorg、Rorg、Ldis和Rdis分别实施M级复小波变换,得到的系数矩阵作为简单细胞信息矩阵,其中,1≤M≤5;根据Lorg、Rorg、Ldis和Rdis各自对应的简单细胞信息矩阵获取对应的复杂细胞信息矩阵;根据Lorg和Rorg各自对应的复杂细胞信息矩阵,获取原始的无失真的立体图像对应的双目融合图,并根据Ldis和Rdis各自对应的复杂细胞信息矩阵,获取待评价的失真的立体图像对应的双目融合图;根据原始的无失真的立体图像对应的双目融合图和待评价的失真的立体图像对应的双目融合图,获取待评价的失真的立体图像相对于原始的无失真的立体图像的双目融合质量评价指标值;根据Lorg和Rorg各自对应的复杂细胞信息矩阵,获取原始的无失真的立体图像对应的立体视觉图,并根据Ldis和Rdis各自对应的复杂细胞信息矩阵,获取待评价的失真的立体图像对应的立体视觉图;获取原始的无失真的立体图像对应的立体视觉图中的每个5×5的图像块的双目恰可觉察失真值及双目恰可觉察失真值的失真权重,并获取待评价的失真的立体图像对应的立体视觉图中的每个5×5的图像块的双目恰可觉察失真值及双目恰可觉察失真值的失真权重;利用原始的无失真的立体图像对应的立体视觉图中的每个5×5的图像块的双目恰可觉察失真值的失真权重,获得原始的无失真的立体图像对应的加权后立体视觉图,并利用待评价的失真的立体图像对应的立体视觉图中的每个5×5的图像块的双目恰可觉察失真值的失真权重,获得待评价的失真的立体图像对应的加权后立体视觉图;获取原始的无失真的立体图像对应的加权后立体视觉图和待评价的失真的立体图像对应的加权后立体视觉图中位置相同的图像块之间的梯度结构相似度,再根据梯度结构相似度获取待评价的失真的立体图像相对于原始的无失真的立体图像的立体视觉评价度量值;根据双目融合质量评价指标值和立体视觉评价度量值,获取待评价的失真的立体图像的图像质量评价分值。
本发明方法具体包括以下步骤:
①令Sorg表示原始的无失真的立体图像,令Sdis表示待评价的失真的立体图像,然后分别将Sorg的左视点图像和右视点图像以及Sdis的左视点图像和右视点图像从RGB颜色空间转换到YUV颜色空间,得到Sorg的左视点图像的亮度图(Y通道图)、第一色度图(U通道图)、第二色度图(V通道图),Sorg的右视点图像的亮度图、第一色度图、第二色度图,Sdis的左视点图像的亮度图、第一色度图、第二色度图,Sdis的右视点图像的亮度图、第一色度图、第二色度图,将Sorg的左视点图像的亮度图记为Lorg,将Sorg的右视点图像的亮度图记为Rorg,将Sdis的左视点图像的亮度图记为Ldis,将Sdis的右视点图像的亮度图记为Rdis。
②对L
org实施M级复小波变换,得到每级的三个方向的复小波子带的系数矩阵、一个直流复小波子带的系数矩阵,并将这些系数矩阵作为简单细胞信息矩阵,将L
org实施第m级复小波变换后得到的第m级的第q个方向的复小波子带的系数矩阵记为
将L
org实施M级复小波变换后得到的直流复小波子带的系数矩阵记为
其中,1≤M≤5,1≤m≤M,三个方向分别为水平方向、垂直方向和对角线方向,q=1,2,3,当q=1时第q个方向为水平方向、当q=2时第q个方向为垂直方向、当q=3时第q个方向为对角线方向。
对R
org实施M级复小波变换,得到每级的三个方向的复小波子带的系数矩阵、一个直流复小波子带的系数矩阵,并将这些系数矩阵作为简单细胞信息矩阵,将R
org实施第m级复小波变换后得到的第m级的第q个方向的复小波子带的系数矩阵记为
将R
org实施M级复小波变换后得到的直流复小波子带的系数矩阵记为
对L
dis实施M级复小波变换,得到每级的三个方向的复小波子带的系数矩阵、一个直流复小波子带的系数矩阵,并将这些系数矩阵作为简单细胞信息矩阵,将L
dis实施第m级复小波变换后得到的第m级的第q个方向的复小波子带的系数矩阵记为
将L
dis实施M级复小波变换后得到的直流复小波子带的系数矩阵记为
对R
dis实施M级复小波变换,得到每级的三个方向的复小波子带的系数矩阵、一个直流复小波子带的系数矩阵,并将这些系数矩阵作为简单细胞信息矩阵,将R
dis实施第m级复小波变换后得到的第m级的第q个方向的复小波子带的系数矩阵记为
将R
dis实施M级复小波变换后得到的直流复小波子带的系数矩阵记为
③获取L
org实施M级复小波变换后得到的每级的三个方向的复小波子带的复杂细胞信息矩阵,将L
org实施第m级复小波变换后得到的第m级的第q个方向的复小波子带的复杂细胞信息矩阵记为
其中,
exp()表示以自然基数e为底的指数函数,符号“||”为求复数的模值,arctan()表示反正切函数,
表示
的实部,
表示
的虚部;并获取L
org实施M级复小波变换后得到的直流复小波子带的复杂细胞信息矩阵,记为
其中,
表示
的实部,
表示
的虚部。
获取R
org实施M级复小波变换后得到的每级的三个方向的复小波子带的复杂细胞信息矩阵,将R
org实施第m级复小波变换后得到的第m级的第q个方向的复小波子带的复杂细胞信息矩阵记为
其中,
表示
的实部,
表示
的虚部;并获取R
org实施M级复小波变换后得到的直流复小波子带的复杂细胞信息矩阵,记为
其中,
表示
的实部,
表示
的虚部。
获取L
dis实施M级复小波变换后得到的每级的三个方向的复小波子带的复杂细胞信息矩阵,将L
dis实施第m级复小波变换后得到的第m级的第q个方向的复小波子带的复杂细胞信息矩阵记为
其中,
表示
的实部,
表示
的虚部;并获取L
dis实施M级复小波变换后得到的直流复小波子带的复杂细胞信息矩阵,记为
其中,
表示
的实部,
表示
的虚部。
获取R
dis实施M级复小波变换后得到的每级的三个方向的复小波子带的复杂细胞信息矩阵,将R
dis实施第m级复小波变换后得到的第m级的第q个方向的复小波子带的复杂细胞信息矩阵记为
其中,
表示
的实部,
表示
的虚部;并获取R
dis实施M级复小波变换后得到的直流复小波子带的复杂细胞信息矩阵,记为
其中,
表示
的实部,
表示
的虚部。
④根据L
org实施M级复小波变换后得到的每级的每个方向的复小波子带的复杂细胞信息矩阵和R
org实施M级复小波变换后得到的每级的每个方向的复小波子带的复杂细胞信息矩阵,获取S
org的每级的每个方向的复小波子带的双目融合图,将S
org的第m级的第q个方向的复小波子带的双目融合图记为
其中,符号“||”为求复数的模值,cos()为求余弦函数,
并根据
和
获取S
org的直流复小波子带的双目融合图,记为
其中,
根据L
dis实施M级复小波变换后得到的每级的每个方向的复小波子带的复杂细胞信息矩阵和R
dis实施M级复小波变换后得到的每级的每个方向的复小波子带的复杂细胞信息矩阵,获取S
dis的每级的每个方向的复小波子带的双目融合图,将S
dis的第m级的第q个方向的复小波子带的双目融合图记为
其中,
并根据
和
获取S
dis的直流复小波子带的双目融合图,记为
其中,
⑤计算S
org与S
dis所有的同级的同方向的两个复小波子带的双目融合图的双目融合峰值信噪比,将
与
的双目融合峰值信噪比记为BFPSNR
q,m,
其中,w
q,m表示
和
的宽度,h
q,m表示
和
的高度,
“||
1”为1范数符号,
表示
中坐标位置为(i,j)的像素点的像素值,
表示
中坐标位置为(i,j)的像素点的像素值,ω
q,m表示
和
的视觉敏感度权值。
计算S
org的直流复小波子带的双目融合图
与S
dis的直流复小波子带的双目融合图
的双目融合峰值信噪比,记为BFPSNR
DC,
其中,w
DC表示
和
的宽度,h
DC表示
和
的高度,
“||
1”为1范数符号,
表示
中坐标位置为(i,j)的像素点的像素值,
表示
中坐标位置为(i,j)的像素点的像素值,ω
DC表示
和
的视觉敏感度权值。
⑥计算Sdis相对于Sorg的双目融合质量评价指标值,记为Qs,
⑦根据L
org实施M级复小波变换后得到的每级的每个方向的复小波子带的复杂细胞信息矩阵和R
org实施M级复小波变换后得到的每级的每个方向的复小波子带的复杂细胞信息矩阵,获取S
org的每级的每个方向的复小波子带的立体视觉图,将S
org的第m级的第q个方向的复小波子带的立体视觉图记为
其中,符号“||”为求复数的模值,cos()为求余弦函数,
并根据
和
获取S
org的直流复小波子带的立体视觉图,记为
其中,
根据L
dis实施M级复小波变换后得到的每级的每个方向的复小波子带的复杂细胞信息矩阵和R
dis实施M级复小波变换后得到的每级的每个方向的复小波子带的复杂细胞信息矩阵,获取S
dis的每级的每个方向的复小波子带的立体视觉图,将S
dis的第m级的第q个方向的复小波子带的立体视觉图记为
其中,
并根据
和
获取S
dis的直流复小波子带的立体视觉图,记为
其中,
⑧采用尺寸大小为5×5的滑动窗口在S
org的每级的每个方向的复小波子带的立体视觉图中逐像素点移动,将S
org的每级的每个方向的复小波子带的立体视觉图分割成多个相重叠的且尺寸大小为5×5的图像块;采用尺寸大小为5×5的滑动窗口在
中逐像素点移动,将
分割成多个相重叠的且尺寸大小为5×5的图像块。
采用尺寸大小为5×5的滑动窗口在S
dis的每级的每个方向的复小波子带的立体视觉图中逐像素点移动,将S
dis的每级的每个方向的复小波子带的立体视觉图分割成多个相重叠的且尺寸大小为5×5的图像块;采用尺寸大小为5×5的滑动窗口在
中逐像素点移动,将
分割成多个相重叠的且尺寸大小为5×5的图像块。
⑨分别获取Sorg的每级的每个方向的复小波子带的立体视觉图及Sorg的直流复小波子带的立体视觉图中的每个图像块的双目恰可觉察失真值及双目恰可觉察失真值的失真权重。
分别获取Sdis的每级的每个方向的复小波子带的立体视觉图及Sdis的直流复小波子带的立体视觉图中的每个图像块的双目恰可觉察失真值及双目恰可觉察失真值的失真权重。
在此具体实施例中,步骤⑨的具体过程为:
⑨-1、计算S
org的每级的每个方向的复小波子带的立体视觉图中的每个图像块的背景亮度的恰可觉察失真值,将S
org的第m级的第q个方向的复小波子带的立体视觉图
中坐标位置为(x,y)的图像块的背景亮度的恰可觉察失真值记为
其中,在此1≤x≤w
q,m-4,1≤y≤h
q,m-4,
B(h
1,h
2)为平均背景亮度算子B中下标为(h
1,h
2)处的值,1≤h
1≤5,1≤h
2≤5,
表示
中坐标位置为(x,y)的图像块中坐标位置为(h
1,h
2)的像素点的像素值。
计算S
org的直流复小波子带的立体视觉图
中的每个图像块的背景亮度的恰可觉察失真值,将S
org的直流复小波子带的立体视觉图
中坐标位置为(x,y)的图像块的背景亮度的恰可觉察失真值记为
其中,在此1≤x≤w
DC-4,1≤y≤h
DC-4,
表示
中坐标位置为(x,y)的图像块中坐标位置为(h
1,h
2)的像素点的像素值。
计算S
dis的每级的每个方向的复小波子带的立体视觉图中的每个图像块的背景亮度的恰可觉察失真值,将S
dis的第m级的第q个方向的复小波子带的立体视觉图
中坐标位置为(x,y)的图像块的背景亮度的恰可觉察失真值记为
其中,在此1≤x≤w
q,m-4,1≤y≤h
q,m-4,
表示
中坐标位置为(x,y)的图像块中坐标位置为(h
1,h
2)的像素点的像素值。
计算S
dis的直流复小波子带的立体视觉图中的每个图像块的背景亮度的恰可觉察失真值,将S
dis的直流复小波子带的立体视觉图
中坐标位置为(x,y)的图像块的背景亮度的恰可觉察失真值记为
其中,在此1≤x≤w
DC-4,1≤y≤h
DC-4,
表示
中坐标位置为(x,y)的图像块中坐标位置为(h
1,h
2)的像素点的像素值。
在此,平均背景亮度算子
⑨-2、计算S
org的每级的每个方向的复小波子带的立体视觉图中的每个图像块的纹理掩蔽的恰可觉察失真值,将S
org的第m级的第q个方向的复小波子带的立体视觉图
中坐标位置为(x,y)的图像块的纹理掩蔽的恰可觉察失真值记为
其中,在此1≤x≤w
q,m-4,1≤y≤h
q,m-4,max()为取最大值函数,在此“||”为取绝对值符号,G
k(h
1,h
2)表示第k个方向的高斯平均加权因子G
k中下标为(h
1,h
2)处的加权值,第1个方向的高斯平均加权因子G
1为水平方向的高斯平均加权因子,第2个方向的高斯平均加权因子G
2为垂直方向的高斯平均加权因子,第3个方向的高斯平均加权因子G
3为45度角方向的高斯平均加权因子,第4个方向的高斯平均加权因子G
4为135度角方向的高斯平均加权因子,β'为调节因子。
计算S
org的直流复小波子带的立体视觉图
中的每个图像块的纹理掩蔽的恰可觉察失真值,将S
org的直流复小波子带的立体视觉图
中坐标位置为(x,y)的图像块的纹理掩蔽的恰可觉察失真值记为
其中,在此1≤x≤w
DC-4,1≤y≤h
DC-4。
计算S
dis的每级的每个方向的复小波子带的立体视觉图中的每个图像块的纹理掩蔽的恰可觉察失真值,将S
dis的第m级的第q个方向的复小波子带的立体视觉图
中坐标位置为(x,y)的图像块的纹理掩蔽的恰可觉察失真值记为
其中,在此1≤x≤w
q,m-4,1≤y≤h
q,m-4。
计算S
dis的直流复小波子带的立体视觉图中的每个图像块的纹理掩蔽的恰可觉察失真值,将S
dis的直流复小波子带的立体视觉图
中坐标位置为(x,y)的图像块的纹理掩蔽的恰可觉察失真值记为
其中,在此1≤x≤w
DC-4,1≤y≤h
DC-4。
在此, β'=2/17,该值是经主观实验得到。
⑨-3、计算S
org的每级的每个方向的复小波子带的立体视觉图的空间对比灵敏度,将S
org的第m级的第q个方向的复小波子带的立体视觉图
的空间对比灵敏度记为
表示
的空间频率,
表示
的行频率,
表示
中坐标位置为(i,j)的像素点的像素值,
表示
中坐标位置为(i,j-1)的像素点的像素值,
表示
的列频率,
表示
中坐标位置为(i-1,j)的像素点的像素值。
计算S
org的直流复小波子带的立体视觉图
的空间对比灵敏度,记为
表示
的空间频率,
表示
的行频率,
表示
中坐标位置为(i,j)的像素点的像素值,
表示
中坐标位置为(i,j-1)的像素点的像素值,
表示
的列频率,
表示
中坐标位置为(i-1,j)的像素点的像素值。
计算S
dis的每级的每个方向的复小波子带的立体视觉图的空间对比灵敏度,将S
dis的第m级的第q个方向的复小波子带的立体视觉图
的空间对比灵敏度记为
表示
的空间频率,
表示
的行频率,
表示
中坐标位置为(i,j)的像素点的像素值,
表示
中坐标位置为(i,j-1)的像素点的像素值,
表示
的列频率,
表示
中坐标位置为(i-1,j)的像素点的像素值。
计算S
dis的直流复小波子带的立体视觉图
的空间对比灵敏度,记为
表示
的空间频率,
表示
的行频率,
表示
中坐标位置为(i,j)的像素点的像素值,
表示
中坐标位置为(i,j-1)的像素点的像素值,
表示
的列频率,
表示
中坐标位置为(i-1,j)的像素点的像素值。
⑨-4、计算S
org的每级的每个方向的复小波子带的立体视觉图中的每个图像块的中心凹位置权重,将S
org的第m级的第q个方向的复小波子带的立体视觉图
中坐标位置为(x,y)的图像块的中心凹位置权重记为
其中,在此1≤x≤w
q,m-4,1≤y≤h
q,m-4,在此i
c和j
c分别表示
中的中心像素点的横坐标和纵坐标,
σ表示高斯函数的尺度参数,
计算S
org的直流复小波子带的立体视觉图
中的每个图像块的中心凹位置权重,将S
org的直流复小波子带的立体视觉图
中坐标位置为(x,y)的图像块的中心凹位置权重记为
其中,在此1≤x≤w
DC-4,1≤y≤h
DC-4,在此i
c和j
c分别表示
中的中心像素点的横坐标和纵坐标,
σ表示高斯函数的尺度参数,
计算S
dis的每级的每个方向的复小波子带的立体视觉图中的每个图像块的中心凹位置权重,将S
dis的第m级的第q个方向的复小波子带的立体视觉图
中坐标位置为(x,y)的图像块的中心凹位置权重记为
其中,在此1≤i≤w
q,m-4,1≤j≤h
q,m-4,在此i
c和j
c分别表示
中的中心像素点的横坐标和纵坐标,
σ表示高斯函数的尺度参数,
计算S
dis的直流复小波子带的立体视觉图
中的每个图像块的中心凹位置权重,将S
dis的直流复小波子带的立体视觉图
中坐标位置为(x,y)的图像块的中心凹位置权重记为
其中,在此1≤x≤w
DC-4,1≤y≤h
DC-4,在此i
c和j
c分别表示
中的中心像素点的横坐标和纵坐标,
σ表示高斯函数的尺度参数,
⑨-5、依据Canny边缘算子分别将S
org的每级的每个方向的复小波子带的立体视觉图、S
org的直流复小波子带的立体视觉图
S
dis的每级的每个方向的复小波子带的立体视觉图和S
dis的直流复小波子带的立体视觉图
中的图像块划分到边缘区域或非边缘区域。
计算S
org的每级的每个方向的复小波子带的立体视觉图中的每个图像块的双目恰可觉察失真值,将S
org的第m级的第q个方向的复小波子带的立体视觉图
中坐标位置为(x,y)的图像块的双目恰可觉察失真值,记为
其中,max()为取最大值函数,min()为取最小值函数。
计算S
org的直流复小波子带的立体视觉图
中的每个图像块的双目恰可觉察失真值,将S
org的直流复小波子带的立体视觉图
中坐标位置为(x,y)的图像块的双目恰可觉察失真值,记为
计算S
dis的每级的每个方向的复小波子带的立体视觉图中的每个图像块的双目恰可觉察失真值,将S
dis的第m级的第q个方向的复小波子带的立体视觉图
中坐标位置为(x,y)的图像块的双目恰可觉察失真值,记为
计算S
dis的直流复小波子带的立体视觉图
中的每个图像块的双目恰可觉察失真值,将S
dis的直流复小波子带的立体视觉图
中坐标位置为(x,y)的图像块的双目恰可觉察失真值,记为
⑨-6、计算S
org的每级的每个方向的复小波子带的立体视觉图中的每个图像块的双目恰可觉察失真值的失真权重,将S
org的第m级的第q个方向的复小波子带的立体视觉图
中坐标位置为(x,y)的图像块的双目恰可觉察失真值的失真权重,记为
其中,
表示S
org的第m级的第q个方向的复小波子带的立体视觉图
中的所有图像块的双目恰可觉察失真值中的最大值,
表示S
org的第m级的第q个方向的复小波子带的立体视觉图
中的所有图像块的双目恰可觉察失真值中的最小值。
计算S
org的直流复小波子带的立体视觉图
中的每个图像块的双目恰可觉察失真值的失真权重,将S
org的直流复小波子带的立体视觉图
中坐标位置为(x,y)的图像块的双目恰可觉察失真值的失真权重,记为
其中,
表示S
org的直流复小波子带的立体视觉图
中的所有图像块的双目恰可觉察失真值中的最大值,
表示S
org的直流复小波子带的立体视觉图
中的所有图像块的双目恰可觉察失真值中的最小值。
计算S
dis的每级的每个方向的复小波子带的立体视觉图中的每个图像块的双目恰可觉察失真值的失真权重,将S
dis的第m级的第q个方向的复小波子带的立体视觉图
中坐标位置为(x,y)的图像块的双目恰可觉察失真值的失真权重,记为
其中,
表示S
dis的第m级的第q个方向的复小波子带的立体视觉图
中的所有图像块的双目恰可觉察失真值中的最大值,
表示S
dis的第m级的第q个方向的复小波子带的立体视觉图
中的所有图像块的双目恰可觉察失真值中的最小值。
计算S
dis的直流复小波子带的立体视觉图
中的每个图像块的双目恰可觉察失真值的失真权重,将S
dis的直流复小波子带的立体视觉图
中坐标位置为(x,y)的图像块的双目恰可觉察失真值的失真权重,记为
其中,
表示S
dis的直流复小波子带的立体视觉图
中的所有图像块的双目恰可觉察失真值中的最大值,
表示S
dis的直流复小波子带的立体视觉图
中的所有图像块的双目恰可觉察失真值中的最小值。
⑩对S
org的每级的每个方向的复小波子带的立体视觉图中的每个图像块进行失真权重加权,得到S
org的每级的每个方向的复小波子带的加权后立体视觉图,将S
org的第m级的第q个方向的复小波子带的加权后立体视觉图记为
将
中坐标位置为(x,y)的图像块中坐标位置为(u,v)的像素点的像素值记为
其中,在此1≤x≤w
q,m-4,1≤y≤h
q,m-4,1≤u≤5,1≤v≤5,
表示
中坐标位置为(x,y)的图像块中坐标位置为(u,v)的像素点的像素值,
表示
中坐标位置为(x,y)的图像块的双目恰可觉察失真值的失真权重。
对
中的每个图像块进行失真权重加权,得到S
org的直流复小波子带的加权后立体视觉图,将S
org的直流复小波子带的加权后立体视觉图记为
将
中坐标位置为(x,y)的图像块中坐标位置为(u,v)的像素点的像素值记为
其中,在此1≤x≤w
DC-4,1≤y≤h
DC-4,1≤u≤5,1≤v≤5,
表示
中坐标位置为(x,y)的图像块中坐标位置为(u,v)的像素点的像素值,
表示
中坐标位置为(x,y)的图像块的双目恰可觉察失真值的失真权重。
对S
dis的每级的每个方向的复小波子带的立体视觉图中的每个图像块进行失真权重加权,得到S
dis的每级的每个方向的复小波子带的加权后立体视觉图,将S
dis的第m级的第q个方向的复小波子带的加权后立体视觉图记为
将
中坐标位置为(x,y)的图像块中坐标位置为(u,v)的像素点的像素值记为
其中,在此1≤x≤w
q,m-4,1≤y≤h
q,m-4,1≤u≤5,1≤v≤5,
表示
中坐标位置为(x,y)的图像块中坐标位置为(u,v)的像素点的像素值,
表示
中坐标位置为(x,y)的图像块的双目恰可觉察失真值的失真权重。
对
中的每个图像块进行失真权重加权,得到S
dis的直流复小波子带的加权后立体视觉图,将S
dis的直流复小波子带的加权后立体视觉图记为
将
中坐标位置为(x,y)的图像块中坐标位置为(u,v)的像素点的像素值记为
其中,在此1≤x≤w
DC-4,1≤y≤h
DC-4,1≤u≤5,1≤v≤5,
表示
中坐标位置为(x,y)的图像块中坐标位置为(u,v)的像素点的像素值,
表示
中坐标位置为(x,y)的图像块的双目恰可觉察失真值的失真权重。
计算S
org和S
dis同级的同个方向的复小波子带的加权后立体视觉图中所有的坐标位置相同的两个图像块之间的梯度结构相似度,将S
org的第m级的第q个方向的复小波子带的加权后立体视觉图
中坐标位置为(x,y)的图像块和S
dis的第m级的第q个方向的复小波子带的加权后立体视觉图
中坐标位置为(x,y)的图像块之间的梯度结构相似度记为
其中,
表示
中坐标位置为(x,y)的图像块中的所有像素点的像素值的均值,
表示
中坐标位置为(x,y)的图像块中的所有像素点的像素值的均值,
表示
中坐标位置为(x,y)的图像块中的所有像素点的像素值的方差,
表示
中坐标位置为(x,y)的图像块中的所有像素点的像素值的方差,
表示
中坐标位置为(x,y)的图像块与
中坐标位置为(x,y)的图像块的相关系数,
表示
中坐标位置为(x,y)的图像块中坐标位置为(u,v)的像素点的像素值,
表示
中坐标位置为(x,y)的图像块中坐标位置为(u,v)的像素点的像素值,C
1、C
2、C
3均为防止分母为零的常数,C
1=2.56,C
2=2,C
3=7.68,α=1、β=1、γ=1。
计算S
org的直流复小波子带的加权后立体视觉图
和S
dis的直流复小波子带的加权后立体视觉图
中所有的坐标位置相同的两个图像块之间的梯度结构相似度,将S
org的直流复小波子带的加权后立体视觉图
中坐标位置为(x,y)的图像块和S
dis的直流复小波子带的加权后立体视觉图
中坐标位置为(x,y)的图像块之间的梯度结构相似度记为
其中,
表示
中坐标位置为(x,y)的图像块中的所有像素点的像素值的均值,
表示
中坐标位置为(x,y)的图像块中的所有像素点的像素值的均值,
表示
中坐标位置为(x,y)的图像块中的所有像素点的像素值的方差,
表示
中坐标位置为(x,y)的图像块中的所有像素点的像素值的方差,
表示
中坐标位置为(x,y)的图像块与
中坐标位置为(x,y)的图像块的相关系数,
表示
中坐标位置为(x,y)的图像块中坐标位置为(u,v)的像素点的像素值,
表示
中坐标位置为(x,y)的图像块中坐标位置为(u,v)的像素点的像素值。
计算S
dis相对于S
org的立体视觉评价度量值,记为Q
d,
根据Sdis相对于Sorg的双目融合质量评价指标值Qs和Sdis相对于Sorg的立体视觉评价度量值Qd,计算Sdis的图像质量评价分值,记为Q,Q=Qs×(Qd)λ,其中,λ为常数,λ表示乘性系数。
在本实施例中,λ的获取过程为:
、采用n幅无失真的立体图像建立其在不同失真类型不同失真程度下的失真立体图像集,该失真立体图像集包括多幅失真的立体图像,其中,n≥1。
、采用主观质量评价方法获取该失真立体图像集中的每幅失真的立体图像的平均主观评分差值,记为DMOS,DMOS=100-MOS,其中,MOS表示主观评分均值,DMOS∈[0,100]。
、根据步骤①至步骤
的操作过程,计算该失真立体图像集中的每幅失真的立体图像相对于对应的无失真的立体图像的双目融合质量评价指标值Q
s和立体视觉评价度量值Q
d。
、采用乘性加权的数学拟合方法Q=Q
s×(Q
d)
λ拟合该失真立体图像集中的每幅失真的立体图像的平均主观评分差值DMOS及每幅失真的立体图像相对于对应的无失真的立体图像的双目融合质量评价指标值和立体视觉评价度量值,得到λ值。在此,λ从[-10,10]范围内通过统计得到最佳的Q值来选取λ。
在本实施例中,步骤⑤和步骤
中ω
q,m的确定过程为:当q=1或q=2时,
当q=3时,
其中,f表示复小波变换的频率,a
m为区间[0,0.5]分成M个子区间后的第m个子区间的下限,
b
m为区间[0,0.5]分成M个子区间后的第m个子区间的上限,
ω
DC的确定过程为:ω
DC=ω
1,M+ω
3,M或ω
DC=ω
2,M+ω
3,M,其中,ω
1,M表示S
org的第M级的第1个方向的复小波子带的双目融合图
和S
dis的第M级的第1个方向的复小波子带的双目融合图
的视觉敏感度权值,ω
3,M表示S
org的第M级的第3个方向的复小波子带的双目融合图
和S
dis的第M级的第3个方向的复小波子带的双目融合图
的视觉敏感度权值,ω
2,M表示S
org的第M级的第2个方向的复小波子带的双目融合图
和S
dis的第M级的第2个方向的复小波子带的双目融合图
的视觉敏感度权值。
在本实施例中,利用如图2a、图2b、图2c、图2d、图2e、图2f、图2g、图2h、图2i、图2j、图2k、图2l所示的12幅无失真的立体图像,通过对这12幅无失真的立体图像进行五种不同失真类型,且每一种失真类型包括几种不同失真程度下的失真处理,得到共312幅失真的立体图像,其中JPEG压缩的失真的立体图像共60幅,JPEG2000压缩的失真的立体图像共60幅,白噪声失真的立体图像共60幅,高斯模糊失真的立体图像共60幅,H.264编码失真的立体图像共72幅。再对这312幅失真的立体图像采用公知的主观质量评价方法进行主观质量评价,得到这312幅失真的立体图像各自的平均主观评分差值(DMOS,Difference Mean Opinion Scores),即每幅失真的立体图像的主观质量评分值。DMOS为主观评分均值(MOS)和满分(100)的差值,即DMOS=100-MOS,因此,DMOS值越大表示失真的立体图像的质量越差,DMOS值越小表示失真的立体图像的质量越好,且DMOS的取值范围为[0,100]。对上述312幅失真的立体图像和12幅无失真的立体图像根据步骤①至步骤
相同的操作计算得到每幅失真的立体图像相对于相应的无失真的立体图像的双目融合质量评价指标值Q
s和立体视觉评价度量值Q
d。然后采用乘性加权得到这312幅失真的立体图像的DMOS与相应的双目融合质量评价指标值Q
s及立体视觉评价度量值Q
d之间的相关性分析、单调性及误差分析。这里,利用评估图像质量评价方法的3个常用客观参量作为评价指标,即非线性回归条件下的相关系数(CC)、秩排序相关系数(SROCC)及均方误差指标(RMSE)。CC和RMSE反映了立体图像客观评价方法与主观感知质量之间的准确性,SROCC反映了立体图像客观评价方法与主观感知质量之间的单调性。CC、SROCC值越大,说明评价性能越好,RMSE值越小,说明评价性能越好,反之亦然。图3a给出了乘性系数λ与上述312幅失真的立体图像的评价指标CC的拟合曲线,图3b给出了乘性系数λ与上述312幅失真的立体图像的评价指标SROCC的拟合曲线,图3c给出了乘性系数λ与上述312幅失真的立体图像的评价指标RMSE的拟合曲线,图3a、图3b和图3c中的横坐标表示λ的变化值,纵坐标表示相应的评价指标,λ值的大小决定了双目融合质量评价指标值Q
s和立体视觉评价度量值Q
d对图像质量评价分值Q的贡献大小。从图3a、图3b和图3c中可知,λ取值的变化对该立体图像质量客观方法与主观感知之间的评价性能影响较大,都是在十分位上进行波动,在图3a、图3b和图3c中都存在极值点,一个极大值和一个极小值,当λ取值为4时,立体图像质量客观评价方法与主观感知之间的一致性达到最佳,故在本实施方案中取λ=4。
分析本实施例得到的失真的立体图像的图像质量评价分值Q=Qs×(Qd)4的最终评价结果与平均主观评分差值DMOS之间的相关性。按本实施例计算得到的失真的立体图像的图像质量评价指标Q做四参数Logistic函数非线性拟合,然后分析拟合后的预测值与主观感知之间的相关特性。实验结果如表1所列,CC和SROCC值的取值范围为[0,1],其值越高说明客观评价方法与DMOS相关性越好,RMSE值越低说明客观评价方法与DMOS相关性越好。根据表1所列的数据可见,CC和SROCC值都超过0.93,除了白噪声失真的SROCC值外,RMSE值低于5.8,说明最终评价结果的输出值Q与平均主观评分差值DMOS之间的相关性很好,与人眼主观感知的结果一致,说明了本发明方法的有效性和可行性。
表1失真的立体图像的图像质量评价分值与平均主观评分差值之间的相关性
|
CC |
SROCC |
RMSE |
高斯模糊失真的立体图像(60幅) |
0.9673 |
0.9626 |
5.3524 |
JPEG2000压缩的失真的立体图像(60幅) |
0.9582 |
0.9543 |
3.4293 |
JPEG压缩的失真的立体图像(60幅) |
0.9458 |
0.9491 |
4.6274 |
白噪声失真的立体图像(60幅) |
0.9464 |
0.9032 |
5.0470 |
H.264编码失真的立体图像(72幅) |
0.9663 |
0.9617 |
3.6097 |
失真立体图像集(312幅) |
0.9425 |
0.9338 |
5.7430 |