发明内容
本发明所要解决的技术问题是提供一种立体图像质量客观评价方法,其能够有效地提高客观评价结果与主观感知之间的相关性。
本发明解决上述技术问题所采用的技术方案为:一种立体图像质量客观评价方法,其特征在于包括以下步骤:
①令Sorg表示原始的无失真立体图像,令Sdis表示Sorg失真后得到的失真立体图像,将Sorg的左视点图像记为{Lorg(x,y)},将Sorg的右视点图像记为{Rorg(x,y)},将Sdis的左视点图像记为{Ldis(x,y)},将Sdis的右视点图像记为{Rdis(x,y)},其中,1≤x≤W,1≤y≤H,W表示Sorg和Sdis的宽度,H表示Sorg和Sdis的高度,Lorg(x,y)表示{Lorg(x,y)}中坐标位置为(x,y)的像素点的像素值,Rorg(x,y)表示{Rorg(x,y)}中坐标位置为(x,y)的像素点的像素值,Ldis(x,y)表示{Ldis(x,y)}中坐标位置为(x,y)的像素点的像素值,Rdis(x,y)表示{Rdis(x,y)}中坐标位置为(x,y)的像素点的像素值;
②计算{Lorg(x,y)}中的每个像素点经外侧膝状体处理后的响应输出,将{Lorg(x,y)}中坐标位置为(x,y)的像素点经外侧膝状体处理后的响应输出记为并计算{Rorg(x,y)}中的每个像素点经外侧膝状体处理后的响应输出,将{Rorg(x,y)}中坐标位置为(x,y)的像素点经外侧膝状体处理后的响应输出记为
同样,计算{Ldis(x,y)}中的每个像素点经外侧膝状体处理后的响应输出,将{Ldis(x,y)}中坐标位置为(x,y)的像素点经外侧膝状体处理后的响应输出记为并计算{Rdis(x,y)}中的每个像素点经外侧膝状体处理后的响应输出,将{Rdis(x,y)}中坐标位置为(x,y)的像素点经外侧膝状体处理后的响应输出记为
③根据{Lorg(x,y)}中的每个像素点经外侧膝状体处理后的响应输出,计算{Lorg(x,y)}中的每个像素点经初级视皮层单目处理后的响应输出,将{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层单目处理后的响应输出记为并根据{Rorg(x,y)}中的每个像素点经外侧膝状体处理后的响应输出,计算{Rorg(x,y)}中的每个像素点经初级视皮层单目处理后的响应输出,将{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层单目处理后的响应输出记为然后计算{Lorg(x,y)}和{Rorg(x,y)}中同坐标位置的像素点经初级视皮层双目处理后的在不同视差平面上的响应输出,将{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层双目处理后的在视差平面d上的响应输出记为其中,d表示视差平面的坐标位置;
同样,根据{Ldis(x,y)}中的每个像素点经外侧膝状体处理后的响应输出,计算{Ldis(x,y)}中的每个像素点经初级视皮层单目处理后的响应输出,将{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层单目处理后的响应输出记为并根据{Rdis(x,y)}中的每个像素点经外侧膝状体处理后的响应输出,计算{Rdis(x,y)}中的每个像素点经初级视皮层单目处理后的响应输出,将{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层单目处理后的响应输出记为然后计算{Ldis(x,y)}和{Rdis(x,y)}中同坐标位置的像素点经初级视皮层双目处理后的在不同视差平面上的响应输出,将{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层双目处理后的在视差平面d上的响应输出记为
④计算{Lorg(x,y)}和{Rorg(x,y)}中同坐标位置的像素点经第二视皮层双目处理后的在不同视差平面上的响应输出,将{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经第二视皮层双目处理后的在视差平面d上的响应输出记为
同样,计算{Ldis(x,y)}和{Rdis(x,y)}中同坐标位置的像素点经第二视皮层双目处理后的在不同视差平面上的响应输出,将{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经第二视皮层双目处理后的在视差平面d上的响应输出记为
⑤根据{Lorg(x,y)}中的所有像素点经外侧膝状体处理后的响应输出和{Ldis(x,y)}中对应的像素点经外侧膝状体处理后的响应输出、{Rorg(x,y)}中的所有像素点经外侧膝状体处理后的响应输出和{Rdis(x,y)}中对应的像素点经外侧膝状体处理后的响应输出、{Lorg(x,y)}中的所有像素点经初级视皮层单目处理后的响应输出和{Ldis(x,y)}中对应的像素点经初级视皮层单目处理后的响应输出、{Rorg(x,y)}中的所有像素点经初级视皮层单目处理后的响应输出和{Rdis(x,y)}中对应的像素点经初级视皮层单目处理后的响应输出、{Lorg(x,y)}和{Rorg(x,y)}中同坐标位置的像素点经初级视皮层双目处理后的在不同视差平面上的响应输出及{Ldis(x,y)}和{Rdis(x,y)}中同坐标位置的像素点经初级视皮层双目处理后的在不同视差平面上的响应输出、{Lorg(x,y)}和{Rorg(x,y)}中同坐标位置的像素点经第二视皮层双目处理后的在不同视差平面上的响应输出及{Ldis(x,y)}和{Rdis(x,y)}中同坐标位置的像素点经第二视皮层双目处理后的在不同视差平面上的响应输出,计算Sdis的质量矢量,记为F,其中,F的维数为1×6;
⑥对由P幅失真立体图像构成的立体图像库,将立体图像库中的第p幅失真立体图像的平均主观评分差值记为DMOSp;接着按照步骤①至步骤⑤获取Sdis的质量矢量F的操作,以相同的方式获取立体图像库中的每幅失真立体图像的质量矢量,将立体图像库中的第p幅失真立体图像的质量矢量记为Fp;其中,P的大小由立体图像库而定,1≤p≤P,DMOSp∈[0,100],Fp的维数为1×6;
⑦随机选择立体图像库中的多幅失真立体图像构成训练集,将立体图像库中剩余的多幅失真立体图像构成测试集;并令m表示迭代的次数,其中,m的初始值为0;
⑧假设训练集中包含Q幅失真立体图像,则测试集中包含P-Q幅失真立体图像;然后将训练集中的所有失真立体图像各自的质量矢量和平均主观评分差值构成训练样本数据集合;接着采用支持向量回归作为机器学习的方法,对训练样本数据集合中的所有质量矢量进行训练,使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小,拟合得到最优的支持向量回归训练模型,记为f(Finp);之后根据最优的支持向量回归训练模型,对测试集中的每幅失真立体图像的质量矢量进行测试,预测得到测试集中的每幅失真立体图像的客观质量评价预测值,将测试集中的第n幅失真立体图像的客观质量评价预测值记为Qn,Qn=f(Fn);再令m=m+1;其中,1<Q<P,f()为函数表示形式,Finp表示支持向量回归训练模型的输入矢量,1≤n≤P-Q,Fn表示测试集中的第n幅失真立体图像的质量矢量,m=m+1中的“=”为赋值符号;
⑨判断m<M是否成立,如果成立,则重新随机分配构成训练集的失真立体图像和构成测试集的失真立体图像,然后返回步骤⑧继续执行;否则,计算立体图像库中的每幅失真立体图像的多个客观质量评价预测值的平均值,并将计算得到的平均值作为对应那幅失真立体图像的最终的客观质量评价预测值;其中,M表示设定的总迭代次数,M>100。
所述的步骤②中的 其中,tanh()表示双曲正切函数,kLGN为控制参数,hσ表示标准差为σ的高斯拉普拉斯滤波器,符号为卷积操作符号。
所述的步骤③中的的获取过程为:
③_Lorg1、根据计算{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在不同中心频率和不同方向因子下的反映暗-亮对比度极性的膜电位,将{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为θ下的反映暗-亮对比度极性的膜电位记为 其中,gθ,ω表示中心频率为ω和方向因子为θ的Gabor滤波器,ω表示Gabor滤波器的中心频率,ω∈Ωω,Ωω为Gabor滤波器的中心频率的集合,θ表示Gabor滤波器的方向因子,θ∈Ωθ,Ωθ为Gabor滤波器的方向因子的集合,符号为卷积操作符号,max()为取最大值函数;
③_Lorg2、计算{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在水平方向的反映暗-亮对比度极性的膜电位,记为 并计算{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映暗-亮对比度极性的膜电位,记为 其中,表示{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为0°下的反映暗-亮对比度极性的膜电位,表示{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为90°下的反映暗-亮对比度极性的膜电位;
③_Lorg3、计算{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在水平方向的反映亮-暗对比度极性的膜电位,记为 并计算{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映亮-暗对比度极性的膜电位,记为
③_Lorg4、计算{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的单目3B层处理后的在水平方向的膜电位,记为 其中, 并计算{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的单目3B层处理后的在垂直方向的膜电位,记为 其中,
③_Lorg5、计算{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层单目处理后的响应输出其中,
所述的步骤③中的的获取过程为:
③_Rorg1、根据计算{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在不同中心频率和不同方向因子下的反映暗-亮对比度极性的膜电位,将{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为θ下的反映暗-亮对比度极性的膜电位记为 其中,
③_Rorg2、计算{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在水平方向的反映暗-亮对比度极性的膜电位,记为 并计算{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映暗-亮对比度极性的膜电位,记为 其中,表示{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为0°下的反映暗-亮对比度极性的膜电位,表示{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为90°下的反映暗-亮对比度极性的膜电位;
③_Rorg3、计算{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在水平方向的反映亮-暗对比度极性的膜电位,记为 并计算{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映亮-暗对比度极性的膜电位,记为
③_Rorg4、计算{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的单目3B层处理后的在水平方向的膜电位,记为 其中, 并计算{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的单目3B层处理后的在垂直方向的膜电位,记为 其中,
③_Rorg5、计算{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层单目处理后的响应输出其中,
所述的步骤③中的的获取过程为:
③_LRorg1、计算{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的双目3B层处理后的在视差平面d上的在水平方向的膜电位,记为 其中, s为体视敏度,表示{Lorg(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的4层处理后的在水平方向的反映暗-亮对比度极性的膜电位,表示{Rorg(x,y)}中坐标位置为(x-s,y)的像素点经初级视皮层的4层处理后的在水平方向的反映暗-亮对比度极性的膜电位,表示{Lorg(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的4层处理后的在水平方向的反映亮-暗对比度极性的膜电位,表示{Rorg(x,y)}中坐标位置为(x-s,y)的像素点经初级视皮层的4层处理后的在水平方向的反映亮-暗对比度极性的膜电位,若x+s>W,则以W替代x+s,若x+s<0,则以0替代x+s,若x-s>W,则以W替代x-s,若x-s<0,则以0替代x-s;并计算{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的双目3B层处理后的在视差平面d上的在垂直方向的膜电位,记为 其中, 表示{Lorg(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映暗-亮对比度极性的膜电位,表示{Rorg(x,y)}中坐标位置为(x-s,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映暗-亮对比度极性的膜电位,表示{Lorg(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映亮-暗对比度极性的膜电位,表示{Rorg(x,y)}中坐标位置为(x-s,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映亮-暗对比度极性的膜电位,若x+s>W,则以W替代x+s,若x+s<0,则以0替代x+s,若x-s>W,则以W替代x-s,若x-s<0,则以0替代x-s;
③_LRorg2、计算{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层双目处理后的在视差平面d上的响应输出 其中,
所述的步骤③中的的获取过程为:
③_Ldis1、根据计算{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在不同中心频率和不同方向因子下的反映暗-亮对比度极性的膜电位,将{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为θ下的反映暗-亮对比度极性的膜电位记为 其中,
③_Ldis2、计算{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在水平方向的反映暗-亮对比度极性的膜电位,记为 并计算{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映暗-亮对比度极性的膜电位,记为 其中,表示{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为0°下的反映暗-亮对比度极性的膜电位,表示{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为90°下的反映暗-亮对比度极性的膜电位;
③_Ldis3、计算{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在水平方向的反映亮-暗对比度极性的膜电位,记为 并计算{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映亮-暗对比度极性的膜电位,记为
③_Ldis4、计算{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的单目3B层处理后的在水平方向的膜电位,记为 其中, 并计算{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的单目3B层处理后的在垂直方向的膜电位,记为 其中,
③_Ldis5、计算{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层单目处理后的响应输出其中,
所述的步骤③中的的获取过程为:
③_Rdis1、根据计算{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在不同中心频率和不同方向因子下的反映暗-亮对比度极性的膜电位,将{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为θ下的反映暗-亮对比度极性的膜电位记为 其中,
③_Rdis2、计算{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在水平方向的反映暗-亮对比度极性的膜电位,记为 并计算{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映暗-亮对比度极性的膜电位,记为 其中,表示{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为0°下的反映暗-亮对比度极性的膜电位,表示{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为90°下的反映暗-亮对比度极性的膜电位;
③_Rdis3、计算{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在水平方向的反映亮-暗对比度极性的膜电位,记为 并计算{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映亮-暗对比度极性的膜电位,记为
③_Rdis4、计算{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的单目3B层处理后的在水平方向的膜电位,记为 其中, 并计算{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的单目3B层处理后的在垂直方向的膜电位,记为 其中,
③_Rdis5、计算{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层单目处理后的响应输出其中,
所述的步骤③中的的获取过程为:
③_LRdis1、计算{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的双目3B层处理后的在视差平面d上的在水平方向的膜电位,记为 其中, 表示{Ldis(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的4层处理后的在水平方向的反映暗-亮对比度极性的膜电位,表示{Rdis(x,y)}中坐标位置为(x-s,y)的像素点经初级视皮层的4层处理后的在水平方向的反映暗-亮对比度极性的膜电位,表示{Ldis(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的4层处理后的在水平方向的反映亮-暗对比度极性的膜电位,表示{Rdis(x,y)}中坐标位置为(x-s,y)的像素点经初级视皮层的4层处理后的在水平方向的反映亮-暗对比度极性的膜电位,若x+s>W,则以W替代x+s,若x+s<0,则以0替代x+s,若x-s>W,则以W替代x-s,若x-s<0,则以0替代x-s;并计算{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的双目3B层处理后的在视差平面d上的在垂直方向的膜电位,记为 其中, 表示{Ldis(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映暗-亮对比度极性的膜电位,表示{Rdis(x,y)}中坐标位置为(x-s,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映暗-亮对比度极性的膜电位,表示{Ldis(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映亮-暗对比度极性的膜电位,表示{Rdis(x,y)}中坐标位置为(x-s,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映亮-暗对比度极性的膜电位,若x+s>W,则以W替代x+s,若x+s<0,则以0替代x+s,若x-s>W,则以W替代x-s,若x-s<0,则以0替代x-s;
③_LRdis2、计算{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层双目处理后的在视差平面d上的响应输出 其中,
所述的步骤④中的的获取过程为:
④_LRorg1、计算{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经第二视皮层双目处理后的在视差平面d上的在水平方向的膜电位,记为 并计算{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经第二视皮层双目处理后的在视差平面d上的在垂直方向的膜电位,记为 其中, max()为取最大值函数,s为体视敏度,为补偿参数,β表示单目连接的强度,表示{Lorg(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的单目3B层处理后的在水平方向的膜电位,表示{Rorg(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的单目3B层处理后的在水平方向的膜电位,表示{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的双目3B层处理后的在视差平面d上的在水平方向的膜电位,表示{Lorg(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的单目3B层处理后的在垂直方向的膜电位,表示{Rorg(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的单目3B层处理后的在垂直方向的膜电位,若x+s>W,则以W替代x+s,若x+s<0,则以0替代x+s;
④_LRorg2、计算{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经第二视皮层双目处理后的在视差平面d上的响应输出 其中,
所述的步骤④中的的获取过程为:
④_LRdis1、计算{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经第二视皮层双目处理后的在视差平面d上的在水平方向的膜电位,记为 并计算{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经第二视皮层双目处理后的在视差平面d上的在垂直方向的膜电位,记为 其中, 表示{Ldis(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的单目3B层处理后的在水平方向的膜电位,表示{Rdis(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的单目3B层处理后的在水平方向的膜电位,表示{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的双目3B层处理后的在视差平面d上的在水平方向的膜电位,表示{Ldis(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的单目3B层处理后的在垂直方向的膜电位,表示{Rdis(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的单目3B层处理后的在垂直方向的膜电位,若x+s>W,则以W替代x+s,若x+s<0,则以0替代x+s;
④_LRdis2、计算{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经第二视皮层双目处理后的在视差平面d上的响应输出 其中,
所述的步骤⑤的具体过程为:
⑤_1、计算{Ldis(x,y)}中的每个像素点经外侧膝状体处理后的响应输出的客观评价度量值,将的客观评价度量值记为 并计算{Rdis(x,y)}中的每个像素点经外侧膝状体处理后的响应输出的客观评价度量值,将的客观评价度量值记为其中,C为控制参数;
⑤_2、计算{Ldis(x,y)}中的每个像素点经初级视皮层单目处理后的响应输出的客观评价度量值,将的客观评价度量值记为 并计算{Rdis(x,y)}中的每个像素点经初级视皮层单目处理后的响应输出的客观评价度量值,将的客观评价度量值记为
⑤_3、计算{Ldis(x,y)}和{Rdis(x,y)}中同坐标位置的像素点经初级视皮层双目处理后的在不同视差平面上的响应输出的客观评价度量值,将的客观评价度量值记为
⑤_4、计算{Ldis(x,y)}和{Rdis(x,y)}中同坐标位置的像素点经第二视皮层双目处理后的在不同视差平面上的响应输出的客观评价度量值,将的客观评价度量值记为
⑤_5、计算Sdis的质量矢量F,其中,F的维数为1×6,符号“[]”为矢量表示符号, Ωd表示视差平面的坐标位置的集合,Nd表示视差平面的总个数。
与现有技术相比,本发明的优点在于:
本发明方法充分考虑了人脑层状皮质系统中外侧膝状体、初级视皮层和第二视皮层处理对立体图像质量的影响,通过计算无失真立体图像和失真立体图像各自的左视点图像和右视点图像中的每个像素点经外侧膝状体处理后的响应输出、无失真立体图像和失真立体图像各自的左视点图像和右视点图像中的每个像素点经初级视皮层单目处理后的响应输出、无失真立体图像的左视点图像和右视点图像中同坐标位置的像素点经初级视皮层双目处理后的在不同视差平面上的响应输出、失真立体图像的左视点图像和右视点图像中同坐标位置的像素点经初级视皮层双目处理后的在不同视差平面上的响应输出、无失真立体图像的左视点图像和右视点图像中同坐标位置的像素点经第二视皮层双目处理后的在不同视差平面上的响应输出、失真立体图像的左视点图像和右视点图像中同坐标位置的像素点经第二视皮层双目处理后的在不同视差平面上的响应输出,获得失真立体图像的质量矢量,由于根据人脑层状皮质系统得到的不同阶段的响应输出能够很好地模拟人脑视觉神经处理视觉信息的各个过程,因此该质量矢量能够较好地反映失真立体图像的质量变化情况,从而有效地提高了客观评价结果与主观感知之间的相关性。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种立体图像质量客观评价方法,其总体实现框图如图1所示,其具体包括以下步骤:
①令Sorg表示原始的无失真立体图像,令Sdis表示Sorg失真后得到的失真立体图像,将Sorg的左视点图像记为{Lorg(x,y)},将Sorg的右视点图像记为{Rorg(x,y)},将Sdis的左视点图像记为{Ldis(x,y)},将Sdis的右视点图像记为{Rdis(x,y)},其中,(x,y)表示Sorg和Sdis中的像素点的坐标位置,1≤x≤W,1≤y≤H,W表示Sorg和Sdis的宽度,H表示Sorg和Sdis的高度,Lorg(x,y)表示{Lorg(x,y)}中坐标位置为(x,y)的像素点的像素值,Rorg(x,y)表示{Rorg(x,y)}中坐标位置为(x,y)的像素点的像素值,Ldis(x,y)表示{Ldis(x,y)}中坐标位置为(x,y)的像素点的像素值,Rdis(x,y)表示{Rdis(x,y)}中坐标位置为(x,y)的像素点的像素值。
②计算{Lorg(x,y)}中的每个像素点经外侧膝状体(LGN,lateral geniculatenucleus)处理后的响应输出,将{Lorg(x,y)}中坐标位置为(x,y)的像素点经外侧膝状体处理后的响应输出记为并计算{Rorg(x,y)}中的每个像素点经外侧膝状体(LGN,lateral geniculate nucleus)处理后的响应输出,将{Rorg(x,y)}中坐标位置为(x,y)的像素点经外侧膝状体处理后的响应输出记为
同样,计算{Ldis(x,y)}中的每个像素点经外侧膝状体(LGN,lateral geniculatenucleus)处理后的响应输出,将{Ldis(x,y)}中坐标位置为(x,y)的像素点经外侧膝状体处理后的响应输出记为并计算{Rdis(x,y)}中的每个像素点经外侧膝状体(LGN,lateral geniculate nucleus)处理后的响应输出,将{Rdis(x,y)}中坐标位置为(x,y)的像素点经外侧膝状体处理后的响应输出记为
其中,tanh()表示双曲正切函数,kLGN为控制参数,在本实施例中取kLGN=2π,hσ表示标准差为σ的高斯拉普拉斯(LoG)滤波器,在本实施例中取σ=2,符号为卷积操作符号。
③根据{Lorg(x,y)}中的每个像素点经外侧膝状体处理后的响应输出,计算{Lorg(x,y)}中的每个像素点经初级视皮层(V1层)单目处理后的响应输出,将{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层单目处理后的响应输出记为并根据{Rorg(x,y)}中的每个像素点经外侧膝状体处理后的响应输出,计算{Rorg(x,y)}中的每个像素点经初级视皮层单目处理后的响应输出,将{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层单目处理后的响应输出记为然后计算{Lorg(x,y)}和{Rorg(x,y)}中同坐标位置的像素点经初级视皮层双目处理后的在不同视差平面上的响应输出,将{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层双目处理后的在视差平面d上的响应输出记为其中,d表示视差平面的坐标位置,在本实施例中取d∈{-30,-15,0,15,30}。
同样,根据{Ldis(x,y)}中的每个像素点经外侧膝状体处理后的响应输出,计算{Ldis(x,y)}中的每个像素点经初级视皮层单目处理后的响应输出,将{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层单目处理后的响应输出记为并根据{Rdis(x,y)}中的每个像素点经外侧膝状体处理后的响应输出,计算{Rdis(x,y)}中的每个像素点经初级视皮层单目处理后的响应输出,将{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层单目处理后的响应输出记为然后计算{Ldis(x,y)}和{Rdis(x,y)}中同坐标位置的像素点经初级视皮层双目处理后的在不同视差平面上的响应输出,将{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层双目处理后的在视差平面d上的响应输出记为
在此具体实施例中,步骤③中的的获取过程为:
③_Lorg1、根据计算{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在不同中心频率和不同方向因子下的反映暗-亮对比度极性的膜电位,将{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为θ下的反映暗-亮对比度极性的膜电位记为 其中,gθ,ω表示中心频率为ω和方向因子为θ的Gabor滤波器,ω表示Gabor滤波器的中心频率,ω∈Ωω,Ωω为Gabor滤波器的中心频率的集合,在本实施例中Ωω={1.74,2.47,3.49,4.93,6.98,9.87},θ表示Gabor滤波器的方向因子,θ∈Ωθ,Ωθ为Gabor滤波器的方向因子的集合,在本实施例中Ωθ={0°,90°},符号为卷积操作符号,max()为取最大值函数。
③_Lorg2、计算{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在水平方向的反映暗-亮对比度极性的膜电位,记为 并计算{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映暗-亮对比度极性的膜电位,记为 其中,表示{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为0°下的反映暗-亮对比度极性的膜电位,表示{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为90°下的反映暗-亮对比度极性的膜电位。
③_Lorg3、计算{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在水平方向的反映亮-暗对比度极性的膜电位,记为 并计算{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映亮-暗对比度极性的膜电位,记为
③_Lorg4、计算{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的单目3B层处理后的在水平方向的膜电位,记为 其中, 并计算{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的单目3B层处理后的在垂直方向的膜电位,记为 其中,
③_Lorg5、计算{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层单目处理后的响应输出其中,
在此具体实施例中,步骤③中的的获取过程为:
③_Rorg1、根据计算{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在不同中心频率和不同方向因子下的反映暗-亮对比度极性的膜电位,将{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为θ下的反映暗-亮对比度极性的膜电位记为 其中,
③_Rorg2、计算{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在水平方向的反映暗-亮对比度极性的膜电位,记为 并计算{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映暗-亮对比度极性的膜电位,记为 其中,表示{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为0°下的反映暗-亮对比度极性的膜电位,表示{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为90°下的反映暗-亮对比度极性的膜电位。
③_Rorg3、计算{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在水平方向的反映亮-暗对比度极性的膜电位,记为 并计算{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映亮-暗对比度极性的膜电位,记为
③_Rorg4、计算{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的单目3B层处理后的在水平方向的膜电位,记为 其中, 并计算{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的单目3B层处理后的在垂直方向的膜电位,记为 其中,
③_Rorg5、计算{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层单目处理后的响应输出其中,
在此具体实施例中,步骤③中的的获取过程为:
③_LRorg1、计算{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的双目3B层处理后的在视差平面d上的在水平方向的膜电位,记为 其中, s为体视敏度,在本实施例中,当d=-30时取s=-30,当d=-15时取s=-15,当d=0时取s=0,当d=15时取s=15,当d=30时取s=30,表示{Lorg(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的4层处理后的在水平方向的反映暗-亮对比度极性的膜电位,表示{Rorg(x,y)}中坐标位置为(x-s,y)的像素点经初级视皮层的4层处理后的在水平方向的反映暗-亮对比度极性的膜电位,表示{Lorg(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的4层处理后的在水平方向的反映亮-暗对比度极性的膜电位,表示{Rorg(x,y)}中坐标位置为(x-s,y)的像素点经初级视皮层的4层处理后的在水平方向的反映亮-暗对比度极性的膜电位,若x+s>W,则以W替代x+s,若x+s<0,则以0替代x+s,若x-s>W,则以W替代x-s,若x-s<0,则以0替代x-s;并计算{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的双目3B层处理后的在视差平面d上的在垂直方向的膜电位,记为 其中, 表示{Lorg(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映暗-亮对比度极性的膜电位,表示{Rorg(x,y)}中坐标位置为(x-s,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映暗-亮对比度极性的膜电位,表示{Lorg(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映亮-暗对比度极性的膜电位,表示{Rorg(x,y)}中坐标位置为(x-s,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映亮-暗对比度极性的膜电位,若x+s>W,则以W替代x+s,若x+s<0,则以0替代x+s,若x-s>W,则以W替代x-s,若x-s<0,则以0替代x-s。
③_LRorg2、计算{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层双目处理后的在视差平面d上的响应输出 其中,
在此具体实施例中,步骤③中的的获取过程为:
③_Ldis1、根据计算{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在不同中心频率和不同方向因子下的反映暗-亮对比度极性的膜电位,将{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为θ下的反映暗-亮对比度极性的膜电位记为 其中,
③_Ldis2、计算{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在水平方向的反映暗-亮对比度极性的膜电位,记为 并计算{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映暗-亮对比度极性的膜电位,记为 其中,表示{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为0°下的反映暗-亮对比度极性的膜电位,表示{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为90°下的反映暗-亮对比度极性的膜电位。
③_Ldis3、计算{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在水平方向的反映亮-暗对比度极性的膜电位,记为 并计算{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映亮-暗对比度极性的膜电位,记为
③_Ldis4、计算{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的单目3B层处理后的在水平方向的膜电位,记为 其中, 并计算{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的单目3B层处理后的在垂直方向的膜电位,记为 其中,
③_Ldis5、计算{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层单目处理后的响应输出其中,
在此具体实施例中,步骤③中的的获取过程为:
③_Rdis1、根据计算{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在不同中心频率和不同方向因子下的反映暗-亮对比度极性的膜电位,将{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为θ下的反映暗-亮对比度极性的膜电位记为 其中,
③_Rdis2、计算{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在水平方向的反映暗-亮对比度极性的膜电位,记为 并计算{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映暗-亮对比度极性的膜电位,记为 其中,表示{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为0°下的反映暗-亮对比度极性的膜电位,表示{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为90°下的反映暗-亮对比度极性的膜电位。
③_Rdis3、计算{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在水平方向的反映亮-暗对比度极性的膜电位,记为 并计算{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映亮-暗对比度极性的膜电位,记为
③_Rdis4、计算{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的单目3B层处理后的在水平方向的膜电位,记为 其中, 并计算{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的单目3B层处理后的在垂直方向的膜电位,记为 其中,
③_Rdis5、计算{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层单目处理后的响应输出其中,
在此具体实施例中,步骤③中的的获取过程为:
③_LRdis1、计算{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的双目3B层处理后的在视差平面d上的在水平方向的膜电位,记为 其中, 表示{Ldis(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的4层处理后的在水平方向的反映暗-亮对比度极性的膜电位,表示{Rdis(x,y)}中坐标位置为(x-s,y)的像素点经初级视皮层的4层处理后的在水平方向的反映暗-亮对比度极性的膜电位,表示{Ldis(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的4层处理后的在水平方向的反映亮-暗对比度极性的膜电位,表示{Rdis(x,y)}中坐标位置为(x-s,y)的像素点经初级视皮层的4层处理后的在水平方向的反映亮-暗对比度极性的膜电位,若x+s>W,则以W替代x+s,若x+s<0,则以0替代x+s,若x-s>W,则以W替代x-s,若x-s<0,则以0替代x-s;并计算{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的双目3B层处理后的在视差平面d上的在垂直方向的膜电位,记为 其中, 表示{Ldis(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映暗-亮对比度极性的膜电位,表示{Rdis(x,y)}中坐标位置为(x-s,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映暗-亮对比度极性的膜电位,表示{Ldis(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映亮-暗对比度极性的膜电位,表示{Rdis(x,y)}中坐标位置为(x-s,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映亮-暗对比度极性的膜电位,若x+s>W,则以W替代x+s,若x+s<0,则以0替代x+s,若x-s>W,则以W替代x-s,若x-s<0,则以0替代x-s。
③_LRdis2、计算{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层双目处理后的在视差平面d上的响应输出 其中,
④计算{Lorg(x,y)}和{Rorg(x,y)}中同坐标位置的像素点经第二视皮层(V2层)双目处理后的在不同视差平面上的响应输出,将{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经第二视皮层双目处理后的在视差平面d上的响应输出记为
同样,计算{Ldis(x,y)}和{Rdis(x,y)}中同坐标位置的像素点经第二视皮层(V2层)双目处理后的在不同视差平面上的响应输出,将{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经第二视皮层双目处理后的在视差平面d上的响应输出记为
在此具体实施例中,步骤④中的的获取过程为:
④_LRorg1、计算{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经第二视皮层双目处理后的在视差平面d上的在水平方向的膜电位,记为 并计算{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经第二视皮层双目处理后的在视差平面d上的在垂直方向的膜电位,记为 其中, max()为取最大值函数,s为体视敏度,在本实施例中,当d=-30时取s=-30,当d=-15时取s=-15,当d=0时取s=0,当d=15时取s=15,当d=30时取s=30,为补偿参数,在本实施例中取β表示单目连接的强度,在本实施例中取β=1.42,表示{Lorg(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的单目3B层处理后的在水平方向的膜电位,表示{Rorg(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的单目3B层处理后的在水平方向的膜电位,表示{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的双目3B层处理后的在视差平面d上的在水平方向的膜电位,表示{Lorg(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的单目3B层处理后的在垂直方向的膜电位,表示{Rorg(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的单目3B层处理后的在垂直方向的膜电位,若x+s>W,则以W替代x+s,若x+s<0,则以0替代x+s。
④_LRorg2、计算{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经第二视皮层双目处理后的在视差平面d上的响应输出 其中,
在此具体实施例中,步骤④中的的获取过程为:
④_LRdis1、计算{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经第二视皮层双目处理后的在视差平面d上的在水平方向的膜电位,记为 并计算{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经第二视皮层双目处理后的在视差平面d上的在垂直方向的膜电位,记为 其中, 表示{Ldis(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的单目3B层处理后的在水平方向的膜电位,表示{Rdis(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的单目3B层处理后的在水平方向的膜电位,表示{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的双目3B层处理后的在视差平面d上的在水平方向的膜电位,表示{Ldis(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的单目3B层处理后的在垂直方向的膜电位,表示{Rdis(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的单目3B层处理后的在垂直方向的膜电位,若x+s>W,则以W替代x+s,若x+s<0,则以0替代x+s。
④_LRdis2、计算{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经第二视皮层双目处理后的在视差平面d上的响应输出 其中,
⑤根据{Lorg(x,y)}中的所有像素点经外侧膝状体处理后的响应输出和{Ldis(x,y)}中对应的像素点经外侧膝状体处理后的响应输出、{Rorg(x,y)}中的所有像素点经外侧膝状体处理后的响应输出和{Rdis(x,y)}中对应的像素点经外侧膝状体处理后的响应输出、{Lorg(x,y)}中的所有像素点经初级视皮层单目处理后的响应输出和{Ldis(x,y)}中对应的像素点经初级视皮层单目处理后的响应输出、{Rorg(x,y)}中的所有像素点经初级视皮层单目处理后的响应输出和{Rdis(x,y)}中对应的像素点经初级视皮层单目处理后的响应输出、{Lorg(x,y)}和{Rorg(x,y)}中同坐标位置的像素点经初级视皮层双目处理后的在不同视差平面上的响应输出及{Ldis(x,y)}和{Rdis(x,y)}中同坐标位置的像素点经初级视皮层双目处理后的在不同视差平面上的响应输出、{Lorg(x,y)}和{Rorg(x,y)}中同坐标位置的像素点经第二视皮层双目处理后的在不同视差平面上的响应输出及{Ldis(x,y)}和{Rdis(x,y)}中同坐标位置的像素点经第二视皮层双目处理后的在不同视差平面上的响应输出,计算Sdis的质量矢量,记为F,其中,F的维数为1×6。
在此具体实施例中,步骤⑤的具体过程为:
⑤_1、计算{Ldis(x,y)}中的每个像素点经外侧膝状体处理后的响应输出的客观评价度量值,将的客观评价度量值记为 并计算{Rdis(x,y)}中的每个像素点经外侧膝状体处理后的响应输出的客观评价度量值,将的客观评价度量值记为其中,C为控制参数,在本实施例中取C=0.85。
⑤_2、计算{Ldis(x,y)}中的每个像素点经初级视皮层单目处理后的响应输出的客观评价度量值,将的客观评价度量值记为 并计算{Rdis(x,y)}中的每个像素点经初级视皮层单目处理后的响应输出的客观评价度量值,将的客观评价度量值记为
⑤_3、计算{Ldis(x,y)}和{Rdis(x,y)}中同坐标位置的像素点经初级视皮层双目处理后的在不同视差平面上的响应输出的客观评价度量值,将的客观评价度量值记为
⑤_4、计算{Ldis(x,y)}和{Rdis(x,y)}中同坐标位置的像素点经第二视皮层双目处理后的在不同视差平面上的响应输出的客观评价度量值,将的客观评价度量值记为
⑤_5、计算Sdis的质量矢量F,其中,F的维数为1×6,符号“[]”为矢量表示符号, Ωd表示视差平面的坐标位置的集合,在本实施例中Ωd={-30,-15,0,15,30},Nd表示视差平面的总个数,在本实施例中Nd=5。
⑥对由P幅失真立体图像构成的立体图像库,将立体图像库中的第p幅失真立体图像的平均主观评分差值记为DMOSp;接着按照步骤①至步骤⑤获取Sdis的质量矢量F的操作,以相同的方式获取立体图像库中的每幅失真立体图像的质量矢量,将立体图像库中的第p幅失真立体图像的质量矢量记为Fp;其中,P的大小由立体图像库而定,1≤p≤P,DMOSp∈[0,100],Fp的维数为1×6。
⑦随机选择立体图像库中的多幅失真立体图像构成训练集,将立体图像库中剩余的多幅失真立体图像构成测试集;并令m表示迭代的次数,其中,m的初始值为0。
⑧假设训练集中包含Q幅失真立体图像,则测试集中包含P-Q幅失真立体图像;然后将训练集中的所有失真立体图像各自的质量矢量和平均主观评分差值构成训练样本数据集合;接着采用支持向量回归作为机器学习的方法,对训练样本数据集合中的所有质量矢量进行训练,使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小,拟合得到最优的支持向量回归训练模型,记为f(Finp);之后根据最优的支持向量回归训练模型,对测试集中的每幅失真立体图像的质量矢量进行测试,预测得到测试集中的每幅失真立体图像的客观质量评价预测值,将测试集中的第n幅失真立体图像的客观质量评价预测值记为Qn,Qn=f(Fn);再令m=m+1;其中,1<Q<P,f()为函数表示形式,Finp表示支持向量回归训练模型的输入矢量,1≤n≤P-Q,Fn表示测试集中的第n幅失真立体图像的质量矢量,m=m+1中的“=”为赋值符号。
⑨判断m<M是否成立,如果成立,则重新随机分配构成训练集的失真立体图像和构成测试集的失真立体图像,然后返回步骤⑧继续执行;否则,计算立体图像库中的每幅失真立体图像的多个客观质量评价预测值的平均值,并将计算得到的平均值作为对应那幅失真立体图像的最终的客观质量评价预测值;其中,M表示设定的总迭代次数,M>100。
在此,采用宁波大学立体图像库和LIVE立体图像库来分析本实施例得到的失真立体图像的客观质量评价预测值与平均主观评分差值之间的相关性。宁波大学立体图像库由12幅无失真立体图像在不同失真程度的JPEG压缩情况下的60幅失真立体图像、JPEG2000压缩情况下的60幅失真立体图像、高斯模糊情况下的60幅失真立体图像、高斯白噪声情况下的60幅失真立体图像和H.264编码失真情况下的72幅失真立体图像构成。LIVE立体图像库由20幅无失真立体图像在不同失真程度的JPEG压缩情况下的80幅失真立体图像、JPEG2000压缩情况下的80幅失真立体图像、高斯模糊情况下的45幅失真立体图像、高斯白噪声情况下的80幅失真立体图像和Fast Fading失真情况下的80幅失真立体图像构成。
这里,利用评估图像质量评价方法的2个常用客观参量作为评价指标,即非线性回归条件下的Pearson相关系数(Pearson linear correlation coefficient,PLCC)、Spearman相关系数(Spearman rank order correlation coefficient,SROCC),PLCC反映失真立体图像客观评价结果的准确性,SROCC反映其单调性。
利用本发明方法计算宁波大学立体图像库中的每幅失真立体图像的客观质量评价预测值和LIVE立体图像库中的每幅失真立体图像的客观质量评价预测值,再利用现有的主观质量评价方法获得宁波大学立体图像库中的每幅失真立体图像的平均主观评分差值和LIVE立体图像库中的每幅失真立体图像的平均主观评分差值。将按本发明方法计算得到的失真立体图像的客观质量评价预测值做四参数Logistic函数非线性拟合,PLCC和SROCC值越高,说明客观评价结果与平均主观评分差值之间的相关性越好。表1给出了采用本发明方法得到的失真立体图像的客观质量评价预测值与平均主观评分差值之间的Pearson相关系数,表2给出了采用本发明方法得到的失真立体图像的客观质量评价预测值与平均主观评分差值之间的Spearman相关系数。从表1和表2中可以看出,采用本发明方法得到的失真立体图像的最终的客观质量评价预测值与平均主观评分差值之间的相关性是很高的,表明客观评价结果与人眼主观感知的结果较为一致,足以说明本发明方法的有效性。
表1利用本发明方法得到的失真立体图像的客观质量评价预测值与平均主观评分差值之间的Pearson相关系数比较
表2利用本发明方法得到的失真立体图像的客观质量评价预测值与平均主观评分差值之间的Spearman相关系数比较