CN106412569B - 一种基于特征选择的无参考多失真立体图像质量评价方法 - Google Patents

一种基于特征选择的无参考多失真立体图像质量评价方法 Download PDF

Info

Publication number
CN106412569B
CN106412569B CN201610857224.3A CN201610857224A CN106412569B CN 106412569 B CN106412569 B CN 106412569B CN 201610857224 A CN201610857224 A CN 201610857224A CN 106412569 B CN106412569 B CN 106412569B
Authority
CN
China
Prior art keywords
image
vector
distortion
picture
stereo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201610857224.3A
Other languages
English (en)
Other versions
CN106412569A (zh
Inventor
邵枫
田维军
李福翠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Maiwei Intelligent Technology Co ltd
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN201610857224.3A priority Critical patent/CN106412569B/zh
Publication of CN106412569A publication Critical patent/CN106412569A/zh
Application granted granted Critical
Publication of CN106412569B publication Critical patent/CN106412569B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种基于特征选择的无参考多失真立体图像质量评价方法,其在训练阶段,获取无失真立体图像的不同失真强度的JPEG失真立体图像、高斯模糊失真立体图像、高斯白噪声失真立体图像和多失真立体图像,分别构造四组训练图像集,并分别构造针对JPEG失真、高斯模糊失真和高斯白噪声失真的特征选择函数,采用机器学习方法分别获得针对JPEG失真、高斯模糊失真和高斯白噪声失真的质量预测函数;在测试阶段,根据在训练阶段构造得到的三个特征选择函数和三个质量预测函数,通过简单的预测就能得到针对不同失真类型的质量预测值,并通过结合得到最终的图像质量客观评价预测值,该图像质量客观评价预测值与主观评价值保持了较好的一致性。

Description

一种基于特征选择的无参考多失真立体图像质量评价方法
技术领域
本发明涉及一种图像质量评价技术,尤其是涉及一种基于特征选择的无参考多失真立体图像质量评价方法。
背景技术
随着图像编码和显示等技术的迅速发展,图像质量评价研究已经成为其中非常重要的环节。图像质量客观评价方法研究的目标是与主观评价结果尽可能保持一致,从而摆脱耗时而枯燥的图像质量主观评价方法,其能够利用计算机自动地评价图像质量。根据对原始图像的参考和依赖程度,图像质量客观评价方法可以分为三大类:全参考(FullReference,FR)图像质量评价方法、部分参考(Reduced Reference,RR)图像质量评价方法和无参考(No Reference,NR)图像质量评价方法。
无参考图像质量评价方法由于无需任何参考图像信息,具有较高的灵活性,因此受到了越来越广泛的关注。目前,已有的无参考图像质量评价方法是通过机器学习来预测评价模型的,但是对于多失真图像质量评价问题,现有的针对单失真的预测评价模型并不能直接应用,这是因为:1)多失真图像同时包含多种失真类型,而现有的特征描述在表征不同失真类型上的能力有所差别;2)多失真图像的失真信息是无法事先获取的,而单个的质量预测模型并不能有效地表征多失真信息,因此,如何构造能反映不同失真类型的特征选择方法,如何对不同失真类型建立质量预测模型,都是在无参考多失真图像质量评价研究中需要重点解决的技术问题。
发明内容
本发明所要解决的技术问题是提供一种基于特征选择的无参考多失真立体图像质量评价方法,其考虑了不同特征对不同失真类型的影响,不仅极大地降低了特征维数,而且有效地提高了客观评价结果与主观感知之间的相关性。
本发明解决上述技术问题所采用的技术方案为:一种基于特征选择的无参考多失真立体图像质量评价方法,其特征在于包括训练阶段和测试阶段两个过程;
所述的训练阶段过程的具体步骤如下:
①_1、选取N幅原始的无失真立体图像;然后对每幅原始的无失真立体图像分别进行L个不同失真强度的JPEG失真、L个不同失真强度的高斯模糊失真和L个不同失真强度的高斯白噪声失真,得到每幅原始的无失真立体图像对应的L个失真强度的JPEG失真立体图像、L个失真强度的高斯模糊失真立体图像、L个失真强度的高斯白噪声失真立体图像;并对每幅原始的无失真立体图像同时进行L个不同失真强度的JPEG失真、L个不同失真强度的高斯模糊失真和L个不同失真强度的高斯白噪声失真,得到每幅原始的无失真立体图像对应的L×L×L个失真强度的多失真立体图像;接着将所有原始的无失真立体图像各自对应的L个失真强度的JPEG失真立体图像构成JPEG失真训练图像集,记为并将所有原始的无失真立体图像各自对应的L个失真强度的高斯模糊失真立体图像构成高斯模糊失真训练图像集,记为将所有原始的无失真立体图像各自对应的L个失真强度的高斯白噪声失真立体图像构成高斯白噪声失真训练图像集,记为将所有原始的无失真立体图像各自对应的L×L×L个失真强度的多失真立体图像构成多失真训练图像集,记为其中,N>1,L>1,1≤u≤N,1≤v≤L,1≤v'≤L×L×L,表示第u幅原始的无失真立体图像对应的第v个失真强度的JPEG失真立体图像,表示第u幅原始的无失真立体图像对应的第v个失真强度的高斯模糊失真立体图像,表示第u幅原始的无失真立体图像对应的第v个失真强度的高斯白噪声失真立体图像,表示第u幅原始的无失真立体图像对应的第v'个失真强度的多失真立体图像;
①_2、获取中的每幅失真立体图像的左视点图像和右视点图像各自的图像特征矢量,将中的第k幅失真立体图像的左视点图像和右视点图像各自的图像特征矢量对应记为其中,1≤k≤N×L,的维数均为128×1;
同样,获取中的每幅失真立体图像的左视点图像和右视点图像各自的图像特征矢量,将中的第k幅失真立体图像的左视点图像和右视点图像各自的图像特征矢量对应记为其中,的维数均为128×1;
获取中的每幅失真立体图像的左视点图像和右视点图像各自的图像特征矢量,将中的第k幅失真立体图像的左视点图像和右视点图像各自的图像特征矢量对应记为其中,的维数均为128×1;
获取中的每幅多失真立体图像的左视点图像和右视点图像各自的图像特征矢量,将中的第k'幅多失真立体图像的左视点图像和右视点图像各自的图像特征矢量对应记为其中,1≤k'≤N×L×L×L,的维数均为128×1;
①_3、获取针对JPEG失真的特征选择函数,记为g1();然后获取中的每幅失真立体图像的经特征选择后的图像特征矢量,将中的第k幅失真立体图像的经特征选择后的图像特征矢量记为其中,的维数为30×1;
获取针对高斯模糊失真的特征选择函数,记为g2();然后获取中的每幅失真立体图像的经特征选择后的图像特征矢量,将中的第k幅失真立体图像的经特征选择后的图像特征矢量记为其中,的维数为30×1;
获取针对高斯白噪声失真的特征选择函数,记为g3();然后获取中的每幅失真立体图像的经特征选择后的图像特征矢量,将中的第k幅失真立体图像的经特征选择后的图像特征矢量记为其中,的维数为30×1;
①_4、将中的所有失真立体图像的经特征选择后的图像特征矢量和平均主观评分差值构成第一样本集合,记为然后采用支持向量回归模型作为机器学习的方法,对进行训练,使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小,构造得到第一质量预测函数,记为f1();其中,表示中的第k幅失真立体图像的平均主观评分差值;
同样,将中的所有失真立体图像的经特征选择后的图像特征矢量和平均主观评分差值构成第二样本集合,记为然后采用支持向量回归模型作为机器学习的方法,对进行训练,使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小,构造得到第二质量预测函数,记为f2();其中,表示中的第k幅失真立体图像的平均主观评分差值;
同样,将中的所有失真立体图像的经特征选择后的图像特征矢量和平均主观评分差值构成第三样本集合,记为然后采用支持向量回归模型作为机器学习的方法,对进行训练,使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小,构造得到第三质量预测函数,记为f3();其中,表示中的第k幅失真立体图像的平均主观评分差值;
所述的测试阶段过程的具体步骤如下:
②_1、对于任意一幅测试用的多失真立体图像Stest,将Stest的左视点图像记为Ltest,将Stest的右视点图像记为Rtest
②_2、按照步骤①_2的过程,以相同的操作获取Ltest和Rtest各自的图像特征矢量,对应记为其中,的维数均为128×1;
②_3、根据在训练阶段获取的针对JPEG失真的特征选择函数g1(),获取Stest的第一经特征选择后的图像特征矢量,记为其中,的维数为30×1;
同样,根据在训练阶段获取的针对高斯模糊失真的特征选择函数g2(),获取Stest的第二经特征选择后的图像特征矢量,记为其中,的维数为30×1;
根据在训练阶段获取的针对高斯白噪声失真的特征选择函数g3(),获取Stest的第三经特征选择后的图像特征矢量,记为其中,的维数为30×1;
②_4、根据在训练阶段构造得到的第一质量预测函数f1(),计算Stest的针对JPEG失真的质量预测值,记为Q1同样,根据在训练阶段构造得到的第二质量预测函数f2(),计算Stest的针对高斯模糊失真的质量预测值,记为Q2根据在训练阶段构造得到的第三质量预测函数f3(),计算Stest的针对高斯白噪声失真的质量预测值,记为Q3然后加权Q1、Q2和Q3得到Stest的图像质量客观评价预测值,记为Q,Q=ω1×Q12×Q23×Q3;其中,ω1、ω2和ω3均为加权参数,ω123=1。
所述的步骤①_2中的的获取过程为:采用4个尺度和4个方向的Gabor滤波器、局部二值模式方法、BRISQUE方法及梯度幅值的自然场景统计方法分别对中的第k幅失真立体图像的左视点图像进行处理,对应得到中的第k幅失真立体图像的左视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量,其中,信息熵和标准差特征矢量的维数为32×1,第一图像特征矢量的维数为36×1,第二图像特征矢量的维数为18×1,第三图像特征矢量的维数为42×1;然后将中的第k幅失真立体图像的左视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量按序组合成维数为128×1的矢量,将该矢量作为中的第k幅失真立体图像的左视点图像的图像特征矢量
所述的步骤①_2中的的获取过程为:采用4个尺度和4个方向的Gabor滤波器、局部二值模式方法、BRISQUE方法及梯度幅值的自然场景统计方法分别对中的第k幅失真立体图像的右视点图像进行处理,对应得到中的第k幅失真立体图像的右视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量,其中,信息熵和标准差特征矢量的维数为32×1,第一图像特征矢量的维数为36×1,第二图像特征矢量的维数为18×1,第三图像特征矢量的维数为42×1;然后将中的第k幅失真立体图像的右视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量按序组合成维数为128×1的矢量,将该矢量作为中的第k幅失真立体图像的右视点图像的图像特征矢量
所述的步骤①_2中的的获取过程为:采用4个尺度和4个方向的Gabor滤波器、局部二值模式方法、BRISQUE方法及梯度幅值的自然场景统计方法分别对中的第k幅失真立体图像的左视点图像进行处理,对应得到中的第k幅失真立体图像的左视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量,其中,信息熵和标准差特征矢量的维数为32×1,第一图像特征矢量的维数为36×1,第二图像特征矢量的维数为18×1,第三图像特征矢量的维数为42×1;然后将中的第k幅失真立体图像的左视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量按序组合成维数为128×1的矢量,将该矢量作为中的第k幅失真立体图像的左视点图像的图像特征矢量
所述的步骤①_2中的的获取过程为:采用4个尺度和4个方向的Gabor滤波器、局部二值模式方法、BRISQUE方法及梯度幅值的自然场景统计方法分别对中的第k幅失真立体图像的右视点图像进行处理,对应得到中的第k幅失真立体图像的右视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量,其中,信息熵和标准差特征矢量的维数为32×1,第一图像特征矢量的维数为36×1,第二图像特征矢量的维数为18×1,第三图像特征矢量的维数为42×1;然后将中的第k幅失真立体图像的右视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量按序组合成维数为128×1的矢量,将该矢量作为中的第k幅失真立体图像的右视点图像的图像特征矢量
所述的步骤①_2中的的获取过程为:采用4个尺度和4个方向的Gabor滤波器、局部二值模式方法、BRISQUE方法及梯度幅值的自然场景统计方法分别对中的第k幅失真立体图像的左视点图像进行处理,对应得到中的第k幅失真立体图像的左视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量,其中,信息熵和标准差特征矢量的维数为32×1,第一图像特征矢量的维数为36×1,第二图像特征矢量的维数为18×1,第三图像特征矢量的维数为42×1;然后将中的第k幅失真立体图像的左视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量按序组合成维数为128×1的矢量,将该矢量作为中的第k幅失真立体图像的左视点图像的图像特征矢量
所述的步骤①_2中的的获取过程为:采用4个尺度和4个方向的Gabor滤波器、局部二值模式方法、BRISQUE方法及梯度幅值的自然场景统计方法分别对中的第k幅失真立体图像的右视点图像进行处理,对应得到中的第k幅失真立体图像的右视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量,其中,信息熵和标准差特征矢量的维数为32×1,第一图像特征矢量的维数为36×1,第二图像特征矢量的维数为18×1,第三图像特征矢量的维数为42×1;然后将中的第k幅失真立体图像的右视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量按序组合成维数为128×1的矢量,将该矢量作为中的第k幅失真立体图像的右视点图像的图像特征矢量
所述的步骤①_2中的的获取过程为:采用4个尺度和4个方向的Gabor滤波器、局部二值模式方法、BRISQUE方法及梯度幅值的自然场景统计方法分别对中的第k'幅多失真立体图像的左视点图像进行处理,对应得到中的第k'幅多失真立体图像的左视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量,其中,信息熵和标准差特征矢量的维数为32×1,第一图像特征矢量的维数为36×1,第二图像特征矢量的维数为18×1,第三图像特征矢量的维数为42×1;然后将中的第k'幅多失真立体图像的左视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量按序组合成维数为128×1的矢量,将该矢量作为中的第k'幅多失真立体图像的左视点图像的图像特征矢量
所述的步骤①_2中的的获取过程为:采用4个尺度和4个方向的Gabor滤波器、局部二值模式方法、BRISQUE方法及梯度幅值的自然场景统计方法分别对中的第k'幅多失真立体图像的右视点图像进行处理,对应得到中的第k'幅多失真立体图像的右视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量,其中,信息熵和标准差特征矢量的维数为32×1,第一图像特征矢量的维数为36×1,第二图像特征矢量的维数为18×1,第三图像特征矢量的维数为42×1;然后将中的第k'幅多失真立体图像的右视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量按序组合成维数为128×1的矢量,将该矢量作为中的第k'幅多失真立体图像的右视点图像的图像特征矢量
所述的步骤①_3中针对JPEG失真的特征选择函数g1()的获取过程为:
①_3a1、将中的所有失真立体图像的左视点图像的图像特征矢量构成维数为128×M的矩阵,该矩阵中的第k列为然后将该矩阵转置后并重新表示为[yL(1)(1),yL(1)(2),…,yL(1)(128)];其中,M=N×L,yL(1)(1),yL(1)(2),…,yL(1)(128)对应为[yL(1)(1),yL(1)(2),…,yL(1)(128)]中的第1个列向量、第2个列向量、……、第128个列向量,yL(1)(1)、yL(1)(2)和yL(1)(128)的维数均为M×1;
同样,将中的所有多失真立体图像的左视点图像的图像特征矢量构成维数为128×M'的矩阵,该矩阵中的第k'列为然后将该矩阵转置后并重新表示为[yL(4)(1),yL(4)(2),…,yL(4)(128)];其中,M'=N×L×L×L,yL(4)(1),yL(4)(2),…,yL(4)(128)对应为[yL(4)(1),yL(4)(2),…,yL(4)(128)]中的第1个列向量、第2个列向量、……、第128个列向量,yL(4)(1)、yL(4)(2)和yL(4)(128)的维数均为M'×1;
①_3a2、将[yL(1)(1),yL(1)(2),…,yL(1)(128)]中当前待处理的第i个列向量yL(1)(i)定义为当前第一列向量,将[yL(4)(1),yL(4)(2),…,yL(4)(128)]中当前待处理的第i个列向量yL(4)(i)定义为当前第二列向量;其中,i的初始值为1,1≤i≤128;
①_3a3、计算yL(1)(i)的直方图分布,记为{HL(1),(i)(j)|1≤j≤10};计算yL(4)(i)的直方图分布,记为{HL(4),(i)(j)|1≤j≤10};其中,HL(1),(i)(j)表示{HL(1),(i)(j)|1≤j≤10}中的第j个直方图节点的出现概率,HL(4),(i)(j)表示{HL(4),(i)(j)|1≤j≤10}中的第j个直方图节点的出现概率;
①_3a4、计算{HL(1),(i)(j)|1≤j≤10}与{HL(4),(i)(j)|1≤j≤10}之间的Kullback-Leibler距离,记为dL(1)(i),其中,log()表示以10为底的对数函数;
①_3a5、令i=i+1;然后将[yL(1)(1),yL(1)(2),…,yL(1)(128)]中下一个待处理的第i个列向量yL(1)(i)作为当前第一列向量,将[yL(4)(1),yL(4)(2),…,yL(4)(128)]中下一个待处理的第i个列向量yL(4)(i)作为当前第二列向量;再返回步骤①_3a3继续执行,直至[yL(1)(1),yL(1)(2),…,yL(1)(128)]和[yL(4)(1),yL(4)(2),…,yL(4)(128)]中的所有列向量处理完毕为止,共得到128个Kullback-Leibler距离;其中,i=i+1中的“=”为赋值符号;
①_3a6、按从小到大的顺序排列128个Kullback-Leibler距离;然后将[yL(1)(1),yL (1)(2),…,yL(1)(128)]中与前15个Kullback-Leibler距离各自对应的列向量的位置作为中的每幅失真立体图像的左视点图像的图像特征矢量中应选择的图像特征的位置;
①_3a7、按照步骤①_3a1至步骤①_3a5的过程,以相同的方式对中的所有失真立体图像的右视点图像的图像特征矢量和中的所有多失真立体图像的右视点图像的图像特征矢量进行处理,最终得到对应的128个Kullback-Leibler距离,第i个Kullback-Leibler距离为dR (1)(i);接着从这128个Kullback-Leibler距离中剔除与中的每幅失真立体图像的左视点图像的图像特征矢量中应选择的图像特征的位置相应的15个Kullback-Leibler距离;然后按从小到大的顺序排列剩余的113个Kullback-Leibler距离,并将中的所有失真立体图像的右视点图像的图像特征矢量构成的维数为128×M的矩阵经转置后的重新表示[yR(1)(1),yR(1)(2),…,yR(1)(128)]中与前15个Kullback-Leibler距离各自对应的列向量的位置作为中的每幅失真立体图像的右视点图像的图像特征矢量中应选择的图像特征的位置;其中,yR(1)(1),yR(1)(2),…,yR(1)(128)对应为[yR(1)(1),yR(1)(2),…,yR(1)(128)]中的第1个列向量、第2个列向量、……、第128个列向量,yR(1)(1)、yR(1)(2)和yR(1)(128)的维数均为M×1;
①_3a8、根据中的每幅失真立体图像的左视点图像的图像特征矢量中应选择的图像特征的位置与中的每幅失真立体图像的右视点图像的图像特征矢量中应选择的图像特征的位置,获得针对JPEG失真的特征选择函数g1(),使g1()的输入为中的每幅失真立体图像的左视点图像的图像特征矢量和中的每幅失真立体图像的右视点图像的图像特征矢量,g1()的输出为由根据中的每幅失真立体图像的左视点图像的图像特征矢量中应选择的图像特征的位置而选择的图像特征与根据中的每幅失真立体图像的右视点图像的图像特征矢量中应选择的图像特征的位置而选择的图像特征构成的图像特征矢量;
所述的步骤①_3中针对高斯模糊失真的特征选择函数g2()的获取过程为:
①_3b1、将中的所有失真立体图像的左视点图像的图像特征矢量构成维数为128×M的矩阵,该矩阵中的第k列为然后将该矩阵转置后并重新表示为[yL(2)(1),yL(2)(2),…,yL(2)(128)];其中,M=N×L,yL(2)(1),yL(2)(2),…,yL(2)(128)对应为[yL(2)(1),yL(2)(2),…,yL(2)(128)]中的第1个列向量、第2个列向量、……、第128个列向量,yL(2)(1)、yL(2)(2)和yL(2)(128)的维数均为M×1;
同样,将中的所有多失真立体图像的左视点图像的图像特征矢量构成维数为128×M'的矩阵,该矩阵中的第k'列为然后将该矩阵转置后并重新表示为[yL(4)(1),yL(4)(2),…,yL(4)(128)];其中,M'=N×L×L×L,yL(4)(1),yL(4)(2),…,yL(4)(128)对应为[yL(4)(1),yL(4)(2),…,yL(4)(128)]中的第1个列向量、第2个列向量、……、第128个列向量,yL(4)(1)、yL(4)(2)和yL(4)(128)的维数均为M'×1;
①_3b2、将[yL(2)(1),yL(2(2),…yL(2)(128)]中当前待处理的第i个列向量yL(2)(i)定义为当前第一列向量,将[yL(4)(1),yL(4)(2),…,yL(4)(128)]中当前待处理的第i个列向量yL(4)(i)定义为当前第二列向量;其中,i的初始值为1,1≤i≤128;
①_3b3、计算yL(2)(i)的直方图分布,记为{HL(2),(i)(j)|1≤j≤10};计算yL(4)(i)的直方图分布,记为{HL(4),(i)(j)|1≤j≤10};其中,HL(2),(i)(j)表示{HL(2),(i)(j)|1≤j≤10}中的第j个直方图节点的出现概率,HL(4),(i)(j)表示{HL(4),(i)(j)|1≤j≤10}中的第j个直方图节点的出现概率;
①_3b4、计算{HL(2),(i)(j)|1≤j≤10}与{HL(4),(i)(j)|1≤j≤10}之间的Kullback-Leibler距离,记为dL(2)(i),其中,log()表示以10为底的对数函数;
①_3b5、令i=i+1;然后将[yL(2)(1),yL(2(2),…yL(2)(128)]中下一个待处理的第i个列向量yL(2)(i)作为当前第一列向量,将[yL(4)(1),yL(4)(2),…,yL(4)(128)]中下一个待处理的第i个列向量yL(4)(i)作为当前第二列向量;再返回步骤①_3b3继续执行,直至[yL(2)(1),yL(2(2),…yL(2)(128)]和[yL(4)(1),yL(4)(2),…,yL(4)(128)]中的所有列向量处理完毕为止,共得到128个Kullback-Leibler距离;其中,i=i+1中的“=”为赋值符号;
①_3b6、按从小到大的顺序排列128个Kullback-Leibler距离;然后将[yL(2)(1),yL (2(2),…yL(2)(128)]中与前15个Kullback-Leibler距离各自对应的列向量的位置作为中的每幅失真立体图像的左视点图像的图像特征矢量中应选择的图像特征的位置;
①_3b7、按照步骤①_3b1至步骤①_3b5的过程,以相同的方式对中的所有失真立体图像的右视点图像的图像特征矢量和中的所有多失真立体图像的右视点图像的图像特征矢量进行处理,最终得到对应的128个Kullback-Leibler距离,第i个Kullback-Leibler距离为dR (2)(i);接着从这128个Kullback-Leibler距离中剔除与中的每幅失真立体图像的左视点图像的图像特征矢量中应选择的图像特征的位置相应的15个Kullback-Leibler距离;然后按从小到大的顺序排列剩余的113个Kullback-Leibler距离,并将中的所有失真立体图像的右视点图像的图像特征矢量构成的维数为128×M的矩阵经转置后的重新表示[yR(2)(1),yR(2)(2),…,yR(2)(128)]中与前15个Kullback-Leibler距离各自对应的列向量的位置作为中的每幅失真立体图像的右视点图像的图像特征矢量中应选择的图像特征的位置;其中,yR(2)(1),yR(2)(2),…,yR(2)(128)对应为[yR(2)(1),yR(2)(2),…,yR(2)(128)]中的第1个列向量、第2个列向量、……、第128个列向量,yR(2)(1)、yR(2)(2)和yR(2)(128)的维数均为M×1;
①_3b8、根据中的每幅失真立体图像的左视点图像的图像特征矢量中应选择的图像特征的位置与中的每幅失真立体图像的右视点图像的图像特征矢量中应选择的图像特征的位置,获得针对高斯模糊失真的特征选择函数g2(),使g2()的输入为中的每幅失真立体图像的左视点图像的图像特征矢量和中的每幅失真立体图像的右视点图像的图像特征矢量,g2()的输出为由根据中的每幅失真立体图像的左视点图像的图像特征矢量中应选择的图像特征的位置而选择的图像特征与根据中的每幅失真立体图像的右视点图像的图像特征矢量中应选择的图像特征的位置而选择的图像特征构成的图像特征矢量;
所述的步骤①_3中针对高斯白噪声失真的特征选择函数g3()的获取过程为:
①_3c1、将中的所有失真立体图像的左视点图像的图像特征矢量构成维数为128×M的矩阵,该矩阵中的第k列为然后将该矩阵转置后并重新表示为[yL(3)(1),yL(3)(2),…,yL(3)(128)];其中,M=N×L,yL(3)(1),yL(3)(2),…,yL(3)(128)对应为[yL(3)(1),yL(3)(2),…,yL(3)(128)]中的第1个列向量、第2个列向量、……、第128个列向量,yL(3)(1)、yL(3)(2)和yL(3)(128)的维数均为M×1;
同样,将中的所有多失真立体图像的左视点图像的图像特征矢量构成维数为128×M'的矩阵,该矩阵中的第k'列为然后将该矩阵转置后并重新表示为[yL(4)(1),yL(4)(2),…,yL(4)(128)];其中,M'=N×L×L×L,yL(4)(1),yL(4)(2),…,yL(4)(128)对应为[yL(4)(1),yL(4)(2),…,yL(4)(128)]中的第1个列向量、第2个列向量、……、第128个列向量,yL(4)(1)、yL(4)(2)和yL(4)(128)的维数均为M'×1;
①_3c2、将[yL(3)(1),yL(3)(2),…,yL(3)(128)]中当前待处理的第i个列向量yL(3)(i)定义为当前第一列向量,将[yL(4)(1),yL(4)(2),…,yL(4)(128)]中当前待处理的第i个列向量
yL(4)(i)定义为当前第二列向量;其中,i的初始值为1,1≤i≤128;
①_3c3、计算yL(3)(i)的直方图分布,记为{HL(3),(i)(j)|1≤j≤10};计算yL(4)(i)的直方图分布,记为{HL(4),(i)(j)|1≤j≤10};其中,HL(3),(i)(j)表示{HL(3),(i)(j)|1≤j≤10}中的第j个直方图节点的出现概率,HL(4),(i)(j)表示{HL(4),(i)(j)|1≤j≤10}中的第j个直方图节点的出现概率;
①_3c4、计算{HL(3),(i)(j)|1≤j≤10}与{HL(4),(i)(j)|1≤j≤10}之间的Kullback-Leibler距离,记为dL(3)(i),其中,log()表示以10为底的对数函数;
①_3c5、令i=i+1;然后将[yL(3)(1),yL(3)(2),…,yL(3)(128)]中下一个待处理的第i个列向量yL(3)(i)作为当前第一列向量,将[yL(4)(1),yL(4)(2),…,yL(4)(128)]中下一个待处理的第i个列向量yL(4)(i)作为当前第二列向量;再返回步骤①_3b3继续执行,直至[yL(3)(1),yL(3)(2),…,yL(3)(128)]和[yL(4)(1),yL(4)(2),…,yL(4)(128)]中的所有列向量处理完毕为止,共得到128个Kullback-Leibler距离;其中,i=i+1中的“=”为赋值符号;
①_3c6、按从小到大的顺序排列128个Kullback-Leibler距离;然后将[yL(3)(1),yL (3)(2),…,yL(3)(128)]中与前15个Kullback-Leibler距离各自对应的列向量的位置作为中的每幅失真立体图像的左视点图像的图像特征矢量中应选择的图像特征的位置;
①_3c7、按照步骤①_3c1至步骤①_3c5的过程,以相同的方式对中的所有失真立体图像的右视点图像的图像特征矢量和中的所有多失真立体图像的右视点图像的图像特征矢量进行处理,最终得到对应的128个Kullback-Leibler距离,第i个Kullback-Leibler距离为dR (3)(i);接着从这128个Kullback-Leibler距离中剔除与中的每幅失真立体图像的左视点图像的图像特征矢量中应选择的图像特征的位置相应的15个Kullback-Leibler距离;然后按从小到大的顺序排列剩余的113个Kullback-Leibler距离,并将中的所有失真立体图像的右视点图像的图像特征矢量构成的维数为128×M的矩阵经转置后的重新表示[yR(3)(1),yR(3)(2),…,yR(3)(128)]中与前15个Kullback-Leibler距离各自对应的列向量的位置作为中的每幅失真立体图像的右视点图像的图像特征矢量中应选择的图像特征的位置;其中,yR(3)(1),yR(3)(2),…,yR(3)(128)对应为[yR(3)(1),yR(3)(2),…,yR(3)(128)]中的第1个列向量、第2个列向量、……、第128个列向量,yR(3)(1)、yR(3)(2)和yR(3)(128)的维数均为M×1;
①_3c8、根据中的每幅失真立体图像的左视点图像的图像特征矢量中应选择的图像特征的位置与中的每幅失真立体图像的右视点图像的图像特征矢量中应选择的图像特征的位置,获得针对高斯白噪声失真的特征选择函数g3(),使g3()的输入为中的每幅失真立体图像的左视点图像的图像特征矢量和中的每幅失真立体图像的右视点图像的图像特征矢量,g3()的输出为由根据中的每幅失真立体图像的左视点图像的图像特征矢量中应选择的图像特征的位置而选择的图像特征与根据中的每幅失真立体图像的右视点图像的图像特征矢量中应选择的图像特征的位置而选择的图像特征构成的图像特征矢量。
所述的步骤②_4中取ω1=0.2、ω2=0.3和ω3=0.5。
与现有技术相比,本发明的优点在于:
1)本发明方法在训练阶段,分别构造针对JPEG失真、高斯模糊失真和高斯白噪声失真的特征选择函数,并采用机器学习方法分别获得针对JPEG失真的第一质量预测函数、针对高斯模糊失真的第二质量预测函数和针对高斯白噪声失真的第三质量预测函数,这样考虑了不同特征对不同失真类型的影响,极大地降低了特征维数,使得本发明方法适用于实际的应用场合。
2)本发明方法在测试阶段,根据在训练阶段构造得到的针对JPEG失真、高斯模糊失真和高斯白噪声失真的特征选择函数及针对JPEG失真的第一质量预测函数、针对高斯模糊失真的第二质量预测函数和针对高斯白噪声失真的第三质量预测函数,只需要通过简单的预测就能得到针对不同失真类型的质量预测值,并通过结合得到最终的图像质量客观评价预测值,使得最终计算得到的图像质量客观评价预测值与主观评价值保持了较好的一致性。
附图说明
图1为本发明方法的总体实现框图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种基于特征选择的无参考多失真立体图像质量评价方法,其总体实现框图如图1所示,其包括训练阶段和测试阶段两个过程;所述的训练阶段过程的具体步骤如下:
①_1、选取N幅原始的无失真立体图像;然后对每幅原始的无失真立体图像分别进行L个不同失真强度的JPEG失真、L个不同失真强度的高斯模糊失真和L个不同失真强度的高斯白噪声失真,得到每幅原始的无失真立体图像对应的L个失真强度的JPEG失真立体图像、L个失真强度的高斯模糊失真立体图像、L个失真强度的高斯白噪声失真立体图像;并对每幅原始的无失真立体图像同时进行L个不同失真强度的JPEG失真、L个不同失真强度的高斯模糊失真和L个不同失真强度的高斯白噪声失真,得到每幅原始的无失真立体图像对应的L×L×L个失真强度的多失真立体图像;接着将所有原始的无失真立体图像各自对应的L个失真强度的JPEG失真立体图像构成JPEG失真训练图像集,记为并将所有原始的无失真立体图像各自对应的L个失真强度的高斯模糊失真立体图像构成高斯模糊失真训练图像集,记为将所有原始的无失真立体图像各自对应的L个失真强度的高斯白噪声失真立体图像构成高斯白噪声失真训练图像集,记为将所有原始的无失真立体图像各自对应的L×L×L个失真强度的多失真立体图像构成多失真训练图像集,记为其中,N>1,在本实施例中取N=10,L>1,在本实施例中取L=3,1≤u≤N,1≤v≤L,1≤v'≤L×L×L,表示第u幅原始的无失真立体图像对应的第v个失真强度的JPEG失真立体图像,表示第u幅原始的无失真立体图像对应的第v个失真强度的高斯模糊失真立体图像,表示第u幅原始的无失真立体图像对应的第v个失真强度的高斯白噪声失真立体图像,表示第u幅原始的无失真立体图像对应的第v'个失真强度的多失真立体图像,符号“{}”为集合表示符号。
在具体实施时,取N=10幅原始的无失真立体图像,对每幅原始的无失真立体图像分别加3个不同失真强度的JPEG失真、3个不同失真强度的高斯模糊失真和3个不同失真强度的高斯白噪声失真,这样得到由30幅JPEG失真立体图像构成的JPEG失真训练图像集、由30幅高斯模糊失真立体图像构成的高斯模糊失真训练图像集、由30幅高斯白噪声失真立体图像构成的高斯白噪声失真训练图像集;对每幅原始的无失真立体图像同时加3个不同失真强度的JPEG失真、3个不同失真强度的高斯模糊失真和3个不同失真强度的高斯白噪声失真,这样得到由270幅多失真立体图像构成的多失真训练图像集,每幅多失真立体图像有三种失真分别为JPEG失真、高斯模糊失真和高斯白噪声失真。
①_2、获取中的每幅失真立体图像的左视点图像和右视点图像各自的图像特征矢量,将中的第k幅失真立体图像的左视点图像和右视点图像各自的图像特征矢量对应记为其中,1≤k≤N×L,的维数均为128×1。
同样,获取中的每幅失真立体图像的左视点图像和右视点图像各自的图像特征矢量,将中的第k幅失真立体图像的左视点图像和右视点图像各自的图像特征矢量对应记为其中,的维数均为128×1。
获取中的每幅失真立体图像的左视点图像和右视点图像各自的图像特征矢量,将中的第k幅失真立体图像的左视点图像和右视点图像各自的图像特征矢量对应记为其中,的维数均为128×1。
获取中的每幅多失真立体图像的左视点图像和右视点图像各自的图像特征矢量,将中的第k'幅多失真立体图像的左视点图像和右视点图像各自的图像特征矢量对应记为其中,1≤k'≤N×L×L×L,的维数均为128×1。
①_3、获取针对JPEG失真的特征选择函数,记为g1();然后获取中的每幅失真立体图像的经特征选择后的图像特征矢量,将中的第k幅失真立体图像的经特征选择后的图像特征矢量记为其中,的维数为30×1。
获取针对高斯模糊失真的特征选择函数,记为g2();然后获取中的每幅失真立体图像的经特征选择后的图像特征矢量,将中的第k幅失真立体图像的经特征选择后的图像特征矢量记为其中,的维数为30×1。
获取针对高斯白噪声失真的特征选择函数,记为g3();然后获取中的每幅失真立体图像的经特征选择后的图像特征矢量,将中的第k幅失真立体图像的经特征选择后的图像特征矢量记为其中,的维数为30×1。
①_4、将中的所有失真立体图像的经特征选择后的图像特征矢量和平均主观评分差值构成第一样本集合,记为然后采用公知的支持向量回归模型作为机器学习的方法,对进行训练,使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小,构造得到第一质量预测函数,记为f1();其中,表示中的第k幅失真立体图像的平均主观评分差值。
同样,将中的所有失真立体图像的经特征选择后的图像特征矢量和平均主观评分差值构成第二样本集合,记为然后采用公知的支持向量回归模型作为机器学习的方法,对进行训练,使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小,构造得到第二质量预测函数,记为f2();其中,表示中的第k幅失真立体图像的平均主观评分差值。
同样,将中的所有失真立体图像的经特征选择后的图像特征矢量和平均主观评分差值构成第三样本集合,记为然后采用公知的支持向量回归模型作为机器学习的方法,对进行训练,使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小,构造得到第三质量预测函数,记为f3();其中,表示中的第k幅失真立体图像的平均主观评分差值。
所述的测试阶段过程的具体步骤如下:
②_1、对于任意一幅测试用的多失真立体图像Stest,将Stest的左视点图像记为Ltest,将Stest的右视点图像记为Rtest
②_2、按照步骤①_2的过程,以相同的操作获取Ltest和Rtest各自的图像特征矢量,对应记为其中,的维数均为128×1。
②_3、根据在训练阶段获取的针对JPEG失真的特征选择函数g1(),获取Stest的第一经特征选择后的图像特征矢量,记为其中,的维数为30×1。
同样,根据在训练阶段获取的针对高斯模糊失真的特征选择函数g2(),获取Stest的第二经特征选择后的图像特征矢量,记为其中,的维数为30×1。
根据在训练阶段获取的针对高斯白噪声失真的特征选择函数g3(),获取Stest的第三经特征选择后的图像特征矢量,记为其中,的维数为30×1。
②_4、根据在训练阶段构造得到的第一质量预测函数f1(),计算Stest的针对JPEG失真的质量预测值,记为Q1同样,根据在训练阶段构造得到的第二质量预测函数f2(),计算Stest的针对高斯模糊失真的质量预测值,记为Q2根据在训练阶段构造得到的第三质量预测函数f3(),计算Stest的针对高斯白噪声失真的质量预测值,记为Q3然后加权Q1、Q2和Q3得到Stest的图像质量客观评价预测值,记为Q,Q=ω1×Q12×Q23×Q3;其中,ω1、ω2和ω3均为加权参数,ω123=1,在本实施例中取ω1=0.2、ω2=0.3和ω3=0.5。
在本实施例中,步骤①_2中的的获取过程为:采用4个尺度和4个方向的Gabor滤波器、局部二值模式(Local Binary Pattern,LBP)方法、BRISQUE(Blind/ReferencelessImage Spatial QUality Evaluator)方法及梯度幅值(Gradient magnitude,GM)的自然场景统计(NSS)方法分别对中的第k幅失真立体图像的左视点图像进行处理,对应得到中的第k幅失真立体图像的左视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量,其中,信息熵和标准差特征矢量的维数为32×1,第一图像特征矢量的维数为36×1,第二图像特征矢量的维数为18×1,第三图像特征矢量的维数为42×1;然后将中的第k幅失真立体图像的左视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量按序组合成维数为128×1的矢量,将该矢量作为中的第k幅失真立体图像的左视点图像的图像特征矢量
在本实施例中,步骤①_2中的的获取过程为:采用4个尺度和4个方向的Gabor滤波器、局部二值模式(Local Binary Pattern,LBP)方法、BRISQUE(Blind/ReferencelessImage Spatial QUality Evaluator)方法及梯度幅值(Gradient magnitude,GM)的自然场景统计(NSS)方法分别对中的第k幅失真立体图像的右视点图像进行处理,对应得到中的第k幅失真立体图像的右视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量,其中,信息熵和标准差特征矢量的维数为32×1,第一图像特征矢量的维数为36×1,第二图像特征矢量的维数为18×1,第三图像特征矢量的维数为42×1;然后将中的第k幅失真立体图像的右视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量按序组合成维数为128×1的矢量,将该矢量作为中的第k幅失真立体图像的右视点图像的图像特征矢量
在本实施例中,步骤①_2中的的获取过程为:采用4个尺度和4个方向的Gabor滤波器、局部二值模式(Local Binary Pattern,LBP)方法、BRISQUE(Blind/ReferencelessImage Spatial QUality Evaluator)方法及梯度幅值(Gradient magnitude,GM)的自然场景统计(NSS)方法分别对中的第k幅失真立体图像的左视点图像进行处理,对应得到中的第k幅失真立体图像的左视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量,其中,信息熵和标准差特征矢量的维数为32×1,第一图像特征矢量的维数为36×1,第二图像特征矢量的维数为18×1,第三图像特征矢量的维数为42×1;然后将中的第k幅失真立体图像的左视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量按序组合成维数为128×1的矢量,将该矢量作为中的第k幅失真立体图像的左视点图像的图像特征矢量
在本实施例中,步骤①_2中的的获取过程为:采用4个尺度和4个方向的Gabor滤波器、局部二值模式(Local Binary Pattern,LBP)方法、BRISQUE(Blind/ReferencelessImage Spatial QUality Evaluator)方法及梯度幅值(Gradient magnitude,GM)的自然场景统计(NSS)方法分别对中的第k幅失真立体图像的右视点图像进行处理,对应得到中的第k幅失真立体图像的右视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量,其中,信息熵和标准差特征矢量的维数为32×1,第一图像特征矢量的维数为36×1,第二图像特征矢量的维数为18×1,第三图像特征矢量的维数为42×1;然后将中的第k幅失真立体图像的右视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量按序组合成维数为128×1的矢量,将该矢量作为中的第k幅失真立体图像的右视点图像的图像特征矢量
在本实施例中,步骤①_2中的的获取过程为:采用4个尺度和4个方向的Gabor滤波器、局部二值模式(Local Binary Pattern,LBP)方法、BRISQUE(Blind/ReferencelessImage Spatial QUality Evaluator)方法及梯度幅值(Gradient magnitude,GM)的自然场景统计(NSS)方法分别对中的第k幅失真立体图像的左视点图像进行处理,对应得到中的第k幅失真立体图像的左视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量,其中,信息熵和标准差特征矢量的维数为32×1,第一图像特征矢量的维数为36×1,第二图像特征矢量的维数为18×1,第三图像特征矢量的维数为42×1;然后将中的第k幅失真立体图像的左视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量按序组合成维数为128×1的矢量,将该矢量作为中的第k幅失真立体图像的左视点图像的图像特征矢量
在本实施例中,步骤①_2中的的获取过程为:采用4个尺度和4个方向的Gabor滤波器、局部二值模式(Local Binary Pattern,LBP)方法、BRISQUE(Blind/ReferencelessImage Spatial QUality Evaluator)方法及梯度幅值(Gradient magnitude,GM)的自然场景统计(NSS)方法分别对中的第k幅失真立体图像的右视点图像进行处理,对应得到中的第k幅失真立体图像的右视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量,其中,信息熵和标准差特征矢量的维数为32×1,第一图像特征矢量的维数为36×1,第二图像特征矢量的维数为18×1,第三图像特征矢量的维数为42×1;然后将中的第k幅失真立体图像的右视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量按序组合成维数为128×1的矢量,将该矢量作为中的第k幅失真立体图像的右视点图像的图像特征矢量
在本实施例中,步骤①_2中的的获取过程为:采用4个尺度和4个方向的Gabor滤波器、局部二值模式(Local Binary Pattern,LBP)方法、BRISQUE(Blind/ReferencelessImage Spatial QUality Evaluator)方法及梯度幅值(Gradient magnitude,GM)的自然场景统计(NSS)方法分别对中的第k'幅多失真立体图像的左视点图像进行处理,对应得到中的第k'幅多失真立体图像的左视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量,其中,信息熵和标准差特征矢量的维数为32×1,第一图像特征矢量的维数为36×1,第二图像特征矢量的维数为18×1,第三图像特征矢量的维数为42×1;然后将中的第k'幅多失真立体图像的左视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量按序组合成维数为128×1的矢量,将该矢量作为中的第k'幅多失真立体图像的左视点图像的图像特征矢量
在本实施例中,步骤①_2中的的获取过程为:采用4个尺度和4个方向的Gabor滤波器、局部二值模式(Local Binary Pattern,LBP)方法、BRISQUE(Blind/ReferencelessImage Spatial QUality Evaluator)方法及梯度幅值(Gradient magnitude,GM)的自然场景统计(NSS)方法分别对中的第k'幅多失真立体图像的右视点图像进行处理,对应得到中的第k'幅多失真立体图像的右视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量,其中,信息熵和标准差特征矢量的维数为32×1,第一图像特征矢量的维数为36×1,第二图像特征矢量的维数为18×1,第三图像特征矢量的维数为42×1;然后将中的第k'幅多失真立体图像的右视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量按序组合成维数为128×1的矢量,将该矢量作为中的第k'幅多失真立体图像的右视点图像的图像特征矢量
在此具体实施例中,步骤①_3中针对JPEG失真的特征选择函数g1()的获取过程为:
①_3a1、将中的所有失真立体图像的左视点图像的图像特征矢量构成维数为128×M的矩阵,该矩阵中的第k列为然后将该矩阵转置后并重新表示为[yL(1)(1),yL(1)(2),…,yL(1)(128)];其中,M=N×L,yL(1)(1),yL(1)(2),…,yL(1)(128)对应为[yL(1)(1),yL(1)(2),…,yL(1)(128)]中的第1个列向量、第2个列向量、……、第128个列向量,yL(1)(1)、yL(1)(2)和yL(1)(128)的维数均为M×1。
同样,将中的所有多失真立体图像的左视点图像的图像特征矢量构成维数为128×M'的矩阵,该矩阵中的第k'列为然后将该矩阵转置后并重新表示为[yL(4)(1),yL(4)(2),…,yL(4)(128)];其中,M'=N×L×L×L,yL(4)(1),yL(4)(2),…,yL(4)(128)对应为[yL(4)(1),yL(4)(2),…,yL(4)(128)]中的第1个列向量、第2个列向量、……、第128个列向量,yL(4)(1)、yL(4)(2)和yL(4)(128)的维数均为M'×1。
①_3a2、将[yL(1)(1),yL(1)(2),…,yL(1)(128)]中当前待处理的第i个列向量yL(1)(i)定义为当前第一列向量,将[yL(4)(1),yL(4)(2),…,yL(4)(128)]中当前待处理的第i个列向量yL(4)(i)定义为当前第二列向量;其中,i的初始值为1,1≤i≤128。
①_3a3、计算yL(1)(i)的直方图分布,记为{HL(1),(i)(j)|1≤j≤10};计算yL(4)(i)的直方图分布,记为{HL(4),(i)(j)|1≤j≤10};其中,HL(1),(i)(j)表示{HL(1),(i)(j)|1≤j≤10}中的第j个直方图节点的出现概率,HL(4),(i)(j)表示{HL(4),(i)(j)|1≤j≤10}中的第j个直方图节点的出现概率。
①_3a4、计算{HL(1),(i)(j)|1≤j≤10}与{HL(4),(i)(j)|1≤j≤10}之间的Kullback-Leibler(K-L)距离,记为dL(1)(i),其中,log()表示以10为底的对数函数。
①_3a5、令i=i+1;然后将[yL(1)(1),yL(1)(2),…,yL(1)(128)]中下一个待处理的第i个列向量yL(1)(i)作为当前第一列向量,将[yL(4)(1),yL(4)(2),…,yL(4)(128)]中下一个待处理的第i个列向量yL(4)(i)作为当前第二列向量;再返回步骤①_3a3继续执行,直至[yL(1)(1),yL(1)(2),…,yL(1)(128)]和[yL(4)(1),yL(4)(2),…,yL(4)(128)]中的所有列向量处理完毕为止,共得到128个Kullback-Leibler距离;其中,i=i+1中的“=”为赋值符号。
①_3a6、按从小到大的顺序排列128个Kullback-Leibler距离;然后将[yL(1)(1),yL (1)(2),…,yL(1)(128)]中与前15个Kullback-Leibler距离各自对应的列向量的位置作为中的每幅失真立体图像的左视点图像的图像特征矢量中应选择的图像特征的位置;如:假设[yL(1)(1),yL(1)(2),…,yL(1)(128)]中与前15个Kullback-Leibler距离各自对应的列向量分别为第1个、第4个、第15个、……、第110个、第126个,则[yL(1)(1),yL(1)(2),…,yL(1)(128)]中与前15个Kullback-Leibler距离各自对应的列向量的位置分别为1、4、15、……、110、126,中的每幅失真立体图像的左视点图像的图像特征矢量中应选择第第1个、第4个、第15个、……、第110个、第126个图像特征。
①_3a7、按照步骤①_3a1至步骤①_3a5的过程,以相同的方式对中的所有失真立体图像的右视点图像的图像特征矢量和中的所有多失真立体图像的右视点图像的图像特征矢量进行处理,最终得到对应的128个Kullback-Leibler距离,第i个Kullback-Leibler距离为dR (1)(i);接着从这128个Kullback-Leibler距离中剔除与中的每幅失真立体图像的左视点图像的图像特征矢量中应选择的图像特征的位置相应的15个Kullback-Leibler距离;然后按从小到大的顺序排列剩余的113个Kullback-Leibler距离,并将中的所有失真立体图像的右视点图像的图像特征矢量构成的维数为128×M的矩阵经转置后的重新表示[yR(1)(1),yR(1)(2),…,yR(1)(128)]中与前15个Kullback-Leibler距离各自对应的列向量的位置作为中的每幅失真立体图像的右视点图像的图像特征矢量中应选择的图像特征的位置;其中,yR(1)(1),yR(1)(2),…,yR(1)(128)对应为[yR(1)(1),yR(1)(2),…,yR(1)(128)]中的第1个列向量、第2个列向量、……、第128个列向量,yR(1)(1)、yR(1)(2)和yR(1)(128)的维数均为M×1;中的每幅失真立体图像的左视点图像的图像特征矢量中应选择的图像特征的位置与中的每幅失真立体图像的右视点图像的图像特征矢量中应选择的图像特征的位置不重叠。
①_3a8、根据中的每幅失真立体图像的左视点图像的图像特征矢量中应选择的图像特征的位置与中的每幅失真立体图像的右视点图像的图像特征矢量中应选择的图像特征的位置,获得针对JPEG失真的特征选择函数g1(),使g1()的输入为中的每幅失真立体图像的左视点图像的图像特征矢量和中的每幅失真立体图像的右视点图像的图像特征矢量,g1()的输出为由根据中的每幅失真立体图像的左视点图像的图像特征矢量中应选择的图像特征的位置而选择的图像特征与根据中的每幅失真立体图像的右视点图像的图像特征矢量中应选择的图像特征的位置而选择的图像特征构成的图像特征矢量。
在此具体实施例中,步骤①_3中针对高斯模糊失真的特征选择函数g2()的获取过程为:
①_3b1、将中的所有失真立体图像的左视点图像的图像特征矢量构成维数为128×M的矩阵,该矩阵中的第k列为然后将该矩阵转置后并重新表示为[yL(2)(1),yL(2)(2),…,yL(2)(128)];其中,M=N×L,yL(2)(1),yL(2)(2),…,yL(2)(128)对应为[yL(2)(1),yL(2)(2),…,yL(2)(128)]中的第1个列向量、第2个列向量、……、第128个列向量,yL(2)(1)、yL(2)(2)和yL(2)(128)的维数均为M×1。
同样,将中的所有多失真立体图像的左视点图像的图像特征矢量构成维数为128×M'的矩阵,该矩阵中的第k'列为然后将该矩阵转置后并重新表示为[yL(4)(1),yL(4)(2),…,yL(4)(128)];其中,M'=N×L×L×L,yL(4)(1),yL(4)(2),…,yL(4)(128)对应为[yL(4)(1),yL(4)(2),…,yL(4)(128)]中的第1个列向量、第2个列向量、……、第128个列向量,yL(4)(1)、yL(4)(2)和yL(4)(128)的维数均为M'×1。
①_3b2、将[yL(2)(1),yL(2(2),…yL(2)(128)]中当前待处理的第i个列向量yL(2)(i)定义为当前第一列向量,将[yL(4)(1),yL(4)(2),…,yL(4)(128)]中当前待处理的第i个列向量yL(4)(i)定义为当前第二列向量;其中,i的初始值为1,1≤i≤128。
①_3b3、计算yL(2)(i)的直方图分布,记为{HL(2),(i)(j)|1≤j≤10};计算yL(4)(i)的直方图分布,记为{HL(4),(i)(j)|1≤j≤10};其中,HL(2),(i)(j)表示{HL(2),(i)(j)|1≤j≤10}中的第j个直方图节点的出现概率,HL(4),(i)(j)表示{HL(4),(i)(j)|1≤j≤10}中的第j个直方图节点的出现概率。
①_3b4、计算{HL(2),(i)(j)|1≤j≤10}与{HL(4),(i)(j)|1≤j≤10}之间的Kullback-Leibler(K-L)距离,记为dL(2)(i),其中,log()表示以10为底的对数函数。
①_3b5、令i=i+1;然后将[yL(2)(1),yL(2(2),…yL(2)(128)]中下一个待处理的第i个列向量yL(2)(i)作为当前第一列向量,将[yL(4)(1),yL(4)(2),…,yL(4)(128)]中下一个待处理的第i个列向量yL(4)(i)作为当前第二列向量;再返回步骤①_3b3继续执行,直至[yL(2)(1),yL(2(2),…yL(2)(128)]和[yL(4)(1),yL(4)(2),…,yL(4)(128)]中的所有列向量处理完毕为止,共得到128个Kullback-Leibler距离;其中,i=i+1中的“=”为赋值符号。
①_3b6、按从小到大的顺序排列128个Kullback-Leibler距离;然后将[yL(2)(1),yL (2(2),…yL(2)(128)]中与前15个Kullback-Leibler距离各自对应的列向量的位置作为中的每幅失真立体图像的左视点图像的图像特征矢量中应选择的图像特征的位置。
①_3b7、按照步骤①_3b1至步骤①_3b5的过程,以相同的方式对中的所有失真立体图像的右视点图像的图像特征矢量和中的所有多失真立体图像的右视点图像的图像特征矢量进行处理,最终得到对应的128个Kullback-Leibler距离,第i个Kullback-Leibler距离为dR (2)(i);接着从这128个Kullback-Leibler距离中剔除与中的每幅失真立体图像的左视点图像的图像特征矢量中应选择的图像特征的位置相应的15个Kullback-Leibler距离;然后按从小到大的顺序排列剩余的113个Kullback-Leibler距离,并将中的所有失真立体图像的右视点图像的图像特征矢量构成的维数为128×M的矩阵经转置后的重新表示[yR(2)(1),yR(2)(2),…,yR(2)(128)]中与前15个Kullback-Leibler距离各自对应的列向量的位置作为中的每幅失真立体图像的右视点图像的图像特征矢量中应选择的图像特征的位置;其中,yR(2)(1),yR(2)(2),…,yR(2)(128)对应为[yR(2)(1),yR(2)(2),…,yR(2)(128)]中的第1个列向量、第2个列向量、……、第128个列向量,yR(2)(1)、yR(2)(2)和yR(2)(128)的维数均为M×1。
①_3b8、根据中的每幅失真立体图像的左视点图像的图像特征矢量中应选择的图像特征的位置与中的每幅失真立体图像的右视点图像的图像特征矢量中应选择的图像特征的位置,获得针对高斯模糊失真的特征选择函数g2(),使g2()的输入为中的每幅失真立体图像的左视点图像的图像特征矢量和中的每幅失真立体图像的右视点图像的图像特征矢量,g2()的输出为由根据中的每幅失真立体图像的左视点图像的图像特征矢量中应选择的图像特征的位置而选择的图像特征与根据中的每幅失真立体图像的右视点图像的图像特征矢量中应选择的图像特征的位置而选择的图像特征构成的图像特征矢量。
在此具体实施例中,步骤①_3中针对高斯白噪声失真的特征选择函数g3()的获取过程为:
①_3c1、将中的所有失真立体图像的左视点图像的图像特征矢量构成维数为128×M的矩阵,该矩阵中的第k列为然后将该矩阵转置后并重新表示为[yL(3)(1),yL(3)(2),…,yL(3)(128)];其中,M=N×L,yL(3)(1),yL(3)(2),…,yL(3)(128)对应为[yL(3)(1),yL(3)(2),…,yL(3)(128)]中的第1个列向量、第2个列向量、……、第128个列向量,yL(3)(1)、yL(3)(2)和yL(3)(128)的维数均为M×1。
同样,将中的所有多失真立体图像的左视点图像的图像特征矢量构成维数为128×M'的矩阵,该矩阵中的第k'列为然后将该矩阵转置后并重新表示为[yL(4)(1),yL(4)(2),…,yL(4)(128)];其中,M'=N×L×L×L,yL(4)(1),yL(4)(2),…,yL(4)(128)对应为[yL(4)(1),yL(4)(2),…,yL(4)(128)]中的第1个列向量、第2个列向量、……、第128个列向量,yL(4)(1)、yL(4)(2)和yL(4)(128)的维数均为M'×1。
①_3c2、将[yL(3)(1),yL(3)(2),…,yL(3)(128)]中当前待处理的第i个列向量yL(3)(i)定义为当前第一列向量,将[yL(4)(1),yL(4)(2),…,yL(4)(128)]中当前待处理的第i个列向量
yL(4)(i)定义为当前第二列向量;其中,i的初始值为1,1≤i≤128。
①_3c3、计算yL(3)(i)的直方图分布,记为{HL(3),(i)(j)|1≤j≤10};计算yL(4)(i)的直方图分布,记为{HL(4),(i)(j)|1≤j≤10};其中,HL(3),(i)(j)表示{HL(3),(i)(j)|1≤j≤10}中的第j个直方图节点的出现概率,HL(4),(i)(j)表示{HL(4),(i)(j)|1≤j≤10}中的第j个直方图节点的出现概率。
①_3c4、计算{HL(3),(i)(j)|1≤j≤10}与{HL(4),(i)(j)|1≤j≤10}之间的Kullback-Leibler(K-L)距离,记为dL(3)(i),其中,log()表示以10为底的对数函数。
①_3c5、令i=i+1;然后将[yL(3)(1),yL(3)(2),…,yL(3)(128)]中下一个待处理的第i个列向量yL(3)(i)作为当前第一列向量,将[yL(4)(1),yL(4)(2),…,yL(4)(128)]中下一个待处理的第i个列向量yL(4)(i)作为当前第二列向量;再返回步骤①_3b3继续执行,直至[yL(3)(1),yL(3)(2),…,yL(3)(128)]和[yL(4)(1),yL(4)(2),…,yL(4)(128)]中的所有列向量处理完毕为止,共得到128个Kullback-Leibler距离;其中,i=i+1中的“=”为赋值符号。
①_3c6、按从小到大的顺序排列128个Kullback-Leibler距离;然后将[yL(3)(1),yL (3)(2),…,yL(3)(128)]中与前15个Kullback-Leibler距离各自对应的列向量的位置作为中的每幅失真立体图像的左视点图像的图像特征矢量中应选择的图像特征的位置。
①_3c7、按照步骤①_3c1至步骤①_3c5的过程,以相同的方式对中的所有失真立体图像的右视点图像的图像特征矢量和中的所有多失真立体图像的右视点图像的图像特征矢量进行处理,最终得到对应的128个Kullback-Leibler距离,第i个Kullback-Leibler距离为dR (3)(i);接着从这128个Kullback-Leibler距离中剔除与中的每幅失真立体图像的左视点图像的图像特征矢量中应选择的图像特征的位置相应的15个Kullback-Leibler距离;然后按从小到大的顺序排列剩余的113个Kullback-Leibler距离,并将中的所有失真立体图像的右视点图像的图像特征矢量构成的维数为128×M的矩阵经转置后的重新表示[yR(3)(1),yR(3)(2),…,yR(3)(128)]中与前15个Kullback-Leibler距离各自对应的列向量的位置作为中的每幅失真立体图像的右视点图像的图像特征矢量中应选择的图像特征的位置;其中,yR(3)(1),yR(3)(2),…,yR(3)(128)对应为[yR(3)(1),yR(3)(2),…,yR(3)(128)]中的第1个列向量、第2个列向量、……、第128个列向量,yR(3)(1)、yR(3)(2)和yR(3)(128)的维数均为M×1。
①_3c8、根据中的每幅失真立体图像的左视点图像的图像特征矢量中应选择的图像特征的位置与中的每幅失真立体图像的右视点图像的图像特征矢量中应选择的图像特征的位置,获得针对高斯白噪声失真的特征选择函数g3(),使g3()的输入为中的每幅失真立体图像的左视点图像的图像特征矢量和中的每幅失真立体图像的右视点图像的图像特征矢量,g3()的输出为由根据中的每幅失真立体图像的左视点图像的图像特征矢量中应选择的图像特征的位置而选择的图像特征与根据中的每幅失真立体图像的右视点图像的图像特征矢量中应选择的图像特征的位置而选择的图像特征构成的图像特征矢量。
在此,采用宁波大学多失真立体图像库来分析本实施例得到的多失真立体图像的图像质量客观评价预测值与平均主观评分差值之间的相关性。宁波大学多失真立体图像库由10幅无失真立体图像在多失真类型(JPEG失真、高斯模糊失真和高斯白噪声失真)的不同失真程度下的多失真立体图像构成,该多失真立体图像库中的每幅无失真立体图像同时加入JPEG失真、高斯模糊失真和高斯白噪声失真,每个失真强度均为3,这样可以得到270幅多失真立体图像,并且利用主观质量评价方法分别获取该多失真立体图像集合中的每幅失真立体图像的平均主观评分差值。
这里,利用评估图像质量评价方法的3个常用客观参量作为评价指标,即非线性回归条件下的Pearson相关系数(Pearson linear correlation coefficient,PLCC)、Spearman相关系数(Spearman rank order correlation coefficient,SROCC)、均方误差(root mean squared error,RMSE),PLCC和RMSE反映失真立体图像评价客观模型的准确性,SROCC反映其单调性。将分别采用本发明方法与公知的PSNR全参考质量评价方法和FSIM全参考质量评价方法得到多失真立体图像的图像质量客观评价预测值与平均主观评分差值之间的Pearson相关系数、Spearman相关系数和均方误差进行比较,比较结果如表1所示,从表1中可以看出,采用本发明方法得到的多失真立体图像的图像质量客观评价预测值与平均主观评分差值之间的相关性是很高的,充分表明了本发明方法的客观评价结果与人眼主观感知的结果较为一致,足以说明本发明方法的有效性。
表1采用本发明方法与公知的全参考质量评价方法得到多失真立体图像的图像质量客观评价预测值与平均主观评分差值之间的Pearson相关系数比较、Spearman相关系数和均方误差比较
Pearson相关系数 Spearman相关系数 均方误差
PSNR方法 0.8477 0.8461 0.1489
FSIM方法 0.8032 0.7671 0.1649
本发明方法 0.9233 0.9154 0.1195

Claims (3)

1.一种基于特征选择的无参考多失真立体图像质量评价方法,其特征在于包括训练阶段和测试阶段两个过程;
所述的训练阶段过程的具体步骤如下:
①_1、选取N幅原始的无失真立体图像;然后对每幅原始的无失真立体图像分别进行L个不同失真强度的JPEG失真、L个不同失真强度的高斯模糊失真和L个不同失真强度的高斯白噪声失真,得到每幅原始的无失真立体图像对应的L个失真强度的JPEG失真立体图像、L个失真强度的高斯模糊失真立体图像、L个失真强度的高斯白噪声失真立体图像;并对每幅原始的无失真立体图像同时进行L个不同失真强度的JPEG失真、L个不同失真强度的高斯模糊失真和L个不同失真强度的高斯白噪声失真,得到每幅原始的无失真立体图像对应的L×L×L个失真强度的多失真立体图像;接着将所有原始的无失真立体图像各自对应的L个失真强度的JPEG失真立体图像构成JPEG失真训练图像集,记为并将所有原始的无失真立体图像各自对应的L个失真强度的高斯模糊失真立体图像构成高斯模糊失真训练图像集,记为将所有原始的无失真立体图像各自对应的L个失真强度的高斯白噪声失真立体图像构成高斯白噪声失真训练图像集,记为将所有原始的无失真立体图像各自对应的L×L×L个失真强度的多失真立体图像构成多失真训练图像集,记为其中,N>1,L>1,1≤u≤N,1≤v≤L,1≤v'≤L×L×L,表示第u幅原始的无失真立体图像对应的第v个失真强度的JPEG失真立体图像,表示第u幅原始的无失真立体图像对应的第v个失真强度的高斯模糊失真立体图像,表示第u幅原始的无失真立体图像对应的第v个失真强度的高斯白噪声失真立体图像,表示第u幅原始的无失真立体图像对应的第v'个失真强度的多失真立体图像;
①_2、获取中的每幅失真立体图像的左视点图像和右视点图像各自的图像特征矢量,将中的第k幅失真立体图像的左视点图像和右视点图像各自的图像特征矢量对应记为其中,1≤k≤N×L,的维数均为128×1;
同样,获取中的每幅失真立体图像的左视点图像和右视点图像各自的图像特征矢量,将中的第k幅失真立体图像的左视点图像和右视点图像各自的图像特征矢量对应记为其中,的维数均为128×1;
获取中的每幅失真立体图像的左视点图像和右视点图像各自的图像特征矢量,将中的第k幅失真立体图像的左视点图像和右视点图像各自的图像特征矢量对应记为其中,的维数均为128×1;
获取中的每幅多失真立体图像的左视点图像和右视点图像各自的图像特征矢量,将中的第k'幅多失真立体图像的左视点图像和右视点图像各自的图像特征矢量对应记为其中,1≤k'≤N×L×L×L,的维数均为128×1;
①_3、获取针对JPEG失真的特征选择函数,记为g1();然后获取中的每幅失真立体图像的经特征选择后的图像特征矢量,将中的第k幅失真立体图像的经特征选择后的图像特征矢量记为 其中,的维数为30×1;
获取针对高斯模糊失真的特征选择函数,记为g2();然后获取中的每幅失真立体图像的经特征选择后的图像特征矢量,将中的第k幅失真立体图像的经特征选择后的图像特征矢量记为 其中,的维数为30×1;
获取针对高斯白噪声失真的特征选择函数,记为g3();然后获取中的每幅失真立体图像的经特征选择后的图像特征矢量,将中的第k幅失真立体图像的经特征选择后的图像特征矢量记为 其中,的维数为30×1;
所述的步骤①_3中针对JPEG失真的特征选择函数g1()的获取过程为:
①_3a1、将中的所有失真立体图像的左视点图像的图像特征矢量构成维数为128×M的矩阵,该矩阵中的第k列为然后将该矩阵转置后并重新表示为[yL(1)(1),yL(1)(2),…,yL(1)(128)];其中,M=N×L,yL(1)(1),yL(1)(2),…,yL(1)(128)对应为[yL(1)(1),yL(1)(2),…,yL(1)(128)]中的第1个列向量、第2个列向量、……、第128个列向量,yL(1)(1)、yL(1)(2)和yL(1)(128)的维数均为M×1;
同样,将中的所有多失真立体图像的左视点图像的图像特征矢量构成维数为128×M'的矩阵,该矩阵中的第k'列为然后将该矩阵转置后并重新表示为[yL(4)(1),yL(4)(2),…,yL(4)(128)];其中,M'=N×L×L×L,yL(4)(1),yL(4)(2),…,yL(4)(128)对应为[yL(4)(1),yL(4)(2),…,yL(4)(128)]中的第1个列向量、第2个列向量、……、第128个列向量,yL(4)(1)、yL(4)(2)和yL(4)(128)的维数均为M'×1;
①_3a2、将[yL(1)(1),yL(1)(2),…,yL(1)(128)]中当前待处理的第i个列向量yL(1)(i)定义为当前第一列向量,将[yL(4)(1),yL(4)(2),…,yL(4)(128)]中当前待处理的第i个列向量yL(4)(i)定义为当前第二列向量;其中,i的初始值为1,1≤i≤128;
①_3a3、计算yL(1)(i)的直方图分布,记为{HL(1),(i)(j)|1≤j≤10};计算yL(4)(i)的直方图分布,记为{HL(4),(i)(j)|1≤j≤10};其中,HL(1),(i)(j)表示{HL(1),(i)(j)|1≤j≤10}中的第j个直方图节点的出现概率,HL(4),(i)(j)表示{HL(4),(i)(j)|1≤j≤10}中的第j个直方图节点的出现概率;
①_3a4、计算{HL(1),(i)(j)|1≤j≤10}与{HL(4),(i)(j)|1≤j≤10}之间的Kullback-Leibler距离,记为dL(1)(i),其中,log()表示以10为底的对数函数;
①_3a5、令i=i+1;然后将[yL(1)(1),yL(1)(2),…,yL(1)(128)]中下一个待处理的第i个列向量yL(1)(i)作为当前第一列向量,将[yL(4)(1),yL(4)(2),…,yL(4)(128)]中下一个待处理的第i个列向量yL(4)(i)作为当前第二列向量;再返回步骤①_3a3继续执行,直至[yL(1)(1),yL(1)(2),…,yL(1)(128)]和[yL(4)(1),yL(4)(2),…,yL(4)(128)]中的所有列向量处理完毕为止,共得到128个Kullback-Leibler距离;其中,i=i+1中的“=”为赋值符号;
①_3a6、按从小到大的顺序排列128个Kullback-Leibler距离;然后将[yL(1)(1),yL(1)(2),…,yL(1)(128)]中与前15个Kullback-Leibler距离各自对应的列向量的位置作为中的每幅失真立体图像的左视点图像的图像特征矢量中应选择的图像特征的位置;
①_3a7、按照步骤①_3a1至步骤①_3a5的过程,以相同的方式对中的所有失真立体图像的右视点图像的图像特征矢量和中的所有多失真立体图像的右视点图像的图像特征矢量进行处理,最终得到对应的128个Kullback-Leibler距离,第i个Kullback-Leibler距离为dR (1)(i);接着从这128个Kullback-Leibler距离中剔除与中的每幅失真立体图像的左视点图像的图像特征矢量中应选择的图像特征的位置相应的15个Kullback-Leibler距离;然后按从小到大的顺序排列剩余的113个Kullback-Leibler距离,并将中的所有失真立体图像的右视点图像的图像特征矢量构成的维数为128×M的矩阵经转置后的重新表示[yR(1)(1),yR(1)(2),…,yR(1)(128)]中与前15个Kullback-Leibler距离各自对应的列向量的位置作为中的每幅失真立体图像的右视点图像的图像特征矢量中应选择的图像特征的位置;其中,yR(1)(1),yR(1)(2),…,yR(1)(128)对应为[yR(1)(1),yR(1)(2),…,yR(1)(128)]中的第1个列向量、第2个列向量、……、第128个列向量,yR(1)(1)、yR(1)(2)和yR(1)(128)的维数均为M×1;
①_3a8、根据中的每幅失真立体图像的左视点图像的图像特征矢量中应选择的图像特征的位置与中的每幅失真立体图像的右视点图像的图像特征矢量中应选择的图像特征的位置,获得针对JPEG失真的特征选择函数g1(),使g1()的输入为中的每幅失真立体图像的左视点图像的图像特征矢量和中的每幅失真立体图像的右视点图像的图像特征矢量,g1()的输出为由根据中的每幅失真立体图像的左视点图像的图像特征矢量中应选择的图像特征的位置而选择的图像特征与根据中的每幅失真立体图像的右视点图像的图像特征矢量中应选择的图像特征的位置而选择的图像特征构成的图像特征矢量;
所述的步骤①_3中针对高斯模糊失真的特征选择函数g2()的获取过程为:
①_3b1、将中的所有失真立体图像的左视点图像的图像特征矢量构成维数为128×M的矩阵,该矩阵中的第k列为然后将该矩阵转置后并重新表示为[yL(2)(1),yL(2)(2),…,yL(2)(128)];其中,M=N×L,yL(2)(1),yL(2)(2),…,yL(2)(128)对应为[yL(2)(1),yL(2)(2),…,yL(2)(128)]中的第1个列向量、第2个列向量、……、第128个列向量,yL(2)(1)、yL(2)(2)和yL(2)(128)的维数均为M×1;
同样,将中的所有多失真立体图像的左视点图像的图像特征矢量构成维数为128×M'的矩阵,该矩阵中的第k'列为然后将该矩阵转置后并重新表示为[yL(4)(1),yL(4)(2),…,yL(4)(128)];其中,M'=N×L×L×L,yL(4)(1),yL(4)(2),…,yL(4)(128)对应为[yL(4)(1),yL(4)(2),…,yL(4)(128)]中的第1个列向量、第2个列向量、……、第128个列向量,yL(4)(1)、yL(4)(2)和yL(4)(128)的维数均为M'×1;
①_3b2、将[yL(2)(1),yL(2(2),…yL(2)(128)]中当前待处理的第i个列向量yL(2)(i)定义为当前第一列向量,将[yL(4)(1),yL(4)(2),…,yL(4)(128)]中当前待处理的第i个列向量yL(4)(i)定义为当前第二列向量;其中,i的初始值为1,1≤i≤128;
①_3b3、计算yL(2)(i)的直方图分布,记为{HL(2),(i)(j)|1≤j≤10};计算yL(4)(i)的直方图分布,记为{HL(4),(i)(j)|1≤j≤10};其中,HL(2),(i)(j)表示{HL(2),(i)(j)|1≤j≤10}中的第j个直方图节点的出现概率,HL(4),(i)(j)表示{HL(4),(i)(j)|1≤j≤10}中的第j个直方图节点的出现概率;
①_3b4、计算{HL(2),(i)(j)|1≤j≤10}与{HL(4),(i)(j)|1≤j≤10}之间的Kullback-Leibler距离,记为dL(2)(i),其中,log()表示以10为底的对数函数;
①_3b5、令i=i+1;然后将[yL(2)(1),yL(2(2),…yL(2)(128)]中下一个待处理的第i个列向量yL(2)(i)作为当前第一列向量,将[yL(4)(1),yL(4)(2),…,yL(4)(128)]中下一个待处理的第i个列向量yL(4)(i)作为当前第二列向量;再返回步骤①_3b3继续执行,直至[yL(2)(1),yL(2(2),…yL(2)(128)]和[yL(4)(1),yL(4)(2),…,yL(4)(128)]中的所有列向量处理完毕为止,共得到128个Kullback-Leibler距离;其中,i=i+1中的“=”为赋值符号;
①_3b6、按从小到大的顺序排列128个Kullback-Leibler距离;然后将[yL(2)(1),yL(2(2),…yL(2)(128)]中与前15个Kullback-Leibler距离各自对应的列向量的位置作为中的每幅失真立体图像的左视点图像的图像特征矢量中应选择的图像特征的位置;
①_3b7、按照步骤①_3b1至步骤①_3b5的过程,以相同的方式对中的所有失真立体图像的右视点图像的图像特征矢量和中的所有多失真立体图像的右视点图像的图像特征矢量进行处理,最终得到对应的128个Kullback-Leibler距离,第i个Kullback-Leibler距离为dR (2)(i);接着从这128个Kullback-Leibler距离中剔除与中的每幅失真立体图像的左视点图像的图像特征矢量中应选择的图像特征的位置相应的15个Kullback-Leibler距离;然后按从小到大的顺序排列剩余的113个Kullback-Leibler距离,并将中的所有失真立体图像的右视点图像的图像特征矢量构成的维数为128×M的矩阵经转置后的重新表示[yR(2)(1),yR(2)(2),…,yR(2)(128)]中与前15个Kullback-Leibler距离各自对应的列向量的位置作为中的每幅失真立体图像的右视点图像的图像特征矢量中应选择的图像特征的位置;其中,yR(2)(1),yR(2)(2),…,yR(2)(128)对应为[yR(2)(1),yR(2)(2),…,yR(2)(128)]中的第1个列向量、第2个列向量、……、第128个列向量,yR(2)(1)、yR(2)(2)和yR(2)(128)的维数均为M×1;
①_3b8、根据中的每幅失真立体图像的左视点图像的图像特征矢量中应选择的图像特征的位置与中的每幅失真立体图像的右视点图像的图像特征矢量中应选择的图像特征的位置,获得针对高斯模糊失真的特征选择函数g2(),使g2()的输入为中的每幅失真立体图像的左视点图像的图像特征矢量和中的每幅失真立体图像的右视点图像的图像特征矢量,g2()的输出为由根据中的每幅失真立体图像的左视点图像的图像特征矢量中应选择的图像特征的位置而选择的图像特征与根据中的每幅失真立体图像的右视点图像的图像特征矢量中应选择的图像特征的位置而选择的图像特征构成的图像特征矢量;
所述的步骤①_3中针对高斯白噪声失真的特征选择函数g3()的获取过程为:
①_3c1、将中的所有失真立体图像的左视点图像的图像特征矢量构成维数为128×M的矩阵,该矩阵中的第k列为然后将该矩阵转置后并重新表示为[yL(3)(1),yL(3)(2),…,yL(3)(128)];其中,M=N×L,yL(3)(1),yL(3)(2),…,yL(3)(128)对应为[yL(3)(1),yL(3)(2),…,yL(3)(128)]中的第1个列向量、第2个列向量、……、第128个列向量,yL(3)(1)、yL(3)(2)和yL(3)(128)的维数均为M×1;
同样,将中的所有多失真立体图像的左视点图像的图像特征矢量构成维数为128×M'的矩阵,该矩阵中的第k'列为然后将该矩阵转置后并重新表示为[yL(4)(1),yL(4)(2),…,yL(4)(128)];其中,M'=N×L×L×L,yL(4)(1),yL(4)(2),…,yL(4)(128)对应为[yL(4)(1),yL(4)(2),…,yL(4)(128)]中的第1个列向量、第2个列向量、……、第128个列向量,yL(4)(1)、yL(4)(2)和yL(4)(128)的维数均为M'×1;
①_3c2、将[yL(3)(1),yL(3)(2),…,yL(3)(128)]中当前待处理的第i个列向量yL(3)(i)定义为当前第一列向量,将[yL(4)(1),yL(4)(2),…,yL(4)(128)]中当前待处理的第i个列向量yL(4)(i)定义为当前第二列向量;其中,i的初始值为1,1≤i≤128;
①_3c3、计算yL(3)(i)的直方图分布,记为{HL(3),(i)(j)|1≤j≤10};计算yL(4)(i)的直方图分布,记为{HL(4),(i)(j)|1≤j≤10};其中,HL(3),(i)(j)表示{HL(3),(i)(j)|1≤j≤10}中的第j个直方图节点的出现概率,HL(4),(i)(j)表示{HL(4),(i)(j)|1≤j≤10}中的第j个直方图节点的出现概率;
①_3c4、计算{HL(3),(i)(j)|1≤j≤10}与{HL(4),(i)(j)|1≤j≤10}之间的Kullback-Leibler距离,记为dL(3)(i),其中,log()表示以10为底的对数函数;
①_3c5、令i=i+1;然后将[yL(3)(1),yL(3)(2),…,yL(3)(128)]中下一个待处理的第i个列向量yL(3)(i)作为当前第一列向量,将[yL(4)(1),yL(4)(2),…,yL(4)(128)]中下一个待处理的第i个列向量yL(4)(i)作为当前第二列向量;再返回步骤①_3b3继续执行,直至[yL(3)(1),yL(3)(2),…,yL(3)(128)]和[yL(4)(1),yL(4)(2),…,yL(4)(128)]中的所有列向量处理完毕为止,共得到128个Kullback-Leibler距离;其中,i=i+1中的“=”为赋值符号;
①_3c6、按从小到大的顺序排列128个Kullback-Leibler距离;然后将[yL(3)(1),yL(3)(2),…,yL(3)(128)]中与前15个Kullback-Leibler距离各自对应的列向量的位置作为中的每幅失真立体图像的左视点图像的图像特征矢量中应选择的图像特征的位置;
①_3c7、按照步骤①_3c1至步骤①_3c5的过程,以相同的方式对中的所有失真立体图像的右视点图像的图像特征矢量和中的所有多失真立体图像的右视点图像的图像特征矢量进行处理,最终得到对应的128个Kullback-Leibler距离,第i个Kullback-Leibler距离为dR (3)(i);接着从这128个Kullback-Leibler距离中剔除与中的每幅失真立体图像的左视点图像的图像特征矢量中应选择的图像特征的位置相应的15个Kullback-Leibler距离;然后按从小到大的顺序排列剩余的113个Kullback-Leibler距离,并将中的所有失真立体图像的右视点图像的图像特征矢量构成的维数为128×M的矩阵经转置后的重新表示[yR(3)(1),yR(3)(2),…,yR(3)(128)]中与前15个Kullback-Leibler距离各自对应的列向量的位置作为中的每幅失真立体图像的右视点图像的图像特征矢量中应选择的图像特征的位置;其中,yR(3)(1),yR(3)(2),…,yR(3)(128)对应为[yR(3)(1),yR(3)(2),…,yR(3)(128)]中的第1个列向量、第2个列向量、……、第128个列向量,yR(3)(1)、yR(3)(2)和yR(3)(128)的维数均为M×1;
①_3c8、根据中的每幅失真立体图像的左视点图像的图像特征矢量中应选择的图像特征的位置与中的每幅失真立体图像的右视点图像的图像特征矢量中应选择的图像特征的位置,获得针对高斯白噪声失真的特征选择函数g3(),使g3()的输入为中的每幅失真立体图像的左视点图像的图像特征矢量和中的每幅失真立体图像的右视点图像的图像特征矢量,g3()的输出为由根据中的每幅失真立体图像的左视点图像的图像特征矢量中应选择的图像特征的位置而选择的图像特征与根据中的每幅失真立体图像的右视点图像的图像特征矢量中应选择的图像特征的位置而选择的图像特征构成的图像特征矢量;
①_4、将中的所有失真立体图像的经特征选择后的图像特征矢量和平均主观评分差值构成第一样本集合,记为然后采用支持向量回归模型作为机器学习的方法,对进行训练,使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小,构造得到第一质量预测函数,记为f1();其中,表示中的第k幅失真立体图像的平均主观评分差值;
同样,将中的所有失真立体图像的经特征选择后的图像特征矢量和平均主观评分差值构成第二样本集合,记为然后采用支持向量回归模型作为机器学习的方法,对进行训练,使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小,构造得到第二质量预测函数,记为f2();其中,表示中的第k幅失真立体图像的平均主观评分差值;
同样,将中的所有失真立体图像的经特征选择后的图像特征矢量和平均主观评分差值构成第三样本集合,记为然后采用支持向量回归模型作为机器学习的方法,对进行训练,使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小,构造得到第三质量预测函数,记为f3();其中,表示中的第k幅失真立体图像的平均主观评分差值;
所述的测试阶段过程的具体步骤如下:
②_1、对于任意一幅测试用的多失真立体图像Stest,将Stest的左视点图像记为Ltest,将Stest的右视点图像记为Rtest
②_2、按照步骤①_2的过程,以相同的操作获取Ltest和Rtest各自的图像特征矢量,对应记为其中,的维数均为128×1;
②_3、根据在训练阶段获取的针对JPEG失真的特征选择函数g1(),获取Stest的第一经特征选择后的图像特征矢量,记为 其中,的维数为30×1;
同样,根据在训练阶段获取的针对高斯模糊失真的特征选择函数g2(),获取Stest的第二经特征选择后的图像特征矢量,记为 其中,的维数为30×1;
根据在训练阶段获取的针对高斯白噪声失真的特征选择函数g3(),获取Stest的第三经特征选择后的图像特征矢量,记为 其中,的维数为30×1;
②_4、根据在训练阶段构造得到的第一质量预测函数f1(),计算Stest的针对JPEG失真的质量预测值,记为Q1同样,根据在训练阶段构造得到的第二质量预测函数f2(),计算Stest的针对高斯模糊失真的质量预测值,记为Q2根据在训练阶段构造得到的第三质量预测函数f3(),计算Stest的针对高斯白噪声失真的质量预测值,记为Q3然后加权Q1、Q2和Q3得到Stest的图像质量客观评价预测值,记为Q,Q=ω1×Q12×Q23×Q3;其中,ω1、ω2和ω3均为加权参数,ω123=1。
2.根据权利要求1所述的一种基于特征选择的无参考多失真立体图像质量评价方法,其特征在于所述的步骤①_2中的的获取过程为:采用4个尺度和4个方向的Gabor滤波器、局部二值模式方法、BRISQUE方法及梯度幅值的自然场景统计方法分别对中的第k幅失真立体图像的左视点图像进行处理,对应得到中的第k幅失真立体图像的左视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量,其中,信息熵和标准差特征矢量的维数为32×1,第一图像特征矢量的维数为36×1,第二图像特征矢量的维数为18×1,第三图像特征矢量的维数为42×1;然后将中的第k幅失真立体图像的左视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量按序组合成维数为128×1的矢量,将该矢量作为中的第k幅失真立体图像的左视点图像的图像特征矢量
所述的步骤①_2中的的获取过程为:采用4个尺度和4个方向的Gabor滤波器、局部二值模式方法、BRISQUE方法及梯度幅值的自然场景统计方法分别对中的第k幅失真立体图像的右视点图像进行处理,对应得到中的第k幅失真立体图像的右视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量,其中,信息熵和标准差特征矢量的维数为32×1,第一图像特征矢量的维数为36×1,第二图像特征矢量的维数为18×1,第三图像特征矢量的维数为42×1;然后将中的第k幅失真立体图像的右视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量按序组合成维数为128×1的矢量,将该矢量作为中的第k幅失真立体图像的右视点图像的图像特征矢量
所述的步骤①_2中的的获取过程为:采用4个尺度和4个方向的Gabor滤波器、局部二值模式方法、BRISQUE方法及梯度幅值的自然场景统计方法分别对中的第k幅失真立体图像的左视点图像进行处理,对应得到中的第k幅失真立体图像的左视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量,其中,信息熵和标准差特征矢量的维数为32×1,第一图像特征矢量的维数为36×1,第二图像特征矢量的维数为18×1,第三图像特征矢量的维数为42×1;然后将中的第k幅失真立体图像的左视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量按序组合成维数为128×1的矢量,将该矢量作为中的第k幅失真立体图像的左视点图像的图像特征矢量
所述的步骤①_2中的的获取过程为:采用4个尺度和4个方向的Gabor滤波器、局部二值模式方法、BRISQUE方法及梯度幅值的自然场景统计方法分别对中的第k幅失真立体图像的右视点图像进行处理,对应得到中的第k幅失真立体图像的右视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量,其中,信息熵和标准差特征矢量的维数为32×1,第一图像特征矢量的维数为36×1,第二图像特征矢量的维数为18×1,第三图像特征矢量的维数为42×1;然后将中的第k幅失真立体图像的右视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量按序组合成维数为128×1的矢量,将该矢量作为中的第k幅失真立体图像的右视点图像的图像特征矢量
所述的步骤①_2中的的获取过程为:采用4个尺度和4个方向的Gabor滤波器、局部二值模式方法、BRISQUE方法及梯度幅值的自然场景统计方法分别对中的第k幅失真立体图像的左视点图像进行处理,对应得到中的第k幅失真立体图像的左视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量,其中,信息熵和标准差特征矢量的维数为32×1,第一图像特征矢量的维数为36×1,第二图像特征矢量的维数为18×1,第三图像特征矢量的维数为42×1;然后将中的第k幅失真立体图像的左视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量按序组合成维数为128×1的矢量,将该矢量作为中的第k幅失真立体图像的左视点图像的图像特征矢量
所述的步骤①_2中的的获取过程为:采用4个尺度和4个方向的Gabor滤波器、局部二值模式方法、BRISQUE方法及梯度幅值的自然场景统计方法分别对中的第k幅失真立体图像的右视点图像进行处理,对应得到中的第k幅失真立体图像的右视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量,其中,信息熵和标准差特征矢量的维数为32×1,第一图像特征矢量的维数为36×1,第二图像特征矢量的维数为18×1,第三图像特征矢量的维数为42×1;然后将中的第k幅失真立体图像的右视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量按序组合成维数为128×1的矢量,将该矢量作为中的第k幅失真立体图像的右视点图像的图像特征矢量
所述的步骤①_2中的的获取过程为:采用4个尺度和4个方向的Gabor滤波器、局部二值模式方法、BRISQUE方法及梯度幅值的自然场景统计方法分别对中的第k'幅多失真立体图像的左视点图像进行处理,对应得到中的第k'幅多失真立体图像的左视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量,其中,信息熵和标准差特征矢量的维数为32×1,第一图像特征矢量的维数为36×1,第二图像特征矢量的维数为18×1,第三图像特征矢量的维数为42×1;然后将中的第k'幅多失真立体图像的左视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量按序组合成维数为128×1的矢量,将该矢量作为中的第k'幅多失真立体图像的左视点图像的图像特征矢量
所述的步骤①_2中的的获取过程为:采用4个尺度和4个方向的Gabor滤波器、局部二值模式方法、BRISQUE方法及梯度幅值的自然场景统计方法分别对中的第k'幅多失真立体图像的右视点图像进行处理,对应得到中的第k'幅多失真立体图像的右视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量,其中,信息熵和标准差特征矢量的维数为32×1,第一图像特征矢量的维数为36×1,第二图像特征矢量的维数为18×1,第三图像特征矢量的维数为42×1;然后将中的第k'幅多失真立体图像的右视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量按序组合成维数为128×1的矢量,将该矢量作为中的第k'幅多失真立体图像的右视点图像的图像特征矢量
3.根据权利要求1所述的一种基于特征选择的无参考多失真立体图像质量评价方法,其特征在于所述的步骤②_4中取ω1=0.2、ω2=0.3和ω3=0.5。
CN201610857224.3A 2016-09-28 2016-09-28 一种基于特征选择的无参考多失真立体图像质量评价方法 Expired - Fee Related CN106412569B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610857224.3A CN106412569B (zh) 2016-09-28 2016-09-28 一种基于特征选择的无参考多失真立体图像质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610857224.3A CN106412569B (zh) 2016-09-28 2016-09-28 一种基于特征选择的无参考多失真立体图像质量评价方法

Publications (2)

Publication Number Publication Date
CN106412569A CN106412569A (zh) 2017-02-15
CN106412569B true CN106412569B (zh) 2017-12-15

Family

ID=57997584

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610857224.3A Expired - Fee Related CN106412569B (zh) 2016-09-28 2016-09-28 一种基于特征选择的无参考多失真立体图像质量评价方法

Country Status (1)

Country Link
CN (1) CN106412569B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102333233A (zh) * 2011-09-23 2012-01-25 宁波大学 一种基于视觉感知的立体图像质量客观评价方法
CN103475897A (zh) * 2013-09-09 2013-12-25 宁波大学 一种基于失真类型判断的自适应图像质量评价方法
CN104954778A (zh) * 2015-06-04 2015-09-30 宁波大学 一种基于感知特征集的立体图像质量客观评价方法
CN105894522A (zh) * 2016-04-28 2016-08-24 宁波大学 一种多失真立体图像质量客观评价方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101550065B1 (ko) * 2013-06-21 2015-09-07 한국과학기술원 시각적으로 편안한 입체 영상을 위한 스테레오스코픽 영상 촬영 방법 및 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102333233A (zh) * 2011-09-23 2012-01-25 宁波大学 一种基于视觉感知的立体图像质量客观评价方法
CN103475897A (zh) * 2013-09-09 2013-12-25 宁波大学 一种基于失真类型判断的自适应图像质量评价方法
CN104954778A (zh) * 2015-06-04 2015-09-30 宁波大学 一种基于感知特征集的立体图像质量客观评价方法
CN105894522A (zh) * 2016-04-28 2016-08-24 宁波大学 一种多失真立体图像质量客观评价方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Toward a Blind Deep Quality Evaluator for Stereoscopic Images Based on Monocular and Binocular Interactions;Feng Shao ET AL.;《IEEE TRANSACTIONS ON IMAGE PROCESSING》;20160531;第25卷(第5期);第2059-2074页 *
基于深度学习的无参考立体图像质量评价;田维军等;《计算机辅助设计与图形学学报》;20160630;第28卷(第6期);第965-975页 *

Also Published As

Publication number Publication date
CN106412569A (zh) 2017-02-15

Similar Documents

Publication Publication Date Title
CN104902267B (zh) 一种基于梯度信息的无参考图像质量评价方法
CN108665460A (zh) 基于组合神经网络和分类神经网络的图像质量评价方法
CN103581661B (zh) 一种立体图像视觉舒适度评价方法
CN102333233B (zh) 一种基于视觉感知的立体图像质量客观评价方法
CN104658002B (zh) 一种无参考图像客观质量评价方法
CN104658001B (zh) 一种无参考非对称失真立体图像客观质量评价方法
CN102547368B (zh) 一种立体图像质量客观评价方法
CN105574901B (zh) 一种基于局部对比度模式的通用无参考图像质量评价方法
CN106447646A (zh) 一种用于无人机图像的质量盲评价方法
CN102209257A (zh) 一种立体图像质量客观评价方法
CN105282543B (zh) 一种基于立体视觉感知的全盲立体图像质量客观评价方法
CN104902268B (zh) 基于局部三元模式的无参考立体图像客观质量评价方法
CN108053396B (zh) 一种多失真图像质量的无参考评价方法
CN105894522B (zh) 一种多失真立体图像质量客观评价方法
CN104240248B (zh) 一种无参考立体图像质量客观评价方法
CN104954778A (zh) 一种基于感知特征集的立体图像质量客观评价方法
CN105243385B (zh) 一种基于非监督学习的图像质量评价方法
CN104376565A (zh) 基于离散余弦变换和稀疏表示的无参考图像质量评价方法
CN105357519A (zh) 基于自相似度特征的无参考立体图像质量客观评价方法
CN103945217A (zh) 基于熵的复小波域半盲图像质量评测方法和系统
CN107146220A (zh) 一种通用型无参考图像质量评价方法
CN109429051A (zh) 基于多视图特征学习的无参考立体视频质量客观评价方法
CN108010023A (zh) 基于张量域曲率分析的高动态范围图像质量评价方法
Tang et al. Training-free referenceless camera image blur assessment via hypercomplex singular value decomposition
CN106210711B (zh) 一种无参考立体图像质量评价方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20191216

Address after: Room 1,020, Nanxun Science and Technology Pioneering Park, No. 666 Chaoyang Road, Nanxun District, Huzhou City, Zhejiang Province, 313000

Patentee after: Huzhou You Yan Intellectual Property Service Co.,Ltd.

Address before: 315211 Zhejiang Province, Ningbo Jiangbei District Fenghua Road No. 818

Patentee before: Ningbo University

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210507

Address after: 226600 Building 1, 8 Xiaoxing Avenue, Chengdong Town, Hai'an County, Nantong City, Jiangsu Province

Patentee after: Jiangsu Maiwei Intelligent Technology Co.,Ltd.

Address before: 313000 room 1020, science and Technology Pioneer Park, 666 Chaoyang Road, Nanxun Town, Nanxun District, Huzhou, Zhejiang.

Patentee before: Huzhou You Yan Intellectual Property Service Co.,Ltd.

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171215