一种基于局部对比度模式的通用无参考图像质量评价方法
技术领域
本发明涉及一种图像质量客观评价方法,尤其是涉及一种基于局部对比度模式的通用无参考图像质量评价方法。
背景技术
图像是人类获取信息的重要途径,图像质量表示图像向人或设备提供信息的能力,直接关系着所获取信息的充分性与准确性。然而,图像在获取、处理、传输和存储的过程中,由于各种因素影响将不可避免的产生降质问题,这给信息的获取或图像的后期处理带来了极大困难。因此,建立有效的图像质量评价机制非常重要,如在图像去噪、图像融合等处理过程中可用于各种算法的性能比较、参数选择;在图像编码与通信领域可用于指导整个图像的传输过程并评估系统性能。
图像质量评价方法可以分为两类:主观评价方法和客观评价方法。前者是由观察者对图像质量进行评分,得到平均评价分用以衡量图像质量;后者利用数学模型计算图像质量。主观评价方法的实验结果比较可靠,但费时费力。客观评价方法又可分为三类:全参考图像质量评价方法、半参考图像质量评价方法和无参考图像质量评价方法,当前研究最多的是全参考图像质量评价方法,但是多数应用中无法获得相应的原始图像,因此,无参考图像质量评价方法的研究更具实用价值。
无参考图像质量评价方法可分为特定失真评价方法和通用评价方法两种,特定失真评价方法只能对某种特定失真类型的图像进行评价,例如JPEG、JPEG2K及Gblur失真等,无法对其它类型的失真图像及多种处理技术处理后的图像进行质量评价;通用评价方法可以同时对多种失真进行评价。
现有的通用无参考图像质量评价方法并没有充分考虑人眼视觉特性,因此,如何在评价过程中有效地提取人眼视觉特征信息,在评价过程中进行人眼视觉特性结合,通过字典学习和机器学习等方法,使得客观评价结果更加符合人类视觉感知系统,是图像进行客观质量评价过程中需要研究解决的问题。
发明内容
本发明所要解决的技术问题是提供一种基于局部对比度模式的通用无参考图像质量评价方法,其能够充分考虑到多方向视觉机制和局部对比度模式,从而能够有效地提高客观评价结果与主观感知之间的相关性。
本发明解决上述技术问题所采用的技术方案为:一种基于局部对比度模式的通用无参考图像质量评价方法,其特征在于包括训练阶段和测试阶段两个过程,所述的训练阶段的具体步骤为:
①_1、选取K幅原始的无失真图像,将第k幅原始的无失真图像记为{Lorg,k(x,y)},其中,K≥1,1≤k≤K,1≤x≤W,1≤y≤H,W表示原始的无失真图像的宽度,H表示原始的无失真图像的高度,Lorg,k(x,y)表示{Lorg,k(x,y)}中坐标位置为(x,y)的像素点的像素值;
①_2、对每幅原始的无失真图像实施8个方向高斯函数偏导数滤波器的滤波,得到每幅原始的无失真图像的8幅方向信息图像,将{Lorg,k(x,y)}的8幅方向信息图像分别记为{G1,k(x,y)}、{G2,k(x,y)}、{G3,k(x,y)}、{G4,k(x,y)}、{G5,k(x,y)}、{G6,k(x,y)}、{G7,k(x,y)}和{G8,k(x,y)};
并对每幅原始的无失真图像实施无方向拉普拉斯高斯滤波器的滤波,得到每幅原始的无失真图像的1幅无方向信息图像,将{Lorg,k(x,y)}的无方向信息图像记为{G0,k(x,y)};
其中,G1,k(x,y)表示{G1,k(x,y)}中坐标位置为(x,y)的像素点的像素值,G2,k(x,y)表示{G2,k(x,y)}中坐标位置为(x,y)的像素点的像素值,G3,k(x,y)表示{G3,k(x,y)}中坐标位置为(x,y)的像素点的像素值,G4,k(x,y)表示{G4,k(x,y)}中坐标位置为(x,y)的像素点的像素值,G5,k(x,y)表示{G5,k(x,y)}中坐标位置为(x,y)的像素点的像素值,G6,k(x,y)表示{G6,k(x,y)}中坐标位置为(x,y)的像素点的像素值,G7,k(x,y)表示{G7,k(x,y)}中坐标位置为(x,y)的像素点的像素值,G8,k(x,y)表示{G8,k(x,y)}中坐标位置为(x,y)的像素点的像素值,G0,k(x,y)表示{G0,k(x,y)}中坐标位置为(x,y)的像素点的像素值;
①_3、采用局部二值化模式操作对每幅原始的无失真图像的8幅方向信息图像分别进行处理,得到每幅原始的无失真图像的8幅方向信息图像各自的局部二值化模式特征图像,将{G1,k(x,y)}的局部二值化模式特征图像记为{LBP1,k(x,y)},将{G2,k(x,y)}的局部二值化模式特征图像记为{LBP2,k(x,y)},将{G3,k(x,y)}的局部二值化模式特征图像记为{LBP3,k(x,y)},将{G4,k(x,y)}的局部二值化模式特征图像记为{LBP4,k(x,y)},将{G5,k(x,y)}的局部二值化模式特征图像记为{LBP5,k(x,y)},将{G6,k(x,y)}的局部二值化模式特征图像记为{LBP6,k(x,y)},将{G7,k(x,y)}的局部二值化模式特征图像记为{LBP7,k(x,y)},将{G8,k(x,y)}的局部二值化模式特征图像记为{LBP8,k(x,y)};
并采用局部二值化模式操作对每幅原始的无失真图像的1幅无方向信息图像进行处理,得到每幅原始的无失真图像的无方向信息图像的局部二值化模式特征图像,将{G0,k(x,y)}的局部二值化模式特征图像记为{LBP0,k(x,y)};
其中,LBP1,k(x,y)表示{LBP1,k(x,y)}中坐标位置为(x,y)的像素点的像素值,LBP1,k(x,y)∈[0,P+1],LBP2,k(x,y)表示{LBP2,k(x,y)}中坐标位置为(x,y)的像素点的像素值,LBP2,k(x,y)∈[0,P+1],LBP3,k(x,y)表示{LBP3,k(x,y)}中坐标位置为(x,y)的像素点的像素值,LBP3,k(x,y)∈[0,P+1],LBP4,k(x,y)表示{LBP4,k(x,y)}中坐标位置为(x,y)的像素点的像素值,LBP4,k(x,y)∈[0,P+1],LBP5,k(x,y)表示{LBP5,k(x,y)}中坐标位置为(x,y)的像素点的像素值,LBP5,k(x,y)∈[0,P+1],LBP6,k(x,y)表示{LBP6,k(x,y)}中坐标位置为(x,y)的像素点的像素值,LBP6,k(x,y)∈[0,P+1],LBP7,k(x,y)表示{LBP7,k(x,y)}中坐标位置为(x,y)的像素点的像素值,LBP7,k(x,y)∈[0,P+1],LBP8,k(x,y)表示{LBP8,k(x,y)}中坐标位置为(x,y)的像素点的像素值,LBP8,k(x,y)∈[0,P+1],LBP0,k(x,y)表示{LBP0,k(x,y)}中坐标位置为(x,y)的像素点的像素值,LBP0,k(x,y)∈[0,P+1],P表示局部二值化模式操作中的领域参数;
①_4、采用直方图统计方法对每幅原始的无失真图像的8幅方向信息图像各自的局部二值化模式特征图像进行统计操作,得到每幅原始的无失真图像的8幅方向信息图像各自的局部二值化模式特征图像的直方图统计特征向量,将{LBP1,k(x,y)}的直方图统计特征向量记为H1,k,将{LBP2,k(x,y)}的直方图统计特征向量记为H2,k,将{LBP3,k(x,y)}的直方图统计特征向量记为H3,k,将{LBP4,k(x,y)}的直方图统计特征向量记为H4,k,将{LBP5,k(x,y)}的直方图统计特征向量记为H5,k,将{LBP6,k(x,y)}的直方图统计特征向量记为H6,k,将{LBP7,k(x,y)}的直方图统计特征向量记为H7,k,将{LBP8,k(x,y)}的直方图统计特征向量记为H8,k;
并采用直方图统计方法对每幅原始的无失真图像的无方向信息图像的局部二值化模式特征图像进行统计操作,得到每幅原始的无失真图像的无方向信息图像的局部二值化模式特征图像的直方图统计特征向量,将{LBP0,k(x,y)}的直方图统计特征向量记为H0,k;
其中,H1,k、H2,k、H3,k、H4,k、H5,k、H6,k、H7,k、H8,k、H0,k的维数均为m'×1维,H1,k中的第m个元素为H1,k(m),H2,k中的第m个元素为H2,k(m),H3,k中的第m个元素为H3,k(m),H4,k中的第m个元素为H4,k(m),H5,k中的第m个元素为H5,k(m),H6,k中的第m个元素为H6,k(m),H7,k中的第m个元素为H7,k(m),H8,k中的第m个元素为H8,k(m),H0,k中的第m个元素为H0,k(m),1≤m≤m';
①_5、将所有原始的无失真图像对应的直方图统计特征向量组成字典学习特征矩阵,记为Horg,其中,Horg的维数为9m'×K维,Horg中的第k列的9m'个元素依次为H1,k中的m'个元素、H2,k中的m'个元素、H3,k中的m'个元素、H4,k中的m'个元素、H5,k中的m'个元素、H6,k中的m'个元素、H7,k中的m'个元素、H8,k中的m'个元素、H0,k中的m'个元素;
所述的测试阶段的具体步骤为:
②_1、对于任意一幅尺寸大小与步骤①_1中选取的原始的无失真图像的尺寸大小一致的失真图像,将该失真图像作为待评价的失真图像,并记为{Ldis(x,y)},其中,1≤x≤W,1≤y≤H,Ldis(x,y)表示{Ldis(x,y)}中坐标位置为(x,y)的像素点的像素值;
②_2、对{Ldis(x,y)}实施8个方向高斯函数偏导数滤波器的滤波,得到{Ldis(x,y)}的8幅方向信息图像,分别记为{G1,dis(x,y)}、{G2,dis(x,y)}、{G3,dis(x,y)}、{G4,dis(x,y)}、{G5,dis(x,y)}、{G6,dis(x,y)}、{G7,dis(x,y)}和{G8,dis(x,y)};
并对{Ldis(x,y)}实施无方向拉普拉斯高斯滤波器的滤波,得到{Ldis(x,y)}的1幅无方向信息图像,记为{G0,dis(x,y)};
其中,G1,dis(x,y)表示{G1,dis(x,y)}中坐标位置为(x,y)的像素点的像素值,G2,dis(x,y)表示{G2,dis(x,y)}中坐标位置为(x,y)的像素点的像素值,G3,dis(x,y)表示{G3,dis(x,y)}中坐标位置为(x,y)的像素点的像素值,G4,dis(x,y)表示{G4,dis(x,y)}中坐标位置为(x,y)的像素点的像素值,G5,dis(x,y)表示{G5,dis(x,y)}中坐标位置为(x,y)的像素点的像素值,G6,dis(x,y)表示{G6,dis(x,y)}中坐标位置为(x,y)的像素点的像素值,G7,dis(x,y)表示{G7,dis(x,y)}中坐标位置为(x,y)的像素点的像素值,G8,dis(x,y)表示{G8,dis(x,y)}中坐标位置为(x,y)的像素点的像素值,G0,dis(x,y)表示{G0,dis(x,y)}中坐标位置为(x,y)的像素点的像素值;
②_3、采用局部二值化模式操作对{G1,dis(x,y)}、{G2,dis(x,y)}、{G3,dis(x,y)}、{G4,dis(x,y)}、{G5,dis(x,y)}、{G6,dis(x,y)}、{G7,dis(x,y)}和{G8,dis(x,y)}及{G0,dis(x,y)}分别进行处理,对应得到各自的局部二值化模式特征图像,将{G1,dis(x,y)}的局部二值化模式特征图像记为{LBP1,dis(x,y)},将{G2,dis(x,y)}的局部二值化模式特征图像记为{LBP2,dis(x,y)},将{G3,dis(x,y)}的局部二值化模式特征图像记为{LBP3,dis(x,y)},将{G4,dis(x,y)}的局部二值化模式特征图像记为{LBP4,dis(x,y)},将{G5,dis(x,y)}的局部二值化模式特征图像记为{LBP5,dis(x,y)},将{G6,dis(x,y)}的局部二值化模式特征图像记为{LBP6,dis(x,y)},将{G7,dis(x,y)}的局部二值化模式特征图像记为{LBP7,dis(x,y)},将{G8,dis(x,y)}的局部二值化模式特征图像记为{LBP8,dis(x,y)},将{G0,dis(x,y)}的局部二值化模式特征图像记为{LBP0,dis(x,y)};
其中,LBP1,dis(x,y)表示{LBP1,dis(x,y)}中坐标位置为(x,y)的像素点的像素值,LBP1,dis(x,y)∈[0,P+1],LBP2,dis(x,y)表示{LBP2,dis(x,y)}中坐标位置为(x,y)的像素点的像素值,LBP2,dis(x,y)∈[0,P+1],LBP3,dis(x,y)表示{LBP3,dis(x,y)}中坐标位置为(x,y)的像素点的像素值,LBP3,dis(x,y)∈[0,P+1],LBP4,dis(x,y)表示{LBP4,dis(x,y)}中坐标位置为(x,y)的像素点的像素值,LBP4,dis(x,y)∈[0,P+1],LBP5,dis(x,y)表示{LBP5,dis(x,y)}中坐标位置为(x,y)的像素点的像素值,LBP5,dis(x,y)∈[0,P+1],LBP6,dis(x,y)表示{LBP6,dis(x,y)}中坐标位置为(x,y)的像素点的像素值,LBP6,dis(x,y)∈[0,P+1],LBP7,dis(x,y)表示{LBP7,dis(x,y)}中坐标位置为(x,y)的像素点的像素值,LBP7,dis(x,y)∈[0,P+1],LBP8,dis(x,y)表示{LBP8,dis(x,y)}中坐标位置为(x,y)的像素点的像素值,LBP8,dis(x,y)∈[0,P+1],LBP0,dis(x,y)表示{LBP0,dis(x,y)}中坐标位置为(x,y)的像素点的像素值,LBP0,dis(x,y)∈[0,P+1],P表示局部二值化模式操作中的领域参数;
②_4、采用直方图统计方法对{LBP1,dis(x,y)}、{LBP2,dis(x,y)}、{LBP3,dis(x,y)}、{LBP4,dis(x,y)}、{LBP5,dis(x,y)}、{LBP6,dis(x,y)}、{LBP7,dis(x,y)}和{LBP8,dis(x,y)}及{LBP0,dis(x,y)}分别进行统计操作,对应得到各自的直方图统计特征向量,将{LBP1,dis(x,y)}的直方图统计特征向量记为H1,dis,将{LBP2,dis(x,y)}的直方图统计特征向量记为H2,dis,将{LBP3,dis(x,y)}的直方图统计特征向量记为H3,dis,将{LBP4,dis(x,y)}的直方图统计特征向量记为H4,dis,将{LBP5,dis(x,y)}的直方图统计特征向量记为H5,dis,将{LBP6,dis(x,y)}的直方图统计特征向量记为H6,dis,将{LBP7,dis(x,y)}的直方图统计特征向量记为H7,dis,将{LBP8,dis(x,y)}的直方图统计特征向量记为H8,dis,将{LBP0,dis(x,y)}的直方图统计特征向量记为H0,dis;
其中,H1,dis、H2,dis、H3,dis、H4,dis、H5,dis、H6,dis、H7,dis、H8,dis、H0,dis的维数均为m'×1维,H1,dis中的第m个元素为H1,dis(m),H2,dis中的第m个元素为H2,dis(m),H3,dis中的第m个元素为H3,dis(m),H4,dis中的第m个元素为H4,dis(m),H5,dis中的第m个元素为H5,dis(m),H6,dis中的第m个元素为H6,dis(m),H7,dis中的第m个元素为H7,dis(m),H8,dis中的第m个元素为H8,dis(m),H0,dis中的第m个元素为H0,dis(m),1≤m≤m';
②_5、将H1,dis、H2,dis、H3,dis、H4,dis、H5,dis、H6,dis、H7,dis、H8,dis、H0,dis组成{Ldis(x,y)}的特征向量,记为Hdis,其中,Hdis的维数为9m'×1维,Hdis中的9m'个元素依次为H1,dis中的m'个元素、H2,dis中的m'个元素、H3,dis中的m'个元素、H4,dis中的m'个元素、H5,dis中的m'个元素、H6,dis中的m'个元素、H7,dis中的m'个元素、H8,dis中的m'个元素、H0,dis中的m'个元素;
②_6、根据Horg和Hdis,并利用稀疏算法,获取{Ldis(x,y)}的视觉感知稀疏特征向量,记为X,X=((Horg)THorg+λ×I)-1(Horg)THdis,其中,X的维数为K×1维,(Horg)T为Horg的转置矩阵,λ为常数,I为维数为K×K维的单位矩阵,((Horg)THorg+λ×I)-1为((Horg)THorg+λ×I)的逆矩阵;
②_7、采用n”幅宽度为W且高度为H的原始的无失真图像,建立其在不同失真类型不同失真程度下的失真图像集合,将该失真图像集合作为训练集,训练集包括多幅失真图像;然后利用主观质量评价方法评价出训练集中的每幅失真图像的平均主观评分差值,将训练集中的第j幅失真图像的平均主观评分差值记为DMOSj;再按照步骤②_1至步骤②_6的操作,以相同的方式获取训练集中的每幅失真图像的视觉感知稀疏特征向量,将训练集中的第j幅失真图像的视觉感知稀疏特征向量记为Xj;其中,n”>1,1≤j≤N',N'表示训练集中包含的失真图像的总幅数,0≤DMOSj≤100,Xj的维数为K×1维;
②_8、利用支持向量回归对训练集中的所有失真图像各自的平均主观评分差值及视觉感知稀疏特征向量进行训练,使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小,拟合得到最优的权值矢量Wopt和最优的偏置项bopt;接着利用Wopt和bopt构造得到支持向量回归训练模型;再根据支持向量回归训练模型,预测得到{Ldis(x,y)}的客观质量评价预测值,记为Q,Q=f(y),其中,Q是y的函数,f()为函数表示形式,y为输入,y表示{Ldis(x,y)}的视觉感知稀疏特征向量X,(Wopt)T为Wopt的转置矢量,为y的线性函数。
所述的步骤①_3和所述的步骤②_3中局部二值化模式操作中的领域参数P取值为8。
所述的步骤②_6中取λ=0.01,稀疏算法为Homotopy算法。
所述的步骤①_4和所述的步骤②_4中取m'=P+2。
与现有技术相比,本发明的优点在于:
1)本发明方法通过深入挖掘多方向视觉机制和局部对比度模式,即:根据视觉方向特性,提取图像八个方向特性,并通过局部二值化模式能够表示图像特性,并对数据进行压缩;利用这些特性获取特征矩阵来模拟人眼视觉特性,使得本发明方法能够充分考虑到视觉感知特性。
2)本发明方法在充分利用了人眼视觉感知特性的基础上,采用稀疏算法获取视觉感知稀疏特征信息,视觉感知稀疏特征信息能够有效地表示主观视觉特性,因此能有效地提高客观评价结果与主观感知之间的相关性。
附图说明
图1为本发明方法的总体实现框图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种基于局部对比度模式的通用无参考图像质量评价方法,其总体实现框图如图1所示,其包括训练阶段和测试阶段两个过程,所述的训练阶段的具体步骤为:
①_1、选取K幅原始的无失真图像,将第k幅原始的无失真图像记为{Lorg,k(x,y)},其中,K≥1,在本实施例中取K=94,1≤k≤K,1≤x≤W,1≤y≤H,W表示原始的无失真图像的宽度,H表示原始的无失真图像的高度,Lorg,k(x,y)表示{Lorg,k(x,y)}中坐标位置为(x,y)的像素点的像素值。
①_2、对每幅原始的无失真图像实施8个方向高斯函数偏导数滤波器的滤波,得到每幅原始的无失真图像的8幅方向信息图像,将{Lorg,k(x,y)}的8幅方向信息图像分别记为{G1,k(x,y)}、{G2,k(x,y)}、{G3,k(x,y)}、{G4,k(x,y)}、{G5,k(x,y)}、{G6,k(x,y)}、{G7,k(x,y)}和{G8,k(x,y)}。
并对每幅原始的无失真图像实施无方向拉普拉斯高斯滤波器的滤波,得到每幅原始的无失真图像的1幅无方向信息图像,将{Lorg,k(x,y)}的无方向信息图像记为{G0,k(x,y)}。
其中,G1,k(x,y)表示{G1,k(x,y)}中坐标位置为(x,y)的像素点的像素值,G2,k(x,y)表示{G2,k(x,y)}中坐标位置为(x,y)的像素点的像素值,G3,k(x,y)表示{G3,k(x,y)}中坐标位置为(x,y)的像素点的像素值,G4,k(x,y)表示{G4,k(x,y)}中坐标位置为(x,y)的像素点的像素值,G5,k(x,y)表示{G5,k(x,y)}中坐标位置为(x,y)的像素点的像素值,G6,k(x,y)表示{G6,k(x,y)}中坐标位置为(x,y)的像素点的像素值,G7,k(x,y)表示{G7,k(x,y)}中坐标位置为(x,y)的像素点的像素值,G8,k(x,y)表示{G8,k(x,y)}中坐标位置为(x,y)的像素点的像素值,G0,k(x,y)表示{G0,k(x,y)}中坐标位置为(x,y)的像素点的像素值。
①_3、采用现有的局部二值化模式操作对每幅原始的无失真图像的8幅方向信息图像分别进行处理,得到每幅原始的无失真图像的8幅方向信息图像各自的局部二值化模式特征图像,将{G1,k(x,y)}的局部二值化模式特征图像记为{LBP1,k(x,y)},将{G2,k(x,y)}的局部二值化模式特征图像记为{LBP2,k(x,y)},将{G3,k(x,y)}的局部二值化模式特征图像记为{LBP3,k(x,y)},将{G4,k(x,y)}的局部二值化模式特征图像记为{LBP4,k(x,y)},将{G5,k(x,y)}的局部二值化模式特征图像记为{LBP5,k(x,y)},将{G6,k(x,y)}的局部二值化模式特征图像记为{LBP6,k(x,y)},将{G7,k(x,y)}的局部二值化模式特征图像记为{LBP7,k(x,y)},将{G8,k(x,y)}的局部二值化模式特征图像记为{LBP8,k(x,y)}。
并采用现有的局部二值化模式操作对每幅原始的无失真图像的1幅无方向信息图像进行处理,得到每幅原始的无失真图像的无方向信息图像的局部二值化模式特征图像,将{G0,k(x,y)}的局部二值化模式特征图像记为{LBP0,k(x,y)}。
其中,LBP1,k(x,y)表示{LBP1,k(x,y)}中坐标位置为(x,y)的像素点的像素值,LBP1,k(x,y)∈[0,P+1],LBP2,k(x,y)表示{LBP2,k(x,y)}中坐标位置为(x,y)的像素点的像素值,LBP2,k(x,y)∈[0,P+1],LBP3,k(x,y)表示{LBP3,k(x,y)}中坐标位置为(x,y)的像素点的像素值,LBP3,k(x,y)∈[0,P+1],LBP4,k(x,y)表示{LBP4,k(x,y)}中坐标位置为(x,y)的像素点的像素值,LBP4,k(x,y)∈[0,P+1],LBP5,k(x,y)表示{LBP5,k(x,y)}中坐标位置为(x,y)的像素点的像素值,LBP5,k(x,y)∈[0,P+1],LBP6,k(x,y)表示{LBP6,k(x,y)}中坐标位置为(x,y)的像素点的像素值,LBP6,k(x,y)∈[0,P+1],LBP7,k(x,y)表示{LBP7,k(x,y)}中坐标位置为(x,y)的像素点的像素值,LBP7,k(x,y)∈[0,P+1],LBP8,k(x,y)表示{LBP8,k(x,y)}中坐标位置为(x,y)的像素点的像素值,LBP8,k(x,y)∈[0,P+1],LBP0,k(x,y)表示{LBP0,k(x,y)}中坐标位置为(x,y)的像素点的像素值,LBP0,k(x,y)∈[0,P+1],P表示局部二值化模式操作中的领域参数。
在本实施例中,局部二值化模式操作中的领域参数P取值为8。
①_4、采用现有的直方图统计方法对每幅原始的无失真图像的8幅方向信息图像各自的局部二值化模式特征图像进行统计操作,得到每幅原始的无失真图像的8幅方向信息图像各自的局部二值化模式特征图像的直方图统计特征向量,将{LBP1,k(x,y)}的直方图统计特征向量记为H1,k,将{LBP2,k(x,y)}的直方图统计特征向量记为H2,k,将{LBP3,k(x,y)}的直方图统计特征向量记为H3,k,将{LBP4,k(x,y)}的直方图统计特征向量记为H4,k,将{LBP5,k(x,y)}的直方图统计特征向量记为H5,k,将{LBP6,k(x,y)}的直方图统计特征向量记为H6,k,将{LBP7,k(x,y)}的直方图统计特征向量记为H7,k,将{LBP8,k(x,y)}的直方图统计特征向量记为H8,k。
并采用现有的直方图统计方法对每幅原始的无失真图像的无方向信息图像的局部二值化模式特征图像进行统计操作,得到每幅原始的无失真图像的无方向信息图像的局部二值化模式特征图像的直方图统计特征向量,将{LBP0,k(x,y)}的直方图统计特征向量记为H0,k。
其中,H1,k、H2,k、H3,k、H4,k、H5,k、H6,k、H7,k、H8,k、H0,k的维数均为m'×1维,H1,k中的第m个元素为H1,k(m),H2,k中的第m个元素为H2,k(m),H3,k中的第m个元素为H3,k(m),H4,k中的第m个元素为H4,k(m),H5,k中的第m个元素为H5,k(m),H6,k中的第m个元素为H6,k(m),H7,k中的第m个元素为H7,k(m),H8,k中的第m个元素为H8,k(m),H0,k中的第m个元素为H0,k(m),1≤m≤m',在本实施例中取m'=P+2。
①_5、将所有原始的无失真图像的8幅方向信息图像和1幅无方向信息图像各自的局部二值化模式特征图像的直方图统计特征向量,即将所有原始的无失真图像对应的直方图统计特征向量组成字典学习特征矩阵,记为Horg,其中,Horg的维数为9m'×K维,Horg中的第k列的9m'个元素依次为H1,k中的m'个元素、H2,k中的m'个元素、H3,k中的m'个元素、H4,k中的m'个元素、H5,k中的m'个元素、H6,k中的m'个元素、H7,k中的m'个元素、H8,k中的m'个元素、H0,k中的m'个元素。
所述的测试阶段的具体步骤为:
②_1、对于任意一幅尺寸大小与步骤①_1中选取的原始的无失真图像的尺寸大小一致的失真图像,将该失真图像作为待评价的失真图像,并记为{Ldis(x,y)},其中,1≤x≤W,1≤y≤H,Ldis(x,y)表示{Ldis(x,y)}中坐标位置为(x,y)的像素点的像素值。
②_2、对{Ldis(x,y)}实施8个方向高斯函数偏导数滤波器的滤波,得到{Ldis(x,y)}的8幅方向信息图像,分别记为{G1,dis(x,y)}、{G2,dis(x,y)}、{G3,dis(x,y)}、{G4,dis(x,y)}、{G5,dis(x,y)}、{G6,dis(x,y)}、{G7,dis(x,y)}和{G8,dis(x,y)}。
并对{Ldis(x,y)}实施无方向拉普拉斯高斯滤波器的滤波,得到{Ldis(x,y)}的1幅无方向信息图像,记为{G0,dis(x,y)}。
其中,G1,dis(x,y)表示{G1,dis(x,y)}中坐标位置为(x,y)的像素点的像素值,G2,dis(x,y)表示{G2,dis(x,y)}中坐标位置为(x,y)的像素点的像素值,G3,dis(x,y)表示{G3,dis(x,y)}中坐标位置为(x,y)的像素点的像素值,G4,dis(x,y)表示{G4,dis(x,y)}中坐标位置为(x,y)的像素点的像素值,G5,dis(x,y)表示{G5,dis(x,y)}中坐标位置为(x,y)的像素点的像素值,G6,dis(x,y)表示{G6,dis(x,y)}中坐标位置为(x,y)的像素点的像素值,G7,dis(x,y)表示{G7,dis(x,y)}中坐标位置为(x,y)的像素点的像素值,G8,dis(x,y)表示{G8,dis(x,y)}中坐标位置为(x,y)的像素点的像素值,G0,dis(x,y)表示{G0,dis(x,y)}中坐标位置为(x,y)的像素点的像素值。
②_3、采用现有的局部二值化模式操作对{G1,dis(x,y)}、{G2,dis(x,y)}、{G3,dis(x,y)}、{G4,dis(x,y)}、{G5,dis(x,y)}、{G6,dis(x,y)}、{G7,dis(x,y)}和{G8,dis(x,y)}及{G0,dis(x,y)}分别进行处理,对应得到各自的局部二值化模式特征图像,将{G1,dis(x,y)}的局部二值化模式特征图像记为{LBP1,dis(x,y)},将{G2,dis(x,y)}的局部二值化模式特征图像记为{LBP2,dis(x,y)},将{G3,dis(x,y)}的局部二值化模式特征图像记为{LBP3,dis(x,y)},将{G4,dis(x,y)}的局部二值化模式特征图像记为{LBP4,dis(x,y)},将{G5,dis(x,y)}的局部二值化模式特征图像记为{LBP5,dis(x,y)},将{G6,dis(x,y)}的局部二值化模式特征图像记为{LBP6,dis(x,y)},将{G7,dis(x,y)}的局部二值化模式特征图像记为{LBP7,dis(x,y)},将{G8,dis(x,y)}的局部二值化模式特征图像记为{LBP8,dis(x,y)},将{G0,dis(x,y)}的局部二值化模式特征图像记为{LBP0,dis(x,y)}。
其中,LBP1,dis(x,y)表示{LBP1,dis(x,y)}中坐标位置为(x,y)的像素点的像素值,LBP1,dis(x,y)∈[0,P+1],LBP2,dis(x,y)表示{LBP2,dis(x,y)}中坐标位置为(x,y)的像素点的像素值,LBP2,dis(x,y)∈[0,P+1],LBP3,dis(x,y)表示{LBP3,dis(x,y)}中坐标位置为(x,y)的像素点的像素值,LBP3,dis(x,y)∈[0,P+1],LBP4,dis(x,y)表示{LBP4,dis(x,y)}中坐标位置为(x,y)的像素点的像素值,LBP4,dis(x,y)∈[0,P+1],LBP5,dis(x,y)表示{LBP5,dis(x,y)}中坐标位置为(x,y)的像素点的像素值,LBP5,dis(x,y)∈[0,P+1],LBP6,dis(x,y)表示{LBP6,dis(x,y)}中坐标位置为(x,y)的像素点的像素值,LBP6,dis(x,y)∈[0,P+1],LBP7,dis(x,y)表示{LBP7,dis(x,y)}中坐标位置为(x,y)的像素点的像素值,LBP7,dis(x,y)∈[0,P+1],LBP8,dis(x,y)表示{LBP8,dis(x,y)}中坐标位置为(x,y)的像素点的像素值,LBP8,dis(x,y)∈[0,P+1],LBP0,dis(x,y)表示{LBP0,dis(x,y)}中坐标位置为(x,y)的像素点的像素值,LBP0,dis(x,y)∈[0,P+1],P表示局部二值化模式操作中的领域参数。
在本实施例中,局部二值化模式操作中的领域参数P取值为8。
②_4、采用现有的直方图统计方法对{LBP1,dis(x,y)}、{LBP2,dis(x,y)}、{LBP3,dis(x,y)}、{LBP4,dis(x,y)}、{LBP5,dis(x,y)}、{LBP6,dis(x,y)}、{LBP7,dis(x,y)}和{LBP8,dis(x,y)}及{LBP0,dis(x,y)}分别进行统计操作,对应得到各自的直方图统计特征向量,将{LBP1,dis(x,y)}的直方图统计特征向量记为H1,dis,将{LBP2,dis(x,y)}的直方图统计特征向量记为H2,dis,将{LBP3,dis(x,y)}的直方图统计特征向量记为H3,dis,将{LBP4,dis(x,y)}的直方图统计特征向量记为H4,dis,将{LBP5,dis(x,y)}的直方图统计特征向量记为H5,dis,将{LBP6,dis(x,y)}的直方图统计特征向量记为H6,dis,将{LBP7,dis(x,y)}的直方图统计特征向量记为H7,dis,将{LBP8,dis(x,y)}的直方图统计特征向量记为H8,dis,将{LBP0,dis(x,y)}的直方图统计特征向量记为H0,dis。
其中,H1,dis、H2,dis、H3,dis、H4,dis、H5,dis、H6,dis、H7,dis、H8,dis、H0,dis的维数均为m'×1维,H1,dis中的第m个元素为H1,dis(m),H2,dis中的第m个元素为H2,dis(m),H3,dis中的第m个元素为H3,dis(m),H4,dis中的第m个元素为H4,dis(m),H5,dis中的第m个元素为H5,dis(m),H6,dis中的第m个元素为H6,dis(m),H7,dis中的第m个元素为H7,dis(m),H8,dis中的第m个元素为H8,dis(m),H0,dis中的第m个元素为H0,dis(m),1≤m≤m',在本实施例中取m'=P+2。
②_5、将H1,dis、H2,dis、H3,dis、H4,dis、H5,dis、H6,dis、H7,dis、H8,dis、H0,dis组成{Ldis(x,y)}的特征向量,记为Hdis,其中,Hdis的维数为9m'×1维,Hdis中的9m'个元素依次为H1,dis中的m'个元素、H2,dis中的m'个元素、H3,dis中的m'个元素、H4,dis中的m'个元素、H5,dis中的m'个元素、H6,dis中的m'个元素、H7,dis中的m'个元素、H8,dis中的m'个元素、H0,dis中的m'个元素。
②_6、根据Horg和Hdis,并利用稀疏算法,获取{Ldis(x,y)}的视觉感知稀疏特征向量,记为X,X=((Horg)THorg+λ×I)-1(Horg)THdis,其中,X的维数为K×1维,(Horg)T为Horg的转置矩阵,λ为常数,I为维数为K×K维的单位矩阵,((Horg)THorg+λ×I)-1为((Horg)THorg+λ×I)的逆矩阵。
在本实施例中,λ=0.01,稀疏算法为Homotopy算法。
②_7、采用n”幅宽度为W且高度为H的原始的无失真图像,建立其在不同失真类型不同失真程度下的失真图像集合,将该失真图像集合作为训练集,训练集包括多幅失真图像;然后利用现有的主观质量评价方法评价出训练集中的每幅失真图像的平均主观评分差值,将训练集中的第j幅失真图像的平均主观评分差值记为DMOSj;再按照步骤②_1至步骤②_6的操作,以相同的方式获取训练集中的每幅失真图像的视觉感知稀疏特征向量,将训练集中的第j幅失真图像的视觉感知稀疏特征向量记为Xj;其中,n”>1,1≤j≤N',N'表示训练集中包含的失真图像的总幅数,在本实施例中N'≥10,0≤DMOSj≤100,Xj的维数为K×1维。
②_8、支持向量回归(Support Vector Regression,SVR)是基于结构风险最小化准则的新型机器学习方法和统计学理论,其可以有效地抑制过拟合问题,因此本发明利用现有的支持向量回归对训练集中的所有失真图像各自的平均主观评分差值及视觉感知稀疏特征向量进行训练,使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小,拟合得到最优的权值矢量Wopt和最优的偏置项bopt;接着利用Wopt和bopt构造得到支持向量回归训练模型;再根据支持向量回归训练模型,预测得到{Ldis(x,y)}的客观质量评价预测值,记为Q,Q=f(y),其中,Q是y的函数,f()为函数表示形式,y为输入,y表示{Ldis(x,y)}的视觉感知稀疏特征向量X,(Wopt)T为Wopt的转置矢量,为y的线性函数。
为了进一步验证本发明方法的可行性和有效性,进行实验。
在此,采用LIVE图像库来分析利用本发明方法得到的失真图像的客观质量评价预测值与平均主观评分差值之间的相关性。这里,利用评估图像质量评价方法的3个常用客观参量作为评价指标,即非线性回归条件下的Pearson相关系数(Pearson linearcorrelation coefficient,PLCC)、Spearman相关系数(Spearman rank ordercorrelation coefficient,SROCC)、均方误差(root mean squared error,RMSE),PLCC和RMSE反映失真图像的客观评价结果的准确性,SROCC反映其单调性。
利用本发明方法计算LIVE图像库中的每幅失真图像的客观质量评价预测值,再利用现有的主观质量评价方法获得LIVE图像库中的每幅失真图像的平均主观评分差值。将按本发明方法计算得到的失真图像的客观质量评价预测值做五参数Logistic函数非线性拟合,PLCC和SROCC值越高,RMSE值越低说明按本发明方法计算得到的失真图像的客观质量评价预测值与平均主观评分差值之间的相关性越好。反映本发明方法的质量评价性能的PLCC、SROCC和RMSE相关系数如表1所列。从表1所列的数据可知,按本发明方法得到的失真图像的最终的客观质量评价预测值与平均主观评分差值之间的相关性是很好的,表明客观评价结果与人眼主观感知的结果较为一致,足以说明本发明方法的可行性和有效性。
表1利用本发明方法得到的失真图像的客观质量评价预测值与平均主观评分差值之间的相关性