基于相位选择性机制的通用无参考图像质量评价方法
技术领域
本发明涉及一种图像质量评价方法,尤其是涉及一种基于相位选择性机制的通用无参考图像质量评价方法。
背景技术
图像是人类获取信息的重要途径,图像质量表示图像向人或设备提供信息的能力,直接关系着所获取信息的充分性与准确性。然而,图像在获取、处理、传输和存储的过程中,由于各种因素影响将不可避免的产生降质问题,这给信息的获取或图像的后期处理带来了极大困难。因此,建立有效的图像质量评价机制非常重要。如在图像去噪、图像融合等处理过程中可用于各种算法的性能比较、参数选择;在图像编码与通信领域可用于指导整个图像的传输过程并评估系统性能。
图像质量评价方法可以分为两类:主观评价方法和客观评价方法。前者是由观察者对图像质量进行评分,得到平均评价分用以衡量图像质量;后者利用数学模型计算图像质量。主观评价方法的实验结果比较可靠,但费时费力。客观评价方法又可分为三类:全参考图像质量评价方法、半参考图像质量评价方法和无参考图像质量评价方法,当前研究最多的是全参考图像质量评价方法,但是多数应用中无法获得相应的原始图像,因此,无参考图像质量评价方法的研究更具实用价值。
无参考图像质量评价方法可分为特定失真评价方法和通用评价方法两种,特定失真评价方法只能对某种特定失真类型的图像进行评价,例如JPEG、JPEG2K及Gblur失真等,无法对其它类型的失真图像及多种处理技术处理后的图像进行质量评价;通用评价方法可以同时对多种失真进行评价。
现有的通用无参考图像质量评价方法并没有充分考虑人眼视觉特性,因此,如何在评价过程中有效地提取人眼视觉特征信息,在评价过程中进行人眼视觉特性结合,使得客观评价结果更加符合人类视觉感知系统,是图像进行客观质量评价过程中需要研究解决的问题。
发明内容
本发明所要解决的技术问题是提供一种基于相位选择性机制的通用无参考图像质量评价方法,其能够充分考虑到相位信息改变对视觉质量的影响,能够有效地提高客观评价结果与主观感知之间的相关性。
本发明解决上述技术问题所采用的技术方案为:一种基于相位选择性机制的通用无参考图像质量评价方法,其特征在于包括以下步骤:
①令{Id(i,j)}表示待评价的失真图像,其中,1≤i≤W,1≤j≤H,W表示{Id(i,j)}的宽度,H表示{Id(i,j)}的高度,Id(i,j)表示{Id(i,j)}中坐标位置为(i,j)的像素点的像素值;
②对{Id(i,j)}实施Log-Gabor滤波,得到{Id(i,j)}的多尺度多方向的相位图像,记为其中,表示中坐标位置为(i,j)的像素点的像素值;
③获取的局部特征图,记为将中坐标位置为(i,j)的像素点的像素值,即中坐标位置为(i,j)的像素点的局部特征值记为 ,其中,fun()为将二进制数转换成十进制数的函数,符号“||”表示二进制比特位续联符号, 符号“||”为取绝对值符号,当1≤i-1≤W且1≤j-1≤H时表示中坐标位置为(i-1,j-1)的像素点的像素值,当1≤i-1≤W且j-1<1时令当i-1<1且1≤j-1≤H时令当i-1<1且j-1<1时令当1≤i-1≤W时表示中坐标位置为(i-1,j)的像素点的像素值,当i-1<1时令当1≤i-1≤W且1≤j+1≤H时表示中坐标位置为(i-1,j+1)的像素点的像素值,当1≤i-1≤W且j+1>H时令当i-1<1且1≤j+1≤H时令当i-1<1且j+1>H时令当1≤j-1≤H时表示中坐标位置为(i,j-1)的像素点的像素值,当j-1<1时令当1≤j+1≤H时表示中坐标位置为(i,j+1)的像素点的像素值,当j+1>H时令当1≤i+1≤W且1≤j-1≤H时表示中坐标位置为(i+1,j-1)的像素点的像素值,当1≤i+1≤W且j-1<1时令当i+1>W且1≤j-1≤H时令当i+1>W且j-1<1时令当1≤i+1≤W时表示中坐标位置为(i+1,j)的像素点的像素值,当i+1>W时令当1≤i+1≤W且1≤j+1≤H时表示中坐标位置为(i+1,j+1)的像素点的像素值,当1≤i+1≤W且j+1>H时令当i+1>W且1≤j+1≤H时令当i+1>W且j+1>H时令上述 对应表示中坐标位置为(i-1,1)、(1,j-1)、(1,1)、(1,j)、(i-1,H)、(1,j+1)、(1,H)、(i,1)、(i,H)、(i+1,1)、(W,j-1)、(W,1)、(W,j)、(i+1,H)、(W,j+1)、(W,H)的像素点的像素值,T为设定的阈值;
④采用旋转不变性操作对进行处理,得到的局部特征模式图,记为其中,表示中坐标位置为(i,j)的像素点的像素值,也即是中坐标位置为(i,j)的像素点的局部特征模式值;
⑤采用直方图统计方法对进行统计操作,得到{Id(i,j)}的直方图统计特征向量,记为hd,其中,hd的维数为1×m'维,hd中的第m个元素为hd(m),1≤m≤m',m'>1;
⑥采用n”幅宽度为W且高度为H的原始的无失真图像,建立其在不同失真类型不同失真程度下的失真图像集合,将该失真图像集合作为训练集,训练集包括多幅失真图像;然后利用主观质量评价方法评价出训练集中的每幅失真图像的平均主观评分值,将训练集中的第j幅失真图像的平均主观评分值记为DMOSj;再按照步骤①至步骤⑤的操作,以相同的方式获取训练集中的每幅失真图像的直方图统计特征向量,将训练集中的第j幅失真图像的直方图统计特征向量记为hd,j;其中,n”>1,1≤j≤N',N'表示训练集中包含的失真图像的总幅数,0≤DMOSj≤100,hd,j的维数为1×m'维,hd,j中的第m个元素为hd,j(m);
⑦计算hd与训练集中的每幅失真图像的直方图统计特征向量之间的距离,将hd与hd,j之间的距离记为Ddis,j,Ddis,j=|hd-hd,j|;然后将得到的N'个距离构成的集合记为{Ddis,j|1≤j≤N'};接着对{Ddis,j|1≤j≤N'}中的所有距离按从小到大的顺序排列,将排列后的集合记为{D'dis,j|1≤j≤N'};之后获取{D'dis,j|1≤j≤N'}中的前K'个距离各自对应的训练集中的失真图像的平均主观评分值,并将这K'个平均主观评分值构成的集合记为{DMOS'1,DMOS'2,…,DMOS'K'};其中,符号“||”为取绝对值符号,1≤K'≤N',DMOS'1,DMOS'2,…,DMOS'K'对应表示{D'dis,j|1≤j≤N'}中的第1个距离对应的训练集中的失真图像的平均主观评分值、第2个距离对应的训练集中的失真图像的平均主观评分值、…、第K'个距离对应的训练集中的失真图像的平均主观评分值;
⑧计算{Id(i,j)}的客观质量评价预测值,记为Qdis,其中,D'dis,k'表示{D'dis,j|1≤j≤N'}中的第k'个距离,DMOS'k'表示D'dis,k'对应的训练集中的失真图像的平均主观评分值。
所述的步骤③中取T=45。
所述的步骤⑤中取m'=10。
与现有技术相比,本发明的优点在于:
1)本发明方法通过深入挖掘人眼视觉特性中的相位选择机制,即通过相位模式模拟人眼视觉兴奋和抑制性神经元感受,这能够很好地体现了人眼视觉感知特性。
2)本发明方法在充分利用了人眼视觉相位选择机制的基础上,采用局部特征提取方法(即利用失真图像的多尺度多方向的相位图像中的每个像素点及其八邻域像素点各自的像素值来获取失真图像的多尺度多方向的相位图像的局部特征图)和旋转不变性方法获取视觉感知相位特征信息,因此能有效地提高客观评价结果与主观感知之间的相关性。
附图说明
图1为本发明方法的总体实现框图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种基于相位选择性机制的通用无参考图像质量评价方法,其总体实现框图如图1所示,其处理过程为:首先,对待评价的失真图像实施Log-Gabor滤波,得到多尺度多方向的相位图像;接着对上述相位图像中的每个像素点的像素值与周边像素点的像素值进行比较得到局部特征图;然后采用旋转不变性方法求取局部特征图的局部特征模式图,并用直方图统计方法对局部特征模式图进行统计,得到待评价的失真图像的直方图统计特征向量;最后根据待评价的失真图像的直方图统计特征向量与训练集中的每幅失真图像的直方图统计特征向量之间的距离,得到待评价的失真图像的客观质量评价预测值。
本发明的基于相位选择性机制的通用无参考图像质量评价方法,其包括以下步骤:
①令{Id(i,j)}表示待评价的失真图像,其中,1≤i≤W,1≤j≤H,W表示{Id(i,j)}的宽度,H表示{Id(i,j)}的高度,Id(i,j)表示{Id(i,j)}中坐标位置为(i,j)的像素点的像素值。
②对{Id(i,j)}实施Log-Gabor滤波,得到{Id(i,j)}的多尺度多方向的相位图像,记为其中,表示中坐标位置为(i,j)的像素点的像素值。
③获取的局部特征图,记为将中坐标位置为(i,j)的像素点的像素值,即中坐标位置为(i,j)的像素点的局部特征值记为 其中,fun()为将二进制数转换成十进制数的函数,符号“||”表示二进制比特位续联符号, 符号“||”为取绝对值符号,当1≤i-1≤W且1≤j-1≤H时表示中坐标位置为(i-1,j-1)的像素点的像素值,当1≤i-1≤W且j-1<1时令当i-1<1且1≤j-1≤H时令当i-1<1且j-1<1时令当1≤i-1≤W时表示中坐标位置为(i-1,j)的像素点的像素值,当i-1<1时令当1≤i-1≤W且1≤j+1≤H时表示中坐标位置为(i-1,j+1)的像素点的像素值,当1≤i-1≤W且j+1>H时令当i-1<1且1≤j+1≤H时令当i-1<1且j+1>H时令当1≤j-1≤H时表示中坐标位置为(i,j-1)的像素点的像素值,当j-1<1时令当1≤j+1≤H时表示中坐标位置为(i,j+1)的像素点的像素值,当j+1>H时令当1≤i+1≤W且1≤j-1≤H时表示中坐标位置为(i+1,j-1)的像素点的像素值,当1≤i+1≤W且j-1<1时令当i+1>W且1≤j-1≤H时令当i+1>W且j-1<1时令当1≤i+1≤W时表示中坐标位置为(i+1,j)的像素点的像素值,当i+1>W时令当1≤i+1≤W且1≤j+1≤H时表示中坐标位置为(i+1,j+1)的像素点的像素值,当1≤i+1≤W且j+1>H时令当i+1>W且1≤j+1≤H时令当i+1>W且j+1>H时令上述 对应表示中坐标位置为(i-1,1)、(1,j-1)、(1,1)、(1,j)、(i-1,H)、(1,j+1)、(1,H)、(i,1)、(i,H)、(i+1,1)、(W,j-1)、(W,1)、(W,j)、(i+1,H)、(W,j+1)、(W,H)的像素点的像素值,T为设定的阈值,在本实施例中取T=45,如假设,则在具体实施时,实际上也可以不用将二进制值转化成十进制值,即局部特征值直接用二进制表示。
在此,利用中坐标位置为(i,j)的像素点的像素值与八邻域像素点的像素值进行比较来获得中坐标位置为(i,j)的像素点的局部特征向量。
④采用现有的旋转不变性操作对进行处理,得到的局部特征模式图,记为其中,表示中坐标位置为(i,j)的像素点的像素值,也即是中坐标位置为(i,j)的像素点的局部特征模式值。
⑤采用现有的直方图统计方法对进行统计操作,得到{Id(i,j)}的直方图统计特征向量,记为hd,其中,hd的维数为1×m'维,hd中的第m个元素为hd(m),1≤m≤m',m'>1,在本实施例中取m'=10。
⑥采用n”幅宽度为W且高度为H的原始的无失真图像,建立其在不同失真类型不同失真程度下的失真图像集合,将该失真图像集合作为训练集,训练集包括多幅失真图像;然后利用现有的主观质量评价方法评价出训练集中的每幅失真图像的平均主观评分值,将训练集中的第j幅失真图像的平均主观评分值记为DMOSj;再按照步骤①至步骤⑤的操作,以相同的方式获取训练集中的每幅失真图像的直方图统计特征向量,将训练集中的第j幅失真图像的直方图统计特征向量记为hd,j;其中,n”>1,在本实施例中取n”=20,1≤j≤N',N'表示训练集中包含的失真图像的总幅数,0≤DMOSj≤100,hd,j的维数为1×m'维,hd,j中的第m个元素为hd,j(m)。
⑦计算hd与训练集中的每幅失真图像的直方图统计特征向量之间的距离,将hd与hd,j之间的距离记为Ddis,j,Ddis,j=|hd-hd,j|;然后将得到的N'个距离构成的集合记为{Ddis,j|1≤j≤N'};接着对{Ddis,j|1≤j≤N'}中的所有距离按从小到大的顺序排列,将排列后的集合记为{D'dis,j|1≤j≤N'};之后获取{D'dis,j|1≤j≤N'}中的前K'个距离各自对应的训练集中的失真图像的平均主观评分值,并将这K'个平均主观评分值构成的集合记为{DMOS'1,DMOS'2,…,DMOS'K'};其中,符号“||”为取绝对值符号,1≤K'≤N',在本实施例中取K'=10,DMOS'1,DMOS'2,…,DMOS'K'对应表示{D'dis,j|1≤j≤N'}中的第1个距离对应的训练集中的失真图像的平均主观评分值、第2个距离对应的训练集中的失真图像的平均主观评分值、…、第K'个距离对应的训练集中的失真图像的平均主观评分值。
⑧计算{Id(i,j)}的客观质量评价预测值,记为Qdis,其中,D'dis,k'表示{D'dis,j|1≤j≤N'}中的第k'个距离,DMOS'k'表示D'dis,k'对应的训练集中的失真图像的平均主观评分值。
为进一步验证本发明方法的可行性和有效性,进行实验。
在此,采用LIVE图像库来分析利用本发明方法得到的失真图像的客观质量评价预测值与平均主观评分值之间的相关性。这里,利用评估图像质量评价方法的3个常用客观参量作为评价指标,即非线性回归条件下的Pearson相关系数(Pearson linear correlationcoefficient,PLCC)、Spearman相关系数(Spearman rank order correlationcoefficient,SROCC)、均方误差(root mean squared error,RMSE),PLCC和RMSE反映失真图像的客观评价结果的准确性,SROCC反映其单调性。
利用本发明方法计算LIVE图像库中的每幅失真图像的客观质量评价预测值,再利用现有的主观质量评价方法获得LIVE图像库中的每幅失真图像的平均主观评分值。将按本发明方法计算得到的失真图像的客观质量评价预测值做五参数Logistic函数非线性拟合,PLCC和SROCC值越高,RMSE值越低说明客观评价方法的客观评价结果与平均主观评分值之间的相关性越好。反映本发明方法的质量评价性能的PLCC、SROCC和RMSE相关系数如表1所列。从表1所列的数据可知,按本发明方法得到的失真图像的客观质量评价预测值与平均主观评分值之间的相关性是很好的,表明客观评价结果与人眼主观感知的结果较为一致,足以说明本发明方法的可行性和有效性。
表1利用本发明方法得到的失真图像的客观质量评价预测值与平均主观评分值之间的相关性