一种无参考图像客观质量评价方法
技术领域
本发明涉及一种图像质量评价方法,尤其是涉及一种无参考图像客观质量评价方法。
背景技术
图像质量是评价图像处理系统及算法优劣的主要性能指标。数字图像质量评价方法可以分为两类:主观评价方法和客观评价方法。前者是由观察者对图像质量进行评分,得到平均评价分用以衡量图像质量;后者利用数学模型计算图像质量。主观评价方法的实验结果比较可靠,但费时费力。客观评价方法又可分为三类:全参考图像客观质量评价方法、半参考图像客观质量评价方法和无参考图像客观质量评价方法,当前研究最多的是全参考图像客观质量评价方法,但是多数应用中无法获得相应的参考图像,而且人类视觉无需参考图像也可以对图像质量做出评价,因此,无参考图像客观质量评价方法的研究更具实用价值。
发明内容
本发明所要解决的技术问题是提供一种无参考图像客观质量评价方法,其能够充分考虑到图像结构改变对视觉质量的影响,从而提高客观评价结果与主观感知的相关性。
本发明解决上述技术问题所采用的技术方案为:一种无参考图像客观质量评价方法,其特征在于包括以下步骤:
①令{Id(i,j)}表示待评价的失真图像,其中,1≤i≤W,1≤j≤H,W表示{Id(i,j)}的宽度,H表示{Id(i,j)}的高度,Id(i,j)表示{Id(i,j)}中坐标位置为(i,j)的像素点的像素值;
②对{Id(i,j)}实施高斯平滑梯度滤波,得到{Id(i,j)}的高斯平滑梯度滤波图像,记为{Gd(i,j)};并对{Id(i,j)}实施拉普拉斯算子高斯滤波,得到{Id(i,j)}的拉普拉斯算子高斯滤波图像,记为{Ld(i,j)};
其中,Gd(i,j)表示{Gd(i,j)}中坐标位置为(i,j)的像素点的像素值,Ld(i,j)表示{Ld(i,j)}中坐标位置为(i,j)的像素点的像素值;
③采用局部二值化模式操作对{Gd(i,j)}进行处理,得到{Gd(i,j)}的局部二值化模式特征图像,记为{LBPG(i,j)};同样,采用局部二值化模式操作对{Ld(i,j)}进行处理,得到{Ld(i,j)}的局部二值化模式特征图像,记为{LBPL(i,j)};
其中,LBPG(i,j)表示{LBPG(i,j)}中坐标位置为(i,j)的像素点的像素值,LBPG(i,j)∈[1,P+2],LBPL(i,j)表示{LBPL(i,j)}中坐标位置为(i,j)的像素点的像素值,LBPL(i,j)∈[1,P+2],P表示局部二值化模式操作中的领域参数;
④根据{LBPG(i,j)}和{LBPL(i,j)},将{LBPG(i,j)}中像素值为m的所有像素点与{LBPL(i,j)}中像素值为n的所有像素点的联合概率函数值记为Km,n,Km,n=Pc(LBPG(i,j)==m,LBPL(i,j)==n),其中,m=0,1,…,P,P+1,n=0,1,…,P,P+1,P表示局部二值化模式操作中的领域参数,Pc(,)表示联合概率函数;
⑤根据联合概率函数值Km,n,计算{LBPG(i,j)}和{LBPL(i,j)}各自的边缘概率特征,对应记为PG(LBPG(i,j)=m)和PL(LBPL(i,j)=n), 并根据联合概率函数值Km,n,计算{LBPG(i,j)}和{LBPL(i,j)}各自的条件概率特征,对应记为QG(LBPG(i,j)=m)和QL(LBPL(i,j)=n), 其中,m=0,1,…,P,P+1,n=0,1,…,P,P+1;
⑥采用n″幅原始的无失真的图像,建立其在不同失真类型不同失真程度下的失真图像集合,该失真图像集合包括多幅失真图像;然后利用主观质量评价方法分别评价出该失真图像集合中的每幅失真图像的主观评分,将该失真图像集合中的第x幅失真图像的主观评分记为DMOSx;再按照步骤①至步骤⑤的操作,以相同的方式获取该失真图像集合中的每幅失真图像的高斯平滑梯度滤波图像的局部二值化模式特征图像的边缘概率特征和条件概率特征、每幅失真图像的拉普拉斯算子高斯滤波图像的局部二值化模式特征图像的边缘概率特征和条件概率特征,将该失真图像集合中的第x幅失真图像的高斯平滑梯度滤波图像的局部二值化模式特征图像的边缘概率特征和拉普拉斯算子高斯滤波图像的局部二值化模式特征图像的边缘概率特征对应记为和将该失真图像集合中的第x幅失真图像的高斯平滑梯度滤波图像的局部二值化模式特征图像的条件概率特征和拉普拉斯算子高斯滤波图像的局部二值化模式特征图像的条件概率特征对应记为 和
其中,n″>1,1≤x≤X,X表示该失真图像集合中包含的失真图像的总幅数,0≤DMOSx≤100,表示该失真图像集合中的第x幅失真图像的高斯平滑梯度滤波图像的局部二值化模式特征图像中坐标位置为(i,j)的像素点的像素值,表示该失真图像集合中的第x幅失真图像的拉普拉斯算子高斯滤波图像的局部二值化模式特征图像中坐标位置为(i,j)的像素点的像素值,m=0,1,…,P,P+1,n=0,1,…,P,P+1;
⑦将该失真图像集合中的所有失真图像分成两部分,分别构成训练集和测试集;然后利用支持向量回归对训练集中的所有失真图像各自的主观评分及各自的高斯平滑梯度滤波图像的局部二值化模式特征图像的边缘概率特征和拉普拉斯算子高斯滤波图像的局部二值化模式特征图像的边缘概率特征、各自的高斯平滑梯度滤波图像的局部二值化模式特征图像的条件概率特征和拉普拉斯算子高斯滤波图像的局部二值化模式特征图像的条件概率特征进行训练,使得经过训练得到的回归函数值与主观评分之间的误差最小,拟合得到最优的权值矢量Wopt和最优的偏置项bopt;接着利用Wopt和bopt构造得到支持向量回归训练模型;再根据支持向量回归训练模型,对测试集中的每幅失真图像的高斯平滑梯度滤波图像的局部二值化模式特征图像的边缘概率特征和拉普拉斯算子高斯滤波图像的局部二值化模式特征图像的边缘概率特征、高斯平滑梯度滤波图像的局部二值化模式特征图像的条件概率特征和拉普拉斯算子高斯滤波图像的局部二值化模式特征图像的条件概率特征进行测试,预测得到测试集中的每幅失真图像的客观质量评价预测值,将测试集中的第k'幅失真图像的客观质量评价预测值记为Qk',Qk'=f(xk'),其中,1≤k'≤t',t'表示测试集中包含的失真图像的总幅数,X表示该失真图像集合中包含的失真图像的总幅数,f()为函数表示形式,Qk'是xk'的函数,xk'为输入,xk'为测试集中的第k'幅失真图像的高斯平滑梯度滤波图像的局部二值化模式特征图像的边缘概率特征、测试集中的第k'幅失真图像的拉普拉斯算子高斯滤波图像的局部二值化模式特征图像的边缘概率特征、测试集中的第k'幅失真图像的高斯平滑梯度滤波图像的局部二值化模式特征图像的条件概率特征、测试集中的第k'幅失真图像的拉普拉斯算子高斯滤波图像的局部二值化模式特征图像的条件概率特征中的一个,(Wopt)T为Wopt的转置矢量,为xk'的线性函数。
所述的步骤③中局部二值化模式操作中的领域参数P取值为8,局部半径参数R取值为1。
与现有技术相比,本发明的优点在于:通过深入挖掘人眼视觉对图像结构的感知特性,对失真图像分别实施高斯平滑梯度滤波和拉普拉斯算子高斯滤波,对应得到高斯平滑梯度滤波图像和拉普拉斯算子高斯滤波图像,接着对两幅滤波图像分别进行局部二值化模式(Local Binary Pattern)操作,得到各自的局部二值化模式特征图像,然后求两幅局部二值化模式特征图像各自的边缘概率特征和条件概率特征,最后根据边缘概率特征和条件概率特征,采用支持向量回归预测待评价的失真图像的客观质量评价预测值,得到的客观质量评价预测值能够准确地反映人眼视觉主观感知质量,即能够有效地提高客观评价结果与主观感知的相关性。
附图说明
图1为本发明方法的总体实现框图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种无参考图像客观质量评价方法,其总体实现框图如图1所示,其处理过程为:首先,对失真图像实施高斯平滑梯度滤波和拉普拉斯算子高斯滤波,分别得到高斯平滑梯度滤波图像和拉普拉斯算子高斯滤波图像;接着,对高斯平滑梯度滤波图像和拉普拉斯算子高斯滤波图像分别进行局部二值化模式(Local Binary Pattern)操作,得到各自的局部二值化模式特征图像;然后求得两幅局部二值化模式特征图像各自的边缘概率特征和条件概率特征;最后,根据边缘概率特征和条件概率特征,采用支持向量回归预测待评价的失真图像的客观质量评价预测值。
本发明的无参考图像客观质量评价方法具体包括以下步骤:
①令{Id(i,j)}表示待评价的失真图像,其中,1≤i≤W,1≤j≤H,W表示{Id(i,j)}的宽度,H表示{Id(i,j)}的高度,Id(i,j)表示{Id(i,j)}中坐标位置为(i,j)的像素点的像素值。
②对{Id(i,j)}实施高斯平滑梯度滤波,得到{Id(i,j)}的高斯平滑梯度滤波图像,记为{Gd(i,j)};并对{Id(i,j)}实施拉普拉斯算子高斯滤波,得到{Id(i,j)}的拉普拉斯算子高斯滤波图像,记为{Ld(i,j)}。
其中,Gd(i,j)表示{Gd(i,j)}中坐标位置为(i,j)的像素点的像素值,Ld(i,j)表示{Ld(i,j)}中坐标位置为(i,j)的像素点的像素值。
在本实施例中,高斯平滑梯度滤波和拉普拉斯算子高斯滤波的尺度参数σ均取值为σ=0.5。
③采用局部二值化模式操作对{Gd(i,j)}进行处理,得到{Gd(i,j)}的局部二值化模式特征图像,记为{LBPG(i,j)};同样,采用局部二值化模式操作对{Ld(i,j)}进行处理,得到{Ld(i,j)}的局部二值化模式特征图像,记为{LBPL(i,j)}。
其中,LBPG(i,j)表示{LBPG(i,j)}中坐标位置为(i,j)的像素点的像素值,LBPG(i,j)∈[1,P+2],LBPL(i,j)表示{LBPL(i,j)}中坐标位置为(i,j)的像素点的像素值,LBPL(i,j)∈[1,P+2],P表示局部二值化模式操作中的领域参数。
在本实施例中,局部二值化模式操作中的领域参数P取值为8,局部半径参数R取值为1。
④根据{LBPG(i,j)}和{LBPL(i,j)},将{LBPG(i,j)}中像素值为m的所有像素点与{LBPL(i,j)}中像素值为n的所有像素点的联合概率函数值记为Km,n,Km,n=Pc(LBPG(i,j)==m,LBPL(i,j)==n),其中,m=0,1,…,P,P+1,n=0,1,…,P,P+1,P表示局部二值化模式操作中的领域参数,Pc(,)表示联合概率函数。
⑤根据联合概率函数值Km,n,计算{LBPG(i,j)}和{LBPL(i,j)}各自的边缘概率特征,对应记为PG(LBPG(i,j)=m)和PL(LBPL(i,j)=n), 并根据联合概率函数值Km,n,计算{LBPG(i,j)}和{LBPL(i,j)}各自的条件概率特征,对应记为QG(LBPG(i,j)=m)和QL(LBPL(i,j)=n), 其中,m=0,1,…,P,P+1,n=0,1,…,P,P+1。
⑥采用n″幅原始的无失真的图像,建立其在不同失真类型不同失真程度下的失真图像集合,该失真图像集合包括多幅失真图像;然后利用现有的主观质量评价方法分别评价出该失真图像集合中的每幅失真图像的主观评分,将该失真图像集合中的第x幅失真图像的主观评分记为DMOSx;再按照步骤①至步骤⑤的操作,以相同的方式获取该失真图像集合中的每幅失真图像的高斯平滑梯度滤波图像的局部二值化模式特征图像的边缘概率特征和条件概率特征、每幅失真图像的拉普拉斯算子高斯滤波图像的局部二值化模式特征图像的边缘概率特征和条件概率特征,将该失真图像集合中的第x幅失真图像的高斯平滑梯度滤波图像的局部二值化模式特征图像的边缘概率特征和拉普拉斯算子高斯滤波图像的局部二值化模式特征图像的边缘概率特征对应记为和将该失真图像集合中的第x幅失真图像的高斯平滑梯度滤波图像的局部二值化模式特征图像的条件概率特征和拉普拉斯算子高斯滤波图像的局部二值化模式特征图像的条件概率特征对应记为 和
其中,n″>1,1≤x≤X,X表示该失真图像集合中包含的失真图像的总幅数,X≥5,0≤DMOSx≤100,表示该失真图像集合中的第x幅失真图像的高斯平滑梯度滤波图像的局部二值化模式特征图像中坐标位置为(i,j)的像素点的像素值,表示该失真图像集合中的第x幅失真图像的拉普拉斯算子高斯滤波图像的局部二值化模式特征图像中坐标位置为(i,j)的像素点的像素值,m=0,1,…,P,P+1,n=0,1,…,P,P+1。
⑦支持向量回归(Support Vector Regression,SVR)是基于结构风险最小化准则的新型机器学习方法和统计学理论,其可以有效地抑制过拟合问题,因此本发明将该失真图像集合中的所有失真图像分成两部分,分别构成训练集和测试集;然后利用支持向量回归对训练集中的所有失真图像各自的主观评分及各自的高斯平滑梯度滤波图像的局部二值化模式特征图像的边缘概率特征和拉普拉斯算子高斯滤波图像的局部二值化模式特征图像的边缘概率特征、各自的高斯平滑梯度滤波图像的局部二值化模式特征图像的条件概率特征和拉普拉斯算子高斯滤波图像的局部二值化模式特征图像的条件概率特征进行训练,使得经过训练得到的回归函数值与主观评分之间的误差最小,拟合得到最优的权值矢量Wopt和最优的偏置项bopt;接着利用Wopt和bopt构造得到支持向量回归训练模型;再根据支持向量回归训练模型,对测试集中的每幅失真图像的高斯平滑梯度滤波图像的局部二值化模式特征图像的边缘概率特征和拉普拉斯算子高斯滤波图像的局部二值化模式特征图像的边缘概率特征、高斯平滑梯度滤波图像的局部二值化模式特征图像的条件概率特征和拉普拉斯算子高斯滤波图像的局部二值化模式特征图像的条件概率特征进行测试,预测得到测试集中的每幅失真图像的客观质量评价预测值,将测试集中的第k'幅失真图像的客观质量评价预测值记为Qk',Qk'=f(xk'),其中,1≤k'≤t',t'表示测试集中包含的失真图像的总幅数,X表示该失真图像集合中包含的失真图像的总幅数,在此可从该失真图像集合中随机选取五分之四的失真图像构成训练集,而剩余的失真图像则构成测试集,即取f()为函数表示形式,Qk'是xk'的函数,xk'为输入,xk'为测试集中的第k'幅失真图像的高斯平滑梯度滤波图像的局部二值化模式特征图像的边缘概率特征、测试集中的第k'幅失真图像的拉普拉斯算子高斯滤波图像的局部二值化模式特征图像的边缘概率特征、测试集中的第k'幅失真图像的高斯平滑梯度滤波图像的局部二值化模式特征图像的条件概率特征、测试集中的第k'幅失真图像的拉普拉斯算子高斯滤波图像的局部二值化模式特征图像的条件概率特征中的一个,(Wopt)T为Wopt的转置矢量,为xk'的线性函数。
为进一步验证本发明方法的可行性和有效性,进行实验。
在此,采用LIVE图像库来分析利用本发明方法得到的失真图像的客观质量评价预测值与平均主观评分差值之间的相关性。这里,利用评估图像质量评价方法的3个常用客观参量作为评价指标,即非线性回归条件下的Pearson相关系数(Pearson linearcorrelation coefficient,PLCC)、Spearman相关系数(Spearman rank order correlationcoefficient,SROCC)、均方误差(root mean squared error,RMSE),PLCC和RMSE反映失真图像的客观评价结果的准确性,SROCC反映其单调性。
利用本发明方法计算LIVE图像库中的每幅失真图像的客观质量评价预测值,再利用现有的主观评价方法获得LIVE图像库中的失真图像的平均主观评分差值。将按本发明方法计算得到的失真图像的客观质量评价预测值做五参数Logistic函数非线性拟合,PLCC和SROCC值越高,RMSE值越低说明客观评价方法的客观评价结果与平均主观评分差值相关性越好。反映本发明方法的质量评价性能的PLCC、SROCC和RMSE相关系数如表1所列。从表1所列的数据可知,按本发明方法得到的失真图像的最终的客观质量评价预测值与平均主观评分差值之间的相关性是很好的,表明客观评价结果与人眼主观感知的结果较为一致,足以说明本发明方法的可行性和有效性。
表1利用本发明方法得到的失真图像的客观质量评价预测值与平均主观评分差值之间的相关性