一种基于单演二进制编码的无参考图像质量评价方法
技术领域
本发明涉及一种图像质量评价方法,尤其是涉及一种基于单演二进制编码的无参考图像质量评价方法。
背景技术
图像质量是评价图像处理系统及算法优劣的主要性能指标。图像质量评价方法可以分为两类:主观评价方法和客观评价方法。前者是由观察者对图像质量进行评分,得到平均评价分用以衡量图像质量;后者利用数学模型计算图像质量。主观评价方法的实验结果比较可靠,但费时费力。客观评价方法又可分为三类:全参考图像质量评价方法、半参考图像质量评价方法和无参考图像质量评价方法,当前研究最多的是全参考图像质量评价方法,但是该类方法要求评价时必须要有原始参考图像进行比较,且参考图像须是清晰质量较好的,而在一些实际应用场景中无法获得参考图像,这就制约了该类方法的使用。无参考图像质量评价方法不需要原始参考图像,只需待测图像就可以进行评价,可以适应较多的应用场合。因此无参考图像质量评价方法的研究更具实用价值。
发明内容
本发明所要解决的技术问题是提供一种基于单演二进制编码的无参考图像质量评价方法,其能够充分考虑到图像结构改变对视觉质量的影响,从而能够提高客观评价结果与主观感知之间的相关性。
本发明解决上述技术问题所采用的技术方案为:一种基于单演二进制编码的无参考图像质量评价方法,其特征在于包括以下步骤:
①令{Id(i,j)}表示待评价的失真图像,其中,1≤i≤W,1≤j≤H,W表示{Id(i,j)}的宽度,H表示{Id(i,j)}的高度,Id(i,j)表示{Id(i,j)}中坐标位置为(i,j)的像素点的像素值;
②对{Id(i,j)}实施单演二进制编码,得到{Id(i,j)}的单演二进制编码幅值图像、{Id(i,j)}的单演二进制编码相位图像和{Id(i,j)}的单演二进制编码方向图像,对应记为{Md(i,j)}、和{θd(i,j)},其中,Md(i,j)表示{Md(i,j)}中坐标位置为(i,j)的像素点的像素值,表示中坐标位置为(i,j)的像素点的像素值,θd(i,j)表示{θd(i,j)}中坐标位置为(i,j)的像素点的像素值;
③采用局部二值化模式操作对{Md(i,j)}进行处理,得到{Md(i,j)}的局部二值化模式特征图像,记为{LBPM(i,j)};同样,采用局部二值化模式操作对进行处理,得到的局部二值化模式特征图像,记为采用局部二值化模式操作对{θd(i,j)}进行处理,得到{θd(i,j)}的局部二值化模式特征图像,记为{LBPθ(i,j)};其中,LBPM(i,j)表示{LBPM(i,j)}中坐标位置为(i,j)的像素点的像素值,LBPM(i,j)∈[0,P+1],表示中坐标位置为(i,j)的像素点的像素值,LBPθ(i,j)表示{LBPθ(i,j)}中坐标位置为(i,j)的像素点的像素值,LBPθ(i,j)∈[0,P+1],P表示局部二值化模式操作中的领域参数;
④获取{LBPM(i,j)}中像素值为0至P+1中的每个值的所有像素点与中像素值为0至P+1中的每个值的所有像素点的联合概率函数值,将{LBPM(i,j)}中像素值为m的所有像素点与中像素值为n的所有像素点的联合概率函数值记为 并获取{LBPM(i,j)}中像素值为0至P+1中的每个值的所有像素点与{LBPθ(i,j)}中像素值为0至P+1中的每个值的所有像素点的联合概率函数值,将{LBPM(i,j)}中像素值为m的所有像素点与{LBPθ(i,j)}中像素值为q的所有像素点的联合概率函数值记为 其中,m=0,1,…,P,P+1,n=0,1,…,P,P+1,q=0,1,…,P,P+1,Pc()为联合概率函数;
⑤计算{LBPM(i,j)}中像素值为0至P+1中的每个值的所有像素点的第一条件概率特征,将{LBPM(i,j)}中像素值为m的所有像素点的第一条件概率特征记为并计算中像素值为0至P+1中的每个值的所有像素点的条件概率特征,将中像素值为n的所有像素点的条件概率特征记为 计算{LBPM(i,j)}中像素值为0至P+1中的每个值的所有像素点的第二条件概率特征,将{LBPM(i,j)}中像素值为m的所有像素点的第二条件概率特征记为QM,θ(LBPM(i,j)==m),计算{LBPθ(i,j)}中像素值为0至P+1中的每个值的所有像素点的条件概率特征,将{LBPθ(i,j)}中像素值为q的所有像素点的条件概率特征记为Qθ,M(LBPθ(i,j)==q),其中,m=0,1,…,P,P+1,n=0,1,…,P,P+1,q=0,1,…,P,P+1;
⑥采用n″幅原始的无失真的图像,建立其在不同失真类型不同失真程度下的失真图像集合,该失真图像集合包括多幅失真图像;然后利用主观质量评价方法评价出该失真图像集合中的每幅失真图像的主观评分,将该失真图像集合中的第x幅失真图像的主观评分记为DMOSx;再按照步骤①至步骤⑤的操作,以相同的方式获取该失真图像集合中的每幅失真图像的单演二进制编码幅值图像的局部二值化模式特征图像中像素值为0至P+1中的每个值的所有像素点的第一条件概率特征、每幅失真图像的单演二进制编码相位图像的局部二值化模式特征图像中像素值为0至P+1中的每个值的所有像素点的条件概率特征、每幅失真图像的单演二进制编码幅值图像的局部二值化模式特征图像中像素值为0至P+1中的每个值的所有像素点的第二条件概率特征、每幅失真图像的单演二进制编码方向图像的局部二值化模式特征图像中像素值为0至P+1中的每个值的所有像素点的条件概率特征,将该失真图像集合中的第x幅失真图像的单演二进制编码幅值图像的局部二值化模式特征图像中像素值为m的所有像素点的第一条件概率特征记为将该失真图像集合中的第x幅失真图像的单演二进制编码相位图像的局部二值化模式特征图像中像素值为n的所有像素点的条件概率特征记为将该失真图像集合中的第x幅失真图像的单演二进制编码幅值图像的局部二值化模式特征图像中像素值为m的所有像素点的第二条件概率特征记为QM,θ,x(LBPM,x(i,j)==m),将该失真图像集合中的第x幅失真图像的单演二进制编码方向图像的局部二值化模式特征图像中像素值为q的所有像素点的条件概率特征记为Qθ,M,x(LBPθ,x(i,j)==q);其中,n″>1,x的初始值为1,1≤x≤X,X表示该失真图像集合中包含的失真图像的总幅数,0≤DMOSx≤100,m=0,1,…,P,P+1,n=0,1,…,P,P+1,q=0,1,…,P,P+1,LBPM,x(i,j)表示该失真图像集合中的第x幅失真图像的单演二进制编码幅值图像的局部二值化模式特征图像{LBPM,x(i,j)}中坐标位置为(i,j)的像素点的像素值,LBPM,x(i,j)∈[0,P+1],表示该失真图像集合中的第x幅失真图像的单演二进制编码相位图像的局部二值化模式特征图像中坐标位置为(i,j)的像素点的像素值,LBPθ,x(i,j)表示该失真图像集合中的第x幅失真图像的单演二进制编码方向图像的局部二值化模式特征图像{LBPθ,x(i,j)}中坐标位置为(i,j)的像素点的像素值,LBPθ,x(i,j)∈[0,P+1];
⑦将该失真图像集合作为训练集;然后利用支持向量回归对训练集中的所有失真图像各自的主观评分及各自的单演二进制编码幅值图像的局部二值化模式特征图像中像素值为0至P+1中的每个值的所有像素点的第一条件概率特征、各自的单演二进制编码相位图像的局部二值化模式特征图像中像素值为0至P+1中的每个值的所有像素点的条件概率特征、各自的单演二进制编码幅值图像的局部二值化模式特征图像中像素值为0至P+1中的每个值的所有像素点的第二条件概率特征、各自的单演二进制编码方向图像的局部二值化模式特征图像中像素值为0至P+1中的每个值的所有像素点的条件概率特征进行训练,使得经过训练得到的回归函数值与主观评分之间的误差最小,拟合得到最优的权值矢量Wopt和最优的偏置项bopt;接着利用Wopt和bopt构造得到支持向量回归训练模型;再根据支持向量回归训练模型,对{LBPM(i,j)}中像素值为0至P+1中的每个值的所有像素点的第一条件概率特征、中像素值为0至P+1中的每个值的所有像素点的条件概率特征、{LBPM(i,j)}中像素值为0至P+1中的每个值的所有像素点的第二条件概率特征、{LBPθ(i,j)}中像素值为0至P+1中的每个值的所有像素点的条件概率特征进行测试,预测得到{Id(i,j)}的客观质量评价预测值,记为Q,Q=f(y),其中,Q是y的函数,f()为函数表示形式,y为输入,y表示{LBPM(i,j)}中像素值为0至P+1中的每个值的所有像素点的第一条件概率特征、中像素值为0至P+1中的每个值的所有像素点的条件概率特征、{LBPM(i,j)}中像素值为0至P+1中的每个值的所有像素点的第二条件概率特征、{LBPθ(i,j)}中像素值为0至P+1中的每个值的所有像素点的条件概率特征,(Wopt)T为Wopt的转置矢量,为y的线性函数。
所述的步骤③中局部二值化模式操作中的领域参数P取值为8。
与现有技术相比,本发明的优点在于:
通过深入挖掘人眼视觉对图像结构的感知特性,对待评价的失真图像实施单演二进制编码,得到单演二进制编码幅值图像、单演二进制编码相位图像和单演二进制编码方向图像;接着,对上述三幅图像分别进行局部二值化模式操作,得到各自的局部二值化模式特征图像;然后,求取单演二进制编码幅值图像、单演二进制编码相位图像和单演二进制编码方向图像各自的局部二值化模式特征图像中像素值为0至P+1中的每个值的所有像素点的条件概率特征;最后,根据条件概率特征,采用支持向量回归预测得到待评价的失真图像的客观质量评价预测值,采用该过程得到的客观质量评价预测值能够准确地反映人眼视觉主观感知质量,即能够有效地提高客观评价结果与主观感知之间的相关性。
附图说明
图1为本发明方法的总体实现框图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种基于单演二进制编码的无参考图像质量评价方法,其总体实现框图如图1所示,其处理过程为:首先,对待评价的失真图像实施单演二进制编码(Monogenic binary coding,MBC),得到单演二进制编码幅值图像、单演二进制编码相位图像和单演二进制编码方向图像;接着,对上述三幅图像分别进行局部二值化模式(Local Binary Pattern)操作,得到各自的局部二值化模式特征图像;然后,求取单演二进制编码幅值图像、单演二进制编码相位图像和单演二进制编码方向图像各自的局部二值化模式特征图像中像素值为0至P+1中的每个值的所有像素点的条件概率特征;最后,根据条件概率特征,采用支持向量回归预测得到待评价的失真图像的客观质量评价预测值。
本发明的无参考图像质量评价方法具体包括以下步骤:
①令{Id(i,j)}表示待评价的失真图像,其中,1≤i≤W,1≤j≤H,W表示{Id(i,j)}的宽度,H表示{Id(i,j)}的高度,Id(i,j)表示{Id(i,j)}中坐标位置为(i,j)的像素点的像素值。
②采用现有技术对{Id(i,j)}实施单演二进制编码,得到{Id(i,j)}的单演二进制编码幅值图像、{Id(i,j)}的单演二进制编码相位图像和{Id(i,j)}的单演二进制编码方向图像,对应记为{Md(i,j)}、和{θd(i,j)},其中,Md(i,j)表示{Md(i,j)}中坐标位置为(i,j)的像素点的像素值,表示中坐标位置为(i,j)的像素点的像素值,θd(i,j)表示{θd(i,j)}中坐标位置为(i,j)的像素点的像素值。
③采用现有的局部二值化模式操作对{Md(i,j)}进行处理,得到{Md(i,j)}的局部二值化模式特征图像,记为{LBPM(i,j)};同样,采用现有的局部二值化模式操作对进行处理,得到的局部二值化模式特征图像,记为采用现有的局部二值化模式操作对{θd(i,j)}进行处理,得到{θd(i,j)}的局部二值化模式特征图像,记为{LBPθ(i,j)};其中,LBPM(i,j)表示{LBPM(i,j)}中坐标位置为(i,j)的像素点的像素值,LBPM(i,j)∈[0,P+1],表示中坐标位置为(i,j)的像素点的像素值,LBPθ(i,j)表示{LBPθ(i,j)}中坐标位置为(i,j)的像素点的像素值,LBPθ(i,j)∈[0,P+1],P表示局部二值化模式操作中的领域参数。
在本实施例中,局部二值化模式操作中的领域参数P取值为8,局部半径参数R取值为1。
④获取{LBPM(i,j)}中像素值为0至P+1中的每个值的所有像素点与中像素值为0至P+1中的每个值的所有像素点的联合概率函数值,将{LBPM(i,j)}中像素值为m的所有像素点与中像素值为n的所有像素点的联合概率函数值记为 并获取{LBPM(i,j)}中像素值为0至P+1中的每个值的所有像素点与{LBPθ(i,j)}中像素值为0至P+1中的每个值的所有像素点的联合概率函数值,将{LBPM(i,j)}中像素值为m的所有像素点与{LBPθ(i,j)}中像素值为q的所有像素点的联合概率函数值记为 其中,m=0,1,…,P,P+1,n=0,1,…,P,P+1,q=0,1,…,P,P+1,Pc()为联合概率函数。
⑤计算{LBPM(i,j)}中像素值为0至P+1中的每个值的所有像素点的第一条件概率特征,将{LBPM(i,j)}中像素值为m的所有像素点的第一条件概率特征记为并计算中像素值为0至P+1中的每个值的所有像素点的条件概率特征,将中像素值为n的所有像素点的条件概率特征记为 计算{LBPM(i,j)}中像素值为0至P+1中的每个值的所有像素点的第二条件概率特征,将{LBPM(i,j)}中像素值为m的所有像素点的第二条件概率特征记为QM,θ(LBPM(i,j)==m),计算{LBPθ(i,j)}中像素值为0至P+1中的每个值的所有像素点的条件概率特征,将{LBPθ(i,j)}中像素值为q的所有像素点的条件概率特征记为Qθ,M(LBPθ(i,j)==q),其中,m=0,1,…,P,P+1,n=0,1,…,P,P+1,q=0,1,…,P,P+1。
⑥采用n″幅原始的无失真的图像,建立其在不同失真类型不同失真程度下的失真图像集合,该失真图像集合包括多幅失真图像;然后利用现有的主观质量评价方法评价出该失真图像集合中的每幅失真图像的主观评分,将该失真图像集合中的第x幅失真图像的主观评分记为DMOSx;再按照步骤①至步骤⑤的操作,以相同的方式获取该失真图像集合中的每幅失真图像的单演二进制编码幅值图像的局部二值化模式特征图像中像素值为0至P+1中的每个值的所有像素点的第一条件概率特征、每幅失真图像的单演二进制编码相位图像的局部二值化模式特征图像中像素值为0至P+1中的每个值的所有像素点的条件概率特征、每幅失真图像的单演二进制编码幅值图像的局部二值化模式特征图像中像素值为0至P+1中的每个值的所有像素点的第二条件概率特征、每幅失真图像的单演二进制编码方向图像的局部二值化模式特征图像中像素值为0至P+1中的每个值的所有像素点的条件概率特征,将该失真图像集合中的第x幅失真图像的单演二进制编码幅值图像的局部二值化模式特征图像中像素值为m的所有像素点的第一条件概率特征记为将该失真图像集合中的第x幅失真图像的单演二进制编码相位图像的局部二值化模式特征图像中像素值为n的所有像素点的条件概率特征记为将该失真图像集合中的第x幅失真图像的单演二进制编码幅值图像的局部二值化模式特征图像中像素值为m的所有像素点的第二条件概率特征记为QM,θ,x(LBPM,x(i,j)==m),将该失真图像集合中的第x幅失真图像的单演二进制编码方向图像的局部二值化模式特征图像中像素值为q的所有像素点的条件概率特征记为Qθ,M,x(LBPθ,x(i,j)==q);其中,n″>1,如取n″=3,x的初始值为1,1≤x≤X,X表示该失真图像集合中包含的失真图像的总幅数,在本实施例中X≥5,0≤DMOSx≤100,m=0,1,…,P,P+1,n=0,1,…,P,P+1,q=0,1,…,P,P+1,LBPM,x(i,j)表示该失真图像集合中的第x幅失真图像的单演二进制编码幅值图像的局部二值化模式特征图像{LBPM,x(i,j)}中坐标位置为(i,j)的像素点的像素值,LBPM,x(i,j)∈[0,P+1],表示该失真图像集合中的第x幅失真图像的单演二进制编码相位图像的局部二值化模式特征图像中坐标位置为(i,j)的像素点的像素值,LBPθ,x(i,j)表示该失真图像集合中的第x幅失真图像的单演二进制编码方向图像的局部二值化模式特征图像{LBPθ,x(i,j)}中坐标位置为(i,j)的像素点的像素值,LBPθ,x(i,j)∈[0,P+1]。
⑦支持向量回归(Support Vector Regression,SVR)是基于结构风险最小化准则的新型机器学习方法和统计学理论,其可以有效地抑制过拟合问题,因此本发明将该失真图像集合作为训练集;然后利用支持向量回归对训练集中的所有失真图像各自的主观评分及各自的单演二进制编码幅值图像的局部二值化模式特征图像中像素值为0至P+1中的每个值的所有像素点的第一条件概率特征、各自的单演二进制编码相位图像的局部二值化模式特征图像中像素值为0至P+1中的每个值的所有像素点的条件概率特征、各自的单演二进制编码幅值图像的局部二值化模式特征图像中像素值为0至P+1中的每个值的所有像素点的第二条件概率特征、各自的单演二进制编码方向图像的局部二值化模式特征图像中像素值为0至P+1中的每个值的所有像素点的条件概率特征进行训练,使得经过训练得到的回归函数值与主观评分之间的误差最小,拟合得到最优的权值矢量Wopt和最优的偏置项bopt;接着利用Wopt和bopt构造得到支持向量回归训练模型;再根据支持向量回归训练模型,对{LBPM(i,j)}中像素值为0至P+1中的每个值的所有像素点的第一条件概率特征、中像素值为0至P+1中的每个值的所有像素点的条件概率特征、{LBPM(i,j)}中像素值为0至P+1中的每个值的所有像素点的第二条件概率特征、{LBPθ(i,j)}中像素值为0至P+1中的每个值的所有像素点的条件概率特征进行测试,预测得到{Id(i,j)}的客观质量评价预测值,记为Q,Q=f(y),其中,Q是y的函数,f()为函数表示形式,y为输入,y表示{LBPM(i,j)}中像素值为0至P+1中的每个值的所有像素点的第一条件概率特征、中像素值为0至P+1中的每个值的所有像素点的条件概率特征、{LBPM(i,j)}中像素值为0至P+1中的每个值的所有像素点的第二条件概率特征、{LBPθ(i,j)}中像素值为0至P+1中的每个值的所有像素点的条件概率特征,(Wopt)T为Wopt的转置矢量,为y的线性函数。
为了进一步验证本发明方法的可行性和有效性,进行实验。
在此,采用LIVE图像库来分析利用本发明方法得到的失真图像的客观质量评价预测值与平均主观评分差值之间的相关性。这里,利用评估图像质量评价方法的3个常用客观参量作为评价指标,即非线性回归条件下的Pearson相关系数(Pearson linearcorrelation coefficient,PLCC)、Spearman相关系数(Spearman rank order correlationcoefficient,SROCC)、均方误差(root mean squared error,RMSE),PLCC和RMSE反映失真图像的客观评价结果的准确性,SROCC反映其单调性。
利用本发明方法计算LIVE图像库中的每幅失真图像的客观质量评价预测值,再利用现有的主观评价方法获得LIVE图像库中的每幅失真图像的平均主观评分差值。将按本发明方法计算得到的失真图像的客观质量评价预测值做五参数Logistic函数非线性拟合,PLCC和SROCC值越高,RMSE值越低说明利用本发明方法得到的客观评价结果与平均主观评分差值之间的相关性越好。反映本发明方法的质量评价性能的PLCC、SROCC和RMSE相关系数如表1所列。从表1所列的数据可知,按本发明方法得到的失真图像的最终的客观质量评价预测值与平均主观评分差值之间的相关性是很好的,表明客观评价结果与人眼主观感知的结果较为一致,足以说明本发明方法的可行性和有效性。
表1利用本发明方法得到的失真图像的客观质量评价预测值与平均主观评分差值之间的相关性