基于无监督特征学习的无参考屏幕图像质量评价方法
技术领域
本发明涉及一种图像质量评价方法,尤其是涉及一种基于无监督特征学习的无参考屏幕图像质量评价方法。
背景技术
图像是人类获取信息的重要途径,图像质量表示图像向人或设备提供信息的能力,直接关系着所获取信息的充分性与准确性。然而,图像在获取、处理、传输和存储的过程中,由于各种因素影响将不可避免的产生降质问题,这给信息的获取或图像的后期处理带来了极大困难。因此,建立有效的图像质量评价机制非常重要,如在图像去噪、图像融合等处理过程中可用于各种算法的性能比较、参数选择;在图像编码与通信领域可用于指导整个图像的传输过程并评估系统性能。
图像质量评价方法可以分为两类:主观评价方法和客观评价方法,前者是由观察者对图像质量进行评分,得到平均评价分用以衡量图像质量;后者利用数学模型计算图像质量。主观评价方法的实验结果比较可靠,但费时费力。客观评价方法又可分为三类:全参考图像质量评价方法、半参考图像质量评价方法和无参考图像质量评价方法,当前研究最多的是全参考图像质量评价方法,但是多数应用中无法获得相应的原始图像,因此,无参考图像质量评价方法的研究更具实用价值。
无参考图像质量评价方法可分为特定失真评价方法和通用评价方法两种,特定失真评价方法只能对某种特定失真类型的图像进行评价,例如JPEG、JPEG2K及Gblur失真等,无法对其它失真类型的图像及多种处理技术处理后的图像进行质量评价;通用评价方法可以同时对多种失真类型的图像进行质量评价。
现有的通用无参考图像质量评价方法主要针对一般的图像,而针对特殊图像(例如,屏幕图像)的研究相对较少,由于屏幕图像含有文字、图形和图像等内容,因此对屏幕图像采用通用无参考的评价方法更具有挑战性。
发明内容
本发明所要解决的技术问题是提供一种基于无监督特征学习的无参考屏幕图像质量评价方法,其能够充分考虑到局部信息变化对视觉质量的影响,从而能够提高客观评价结果与主观感知之间的相关性。
本发明解决上述技术问题所采用的技术方案为:一种基于无监督特征学习的无参考屏幕图像质量评价方法,其特征在于包括以下步骤:
步骤①:选取N幅无失真屏幕图像,将第i幅无失真屏幕图像记为{Ii,org(x,y)};然后获取每幅无失真屏幕图像的归一化屏幕图像,将{Ii,org(x,y)}的归一化屏幕图像记为接着采用ZCA操作对每幅无失真屏幕图像的归一化屏幕图像进行处理,得到每幅无失真屏幕图像的归一化屏幕图像的ZCA操作结果图像;再采用无监督聚类算法对所有无失真屏幕图像的归一化屏幕图像的ZCA操作结果图像进行聚类操作,得到矩阵形式表示的字典码书,记为{Corg(x,y)};
其中,N≥1,1≤i≤N,1≤x≤W,1≤y≤H,W表示{Ii,org(x,y)}的宽度,H表示{Ii,org(x,y)}的高度,Ii,org(x,y)表示{Ii,org(x,y)}中坐标位置为(x,y)的像素点的像素值,表示中坐标位置为(x,y)的像素点的像素值,Corg(x,y)表示{Corg(x,y)}中下标为(x,y)的元素的值;
步骤②:令{Id(x,y)}表示待评价的失真屏幕图像;然后获取{Id(x,y)}的归一化屏幕图像,记为再先后采用Gaussian kernel similarity weight方法和K-Nearest Neighbor方法对进行处理,得到{Id(x,y)}的权值特征矩阵,记为{Fd(x,y)};
其中,1≤x≤W,1≤y≤H,W亦表示{Id(x,y)}的宽度,H亦表示{Id(x,y)}的高度,Id(x,y)表示{Id(x,y)}中坐标位置为(x,y)的像素点的像素值,表示中坐标位置为(x,y)的像素点的像素值,Fd(x,y)表示{Fd(x,y)}中下标为(x,y)的元素的值;
步骤③:根据{Corg(x,y)}和{Fd(x,y)},并采用LLC算法对{Fd(x,y)}进行编码,获得{Id(x,y)}的LLC特征向量;
步骤④:采用n”幅原始的无失真屏幕图像,建立其在不同失真类型不同失真程度下的失真屏幕图像集合,将该失真屏幕图像集合作为训练集,其包括多幅失真屏幕图像;然后利用主观质量评价方法评价出训练集中的每幅失真屏幕图像的主观评分,将训练集中的第k幅失真屏幕图像的主观评分记为DMOSk;再按照步骤②和步骤③的操作,以相同的方式获取训练集中的每幅失真屏幕图像的LLC特征向量;
其中,n”>1,1≤k≤K,K表示训练集中包含的失真屏幕图像的总幅数,K≥5,0≤DMOSk≤100;
步骤⑤:利用支持向量回归对训练集中的所有失真屏幕图像各自的主观评分和LLC特征向量进行训练,使得经过训练得到的回归函数值与主观评分之间的误差最小,拟合得到最优的权值矢量Wopt和最优的偏置项bopt;接着利用Wopt和bopt构造得到支持向量回归训练模型;再根据支持向量回归训练模型,对{Id(x,y)}的LLC特征向量进行测试,预测得到{Id(x,y)}的客观质量评价预测值,记为Q,Q=f(x),
其中,f()为函数表示形式,Q是x的函数,x为输入,x用于代表{Id(x,y)}的LLC特征向量,(Wopt)T为Wopt的转置矢量,为x的线性函数。
所述的步骤①中,其中,μi,org表示{Ii,org(x,y)}中的所有像素点的像素值的均值,σi,org表示{Ii,org(x,y)}中的所有像素点的像素值的方差。
所述的步骤①中的无监督聚类算法选用无监督K-means聚类算法。
所述的步骤②中,其中,μd表示{Id(x,y)}中的所有像素点的像素值的均值,σd表示{Id(x,y)}中的所有像素点的像素值的方差。
与现有技术相比,本发明的优点在于:
1)本发明方法采用基于人眼视觉特性处理的无监督特征学习方法(即无监督聚类算法)提取局部特征信息,使得本发明方法能够充分考虑到视觉感知特性对局部失真的敏感性。
2)本发明方法采用LLC对特征进行编码,能更好的表达图像视觉特征。
3)本发明方法采用符合人脑机理特性的支持向量回归(SVR)预测得到待评价的失真屏幕图像的客观质量评价预测值,能有效地提高客观评价结果与主观感知之间的相关性。
附图说明
图1为本发明方法的总体实现框图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种基于无监督特征学习的无参考屏幕图像质量评价方法,其总体实现框图如图1所示,其包括以下步骤:
步骤①:选取N幅无失真屏幕图像,将第i幅无失真屏幕图像记为{Ii,org(x,y)};然后获取每幅无失真屏幕图像的归一化屏幕图像,将{Ii,org(x,y)}的归一化屏幕图像记为接着采用现有的ZCA(Zero-phase Component Analysis,ZCA)操作对每幅无失真屏幕图像的归一化屏幕图像进行处理,得到每幅无失真屏幕图像的归一化屏幕图像的ZCA操作结果图像;再采用现有的无监督聚类算法对所有无失真屏幕图像的归一化屏幕图像的ZCA操作结果图像进行聚类操作,得到矩阵形式表示的字典码书,记为{Corg(x,y)};其中,N≥1,1≤i≤N,1≤x≤W,1≤y≤H,W表示{Ii,org(x,y)}的宽度,H表示{Ii,org(x,y)}的高度,Ii,org(x,y)表示{Ii,org(x,y)}中坐标位置为(x,y)的像素点的像素值,表示中坐标位置为(x,y)的像素点的像素值,Corg(x,y)表示{Corg(x,y)}中下标为(x,y)的元素的值。
在本实施例中,步骤①中,其中,μi,org表示{Ii,org(x,y)}中的所有像素点的像素值的均值,σi,org表示{Ii,org(x,y)}中的所有像素点的像素值的方差。
在本实施例中,步骤①中的无监督聚类算法选用无监督K-means聚类算法。
步骤②:令{Id(x,y)}表示待评价的失真屏幕图像;然后获取{Id(x,y)}的归一化屏幕图像,记为再先后采用现有的Gaussian kernel similarity weight方法和现有的K-Nearest Neighbor方法对进行处理,得到{Id(x,y)}的权值特征矩阵,记为{Fd(x,y)};其中,1≤x≤W,1≤y≤H,W亦表示{Id(x,y)}的宽度,H亦表示{Id(x,y)}的高度,Id(x,y)表示{Id(x,y)}中坐标位置为(x,y)的像素点的像素值,表示中坐标位置为(x,y)的像素点的像素值,Fd(x,y)表示{Fd(x,y)}中下标为(x,y)的元素的值。
在本实施例中,步骤②中,其中,μd表示{Id(x,y)}中的所有像素点的像素值的均值,σd表示{Id(x,y)}中的所有像素点的像素值的方差。
步骤③:根据{Corg(x,y)}和{Fd(x,y)},并采用LLC(Locality-constrainedLinear Codeing,LLC)算法对{Fd(x,y)}进行编码,获得{Id(x,y)}的LLC特征向量。
步骤④:采用n”幅原始的无失真屏幕图像,建立其在不同失真类型不同失真程度下的失真屏幕图像集合,将该失真屏幕图像集合作为训练集,其包括多幅失真屏幕图像;然后利用现有的主观质量评价方法评价出训练集中的每幅失真屏幕图像的主观评分,将训练集中的第k幅失真屏幕图像的主观评分记为DMOSk;再按照步骤②和步骤③的操作,以相同的方式获取训练集中的每幅失真屏幕图像的LLC特征向量;其中,n”>1,如取n”=10,1≤k≤K,K表示训练集中包含的失真屏幕图像的总幅数,K≥5,如K=70,0≤DMOSk≤100。
步骤⑤:支持向量回归(SupportVectorRegression,SVR)是基于结构风险最小化准则的新型机器学习方法和统计学理论,其可以有效地抑制过拟合问题,因此本发明利用支持向量回归对训练集中的所有失真屏幕图像各自的主观评分和LLC特征向量进行训练,使得经过训练得到的回归函数值与主观评分之间的误差最小,拟合得到最优的权值矢量Wopt和最优的偏置项bopt;接着利用Wopt和bopt构造得到支持向量回归训练模型;再根据支持向量回归训练模型,对{Id(x,y)}的LLC特征向量进行测试,预测得到{Id(x,y)}的客观质量评价预测值,记为Q,Q=f(x),其中,f()为函数表示形式,Q是x的函数,x为输入,x用于代表{Id(x,y)}的LLC特征向量,(Wopt)T为Wopt的转置矢量,为x的线性函数。
为了进一步验证本发明方法的可行性和有效性,进行实验。
在此,采用NTU屏幕图像库来分析利用本发明方法得到的失真屏幕图像的客观质量评价预测值与主观评分之间的相关性。这里,利用评估屏幕图像质量评价方法的3个常用客观参量作为评价指标,即非线性回归条件下的Pearson相关系数(Pearson linearcorrelation coefficient,PLCC)、Spearman相关系数(Spearman rank ordercorrelation coefficient,SROCC)、均方误差(root mean squared error,RMSE),PLCC和RMSE反映失真屏幕图像的客观评价结果的准确性,SROCC反映其单调性。
利用本发明方法计算NTU屏幕图像库中的每幅失真屏幕图像的客观质量评价预测值,再利用现有的主观质量评价方法获得NTU屏幕图像库中的每幅失真屏幕图像的主观评分。将按本发明方法计算得到的失真屏幕图像的客观质量评价预测值做五参数Logistic函数非线性拟合,PLCC和SROCC值越高,RMSE值越低说明客观评价方法的客观评价结果与平均主观评分差值之间的相关性越好。反映本发明方法的质量评价性能的PLCC、SROCC和RMSE相关系数如表1所列。从表1所列的数据可知,按本发明方法得到的失真屏幕图像的客观质量评价预测值与主观评分之间的相关性是很好的,表明客观评价结果与人眼主观感知的结果较为一致,足以说明本发明方法的可行性和有效性。
表1 利用本发明方法得到的失真屏幕图像的客观质量评价预测值与主观评分之间的相关性