CN104361574B - 一种基于稀疏表示的无参考彩色图像质量评价方法 - Google Patents

Abstract

本发明公开了一种基于稀疏表示的无参考彩色图像质量评价方法，属于数字图像处理技术领域。本发明对待评价图像，在HSV彩色空间选取具有像素空间相关性标准差最大值的图像块，由图像块来匹配字典中的原子，字典中的每个原子由训练图集中具有像素空间相关性最大标准差的图像块、DMOS值、最大标准差三个元素组成，然后采用匹配追踪的方法在该字典中得到待评价图像的稀疏表示，并由原子字典中被选取到的原子的DMOS及最大标准差值来构建彩色图像质量评价指标。本发明的原子字典的构建方法简单明了，所提取的特征更符合人眼视觉感受，整个算法更简单，质量评价结果更准确。

Description

一种基于稀疏表示的无参考彩色图像质量评价方法

技术领域

本发明涉及一种图像质量评价方法，尤其涉及一种基于稀疏表示的无参考彩色图像质量评价方法，属于数字图像处理技术领域。

背景技术

图像质量评价技术一直是图像处理领域的关键技术，可以用于评价图像处理方法的效果，或是依据图像质量来选择合适的图像处理方法。图像质量评价技术大多根据处理后的图像与参考图像之间的不同，来度量图像质量；但是大多图像质量评价的应用领域，难于得到标准图像作为参考，此时更需要无参考图像质量评价技术，以便根据图像质量来选择合适的图像处理方法。

近年来，随着信息处理技术的发展，提取图像特征来映射图像质量成为重要的图像质量评价手段，但是此类方法同样面对数据处理量大的困难，于是Lihuo He等人在文献“Sparse Representation for Blind Image Quality Assessment”(Proceedings ofComputer Vision and Pattern Recognition(CVPR2012),pp.1146-1153,Providence,Rhode Island,16-21June,2012,USA.)中提出一种利用稀疏表示来评价图像质量的方法，该方法利用NSS(natural scene statistics)来表示图像，而字典的建立则直接利用NSS在小波域的特征及图像的DMOS(differential mean opinion score，平均主观差异分数)。该方法简单明了，得到了有效的无参考图像质量评价结果。该方法首先提取训练图库的NSS特征及DMOS值建立原子字典，然后提取待评价图像的NSS特征在原子字典上进行稀疏表示，用求解出的系数结合DMOS值得到图像质量评价分数。其优点体现在：(1)能够有效地评价不同类型的图像质量退化；(2)评价结论与主观评价具有良好的一致性；(3)对不同的图像具有良好的质量评价结果。该方法给无参考的图像质量评价方法提供了良好的发展和参考基础。然而，该方法所使用的NSS在小波域的特征并不能充分反映图像质量，因此依据该方法得到的图像质量评价结果的准确性仍有待提高。

发明内容

本发明所要解决的技术问题在于克服现有技术的不足，提供一种基于稀疏表示的无参考彩色图像质量评价方法，其原子字典的构建方法简单明了，所提取的特征更符合人眼视觉感受，整个算法更简单，质量评价结果更准确。

本发明具体采用以下技术方案：

一种基于稀疏表示的无参考彩色图像质量评价方法，首先构建原子字典，然后利用所构建的原子字典对待评价彩色图像进行稀疏表示，最后利用待评价彩色图像的稀疏表示系数的线性组合得到待评价彩色图像的质量得分，

原子字典的构建按照以下方法：

步骤1、将一组已知平均主观差异分数DMOS的训练样本图像从RGB彩色空间转换至HSV彩色空间，并对每一幅训练样本图像的H分量、S分量、V分量分别进行灰度化，得到每一幅训练样本图像的三个子图像：H分量子图像、S分量子图像、V分量子图像；步骤2、将每一幅子图像分割为一系列大小相等的图像块，并获取每个图像块的像素空间相关性矩阵；任一图像块的像素空间相关性矩阵按照以下方法得到：构建一个256×256的矩阵；对于该矩阵中坐标为(x,y)(x＝1,2,...,256；y＝1,2,...,256)的元素，判断该图像块中是否存在两个相邻且灰度值分别为x-1、y-1的像素点，如存在，则将该元素的值赋为1，如不存在，则赋值为0，最终得到的矩阵即为该图像块的像素空间相关性矩阵；

步骤3、从每一幅子图像中选出像素空间相关性矩阵的标准差最大的图像块作为该子图像的最大标准差图像块；以每一幅子图像的最大标准差图像块、最大标准差图像块的像素空间相关性矩阵的标准差，以及该图像块所属训练样本图像的DMOS值作为一个原子，所有原子的集合即构成原子字典；

利用所构建的原子字典对待评价彩色图像进行稀疏表示，具体按照以下方法：

步骤4、将待评价彩色图像从RGB彩色空间转换至HSV彩色空间，并对待评价彩色图像的H分量、S分量、V分量分别进行灰度化，得到待评价彩色图像的三个子图像：H分量子图像、S分量子图像、V分量子图像；

步骤5、将待评价彩色图像的每个子图像分割为一系列大小相等的图像块，并获取每个图像块的像素空间相关性矩阵；

步骤6、从待评价彩色图像的三个子图像中分别选出像素空间相关性矩阵的标准差最大的图像块作为该子图像的最大标准差图像块；以待评价彩色图像的三个子图像的最大标准差图像块、最大标准差图像块的像素空间相关性矩阵、最大标准差图像块的像素空间相关性矩阵的标准差来表示待评价彩色图像；

利用待评价彩色图像的稀疏表示系数的线性组合得到待评价彩色图像的质量得分，具体按照以下方法：

步骤7、从原子字典中所有属于H分量子图像/S分量子图像/V分量子图像的图像块中选出与待评价彩色图像的H分量子图像/S分量子图像/V分量子图像的最大标准差图像块具有最大相关性的图像块，并记录该图像块的DMOS值、相关系数、像素空间相关性矩阵的标准差；从原子字典中所有属于H分量子图像/S分量子图像/V分量子图像的图像块的像素空间相关性矩阵中选出与待评价彩色图像的H分量子图像/S分量子图像/V分量子图像的最大标准差图像块的像素空间相关性矩阵具有最大相关性的像素空间相关性矩阵，并记录该像素空间相关性矩阵的DMOS值、相关系数、标准差；

步骤8、按照下式计算待评价彩色图像的质量得分QHSV，质量得分越高，待评价彩色图像的质量越高：

QHSV＝QH+QS+QV

其中，

SS＝S_HI+S_HC+S_SI+S_SC+S_VI+S_VC

Sα＝α_HI+α_HC+α_SI+α_SC+α_VI+α_VC

式中，D_HI、α_HI、S_HI分别表示从原子字典中所有属于H分量子图像的图像块中所选出的与待评价彩色图像的H分量子图像的最大标准差图像块具有最大相关性的图像块的DMOS值、相关系数、像素空间相关性矩阵的标准差；D_HC、α_HC、S_HC分别表示从原子字典中所有属于H分量子图像的图像块的像素空间相关性矩阵中所选出的与待评价彩色图像的H分量子图像的最大标准差图像块的像素空间相关性矩阵具有最大相关性的像素空间相关性矩阵的DMOS值、相关系数、标准差；D_SI、α_SI、S_SI分别表示从原子字典中所有属于S分量子图像的图像块中所选出的与待评价彩色图像的S分量子图像的最大标准差图像块具有最大相关性的图像块的DMOS值、相关系数、像素空间相关性矩阵的标准差；D_SC、α_SC、S_SC分别表示从原子字典中所有属于S分量子图像的图像块的像素空间相关性矩阵中所选出的与待评价彩色图像的S分量子图像的最大标准差图像块的像素空间相关性矩阵具有最大相关性的像素空间相关性矩阵的DMOS值、相关系数、标准差；D_VI、α_VI、S_VI分别表示从原子字典中所有属于V分量子图像的图像块中所选出的与待评价彩色图像的V分量子图像的最大标准差图像块具有最大相关性的图像块的DMOS值、相关系数、像素空间相关性矩阵的标准差；D_VC、α_VC及S_VC分别表示从原子字典中所有属于V分量子图像的图像块的像素空间相关性矩阵中所选出的与待评价彩色图像的V分量子图像的最大标准差图像块的像素空间相关性矩阵具有最大相关性的像素空间相关性矩阵的DMOS值、相关系数、标准差。

相比现有技术，本发明具有以下有益效果：

本发明所使用的图像特征针对彩色图像，其与图像质量之间的关系更加密切，因此也更能够准确反映彩色图像的质量特点，运用本发明方法可以有效的得到与人类主观一致的图像质量评价分数；此外，本发明的算法效率更高，实时性更好。

附图说明

图1为原子字典的构建流程示意图。

具体实施方式

下面结合附图对本发明的技术方案进行详细说明：

本发明针对现有技术不足，提出了一种适用于彩色图像无参考质量评价的原子字典建立方法，以及相应的稀疏表示和质量得分计算方法。本发明根据训练图像中的图像分块在HSV彩色空间的像素空间相关性标准差的最大值来选取字典中的原子，每个原子由具有像素空间相关性最大标准差的图像块、DMOS值、最大标准差三个元素组成，然后采用匹配追踪的方法在该字典中得到待评价图像的稀疏表示，并由原子字典中被选取到的原子的DMOS及最大标准差来构建彩色图像质量评价指标。

本发明的图像质量评价方法具体包括以下步骤：

步骤A、原子字典的构建：

本发明原子字典的构建过程如图1所示，包括以下步骤：

步骤A1、将一组已知平均主观差异分数DMOS的训练样本图像从RGB彩色空间转换至HSV彩色空间，并对每一幅训练样本图像的H分量、S分量、V分量分别进行灰度化，得到每一幅训练样本图像的三个子图像：H分量子图像、S分量子图像、V分量子图像。

本发明可以直接使用在图像质量评价领域应用比较多的LIVE、TID、或是CSIQ等标准图像数据库，当然也可以根据需要选择要测试设备的图像库，并组织主观评价，以达到所用的数据与主观感受一致。本实施实例中采用LIVE2标准图像库作为建立原子字典所需的训练图像集。LIVE2图像库总共有982幅图像，那么需要的原子字典应该包括三个部分，即图像块库+DMOS值+标准偏差值。并且由于图像要在HSV空间处理，所以原子字典要初始化成三类数据。即，设图像块的大小为a×a，那么可以设三个图像子库分别存放hue、saturation、value图像块，则如果每行放30个图像块，那么每个图像子库的包含的像素数为33×a行，30×a列，如果存储每个像素使用一个字节，则所占空间为33×a×30×a×8。三个子图像库还需配合各自的标准差表，每个表由982个数据组成。三个子图像库共用一个DMOS表，表也由982个数据组成(此表数据由LIVE2数据库提供)。

将由RGB表示的彩色图像转换到HSV空间为现有技术，下面对其进行简要介绍：

(r,g,b)分别是一个像素的红、绿和蓝通道的数值，它们的值是在0到1之间的实数。设max等价于r,g和b中的最大者。设min等于这些值中的最小者。要找到在HSV空间中的(h,s,v)值，这里的h∈[0,360)是角度的色相角，而s,v∈[0,1]是饱和度和亮度，计算公式为：

v＝max

根据设计需要将h的值由360进行归一后使用。例如，像素的(r，g，b)的值分别为(100，104，120)，则max＝120，min＝100，那么对应的 v＝120。

对每一幅训练样本图像的H分量、S分量、V分量分别进行灰度化，即得到每一幅训练样本图像的三幅灰度子图像：H分量子图像、S分量子图像、V分量子图像。

步骤A2、将每一幅子图像分割为一系列大小相等的图像块，并获取每个图像块的像素空间相关性矩阵。

根据人眼的视觉特点，人眼对结构部分更加敏感，分块后可以用结构特点最显著的图像块来有效地代表整个图像的质量特点。本实施例中，将每一幅子图像分成a×a大小的图像块，当子图像的边缘部分不够一个图像块时，则直接将该部分舍弃。

任一图像块的像素空间相关性矩阵按照以下方法得到：构建一个256×256的矩阵；对于该矩阵中坐标为(x,y)(x＝1,2,...,256；y＝1,2,...,256)的元素，判断该图像块中是否存在两个相邻且灰度值分别为x-1、y-1的像素点，如存在，则将该元素的值赋为1，如不存在，则赋值为0，最终得到的矩阵即为该图像块的像素空间相关性矩阵。

步骤A3、从每一幅子图像中选出像素空间相关性矩阵的标准差最大的图像块作为该子图像的最大标准差图像块；以每一幅子图像的最大标准差图像块、最大标准差图像块的像素空间相关性矩阵的标准差，以及该图像块所属训练样本图像的DMOS值作为一个原子，所有原子的集合即构成原子字典。

首先计算每一个图像块的像素空间相关性矩阵的标准差，计算公式如下：

其中，G(d₁,d₂)表示像素空间相关性矩阵中坐标为(d₁,d₂)的元素值。

然后从每一幅子图像中选出像素空间相关性矩阵的标准差最大的图像块作为该子图像的最大标准差图像块，并以每一幅子图像的最大标准差图像块、最大标准差图像块的像素空间相关性矩阵的标准差以及该图像块所属训练样本图像的DMOS值作为原子字典的一个原子，所有原子的集合即构成本发明的原子字典。在本实施例中，最后的原子字典中共有982×3个原子。

步骤B、利用所构建的原子字典对待评价彩色图像进行稀疏表示，具体按照以下方法：步骤B1、将待评价彩色图像从RGB彩色空间转换至HSV彩色空间，并对待评价彩色图像的H分量、S分量、V分量分别进行灰度化，得到待评价彩色图像的三个子图像：H分量子图像、S分量子图像、V分量子图像。

空间转换、灰度化的具体方法与步骤A1中方法相同，此处不再赘述。

步骤B2、将待评价彩色图像的每个子图像分割为一系列大小相等的图像块，并获取每个图像块的像素空间相关性矩阵。

图像分块方法及像素空间相关性矩阵计算方法与步骤A2中相同，此处不再赘述。步骤B3、从待评价彩色图像的三个子图像中分别选出像素空间相关性矩阵的标准差最大的图像块作为该子图像的最大标准差图像块；以待评价彩色图像的三个子图像的最大标准差图像块、最大标准差图像块的像素空间相关性矩阵、最大标准差图像块的像素空间相关性矩阵的标准差来表示待评价彩色图像。

可将待评价彩色图像的H分量子图像的最大标准差图像块、最大标准差图像块的像素空间相关性矩阵、最大标准差图像块的像素空间相关性矩阵的标准差分别记为HI、HC、HSM；将待评价彩色图像的S分量子图像的最大标准差图像块、最大标准差图像块的像素空间相关性矩阵、最大标准差图像块的像素空间相关性矩阵的标准差分别记为SI、SC、SSM；将待评价彩色图像的V分量子图像的最大标准差图像块、最大标准差图像块的像素空间相关性矩阵、最大标准差图像块的像素空间相关性矩阵的标准差分别记为VI、VC、VSM。

步骤C、利用待评价彩色图像的稀疏表示系数的线性组合得到待评价彩色图像的质量得分，具体按照以下方法：

步骤C1、从原子字典中所有属于H分量子图像/S分量子图像/V分量子图像的图像块中选出与待评价彩色图像的H分量子图像/S分量子图像/V分量子图像的最大标准差图像块具有最大相关性的图像块，并记录该图像块的DMOS值、相关系数、像素空间相关性矩阵的标准差；从原子字典中所有属于H分量子图像/S分量子图像/V分量子图像的图像块的像素空间相关性矩阵中选出与待评价彩色图像的H分量子图像/S分量子图像/V分量子图像的最大标准差图像块的像素空间相关性矩阵具有最大相关性的像素空间相关性矩阵，并记录该像素空间相关性矩阵的DMOS值、相关系数、标准差。

将待评价彩色图像的H分量子图像的最大标准差图像块HI与原子字典中每一个属于H分量子图像的图像块进行相关性计算，并记录其中具有最大相关性的图像块的DMOS值(记作D_HI)、相关系数(记作α_HI)及标准差值(计作S_HI)；将评价彩色图像的H分量子图像的最大标准差图像块的像素空间相关性矩阵HC与原子字典中每一个属于H分量子图像的图像块的像素空间相关性矩阵进行相关性计算，并记录其中具有最大相关性的像素空间相关性矩阵的DMOS值(记作D_HC)、相关系数(记作α_HC)及标准差值(计作S_HC)。类似地，将待评价彩色图像的S分量子图像的最大标准差图像块SI与原子字典中每一个属于S分量子图像的图像块进行相关性计算，并记录其中具有最大相关性的图像块的DMOS值(记作D_SI)、相关系数(记作α_SI)及标准差值(计作S_SI)；将评价彩色图像的S分量子图像的最大标准差图像块的像素空间相关性矩阵HC与原子字典中每一个属于S分量子图像的图像块的像素空间相关性矩阵进行相关性计算，并记录其中具有最大相关性的像素空间相关性矩阵的DMOS值(记作D_SC)、相关系数(记作α_SC)及标准差值(计作S_SC)。将待评价彩色图像的V分量子图像的最大标准差图像块VI与原子字典中每一个属于V分量子图像的图像块进行相关性计算，并记录其中具有最大相关性的图像块的DMOS值(记作D_VI)、相关系数(记作α_VI)及标准差值(计作S_VI)；将评价彩色图像的V分量子图像的最大标准差图像块的像素空间相关性矩阵VC与原子字典中每一个属于V分量子图像的图像块的像素空间相关性矩阵进行相关性计算，并记录其中具有最大相关性的像素空间相关性矩阵的DMOS值(记作D_VC)、相关系数(记作α_VC)及标准差值(计作S_VC)。其中，相关性的计算为现有技术，详细内容可参见[郭金库等,《信号稀疏表示理论及其应用》,科学出版社，2013，07]。

步骤C2、按照下式计算待评价彩色图像的质量得分QHSV：

QHSV＝QH+QS+QV

其中，

SS＝S_HI+S_HC+S_SI+S_SC+S_VI+S_VC

Sα＝α_HI+α_HC+α_SI+α_SC+α_VI+α_VC

质量得分越高，待评价彩色图像的质量越高。

本发明的原子字典建立方法简单明了，提取的特征符合人类的视觉特点，同时对彩色图像的质量评价进行了有益的尝试。本发明方法可以方便地对由不同成像机理得到的图像建立原子字典，有利于后续对不同类型图像进行无参考质量评价。

Claims (3)

1.一种基于稀疏表示的无参考彩色图像质量评价方法，首先构建原子字典，然后利用所构建的原子字典对待评价彩色图像进行稀疏表示，最后利用待评价彩色图像的稀疏表示系数的线性组合得到待评价彩色图像的质量得分，其特征在于，

原子字典的构建按照以下方法：

步骤1、将一组已知平均主观差异分数DMOS的训练样本图像从RGB彩色空间转换至HSV彩色空间，并对每一幅训练样本图像的H分量、S分量、V分量分别进行灰度化，得到每一幅训练样本图像的三个子图像：H分量子图像、S分量子图像、V分量子图像；

步骤2、将每一幅子图像分割为一系列大小相等的图像块，并获取每个图像块的像素空间相关性矩阵；任一图像块的像素空间相关性矩阵按照以下方法得到：构建一个256×256的矩阵；对于该矩阵中坐标为(x,y)的元素，判断该图像块中是否存在两个相邻且灰度值分别为x-1、y-1的像素点，如存在，则将该元素的值赋为1，如不存在，则赋值为0，最终得到的矩阵即为该图像块的像素空间相关性矩阵，x＝1,2,…,256；y＝1,2,…,256；

步骤3、从每一幅子图像中选出像素空间相关性矩阵的标准差最大的图像块作为该子图像的最大标准差图像块；以每一幅子图像的最大标准差图像块、最大标准差图像块的像素空间相关性矩阵的标准差，以及该图像块所属训练样本图像的DMOS值作为一个原子，所有原子的集合即构成原子字典；

利用所构建的原子字典对待评价彩色图像进行稀疏表示，具体按照以下方法：

步骤4、将待评价彩色图像从RGB彩色空间转换至HSV彩色空间，并对待评价彩色图像的H分量、S分量、V分量分别进行灰度化，得到待评价彩色图像的三个子图像：H分量子图像、S分量子图像、V分量子图像；

步骤5、将待评价彩色图像的每个子图像分割为一系列大小相等的图像块，并获取每个图像块的像素空间相关性矩阵；

步骤6、从待评价彩色图像的三个子图像中分别选出像素空间相关性矩阵的标准差最大的图像块作为该子图像的最大标准差图像块；以待评价彩色图像的三个子图像的最大标准差图像块、最大标准差图像块的像素空间相关性矩阵、最大标准差图像块的像素空间相关性矩阵的标准差来表示待评价彩色图像；

利用待评价彩色图像的稀疏表示系数的线性组合得到待评价彩色图像的质量得分，具体按照以下方法：

步骤7、从原子字典中所有属于H分量子图像/S分量子图像/V分量子图像的图像块中选出与待评价彩色图像的H分量子图像/S分量子图像/V分量子图像的最大标准差图像块具有最大相关性的图像块，并记录该图像块的DMOS值、相关系数、像素空间相关性矩阵的标准差；从原子字典中所有属于H分量子图像/S分量子图像/V分量子图像的图像块的像素空间相关性矩阵中选出与待评价彩色图像的H分量子图像/S分量子图像/V分量子图像的最大标准差图像块的像素空间相关性矩阵具有最大相关性的像素空间相关性矩阵，并记录该像素空间相关性矩阵的DMOS值、相关系数、标准差；

步骤8、按照下式计算待评价彩色图像的质量得分QHSV，质量得分越高，待评价彩色图像的质量越高：

QHSV＝QH+QS+QV

其中，

$QH=\frac{S\_HI}{SS}\·\frac{\mathrm{\α}\_HI}{S\mathrm{\α}}\·D\_HI+\frac{S\_HC}{SS}\·\frac{\mathrm{\α}\_HC}{S\mathrm{\α}}\·D\_HC$

$QS=\frac{S\_SI}{SS}\·\frac{\mathrm{\α}\_SI}{S\mathrm{\α}}\·D\_SI+\frac{S\_SC}{SS}\·\frac{\mathrm{\α}\_SC}{S\mathrm{\α}}\·D\_SC$

$QV=\frac{S\_VI}{SS}\·\frac{\mathrm{\α}\_VI}{S\mathrm{\α}}\·D\_VI+\frac{S\_VC}{SS}\·\frac{\mathrm{\α}\_VC}{S\mathrm{\α}}\·D\_VC$

SS＝S_HI+S_HC+S_SI+S_SC+S_VI+S_VC

Sα＝α_HI+α_HC+α_SI+α_SC+α_VI+α_VC

式中，D_HI、α_HI、S_HI分别表示从原子字典中所有属于H分量子图像的图像块中所选出的与待评价彩色图像的H分量子图像的最大标准差图像块具有最大相关性的图像块的DMOS值、相关系数、像素空间相关性矩阵的标准差；D_HC、α_HC、S_HC分别表示从原子字典中所有属于H分量子图像的图像块的像素空间相关性矩阵中所选出的与待评价彩色图像的H分量子图像的最大标准差图像块的像素空间相关性矩阵具有最大相关性的像素空间相关性矩阵的DMOS值、相关系数、标准差；D_SI、α_SI、S_SI分别表示从原子字典中所有属于S分量子图像的图像块中所选出的与待评价彩色图像的S分量子图像的最大标准差图像块具有最大相关性的图像块的DMOS值、相关系数、像素空间相关性矩阵的标准差；D_SC、α_SC、S_SC分别表示从原子字典中所有属于S分量子图像的图像块的像素空间相关性矩阵中所选出的与待评价彩色图像的S分量子图像的最大标准差图像块的像素空间相关性矩阵具有最大相关性的像素空间相关性矩阵的DMOS值、相关系数、标准差；D_VI、α_VI、S_VI分别表示从原子字典中所有属于V分量子图像的图像块中所选出的与待评价彩色图像的V分量子图像的最大标准差图像块具有最大相关性的图像块的DMOS值、相关系数、像素空间相关性矩阵的标准差；D_VC、α_VC及S_VC分别表示从原子字典中所有属于V分量子图像的图像块的像素空间相关性矩阵中所选出的与待评价彩色图像的V分量子图像的最大标准差图像块的像素空间相关性矩阵具有最大相关性的像素空间相关性矩阵的DMOS值、相关系数、标准差。

2.如权利要求1所述基于稀疏表示的无参考彩色图像质量评价方法，其特征在于，所述训练样本图像从LIVE、TID、或CSIQ标准图像库中得到。

3.如权利要求1所述基于稀疏表示的无参考彩色图像质量评价方法，其特征在于，在将子图像分割为一系列大小相等的图像块时，所分割的图像块的长、宽相等，子图像边缘不足一个图像块的部分直接舍弃。