CN105976361B - 基于多级字典集的无参考图像质量评价方法 - Google Patents

Abstract

本发明公开了一种基于多级字典编码的无参考质量评价方法，主要解决计算机对噪声图像的评价与人眼感知不符的问题。其实现步骤是：1.划分图像数据库；2.提取单个实验样本的特征向量；3.计算训练样本一副污染图的特征向量质量值；4.计算全部训练样本的特征向量；5.计算训练样本中所有污染图的特征向量质量值；6.用训练样本参考图的特征向量构建第一级字典集；7.用训练样本污染图的特征向量构建第二级字典集；8.计算第二级字典集中每个聚类中心的质量值；9.将测试样本投影到第二级字典集计算测试样本的质量值；10.根据样本质量值判断样本质量。本发明的评价结果与人眼感知一致，可用在互联网上图像筛选、传输、压缩。

Description

基于多级字典集的无参考图像质量评价方法

技术领域

本发明属于图像处理技术领域，特别涉及一种基于多级字典集的无参考图像质量评价方法，可以用在互联网上图像筛选、传输、检索、压缩以及对质量等级参差不齐的海量图像数据鉴别中。

技术背景

随着数字图像、网络技术和多媒体技术的发展，数字图像已经成为了信息的主要载体，在越来越多的应用场合中被处理、传递、存储以及重构。然而，原始的图像信号中通常含有大量的冗余并且图像数据在进行多步处理的过程中会混入多种噪声，怎样从包含各种噪声并且质量等级参差不齐的大量图像数据中获得更有价值的信息成为热门的研究课题。

在过去的几十年里，图像质量评价方法取得了较大的进展，大量的评价算法被提出。根据对参考图像的依赖程度，这些算法可大致分为三类：全参考图像质量评价算法，部分参考图像质量评价算法和无参考图像质量评价算法。全参考质量评价需要原始图像的全部信息做参考，部分参考质量评价需要一部分原始图像信息作参考。在更多的实际应用中我们无法知道污染图，如无人机的航拍图、地球卫星的遥感图以及地面监控设备拍摄的自然图像的原始图像信息，但是使用计算机对这些污染图进行客观分析评价又是我们必须用到的，基于此，提出了不需要任何原始图像信息的无参考质量评价算法。

无参考质量评价的目的是建立一种不需要任何原图信息就能预测污染图质量的数学模型，并且计算出来的质量值与人的主观评价具有一致性。现有的一般意义上的无参考质量评价算法是基于这样的假设：用于测试的污染图和用于训练的样本拥有相同或者相似的质量衰减。在这样的假设下，可以用“学习”的思想来建立拟合模型进行分析预测。实际实现过程中，采用机器学习的方法进行质量评价，把质量评价的问题转化为线性回归或者分类问题，然后选用与图像质量相关联的特征向量进行训练得到回归模型或者分类器。由于回归算法和分类算法已经比较成熟，如何选用特征向量来捕获影响图像质量的相关因素成为工作的重点。基于自然场景统计特性的方法在众多特征描述算法中脱颖而出，该方法假定自然场景具有某种统计学特性并且噪声的出现会影响这种特性。Queluz等人在文章“No-reference image quality assessment based on DCT domain statistics,”SignalProscess,vol.88,no.4,pp.822-833,Apr.2008中依据基于离散余弦变换系数的统计特性对具有JPEG或者MPEG压缩噪声的污染图进行质量评价；Moorthy等人在文章“Blind imagequality assessment:From natural scene statistics to perceptual quality,”IEEETrans.Image Process.,vol.20,no.12,pp.3350–3364,Dec.2011中提出使用小波变换系数建立统计模型，将估计好的统计模型参数作为特征向量执行回归算法SVR并预测出图像质量。这些不同的特征提取方法被开发出来并取得成功，但是仍然有缺点：1)许多同类算法只针对特定一两种噪声来设计并且假设噪声种类已知，对于其它噪声的评价效果不理想；2)还有一些算法是在某一种变换如离散余弦变换、小波变换域中进行，需要依赖较多的变换域知识并且限制了这些算法在其它图像域中的使用。这些缺点会影响质量评价的准确性，在实际应用中存在较多限制。

发明内容

本发明目的在于针对上述已有技术中存在的缺陷和不足，提出基于多级字典集的无参考图像质量评价方法，以实现对多种噪声类型在不同图像域中进行无参考质量评价，并提高质量评价的准确性。

本发明的技术方案是这样实现的：

本发明首先学习高质量图像的基元组成，结合使用基向量组描述多维空间元素的数学思想，构建对应的基元字典；然后分析噪声对每个基元的影响，以及造成的质量衰减。通过分析不同基元下不同类型噪声所带来的变化，构建字典集codebook，这些字典集就如同人们大脑中的先验知识，指导无参考质量评价的进行；最后将测试样本投影到codebook中通过加权求和的方式得到测试样本的质量值，其实现步骤包括如下：

(1)将图像数据库中的实验样本随机分为两份，其中80％的参考图及其对应的污染图作为训练样本，20％的参考图对应的污染图作为测试样本；

(2)提取实验样本的特征向量：

(2a)输入大小为M×N的待处理图像I，将该图像I按大小为B×B进行无混叠分块，得到K个子块；

(2b)用Gabor滤波器组对各个子块进行滤波，将滤波结果作为各个子块对应的特征向量，即一副待处理图像对应K个特征向量；

(3)给训练样本污染图的特征向量赋予质量值：

(3a)输入大小为M×N的训练样本中的污染图X及其对应的参考图Y，并使用梯度相似性算法GMS计算它们的梯度相似性矩阵g；

(3b)将得到的梯度相似性矩阵g归一化，并将归一化后的梯度相似性矩阵与污染图X的质量值mos相乘得到质量值矩阵m；

(3c)对污染图X对应的质量值矩阵m按大小为B×B进行无混叠分块，得到K个子块并将第l个子块设为P_l，将每个P_l的中点值作为其对应特征向量的质量值mos_l，1≤l≤K；

(4)对所有训练样本进行步骤(2)的操作，得到所有训练样本的特征向量，其中每一副参考图对应的第i个特征向量为r_i,每一副污染图对应的第i个特征向量为d_i；

(5)将训练样本中每一副污染图及其对应的参考图进行步骤(3)的操作，得到每一副污染图的K个特征向量d_i对应的质量值mos_i；

(6)将聚类中心的个数设为200，用kmeans聚类算法对训练样本中所有参考图的m个特征向量进行聚类，每一个聚类中心是一个基元向量C，用所有聚类中心构成第一级l1的字典集codebook^l1，该字典集codebook^l1中每个聚类中心C对应参考图的多个特征向量r_n，1≤n≤200；

(7)从参考图的多个特征向量r_n找到这些参考图特征向量对应的污染图特征向量d_n，用kmeans聚类算法对第n个聚类中心C对应的污染图的特征向量d_n进行聚类，将聚类中心个数设为64，得到第二级l2字典集的第n个字典codebook_n ^l2，将200个聚类中心C对应的200个字典codebook_n ^l2组合在一起，构成第二级l2的字典集codebook^l2；

(8)计算第二级l2的字典集codebook^l2中每个聚类中心C对应的多个特征向量质量值的均值，用这个均值作为该聚类中心C的质量值；

(9)将测试样本的特征向量投影到第二级l2的字典集codebook^l2中，计算测试样本的质量值Q；

(10)根据质量值Q对测试样本图像的质量进行判断：

若Q＝0，则表示该测试样本没有被噪声污染；

若0＜Q≤5，则表示该测试样本被噪声轻度污染；

若5＜Q≤8，则表示该测试样本被噪声中度污染；

若Q＞8，则表示该测试样本被噪声重度污染。

本发明与现有技术相比，具有如下优点：

1)本发明提出的无参考图像质量评价方法由于是以图像块为单位提取训练样本特征，然后用训练样本特征建立特征空间的基元向量组，以图像块为单位而不是以像素点为单位提取训练样本特征，因而对特定变换域的依赖性较少，方便以后在不同的变换域中使用。

2)本发明充分考虑了一副污染图不同区域质量可能不一致的情况，使用梯度相似性算法给污染图的不同区域赋予一个更能衡量其污染程度的质量值，使得基元向量的计算质量值更加准确有效，提高了预测测试样本质量的准确度。

3)本发明由于构建字典集是基于建立图像特征空间的基向量组的思想，当选定有效的基向量组时，就能表征大量的视觉内容信息，突破了噪声种类的限制，减少对数据库的依赖程度；同时由于在第一层字典集的基础上构建第二层字典集，使得第二层字典集的每个基元向量提取更加丰富了噪声和图像结构信息，减少了基元向量之间的线性相关性和冗余度。

附图说明

图1是本发明的实现流程图。

具体实施方式

以下结合附图对本发明作进一步详细描述。

参照图1，本发明的具体实现步骤如下：

步骤1，划分图像数据库。

无参考质量评价的图像数据库包含多幅参考图以及参考图对应的污染图，通常的做法是将图像数据库随机地分成两份，80％的图像用于训练，20％的图像用于测试。按照这个原则将实验数据库中的参考图按照8：2的比例随机分为两份，其中80％的参考图及其对应的污染图作为训练样本，20％的参考图对应的污染图作为测试样本。训练样本中的每幅污染图都对应一个质量值mos用来表征污染图的质量等级。

步骤2，提取单个实验样本的特征向量。

(2a)输入大小为M×N的待处理图像I，对该图像I按大小为B×B进行无混叠分块，得到K个子块，并将第l个子块记为P_l，1≤l≤K，其中，表示不大于的最大整数，B＝11；

(2b)用Gabor滤波器组对各个子块P_l进行滤波，将滤波结果作为各个子块P_l对应的特征向量fv_l,1≤l≤K：

(2b1)给出二维Gabor滤波器的函数表达式：

其中x和y是像素点的横纵坐标，f是正弦曲线的频率，θ是Gabor核函数的方向，ψ是相位偏移，它的取值范围为-180度到180度；x'＝xcosθ+ysinθ，y'＝-xsinθ+ycosθ；σ是Gabor核函数的标准差，当f选定后γ是空间纵横比，其决定Gabor函数形状的椭圆率，取值为0.5；

(2b2)选取Gabor滤波器组的参数：选用5种频率f：4个方向θ：用这5种频率和4个方向任意组合产生20个Gabor滤波器，构成一个Gabor滤波器组，其中第z个滤波器为g_z(x,y,f,θ)，1≤z≤20；

(2b3)用构建好的Gabor滤波器组的各个滤波器g_z(x,y,f,θ)与子块P_l作卷积得到响应矩阵G_l ^z：

其中，*代表卷积运算；

(2b4)计算响应矩阵G_l ^z的均值m_z，再计算响应矩阵G_l ^z的方差s_z，将每个G_l ^z的均值和方差组合在一起构成子块P_l的特征向量fv_l：

fv_l＝(m₁,m₂,...,m_z,...,m₂₀,s₁,s₂,...,s_z...,s₂₀),

其中1≤z≤20。

步骤3，给训练样本中一幅污染图的特征向量赋予质量值。

(3a)输入大小为M×N的训练样本中的污染图X及其对应的参考图像Y，分别计算污染图X和参考图Y的梯度值矩阵g_x和g_y：

g_x＝max_k＝1,2{mean|X*M_k|}，

g_y＝max_k＝1,2{mean|Y*M_k|}，

其中，*代表卷积运算，M₁和M₂是卷积算子，，mean|X*M_k|代表对(X*M_k)先取绝对值再求均值，mean|Y*M_k|代表对(Y*M_k)先取绝对值再求均值，max_k＝1,2{...}代表对括号中的部分求最大值；

(3b)计算污染图X和参考图Y的梯度相似性矩阵g：

其中g_x和g_y分别代表污染图X和参考图Y的梯度值矩阵，S取一个较小的正实数0.0001，为了防止分母过小引起算法的不稳定；

(3c)训练样本中每一副污染图都对应一个质量值mos，将得到的梯度相似性矩阵g归一化并与这个mos值相乘得到质量值矩阵m；

(3d)对污染图X对应的质量值矩阵m按大小为B×B进行无混叠分块，得到K个子块并将第l个子块设为P_l，将每个P_l的中点值作为其对应特征向量的质量值记为mos_l，1≤l≤K。

步骤4，提取全部训练样本的特征向量。

将所有的训练样本经过步骤(2)的操作，每一个训练样本都能得到K个特征向量，其中每一副参考图对应的第i个特征向量为r_i,每一副污染图对应的第i个特征向量为d_i,1≤i≤K。

步骤5，给训练样本中所有污染图的特征向量赋予质量值。

将训练样本中每一副污染图及其对应的参考图经过步骤(3)的操作，得到每一副污染图的K个特征向量d_i对应的K个质量值mos_i。

步骤6，用kmeans聚类算法构建第一级l1的字典集codebook^l1。

将聚类中心的个数设为200，用kmeans聚类算法对训练样本中所有参考图的m个特征向量进行聚类，每一个聚类中心是一个基元向量C，用所有聚类中心构成第一级l1的字典集codebook^l1，该字典集codebook^l1中每个聚类中心C对应参考图的多个特征向量r_n，1≤n≤200。

步骤7，用kmeans聚类算法构建第二级l2的字典集codebook^l2。

(7a)第一级l1的字典集codebook^l1的每个聚类中心C对应参考图的多个特征向量r_n，从参考图的特征向量r_n找到r_n对应的污染图的特征向量d_n；

(7b)用kmeans聚类算法对第n个聚类中心C对应的污染图的特征向量d_i进行聚类，将聚类中心个数设为64，得到第二级l2字典集的第n个字典codebook_n ^l2，将200个聚类中心C对应的200个字典codebook_n ^l2组合在一起，构成第二级l2的字典集codebook^l2：

codebook^l2＝(codebook₁ ^l2,codebook₂ ^l2,...,codebook_n ^l2,...,codebook₂₀₀ ^l2),

其中，codebook_n ^l2代表第二级l2字典集codebook^l2的第n个字典。

步骤8，计算第二级l2的字典集codebook^l2中每个聚类中心C的质量值。

(8a)给出第n个字典codebook_n ^l2与其对应的聚类中心的关系式：

其中，codebook_n ^l2代表第二级l2字典集codebook^l2的第n个字典，C_nj ^l2代表第n个字典codebook_n ^l2对应的第j个聚类中心,1≤j≤64，每个聚类中心C_nj ^l2对应污染图的多个特征向量；

(8b)计算每个聚类中心C_nj ^l2对应的多个特征向量质量值的均值，用这个均值作为C_nj ^l2的质量值mos_nj，1≤n≤200，1≤j≤64。

步骤9，将测试样本的特征向量投影到第二级l2的字典集codebook^l2中，计算测试样本的质量值Q。

(9a)将用于测试的一个样本进行步骤(2)的操作，得到该测试样本的K个特征向量，其中第i个特征向量为t_i,1≤i≤K；

(9b)计算特征向量t_i到第m个字典codebook_m ^l2中所有聚类中心C的欧几里得距离之和D_m：

其中，C_mj ^l2代表第m个字典codebook_m ^l2的第j个聚类中心，t_i代表测试样本的第i个特征向量，d(t_i,C_mj ^l2)代表特征向量t_i和聚类中心C_mj ^l2的欧几里得距离d_mj；

(9c)将最小的距离值D_m对应的第m个字典codebook_m ^l2设为codebook_p ^l2，并将codebook_p ^l2中所有聚类中心C对应的距离值归一化，再用归一化后的距离值与对应聚类中心C的质量值进行加权求和，得到第i个特征向量t_i的质量值q_i；

(9d)将测试样本中的K个特征向量进行(9a)到(9c)的操作，得到K个特征向量的质量值q_i，1≤i≤K，取K个特征向量质量值q_i的均值作为测试样本的质量值Q；

(9e)重复步骤(9d)的操作得到多个测试样本的质量值。

步骤10，根据质量值Q对测试样本图像的质量进行判断。

每个测试样本的计算质量值Q的取值范围在0到10之间，Q值越大代表测试样本的污染程度越严重：

若Q＝0，则表示该测试样本没有被噪声污染；

若0＜Q≤5，则表示该测试样本被噪声轻度污染；

若5＜Q≤8，则表示该测试样本被噪声中度污染；

若8＜Q≤10，则表示该测试样本被噪声重度污染。

以上描述仅是本发明的一个具体实例，不构成对本发明的任何限制。显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修改和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (5)

1.一种基于多级字典集的无参考图像质量评价方法，包括：

(1)将图像数据库中的实验样本随机分为两份，其中80％的参考图及其对应的污染图作为训练样本，20％的参考图对应的污染图作为测试样本；

(2)提取实验样本的特征向量：

(2a)输入大小为M×N的待处理图像I，将该图像I按大小为B×B进行无混叠分块，得到K个子块；

(2b)用Gabor滤波器组对各个子块进行滤波，将滤波结果作为各个子块对应的特征向量，即一副待处理图像对应K个特征向量；

(3)给训练样本污染图的特征向量赋予质量值：

(3a)输入大小为M×N的训练样本中的污染图X及其对应的参考图Y，并使用梯度相似性算法GMS计算它们的梯度相似性矩阵g；

(3b)将得到的梯度相似性矩阵g归一化，并将归一化后的梯度相似性矩阵与污染图X的质量值mos相乘得到质量值矩阵m；

(3c)对污染图X对应的质量值矩阵m按大小为B×B进行无混叠分块，得到K个子块并将第l个子块设为P_l，将每个P_l的中点值作为其对应特征向量的质量值mos_l，1≤l≤K；

(4)对所有训练样本进行步骤(2)的操作，得到所有训练样本的特征向量，其中每一副参考图对应的第i个特征向量为r_i,每一副污染图对应的第i个特征向量为d_i；

(5)将训练样本中每一副污染图及其对应的参考图进行步骤(3)的操作，得到每一副污染图的K个特征向量d_i对应的质量值mos_i；

(6)将聚类中心的个数设为200，用kmeans聚类算法对训练样本中所有参考图的m个特征向量进行聚类，每一个聚类中心是一个基元向量C，用所有聚类中心构成第一级l1的字典集codebook^l1，该字典集codebook^l1中每个聚类中心C对应参考图的多个特征向量r_n，1≤n≤200；

(7)从参考图的多个特征向量r_n找到这些参考图特征向量对应的污染图特征向量d_n，用kmeans聚类算法对第n个聚类中心C对应的污染图的特征向量d_n进行聚类，将聚类中心个数设为64，得到第二级l2字典集的第n个字典codebook_n ^l2，将200个聚类中心C对应的200个字典codebook_n ^l2组合在一起，构成第二级l2的字典集codebook^l2；

(8)计算第二级l2的字典集codebook^l2中每个聚类中心C对应的多个特征向量质量值的均值，用这个均值作为该聚类中心C的质量值；

(9)将测试样本的特征向量投影到第二级l2的字典集codebook^l2中，计算测试样本的质量值Q；

(10)根据质量值Q对测试样本图像的质量进行判断：

若Q＝0，则表示该测试样本没有被噪声污染；

若0＜Q≤5，则表示该测试样本被噪声轻度污染；

若5＜Q≤8，则表示该测试样本被噪声中度污染；

若Q＞8，则表示该测试样本被噪声重度污染。

2.如权利要求1所述的方法，其步骤(2)中用Gabor滤波器组对各个子块P_l进行滤波，按如下步骤进行：

(2b1)给出Gabor滤波器的函数表达式：

其中x和y是像素点的横纵坐标，f是正弦曲线的频率，θ是Gabor核函数的方向，ψ是相位偏移，它的取值范围为-180度到180度；x'＝xcosθ+ysinθ，y'＝-xsinθ+ycosθ；σ是Gabor核函数的标准差，当f选定后γ是空间纵横比，其决定Gabor函数形状的椭圆率，取值为0.5；

(2b2)选取Gabor滤波器组的参数：选用5种频率f：4个方向θ：用这5种频率和4个方向任意组合产生20个Gabor滤波器，构成一个Gabor滤波器组，其中第z个滤波器为g_z(x,y,f,θ)，1≤z≤20；

(2b3)用构建好的Gabor滤波器组的各个滤波器g_z(x,y,f,θ)与子块P_l作卷积得到响应矩阵G_l ^z：

G_l ^z＝P_l*g_z(x,y,f,θ)

其中，*代表卷积运算；

(2b4)计算响应矩阵G_l ^z的均值m_z，再计算响应矩阵G_l ^z的方差s_z，将每个G_l ^z的均值和方差组合在一起构成子块P_l的特征向量fv_l：

fv_l＝(m₁,m₂,...,m_z,...,m₂₀,s₁,s₂,...,s_z...,s₂₀)

其中1≤z≤20。

3.如权利要求1所述的方法，其步骤(3)中使用梯度相似性算法GMS计算训练样本中的污染图X及其对应的参考图Y的梯度相似性矩阵g，按如下步骤进行：

(3b1)分别计算污染图X和参考图Y的梯度值矩阵g_x和g_y，g_x和g_y的计算公式为：

g_x＝max_k＝1,2{mean|X*M_k|}

g_y＝max_k＝1,2{mean|Y*M_k|}

其中，*代表卷积运算，M₁和M₂是卷积算子，，mean|X*M_k|代表对(X*M_k)先取绝对值再求均值，mean|Y*M_k|代表对(Y*M_k)先取绝对值再求均值，max_k＝1,2{...}代表对括号中的部分求最大值；

(3b2)计算污染图X和参考图Y的梯度相似性矩阵g：

其中g_x和g_y分别代表图像X和Y的梯度值矩阵，S取一个较小的正实数0.0001，为了防止分母过小引起算法的不稳定。

4.如权利要求1所述的方法，其步骤(8)中计算第二级l2的字典集codebook^l2中每个聚类中心C对应的多个特征向量质量值的均值，按如下步骤进行：

(8a)给出第二级l2的字典集codebook^l2的表达式：

codebook^l2＝(codebook₁ ^l2,codebook₂ ^l2,...,codebook_n ^l2,...,codebook₂₀₀ ^l2)

其中，codebook_n ^l2代表字典集codebook^l2的第n个字典，codebook_n ^l2对应的第j个聚类中心为C_nj ^l2,1≤j≤64，codebook_n ^l2与C_nj ^l2的对应关系表示如下：

第n个字典codebook_n ^l2的每个聚类中心C_nj ^l2对应污染图的多个特征向量；

(8b)计算每个聚类中心C_nj ^l2对应的多个特征向量质量值的均值，用这个均值作为C_nj ^l2的质量值mos_nj。

5.如权利要求1所述的方法，其步骤(9)中将测试样本的特征向量投影到第二级l2的字典集codebook^l2中，计算测试样本的质量值Q，按如下步骤进行：

(9a)将用于测试的一个样本进行步骤(2)的操作，得到该测试样本的K个特征向量，其中第i个特征向量为t_i,1≤i≤K；

(9b)计算特征向量t_i到第m个字典codebook_m ^l2中所有聚类中心C的欧几里得距离之和D_m：

其中，C_mj ^l2代表第m个字典codebook_m ^l2的第j个聚类中心，t_i代表测试样本的第i个特征向量，d(t_i,C_mj ^l2)代表特征向量t_i和聚类中心C_mj ^l2的欧几里得距离d_mj

(9c)将最小的距离D_m对应的字典codebook_m ^l2设为codebook_p ^l2，并将codebook_p ^l2中所有聚类中心C对应的距离值归一化，再用归一化后的距离值与对应聚类中心C的质量值进行加权求和，得到第i个特征向量t_i的质量值q_i；

(9d)将该测试样本中的K个特征向量进行(9a)到(9c)的操作，得到K个特征向量的质量值q_i，1≤i≤K，取K个特征向量质量值q_i的均值作为测试样本的质量值Q；

(9e)重复步骤(9d)的操作得到多个测试样本的质量值。