CN107016668B - 基于视皮层方位选择性机理的无参考图像质量评价方法 - Google Patents

Abstract

本发明公开了一种基于视皮层方位选择性机理的无参考质量评价方法，主要解决现有技术评价准确率低和稳定度差的问题。其实现步骤是：1.从图像数据库中选取实验样本；2.设计图像局部区域结构描述子；3.使用图像局部区域结构描述子计算图像一级模式向量；4.对一级模式向量进行降维得到二级模式向量；5.对二级模式向量聚类得到模式字典；6.用模式字典提取训练样本特征向量；7.使用训练样本特征向量建立预测模型；8.提取测试样本特征向量；9.使用测试样本特征向量和预测模型计算测试样本质量值；10.根据测试样本质量值判断测试样本质量。本发明极大的提高了质量评价准确率和稳定度，可用于以优化视觉质量为目的的图像处理系统中。

Description

基于视皮层方位选择性机理的无参考图像质量评价方法

技术领域

本发明属于图像处理技术领域，特别涉及一种无参考质量评价方法，可用在航拍成像系统、数字监控系统以及图像压缩系统等以优化视觉质量为目的的影像处理系统中。

技术背景

随着现代网络通讯与信息技术的跨越式发展，数字图像已经成为了信息的主要载体，高质量的图像信息为人们的生活带来了无限的便利。然而，由于成像设备能力有限、传输通道噪声和环境噪声等因素干扰，原始的图像数据在进行多步处理的过程中会混入多种噪声，造成了图像质量的衰减，这直接影响到人对图像信息的获取。怎样在算法层面衡量这种衰减，并建立起有效的客观图像质量评价体系具有重大意义。

近年来，客观图像质量评价技术成为视觉信息智能化处理领域的研究热点，许多研究人员投入大量的精力去设计符合人眼主观感知的客观质量评价算法。根据这些算法在评价污染图的质量时，对参考图像的依赖程度，可以将这些算法分为三类：全参考图像质量评价算法，部分参考图像质量评价算法和无参考图像质量评价算法。其中：

全参考质量评价需要原始图像的全部信息做参考，部分参考质量评价只需要一部分原始图像信息作参考，这两类算法的评价准确率比较高。然而在实际应用中，大部分情况下无法得知参考图像的信息，如无人机的航拍图像没有参考图像，这限制了前面两类算法的使用范围。基于此，研究人员提出了不需要任何原始图像信息的无参考图像质量评价算法。

无参考质量评价的目的是建立一种不需要任何原图信息就能预测污染图质量的数学模型，并且计算出来的质量值与人的主观评价具有一致性。早期的无参考质量评价模型只能针对特定的噪声类型，这类方法假定影响图像质量的噪声种类已知，Wu等人在论文“An objective out-of-focus blur measurement.In:Proceedings of the5thInternational Conference on Information,Communications and Signal Processing”中根据阶跃边缘估计点扩散函数，以点扩散函数的半径作为图像受模糊噪声污染程度的度量。近年来，研究人员提出了非特定噪声类型的评价方法，(1)基于自然场景统计特性的方法NSS，NSS理论认为自然图像是高度结构化的并且具有某种统计学规律，噪声的出现会改变这种统计学规律。Moorthy等人在论文“Blind image quality assessment:Fromnaturalscene statistics to perceptual quality”中采用广义高斯分布GGD模型对图像的小波系数进行建模并提出基于噪声识别的图像质量评价算法；(2)特征提取和学习的方法，该方法提取能代表图像视觉信息和质量衰减的特征向量，用这些特征向量训练一个数学模型，然后用该模型去预测图像的质量。Ye等人在论文“No-Reference Image QualityAssessmentUsing Visual Codebooks”中使用频率滤波器提取图像的局部信息并投影到已经训练好的码本上，将投影系数作为特征向量输入SVR进行分析预测。

迄今为止，虽然提出过很多无参考质量评价算法，并且也取得过不错的进展。但是，由于破坏图像质量的噪声种类繁多，图像质量衰减的方式复杂多变，已有的无参考质量评价算法难以适应复杂的场景。早期的针对特定噪声种类的算法只在单一噪声图上测试效果较好，对多种噪声图的评价准确率较低；近期的NSS算法和学习预测模型的算法能够适用于多种噪声图，但是总体评价准确率不高，在交叉验证和跨库测试时稳定性较差。这些缺点会限制无参考质量评价算法在实际中的应用。

发明内容

本发明目的在于针对上述已有技术中存在的缺陷和不足，提出一种基于视皮层方位选择性机理的无参考图像质量评价方法，以实现对多种噪声类型的污染图像进行质量评价，并提高评价的准确性和稳定度。

本发明的技术方案是这样实现的：

本发明受视皮层方向选择性机理的启发，先计算图像局部区域像素之间的空间相关性，将中心像素和它的领域像素之间的相关性二值化，并通过模仿视皮层兴奋性和抑制性细胞相互作用的方式，设计出一种新的结构描述子；然后用二值化的图像局部区域结构描述子来设计图像特征，使用旋转不变性和字典学习的方式降低图像特征的维数；最后提取训练样本的特征向量，使用支持向量机SVR建立预测模型，并用该模型对测试样本进行质量评价，其实现步骤包括如下：

1.一种基于视皮层方位选择性机理的无参考图像质量评价方法，包括：

(1)从图像质量评价数据库的实验样本中取出400幅污染图作为训练样本，100幅污染图作为测试样本，500幅未受污染的自然图像作为字典学习样本；

(2)设计图像局部区域的结构描述子：

(2a)输入一幅待处理图像D_m×n，m表示图像的长度，n表示图像的宽度，计算D_m×n的垂直方向梯度矩阵G_v和水平方向梯度矩阵G_h；

(2b)根据垂直方向梯度矩阵G_v和水平方向梯度矩阵G_h计算出D_m×n的方向趋势矩阵：

(2c)取H_m×n中某个点x_ij的局部24邻域，1≤i≤m，1≤j≤n，得到5*5的局部方向趋势矩阵，计算该矩阵中心点x_ij与邻域点的空间相关性，得到二值化矩阵R_ij，并按照逆时针的顺序对二值化矩阵R_ij进行排序，得到图像局部区域结构描述子b_ij，再将b_ij转化成十进制形式得到模式p_ij；

(2d)将H_m×n中每个点都进行(2c)的操作，得到模式矩阵P：

(3)统计模式矩阵P的模式直方图，得到一级模式向量ψ₁：

其中ε_k为第k个直方图能量系数， δ(·)表示冲击函数，取值只能为0或者1；

(4)使用旋转不变性对一级模式向量ψ₁进行降维处理，将模式向量ψ₁的维数减少到原来的得到二级模式向量ψ₂；

(5)在字典学习样本上使用Kmeans聚类算法训练模式字典book；

(6)提取400个训练样本的特征向量f_w，1≤w≤400；

(7)将400个训练样本的特征向量f_w输入支持向量机SVR中，得到预测模型MOD；

(8)提取100个测试样本的特征向量f_a，1≤a≤100；

(9)将100个测试样本的特征向量f_a和预测模型MOD输入到支持向量机SVR，计算出100个测试样本的质量值Q_a；

(10)根据测试样本的质量值Q_a，对测试样本的图像质量进行判断：

若Q_a＝0，则表示该测试样本没有被噪声污染；

若0＜Q_a≤5，则表示该测试样本被噪声轻度污染；

若5＜Q_a≤8，则表示该测试样本被噪声中度污染；

若Q_a＞8，则表示该测试样本被噪声重度污染。

本发明与现有技术相比，具有如下优点：

1)本发明受视皮层方向选择性机理的启发，设计出符合人类视觉系感知特性的图像局部区域结构描述子，能够准确捕获不同类型噪声引起的图像质量衰减，使得算法能够适用于多种噪声类型污染图；

2)本发明在用新设计的图像局部区域结构描述子提取图像特征时，既考虑了图像像素的强度信息又考虑像素之间的空间相关性，能够提取更加丰富的图像结构信息，提高了质量评价的准确率；

3)本发明使用Kmeans聚类算法训练模式字典，将模式向量投影到该模式字典上，既能最大限度的降低模式向量的维数，又能减少模式向量中的图像信息的损失量，提高了质量评价的稳定性。

附图说明

图1是本发明的实现流程图。

具体实施方式

以下结合附图对本发明作进一步详细描述。

参照图1，本发明的具体实现步骤如下：

步骤1，从图像数据库中取出实验样本。

图像质量评价的数据库中包含多幅污染图以及未受污染的自然图像，本发明从图像质量评价数据库的实验样本中取出400幅污染图作为训练样本，100幅污染图作为测试样本，500幅未受污染的自然图像作为字典学习样本。

步骤2，设计图像局部区域结构描述子。

图像局部区域结构描述子是一个图像结构描述单元，用于捕获噪声对图像结构信息的改变，提取图像的特征向量。其设计步骤如下：

(2a)输入一幅待处理图像D_m×n，m表示图像的长度，n表示图像的宽度，计算D_m×n的垂直方向梯度矩阵G_υ和水平方向梯度矩阵G_h，计算公式如下：

G_h＝D_m×n*f_h，

G_υ＝D_m×n*f_υ，

其中，*代表线性卷积运算，f_h和f_v分别为Prewitt水平滤波算子和垂直滤波算子，

(2b)根据垂直方向梯度矩阵G_υ和水平方向梯度矩阵G_h，计算D_m×n的方向趋势矩阵H_m×n：

(2c)取方向趋势矩阵H_m×n中点x_ij的局部24邻域，1≤i≤m，1≤j≤n，得到5*5的局部方向趋势矩阵G_5*5，该矩阵中的元素如下表：

表1

O<sub>15</sub>	O<sub>14</sub>	O<sub>13</sub>	O<sub>12</sub>	O<sub>11</sub>
					O<sub>16</sub>	O<sub>4</sub>	O<sub>3</sub>	O<sub>2</sub>	O<sub>10</sub>
O<sub>17</sub>	O<sub>5</sub>	O<sub>0</sub>	O<sub>1</sub>	O<sub>9</sub>
					O<sub>18</sub>	O<sub>6</sub>	O<sub>7</sub>	O<sub>8</sub>	O<sub>24</sub>
O<sub>19</sub>	O<sub>20</sub>	O<sub>21</sub>	O<sub>22</sub>	O<sub>23</sub>

从表1可见，局部方向趋势矩阵G_5*5中心点的方向为O₀，邻域点的方向为O_j，1≤j≤24，通过模仿视皮层方位选择特性，计算局部方向趋势矩阵G_5*5中心点O₀与邻域点O_j的空间相关性得到二值化矩阵R_ij，该矩阵中的元素如下表2：

表2

α<sub>15</sub>	α<sub>14</sub>	α<sub>13</sub>	α<sub>12</sub>	α<sub>11</sub>
					α<sub>16</sub>	α<sub>4</sub>	α<sub>3</sub>	α<sub>2</sub>	α<sub>10</sub>
α<sub>17</sub>	α<sub>5</sub>	α<sub>0</sub>	α<sub>1</sub>	α<sub>9</sub>
					α<sub>18</sub>	α<sub>6</sub>	α<sub>7</sub>	α<sub>8</sub>	α<sub>24</sub>
α<sub>19</sub>	α<sub>20</sub>	α<sub>21</sub>	α<sub>22</sub>	α<sub>23</sub>

表2中，α₀＝0，α_r为：

其中，|·|代表绝对值运算，O₀为局部方向趋势矩阵G_5*5的中心点方向，O_r为局部方向趋势矩阵G_5*5的邻域点方向；

(2d)按照逆时针的顺序对二值化矩阵R_ij进行排序，得到图像局部区域结构描述子b_ij：

b_ij＝(α₁，α₂，…，α_r，…，α₂₄)

将图像局部区域结构描述子b_ij转化成十进制形式得到模式p_ij：

(2e)将H_m×n中每个点都进行(2c)、(2d)的操作，得到模式矩阵P：

步骤3，统计模式矩阵P的模式直方图，得到一级模式向量ψ₁：

其中ε_k为第k个直方图能量系数，1≤k≤2²⁴，δ(·)表示冲击函数，取值只能为0或者1。

步骤4，使用旋转不变性对一级模式向量ψ₁进行降维处理，得到二级模式向量ψ₂。

(4a)使用旋转不变性算法将一级模式向量ψ₁中的直方图能量系数共分成2²¹组，得到第j组直方图能量系数集合φ_j为：

其中，{·}表示集合，为第j组直方图能量系数集合φ_j的第λ个直方图能量系数，rotate_λ(·)代表对括号内的数进行二进制循环右移λ位；

(4b)取直方图能量系数集合φ_j中最小的一个直方图能量系数表示整个集合，得到新的集合

其中，为直方图能量系数φ_j集合中的最小值：

(4c)将新的直方图能量系数集合组合成二级模式向量ψ₂：

步骤5，在字典学习样本上使用Kmeans聚类算法训练模式字典book。

机器学习中常用的训练模式字典的方法有稀疏编码算法、Kmeans聚类算法，Kmedoids聚类算法，Clarans聚类算法，本实例使用Kmeans聚类算法，其实现步骤如下：

(5a)将500个字典学习样本经过步骤(2)-(4)的操作得到500个字典学习样本的二级模式向量1≤i≤500；

(5b)采用Kmeans聚类算法，将500个字典学习样本的二级模式向量聚成K类：

其中，Kmeans(·)代表Kmeans聚类算法，C_j为Kmeans聚类算法的输出聚类中心；

(5c)用所有聚类中心构成模式字典book：

book＝(C₁,C₂,...,C_j...,C_k)。

步骤6，提取400个训练样本的特征向量f_w，得到预测模型MOD。

(6a)将400个训练样本分别经过步骤(2)-(4)的操作得到400个训练样本的二级模式向量1≤w≤400；

(6b)将400个训练样本的二级模式向量分别投影到模式字典book上，得到400个训练样本的特征向量f_w，其投影方式采用最近邻投影算法，公式如下：

其中，knn(·)代表最近邻投影算法；

(6c)将400个训练样本的特征向量f_w输入支持向量机SVR中，得到预测模型：MOD＝SVR(f₁,f₂,...,f_w,...,f₄₀₀)，其中，SVR(·)代表SVR支持向量机算法，MOD代表输出的预测模型。

步骤7，提取100个测试样本的特征向量f_a，计算出100个测试样本的质量值Q_a，1≤a≤100。

(7a)将100个测试样本分别经过步骤(2)-(4)的操作得到100个测试样本的二级模式向量

(7b)将100个测试样本的二级模式向量分别投影到模式字典book上，得到100个测试样本的特征向量f_a。投影方式采用最近邻投影算法，公式如下：

其中，knn(·)代表最近邻投影算法；

(7c)将100个测试样本的特征向量f_a和预测模型MOD输入到支持向量机SVR，计算出100个测试样本的质量值Q_a，计算公式如下：

Q_a＝SVR(f_a,MOD)

其中，SVR(·)代表SVR支持向量机算法。

步骤8，根据测试样本的质量值Q_a，对测试样本的图像质量进行判断：

若Q_a＝0，则表示该测试样本没有被噪声污染；

若0＜Q_a≤5，则表示该测试样本被噪声轻度污染；

若5＜Q_a≤8，则表示该测试样本被噪声中度污染；

若Q_a＞8，则表示该测试样本被噪声重度污染。

以上描述仅是本发明的一个具体实例，不构成对本发明的任何限制。显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修改和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (6)

1.一种基于视皮层方位选择性机理的无参考图像质量评价方法，包括：

(1)从图像质量评价数据库的实验样本中取出400幅污染图作为训练样本，100幅污染图作为测试样本，500幅未受污染的自然图像作为字典学习样本；

(2)设计图像局部区域的结构描述子：

(2a)输入一幅待处理图像D_m×n，m表示图像的长度，n表示图像的宽度，计算D_m×n的垂直方向梯度矩阵G_υ和水平方向梯度矩阵G_h；

(2b)根据垂直方向梯度矩阵G_υ和水平方向梯度矩阵G_h计算出D_m×n的方向趋势矩阵：

(2c)取H_m×n中某个点x_ij的局部24邻域，1≤i≤m，1≤j≤n，得到5*5的局部方向趋势矩阵，计算该矩阵中心点x_ij与邻域点的空间相关性，得到二值化矩阵R_ij，并按照逆时针的顺序对二值化矩阵R_ij进行排序，得到图像局部区域结构描述子b_ij，再将b_ij转化成十进制形式得到模式p_ij；

(2d)将H_m×n中每个点都进行(2c)的操作，得到模式矩阵P：

(3)统计模式矩阵P的模式直方图，得到一级模式向量ψ₁：

其中ε_k为第k个直方图能量系数， δ(·)表示冲击函数，取值只能为0或者1；

(4)使用旋转不变性对一级模式向量ψ1进行降维处理，将模式向量ψ₁的维数减少到原来的得到二级模式向量ψ₂；

(5)在字典学习样本上使用Kmeans聚类算法训练模式字典book；

(6)提取400个训练样本的特征向量f_w：

(6a)将400个训练样本分别经过步骤(2)-(4)的操作得到400个训练样本的二级模式向量1≤w≤400；

(6b)将400个训练样本的二级模式向量分别投影到模式字典book上，得到400个训练样本的特征向量f_w；

(7)将400个训练样本的特征向量f_w输入支持向量机SVR中，得到预测模型MOD；

(8)提取100个测试样本的特征向量f_a，1≤a≤100；

(9)将100个测试样本的特征向量f_a和预测模型MOD输入到支持向量机SVR，计算出100个测试样本的质量值Q_a；

(10)根据测试样本的质量值Q_a，对测试样本的图像质量进行判断：

若Q_a＝0，则表示该测试样本没有被噪声污染；

若0＜Q_a≤5，则表示该测试样本被噪声轻度污染；

若5＜Q_a≤8，则表示该测试样本被噪声中度污染；

若Q_a＞8，则表示该测试样本被噪声重度污染。

2.根据权利要求1所述的方法，其步骤(2a)中计算一幅待处理图像D_m×n的垂直方向梯度矩阵G_υ和水平方向梯度矩阵G_h，通过如下公式计算：

G_h＝D_m×n*f_h，

G_υ＝D_m×n*f_υ

其中，*代表线性卷积运算，f_h和f_v分别为Prewitt水平滤波算子和垂直滤波算子，

3.根据权利要求1所述的方法，其步骤(2c)中计算图像局部区域结构描述子b_ij，按如下步骤进行：

(2c1)取方向趋势矩阵H_m×n中点x_ij的局部24邻域，1≤i≤m，1≤j≤n，得到5*5的局部方向趋势矩阵G_5*5，局部方向趋势矩阵G_5*5的中心点方向为O₀，邻域点方向为O_r，1≤r≤24；

(2c2)模仿视皮层方位选择特性，计算局部方向趋势矩阵G_5*5中心点O₀与邻域点O_j的空间相关性得到二值化矩阵R_ij，即将二值化矩阵R_ij的中心点值定为0，邻域点的值α_r按如下公式计算：

其中，|·|代表绝对值运算，O₀为矩阵G_5*5的中心点方向，O_r为矩阵G_5*5的邻域点方向；

(2c3)按照逆时针的顺序对二值化矩阵R_ij进行排序，得到图像局部区域结构描述子b_ij：

b_ij＝(α₁,α₂,...,α_r,...,α₂₄)。

4.根据权利要求1所述的方法，其步骤(4)中使用旋转不变性对一级模式向量ψ₁进行降维处理，得到二级模式向量ψ₂，按如下步骤进行：

(4a)使用旋转不变性算法将一级模式向量ψ₁中的直方图能量系数共分成2²¹组，得到第j组直方图能量系数集合φ_j为：

其中，{·}表示集合，为第j组直方图能量系数集合φ_j的第λ个直方图能量系数，rotate_λ(·)代表对括号内的数进行二进制循环右移λ位；

(4b)取直方图能量系数集合φ_j中最小的一个直方图能量系数表示整个集合，得到新的集合

其中，为直方图能量系数φ_j集合中的最小值：

(4c)将新的直方图能量系数集合组合成二级模式向量ψ₂：

5.根据权利要求1所述的方法，其步骤(5)中在字典学习样本上使用Kmeans聚类算法训练模式字典book，按如下步骤进行：

(5a)将500个字典学习样本经过步骤(2)-(4)的操作得到500个字典学习样本的二级模式向量1≤i≤500；

(5b)采用Kmeans聚类算法，将500个字典学习样本的二级模式向量聚成K类，得到K个聚类中心C_j，1≤j≤K，用所有聚类中心组成模式字典book：

book＝(C₁,C₂,...,C_j...,C_k)，1≤j≤K。

6.根据权利要求1所述的方法，其步骤(8)中提取100个测试样本的特征向量f_a，1≤a≤100，按如下步骤进行：

(8a)将100个测试样本经过步骤(2)-(4)的操作得到100个测试样本的二级模式向量

(8b)将100个测试样本的二级模式向量投影到模式字典book上，得到100个测试样本的特征向量f_a。