CN107705299A - 基于多属性特征的图像质量分类方法 - Google Patents

Abstract

本发明公开了一种基于多属性特征的图像质量分类方法，包括选取N幅具有对应的整体质量类别标签的图像，构建训练集；对训练集中的N幅图像进行颜色特征提取，并聚类得到N幅图像对应的颜色属性类别；对训练集中的N幅图像进行结构特征提取，并聚类得到N幅图像对应的结构属性类别；对训练集中的N幅图像进行清晰度特征，并聚类得到N幅图像对应的清晰度属性类别；利用颜色属性类别、结构属性类别、清晰度属性类别以及整体质量类别分别进行训练得到四个对应的神经网络模型；将四个神经网络模型进行融合，得到最终的图像质量分类模型；将待测试图像输入所述图像质量分类模型，得到图像质量分类结果。本发明有效的提高了图像质量分类准确率。

Description

基于多属性特征的图像质量分类方法

技术领域

本发明涉及图像质量评价技术领域，特别涉及一种基于多属性特征的图像质量分类方法。

背景技术

图像质量分类是图像处理与图像分析中重要的研究问题，该技术试图利用多种属性特征深入挖掘图像质量相关特性，实现对图像质量的准确分类，提升图像质量评价性能。

目前的图像质量特征提取方法可以分为两类：一类是传统的人工设计特征，即依据人类的图像质量评价经验和一些摄影准则设计底层特征，用这些底层特征表达图像的质量特性，在此基础上用机器学习方法作为分类器实现对图像的质量分类。另外一类是利用近年来提出的深度学习方法，直接将图像作为输入，深度学习模型自动从图像中提取特征，完成图像质量分类。

其中，第一类方法的缺点是严重依赖人类经验，由于人类图像质量评价行为高度抽象的特性，参考人工经验设计出的图像质量特征效果有限。第二类方法自动从图像中抽取特征的方法，虽然解决了人工设计特征的缺陷，然而其完全从图像数据出发，忽略了人类经验对图像质量评价的指导意义。

发明内容

本发明的目的在于提供一种基于多属特征的图像质量分类方法，以提高图像质量分类的准确性。

为实现以上目的，本发明采用的技术方案为：提供一种基于多属性特征的图像质量分类方法，包括：

S1、选取N幅具有对应的整体质量类别标签的图像，构建训练集；

S2、对训练集中的N幅图像进行颜色特征提取，并对提取的颜色特征进行聚类得到N幅图像对应的颜色属性类别；

S3、对训练集中的N幅图像进行结构特征提取，并对提取的结构特征进行聚类得到N幅图像对应的结构属性类别；

S4、对训练集中的N幅图像进行清晰度特征，并对提取的清晰度特征进行聚类得到N幅图像对应的清晰度属性类别；

S5、利用所述的颜色属性类别、结构属性类别、清晰度属性类别以及整体质量类别分别进行训练得到四个对应的神经网络模型；

S6、将所述四个神经网络模型进行融合，得到最终的图像质量分类模型；

S7、将待测试图像输入所述图像质量分类模型，得到图像质量分类结果。

其中，所述的步骤S2，具体包括：

对所述训练集中的N幅图像分别提取色度直方图和亮度直方图，得到每幅图像的颜色特征；

采用K均值聚类算法对，每幅图像的颜色特征进行聚类，并将每幅图像的聚类类别作为该幅图像的颜色属性类别。

其中，所述的步骤S3，具体包括：

对所述训练集中的N幅图像采用Canny算子提取图像的边缘，并选取覆盖预设比例边缘像素的最小矩形区域；

将矩形区域的中心位置、矩形长与该幅图像长的比例、矩形宽与该幅图像宽的比例、矩形长宽比与图像长宽比的比例作为该幅图像的结构特征；

采用K均值算法对所述结构特征进行聚类，将该幅图像的聚类类别作为该幅图像的结构属性类别。

其中，所述的步骤S4，具体包括：

对所述训练集中的N幅图像进行快速傅里叶变换，并计算傅里叶变换频谱中值大于给定阈值比例；

采用K均值聚类算法对所述大于给定阈值的比例进行聚类，将聚类类别作为该幅图像的清晰度属性类别。

其中，所述的步骤S5，具体包括：

将所述训练集中的N幅图像作为输入，将N幅图像对应的颜色属性类别、结构属性类别、清晰度属性类别以及整体质量类别分别作为目标输出值，搭建四个卷积神经网络进行训练，得到四个神经网络模型。

其中，所述的步骤6，具体包括：

将所述四个神经网络模型的第一个全连接层连接在一起，形成一个四通神经网络模型作为所述图像质量分类模型。

其中，所述方法还包括：

利用所述N幅图像对应的颜色属性类别、结构属性类别、清晰度属性类别以及整体质量类别，对所述的图像质量分类模型进行微调，得到微调后的图像质量分类模型。

与现有技术相比，本发明存在以下技术效果：本发明一方面利用了图像的颜色属性类别、结构属性类别、清晰度属性类别以及整体质量类别等多种属性，充分挖掘与图像质量相关的特征，因而能够全面的描述图像的质量特征，提高了图像质量分类效果。另一方面本发明将四个神经网络模型进行融合，得到的图像质量分类模型融合多种属性，多种属性特征可以互相促进，进一步地提升了图像质量分类效果。

附图说明

下面结合附图，对本发明的具体实施方式进行详细描述：

图1是本发明中一种基于多属性特征的图像质量分类方法的流程示意图；

图2是本发明中图像质量分类模型的结构示意图。

具体实施方式

为了更进一步说明本发明的特征，请参阅以下有关本发明的详细说明与附图。所附图仅供参考与说明之用，并非用来对本发明的保护范围加以限制。

如图1所示，本实施例公开了一种基于多属性特征的图像质量分类方法，包括如下步骤S1至S7：

S1、选取N幅具有对应的整体质量类别标签的图像，构建训练集；

S2、对训练集中的N幅图像进行颜色特征提取，并对提取的颜色特征进行聚类得到N幅图像对应的颜色属性类别；

S3、对训练集中的N幅图像进行结构特征提取，并对提取的结构特征进行聚类得到N幅图像对应的结构属性类别；

S4、对训练集中的N幅图像进行清晰度特征，并对提取的清晰度特征进行聚类得到N幅图像对应的清晰度属性类别；

S5、利用所述的颜色属性类别、结构属性类别、清晰度属性类别以及整体质量类别分别进行训练得到四个对应的神经网络模型；

S6、将所述四个神经网络模型进行融合，得到最终的图像质量分类模型；

S7、将待测试图像输入所述图像质量分类模型，得到图像质量分类结果。

进一步地，步骤S2，具体包括：

对所述训练集中的N幅图像分别提取色度直方图和亮度直方图，得到每幅图像的颜色特征；

需要说明的是，提取图像的色度直方图及亮度直方图的目的是统计该幅图像中所有像素的色度和亮度，并进行直方图量化。其中，色度直方图量化为8维，亮度直方图量化为4维，因此，每幅图像的颜色特征是12维。

采用K均值聚类算法对，每幅图像的颜色特征进行聚类，并将每幅图像的聚类类别作为该幅图像的颜色属性类别。

需要说明的是，对训练集中的N幅图像都提取上述的12维颜色特征后，采用K聚类额类别数为3，每幅图像都对应某个聚类类别(1，2，3)，该类别标签即为该幅图像的颜色属性类别。

进一步地，步骤S3，具体包括：

对所述训练集中的N幅图像采用Canny算子提取图像的边缘，并选取覆盖预设比例边缘像素的最小矩形区域；

具体地，选取覆盖88％边缘像素的最小矩形区域。

将矩形区域的中心位置、矩形长与该幅图像长的比例、矩形宽与该幅图像宽的比例、矩形长宽比与图像长宽比的比例作为该幅图像的结构特征；

采用K均值算法对所述结构特征进行聚类，将该幅图像的聚类类别作为该幅图像的结构属性类别。

需要说明的是，采用的K均值聚类算法的聚类类别数为3。每幅图像都对应某个聚类类别(1，2，3)，该类别标签即为该幅图像的结构属性类别。

进一步地，所述的步骤S4，具体包括：

对所述训练集中的N幅图像进行快速傅里叶变换，并计算傅里叶变换频谱中值大于给定阈值比例；

需要说明的是，对训练集中的每幅图像I_i进行快速傅里叶变换F＝FFT(I_i)，并统计其傅里叶变换频谱中值大于某一给定阈值θ的比例(这里阈值θ取200)，将该比例作为该图像的清晰度特征，即：

N＝{(u,v)|F(u,v)＞θ}；

其中，u和v表示二维傅里叶变换的频率。

采用K均值聚类算法对所述大于给定阈值的比例进行聚类，将聚类类别作为该幅图像的清晰度属性类别。

需要说明的是，采用的K均值聚类算法的聚类类别数为3。每幅图像都对应某个聚类类别(1，2，3)，该类别标签即为该幅图像的清晰度属性类别。

进一步地，步骤S5，具体包括：

将所述训练集中的N幅图像作为输入，将N幅图像对应的颜色属性类别、结构属性类别、清晰度属性类别以及整体质量类别分别作为目标输出值，搭建四个卷积神经网络进行训练，得到四个神经网络模型。

具体地，每个卷积神经网络有两个卷积层和两个全连接层。第一个卷积层有32个卷积核，卷积核的大小为11×11×3，步长为4。第二个卷积层有32个大小为5×5×32的卷积核，步长为1。每个卷积层后面都有一个池化层。第一个全连接层有32个原子，第二个全连接层的原子数即为类别数。

进一步地，步骤S6，具体包括：

将所述四个神经网络模型的第一个全连接层连接在一起，形成一个四通神经网络模型作为所述图像质量分类模型。

进一步地，本实施例中还包括：

利用所述N幅图像对应的颜色属性类别、结构属性类别、清晰度属性类别以及整体质量类别，对所述的图像质量分类模型进行微调，得到微调后的图像质量分类模型。其中买得到的微调后的图像质量分类模型如图2所示。

需要说明的是，本实施例提供的一种基于多属性特征的图像质量分类方法与传统基于人工质量特征的图像质量分类方法的比较，得到的图像质量分类结果如表1所示：

表1

方法	分类准确率(％)
		Luo	61.49
Datta	68.67
		Ke	71.06
Marchesotti	68.55
		Dong	77.35
本发明方法	83.32

从表1中的数据可以看出，本发明提出的基于多属性特征的图像质量分类方法具有更高的图像分类准确率。

将本实施例公开的一种基于多属性特征的图像质量分类方法和其它基于深度学习的图像质量分类方法的比较结果。结果如表2所示：

表2

方法	分类准确率(％)	模型参数数量
			RAPID	74.54	47M
DCNN	75.89	124K
			DCNN_Aesth	78.92	201M
SCNN	81.61	39M
			本发明方法	83.32	165K

从表2可以看出，本实施例提供的方法不仅分类正确率更高，而且模型参数数量少，减少了运算量。

需要说明的是，本实施例公开的一种基于多属性特征的图像质量分类方法具有如下有益效果：

(1)本发明结合人类图像质量评价先验知识和深度学习方法对图像进行准确的质量分类。

(2)本发明提出了利用图像多种属性，挖掘与图像质量相关的特征，因而能够全面地描述图像的质量特性，从而改进图像质量分类效果。

(3)本发明提出了四通道深度网络模型融合多种属性，使得多种属性特征可以互相促进，进一步提升图像质量分类效果。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于多属性特征的图像质量分类方法，其特征在于，包括：

S1、选取N幅具有对应的整体质量类别标签的图像，构建训练集；

S2、对训练集中的N幅图像进行颜色特征提取，并对提取的颜色特征进行聚类得到N幅图像对应的颜色属性类别；

S3、对训练集中的N幅图像进行结构特征提取，并对提取的结构特征进行聚类得到N幅图像对应的结构属性类别；

S4、对训练集中的N幅图像进行清晰度特征，并对提取的清晰度特征进行聚类得到N幅图像对应的清晰度属性类别；

S5、利用所述的颜色属性类别、结构属性类别、清晰度属性类别以及整体质量类别分别进行训练得到四个对应的神经网络模型；

S6、将所述四个神经网络模型进行融合，得到最终的图像质量分类模型；

S7、将待测试图像输入所述图像质量分类模型，得到图像质量分类结果。

2.如权利要求1所述的方法，其特征在于，所述的步骤S2，具体包括：

对所述训练集中的N幅图像分别提取色度直方图和亮度直方图，得到每幅图像的颜色特征；

采用K均值聚类算法对，每幅图像的颜色特征进行聚类，并将每幅图像的聚类类别作为该幅图像的颜色属性类别。

3.如权利要求1所述的方法，其特征在于，所述的步骤S3，具体包括：

对所述训练集中的N幅图像采用Canny算子提取图像的边缘，并选取覆盖预设比例边缘像素的最小矩形区域；

将矩形区域的中心位置、矩形长与该幅图像长的比例、矩形宽与该幅图像宽的比例、矩形长宽比与图像长宽比的比例作为该幅图像的结构特征；

采用K均值算法对所述结构特征进行聚类，将该幅图像的聚类类别作为该幅图像的结构属性类别。

4.如权利要求1所述的方法，其特征在于，所述的步骤S4，具体包括：

对所述训练集中的N幅图像进行快速傅里叶变换，并计算傅里叶变换频谱中值大于给定阈值比例；

采用K均值聚类算法对所述大于给定阈值的比例进行聚类，将聚类类别作为该幅图像的清晰度属性类别。

5.如权利要求1所述的方法，其特征在于，所述的步骤S5，具体包括：

将所述训练集中的N幅图像作为输入，将N幅图像对应的颜色属性类别、结构属性类别、清晰度属性类别以及整体质量类别分别作为目标输出值，搭建四个卷积神经网络进行训练，得到四个神经网络模型。

6.如权利要求5所述的方法，其特征在于，所述的步骤S6，具体包括：

将所述四个神经网络模型的第一个全连接层连接在一起，形成一个四通神经网络模型作为所述图像质量分类模型。

7.如权利要求6所述的方法，其特征在于，所述方法还包括：

利用所述N幅图像对应的颜色属性类别、结构属性类别、清晰度属性类别以及整体质量类别，对所述的图像质量分类模型进行微调，得到微调后的图像质量分类模型。