CN103544705B - 一种基于深度卷积神经网络的图像质量测试方法 - Google Patents

Abstract

本发明公开了一种基于深度卷积神经网络的图像质量测试方法，包括以下步骤：首先建立样本集，然后构建深度卷积神经网络模型，再在不同的初始条件下对深度卷积神经网络模型进行训练，将多次训练得到的最优深度卷积神经网络模型并联连接，得到图像质量测试系统，使用得到的图像质量测试系统对测试图片进行测试。本发明通过模拟人类大脑学习的过程进行特征学习，克服了现有的图像质量测试方法中特征选取难的问题，并且降低了预测结果的偶然性，集成性比较高，泛化能力强，测试效果好。

Description

一种基于深度卷积神经网络的图像质量测试方法

技术领域

本发明涉及图像测试领域，特别涉及一种基于深度卷积神经网络的图像质量测试方法。

背景技术

随着电子技术的发展和相机的普及，数字图像已经成为了很重要的传达信息的媒介。人们对图像的感官要求越来越高，这对图像的质量提出了更高的要求，所以对图像的质量测试变得越来越重要。对于图像的质量评价的标准有很多，概括地说，主要有以下几个方面：（1）结构。结构指的是构成一幅图片的所有元素的组合方式。质量好的图像具有比较强的对比度，光线亮暗的对比，形状的对比以及颜色的对比。（2）光线。图像背景的光线直接影响着观察者对图片的感官感受。光线可以使得一幅质量好的图像的主题部分更具立体感，并使得图像的主题区域和背景区域对比明显。（3）颜色。很多人都是通过图像的颜色来感知的。一幅质量好的图像能通过特定的颜色组合来提高观察者的特殊情感。

图像质量评价由发展起，已经相继提出了很多评价的方法。如专利CN101540048中提到一种基于支持向量机的图像质量评价方法。该方法首先对预处理后的图像样本进行特征值的选择和提取，包括图像的对比度、熵、纹理和模糊度四个特征值，将处理后的样本集分成训练集和测试集两部分；然后利用训练集进行支持向量机的训练，根据系统需要的级别确定支持向量机的个数，对每个支持向量机进行分别训练，训练中，输入样本是图像的特征值，输出时图像质量的级别；训练后得到支持向量机模型，再利用测试集对相关参数进行调整优化，确定支持向量机模型最优分类面的决策函数的参数；最后应用完成训练优化的支持向量机模型对图像样本进行质量评级。

专利CN102915449A中提出了一种照片分类的方法。该方法包括训练过程和自动分类过程。在训练过程中先采用基于功率谱斜度的方法提取样本照片主题区域，然后提取样本照片的特征，最终利用支持矢量机分类器进行照片美学质量的训练，得到分界面模型；自动分类过程对待识别照片进行先采用基于功率谱斜度的方法提取的主题区域，然后提取的特征，最后使用分界面模型进行识别。

传统方法需要通过提取图像的一些特征，特征最终决定系统的性能，而好的特征需要很好的先验知识和设计经验，在实际系统开发中很难设计最优的具有区分度的特征。

发明内容

为了克服现有技术的上述缺点与不足，本发明的目的在于提供一种基于深度卷积神经网络的图像质量测试方法，克服了传统方法需要很强的先验知识来辅助提取有区分度特征的缺点，可以降低偶然性对质量测试结果的影响，泛化性强，可靠性高。

本发明的目的通过以下技术方案实现：

一种基于深度卷积神经网络的图像质量测试方法，包括以下步骤：

（1）建立训练样本集：所述训练样本集中的训练图片选自图像质量评价数据库；

（2）构建深度卷积神经网络模型：深度卷积神经网络模型包括依次连接的第一卷积层、第一抽取层、第二卷积层、第二抽取层、第三卷积层、第三抽取层和一个全连接层；

（3）训练深度卷积神经网络模型：初始化后，采用随机梯度下降法对步骤（2）构建的深度卷积神经网络模型进行迭代，每迭代一次检测一次梯度，以寻求网络层权重和偏置的最优解，迭代多次后得到本次训练的最优深度卷积神经网络模型；

（4）改变初始化条件，重复步骤（3）n次，得到n个最优深度卷积神经网络模型；1≤n≤4；

（5）组装深度卷积神经网络模型：将步骤（3）和步骤（4）得到的n+1个最优深度卷积神经网络模型并联连接，得到图像质量测试系统；

（6）利用步骤（5）得到的图像质量测试系统对测试图片进行质量测试。

所述第一卷积层为Gabor卷积层，用于实现输入图像信号与Gabor滤波器的卷积操作；所述Gabor滤波器定义如下：

$h(x,y)=\frac{1}{2{\mathrm{\π\δ}}_u{\mathrm{\δ}}_v}\exp \{-\frac{1}{2}(\frac{u^2}{{{\mathrm{\δ}}_u}^2}+\frac{v^2}{{{\mathrm{\δ}}_v}^2})\}\cos \left(\mathrm{\ωu}\right)$

u=xcosθ+ysinθv=-ysinθ+xcosθ

其中，θ是滤波器的方向，δ_u、δ_v分别是高斯包络在u轴和v轴上的标准差，u轴平行于θ，v轴垂直于θ；ω表示复正弦函数的频率。

所述第一抽取层采用最大值抽取方法对第一卷积层的输出进行采样，抽取方式为不重叠抽取。

所述第二卷积层高斯卷积层，用于实现第一抽取层的输出信号与高斯滤波器的卷积操作；所述高斯滤波器的矩阵如下：

$\left(\begin{array}{ccc}0.0751& 0.1238& 0.0751\\ 0.1238& 0.2042& 0.1238\\ 0.0751& 0.1238& 0.0751\end{array}\right).$

所述第二抽取层采用L2抽取方法对第二卷积层的输出进行采样，抽取单元的大小z*z取3*3，相邻抽取单元的间隔s取2。

所述第三卷积层为Sobel卷积层，用于实现第二抽取层的输出信号与Sobel滤波器的卷积操作。

所述第三抽取层采用最大值抽取方法对第三卷积层的输出进行采样，抽取方式为不重叠抽取。

步骤（1）所述样本集中的图片为经过预处理的图片，所述预处理为：将所有图片都归一化到128*128的大小，并转换为HSV颜色空间。

步骤（6）所述测试图片为经过预处理的图片，所述预处理为：将所有图片都归一化到128*128的大小，并转换为HSV颜色空间。

与现有技术相比，本发明具有以下优点和有益效果：

（1）本发明采用基于深度卷积神经网络进行特征学习，模拟人类的大脑学习和认知事物的过程，克服了传统的特征提取方法中寻找具有区分度特征的难点。

（2）本发明的方法，训练过程中的特征信息具有多样性，具体表现在：①第一卷积层可采用不同方向和尺度的Gabor卷积核，可以更加全面地学习到图像的全局和局部特征；②第三卷积层可采用多个不同方向的Sobel滤波器为卷积核，可以更加全面地学习到图像的边缘信息；③三个卷积层采用不同的卷积核，分别为Gabor（伽柏），Gaussian（高斯）和Sobel（索贝尔）滤波器，学习到的图像特征具有多样性，细化图像特征，提高分类的准确性；④抽取层采用不同的抽取方式，可以得到不同的显著性特征。

（3）本发明通过将多个最优深度卷积神经网络模型联连接得到图像质量测试系统，降低偶然性对质量测试结果的影响，泛化性强，可靠性高。

附图说明

图1为本发明的实施例的基于深度卷积神经网络的图像质量测试方法的流程图。

图2为本发明的实施例的深度卷积神经网络的结构图。

具体实施方式

下面结合实施例，对本发明作进一步地详细说明，但本发明的实施方式不限于此。

实施例

如图1所示，本实施例的基于深度卷积神经网络的图像质量测试方法，包括以下步骤：

（1）建立训练样本集，并对训练样本集中的图片进行预处理；所述样本集中的图片选自香港中文大学的图像质量评价数据库(链接:http://mmlab.ie.cuhk.edu.hk/datasets.html)中的图片，包括质量好和质量差的训练图片各10000张，将所有图片都归一化到128*128的大小；为了能够在网络训练过程中去除RGB（Red，Green，Blue）三个颜色通道之间的相关性，本发明将RGB颜色空间的数据转换为HSV（Hue，Saturation，Value）颜色空间，因为HSV颜色空间中，各个通道间相关性小。

（2）构建深度卷积神经网络模型：如图2所示，所述深度卷积神经网络包括依次连接的卷积层1、抽取层2、卷积层3、抽取层4、卷积层5、抽取层6，和一个全连接层；

所述卷积层1为Gabor卷积层，用于实现输入图像信号与Gabor滤波器的卷积操作；Gabor滤波器定义如下：

$h(x,y)=\frac{1}{2{\mathrm{\π\δ}}_u{\mathrm{\δ}}_v}\exp \{-\frac{1}{2}(\frac{u^2}{{{\mathrm{\δ}}_u}^2}+\frac{v^2}{{{\mathrm{\δ}}_v}^2})\}\cos \left(\mathrm{\ωu}\right)$

u=xcosθ+ysinθv=-ysinθ+xcosθ

其中，θ是滤波器的方向，δ_u、δ_v分别是高斯包络在u轴和v轴上的标准差，u轴平行于θ，v轴垂直于θ；ω表示复正弦函数的频率。

本实施例采用4个不同的时域窗尺度（对应4个不同的中心频率ω₀=0.1，ω₀=0.3，ω₀=0.5，ω₀=0.7）和8个方向（θ₁=0，θ₂=π/8，θ₃=π/4，θ₄=3π/8，θ₅=π/2，θ₆=5π/8，θ₇=3π/4，θ₈=7π/8）共32个Gabor滤波器，每个滤波器的大小设定为11*11大小，对应的卷积核为11*11大小，所以卷积层1的输出有32个特征图层。

所述抽取层2采用最大值抽取方法对卷积层1的输出进行采样，抽取方式为不重叠抽取；抽取单元的大小z*z（z>1，本发明z取3），相邻抽取单元的间隔s取2。抽取层2输出仍为32个特征图层。

卷积层3为高斯卷积层，用于实现抽取层2的输出信号与高斯滤波器的卷积操作。高斯滤波器大小设置为3*3*32；标准差为1，高斯滤波器的矩阵如下：

$\left(\begin{array}{ccc}0.0751& 0.1238& 0.0751\\ 0.1238& 0.2042& 0.1238\\ 0.0751& 0.1238& 0.0751\end{array}\right).$

抽取层4采用L2(2范数)抽取方法对卷积层3的输出进行采样，抽取单元的大小z*z（z>1，本实施例的z取3）。L2抽取方法如下：对于一个3*3大小的抽取单元内的点；L2抽取方法采用来实现，其中N(x,y)表示卷积层3中抽取单元内所有点的集合，每个像素点用(x,y)表示，(j,k)为卷积层3中通过L2抽取映射到抽取层4中像素点,h_(x,y)和h_(j,k)是各自像素点上的像素值。

卷积层5为Sobel卷积层，用于实现抽取层4的输出信号与Sobel滤波器的卷积操作；本实施例的卷积层5是将抽取层4的输出和8个不同方向的Sobel滤波器进行卷积，Sobel滤波器的大小为3*3*4，每4个相邻的特征图层共用一个Sobel滤波器；

8个Sobel滤波器分别为：

抽取层6采用最大值抽取方法对卷积层3的输出进行采样，抽取方式为不重叠抽取；抽取单元的大小z*z取3*3，相邻抽取单元的间隔s取2；抽取层6输出仍为32个特征图层。

全连接层为抽取层3输出与2个神经元的全连接结构，全连接层的输入对应于抽取层6的输出，全连接层的输出共两个，分别对应于图像美观的输出与图像低质的输出。

（3）训练深度卷积神经网络模型：初始化后，采用随机梯度下降法对步骤（2）构建的深度卷积神经网络模型进行迭代，每迭代一次检测一次梯度，以寻求网络层权重和偏置的最优解，最后得到本次训练的最优深度卷积神经网络模型；

训练深度卷积神经网络模型的具体步骤如下：

（a）将训练训练样本集数据分别写入到数据文件中，数据文件的数据接口与深度卷积神经网络模型的读入数据的接口相符；

（b）设定训练参数：包括读入文件路径，迭代次数等，并设定每个网络层的初始训练权重和训练偏置，同一层的特征图层设定相同的权重和偏置；

（c）加载训练文件：加载深度卷积神经网络定义文件、网络层参数定义文件和训练数据集组成的训练数据；

（d）采用随机梯度下降法对步骤（2）构建的深度卷积神经网络模型进行迭代，每迭代一次检测一次梯度，以寻求网络层权重和偏置的最优解，迭代多次后得到本次训练的最优深度卷积神经网络模型；

（4）改变初始化条件，重复步骤（3）n（本实施例取4）次，得到n个最优深度卷积神经网络模型；1≤n≤4；

（5）组装深度卷积神经网络模型：将步骤（3）和步骤（4）得到的n+1个最优深度卷积神经网络模型并联连接，由于不同的深度卷积神经网络在不同的初始化条件下训练得到，所以可以将不同的深度卷积神经网络的输出做统计平均后作为整体系统的输出；最终得到图像质量测试系统；

（6）利用步骤（5）得到的图像质量测试系统对测试图片（测试图像需要归一化到128*128的大小，且从RGB颜色空间转换成HSV颜色空间）进行质量测试。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (9)

1.一种基于深度卷积神经网络的图像质量测试方法，其特征在于，包括以下步骤：

(1)建立训练样本集：所述训练样本集中的训练图片选自图像质量评价数据库；

(2)构建深度卷积神经网络模型：深度卷积神经网络模型包括依次连接的第一卷积层、第一抽取层、第二卷积层、第二抽取层、第三卷积层、第三抽取层和一个全连接层；

所述第一卷积层为Gabor卷积层；

所述第二卷积层为高斯卷积层；

所述第三卷积层为Sobel卷积层；

(3)训练深度卷积神经网络模型：初始化后，采用随机梯度下降法对步骤(2)构建的深度卷积神经网络模型进行迭代，每迭代一次检测一次梯度，以寻求网络层权重和偏置的最优解，迭代多次后得到本次训练的最优深度卷积神经网络模型；

(4)改变初始化条件，重复步骤(3)n次，得到n个最优深度卷积神经网络模型；1≤n≤4；

(5)组装深度卷积神经网络模型：将步骤(3)和步骤(4)得到的n+1个最优深度卷积神经网络模型并联连接，得到图像质量测试系统；

(6)利用步骤(5)得到的图像质量测试系统对测试图片进行质量测试。

2.根据权利要求1所述的基于深度卷积神经网络的图像质量测试方法，其特征在于，所述第一卷积层用于实现输入图像信号与Gabor滤波器的卷积操作；所述Gabor滤波器定义如下：

$h(x,y)=\frac{1}{2{\mathrm{\π\δ}}_u{\mathrm{\δ}}_v}\exp \{-\frac{1}{2}(\frac{u^2}{{{\mathrm{\δ}}_u}^2}+\frac{v^2}{{{\mathrm{\δ}}_v}^2})\}cos\left(\mathrm{\ω}u\right)$

u＝xcosθ+ysinθv＝-ysinθ+xcosθ

其中，θ是滤波器的方向，δ_u、δ_v分别是高斯包络在u轴和v轴上的标准差，u轴平行于θ，v轴垂直于θ；ω表示复正弦函数的频率。

3.根据权利要求1所述的基于深度卷积神经网络的图像质量测试方法，其特征在于，所述第一抽取层采用最大值抽取方法对第一卷积层的输出进行采样，抽取方式为不重叠抽取。

4.根据权利要求1所述的基于深度卷积神经网络的图像质量测试方法，其特征在于，所述第二卷积层用于实现第一抽取层的输出信号与高斯滤波器的卷积操作；所述高斯滤波器的矩阵如下：

$\left(\begin{array}{ccc}0.0751& 0.1238& 0.0751\\ 0.1238& 0.2042& 0.1238\\ 0.0751& 0.1238& 0.0751\end{array}\right).$

5.根据权利要求1所述的基于深度卷积神经网络的图像质量测试方法，其特征在于，所述第二抽取层采用L2抽取方法对第二卷积层的输出进行采样，抽取单元的大小z*z取3*3，相邻抽取单元的间隔s取2。

6.根据权利要求1所述的基于深度卷积神经网络的图像质量测试方法，其特征在于，所述第三卷积层用于实现第二抽取层的输出信号与Sobel滤波器的卷积操作。

7.根据权利要求1所述的基于深度卷积神经网络的图像质量测试方法，其特征在于，所述第三抽取层采用最大值抽取方法对第三卷积层的输出进行采样，抽取方式为不重叠抽取。

8.根据权利要求1所述的基于深度卷积神经网络的图像质量测试方法，其特征在于，步骤(1)所述样本集中的图片为经过预处理的图片，所述预处理为：将所有图片都归一化到128*128的大小，并转换为HSV颜色空间。

9.根据权利要求8所述的基于深度卷积神经网络的图像质量测试方法，其特征在于，步骤(6)所述测试图片为经过预处理的图片，所述预处理为：将所有图片都归一化到128*128的大小，并转换为HSV颜色空间。