CN108510485B - 一种基于卷积神经网络的无参照图像质量评估方法 - Google Patents

Abstract

本发明涉及一种基于卷积神经网络的无参照图像质量评估方法，包括以下步骤：步骤S1：对训练图像集合中的训练图像进行局部归一化处理；步骤S2：将所述训练图像有重叠的划分成不同尺度的图块；步骤S3：使用卷积神经网络学习不同尺度图块的特征，并将多个不同尺度上生成的特征输入到三个全连接层来学习图块的质量评估分数；步骤S4：利用训练好的卷积神经网络预测待预测图像的所有图块的质量评估分数，计算待预测图像所有图块的平均质量评估分数作为图像最终的质量评估分数。该算法综合考虑了图像在不同尺度上的特征，能显著提高基于卷积神经网络的无参照图像质量评估性能。

Description

一种基于卷积神经网络的无参照图像质量评估方法

技术领域

本发明涉及图像和视频处理以及计算机视觉领域，特别是一种基于卷积神经网络的无参照图像质量评估方法。

背景技术

数字图像在采集、压缩、存储或其它图像处理过程中通常会受到不同程度的、不同类型的图像失真影响。人们希望能评估图像的失真情况，然后通过特定的图像恢复技术恢复图像，进而降低由于图像失真引起的对后续其他图像处理环节的影响。目前已经有很多基于卷积神经网络的无参照图像质量评估算法被提出。2014年Kang等人第一次提出基于卷积神经网络的图像质量评估算法，该算法没有像大多数传统的质量评估算法一样使用手工提取的特征，而是将图像划分成图块，使用卷积神经网络进行训练，用待预测图像对应的所有图块分数的均值作为的整体图像质量分数。2017年Kim等人提出一种改进的基于卷积神经网络的质量评估算法，包含两个阶段：首先将图像划分成图块来训练卷积神经网络，结合同一图像所有图块的特征来生成图像的特征向量；然后采用回归算法计算图像的质量评估分数。

由于现有的基于卷积神经网络的图像质量评价算法普遍采用图像划分来产生更多数据，因此这些算法更关注图像局部的失真信息，而忽略图像空间结构信息的重要性。近年来，多尺度机制在图像语义分割、显著性检测等领域已经有了很多成功的应用。

发明内容

本发明的目的在于提供一种基于卷积神经网络的无参照图像质量评估方法，该方法有利于提高无参照图像质量评估性能。

为实现上述目的，本发明采用的技术方案是：一种基于卷积神经网络的无参照图像质量评估方法，包括以下步骤：

步骤S1：对训练图像集合和待预测图像集合中的图像进行局部归一化处理；

步骤S2：将经过局部归一化处理的图像有重叠的划分成不同尺度的图块；

步骤S3：使用卷积神经网络学习不同尺度图块的特征，即将训练图像集合中的图像对应的所有三个不同尺度的图块输入到三个全连接层来学习图块的质量评估分数；

步骤S4：利用训练好的卷积神经网络预测待预测图像的所有图块的质量评估分数，计算待预测图像所有图块的平均质量评估分数作为图像最终的质量评估分数。

进一步地，所述步骤S1中，对训练图像集合和待预测图像集合中的图像进行局部归一化处理，包括以下步骤：

步骤S11：对任意一幅图像，计算每个像素点亮度值的局部加权平均值μ(i,j)和局部加权标准差σ(i,j)，计算公式为：

其中，i和j是像素点的空间位置，K和L用于定义局部归一化处理过程中窗口的高度和宽度大小，窗口的高度和宽度分别为2*K+1和2*L+1，k和l是像素点在窗口的相对空间位置，I(i+k,j+l)表示在空间位置(i+k,j+l)处的像素点亮度值，ω(k,l)表示在空间位置(i+k,j+l)处的像素点亮度值的权重，所有的ω(k,l)构成满足对称高斯分布的2维矩阵ω＝{ω(k,l)|k＝-K,...,K,l＝-L,...,L}；

步骤S12：对图像中的每个像素点亮度值进行局部归一化处理：

其中，C是一个常数，用于避免因分母为0而导致不可计算。

进一步地，所述步骤S2中，将经过局部归一化处理的图像有重叠的划分成不同尺度的图块，包括以下步骤：

步骤S21：先将局部归一化处理后的图像有重叠的划分为具有相同的第一尺度的大图块；

步骤S22：对每一个具有第一尺度的大图块，取一个具有第二尺度的中图块和一个具有第三尺度的小图块，且中图块和小图块的中心位置与大图块的中心位置重合。

进一步地，所述步骤S3中，使用卷积神经网络学习不同尺度图块的特征，即将训练图像集合中的图像对应的所有三个不同尺度的图块输入到三个全连接层来学习图块的质量评估分数，包括以下步骤：

步骤S31：设计一个具有3个维度的卷积神经网络，对应3个不同尺度的图块作为输入，每个维度的卷积神经网络学习不同尺度图块的特征；然后将同一张图像的3个不同尺度的特征一起输入到3层的全连接层来学习图块的质量评估分数；所述卷积神经网络模型在每个维度上都有两个卷积层：第一个卷积层卷积核大小为3*3，后面接着一个3×3最大池化；第二个卷积层卷积核大小为3*3，后面同时接着一个3×3最大池化和一个3×3均值池化；池化操作通过保留输入的局部池化区域的最大或平均值，来进行数据降维；池化层的计算公式为：

其中，R_ij表示在(i,j)位置处局部池化区域，K表示特征映射图的数量，

和

分别表示第k个特征映射图的(i,j)位置处的最大池化和均值池化的输出，

表示在局部池化区域R_ij内的(p,q)位置的值；

步骤S32：前3个全连接层后面都使用了激活函数ReLU，而最后一个全连接层只有一个节点用于输出最后的预测值，ReLU的计算公式为：

f(x)＝max(0,x)

其中，x是输入值，f(x)是对应的映射值；

步骤S33：在训练阶段，使用均方差误差作为损失函数，计算公式为：

其中，N是同时进入训练的一个批次的图块的数量，x_n表示第n个图块，S_n是x_n对应的主观评估分数；f(x_n,ω)是所述卷积神经网络模型在权重ω时所预测x_n的质量评估分数；所述卷积神经网络模型通过随机梯度下降优化方法，利用反向传播来最小化损失函数，学习到模型的最优参数。

进一步地，所述步骤S4中，利用训练好的卷积神经网络预测待预测图像的所有图块的质量评估分数，计算待预测图像所有图块的平均质量评估分数作为图像最终的质量评估分数，包括以下步骤：

步骤S41：将经过局部归一化处理的待预测图像有重叠的划分为不同尺度的图块，然后将图块输入步骤S3训练得到的卷积神经网络模型进行预测，计算公式为：

p_m＝f(x_m,ω),m＝1,2,3,...,M

其中，M是待预测图像划分得到的所有图块的数量，x_m表示待预测图像的第m个图块，p_m表示x_m通过卷积神经网络模型预测的质量评估分数；

步骤S42：待预测图像的最终质量评估分数为每个图块的质量评估分数的均值，计算公式如下：

其中，P表示待预测图像的最终质量评估分数。

相较于现有技术，本发明的有益效果是：本发明适用于多种失真类型的、不同失真程度的图像质量评估，计算得到的质量评估分数接近人的主观评估分数。该方法对图像进行局部归一化处理，将图像有重叠的划分成不同尺度的图块，使用卷积神经网络学习不同尺度图块的特征，并将多个不同尺度上生成的特征输入到三个全连接层来学习图块的质量分数，利用训练好的卷积神经网络预测图像的所有图块的质量分数，计算所有图块的平均质量分数作为图像最终的质量分数。本发明综合考虑了图像在不同尺度上的特征，能显著提高基于卷积神经网络的无参照图像质量评估性能。

附图说明

图1是本发明方法的实现流程图。

图2是本发明实施例中卷积神经网络模型的结构图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步的详细说明。

本发明提供一种基于卷积神经网络的无参照图像质量评估方法，如图1所示，包括以下步骤：

步骤S1：对训练图像集合和待预测图像集合中的图像进行局部归一化处理。具体包括以下步骤：

步骤S11：对任意一幅图像，计算每个像素点亮度值的局部加权平均值μ(i,j)和局部加权标准差σ(i,j)，计算公式为：

其中，i和j是像素点的空间位置，K和L用于定义局部归一化处理过程中窗口的高度和宽度大小，窗口的高度和宽度分别为2*K+1和2*L+1，k和l是像素点在窗口的相对空间位置，I(i+k,j+l)表示在空间位置(i+k,j+l)处的像素点亮度值，ω(k,l)表示在空间位置(i+k,j+l)处的像素点亮度值的权重，所有的ω(k,l)构成满足对称高斯分布的2维矩阵ω＝{ω(k,l)|k＝-K,...,K,l＝-L,...,L}。

步骤S12：对图像中的每个像素点亮度值进行局部归一化处理：

其中，C是一个常数，用于避免因分母为0而导致不可计算。在本实施例中，C取0.1。

步骤S2：将经过局部归一化处理的图像有重叠的划分成不同尺度的图块。具体包括以下步骤：

步骤S21：先将局部归一化处理后的图像有重叠的划分为具有相同的第一尺度的大图块(本实施例中取80*80)。由于现有的公开的图像质量评估数据集含有的失真图像数据规模都较小，不满足训练深度的卷积神经网络CNN所需要较大的数据量，在公开的质量评估数据集中每个失真图像的失真程度在图像的所有区域都是均匀的，所以对于每一个图块，用对应的原始图的质量评估分数作为它的质量评估分数；同时，计算每个图块的水平镜像进行数据增强来提升CNN模型的泛化能力。

步骤S22：对每一个具有第一尺度的大图块，取一个具有第二尺度的中图块和一个具有第三尺度的小图块，且中图块和小图块的中心位置与大图块的中心位置重合。本实施例中，中图块取48*48，小图块取32*32。大尺度的图块有更多的空间结构信息，小尺度的图块更关注局部的像素信息，通过结合不同尺度的图块的特征来有效提高质量评估模型的性能。

步骤S3：使用卷积神经网络学习不同尺度图块的特征，即将训练图像集合中的图像对应的所有三个不同尺度的图块输入到三个全连接层来学习图块的质量评估分数。具体包括以下步骤：

步骤S31：如图2所示，设计一个具有3个维度的卷积神经网络，对应32*32、48*48和80*80这3个不同尺度的图块作为输入，每个维度的卷积神经网络学习不同尺度图块的特征；然后将同一张图像的3个不同尺度的特征一起输入到3层的全连接层来学习图块的质量评估分数；所述卷积神经网络模型在每个维度上都有两个卷积层：第一个卷积层卷积核大小为3*3，后面接着一个3×3最大池化；第二个卷积层卷积核大小为3*3，后面同时接着一个3×3最大池化和一个3×3均值池化；池化操作通过保留输入的局部池化区域的最大或平均值，来进行数据降维。通常来说，最大池化能够保留更多的纹理信息，而均值池化能保留更多的背景信息；将均值池化应用到质量评估模型，能有效提高性能。池化层的计算公式为：

其中，R_ij表示在(i,j)位置处局部池化区域，K表示特征映射图的数量，

和

分别表示第k个特征映射图的(i,j)位置处的最大池化和均值池化的输出，

表示在局部池化区域R_ij内的(p,q)位置的值。

步骤S32：前3个全连接层后面都使用了激活函数ReLU，而最后一个全连接层只有一个节点用于输出最后的预测值，ReLU的计算公式为：

f(x)＝max(0,x)

其中，x是输入值，f(x)是对应的映射值。相比于Sigmoid和Tanh，ReLU能有效降低梯度消失的可能性，大大加快随机梯度下降算法的收敛速度。

步骤S33：在训练阶段，使用均方差误差作为损失函数，计算公式为：

其中，N是同时进入训练的一个批次的图块的数量，x_n表示第n个图块，S_n是x_n对应的主观评估分数；f(x_n,ω)是所述卷积神经网络模型在权重ω时所预测x_n的质量评估分数；所述卷积神经网络模型通过随机梯度下降优化方法，利用反向传播来最小化损失函数，学习到模型的最优参数。

步骤S4：利用训练好的卷积神经网络预测待预测图像的所有图块的质量评估分数，计算待预测图像所有图块的平均质量评估分数作为图像最终的质量评估分数。具体包括以下步骤：

步骤S41：将经过局部归一化处理的待预测图像有重叠的划分为不同尺度的图块，然后将图块输入步骤S3训练得到的卷积神经网络模型进行预测，计算公式为：

p_m＝f(x_m,ω),m＝1,2,3,...,M

其中，M是待预测图像划分得到的所有图块的数量，x_m表示待预测图像的第m个图块，p_m表示x_m通过卷积神经网络模型预测的质量评估分数；

步骤S42：待预测图像的最终质量评估分数为每个图块的质量评估分数的均值，计算公式如下：

其中，P表示待预测图像的最终质量评估分数。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (3)

1.一种基于卷积神经网络的无参照图像质量评估方法，其特征在于，包括以下步骤：

步骤S1：对训练图像集合和待预测图像集合中的图像进行局部归一化处理；

步骤S2：将经过局部归一化处理的图像有重叠的划分成不同尺度的图块；

步骤S3：使用卷积神经网络学习不同尺度图块的特征，即将训练图像集合中的图像对应的所有三个不同尺度的图块输入到三个全连接层来学习图块的质量评估分数；

步骤S4：利用训练好的卷积神经网络预测待预测图像的所有图块的质量评估分数，计算待预测图像所有图块的平均质量评估分数作为图像最终的质量评估分数；

所述步骤S2中，将经过局部归一化处理的图像有重叠的划分成不同尺度的图块，包括以下步骤：

步骤S21：先将局部归一化处理后的图像有重叠的划分为具有相同的第一尺度的大图块；

步骤S22：对每一个具有第一尺度的大图块，取一个具有第二尺度的中图块和一个具有第三尺度的小图块，且中图块和小图块的中心位置与大图块的中心位置重合；

所述步骤S3中，使用卷积神经网络学习不同尺度图块的特征，即将训练图像集合中的图像对应的所有三个不同尺度的图块输入到三个全连接层来学习图块的质量评估分数，包括以下步骤：

步骤S31：设计一个具有3个维度的卷积神经网络，对应3个不同尺度的图块作为输入，每个维度的卷积神经网络学习不同尺度图块的特征；然后将同一张图像的3个不同尺度的特征一起输入到3层的全连接层来学习图块的质量评估分数；卷积神经网络模型在每个维度上都有两个卷积层：第一个卷积层卷积核大小为3*3，后面接着一个3×3最大池化；第二个卷积层卷积核大小为3*3，后面同时接着一个3×3最大池化和一个3×3均值池化；池化操作通过保留输入的局部池化区域的最大或平均值，来进行数据降维；池化层的计算公式为：

其中，R_ij表示在(i,j)位置处局部池化区域，S表示特征映射图的数量，

和

分别表示第s个特征映射图的(i,j)位置处的最大池化和均值池化的输出，

表示在局部池化区域R_ij内的(p,q)位置的值；

步骤S32：前3个全连接层后面都使用了激活函数ReLU，而最后一个全连接层只有一个节点用于输出最后的预测值，ReLU的计算公式为：

f(x)＝max(0,x)

其中，x是输入值，f(x)是对应的映射值；

步骤S33：在训练阶段，使用均方差误差作为损失函数，计算公式为：

其中，N是同时进入训练的一个批次的图块的数量，x_n表示第n个图块，S_n是x_n对应的主观评估分数；f(x_n,ω)是所述卷积神经网络模型在权重ω时所预测x_n的质量评估分数；所述卷积神经网络模型通过随机梯度下降优化方法，利用反向传播来最小化损失函数，学习到模型的最优参数。

2.根据权利要求1所述的一种基于卷积神经网络的无参照图像质量评估方法，其特征在于，所述步骤S1中，对训练图像集合和待预测图像集合中的图像进行局部归一化处理，包括以下步骤：

步骤S11：对任意一幅图像，计算每个像素点亮度值的局部加权平均值μ(i,j)和局部加权标准差σ(i,j)，计算公式为：

其中，i和j是像素点的空间位置，K和L用于定义局部归一化处理过程中窗口的高度和宽度大小，窗口的高度和宽度分别为2*K+1和2*L+1，k和l是像素点在窗口的相对空间位置，I(i+k,j+l)表示在空间位置(i+k,j+l)处的像素点亮度值，ω(k,l)表示在空间位置(i+k,j+l)处的像素点亮度值的权重，所有的ω(k,l)构成满足对称高斯分布的2维矩阵ω＝{ω(k,l)|k＝-K,...,K,l＝-L,...,L}；

步骤S12：对图像中的每个像素点亮度值进行局部归一化处理：

其中，C是一个常数，用于避免因分母为0而导致不可计算。

3.根据权利要求1所述的一种基于卷积神经网络的无参照图像质量评估方法，其特征在于，所述步骤S4中，利用训练好的卷积神经网络预测待预测图像的所有图块的质量评估分数，计算待预测图像所有图块的平均质量评估分数作为图像最终的质量评估分数，包括以下步骤：

步骤S41：将经过局部归一化处理的待预测图像有重叠的划分为不同尺度的图块，然后将图块输入步骤S3训练得到的卷积神经网络模型进行预测，计算公式为：

p_m＝f(x_m,ω),m＝1,2,3,...,M

其中，M是待预测图像划分得到的所有图块的数量，x_m表示待预测图像的第m个图块，p_m表示x_m通过卷积神经网络模型预测的质量评估分数；

步骤S42：待预测图像的最终质量评估分数为每个图块的质量评估分数的均值，计算公式如下：

其中，P表示待预测图像的最终质量评估分数。

Images