CN111127386A - 一种基于深度学习的图像质量评价方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的图像质量评价方法，包括如下步骤：步骤1：提取结构性特征图；步骤2：提取自然性特征图；步骤3：提取自由能特征图；步骤4：根据每张图对应的所有特征图设计神经网络框架。计算图像梯度做为图像的结构性特征，其次基于自然性特性提取图像的归一化特性做为自然性特征，最后基于大脑的自由能原理，对输入图像和大脑对它的预测图像之间的差异做为图像的高级特征。在特征提取完之后，利用一组无失真图像学习出一个模型并利用该模型来预测图像的质量。失真图像的质量被定义为它的模型与学习到的无失真模型之间的距离。

Description

一种基于深度学习的图像质量评价方法

技术领域

本发明属于图像处理领域，设计图像质量评价方法，而且涉及一 种基于深度学习的图像质量评价方法。涉及深度学习中的Densenet 网络在图像质量评价中的应用。

背景技术

现如今，随着互联网技术以及通信技术的快速发展，数字图像已 经成为人们日常生活中信息传递的重要方式。据统计，2011年以来， 世界产生的数字照片总量达到上百亿张，而且这个数量还在逐年增 长。然而，图像在采集、存储、压缩和传输等过程中容易受到不同种 类的失真干扰，从而造成图像质量的降低。所以，如何准确、可靠地 评价图像的质量成为当前及未来研究中一个重要的研究热点。通常， 大多数图像是由人来观看，所以最可靠的图像质量评价方式是主观质 量评价，即组织观看人员根据他们的经验来对图像的质量进行主观评 分，然而，随着图像数量的增多，主观质量评价的实施变得困难，而 且也无法应用于实时的图像处理系统中。所以，研究者们提出客观质 量评价方法，通过设计客观算法来对图像的质量做出评价。

根据是否参考原始图像，现有的客观质量评价方法被分为三个类 别，分别是全参考，部分参考和无参考质量评价方法。尽管目前针对 这三类客观图像质量评价分别提出了大量的方法，但是客观质量评价 的研究仍然不够成熟，主要表现在以下几个方面，第一，由于目前对 人类视觉感知机制的理解不够深入，现有的基于度量信号失真的客 观质量评价方法不能准确地模拟主观质量评价；第二，在无参考质 量评价方法设计中，大多数方法仍然需要利用主观质量分数来训练质 量评价模型；第三，在评价真实场景中的失真图像时，现有的客观算 法的表现仍然不够理想。因此，建立一套可以准确反映人眼主观感受 的立体图像质量客观评价机制具有深远意义。近年来，相关研究机构 对平面图像质量评价算法进行了深入研究，如峰值信噪比(PSNR)、均 方误差(MSE)、结构相似度(SSIM)等评价指标。然而平面图像中包含 更多的因素，如深度图等。

近年来，深度学习成为机器学习和神经网络相关领域的研究热点， 深度学习能够模拟人脑深层次处理数据的方式对原始数据内部结构 和关系得到层次化的特征表示，因而经该预处理后的网络参数符合人 脑的处理结果，训练后得到的网络稳定性和泛化能力也有一定的提高。

现有的无参考质量评价方法大多数属于主观质量分数已知的评 价方法，此类方法通常需要大量的训练样本图像以及对应的主观分数 来训练质量预测模型，相比之下，主观质量分数未知的无参考评价方 法仍然较少而且已有方法的性能仍然不能与主观质量分数已知的方 法相比。

发明内容

本发明的目的是针对现有技术的不足。提出了一个利用densenet 网络框架的主观质量分数未知的无参考评价方法，此方法设计三种特 征。首先，我们计算图像梯度做为图像的结构性特征，其次基于自然 性特性我们提取图像的归一化特性做为自然性特征，最后基于大脑的 自由能原理，我们对输入图像和大脑对它的预测图像之间的差异做为 图像的高级特征。在特征提取完之后，我们利用不同失真程度的图像 训练出一个网络框架并利用该网络来预测图像的质量。

本发明解决其技术问题所采用的技术方案包括如下步骤：

一种基于深度学习的图像质量评价方法，包括如下步骤：

步骤1：提取结构性特征图；

步骤2：提取自然性特征图；

步骤3：提取自由能特征图；

步骤4：根据每张图对应的所有特征图设计神经网络框架。

步骤1所述的提取结构性特征图，具体实现如下：

1-1.结构性特征就是图像的梯度，利用水平、竖直、45度、135 度方向上的梯度来表示图像的结构性特征。

1-2.利用mask或差分算子进行计算：水平算子D_h、竖直算子D_v； 角度算子D₄₅和D₁₃₅

D_h＝[-1,1]D_v＝[-1,1]^T

1-3.和图像做卷积：

其中：G_h、G_v、G₄₅、G₁₃₅表示卷积后的特征图像

步骤2所述的提取自然性特征图，具体实现如下：

2-1.图像的归一化系数：

其中,I为输入图像，(x,y)表示位置信息，I′表示归一化系数图 像，μ(x,y)表示邻域均值、σ(x,y)表示邻域方差

2-2.根据邻域大小，划分为5种不同大小邻域：5×5、7×7、11 ×11、13×13、15×15。针对图像I，每种领域大小都能够得到相应 的归一化特征图像，分为用I′₅、I′₇、I′₁₁、I′₁₃、I′₁₅表示。

步骤3所述的提取自由能特征图，具体实现如下：

3-1.提取自由能特征利用稀疏表示来模拟大脑内部的生成模型， 假设输入图像I，其稀疏表示为I″。利用公式：

y_n＝χ^k(y)a+e_n

y_n为图像中待表示的像素点,χ^k(y)表示与y最近邻的k的像素； a＝(a₁,a₂,a₃,…,a_k)^T表示系数，“T”表示转置操作，e_n表示误差。

由公式：

a^*＝(X^TX)^-1X^Ty

得：

y_n＝χ^k(y)(X^TX)^-1X^Ty

I″由新的y_n组成；

3-2.计算差异特征图为I-I″

步骤4所述的根据每张图对应的所有特征图设计神经网络框架， 具体实现如下：

所述的每张图能够得到10张特征图，分别为：G_h、G_v、G₄₅、G₁₃₅、I′₅、 I′₇、I′₁₁、I′₁₃、I′₁₅、I-I″；其中4张结构性特征图，5张自然性特征 图，1张自由能特征图；

所述的设计神经网络框架，具体实现如下：

4-1.以10张特征图作为输入，通道数为10。

4-2.通过一层卷积层，使通道数变为64。

4-3.通过121层densenet网络框架提取每张特征图中的特征。

4-4.提取的特征再经一层线性回归层得到最原始图像的质量分 数；

4-5.损失函数：

Y表示线性回归层输出的质量分数，Y′表示图像的已知主观分数。

本发明有益效果如下：

对于图像中每一个像素点都这样表示就可以得到对整幅输入图 像的表示。由于AR预测的方式是逐点预测，所以时间复杂度很高， 在图像的分辨率较大的情况下，预测一幅图像往往需要花费较长的时 间，而且AR预测缺少神经生物学的理论支撑。如前所述，相比于AR 模型来模拟大脑内部生成模型，稀疏表示更加具有优势，表现在如下 几个方面：第一，稀疏表示基于图像块进行操作，所以算法的时间复 杂度可以显著地降低，第二，稀疏表示所用的字典可以采用固定字典， 比如DCT字典，也可以利用从自然图像中训练出的字典，所以稀疏表 示更加灵活，第三，稀疏表示被证明符合大脑初级视觉皮层的信息表 示方式，具有直接的生理学意义，主要体现在如下两个方面：第一， 大脑的感受野具有局部性、方向性和带通性，这与稀疏表示产生的字 典类似；第二，神经元在编码视觉信息时，在任何给定的时间点上， 仅有少量的神经元是活跃的，大部分神经元处于抑制状态。所以本文 采用稀疏表示来模拟大脑内部的生成模型，研究图像质量评价的方法。

附图说明

图1为本发明方法流程图。

具体实施方式

下面对本发明作进一步说明。

如图1所示，一种基于深度学习的图像质量评价方法，具体实现 步骤如下：

步骤1：提取结构性特征图

1-1.结构性特征就是图像的梯度，利用水平、竖直、45度、135 度方向上的梯度来表示图像的结构性特征。

1-2.利用mask或差分算子进行计算：水平算子D_h、竖直算子D_v； 角度算子D₄₅和D₁₃₅

D_h＝[-1,1]D_v＝[-1,1]T

1-3.和图像做卷积：

其中：G_h、G_v、G₄₅、G₁₃₅表示卷积后的特征图像

步骤2：提取自然性特征图；

2-1.图像的归一化系数：

其中,I为输入图像，(x,y)表示位置信息，I′表示归一化系数图 像，μ(x,y)表示邻域均值、σ(x,y)表示邻域方差

2-2.根据邻域大小，划分为5种不同大小邻域：5×5、7×7、11 ×11、13×13、15×15。针对图像I，每种领域大小都能够得到相应 的归一化特征图像，分为用I′₅、I′₇、I′₁₁、I′₁₃、I′₁₅表示。

步骤3：提取自由能特征图

3-1.提取自由能特征利用稀疏表示来模拟大脑内部的生成模型， 假设输入图像I，其稀疏表示为I″。利用公式：

y_n＝χ^k(y)a+e_n

y_n为图像中待表示的像素点,χ^k(y)表示与y最近邻的k的像素； a＝(a₁,a₂,a₃,…,a_k)^T表示系数，“T”表示转置操作，e_n表示误差。

由公式：

a^*＝(X^TX)^-1X^Ty

得：

y_n＝χ^k(y)(X^TX)^-1X^Ty

I″由新的y_n组成；

3-2.计算差异特征图为I-I″

步骤4：每一张图能够得到10张特征图，分别为：G_h、G_v、G₄₅、G₁₃₅、 I′₅、I′₇、I′₁₁、I′₁₃、I′₁₅、I-I″；其中4张结构性特征图，5张自然性 特征图，1张自由能特征图。

步骤5：设计神经网络框架

5-1.以10张特征图作为输入，通道数为10。

5-2.通过一层卷积层，使通道数变为64。

5-3.通过121层densenet网络框架提取特征。

5-4.由一层线性回归层得到图像的质量分数；

5-5.损失函数：

Y表示线性回归层输出的质量分数，Y′表示图像的已知主观分数。

Claims (5)

1.一种基于深度学习的图像质量评价方法，其特征在于包括如下步骤：

步骤1：提取结构性特征图；

步骤2：提取自然性特征图；

步骤3：提取自由能特征图；

步骤4：根据每张图对应的所有特征图设计神经网络框架。

2.根据权利要求1所述的一种基于深度学习的图像质量评价方法，其特征在于步骤1所述的提取结构性特征图，具体实现如下：

1-1.结构性特征就是图像的梯度，利用水平、竖直、45度、135度方向上的梯度来表示图像的结构性特征。

1-2.利用mask或差分算子进行计算：水平算子D_h、竖直算子D_v；角度算子D₄₅和D₁₃₅

D_h＝[-1，1]D_v＝[-1，1]^T

1-3.和图像做卷积：

其中：G_h、G_V、G₄₅、G₁₃₅表示卷积后的特征图像。

3.根据权利要求2所述的一种基于深度学习的图像质量评价方法，其特征在于步骤2所述的提取自然性特征图，具体实现如下：

2-1.图像的归一化系数：

其中，I为输入图像，(x，y)表示位置信息，I′表示归一化系数图像，μ(x，y)表示邻域均值、σ(x，y)表示邻域方差

2-2.根据邻域大小，划分为5种不同大小邻域：5×5、7×7、11×11、13×13、15×15。针对图像I，每种领域大小都能够得到相应的归一化特征图像，分为用I′₅、I′₇、I′₁₁、I′₁₃、I′₁₅表示。

4.根据权利要求3所述的一种基于深度学习的图像质量评价方法，其特征在于步骤3所述的提取自由能特征图，具体实现如下：

3-1.提取自由能特征利用稀疏表示来模拟大脑内部的生成模型，假设输入图像I，其稀疏表示为I″。利用公式：

y_n＝X^k(y)a+e_n

y_n为图像中待表示的像素点，X^k(y)表示与y最近邻的k的像素；a＝(a₁，a₂，a₃，…，a_k)^T表示系数，“T”表示转置操作，e_n表示误差。由公式：

a^*＝(X^TX)^-1X^Ty

得：

y_n＝X^k(y)(X^TX)^-1X^Ty

I″由新的y_n组成；

3-2.计算差异特征图为I-I″。

5.根据权利要求4所述的一种基于深度学习的图像质量评价方法，其特征在于步骤4所述的根据每张图对应的所有特征图设计神经网络框架，具体实现如下：

所述的每张图能够得到10张特征图，分别为：G_h、G_v、G₄₅、G₁₃₅、I′₅、I′₇、I′₁₁、I′₁₃、I′₁₅、I-I″；其中4张结构性特征图，5张自然性特征图，1张自由能特征图；

所述的设计神经网络框架，具体实现如下：

4-1.以10张特征图作为输入，通道数为10。

4-2.通过一层卷积层，使通道数变为64。

4-3.通过121层densenet网络框架提取特征。

4-4.由一层线性回归层得到图像的质量分数；

4-5.损失函数：

Y表示线性回归层的输出，Y′表示图像的主观分数。

Images