CN109215028A - 一种基于卷积神经网络的多目标优化图像质量评估方法 - Google Patents

Abstract

本发明涉及一种基于卷积神经网络的多目标优化图像质量评估方法，首先将待训练的图像有重叠地划分为图块，并进行数据增强；然后设计多任务卷积神经网络的结构，同时学习图像的质量评估分数和失真类型；接着训练基于多任务卷积神经网络的图像质量评估模型；最后利用训练好的图像质量评估模型预测待预测图像的所有图块的质量评估分数和失真类别，分别通过多数表决方法和选择性加权计算方法计算图像最终的失真类型和质量评估分数。本发明有利于提高无参照图像质量评估性能。

Description

一种基于卷积神经网络的多目标优化图像质量评估方法

技术领域

本发明涉及图像处理领域，特别是一种基于卷积神经网络的多目标优化图像质量评估方法。

背景技术

数字图像在采集、压缩、存储或其它图像处理过程中通常会受到不同程度的、不同类型的图像失真影响。人们希望能评估图像的失真情况，然后通过特定的图像恢复技术恢复图像，进而降低由于图像失真引起的对后续其他图像处理环节的影响。目前已经有很多基于卷积神经网络的无参照图像质量评估算法被提出。2014年Kang等人第一次提出基于卷积神经网络的图像质量评估算法，该算法没有像大多数传统的质量评估算法一样使用手工提取的特征，而是将图像划分成图块，使用卷积神经网络进行训练，用待预测图像对应的所有图块分数的均值作为的整体图像质量分数。2017年Kim等人提出一种改进的基于卷积神经网络的质量评估算法，包含两个阶段：首先将图像划分成图块来训练卷积神经网络，结合同一图像所有图块的特征来生成图像的特征向量；然后采用回归算法计算图像的质量评估分数。2018年Bosse等人提出了具有深层卷积结构的神经网络模型的用于图像质量评估，该网络包含10个卷积层和5个池化层以用于图像特征提取，以及2个全连接层以用于评估分数的回归学习，同时引入对图像块的质量评估分数的加权计算，来处理经典的划分图块的方式没有考虑图像全局信息对失真情况评估的影响。

近年来，基于卷积神经网络的图像质量评估算法的研究重点是提升图像质量评估分数预测的准确性，虽然已经取得了很多重大突破，目前先进的算法已经有非常高的性能表现，但是只是预测图像质量评估分数存在着无法完整的表示出图像失真信息的问题，对于失真图像，其失真类型一个非常重要的信息，如果能同时给出图像的失真类型和质量评估分数，就能显著提升对图像的失真情况的表示能力。

发明内容

有鉴于此，本发明的目的是提出一种基于卷积神经网络的多目标优化图像质量评估方法，有利于提高无参照图像质量评估性能。

本发明采用以下方案实现：一种基于卷积神经网络的多目标优化图像质量评估方法，具体包括以下步骤：

步骤S1：将待训练的图像有重叠地划分为图块，并进行数据增强；

步骤S2：设计多任务卷积神经网络的结构，同时学习图像的质量评估分数和失真类型；

步骤S3：训练基于多任务卷积神经网络的图像质量评估模型；

步骤S4：利用训练好的图像质量评估模型预测待预测图像的所有图块的质量评估分数和失真类别，分别通过多数表决方法和选择性加权计算方法计算图像最终的失真类型和质量评估分数。

进一步地，步骤S1中具体包括以下步骤：

步骤S11：先有重叠地将失真图像划分成若干个n×n大小的图块；

步骤S12：使用左右镜像和上下镜像操作对步骤S11划分后的图块进行数据增强，以增加数据量和数据多样性。

进一步地，步骤S2具体包括以下步骤：

步骤S21：设计一个具有5个层叠卷积结构的端到端的多任务深层卷积网络用于的图像质量评估；

步骤S22：该多任务深层卷积网络使用5个层叠卷积对图像失真信息进行抽象和学习，然后通过两个全连接层提取图像特征，同时输入到一个回归子网络和一个分类子网络以实现对图像失真类型和质量评估分数的优化学习；分类子网络包含一个含有C个节点的全连接层和softmax分类层，C个节点分别对应着图像的C个失真类型，即该分类子网络最后的输出是C个失真类别的概率，取其中概率最大的所对应的失真类别为最后预测的失真类别。

进一步地，步骤S21中，所述具有5个层叠卷积结构的端到端的多任务深层卷积网络，前两个层叠卷积结构都是由2个卷积核大小为3×3的卷积层接着一个步长为1的2×2的池化层组成，后三个层叠卷积结构都是由3个卷积核大小为3×3的卷积层接着一个步长为2的2×2的池化层组成；所有的卷积层都是使用了步长为1且不进行填充的方式实现以保证卷积层的输入和输出的图像大小保持一致；该具有5个层叠卷积结构的端到端的多任务深层卷积网络的5个层叠卷积结构由13个卷积层和5个池化层组成，所有卷积层都由卷积、批标准化BN(Batch Normalization，BN)和ReLU非线性映射三部分组成；其中，批标准化BN处理计算公式如下：

式中，m表示一个批次的输入数量，x_i表述一个批次中第i个输入，μ和σ²分别是m个输入的均值和方差，是x_i标准化为均值为0、方差为1的正态分布的输出，ε是一个极小的正数防止分母为0导致运算出错；同时，为了保证非线性的获得，对标准化变换后的满足均值为0、方差为1的进行了缩放和平移操作，计算公式如下：

式中，y_i是缩放和平移操作后的输出，γ和β是训练中学习的缩放和平移参数。

进一步地，步骤S3具体包括以下步骤：

步骤S31：在训练阶段，使用均方差误差作为图像质量评分分数回归子网络的损失函数，使用交叉熵损失作为图像失真类型分类子网络的损失函数，计算公式如下：

式中，l₁和l₂分别是回归子网络和分类子网络的损失函数，N是同时进入训练的一个批次的图像块的数量，C是图像失真类型的数量，x_n表示第n个图像块，S_n是x_n对应的主观评估分数；f_m(x_n；ω)是所述卷积神经网络模型在权重ω时所预测x_n的质量评估分数；是一个C个类的指示向量(只有真实失真类型对应的下标位置值为1，用于编码对应的失真类型)，是一个C维的概率向量,是所述卷积神经网络模型在权重ω时所预测x_n的属于第c类的概率值；

步骤S32：使用总体损失函数L来联合考虑图像质量分数回归和失真类型分类的两种不同损失，计算公式如下：

L＝αl₁+βl₂；

式中，β和χ分别是l₁和l₂的权重。由于不同图像质量评估数据集中图像质量分数范围和失真类型数目各不相同，α和β对平衡图像质量分数估计和失真类型识别的权重起着重要作用。

进一步地，步骤S4具体包括以下步骤：

步骤S41：将待预测的图像有重叠地划分为图块，利用训练好的图像质量评估模型预测待预测图像的所有图块的质量评估分数和失真类别；

步骤S42：图像的失真类型通过失真图像对应的所有图像块所判定的失真类别通过多数表决的方式进行计算；对于失真图像I，其失真类型D_I的计算公式如下：

式中，C是图像失真类型的数量，num(j)是失真图像所有判定失真类型为j类失真的图像块数量；

步骤S43：图像的质量评估分数通过选择性加权平均方法计算，图像I的最终图像质量评估分数S_I的计算公式如下：

式中，M是属于图像I的所有图像块的数量，D_i是第i个图像块判定的失真类型，S_i是第i个图像块所预测的质量分数，ω_i是第i个图像块的分数对最终图像质量评估分数的贡献所占权重，当第i个图像块的判定失真类型D_i等于图像真实的失真类型D_I时，ω_i值为1，否则全部为0。

与现有技术相比，本发明有以下有益效果：本发明适用于多种失真类型的、不同失真程度的图像质量评估，计算得到的质量评估分数接近人的主观评估分数，同时给出了图像失真类型的准确预测。该方法将图像有重叠的划分为图块，并进行数据增强处理，然后使用多任务卷积神经网络同时优化图像质量评估分数和失真类别两个目标，通过多数表决方法计算图像失真类型，通过选择性加权平均方法计算图像最终的质量分数。本发明综合考虑图像的质量评估分数和失真类型之间的联系，对图像的失真信息有更强的表示能力，能显著提高基于卷积神经网络的无参照图像质量评估性能。

附图说明

图1为本发明实施例的方法流程示意图。

图2为本发明实施例的卷积神经网络模型的结构图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

如图1所示，本实施例提供了一种基于卷积神经网络的多目标优化图像质量评估方法，具体包括以下步骤：

步骤S1：将待训练的图像有重叠地划分为图块，并进行数据增强；

步骤S2：设计多任务卷积神经网络的结构，同时学习图像的质量评估分数和失真类型；

步骤S3：训练基于多任务卷积神经网络的图像质量评估模型；

步骤S4：利用训练好的图像质量评估模型预测待预测图像的所有图块的质量评估分数和失真类别，分别通过多数表决方法和选择性加权计算方法计算图像最终的失真类型和质量评估分数。

在本实施例中，步骤S1中具体包括以下步骤：

步骤S11：先有重叠地将失真图像划分成若干个n×n大小的图块；

步骤S12：使用左右镜像和上下镜像操作对步骤S11划分后的图块进行数据增强，以增加数据量和数据多样性。

在本实施例中，步骤S2具体包括以下步骤：

步骤S21：设计一个具有5个层叠卷积结构的端到端的多任务深层卷积网络用于的图像质量评估；

步骤S22：该多任务深层卷积网络使用5个层叠卷积对图像失真信息进行抽象和学习，然后通过两个全连接层提取图像特征，同时输入到一个回归子网络和一个分类子网络以实现对图像失真类型和质量评估分数的优化学习；分类子网络包含一个含有C个节点的全连接层和softmax分类层，C个节点分别对应着图像的C个失真类型，即该分类子网络最后的输出是C个失真类别的概率，取其中概率最大的所对应的失真类别为最后预测的失真类别。

如图2所示，在本实施例中，步骤S21中，所述具有5个层叠卷积结构的端到端的多任务深层卷积网络，前两个层叠卷积结构都是由2个卷积核大小为3×3的卷积层接着一个步长为1的2×2的池化层组成，后三个层叠卷积结构都是由3个卷积核大小为3×3的卷积层接着一个步长为2的2×2的池化层组成；所有的卷积层都是使用了步长为1且不进行填充的方式实现以保证卷积层的输入和输出的图像大小保持一致；该具有5个层叠卷积结构的端到端的多任务深层卷积网络的5个层叠卷积结构由13个卷积层和5个池化层组成，所有卷积层都由卷积、批标准化BN(Batch Normalization，BN)和ReLU非线性映射三部分组成；其中，批标准化BN处理计算公式如下：

式中，m表示一个批次的输入数量，x_i表述一个批次中第i个输入，μ和σ²分别是m个输入的均值和方差，是x_i标准化为均值为0、方差为1的正态分布的输出，ε是一个极小的正数防止分母为0导致运算出错；同时，为了保证非线性的获得，对标准化变换后的满足均值为0、方差为1的进行了缩放和平移操作，计算公式如下：

式中，y_i是缩放和平移操作后的输出，γ和β是训练中学习的缩放和平移参数。

在本实施例中，步骤S3具体包括以下步骤：

步骤S31：在训练阶段，使用均方差误差作为图像质量评分分数回归子网络的损失函数，使用交叉熵损失作为图像失真类型分类子网络的损失函数，计算公式如下：

式中，l₁和l₂分别是回归子网络和分类子网络的损失函数，N是同时进入训练的一个批次的图像块的数量，C是图像失真类型的数量，x_n表示第n个图像块，S_n是x_n对应的主观评估分数；f_m(x_n；ω)是所述卷积神经网络模型在权重ω时所预测x_n的质量评估分数；是一个C个类的指示向量(只有真实失真类型对应的下标位置值为1，用于编码对应的失真类型)，是一个C维的概率向量,是所述卷积神经网络模型在权重ω时所预测x_n的属于第c类的概率值；

步骤S32：使用总体损失函数L来联合考虑图像质量分数回归和失真类型分类的两种不同损失，计算公式如下：

L＝αl₁+βl₂；

式中，β和χ分别是l₁和l₂的权重。由于不同图像质量评估数据集中图像质量分数范围和失真类型数目各不相同，α和β对平衡图像质量分数估计和失真类型识别的权重起着重要作用。

在本实施例中，步骤S4具体包括以下步骤：

步骤S41：将待预测的图像有重叠地划分为图块，利用训练好的图像质量评估模型预测待预测图像的所有图块的质量评估分数和失真类别；

步骤S42：图像的失真类型通过失真图像对应的所有图像块所判定的失真类别通过多数表决的方式进行计算；对于失真图像I，其失真类型D_I的计算公式如下：

式中，C是图像失真类型的数量，num(j)是失真图像所有判定失真类型为j类失真的图像块数量；

步骤S43：图像的质量评估分数通过选择性加权平均方法计算，图像I的最终图像质量评估分数S_I的计算公式如下：

式中，M是属于图像I的所有图像块的数量，D_i是第i个图像块判定的失真类型，S_i是第i个图像块所预测的质量分数，ω_i是第i个图像块的分数对最终图像质量评估分数的贡献所占权重，当第i个图像块的判定失真类型D_i等于图像真实的失真类型D_I时，ω_i值为1，否则全部为0。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (6)

1.一种基于卷积神经网络的多目标优化图像质量评估方法，其特征在于：包括以下步骤：

步骤S1：将待训练的图像有重叠地划分为图块，并进行数据增强；

步骤S2：设计多任务卷积神经网络的结构，同时学习图像的质量评估分数和失真类型；

步骤S3：训练基于多任务卷积神经网络的图像质量评估模型；

步骤S4：利用训练好的图像质量评估模型预测待预测图像的所有图块的质量评估分数和失真类别，分别通过多数表决方法和选择性加权计算方法计算图像最终的失真类型和质量评估分数。

2.根据权利要求1所述的一种基于卷积神经网络的多目标优化图像质量评估方法，其特征在于：步骤S1中具体包括以下步骤：

步骤S11：先有重叠地将失真图像划分成若干个n×n大小的图块；

步骤S12：使用左右镜像和上下镜像操作对步骤S11划分后的图块进行数据增强，以增加数据量和数据多样性。

3.根据权利要求1所述的一种基于卷积神经网络的多目标优化图像质量评估方法，其特征在于：步骤S2具体包括以下步骤：

步骤S21：设计一个具有5个层叠卷积结构的端到端的多任务深层卷积网络用于的图像质量评估；

步骤S22：该多任务深层卷积网络使用5个层叠卷积对图像失真信息进行抽象和学习，然后通过两个全连接层提取图像特征，同时输入到一个回归子网络和一个分类子网络以实现对图像失真类型和质量评估分数的优化学习；分类子网络包含一个含有C个节点的全连接层和softmax分类层，C个节点分别对应着图像的C个失真类型，即该分类子网络最后的输出是C个失真类别的概率，取其中概率最大的所对应的失真类别为最后预测的失真类别。

4.根据权利要求3所述的一种基于卷积神经网络的多目标优化图像质量评估方法，其特征在于：步骤S21中，所述具有5个层叠卷积结构的端到端的多任务深层卷积网络，前两个层叠卷积结构都是由2个卷积核大小为3×3的卷积层接着一个步长为1的2×2的池化层组成，后三个层叠卷积结构都是由3个卷积核大小为3×3的卷积层接着一个步长为2的2×2的池化层组成；所有的卷积层都是使用了步长为1且不进行填充的方式实现以保证卷积层的输入和输出的图像大小保持一致；该具有5个层叠卷积结构的端到端的多任务深层卷积网络的5个层叠卷积结构由13个卷积层和5个池化层组成，所有卷积层都由卷积、批标准化BN和ReLU非线性映射三部分组成；其中，批标准化BN处理计算公式如下：

式中，m表示一个批次的输入数量，x_i表述一个批次中第i个输入，μ和σ²分别是m个输入的均值和方差，是x_i标准化为均值为0、方差为1的正态分布的输出，ε是一个极小的正数防止分母为0导致运算出错；同时，为了保证非线性的获得，对标准化变换后的满足均值为0、方差为1的进行了缩放和平移操作，计算公式如下：

式中，y_i是缩放和平移操作后的输出，γ和β是训练中学习的缩放和平移参数。

5.根据权利要求1所述的一种基于卷积神经网络的多目标优化图像质量评估方法，其特征在于：步骤S3具体包括以下步骤：

步骤S31：在训练阶段，使用均方差误差作为图像质量评分分数回归子网络的损失函数，使用交叉熵损失作为图像失真类型分类子网络的损失函数，计算公式如下：

式中，l₁和l₂分别是回归子网络和分类子网络的损失函数，N是同时进入训练的一个批次的图像块的数量，C是图像失真类型的数量，x_n表示第n个图像块，S_n是x_n对应的主观评估分数；f_m(x_n；ω)是所述卷积神经网络模型在权重ω时所预测x_n的质量评估分数；是一个C个类的指示向量，是一个C维的概率向量,是所述卷积神经网络模型在权重ω时所预测x_n的属于第c类的概率值；

步骤S32：使用总体损失函数L来联合考虑图像质量分数回归和失真类型分类的两种不同损失，计算公式如下：

L＝αl₁+βl₂；

式中，β和χ分别是l₁和l₂的权重。

6.根据权利要求1所述的一种基于卷积神经网络的多目标优化图像质量评估方法，其特征在于：步骤S4具体包括以下步骤：

步骤S41：将待预测的图像有重叠地划分为图块，利用训练好的图像质量评估模型预测待预测图像的所有图块的质量评估分数和失真类别；

步骤S42：图像的失真类型通过失真图像对应的所有图像块所判定的失真类别通过多数表决的方式进行计算；对于失真图像I，其失真类型D_I的计算公式如下：

式中，C是图像失真类型的数量，num(j)是失真图像所有判定失真类型为j类失真的图像块数量；

步骤S43：图像的质量评估分数通过选择性加权平均方法计算，图像I的最终图像质量评估分数S_I的计算公式如下：

式中，M是属于图像I的所有图像块的数量，D_i是第i个图像块判定的失真类型，S_i是第i个图像块所预测的质量分数，ω_i是第i个图像块的分数对最终图像质量评估分数的贡献所占权重，当第i个图像块的判定失真类型D_i等于图像真实的失真类型D_I时，ω_i值为1，否则全部为0。