CN111724370B - 基于不确定性和概率的多任务图像质量评估方法及系统 - Google Patents

Abstract

本发明涉及一种基于不确定性和概率的多任务无参考图像质量评估方法及系统，首先将待训练的数据进行数据预处理；然后设计能够预测失真类型和图像质量分数的多任务卷积神经网络，并训练该多任务卷积神经网络；最后将待测图像进行预处理，生成图像块，利用训练好的多任务卷积神经网络预测所生成的图像块的质量分数和失真类型，根据图像块的质量分数和失真类型计算待测图像的质量分数和失真类型。本发明通过提出的多任务卷积神经网络提取图像特征、学习图像质量和失真类型之间的不确定性，不仅能够评估图像质量，也能够预测失真类型，并显著提高无参考图像质量评估的性能。

Description

基于不确定性和概率的多任务图像质量评估方法及系统

技术领域

本发明涉及图像处理技术领域，特别是一种基于不确定性和概率的多任务无参考图像质量评估方法及系统。

背景技术

伴随互联网的快速成长，数字图像已然成为一种不可缺少的信息传输载体。移动互联网的普及、人们的需求、日益暴增的图像数量，促进了图像处理算法地不断更新迭代和计算机视觉领域的快速发展。随着多媒体技术的发展，现在人们对图片实时分享、发送和接收，以及即时在线直播的要求越来越高，使得对图像质量评估算法的要求也越来越高。然而，图像在拍摄、编解码、存储、传输、处理过程中难以避免地会丢失部分或完整原始数据，导致图像产生失真现象，出现噪点、变形、扭曲、缺失等现象。失真会不同程度地丢失原始图像中所包含的信息，从而影响会影响人们对图像的观感、影响人们从图像中获取信息。图像质量评估可以根据图像的失真类型及失真程度来对图像的质量进行评估，从而为后续的图像处理技术，比如超分辨率、图像分割、图像去噪、图像复原、风格迁移和显著性检测等提供基础，是图像处理领域的关键技术之一，对于当下图像在医学、航空、军事等领域来说是至关重要的。

图像质量评估一般有主观和客观之分。主观图像质量评估是指由多个评估员对数据集的图像质量打分后进行统计加工合成，此方法直接地反映了人类视觉系统对图像的直观感知和视觉体验效果，评估结果最符合人类的视觉感官体验。客观图像质量评估是指由计算机按照一定的算法进行实现，算法根据人类视觉系统，对失真图像进行客观定性，建立模型，给出评估结果。相较于主观评估，客观评估应用更广泛。客观评估根据是否得以取到参考图像的完整或者部分信息分为3类：全参考、半参考和无参考。由于无参考评估不需要使用原始图像的信息，所以在没有原始图像的实际应用中，无参考图像质量评估更为实用。

现有的大部分无参考方法只针对图像质量进行评估。失真类型和图像质量存在着重要关系。少数能够同时评估图像质量评价和预测失真类型的模型尚未能确定失真类型和图像质量之间的潜在关系。

发明内容

有鉴于此，本发明的目的是提出一种基于不确定性和概率的多任务无参考图像质量评估方法及系统，通过提出的多任务卷积神经网络提取图像特征、学习图像质量和失真类型之间的不确定性，不仅能够评估图像质量，也能够预测失真类型，并显著提高无参考图像质量评估的性能。

本发明采用以下方案实现：一种基于不确定性和概率的多任务无参考图像质量评估方法，具体包括以下步骤：

将待训练的数据进行数据预处理；首先对其做归一化处理，然后将归一化图像进行切块；

设计能够预测失真类型和图像质量分数的多任务卷积神经网络，并训练该多任务卷积神经网络；

将待测图像进行预处理，生成图像块，利用训练好的多任务卷积神经网络预测所生成的图像块的质量分数和失真类型，根据图像块的质量分数和失真类型计算待测图像的质量分数和失真类型。

本发明使用归一化的图像块作为模型输入，使用多任务卷积神经网络的提取图像特征，通过失真类型和质量分数之间的不确定性同时预测失真类型和质量分数，基于概率计算图像的失真类型和质量分数，这种方法不仅能显著提高无参考图像质量评估的性能，并能同时预测图像失真类型。

进一步地，所述将待训练的数据进行数据预处理具体为：

先将所有失真图像进行归一化处理，将所有归一化图像有重叠地切分成若干个H×W大小的图像块。

其中，给定图像I(i,j)，计算归一化值

的公式如下：

式中，(i，j)表示像素的位置。

进一步地，所述设计能够预测失真类型和图像质量分数的多任务卷积神经网络，并训练该多任务卷积神经网络具体包括以下步骤：

步骤A1：设计多任务卷积神经网络用于可同时预测失真类型和图像质量分数，网络输入为归一化图像块；该多任务卷积神经网络首先经过多个卷积层、批归一化层、激活层和注意力机制块进行特征提取；提取后的图像特征首先经过两个全连接层，然后分为两路，一路经过一个单元的全连接层以预测图像质量分数s，另一路经过C个单元的全连接层以预测图像失真类型d；

步骤A2：使用多任务的不确定性作为所述多任务卷积神经网络的损失函数，计算公式如下：

其中，

式中，ω是模型的权重，x是输入的图像，y₁表示输入的图像质量的真实主观评估分数，y₂表示输入的图像的真实失真类型向量，f₁ ^ω(x)和f₂ ^ω(x)分别是网络在权重ω下对输入x预测的图像质量评估分数和失真类型向量，σ₁和σ₂分别是由网络学习的质量评估分数、失真类型的不确定性因子，N为每个批次输入的图像数量，C为待测图像候选失真类型的数量，

为输入的第i张图像第j种失真类型的真实概率，

为第i张图像第j种失真类型的预测概率经过失真类型不确定性因子σ₂缩放的值；

步骤A3：所述多任务卷积神经网络通过多次迭代进行反向传播；在每次迭代中，训练集被分成多个批次进行分批优化，采用基于梯度方差的Adam方法自适应和余弦退火控制每个参数的分批优化学习率，训练预设数量个epoch后结束，取验证误差最小的多任务卷积神经网络作为训练结果。

进一步地，步骤A1中，图像质量分数s的计算公式如下：

s＝f₁ ^ω(x)；

式中，ω是模型的权重，x是输入的图像，f₁ ^ω(x)是网络在权重ω下对输入x预测的图像质量分数。

进一步地，步骤A1中，图像失真类型d的计算公式如下：

d＝argmax_1≤i≤C(f₂ ^ω(x)_i)；

式中，ω是模型的权重，x是输入的图像，C为待测图像候选失真类型的数量，f₂ ^ω(x)_i是网络在权重ω下对输入x预测的失真类型向量的第i维。

进一步地，所述将待测图像进行预处理，生成图像块，利用训练好的多任务卷积神经网络预测所生成的图像块的质量分数和失真类型，根据图像块的质量分数和失真类型计算待测图像的质量分数和失真类型具体包括以下步骤：

步骤B1：将待测图像I归一化处理，然后将待测图像划分成大小为H×W的图像块；

步骤B2：将所有图像块作为训练好的多任务卷积神经网络的输入，得到每个图像块的图像质量分数和失真类型；

步骤B3：选择待测图像的失真类型预测概率大于或等于指定阈值δ的所有图像块，计算各种失真类型的图像块数量，选择数量最多的失真类型作为待测图像I的失真类型D_I；

步骤B4：放弃所有失真类型的预测概率小于指定阈值δ的图像块，使用基于概率限定的平均方法作为待预测图像I的最终质量分数

进一步地，步骤B3中，待测图像I的失真类型D_I的计算如下：

式中，C为待测图像候选失真类型的数量，num(j，δ)表示预测失真类型为j且其概率大于或等于指定阈值δ的图像块的数量。

进一步地，所述步骤B4中，待预测图像I的最终质量分数

的计算公式如下：

其中，

式中，M是待测图像I的图像块总数量，

是待测图像I的第k个图像块由所提出的多任务卷积神经网络预测的图像质量分数，f₂ ^ω(I_k)_d为待测图像I的第k个图像块的失真类型d对应的预测概率，λ_k当且仅当f₂ ^ω(I_k)_d大于指定阈值δ时为1。

本发明还提供了一种基于不确定性和概率的多任务无参考图像质量评估系统，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序，当处理器运行该计算机程序时，实现如上文所述的方法步骤。

与现有技术相比，本发明有以下有益效果：本发明适用于多种失真类型的、不同失真程度的图像质量评估，计算得到的质量评估分数接近人的主观评估分数。现有的大部分无参考方法只针对图像质量进行评估，而失真类型和图像质量存在着重要关系，基于此，本发明提出一种基于不确定性和概率的多任务无参考图像质量评估方法。该方法归一化图像作为模型输入，通过提出的多任务卷积神经网络提取图像特征、学习图像质量和失真类型之间的不确定性，不仅能够评估图像质量，也能够预测失真类型，并显著提高无参考图像质量评估的性能。本发明综合考虑图像的质量评估分数和失真类型之间的联系，对图像的失真信息有更强的表示能力，能显著提高无参考图像质量评估性能并同时预测失真类型。

附图说明

图1为本发明实施例的方法流程示意图。

图2为本发明实施例的多任务卷积神经网络示意图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

如图1所示，本实施例提供了一种基于不确定性和概率的多任务无参考图像质量评估方法，具体包括以下步骤：

将待训练的数据进行数据预处理；首先对其做归一化处理，然后将归一化图像进行切块；

设计能够预测失真类型和图像质量分数的多任务卷积神经网络，并训练该多任务卷积神经网络；

将待测图像进行预处理，生成图像块，利用训练好的多任务卷积神经网络预测所生成的图像块的质量分数和失真类型，根据图像块的质量分数和失真类型计算待测图像的质量分数和失真类型。

本实施例使用归一化的图像块作为模型输入，使用多任务卷积神经网络的提取图像特征，通过失真类型和质量分数之间的不确定性同时预测失真类型和质量分数，基于概率计算图像的失真类型和质量分数，这种方法不仅能显著提高无参考图像质量评估的性能，并能同时预测图像失真类型。

在本实施例中，所述将待训练的数据进行数据预处理具体为：

先将所有失真图像进行归一化处理，将所有归一化图像有重叠地切分成若干个H×W大小的图像块。

其中，给定图像I(i,j)，计算归一化值

的公式如下：

式中，(i，j)表示像素的位置。

在本实施例中，所述设计能够预测失真类型和图像质量分数的多任务卷积神经网络，并训练该多任务卷积神经网络具体包括以下步骤：

步骤A1：设计多任务卷积神经网络用于可同时预测失真类型和图像质量分数，网络输入为归一化图像块；如图2所示，该多任务卷积神经网络首先经过多个卷积层、批归一化层、激活层和注意力机制块进行特征提取；提取后的图像特征首先经过两个全连接层，然后分为两路，一路经过一个单元的全连接层以预测图像质量分数s，另一路经过C个单元的全连接层以预测图像失真类型d；其中，进行特征提取部分的网络结构依次包括两个卷积块、一个最大池化层、两个卷积块、一个最大池化层、三个卷积块、一个最大池化层、三个卷积块、一个最大池化层、三个卷积块、一个最大池化层；其中卷积块依次包括卷积+批归一化+ReLU模块、全局池化层、全连接层、ReLU模块、全连接层、Sigmoid模块、特征重标定模块、ReLU模块。

步骤A2：使用多任务的不确定性作为所述多任务卷积神经网络的损失函数，计算公式如下：

其中，

式中，ω是模型的权重，x是输入的图像，y₁表示输入的图像质量的真实主观评估分数，y₂表示输入的图像的真实失真类型向量，f₁ ^ω(x)和f₂ ^ω(x)分别是网络在权重ω下对输入x预测的图像质量评估分数和失真类型向量，σ₁和σ₂分别是由网络学习的质量评估分数、失真类型的不确定性因子，N为每个批次输入的图像数量，C为待测图像候选失真类型的数量，

为输入的第i张图像第j种失真类型的真实概率，

为第i张图像第j种失真类型的预测概率经过失真类型不确定性因子σ₂缩放的值；

步骤A3：所述多任务卷积神经网络通过多次迭代进行反向传播；在每次迭代中，训练集被分成多个批次进行分批优化，采用基于梯度方差的Adam方法自适应和余弦退火控制每个参数的分批优化学习率，训练预设数量个epoch后结束，取验证误差最小的多任务卷积神经网络作为训练结果。

在本实施例中，步骤A1中，图像质量分数s的计算公式如下：

s＝f₁ ^ω(x)；

式中，ω是模型的权重，x是输入的图像，f₁ ^ω(x)是网络在权重ω下对输入x预测的图像质量分数。

在本实施例中，步骤A1中，图像失真类型d的计算公式如下：

d＝argmax_1≤i≤C(f₂ ^ω(x)_i)；

式中，ω是模型的权重，x是输入的图像，C为待测图像候选失真类型的数量，f₂ ^ω(x)_i是网络在权重ω下对输入x预测的失真类型向量的第i维。

在本实施例中，所述将待测图像进行预处理，生成图像块，利用训练好的多任务卷积神经网络预测所生成的图像块的质量分数和失真类型，根据图像块的质量分数和失真类型计算待测图像的质量分数和失真类型具体包括以下步骤：

步骤B1：将待测图像I归一化处理，然后将待测图像划分成大小为H×W的图像块；

步骤B2：将所有图像块作为训练好的多任务卷积神经网络的输入，得到每个图像块的图像质量分数和失真类型；

步骤B3：选择待测图像的失真类型预测概率大于或等于指定阈值δ的所有图像块，计算各种失真类型的图像块数量，选择数量最多的失真类型作为待测图像I的失真类型D_I；

步骤B4：放弃所有失真类型的预测概率小于指定阈值δ的图像块，使用基于概率限定的平均方法作为待预测图像I的最终质量分数

在本实施例中，步骤B3中，待测图像I的失真类型D_I的计算如下：

式中，C为待测图像候选失真类型的数量，num(j，δ)表示预测失真类型为j且其概率大于或等于指定阈值δ的图像块的数量。

在本实施例中，所述步骤B4中，待预测图像I的最终质量分数

的计算公式如下：

其中，

式中，M是待测图像I的图像块总数量，

是待测图像I的第k个图像块由所提出的多任务卷积神经网络预测的图像质量分数，f₂ ^ω(I_k)_d为待测图像I的第k个图像块的失真类型d对应的预测概率，λ_k当且仅当f₂ ^ω(I_k)_d大于指定阈值δ时为1。

本实施例还提供了一种基于不确定性和概率的多任务无参考图像质量评估系统，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序，当处理器运行该计算机程序时，实现如上文所述的方法步骤。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (5)

1.一种基于不确定性和概率的多任务无参考图像质量评估方法，其特征在于，包括以下步骤：

将待训练的数据进行数据预处理；

设计能够预测失真类型和图像质量分数的多任务卷积神经网络，并训练该多任务卷积神经网络；

将待测图像进行预处理，生成图像块，利用训练好的多任务卷积神经网络预测所生成的图像块的质量分数和失真类型，根据图像块的质量分数和失真类型计算待测图像的质量分数和失真类型；

所述将待训练的数据进行数据预处理具体为：

先将所有失真图像进行归一化处理，将所有归一化图像有重叠地切分成若干个H×W大小的图像块；

所述设计能够预测失真类型和图像质量分数的多任务卷积神经网络，并训练该多任务卷积神经网络具体包括以下步骤：

步骤A1：设计多任务卷积神经网络，该多任务卷积神经网络首先经过多个卷积层、批归一化层、激活层和注意力机制块进行特征提取；提取后的图像特征首先经过两个全连接层，然后分为两路，一路经过一个单元的全连接层以预测图像质量分数s，另一路经过C个单元的全连接层以预测图像失真类型d；

步骤A2：使用多任务的不确定性作为所述多任务卷积神经网络的损失函数，计算公式如下：

其中，

式中，ω是模型的权重，x是输入的图像，y₁表示输入的图像质量的真实主观评估分数，y₂表示输入的图像的真实失真类型向量，

和

分别是网络在权重ω下对输入x预测的图像质量评估分数和失真类型向量，σ₁和σ₂分别是由网络学习的质量评估分数、失真类型的不确定性因子，N为每个批次输入的图像数量，C为待测图像候选失真类型的数量，

为输入的第i张图像第j种失真类型的真实概率，

为第i张图像第j种失真类型的预测概率经过失真类型不确定性因子σ₂缩放的值；

步骤A3：所述多任务卷积神经网络通过多次迭代进行反向传播；在每次迭代中，训练集被分成多个批次进行分批优化，采用基于梯度方差的Adam方法自适应和余弦退火控制每个参数的分批优化学习率，训练预设数量个epoch后结束，取验证误差最小的多任务卷积神经网络作为训练结果；

步骤A1中，图像质量分数s的计算公式如下：

式中，ω是模型的权重，x是输入的图像，

是网络在权重ω下对输入x预测的图像质量评估分数；

步骤A1中，图像失真类型d的计算公式如下：

式中，ω是模型的权重，x是输入的图像，C为待测图像候选失真类型的数量，

是网络在权重ω下对输入x预测的失真类型向量的第i维。

2.根据权利要求1所述的一种基于不确定性和概率的多任务无参考图像质量评估方法，其特征在于，所述将待测图像进行预处理，生成图像块，利用训练好的多任务卷积神经网络预测所生成的图像块的质量分数和失真类型，根据图像块的质量分数和失真类型计算待测图像的质量分数和失真类型具体包括以下步骤：

步骤B1：将待测图像I归一化处理，然后将待测图像划分成大小为H×W的图像块；

步骤B2：将所有图像块作为训练好的多任务卷积神经网络的输入，得到每个图像块的图像质量分数和失真类型；

步骤B3：选择待测图像的失真类型预测概率大于或等于指定阈值δ的所有图像块，计算各种失真类型的图像块数量，选择数量最多的失真类型作为待测图像I的失真类型D_I；

步骤B4：放弃所有失真类型的预测概率小于指定阈值δ的图像块，使num(j,δ)用基于概率限定的平均方法作为待预测图像I的最终质量分数

3.根据权利要求2所述的一种基于不确定性和概率的多任务无参考图像质量评估方法，其特征在于，步骤B3中，待测图像I的失真类型D_I的计算如下：

式中，C为待测图像候选失真类型的数量，num(j,δ)表示预测失真类型为j且其概率大于或等于指定阈值δ的图像块的数量。

4.根据权利要求2所述的一种基于不确定性和概率的多任务无参考图像质量评估方法，其特征在于，所述步骤B4中，待预测图像I的最终质量分数

的计算公式如下：

其中，

式中，M是待测图像I的图像块总数量，

是待测图像I的第k个图像块由所提出的多任务卷积神经网络预测的图像质量分数，

为待测图像I的第k个图像块的失真类型d对应的预测概率，λ_k当且仅当

大于指定阈值δ时为1。

5.一种基于不确定性和概率的多任务无参考图像质量评估系统，其特征在于，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序，当处理器运行该计算机程序时，实现如权利要求1-4任一项所述的方法步骤。

Images