CN114066812A - 基于空间注意力机制的无参考图像质量评价方法 - Google Patents

Abstract

本发明公开了一种基于空间注意力机制的无参考图像质量评价方法，具体包括如下步骤：步骤1，将失真图像输入到特征提取网络中，提取失真图像的多尺度深层语义特征；步骤2，将步骤1所得结果输入到空间域注意力模块中，提取多尺度语义特征的空间域注意力特征；步骤3，对步骤2所得结果使用拼接方式进行融合，得到失真图像的多尺度空间注意力融合特征；步骤4，对步骤3所得结果使用拼接方式进行融合，得到最终输入到回归网络的融合特征；步骤5，将经步骤4得到的融合特征输入到回归网络中，得到图像的预测得分。采用本发明能够捕捉图像中不均匀的局部失真，将局部失真与全局失真结合起来，使图像质量评价预测得更为准确。

Description

基于空间注意力机制的无参考图像质量评价方法

技术领域

本发明属于图像分析及图像处理技术领域，涉及一种基于空间注意力机制的无参考图像质量评价方法。

背景技术

数字图像在当今时代几乎无处不在，正通过移动设备、社交媒体等渗透到人们的日常生活中。然而，由于处理不当、恶劣的天气环境或压缩过程中造成的失真等多种原因，图像可能会出现多次失真、损坏或压缩伪影的情况。因此，评估其感知质量对于图像通信和图像处理至关重要。

客观质量评价可以根据原始信息的可用性分为三类：全参考(FR-IQA)，半参考(RR-IQA)和无参考(NR-IQA)方法。全参考图像质量评价具有原始参考图像的完全可访问性，这允许该方法确定失真图像与原始图像之间的差异并计算失真图像的相对退化。而半参考方法中只有部分原始图像的信息可用。由于在现实中时常缺乏足够的参考图像数据，无法通过将失真图像与原始图像相关联来对失真图像进行质量预测。因此，不需要参考图像进行质量预测的无参考图像质量评价方法更有实际意义。然而，由于缺乏原始信息，NR-IQA是比其他两种方法更具挑战性的方法。由于人类视觉系统需要通过将失真图像与原始图像进行比较来确定图像的感知偏差，因此具有类似工作原理的全参考方法可以取得与人类视觉系统类似的效果。而无参考方法缺乏基本信息，导致评估精度低于全参考方法且难度更大。

随着深度学习的崛起，基于深度学习的无参考方法的评估精度快速提升，表现出优于传统方法的预测性能。我们观察到大多数眼睛注视与更严重的失真区域密切相关。在感知失真图像时，注意力与失真类型分类和感知质量预测密切相关。

发明内容

本发明的目的是提供一种基于空间注意力机制的无参考图像质量评价方法，采用该方法能够捕捉图像中不均匀的局部失真，将局部失真与全局失真结合起来，使图像质量评价预测得更为准确。

本发明所采用的技术方案是，基于空间注意力机制的无参考图像质量评价方法，具体包括如下步骤：

步骤1，将失真图像输入到特征提取网络中，提取失真图像的多尺度深层语义特征；

步骤2，将经步骤1得到的失真图像的多尺度语义特征输入到空间域注意力模块中，提取多尺度语义特征的空间域注意力特征；

步骤3，将经步骤1得到的失真图像的多尺度深层语义特征与经步骤2得到的空间域注意力特征使用拼接方式进行融合，得到失真图像的多尺度空间注意力融合特征；

步骤4，将步骤3得到的失真图像的多尺度融合特征使用拼接方式进行融合，得到最终输入到回归网络的融合特征；

步骤5，将经步骤4得到的融合特征输入到回归网络中，得到图像的预测得分。

本发明的特点还在于：

步骤1的具体过程为：采用Resnet50网络提取失真图像特征，得到失真图像的多尺度深层语义特征矩阵：

其中，

表示Resnet50网络模型，θ表示失真图像I_d在特征提取模块中的权重参数，v_∞表示失真图像I_d提取的多尺度深层特征。

步骤2的具体过程为：

步骤2.1，将失真图像的多尺度语义特征v_∞输入到一个卷积层后生成两个新的映射A与B，在映射A与B的转置之间进行矩阵乘法，并应用一个softmax层来计算空间注意力特征：

式中：S_ji表示第i个位置对第j个位置的空间注意力影响，A_i为映射A的第i个元素、B_j为映射B的第j个元素；

步骤2.2，将失真的多尺度深层语义特征v_∞输入到另一个卷积层，生成新的特征映射M，接下来在M与S转置之间进行矩阵乘法操作，最终得到空间注意力输出特征f_i：

式中：α为权重，初始化为0；M_i为映射M的第i个元素。

步骤3具体为：

将经步骤1得到的失真图像的多尺度深层语义特征与步骤2得到的空间域注意力特征进行像素级求和运算，得到多尺度空间注意力融合特征F_∞：

F_∞＝f_i+(v_∞)_j (4)；

其中，f_i为空间注意力输出特征的第i个元素，(v_∞)_j为特征集v_∞中的第j个元素。

步骤4具体为：

采用如下公式(5)得到最终输入到回归网络的融合特征f；

f＝concat(F_∞) (5)；

其中，F_∞表示conv2_10、conv3_12、conv4_18与特征提取网络中最后一层的多尺度特征。

本发明的有益效果是：本发明提出了一种基于空间注意力机制的无参考图像质量评价方法，该方法提取多尺度特征以进行质量预测，将局部特征与全局特征结合起来，在一定程度上弥补了无参考方法在捕获局部不均匀失真的不足。本发明所提算法在特征提取阶段利用微调的卷积神经网络模型提取失真图的多尺度深层语义特征，随后将其输入到空间注意力模块提取失真图像的注意力特征，并将失真图像的多尺度语义特征与其空间注意力特征进行像素级融合，再以拼接的方式将最终得到的多尺度特征进行融合，最后将融合特征映射到回归网络获取预测得分。使用卷积神经网络提取图像特征，能提取到传统方法所不能提取到的深层语义特征，深层语义特征更注重图像内容。本发明注意力机制模块以预训练的残差网络为主干，在Resnet50残差网络生成的局部特征的基础上输出全局信息，从而获得更好的像素级预测特征表示。

附图说明

图1是本发明基于空间注意力机制的无参考图像质量评价方法的具体流程图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明基于恢复图像对混合域注意力机制的图像质量评价方法具体流程，如图1所示，具体操作步骤如下：

步骤1，将失真图像输入到以Resnet50为主干的特征提取网络中，提取失真图像的多尺度深层语义特征；

步骤1具体为：

特征提取网络的主干分支是Resnet50卷积神经网络模型，专注于理解图像内容，生成多尺度特征以进行质量预测。对于图像质量评价，失真在绝大部分情况下是多种多样的，其中大部分失真存在于局部区域，忽略局部区域的失真可能会导致预测质量与人类视觉感知之间的不一致。这是因为当图像的其余部分表现出相当好的质量时，人类视觉系统对局部失真很敏感。其次，随着图像内容的变化，人类感知不同物体质量的方式也不同。为捕获图像的局部失真，提取了网络中某三层特征作为图像的局部特征(分别为conv2_10、conv3_12、conv4_18)，除此之外，将最后一层提取的语义特征表示为全局图像内容，将局部与全局图像信息结合以便更好的表示图像内容。

Resnet50网络主要由卷积层和池化层构成，在卷积与池化的过程中进行图像特征的提取；给定一系列失真图像I_d，用Resnet50网络提取失真图像特征，得到深层语义特征矩阵：

式中，

表示Resnet50网络模型，θ表示失真图像I_d在特征提取模块中的权重参数，v_∞表示失真图像I_d提取的多尺度深层特征。

步骤2，将经步骤1得到的失真图像的多尺度语义特征输入到空间域注意力模块中，提取多尺度语义特征的空间域注意力特征；

步骤2具体为：

将经步骤1得到的失真图像的多尺度特征图分别输入空间域注意力模块中，提取失真图像的空间域注意力特征图；将失真图像的特征图输入到空间注意力模块中，首先应用卷积层获取降维特征，然后生成空间注意力模型。

步骤2.1，将失真图像的多尺度语义特征v_∞输入到一个卷积层后生成两个新的映射A与B，在A与B的转置之间进行矩阵乘法，并应用一个softmax层来计算空间注意力特征S：

式中：S_ji表示第i个位置对第j个位置的空间注意力影响，A_i为映射A的第i个元素、B_j为映射B的第j个元素，两个位置的特征表示越相似，表明二者的相关性越大；

步骤2.2，将失真的多尺度深层语义特征v_∞输入到另一个卷积层，生成新的特征映射M，接下来在M与S转置之间进行矩阵乘法操作，最终得到空间注意力输出特征f_i：

式中：α为权重，初始化为0；M_i为映射M的第i个元素。

步骤3，将经步骤1得到的失真图像的多尺度深层语义特征与经步骤2得到的空间域注意力特征分别使用拼接方式进行融合，得到二者的多尺度注意力输出特征；

步骤3具体为：

将经步骤1得到的多尺度深层语义特征与步骤2得到的多尺度空间注意力特征进行像素级求和运算，得到多尺度空间注意力融合特征F_∞：

F_∞＝f_i+(v_∞)_j (4)

其中f_i为空间注意力输出特征的第i个元素，(v_∞)_j为特征集v_∞中的第j个元素。

步骤4，将经步骤3得到的失真图像的多尺度融合特征使用拼接方式进行融合，得到二者最终的融合特征；

步骤4具体为：

将经步骤3得到的失真图像的多尺度空间注意力融合特征以拼接方式进行融合，得到最终输入到回归网络的融合特征f；

f＝concat(F_∞) (5)

其中，F_∞表示conv2_10、conv3_12、conv4_18与特征提取网络中最后一层的多尺度特征。

步骤5，将经步骤4得到的融合特征输入到回归网络中，回归网络主要由全连接层组成，最终得到图像的预测得分。

步骤5具体为：

由于特征提取网络提取的多尺度特征是内容感知的，目标网络的功能只是将学习到的图像内容映射到质量分数。因此，使用一个小而简单的网络进行质量预测。

使用由四层全连接层组成的回归网络进行质量预测，将融合特征f输入到回归网络以获得失真图像的质量预测得分，并选择S型函数作为激活函数，通过权重确定层进行传播以获得最终的质量分数；由于图像的各个失真块引起注意力不同程度平均池化不能充分感知各个图像块的失真，因此将失真图像划分为多个赋予了不同权值的图像块，则失真图像的最终预测得分为：

式中，q表示模型预测得分，N_p表示图像块的数量，ω_i表示每个图像块被赋予的权重，y_i为单个图像块的预测质量分数，质量感知规则采用显著性加权策略，使预测得分更接近人类主观感知。

利用失真图像的最终预测得分q，采用斯皮尔曼相关系数SROCC、肯德尔相关系数KROCC、皮尔森线性相关系数PLCC与均方根误差RMSE四个指标来评价预测模型的单调性、准确性、相关一致性与偏差程度。其中，SROCC与PLCC的范围均为[0,1]，值越高表示性能越好；KROCC的取值范围在[-1,1]之间，值越高模型性能越好；RMSE的值越小表明模型预测分数与人类主观评价越接近，模型预测性能越好。

本发明是基于注意力机制的无参考图像质量评价方法研究，主要目的是评价失真图像的退化程度。目前的深度学习模型大多只学习全局特征进行预测，然而图像质量评价存在着各种失真，其中大多数存在于局部区域，本发明从全局尺度提取深层语义特征的同时，捕捉图像普遍存在的局部失真。除此之外，在主观实验中，大多数眼睛注视于更严重的失真区域密切相关，注意力机制与失真类型与感知质量预测密切相关。本发明基于空间注意力机制预测图像退化程度，能感知到不均匀性的局部失真，从而使模型达到与人类视觉一致的图像质量预测。

Claims (5)

1.基于空间注意力机制的无参考图像质量评价方法，其特征在于：具体包括如下步骤：

步骤1，将失真图像输入到特征提取网络中，提取失真图像的多尺度深层语义特征；

步骤2，将经步骤1得到的失真图像的多尺度语义特征输入到空间域注意力模块中，提取多尺度语义特征的空间域注意力特征；

步骤3，将经步骤1得到的失真图像的多尺度深层语义特征与经步骤2得到的空间域注意力特征使用拼接方式进行融合，得到失真图像的多尺度空间注意力融合特征；

步骤4，将步骤3得到的失真图像的多尺度融合特征使用拼接方式进行融合，得到最终输入到回归网络的融合特征；

步骤5，将经步骤4得到的融合特征输入到回归网络中，得到图像的预测得分。

2.根据权利要求1所述的基于空间注意力机制的无参考图像质量评价方法，其特征在于：所述步骤1的具体过程为：采用Resnet50网络提取失真图像特征，得到失真图像的多尺度深层语义特征矩阵：

其中，

表示Resnet50网络模型，θ表示失真图像I_d在特征提取模块中的权重参数，v_∞表示失真图像I_d提取的多尺度深层特征。

3.根据权利要求2所述的基于空间注意力机制的无参考图像质量评价方法，其特征在于：所述步骤2的具体过程为：

步骤2.1，将失真图像的多尺度语义特征v_∞输入到一个卷积层后生成两个新的映射A与B，在映射A与B的转置之间进行矩阵乘法，并应用一个softmax层来计算空间注意力特征：

式中：S_ji表示第i个位置对第j个位置的空间注意力影响，A_i为映射A的第i个元素、B_j为映射B的第j个元素；

步骤2.2，将失真的多尺度深层语义特征v_∞输入到另一个卷积层，生成新的特征映射M，接下来在M与S转置之间进行矩阵乘法操作，最终得到空间注意力输出特征f_i：

式中：α为权重，初始化为0；M_i为映射M的第i个元素。

4.根据权利要求3所述的基于空间注意力机制的无参考图像质量评价方法，其特征在于：所述步骤3具体为：

将经步骤1得到的失真图像的多尺度深层语义特征与步骤2得到的空间域注意力特征进行像素级求和运算，得到多尺度空间注意力融合特征F_∞：

F_∞＝f_i+(v_∞)_j (4)；

其中，f_i为空间注意力输出特征的第i个元素，(v_∞)_j为特征集v_∞中的第j个元素。

5.根据权利要求4所述的基于空间注意力机制的无参考图像质量评价方法，其特征在于：所述步骤4具体为：

采用如下公式(5)得到最终输入到回归网络的融合特征f；

f＝concat(F_∞) (5)；

其中，F_∞表示conv2_10、conv3_12、conv4_18与特征提取网络中最后一层的多尺度特征。

Images