CN116245861A - 基于交叉多尺度的无参考图像质量评价方法 - Google Patents

Abstract

本发明公开了基于交叉多尺度的无参考图像质量评价方法，包括以下步骤；步骤1，获取训练样本集B和测试样本集C；步骤2，构建基于交叉多尺度无参考图像质量评价的网络模型S；步骤3，对基于交叉多尺度无参考图像质量评价的网络模型S进行迭代训练；步骤4，获取图像的无参考质量评价结果Q：将测试样本集C作为训练完成的基于交叉多尺度网络的无参考图像质量评价网络模型S的输入进行前向推理，得到每个测试样本的质量预测分数，以验证模型效果。本发明利用图像的局部和非局部语义信息与图像金字塔的提取不同层级信息的能力，解决现有方法中单一网络模型面对复杂失真图像无法同时兼顾全局失真与局部失真的问题。

Description

基于交叉多尺度的无参考图像质量评价方法

技术领域

本发明属于图像质量评价技术领域，具体涉及基于交叉多尺度的无参考图像质量评价方法。

背景技术

数字图像在采集、压缩、传输与读取等过程中常产生不同程度的失真，这些不同程度的失真会降低数字图像的质量，使数字图像承载的信息与真实信息之间产生偏差，从而使人类在获取数字图像承载的真实信息时产生误判。因此，在人类获取数字图像承载的真实信息的过程中，准确评价数字图像的质量格外重要。数字图像质量的评价在许多方面有着重要的应用，例如通过评价采集的数字图像的质量从而对使用的硬件设备进行筛选；通过评价编码压缩后的数字图像的质量从而对编码压缩算法作出评价；通过评价去噪后的数字图像的质量从而确定数字图像去噪算法的优劣。

数字图像的质量由其失真程度表征，因此，通过评价数字图像的失真程度从而获取数字图像的质量。研究中采用质量分数表示数字图像的失真程度，质量分数越低，其图像质量越低，质量分数越高，其图像质量越高。数字图像质量评价分为主观质量评价和客观质量评价。其中，主观质量评价是通过人眼观测给出其质量分数，此种方法可靠性强，但人眼评价的方式存在成本高、稳定性差的缺点。而客观质量评价通过设计算法自动给出图像质量分数，具有成本低、稳定性高的优点，因而成为数字图像质量评价的重点。数字图像客观质量评价又分为全参考型、部分参考型以及无参考型。其中，全参考型数字图像质量评价通过原始图像和其对应失真图像比较而获取质量分数；部分参考型数字图像质量评价通过比较提取到的原始图像的部分信息与其对应的失真图像的信息来获取质量分数；无参考型数字图像质量评价不需要参考图像的任何信息，只依据失真图像本身提供的信息就能预测出质量分数。在实际情景中获取原始图像信息较难，因此，全参考型数字图像质量评价和部分参考型数字图像质量评价较难应用于实际。而无参考型数字图像质量评价仅需设计算法，无需原始图像的信息就能给出图像质量分数，因此，无参考型数字图像质量评价成为图像质量评价的热点，实际应用价值非常高。

申请公布号为CN 115205658 A，名称为“一种无参考全面感知全景图像质量的评价方法”的专利申请，该方法对全景图像评价更为精确，但是不足之处在于，单一的网络模型面对复杂失真图像无法同时兼顾全局失真与局部失真。随着网络的层次的加深，提取到的图像特征感受野更大，语义程度更加丰富，对局部失真的表征能力减弱，导致图像的细粒度评价精度降低。

申请公布号为CN 115272203 A，名称为“一种基于深度学习的无参考图像质量评价方法”的专利申请，该方法不仅解决了传统方法面对多失真类型时无法有效评估图像质量分数的问题，还弥补了部分基于深度学习的方法所出现的层次特征物理意义不明确、层次特征信息未充分利用的情况。该方法的不足之处在于，在融合过程中，没有考虑深层次信息对浅层次信息的影响，没有很好的符合人类视觉感知系统先感知内容后感知质量的特性，导致评价结果不准确。

现有的图像质量评价方法仅使用单一网络模型，采用单一层级的特征获取质量分数，面对复杂失真图像无法同时兼顾全局失真信息与局部失真信息，不能准确地对图像的优劣进行评价。

发明内容

为了克服上述现有技术存在的不足，本发明的目的在于提供基于交叉多尺度的无参考图像质量评价方法，利用图像的局部和非局部语义信息与图像金字塔的提取不同层级信息的能力，解决现有方法中单一网络模型面对复杂失真图像无法同时兼顾全局失真与局部失真的问题。

为了实现上述目的，本发明采用的技术方案是：

基于交叉多尺度的无参考图像质量评价方法，包括以下步骤；

步骤1，获取训练样本集B和测试样本集C；

步骤2，构建基于交叉多尺度无参考图像质量评价的网络模型S；

步骤3，对基于交叉多尺度无参考图像质量评价的网络模型S进行迭代训练；

步骤4，获取图像的无参考质量评价结果Q：

将测试样本集C作为训练完成的基于交叉多尺度网络的无参考图像质量评价网络模型S的输入进行前向推理，得到每个测试样本的质量预测分数，以验证模型效果。

所述步骤1具体为：

步骤1.1，在LIVE，TID2013，CSIQ三个数据集中，将参考图像随机划分为两部分，其中一部分用于训练，剩余的部分用于测试；将参考图像对应的失真图像划入训练样本集B₁和测试样本集C₁，将所有数据随机分成两个子集，其中一部分划入训练样本集B₂，剩余的部分划入测试样本集C₂；

步骤1.2，将集合B₁中的图片及其对应的质量分数标签与集合B₂中的图片及其对应的质量分数标签组合成训练样本集B，并将集合C₁中的图片及其对应的质量分数标签与集合C₂中的图片及其对应的质量分数标签组合成训练样本集C。

所述步骤2具体为：

步骤2.1，构建基于交叉多尺度无参考图像质量评价的竖直多尺度网络V，竖直多尺度网络V，用于提取同一图片不同尺度下特征，使得到的特征同时包含复杂的语义和较高的分辨率，既可以表达出全局空间的整体信息，也可以表达局部范围的特征，包括Resnet-50主干网络R、自上而下的上采样融合网络T-D、自底向顶的降采样融合网络B-U和竖直多尺度特征输出模块F；其中，Resnet-50主干网络R输出包括四个不同层输出的特征序列f_i(i＝1,2,3,4),自上而下的上采样融合网络T-D包括经融合后的四个特征序列f_i,a(i＝1,2,3,4)，自底向顶的降采样融合网络B-U包括经融合后的四个特征序列f_i,b(i＝1,2,3,4),竖直多尺度特征输出模块F包括处理后的四个特征序列f_i’(i＝1,2,3,4)；

步骤2.2，构建基于交叉多尺度无参考图像质量评价的水平多尺度网络H，用于获得局部表达最优的特征。从特征局部信息处理与统计的角度，通过不同大小的池化群对竖直多尺度网络输出的序列特征进行池化处理，使得图像局部特征得到最优表达。

步骤2.3，构建基于交叉多尺度无参考图像质量评价的质量回归网络R；

所述步骤2中，输入图片，经过竖直多尺度网络V和水平多尺度网络H后，得到了所需的特征，再将该特征输入到质量回归网络R中，得到最终的质量回归的分数。

基于交叉多尺度无参考图像质量评价的网络模型S由竖直多尺度网络V、水平多尺度网络H和质量回归网络R构成。

所述步骤2.1具体为：

步骤2.1.1,Resnet-50主干网络R提取四个级别的语义特征，从下至上的特征分辨率逐级减小，Resnet-50主干网络R中，提取四个尺度的特征从下至上分别是f₁、f₂、f₃、f₄；

步骤2.1.2，自上而下的上采样融合网络T-D的融合过程为：对顶层的特征f₄进行1×1卷积得到特征f_4,a，f_4,a进行二倍上采样，与次顶层特征f₃进行融合，得到融合特征f_3,a；融合特征f_3,a进行二倍上采样，与次底层特征f₂进行融合，得到融合特征f_2,a；融合特征f_2,a进行二倍上采样，与底层特征f₁进行融合，得到融合特征f_1,a，其中所有特征融合操作采取的是逐元素相加，至此，自上而下的预融合完成，得到特征序列f_i,a(i＝1,2,3,4)；上述过程表示如下式：

f_4,a＝Conv1(f₄)

Conv1表示1×1卷积操作，2×Up表示2倍上采样，

表示基于逐元素相加的特征融合；

步骤2.1.3，自底向顶的降采样融合网络B-U的融合过程为：对特征f_1,a卷积得到f_1,b；特征f_2,a进行二倍上采样后与特征f_1,b相加融合，得到特征f_2,b；特征f_3,a进行二倍上采样后与特征f_2,b相加融合，得到特征f_3,b；特征f_4,a进行二倍上采样后与特征f_3,b相加融合，得到特征f_4,b；至此，自下而上的特征融合增强完成，得到的序列特征f_i,b(i＝1,2,3,4)，该特征同时包含了浅层特征高分辨率以及深度特征丰富语义性的优点，上述特征融合增强过程用下式表示：

f_1,b＝Conv1(f_1,a)

Conv1表示1×1卷积操作，2×Up表示2倍上采样，

表示基于逐元素相加的特征融合；

步骤2.1.4，竖直多尺度特征输出模块F分别对处理后的特征进行输出，从下至上的特征分别是f₁’、f₂’、f₃’、f₄’。

所述步骤2.2具体为：

步骤2.2.1，预定义池化核序列：pool_x(x＝1,2,4,6)，层特征f_b,i通过pool_x统计出不同局部大小的特征序列：

f_x,i＝pool_x(f_i’)

该操作承接竖直网络V，属于水平网络H的第一步。是对竖直网络V输出的结果f_i’，进行池化(pool)操作。

步骤2.2.2，特征f_x,i经过1×1的卷积进行整流去冗余，并将通道维数压缩：

f^c _x,i＝Conv1(f_x,i)

步骤2.2.3，对特征序列f^c _xi进行上采样使特征对齐，并按照通道维度进行拼接，形成多尺度融合特征F_i：

F_i＝Comcat(f^c _x,1,f^c _x,2,f^c _x,3,f^c _x,4)

其中，pool_x表示池化操作，Conv1表示卷积操作，Concat表示拼接操作；

水平多尺度网络H的输入为四个特征向量，经过水平多尺度网络H后，再输出四个特征向量，F_i为输出结果。

所述步骤2.3具体为：

步骤2.3.1，将多尺度融合特征F_i(i＝1,2,3,4)进行逐像素相加，得到最后的失真特征

步骤2.3.2，将失真特征F展平后，得到向量形式的特征

其中m为特征维度，输入由三个全连接层构成的回归模块，全连接层FC₁的权重矩阵为W₁∈R^628×m，偏置为b₁∈R⁶²⁸，全连接层FC₂的权重矩阵为W₂∈R^128×628，偏置为b₂∈R¹²⁸，全连接层Fc₃的权重矩阵为W₃∈R^1×128，偏置为b₃∈R¹，全连接层的输出为：

y_i＝ReLU(W_iy_i-1+b_i)

ReLU为激活函数。全连接层FC₂输出y₃即是失真图像最后的质量分数Q，属于质量回归网络R的最终输出结果，对输入的特征F，经过三层全连接网络，输出为最终的质量分数。

所述步骤3具体为：

步骤3.1，初始化迭代次数为t，最大迭代次数为T，当前基于交叉多尺度网络的无参考图像质量评价网络模型为S^t，并令t＝1，S^t＝S；

步骤3.2，从步骤1得到的训练样本集B中不放回地随机选取b个训练样本作为无参考图像质量评价网络模型S^t的输入；竖直多尺度网络V对每个训练样本进行不同层次特征提取，水平多尺度网络H对同层次不同尺度的特征进行融合，质量回归网络R对输出的多层次特征和同层次不同尺度特征拼接，得到交叉多尺度特征，再使用三层全连接层对交叉多尺度特征进行回归，得到每个训练样本对应的质量预测分数；

步骤3.3，首先计算每个训练样本对应的质量预测分数与该训练样本对应的质量分数标签的均方误差作为模型S^t的损失值，再采用Adam优化算法，对网络模型S^t的各层权值参数进行更新；

计算每个训练样本对应的质量预测分数与该训练样本对应的质量分数标签的均方误差的公式为

采用Adam优化算法，除了学习率之外，其余的参数均使用默认值，为了保证模型的收敛速度和学习的精度，根据以下公式更新学习率

b表示对基于交叉多尺度网络的无参考图像质量评价网络模型S进行迭代训练时从训练样本集B中不放回地随机选取训练样本的个数，q^g表示该b个训练样本中第g个训练样本对应的质量分数标签，

表示该b个训练样本中第g个训练样本对应的质量预测分数；

T表示当前的迭代次数，L代表更新学习率的步长，即每经过L次迭代就会更新一次学习率，d表示学习率的衰减系数，在损失函数中加入正则化项，并在训练过程中加入权重衰减weight_decay；

b＝16，L＝1，d＝0.5，weight_decay＝5×10^-4；

步骤3.4，判断是否已遍历训练样本集B，若是，执行步骤3.5，否则，执行步骤3.2和3.3；

步骤3.5，判断t＝T是否成立，若是，得到训练好的基于交叉多尺度网络的无参考图像质量评价网络模型S^*＝S^t，否则，令t＝t+1，并执行步骤3.3和3.4。

本发明的有益效果：

本发明利用交叉多尺度网络在语义信息丰富的图像块上对图像进行特征提取，通过分析不同层次的图像块中包含的不同信息，实现图像的无参考质量评价与分析评价。由于充分利用了图像的特征图中大感受野下的粗粒度特征和小感受野下的细粒度特征，本发明可以有效地评价出一幅既有全局失真又有局部失真的图像的质量。

附图说明

图1为本发明流程示意图。

图2为本发明交叉多尺度网络模型图。

具体实施方式

下面结合附图对本发明作进一步详细说明。

如图1、图2所示：

步骤1，获取训练样本集B和测试样本集C。

步骤1.1，在LIVE，TID2013，CSIQ三个数据集中，将参考图像随机划分为两部分，其中70％用于训练，剩余的30％用于测试。将参考图像对应的失真图像划入训练样本集B₁和测试样本集C₁，从而保证训练样本集和测试样本集之间没有内容相同的图像。对于LIVEC数据集，由于图像数据没有参考图像且均为真实失真，因此将所有数据随机分成两个子集，其中70％划入训练样本集B₂，剩余的30％划入测试样本集C₂。

步骤1.2，将集合B₁中的图片及其对应的质量分数标签与集合B₂中的图片及其对应的质量分数标签组合成训练样本集B，并将集合C₁中的图片及其对应的质量分数标签与集合C₂中的图片及其对应的质量分数标签组合成训练样本集C。

步骤2，构建基于交叉多尺度无参考图像质量评价的网络模型S。

步骤2.1，构建基于交叉多尺度无参考图像质量评价的竖直多尺度网络V，其包括Resnet-50主干网络R、自上而下的上采样融合网络T-D、自底向顶的降采样融合网络B-U和竖直多尺度特征输出模块F。其中，Resnet-50主干网络R输出包括四个不同层输出的特征序列f_i(i＝1,2,3,4),自上而下的上采样融合网络T-D包括经融合后的四个特征序列f_i,a(i＝1,2,3,4)，自底向顶的降采样融合网络B-U包括经融合后的四个特征序列f_i,b(i＝1,2,3,4),竖直多尺度特征输出模块F包括处理后的四个特征序列f_i’(i＝1,2,3,4)。

步骤2.1.1,Resnet-50主干网络R提取四个级别的语义特征，从下至上的特征分辨率逐级减小，在Resnet-50主干网络R中，提取四个尺度的特征从下至上分别是f₁、f₂、f₃、f₄。

步骤2.1.2，自上而下的上采样融合网络T-D的融合过程为：对顶层的特征f₄进行1×1卷积得到特征f_4,a，f_4,a进行二倍上采样，与次顶层特征f₃进行融合，得到融合特征f_3,a；融合特征f_3,a进行二倍上采样，与次底层特征f₂进行融合，得到融合特征f_2,a；融合特征f_2,a进行二倍上采样，与底层特征f₁进行融合，得到融合特征f_1,a，其中所有特征融合操作采取的是逐元素相加，至此，自上而下的预融合完成，得到特征序列f_i,a(i＝1,2,3,4)。上述过程可以表示如下式：

f_4,a＝Conv1(f₄)

本实施例中，Conv1表示1×1卷积操作，2×Up表示2倍上采样，

表示基于逐元素相加的特征融合。

步骤2.1.3，自底向顶的降采样融合网络B-U的融合过程为：对特征f_1,a卷积得到f_1,b；特征f_2,a进行二倍上采样后与特征f_1,b相加融合，得到特征f_2,b；特征f_3,a进行二倍上采样后与特征f_2,b相加融合，得到特征f_3,b；特征f_4,a进行二倍上采样后与特征f_3,b相加融合，得到特征f_4,b。至此，自下而上的特征融合增强完成，得到的序列特征f_i,b(i＝1,2,3,4)，该特征同时包含了浅层特征高分辨率以及深度特征丰富语义性的优点，上述特征融合增强过程可以用下式表示：

f_1,b＝Conv1(f_1,a)

本实施例中，Conv1表示1×1卷积操作，2×Up表示2倍上采样，

表示基于逐元素相加的特征融合。

步骤2.1.4，竖直多尺度特征输出模块F分别对处理后的特征进行输出，从下至上的特征分别是f₁’、f₂’、f₃’、f₄’。

步骤2.2，构建基于交叉多尺度无参考图像质量评价的水平多尺度网络H。

步骤2.2.1，预定义池化核序列：pool_x(x＝1,2,4,6)，层特征f_b,i通过pool_x统计出不同局部大小的特征序列：

f_x,i＝pool_x(f_i’)

步骤2.2.2，特征f_x,i经过1×1的卷积进行整流去冗余，并将通道维数压缩：

f^c _x,i＝Conv1(f_x,i)

步骤2.2.3，对特征序列f^c _xi进行上采样使特征对齐，并按照通道维度进行拼接，形成多尺度融合特征F_i：

F_i＝Comcat(f^c _x,1,f^c _x,2,f^c _x,3,f^c _x,4)

本实施例中，pool_x表示池化操作，Conv1表示卷积操作，Concat表示拼接操作。

步骤2.3，构建基于交叉多尺度无参考图像质量评价的质量回归网络R。

步骤2.3.1，将多尺度融合特征F_i(i＝1,2,3,4)进行逐像素相加，得到最后的失真特征

步骤2.3.2，将失真特征F展平后，得到向量形式的特征

其中m为特征维度。输入由三个全连接层构成的回归模块，全连接层FC₁的权重矩阵为W₁∈R^628×m，偏置为b₁∈R⁶²⁸，全连接层FC₂的权重矩阵为W₂∈R^128×628，偏置为b₂∈R¹²⁸，全连接层FC₃的权重矩阵为W₃∈R^1×128，偏置为b₃∈R¹，全连接层的输出为：

y_i＝ReLU(W_iy_i-1+b_i)

本实施例中，ReLU为激活函数。全连接层FC₂输出y₃即是失真图像最后的质量分数Q

步骤3，对基于交叉多尺度无参考图像质量评价的网络模型S进行迭代训练。

步骤3.1，初始化迭代次数为t，最大迭代次数为T，当前基于交叉多尺度网络的无参考图像质量评价网络模型为S^t，并令t＝1，S^t＝S；

本实施例中，Y＝60；

步骤3.2，从训练样本集B中不放回地随机选取b个训练样本作为无参考图像质量评价网络模型S^t的输入；竖直多尺度网络V对每个训练样本进行不同层次特征提取，水平多尺度网络H对同层次不同尺度的特征进行融合，质量回归网络R对输出的多层次特征和同层次不同尺度特征拼接，得到交叉多尺度特征，再使用三层全连接层对交叉多尺度特征进行回归，得到每个训练样本对应的质量预测分数；

本实施例中，b＝16；

步骤3.3，首先计算每个训练样本对应的质量预测分数与该训练样本对应的质量分数标签的均方误差作为模型S^t的损失值，再采用Adam优化算法，对网络模型S^t的各层权值参数进行更新；

本实施例中，计算每个训练样本对应的质量预测分数与该训练样本对应的质量分数标签的均方误差的公式为

本实施例中，采用Adam优化算法，除了学习率之外，其余的参数均使用默认值。为了保证模型的收敛速度和学习的精度，根据以下公式更新学习率

b表示对基于交叉多尺度网络的无参考图像质量评价网络模型S进行迭代训练时从训练样本集B中不放回地随机选取训练样本的个数，q^g表示该b个训练样本中第g个训练样本对应的质量分数标签，

表示该b个训练样本中第g个训练样本对应的质量预测分数；

T表示当前的迭代次数，L代表更新学习率的步长，即每经过L次迭代就会更新一次学习率，d表示学习率的衰减系数，与此同时，为了防止模型在训练过程中出现过拟合的情况，在损失函数中加入正则化项，并在训练过程中加入权重衰减weight_decay；

本实施例中，b＝16，L＝1，d＝0.5，weight_decay＝5×10^-4；

步骤3.4，判断是否已遍历训练样本集B，若是，执行步骤3.5，否则，执行步骤3.2和3.3；

步骤3.5，判断t＝T是否成立，若是，得到训练好的基于交叉多尺度网络的无参考图像质量评价网络模型S^*＝S^t，否则，令t＝t+1，并执行步骤3.3和3.4

步骤4，获取图像的无参考质量评价结果Q：

将测试样本集C作为训练完成的基于交叉多尺度网络的无参考图像质量评价网络模型S的输入进行前向推理，得到每个测试样本的质量预测分数，以验证模型效果。

Claims (7)

1.基于交叉多尺度的无参考图像质量评价方法，其特征在于，包括以下步骤；

步骤1，获取训练样本集B和测试样本集C；

步骤2，构建基于交叉多尺度无参考图像质量评价的网络模型S；

步骤3，对基于交叉多尺度无参考图像质量评价的网络模型S进行迭代训练；

步骤4，获取图像的无参考质量评价结果Q：

将测试样本集C作为训练完成的基于交叉多尺度网络的无参考图像质量评价网络模型S的输入进行前向推理，得到每个测试样本的质量预测分数，以验证模型效果。

2.根据权利要求1所述的基于交叉多尺度的无参考图像质量评价方法，其特征在于，所述步骤1具体为：

步骤1.1，在LIVE，TID2013，CSIQ三个数据集中，将参考图像随机划分为两部分，其中一部分用于训练，剩余部分用于测试；将参考图像对应的失真图像划入训练样本集B₁和测试样本集C₁，将所有数据随机分成两个子集，其中一部分划入训练样本集B₂，剩余部分划入测试样本集C₂；

步骤1.2，将集合B₁中的图片及其对应的质量分数标签与集合B₂中的图片及其对应的质量分数标签组合成训练样本集B，并将集合C₁中的图片及其对应的质量分数标签与集合C₂中的图片及其对应的质量分数标签组合成训练样本集C。

3.根据权利要求1所述的基于交叉多尺度的无参考图像质量评价方法，其特征在于，所述步骤2具体为：

步骤2.1，构建基于交叉多尺度无参考图像质量评价的竖直多尺度网络V，用于提取同一图片不同尺度下特征，包括Resnet-50主干网络R、自上而下的上采样融合网络T-D、自底向顶的降采样融合网络B-U和竖直多尺度特征输出模块F；其中，Resnet-50主干网络R输出包括四个不同层输出的特征序列f_i(i＝1,2,3,4),自上而下的上采样融合网络T-D包括经融合后的四个特征序列f_i,a(i＝1,2,3,4)，自底向顶的降采样融合网络B-U包括经融合后的四个特征序列f_i,b(i＝1,2,3,4),竖直多尺度特征输出模块F包括处理后的四个特征序列f_i’(i＝1,2,3,4)；

步骤2.2，构建基于交叉多尺度无参考图像质量评价的水平多尺度网络H，用于获得局部表达最优的特征；

步骤2.3，构建基于交叉多尺度无参考图像质量评价的质量回归网络R。

4.根据权利要求3所述的基于交叉多尺度的无参考图像质量评价方法，其特征在于，所述步骤2.1具体为：

步骤2.1.1,Resnet-50主干网络R提取四个级别的语义特征，从下至上的特征分辨率逐级减小，在Resnet-50主干网络R中，提取四个尺度的特征从下至上分别是f₁、f₂、f₃、f₄；

步骤2.1.2，自上而下的上采样融合网络T-D的融合过程为：对顶层的特征f₄进行1×1卷积得到特征f_4,a，f_4,a进行二倍上采样，与次顶层特征f₃进行融合，得到融合特征f_3,a；融合特征f_3,a进行二倍上采样，与次底层特征f₂进行融合，得到融合特征f_2,a；融合特征f_2,a进行二倍上采样，与底层特征f₁进行融合，得到融合特征f_1,a，其中所有特征融合操作采取的是逐元素相加，至此，自上而下的预融合完成，得到特征序列f_i,a(i＝1,2,3,4)；上述过程表示如下式：

f_4,a＝Conv1(f₄)

Conv1表示1×1卷积操作，2×Up表示2倍上采样，

表示基于逐元素相加的特征融合；

步骤2.1.3，自底向顶的降采样融合网络B-U的融合过程为：对特征f_1,a卷积得到f_1,b；特征f_2,a进行二倍上采样后与特征f_1,b相加融合，得到特征f_2,b；特征f_3,a进行二倍上采样后与特征f_2,b相加融合，得到特征f_3,b；特征f_4,a进行二倍上采样后与特征f_3,b相加融合，得到特征f_4,b；至此，自下而上的特征融合增强完成，得到的序列特征f_i,b(i＝1,2,3,4)，上述特征融合增强过程用下式表示：

f_1,b＝Conv1(f_1,a)

Conv1表示1×1卷积操作，2×Up表示2倍上采样，

表示基于逐元素相加的特征融合；

步骤2.1.4，竖直多尺度特征输出模块F分别对处理后的特征进行输出，从下至上的特征分别是f₁’、f₂’、f₃’、f₄’。

5.根据权利要求3所述的基于交叉多尺度的无参考图像质量评价方法，其特征在于，所述步骤2.2具体为：

步骤2.2.1，预定义池化核序列：pool_x(x＝1,2,4,6)，层特征f_b,i通过pool_x统计出不同局部大小的特征序列：

f_x,i＝pool_x(f_i’)

步骤2.2.2，特征f_x,i经过1×1的卷积进行整流去冗余，并将通道维数压缩：

f^c _x,i＝Conv1(f_x,i)

步骤2.2.3，对特征序列f^c _xi进行上采样使特征对齐，并按照通道维度进行拼接，形成多尺度融合特征F_i：

F_i＝Concat(f^c _x,1,f^c _x,2,f^c _x,3,f^c _x,4)

其中，pool_x表示池化操作，Conv1表示卷积操作，Concat表示拼接操作。

6.根据权利要求3所述的基于交叉多尺度的无参考图像质量评价方法，其特征在于，所述步骤2.3具体为：

步骤2.3.1，将多尺度融合特征F_i(i＝1,2,3,4)进行逐像素相加，得到最后的失真特征

步骤2.3.2，将失真特征F展平后，得到向量形式的特征

其中m为特征维度，输入由三个全连接层构成的回归模块，全连接层FC₁的权重矩阵为W₁∈R^628×m，偏置为b₁∈R⁶²⁸，全连接层FC₂的权重矩阵为W₂∈R^128×628，偏置为b₂∈R¹²⁸，全连接层FC₃的权重矩阵为W₃∈R^1×128，偏置为b₃∈R¹，全连接层的输出为：

y_i＝ReLU(W_iy_i-1+b_i)

ReLU为激活函数，全连接层FC₂输出y₃即是失真图像最后的质量分数Q。

7.根据权利要求1所述的基于交叉多尺度的无参考图像质量评价方法，其特征在于，所述步骤3具体为：

步骤3.1，初始化迭代次数为t，最大迭代次数为T，当前基于交叉多尺度网络的无参考图像质量评价网络模型为S^t，并令t＝1，S^t＝S；

步骤3.2，从步骤1得到的训练样本集B中不放回地随机选取b个训练样本作为无参考图像质量评价网络模型S^t的输入；竖直多尺度网络V对每个训练样本进行不同层次特征提取，水平多尺度网络H对同层次不同尺度的特征进行融合，质量回归网络R对输出的多层次特征和同层次不同尺度特征拼接，得到交叉多尺度特征，再使用三层全连接层对交叉多尺度特征进行回归，得到每个训练样本对应的质量预测分数；

步骤3.3，首先计算每个训练样本对应的质量预测分数与该训练样本对应的质量分数标签的均方误差作为模型S^t的损失值，再采用Adam优化算法，对网络模型S^t的各层权值参数进行更新；

计算每个训练样本对应的质量预测分数与该训练样本对应的质量分数标签的均方误差的公式为

采用Adam优化算法，除了学习率之外，其余的参数均使用默认值，为了保证模型的收敛速度和学习的精度，根据以下公式更新学习率

b表示对基于交叉多尺度网络的无参考图像质量评价网络模型S进行迭代训练时从训练样本集B中不放回地随机选取训练样本的个数，q^g表示该b个训练样本中第g个训练样本对应的质量分数标签，

表示该b个训练样本中第g个训练样本对应的质量预测分数；

T表示当前的迭代次数，L代表更新学习率的步长，即每经过L次迭代就会更新一次学习率，d表示学习率的衰减系数，在损失函数中加入正则化项，并在训练过程中加入权重衰减weight_decay；

步骤3.4，判断是否已遍历训练样本集B，若是，执行步骤3.5，否则，执行步骤3.2和3.3；

步骤3.5，判断t＝T是否成立，若是，得到训练好的基于交叉多尺度网络的无参考图像质量评价网络模型S^*＝S^t，否则，令t＝t+1，并执行步骤3.3和3.4。

Images