CN115797304A - 基于边缘特征引导的无参考屏幕内容图像质量评估方法 - Google Patents

基于边缘特征引导的无参考屏幕内容图像质量评估方法 Download PDF

Info

Publication number
CN115797304A
CN115797304A CN202211575974.3A CN202211575974A CN115797304A CN 115797304 A CN115797304 A CN 115797304A CN 202211575974 A CN202211575974 A CN 202211575974A CN 115797304 A CN115797304 A CN 115797304A
Authority
CN
China
Prior art keywords
feature
size
edge
features
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211575974.3A
Other languages
English (en)
Inventor
陈羽中
陈友昆
牛玉贞
何玉琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN202211575974.3A priority Critical patent/CN115797304A/zh
Publication of CN115797304A publication Critical patent/CN115797304A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明涉及基于边缘特征引导的无参考屏幕内容图像质量评估方法。包括以下步骤：S1：首先利用高斯拉普拉斯算子生成对应失真屏幕内容图像数据集的边缘结构图数据集；S2：设计多尺度边缘特征引导网络；S3：设计位置注意力模块，形成不同尺度特征的全局信息表示；S4：设计渐进式特征融合模块，该模块通过自顶向下的方式逐步聚合各个尺度的特征，以形成失真图像的多尺度特征表示；S5：设计基于边缘特征引导的图像质量评估网络；S6：输出失真图像的质量评估分数。应用本技术方案既可以通过不同深度的网络有效提取屏幕内容图像低层的细节信息和深层的语义信息，又能通过边缘结构图对图像的浅层边缘信息作为补充。

Description

基于边缘特征引导的无参考屏幕内容图像质量评估方法
技术领域
本发明涉及图像处理以及计算机视觉技术领域，特别是基于边缘特征引导的无参考屏幕内容图像质量评估方法。
背景技术
近年来，随着多媒体技术和云计算的快速发展，以及日常生活中各种终端设备的广泛使用，由此产生的大量屏幕内容图像受到了人们的广泛关注。与从真实场景中拍摄的传统自然图像不同，屏幕内容图像是一种通过计算机生成的同时包含文本与图像信息的数据类型，其包含了文本、表格、图形和动画等各种多媒体形式。通常屏幕内容图像在采集、压缩、传输、编码和显示等过程中不可避免地会受到各种失真因素的干扰，从而使得图像质量呈现不同程度的退化，最终影响到用户体验和系统的交互性能。因此，在屏幕内容图像的各种处理应用场景中为其设计行之有效的质量评价方法具有重要的意义。
依据质量评价过程中有无人为参与的角度区分，传统的屏幕内容图像质量评价方法可以分为主观质量评价和客观质量评价两大类。主观质量评价由人作为观测者直接对图像的质量进行评分，这种方法依赖于人的主观视觉感知，因此其得到的结果是最为准确和真实的，但同时主观质量评价也存在成本高、耗时长等缺点，并且因其不具备自动评分的能力，往往难以投入到实际的生产应用中。而客观质量评价方法则是由计算机按照人为设计的算法来自动量化图像以及视频的特征信息，从而计算得到相应的质量评估分数，该过程不存在人为因素的干扰。根据客观质量评价过程中所需参考图像信息量的差异，客观质量评价方法又能够进一步细分为全参考、半参考和无参考三类方法，这三类方法对参考图像信息量的依赖等级依次降低。由于现实场景中往往难以获取无失真的参考图像，因而其中的无参考方法具有更强的实用性与发展前景。
随着深度学习技术的不断发展，出现了许多基于卷积神经网络的屏幕内容图像质量评估模型。研究表明，基于深度神经网络的图像质量评价模型的预测性能远远高于传统的质量评估方法，同时利用卷积神经网络进行特征提取可以打破无参考图像质量评估针对于特定失真类型的局限性。通常情况下，采用卷积神经网络的质量评估模型大多是通过增加网络的深度从而获得更好的训练结果，但是随着网络深度的不断加深，所造成的图像细节信息退化问题往往难以避免，而由于屏幕内容图像来源的特殊性，它通常具有较强的边缘特征，因此，如何提取失真图像浅层显著的边缘结构信息，并有效融合到卷积神经网络中从而为模型训练提供额外的信息增益具有重要意义。
发明内容
有鉴于此，本发明的目的在于提供一种基于边缘特征引导的无参考屏幕内容图像质量评估方法，该方法可以通过失真图像对应的边缘结构特征为线索引导网络更好地关注边缘信息，由浅至深，多层次地对图像特征进行综合性提取学习。从整体上看，该方法既可以通过不同深度的网络有效提取屏幕内容图像低层的细节信息和深层的语义信息，又能通过边缘结构图对图像的浅层边缘信息作为补充，弥补了卷积神经网络在屏幕内容图像在特征提取上的缺陷，提高了无参考屏幕内容图像质量评估方法的性能。
为实现上述目的，本发明采用如下技术方案：基于边缘特征引导的无参考屏幕内容图像质量评估方法，包括以下步骤：
步骤S1、首先利用高斯拉普拉斯算子生成对应失真屏幕内容图像数据集的边缘结构图数据集，然后对两个数据集进行相同的数据预处理，并划分为训练集和测试集；
步骤S2、设计多尺度边缘特征引导网络，首先提取失真屏幕内容图像的多级特征，然后通过多个边缘引导特征模块将来自边缘结构图的浅层特征信息分别与多级主干特征进行自适应集成；
步骤S3、设计位置注意力模块，形成不同尺度特征的全局信息表示；
步骤S4、设计渐进式特征融合模块，该模块通过自顶向下的方式逐步聚合各个尺度的特征，以形成失真图像的多尺度特征表示；
步骤S5、设计基于边缘特征引导的图像质量评估网络，并进行训练得到无参考屏幕内容图像质量评估模型；
步骤S6、将待测失真图像和对应的边缘结构图输入到训练好的基于边缘特征引导的图像质量评估模型，输出失真图像的质量评估分数。
在一较佳的实施例中，所述步骤S1具体包括以下步骤：
步骤S11、将失真屏幕内容图像数据集中的每一幅失真图像I转换为灰度图G，然后构建卷积核大小为13×13、标准差为1的高斯拉普拉斯卷积核，利用所述卷积核对灰度图G进行卷积运算，生成中间结果图G′；
步骤S12、对步骤S11得到的中间结果图G′进行阈值化处理，将像素值大于指定阈值的像素点确定为边缘点，设置边缘点的值为255，设置像素值小于等于指定阈值的像素点的值为0，从而生成每一幅失真图像I对应的边缘结构图Iedge；
步骤S13、重复步骤S11、步骤S12，得到与失真屏幕内容图像数据集相对应的边缘结构图数据集；然后对两个数据集中的图像进行统一的随机裁剪、水平随机翻转以及归一化处理，并将两个数据集按照统一的方式划分为训练集与测试集，即两个数据集中相对应的图像同属于训练集或同属于测试集。
在一较佳的实施例中，所述步骤S2具体包括以下步骤：
步骤S21、以Res2Net-50作为主干网络，对输入大小为H×W×3的失真屏幕内容图像I进行多尺度的特征提取；由于浅层网络提取的低级图像特征包含丰富的边缘细节信息，而深层网络提取的高级图像特征包含较多的语义位置信息，因此取失真图像I经过主干网络Res2Net-50中四个阶段输出的特征图作为失真图像的多级主干特征；具体地，分别记失真图像I经过第一阶段、第二阶段、第三阶段和第四阶段输出的特征图为F1、F2、F3和F4，其中特征图F1的大小为
Figure BDA0003989317960000041
特征图F2的大小为
Figure BDA0003989317960000042
特征图F3的大小为
Figure BDA0003989317960000043
特征图F4的大小为
Figure BDA0003989317960000044
步骤S22、取输入失真图像I对应的边缘结构图Iedge，其大小为H×W×1，将其输入到一个残差模块中提取浅层特征信息，残差模块由一个卷积核大小为3×3的卷积层、ReLU激活函数以及Sigmoid激活函数组成；该模块不改变输入特征的大小，从而保留更多的细节边缘信息，具体的计算公式如下：
Figure BDA0003989317960000045
其中，Conv(*)表示一个卷积核大小为3×3的卷积层，
Figure BDA0003989317960000051
表示矩阵加法运算，ReLU(·)表示ReLU激活函数，Sigmoid(·)表示Sigmoid激活函数，Fedge表示经过残差模块后得到的特征图，其大小为H×W×1；
步骤S23、设计特征融合子模块，该模块由一个卷积核大小为3×3的卷积层以及双线性差值下采样层组成；记该模块输入的两个特征图为Fa和Fb，其中特征图Fa的大小为Ha×Wa×Ca，特征图Fb的大小为Hb×Wb×1；具体地，首先将特征图Fb输入到双线性差值下采样层中，得到中间特征图Fb′，其维度大小为Ha×Wa×1，与输入的特征图Fa具有相同的高度和宽度；然后将得到的中间特征图Fb′与特征图Fa进行逐元素相乘，并通过残差连接与输入的特征图Fa进行相加，得到中间特征图Fb，其大小为Ha×Wa×Ca；最后再将特征图Fb″输入到一个卷积核大小为3×3的卷积层中，得到特征融合子模块的输出特征Fc，其大小为Ha×Wa×Ca，与输入特征图Fa的维度相同；具体计算公式如下：
Fb′＝D(Fb)
Figure BDA0003989317960000052
Fc＝Conv(Fb″)
其中，Conv(*)表示一个卷积核大小为3×3的卷积层，“⊙”表示逐元素相乘运算，
Figure BDA0003989317960000053
表示矩阵加法运算，D(*)表示双线性差值下采样层，Fb和Fb″表示特征融合子模块的中间特征图，Fc表示特征融合子模块的输出特征；
步骤S24、设计局部通道注意力子模块，用以增强特征表示，获取输入特征的关键特征通道信息；该模块由一个卷积核大小为3×3的一维卷积层、一个卷积核大小为1×1的二维卷积层以及Sigmoid激活函数组成；记该模块输入的特征图为Fd，其大小为H×W×C；具体地，首先使用全局平均池化操作来聚合输入特征Fd，然后通过一维卷积和Sigmoid函数获得相应的通道注意力权重，接着将通道注意力权重与输入特征Fd进行逐元素相乘，最后通过卷积核大小为1×1的卷积层来减少通道数，从而获得局部通道注意力子模块的最终输出Fd′，其大小为
Figure BDA0003989317960000061
具体计算公式如下：
Fd′＝Conv2(sigmoid(Conv1(GAP(Fd)))⊙Fd)
其中，GAP(*)表示全局平均池化操作，Conv1(*)表示卷积核大小为3×3的一维卷积层，Conv2(*)表示卷积核大小为1×1的二维卷积层，“⊙”表示逐元素相乘运算，Sigmoid(·)表示Sigmoid激活函数，Fd′表示局部通道注意力子模块的输出特征；
步骤S25、设计边缘引导特征模块，该模块由步骤S23所述的特征融合子模块与步骤S24所述的局部通道注意力子模块串行连接组成；
步骤S26、使用步骤S25设计的边缘引导特征模块将来自边缘结构图的浅层特征信息与失真图像的多级主干特征进行自适应集成，从而增强失真屏幕内容图像的边缘信息表示，引导网络更好地关注边缘信息；具体地，将经过步骤S21得到的失真图像的多级主干特征Fi，i＝1，2，3，4，以及经过步骤S22得到的边缘结构特征Fedge分别输入到四个边缘引导特征模块中，得到融合浅层边缘特征信息的多级主干特征
Figure BDA0003989317960000062
其中特征图
Figure BDA0003989317960000063
的大小为
Figure BDA0003989317960000064
特征图
Figure BDA0003989317960000065
的大小为
Figure BDA0003989317960000066
特征图
Figure BDA0003989317960000067
的大小为
Figure BDA0003989317960000068
特征图
Figure BDA0003989317960000069
的大小为
Figure BDA00039893179600000610
C′＝64；
在一较佳的实施例中，所述步骤S3中，设计位置注意力模块，形成不同尺度特征的全局信息表示；包括以下步骤：
步骤S31、设计位置注意力模块，该模块由三个卷积核大小为1×1的卷积层以及Softmax函数组成；记该模块输入的特征图为Fp，其大小为H×W×C；具体地，首先将特征图Fp输入到三个卷积核大小为1×1的卷积层中，生成三个新的中间特征图FQ、FK和FV；然后对中间特征图FQ、FK和FV进行维度变换操作改变特征维度，其维度大小均由H×W×C变为C×N，其中N＝H×W；之后，在特征图FK和FQ的转置之间执行矩阵乘法运算，并运用Softmax函数来生成空间注意力图S，其大小为N×N；然后在中间特征图FV与空间注意力图S二者之间进行矩阵乘法运算，得到二维特征矩阵Si，其大小为C×N，接着通过维度变换操作改变特征维度，其维度大小由C×N变为H×W×C，最后将特征Si乘以比例参数α，并通过残差连接与输入的特征图Fp进行相加，从而获得位置注意力模块的最终输出F′；具体的计算公式如下：
FQ＝Resh ape(Conv1(Fp))
FK＝Resh ape(Conv2(Fp))
FV＝Resh ape(Conv3(Fp))
Figure BDA0003989317960000071
Figure BDA0003989317960000072
Figure BDA0003989317960000073
其中，Conv1(*)、Conv2(*)和Conv3(*)表示三个卷积核大小为1×1的卷积层，Reshape(·)表示维度变换操作，Soffmax(·)表示Soffmax函数，Transpose(·)表示二维矩阵的转置操作，
Figure BDA0003989317960000074
表示矩阵乘法运算，
Figure BDA0003989317960000075
表示矩阵加法运算，α表示融合的比例参数，F′表示位置注意力模块的输出特征，其大小为H×W×C，与输入特征图Fp的维度相同；
步骤S32、使用步骤S31设计的位置注意力模块对输入特征的丰富上下文关系进行建模，从而增强其表示能力；具体地，首先将经过步骤S26得到的融合浅层边缘特征信息的多级主干特征Fi a(i＝1，2，3，4)分别输入到四个位置注意力模块中，得到具有全局上下文信息的多级主干特征Fi′(i＝1，2，3，4)，其中位置注意力模块输出的特征Fi′与输入的多级主干特征
Figure BDA0003989317960000089
维度大小相同。
4.根据权利要求1所述的基于边缘特征引导的无参考屏幕内容图像质量评估方法，其特征在于，所述步骤S4具体包括以下步骤：
步骤S41、将经过步骤S32得到的第一级主干特征F1′输入到一个卷积核大小为3×3的卷积层中，调整特征图F1′的宽度和高度至原来的一半，具体的计算公式如下：
Figure BDA0003989317960000081
其中，Conv1_1(*)表示一个卷积核大小为3×3的卷积层，
Figure BDA0003989317960000082
表示第一级主干特征F1′经过卷积层后的输出，其大小为
Figure BDA0003989317960000083
步骤S42、将经过步骤S32得到的第二级主干特征F2′输入到一个卷积核大小为3×3的卷积层中，得到特征
Figure BDA0003989317960000084
其维度大小与F2′相同；然后将经过步骤S41得到的特征
Figure BDA0003989317960000085
与特征
Figure BDA0003989317960000086
输入到上下文聚合子模块中，以融合来自不同尺度的特征；上下文聚合子模块由一个卷积核大小为1×1的卷积层、批归一化层和ReLU激活函数组成；最后再将融合后的特征
Figure BDA0003989317960000087
输入到一个卷积核大小为3×3的卷积层中，调整特征图
Figure BDA0003989317960000088
的宽度和高度至原来的一半，具体的计算公式如下：
Figure BDA0003989317960000091
Figure BDA0003989317960000092
Figure BDA0003989317960000093
其中，Conv2_1(*)和Conv2_3(*)表示两个卷积核大小为3×3的卷积层，Conv2_2(*)表示一个卷积核大小为1×1的卷积层，
Figure BDA0003989317960000094
表示矩阵加法运算，BN(*)表示批归一化操作，ReLU(·)表示ReLU激活函数，
Figure BDA0003989317960000095
表示第二级主干特征F2′经过两个卷积层以及上下文聚合子模块后的输出，其大小为
Figure BDA0003989317960000096
步骤S43、将经过步骤S32得到的第三级主干特征F3′输入到一个卷积核大小为3×3的卷积层中，得到特征
Figure BDA0003989317960000097
其维度大小与F3′相同；然后将经过步骤S42得到的特征
Figure BDA0003989317960000098
与特征
Figure BDA0003989317960000099
输入到上述的上下文聚合子模块中，得到融合后的特征
Figure BDA00039893179600000910
最后再将特征
Figure BDA00039893179600000911
输入到一个卷积核大小为3×3的卷积层中，调整特征图
Figure BDA00039893179600000912
的宽度和高度至原来的一半，具体的计算公式如下：
Figure BDA00039893179600000913
Figure BDA00039893179600000914
Figure BDA00039893179600000915
其中，Conv3_1(*)和Conv3_3(*)表示两个卷积核大小为3×3的卷积层，Conv3_2(*)表示卷积核大小为1×1的卷积层，
Figure BDA00039893179600000916
表示矩阵加法运算，BN(*)表示批归一化操作，ReLU(·)表示ReLU激活函数，
Figure BDA00039893179600000917
表示第三级主干特征F3′经过两个卷积层以及上下文聚合子模块后的输出，其大小为
Figure BDA00039893179600000918
步骤S44、将经过步骤S32得到的第四级主干特征F4输入到一个卷积核大小为3×3的卷积层中，得到特征
Figure BDA0003989317960000101
其维度大小与F4′相同；然后将经过步骤S43得到的特征
Figure BDA0003989317960000102
与特征
Figure BDA00039893179600001026
输入到上述的上下文聚合子模块中，得到融合后的特征
Figure BDA0003989317960000103
最后再将特征
Figure BDA0003989317960000104
输入到一个卷积核大小为3×3的卷积层中，调整特征图
Figure BDA0003989317960000105
的宽度和高度至原来的一半，具体的计算公式如下：
Figure BDA0003989317960000106
Figure BDA0003989317960000107
Figure BDA0003989317960000108
其中，Conv4_1(*)和Conv4_3(*)表示两个卷积核大小为3×3的卷积层，Conv4_2(*)表示卷积核大小为1×1的卷积层，
Figure BDA0003989317960000109
表示矩阵加法运算，BN(*)表示批归一化操作，ReLU(·)表示ReLU激活函数，
Figure BDA00039893179600001010
表示第四级主干特征F4′经过两个卷积层以及上下文聚合子模块后的输出，其大小为
Figure BDA00039893179600001011
步骤S45、对经过步骤S41得到的特征向量
Figure BDA00039893179600001012
经过步骤S42得到的特征向量
Figure BDA00039893179600001013
经过步骤S43得到的特征向量
Figure BDA00039893179600001014
以及经过步骤S44得到的特征向量
Figure BDA00039893179600001015
进行特征融合，形成输入失真图像的多尺度特征表示；具体地，对特征向量
Figure BDA00039893179600001016
进行全局平均池化操作，其维度大小由
Figure BDA00039893179600001017
变为1×1×C′；对特征向量
Figure BDA00039893179600001018
进行全局平均池化操作，其维度大小由
Figure BDA00039893179600001025
变为1×1×2C′；对特征向量
Figure BDA00039893179600001019
进行全局平均池化操作，其维度大小由
Figure BDA00039893179600001020
变为1×1×4C′；对特征向量
Figure BDA00039893179600001021
进行全局平均池化操作，其维度大小由
Figure BDA00039893179600001022
变为1×1×8C′，然后将执行全局平均池化操作后的特征向量
Figure BDA00039893179600001023
以及
Figure BDA00039893179600001024
沿通道进行拼接，得到输入失真图像的多尺度特征表示，其大小为1×1×15C′，计算公式如下：
Figure BDA0003989317960000111
其中，Concat(·)表示特征的拼接操作，GAP(*)表示全局平均池化操作，F表示输入失真图像的多尺度特征表示。
在一较佳的实施例中，所述步骤S5具体包括以下步骤：
步骤S51、将经过步骤S45得到的输入失真图像的多尺度编码表示F输入到全连接层MLP中，以获得失真图像的质量评价分数Fscore，其计算公式为：
Fscore＝MLP(F)
步骤S52、设计基于边缘特征引导的图像质量评估网络的损失函数如下：
Figure BDA0003989317960000112
其中，m为每个训练批次中的样本个数，yi表示第i个图像样本的真实质量分数，
Figure BDA0003989317960000113
表示第i个图像样本经过网络得到的预测质量分数；
步骤S53、以批次为单位重复上述步骤S51至步骤S52，直至步骤S52中计算得到的损失值收敛并趋于稳定，保存网络参数，完成基于边缘特征引导的图像质量评估网络的训练过程，得到基于边缘特征引导的图像质量评估模型。
在一较佳的实施例中，所述步骤S6具体包括以下步骤：
步骤Sδ1、将测试集中的失真屏幕内容图像和对应的边缘结构图输入到训练好的基于边缘特征引导的图像质量评估模型中，输出相应的质量评估分数。
与现有技术相比，本发明具有以下有益效果：本发明的目标在于解决基于卷积神经网络的屏幕内容图像质量评估模型在图像特征提取过程中由于网络层数加深造成的浅层边缘信息退化的问题，通过失真图像对应的边缘结构图特征为线索引导网络更好地关注边缘信息，由浅至深，多层次地对图像特征进行综合性提取学习，可提高无参考屏幕内容图像质量评估模型的性能。本发明提出了一种基于边缘特征引导的无参考屏幕内容图像质量评估方法，该方法既可以通过不同深度的网络有效提取屏幕内容图像低层的细节信息和深层的语义信息，又能通过边缘结构图对图像的浅层边缘信息进行补充，从而准确有效地预测失真屏幕内容图像的质量评估分数。
附图说明
图1为本发明优选实施例的方法流程图。
图2为本发明优选实施例的网络模型结构图。
图3为本发明优选实施例的边缘引导特征模块结构图。
图4为本发明优选实施例的位置注意力模块结构图。
图5位本发明优选实施例的渐进式特征融合模块中上下文聚合子模块的结构图
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式；如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
本发明提供一种基于边缘特征引导的无参考屏幕内容图像质量评估方法，如图1-5所示，包括以下步骤：
步骤S1、首先利用高斯拉普拉斯算子生成对应失真屏幕内容图像数据集的边缘结构图数据集，然后对两个数据集进行相同的数据预处理，并划分为训练集和测试集；
步骤S2、设计多尺度边缘特征引导网络，首先提取失真屏幕内容图像的多级特征，然后通过多个边缘引导特征模块将来自边缘结构图的浅层特征信息分别与多级主干特征进行自适应集成；
步骤S3、设计位置注意力模块，形成不同尺度特征的全局信息表示；
步骤S4、设计渐进式特征融合模块，该模块通过自顶向下的方式逐步聚合各个尺度的特征，以形成失真图像的多尺度特征表示；
步骤S5、将设计基于边缘特征引导的图像质量评估网络，并进行训练得到无参考屏幕内容图像质量评估模型；
步骤S6、将待测失真图像和对应的边缘结构图输入到训练好的基于边缘特征引导的图像质量评估模型，输出失真图像的质量评估分数。
进一步地，步骤S1包括以下步骤：
步骤S11、将失真屏幕内容图像数据集中的每一幅失真图像I转换为灰度图G，然后构建卷积核大小为13×13、标准差为1的高斯拉普拉斯卷积核，利用所述卷积核对灰度图G进行卷积运算，生成中间结果图G′；
步骤S12、对步骤S11得到的中间结果图G′进行阈值化处理，将像素值大于指定阈值的像素点确定为边缘点，设置边缘点的值为255，设置像素值小于等于指定阈值的像素点的值为0，从而生成每一幅失真图像I对应的边缘结构图Iedge；
步骤S13、重复步骤S11、步骤S12，得到与失真屏幕内容图像数据集相对应的边缘结构图数据集。然后对两个数据集中的图像进行统一的随机裁剪、水平随机翻转以及归一化处理，并将两个数据集按照统一的方式划分为训练集与测试集，即两个数据集中相对应的图像同属于训练集或同属于测试集。
进一步地，步骤S2包括以下步骤：
步骤S21、以Res2Net-50作为主干网络，对输入大小为H×W×3的失真屏幕内容图像I进行多尺度的特征提取。由于浅层网络提取的低级图像特征包含丰富的边缘细节信息，而深层网络提取的高级图像特征包含较多的语义位置信息，因此取失真图像I经过主干网络Res2Net-50中四个阶段输出的特征图作为失真图像的多级主干特征。具体地，分别记失真图像I经过第一阶段、第二阶段、第三阶段和第四阶段输出的特征图为F1、F2、F3和F4，其中特征图F1的大小为
Figure BDA0003989317960000141
特征图F2的大小为
Figure BDA0003989317960000142
特征图F3的大小为
Figure BDA0003989317960000143
特征图F4的大小为
Figure BDA0003989317960000144
步骤S22、取输入失真图像I对应的边缘结构图Iedge，其大小为H×W×1，将其输入到一个残差模块中提取浅层特征信息，残差模块由一个卷积核大小为3×3的卷积层、ReLU激活函数以及Sigmoid激活函数组成。该模块不改变输入特征的大小，从而保留更多的细节边缘信息，具体的计算公式如下：
Figure BDA0003989317960000151
其中，Conv(*)表示一个卷积核大小为3×3的卷积层，
Figure BDA0003989317960000152
表示矩阵加法运算，ReLU(·)表示ReLU激活函数，Sigmoid(·)表示Sigmoid激活函数，Fedge表示经过残差模块后得到的特征图，其大小为H×W×1；
步骤S23、设计特征融合子模块，该模块由一个卷积核大小为3×3的卷积层以及双线性差值下采样层组成。记该模块输入的两个特征图为Fa和Fb，其中特征图Fa的大小为Ha×Wa×Ca，特征图Fb的大小为Hb×Wb×1。具体地，首先将特征图Fb输入到双线性差值下采样层中，得到中间特征图F′b，其维度大小为Ha×Wa×1，与输入的特征图Fa具有相同的高度和宽度；然后将得到的中间特征图F′b与特征图Fa进行逐元素相乘，并通过残差连接与输入的特征图Fa进行相加，得到中间特征图F″b，其大小为Ha×Wa×Ca；最后再将特征图F″b输入到一个卷积核大小为3×3的卷积层中，得到特征融合子模块的输出特征Fc，其大小为Ha×Wa×Ca，与输入特征图Fa的维度相同。具体计算公式如下：
F′b＝D(Fb)
Figure BDA0003989317960000153
Fc＝Conv(F″b)
其中，Conv(*)表示一个卷积核大小为3×3的卷积层，“⊙”表示逐元素相乘运算，
Figure BDA0003989317960000154
表示矩阵加法运算，D(*)表示双线性差值下采样层，F′b和F″b表示特征融合子模块的中间特征图，Fc表示特征融合子模块的输出特征；
步骤S24、设计局部通道注意力子模块，用以增强特征表示，获取输入特征的关键特征通道信息。该模块由一个卷积核大小为3×3的一维卷积层、一个卷积核大小为1×1的二维卷积层以及Sigmoid激活函数组成。记该模块输入的特征图为Fd，其大小为H×W×C。具体地，首先使用全局平均池化操作来聚合输入特征Fd，然后通过一维卷积和Sigmoid函数获得相应的通道注意力权重，接着将通道注意力权重与输入特征Fd进行逐元素相乘，最后通过卷积核大小为1×1的卷积层来减少通道数，从而获得局部通道注意力子模块的最终输出F′d，其大小为
Figure BDA0003989317960000161
具体计算公式如下：
F′d＝Conv2(Sigmoid(Conv1(GAP(Fd)))⊙Fd)
其中，GAP(*)表示全局平均池化操作，Conv1(*)表示卷积核大小为3×3的一维卷积层，Conv2(*)表示卷积核大小为1×1的二维卷积层，“⊙”表示逐元素相乘运算，Sigmoid(·)表示Sigmoid激活函数，F′d表示局部通道注意力子模块的输出特征；
步骤S25、设计边缘引导特征模块，该模块由步骤S23所述的特征融合子模块与步骤S24所述的局部通道注意力子模块串行连接组成；
步骤S26、使用步骤S25设计的边缘引导特征模块将来自边缘结构图的浅层特征信息与失真图像的多级主干特征进行自适应集成，从而增强失真屏幕内容图像的边缘信息表示，引导网络更好地关注边缘信息。具体地，将经过步骤S21得到的失真图像的多级主干特征Fi(i＝1，2，3，4)以及经过步骤S22得到的边缘结构特征Fedge分别输入到四个边缘引导特征模块中，得到融合浅层边缘特征信息的多级主干特征
Figure BDA0003989317960000162
其中特征图
Figure BDA0003989317960000163
的大小为
Figure BDA0003989317960000164
特征图
Figure BDA0003989317960000165
的大小为
Figure BDA0003989317960000166
特征图
Figure BDA0003989317960000167
的大小为
Figure BDA0003989317960000168
特征图
Figure BDA0003989317960000169
的大小为
Figure BDA00039893179600001610
进一步地，步骤S3包括以下步骤：
步骤S31、设计位置注意力模块，该模块由三个卷积核大小为1×1的卷积层以及Softmax函数组成。记该模块输入的特征图为Fp，其大小为H×W×C。具体地，首先将特征图Fp输入到三个卷积核大小为1×1的卷积层中，生成三个新的中间特征图FQ、FK和FV；然后对中间特征图FQ、FK和FV进行维度变换操作改变特征维度，其维度大小均由H×W×C变为C×N(其中N＝H×W)。之后，在特征图FK和FQ的转置之间执行矩阵乘法运算，并运用Softmax函数来生成空间注意力图S，其大小为N×N。然后在中间特征图FV与空间注意力图S二者之间进行矩阵乘法运算，得到二维特征矩阵Si，其大小为C×N，接着通过维度变换操作改变特征维度，其维度大小由C×N变为H×W×C，最后将特征Si乘以比例参数α，并通过残差连接与输入的特征图Fp进行相加，从而获得位置注意力模块的最终输出F′。具体的计算公式如下：
FQ＝Reshape(Conv1(Fp))
FK＝Reshape(Conv2(Fp))
FV＝Reshape(Conv3(Fp))
Figure BDA0003989317960000171
Figure BDA0003989317960000172
Figure BDA0003989317960000173
其中，Conv1(*)、Conv2(*)和Conv3(*)表示三个卷积核大小为1×1的卷积层，Reshape(·)表示维度变换操作，Softmax(·)表示Softmax函数，Transpose(·)表示二维矩阵的转置操作，
Figure BDA0003989317960000174
表示矩阵乘法运算，
Figure BDA0003989317960000175
表示矩阵加法运算，α表示融合的比例参数，F′表示位置注意力模块的输出特征，其大小为H×W×C，与输入特征图Fp的维度相同；
步骤S32、使用步骤S31设计的位置注意力模块对输入特征的丰富上下文关系进行建模，从而增强其表示能力。具体地，首先将经过步骤S26得到的融合浅层边缘特征信息的多级主干特征
Figure BDA0003989317960000181
分别输入到四个位置注意力模块中，得到具有全局上下文信息的多级主干特征F′i(i＝1，2，3，4)，其中位置注意力模块输出的特征F′i与输入的多级主干特征
Figure BDA0003989317960000182
维度大小相同。
进一步地，步骤S4包括以下步骤：
步骤S41、将经过步骤S32得到的第一级主干特征F′1输入到一个卷积核大小为3×3的卷积层中，调整特征图F′1的宽度和高度至原来的一半，具体的计算公式如下：
Figure BDA0003989317960000183
其中，Conv1_1(*)表示一个卷积核大小为3×3的卷积层，
Figure BDA0003989317960000184
表示第一级主干特征F′1经过卷积层后的输出，其大小为
Figure BDA0003989317960000185
步骤S42、将经过步骤S32得到的第二级主干特征F′2输入到一个卷积核大小为3×3的卷积层中，得到特征
Figure BDA0003989317960000186
其维度大小与F′2相同；然后将经过步骤S41得到的特征
Figure BDA0003989317960000187
与特征
Figure BDA0003989317960000188
输入到上下文聚合子模块中，以融合来自不同尺度的特征。上下文聚合子模块由一个卷积核大小为1×1的卷积层、批归一化层和ReLU激活函数组成。最后再将融合后的特征
Figure BDA0003989317960000189
输入到一个卷积核大小为3×3的卷积层中，调整特征图
Figure BDA00039893179600001810
的宽度和高度至原来的一半，具体的计算公式如下：
Figure BDA00039893179600001811
Figure BDA00039893179600001812
Figure BDA0003989317960000191
其中，Conv2_1(*)和Conv2_3(*)表示两个卷积核大小为3×3的卷积层，Conv2_2(*)表示一个卷积核大小为1×1的卷积层，
Figure BDA0003989317960000192
表示矩阵加法运算，BN(*)表示批归一化操作，ReLU(·)表示ReLU激活函数，
Figure BDA0003989317960000193
表示第二级主干特征F′2经过两个卷积层以及上下文聚合子模块后的输出，其大小为
Figure BDA0003989317960000194
步骤S43、将经过步骤S32得到的第三级主干特征F′3输入到一个卷积核大小为3×3的卷积层中，得到特征
Figure BDA0003989317960000195
其维度大小与F′3相同；然后将经过步骤S42得到的特征
Figure BDA0003989317960000196
与特征
Figure BDA0003989317960000197
输入到上述的上下文聚合子模块中，得到融合后的特征
Figure BDA0003989317960000198
最后再将特征
Figure BDA0003989317960000199
输入到一个卷积核大小为3×3的卷积层中，调整特征图
Figure BDA00039893179600001910
的宽度和高度至原来的一半，具体的计算公式如下：
Figure BDA00039893179600001911
Figure BDA00039893179600001912
Figure BDA00039893179600001913
其中，Conv3_1(*)和Conv3_3(*)表示两个卷积核大小为3×3的卷积层，Conv3_2(*)表示卷积核大小为1×1的卷积层，
Figure BDA00039893179600001914
表示矩阵加法运算，BN(*)表示批归一化操作，ReLU(·)表示ReLU激活函数，
Figure BDA00039893179600001915
表示第三级主干特征F′3经过两个卷积层以及上下文聚合子模块后的输出，其大小为
Figure BDA00039893179600001916
步骤S44、将经过步骤S32得到的第四级主干特征F′4输入到一个卷积核大小为3×3的卷积层中，得到特征
Figure BDA00039893179600001917
其维度大小与F′4相同；然后将经过步骤S43得到的特征
Figure BDA00039893179600001918
与特征
Figure BDA00039893179600001919
输入到上述的上下文聚合子模块中，得到融合后的特征
Figure BDA0003989317960000201
最后再将特征
Figure BDA0003989317960000202
输入到一个卷积核大小为3×3的卷积层中，调整特征图
Figure BDA0003989317960000203
的宽度和高度至原来的一半，具体的计算公式如下：
Figure BDA0003989317960000204
Figure BDA0003989317960000205
Figure BDA0003989317960000206
其中，Conv4_1(*)和Conv4_3(*)表示两个卷积核大小为3×3的卷积层，Conv4_2(*)表示卷积核大小为1×1的卷积层，
Figure BDA0003989317960000207
表示矩阵加法运算，BN(*)表示批归一化操作，ReLU(·)表示ReLU激活函数，
Figure BDA0003989317960000208
表示第四级主干特征F′4经过两个卷积层以及上下文聚合子模块后的输出，其大小为
Figure BDA0003989317960000209
步骤S45、对经过步骤S41得到的特征向量
Figure BDA00039893179600002010
经过步骤S42得到的特征向量
Figure BDA00039893179600002011
经过步骤S43得到的特征向量
Figure BDA00039893179600002012
以及经过步骤S44得到的特征向量
Figure BDA00039893179600002013
进行特征融合，形成输入失真图像的多尺度特征表示。具体地，对特征向量
Figure BDA00039893179600002014
进行全局平均池化操作，其维度大小由
Figure BDA00039893179600002015
变为1×1×C′；对特征向量
Figure BDA00039893179600002016
进行全局平均池化操作，其维度大小由
Figure BDA00039893179600002017
变为1×1×2C′；对特征向量
Figure BDA00039893179600002018
进行全局平均池化操作，其维度大小由
Figure BDA00039893179600002019
变为1×1×4C′；对特征向量
Figure BDA00039893179600002020
进行全局平均池化操作，其维度大小由
Figure BDA00039893179600002021
变为1×1×8C′，然后将执行全局平均池化操作后的特征向量
Figure BDA00039893179600002022
Figure BDA00039893179600002023
以及
Figure BDA00039893179600002024
沿通道进行拼接，得到输入失真图像的多尺度特征表示，其大小为1×1×15C′，计算公式如下：
Figure BDA00039893179600002025
其中，Concat(·)表示特征的拼接操作，GAP(*)表示全局平均池化操作，F表示输入失真图像的多尺度特征表示。
进一步地，步骤S5包括以下步骤：
步骤S51、将经过步骤S45得到的输入失真图像的多尺度编码表示F输入到全连接层(记为MLP)中，以获得失真图像的质量评价分数Fscore，其计算公式为：
Fscore＝MLP(F)
步骤S52、设计基于边缘特征引导的图像质量评估网络的损失函数如下：
Figure BDA0003989317960000211
其中，m为每个训练批次中的样本个数，yi表示第i个图像样本的真实质量分数，
Figure BDA0003989317960000212
表示第i个图像样本经过网络得到的预测质量分数；
步骤S53、以批次为单位重复上述步骤S51至步骤S52，直至步骤S52中计算得到的损失值收敛并趋于稳定，保存网络参数，完成基于边缘特征引导的图像质量评估网络的训练过程，得到基于边缘特征引导的图像质量评估模型。
进一步地，步骤S6包括以下步骤：
将测试集中的失真屏幕内容图像和对应的边缘结构图输入到训练好的基于边缘特征引导的图像质量评估模型中，输出相应的质量评估分数。
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (7)

1.基于边缘特征引导的无参考屏幕内容图像质量评估方法，其特征在于，包括以下步骤：
步骤S1、首先利用高斯拉普拉斯算子生成对应失真屏幕内容图像数据集的边缘结构图数据集，然后对两个数据集进行相同的数据预处理，并划分为训练集和测试集；
步骤S2、设计多尺度边缘特征引导网络，首先提取失真屏幕内容图像的多级特征，然后通过多个边缘引导特征模块将来自边缘结构图的浅层特征信息分别与多级主干特征进行自适应集成；
步骤S3、设计位置注意力模块，形成不同尺度特征的全局信息表示；
步骤S4、设计渐进式特征融合模块，该模块通过自顶向下的方式逐步聚合各个尺度的特征，以形成失真图像的多尺度特征表示；
步骤S5、设计基于边缘特征引导的图像质量评估网络，并进行训练得到无参考屏幕内容图像质量评估模型；
步骤S6、将待测失真图像和对应的边缘结构图输入到训练好的基于边缘特征引导的图像质量评估模型，输出失真图像的质量评估分数。
2.根据权利要求1所述的基于边缘特征引导的无参考屏幕内容图像质量评估方法，其特征在于，所述步骤S1具体包括以下步骤：
步骤S11、将失真屏幕内容图像数据集中的每一幅失真图像I转换为灰度图G，然后构建卷积核大小为13×13、标准差为1的高斯拉普拉斯卷积核，利用所述卷积核对灰度图G进行卷积运算，生成中间结果图G′；
步骤S12、对步骤S11得到的中间结果图G′进行阈值化处理，将像素值大于指定阈值的像素点确定为边缘点，设置边缘点的值为255，设置像素值小于等于指定阈值的像素点的值为0，从而生成每一幅失真图像I对应的边缘结构图Iedge；
步骤S13、重复步骤S11、步骤S12，得到与失真屏幕内容图像数据集相对应的边缘结构图数据集；然后对两个数据集中的图像进行统一的随机裁剪、水平随机翻转以及归一化处理，并将两个数据集按照统一的方式划分为训练集与测试集，即两个数据集中相对应的图像同属于训练集或同属于测试集。
3.根据权利要求1所述的基于边缘特征引导的无参考屏幕内容图像质量评估方法，其特征在于，所述步骤S2具体包括以下步骤：
步骤S21、以Res2Net-50作为主干网络，对输入大小为H×W×3的失真屏幕内容图像I进行多尺度的特征提取；由于浅层网络提取的低级图像特征包含丰富的边缘细节信息，而深层网络提取的高级图像特征包含较多的语义位置信息，因此取失真图像I经过主干网络Res2Net-50中四个阶段输出的特征图作为失真图像的多级主干特征；具体地，分别记失真图像I经过第一阶段、第二阶段、第三阶段和第四阶段输出的特征图为F,、F2、F3和F4，其中特征图F,的大小为
Figure FDA0003989317950000021
特征图F2的大小为
Figure FDA0003989317950000022
特征图F3的大小为
Figure FDA0003989317950000023
特征图F4的大小为
Figure FDA0003989317950000024
C＝256；
步骤S22、取输入失真图像I对应的边缘结构图Iedge，其大小为H×W×1，将其输入到一个残差模块中提取浅层特征信息，残差模块由一个卷积核大小为3×3的卷积层、ReLU激活函数以及Sigmoid激活函数组成；该模块不改变输入特征的大小，从而保留更多的细节边缘信息，具体的计算公式如下：
Figure FDA0003989317950000031
其中，Conv(*)表示一个卷积核大小为3×3的卷积层，
Figure FDA0003989317950000032
表示矩阵加法运算，ReLU(·)表示ReLU激活函数，Sigmoid(·)表示Sigmoid激活函数，Fedge表示经过残差模块后得到的特征图，其大小为H×W×1；
步骤S23、设计特征融合子模块，该模块由一个卷积核大小为3×3的卷积层以及双线性差值下采样层组成；记该模块输入的两个特征图为Fa和Fb，其中特征图Fa的大小为Ha×Wa×Ca，特征图Fb的大小为Hb×Wb×1；具体地，首先将特征图Fb输入到双线性差值下采样层中，得到中间特征图Fb′，其维度大小为Ha×Wa×1，与输入的特征图Fa具有相同的高度和宽度；然后将得到的中间特征图Fb′与特征图Fa进行逐元素相乘，并通过残差连接与输入的特征图Fa进行相加，得到中间特征图Fb″，其大小为Ha×Wa×Ca；最后再将特征图Fb″输入到一个卷积核大小为3×3的卷积层中，得到特征融合子模块的输出特征Fc，其大小为Ha×Wa×Ca，与输入特征图Fa的维度相同；具体计算公式如下：
Fb′＝D(Fb)
Figure FDA0003989317950000033
Fc＝Conv(Fb″)
其中，Conv(*)表示一个卷积核大小为3×3的卷积层，“⊙”表示逐元素相乘运算，
Figure FDA0003989317950000034
表示矩阵加法运算，D(*)表示双线性差值下采样层，Fb′和Fb″表示特征融合子模块的中间特征图，Fc表示特征融合子模块的输出特征；
步骤S24、设计局部通道注意力子模块，用以增强特征表示，获取输入特征的关键特征通道信息；该模块由一个卷积核大小为3×3的一维卷积层、一个卷积核大小为1×1的二维卷积层以及Sigmoid激活函数组成；记该模块输入的特征图为Fd，其大小为H×W×C；具体地，首先使用全局平均池化操作来聚合输入特征Fd，然后通过一维卷积和Sigmoid函数获得相应的通道注意力权重，接着将通道注意力权重与输入特征Fd进行逐元素相乘，最后通过卷积核大小为1×1的卷积层来减少通道数，从而获得局部通道注意力子模块的最终输出Fd′，其大小为
Figure FDA0003989317950000041
具体计算公式如下：
Fd′＝Conv2(Sigmoid(Conv1(GAP(Fd)))⊙Fd)
其中，GAP(*)表示全局平均池化操作，Conv1(*)表示卷积核大小为3×3的一维卷积层，Conv2(*)表示卷积核大小为1×1的二维卷积层，“⊙”表示逐元素相乘运算，Sigmoid(·)表示Sigmoid激活函数，Fd′表示局部通道注意力子模块的输出特征；
步骤S25、设计边缘引导特征模块，该模块由步骤S23所述的特征融合子模块与步骤S24所述的局部通道注意力子模块串行连接组成；
步骤S26、使用步骤S25设计的边缘引导特征模块将来自边缘结构图的浅层特征信息与失真图像的多级主干特征进行自适应集成，从而增强失真屏幕内容图像的边缘信息表示，引导网络更好地关注边缘信息；具体地，将经过步骤S21得到的失真图像的多级主干特征Fi，i＝1，2，3，4，以及经过步骤S22得到的边缘结构特征Fedge分别输入到四个边缘引导特征模块中，得到融合浅层边缘特征信息的多级主干特征
Figure FDA0003989317950000049
其中特征图
Figure FDA00039893179500000410
的大小为
Figure FDA0003989317950000042
特征图
Figure FDA0003989317950000043
的大小为
Figure FDA0003989317950000044
特征图
Figure FDA0003989317950000045
的大小为
Figure FDA0003989317950000046
特征图
Figure FDA0003989317950000047
的大小为
Figure FDA0003989317950000048
C＝64。
4.根据权利要求1所述的基于边缘特征引导的无参考屏幕内容图像质量评估方法，其特征在于，所述步骤S3具体包括以下步骤：
步骤S31、设计位置注意力模块，该模块由三个卷积核大小为1×1的卷积层以及Softmax函数组成；记该模块输入的特征图为Fp，其大小为H×W×C；具体地，首先将特征图Fp输入到三个卷积核大小为1×1的卷积层中，生成三个新的中间特征图FQ、FK和FV；然后对中间特征图FQ、FK和FV进行维度变换操作改变特征维度，其维度大小均由H×W×C变为C×N，其中N＝H×W；之后，在特征图FK和FQ的转置之间执行矩阵乘法运算，并运用Softmax函数来生成空间注意力图S，其大小为N×N；然后在中间特征图FV与空间注意力图S二者之间进行矩阵乘法运算，得到二维特征矩阵Si，其大小为C×N，接着通过维度变换操作改变特征维度，其维度大小由C×N变为H×W×C，最后将特征Si乘以比例参数α，并通过残差连接与输入的特征图Fp进行相加，从而获得位置注意力模块的最终输出F′；具体的计算公式如下：
FQ＝Resh ape(Conv1(Fp))
FK＝Resh ape(Conv2(Fp))
FV＝Resh ape(Conv3(Fp))
Figure FDA0003989317950000051
Figure FDA0003989317950000052
Figure FDA0003989317950000053
其中，Conv1(*)、Conv2(*)和Conv3(*)表示三个卷积核大小为1×1的卷积层，Resh ape(·)表示维度变换操作，Softmax(·)表示Softmax函数，Transpose(·)表示二维矩阵的转置操作，
Figure FDA0003989317950000054
表示矩阵乘法运算，
Figure FDA0003989317950000055
表示矩阵加法运算，α表示融合的比例参数，F′表示位置注意力模块的输出特征，其大小为H×W×C，与输入特征图Fp的维度相同；
步骤S32、使用步骤S31设计的位置注意力模块对输入特征的丰富上下文关系进行建模，从而增强其表示能力；具体地，首先将经过步骤S26得到的融合浅层边缘特征信息的多级主干特征
Figure FDA0003989317950000061
分别输入到四个位置注意力模块中，得到具有全局上下文信息的多级主干特征Fi′(i＝1，2，3，4)，其中位置注意力模块输出的特征Fi′与输入的多级主干特征
Figure FDA0003989317950000062
维度大小相同。
5.根据权利要求1所述的基于边缘特征引导的无参考屏幕内容图像质量评估方法，其特征在于，所述步骤S4具体包括以下步骤：
步骤S41、将经过步骤S32得到的第一级主干特征F1′输入到一个卷积核大小为3×3的卷积层中，调整特征图F1′的宽度和高度至原来的一半，具体的计算公式如下：
Figure FDA0003989317950000063
其中，Conv1_1(*)表示一个卷积核大小为3×3的卷积层，
Figure FDA0003989317950000064
表示第一级主干特征F1′经过卷积层后的输出，其大小为
Figure FDA0003989317950000065
步骤S42、将经过步骤S32得到的第二级主干特征F2′输入到一个卷积核大小为3×3的卷积层中，得到特征
Figure FDA0003989317950000066
其维度大小与F2′相同；然后将经过步骤S41得到的特征
Figure FDA0003989317950000067
与特征
Figure FDA0003989317950000068
输入到上下文聚合子模块中，以融合来自不同尺度的特征；上下文聚合子模块由一个卷积核大小为1×1的卷积层、批归一化层和ReLU激活函数组成；最后再将融合后的特征
Figure FDA0003989317950000069
输入到一个卷积核大小为3×3的卷积层中，调整特征图
Figure FDA00039893179500000610
的宽度和高度至原来的一半，具体的计算公式如下：
Figure FDA0003989317950000071
Figure FDA0003989317950000072
Figure FDA0003989317950000073
其中，Conv2_1(*)和Conv2_3(*)表示两个卷积核大小为3×3的卷积层，Conv2_2(*)表示一个卷积核大小为1×1的卷积层，
Figure FDA0003989317950000074
表示矩阵加法运算，BN(*)表示批归一化操作，ReLU(·)表示ReLU激活函数，
Figure FDA0003989317950000075
表示第二级主干特征F2′经过两个卷积层以及上下文聚合子模块后的输出，其大小为
Figure FDA0003989317950000076
步骤S43、将经过步骤S32得到的第三级主干特征F3′输入到一个卷积核大小为3×3的卷积层中，得到特征
Figure FDA0003989317950000077
其维度大小与F3′相同；然后将经过步骤S42得到的特征
Figure FDA0003989317950000078
与特征
Figure FDA0003989317950000079
输入到上述的上下文聚合子模块中，得到融合后的特征
Figure FDA00039893179500000710
最后再将特征
Figure FDA00039893179500000711
输入到一个卷积核大小为3×3的卷积层中，调整特征图
Figure FDA00039893179500000712
的宽度和高度至原来的一半，具体的计算公式如下：
Figure FDA00039893179500000713
Figure FDA00039893179500000714
Figure FDA00039893179500000715
其中，Conv3_1(*)和Conv3_3(*)表示两个卷积核大小为3×3的卷积层，Conv3_2(*)表示卷积核大小为1×1的卷积层，
Figure FDA00039893179500000716
表示矩阵加法运算，BN(*)表示批归一化操作，ReLU(·)表示ReLU激活函数，
Figure FDA00039893179500000717
表示第三级主干特征F3′经过两个卷积层以及上下文聚合子模块后的输出，其大小为
Figure FDA00039893179500000718
步骤S44、将经过步骤S32得到的第四级主干特征F4′输入到一个卷积核大小为3×3的卷积层中，得到特征
Figure FDA0003989317950000081
其维度大小与F4′相同；然后将经过步骤S43得到的特征
Figure FDA0003989317950000082
与特征
Figure FDA0003989317950000083
输入到上述的上下文聚合子模块中，得到融合后的特征
Figure FDA0003989317950000084
最后再将特征
Figure FDA0003989317950000085
输入到一个卷积核大小为3×3的卷积层中，调整特征图
Figure FDA0003989317950000086
的宽度和高度至原来的一半，具体的计算公式如下：
Figure FDA0003989317950000087
Figure FDA0003989317950000088
Figure FDA0003989317950000089
其中，Conv4_1(*)和Conv4_3(*)表示两个卷积核大小为3×3的卷积层，Conv4_2(*)表示卷积核大小为1×1的卷积层，
Figure FDA00039893179500000810
表示矩阵加法运算，BN(*)表示批归一化操作，ReLU(·)表示ReLU激活函数，
Figure FDA00039893179500000811
表示第四级主干特征F4′经过两个卷积层以及上下文聚合子模块后的输出，其大小为
Figure FDA00039893179500000812
步骤S45、对经过步骤S41得到的特征向量
Figure FDA00039893179500000813
经过步骤S42得到的特征向量
Figure FDA00039893179500000814
经过步骤S43得到的特征向量
Figure FDA00039893179500000815
以及经过步骤S44得到的特征向量
Figure FDA00039893179500000816
进行特征融合，形成输入失真图像的多尺度特征表示；具体地，对特征向量
Figure FDA00039893179500000817
进行全局平均池化操作，其维度大小由
Figure FDA00039893179500000818
变为1×1×C′；对特征向量
Figure FDA00039893179500000819
进行全局平均池化操作，其维度大小由
Figure FDA00039893179500000820
变为1×1×2C′；对特征向量
Figure FDA00039893179500000821
进行全局平均池化操作，其维度大小由
Figure FDA00039893179500000822
变为1×1×4C′；对特征向量
Figure FDA00039893179500000823
进行全局平均池化操作，其维度大小由
Figure FDA00039893179500000824
变为1×1×8C′，然后将执行全局平均池化操作后的特征向量
Figure FDA00039893179500000825
以及
Figure FDA00039893179500000826
沿通道进行拼接，得到输入失真图像的多尺度特征表示，其大小为1×1×15C′，计算公式如下：
Figure FDA0003989317950000091
其中，Concat(·)表示特征的拼接操作，GAP(*)表示全局平均池化操作，F表示输入失真图像的多尺度特征表示。
6.根据权利要求1所述的基于边缘特征引导的无参考屏幕内容图像质量评估方法，其特征在于，所述步骤S5具体包括以下步骤：
步骤S51、将经过步骤S45得到的输入失真图像的多尺度编码表示F输入到全连接层MLP中，以获得失真图像的质量评价分数Fscore，其计算公式为：
Fscore＝MLP(F)
步骤S52、设计基于边缘特征引导的图像质量评估网络的损失函数如下：
Figure FDA0003989317950000092
其中，m为每个训练批次中的样本个数，yi表示第i个图像样本的真实质量分数，
Figure FDA0003989317950000093
表示第i个图像样本经过网络得到的预测质量分数；
步骤S53、以批次为单位重复上述步骤S51至步骤S52，直至步骤S52中计算得到的损失值收敛并趋于稳定，保存网络参数，完成基于边缘特征引导的图像质量评估网络的训练过程，得到基于边缘特征引导的图像质量评估模型。
7.根据权利要求1所述的基于边缘特征引导的无参考屏幕内容图像质量评估方法，其特征在于，所述步骤S6具体包括以下步骤：
步骤S61、将测试集中的失真屏幕内容图像和对应的边缘结构图输入到训练好的基于边缘特征引导的图像质量评估模型中，输出相应的质量评估分数。
CN202211575974.3A 2022-12-08 2022-12-08 基于边缘特征引导的无参考屏幕内容图像质量评估方法 Pending CN115797304A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211575974.3A CN115797304A (zh) 2022-12-08 2022-12-08 基于边缘特征引导的无参考屏幕内容图像质量评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211575974.3A CN115797304A (zh) 2022-12-08 2022-12-08 基于边缘特征引导的无参考屏幕内容图像质量评估方法

Publications (1)

Publication Number Publication Date
CN115797304A true CN115797304A (zh) 2023-03-14

Family

ID=85418308

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211575974.3A Pending CN115797304A (zh) 2022-12-08 2022-12-08 基于边缘特征引导的无参考屏幕内容图像质量评估方法

Country Status (1)

Country Link
CN (1) CN115797304A (zh)

Similar Documents

Publication Publication Date Title
CN113240580B (zh) 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法
CN108986050B (zh) 一种基于多分支卷积神经网络的图像和视频增强方法
CN108428227B (zh) 基于全卷积神经网络的无参考图像质量评价方法
CN111598761B (zh) 一种基于图像降噪的抗打印拍摄图像数字水印方法
Yan et al. Deep objective quality assessment driven single image super-resolution
CN109872305B (zh) 一种基于质量图生成网络的无参考立体图像质量评价方法
CN110728219A (zh) 基于多列多尺度图卷积神经网络的3d人脸生成方法
CN110059728B (zh) 基于注意力模型的rgb-d图像视觉显著性检测方法
CN110751649A (zh) 视频质量评估方法、装置、电子设备及存储介质
CN114898284B (zh) 一种基于特征金字塔局部差异注意力机制的人群计数方法
CN115131218A (zh) 图像处理方法、装置、计算机可读介质及电子设备
CN111931857A (zh) 一种基于mscff的低照度目标检测方法
CN113343822A (zh) 一种基于3d卷积的光场显著性目标检测方法
CN110570375B (zh) 一种图像处理方法、装置、电子设置以及存储介质
CN115713462A (zh) 超分辨模型训练方法、图像识别方法、装置及设备
CN116403063A (zh) 基于多区域特征融合的无参考屏幕内容图像质量评估方法
CN115240259A (zh) 一种基于yolo深度网络的课堂环境下人脸检测方法及其检测系统
CN114943646A (zh) 基于纹理导向的梯度权重损失和注意力机制超分辨方法
CN115797304A (zh) 基于边缘特征引导的无参考屏幕内容图像质量评估方法
CN115880175A (zh) 一种基于改进生成对抗网络的模糊图像复原方法
CN114897884A (zh) 基于多尺度边缘特征融合的无参考屏幕内容图像质量评估方法
CN113298814A (zh) 一种基于渐进指导融合互补网络的室内场景图像处理方法
CN113627302A (zh) 一种登高施工合规性检测方法及系统
CN112395964A (zh) 一种基于深度学习的能见度估计方法
CN111899161A (zh) 一种超分辨率重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination