CN114299358A - 图像质量评估方法、装置、电子设备及机器可读存储介质 - Google Patents

Abstract

本申请提供一种图像质量评估方法、装置、电子设备及机器可读存储介质，该图像质量评估方法包括：将待评估图像输入图像质量评估模型，得到所述待评估图像的N种不同失真类型的评估分数；其中，所述图像质量评估模型包括特征提取层和分数回归层，所述特征提取层用于提取输入图像的图像特征；所述分数回归层用于依据图像特征得到输入图像的N种不同失真类型的评估分数；N≥2，且N为整数。该方法可以提高图像质量评估的参考价值。

Description

图像质量评估方法、装置、电子设备及机器可读存储介质

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像质量评估方法、装置、电子设备及机器可读存储介质。

背景技术

现实场景中，图像可能会由于各种外部自然因素(如遮挡、干扰、光照变化等)以及图像采集条件约束(如相机分辨率、架设角度等)等原因呈现出差异性较大的成像质量。低质量图像不仅会占用大量的存储资源，还可能引入错误信息造成不必要的损失。因此，图像质量评估逐渐成为一个重要研究领域。

发明内容

有鉴于此，本申请提供一种图像质量评估方法、装置、电子设备及机器可读存储介质，以提高图像质量评估的参考价值。

具体地，本申请是通过如下技术方案实现的：

根据本申请实施例的第一方面，提供一种图像质量评估方法，包括：

将待评估图像输入图像质量评估模型，得到所述待评估图像的N种不同失真类型的评估分数；

其中，所述图像质量评估模型包括特征提取层和分数回归层，所述特征提取层用于提取输入图像的图像特征；所述分数回归层用于依据图像特征得到输入图像的N种不同失真类型的评估分数；N≥2，且N为整数。

根据本申请实施例的第二方面，提供一种图像质量评估装置，包括：

获取单元，用于获取待评估图像；

评估单元，用于将所述待评估图像输入图像质量评估模型，得到所述待评估图像的N种不同失真类型的评估分数；其中，所述图像质量评估模型包括特征提取层和分数回归层，所述特征提取层用于提取输入图像的图像特征；所述分数回归层用于依据图像特征得到输入图像的N种不同失真类型的评估分数；N≥2，且N为整数。

根据本申请实施例的第三方面，提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器用于执行机器可执行指令，以实现第一方面提供的图像质量评估方法。

根据本申请实施例的第四方面，提供一种机器可读存储介质，所述机器可读存储介质内存储有机器可执行指令，所述机器可执行指令被处理器执行时实现第一方面提供的图像质量评估方法。

本申请提供的技术方案至少可以带来以下有益效果：

通过将待评估图像输入图像质量评估模型，由图像质量评估模型的特征提取层提取该图像的图像特征，并由图像质量评估模型的分数回归层依据该图像特征得到输入图像的N种不同失真类型的评估分数，不仅能够准确地判断图像所包含的失真类型，且能够对各失真类型分别进行量化评估，提高了图像质量评估的参考价值；此外，图像输入图像指令评估模型后，通过端到端的方式，得到图像的N种不同失真类型的评估分数，不需要进行其它后处理，简化了图像质量评估的处理流程，提高了图像质量评估的效率。

附图说明

图1是本申请示例性实施例示出的一种图像质量评估方法的流程示意图；

图2是本申请示例性实施例示出的一种图像质量评估模型的模块示意图；

图3是本申请示例性实施例示出的一种图像质量评估流程的示意图；

图4是本申请示例性实施例示出的一种图像质量评估装置的结构示意图；

图5是本申请示例性实施例示出的另一种图像质量评估装置的结构示意图；

图6是本申请示例性实施例示出的一种电子设备的硬件结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

为了使本领域技术人员更好地理解本申请实施例提供的技术方案，并使本申请实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请实施例中技术方案作进一步详细的说明。

请参见图1，为本申请实施例提供的一种图像质量评估方法的流程示意图，如图1所示，该图像质量评估方法可以包括以下步骤：

步骤S100、将待评估图像输入图像质量评估模型，得到待评估图像的N种不同失真类型的评估分数。

其中，图像质量评估模型包括特征提取层和分数回归层，该特征提取层用于提取输入图像的图像特征；该分数回归层用于依据图像特征得到输入图像的N种不同失真类型的评估分数；N≥2，且N为整数。

本申请实施例中，考虑到对于实际图像中可能会存在多种不同类型的失真，例如，图像采集过程异常导致的图像过度曝光，图像传输和存储过程中压缩率过高导致图像模糊等，且在不同使用场景中，不同失真类型对图像处理结果的影响可能不同。

例如，在车牌识别场景中，“遮挡”相比“过曝”和“过暗”对识别结果影响更大。

因而，为了能够提高图像质量评估结果的参考价值，可以不再局限于对图像的整体质量进行评估，也不再局限于对图像进行失真类型的检测，而是可以对图像中包括的失真类型进行判定，并对各失真类型分别进行量化评估，得到各失真类型的评估分数。

相应地，可以获取待评估图像，并将待评估图像输入到图像质量评估模型，由图像质量评估模型的特征提取层提取该图像的图像特征，并由图像质量评估模型的分数回归层(可以称为N分支分数回归层)依据该图像特征得到输入图像(即待评估图像)的N种不同失真类型的评估分数。

示例性的，对于任一失真类型，该失真类型的评估分数越低，表明输入图像该类型失真越严重。

在一个示例中，分数回归模型可以包括N个全连接层，每个全连接层对应一种失真类型。

在另一个示例中，分数回归模型可以包括一个全连接层，该全连接层包括N个输出，每个输出对应一种失真类型。

需要说明的是，分数回归也可以使用卷积层+全局平均池化的方式来实现。

可见，在图1所示方法流程中，通过将待评估图像输入图像质量评估模型，由图像质量评估模型的特征提取层提取该图像的图像特征，并由图像质量评估模型的分数回归层依据该图像特征得到输入图像的N种不同失真类型的评估分数，不仅能够准确地判断图像所包含的失真类型，且能够对各失真类型分别进行量化评估，提高了图像质量评估的参考价值；此外，图像输入图像指令评估模型后，通过端到端的方式，得到图像的N种不同失真类型的评估分数，不需要进行其它后处理，简化了图像质量评估的处理流程，提高了图像质量评估的效率。

在一些实施例中，上述图像指令评估模型还可以包括特征增强层，用于对特征提取层提取的图像特征进行特征增强处理，得到增强特征，由分数回归层依据增强特征图像特征得到输入图像的N种不同失真类型的评估分数。

示例性的，为了提高图像质量评估的准确性，图像质量评估模型中还可以包括特征增强层。待评估图像输入图像质量评估模型之后，可以由特征提取层进行特征提取，得到待评估图像的图像特征，该图像特征可以由特征增强层进行增强处理，得到增强特征。

特征增强层输出的增强特征可以输入分数回归层，由分数回归层依据增强特征得到待评估图像的N种不同失真类型的评估分数。

示例性的，特征增强处理可以包括但不限于特征融合处理和/或注意力机制处理。

在一个示例中，特征增强处理可以包括特征融合处理；

上述特征增强层通过以下方式实现特征增强处理：

将特征提取层各层的输出特征处理为相同通道数，分别得到各层第一处理后的输出特征；

分别对各层第一处理后的输出特征进行上采样处理，得到各层第二处理后的输出特征；其中，各层第二处理后的输出特征的特征图大小相同；

对各层第二处理后的输出特征进行特征融合处理，得到融合特征。

示例性的，为了提高图像质量评估的准确性，当通过特征提取层对输入图像进行图像特征提取时，可以对特征提取层各层的输出特征进行特征融合处理，得到融合特征，以实现特征增强。

示例性的，考虑到将输入图像输入到图像质量评估模型之后，图像质量评估模型的特征提取层各层的输出特征的通道数以及特征图大小可能均会不同。

相应地，在对特征提取层各层的输出特征进行特征融合之前，可以将各层的输出特征处理为通道数相同以及特征图大小相同。

示例性的，当将输入图像输入到图像质量评估模型之后，可以分别获取特征提取层各层的输出特征，并将特征提取层各层的输出特征处理为相同通道数，得到通道数相同的各层输出特征(本文中称为第一处理后的输出特征)。

对于各层第一处理后的输出特征，可以通过上采样处理，使各输出特征的特征图大小相同，得到各层特征图大小相同且通道数相同的输出特征(本文中称为第二处理后的输出特征)。

示例性的，将特征提取层各层的输出特征处理为通道数相同且特征图大小相同的输出特征的具体实现可以在下文中结合具体实例进行说明。

进而，可以对各层第二处理后的输出特征进行特征融合处理，得到融合特征。

在一个示例中，特征增强处理包括注意力机制处理；注意力机制处理包括空间注意力机制处理和/或通道注意力机制处理；

上述特征增强层可以通过以下方式实现特征增强处理：

依据注意力机制对图像特征进行处理，以确定图像特征在空间维度和/或通道维度中的特征依赖关系；

依据图像特征在空间维度和/或通道维度中的特征依赖关系，对图像特征进行增强处理，得到增强特征。

示例性的，考虑到提取得到的输入图像的图像特征通常会在空间维度和通道维度存在特征依赖。

相应地，为了实现特征增强，可以依据图像特征在空间维度和/或通道维度的特征依赖关系，对图像特征进行增强处理。

示例性的，对于获取到的图像特征，可以依据注意力机制对图像特征进行处理，以确定图像特征在空间维度和/或通道维度中的特征依赖关系，并依据图像特征在空间维度和/或通道维度中的特征依赖关系，对图像特征进行增强处理，得到增强特征。

以空间维度的特征依赖关系为例，可以依据不同位置的特征的相似性确定特征的加权权重，并通过加权求和的方式对所有位置的特征进行聚合更新，得到增强特征。

示例性的，依据图像特征在空间维度和/或通道维度中的特征依赖关系，对图像特征进行增强处理的具体实现可以在下文中结合具体实例进行说明，本申请实施例在此不做赘述。

在一些实施例中，步骤S100中，将待评估图像输入图像质量评估网络之前，还包括：

依据训练样本输入图像质量评估模型后输出的N种不同失真类型的评估分数，与训练样本的N种不同失真类型的标定分数，确定模型损失，并依据该模型损失，通过反向传播方式对图像质量评估模型中各部分的模型参数进行优化调整。

示例性的，在对图像质量评估模型的训练过程中，可以依据训练样本输入该图像质量评估模型后输出的N种不同失真类型的评估分数，与该训练样本的N种不同失真类型的标定分数，计算模型损失，并依据该模型损失，通过反向传播方式对该图像质量评估模型中各部分的模型参数进行优化调整。

需要说明的是，当完成对图像质量评估模型的训练之后，在将训练后的图像质量评估模型用于执行图像质量评估任务之前，还可以依据预设的测试集对训练后的图像质量评估模型进行测试，并当训练后的图像质量评估模型满足测试要求时，将其用于执行图像质量评估任务；否则，可以继续对训练后的图像质量评估模型进行训练。

为了使本领域技术人员更好地理解本申请实施例提供的技术方案，下面结合具体实施例对本申请实施例提供的技术方案进行说明。

在该实施例中，可以利用有标签数据集(即训练样本集)训练一个深度神经网络(可以称为图像多属性质量评价网络，即上述图像质量评估模型)，该深度神经网络可以根据图像所包含的失真类型对图像进行质量评价，并输出多种不同失真类型的评估分数。

在该实施例中，如图2所示，图像质量评估模型主要包括三个功能模块：特征提取模块(如上述特征提取层)、特征处理模块(用于对图像特征进行特征增强处理，即上述特征增强层)以及分数回归模块(如上述N分支分数回归层)。其中：

特征提取模块：特征提取模块通常可以选择深度卷积神经网络，比如VGG、ResNet或DensNet等。图像经过预处理之后首先输入到特征提取模块，经过多层卷积后提取到图像特征。

特征处理模块：特征提取模块提取到的图像特征可输入到特征处理模块进行特征增强处理，如特征融合处理、注意力机制处理等，然后，再输入到分数回归模块。

分数回归模块：特征处理模块输出的特征经过分数回归模块，可以得到N个分数标量，分别代表N个失真类型的评估分数。

下面结合图3对各功能模块进行说明。

一、特征提取模块

示例性的，以使用残差网络(如ResNet18)作为特征提取模块为例，可以将其四个子模块Layer(层)_1、Layer_2、Layer_3、Layer_4各层的输出特征作为后续模块的输入。

由于高层特征具有更强的语义信息并且噪声更少，因此，传统的分类和检测任务中通常将最后一层的输出特征用于分类或检测。

而本申请实施例中，考虑到多属性图像质量评估(即对多种不同失真类型进行质量评估)更关注图像的局部细节，对语义的要求反而不是很高。

此外，考虑到低层特征(Layer_1/Layer_2/Layer_3的输出特征)虽然语义性更低，噪声更多，但是其分辨率更高，包含更多位置、细节信息。

因而，在本申请实施例中，可以将ResNet18网络各层的输出特征均提取出来，通过特征融合处理，实现特征增强。

需要说明的是，通过ResNet18网络进行特征提取仅仅是特征提取模块的一种具体示例，而并不是对本申请保护范围的限定，在本申请实施例中，还可以使用其它ResNet系列网络，或者使用VGG、DenseNet等深度卷积网络进行特征提取。

二、特征处理模块

2.1、特征融合处理子模块

完成各层特征的提取后，可以对各层的输出特征进行的特征融合。

示例性的，假设输入图像的向量维度为3x256x256，则ResNet18网络各层的输出特征的特征图维度分别为：Layer_1的输出为64x64x64，Layer_2的输出为128x32x32，Layer_3的输出为256x16x16，Layer_4的输出为512x8x8。

可见，各层的输出特征均不相同，因此需要对其特征图大小和通道数进行统一。

示例性的，可以Layer_2、Layer_3和Layer_4的输出特征分别使用了1x1卷积，使其通道数都更改为64(Layer_1特征通道数为64，无需更改)。

然后，从Layer_4的输出特征开始，自顶向下逐层进行上采样，并且加上前一层的特征图。

示例性的，每次上采样倍数均为2，且使用最邻近插值法；最后使用3×3卷积减小上采样过程所造成的影响，得到最后的特征图。

经过以上的操作，各层的输出特征对应的特征图维度分别为：Layer_1(64x64x64)、Layer_2(64x32x32)、Layer_3(64x16x16)、Layer_4(64x8x8)。

示例性的，由于各层特征图大小不同，因此，还需要对其进行统一。

示例性的，对于高层的特征图，继续使用上采样方法，其中Layer_4对应的特征图使用了3次2倍上采样，Layer_3对应的特征图使用了2次2倍上采样，Layer_2对应的特征图使用了1次2倍上采样，此时，各个Layer的输出特征对应的特征图维度大小均为64x64x64。

最后，将各层特征相加，再使用3x3卷积缓解上采样影响，完成特征的融合过程。

2.2、注意力机制处理子模块

示例性的，可以采用了双注意力网络，基于自注意力机制来分别捕获空间维度和通道维度中的特征依赖关系。

示例性的，注意力机制处理子模块可以包括空间注意力模块(PositionAttention Module，简称PAM)和通道注意力模块(Channel Attention Module，简称CAM)。

示例性的，PAM使用自注意力机制捕获任意两个位置之间的空间依赖关系，通过加权求和对所有位置的特征进行聚合更新，其权重由对应两个位置之间的相似性决定；CAM使用自注意力机制捕获任意两个通道之间的依赖关系，通过加权求和进行更新；最后两个模块的输出进行相加融合，进一步增强了特征表示。

示例性的，假设输入图像经过特征提取模块和特征融合子模块之后，得到CxHxW的特征图，该特征图作为输入进入到双注意力网络中。

在PAM中，首先需要得到空间注意力矩阵M_PAM。M_PAM的维度大小为KxK(K＝HxW)，用于表示任意两个位置之间的依赖关系。其矩阵元素M_ij，M_PAM∈R^N×N代表第i个位置与第j个位置之间的关联程度。

示例性的，可以将原特征图维度由CxHxW调整为CxK(K＝HxW)，得到矩阵B(CxK)，再将其转置得到矩阵C(KxC)，最后计算M_PAM＝CB得到空间注意力矩阵。

得到注意力矩阵之后，可以将其与原特征图相乘，相乘前需要将特征图维度调整为CxK，相乘后得到加权特征图(CxK)，再调整为CxHxW，并与原始特征图相加得到最终输出。

示例性的，通道自注意力模块的计算过程基本相似，主要区别在于通道注意力矩阵M_CAM维度大小为CxC，因此在计算时需要注意力对应的调整维度。

三、分数回归模块

示例性的，以通过全连接层实现分数回归为例。

需要说明的是，分数回归并不限于使用全连接层实现，也可以使用卷积层+全局平均池化的方式实现。

示例性的，分数回归模块可以包括N(N＝失真类型数)个全连接层，每个全连接层对应一种失真类型，或，分数回归模块可以一个全连接层，该全连接层包括N个输出，每个输出对应一种失真类型。

输入处理后的特征图，会经过每一个全连接层，输出N个质量分数S_i，其中，i＝0，1，…，N-1。

其中，S_i越低，代表该类型失真越严重。

需要说明的是，本申请实施例提供的图像多属性质量评价网络在用于执行图像质量评估任务之前，可以包括两个阶段：训练阶段和测试阶段；其中：

4.1、训练阶段

图像数据经过特征提取模块进行特征提取得到多尺度抽象特征，特征融合处理子模块对不同尺度的特征进行融合，注意力机制处理子模块计算特征不同位置、不同通道之间的依赖关系并作为编码后的高层抽象特征加权的权值得到最终的融合后特征，最后进行分数回归，与训练样本提供的不同失真类型的标定分数进行比对计算损失，反向传播调整上述各个部分的模型参数。

4.2、测试阶段

需要说明的是，测试阶段可以包括在测试集上进行批量测试，并评估测试效果；也可以包括执行实际的图像评分任务。

对于需要进行质量评价的图像，采用和训练图像一样的输入方式，提取多尺度特征并融合，计算注意力权值并加权特征，最后得到不同失真类型的质量分数。

可见，在本申请实施例中，可处理各类混合失真图像，检测出其失真类型，并且对各个失真类型单独进行量化评估。

其次，图像质量评估的训练和测试过程都为端对端网络，输入图像后可直接输出各失真类型分数，不需要将特征提取&融合、失真类型分类、质量评价过程分开进行；

再者，技术提取了不同尺度的深度特征，并对提取的图像特征进行特征融合，同时保证了特征的语义性和细节信息；

最后，通过自注意力机制来对特征不同位置、不同通道之间的依赖关系进行建模，从而更好地保持相同失真类型之间的一致性，以及不同失真类型之间的差异性。

以上对本申请提供的方法进行了描述。下面对本申请提供的装置进行描述：

请参见图4，为本申请实施例提供的一种图像质量评估装置的结构示意图，如图4所示，该图像质量评估装置可以包括：

获取单元410，用于获取待评估图像；

评估单元420，用于将所述待评估图像输入图像质量评估模型，得到所述待评估图像的N种不同失真类型的评估分数；其中，所述图像质量评估模型包括特征提取层和分数回归层，所述特征提取层用于提取输入图像的图像特征；所述分数回归层用于依据图像特征得到输入图像的N种不同失真类型的评估分数；N≥2，且N为整数。

在一些实施例中，所述图像质量评估模型还包括特征增强层，用于对所述特征提取层提取的图像特征进行特征增强处理，得到增强特征，由所述分数回归层依据增强特征图像特征得到输入图像的N种不同失真类型的评估分数。

在一些实施例中，所述特征增强处理包括特征融合处理；

所述特征增强层通过以下方式实现特征增强处理：

将所述特征提取层各层的输出特征处理为相同通道数，分别得到各层第一处理后的输出特征；

分别对所述各层第一处理后的输出特征进行上采样处理，得到各层第二处理后的输出特征；其中，所述各层第二处理后的输出特征的特征图大小相同；

对所述各层第二处理后的输出特征进行特征融合处理，得到融合特征。

在一些实施例中，所述特征增强处理包括注意力机制处理；所述注意力机制处理包括空间注意力机制处理和/或通道注意力机制处理；

所述特征增强层通过以下方式实现特征增强处理：

依据注意力机制对所述图像特征进行处理，以确定所述图像特征在空间维度和/或通道维度中的特征依赖关系；

依据所述图像特征在空间维度和/或通道维度中的特征依赖关系，对所述图像特征进行增强处理，得到增强特征。

在一些实施例中，如图5所示，所述装置还包括：

训练单元430，用于依据训练样本输入图像质量评估模型后输出的N种不同失真类型的评估分数，与所述训练样本的N种不同失真类型的标定分数，确定模型损失，并依据所述模型损失，通过反向传播方式对所述图像质量评估模型中各部分的模型参数进行优化调整。

本申请实施例提供一种电子设备，包括处理器和存储器，其中，存储器存储有能够被所述处理器执行的机器可执行指令，处理器用于执行机器可执行指令，以实现上文描述的图像质量评估方法。

请参见图6，为本申请实施例提供的一种电子设备的硬件结构示意图。该电子设备可包括处理器601、存储有机器可执行指令的存储器602。处理器601与存储器602可经由系统总线603通信。并且，通过读取并执行存储器602中与图像质量评估逻辑对应的机器可执行指令，处理器601可执行上文描述的图像质量评估方法。

本文中提到的存储器602可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(RadomAccess Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。

在一些实施例中，还提供了一种机器可读存储介质，如图6中的存储器602，该机器可读存储介质内存储有机器可执行指令，所述机器可执行指令被处理器执行时实现上文描述的图像质量评估方法。例如，所述存储介质可以是ROM、RAM、CD-ROM、磁带、软盘和光数据存储设备等。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (12)

1.一种图像质量评估方法，其特征在于，包括：

将待评估图像输入图像质量评估模型，得到所述待评估图像的N种不同失真类型的评估分数；

其中，所述图像质量评估模型包括特征提取层和分数回归层，所述特征提取层用于提取输入图像的图像特征；所述分数回归层用于依据图像特征得到输入图像的N种不同失真类型的评估分数；N≥2，且N为整数。

2.根据权利要求1所述的方法，其特征在于，所述图像质量评估模型还包括特征增强层，用于对所述特征提取层提取的图像特征进行特征增强处理，得到增强特征，由所述分数回归层依据增强特征图像特征得到输入图像的N种不同失真类型的评估分数。

3.根据权利要求2所述的方法，其特征在于，所述特征增强处理包括特征融合处理；

所述特征增强层通过以下方式实现特征增强处理：

将所述特征提取层各层的输出特征处理为相同通道数，分别得到各层第一处理后的输出特征；

分别对所述各层第一处理后的输出特征进行上采样处理，得到各层第二处理后的输出特征；其中，所述各层第二处理后的输出特征的特征图大小相同；

对所述各层第二处理后的输出特征进行特征融合处理，得到融合特征。

4.根据权利要求2所述的方法，其特征在于，所述特征增强处理包括注意力机制处理；所述注意力机制处理包括空间注意力机制处理和/或通道注意力机制处理；

所述特征增强层通过以下方式实现特征增强处理：

依据注意力机制对所述图像特征进行处理，以确定所述图像特征在空间维度和/或通道维度中的特征依赖关系；

依据所述图像特征在空间维度和/或通道维度中的特征依赖关系，对所述图像特征进行增强处理，得到增强特征。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述将待评估图像输入图像质量评估网络之前，还包括：

依据训练样本输入图像质量评估模型后输出的N种不同失真类型的评估分数，与所述训练样本的N种不同失真类型的标定分数，确定模型损失，并依据所述模型损失，通过反向传播方式对所述图像质量评估模型中各部分的模型参数进行优化调整。

6.一种图像质量评估装置，其特征在于，包括：

获取单元，用于获取待评估图像；

评估单元，用于将所述待评估图像输入图像质量评估模型，得到所述待评估图像的N种不同失真类型的评估分数；其中，所述图像质量评估模型包括特征提取层和分数回归层，所述特征提取层用于提取输入图像的图像特征；所述分数回归层用于依据图像特征得到输入图像的N种不同失真类型的评估分数；N≥2，且N为整数。

7.根据权利要求6所述的装置，其特征在于，所述图像质量评估模型还包括特征增强层，用于对所述特征提取层提取的图像特征进行特征增强处理，得到增强特征，由所述分数回归层依据增强特征图像特征得到输入图像的N种不同失真类型的评估分数。

8.根据权利要求7所述的装置，其特征在于，所述特征增强处理包括特征融合处理；

所述特征增强层通过以下方式实现特征增强处理：

将所述特征提取层各层的输出特征处理为相同通道数，分别得到各层第一处理后的输出特征；

分别对所述各层第一处理后的输出特征进行上采样处理，得到各层第二处理后的输出特征；其中，所述各层第二处理后的输出特征的特征图大小相同；

对所述各层第二处理后的输出特征进行特征融合处理，得到融合特征。

9.根据权利要求7所述的装置，其特征在于，所述特征增强处理包括注意力机制处理；所述注意力机制处理包括空间注意力机制处理和/或通道注意力机制处理；

所述特征增强层通过以下方式实现特征增强处理：

依据注意力机制对所述图像特征进行处理，以确定所述图像特征在空间维度和/或通道维度中的特征依赖关系；

依据所述图像特征在空间维度和/或通道维度中的特征依赖关系，对所述图像特征进行增强处理，得到增强特征。

10.根据权利要求6-9任一项所述的装置，其特征在于，所述装置还包括：

训练单元，用于依据训练样本输入图像质量评估模型后输出的N种不同失真类型的评估分数，与所述训练样本的N种不同失真类型的标定分数，确定模型损失，并依据所述模型损失，通过反向传播方式对所述图像质量评估模型中各部分的模型参数进行优化调整。

11.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器用于执行机器可执行指令，以实现如权利要求1-5任一项所述的方法。

12.一种机器可读存储介质，其特征在于，所述机器可读存储介质内存储有机器可执行指令，所述机器可执行指令被处理器执行时实现如权利要求1-5任一项所述的方法。

Images