CN114358204A - 基于自监督的无参考图像质量评估方法及系统 - Google Patents

Abstract

本发明属于图像质量评估领域，具体涉及了一种基于自监督的无参考图像质量评估方法及系统，旨在解决现有技术中由于训练数据不足而导致图像质量评估模型性能不佳的问题。本发明包括：构建共享编码器的先验知识学习子网络和图像质量评估子网络构成的自监督无参考图像质量评估模型；以图像复原任务作为图像质量评估任务的代理任务，进行先验知识学习子网络的预训练；通过先验知识学习子网络和所述图像质量评估子网络的解码器之间设置的知识迁移通道进行知识迁移；在图像质量评估任务上进行模型微调训练；通过训练好的模型进行无参考图像的质量评估。本发明模型仅在较少的数据上进行训练就可以获得很好的性能，训练效率高，图像质量评估的准确性高。

Description

基于自监督的无参考图像质量评估方法及系统

技术领域

本发明属于图像质量评估领域，具体涉及了一种基于自监督的无参考图像质量评估方法及系统。

背景技术

图像质量评估(IQA，Image Quality Assessment)广泛应用于影音娱乐、医疗影像、航空遥感等场景中。根据有无参考图像，IQA方法可分为全参考、半参考和无参考方法。许多应用场景中，参考图像难以获取，因此无参考IQA(NR-IQA，No-Reference ImageQuality Assessment)方法，即没有参考图像的情况下对失真图像的质量进行评估，更具实用性，获得更广泛的关注。NR-IQA方法的关键是提取失真图像的有效表示，然后将其映射为一个质量分数。传统的NR-IQA方法通常采用人工设计的特征，例如小波变换系数、离散变换系数、图像的亮度系数等等。近年来，卷积神经网络(CNN，Convolutional Neural Network)在计算机视觉领域取得一系列进展，许多学者也纷纷借助CNN强大的特征提取能力来提升NR-IQA方法的性能。但训练一个优秀的CNN模型需要大量的人工标注数据，即图像的质量分数。该分数一般在实验室条件下，让受试者严格遵守评分规则给出对失真图像的质量评分，最后对每一幅图像的质量评分取均值所得。因此，IQA数据集的制作成本高且耗时长。难以获取大规模的标注样本已成为限制NR-IQA模型性能的主要因素之一。为了缓解训练数据不足的问题，许多NR-IQA方法采取预训练机制，首先在其他任务上进行预训练，然后再迁移到NR-IQA任务上进行微调，代表模型包括DBCNN和MetaIQA。这些方法普遍在分类任务上进行预训练，但分类任务主要关注高层语义信息，较少关注底层的失真信息，因此不利于对失真图像的质量评估。

一些文献提出了通过深度双线性卷积神经网络进行无参考图像质量评估的方法(DBCNN方案)[1]，首先由VGG-16模块为在ImageNet数据集上进行物体分类任务预训练的模型，然后设置与VGG-16结构相同的S-CNN模块，并在失真类型和失真程度的分类任务上进行预训练。VGG-16负责提取输入图像的语义特征，S-CNN负责提取输入图像的失真特征。最后采用双元线性池化的方法(Bilinear Pooling)将语义和失真特征相融合，输入到FC层中预测图像的质量分数。还有一些文献提出了通过元学习方法进行无参考图像质量评估的方法(MetaIQA方案)[2]，利用元学习的思想，首先通过预训练掌握部分失真类型，然后再将所学知识迁移到未知的失真类型上，探索已知失真和未知失真之间的关联性，从而进行更好的学习。其中模型训练过程主要包括：(1)选择部分失真类型的失真图像及其对应的质量分数，对模型进行预训练；(2)使用目标IQA数据集中所有失真类型的失真图像及其对应的质量分数，对(1)中预训练好的模型进行微调，最终得到NR-IQA模型。

然而，DBCNN方案采用了两个预训练的网络来提取语义和失真信息，但提取失真信息的S-CNN也是在分类任务上进行训练的。这导致了当失真类型和程度很多时，其预训练的效果不好，且分类任务属于有监督学习，这也一定程度会导致模型的泛化能力降低。MetaIQA方案采用了元学习的思想，利用失真图像和对应的分数输入到方案网络中进行预训练，让网络提前感知不同失真信息的分数水平。但该预训练的过程依旧依赖于IQA数据集，且不同IQA数据集的制作过程和打分规则不同，这会导致在其他数据集上微调时模型不适应的问题。且由于预训练过程只对图像质量分数进行约束，这会使得方案模型无法准确地提取出图像的语义和失真信息，导致模型可解释性不强的问题。

总的来说，在NR-IQA任务中，对一张图像预测质量评分往往需要同时考虑高层语义和底层失真信息，而上述两个方案都采用在分类任务上预训练的模型(如VGG，ResNet)来提取语义信息，较少考虑图像的失真信息，因此不能够充分适应NR-IQA任务。

以下文献是与本发明相关的技术背景资料：

[1]Zhang W,Ma K,Yan J,et al.Blind Image Quality Assessment Using ADeep Bilinear Convolutional Neural Network[J].IEEE Transactions on Circuits&Systems for Video Technology,2019:1-1。

[2]Zhu H,Li L,Wu J,et al.MetaIQA:Deep Meta-learning for No-ReferenceImage Quality Assessment[J].2020IEEE/CVF Conference on Computer Vision andPattern Recognition(CVPR),2020。

发明内容

为了解决现有技术中的上述问题，即现有技术中由于训练数据不足而导致图像质量评估模型性能不佳的问题，本发明提供了一种基于自监督的无参考图像质量评估方法，该无参考图像质量评估方法包括：

步骤S10，构建自监督无参考图像质量评估模型，所述模型包括共享编码器的先验知识学习子网络和图像质量评估子网络，所述先验知识学习子网络和所述图像质量评估子网络的解码器之间设置有知识迁移通道；

步骤S20，以图像复原任务作为图像质量评估任务的代理任务，构建图像复原任务的第一训练集，并通过所述第一训练集进行所述先验知识学习子网络的预训练；

步骤S30，通过所述知识迁移通道将预训练的先验知识学习子网络的解码器的参数迁移至图像质量评估子网络的解码器；

步骤S40，获取少量的图像质量评估任务的第二训练集，并通过所述第二训练集进行预训练的先验知识学习子网络和参数迁移后的图像质量评估子网络的微调训练；

步骤S50，以微调训练的先验知识学习子网络和图像质量评估子网络作为训练好的自监督无参考图像质量评估模型，并通过训练好的自监督无参考图像质量评估模型进行无参考图像的质量评估。

在一些优选的实施例中，所述先验知识学习子网络和所述图像质量评估子网络，其解码器为失真信息感知模块；

所述失真信息感知模块包括顺次连接的一个第一拼接层、一个Inception层、一个第二拼接层和三个3×3卷积层；

所述Inception层包括第一分支、第二分支、第三分支和第四分支，所述第一分支为一个1×1卷积层，所述第二分支为顺次连接的一个1×1卷积层和一个5×5卷积层，所述第三分支为顺次连接的一个1×1卷积层、一个3×3卷积层和一个1×1卷积层，所述第四分支为顺次连接的一个最大值池化层和一个3×3卷积层。

在一些优选的实施例中，所述知识迁移通道包括知识收集模块和知识分发模块；

所述知识收集模块包括m个分支输入和一个第三拼接层，每个分支输入包括顺次连接的一个1×1卷积层和一个池化层，m个分支的池化层一起连接到第一拼接层，其中，m为先验知识学习子网络的解码器输出的图像多尺度上下文特征的尺度数；

所述知识分发模块包括与所述第三拼接层连接的n个分支输出，每个分支输出包括顺次连接的一个第四拼接层和一个1×1卷积层，其中，n为图像质量评估子网络的解码器输出的图像多尺度上下文特征的尺度数。

在一些优选的实施例中，所述先验知识学习子网络，其基于图像复原任务的第一训练集的预训练的第一损失函数为：

其中，

I分别代表第一训练集中的参考图像

和对应的复原图像I，

代表参考图像

和对应的复原图像I之间的第一损失函数，

代表参考图像

和对应的复原图像I之间的L1损失函数，

代表参考图像

和对应的复原图像I之间的SSIM损失函数，

代表参考图像

和对应的复原图像I之间的感知损失函数，ε,ρ,μ为预设的用于调节L1损失函数、SSIM损失函数和感知损失函数在第一损失函数所占比重的超参数，N为预训练的第一训练集的参考图像

和对应的复原图像I的图像对的个数。

在一些优选的实施例中，所述预设的用于调节L1损失函数、SSIM损失函数和感知损失函数在第一损失函数所占比重的超参数，分别设置为ε＝1，ρ＝0.08，μ＝1。

在一些优选的实施例中，所述参考图像

和对应的复原图像I之间的L1损失函数

其表示为：

其中，‖‖₁代表L1范数。

在一些优选的实施例中，所述参考图像

和对应的复原图像I之间的SSIM损失函数

其表示为：

其中，

代表求参考图像

和对应的复原图像I之间的结构相似度。

在一些优选的实施例中，所述参考图像

和对应的复原图像I之间的感知损失函数

其表示为：

其中，

代表以参考图像

为输入的先验知识学习子网络第t层的特征图，ψ_t(I)代表以参考图像

对应的复原图像I为输入的先验知识学习子网络第t层的特征图，T代表预训练的先验知识学习子网络的层数，Θ_t代表第t层的特征图上的总的特征点数目，‖‖₁代表L1范数。

在一些优选的实施例中，所述预训练的先验知识学习子网络和参数迁移后的图像质量评估子网络，其基于图像质量评估任务的第二训练集的微调训练的第二损失函数为：

其中，

代表第二损失函数，g,p分别代表第二训练集中图像的标签质量分数和对应的图像质量评估子网络预测质量分数，||代表求绝对值。

本发明的另一方面，提出了一种基于自监督的无参考图像质量评估系统，该无参考图像质量评估系统包括以下模块：

模型构建模块，配置为构建自监督无参考图像质量评估模型，所述模型包括共享编码器的先验知识学习子网络和图像质量评估子网络，所述先验知识学习子网络和所述图像质量评估子网络的解码器之间设置有知识迁移模块；

预训练模块，配置为以图像复原任务作为图像质量评估任务的代理任务，构建图像复原任务的第一训练集，并通过所述第一训练集进行所述先验知识学习子网络的预训练；

知识迁移模块，配置为通过知识迁移通道将预训练的先验知识学习子网络的解码器的参数迁移至图像质量评估子网络的解码器；

微调训练模块，配置为获取少量的图像质量评估任务的第二训练集，并通过所述第二训练集进行预训练的先验知识学习子网络和参数迁移后的图像质量评估子网络的微调训练；

图像质量评估模块，配置为以微调训练的先验知识学习子网络和图像质量评估子网络作为训练好的自监督无参考图像质量评估模型，并通过训练好的自监督无参考图像质量评估模型进行无参考图像的质量评估。

本发明的有益效果：

(1)本发明基于自监督的无参考图像质量评估方法，采用自监督学习的方式让自监督无参考图像质量评估模型的先验知识学习子网络在图像复原任务上进行预训练，然后再迁移到图像质量评估任务上进行图像质量评估子网络的微调，可以突破图像质量评估训练数据不足的限制，有效提升图像质量评估模型的性能，从而进一步提升图像质量识别的准确性和精度。

(2)本发明基于自监督的无参考图像质量评估方法，在自监督无参考图像质量评估模型的先验知识学习子网络和图像质量评估子网络之间建立知识迁移通道，可实现知识的聚合和分发，促进知识的有效迁移。

(3)本发明基于自监督的无参考图像质量评估方法，子网络的解码器为失真信息感知模块，可以有效感知图像全局和局部的失真信息，提升图像复原和图像质量评估的准确性。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本发明基于自监督的无参考图像质量评估方法的流程示意图；

图2是本发明基于自监督的无参考图像质量评估方法一种实施例的失真感知模块结构示意图；

图3是本发明基于自监督的无参考图像质量评估方法一种实施例的知识迁移通道结构示意图；

图4是本发明基于自监督的无参考图像质量评估方法一种实施例的无参考图像的质量评估示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

本发明提供一种基于自监督的无参考图像质量评估方法，采用了新的NR-IQA(无参考图像质量评估)训练方法，利用自监督学习的思想，首先确定一项代理任务，该代理任务应与目标NR-IQA任务具有较强的相关性，训练数据容易获取、数量充足，且不需要人为标注的监督信号，而是可以直接从输入数据本身获取监督信号。图像复原任务满足所述条件，因此本发明选取图像复原任务作为代理任务。构建图像复原任务的数据集，并在该数据集上对自监督无参考图像质量评估模型进行预训练。通过预训练，自监督无参考图像质量评估模型的先验知识学习子网络可以在图像复原任务中学习到关于失真图像的有效特征表示，包括语义特征和失真特征，并将其作为一种先验知识。然后将预训练的先验知识学习子网络迁移到图像质量评估任务上进行图像质量评估子网络的微调。由于在预训练阶段已学习到关于语义和失真特征的先验知识，因此图像质量评估子网络只需要较少的IQA训练数据就可以快速收敛到比较好的性能。

IQA数据集中包含若干幅不同失真类型、不同失真程度的失真图像，图像的失真可能由拍摄抖动、设备噪声、过曝光等自然原因造成，或者是人为的在高清图像上添加失真(如高斯模糊、高斯噪声、过曝光等)得到，每张失真图像都有一个人工标注的图像质量分数。

本发明的一种基于自监督的无参考图像质量评估方法，该无参考图像质量评估方法包括：

步骤S10，构建自监督无参考图像质量评估模型，所述模型包括共享编码器的先验知识学习子网络和图像质量评估子网络，所述先验知识学习子网络和所述图像质量评估子网络的解码器之间设置有知识迁移通道；

步骤S20，以图像复原任务作为图像质量评估任务的代理任务，构建图像复原任务的第一训练集，并通过所述第一训练集进行所述先验知识学习子网络的预训练；

步骤S30，通过所述知识迁移通道将预训练的先验知识学习子网络的解码器的参数迁移至图像质量评估子网络的解码器；

步骤S40，获取少量的图像质量评估任务的第二训练集，并通过所述第二训练集进行预训练的先验知识学习子网络和参数迁移后的图像质量评估子网络的微调训练；

步骤S50，以微调训练的先验知识学习子网络和图像质量评估子网络作为训练好的自监督无参考图像质量评估模型，并通过训练好的自监督无参考图像质量评估模型进行无参考图像的质量评估。

为了更清晰地对本发明基于自监督的无参考图像质量评估方法进行说明，下面结合图1对本发明实施例中各步骤展开详述。

本发明第一实施例的基于自监督的无参考图像质量评估方法，包括步骤S10-步骤S50，各步骤详细描述如下：

步骤S10，构建自监督无参考图像质量评估模型，所述模型包括共享编码器的先验知识学习子网络和图像质量评估子网络，所述先验知识学习子网络和所述图像质量评估子网络的解码器之间设置有知识迁移通道。

鉴于两个子网络都需要充分感知输入图像的失真信息，先验知识学习子网络才能复原出一幅干净的图像，图像质量评估子网络才能正确的预测图像的质量分数。但由于解码器以编码器输出的高层语义特征作为输入，在一定程度上损失了底层的失真信息。对此，本发明为两个子网络的解码器设计了一种特殊的网络模块，称为失真感知模块。通过将编码器中的失真特征迁移到解码器中，从而增强解码器对失真信息的感知能力，输出正确的预测结果。该模块以解码器前一层输出的特征图和编码器中间层输出的特征图为输入，首先经过一个拼接层，将两个输入沿通道层拼接在一起，随后经过一个inception层。inception层内部包含了四个分支，每个分支由多个不同尺寸的卷积核或池化层组成。inception层在本模块中用于挖掘不同尺度的失真信息。四个分支输出的特征图经过一个拼接层，沿通道拼接在一起。最后经过3个卷积层，输出失真信息增强的特征图。

如图2所示，为本发明基于自监督的无参考图像质量评估方法一种实施例的失真感知模块结构示意图，失真信息感知模块包括顺次连接的一个第一拼接层、一个Inception层、一个第二拼接层和三个3×3卷积层：

Inception层包括第一分支、第二分支、第三分支和第四分支，所述第一分支为一个1×1卷积层，所述第二分支为顺次连接的一个1×1卷积层和一个5×5卷积层，所述第三分支为顺次连接的一个1×1卷积层、一个3×3卷积层和一个1×1卷积层，所述第四分支为顺次连接的一个最大值池化层和一个3×3卷积层。

本发明设计了一种知识迁移通道，用于联通两个子网络。该通道包含知识收集和知识分发两部分。知识收集部分用于聚合先验知识子网络的多尺度上下文特征，每个尺度图的特征分别经过1×1的卷积层调整为同样的通道数，然后分别经过池化层调整为同样的尺寸，最后拼接在一起，构成聚合特征。知识分发部分中，将聚合特征分发给图像质量评估子网络不同尺度的特征图，每个尺度的特征图从聚合特征中选择有用的特征保留，无用的特征丢弃。在每次分发过程中，首先经过拼接层将聚合特征与图像质量评估子网络中某个尺度的特征拼接在一起，然后经过1×1的卷积层将两者进行融合，实现特征的筛选，融合特征继续沿图像质量评估子网络向后传递。

如图3所示，为本发明基于自监督的无参考图像质量评估方法一种实施例的知识迁移通道结构示意图，知识迁移通道包括知识收集模块和知识分发模块：

知识收集模块包括m个分支输入和一个第三拼接层，每个分支输入包括顺次连接的一个1×1卷积层和一个池化层，m个分支的池化层一起连接到第一拼接层，其中，m为先验知识学习子网络的解码器输出的图像多尺度上下文特征的尺度数；

知识分发模块包括与所述第三拼接层连接的n个分支输出，每个分支输出包括顺次连接的一个第四拼接层和一个1×1卷积层，其中，n为图像质量评估子网络的解码器输出的图像多尺度上下文特征的尺度数。

本发明一个实施例中，先验知识学习子网络、图像质量评估子网络的编码器采用ResNet-50的前5层，先验知识学习子网络的解码器包含5个失真感知模块，图像质量评估子网络的解码器包含6个基本单元和4个卷积层，每个基本单元包含一个卷积层、一个ReLU激活层和一个平均池化层。先验知识学习子网络解码器中前4个失真感知模块的输出通过知识迁移通道与图像质量评估的第2-5个基本单元的输出特征相连，图像质量评估子网络最后一个基本单元的输出经过4个卷积层后输出最终的质量分数。

步骤S20，以图像复原任务作为图像质量评估任务的代理任务，构建图像复原任务的第一训练集，并通过所述第一训练集进行所述先验知识学习子网络的预训练。

本发明一个实施例中，收集大规模高清无失真图像，例如Waterloo数据集中包含了4744幅高清无失真图像，将所采集的图像作为参考图像，在每一幅参考图像上随机施加一种类型的失真，例如噪声、模糊、压缩失真、过曝光等，失真程度随机，从而产生大规模的失真图像，每张失真图像及其对应的参考图像组成一个训练样本，获得先验知识学习子网络训练的第一训练集。

从第一训练集中随机选取一个训练样本，将该训练样本中的失真图像输入到先验知识学习子网络中，输出一幅复原图像，并计算预训练中的第一损失，第一损失函数如式(1)所示：

其中，

I分别代表第一训练集中的参考图像

和对应的复原图像I，

代表参考图像

和对应的复原图像I之间的第一损失函数，

代表参考图像

和对应的复原图像I之间的L1损失函数，

代表参考图像

和对应的复原图像I之间的SSIM损失函数，

代表参考图像

和对应的复原图像I之间的感知损失函数，ε,ρ,μ为预设的用于调节L1损失函数、SSIM损失函数和感知损失函数在第一损失函数所占比重的超参数，N为预训练的第一训练集的参考图像

和对应的复原图像I的图像对的个数。

预设的用于调节L1损失函数、SSIM损失函数和感知损失函数在第一损失函数所占比重的超参数，分别设置为ε＝1，ρ＝0.08，μ＝1。

参考图像

和对应的复原图像I之间的L1损失函数

其表示如式(2)所示：

其中，‖‖₁代表L1范数。

参考图像

和对应的复原图像I之间的SSIM损失函数

其表示如式(3)所示：

其中，

代表求参考图像

和对应的复原图像I之间的结构相似度。

参考图像

和对应的复原图像I之间的感知损失函数

其表示如式(4)所示：

其中，

代表以参考图像

为输入的先验知识学习子网络第t层的特征图，μ_t(I)代表以参考图像

对应的复原图像I为输入的先验知识学习子网络第t层的特征图，T代表预训练的先验知识学习子网络的层数，Θ_t代表第t层的特征图上的总的特征点数目，‖‖₁代表L1范数。

通过梯度反向传播算法对先验知识学习子网络中的参数进行调整。不断通过第一训练集中的训练样本进行先验知识学习子网络的迭代训练，直至满足设定的循环结束条件，获得预训练的先验知识学习子网络。本发明一个实施例中，循环结束条件设置为循环5000次。

步骤S30，通过所述知识迁移通道将预训练的先验知识学习子网络的解码器的参数迁移至图像质量评估子网络的解码器。

步骤S40，获取少量的图像质量评估任务的第二训练集，并通过所述第二训练集进行预训练的先验知识学习子网络和参数迁移后的图像质量评估子网络的微调训练。

本发明一个实施例中，选择一种IQA训练数据集。例如现有的IQA数据集有TID2013、LIVE、CSIQ数据集等。以TID2013数据集为例，它包含3000幅失真图像，其中失真类型有24种，失真程度有5种。每幅失真图像都有一个人工标注的图像质量分数，一幅失真图像及其对应的人工标注的图像质量分数组成一个样本，获得图像质量评估子网络微调训练的第二训练集。

在图像质量评估任务上对图像质量评估子网络和先验知识学习子网络进行训练。从第二训练集中随机选取一个训练样本，将该训练样本中的失真图像分别输入到先验知识学习子网络和图像质量评估子网络中，将先验知识学习子网络解码器的前4个失真感知模块的输出通过拼接层拼接在一起，得到特征f1，将f1通过知识迁移通道传递给图像质量评估子网络的第2-5个基本单元。图像质量评估子网络输出一个预测的图像质量分数，预训练的先验知识学习子网络和参数迁移后的图像质量评估子网络，其基于图像质量评估任务的第二训练集的微调训练的第二损失函数如式(5)所示：

其中，

代表第二损失函数，g,p分别代表第二训练集中图像的标签质量分数和对应的图像质量评估子网络预测质量分数，||代表求绝对值。

通过梯度反向传播算法调整图像质量评估子网络以及微调先验知识学习子网络中的参数。

不断迭代进行模型训练，直到循环次数满足设定的值，例如5000次，训练结束，两个子网络的参数全部固定。

步骤S50，以微调训练的先验知识学习子网络和图像质量评估子网络作为训练好的自监督无参考图像质量评估模型，并通过训练好的自监督无参考图像质量评估模型进行无参考图像的质量评估。

本发明的自监督无参考图像质量评估模型经过上述步骤训练后，可直接用于对失真图像的质量评估。如图4所示，本发明基于自监督的无参考图像质量评估方法一种实施例的无参考图像的质量评估示意图，实际使用时，将失真图像输入到本装置中，该失真图像分别进入先验知识学习子网络和图像质量评估子网络中，将先验知识学习子网络解码器的前4个失真感知模块的输出通过拼接层拼接在一起,得到特征f1，将f1通过知识迁移通道传递给图像质量评估子网络第2-5个基本单元。图像质量评估子网络输出对该失真图像预测的质量分数。

上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述，但是本领域技术人员可以理解，为了实现本实施例的效果，不同的步骤之间不必按照这样的次序执行，其可以同时(并行)执行或以颠倒的次序执行，这些简单的变化都在本发明的保护范围之内。

本发明第二实施例的基于自监督的无参考图像质量评估系统，该无参考图像质量评估系统包括以下模块：

模型构建模块，配置为构建自监督无参考图像质量评估模型，所述模型包括共享编码器的先验知识学习子网络和图像质量评估子网络，所述先验知识学习子网络和所述图像质量评估子网络的解码器之间设置有知识迁移模块；

预训练模块，配置为以图像复原任务作为图像质量评估任务的代理任务，构建图像复原任务的第一训练集，并通过所述第一训练集进行所述先验知识学习子网络的预训练；

知识迁移模块，配置为通过知识迁移通道将预训练的先验知识学习子网络的解码器的参数迁移至图像质量评估子网络的解码器；

微调训练模块，配置为获取少量的图像质量评估任务的第二训练集，并通过所述第二训练集进行预训练的先验知识学习子网络和参数迁移后的图像质量评估子网络的微调训练；

图像质量评估模块，配置为以微调训练的先验知识学习子网络和图像质量评估子网络作为训练好的自监督无参考图像质量评估模型，并通过训练好的自监督无参考图像质量评估模型进行无参考图像的质量评估。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

需要说明的是，上述实施例提供的基于自监督的无参考图像质量评估系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。

本发明第三实施例的一种电子设备，包括：

至少一个处理器；以及

与至少一个所述处理器通信连接的存储器；其中，

所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的基于自监督的无参考图像质量评估方法。

本发明第四实施例的一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的基于自监督的无参考图像质量评估方法。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。

术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种基于自监督的无参考图像质量评估方法，其特征在于，该无参考图像质量评估方法包括：

步骤S10，构建自监督无参考图像质量评估模型，所述模型包括共享编码器的先验知识学习子网络和图像质量评估子网络，所述先验知识学习子网络和所述图像质量评估子网络的解码器之间设置有知识迁移通道；

步骤S20，以图像复原任务作为图像质量评估任务的代理任务，构建图像复原任务的第一训练集，并通过所述第一训练集进行所述先验知识学习子网络的预训练；

步骤S30，通过所述知识迁移通道将预训练的先验知识学习子网络的解码器的参数迁移至图像质量评估子网络的解码器；

步骤S40，获取少量的图像质量评估任务的第二训练集，并通过所述第二训练集进行预训练的先验知识学习子网络和参数迁移后的图像质量评估子网络的微调训练；

步骤S50，以微调训练的先验知识学习子网络和图像质量评估子网络作为训练好的自监督无参考图像质量评估模型，并通过训练好的自监督无参考图像质量评估模型进行无参考图像的质量评估。

2.根据权利要求1所述的基于自监督的无参考图像质量评估方法，其特征在于，所述先验知识学习子网络和所述图像质量评估子网络，其解码器为失真信息感知模块；

所述失真信息感知模块包括顺次连接的一个第一拼接层、一个Inception层、一个第二拼接层和三个3×3卷积层；

所述Inception层包括第一分支、第二分支、第三分支和第四分支，所述第一分支为一个1×1卷积层，所述第二分支为顺次连接的一个1×1卷积层和一个5×5卷积层，所述第三分支为顺次连接的一个1×1卷积层、一个3×3卷积层和一个1×1卷积层，所述第四分支为顺次连接的一个最大值池化层和一个3×3卷积层。

3.根据权利要求1所述的基于自监督的无参考图像质量评估方法，其特征在于，所述知识迁移通道包括知识收集模块和知识分发模块；

所述知识收集模块包括m个分支输入和一个第三拼接层，每个分支输入包括顺次连接的一个1×1卷积层和一个池化层，m个分支的池化层一起连接到第一拼接层，其中，m为先验知识学习子网络的解码器输出的图像多尺度上下文特征的尺度数；

所述知识分发模块包括与所述第三拼接层连接的n个分支输出，每个分支输出包括顺次连接的一个第四拼接层和一个1×1卷积层，其中，n为图像质量评估子网络的解码器输出的图像多尺度上下文特征的尺度数。

4.根据权利要求3所述的基于自监督的无参考图像质量评估方法，其特征在于，所述先验知识学习子网络，其基于图像复原任务的第一训练集的预训练的第一损失函数为：

其中，

I分别代表第一训练集中的参考图像

和对应的复原图像I，

代表参考图像

和对应的复原图像I之间的第一损失函数，

代表参考图像

和对应的复原图像I之间的L1损失函数，

代表参考图像

和对应的复原图像I之间的SSIM损失函数，

代表参考图像

和对应的复原图像I之间的感知损失函数，ε,ρ,μ为预设的用于调节L1损失函数、SSIM损失函数和感知损失函数在第一损失函数所占比重的超参数，N为预训练的第一训练集的参考图像

和对应的复原图像I的图像对的个数。

5.根据权利要求4所述的基于自监督的无参考图像质量评估方法，其特征在于，所述预设的用于调节L1损失函数、SSIM损失函数和感知损失函数在第一损失函数所占比重的超参数，分别设置为ε＝1，ρ＝0.08，μ＝1。

6.根据权利要求4所述的基于自监督的无参考图像质量评估方法，其特征在于，所述参考图像

和对应的复原图像I之间的L1损失函数

其表示为：

其中，‖ ‖₁代表L1范数。

7.根据权利要求4所述的基于自监督的无参考图像质量评估方法，其特征在于，所述参考图像

和对应的复原图像I之间的SSIM损失函数

其表示为：

其中，

代表求参考图像

和对应的复原图像I之间的结构相似度。

8.根据权利要求4所述的基于自监督的无参考图像质量评估方法，其特征在于，所述参考图像

和对应的复原图像I之间的感知损失函数

其表示为：

其中，

代表以参考图像

为输入的先验知识学习子网络第t层的特征图，ψ_t(I)代表以参考图像

对应的复原图像I为输入的先验知识学习子网络第t层的特征图，T代表预训练的先验知识学习子网络的层数，Θ_t代表第t层的特征图上的总的特征点数目，‖ ‖₁代表L1范数。

9.根据权利要求1所述的基于自监督的无参考图像质量评估方法，其特征在于，所述预训练的先验知识学习子网络和参数迁移后的图像质量评估子网络，其基于图像质量评估任务的第二训练集的微调训练的第二损失函数为：

其中，

代表第二损失函数，g,p分别代表第二训练集中图像的标签质量分数和对应的图像质量评估子网络预测质量分数，||代表求绝对值。

10.一种基于自监督的无参考图像质量评估系统，其特征在于，该无参考图像质量评估系统包括以下模块：

模型构建模块，配置为构建自监督无参考图像质量评估模型，所述模型包括共享编码器的先验知识学习子网络和图像质量评估子网络，所述先验知识学习子网络和所述图像质量评估子网络的解码器之间设置有知识迁移模块；

预训练模块，配置为以图像复原任务作为图像质量评估任务的代理任务，构建图像复原任务的第一训练集，并通过所述第一训练集进行所述先验知识学习子网络的预训练；

知识迁移模块，配置为通过知识迁移通道将预训练的先验知识学习子网络的解码器的参数迁移至图像质量评估子网络的解码器；

微调训练模块，配置为获取少量的图像质量评估任务的第二训练集，并通过所述第二训练集进行预训练的先验知识学习子网络和参数迁移后的图像质量评估子网络的微调训练；

图像质量评估模块，配置为以微调训练的先验知识学习子网络和图像质量评估子网络作为训练好的自监督无参考图像质量评估模型，并通过训练好的自监督无参考图像质量评估模型进行无参考图像的质量评估。

Images