CN114612714A - 基于课程学习的无参考图像质量评价方法 - Google Patents

Abstract

本发明提出一种基于课程学习的无参考图像质量评价方法，实现步骤为：获取训练样本集和测试样本集；构建基于课程学习的无参考图像质量评价网络模型；对基于课程学习的无参考图像质量评价网络模型进行迭代训练；获取无参考图像质量评价结果。本发明根据课程学习的策略构建的损失函数包含排序与距离损失函数、质量预测损失函数两项，在训练过程中动态调整损失函数中这两项的权重，在训练的初始阶段，分配给排序与距离损失权重最高，随着训练过程的持续，逐渐增加质量预测损失的权重，避免了现有技术中网络模型采用单一、不变的损失函数进行图像质量评价精度和效率较低的技术问题，有效提高了无参考图像质量评价的精度和效率。

Description

基于课程学习的无参考图像质量评价方法

技术领域

本发明属于图像处理技术领域，涉及一种无参考图像质量评价方法，具体涉及一种基于课程学习的无参考图像质量评价方法，可用于对没有原始参考的图像进行客观质量评价，进而对图像质量的改善进行指导。

背景技术

随着娱乐、通信、安全、监控、医学影像等应用领域的需求不断增长，图像在人们的日常生活中扮演着越来越重要的角色，每年在微信、QQ和抖音等社交媒体网站上上传和分享的照片达数千亿张，腾讯视频、爱奇艺和优酷视频等流媒体服务占据了所有下游互联网流量的60％。然而，在采集、处理、传输等过程中，图像不可避免地产生失真和降质，从而降低图像分析和理解的准确性，严重影响人们的观看体验。面对海量的图像数据，需要设计图像质量评价方法准确地量化图像质量，进而发现图像降质的原因，对图像质量的改善提供指导。

图像质量评价是通过人观看图像进行主观打分或建立数学模型对图像进行客观打分的过程，根据评价主体的不同，图像质量评价方法可以分为主观图像质量评价和客观图像质量评价。其中，主观图像质量评价是指人类受试者在无外界干扰的实验室环境下，根据提前设定好的评价标准，对待测图像的质量进行评价；客观图像质量评价是通过模拟人类视觉系统对图像的感知过程，设计能够反映图像主观质量的客观评价模型，对待测图像的质量进行评价。与主观图像质量评价相比，客观图像质量评价具有成本低、实时性强和时间效率高等优点，成为图像质量评价领域内的研究重点。

客观图像质量评价方法根据对参考图像的依赖程度可以分为全参考图像质量评价方法、半参考图像质量评价方法和无参考图像质量评价方法。其中，全参考图像质量评价方法通过量化失真图像和其参考图像的相似度来评价失真图像的质量；半参考图像质量评价方法需要获得参考图像的部分信息，是介于全参考与无参考方法之间的一种方法；无参考图像质量评价方法不需要参考图像，仅需要待评价图像及其主观质量分数标签，能够更加灵活、实时地评价图像质量，而且大部分真实图像的参考图像无法获得，全参考和半参考图像质量评价方法无法用于对这些无参考图像的真实图像进行质量评价，所以无参考图像质量评价方法最具研究和应用价值。

为了提高无参考图像的质量评价精度，申请公布号CN113222032A，名称为“基于自注意编码的无参考图像质量评价方法”的专利申请，公开了一种基于自注意编码的无参考图像质量评价方法，该方法首先将图像数据库中的失真图像分为训练图像集和测试图像集，然后对每幅图像进行下采样获得相应的低维映射的特征，再通过构建自编码器对每个特征进行自注意编码，得到包含图像整体注意力信息的深度感知特征，并将这些特征输入全连接层进行回归，以获得每个图像对应的质量预测分数。该方法避免了感知特征缺乏足够深度的图像整体注意力信息对评价精度的影响，有效地提高了无参考图像的质量评价精度，但其不足之处在于该方法选用单一、不变的均方误差函数作为损失函数，增加了主观质量分数与质量预测分数之间的非线性相关性，使得网络模型依据该损失函数进行训练优化时很难找到全局最优点，制约了模型取得对图像质量评价更高的精度，且模型训练效率降低。

课程学习对网络模型的损失函数的结构和调整方式进行拓展，首先，在损失函数中引入更多损失项去克服现有技术采用单一损失项带来的非线性问题，减轻模型在训练过程中找到全局最优点的压力，提高模型的预测精度；其次，对损失函数采取动态调整的策略，在模型的训练过程中，根据训练迭代次数的变化为不同的损失项动态分配不同的权重，使得模型的训练过程具有渐变性，提高了模型的训练效率。

发明内容

本发明的目的在于克服上述现有技术存在的缺陷，提出了一种基于课程学习的无参考图像质量评价方法，用于解决现有技术中存在的评价精度较低和效率较低的技术问题。

为实现上述目的，本发明采取的技术方法包括如下步骤：

(1)获取训练样本集和测试样本集：

获取真实图像质量评价数据集中维度为W×H×C的L幅图像及每幅图像的主观质量分数标签T_a＝{(I_l,s_l)|1≤l≤L}，并将T_a中的M幅图像及每幅图像的主观质量分数标签组成训练样本集T_r＝{(I_m,s_m)|1≤m≤M}，将其余的N幅图像及每幅图像的主观质量分数标签组成测试样本集T_e＝{(I_n,s_n)|1≤n≤N}，其中，W、H和C分别表示图像的宽度、高度和通道数，W≥224,H≥224，C≥1，L≥1000，

M+N＝L，I_l、s_l分别表示第l幅图像及其相应的主观质量分数标签；

(2)构建基于课程学习的无参考图像质量评价网络模型G：

(2a)构建包含顺次连接的图像局部特征提取子网络R、图像局部特征全局关联子网络T和图像质量预测子网络P的无参考图像质量评价网络模型G，R的输出与P的输入残差连接，其中，R包含多个卷积层和一个最大池化层；图像局部特征全局关联子网络T包含顺次连接的特征采样层、归一化层和特征拼接层，在归一化层和特征拼接层之间并行排布多个非局部单元S，非局部单元S包含多个卷积层；P包含一个全局池化层和多个全连接层；

(2b)定义基于课程学习的无参考图像质量评价网络模型G的损失函数Loss：

其中，λ表示动态加权系数，L₁表示排序与距离损失函数，L₂表示质量预测损失函数，k表示迭代次数，K表示最大迭代次数，B表示每次训练选取的训练样本个数，s_i、

分别表示B个训练样本中第i个训练样本对应的主观质量分数、质量预测分数；s_i-s_j，

分别表示B个训练样本中第i个训练样本和第j个样本间主观质量分数的差值及质量预测分数的差值，||·||₁表示一阶范数正则化，Σ表示求和符号，δ表示阈值；

(3)对基于课程学习的无参考图像质量评价网络模型G进行迭代训练：

(3a)初始化迭代次数为k，最大迭代次数为K，K＞20，当前无参考图像质量评价网络模型为G_k，G_k的权值参数为θ_k，并令k＝1，G_k＝G；

(3b)将从训练样本集T_r中无放回地随机选取的B个训练样本作为无参考图像质量评价网络模型G_k的输入，图像局部特征提取子网络R对每个训练样本进行下采样，得到下采样特征F_l；图像局部特征全局关联子网络T对F_l进行多级非局部特征加权编码，得到包含图像全局上下文关联信息的深度感知特征F_g；图像质量预测子网络P将F_l与F_g残差连接，得到包含图像局部和全局混合信息的广度感知特征F_w，并对F_w进行线性回归，得到每个训练样本的质量预测分数，其中，B≥16；

(3c)采用损失函数Loss，并通过Loss计算每个训练样本对应的质量预测分数与该训练样本对应的主观质量分数标签的误差作为G_k的损失值d_k，然后通过d_k计算对G_k的权值参数θ_k的偏导数g_k，再采用随机梯度下降法，通过偏导数g_k对G_k的权值参数θ_k进行更新；

(3d)判断k＝K是否成立，若是，得到训练好的基于课程学习的无参考图像质量评价网络模型G^*，否则，令k＝k+1，并执行步骤(3b)；

(4)获取无参考图像质量评价结果：

将测试样本集T_e作为训练好的基于课程学习的无参考图像质量评价网络模型G^*的输入进行前向推理，得到每个测试样本的质量预测分数。

本发明与现有技术相比较，具有以下优点：

1.本发明所定义无参考图像质量评价网络模型的损失函数，包含有排序与距离损失函数和质量预测损失函数，在对图像质量评价网络模型进行训练的过程中，克服了现有技术采用单一质量预测损失函数所面对的非线性问题，提高了主观质量分数与质量预测分数之间的线性相关性，进而提高了质量评价的精度。

2.本发明所定义无参考图像质量评价网络模型的损失函数，包含动态加权系数，该系数根据训练迭代次数的变化为排序与距离损失函数和质量预测损失函数分配动态变化的权重，在对图像质量评价网络模型进行训练的过程中，克服了现有技术中采用不变的损失函数所面对的模型训练单一化的问题，提高了质量评价的效率。

附图说明

图1是本发明的实现流程图。

图2是本发明构建的基于课程学习的无参考图像质量评价网络模型的结构示意图。

具体实施方式

下面结合附图和具体实施例，对本发明作进一步详细描述。

参照图1，本发明包括如下步骤：

步骤1)获取训练样本集和测试样本集：

(1a)获取真实图像质量评价数据集中大小为W×H×C的L幅图像及每幅图像的主观质量分数标签T_a＝{(I_l,s_l)|1≤l≤L}，并将T_a中的M幅图像及每幅图像的主观质量分数标签组成训练样本集T_r＝{(I_m,s_m)|1≤m≤M}，将其余的N幅图像及每幅图像的主观质量分数标签组成测试样本集T_e＝{(I_n,s_n)|1≤n≤N}，其中，W、H和C分别表示图像的宽度、高度和通道数，W≥224,H≥224，C≥1，L≥1000，

M+N＝L，I_l、s_l分别表示第l幅图像及其相应的主观质量分数标签。

本实例中，W＝224,H＝224，C＝3，L＝1000。

步骤2)构建基于课程学习的无参考图像质量评价网络模型G：

(2a)构建包含顺次连接的图像局部特征提取子网络R、图像局部特征全局关联子网络T和图像质量预测子网络P的无参考图像质量评价网络模型G，R的输出与P的输入残差连接，其结构如图2所示，其中，R包含多个卷积层和一个最大池化层；包含顺次连接的特征采样层、归一化层和特征拼接层，在归一化层和特征拼接层之间并行排布多个非局部单元S，非局部单元S包含多个卷积层；P包含一个全局池化层和多个全连接层；

本实例中，图像局部特征提取子网络R包含的卷积层个数为6，其具体结构为：第1卷积层→最大池化层→第2卷积层→第3卷积层→第4卷积层→第5卷积层→第6卷积层，其中，第1卷积层的卷积核大小为7×7，数量为64，步长为2；第2至第5卷积层卷积核大小均为为3×3，步长均为2，数量分别为64、128、256和512；第6卷积卷积核大小为1×1，数量为224，步长为1；最大池化层的池化窗口大小为2×2，步长为2；

图像局部特征全局关联子网络T中的非局部单元S的数量为3，每个非局部单元S包含卷积层个数为2，其具体结构为：第1卷积层→第2卷积层，其中，第1卷基层的卷积核大小为3×3，数量为1，步长为1；第2卷积层的卷积核大小为1×1，数量为1，步长为1；

图像质量预测子网络P包含的全连接层的个数为5，其具体结构为：全局池化层→第1全连接层→第2全连接层→第3全连接层→第4全连接层→第5全连接层，其中，该全连接层长度分别为112、56、28、14和1。

(2b)定义基于课程学习的无参考图像质量评价网络模型G的损失函数Loss：

其中，λ表示动态加权系数，L₁表示排序与距离损失函数，L₂表示质量预测损失函数，k表示迭代次数，K表示最大迭代次数，B表示每次训练选取的训练样本个数，s_i、

分别表示B个训练样本中第i个训练样本对应的主观质量分数、质量预测分数；s_i-s_j，

分别表示B个训练样本中第i个训练样本和第j个样本间主观质量分数的差值及质量预测分数的差值，||·||₁表示一阶范数正则化，Σ表示求和符号，δ表示阈值。

本实例中，δ＝10；

依据课程学习的原则，损失函数Loss的包含两个损失项分别为排序与距离损失函数和质量预测损失函数，在对图像质量评价网络模型训练过程中，由动态加权系数λ为两个损失项动态地分配权重，其中，在训练的初始阶段，排序与距离度量损失函数具有最高的权重，随着迭代次数的增加，排序与距离度量损失函数的权重逐渐减小，质量预测损失函数的权重增加。这种损失函数的结构和调整方式，不仅能增强主观质量分数与质量预测之间的线性相关性，提高质量评价的精度，而且能加快模型的训练速度，提高质量评价的效率。

步骤3)对基于课程学习的无参考图像质量评价网络模型G进行迭代训练：

(3a)初始化迭代次数为k，最大迭代次数为K，K＞20，当前无参考图像质量评价网络模型为G_k，G_k的权值参数为θ_k，并令k＝1，G_k＝G。

本实例中，K＞40。

(3b)将从训练样本集T_r中无放回地随机选取的B个训练样本作为无参考图像质量评价网络模型G_k的输入，图像局部特征提取子网络R对每个训练样本进行下采样，得到下采样特征F_l；图像局部特征全局关联子网络T对F_l进行多级非局部特征加权编码，得到包含图像全局上下文关联信息的深度感知特征F_g；图像质量预测子网络P将F_l与F_g残差连接，得到包含图像局部和全局混合信息的广度感知特征F_w，并对F_w进行线性回归，得到每个训练样本的质量预测分数，其中，B≥16。

本实例中，B＝32。

(3c)采用损失函数Loss，并通过Loss计算每个训练样本对应的质量预测分数与该训练样本对应的主观质量分数标签的误差作为G_k的损失值d_k，然后通过d_k计算对G_k的权值参数θ_k的偏导数g_k，再采用随机梯度下降法，通过偏导数g_k对G_k的权值参数θ_k进行更新；

本实例中，对当前无参考图像质量评价网络模型G_k的权值参数θ_k进行更新的公式为：

其中，

表示基于课程学习的无参考图像质量评价网络模型G_k更新后的权值参数；α表示学习率，α＝1×10^-4。

本实例中，步骤(3b)中所述的图像局部特征全局关联子网络T对每个训练样本下采样的特征F_l进行多级非局部特征加权编码，实现步骤为：

(3b1)特征采样层对F_l沿通道数所在的维度逐像素采样得到多个特征向量

并将所有特征向量

拼接为非局部特征X；

(3b2)归一化层对非局部特征X进行归一化，得到归一化后的非局部特征X'；

(3b3)非局部单元S对归一化后的非局部特征X'沿通道数所在的维度进行扩展，得到非局部扩展特征X”，并沿第三维度对X”进行分解，得到的三个大小相同的权重矩阵Q、K、V，然后对Q、K、V分别进行卷积运算，再通过Q、K的卷积结果

计算非局部权重矩阵A，最后通过A对非局部特征X'进行加权，得到感知特征F_a：

F_a＝AX'

其中，softmax(·)表示归一化指数函数，

表示

的转置运算。

(3b4)特征拼接层对感知特征F_a沿通道数所在的维度拼接，得到包含图像全局上下文关联信息的深度感知特征F_g。

(3d)判断k＝K是否成立，若是，得到训练好的基于课程学习的无参考图像质量评价网络模型G^*，否则，令k＝k+1，并执行步骤(3b)。

(4)获取无参考图像质量评价结果：

将测试样本集T_e作为训练好的基于课程学习的无参考图像质量评价网络模型G^*的输入进行前向推理，得到每个测试样本的质量预测分数。

Claims (4)

1.一种基于课程学习的无参考图像质量评价方法，其特征在于，包括如下步骤：

(1)获取训练样本集和测试样本集：

获取真实图像质量评价数据集中维度为W×H×C的L幅图像及每幅图像的主观质量分数标签T_a＝{(I_l,s_l)|1≤l≤L}，并将T_a中的M幅图像及每幅图像的主观质量分数标签组成训练样本集T_r＝{(I_m,s_m)|1≤m≤M}，将其余的N幅图像及每幅图像的主观质量分数标签组成测试样本集T_e＝{(I_n,s_n)|1≤n≤N}，其中，W、H和C分别表示图像的宽度、高度和通道数，W≥224,H≥224，C≥1，L≥1000，

M+N＝L，I_l、s_l分别表示第l幅图像及其相应的主观质量分数标签；

(2)构建基于课程学习的无参考图像质量评价网络模型G：

(2a)构建包含顺次连接的图像局部特征提取子网络R、图像局部特征全局关联子网络T和图像质量预测子网络P的无参考图像质量评价网络模型G，R的输出与P的输入残差连接，其中，R包含多个卷积层和一个最大池化层；包含顺次连接的特征采样层、归一化层和特征拼接层，在归一化层和特征拼接层之间并行排布多个非局部单元S，非局部单元S包含多个卷积层；P包含一个全局池化层和多个全连接层；

(2b)定义基于课程学习的无参考图像质量评价网络模型G的损失函数Loss：

其中，λ表示动态加权系数，L₁表示排序与距离损失，L₂表示质量预测损失，k表示迭代次数，K表示最大迭代次数，B表示每次训练选取的训练样本个数，s_i、

分别表示B个训练样本中第i个训练样本对应的主观质量分数、质量预测分数；s_i-s_j，

分别表示B个训练样本中第i个训练样本和第j个样本间主观质量分数的差值及质量预测分数的差值，||·||₁表示一阶范数正则化，Σ表示求和符号，δ表示阈值；

(3)对基于课程学习的无参考图像质量评价网络模型G进行迭代训练：

(3a)初始化迭代次数为k，最大迭代次数为K，K＞20，当前无参考图像质量评价网络模型为G_k，G_k的权值参数为θ_k，并令k＝1，G_k＝G；

(3b)将从训练样本集T_r中无放回地随机选取的B个训练样本作为无参考图像质量评价网络模型G_k的输入，图像局部特征提取子网络R对每个训练样本进行下采样，得到下采样特征F_l；图像局部特征全局关联子网络T对F_l进行多级非局部特征加权编码，得到包含图像全局上下文关联信息的深度感知特征F_g；图像质量预测子网络P将F_l与F_g残差连接，得到包含图像局部和全局混合信息的广度感知特征F_w，并对F_w进行线性回归，得到每个训练样本的质量预测分数，其中，B≥16；

(3c)采用损失函数Loss，并通过Loss计算每个训练样本对应的质量预测分数与该训练样本对应的主观质量分数标签的误差作为G_k的损失值d_k，然后通过d_k计算对G_k的权值参数θ_k的偏导数g_k，再采用随机梯度下降法，通过偏导数g_k对G_k的权值参数θ_k进行更新；

(3d)判断k＝K是否成立，若是，得到训练好的基于课程学习的无参考图像质量评价网络模型G^*，否则，令k＝k+1，并执行步骤(3b)；

(4)获取无参考图像质量评价结果：

将测试样本集T_e作为训练好的基于课程学习的无参考图像质量评价网络模型G^*的输入进行前向推理，得到每个测试样本的质量预测分数。

2.根据权利要求1所述的基于课程学习的无参考图像质量评价方法，其特征在于，步骤(2a)中所述的无参考图像质量评价网络模型G，其中：

图像局部特征提取子网络R包含的卷积层个数为6，其具体结构为：第1卷积层→最大池化层→第2卷积层→第3卷积层→第4卷积层→第5卷积层→第6卷积层，其中，第1卷积层的卷积核大小为7×7，数量为64，步长为2；第2至第5卷积层卷积核大小均为为3×3，步长均为2，数量分别为64、128、256和512；第6卷积卷积核大小为1×1，数量为224，步长为1；最大池化层的池化窗口大小为2×2，步长为2；

图像局部特征全局关联子网络T中的非局部单元S包含卷积层个数为2，其中，第1卷积层的卷积核大小为3×3，数量为1，步长为1；第2卷积层的卷积核大小为1×1，数量为1，步长为1；

图像质量预测子网络P包含的全连接层的个数为5，其具体结构为：全局池化层→第1全连接层→第2全连接层→第3全连接层→第4全连接层→第5全连接层，该全连接层长度分别为112、56、28、14和1。

3.根据权利要求1所述的基于课程学习的无参考图像质量评价方法，其特征在于，步骤(3b)中所述的图像局部特征全局关联子网络T对每个训练样本下采样的特征F_l进行多级非局部特征加权编码，实现步骤为：

(3b1)特征采样层对F_l沿通道数所在的维度逐像素采样，得到多个特征向量

并将所有特征向量

拼接为非局部特征X；

(3b2)归一化层对非局部特征X进行归一化，得到归一化后的非局部特征X'；

(3b3)非局部单元S对归一化后的非局部特征X'沿通道数所在的维度进行扩展，得到非局部扩展特征X”，并沿第三维度对X”进行分解，得到的三个大小相同的权重矩阵Q、K、V，然后对Q、K、V分别进行卷积运算，再通过Q、K的卷积结果

计算非局部权重矩阵A，最后通过A对非局部特征X'进行加权，得到感知特征F_a：

F_a＝AX'

其中，softmax(·)表示归一化指数函数，

表示

的转置运算；

(3b4)特征拼接层对感知特征F_a沿通道数所在的维度拼接，得到包含图像全局上下文关联信息的深度感知特征F_g。

4.根据权利要求1所述的基于课程学习的无参考图像质量评价方法，其特征在于：步骤(3c)中所述的对当前无参考图像质量评价网络模型G_k的权值参数θ_k进行更新的公式为：

其中，

表示基于课程学习的无参考图像质量评价网络模型G_k更新后的权值参数；α表示学习率。

Images