CN114972232A - 基于增量元学习的无参考图像质量评价方法 - Google Patents
基于增量元学习的无参考图像质量评价方法 Download PDFInfo
- Publication number
- CN114972232A CN114972232A CN202210541079.3A CN202210541079A CN114972232A CN 114972232 A CN114972232 A CN 114972232A CN 202210541079 A CN202210541079 A CN 202210541079A CN 114972232 A CN114972232 A CN 114972232A
- Authority
- CN
- China
- Prior art keywords
- learning
- meta
- layer
- quality evaluation
- incremental
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013441 quality evaluation Methods 0.000 title claims abstract description 73
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000012549 training Methods 0.000 claims abstract description 42
- 230000008569 process Effects 0.000 claims abstract description 16
- 238000012360 testing method Methods 0.000 claims abstract description 14
- 230000006870 function Effects 0.000 claims description 22
- 238000000605 extraction Methods 0.000 claims description 13
- 238000011176 pooling Methods 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 6
- 239000002131 composite material Substances 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 241001131927 Placea Species 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 230000008014 freezing Effects 0.000 claims description 3
- 238000007710 freezing Methods 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims 3
- 238000004364 calculation method Methods 0.000 claims 1
- 238000011156 evaluation Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000013210 evaluation model Methods 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000016776 visual perception Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明提出一种基于增量元学习的无参考图像质量评价方法，实现步骤为：获取训练样本集和测试样本集；构建基于增量元学习的无参考图像质量评价网络模型；对基于增量元学习的无参考图像质量评价网络模型进行迭代训练；获取无参考图像质量评价结果。本发明结合元学习和增量学习方法实现了复杂化失真场景中图像数据跨任务评价的方法，并引入数据回放，设置一个记忆缓冲区来动态存储跨任务评价过程中旧任务的图像，并将其加入到新任务的训练当中，在不断积累图像场景类别信息和失真类型信息的同时，面对具有新场景和新失真的情形，增量元学习预测头可以有效地缓解图像数据集亚种群持续偏移带来的问题，进而提高图像质量评价的准确率和稳定性。
Description
技术领域
本发明属于图像处理技术领域，涉及一种无参考图像质量评价方法，具体涉及一种基于增量元学习的无参考图像质量评价方法，可用于图像处理系统在多场景获取的没有原始参考的复杂失真图像进行质量评价。
背景技术
图像质量评价是对图像进行手工质量打分或者根据人类视觉感知机制建立数学模型对图像进行质量打分的过程。图像质量评价方法可以分为主观图像质量评价方法和客观图像质量评价方法。其中，主观图像质量评价方法是按照视觉感受分级进行人为打分，客观图像质量评价是通过模拟人类视觉系统对图像的感知过程，设计能够反映图像主观质量的客观评价模型，对待测图像的质量进行评价。与主观图像质量评价相比，客观图像质量评价具有成本低、实时性强和时间效率高等优点，得到了更广泛的应用。
客观图像质量评价方法根据对参考图像的依赖程度可以分为全参考图像质量评价方法、半参考图像质量评价方法和无参考图像质量评价方法。无参考图像质量评价方法不需要参考图像，仅需要待评价图像及其主观质量分数标签，能够更加灵活、实时地评价图像质量，所以无参考图像质量评价方法最具研究和应用价值。但是无参考图像质量评价方法大多往往是借助特征工程的角度构建算法，因此评价过程的准确度低和稳定性差而难以很好地模拟人类视觉系统的评价机制。
目前，从特征工程转向深度学习，进一步改善了对特定图像质量评价数据集进行无参考质量评价时的准确度低和稳定性差的问题。但是在跨任务学习过程中，由于没有考虑亚群偏移过程中的跨任务数据的分布相关性，从而无法微调适应新的评价任务产生了准确度低的问题。对跨任务数据重新进行联合训练的过程中引入了大量失真未知图像，从而导致了评价方法的稳定性差的问题。在图像数据集亚种群持续偏移过程中，采用元学习可以通过少量样本快速适应跨任务评估的能力，从而缓解这种对新任务适应时准确度下降的问题。而增量学习在跨任务学习过程中保留旧知识的机制可以有效地缓解新旧任务评价时稳定性下降的问题。
为了提高无参考图像的质量评价稳定性，申请公布号CN114049500A，名称为“基于元学习重加权网络伪标签训练的图像评价方法及系统”的专利申请，公开了一种基于元学习的无参考图像质量评价方法，其方法包括获取图片数据集作为样本集，构建主干特征提取网络得到高维特征，然后通过先分类后评价的两阶段评价过程得到质量评分。该方法主要是解决了模型的稳定性的问题，但是这种两阶段的评价模型严重依赖评价数据的场景类别，准确分类图像才能有效提高质量评价的稳定性。总的来说，应该考虑亚群偏移过程中的跨任务图像数据的场景和失真的相关性，结合元学习和增量学习来对复杂环境中获取的图像进行学习评价，进而提高质量评价的准确度和稳定性。
发明内容
本发明的目的在于克服上述现有技术存在的缺陷，提出了一种基于增量元学习的无参考图像质量评价方法，用于解决现有技术中对图像质量跨任务学习时,因图像数据集亚种群持续偏移带来的评价准确度较低和稳定性差的技术问题。
为实现上述目的，本发明采取的技术方法包括如下步骤：
(1)获取支持集、查询集、和测试样本集：
(1a)获取维度为W×H×C的N幅合成失真的RGB图像及每幅图像的主观意见分数，并将N幅RGB图像依据失真场景划分成T组D＝{D1,D2,…,Dt,…,DT},并将每组Dt中半数以上RGB图像及其对应的主观意见分数组成训练样本集
将Dt中剩余的RGB图像及其对应的主观意见分数组成测试样本集
然后依据RGB图像的失真类型将训练样本集
划分成P类，将每类中半数以上训练样本组成支持集
同时将每类中剩余训练样本组成查询集
其中，
表示元支持集，
表示元查询集，Dt表示增量学习过程中的第t组图像，W≥224，H≥224，C≥3，N≥3000，T≥3，P＞3；
(2)构建基于增量元学习的无参考图像质量评价网络模型Y：
(2a)构建包含顺次连接的图像特征提取子网络R和增量元学习子网络M的无参考图像质量评价网络模型Y；图像特征提取子网络R包含多个顺次连接的残差单元和一个多失真场景元任务学习模块Rmeta，每个残差单元包括多个卷积层、多个激活层和一个批量归一化层，且残差单元的输入与该残差单元中最后一个卷积层的输出的和作为最后一个激活层的输入，Rmeta包括多个顺次连接的卷积--池化--激活复合层组成的学习单元；M包括多个并行排布的全连接层；
(2b)定义无参考图像质量评价网络模型Y的损失函数Loss：
Loss＝λL+(1-λ)Lr
其中，L表示质量预测损失函数，Lr表示排序损失函数，λ表示动态加权系数，Qpred表示质量预测分数，Qi、Qj分别表示第i、j个训练样本对应的主观意见分数，Qpred,i、Qpred,j分别表示训练集中第i、j个训练样本对应的质量预测分数，Σ表示求和操作；
(3)对基于增量元学习的无参考图像质量评价网络模型Y进行迭代训练：
(3a)初始化迭代次数为k，最大迭代次数为K，K＞20，当前无参考图像质量评价网络模型为Yt，Yt的权值参数为θt，并令t＝1；
(3b)令k＝1；
(3c)将从Π个元支持集
中有放回地随机选取半数以下RGB图像构成的小批量元任务
作为无参考图像质量评价网络模型Y，图像特征提取子网络R提取每个元任务的特征，增量元学习子网络M对所提取的Π个特征组成的特征向量进行质量预测，得到
对应的质量预测分数；
(3d)采用损失函数Loss，对模型进行两步的更新：第一步通过每个质量预测分数和对应主观意见分数计算Y的损失值Lt，然后计算Lt对θt的偏导
再依据梯度下降法，结合Adam优化函数进行反向传播，对θt进行权值更新得到更新结果θt,π；第二步通过元查询集
对θt,π进行更新得到权值参数为θ′t,π，并结合θt,π和θ′t,π得到Yt最终的模型参数θ″t,π；
(3e)判断k＝K是否成立，若是，将M中第t个全连接层的参数冻结作为增量元学习预测头并执行步骤(3f)，否则，k＝k+1，并执行步骤(3c)；
(3f)判断t＝T是否成立，若是，得到训练好的基于增量元学习的无参考图像质量评价网络模型Yt *，否则，t＝t+1，采样
中的半数以下RGB图像回放到对应的
中，并执行步骤(3b)；
(4)获取无参考图像质量评价结果：
将测试样本集
作为训练好的基于增量元学习的无参考图像质量评价网络模型Yt *的输入进行前向推理，对每个增量元学习预测头的输出进行重加权，得到每个测试样本的质量预测分数。
本发明与现有技术相比较，具有以下优点：
1.本发明所构建的无参考图像质量评价网络模型包含有增量元学习子网络，在对该模型进行训练以及获取无参考图像质量评价结果的过程中，利用增量学习的方法将模型中图像质量增量预测头的参数依据任务不同进行独立更新，以此实现模型对图像数据集亚种群持续偏移过程中跨任务训练的稳定性；并且从场景分类和失真类型两个方面构造元任务，能够同时积累对图像场景类别和失真类型的感知信息,在面对具有新场景和新失真的图像有快速学习能力，提高了质量评价方法的准确度。
2.本发明在跨任务学习过程中对新任务进行评价时，利用增量学习方法实现了复杂化失真场景中图像质量评价任务之间的知识迁移，并在新旧任务之间引入数据回放，设置一个记忆缓冲区来动态存储已完成评价的图像，并将其加入到新任务的训练当中，该方法不断积累对图像场景类别信息和失真类型信息的同时，在面对具有新场景和新失真时，提高了质量评价的准确度。
附图说明
图1是本发明的实现流程图。
图2是本发明实施例中的图像特征提取子网络R的结构示意图。
图3是本发明实施例中的残差单元的结构示意图。
具体实施方式
下面结合附图和具体实施例，对本发明作进一步详细描述。
参照图1，本发明包括如下步骤：
步骤1)获取支持集、查询集、和测试样本集：
(1a)获取维度为W×H×C的N幅合成失真的RGB图像及每幅图像的主观意见分数，并将N幅RGB图像依据失真场景划分成T组D＝{D1,D2,…,Dt,…,DT},并将每组Dt中半数以上RGB图像及其对应的主观意见分数组成训练样本集
将Dt中剩余的RGB图像及其对应的主观意见分数组成测试样本集
然后依据RGB图像的失真类型将训练样本集
划分成P类，将每类中半数以上训练样本组成支持集
同时将每类中剩余训练样本组成查询集
其中，
表示元支持集，
表示元查询集，Dt表示增量学习过程中的第t组图像，W≥224，H≥224，C≥3，N≥3000，T≥3，P＞3。
本实例中，W＝224,H＝224，C＝3，N＝7000，T＝5，P＝25。
步骤2)构建基于增量元学习的无参考图像质量评价网络模型Y：
(2a)构建基于增量元学习的无参考图像质量评价网络模型Y：
构建包含顺次连接的图像特征提取子网络R和增量元学习子网络M的无参考图像质量评价网络模型Y，其中，图像特征提取子网络R，其结构如图2所示，具体包含多个顺次连接的残差单元组串联一个多失真场景元任务学习模块Rmeta，每个残差单元组包括多个卷积层、多个激活层和一个归一化层，该残差单元组的输入以及最后一个卷积层的输出与最后一个激活层的输入连接；Rmeta包括多个顺次连接的由卷积层--池化层--激活层组成的学习单元，M包括多个并行排布的全连接层。
本实例中，图像特征提取子网络R，其包含的残差单元的个数为4个，每个残差单元包含2个卷积层、2个激活层和1个批量归一化层，其结构示意图如图3所示，具体为：卷积层-批量归一化层-激活层-卷积层-激活层。每个残差单元的输入与该残差单元中最后一个卷积层的输出的和作为最后一个激活层的输入；每个残差单元的第1个卷积层和第2个卷积层的卷积核个数分别设置为(32,64)、(128，256)、(512,256)、(128,64),每个残差单元的第1个卷积层和第2个卷积层的卷积核大小个数都设置为(1×1，3×3)，每个残差单元的第1个和第2个卷积层的卷积步长分别设置为1，2；多失真场景元任务学习模块Rmeta，包含了五个卷积--池化--激活组成的复合单元，其具体结构为：每一个池化层均采用平均池化，激活层采用ReLU激活，第一个学习单元卷积层的卷积核为7×7，输入通道数为64，步长为2，填充为0，输出通道数为256。第二个学习单元的卷积层的卷积核为7×7，输入通道数为256，填充为0，步长为2，输出通道数为128，第三个学习单元的卷积层的卷积核为7×7，输入通道数为128，填充为0，步长为2，输出通道数为64，第四个学习单元的卷积层的卷积核为7×7，输入通道数为64，填充为0，步长为2，输出通道数为32，第五个学习单元的卷积层的卷积核为7×7，输入通道数为256，填充为0，步长为2，输出通道数为128；增量元学习子网络M包含的全连接层的个数为5，其具体结构为：全局池化层→第1全连接层→第2全连接层→第3全连接层→第4全连接层→第5全连接层，串联的全连接层长度分别为112、56、28、14和1。
(2b)定义无参考图像质量评价网络模型Y的损失函数Loss：
Loss＝λL+(1-λ)Lr
其中，L表示质量预测损失函数，Lr表示排序损失函数，λ表示动态加权系数，Qpred表示质量预测分数，Qi、Qj分别表示第i、j个训练样本对应的主观意见分数，Qpred,i、Qpred,j分别表示训练集中第i、j个训练样本对应的质量预测分数，Σ表示求和操作；
本实例中，λ＝0.2；
依据增量元学习的原则，损失函数Loss的包含两个损失项分别为排序损失函数和质量预测损失函数，在对图像质量评价网络模型训练过程中，由动态加权系数λ为两个损失项动态地分配权重，其中，在训练的初始阶段，排序损失函数具有最高的权重，随着迭代次数的增加，排序损失函数的权重逐渐减小，质量预测损失函数的权重增加。这种损失函数的结构和调整方式，不仅能增强主观质量分数与质量预测之间的线性相关性，提高质量评价的准确度，而且能加快模型的训练速度，提高质量评价的训练效率。
步骤3)对基于增量元学习的无参考图像质量评价网络模型G进行迭代训练：
(3a)初始化迭代次数为k，最大迭代次数为K，K＞20，当前无参考图像质量评价网络模型为Yt，Yt的权值参数为θt，并令t＝1；
(3b)令k＝1；
(3c)将从Π个元支持集
中有放回地随机选取半数以下RGB图像构成的小批量元任务
作为无参考图像质量评价网络模型Y，图像特征提取子网络R提取每个元任务的特征，增量元学习子网络M对所提取的Π个特征组成的特征向量进行质量预测，得到
对应的质量预测分数；
(3d)采用损失函数Loss，对模型进行两步的更新：第一步通过每个质量预测分数和对应主观意见分数计算Y的损失值Lt，然后计算Lt对θt的偏导
再依据梯度下降法，结合Adam优化函数进行反向传播，对θt进行权值更新得到更新结果θt,π；第二步通过元查询集
对θt,π进行更新得到权值参数为θ′t,π，并结合θt,π和θ′t,π得到Yt最终的模型参数θ″t,π；
(3e)判断k＝K是否成立，若是，将M中第t个全连接层的参数冻结作为增量元学习预测头并执行步骤(3f)，否则，k＝k+1，并执行步骤(3c)；
(3f)判断t＝T是否成立，若是，得到训练好的基于增量元学习的无参考图像质量评价网络模型Yt *，否则，t＝t+1，采样
中的半数以下RGB图像回放到对应的
中，并执行步骤(3b)；
(4)获取无参考图像质量评价结果：
将测试样本集
作为训练好的基于增量元学习的无参考图像质量评价网络模型Yt *的输入进行前向推理，对每个增量元学习预测头的输出进行重加权，得到每个测试样本的质量预测分数。
Claims (5)
1.一种基于增量元学习的无参考图像质量评价方法，其特征在于，包括如下步骤：
(1)获取支持集、查询集、和测试样本集：
(1a)获取维度为W×H×C的N幅合成失真的RGB图像及每幅图像的主观意见分数，并将N幅RGB图像依据失真场景划分成T组D＝{D1,D2,…,Dt,…,DT},并将每组Dt中半数以上RGB图像及其对应的主观意见分数组成训练样本集
将Dt中剩余的RGB图像及其对应的主观意见分数组成测试样本集
然后依据RGB图像的失真类型将训练样本集
划分成P类，将每类中半数以上训练样本组成支持集
同时将每类中剩余训练样本组成查询集
其中，
表示元支持集，
表示元查询集，Dt表示增量学习过程中的第t组图像，W≥224，H≥224，C≥3，N≥3000，T≥3，P＞3；
(2)构建基于增量元学习的无参考图像质量评价网络模型Y：
(2a)构建包含顺次连接的图像特征提取子网络R和增量元学习子网络M的无参考图像质量评价网络模型Y；图像特征提取子网络R包含多个顺次连接的残差单元和一个多失真场景元任务学习模块Rmeta，每个残差单元包括多个卷积层、多个激活层和一个批量归一化层，且残差单元的输入与该残差单元中最后一个卷积层的输出的和作为最后一个激活层的输入，Rmeta包括多个顺次连接的卷积--池化--激活复合层组成的学习单元；M包括多个并行排布的全连接层；
(2b)定义无参考图像质量评价网络模型Y的损失函数Loss：
Loss＝λL+(1-λ)Lr
其中，L表示质量预测损失函数，Lr表示排序损失函数，λ表示动态加权系数，Qpred表示质量预测分数，Qi、Qj分别表示第i、j个训练样本对应的主观意见分数，Qpred,i、Qpred,j分别表示训练集中第i、j个训练样本对应的质量预测分数，Σ表示求和操作；
(3)对基于增量元学习的无参考图像质量评价网络模型Y进行迭代训练：
(3a)初始化迭代次数为k，最大迭代次数为K，K＞20，当前无参考图像质量评价网络模型为Yt，Yt的权值参数为θt，并令t＝1；
(3b)令k＝1；
(3c)将从Π个元支持集
中有放回地随机选取半数以下RGB图像构成的小批量元任务
作为无参考图像质量评价网络模型Y，图像特征提取子网络R提取每个元任务的特征，增量元学习子网络M对所提取的Π个特征组成的特征向量进行质量预测，得到
对应的质量预测分数；
(3d)采用损失函数Loss，第一步通过每个质量预测分数和对应主观意见分数计算Y的损失值Lt，然后计算Lt对θt的偏导▽Lt(θt)，再依据梯度下降法，结合Adam优化函数进行反向传播，对θt进行权值更新得到更新结果θt,π；第二步通过元查询集
对θt,π进行更新得到权值参数为θ′t,π，并通过θt,π和θ′t,π计算Yt最终的权值参数θ″t，π；
(3e)判断k＝K是否成立，若是，将M中第t个全连接层的参数冻结作为增量元学习预测头并执行步骤(3f)，否则，k＝k+1，并执行步骤(3c)；
(3f)判断t＝T是否成立，若是，得到训练好的基于增量元学习的无参考图像质量评价网络模型Yt *，否则，t＝t+1，采样
中的半数以下RGB图像回放到对应的
中，并执行步骤(3b)；
(4)获取无参考图像质量评价结果：
将测试样本集
作为训练好的基于增量元学习的无参考图像质量评价网络模型Yt *的输入进行前向推理，对每个增量元学习预测头的输出进行重加权，得到每个测试样本的质量预测分数。
2.根据权利要求1所述的基于增量元学习的无参考图像质量评价方法，其特征在于，步骤(2a)中所述的无参考图像质量评价网络模型Y，其中：
图像特征提取子网络R，其包含的残差单元的个数为4个，残差单元分为第1残差单元，第2残差单元，第3残差单元，第4残差单元；每个残差单元均由1个卷积层、1个批量归一化层、1个激活层、一个卷积层和一个ReLU激活层串联组成，每个残差单元的输入与该残差单元中最后一个卷积层的输出的和作为最后一个ReLU激活层的输入；每个残差单元的第1个卷积层和第2个卷积层的卷积核个数分别设置为(32,64)、(128，256)、(512,256)、(128,64),每个残差单元的第1个卷积层和第2个卷积层的卷积核大小个数都设置为(1×1，3×3)，每个残差单元的第1个和第2个卷积层的卷积步长分别设置为1，2；多失真场景元任务学习模块Rmeta，包含了五个卷积--池化--激活组成的复合单元，其具体结构为：每一个池化层均采用平均池化，激活层采用ReLU激活，第一个学习单元卷积层的卷积核为7×7，输入通道数为64，步长为2，填充为0，输出通道数为256。第二个学习单元的卷积层的卷积核为7×7，输入通道数为256，填充为0，步长为2，输出通道数为128，第三个学习单元的卷积层的卷积核为7×7，输入通道数为128，填充为0，步长为2，输出通道数为64，第四个学习单元的卷积层的卷积核为7×7，输入通道数为64，填充为0，步长为2，输出通道数为32，第五个学习单元的卷积层的卷积核为7×7，输入通道数为256，填充为0，步长为2，输出通道数为128；
增量元学习子网络M包含的全连接层的个数为5，其具体结构为：全局池化层→第1全连接层→第2全连接层→第3全连接层→第4全连接层→第5全连接层，串联的全连接层长度分别为112、56、28、14和1。
3.根据权利要求1所述的基于增量元学习的无参考图像质量评价方法，其特征在于，步骤(3d)所述的通过θt,π和θ′t,π计算Yt最终的权值参数θ″t,π，计算公式为：
其中β是调整超参数。
4.根据权利要求1所述的基于增量元学习的无参考图像质量评价方法，其特征在于，步骤(3f)所述的采样
中的半数以下RGB图像回放到对应的
中，实现步骤为：对场景总数为B的
进行数据回放采样设置采样因子
来控制对
中每个元任务
的RGB图像的采样数量，其中，1＜b≤B,δt-1,p表示对
中RGB图像的采样数量,B表示
中的场景的总数，b表示
中的场景总数，
表示向上取整操作,max(·)表示取最大操作。
5.根据权利要求1所述的基于增量元学习的无参考图像质量评价方法，其特征在于，步骤(4)所述的获取无参考图像质量评价结果，实现步骤为：将测试样本集
作为训练好的基于增量元学习的无参考图像质量评价网络模型
的输入进行前向推理，利用元更新的方法将模型中图像质量预测头的参数依据任务不同进行独立更新，并对每个预测头的输出进行重加权得到质量评价结果：
其中，αt表示对预测头的加权系数，Qt,pred表示第t个预测头的质量预测分数输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210541079.3A CN114972232B (zh) | 2022-05-17 | 基于增量元学习的无参考图像质量评价方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210541079.3A CN114972232B (zh) | 2022-05-17 | 基于增量元学习的无参考图像质量评价方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114972232A true CN114972232A (zh) | 2022-08-30 |
| CN114972232B CN114972232B (zh) | 2024-10-25 |
Family
ID=
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115760822A (zh) * | 2022-11-28 | 2023-03-07 | 深圳市捷易科技有限公司 | 一种图像质量检测模型建立方法及系统 |
| CN116502959A (zh) * | 2023-06-21 | 2023-07-28 | 南京航空航天大学 | 一种基于元学习的产品制造质量预测方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110728656A (zh) * | 2019-09-06 | 2020-01-24 | 西安电子科技大学 | 基于元学习的无参考图像质量数据处理方法、智能终端 |
| CN112419177A (zh) * | 2020-11-10 | 2021-02-26 | 中国人民解放军陆军炮兵防空兵学院 | 一种面向单幅图像去运动模糊的感知质量盲评价方法 |
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110728656A (zh) * | 2019-09-06 | 2020-01-24 | 西安电子科技大学 | 基于元学习的无参考图像质量数据处理方法、智能终端 |
| CN112419177A (zh) * | 2020-11-10 | 2021-02-26 | 中国人民解放军陆军炮兵防空兵学院 | 一种面向单幅图像去运动模糊的感知质量盲评价方法 |
Non-Patent Citations (2)
| Title |
|---|
| JI ZHANG等: "Progressive Meta-Learning With Curriculum", 《 IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》, 1 April 2022 (2022-04-01) * |
| 李秉恒: "基于关联分析与反遗忘策略的无参考图像质量评价方法", 《万方数据》, 4 May 2023 (2023-05-04) * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115760822A (zh) * | 2022-11-28 | 2023-03-07 | 深圳市捷易科技有限公司 | 一种图像质量检测模型建立方法及系统 |
| CN115760822B (zh) * | 2022-11-28 | 2024-03-19 | 深圳市捷易科技有限公司 | 一种图像质量检测模型建立方法及系统 |
| CN116502959A (zh) * | 2023-06-21 | 2023-07-28 | 南京航空航天大学 | 一种基于元学习的产品制造质量预测方法 |
| CN116502959B (zh) * | 2023-06-21 | 2023-09-08 | 南京航空航天大学 | 一种基于元学习的产品制造质量预测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109308696B (zh) | 基于层级特征融合网络的无参考图像质量评价方法 | |
| CN108596902B (zh) | 基于选通卷积神经网络的多任务全参考图像质量评价方法 | |
| CN111652366A (zh) | 一种基于通道剪枝和量化训练的联合神经网络模型压缩方法 | |
| CN111182292A (zh) | 无参考视频质量评估方法、系统、视频接收器、智能终端 | |
| CN112016507A (zh) | 基于超分辨率的车辆检测方法、装置、设备及存储介质 | |
| CN110728656A (zh) | 基于元学习的无参考图像质量数据处理方法、智能终端 | |
| CN115062710A (zh) | 基于深度确定性策略梯度的联邦学习分类模型训练方法 | |
| CN112308825B (zh) | 一种基于SqueezeNet的农作物叶片病害识别方法 | |
| CN112541532B (zh) | 基于密集连接结构的目标检测方法 | |
| CN112767385B (zh) | 基于显著性策略与特征融合无参考图像质量评价方法 | |
| WO2021157067A1 (ja) | 学習処理装置及び方法 | |
| CN114187261B (zh) | 一种基于多维注意力机制的无参考立体图像质量评价方法 | |
| CN110879982A (zh) | 一种人群计数系统及方法 | |
| CN114612714B (zh) | 基于课程学习的无参考图像质量评价方法 | |
| CN111145145B (zh) | 一种基于MobileNets的图像表面缺陷检测方法 | |
| CN105956159A (zh) | 一种评价图像质量客观方法综合效率的算法 | |
| CN113065653A (zh) | 面向移动端图像分类的轻量级卷积神经网络的设计方法 | |
| CN108830829B (zh) | 联合多种边缘检测算子的无参考质量评价算法 | |
| CN112365511A (zh) | 基于重叠区域检索与对齐的点云分割方法 | |
| CN113313682A (zh) | 基于时空多尺度分析的无参考视频质量评价方法 | |
| CN113902113A (zh) | 一种卷积神经网络通道剪枝方法 | |
| CN111915489A (zh) | 一种基于监督深度网络学习的图像重定向方法 | |
| CN114972232B (zh) | 基于增量元学习的无参考图像质量评价方法 | |
| CN115346091B (zh) | 一种Mura缺陷图像数据集的生成方法和生成装置 | |
| CN114972232A (zh) | 基于增量元学习的无参考图像质量评价方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |