CN116051482B - 一种基于多任务渐进学习的无参考图像质量评价方法 - Google Patents
一种基于多任务渐进学习的无参考图像质量评价方法 Download PDFInfo
- Publication number
- CN116051482B CN116051482B CN202211702883.1A CN202211702883A CN116051482B CN 116051482 B CN116051482 B CN 116051482B CN 202211702883 A CN202211702883 A CN 202211702883A CN 116051482 B CN116051482 B CN 116051482B
- Authority
- CN
- China
- Prior art keywords
- quality
- image
- training
- loss function
- weight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 120
- 238000013441 quality evaluation Methods 0.000 title claims abstract description 79
- 230000000750 progressive effect Effects 0.000 title claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 156
- 230000006870 function Effects 0.000 claims abstract description 93
- 238000013210 evaluation model Methods 0.000 claims abstract description 56
- 230000008569 process Effects 0.000 claims abstract description 48
- 238000013145 classification model Methods 0.000 claims abstract description 35
- 230000003247 decreasing effect Effects 0.000 claims abstract description 13
- 238000000605 extraction Methods 0.000 claims description 25
- 238000004891 communication Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 7
- 238000011156 evaluation Methods 0.000 abstract description 23
- 230000000694 effects Effects 0.000 abstract description 11
- 238000012545 processing Methods 0.000 abstract description 9
- 238000002474 experimental method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000003646 Spearman's rank correlation coefficient Methods 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于多任务渐进学习的无参考图像质量评价方法，涉及图像处理技术领域。本发明通过预设的目标损失函数，调整质量等级分类模型和质量分数评价模型的模型参数，将训练完成的质量分数评价模型作为训练完成的无参考图像质量评价模型；基于训练图像在训练过程中的轮次，在训练过程中提升第一权重的数值和降低所述第二权重的数值。基于上述处理，使得该训练过程符合从易到难的学习规律，有效增强了质量分数评价模型的学习效果，进而提升了训练完成后的无参考图像质量评价模型的评价结果的准确性。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于多任务渐进学习的无参考图像质量评价方法。
背景技术
无参考图像质量评价是指在不使用额外的可供参考无失真图像的情况下，进行图像质量评价的技术。随着信息技术的发展，无参考图像质量评价的应用场景也越来越广泛。例如，在数据传输过程中，对用户接收到的图像进行无参考图像质量评价，然后，基于无参考图像质量评价的结果和用户需求，调整数据传输过程中的图像压缩率；或者，在用户进行图像检索时，通过无参考图像质量评价结果确定图像检索结果呈现顺序。
然而，由于图像内容变化丰富、失真类型的多样性以及训练过程中的样本数量有限等多种因素的影响，使得现有无参考图像质量评价模型的评价效果，仍存在着较大的提升空间。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种基于多任务渐进学习的无参考图像质量评价方法，以提升无参考图像质量评价模型的评价效果。
(二)技术方案
为实现以上目的，本发明通过以下技术方案予以实现：
在本发明的第一方面，提供了一种基于多任务渐进学习的无参考图像质量评价方法，其特征在于，所述方法包括：
获取训练图像的第一图像特征；
基于第一图像特征和初始质量等级分类模型获取预测质量等级，并基于第一图像特征和初始质量分数评价模型获取预测质量评分；
基于预设的目标损失函数，调整所述质量等级分类模型和所述质量分数评价模型的模型参数，将训练完成的质量分数评价模型作为训练完成的无参考图像质量评价模型，所述无参考图像质量评价模型用于对无参考图像进行质量评价；其中，所述目标损失函数为第一损失函数和第二损失函数进行加权求和得到的；所述第一损失函数表示所述质量分数评价模型对应的损失函数，用于衡量真实质量评分与预测质量评分之间的损失；所述第二损失函数表示所述质量等级分类模型对应的损失函数，用于衡量真实质量等级与预测质量等级之间的损失；所述第一损失函数对应的权重，作为第一权重；所述第二损失函数对应的权重，作为第二权重；基于所述训练图像在训练过程中的轮次，在训练过程中提升所述第一权重的数值和降低所述第二权重的数值。
可选的，在获取训练图像的第一图像特征之前，所述真实质量等级的获取过程包括：包括：
基于所述训练图像的真实质量评分，确定所述训练图像对应的质量等级，作为真实质量等级。
可选的，所述目标损失函数的计算公式如下：
xi表示训练图像集合中第i张图像；h(xi)表示xi的第一图像特征；gΦ1(h(xi))表示xi的预测质量评分；yi表示xi的真实质量评分；表示所述第一损失函数；表示xi的第一损失函数值；λ1为所述第一权重，且λ1﹥0；gΦ2(h(xi))表示xi的预测质量等级；/>表示xi的真实质量等级；l2表示所述第二损失函数；表示xi的第二损失函数值；λ2为第二权重，且λ2﹥0。
可选的，所述基于所述训练图像在训练过程中的轮次，在训练过程中提升所述第一权重的数值和降低所述第二权重的数值的公式如下：
λ2(t)＝1-λ1(t)
其中，t表示第t个训练轮次；T表示训练过程的最大轮次；λ1(t)表示第t个训练轮次时λ1的数值；λ2(t)表示第t个训练轮次时λ2的数值；ω表示一种平衡λ1、λ2的预设参数，且0＜ω＜1。
可选的，在所述基于训练图像的真实质量评分，确定所述训练图像对应的质量等级，作为真实质量等级之前，所述方法还包括：
基于所述真实质量评分对应的取值范围和预设的质量评分区间长度，将所述取值范围划分为不同的质量等级；
所述基于所述真实质量评分对应的取值范围和预设的质量评分区间长度，获取将所述取值范围划分为不同的质量等级的数量的计算公式如下：
其中，ymax表示所述真实质量评分取值范围的最高值；ymin表示所述真实质量评分取值范围的最低值；|ymax-ymin|表示所述取值范围的最高值与最低值的差值；A表示所述预设的质量评分区间长度；K表示质量等级的数量。
可选的，所述获取所述训练图像的第一图像特征，包括：
将所述训练图像输入至图像特征提取子网络，提取所述图像特征提取子网络中预设特征提取层的图像特征，作为第二图像特征；
将所述第二图像特征进行连接，得到连接后的第二图像特征，作为所述第一图像特征。
可选的，在将所述第二图像特征进行连接，得到连接后的第二图像特征，作为所述第一图像特征之前，所述方法还包括：
基于1×1卷积核对所述第二图像特征进行全局平均池化，得到全局平均池化后的第二图像特征，作为第三图像特征；
所述将所述第二图像特征进行连接，得到连接后的第二图像特征，作为所述第一图像特征，包括：
基于concat函数，对所述第三图像特征进行连接，得到连接后的第三图像特征，作为所述第一图像特征。
在本发明的第二方面，提供了一种基于多任务渐进学习的无参考图像质量评价装置，所述装置包括：
第一获取模块，用于获取所述训练图像的第一图像特征；
第二获取模块，用于基于第一图像特征和初始质量等级分类模型获取预测质量等级，并基于第一图像特征和初始质量分数评价模型获取预测质量评分；
第一调整模块，用于基于预设的目标损失函数，调整所述质量等级分类模型和所述质量分数评价模型的模型参数，将训练完成的质量分数评价模型作为训练完成的无参考图像质量评价模型，所述无参考图像质量评价模型用于对无参考图像进行质量评价；其中，所述目标损失函数为第一损失函数和第二损失函数进行加权求和得到的；所述第一损失函数表示所述质量分数评价模型对应的损失函数，用于衡量真实质量评分与预测质量评分之间的损失；所述第二损失函数表示所述质量等级分类模型对应的损失函数，用于衡量真实质量等级与预测质量等级之间的损失；所述第一损失函数对应的权重，作为第一权重；所述第二损失函数对应的权重，作为第二权重；基于所述训练图像在训练过程中的轮次，在训练过程中提升所述第一权重的数值和降低所述第二权重的数值。
在本发明的第三方面，提供了一种电子设备，所述电子设备包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一所述的基于多任务渐进学习的无参考图像质量评价方法步骤。
在本发明的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的基于多任务渐进学习的无参考图像质量评价方法步骤。
(三)有益效果
本发明提供了一种设备检测的方法、装置、电子设备及存储介质，与现有技术相比，具备以下有益效果：
在本发明所提供的技术方案中，获取训练图像的第一图像特征；基于第一图像特征和初始质量等级分类模型获取预测质量等级，并基于第一图像特征和初始质量分数评价模型获取预测质量评分；基于预设的目标损失函数，调整质量等级分类模型和质量分数评价模型的模型参数，将训练完成的质量分数评价模型作为训练完成的无参考图像质量评价模型；其中，基于训练图像在训练过程中的轮次，在训练过程中提升第一权重的数值和降低第二权重的数值。
基于上述处理，通过提升第一权重的数值和降低第二权重的数值，在训练的前期着重于质量等级分类模型的参数调整，随着训练轮次的增加，逐渐着重于质量分数评价模型的参数调整。并且由于质量等级分类模型的训练过程相较于质量分数评价模型的训练难度更小，使得该训练过程符合人类学习具有的从易到难的学习规律，有效增强了质量分数评价模型的学习效果，进而提升了训练完成后的无参考图像质量评价模型的评价结果的准确性。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种基于多任务渐进学习的无参考图像质量评价方法的流程图；
图2为本发明提供的另一种基于多任务渐进学习的无参考图像质量评价方法的流程图；
图3为本发明提供的另一种基于多任务渐进学习的无参考图像质量评价方法的流程图；
图4为本发明提供的另一种基于多任务渐进学习的无参考图像质量评价方法的流程图；
图5为本发明提供的一种基于多任务渐进学习的无参考图像质量评价方法的结构示意图；
图6为本发明提供的第一权重的变化曲线图；
图7为本发明提供的第二权重的变化曲线图；
图8为本发明提供的在BID数据集上进行消融性实验的结果柱状图；
图9为本发明提供的在LIVE数据集上进行消融性实验的结果柱状图；
图10为本发明提供的一种基于多任务渐进学习的无参考图像质量评价装置的结构图；
图11为本发明提供的一种电子设备的结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
对模型的训练过程进行优化，以提升模型的学习效果，是提升模型性能的一种思路。本发明实施例通过提供一种基于多任务渐进学习的无参考图像质量评价方法，使得训练过程符合人类学习具有的从易到难的学习规律，有效增强了质量分数评价模型的学习效果，进而提升了训练完成后的无参考图像质量评价模型的评价结果的准确性。
本发明实施例中的技术方案为达到上述有益效果，总体思路如下：
人类在学习新技能时，通常会先尝试学习与目标技能相关的简单技能，然后去学习与目标技能相关的复杂技能。受人类学习规律的启发，在复杂质量回归任务的基础上增加了一个相对简单的图像质量分级任务(对应一个分类问题)，以帮助模型进行质量评分任务(对应一个回归问题)。
在本发明实施例所提供的技术方案中，获取训练图像的第一图像特征；基于第一图像特征和初始质量等级分类模型获取预测质量等级，并基于第一图像特征和初始质量分数评价模型获取预测质量评分；基于预设的目标损失函数，调整质量等级分类模型和质量分数评价模型的模型参数，将训练完成的质量分数评价模型作为训练完成的无参考图像质量评价模型；其中，基于训练图像在训练过程中的轮次，在训练过程中提升第一权重的数值和降低第二权重的数值。
基于上述处理，通过提升第一权重的数值和降低第二权重的数值，在训练的前期着重于质量等级分类模型的参数调整，随着训练轮次的增加，逐渐着重于质量分数评价模型的参数调整。并且由于质量等级分类模型的训练过程相较于质量分数评价模型的训练难度更小，使得该训练过程符合人类学习具有的从易到难的学习规律，有效增强了质量分数评价模型的学习效果，进而提升了训练完成后的无参考图像质量评价模型的评价结果的准确性。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
参见图1，图1为本发明实施例提供的一种基于多任务渐进学习的无参考图像质量评价方法的流程图，该方法可以包括以下步骤：
S101、获取训练图像的第一图像特征。
S102、基于第一图像特征和初始质量等级分类模型获取预测质量等级，并基于第一图像特征和初始质量分数评价模型获取预测质量评分。
S103、基于预设的目标损失函数，调整质量等级分类模型和质量分数评价模型的模型参数，将训练完成的质量分数评价模型作为训练完成的无参考图像质量评价模型，无参考图像质量评价模型用于对无参考图像进行质量评价。
其中，目标损失函数为第一损失函数和第二损失函数进行加权求和得到的；第一损失函数表示质量分数评价模型对应的损失函数，用于衡量真实质量评分与预测质量评分之间的损失；第二损失函数表示质量等级分类模型对应的损失函数，用于衡量真实质量等级与预测质量等级之间的损失；第一损失函数对应的权重，作为第一权重；第二损失函数对应的权重，作为第二权重。基于训练图像在训练过程中的轮次，在训练过程中提升第一权重的数值和降低第二权重的数值。
基于上述处理，通过提升第一权重的数值和降低第二权重的数值，在训练的前期着重于质量等级分类模型的参数调整，随着训练轮次的增加，逐渐着重于质量分数评价模型的参数调整。并且由于质量等级分类模型的训练过程相较于质量分数评价模型的训练难度更小，使得该训练过程符合人类学习具有的从易到难的学习规律，有效增强了质量分数评价模型的学习效果，进而提升了训练完成后的无参考图像质量评价模型的评价结果的准确性。
其中，目标损失函数的计算公式如下：
xi表示训练图像集合中第i张图像；h(xi)表示xi的第一图像特征；gΦ1(h(xi))表示xi的预测质量评分；yi表示xi的真实质量评分；表示第一损失函数；表示xi的第一损失函数值；λ1为第一权重，且λ1﹥0；gΦ2(h(xi))表示xi的预测质量等级；/>表示xi的真实质量等级；/>表示第二损失函数；表示xi的第二损失函数值；λ2为第二权重，且λ2﹥0。
针对步骤S101，训练图像即训练过程中输入的训练样本图像，为训练图像集合中的任一图像。其中，训练图像集合可以为合成失真图像数据集，如LIVE、CSIQ和自然失真图像数据集，如BID、LIVE-C等。
一种实现方式中，训练图像集合可以表示为{x1…xi…xT}∈X。其中，X表示训练图像集合；xi表示该训练图像集合中第i张图像。此外，在每一个训练轮次中，该训练图像集合中的每一张图像均作为该训练轮次中的训练图像。
在一个实施例中，在步骤S101之前，真实质量等级的获取过程包括：
步骤S104：基于训练图像的真实质量评分，确定所述训练图像对应的质量等级，作为真实质量等级。
针对步骤S104，真实质量评分，即训练图像的原有质量评分。在获取到训练图像的真实质量评分之后，可以基于所述真实质量等级和预设的质量等级，确定训练图像的真实质量评分所在质量等级的评分范围，得到真实质量等级。
在一个实施例中，参见图2，图2为本发明实施例提供的另一种基于多任务渐进学习的无参考图像质量评价方法的流程图，在步骤S104之前，该方法还可以包括以下步骤：
S105：基于真实质量评分对应的取值范围和预设的质量评分区间长度，将取值范围划分为不同的质量等级。
基于真实质量评分对应的取值范围和预设的质量评分区间长度，获取将取值范围划分为不同的质量等级的数量的计算公式如下：
其中，ymax表示真实质量评分取值范围的最高值；ymin表示真实质量评分取值范围的最低值；|ymax-ymin|表示取值范围的最高值与最低值的差值；A表示预设的质量评分区间长度；K表示质量等级的数量；表示向下取整。
当的数值为整数时，则质量等级的数量为K，可以根据训练图像的真实质量评分yi，确定对应的质量等级/>其中，/> Y表示质量等级的范围。
当的数值不为整数时，则质量等级的数量为K+1，相应的，质量等级的范围Y＝{1，…，K，K+1}。
一种实现方式中，真实质量评分对应的取值范围，即，在获取真实质量评分过程中的取值范围。例如，基于主观评价方法获取图像的真实质量评分时，可选择的评价分数为[0,10]，则可以得知真实质量评分取值的最大值为10,最小值为0，最大值与最小值的差值为10。若预设的质量评分区间长度为3，则k值为4，质量等级的范围为(1，2，3，4)。一种可选的质量等级方案为：等级1对应的评价分数为0-2(包括2)；质量等级2对应的评价分数为2-5(包括5)；质量等级3对应的评价分数为5-8(包括8)，质量等级4对应的评价分数为8-10。
同理，若预设的质量评分区间长度5，则k值为2，质量等级的范围为(1、2)。可知质量等级1对应的评价分数为0-5(包括5)；质量等级2对应的评价分数为5-10。
显而易见地，当真实质量评分对应的取值范围一定时，预设的质量评分区间长度越大时，质量等级的数量越少。其中，预设的质量评分区间长度可根据训练图像的数量进行调整。例如，当真实质量评分对应的取值范围一定，且训练图像的数量较少时，可以降低预设的质量评分区间长度，提高质量等级的数量，以保证质量等级分类模型的训练效果，从而提升了质量分数评价模型的训练效果。
此外，本发明实施例提供的质量等级划分方法，用于构造与质量分数预测相关且较为简单的质量等级分类任务，将取值范围按预设的区间长度进行均匀划分。在具体实施方式中可替换为其他离散化方法，例如，考虑图像质量分数分布的非均匀离散化方法。
针对步骤S101，可以基于卷积神经网络获取训练图像的第一图像特征。
在一个实施例中，参见图3，图3为本发明实施例提供的另一种基于多任务渐进学习的无参考图像质量评价方法的流程图，在图1的基础上，步骤S101可以包括：
步骤S1011：将训练图像输入至图像特征提取子网络，提取图像特征提取子网络中预设特征提取层的图像特征，作为第二图像特征。
步骤S1012：将第二图像特征进行连接，得到连接后的第二图像特征，作为第一图像特征。
其中，图像特征提取子网络可以为ResNet50、VGG16、RepVGG等，此处不作具体限定。
在一个实施例中，参见图4，图4为本发明实施例提供的另一种基于多任务渐进学习的无参考图像质量评价方法的流程图，在图3的基础上，在步骤S1012之前，还可以包括以下步骤：
S1013：基于1×1卷积核对第二图像特征进行全局平均池化，得到全局平均池化后的第二图像特征，作为第三图像特征。
步骤S1012包括：
S10121：基于concat函数，对第三图像特征进行连接，得到连接后的第三图像特征，作为第一图像特征。
连接后的第三图像特征的表达式如下：
hψ(xi)＝concat(s1，…sj，…，sn)
其中，hψ(xi)表示为训练图像集合中第i张待处理图像的第一图像特征；s1表示为从图像特征提取子网络中第1网络层提取的图像特征，sj表示为从图像特征提取子网络中第j网络层提取的图像特征，sn表示为从图像特征提取子网络中第n网络层提取的图像特征；concat(s1，…sj，…，sn)表示为基于concat函数，对第三图像特征进行连接。
一种实现方式中，将在ImageNet上训练完成的ResNet50作为图像特征提取子网络。然后，将训练图像输入至ResNet50，获取ResNet50的conv2_9、conv3_12、conv4_18、conv5_9四个特征提取网络层的图像特征。然后，采用1×1卷积核对获取到的图像特征进行全局平均池化，以实现图像特征的维度对齐。并基于concat函数，将维度对齐后的图像特征进行连接，得到连接后的图像特征，作为训练图像的第一图像特征。
针对步骤S103，对于第一权重和第二权重的调整公式不作具体的限定，可采用现有的计算公式达到基于训练轮次提升第一权重的数值和降低第二权重的数值的目的。
在一个实施例中，基于训练图像在训练过程中的轮次，在训练过程中提升第一权重的数值和降低第二权重的数值的公式如下：
λ2(t)＝1-λ1(t)
其中，t表示第t个训练轮次；T表示训练过程的最大轮次；λ1(t)表示第t个训练轮次时λ1的数值；λ2(t)表示第t个训练轮次时λ2的数值；ω表示一种平衡λ1、λ2的预设参数，且0＜ω＜1。
当ω的数值越大时，在训练过程中，越侧重调整质量分数评价模型的模型参数；当ω的数值越小时，在训练过程中，越侧重调整质量等级分类模型的模型参数。其中，ω的数值根据质量等级分类模型和质量分数评价模型的类型、最初模型参数以及训练图像的类型、数量等因素相关。
一种实现方式中，可以采用超参数搜索框架optuna来实现LR(Learning rate，学习率)、Batch(即，在一个训练轮次中所输入训练图像的数量)和预设参数ω的优化。参见表1，表1为发明人进行实验验证后，在四种不同类型的训练图像集合中，所采用的不同ω的数值。
表1四种不同类型的训练图像集合中采用的不同ω的数值
一种实现方式中，第一损失函数可以为L1损失函数，第二损失函数可以为交叉熵损失函数，以及通过采用Adam优化器的方法，实现对质量等级分类模型和质量分数评价模型的模型参数的调整。
参见图5，图5为本发明实施例提供的一种基于多任务渐进学习的无参考图像质量评价方法的结构示意图。
如图5所示，Image Dataset X(图像集合X)，即，本发明中的待处理图像集合。该结构中包括一个Multi-Scale Feature Extraction(多尺度特征提取)模块hψ(·)和一个Progressive Multi-Task learning(渐进式多任务学习)模块其中，多尺度特征提取模块用于提取训练图像的图像特征以及进行图像特征的连接。渐进式多任务学习模块则包含质量分数评价模型/>和质量等级评价模型/>用于接收连接后的图像特征，输出待处理图像的Prediction Score(预测评分，即本发明的预测质量评分)和Prediction Label(预测标号，即本发明的预测质量等级)。
质量分数评价模型采用三层全连接的方式构建质量分数评价网络，激活函数为LeakyReLU；质量等级评价模型/>采用三层全连接的方式构建质量等级分类网络，全连接输出通过Softmax生成质量等级。
该结构的无参考图像质量评价的公式如下所示：
其中，hψ(·)表示多尺度特征提取模块输出的训练图像的第一图像特征；fθ(·)表示模型输出的无参考图像质量评价的评价结果；表示为渐进式多任务学习模块对hψ(·)的评价结果；O称为映射的乘法，表示为两个映射的复合映射，即，上述公式也可以表示为
具体工作流程如下：将Image Dataset X中的训练图像输入至多尺度特征提取模块。该多尺度特征提取模块中，可以以ResNet50作为进行多尺度特征提取的图像特征提取子网络。将训练图像输入至ResNet50后，进行Flow of Feature map(特征提取流程)，即，提取ResNet50的conv2_9、conv3_12、conv4_18、conv5_9四个阶段的图像特征。然后，可以采用1×1卷积核对收集到的图像特征进行全局平均池化，以实现图像特征的维度对齐。基于concat函数，对提取到的图像特征进行连接，得到连接后的图像特征(即，本发明的第一图像特征)。
将连接后的图像特征分别输入至质量分数评价模型和质量等级评价模型然后，质量分数评价模型/>输出Prediction Score为6.42；质量等级评价模型/>输出Prediction Label{01000}。其中，{01000}表示预测质量等级共分为5级，根据1所在的位数确定质量等级的数值，{01000}为第4质量等级。
此外，将基于预测评分和真实质量评分得到的(即，本发明的第一损失函数)与第一权重λ1进行加权运算，可以表示为/>同理，将基于预测标签和预测质量等级得到的/>(即，本发明的第二损失函数)与第二权重λ2进行加权运算，可以表示为/>然后，将/>与/>进行相加，得到Total Loss(全部损失，即，本发明的目标损失函数)。进而，基于Total Loss对质量分数评价模型/>和质量等级评价模型/>进行参数调整，并将训练完成的质量分数评价模型/>作为训练完成的无参考图像质量评价模型。
在训练过程中，第一权重λ1的数值变化如图6所示，图6为本发明实施例提供的第一权重的变化曲线图；第二权重λ2的数值变化如图7所示，图7为本发明实施例提供的第二权重的变化曲线图。由图6和图7可见，在训练过程中，随着Epoch(阶段，即本发明中训练图像在训练过程中的轮次)的增加，第一权重λ1的数值逐渐增大而第二权重λ2的数值则逐渐减小。
为了验证本发明实施例提供的一种基于多任务渐进学习的无参考图像质量评价方法的有效性，通过在合成失真图像数据集LIVE、CSIQ和自然失真图像数据集BID、LIVE-C四个数据集中，对现有无参考图像质量评价方法和本发明方法(Ours，即，本发明的基于多任务渐进学习的无参考图像质量评价方法)的评价指标进行比较，其比较结果如表2所示，表2中加粗的值表示某一数据集中的最好结果。
其中，SRCC(Spearman Rank-order Correlation Coefficient,斯皮尔曼秩相关系数)和PLCC(Pearson Linear Correlation Coefficient，皮尔森线性相关系数)为本领域中常用来进行模型性能的比较的两种评价指标。SRCC和PLCC的范围都在[-1,1]内，性能越好其值越大。
表2无参考图像质量评价方法测试结果
基于表2的内容，我们可以看到，Ours除了在LIVE-C图像集上SRCC值略低于HeyperIQA方法外，都取得了最高的SRCC和PLCC值，验证了本发明实施例提供的基于多任务渐进学习的无参考图像质量评价方法的优异性能。
此外，为了进一步验证本发明实施例提供的基于多任务渐进学习的无参考图像质量评价方法的有效性，进行了消融性实验。该消融实验共包括四种方法，分别是：
方法一：只采用单纯的ResNet50架构，并在其之后添加全连接层。
方法二：只采用多尺度特征提取模块，在之后添加全连接层。
方法三：采用全部网络结构，但是训练过程中使用固定数值的λ1和λ2，其中，λ1＝0.5、λ2＝0.5。
方法四：采用全部网络结构，λ1和λ2在训练过程中采用动态变化的值，(即，本发明实施例提供的基于多任务渐进学习的无参考图像质量评价方法)。
上述四种方法分别在BID和LIVE数据集上进行了消融性实验，其结果如图8、图9所示，其中，图8为本发明实施例提供的在BID数据集上进行消融性实验的结果柱状图；图9为本发明实施例提供的在LIVE数据集上进行消融性实验的结果柱状图。
基于图8、图9的内容可见，使用多尺度特征提取模块、采用双模型训练且固定权重、采用双模型训练且动态调整权重可以依次提升模型的性能(即，图8、图9中的SRCC和PLCC值逐渐增高)，进一步验证了本发明实施例提供的无参考图像质量评价模型训练方法的有效性。
基于相同的发明构思，本发明实施例还提供了一种基于多任务渐进学习的无参考图像质量评价装置，参见图10，图10为本发明实施例提供的一种基于多任务渐进学习的无参考图像质量评价装置的结构图，该装置可以包括：
第一获取模块1001，用于获取训练图像的第一图像特征。
第二获取模块1002，用于基于第一图像特征和初始质量等级分类模型获取预测质量等级，并基于第一图像特征和初始质量分数评价模型获取预测质量评分。
第一调整模块1003，用于基于预设的目标损失函数，调整质量等级分类模型和质量分数评价模型的模型参数，将训练完成的质量分数评价模型作为训练完成的无参考图像质量评价模型，无参考图像质量评价模型用于对无参考图像进行质量评价。
其中，目标损失函数为第一损失函数和第二损失函数进行加权求和得到的；第一损失函数表示质量分数评价模型对应的损失函数，用于衡量真实质量评分与预测质量评分之间的损失；第二损失函数表示质量等级分类模型对应的损失函数，用于衡量真实质量等级与预测质量等级之间的损失；第一损失函数对应的权重，作为第一权重；第二损失函数对应的权重，作为第二权重；基于训练图像在训练过程中的轮次，在训练过程中提升第一权重的数值和降低第二权重的数值。
可理解的是，本发明实施例提供的基于多任务渐进学习的无参考图像质量评价装置与上述基于多任务渐进学习的无参考图像质量评价方法相对应，其有关内容的解释、举例、有益效果等部分可以参考基于多任务渐进学习的无参考图像质量评价方法中的相应内容，此处不再赘述。
本发明实施例还提供了一种电子设备，参见图11，图11为本发明实施例提供的一种电子设备的结构图。如图11所示，包括处理器1101、通信接口1102、存储器1103和通信总线1104，其中，处理器1101，通信接口1102，存储器1103通过通信总线1104完成相互间的通信，
存储器1103，用于存放计算机程序；
处理器1101，用于执行存储器1103上所存放的程序时，实现上述任一基于多任务渐进学习的无参考图像质量评价方法。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时实现上述任一基于多任务渐进学习的无参考图像质量评价方法的步骤。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一基于多任务渐进学习的无参考图像质量评价方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
综上所述，与现有技术相比，具备以下有益效果：
基于上述处理，通过提升第一权重的数值和降低第二权重的数值，在训练的前期着重于质量等级分类模型的参数调整，随着训练轮次的增加，逐渐着重于质量分数评价模型的参数调整。并且由于质量等级分类模型的训练过程相较于质量分数评价模型的训练难度更小，使得该训练过程符合人类学习具有的从易到难的学习规律，有效增强了质量分数评价模型的学习效果，进而提升了训练完成后的无参考图像质量评价模型的评价结果的准确性。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (9)
1.一种基于多任务渐进学习的无参考图像质量评价方法，其特征在于，所述方法包括：
获取训练图像的第一图像特征；
基于第一图像特征和初始质量等级分类模型获取预测质量等级，并基于第一图像特征和初始质量分数评价模型获取预测质量评分；
基于预设的目标损失函数，调整所述初始质量等级分类模型和所述初始质量分数评价模型的模型参数，将训练完成的质量分数评价模型作为训练完成的无参考图像质量评价模型，所述无参考图像质量评价模型用于对无参考图像进行质量评价；其中，所述目标损失函数为第一损失函数和第二损失函数进行加权求和得到的；所述第一损失函数表示所述质量分数评价模型对应的损失函数，用于衡量真实质量评分与预测质量评分之间的损失；所述第二损失函数表示所述质量等级分类模型对应的损失函数，用于衡量真实质量等级与预测质量等级之间的损失；所述第一损失函数对应的权重，作为第一权重；所述第二损失函数对应的权重，作为第二权重；基于所述训练图像在训练过程中的轮次，在训练过程中提升所述第一权重的数值和降低所述第二权重的数值；
所述基于所述训练图像在训练过程中的轮次，在训练过程中提升所述第一权重的数值和降低所述第二权重的数值的公式如下：
λ2(t)＝1-λ1(t)
其中，t表示第t个训练轮次；T表示训练过程的最大轮次；λ1(t)表示第t个训练轮次时λ1的数值；λ2(t)表示第t个训练轮次时λ2的数值；ω表示一种平衡λ1、λ2的预设参数，且0＜ω＜1。
2.根据权利要求1所述的无参考图像质量评价方法，其特征在于，在获取训练图像的第一图像特征之前，所述真实质量等级的获取过程包括：
基于所述训练图像的真实质量评分，确定所述训练图像对应的质量等级，作为真实质量等级。
3.根据权利要求1所述的无参考图像质量评价方法，其特征在于，所述目标损失函数的计算公式如下：
xi表示训练图像集合中第i张图像；h(xi)表示xi的第一图像特征；gΦ1(h(xi))表示xi的预测质量评分；yi表示xi的真实质量评分；l1表示所述第一损失函数；l1(gΦ1(h(xi))，yi)表示xi的第一损失函数值；λ1为所述第一权重，且λ1﹥0；gΦ2(h(xi))表示xi的预测质量等级；表示xi的真实质量等级；l2表示所述第二损失函数；/>表示xi的第二损失函数值；λ2为第二权重，且λ2﹥0。
4.根据权利要求2所述的无参考图像质量评价方法，其特征在于，在所述基于训练图像的真实质量评分，确定所述训练图像对应的质量等级，作为真实质量等级之前，所述方法还包括：
基于所述真实质量评分对应的取值范围和预设的质量评分区间长度，将所述取值范围划分为不同的质量等级；
所述基于所述真实质量评分对应的取值范围和预设的质量评分区间长度，获取将所述取值范围划分为不同的质量等级的数量的计算公式如下：
其中，ymax表示所述真实质量评分取值范围的最高值；ymin表示所述真实质量评分取值范围的最低值；|ymax-ymin|表示所述取值范围的最高值与最低值的差值；A表示所述预设的质量评分区间长度；K表示质量等级的数量。
5.根据权利要求1所述的无参考图像质量评价方法，其特征在于，所述获取所述训练图像的第一图像特征，包括：
将所述训练图像输入至图像特征提取子网络，提取所述图像特征提取子网络中预设特征提取层的图像特征，作为第二图像特征；
将所述第二图像特征进行连接，得到连接后的第二图像特征，作为所述第一图像特征。
6.根据权利要求5所述的无参考图像质量评价方法，其特征在于，在将所述第二图像特征进行连接，得到连接后的第二图像特征，作为所述第一图像特征之前，所述方法还包括：
基于1×1卷积核对所述第二图像特征进行全局平均池化，得到全局平均池化后的第二图像特征，作为第三图像特征；
所述将所述第二图像特征进行连接，得到连接后的第二图像特征，作为所述第一图像特征，包括：
基于concat函数，对所述第三图像特征进行连接，得到连接后的第三图像特征，作为所述第一图像特征。
7.一种基于多任务渐进学习的无参考图像质量评价装置，用于执行权利要求1-6任一项所述的无参考图像质量评价方法，其特征在于，所述装置包括：
第一获取模块，用于获取所述训练图像的第一图像特征；
第二获取模块，用于基于第一图像特征和初始质量等级分类模型获取预测质量等级，并基于第一图像特征和初始质量分数评价模型获取预测质量评分；
第一调整模块，用于基于预设的目标损失函数，调整所述质量等级分类模型和所述质量分数评价模型的模型参数，将训练完成的质量分数评价模型作为训练完成的无参考图像质量评价模型，所述无参考图像质量评价模型用于对无参考图像进行质量评价；其中，所述目标损失函数为第一损失函数和第二损失函数进行加权求和得到的；所述第一损失函数表示所述质量分数评价模型对应的损失函数，用于衡量真实质量评分与预测质量评分之间的损失；所述第二损失函数表示所述质量等级分类模型对应的损失函数，用于衡量真实质量等级与预测质量等级之间的损失；所述第一损失函数对应的权重，作为第一权重；所述第二损失函数对应的权重，作为第二权重；基于所述训练图像在训练过程中的轮次，在训练过程中提升所述第一权重的数值和降低所述第二权重的数值。
8.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-6任一所述的方法步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利利要求1-6任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211702883.1A CN116051482B (zh) | 2022-12-29 | 2022-12-29 | 一种基于多任务渐进学习的无参考图像质量评价方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211702883.1A CN116051482B (zh) | 2022-12-29 | 2022-12-29 | 一种基于多任务渐进学习的无参考图像质量评价方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116051482A CN116051482A (zh) | 2023-05-02 |
| CN116051482B true CN116051482B (zh) | 2024-04-09 |
Family
ID=86130682
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211702883.1A Active CN116051482B (zh) | 2022-12-29 | 2022-12-29 | 一种基于多任务渐进学习的无参考图像质量评价方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116051482B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109919920A (zh) * | 2019-02-25 | 2019-06-21 | 厦门大学 | 统一结构的全参考和无参考图像质量评价方法 |
| CN111723762A (zh) * | 2020-06-28 | 2020-09-29 | 湖南国科微电子股份有限公司 | 人脸属性识别方法、装置、电子设备及存储介质 |
| CN112767386A (zh) * | 2021-02-01 | 2021-05-07 | 福州大学 | 基于主题特征和评分分布的图像美学质量评价方法及系统 |
| CN113313682A (zh) * | 2021-05-28 | 2021-08-27 | 西安电子科技大学 | 基于时空多尺度分析的无参考视频质量评价方法 |
| CN113360690A (zh) * | 2021-07-07 | 2021-09-07 | 携程科技(上海)有限公司 | 图片筛选方法、系统、设备及存储介质 |
| CN113850217A (zh) * | 2021-09-30 | 2021-12-28 | 厦门美图宜肤科技有限公司 | 图像处理模型训练方法、图像处理方法、设备及存储介质 |
-
2022
- 2022-12-29 CN CN202211702883.1A patent/CN116051482B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109919920A (zh) * | 2019-02-25 | 2019-06-21 | 厦门大学 | 统一结构的全参考和无参考图像质量评价方法 |
| CN111723762A (zh) * | 2020-06-28 | 2020-09-29 | 湖南国科微电子股份有限公司 | 人脸属性识别方法、装置、电子设备及存储介质 |
| CN112767386A (zh) * | 2021-02-01 | 2021-05-07 | 福州大学 | 基于主题特征和评分分布的图像美学质量评价方法及系统 |
| CN113313682A (zh) * | 2021-05-28 | 2021-08-27 | 西安电子科技大学 | 基于时空多尺度分析的无参考视频质量评价方法 |
| CN113360690A (zh) * | 2021-07-07 | 2021-09-07 | 携程科技(上海)有限公司 | 图片筛选方法、系统、设备及存储介质 |
| CN113850217A (zh) * | 2021-09-30 | 2021-12-28 | 厦门美图宜肤科技有限公司 | 图像处理模型训练方法、图像处理方法、设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 图像质量评价：融合视觉特征与结构相似性指标;朱新山 等;《哈尔滨工业大学学报》;121-128 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116051482A (zh) | 2023-05-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI689871B (zh) | 梯度提升決策樹（ｇｂｄｔ）模型的特徵解釋方法和裝置 | |
| CN111860573B (zh) | 模型训练方法、图像类别检测方法、装置和电子设备 | |
| CN109754391B (zh) | 一种图像质量评价方法、装置及电子设备 | |
| CN109308696B (zh) | 基于层级特征融合网络的无参考图像质量评价方法 | |
| CN112766379A (zh) | 一种基于深度学习多权重损失函数的数据均衡方法 | |
| EP4016375A1 (en) | Video classification method, device and system | |
| WO2020238039A1 (zh) | 神经网络搜索方法及装置 | |
| CN110728656A (zh) | 基于元学习的无参考图像质量数据处理方法、智能终端 | |
| CN110782413B (zh) | 一种图像处理方法、装置、设备及存储介质 | |
| CN109496334A (zh) | 用于评估语音质量的设备和方法 | |
| CN112766279A (zh) | 一种基于联合注意力机制的图像特征提取方法 | |
| CN113066065B (zh) | 无参考图像质量检测方法、系统、终端及介质 | |
| CN111640099A (zh) | 一种确定图像质量的方法、装置、电子设备及存储介质 | |
| CN111429402A (zh) | 高级视觉感知特征与深度特征融合的图像质量评价方法 | |
| CN109919901B (zh) | 一种基于集成学习与随机森林的图像质量评价方法 | |
| CN111008570B (zh) | 一种基于压缩-激励伪三维网络的视频理解方法 | |
| CN112017777B (zh) | 相似对问题预测的方法、装置及电子设备 | |
| CN112307726B (zh) | 因果去偏差模型指导的法院观点自动生成方法 | |
| CN114187261A (zh) | 一种基于多维注意力机制的无参考立体图像质量评价方法 | |
| CN116051482B (zh) | 一种基于多任务渐进学习的无参考图像质量评价方法 | |
| CN113011532A (zh) | 分类模型训练方法、装置、计算设备及存储介质 | |
| CN110634006B (zh) | 广告点击率的预测方法、装置、设备及可读存储介质 | |
| CN113516025B (zh) | 一种基于模型构建的高光谱图像处理方法、设备及介质 | |
| CN114648646B (zh) | 一种图像分类方法及装置 | |
| CN114862819B (zh) | 基于非对称网络的图像质量评价方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |