CN114862819A - 基于非对称网络的图像质量评价方法、装置、设备及介质 - Google Patents

基于非对称网络的图像质量评价方法、装置、设备及介质 Download PDF

Info

Publication number
CN114862819A
CN114862819A CN202210575764.8A CN202210575764A CN114862819A CN 114862819 A CN114862819 A CN 114862819A CN 202210575764 A CN202210575764 A CN 202210575764A CN 114862819 A CN114862819 A CN 114862819A
Authority
CN
China
Prior art keywords
level semantic
evaluated
image
quality
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210575764.8A
Other languages
English (en)
Other versions
CN114862819B (zh
Inventor
岳广辉
程地
周天薇
李思莹
李苑
汪天富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202210575764.8A priority Critical patent/CN114862819B/zh
Publication of CN114862819A publication Critical patent/CN114862819A/zh
Application granted granted Critical
Publication of CN114862819B publication Critical patent/CN114862819B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种基于非对称网络的图像质量评价方法、装置、设备及介质。本发明涉及人工智能技术领域，其包括：获取用户输入的待评价图像，并将待评价图像调整为预设尺寸以得到目标待评价图像；将目标待评价图像输入至预设的图像质量评价模型中，以使图像质量评价模型对目标待评价图像识别，生成与目标待评价图像相对应的质量分数分布；上述图像质量评价模型在对目标待评价图像识别时，先通过非对称网络对目标待评价图像进行特征提取，再进行全局平均池化及质量回归处理得到与目标待评价图像相对应的质量分数分布。本申请实施例可提高图像质量评价的效率及准确率。

Description

基于非对称网络的图像质量评价方法、装置、设备及介质
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于非对称网络的图像质量评价方法、装置、设备及介质。
背景技术
随着多媒体和网络技术的快速发展，人类进入大数据时代，数字图像作为信息交流的重要载体，在交流的过程中起着至关重要的作用。但由于在图像获取、传输、处理、显示等过程中，会出现不可避免的失真情况(例如，模糊、噪声、伪影以及失真等)，从而影响人类对图像信息的接收和后续的图像处理，因此对图像质量进行评价显得尤为重要。而现有技术方法均是通过观测者对图像质量进行评估，以人眼察看得到的主观感受为标准对图像质量作出评价，具体判断标准可以是观测者对图像在保真度等方面的满意程度。然而不同观测者对图像质量进行评估的判断标准可能存在差异，导致无法准确获取评价结果；且受限于观测者的处理速度，在对海量图像进行评价时无法快速获取评价结果，导致处理效率不高。因此，现有技术方法中存在无法高效、准确地对图像进行质量评价的问题。
发明内容
本发明实施例提供了一种基于非对称网络的图像质量评价方法、装置、设备及介质，旨在解决现有技术方法中所存在的无法高效、准确地对图像进行质量评价的问题。
第一方面，本发明实施例提供了一种基于非对称网络的图像质量评价方法，其包括：
获取用户输入的待评价图像，并将所述待评价图像调整为预设尺寸以得到目标待评价图像；
将所述目标待评价图像输入至预设的图像质量评价模型中，以使所述图像质量评价模型对所述目标待评价图像进行识别，生成与所述目标待评价图像相对应的质量分数分布，其中，所述图像质量评价模型是利用有标签训练数据集、无标签训练数据集以及测试数据集对构建的评价模型进行训练得到的；
其中，所述图像质量评价模型对所述目标待评价图像进行识别，生成与所述目标待评价图像相对应的质量分数分布，具体包括：
通过非对称网络对所述目标待评价图像进行特征提取得到第一高层语义特征及第二高层语义特征，并对所述第一高层语义特征及所述第二高层语义特征进行全局平均池化处理得到第一目标高层语义特征及第二目标高层语义特征；
对所述第一目标高层语义特征及所述第二目标高层语义特征进行质量回归处理得到与所述目标待评价图像相对应的第一质量分数分布及第二质量分数分布，将所述第一质量分数分布及所述第二质量分数分布作为质量分数分布。
第二方面，本发明实施例还提供了一种基于非对称网络的图像质量评价装置，其包括：
获取单元，用于获取用户输入的待评价图像，并将所述待评价图像调整为预设尺寸以得到目标待评价图像；
质量评价单元，用于将所述目标待评价图像输入至预设的图像质量评价模型中，以使所述图像质量评价模型对所述目标待评价图像进行识别，生成与所述目标待评价图像相对应的质量分数分布，其中，所述图像质量评价模型是利用有标签训练数据集、无标签训练数据集以及测试数据集对构建的评价模型进行训练得到的；
其中，所述图像质量评价模型对所述目标待评价图像进行识别，生成与所述目标待评价图像相对应的质量分数分布，具体包括：
通过非对称网络对所述目标待评价图像进行特征提取得到第一高层语义特征及第二高层语义特征，并对所述第一高层语义特征及所述第二高层语义特征进行全局平均池化处理得到第一目标高层语义特征及第二目标高层语义特征；
对所述第一目标高层语义特征及所述第二目标高层语义特征进行质量回归处理得到与所述目标待评价图像相对应的第一质量分数分布及第二质量分数分布，将所述第一质量分数分布及所述第二质量分数分布作为质量分数分布。
第三方面，本发明实施例还提供了一种计算机设备，其包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述方法。
本发明实施例提供了一种基于非对称网络的图像质量评价方法、装置、设备及介质。其中，所述方法包括：获取用户输入的待评价图像，并将所述待评价图像调整为预设尺寸以得到目标待评价图像；将所述目标待评价图像输入至预设的图像质量评价模型中，以使所述图像质量评价模型对所述目标待评价图像进行识别，生成与所述目标待评价图像相对应的质量分数分布，其中，所述图像质量评价模型是利用有标签训练数据集、无标签训练数据集以及测试数据集对构建的评价模型进行训练得到的；上述图像质量评价模型在对所述目标待评价图像识别时，先通过非对称网络对所述目标待评价图像进行特征提取得到第一高层语义特征及第二高层语义特征，并对所述第一高层语义特征及所述第二高层语义特征进行全局平均池化处理得到第一目标高层语义特征及第二目标高层语义特征；再对所述第一目标高层语义特征及所述第二目标高层语义特征进行质量回归处理得到与所述目标待评价图像相对应的第一质量分数分布及第二质量分数分布，将所述第一质量分数分布及所述第二质量分数分布作为质量分数分布。本发明实施例的技术方案，利用有标签训练数据集、无标签训练数据集以及测试数据集对构建的评价模型进行训练得到图像质量评价模型，可提高图像质量评价模型的泛化性；通过训练好的非对称网络的图像质量评价模型对输入的待评价图像进行识别，生成质量分数分布，确保了对图像进行质量评估的客观性及一致性，可提高图像质量评价的效率及准确率。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于非对称网络的图像质量评价方法的模型整体示意图；
图2为本发明实施例提供的一种基于非对称网络的图像质量评价方法的流程示意图；
图3为本发明实施例提供的一种基于非对称网络的图像质量评价方法的子流程示意图；
图4为本发明实施例提供的一种基于非对称网络的图像质量评价方法的教师网络质量回归器的示意图；
图5为本发明实施例提供的一种基于非对称网络的图像质量评价方法的学生网络质量回归器的示意图；
图6为本发明实施例提供的一种基于非对称网络的图像质量评价方法的子流程示意图；
图7为本发明实施例提供的一种基于非对称网络的图像质量评价装置的示意性框图；以及
图8为本发明实施例提供的一种计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
请参阅图1，图1是本发明实施例提供的一种基于非对称网络的图像质量评价方法的模型整体结构示意图。本发明实施例的基于非对称网络的图像质量评价方法可应用于构建的图像质量评价模型中，例如可通过配置于与所述图像质量评价模型相对应的软件程序来实现所述基于非对称网络的图像质量评价方法，从而提高图像质量评价的效率及准确率。
请参阅图2，图2是本发明实施例提供的一种基于非对称网络的图像质量评价方法的流程示意图。如图2所示，该方法包括以下步骤S100-S110。
S100、获取用户输入的待评价图像，并将所述待评价图像调整为预设尺寸以得到目标待评价图像。
S110、将所述目标待评价图像输入至预设的图像质量评价模型中，以使所述图像质量评价模型对所述目标待评价图像进行识别，生成与所述目标待评价图像相对应的质量分数分布，其中，所述图像质量评价模型是利用有标签训练数据集、无标签训练数据集以及测试数据集对构建的评价模型进行训练得到的。
在本发明实施例中，获取用户输入的待评价图像，并将所述待评价图像调整为预设尺寸，例如，所述预设尺寸为512×384；将调整为预设尺寸后的所述待评价图像输入至预设的图像质量评价模型中，以生成与所述目标待评价图像相对应的质量分数分布，其中，如图1所示，所述图像质量评价模型包括教师网络ResNet101特征提取器、教师网络质量回归器，教师网络高层特征批量模块、学生网络AlexNet特征提取器、学生网络质量回归器，学生网络高层特征批量模块以及全局平均池化(GAP，Global-Average-Pooling)模块。可理解地，通过构建两个非对称网络特征提取器(教师网络ResNet101特征提取器及学生网络AlexNet特征提取器)来对图像的高层语义特征进行提取，之后再通过两个非对称的质量回归器(教师网络质量回归器及学生网络质量回归器)来输出质量分数分布。需要说明的是，在本发明实施例中，所述图像质量评价模型是利用有标签训练数据集、无标签训练数据集以及测试数据集对构建的模型进行训练，训练过程中可提高模型的泛化性，将模型训练好之后，对输入的待评价图像进行质量评价，可提高图像质量评价的效率及准确率，而具体地训练步骤将在下文进行具体阐述。
请参阅图3，所述图像质量评价模型对所述目标待评价图像进行识别，生成与所述目标待评价图像相对应的质量分数分布，具体包括如下步骤S111-S112：
S111、通过非对称网络对所述目标待评价图像进行特征提取得到第一高层语义特征及第二高层语义特征，并对所述第一高层语义特征及所述第二高层语义特征进行全局平均池化处理得到第一目标高层语义特征及第二目标高层语义特征；
S112、对所述第一目标高层语义特征及所述第二目标高层语义特征进行质量回归处理得到与所述目标待评价图像相对应的第一质量分数分布及第二质量分数分布，将所述第一质量分数分布及所述第二质量分数分布作为质量分数分布。
在本发明实施例中，将待评价图像输入教师网络ResNet101特征提取器及学生网络AlexNet特征提取器进行特征提取，得到第一高层语义特征及第二高层语义特征，然后将所述第一高层语义特征及所述第二高层语义特征输入GAP进行全局平均池化处理，得到第一目标高层语义特征及第二目标高层语义特征；最后将所述第一目标高层语义特征及所述第二目标高层语义特征输入教师网络质量回归器进及学生网络质量回归器行质量回归处理得到与所述目标待评价图像相对应的第一质量分数分布及第二质量分数分布，将所述第一质量分数分布及所述第二质量分数分布作为质量分数分布。需要说明的是，在本发明实施例中，如图4所示，所述教师网络质量回归器包括4个全连接层及一个SoftMax层，输入4个全连接层及一个SoftMax层前图像的通道数依次为(2048、1024、512、256以及5)；如图5所示，所述学生网络质量回归器包括2个全连接层及一个SoftMax层，输入2个全连接层及一个SoftMax层前图像的通道数依次为(256、128以及5)。还需要说明的是，全连接层通过线性层+ReLU函数实现。
请参阅图6，利用有标签训练数据集、无标签训练数据集以及测试数据集对构建的评价模型进行训练得到图像质量评价模型，具体包括如下步骤S121-S125：
S121、将有标签训练数据集及无标签训练数据集输入构建的评价模型进行训练直至满足预设训练结束条件为止；
S122、将测试数据集输入训练后的所述评价模型得到预测质量分数分布；
S123、根据所述预测质量分数分布及预设分段分数值计算预测意见得分，并计算所述预测意见得分与所述测试数据集中的意见得分的相关系数，判断所述相关系数是否超过预设相关系数值，若所述相关系数超过所述预设相关系数值，则执行步骤S124，否则执行步骤S125；
S124、将训练后的所述评价模型作为图像质量评价模型；
S125、重新设置训练参数，并返回执行步骤S121。
在本发明实施例中，在对构建的评价模型进行训练之前，先从公开的图像质量评价数据集Kon10K中获取预设张数的图像数据作为样本图像数据集，其中，Kon10K数据集包括10073张真实失真图像。在实际应用中，从Kon10K数据集中随机选取8000张真实失真图像作为训练数据集，2000张真实失真图像作为测试数据集，然后再进一步从训练数据集中获取多张图像作为无标签训练数据集，剩余的所述训练数据集作为有标签训练数据集，可理解地，标签训练数据集包括2000张有标签的真实失真图像，而无标签训练数据集包括6000张无标签的真实失真图像。需要说明的是，在本发明实施例中，Kon10K数据集中的所有真实失真图像均有相应标签，无标签训练数据集及有标签训练数据数据划分过程中，对于无标签训练数据集中的图像则无需获取相应标签。还需要说明的是，在本发明实施例中，所述训练数据集用于所述图像质量评价模型的训练阶段，所述测试数据集用于对优化后的所述图像质量评价模型进行测试。在其它实施例中，所述有标签训练数据集、所述无标签训练数据集以及所述测试数据集中的图像数据的张数不作具体限定。
进一步地，为描述简便，假设有标签训练数据集为
Figure BDA0003659573590000071
无标签训练数据集为
Figure BDA0003659573590000072
而MaxL和MaxU分别代表有标签训练数据集和无标签训练数据集中的总数，xi表示图像数据，yi表示与图像数据对应的标签数据；第一预测目标高层语义特征为
Figure BDA0003659573590000073
第二预测目标高层语义特征为
Figure BDA0003659573590000074
第一预测有标签质量分数分布为
Figure BDA0003659573590000075
第一预测无标签质量分数分布为
Figure BDA0003659573590000076
第二预测有标签质量分数分布
Figure BDA0003659573590000077
第二预测无标签质量分数分布
Figure BDA0003659573590000078
其中，K为表示质量分布的等级数，针对
Figure BDA0003659573590000079
及所述
Figure BDA00036595735900000710
中的每一训练批次图像，将其输入构建的评价模型以输出
Figure BDA00036595735900000711
Figure BDA00036595735900000712
以及
Figure BDA00036595735900000713
根据
Figure BDA00036595735900000714
及
Figure BDA00036595735900000715
通过第一损失函数计算第一损失值Losssup，其中，所述第一损失函数如公式(1)所示，在公式(1)中BL代表有标签图像数据的批量大小，yi表示与输入的有标签图像数据相对应的质量分数分布；根据
Figure BDA0003659573590000081
及
Figure BDA0003659573590000082
通过第二损失函数计算第二损失值LossSample，其中，所述第二损失函数如公式(2)所示，在公式(2)中，BU表示无标签图像数据的批量大小；通过所述教师网络高层特征批量模块及所述学生网络高层特征批量模块根据
Figure BDA0003659573590000083
及
Figure BDA0003659573590000084
根据所述第三损失函数计算第三损失值LossBatch，其中，所述第三损失函数如公式(3)所示，在公式(3)中，Smooth表示平滑损失函数，B代表一个批量的大小，γ(s)表示每三张图像对应的
Figure BDA0003659573590000085
Figure BDA0003659573590000086
之间的余弦夹角，γ(t)表示每三张图像对应的
Figure BDA0003659573590000087
之间的余弦夹角；根据Losssup、LossSample以及LossBatch通过总的损失函数计算总的损失值L，其中，所述总的损失函数如公式(4)所示，在公式(4)中，λ为平衡系数。根据所述总的损失值对所述评价模型进行迭代更新，直至达到预设训练批次数为止。
Figure BDA0003659573590000088
Figure BDA0003659573590000089
Figure BDA00036595735900000810
L＝λ*(LossBatch+LossSample)+Losssup (4)
更进一步地，在本发明实施例中，达到预设训练批次数之后，从所述预测质量分数分布中获取每个分数段的人数；根据所述每个分数段的人数乘以预设分段分数值得到预测意见得分。具体地，在本发明实施例中，总共有5个分数段，分别为C1、C2、C3、C4以及C5，而C1、C2、C3、C4以及C5分别表示1分、2分、3分、4分以及5分，假设C1及C2分数段对应的人数为0，C3分数段的人数为25，C4分数段的人数为73，C5分数段的人数为7，总人数为105，计算C1、C2、C3、C4以及C5分数段人数的概率，将每个分数段概率相加之后预测意见得分，计算所述预测意见得分与所述测试数据集中的意见得分的相关系数，判断所述相关系数是否超过预设相关系数值，其中，所述预设相关系数值为0.9，若超过，则将训练后的所述评价模型作为图像质量评价模型；若不超过，则重新设置训练参数，其中，所述训练参数包括训练次数、训练周期、有标签训练数据集的图像数据以及无标签训练数据的图像数据的大小等，并返回执行步骤S121，对所述评价模型进行重新训练。需要说明的是，在本发明实施例中，相关系数越接近1，即表明图像质量评价模型的PLCC系数、SRCC系数以及KRCC系数越接近1，,RMSE系数越接近0，表明图像质量评价模型对图像质量评价越准确，其中，PLCC、SRCC、KRCC以及RMSE分别代表皮尔逊系数、斯皮尔曼系数、肯德尔系数以及均方根误差。
更进一步地，在本发明实施例中，所有输入所述图像质量评价模型的图像均需要先将其调整为预设尺寸大小，其中，所述预设尺寸大小为512×384；并采用多次裁剪策略扩充数据集，例如按224×224的尺寸大小随机裁剪10次，可在一定程度上提高所述图像质量评价模型的鲁棒性。进一步地，所述图像质量评价模型是在PyTorch深度学习框架下搭建，并使用Adam优化器，学习率设定为0.0002，训练批大小batchsize设置为64(无标签训练数据集的训练批大小设置为48，有标签训练数据集的训练批大小设置为16)，训练周期epoch设置为10。更进一步地，在图像质量评价模型训练过程中，每两个epoch会将学习率衰减为原来的一半。
图7是本发明实施例提供的一种基于非对称网络的图像质量评价装置200的示意性框图。如图7所示，对应于以上基于非对称网络的图像质量评价方法，本发明还提供一种基于非对称网络的图像质量评价装置200。该基于非对称网络的图像质量评价装置200包括用于执行上述基于非对称网络的图像质量评价方法的单元，该装置可以被配置于计算机设备中。具体地，请参阅图7，该基于非对称网络的图像质量评价装置200包括获取单元201及质量评价单元202。
其中，所述获取单元201用于获取用户输入的待评价图像，并将所述待评价图像调整为预设尺寸以得到目标待评价图像；所述质量评价单元202用于将所述目标待评价图像输入至预设的图像质量评价模型中，以使所述图像质量评价模型对所述目标待评价图像进行识别，生成与所述目标待评价图像相对应的质量分数分布，其中，所述图像质量评价模型是利用有标签训练数据集、无标签训练数据集以及测试数据集对构建的评价模型进行训练得到的；其中，所述图像质量评价模型对所述目标待评价图像进行识别，生成与所述目标待评价图像相对应的质量分数分布，具体包括特征提取单元及质量回归处理单元，其中，所述特征提取单元用于通过非对称网络对所述目标待评价图像进行特征提取得到第一高层语义特征及第二高层语义特征，并对所述第一高层语义特征及所述第二高层语义特征进行全局平均池化处理得到第一目标高层语义特征及第二目标高层语义特征；所述质量回归处理单元用于对所述第一目标高层语义特征及所述第二目标高层语义特征进行质量回归处理得到与所述目标待评价图像相对应的第一质量分数分布及第二质量分数分布，将所述第一质量分数分布及所述第二质量分数分布作为质量分数分布。
在某些实施例，例如本实施例中，所述特征提取单元包括特征提取子单元及池化处理单元。
其中，所述特征提取子单元用于通过ResNet101特征提取器及AlexNet特征提取器对所述目标待评价图像进行特征提取得到第一高层语义特征及第二高层语义特征；所述池化处理单元用于对所述第一高层语义特征及所述第二高层语义特征进行全局平均池化处理以降低维度，得到第一目标高层语义特征及第二目标高层语义特征。
在某些实施例，例如本实施例中，所述质量回归处理单元包括第一质量回归子单元及第二质量回归子单元。
其中，所述第一质量回归子单元用于通过第一预设个数的全连接层对所述第一目标高层语义特征进行质量回归处理，并将质量回归处理后的所述第一目标高层语义特征输入SoftMax层得到第一质量分数分布；所述第二质量回归子单元用于通过第二预设个数的全连接层对所述第二目标高层语义特征进行质量回归处理，并将质量回归处理后的所述第二目标高层语义特征输入SoftMax层得到第二质量分数分布。
在某些实施例，例如本实施例中，利用有标签训练数据集、无标签训练数据集以及测试数据集对构建的评价模型进行训练得到图像质量评价模型包括划分单元、训练单元、输入单元、判断单元、作为单元以及返回执行单元。
其中，所述划分单元用于将样本图像数据集按预设比例划分为训练数据集及测试数据集，并从所述训练数据集中获取多张图像作为无标签训练数据集，将剩余的所述训练数据集作为有标签训练数据集；
所述训练单元用于将有标签训练数据集及无标签训练数据集输入构建的评价模型进行训练直至满足预设训练结束条件为止，具体地，针对所述有标签训练数据集及所述无标签训练数据集中的每一训练批次图像，将其输入构建的评价模型以输出预测目标高层语义特征、预测有标签质量分数分布以及预测无标签质量分数分布；根据第一预测有标签质量分数分布及第二预测有标签质量分数分布通过第一损失函数计算第一损失值；根据第一预测无标签质量分数分布及第二预测无标签质量分数分布通过第二损失函数计算第二损失值；根据第一预测目标高层语义特征及第二预测目标高层语义特征通过第三预设损失函数计算第三损失值；根据所述第一损失值、所述第二损失值以及所述第三损失值通过总的损失函数计算总的损失值，根据所述总的损失值对所述评价模型进行迭代更新，直至达到预设训练批次数为止；所述输入单元用于将测试数据集输入训练后的所述评价模型得到预测质量分数分布；所述判断单元用于根据所述预测质量分数分布及预设分段分数值计算预测意见得分，并计算所述预测意见得分与所述测试数据集中的意见得分的相关系数，判断所述相关系数是否超过预设相关系数值；所述作为单元用于若所述相关系数超过所述预设相关系数值，则将训练后的所述评价模型作为图像质量评价模型；所述返回执行单元用于若所述相关系数未超过所述预设相关系数值，则重新设置训练参数，并返回执行所述将有标签训练数据集及无标签训练数据集输入构建的评价模型进行训练直至满足预设训练结束条件为止的步骤。
本发明实施例的基于非对称网络的图像质量评价装置200的具体实现方式与上述基于非对称网络的图像质量评价方法相对应，在此不再赘述。
上述基于非对称网络的图像质量评价装置可以实现为一种计算机程序的形式，该计算机程序可以在如图8所示的计算机设备上运行。
请参阅图8，图8是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备300为服务器，具体地，服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content DeliveryNetwork，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
参阅图8，该计算机设备300包括通过系统总线301连接的处理器302、存储器和网络接口305，其中，存储器可以包括存储介质303和内存储器304。
该存储介质303可存储操作系统3031和计算机程序3032。该计算机程序3032被执行时，可使得处理器302执行一种基于非对称网络的图像质量评价方法。
该处理器302用于提供计算和控制能力，以支撑整个计算机设备300的运行。
该内存储器304为存储介质303中的计算机程序3032的运行提供环境，该计算机程序3032被处理器302执行时，可使得处理器302执行一种基于非对称网络的图像质量评价方法。
该网络接口305用于与其它设备进行网络通信。本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备300的限定，具体的计算机设备300可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器302用于运行存储在存储器中的计算机程序3032，以实现上述基于非对称网络的图像质量评价方法的任意实施例。
应当理解，在本申请实施例中，处理器302可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器302还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该计算机程序被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序。该计算机程序被处理器执行时使处理器执行上述基于非对称网络的图像质量评价方法的任意实施例。
所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，尚且本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于非对称网络的图像质量评价方法，其特征在于，包括：
获取用户输入的待评价图像，并将所述待评价图像调整为预设尺寸以得到目标待评价图像；
将所述目标待评价图像输入至预设的图像质量评价模型中，以使所述图像质量评价模型对所述目标待评价图像进行识别，生成与所述目标待评价图像相对应的质量分数分布，其中，所述图像质量评价模型是利用有标签训练数据集、无标签训练数据集以及测试数据集对构建的评价模型进行训练得到的；
其中，所述图像质量评价模型对所述目标待评价图像进行识别，生成与所述目标待评价图像相对应的质量分数分布，具体包括：
通过非对称网络对所述目标待评价图像进行特征提取得到第一高层语义特征及第二高层语义特征，并对所述第一高层语义特征及所述第二高层语义特征进行全局平均池化处理得到第一目标高层语义特征及第二目标高层语义特征；
对所述第一目标高层语义特征及所述第二目标高层语义特征进行质量回归处理得到与所述目标待评价图像相对应的第一质量分数分布及第二质量分数分布，将所述第一质量分数分布及所述第二质量分数分布作为质量分数分布。
2.根据权利要求1所述的方法，其特征在于，所述通过非对称网络对所述目标待评价图像进行特征提取得到第一高层语义特征及第二高层语义特征，并对所述第一高层语义特征及所述第二高层语义特征进行全局平均池化处理得到第一目标高层语义特征及第二目标高层语义特征，包括：
通过ResNet101特征提取器及AlexNet特征提取器对所述目标待评价图像进行特征提取得到第一高层语义特征及第二高层语义特征；
对所述第一高层语义特征及所述第二高层语义特征进行全局平均池化处理以降低维度，得到第一目标高层语义特征及第二目标高层语义特征。
3.根据权利要求2所述的方法，其特征在于，所述对所述第一目标高层语义特征及所述第二目标高层语义特征进行质量回归处理得到与所述目标待评价图像相对应的第一质量分数分布及第二质量分数分布，包括：
通过第一预设个数的全连接层对所述第一目标高层语义特征进行质量回归处理，并将质量回归处理后的所述第一目标高层语义特征输入SoftMax层得到第一质量分数分布；
通过第二预设个数的全连接层对所述第二目标高层语义特征进行质量回归处理，并将质量回归处理后的所述第二目标高层语义特征输入SoftMax层得到第二质量分数分布。
4.根据权利要求1所述的方法，其特征在于，利用有标签训练数据集、无标签训练数据集以及测试数据集对构建的评价模型进行训练得到图像质量评价模型，包括：
将有标签训练数据集及无标签训练数据集输入构建的评价模型进行训练直至满足预设训练结束条件为止；
将测试数据集输入训练后的所述评价模型得到预测质量分数分布；
根据所述预测质量分数分布及预设分段分数值计算预测意见得分，并计算所述预测意见得分与所述测试数据集中的意见得分的相关系数，判断所述相关系数是否超过预设相关系数值；
若所述相关系数超过所述预设相关系数值，则将训练后的所述评价模型作为图像质量评价模型。
5.根据权利要求4所述的方法，其特征在于，所述将有标签训练数据集及无标签训练数据集输入构建的评价模型进行训练直至满足预设训练结束条件为止，包括：
针对所述有标签训练数据集及所述无标签训练数据集中的每一训练批次图像，将其输入构建的评价模型以输出预测目标高层语义特征、预测有标签质量分数分布以及预测无标签质量分数分布；
根据所述预测目标高层语义特征、所述预测有标签质量分数分布以及所述预测无标签质量分数分布通过预设损失函数对所述评价模型进行更新，直至达到预设训练批次数为止。
6.根据权利要求5所述的方法，其特征在于，所述根据所述预测目标高层语义特征、所述预测有标签质量分数分布以及所述预测无标签质量分数分布通过预设损失函数对所述评价模型进行更新，直至达到预设训练批次数为止，包括：
根据第一预测有标签质量分数分布及第二预测有标签质量分数分布通过第一损失函数计算第一损失值；
根据第一预测无标签质量分数分布及第二预测无标签质量分数分布通过第二损失函数计算第二损失值；
根据第一预测目标高层语义特征及第二预测目标高层语义特征通过第三预设损失函数计算第三损失值；
根据所述第一损失值、所述第二损失值以及所述第三损失值通过总的损失函数计算总的损失值，根据所述总的损失值对所述评价模型进行迭代更新，直至达到预设训练批次数为止。
7.根据权利要求4所述的方法，其特征在于，所述判断所述相关系数是否超过预设相关系数值，包括：
若所述相关系数未超过所述预设相关系数值，则重新设置训练参数，并返回执行所述将有标签训练数据集及无标签训练数据集输入构建的评价模型进行训练直至满足预设训练结束条件为止的步骤。
8.一种基于非对称网络的图像质量评价装置，其特征在于，包括：
获取单元，用于获取用户输入的待评价图像，并将所述待评价图像调整为预设尺寸以得到目标待评价图像；
质量评价单元，用于将所述目标待评价图像输入至预设的图像质量评价模型中，以使所述图像质量评价模型对所述目标待评价图像进行识别，生成与所述目标待评价图像相对应的质量分数分布，其中，所述图像质量评价模型是利用有标签训练数据集、无标签训练数据集以及测试数据集对构建的评价模型进行训练得到的；
其中，所述图像质量评价模型对所述目标待评价图像进行识别，生成与所述目标待评价图像相对应的质量分数分布，具体包括：
通过非对称网络对所述目标待评价图像进行特征提取得到第一高层语义特征及第二高层语义特征，并对所述第一高层语义特征及所述第二高层语义特征进行全局平均池化处理得到第一目标高层语义特征及第二目标高层语义特征；
对所述第一目标高层语义特征及所述第二目标高层语义特征进行质量回归处理得到与所述目标待评价图像相对应的第一质量分数分布及第二质量分数分布，将所述第一质量分数分布及所述第二质量分数分布作为质量分数分布。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的方法。
CN202210575764.8A 2022-05-24 2022-05-24 基于非对称网络的图像质量评价方法、装置、设备及介质 Active CN114862819B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210575764.8A CN114862819B (zh) 2022-05-24 2022-05-24 基于非对称网络的图像质量评价方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210575764.8A CN114862819B (zh) 2022-05-24 2022-05-24 基于非对称网络的图像质量评价方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN114862819A true CN114862819A (zh) 2022-08-05
CN114862819B CN114862819B (zh) 2023-02-03

Family

ID=82639601

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210575764.8A Active CN114862819B (zh) 2022-05-24 2022-05-24 基于非对称网络的图像质量评价方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN114862819B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110321753A (zh) * 2018-03-28 2019-10-11 浙江中正智能科技有限公司 一种基于人脸几何特征的人脸图像质量评价方法
CN110378883A (zh) * 2019-07-11 2019-10-25 北京奇艺世纪科技有限公司 图像评价模型生成方法、图像数据处理方法、装置、计算机设备和存储介质
CN112766351A (zh) * 2021-01-12 2021-05-07 云南电网有限责任公司电力科学研究院 一种图像质量的评估方法、系统、计算机设备和存储介质
CN112950579A (zh) * 2021-02-26 2021-06-11 北京金山云网络技术有限公司 图像质量评价方法、装置和电子设备
CN113222902A (zh) * 2021-04-16 2021-08-06 北京科技大学 一种无参考图像质量评价方法及系统
US20210327051A1 (en) * 2018-06-08 2021-10-21 Shanghai Sixth People's Hospital Method, computer device and storage medium of fundus oculi image analysis
WO2021213519A1 (zh) * 2020-04-23 2021-10-28 上海联影医疗科技股份有限公司 图像获取、判断图像质量、医学图像采集的方法和系统
CN113642479A (zh) * 2021-08-17 2021-11-12 北京的卢深视科技有限公司 人脸图像的评价方法、装置、电子设备及存储介质
CN113869464A (zh) * 2021-12-02 2021-12-31 深圳佑驾创新科技有限公司 图像分类模型的训练方法及图像分类方法
CN113962965A (zh) * 2021-10-26 2022-01-21 腾讯科技（深圳）有限公司 图像质量评价方法、装置、设备以及存储介质
CN114066831A (zh) * 2021-11-04 2022-02-18 北京航空航天大学 一种基于两阶段训练的遥感图像镶嵌质量无参考评价方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110321753A (zh) * 2018-03-28 2019-10-11 浙江中正智能科技有限公司 一种基于人脸几何特征的人脸图像质量评价方法
US20210327051A1 (en) * 2018-06-08 2021-10-21 Shanghai Sixth People's Hospital Method, computer device and storage medium of fundus oculi image analysis
CN110378883A (zh) * 2019-07-11 2019-10-25 北京奇艺世纪科技有限公司 图像评价模型生成方法、图像数据处理方法、装置、计算机设备和存储介质
WO2021213519A1 (zh) * 2020-04-23 2021-10-28 上海联影医疗科技股份有限公司 图像获取、判断图像质量、医学图像采集的方法和系统
CN112766351A (zh) * 2021-01-12 2021-05-07 云南电网有限责任公司电力科学研究院 一种图像质量的评估方法、系统、计算机设备和存储介质
CN112950579A (zh) * 2021-02-26 2021-06-11 北京金山云网络技术有限公司 图像质量评价方法、装置和电子设备
CN113222902A (zh) * 2021-04-16 2021-08-06 北京科技大学 一种无参考图像质量评价方法及系统
CN113642479A (zh) * 2021-08-17 2021-11-12 北京的卢深视科技有限公司 人脸图像的评价方法、装置、电子设备及存储介质
CN113962965A (zh) * 2021-10-26 2022-01-21 腾讯科技（深圳）有限公司 图像质量评价方法、装置、设备以及存储介质
CN114066831A (zh) * 2021-11-04 2022-02-18 北京航空航天大学 一种基于两阶段训练的遥感图像镶嵌质量无参考评价方法
CN113869464A (zh) * 2021-12-02 2021-12-31 深圳佑驾创新科技有限公司 图像分类模型的训练方法及图像分类方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YUE CAO ET.AL: "Incorporating Semi-Supervised and Positive-Unlabeled Learning for Boosting", 《ARXIV》 *
何维佺: "基于小样本学习的无参考图像质量评价研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
区富炤: "无参考图像质量评估新方法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Also Published As

Publication number Publication date
CN114862819B (zh) 2023-02-03

Similar Documents

Publication Publication Date Title
CN108197652B (zh) 用于生成信息的方法和装置
CN112330684B (zh) 对象分割方法、装置、计算机设备及存储介质
CN105894028B (zh) 用户识别方法和装置
CN109992781B (zh) 文本特征的处理方法、装置和存储介质
CN110070140B (zh) 基于多类别信息的用户相似性确定方法及装置
CN112995690B (zh) 直播内容品类识别方法、装置、电子设备和可读存储介质
CN113256335B (zh) 数据筛选方法、多媒体数据的投放效果预测方法及装置
CN114862819B (zh) 基于非对称网络的图像质量评价方法、装置、设备及介质
CN111161238A (zh) 图像质量评价方法及装置、电子设备、存储介质
CN115862119A (zh) 基于注意力机制的人脸年龄估计方法及装置
CN116089708A (zh) 农业知识推荐方法及装置
US11762939B2 (en) Measure GUI response time
CN115080864A (zh) 基于人工智能的产品推荐方法、装置、计算机设备及介质
CN114238968A (zh) 应用程序检测方法及装置、存储介质及电子设备
CN109741833B (zh) 一种数据处理的方法和装置
CN112559868A (zh) 信息召回方法、装置、存储介质及电子设备
JP2020129322A (ja) モデル学習装置、ラベル推定装置、それらの方法、およびプログラム
CN117197613B (zh) 一种训练图像质量预测模型、图像质量预测的方法及装置
CN113868438B (zh) 信息可信度的校准方法、装置、计算机设备及存储介质
CN116051482B (zh) 一种基于多任务渐进学习的无参考图像质量评价方法
CN113642532A (zh) 视频分类模型处理方法、装置及数据处理设备
US20240012852A1 (en) Image data bias detection with explainability in machine learning
US20220319158A1 (en) Cell nuclei classification with artifact area avoidance
CN116932898A (zh) 新闻推荐方法、装置、存储介质及计算机设备
CN116071613A (zh) 一种图像分类模型的训练方法、装置、计算机设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant