CN113962965A - 图像质量评价方法、装置、设备以及存储介质 - Google Patents

图像质量评价方法、装置、设备以及存储介质 Download PDF

Info

Publication number
CN113962965A
CN113962965A CN202111248242.9A CN202111248242A CN113962965A CN 113962965 A CN113962965 A CN 113962965A CN 202111248242 A CN202111248242 A CN 202111248242A CN 113962965 A CN113962965 A CN 113962965A
Authority
CN
China
Prior art keywords
sample
image
training
sample image
quality evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111248242.9A
Other languages
English (en)
Other versions
CN113962965B (zh
Inventor
温少国
王君乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202111248242.9A priority Critical patent/CN113962965B/zh
Publication of CN113962965A publication Critical patent/CN113962965A/zh
Application granted granted Critical
Publication of CN113962965B publication Critical patent/CN113962965B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种图像质量评价方法、装置、设备以及存储介质，可适用于人工智能、云计算以及计算机等领域。该方法包括：确定待评价图像，将待评价图像的初始特征输入图像质量评价模型，得到待评价图像的预测特征，基于预测特征确定待评价图像的质量评价结果；其中，图像质量评价模型是基于以下方式训练得到的：获取训练样本集，基于训练样本集中各样本图像对初始评价模型进行训练，得到预训练模型；确定各样本图像的不确定度，基于各样本图像以及对应的不确定度，确定多个目标样本图像，基于各目标样本图像对预训练模型进行训练，得到图像质量评价模型。采用本申请实施例，可提升图像质量评价的准确性，适用性高。

Description

图像质量评价方法、装置、设备以及存储介质
技术领域
本申请涉及人工智能领域，尤其涉及一种图像质量评价方法、装置、设备以及存储介质。
背景技术
随着多媒体设备的发展和视频社交媒体平台的普及，图像成为媒体信息传播的主要方式。然而在实际生活中，由于拍摄环境和设备的限制以及网络传播失真影响，图像在媒体传播过程中的清晰度、画质等参差不齐，从而影响观看体验。因而有必要对图像进行客观地图像质量评价。
现有的技术方案往往先通过主观打分的方式对样本图像的图像质量进行标注，再通过已标注的样本图像训练得到评价模型，进而通过评价模型实现图像质量评价。但是基于上述方式得到的评价模型的训练效果往往取决于样本图像的数量和预测难度，样本图像的数量较少会导致评价模型的准确性下降，在预测难度较大的样本图像数量较少的情况下，对评价模型的训练增益较小，训练出的平均模型在面对相同预测难度的图像时，往往不具备较高的准确性。
因此，如何客观准确地对图像质量进行评价成为亟需解决的问题。
发明内容
本申请实施例提供一种图像质量评价方法、装置、设备以及存储介质，可提升图像质量评价的准确性，适用性高。
一方面，本申请实施例提供一种图像质量评价方法，该方法包括：
确定待评价图像，将上述待评价图像的初始特征输入图像质量评价模型，得到上述待评价图像的预测特征；
基于上述预测特征确定上述待评价图像的质量评价结果；
其中，上述图像质量评价模型是基于以下方式训练得到的：
获取训练样本集，基于上述训练样本集中各样本图像对初始评价模型进行训练，得到预训练模型，每一上述样本图像标注有样本标签，每一上述样本标签表征了对应的样本图像的真实质量评价结果，上述初始评价模型的输入和输出分别为各上述样本图像的样本初始特征和样本预测特征；
确定各上述样本图像的不确定度，上述不确定度表征了各上述样本图像的样本预测特征对应的预测质量评价结果和真实质量评价结果之间的差异；
基于各上述样本图像以及对应的不确定度，确定多个目标样本图像，基于各上述目标样本图像对上述预训练模型进行训练，得到上述图像质量评价模型。
另一方面，本申请实施例提供了一种图像质量评价装置，该装置包括：
预测模块，用于确定待评价图像，将上述待评价图像的初始特征输入图像质量评价模型，得到上述待评价图像的预测特征；
确定模块，用于基于上述预测特征确定上述待评价图像的质量评价结果；
其中，上述图像质量评价模型是基于训练装置训练得到的，上述训练装置用于：
获取训练样本集，基于上述训练样本集中各样本图像对初始评价模型进行训练，得到预训练模型，每一上述样本图像标注有样本标签，每一上述样本标签表征了对应的样本图像的真实质量评价结果，上述初始评价模型的输入和输出分别为各上述样本图像的样本初始特征和样本预测特征；
上述确定模块，用于确定各上述样本图像的不确定度，上述不确定度表征了各上述样本图像的样本预测特征对应的预测质量评价结果和真实质量评价结果之间的差异；
训练模块，用于基于各上述样本图像以及对应的不确定度，确定多个目标样本图像，基于各上述目标样本图像对上述预训练模型进行训练，得到上述图像质量评价模型。
另一方面，本申请实施例提供了一种电子设备，包括处理器和存储器，该处理器和存储器相互连接；
上述存储器用于存储计算机程序；
上述处理器被配置用于在调用上述计算机程序时，执行本申请实施例提供的图像质量评价方法。
另一方面，本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行以实现本申请实施例提供的图像质量评价方法。
另一方面，本申请实施例提供了一种计算机程序产品，该计算机程序产品包括计算机程序或计算机指令，上述计算机程序或计算机指令被处理器执行时实现本申请实施例提供的图像质量评价方法。
在本申请实施例中，通过训练样本集对初始评价模型进行训练可初步得到具有确定质量评价结果能力的预训练模型，进而基于各样本图像的不确定度所确定的目标样本图像对预训练模型进行训练，进一步提升预训练模型的质量评价结果能力，从而得到具有高准确性和鲁棒性的图像质量评价模型。基于本申请实施例的图像质量评价模型，可客观准确地确定待评价图像的质量评估结果，适用性高。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的图像质量评价方法的流程示意图；
图2是申请实施例提供的图像质量评价模型的训练方法的流程示意图；
图3a是本申请实施例提供的展示样本图像的一场景示意图；
图3b是本申请实施例提供的展示样本图像的另一场景示意图；
图4是本申请实施例提供的初始评价模型的一结构示意图；
图5是本申请实施例提供的质量分析网络的训练方法的流程示意图；
图6是本申请实施例提供的初始评价模型的另一结构示意图；
图7是本申请实施例提供的初始分析网络的结构示意图；
图8是本申请实施例提供的图像质量评价装置的结构示意图；
图9是本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供的图像质量评价方法可适用于人工智能(ArtificialIntelligence，AI)的机器学习(Machine Learning，ML)领域，以及云技术(Cloud technology)中的云计算(cloud computing)、人工智能云服务等领域，具体可由独立的服务器或者电子设备执行。
其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器或服务器集群。电子设备可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。
其中，人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。
机器学习是专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。在本申请实施例中，可基于机器学习的手段训练得到具备图像质量评价能力的机器，进而可通过该机器对图像质量进行评价。
云技术是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。本申请实施例所提供的图像质量评价方法中所涉及的数据处理、模型训练等均可基于云技术中的云计算实现。
参见图1，图1是本申请实施例提供的图像质量评价方法的流程示意图。
如图1所示，本申请实施例提供的图像质量评价方法具体可包括如下步骤：
步骤S11、确定待评价图像，将待评价图像的初始特征输入图像质量评价模型，得到待评价图像的预测特征。
在一些可行的实施方式中，待评价图像为任一需要确定其质量的任一图像，其可以为任一多媒体平台中的任一图像，也可以为任一电子设备中存储的图像，还可以为任一图像获取设备所生成的图像，如待评价图像可以为从图片网站下载的任一图像、移动终端拍摄的图像等，或者可以为任一视频的任一图像帧，在此不做限制。
在确定待评价图像之后，可确定待评价图像的初始特征，并将待评价图像的初始特征输入图像质量评价模型，进而基于图像质量评价模型得到待评价图像的预测特征。
其中，图像质量评价模型包括特征处理网络和质量评价网络，特征处理网络具体包括卷积神经网络(Convolutional Neural Networks，CNN)和至少一个池化层。其中，卷积神经网络包括但不限于残差网络(Residual Network)，池化层包括但不限于全局平均池化层(Global Average Pooling，GAP)等，在此不做限制。上述质量评价网络可包括多个全连接层，用于对特征处理网络输出的特征进行处理，进而输出具有固定长度(如可以为1)的输出特征。
具体地，在将待评价图像的初始特征输入图像质量评价模型时，具体可将待评价图像的初始特征输入图像质量评价模型的特征处理网络，以通过卷积神经网络和池化层对初始特征进行处理，得到待评价图像的图像特征。进一步将待评价图像的图像特征输入质量评价网络，得到待评价图像的预测特征。
步骤S12、基于预测特征确定待评价图像的质量评价结果。
在一些可行的实施方式中，在确定出待评价图像的预测特征之后，可基于预测特征确定待评价图像对应的质量评价结果。其中，待评价图像对应的质量评价结果与在训练上述图像质量评价模型所采用的质量评价结果相对应，上述质量评价结果可以为具体的质量评价分数，通过质量评价分数或者质量评价分数所对应的质量评价指标，如一般、良好等来表示待评价图像的图像质量。
例如，可通过待评价图像的预测特征确定待评价图像的质量评价分数，进而通过质量评价分数直观反映待评价图像的图像质量，其中，质量评价分数越高，表示待评价图像的图像质量(如画质或者美学评分等)越高。
再例如，通过待评价图像的预测特征确定待评价图像的质量评价分数后，可确定待评价图像的质量评价分数所对应的质量指标，如差、一般、较好以及很好等，进而以此表示待评价图像的图像质量。
在一些可行的实施方式中，上述图像质量评价模型可通过多个样本图像训练得到，其训练方式可参见图2。图2是申请实施例提供的图像质量评价模型的训练方法的流程示意图，如图2所示，本申请实施例提供的图像质量评价模型的训练方法具体可包括如下步骤：
步骤S21、获取训练样本集，基于训练样本集中各样本图像对初始评价模型进行训练，得到预训练模型。
在一些可行的实施方式中，在进行模型训练之前，可先获取用于进行模型训练的训练样本集。其中，训练样本集包括多个样本图像，每一样本图像同样可以为任一多媒体平台中的任一图像，也可以为任一电子设备中存储的图像，还可以为任一图像获取设备所生成的图像，如样本图像可以为从图片网站下载的任一图像、移动终端拍摄的图像等，或者可以为任一视频的任一图像帧，在此不做限制。
其中，训练样本集中的每一样本图像标注有样本标签，每一样本图像的样本标签表征了该样本图像的真实质量评价结果，也即每一样本图像的样本标签表征了该样本图像的真实质量评价分数。
其中，对于每一样本图像，该样本图像的真实质量评价分数可以为该样本图像的平均主观得分(Mean Opinion Score，MOS)或者为该样本图像平均主观得分差(Differential Mean Opinion Score，DMOS)。
具体地，对于每一样本图像，可确定一定数量的用户对该样本图像的主观评分，并确定各用户对该样本图像的主观评分的平均主观得分，进而将其作为该样本图像的真实质量评价分数。
其中，用户进行评价时，其情绪、动机、知识背景等因素均会对评价结果产生影响，使评价结果变得不准确，因此在确定该样本图像的平均主观得分时，可基于该样本图像的图像质量确定一个得分置信区间。在确定各用户对该样本图像的主观评分之后，可筛选出位于该得分置信区间内的主观评分，进而确定位于得分置信区间内的各主观评分的平均主观得分以作为该样本图像的真实质量评价分数。
可选地，对于每一样本图像，可确定该样本图像的失真图像，并确定一定数量的用户对该样本图像和该样本图像对应的失真图像的主观评分。进一步地，对于每一用户，确定该用户对该样本图像和失真图像的主观评分差，进而确定各用户对应的主观评分差的平均分，得到平均主观得分差。
其中，对于每一样本图像，可将该样本图像对应于各用户的主观评分差进行归一化处理得到归一化主观评分差，进而将归一化主观评分差的平均值作为平均主观得分差。在进行归一化处理时，可确定各主观评分差中的最小值和最大值，对于每一主观评分差，将该主观评分差与上述最小值的差值、与上述最大值和最小值的差值的商确定为该主观评分差的归一化主观评分差。
在一些可行的实施方式中，在确定训练样本集中的各样本图像的真实质量评价结果时，可基于主观打分平台向一定数量的用户展示各样本图像，以确定各用户针对各样本图像的平均主观得分或评价主观得分差，进而确定各样本图像的真实质量评价结果。
具体地，在基于主观打分平台向用户展示样本图像时，可向用户展示各样本图像以及用户针对各样本图像的打分区域，进而基于打分区域获取用户针对各样本图像的主观打分。
如图3a所示，图3a是本申请实施例提供的展示样本图像的一场景示意图。图3a所示了一样本图像的展示页面，通过该页面可向用户展示样本图像，并提示用户为该样本图像的画质进行打分，从而基于此获取用户对该样本图像的主观评分，以基于各用户的主观评分确定该样本图像的平均主观得分。
其中，通过该展示页面可同时展示该样本图像以及该样本图像的失真图像，以获取用户针对该样本图像和失真图像的主观评分，从而基于各用户针对该样本图像和失真图像的主观评分，确定该样本图像的平均主观得分差。
如图3b所示，图3b是本申请实施例提供的展示样本图像的另一场景示意图。图3b同样所示了一样本图像的展示页面，通过该页面可向用户展示不同评价指标所对应的评价分数，以引导用户对该样本图像进行正确评分。如用户认为该样本图像的画质很差，则用户可以为1-2分的区间内进行打分，如用户认为该样本图像的画质很好，则用户可在9-10分的区间内进行打分。基于不同的评价指标可获取各用户针对该样本图像的主观评分，进而基于各用户对于该样本图像的主观评分，确定该样本图像的平均主观得分。
同样地，通过该展示页面可同样展示该样本图像的失真图像，进而获取用户针对该样本图像和失真图像的主观评分，从而基于各用户针对该样本图像和失真图像的主观评分，确定该样本图像的平均主观得分差。
在一些可行的实施方式中，在获取训练样本集并确定训练样本集中各样本图像对应的样本标签之后，可基于训练样本集中的各样本图像对初始评价模型进行训练，得到预训练模型。其中，上述初始评价模型的输入为各样本图像的样本初始特征，输出为各样本图像对应的样本预测特征。
同样地，上述初始评价模型包括特征处理网络和质量评价网络，特征处理网络具体包括卷积神经网络和至少一个池化层。上述质量评价网络可包括多个全连接层，用于对特征处理网络输出的特征进行处理，进而输出具有固定长度的输出特征。
如图4所示，图4是本申请实施例提供的初始评价模型的一结构示意图。具体地，对于每一样本图像，可确定该样本图像的样本初始特征，将该样本图像的样本初始特征输入特征处理网络，以通过卷积神经网络和池化层对该样本图像的样本初始特征进行处理得到该样本图像的样本图像特征。进一步将该样本图像的样本图像特征输入质量评价网络，得到该样本图像的样本预测特征，进而可基于该样本图像的样本预测特征，确定该样本图像的预测质量评价结果。其中，该样本图像的预测质量评价结果表示初始评价模型确定的该样本图像的预测质量评价分数。
进一步地，基于各样本图像的预测质量评价结果和对应的真实质量评价结果，确定第一训练损失值，并通过第一训练损失值和各样本图像对初始评价模型进行迭代训练，直至第一训练损失值符合训练结束条件时，将训练结束时的模型确定为预训练模型。
其中，上述训练结束条件可以为上述第一训练损失值达到一定阈值，也可以为连续预设次数的训练对应的第一训练损失值均小于一定阈值，还可以为与上一次训练的第一训练损失值之差小于一定阈值等，具体可基于实际应用场景需求确定，在此不做限制。
其中，可将各样本图像分为不同批次的样本图像，在确定每一批次的样本图像对应的预测质量评价结果之后，可基于该批次样本图像对应的预测质量评价结果和真实质量评价结果，确定基于该批次样本图像进行训练所对应的第一训练损失值。在确定每一批次的样本图像对应的第一训练损失值之后可确定此次训练过程中的第一训练损失值是否符合训练结束条件，若符合训练结束条件，则停止训练并将训练结束时的模型确定为预训练模型。若不符合训练结束条件，则对模型的相关参数进行调整并继续基于下一批次的样本图像进行训练，直至某一次训练过程对应的第一训练损失值符合训练结束条件为止。
或者，可基于训练样本集中所有样本图像进行一次训练并确定第一训练损失值，此次训练对应的第一训练损失值符合训练结束条件，则停止训练并将训练结束时的模型确定为预训练模型。若此次训练对应的第一训练损失值不符合训练结束条件，则对模型的相关参数进行条件并基于训练样本集中所有样本图像再次进行训练，直至某一次训练过程对应的第一训练损失值服符合训练结束条件为止。
在一些可行的实施方式中，在确定第一训练损失值时，可将各样本图像的真实质量评价结果和预测质量评价结果对应的平方绝对误差(Mean Absolute Error，MAE)，将该平方绝对误差确定为第一训练损失值。
具体地，可确定各预测质量评价结果和对应的真实质量评价结果之间的第一差值的绝对值，即确定各预测质量评价分数和对应的真实质量评价分数之间的第一差值的绝对值，并确定各第一绝对值的第一平均值，进而将第一平均值确定为第一训练损失值。例如，第一训练损失值loss1可通过以下公式确定：
Figure BDA0003321833940000091
其中，m为一次训练过程中样本图像的数量，i为样本图像的索引，yi为第i个样本图像的预测质量评价分数，yi *为第i个样本图像的真实质量评价分数。
可选地，在确定第一训练损失值时，对于每一样本图像，可确定该样本图像的真实质量评价结果和预测质量评价结果之间的相关性，并将各样本图像的相关性之和或者平均相关性作为第一训练损失值。其中，对于每一样本图像，该样本图像的真实质量评价结果和预测质量评价结果之间的相关性越大，则该样本图像的预测质量评价结果越接近其真实质量评估结果。因此，当第一训练损失值收敛且大于一定阈值时，可确定符合训练结束条件。
其中，各样本图像的真实质量评价结果和预测质量评价结果之间的相关性可基于皮尔逊相关系数或者其他线性相关公式确定，在此不做限制。
步骤S22、确定各样本图像的不确定度。
在一些可行的实施方式中，对于每一样本图像，该样本图像的不确定度用于表征该样本图像的样本预测特征对应的预测质量评价结果和真实质量评价结果之间的差异，不确定度越低则表示该样本图像的预测质量评价结果越接近其真实质量评价结果，不确定度越高则表示该样本图像的预测质量评价结果与其真实质量评价结果的差异越大。
具体地，各样本图像的不确定度可基于质量分析网络确定的，并且该质量分析网络可通过训练得到。参见图5，图5是本申请实施例提供的质量分析网络的训练方法的流程示意图。如图5所示，本申请实施例提供的质量分析网络的训练方法具体可包括如下步骤：
步骤S51、将各样本图像的样本图像特征输入初始分析网络，得到各样本图像的预测分析特征，基于各样本图像的预测分析特征，确定各样本图像的预测不确定度。
在一些可行的实施方式中，在训练质量分析网络时，同样可基于上述训练样本集中的各样本图像和/或基于主观打分平台新获取的样本图像进行训练，在此不做限制。
上述初始分析网络可包括至少一个全连接层，经过至少一个全连接层的处理，可将输入初始分析网络的输入特征转换为具有固定长度(如可以为1)的输出特征。同时，上述初始分析网络也可以包括池化层或者其他用于进行特征处理的网络层，在此不做限制。
如图6所示，图6是本申请实施例提供的初始评价模型的另一结构示意图。其中，上述初始分析网络可以为上述初始评价模型中的网络模块，具体地，在基于各样本图像对初始评价模型进行训练的过程中，可将初始评价模型中特征处理网络输出的各样本图像的样本图像特征输入至初始分析网络，进而得到各样本图像的预测分析特征。
进一步可基于各样本图像的预测分析特征，确定各样本图像对应的预测评价质量结果，进而基于各样本图像对应的真实评价质量结果和预测质量评价结果，确定各样本图像的预测不确定度。其中，每一样本图像的预测不确定度表征了该样本图像的真实质量评价结果和预测指令评价结果之间的预测差异，即基于网络模型所预测的该样本图像的真实质量评价结果和预测指令评价结果之间的差异。
如图7所示，图7是本申请实施例提供的初始分析网络的结构示意图。其中，上述初始分析网络可以为独立的网络模型，在作为独立的网络模型时，初始分析网络还包括与上述初始评价模型相同的特征处理网络。进而在对初始分析网络进行训练时，可确定各样本图像的样本初始特征，将各样本图像的样本初始特征输入特征处理网络，得到各样本图像的样本图像特征。进一步将各样本图像特征输入初始分析网络中的全连接层，得到各样本图像的预测分析特征，从而可基于各样本图像的预测分析特征，确定各样本图像的预测不确定度。
步骤S52、确定各样本图像的真实质量评价结果和预测质量评价结果之间的真实差异，基于各样本图像对应的真实差异和预测差异，确定第二训练损失值。
在一些可行的实施方式中，由于各样本图像标注有样本标签，且各样本标签表征了各样本图像的真实质量评价结果，因此在训练过程中可确定各样本图像的真实质量评价结果和预测质量评价结果之间的真实差异，进而基于各样本图像的真实差异和预测差异，确定第二训练损失值。
具体地，在确定第二训练损失值时，可确定各样本图像的真实质量评价结果和预测质量评价结果之间的预测差异和真值差异对应的平方绝对误差(Mean Absolute Error，MAE)，将该平方绝对误差确定为第二训练损失值。
具体地，可确定各样本图像对应的预测差异和真实差异对应的第二差值的绝对值，并确定各第二绝对值的第二平均值，进而将第二平均值确定为第二训练损失值。例如，第二训练损失值loss2可通过以下公式确定：
Figure BDA0003321833940000111
其中，k为一次训练过程中样本图像的数量，i为样本图像的索引，ui为第i个样本图像的真实质量评价结果和预测质量评价结果之间的预测差异，ui *为第i个样本图像的真实质量评价结果和预测质量评价结果之间的真实差异。
可选地，在确定第二训练损失值时，对于每一样本图像，可确定该样本图像的对应的真实差异和预测差异之间的相关性，并将各样本图像的相关性之和或者平均相关性作为第二训练损失值。其中，对于每一样本图像，该样本图像的真实差异和预测差异之间的相关性越大，则该样本图像的预测差异越接近真实差异。其中，各样本图像的真实差异和预测差异之间的相关性可基于皮尔逊相关系数或者其他线性相关公式确定，在此不做限制。
步骤S53、基于第二训练损失值以及各样本图像对初始分析网络进行迭代训练，直至第二训练损失值符合训练结束条件时，将训练结束时的网络确定为质量分析网络。
在一些可行的实施方式中，可将各样本图像分为不同批次的样本图像，在确定每一批次的样本图像对应的预测不确定度之后，可基于该批次样本图像对应的预测差异和真实差异，确定基于该批次样本图像进行训练所对应的第二训练损失值。在确定每一批次的样本图像对应的第二训练损失值之后可确定此次训练过程中的第二训练损失值是否符合训练结束条件，若符合训练结束条件，则停止训练并将训练结束时的网络确定为质量分析网络。若不符合训练结束条件，则对网络的相关参数进行调整并继续基于下一批次的样本图像进行训练，直至某一次训练过程对应的第二训练损失值符合训练结束条件为止。
或者，可基于训练样本集中所有样本图像进行一次训练并确定第二训练损失值，此次训练对应的第二训练损失值符合训练结束条件，则停止训练并将训练结束时的网络确定为质量分析网络。若此次训练对应的第二训练损失值不符合训练结束条件，则对网络的相关参数进行条件并基于训练样本集中所有样本图像再次进行训练，直至某一次训练过程对应的第二训练损失值服符合训练结束条件为止。
其中，上述训练结束条件可以为上述第一训练损失值达到一定阈值，也可以为与上一次训练的第一训练损失值之差小于一定阈值等，具体可基于实际应用场景需求确定，在此不做限制。
在一些可行的实施方式中，若上述初始分析网络为初始评价模型中的网络模块时，确定预测质量评价结果和预测不确定度所对应的两个训练过程分别为独立的训练过程，即一个训练过程完成之后可停止该训练过程，但不影响另一训练过程的进行。
在基于上述实现方式训练得到质量分析网络之后，可再次基于质量分析网络确定各样本图像的不确定度，每一样本图像的不确定度表征了该样本图像的样本预测特征对应的预测质量评价结果和真实质量评价结果之间的差异。
步骤S23、基于各样本图像以及对应的不确定度，确定多个目标样本图像，基于各目标样本图像对预训练模型进行训练，得到图像质量评价模型。
在一些可行的实施方式中，对于每一样本图像，该样本图像的不确定度的值越大，表示该样本图像的预测质量评价结果与真实质量评价结果之间的差异越大，进而可确定该样本图像的在确定预测质量评估结果的过程中的不准确性越大，对于模型训练具有较好的训练效果，则基于该样本图像对初始评价模型的训练增益也就越大。因此，在基于质量分析网络确定各样本图像的不确定度之后，可基于各样本图像的不确定度，从各样本图像中确定出多个不确定度的值较大的多个目标样本图像，并基于多个目标样本图像对上述预训练模型进行重新训练，得到最终的图像质量评价模型。
可选地，还可基于主观打分平台或者其他方式，获取用户上传的不确定度较大的图像，并将其同样作为目标样本图像参与训练。
其中，在基于多个目标样本图像对上述预训练模型进行训练过程中，同样需要确定训练过程中的第三训练损失值，并基于第三训练损失值和各目标样本图像对预训练模型进行迭代训练，直至第三训练训练损失值符合训练结束条件时，将训练停止时的模型确定为最终的图像质量评价模型。
其中，上述第三训练损失同样可基于平方绝对误差或者皮尔逊相关技术等方式确定，在此不再赘述。
在本申请实施例中，上述任一模型或者网络训练过程中训练损失的计算均可基于云计算的方式实现。其中，云计算是指通过网络以按需、易扩展的方式获得所需资源，是网格计算(Grid Computing)、分布式计算(Distributed Computing)、并行计算(ParallelComputing)、效用计算(Utility Computing)、网络存储(Network StorageTechnologies)、虚拟化(Virtualization)、负载均衡(Load Balance)等传统计算机和网络技术发展融合的产物，基于云计算可提升模型或者网络的训练效率。
在一些可行的实施方式中，在确定多个目标样本图像时，可将各样本图像按照不确定度由大到小的顺序进行排序，进而从排序结果中选取前预设数量的样本图像作为目标样本图像。
在一些可行的实施方式中，在确定多个目标样本图像时，可基于各样本图像以及对应的预测质量评价结果，确定多个样本图像集合。每一样本图像集合分别对应于不同的评价结果区间，以使每一样本集合中的样本图像的预测质量评价结果相似。
例如，可将预测质量评价结果在同一质量评价分数区间的样本图像确定为一个样本图像集合，再例如，将对应于相同质量评价指标(一般、较好等)的样本图像作为一个样本集合。若本申请用于评价图像的画质，基于上述实现方式可将不同画质的样本图像划分为不同的样本图像集合。
进一步地，在确定出多个样本图像集合之后，由于样本图像的数量较多，其中可能包括相同的样本图像。为避免重复选取样本图像，对于每一样本图像集合，可确定该样本图像集合中各样本图像的聚类特征，基于各聚类特征将该样本图像集合中的各样本图像进行聚类，得到至少一个样本图像子集合。
其中，每一样本图像的聚类特征可以为该样本图像的样本初始特征，也可以为经过上述特征处理网络得到的样本图像特征，也可以为上述特征处理网络在对样本初始特征进行处理过程中每一网络层得到的中间特征，具体可基于实际应用场景需求确定，在此不做限制。
进一步地，对于每一样本图像集合，在对该样本图像集合中各样本图像进行聚类得到至少一个样本图像子集合之后，每一样本图像子集合中的样本图像为相似或者相同的样本图像子集合。因此，为减少重复样本图像的数量，可从每一样本图像子集合中选择一个或者有限数量的样本图像作为目标样本图像。对于每一样本图像子集合而言，可基于该样本图像子集合中各样本图像的不确定度，从中选择不确定度较大的样本图像作为目标样本图像。
基于本申请实施例提供的图像质量评价方法，可对媒体信息平台中的图像以及视频图像帧的图像质量进行评价，以对媒体信息平台中图像质量较低的图像或视频进行调整，从而提升用户的浏览体验。
基于本申请实施例提供的图像质量评价方法，可同样对游戏应用中的游戏场景的画质进行评价。例如，在游戏运行过程中可基于图像质量评价模型确定游戏场景的画质高低，进而将画质较低的游戏场景反馈至游戏服务器，以对画质较低的游戏场景进行重新渲染从而得到清晰的游戏场景。
或者，可在游戏测试期间基于本申请实施例提供的图像质量评价方法对各个游戏场景的图像质量进行评价，从而基于质量评价结果对游戏测试期间的各项图像参数进行调整。
或者，对于游戏发布平台，可基于本申请实施例提供的图像质量评价方法对即将发布的游戏的游戏场景的图像质量进行审核评价，若该游戏的游戏场景的图像质量普遍较低，则可暂停该游戏的发布进程直至游戏场景的图像质量符合一定的图像质量要求为止。
需要特别说明的是，上述对于本申请实施例提供的图像质量评价方法的应用场景描述仅为示例，具体可基于实际需求确定，如可对显示终端的显示画面截图进行质量评价以确定显示终端的显示效果是否符合预期等，在此不做限制。
其中，上述游戏应用可以为云游戏(Cloud gaming)应用，云游戏又可称为游戏点播(gaming on demand)，是一种以云计算技术为基础的在线游戏技术。云游戏技术使图形处理与数据运算能力相对有限的轻端设备(thin client)能运行高品质游戏。在云游戏场景下，游戏并不在玩家游戏终端运行，而是在云端服务器中运行，并由云端服务器将游戏场景渲染为视频流，通过网络传输给玩家游戏终端。玩家游戏终端无需拥有强大的图形运算与数据处理能力，仅需拥有基本的流媒体播放能力与获取玩家输入指令并发送给云端服务器的能力即可。
在云游戏场景中，基于本申请实施例提供的图像质量评价方法，尤其是图像质量评价模型，游戏终端可实时确定其显示的游戏画面的质量评价结果，进而将质量评价结果返回至云端服务器，以使云端服务器根据质量评价结果实时调整游戏场景的渲染方式以及视频流的传输码率，从而使得游戏终端所显示的游戏画面时钟保持较高的图像质量。如云端服务器在根据质量评价结果确定游戏终端当前显示的游戏场景的清晰度较低时，可采用清晰度更高的渲染方式得到新的视频流并采用较大的传输码率向游戏终端发送，从而游戏终端可基于新的视频流在后续显示更为清晰的游戏场景。
其中，在游戏场景中，本申请实施例中所采用的样本图像可以为游戏应用的不同游戏场景，从而基于游戏场景训练得到的相关模型更适应于不同的游戏场景，进而对游戏场景具有更高的鲁棒性和准确性。
在本申请实施例中，通过训练样本集对初始评价模型进行训练可初步得到具有确定质量评价结果能力的预训练模型，进而基于各样本图像的不确定度可在有限的样本图像中确定出具有高训练价值、对模型训练增益较大的多个目标样本图像，从而基于多个目标样本图像对预训练模型进行再次训练，进一步提升预训练模型的准确性和鲁棒性。基于本申请实施例的图像质量评价模型，可客观准确地确定待评价图像的质量评估结果，适用性高。
参见图8，图8是本申请实施例提供的图像质量评价装置的结构示意图。本申请实施例提供的图像质量评价装置包括：
预测模块81，用于确定待评价图像，将上述待评价图像的初始特征输入图像质量评价模型，得到上述待评价图像的预测特征；
确定模块82，用于基于上述预测特征确定上述待评价图像的质量评价结果；
其中，上述图像质量评价模型是基于训练装置训练得到的，上述训练装置用于：
获取训练样本集，基于上述训练样本集中各样本图像对初始评价模型进行训练，得到预训练模型，每一上述样本图像标注有样本标签，每一上述样本标签表征了对应的样本图像的真实质量评价结果，上述初始评价模型的输入和输出分别为各上述样本图像的样本初始特征和样本预测特征；
上述确定模块82，用于确定各上述样本图像的不确定度，上述不确定度表征了各上述样本图像的样本预测特征对应的预测质量评价结果和真实质量评价结果之间的差异；
训练模块83，用于基于各上述样本图像以及对应的不确定度，确定多个目标样本图像，基于各上述目标样本图像对上述预训练模型进行训练，得到上述图像质量评价模型。
在一些可行的实施方式中，上述训练装置，用于：
将上述训练样本集中各样本图像的初始特征输入上述特征处理网络，得到各上述样本图像的样本图像特征；
将各上述样本图像特征输入上述质量评价网络，得到各上述样本图像的样本预测特征；
基于各上述样本图像的样本预测特征，确定各上述样本图像的预测质量评价结果，基于各上述预测质量评价结果和各上述真实质量评价结果，确定第一训练损失值；
基于上述第一训练损失值和各上述样本图像对上述初始评价模型进行迭代训练，直至上述第一训练损失值符合训练结束条件时，将训练结束时的模型确定为预训练模型。
在一些可行的实施方式中，上述训练装置，用于：
确定各上述预测质量评价结果和对应的真实质量评价结果之间的第一差值的第一绝对值；
确定各上述第一绝对值的第一平均值，基于上述第一平均值确定第一训练损失值。
在一些可行的实施方式中，各上述样本图像的不确定度是基于质量分析网络确定的，上述质量分析网络是基于上述训练装置训练得到的，上述训练装置，用于：
将各上述样本图像的样本图像特征输入初始分析网络，得到各上述样本图像的预测分析特征，基于各上述样本图像的预测分析特征，确定各上述样本图像的预测不确定度，每一上述样本图像的预测不确定度表征了该样本图像的真实质量评价结果和预测质量评价结果之间的预测差异；
确定各上述样本图像的真实质量评价结果和预测质量评价结果之间的真实差异，基于各上述样本图像对应的真实差异和预测差异，确定第二训练损失值；
基于上述第二训练损失值以及各上述样本图像对上述初始分析网络进行迭代训练，直至上述第二训练损失值符合训练结束条件时，将训练结束时的网络确定为上述质量分析网络。
在一些可行的实施方式中，上述训练装置，用于：
确定各上述样本图像对应的真实差异和预测差异的第二差值的第二绝对值；
确定各上述第二绝对值的第二平均值，基于各上述第二平均值确定第二训练损失值。
在一些可行的实施方式中，上述确定模块82，用于：
将各上述样本图像按照不确定度由大到小的顺序进行排序，基于排序结果确定多个目标样本图像；
基于各所样本图像以及对应预测质量评价结果，确定多个样本图像集合，对于每一上述样本图像集合，基于该样本图像集合中各上述样本图像的不确定度，从该样本图像集合中确定出至少一个目标样本图像，其中，每一上述样本图像集合分别对应于不同的评价结果区间。
在一些可行的实施方式中，对于每一上述样本图像集合，上述确定模块82，用于：
确定该样本图像集合中各上述样本图像的聚类特征，基于各上述聚类特征将该样本图像集合中各上述样本图像进行聚类，得到至少一个样本图像子集合；
对于每一上述样本图像子集合，基于该样本图像子集合中各上述样本图像的不确定度，从该样本图像子集合中确定至少一个目标样本图像。
具体实现中，上述图像质量评价装置可通过其内置的各个功能模块执行如上述图1、图2和/或图5中各个步骤所提供的实现方式，具体可参见上述各个步骤所提供的实现方式，在此不再赘述。
参见图9，图9是本申请实施例提供的电子设备的结构示意图。如图9所示，本实施例中的电子设备9000可以包括：处理器9001，网络接口9004和存储器9005，此外，上述电子设备9000还可以包括：用户接口9003，和至少一个通信总线9002。其中，通信总线9002用于实现这些组件之间的连接通信。其中，用户接口9003可以包括显示屏(Display)、键盘(Keyboard)，可选用户接口9003还可以包括标准的有线接口、无线接口。网络接口9004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器9004可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器9005可选的还可以是至少一个位于远离前述处理器9001的存储装置。如图9所示，作为一种计算机可读存储介质的存储器9005中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。
在图9所示的电子设备9000中，网络接口9004可提供网络通讯功能；而用户接口9003主要用于为用户提供输入的接口；而处理器9001可以用于调用存储器9005中存储的设备控制应用程序，以实现：
确定待评价图像，将上述待评价图像的初始特征输入图像质量评价模型，得到上述待评价图像的预测特征；
基于上述预测特征确定上述待评价图像的质量评价结果；
其中，上述处理器9001在训练上述图像质量评价模型时，具体用于：
获取训练样本集，基于上述训练样本集中各样本图像对初始评价模型进行训练，得到预训练模型，每一上述样本图像标注有样本标签，每一上述样本标签表征了对应的样本图像的真实质量评价结果，上述初始评价模型的输入和输出分别为各上述样本图像的样本初始特征和样本预测特征；
确定各上述样本图像的不确定度，上述不确定度表征了各上述样本图像的样本预测特征对应的预测质量评价结果和真实质量评价结果之间的差异；
基于各上述样本图像以及对应的不确定度，确定多个目标样本图像，基于各上述目标样本图像对上述预训练模型进行训练，得到上述图像质量评价模型。
在一些可行的实施方式中，上述初始评价模型包括特征处理网络和质量评价网络；上述处理器9001用于：
将上述训练样本集中各样本图像的初始特征输入上述特征处理网络，得到各上述样本图像的样本图像特征；
将各上述样本图像特征输入上述质量评价网络，得到各上述样本图像的样本预测特征；
基于各上述样本图像的样本预测特征，确定各上述样本图像的预测质量评价结果，基于各上述预测质量评价结果和各上述真实质量评价结果，确定第一训练损失值；
基于上述第一训练损失值和各上述样本图像对上述初始评价模型进行迭代训练，直至上述第一训练损失值符合训练结束条件时，将训练结束时的模型确定为预训练模型。
在一些可行的实施方式中，上述处理器9001用于：
确定各上述预测质量评价结果和对应的真实质量评价结果之间的第一差值的第一绝对值；
确定各上述第一绝对值的第一平均值，基于上述第一平均值确定第一训练损失值。
在一些可行的实施方式中，各上述样本图像的不确定度是基于质量分析网络确定的，上述处理器9001在训练上述质量分析网时，具体用于：
将各上述样本图像的样本图像特征输入初始分析网络，得到各上述样本图像的预测分析特征，基于各上述样本图像的预测分析特征，确定各上述样本图像的预测不确定度，每一上述样本图像的预测不确定度表征了该样本图像的真实质量评价结果和预测质量评价结果之间的预测差异；
确定各上述样本图像的真实质量评价结果和预测质量评价结果之间的真实差异，基于各上述样本图像对应的真实差异和预测差异，确定第二训练损失值；
基于上述第二训练损失值以及各上述样本图像对上述初始分析网络进行迭代训练，直至上述第二训练损失值符合训练结束条件时，将训练结束时的网络确定为上述质量分析网络。
在一些可行的实施方式中，上述处理器9001用于：
确定各上述样本图像对应的真实差异和预测差异的第二差值的第二绝对值；
确定各上述第二绝对值的第二平均值，基于各上述第二平均值确定第二训练损失值。
在一些可行的实施方式中，上述处理器9001用于：
将各上述样本图像按照不确定度由大到小的顺序进行排序，基于排序结果确定多个目标样本图像；
基于各所样本图像以及对应预测质量评价结果，确定多个样本图像集合，对于每一上述样本图像集合，基于该样本图像集合中各上述样本图像的不确定度，从该样本图像集合中确定出至少一个目标样本图像，其中，每一上述样本图像集合分别对应于不同的评价结果区间。
在一些可行的实施方式中，对于每一上述样本图像集合，上述处理器9001用于：
确定该样本图像集合中各上述样本图像的聚类特征，基于各上述聚类特征将该样本图像集合中各上述样本图像进行聚类，得到至少一个样本图像子集合；
对于每一上述样本图像子集合，基于该样本图像子集合中各上述样本图像的不确定度，从该样本图像子集合中确定至少一个目标样本图像。
应当理解，在一些可行的实施方式中，上述处理器9001可以是中央处理单元(central processing unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(digital signal processor，DSP)、专用集成电路(application specific integratedcircuit，ASIC)、现成可编程门阵列(field-programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。该存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据。存储器的一部分还可以包括非易失性随机存取存储器。例如，存储器还可以存储设备类型的信息。
具体实现中，上述电子设备9000可通过其内置的各个功能模块执行如上述图1、图2和/或图5中各个步骤所提供的实现方式，具体可参见上述各个步骤所提供的实现方式，在此不再赘述。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，被处理器执行以实现图1、图2和/或图5中各个步骤所提供的方法，具体可参见上述各个步骤所提供的实现方式，在此不再赘述。
上述计算机可读存储介质可以是前述任一实施例提供的图像质量评价装置或电子设备的内部存储单元，例如电子设备的硬盘或内存。该计算机可读存储介质也可以是该电子设备的外部存储设备，例如该电子设备上配备的插接式硬盘，智能存储卡(smartmedia card,SMC)，安全数字(secure digital,SD)卡，闪存卡(flash card)等。上述计算机可读存储介质还可以包括磁碟、光盘、只读存储记忆体(read-only memory，ROM)或随机存储记忆体(randomaccess memory，RAM)等。进一步地，该计算机可读存储介质还可以既包括该电子设备的内部存储单元也包括外部存储设备。该计算机可读存储介质用于存储该计算机程序以及该电子设备所需的其他程序和数据。该计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例提供了一种计算机程序产品，该计算机程序产品包括计算机程序或计算机指令，上述计算机程序或计算机指令被处理器执行时本申请实施例提供的语音播放方法执行图1、图2和/或图5中各个步骤所提供的方法。
本申请的权利要求书和说明书及附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或电子设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或电子设备固有的其它步骤或单元。在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置展示该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
以上所揭露的仅为本申请较佳实施例而已，不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。

Claims (11)

1.一种图像质量评价方法，其特征在于，所述方法包括：
确定待评价图像，将所述待评价图像的初始特征输入图像质量评价模型，得到所述待评价图像的预测特征；
基于所述预测特征确定所述待评价图像的质量评价结果；
其中，所述图像质量评价模型是基于以下方式训练得到的：
获取训练样本集，基于所述训练样本集中各样本图像对初始评价模型进行训练，得到预训练模型，每一所述所述样本图像标注有样本标签，每一所述样本标签表征了对应的样本图像的真实质量评价结果，所述初始评价模型的输入和输出分别为各所述样本图像的样本初始特征和样本预测特征；
确定各所述样本图像的不确定度，所述不确定度表征了各所述样本图像的样本预测特征对应的预测质量评价结果和真实质量评价结果之间的差异；
基于各所述样本图像以及对应的不确定度，确定多个目标样本图像，基于各所述目标样本图像对所述预训练模型进行训练，得到所述图像质量评价模型。
2.根据权利要求1所述的方法，其特征在于，所述初始评价模型包括特征处理网络和质量评价网络；所述基于所述训练样本集中各样本图像对初始评价模型进行训练，得到预训练模型，包括：
将所述训练样本集中各样本图像的初始特征输入所述特征处理网络，得到各所述样本图像的样本图像特征；
将各所述样本图像特征输入所述质量评价网络，得到各所述样本图像的样本预测特征；
基于各所述样本图像的样本预测特征，确定各所述样本图像的预测质量评价结果，基于各所述预测质量评价结果和各所述真实质量评价结果，确定第一训练损失值；
基于所述第一训练损失值和各所述样本图像对所述初始评价模型进行迭代训练，直至所述第一训练损失值符合训练结束条件时，将训练结束时的模型确定为预训练模型。
3.根据权利要求2所述的方法，其特征在于，所述基于各所述预测质量评价结果和各所述真实质量评价结果，确定第一训练损失值，包括：
确定各所述预测质量评价结果和对应的真实质量评价结果之间的第一差值的第一绝对值；
确定各所述第一绝对值的第一平均值，基于所述第一平均值确定第一训练损失值。
4.根据权利要求2所述的方法，其特征在于，各所述样本图像的不确定度是基于质量分析网络确定的，所述质量分析网络是基于以下方式确定的：
将各所述样本图像的样本图像特征输入初始分析网络，得到各所述样本图像的预测分析特征，基于各所述样本图像的预测分析特征，确定各所述样本图像的预测不确定度，每一所述样本图像的预测不确定度表征了该样本图像的真实质量评价结果和预测质量评价结果之间的预测差异；
确定各所述样本图像的真实质量评价结果和预测质量评价结果之间的真实差异，基于各所述样本图像对应的真实差异和预测差异，确定第二训练损失值；
基于所述第二训练损失值以及各所述样本图像对所述初始分析网络进行迭代训练，直至所述第二训练损失值符合训练结束条件时，将训练结束时的网络确定为所述质量分析网络。
5.根据权利要求4所述的方法，其特征在于，所述基于各所述样本图像对应的真实差异和预测差异，确定第二训练损失值，包括：
确定各所述样本图像对应的真实差异和预测差异的第二差值的第二绝对值；
确定各所述第二绝对值的第二平均值，基于各所述第二平均值确定第二训练损失值。
6.根据权利要求1所述的方法，其特征在于，所述基于各所述样本图像以及对应的不确定度，确定多个目标样本图像，包括以下至少一项：
将各所述样本图像按照不确定度由大到小的顺序进行排序，基于排序结果确定多个目标样本图像；
基于各所样本图像以及对应预测质量评价结果，确定多个样本图像集合，对于每一所述样本图像集合，基于该样本图像集合中各所述样本图像的不确定度，从该样本图像集合中确定出至少一个目标样本图像，其中，每一所述样本图像集合分别对应于不同的评价结果区间。
7.根据权利要求6所述的方法，其特征在于，对于每一所述样本图像集合，所述基于该样本图像集合中各所述样本图像的不确定度，从该样本图像集合中确定出至少一个目标样本图像，包括：
确定该样本图像集合中各所述样本图像的聚类特征，基于各所述聚类特征将该样本图像集合中各所述样本图像进行聚类，得到至少一个样本图像子集合；
对于每一所述样本图像子集合，基于该样本图像子集合中各所述样本图像的不确定度，从该样本图像子集合中确定至少一个目标样本图像。
8.一种图像质量评价装置，其特征在于，所述装置包括：
预测模块，用于确定待评价图像，将所述待评价图像的初始特征输入图像质量评价模型，得到所述待评价图像的预测特征；
确定模块，用于基于所述预测特征确定所述待评价图像的质量评价结果；
其中，所述图像质量评价模型是基于训练装置训练得到的，所述训练装置用于：
获取训练样本集，基于所述训练样本集中各样本图像对初始评价模型进行训练，得到预训练模型，每一所述所述样本图像标注有样本标签，每一所述样本标签表征了对应的样本图像的真实质量评价结果，所述初始评价模型的输入和输出分别为各所述样本图像的样本初始特征和样本预测特征；
所述确定模块，用于确定各所述样本图像的不确定度，所述不确定度表征了各所述样本图像的样本预测特征对应的预测质量评价结果和真实质量评价结果之间的差异；
训练模块，用于基于各所述样本图像以及对应的不确定度，确定多个目标样本图像，基于各所述目标样本图像对所述预训练模型进行训练，得到所述图像质量评价模型。
9.一种电子设备，其特征在于，包括处理器和存储器，所述处理器和存储器相互连接；
所述存储器用于存储计算机程序；
所述处理器被配置用于在调用所述计算机程序时，执行如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现权利要求1至7任一项所述的方法。
11.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序或者计算机指令，所述计算机程序或所述计算机指令被处理器执行时实现权利要求1至7任一项所述的方法。
CN202111248242.9A 2021-10-26 2021-10-26 图像质量评价方法、装置、设备以及存储介质 Active CN113962965B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111248242.9A CN113962965B (zh) 2021-10-26 2021-10-26 图像质量评价方法、装置、设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111248242.9A CN113962965B (zh) 2021-10-26 2021-10-26 图像质量评价方法、装置、设备以及存储介质

Publications (2)

Publication Number Publication Date
CN113962965A true CN113962965A (zh) 2022-01-21
CN113962965B CN113962965B (zh) 2023-06-09

Family

ID=79466993

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111248242.9A Active CN113962965B (zh) 2021-10-26 2021-10-26 图像质量评价方法、装置、设备以及存储介质

Country Status (1)

Country Link
CN (1) CN113962965B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114862819A (zh) * 2022-05-24 2022-08-05 深圳大学 基于非对称网络的图像质量评价方法、装置、设备及介质
CN117152092A (zh) * 2023-09-01 2023-12-01 国家广播电视总局广播电视规划院 全参考图像评价方法、装置、电子设备和计算机存储介质
WO2024011853A1 (zh) * 2022-07-12 2024-01-18 青岛云天励飞科技有限公司 人体图像质量检测方法、装置、电子设备及存储介质
CN117152092B (zh) * 2023-09-01 2024-05-28 国家广播电视总局广播电视规划院 全参考图像评价方法、装置、电子设备和计算机存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325726A (zh) * 2020-02-19 2020-06-23 腾讯医疗健康(深圳)有限公司 模型训练方法、图像处理方法、装置、设备及存储介质
CN112785585A (zh) * 2021-02-03 2021-05-11 腾讯科技（深圳）有限公司 基于主动学习的图像视频质量评价模型的训练方法以及装置
WO2021087985A1 (zh) * 2019-11-08 2021-05-14 深圳市欢太科技有限公司 模型训练方法、装置、存储介质及电子设备
CN112801536A (zh) * 2021-02-20 2021-05-14 北京金山云网络技术有限公司 图像处理方法、装置和电子设备
WO2021092808A1 (zh) * 2019-11-13 2021-05-20 深圳市欢太科技有限公司 网络模型的训练方法、图像的处理方法、装置及电子设备
CN112950581A (zh) * 2021-02-25 2021-06-11 北京金山云网络技术有限公司 质量评估方法、装置和电子设备
WO2021180131A1 (zh) * 2020-03-13 2021-09-16 华为技术有限公司 一种图像处理方法及电子设备
CN113486173A (zh) * 2021-06-11 2021-10-08 南京邮电大学 文本标注神经网络模型及其标注方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021087985A1 (zh) * 2019-11-08 2021-05-14 深圳市欢太科技有限公司 模型训练方法、装置、存储介质及电子设备
WO2021092808A1 (zh) * 2019-11-13 2021-05-20 深圳市欢太科技有限公司 网络模型的训练方法、图像的处理方法、装置及电子设备
CN111325726A (zh) * 2020-02-19 2020-06-23 腾讯医疗健康(深圳)有限公司 模型训练方法、图像处理方法、装置、设备及存储介质
WO2021180131A1 (zh) * 2020-03-13 2021-09-16 华为技术有限公司 一种图像处理方法及电子设备
CN112785585A (zh) * 2021-02-03 2021-05-11 腾讯科技（深圳）有限公司 基于主动学习的图像视频质量评价模型的训练方法以及装置
CN112801536A (zh) * 2021-02-20 2021-05-14 北京金山云网络技术有限公司 图像处理方法、装置和电子设备
CN112950581A (zh) * 2021-02-25 2021-06-11 北京金山云网络技术有限公司 质量评估方法、装置和电子设备
CN113486173A (zh) * 2021-06-11 2021-10-08 南京邮电大学 文本标注神经网络模型及其标注方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
黄余格: ""基于字典学习和不确定度估计的无参考图像质量评价算法研究"", 《中国博士学位论文全文数据库电子期刊信息科技辑》, pages 138 - 256 *
黄法秀;高翔;吴志红;陈虎;: "基于CNN的人脸图像亮度和清晰度质量评价", 计算机工程与设计, no. 07, pages 212 - 218 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114862819A (zh) * 2022-05-24 2022-08-05 深圳大学 基于非对称网络的图像质量评价方法、装置、设备及介质
CN114862819B (zh) * 2022-05-24 2023-02-03 深圳大学 基于非对称网络的图像质量评价方法、装置、设备及介质
WO2024011853A1 (zh) * 2022-07-12 2024-01-18 青岛云天励飞科技有限公司 人体图像质量检测方法、装置、电子设备及存储介质
CN117152092A (zh) * 2023-09-01 2023-12-01 国家广播电视总局广播电视规划院 全参考图像评价方法、装置、电子设备和计算机存储介质
CN117152092B (zh) * 2023-09-01 2024-05-28 国家广播电视总局广播电视规划院 全参考图像评价方法、装置、电子设备和计算机存储介质

Also Published As

Publication number Publication date
CN113962965B (zh) 2023-06-09

Similar Documents

Publication Publication Date Title
CN111741330B (zh) 一种视频内容评估方法、装置、存储介质及计算机设备
CN111754985B (zh) 一种语音识别模型的训练以及语音识别的方法和装置
CN108197652B (zh) 用于生成信息的方法和装置
Wang et al. Image quality assessment based on local linear information and distortion-specific compensation
CN108322317B (zh) 一种账号识别关联方法及服务器
CN111754596A (zh) 编辑模型生成、人脸图像编辑方法、装置、设备及介质
CN110234018B (zh) 多媒体内容描述生成方法、训练方法、装置、设备及介质
CN112995652B (zh) 视频质量评估方法及装置
CN113962965B (zh) 图像质量评价方法、装置、设备以及存储介质
CN112950581A (zh) 质量评估方法、装置和电子设备
CN110866563B (zh) 相似视频检测、推荐方法、电子设备和存储介质
CN113422988B (zh) 直播封面生成方法、装置、电子设备及存储介质
CN114282047A (zh) 小样本动作识别模型训练方法、装置、电子设备及存储介质
CN113569129A (zh) 点击率预测模型处理方法、内容推荐方法、装置及设备
CN111598153B (zh) 数据聚类的处理方法、装置、计算机设备和存储介质
CN117726884B (zh) 对象类别识别模型的训练方法、对象类别识别方法及装置
CN116701706B (zh) 一种基于人工智能的数据处理方法、装置、设备及介质
CN112000803A (zh) 文本分类方法及装置、电子设备及计算机可读存储介质
CN115129902B (zh) 媒体数据处理方法、装置、设备及存储介质
CN115422918A (zh) 一种叙事对象的叙事能力评估方法及装置
CN112115703B (zh) 文章评估方法及装置
CN113420809A (zh) 视频质量评价方法、装置和电子设备
CN114119819A (zh) 数据处理方法、装置、电子设备及计算机存储介质
CN113240004B (zh) 视频信息确定方法、装置、电子设备以及存储介质
CN116071833A (zh) 活体检验模型训练及活体检验方法、装置以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant