CN112950581A - 质量评估方法、装置和电子设备 - Google Patents

质量评估方法、装置和电子设备 Download PDF

Info

Publication number
CN112950581A
CN112950581A CN202110222591.7A CN202110222591A CN112950581A CN 112950581 A CN112950581 A CN 112950581A CN 202110222591 A CN202110222591 A CN 202110222591A CN 112950581 A CN112950581 A CN 112950581A
Authority
CN
China
Prior art keywords
quality
quality evaluation
sample
model
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110222591.7A
Other languages
English (en)
Other versions
CN112950581B (zh
Inventor
鲁方波
汪贤
樊鸿飞
蔡媛
成超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kingsoft Cloud Network Technology Co Ltd
Original Assignee
Beijing Kingsoft Cloud Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kingsoft Cloud Network Technology Co Ltd filed Critical Beijing Kingsoft Cloud Network Technology Co Ltd
Priority to CN202110222591.7A priority Critical patent/CN112950581B/zh
Publication of CN112950581A publication Critical patent/CN112950581A/zh
Application granted granted Critical
Publication of CN112950581B publication Critical patent/CN112950581B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种质量评估方法、装置和电子设备，包括：将获取的目标对象输入至预先训练完成的质量评估模型，得到输出结果；基于输出结果，确定目标对象的质量评估结果，该质量评估模型通过样本集训练得到，该样本集中的每个样本均包含有样本对象、样本对象的质量评分标签和多个属性评分标签；每个属性评分标签用于指示多个图像属性中的一种图像属性的评分值。该方式中，质量评估模型在训练过程中将识别样本的质量等级和多个图像属性的评分值作为训练任务，相对于仅将质量等级作为训练任务的训练方式，该方式在训练时引入了更多的参考信息，可提升模型的泛化能力和模型进行质量评估的精确度。

Description

质量评估方法、装置和电子设备
技术领域
本发明涉及数据处理技术领域，尤其是涉及一种质量评估方法、装置和电子设备。
背景技术
随着多媒体技术的发展，网络数据呈现爆炸式增长，该网络数据包括图片、视频和文字等。图像或视频作为信息传播的主要载体，在图像或视频采集、编码、传输等环节通常面临着很多质量损失。低质量图像或视频会严重降低人眼视觉观感，因此，需要准确评估图像或视频的质量，以便基于质量评估结果恢复图像或者视频。
相关技术中，通常通过训练后的深度学习模型对图像或者视频进行质量评估(也可以成为质量评价)。该深度学习模型在训练过程中，将识别样本的质量等级作为训练任务，然后基于识别出的质量等级与样本的真实等级之间的差距来更新深度学习模型。该方式中，深度学习模型在训练过程中所参考的数据有限，限制了模型进行质量评估的精确度。
发明内容
本发明的目的在于提供一种质量评估方法、装置和电子设备，以提高模型进行质量评估的精确度。
第一方面，本发明提供了一种质量评估方法，该方法包括：获取目标对象；将该目标对象输入至预先训练完成的质量评估模型中，得到输出结果；基于该输出结果，确定目标对象的质量评估结果；其中，质量评估模型通过样本集训练得到，该样本集中的每个样本均包含有样本对象、该样本对象的质量评分标签和多个属性评分标签；每个属性评分标签用于指示多个预设图像属性中的一种图像属性对应的评分值。
在可选的实施方式中，上述质量评估模型通过下述方式训练得到：基于样本集确定训练样本；将训练样本中的样本对象输入至初始模型中，得到预测结果；基于预测结果、样本对象的质量评分标签和多个属性评分标签，确定模型损失值；根据模型损失值更新初始模型的网络参数；继续执行基于样本集确定训练样本的步骤，直到模型损失值收敛，得到质量评估模型。
在可选的实施方式中，上述预测结果中包括对样本对象的质量评估结果和多个预设图像属性中的每种图像属性的评价结果；上述基于预测结果、样本对象的质量评分标签和多个属性评分标签，确定模型损失值的步骤，包括：基于预测结果中的质量评估结果与样本对象的质量评分标签的差距，确定第一损失值；基于预测结果中的每种图像属性的评价结果与样本对象的多个属性评分标签之间的差距，确定第二损失值；基于第一损失值和第二损失值，确定模型损失值。
在可选的实施方式中，上述模型损失值通过下述算式确定：
Figure BDA0002952935930000021
其中，L表示模型损失值，loss_func表示损失函数，ω0和ωj表示预设权重，N表示样本对象中多个图像属性的总数，x0表示预测结果中的质量评估结果，y0表示样本对象的质量评分标签，xj表示预测结果中第j个图像属性的评价结果，yj表示样本对象的第j个图像属性的属性评分标签。
在可选的实施方式中，上述输出结果中包含有质量评估模型对目标对象的质量评估结果和对多个预设图像属性中每种图像属性的评价结果；上述基于输出结果，确定目标对象的质量评估结果的步骤，包括：从输出结果中，提取目标对象的质量评估结果；将提取的质量评估结果，确定为目标对象最终的质量评估结果。
在可选的实施方式中，上述质量评估模型包括特征提取网络和评价输出网络；上述将目标对象输入至预先训练完成的质量评估模型中，得到输出结果的步骤，包括：通过特征提取网络，提取目标对象的对象特征，将对象特征输入至评价输出网络；通过评价输出网络，根据接收的对象特征进行质量评估，得到输出结果。
在可选的实施方式中，上述目标对象包括待处理视频；上述特征提取网络还用于：提取待处理视频中的每一视频帧对应的视频特征，计算待处理视频对应的视频特征的均值，得到均值特征；将该均值特征输入至评价输出网络中。
第二方面，本发明提供了一种质量评估装置，该装置包括：对象获取模块，用于获取目标对象；质量评估模块，用于将目标对象输入至预先训练完成的质量评估模型中，得到输出结果；基于输出结果，确定目标对象的质量评估结果；其中，该质量评估模型通过样本集训练得到，该样本集中的每个样本均包含有样本对象、该样本对象的质量评分标签和多个属性评分标签；每个属性评分标签用于指示多个预设图像属性中的一种图像属性对应的评分值。
第三方面，本发明提供了一种电子设备，该电子设备包括处理器和存储器，该存储器存储有能够被处理器执行的机器可执行指令，该处理器执行机器可执行指令以实现前述实施方式任一项所述的质量评估方法。
第四方面，本发明提供了一种机器可读存储介质，该机器可读存储介质存储有机器可执行指令，该机器可执行指令在被处理器调用和执行时，该机器可执行指令促使处理器实现前述实施方式任一项所述的质量评估方法。
本发明实施例带来了以下有益效果：
本发明提供的一种质量评估方法、装置和电子设备，首先获取目标对象；进而将该目标对象输入至预先训练完成的质量评估模型中，得到输出结果；然后基于该输出结果，确定目标对象的质量评估结果；其中，质量评估模型通过样本集训练得到，该样本集中的每个样本均包含有样本对象、该样本对象的质量评分标签和多个属性评分标签；每个属性评分标签用于指示多个预设图像属性中的一种图像属性对应的评分值。该方式中，质量评估模型在训练过程中将识别样本的质量等级和多个图像属性的评分值作为训练任务，相对于仅将质量等级作为训练任务的训练方式，该方式在训练时引入了更多的参考信息，可提升模型的泛化能力和模型进行质量评估的精确度。
本发明的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本发明的上述技术即可得知。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施方式，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种质量评估方法的流程图；
图2为本发明实施例提供的另一种质量评估方法的流程图；
图3为本发明实施例提供的一种质量评估模型的网络结构示意图；
图4为本发明实施例提供的一种质量评估模型的训练方法的流程图；
图5为本发明实施例提供的一种质量评估装置的结构示意图；
图6为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
随着多媒体技术的发展，网络数据呈现爆炸式增长，该网络数据包括图片、视频和文字等。图像或视频作为信息传播的主要载体，在图像或视频采集、编码、传输等环节通常面临着很多质量损失。低质量图像或视频会严重降低人眼视觉观感，因此，如何有效评估图像或视频质量具有非常重要的意义。
随着计算机计算能力的增强及数据集规模的扩大，深度学习在最近几年得到了飞快的发展，并在多个机器学习领域获得重大突破，比如人脸识别、目标检测、场景分割等。与此同时，基于深度学习的质量评估算法的泛化性也得到了显著的提升，在诸多场景中均好于传统质量评估算法。基于深度学习的质量评估算法的主要思路是将图像或视频以及对应主观评分输入到深度学习模型中进行训练，从而将训练好的模型应用于实际图像或视频的质量评估中。该深度学习模型在训练过程中，将识别样本的质量等级作为训练任务，然后基于识别出的质量等级与样本的真实等级之间的差距来更新深度学习模型，以得到训练后的深度学习模型。但该方式中，深度学习模型在训练过程中所参考的数据有限，限制了模型进行质量评估的精确度。
基于上述问题，本发明实施例提供了一种质量评估方法、装置和电子设备，该技术可以应用于图像或者视频等数据的质量评估场景中。为便于对本实施例进行理解，首先对本发明实施例所公开的一种质量评估方法进行详细介绍，如图1所示，该方法包括如下步骤：
步骤S102，获取目标对象。
上述目标对象可以是通过照相机拍摄的图片或者照片，也可以是从指定的视频文件中得到的某一帧视频帧，还可以是通过摄像机录制的视频或者指定的视频文件等。在具体实现时，可以通过下述方式获取目标对象：通过通信连接的照相机、摄像头等设备拍摄后传入，或从存储有已经拍摄完成的图像或者视频的存储设备中获取。
上述目标对象为需要进行质量评估的图像或者视频，该目标对象中可以包含有人物、动物、建筑物、风景等。在一些实施例中，该目标对象可以是无参考的图像或者视频。
步骤S104，将上述目标对象输入至预先训练完成的质量评估模型中，得到输出结果；基于该输出结果，确定目标对象的质量评估结果。
上述质量评估模型通过样本集训练得到，该样本集包含有多个样本，每个样本均包含有样本对象、该样本对象的质量评分标签和多个属性评分标签；每个属性评分标签用于指示多个预设图像属性中的一种图像属性对应的评分值。
上述质量评估模型可以是深度学习模型或者神经网络模型等。该质量评估模型可以是通过预设的样本集采用机器学习的方式训练得到的，该样本集中有大量的样本，每个样本均包含有一个样本对象，以及该样本对象的质量评分标签和多个属性评分标签，该样本对象可以是样本图像，也可以是样本视频；该质量评分标签用于指示样本对象的质量评分值，一个属性评分标签用于指示多个预设图像属性中的一个图像属性对应的评分值，该预设图像属性可以包括亮度、噪声、对比度、色彩、模糊程度中的一种或者多种，具体地，预设图像属性包含有哪些图像属性根据用户需求进行设定。通常情况下，图像属性的评分值与质量评分值相关联，也可以理解为每种图像属性的评分值会影响质量评分值，该质量评分值可以认为是样本对象整体的质量评分，图像属性的评分值可以认为是样本对象的子维度图像质量的评分。
例如，预设图像属性包含有亮度、噪声和对比度，某一样本对象中质量评分值为2，亮度对应的评分值为3，噪声对应的评分值为1，对比度对应的评分值为2，那么质量评分标签为2，亮度对应的属性评分标签为3，噪声对应的属性评分标签为1，对比度对应的属性评分标签为2。
在对质量评估模型进行训练的过程中，首先需要从样本集中选择训练样本，然后将该训练样本中的样本对象输入至质量评估模型的初始模型中，该初始模型可以对样本对象的质量和多个预设图像属性中的每个图像属性进行打分，得到打分结果；然后计算该打分结果，与训练样本中的质量评分标签和多个属性评分标签之间的差距，根据该差距确定模型损失值；再基于该模型损失值调整初始模型的网络参数，继续从样本集中选择新的训练样本输入至调整后的初始模型中，直到每个网络参数收敛或者达到预设的训练次数，得到训练完成的质量评估模型。该方式在训练的过程中不仅考虑了质量等级，还考虑了多个图像属性的评分，也即是在训练的过程中引入了更多的参考信息，而且这些参数信息在训练的过程中会相互制约，从而可以提升模型的泛化性，也可以提升模型进行质量评估的精度。
本发明实施例提供的一种质量评估方法，首先获取目标对象；进而将该目标对象输入至预先训练完成的质量评估模型中，得到输出结果；然后基于该输出结果，确定目标对象的质量评估结果；其中，质量评估模型通过样本集训练得到，该样本集中的每个样本均包含有样本对象、该样本对象的质量评分标签和多个属性评分标签；每个属性评分标签用于指示多个预设图像属性中的一种图像属性对应的评分值。该方式通过质量评估模型对目标对象进行质量评估，得到质量评估结果。该质量评估模型在训练过程中将识别样本的质量等级和多个图像属性的评分值作为训练任务，相对于仅将质量等级作为训练任务的训练方式，该方式在训练时引入了更多的参考信息，可提升模型的泛化能力和模型进行质量评估的精确度。
本发明实施例还提供了另一种质量评估方法，该方法在上述实施例方法的基础上实现；该方法重点描述将目标对象输入至预先训练完成的质量评估模型中，得到输出结果，基于该输出结果，确定目标对象的质量评估结果的具体过程(通过下述步骤S204-S208实现)；如图2所示，该方法包括如下具体步骤：
步骤S202，获取目标对象。
步骤S204，通过质量评估模型中的特征提取网络，提取上述目标对象的对象特征，将该对象特征输入至质量评估模型中的评价输出网络。
具体地，上述质量评估模型包括特征提取网络和评价输出网络。该特征提取网络用于对输入的目标对象进行特征提取，并将提取到的特征输入至评价输出网络中；该评价输出网络用于对输入的特征进行评价处理，得到评价结果。
如果目标对象为待处理视频；上述特征提取网络还用于：提取待处理视频中的每一视频帧对应的视频特征，计算待处理视频对应的视频特征的均值，得到均值特征；将该均值特征输入至评价输出网络中。也可以理解为如果目标对象为视频，将该视频的每一视频帧依次输入至特征提取网络中，该特征提取网络可以对每一视频帧进行特征提取，得到每一视频帧对应的视频特征，将该视频中的所有视频帧对应的视频特征求和后取平均，可以得到均值特征，该均值特征相当于上述对象特征。
实质上，如果目标对象为待处理图像，上述特征提取网络提取待处理图像的对象特征，然后该特征提取网络也可以求取对象特征的均值，但是由于待处理图像只有一个，对象特征的均值与对象特征相同。
在具体实现时，上述特征提取网络可以是CNN(Convolutional Neural Networks,卷积神经网络)网络，例如，ResNet50、VGG19等。上述评价输出网络可以由多个全连接模块和一个全连接层组成，其中，每个全连接模块通常包含有依次连接的全连接层、激活函数层和归一化层；此处全连接模块的数量由研发需求进行设定，通常全连接模块的数量越多，输出结果的精度越高。评价输出网络中的最后一个全连接层的输出维数通常是多个预设图像属性的数量与1的和，例如，如果多个预设图像属性为5个，最后一个全连接层的输出维数为6。
为了便于对本发明实施例中的质量评估模型的网络结构进行理解，如图3所示给出了一种质量评估模型的网络结构示意图。图3中的CNN网络相当于特征提取网络，FCBlock相当于评价输出网络中的全连接模块，该全连接模块的数量为多个，FC6相当于上述评价输出网络中的最后一个全连接层。
步骤S206，通过上述评价输出网络，根据接收的对象特征进行质量评估，得到输出结果；该输出结果中包含有对目标对象的质量评估结果和对多个预设图像属性中每种图像属性的评价结果。
在具体实现时，评价输出网络的最后一个全连接层的输出包含有多维，则评价输出网络的输出结果中包含有多个参数对应的评价结果。具体地，最后一个全连接层中的每一维对应的参数固定，例如，假设多个预设图像属性为五个，包括亮度、噪声、对比度、色彩和模糊程度，那么最后一个全连接层的维数为6，这6维数据对应的输出结果中，第一维表示质量评估结果(相当于评价对象整体的质量评估结果)，第二维表示亮度对应的评价结果，第三维表示噪声对应的评价结果，第四维表示对比度对应的评价结果，第五维表示色彩对应的评价结果，第六维表示模糊程度对应的评价结果。
步骤S208，从上述输出结果中，提取目标对象的质量评估结果；将提取的质量评估结果，确定为目标对象最终的质量评估结果。
在具体实现时，输出结果通常是以向量的形式进行输出，向量中每一维数据对应质量评估结果和对多个预设图像属性中每种图像属性的评价结果中一个，从数据结果中提取质量评估结果对应的数据，即可得到目标对象最终的质量评估结果。
上述质量评估方法，首先获取目标对象，进而通过质量评估模型中的特征提取网络，提取该目标对象的对象特征，将该对象特征输入至质量评估模型中的评价输出网络，以通过该评价输出网络，根据对象特征进行质量评估，得到输出结果；该输出结果中包含有对目标对象的质量评估结果和对多个预设图像属性中每种图像属性的评价结果；然后将从输出结果中提取的质量评估结果，作为目标对象最终的质量评估结果。该方式中的质量评估模型不仅可以输出质量评估结果，还可以输出影响质量评估结果的图像属性的评价结果，由此可以质量评估模型在训练的过程中是根据质量评估结果和图像属性的评价结果进行训练的，模型训练的参考信息增多，从而增强了模型的质量评估准确度。
在上述质量评估方法实施例的基础上，本发明实施例提供了一种质量评估模型的训练方法，该训练方法得到的质量评估模型可以应用于上述质量评估方法实施例；如图4所示，该训练方法包括如下具体步骤：
步骤S402，基于样本集确定训练样本。
上述样本集中包含有大量的样本，每个样本均包含有一个样本对象，以及该样本对象的质量评分标签和多个属性评分标签，该样本对象可以是样本图像，也可以是样本视频；该质量评分标签用于指示样本对象的质量评分值，该属性评分标签用于指示多个预设图像属性中的一个图像属性对应的评分值，该预设图像属性可以包括亮度、噪声、对比度、色彩、模糊程度中的一种或者多种，具体地，预设图像属性包含有哪些图像属性根据用户需求进行设定。上述训练样本可以是样本集中的任意一个样本。
在具体实现时，对于样本集中每个样本对象，同时由多人对该样本对象进行质量评分值和多个预设图像属性中的每个图像属性进行打分，计算多人打分的平均值，即可得到该样本对象的质量评分值(相当于上述质量评分标签)和多个预设图像属性中每个图像属性对应的打分值(相当于上述属性评分标签)。
上述训练样本为从样本集中随机选取的一个样本，而且在训练过程中，本次训练选取的训练样本与上次训练选取的样本不同。
步骤S404，将上述训练样本中的样本对象输入至初始模型中，得到预测结果。
步骤S406，基于上述预测结果、样本对象的质量评分标签和多个属性评分标签，确定模型损失值。
上述预测结果中包括对样本对象的质量评估结果和多个预设图像属性中的每种图像属性的评价结果；上述步骤S406可以通过下述步骤10-12实现：
步骤10，基于预测结果中的质量评估结果与样本对象的质量评分标签的差距，确定第一损失值。
上述样本对象的质量评分标签中标注的质量等级分数为质量评估的标准结果，可以将该质量评估的标准结果与预测结果中的质量评估结果之间的平均绝对误差、均方误差等，确定为第一损失值，具体地，该第一损失值的计算规则可以根据用户需求进行设定。
步骤11，基于预测结果中的每种图像属性的评价结果与样本对象的多个属性评分标签之间的差距，确定第二损失值。
针对预测结果中的每种图像属性，计算当前图像属性的评价结果与样本对象中的当前图像属性对应的属性评分标签之间的差距；具体地计算方式可以根据用户需求进行设定，例如，可以将二者的平均绝对误差或均方误差确定为二者之间的差距；然后将每种图像属性对应的差距的和或者加权和，确定为上述第二损失值。
步骤12，基于第一损失值和第二损失值，确定模型损失值。
在具体实现时，可以将第一损失值与第二损失值的和，确定为模型损失值；也可以将第一损失值和第一预设值的乘积，与第二损失值和第二预设值的乘积的加和，确定为模型损失值；其中，第一预设值和第二预设值可以根据用户需求设置。
在一些实施例中，上述模型损失值通过下述算式确定：
Figure BDA0002952935930000121
其中，L表示模型损失值，loss_func表示损失函数，ω0和ωj表示预设权重，该预设权重可以根据用户需求任意设置。N表示样本对象中多个图像属性的总数，N为正整数。x0表示预测结果中的质量评估结果，y0表示样本对象的质量评分标签，xj表示预测结果中第j个图像属性的评价结果，yj表示样本对象的第j个图像属性的属性评分标签。
在具体实现时，上述模型损失值L中的ω0*loss_func(x0,y0)相当于上述第一损失值，
Figure BDA0002952935930000122
相当于上述第二损失值。上述loss_func表示的损失函数可以根据用户需求进行设定，例如，包括但不限于平均绝对误差、均方误差等损失函数。
步骤S408，根据上述模型损失值更新初始模型的网络参数；继续执行基于样本集确定训练样本的步骤，直到模型损失值收敛，得到质量评估模型。
上述质量评估模型的训练方法，首先基于样本集确定训练样本；进而将该训练样本中的样本对象输入至初始模型中，得到预测结果；然后基于该预测结果、样本对象的质量评分标签和多个属性评分标签，确定模型损失值；根据该模型损失值更新初始模型的网络参数；继续执行基于样本集确定训练样本的步骤，直到模型损失值收敛，得到质量评估模型。该训练方法，在质量评估模型训练过程中将识别样本的质量等级和多个图像属性的评分值作为训练任务，相对于仅将质量等级作为训练任务的训练方式，该方式在训练时引入了更多的参考信息，可提升模型的泛化能力和模型进行质量评估的精确度。
针对于上述质量评估方法的实施例，本发明实施例还提供了一种质量评估装置，如图5所示，该装置包括：
对象获取模块50，用于获取目标对象。
质量评估模块51，用于将目标对象输入至预先训练完成的质量评估模型中，得到输出结果；基于输出结果，确定目标对象的质量评估结果；其中，质量评估模型通过样本集训练得到，该样本集中的每个样本均包含有样本对象、样本对象的质量评分标签和多个属性评分标签；每个属性评分标签用于指示多个预设图像属性中的一种图像属性对应的评分值。
上述质量评估装置，首先获取目标对象；进而将该目标对象输入至预先训练完成的质量评估模型中，得到输出结果；然后基于该输出结果，确定目标对象的质量评估结果；其中，质量评估模型通过样本集训练得到，该样本集中的每个样本均包含有样本对象、该样本对象的质量评分标签和多个属性评分标签；每个属性评分标签用于指示多个预设图像属性中的一种图像属性对应的评分值。该方式通过质量评估模型对目标对象进行质量评估，该质量评估模型在训练过程中将识别样本的质量等级和多个图像属性的评分值作为训练任务，相对于仅将质量等级作为训练任务的训练方式，该方式在训练时引入了更多的参考信息，可提升模型的泛化能力和模型进行质量评估的精确度。
具体地，上述装置还包括模型训练模块，用于：基于样本集确定训练样本；将该训练样本中的样本对象输入至初始模型中，得到预测结果；基于预测结果、样本对象的质量评分标签和多个属性评分标签，确定模型损失值；根据模型损失值更新初始模型的网络参数；继续执行基于样本集确定训练样本的步骤，直到模型损失值收敛，得到质量评估模型。
进一步地，上述预测结果中包括对样本对象的质量评估结果和多个预设图像属性中的每种图像属性的评价结果；上述模型训练模块，还用于：基于预测结果中的质量评估结果与样本对象的质量评分标签的差距，确定第一损失值；基于预测结果中的每种图像属性的评价结果与样本对象的多个属性评分标签之间的差距，确定第二损失值；基于第一损失值和第二损失值，确定模型损失值。
具体地，上述模型损失值通过下述算式确定：
Figure BDA0002952935930000141
其中，L表示模型损失值，loss_func表示损失函数，ω0和ωj表示预设权重，N表示样本对象中多个图像属性的总数，x0表示预测结果中的质量评估结果，y0表示样本对象的质量评分标签，xj表示预测结果中第j个图像属性的评价结果，yj表示该样本对象的第j个图像属性的属性评分标签。
进一步地，上述输出结果中包含有质量评估模型对目标对象的质量评估结果和对多个预设图像属性中每种图像属性的评价结果；上述质量评估模块51，还用于：从输出结果中，提取目标对象的质量评估结果；将提取的质量评估结果，确定为目标对象最终的质量评估结果。
进一步地，上述质量评估模型包括特征提取网络和评价输出网络；上述质量评估模块51，还用于：通过特征提取网络，提取目标对象的对象特征，将对象特征输入至评价输出网络；通过评价输出网络，根据接收的对象特征进行质量评估，得到输出结果。
具体地，上述目标对象包括待处理视频；上述特征提取网络还用于：提取待处理视频中的每一视频帧对应的视频特征，计算待处理视频对应的视频特征的均值，得到均值特征；将均值特征输入至评价输出网络中。
本发明实施例所提供的质量评估装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
本发明实施例还提供了一种电子设备，如图6所示，该电子设备包括处理器101和存储器100，该存储器100存储有能够被处理器101执行的机器可执行指令，该处理器101执行机器可执行指令以实现上述质量评估方法。
进一步地，图6所示的电子设备还包括总线102和通信接口103，处理器101、通信接口103和存储器100通过总线102连接。
其中，存储器100可能包含高速随机存取存储器(RAM，RandomAccessMemory)，也可能还包括非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器。通过至少一个通信接口103(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线102可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
处理器101可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器，包括中央处理器(CentralProcessingUnit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器100，处理器101读取存储器100中的信息，结合其硬件完成前述实施例的方法的步骤。
本发明实施例还提供了一种机器可读存储介质，该机器可读存储介质存储有机器可执行指令，该机器可执行指令在被处理器调用和执行时，该机器可执行指令促使处理器实现上述质量评估方法。
本发明实施例所提供的质量评估方法、装置和电子设备的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种质量评估方法，其特征在于，所述方法包括：
获取目标对象；
将所述目标对象输入至预先训练完成的质量评估模型中，得到输出结果；基于所述输出结果，确定所述目标对象的质量评估结果；
其中，所述质量评估模型通过样本集训练得到，所述样本集中的每个样本均包含有样本对象、所述样本对象的质量评分标签和多个属性评分标签；每个属性评分标签用于指示多个预设图像属性中的一种图像属性对应的评分值。
2.根据权利要求1所述的方法，其特征在于，所述质量评估模型通过下述方式训练得到：
基于所述样本集确定训练样本；
将所述训练样本中的样本对象输入至初始模型中，得到预测结果；
基于所述预测结果、所述样本对象的质量评分标签和多个属性评分标签，确定模型损失值；
根据所述模型损失值更新所述初始模型的网络参数；继续执行基于所述样本集确定训练样本的步骤，直到所述模型损失值收敛，得到所述质量评估模型。
3.根据权利要求2所述的方法，其特征在于，所述预测结果中包括对所述样本对象的质量评估结果和所述多个预设图像属性中的每种图像属性的评价结果；
所述基于所述预测结果、所述样本对象的质量评分标签和多个属性评分标签，确定模型损失值的步骤，包括：
基于所述预测结果中的质量评估结果与所述样本对象的质量评分标签的差距，确定第一损失值；
基于所述预测结果中的每种所述图像属性的评价结果与所述样本对象的多个属性评分标签之间的差距，确定第二损失值；
基于所述第一损失值和所述第二损失值，确定所述模型损失值。
4.根据权利要求2或3所述的方法，其特征在于，所述模型损失值通过下述算式确定：
Figure FDA0002952935920000021
其中，L表示所述模型损失值，loss_func表示损失函数，ω0和ωj表示预设权重，N表示样本对象中多个图像属性的总数，x0表示所述预测结果中的质量评估结果，y0表示所述样本对象的质量评分标签，xj表示所述预测结果中第j个图像属性的评价结果，yj表示所述样本对象的第j个图像属性的属性评分标签。
5.根据权利要求1所述的方法，其特征在于，所述输出结果中包含有所述质量评估模型对所述目标对象的质量评估结果和对所述多个预设图像属性中每种图像属性的评价结果；所述基于所述输出结果，确定所述目标对象的质量评估结果的步骤，包括：
从所述输出结果中，提取所述目标对象的质量评估结果；将提取的所述质量评估结果，确定为所述目标对象最终的质量评估结果。
6.根据权利要求1所述的方法，其特征在于，所述质量评估模型包括特征提取网络和评价输出网络；所述将所述目标对象输入至预先训练完成的质量评估模型中，得到输出结果的步骤，包括：
通过所述特征提取网络，提取所述目标对象的对象特征，将所述对象特征输入至所述评价输出网络；
通过所述评价输出网络，根据接收的所述对象特征进行质量评估，得到所述输出结果。
7.根据权利要求6所述的方法，其特征在于，所述目标对象包括待处理视频；所述特征提取网络还用于：
提取所述待处理视频中的每一视频帧对应的视频特征，计算所述待处理视频对应的视频特征的均值，得到均值特征；
将所述均值特征输入至所述评价输出网络中。
8.一种质量评估装置，其特征在于，所述装置包括：
对象获取模块，用于获取目标对象；
质量评估模块，用于将所述目标对象输入至预先训练完成的质量评估模型中，得到输出结果；基于所述输出结果，确定所述目标对象的质量评估结果；
其中，所述质量评估模型通过样本集训练得到，所述样本集中的每个样本均包含有样本对象、所述样本对象的质量评分标签和多个属性评分标签；每个属性评分标签用于指示多个预设图像属性中的一种图像属性对应的评分值。
9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以实现权利要求1至7任一项所述的质量评估方法。
10.一种机器可读存储介质，其特征在于，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，所述机器可执行指令促使处理器实现权利要求1至7任一项所述的质量评估方法。
CN202110222591.7A 2021-02-25 2021-02-25 质量评估方法、装置和电子设备 Active CN112950581B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110222591.7A CN112950581B (zh) 2021-02-25 2021-02-25 质量评估方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110222591.7A CN112950581B (zh) 2021-02-25 2021-02-25 质量评估方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN112950581A true CN112950581A (zh) 2021-06-11
CN112950581B CN112950581B (zh) 2024-06-21

Family

ID=76246790

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110222591.7A Active CN112950581B (zh) 2021-02-25 2021-02-25 质量评估方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN112950581B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113592807A (zh) * 2021-07-28 2021-11-02 北京世纪好未来教育科技有限公司 一种训练方法、图像质量确定方法及装置、电子设备
CN113762609A (zh) * 2021-08-27 2021-12-07 浙江天垂科技有限公司 产品质量预测方法及装置
CN113810610A (zh) * 2021-09-16 2021-12-17 杭州海康威视数字技术股份有限公司 一种对象抓拍方法及装置
CN113962965A (zh) * 2021-10-26 2022-01-21 腾讯科技（深圳）有限公司 图像质量评价方法、装置、设备以及存储介质
CN114219803A (zh) * 2022-02-21 2022-03-22 浙江大学 一种三阶段图像质量评估的检测方法与系统
CN114444608A (zh) * 2022-02-08 2022-05-06 中国电信股份有限公司 数据集质量评估方法及装置、电子设备及存储介质
CN114913159A (zh) * 2022-05-23 2022-08-16 中国科学院深圳先进技术研究院 超声图像的质量评估方法、模型训练方法及电子设备
CN115619427A (zh) * 2022-09-07 2023-01-17 中国电信股份有限公司 目标对象质量评估方法及装置、存储介质、电子设备
CN116701923A (zh) * 2022-10-13 2023-09-05 荣耀终端有限公司 算子性能的评估方法和评估装置
CN116958122A (zh) * 2023-08-24 2023-10-27 北京东远润兴科技有限公司 Sar图像评估方法、装置、设备及可读存储介质
WO2024027660A1 (zh) * 2022-08-02 2024-02-08 京东方科技集团股份有限公司 一种图像质量评估方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109685785A (zh) * 2018-12-20 2019-04-26 上海众源网络有限公司 一种图像质量评估方法、装置及电子设备
CN110956615A (zh) * 2019-11-15 2020-04-03 北京金山云网络技术有限公司 图像质量评估模型训练方法、装置、电子设备及存储介质
CN111210426A (zh) * 2020-01-15 2020-05-29 浙江大学 一种基于非限制标准模板的图像质量评分方法
WO2020221278A1 (zh) * 2019-04-29 2020-11-05 北京金山云网络技术有限公司 视频分类方法及其模型的训练方法、装置和电子设备
CN111915595A (zh) * 2020-08-06 2020-11-10 北京金山云网络技术有限公司 图像质量评价方法、图像质量评价模型的训练方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109685785A (zh) * 2018-12-20 2019-04-26 上海众源网络有限公司 一种图像质量评估方法、装置及电子设备
WO2020221278A1 (zh) * 2019-04-29 2020-11-05 北京金山云网络技术有限公司 视频分类方法及其模型的训练方法、装置和电子设备
CN110956615A (zh) * 2019-11-15 2020-04-03 北京金山云网络技术有限公司 图像质量评估模型训练方法、装置、电子设备及存储介质
CN111210426A (zh) * 2020-01-15 2020-05-29 浙江大学 一种基于非限制标准模板的图像质量评分方法
CN111915595A (zh) * 2020-08-06 2020-11-10 北京金山云网络技术有限公司 图像质量评价方法、图像质量评价模型的训练方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
翟翔宇;杨风暴;吉琳娜;李书强;吕红亮;: "标准化全连接残差网络空战目标威胁评估", 火力与指挥控制, no. 06 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113592807A (zh) * 2021-07-28 2021-11-02 北京世纪好未来教育科技有限公司 一种训练方法、图像质量确定方法及装置、电子设备
CN113592807B (zh) * 2021-07-28 2024-04-09 北京世纪好未来教育科技有限公司 一种训练方法、图像质量确定方法及装置、电子设备
CN113762609A (zh) * 2021-08-27 2021-12-07 浙江天垂科技有限公司 产品质量预测方法及装置
CN113810610A (zh) * 2021-09-16 2021-12-17 杭州海康威视数字技术股份有限公司 一种对象抓拍方法及装置
CN113962965A (zh) * 2021-10-26 2022-01-21 腾讯科技（深圳）有限公司 图像质量评价方法、装置、设备以及存储介质
CN113962965B (zh) * 2021-10-26 2023-06-09 腾讯科技（深圳）有限公司 图像质量评价方法、装置、设备以及存储介质
CN114444608A (zh) * 2022-02-08 2022-05-06 中国电信股份有限公司 数据集质量评估方法及装置、电子设备及存储介质
CN114444608B (zh) * 2022-02-08 2024-03-29 中国电信股份有限公司 数据集质量评估方法及装置、电子设备及存储介质
CN114219803A (zh) * 2022-02-21 2022-03-22 浙江大学 一种三阶段图像质量评估的检测方法与系统
CN114219803B (zh) * 2022-02-21 2022-07-15 浙江大学 一种三阶段图像质量评估的检测方法与系统
CN114913159A (zh) * 2022-05-23 2022-08-16 中国科学院深圳先进技术研究院 超声图像的质量评估方法、模型训练方法及电子设备
WO2024027660A1 (zh) * 2022-08-02 2024-02-08 京东方科技集团股份有限公司 一种图像质量评估方法、装置、设备及存储介质
CN115619427A (zh) * 2022-09-07 2023-01-17 中国电信股份有限公司 目标对象质量评估方法及装置、存储介质、电子设备
CN115619427B (zh) * 2022-09-07 2024-06-07 中国电信股份有限公司 目标对象质量评估方法及装置、存储介质、电子设备
CN116701923A (zh) * 2022-10-13 2023-09-05 荣耀终端有限公司 算子性能的评估方法和评估装置
CN116701923B (zh) * 2022-10-13 2024-05-17 荣耀终端有限公司 算子性能的评估方法和评估装置
CN116958122A (zh) * 2023-08-24 2023-10-27 北京东远润兴科技有限公司 Sar图像评估方法、装置、设备及可读存储介质
CN116958122B (zh) * 2023-08-24 2024-06-21 北京东远润兴科技有限公司 Sar图像评估方法、装置、设备及可读存储介质

Also Published As

Publication number Publication date
CN112950581B (zh) 2024-06-21

Similar Documents

Publication Publication Date Title
CN112950581B (zh) 质量评估方法、装置和电子设备
Zhang et al. Uncertainty-aware blind image quality assessment in the laboratory and wild
CN110070067B (zh) 视频分类方法及其模型的训练方法、装置和电子设备
CN109145784B (zh) 用于处理视频的方法和装置
CN111950723B (zh) 神经网络模型训练方法、图像处理方法、装置及终端设备
CN109376696B (zh) 视频动作分类的方法、装置、计算机设备和存储介质
CN110807757B (zh) 基于人工智能的图像质量评估方法、装置及计算机设备
CN110751649B (zh) 视频质量评估方法、装置、电子设备及存储介质
CN111539290B (zh) 视频动作识别方法、装置、电子设备及存储介质
CN111582150A (zh) 一种人脸质量评估的方法、装置和计算机存储介质
CN112488218A (zh) 图像分类方法、图像分类模型的训练方法和装置
CN111079816A (zh) 图像的审核方法、装置和服务器
CN111814620A (zh) 人脸图像质量评价模型建立方法、优选方法、介质及装置
CN111695421B (zh) 图像识别方法、装置及电子设备
CN109472193A (zh) 人脸检测方法及装置
Yang et al. No-reference quality assessment for screen content images using visual edge model and adaboosting neural network
CN111160110A (zh) 基于人脸特征和声纹特征识别主播的方法及装置
CN114282047A (zh) 小样本动作识别模型训练方法、装置、电子设备及存储介质
CN112950579A (zh) 图像质量评价方法、装置和电子设备
CN113962965A (zh) 图像质量评价方法、装置、设备以及存储介质
CN116977674A (zh) 图像匹配方法、相关设备、存储介质及程序产品
KAWAKAMI et al. Automated Color Image Arrangement Method Based on Histogram Matching-Investigation of Kansei impression between HE and HMGD
CN116152577B (zh) 图像分类方法及装置
CN112084954A (zh) 视频目标的检测方法、装置、电子设备及存储介质
CN115115552B (zh) 图像矫正模型训练及图像矫正方法、装置和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant