CN112950580A - 质量评价方法、质量评价模型的训练方法和装置 - Google Patents
质量评价方法、质量评价模型的训练方法和装置 Download PDFInfo
- Publication number
- CN112950580A CN112950580A CN202110222559.9A CN202110222559A CN112950580A CN 112950580 A CN112950580 A CN 112950580A CN 202110222559 A CN202110222559 A CN 202110222559A CN 112950580 A CN112950580 A CN 112950580A
- Authority
- CN
- China
- Prior art keywords
- quality evaluation
- scene
- network
- preset
- quality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013441 quality evaluation Methods 0.000 title claims abstract description 220
- 238000000034 method Methods 0.000 title claims abstract description 80
- 238000012549 training Methods 0.000 title claims abstract description 74
- 238000011156 evaluation Methods 0.000 claims abstract description 52
- 238000012163 sequencing technique Methods 0.000 claims description 12
- 238000001303 quality assessment method Methods 0.000 claims description 11
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Abstract
本发明提供了一种质量评价方法、质量评价模型的训练方法和装置，包括：将待评价对象输入至预先训练完成的、包含有场景分类网络和多个预设场景对应的质量评价网络的质量评价模型；基于场景分类网络对待评价对象的场景分类结果，从多个预设场景对应的质量评价网络中确定评价待评价对象的目标网络；通过目标网络对待评价对象进行质量评价，得到评价结果。该方式通过场景分类网络对待评价对象进行场景分类，并基于场景分类结果从多个预设场景对应的质量评价网络中选择与待评价对象所属场景相匹配的目标网络对待评价对象进行质量评价，使得该方式能够通过待评价对象所属场景选择相应的质量评价网络，从而提高了模型在不同场景下进行质量评价的精度。
Description
技术领域
本发明涉及图像处理技术领域，尤其是涉及一种质量评价方法、质量评价模型的训练方法和装置。
背景技术
相关技术中，针对图像或者视频的质量评价方法，通常通过不同场景下的样本训练得到的通用模型，对待处理的图像或者视频进行质量评价。由于不同场景下的图像或者视频的特征表现不一，虽然通过不同场景下的样本对模型进行训练，但该模型并不能在不同场景中达到最优效果，使得该方式的质量评价的精度较差。
发明内容
本发明的目的在于提供一种质量评价方法、质量评价模型的训练方法和装置，以提高不同场景下质量评价的精度。
第一方面，本发明提供了一种质量评价方法，该方法包括：将待评价对象输入至预先训练完成的质量评价模型中；其中，该质量评价模型包括场景分类网络和多个预设场景对应的质量评价网络；通过场景分类网络，对待评价对象进行场景分类，基于场景分类结果从多个预设场景对应的质量评价网络中确定用于评价待评价对象的目标网络；通过目标网络，对待评价对象进行质量评价，得到评价结果。
在可选的实施方式中，上述场景分类结果中包含有待评价对象属于每个预设场景的概率；上述基于场景分类结果从多个预设场景对应的质量评价网络中确定用于评价待评价对象的目标网络的步骤，包括：判断场景分类结果所包含的概率的最大值是否大于第一预设阈值；如果大于，将概率的最大值对应的预设场景，确定为目标场景；如果小于或者等于，从场景分类结果所包含的概率中，选取满足预设条件的多个概率，将选取的多个概率对应的预设场景，确定为目标场景；将目标场景对应的质量评价网络确定为目标网络。
在可选的实施方式中，上述从场景分类结果所包含的概率中，选取满足预设条件的多个概率，将选取的多个概率对应的预设场景，确定为目标场景的步骤，包括：对场景分类结果所包含的概率从大到小进行排序，得到排序结果；从排序结果中排序靠前的概率开始，选取概率加和大于第二预设阈值的预设数量的概率；将预设数量的概率对应的预设场景，确定为目标场景。
在可选的实施方式中，上述目标网络包括多个；上述通过目标网络，对待评价对象进行质量评价，得到评价结果的步骤，包括：针对每个目标网络，通过当前目标网络对待评价对象进行质量评价，得到当前目标网络对应的评价结果；基于每个目标网络对应的评价结果，确定最终的评价结果。
在可选的实施方式中，上述基于每个目标网络对应的评价结果，确定最终的评价结果的步骤，包括：对每个目标网络对应的评价结果进行加权后求和，将求和结果确定为最终的评价结果。
第二方面，本发明提供了一种质量评价模型的训练方法，该训练方法包括：获取样本集；其中，样本集中包含有多个样本，每个样本均携带有场景类别标签和质量评分标签；其中，该场景类别标签用于指示多个预设场景中的一个场景；基于样本集，对质量评价模型的初始模型进行训练，得到质量评价模型；其中，该质量评价模型包括场景分类网络和多个预设场景对应的质量评价网络。
在可选的实施方式中，上述初始模型包括第一初始网络和第二初始网络；上述基于样本集，对质量评价模型的初始模型进行训练，得到质量评价模型的步骤，包括：基于样本集中的样本和样本携带的场景类别标签，对第一初始网络进行训练，得到场景分类网络；基于样本集中的样本和样本携带的质量评分标签，对第二初始网络进行训练，得到中间模型；针对样本集中每个预设场景对应的样本，分别对中间模型进行训练，得到每个预设场景对应的质量评价网络。
第三方面，本发明提供了一种质量评价装置，该装置包括：对象输入模块，用于将待评价对象输入至预先训练完成的质量评价模型中；其中，质量评价模型包括场景分类网络和多个预设场景对应的质量评价网络；质量评价模块，用于通过场景分类网络，对待评价对象进行场景分类，基于场景分类结果从多个预设场景对应的质量评价网络中确定用于评价待评价对象的目标网络；通过目标网络，对待评价对象进行质量评价，得到评价结果。
第四方面，本发明提供一种质量评价模型的训练装置，该训练装置包括：样本集获取模块，用于获取样本集；其中，该样本集中包含有多个样本，每个样本均携带有场景类别标签和质量评分标签；其中，场景类别标签用于指示多个预设场景中的一个场景；模型训练模块，用于基于样本集，对质量评价模型的初始模型进行训练，得到质量评价模型；其中，该质量评价模型包括场景分类网络和多个预设场景对应的质量评价网络。
第五方面，本发明提供了一种电子设备，该电子设备包括处理器和存储器，该存储器存储有能够被处理器执行的机器可执行指令，该处理器执行机器可执行指令以实现前述实施方式任一项所述的质量评价方法或者前述实施方式任一项所述的质量评价模型的训练方法。
第六方面，本发明提供了一种机器可读存储介质，该机器可读存储介质存储有机器可执行指令，该机器可执行指令在被处理器调用和执行时，该机器可执行指令促使处理器实现前述实施方式任一项所述的质量评价方法或者前述实施方式任一项所述的质量评价模型的训练方法。
本发明实施例带来了以下有益效果：
本发明提供的一种质量评价方法、质量评价模型的训练方法和装置，首先将待评价对象输入至预先训练完成的质量评价模型的场景分类网络中，该质量评价模型包括场景分类网络和多个预设场景对应的质量评价网络；进而通过该场景分类网络，对待评价对象进行场景分类，基于场景分类结果从多个预设场景对应的质量评价网络中确定用于评价待评价对象的目标网络；然后通过目标网络，对待评价对象进行质量评价，得到评价结果。该方式通过场景分类网络对待评价对象进行场景分类，并基于场景分类结果从多个预设场景对应的质量评价网络中选择与待评价对象所属场景相匹配的目标网络对待评价对象进行质量评价，使得该方式能够通过待评价对象所属场景选择相应的质量评价网络，从而提高了模型在不同场景下进行质量评价的精度。
本发明的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本发明的上述技术即可得知。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施方式，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种质量评价方法的流程图；
图2为本发明实施例提供的另一种质量评价方法的流程图；
图3为本发明实施例提供的一种质量评价模型的网络结构示意图；
图4为本发明实施例提供的一种质量评价模型的训练方法的流程图；
图5为本发明实施例提供的一种质量评价装置的结构示意图；
图6为本发明实施例提供的一种质量评价模型的训练装置的结构示意图；
图7为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
数字图像或视频作为可视化和信息交互的重要媒介，在视频会议、电视广播等行业中获得了广泛的发展。而且，随着互联网和多媒体等技术水平的不断提高，人们对各种信息的需求也越来越大。然而，在图像或视频采集、编码、传输等环节中图像或视频通常面临着很多质量损失。这些损失通常会导致视频质量或图像质量的显著下降，低质量图像或低质量视频会严重降低人眼视觉观感，因此，如何有效地评估图像或视频的质量具有非常重要的意义。
相关技术中，针对图像或者视频的质量评价方法，通常通过不同场景下的样本训练得到的通用模型，对待处理的图像或者视频进行质量评价。由于不同场景的视频或图像，即便是有相同级别的画质损失，比如加入相同的人为噪声等，其质量也会有较大差别；另一方面，由于不同场景的视频或图像的特征不一样，同样质量但不同场景的视频或图像，其细节纹理、噪声、色彩等质量也表现为较大的差异，比如同样质量的风景画和静态的水面，风景画的细节较为丰富，而较好质量的静态水面则细节较为平坦。虽然该方式通过不同场景下的样本对模型进行训练，但该通用模型并不能在不同场景中达到最优效果，使得该方式的质量评价的精度较差。
基于上述问题，本发明实施例提供了一种质量评价方法、质量评价模型的训练方法和装置，该技术可以应用于各种图像或者视频的质量评价场景中。为便于对本实施例进行理解，首先对本发明实施例所公开的一种质量评价方法进行详细介绍，如图1所示，该方法包括如下步骤：
步骤S102，将待评价对象输入至预先训练完成的质量评价模型中；其中，质量评价模型包括场景分类网络和多个预设场景对应的质量评价网络。
上述待评价对象可以是通过照相机拍摄的图片或者照片，也可以是从特定的视频文件得到的某一视频帧，还可以是通过摄像机录制的视频或者指定的视频文件等。在具体实现时，可以通过下述方式获取待评价对象：通过通信连接的照相机、摄像头等设备拍摄后传入，或从存储有已经拍摄完成的图像或者视频的存储设备中获取；在获取到待评价对象后，将该待评价对象输入至预先训练完成的质量评价模型中。
上述质量评价模型包括一个场景分类网络和多个预设场景对应的质量评价网络，其中，每个预设场景对应的质量评价网络均与场景分类网络连接。上述场景分类网络主要用于对输入对象进行场景分类，并基于场景分类结果选择相应的质量评价网络。每个预设场景对应的质量评价网络均用于对输入对象进行质量评价，得到质量评价的分数。
上述预设场景可以包括任意场景，例如，多个预设场景可以包括：游戏场景、动漫场景、综艺场景、影视场景、短视频场景或者直播场景等。多个预设场景中具体包含有哪些场景可以根据用户需求设定，在此不做具体限定。
步骤S104，通过场景分类网络，对待评价对象进行场景分类，基于场景分类结果从多个预设场景对应的质量评价网络中确定用于评价待评价对象的目标网络；通过目标网络，对待评价对象进行质量评价，得到评价结果。
上述质量评价模型可以是深度学习模型或者神经网络模型等。该质量评价模型可以是通过预设的样本集采用机器学习的方式训练得到的。在具体实现时，在质量评价模型接收到待评价对象时，首先将该待评价对象输入到场景分类网络中，以通过场景分类网络识别待评价对象所包含的场景，也即是识别待评价对象来源于哪个预设场景，或者来源于多个预设场景中每个预设场景的概率，从而得到待评价对象对应的场景分类结果。该场景分类网络还用于：根据该场景分类结果，确定需要使用哪个预设场景对应的质量评价网络对待评价对象进行质量评价，将需要使用的质量评价网络确定为目标网络，并将待评价对象输入至目标网络。目标网络接收到待评价对象后，会对该待评价对象进行质量评价，进而得到待评价对象的评价结果。
上述场景分类网络确定需要使用哪个预设场景对应的质量评价网络对待评价对象进行质量评价的策略，可以根据研发需求进行设定，例如，该策略可以是选择场景分类结果中，概率最大的场景对应的质量评价网络，也可以是选择场景分类结果中概率较大的前几个场景对应的质量评价网络。
本发明实施例提供的一种质量评价方法，首先将待评价对象输入至预先训练完成的质量评价模型的场景分类网络中，该质量评价模型包括场景分类网络和多个预设场景对应的质量评价网络；进而通过该场景分类网络，对待评价对象进行场景分类，基于场景分类结果从多个预设场景对应的质量评价网络中确定用于评价待评价对象的目标网络；然后通过目标网络，对待评价对象进行质量评价，得到评价结果。该方式通过场景分类网络对待评价对象进行场景分类，并基于场景分类结果从多个预设场景对应的质量评价网络中选择与待评价对象所属场景相匹配的目标网络对待评价对象进行质量评价，使得该方式能够通过待评价对象所属场景选择相应的质量评价网络，从而提高了模型在不同场景下进行质量评价的精度。
本发明实施例还提供了另一种质量评价方法，该方法在上述实施例方法的基础上实现；该方法重点描述基于场景分类结果从多个预设场景对应的质量评价网络中确定用于评价待评价对象的目标网络的具体过程(通过下述步骤S206-S212实现)；如图2所示，该方法包括如下具体步骤：
步骤S202，将待评价对象输入至预先训练完成的质量评价模型中；其中，质量评价模型包括场景分类网络和多个预设场景对应的质量评价网络。
在具体实现时，上述多个预设场景可以为5个，包括：游戏场景、动漫场景、综艺场景、影视场景和短视频场景，基于此，质量评价模型的网络结构可以为图3所示的网络结构，该图3所示的质量评价模型中包含有一个场景分类网络和5个预设场景对应的质量评价网络。
步骤S204，通过场景分类网络，对待评价对象进行场景分类，得到场景分类结果；该场景分类结果包含有待评价对象属于每个预设场景的概率。
上述场景分类结果中包含有评价对象属于多个预设场景中的每个预设场景的概率；场景分类结果中多个预设场景下的每个预设场景的概率的和为一。例如，多个预设场景为上述5个场景时，那么场景分类结果中包括：评价对象属于游戏场景的概率为0.4，属于动漫场景的概率为0.3，属于综艺场景的概率为0.1，属于影视场景的概率为0.1，属于短视频场景的概率为0.1。在具体实现时，上述概率也可以称为分类置信度。
步骤S206，通过场景分类网络，判断场景分类结果所包含的概率的最大值是否大于第一预设阈值；如果是，执行步骤S208；否则，执行步骤S210。
步骤S208，将概率的最大值对应的预设场景，确定为目标场景；执行步骤S212。
上述第一预设阈值可以根据用户需求设置，例如，可以设置为0.5、0.7或者0.9等。如果场景分类结果所包含的概率的最大值大于第一预设阈值，将该概率的最大值对应的预设场景，确定为待评价对象所包含的目标场景。此时，目标场景为一个。
步骤S210，从场景分类结果所包含的概率中，选取满足预设条件的多个概率，将选取的多个概率对应的预设场景，确定为目标场景；执行步骤S212。
如果场景分类结果所包含的概率的最大值小于或者等于第一预设阈值，从场景分类结果所包含的概率中，选取满足预设条件的多个概率，将选取的多个概率对应的预设场景，确定为待评价对象所包含的目标场景，此时，该目标场景为多个。上述预设条件可以根据用户需求进行设定，该预设条件可以是选取概率值较大的前N(N为正整数，可以根据用户需求设定)个概率，也可以是将概率按从大到小排序后，前M(M为正整数)个概率值的和大于指定概率值的M个概率。
在具体实现时，上述步骤S210可以通过下述步骤10-12实现：
步骤10，对场景分类结果所包含的概率从大到小进行排序，得到排序结果。也即是该排序结果中包含有按照从大到小的顺序进行排序的概率。
步骤11，从排序结果中排序靠前的概率开始，选取概率加和大于第二预设阈值的预设数量的概率。
步骤12，将预设数量的概率对应的预设场景，确定为目标场景。
上述第二预设阈值可以与第一预设阈值相同，也可以不同；该第二预设阈值可以根据用户需求设置，例如，可以设置为0.5、0.8或者0.9等。在具体实现时，可以选取排序结果中排序靠前的前两个概率，计算这前两个概率的和是否大于第二预设阈值，如果是，将这两个概率对应的预设场景设定为目标场景；如果不大于，选取排序结果中排序靠前的前三个概率，计算这三个概率的和是否大于预设阈值，如果大于，将这三个概率对应的预设场景设定为目标场景；如果不大于，继续选取排序结果中排序靠前的前四个概率，直到选取的概率的加和大于第二预设阈值。
上述预设数量可以是用户设定的数量，也可以是从排序结果中排序靠前的概率开始，选取概率加和大于第二预设阈值的概率的数量。
步骤S212，将上述目标场景对应的质量评价网络确定为目标网络。
为了便于对本发明实施例进行理解，下面以预设场景的类别数目为n为例，对本发明实施例进行详细介绍，如果场景分类网络得到的场景分类结果所包含的概率的最大值大于0.5(相当于第一预设阈值)，即待评价对象属于某个场景的概率大于剩余所有的概率的和，则选择概率的最大值对应的预设场景的质量评价网络，对待评价对象进行质量评价预测；否则将n个预设场景对应的概率按从大到小的顺序进行排序，排序后选择前M个概率的和大于0.5(相当于上述第一预设阈值)的M个预设场景对应的质量评价网络，然后使用这M个质量评价网络对待评价对象进行质量评价预测。
步骤S214，通过目标网络对待评价对象进行质量评价，得到评价结果。
在具体实现时，当目标网络包括多个时，上述步骤S214可以通过下述步骤20-21实现：
步骤20，针对每个目标网络，通过当前目标网络对待评价对象进行质量评价，得到当前目标网络对应的评价结果。
步骤21，基于每个目标网络对应的评价结果，确定最终的评价结果。
上述确定最终的评价的方式包括但不限于下述方式：对每个目标网络对应的评价结果进行加权后求和，将求和结果确定为最终的评价结果。具体地，针对于每个目标网络对应的评价结果的加权值，可以根据用户需求设定；也可以根据场景分类结果中每个目标网络对应的预设场景的概率确定；还可以将每个目标网络对应的评价结果的加权值均设置为1/n，其中，n为目标网络的总数。
上述质量评价方法，首先将待评价对象输入至场景分类网络，通过场景分类网络对待评价对象进行场景分类，得到场景分类结果和判断场景分类结果所包含的概率的最大值是否大于第一预设阈值；如果大于，将概率的最大值对应的预设场景，确定为目标场景；如果不大于，从场景分类结果所包含的概率中，选取满足预设条件的多个概率，将选取的多个概率对应的预设场景，确定为目标场景；进而，将目标场景对应的质量评价网络确定为目标网络；然后通过目标网络对待评价对象进行质量评价，得到评价结果。该方式能够根据视频或图像的场景分类结果选择相应场景的质量评价网络进行质量预测，从而改善了相关技术中通用模型在不同场景下的算法精度差的问题。
针对于上述质量评价方法，本发明实施例还提供了一种质量评价模型的训练方法，如图4所示，该训练方法包括如下具体步骤：
步骤S402，获取样本集；其中，该样本集中包含有多个样本，每个样本均携带有场景类别标签和质量评分标签；其中，该场景类别标签用于指示多个预设场景中的一个场景。
上述样本可以是图像或者视频，每个样本均携带有场景类别标签，该场景类别标签用于指示样本属于预设场景中的哪个一个场景，该预设场景可以根据用户需求设定。上述质量评分标签用于指示样本的质量评价分数。
步骤S404，基于上述样本集，对质量评价模型的初始模型进行训练，得到质量评价模型；其中，该质量评价模型包括场景分类网络和多个预设场景对应的质量评价网络。
在具体实现时，上述质量评价模型的初始模型包括第一初始网络和第二初始网络；上述步骤S404可以通过下述步骤30-32实现：
步骤30，基于样本集中的样本和样本携带的场景类别标签，对第一初始网络进行训练，得到场景分类网络。
在具体实现时，首先从样本集中确定训练样本，将该训练样本输入至第一初始网络中，得到第一输出结果，该第一输出结果中包含有预测概率最大的预设场景，该预设场景也即是预测的训练样本所属的场景；根据该第一输出结果与训练样本的场景类别标签的差距，确定第一损失值，基于该第一损失值更新第一初始网络的权重参数；继续执行从样本集中确定训练样本的步骤，直到训练后的第一初始网络收敛或者达到预设的训练次数，得到场景分类网络。
得到场景分类网络后，将基于场景分类结果选择需要使用的质量评价网络的策略添加至场景分类网络中，得到最终的场景分类结果。
步骤31，基于样本集中的样本和样本携带的质量评分标签，对第二初始网络进行训练，得到中间模型。
在具体实现时，首先从样本集中确定目标样本，将该目标样本输入至第二初始网络中，得到第二输出结果，该第一输出结果中包含预测的目标样本的质量评价分数；根据该第二输出结果与目标样本的质量评分标签的差距，确定第二损失值，基于该第二损失值更新第二初始网络的权重参数；继续执行从样本集中确定目标样本的步骤，直到训练后的第二初始网络收敛或者达到预设的训练次数，得到中间模型，该中间模型也即是一个在所有场景中相对通用的质量评价网络。
步骤32，针对样本集中每个预设场景对应的样本，分别对中间模型进行训练，得到每个预设场景对应的质量评价网络。
根据样本集中每个样本携带的场景类别标签，将属于同一类别的样本划分到同一个样本集合中，则可以得到每个预设场景对应的样本集合；然后基于每个预设场景对应的样本集合中的样本，分别对中间模型进行微调训练，可以得到每个预设场景对应的质量评价网络。
以预设场景为游戏场景为例，对得到游戏场景对应的质量评价网络进行详细介绍。首先从游戏场景对应的样本集合中确定目标样本，将该目标样本输入至中间模型中，得到第三输出结果，该第三输出结果中包含有预测的目标样本的质量评价分数；根据该第三输出结果与目标样本的质量评分标签的差距，确定第三损失值，基于该第三损失值更新中间模型的权重参数；继续执行从游戏场景对应的样本集合中确定目标样本的步骤，直到训练后的中间模型收敛或者达到预设的训练次数，得到游戏场景对应的质量评价网络。
上述质量评价方法，首先获取样本集；其中，该样本集中包含有多个样本，每个样本均携带有场景类别标签和质量评分标签；其中，该场景类别标签用于指示多个预设场景中的一个场景；然后基于上述样本集，对质量评价模型的初始模型进行训练，得到质量评价模型；其中，该质量评价模型包括场景分类网络和多个预设场景对应的质量评价网络。该方式，训练多个预设场景对应的质量评价网络，可以在使用模型时，针对不同场景使用不同的质量模型进行质量评价，从而不仅可以提升模型的泛化性，还可以提升模型的质量评价能力。
针对于上述质量评价方法的实施例，本发明实施例提供了一种质量评价装置，如图5所示，该装置包括：
对象输入模块50，用于将待评价对象输入至预先训练完成的质量评价模型中；其中，该质量评价模型包括场景分类网络和多个预设场景对应的质量评价网络。
质量评价模块51，用于通过场景分类网络，对待评价对象进行场景分类，基于场景分类结果从多个预设场景对应的质量评价网络中确定用于评价待评价对象的目标网络；通过目标网络，对待评价对象进行质量评价，得到评价结果。
上述质量评价装置，首先将待评价对象输入至预先训练完成的质量评价模型的场景分类网络中，该质量评价模型包括场景分类网络和多个预设场景对应的质量评价网络；进而通过该场景分类网络，对待评价对象进行场景分类，基于场景分类结果从多个预设场景对应的质量评价网络中确定用于评价待评价对象的目标网络；然后通过目标网络，对待评价对象进行质量评价，得到评价结果。该方式通过场景分类网络对待评价对象进行场景分类，并基于场景分类结果从多个预设场景对应的质量评价网络中选择与待评价对象所属场景相匹配的目标网络对待评价对象进行质量评价，使得该方式能够通过待评价对象所属场景选择相应的质量评价网络，从而提高了模型在不同场景下进行质量评价的精度。
具体地，上述场景分类结果中包含有待评价对象属于每个预设场景的概率；上述质量评价模块51，包括：判断模块，用于判断场景分类结果所包含的概率的最大值是否大于第一预设阈值；场景确定模块，用于如果大于，将概率的最大值对应的预设场景，确定为目标场景；场景确定模块，还用于如果小于或者等于，从场景分类结果所包含的概率中，选取满足预设条件的多个概率，将选取的多个概率对应的预设场景，确定为目标场景；网络确定模块，用于将目标场景对应的质量评价网络确定为目标网络。
进一步地，上述场景确定模块，还用于：如果小于或者等于，对场景分类结果所包含的概率从大到小进行排序，得到排序结果；从排序结果中排序靠前的概率开始，选取概率加和大于第二预设阈值的预设数量的概率；将预设数量的概率对应的预设场景，确定为目标场景。
在具体实现时，上述目标网络包括多个；上述质量评价模块51，还用于：针对每个目标网络，通过当前目标网络对待评价对象进行质量评价，得到当前目标网络对应的评价结果；基于每个目标网络对应的评价结果，确定最终的评价结果。
进一步地，上述质量评价模块51，还用于：对每个目标网络对应的评价结果进行加权后求和，将求和结果确定为最终的评价结果。
本发明实施例所提供的质量评价装置，其实现原理及产生的技术效果和前述质量评价方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
针对于上述质量评价模型的训练方法的实施例，本发明实施例提供了一种质量评价模型的训练装置，如图6所示，该训练装置包括：
样本集获取模块60，用于获取样本集；其中，该样本集中包含有多个样本，每个样本均携带有场景类别标签和质量评分标签；其中，场景类别标签用于指示多个预设场景中的一个场景。
模型训练模块61，用于基于样本集，对质量评价模型的初始模型进行训练，得到质量评价模型；其中，该质量评价模型包括场景分类网络和多个预设场景对应的质量评价网络。
上述质量评价模型的训练装置，首先获取样本集；其中，该样本集中包含有多个样本，每个样本均携带有场景类别标签和质量评分标签；其中，该场景类别标签用于指示多个预设场景中的一个场景；然后基于上述样本集，对质量评价模型的初始模型进行训练，得到质量评价模型；其中，该质量评价模型包括场景分类网络和多个预设场景对应的质量评价网络。该方式，训练多个预设场景对应的质量评价网络，可以在使用模型时，针对不同场景使用不同的质量模型进行质量评价，从而不仅可以提升模型的泛化性，还可以提升模型的质量评价能力。
具体地，上述初始模型包括第一初始网络和第二初始网络；上述模型训练模块61，还用于：基于样本集中的样本和样本携带的场景类别标签，对第一初始网络进行训练，得到场景分类网络；基于样本集中的样本和样本携带的质量评分标签，对第二初始网络进行训练，得到中间模型；针对样本集中每个预设场景对应的样本，分别对中间模型进行训练，得到每个预设场景对应的质量评价网络。
本发明实施例所提供的质量评价模型的训练装置，其实现原理及产生的技术效果和前述质量评价模型的训练方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
本发明实施例还提供了一种电子设备，如图7所示，该电子设备包括处理器101和存储器100，该存储器100存储有能够被处理器101执行的机器可执行指令，该处理器101执行机器可执行指令以实现上述质量评价方法或者上述质量评价模型的训练方法。
进一步地，图7所示的电子设备还包括总线102和通信接口103，处理器101、通信接口103和存储器100通过总线102连接。
其中，存储器100可能包含高速随机存取存储器(RAM，RandomAccessMemory)，也可能还包括非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器。通过至少一个通信接口103(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线102可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
处理器101可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器，包括中央处理器(CentralProcessingUnit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器100，处理器101读取存储器100中的信息，结合其硬件完成前述实施例的方法的步骤。
本发明实施例还提供了一种机器可读存储介质，该机器可读存储介质存储有机器可执行指令，该机器可执行指令在被处理器调用和执行时，该机器可执行指令促使处理器实现上述质量评价方法或者上述质量评价模型的训练方法。
本发明实施例所提供的质量评价方法、质量评价模型的训练方法和装置的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (11)
1.一种质量评价方法，其特征在于，所述方法包括：
将待评价对象输入至预先训练完成的质量评价模型中；其中，所述质量评价模型包括场景分类网络和多个预设场景对应的质量评价网络；
通过所述场景分类网络，对所述待评价对象进行场景分类，基于场景分类结果从所述多个预设场景对应的质量评价网络中确定用于评价所述待评价对象的目标网络；通过所述目标网络，对所述待评价对象进行质量评价，得到评价结果。
2.根据权利要求1所述的方法，其特征在于，所述场景分类结果中包含有所述待评价对象属于每个所述预设场景的概率；
所述基于场景分类结果从所述多个预设场景对应的质量评价网络中确定用于评价所述待评价对象的目标网络的步骤，包括：
判断所述场景分类结果所包含的概率的最大值是否大于第一预设阈值；
如果大于，将所述概率的最大值对应的预设场景，确定为目标场景；
如果小于或者等于，从所述场景分类结果所包含的概率中，选取满足预设条件的多个概率，将选取的多个概率对应的预设场景，确定为目标场景；
将所述目标场景对应的质量评价网络确定为目标网络。
3.根据权利要求2所述的方法，其特征在于，所述从所述场景分类结果所包含的概率中，选取满足预设条件的多个概率，将选取的多个概率对应的预设场景，确定为目标场景的步骤，包括：
对所述场景分类结果所包含的概率从大到小进行排序，得到排序结果；
从所述排序结果中排序靠前的概率开始，选取概率加和大于第二预设阈值的预设数量的概率；
将所述预设数量的概率对应的预设场景，确定为所述目标场景。
4.根据权利要求1所述的方法，其特征在于，所述目标网络包括多个；
所述通过所述目标网络，对所述待评价对象进行质量评价，得到评价结果的步骤，包括：
针对每个所述目标网络，通过当前目标网络对所述待评价对象进行质量评价，得到所述当前目标网络对应的评价结果；
基于每个所述目标网络对应的评价结果，确定最终的评价结果。
5.根据权利要求4所述的方法，其特征在于，基于每个所述目标网络对应的评价结果，确定最终的评价结果的步骤，包括：
对每个所述目标网络对应的评价结果进行加权后求和，将求和结果确定为最终的评价结果。
6.一种质量评价模型的训练方法，其特征在于，所述训练方法包括：
获取样本集；其中，所述样本集中包含有多个样本，每个样本均携带有场景类别标签和质量评分标签；其中，所述场景类别标签用于指示多个预设场景中的一个场景；
基于所述样本集，对所述质量评价模型的初始模型进行训练，得到所述质量评价模型；其中，所述质量评价模型包括场景分类网络和多个预设场景对应的质量评价网络。
7.根据权利要求6所述的训练方法，其特征在于，所述初始模型包括第一初始网络和第二初始网络；
所述基于所述样本集，对所述质量评价模型的初始模型进行训练，得到所述质量评价模型的步骤，包括：
基于所述样本集中的样本和所述样本携带的场景类别标签，对所述第一初始网络进行训练，得到所述场景分类网络；
基于所述样本集中的样本和所述样本携带的质量评分标签，对所述第二初始网络进行训练，得到中间模型；
针对样本集中每个预设场景对应的样本，分别对所述中间模型进行训练，得到每个预设场景对应的质量评价网络。
8.一种质量评价装置，其特征在于，所述装置包括：
对象输入模块，用于将待评价对象输入至预先训练完成的质量评价模型中；其中，所述质量评价模型包括场景分类网络和多个预设场景对应的质量评价网络；
质量评价模块，用于通过所述场景分类网络，对所述待评价对象进行场景分类，基于场景分类结果从所述多个预设场景对应的质量评价网络中确定用于评价所述待评价对象的目标网络；通过所述目标网络，对所述待评价对象进行质量评价，得到评价结果。
9.一种质量评价模型的训练装置，其特征在于，所述训练装置包括：
样本集获取模块，用于获取样本集；其中，所述样本集中包含有多个样本，每个样本均携带有场景类别标签和质量评分标签；其中，所述场景类别标签用于指示多个预设场景中的一个场景；
模型训练模块，用于基于所述样本集，对所述质量评价模型的初始模型进行训练，得到所述质量评价模型；其中，所述质量评价模型包括场景分类网络和多个预设场景对应的质量评价网络。
10.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以实现权利要求1至5任一项所述的质量评价方法或者权利要求6至7任一项所述的质量评价模型的训练方法。
11.一种机器可读存储介质，其特征在于，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，所述机器可执行指令促使处理器实现权利要求1至5任一项所述的质量评价方法或者权利要求6至7任一项所述的质量评价模型的训练方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110222559.9A CN112950580A (zh) | 2021-02-25 | 2021-02-25 | 质量评价方法、质量评价模型的训练方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110222559.9A CN112950580A (zh) | 2021-02-25 | 2021-02-25 | 质量评价方法、质量评价模型的训练方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112950580A true CN112950580A (zh) | 2021-06-11 |
Family
ID=76246786
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110222559.9A Pending CN112950580A (zh) | 2021-02-25 | 2021-02-25 | 质量评价方法、质量评价模型的训练方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112950580A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114462901A (zh) * | 2022-04-13 | 2022-05-10 | 石家庄科林物联网科技有限公司 | 有源配电网电能质量评价方法、装置、终端及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018192245A1 (zh) * | 2017-04-19 | 2018-10-25 | 中国电子科技集团公司电子科学研究院 | 一种基于美学评价的照片自动评分方法 |
| CN111582371A (zh) * | 2020-05-07 | 2020-08-25 | 广州视源电子科技股份有限公司 | 一种图像分类网络的训练方法、装置、设备及存储介质 |
| CN111753092A (zh) * | 2020-06-30 | 2020-10-09 | 深圳创新奇智科技有限公司 | 一种数据处理方法、模型训练方法、装置及电子设备 |
-
2021
- 2021-02-25 CN CN202110222559.9A patent/CN112950580A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018192245A1 (zh) * | 2017-04-19 | 2018-10-25 | 中国电子科技集团公司电子科学研究院 | 一种基于美学评价的照片自动评分方法 |
| CN111582371A (zh) * | 2020-05-07 | 2020-08-25 | 广州视源电子科技股份有限公司 | 一种图像分类网络的训练方法、装置、设备及存储介质 |
| CN111753092A (zh) * | 2020-06-30 | 2020-10-09 | 深圳创新奇智科技有限公司 | 一种数据处理方法、模型训练方法、装置及电子设备 |
Non-Patent Citations (1)
| Title |
|---|
| 程晓梅;沈远彤;: "双目标的CNN无参考图像质量评价方法", 计算机工程与应用, no. 09 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114462901A (zh) * | 2022-04-13 | 2022-05-10 | 石家庄科林物联网科技有限公司 | 有源配电网电能质量评价方法、装置、终端及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110766096B (zh) | 视频分类方法、装置及电子设备 | |
| CN111163338B (zh) | 视频清晰度评估模型训练方法、视频推荐方法及相关装置 | |
| CN112950581A (zh) | 质量评估方法、装置和电子设备 | |
| CN112312231B (zh) | 一种视频图像编码方法、装置、电子设备及介质 | |
| CN112488218A (zh) | 图像分类方法、图像分类模型的训练方法和装置 | |
| CN110856037B (zh) | 一种视频封面确定方法、装置、电子设备及可读存储介质 | |
| CN110211119B (zh) | 图像质量评估方法、装置、电子设备及可读存储介质 | |
| CN109508406B (zh) | 一种信息处理方法、装置及计算机可读存储介质 | |
| CN109756746A (zh) | 视频审核方法、装置、服务器及存储介质 | |
| CN112584232A (zh) | 视频插帧方法、装置及服务器 | |
| CN111696105B (zh) | 视频处理方法、装置和电子设备 | |
| CN112950579A (zh) | 图像质量评价方法、装置和电子设备 | |
| CN111182332B (zh) | 视频处理方法、装置、服务器及存储介质 | |
| CN112950580A (zh) | 质量评价方法、质量评价模型的训练方法和装置 | |
| CN113420871B (zh) | 图像质量的评估方法、装置、存储介质及电子装置 | |
| CN108985244B (zh) | 一种电视节目类型识别方法及装置 | |
| CN111046747A (zh) | 人群计数模型的训练方法、人群计数方法、装置和服务器 | |
| CN108665455B (zh) | 图像显著性预测结果的评价方法和装置 | |
| Chen et al. | Multiclass live streaming video quality classification based on convolutional neural networks | |
| CN113420809A (zh) | 视频质量评价方法、装置和电子设备 | |
| CN112668504A (zh) | 动作识别方法、装置及电子设备 | |
| CN114120053A (zh) | 图像处理方法、网络模型的训练方法、装置和电子设备 | |
| CN111046232A (zh) | 一种视频分类方法、装置及系统 | |
| CN113436161A (zh) | 即时通信视频的处理方法、装置和电子设备 | |
| CN112804587B (zh) | 基于观看人数序列的视频质检方法、装置及计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |