CN112104863A - 视频质量评测模型训练、视频质量评测的方法和相关装置 - Google Patents

Abstract

本申请公开了一种视频质量评测模型训练、视频质量评测的方法和相关装置。视频质量评测模型训练方法包括：针对第一训练视频集合中未标注质量分数的第一训练视频，利用编码器集合中不同编码器和编码器的各个编码参数的不同数值进行编码，获得多个编码失真视频对、每个编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级；基于上述数据对孪生网络进行模型训练，将训练好的孪生网络中任意一个分支网络作为预训练模型；利用第二训练视频集合中标注质量分数的第二训练视频，对预训练模型进行微调训练，将训练好的预训练模型作为视频质量评测模型。视频质量评测方法包括：获得待评测编码失真视频输入视频质量评测模型获得第一质量评测分数。

Description

视频质量评测模型训练、视频质量评测的方法和相关装置

技术领域

本申请涉及视频处理技术领域，尤其涉及一种视频质量评测模型训练、视频质量评测的方法和相关装置。

背景技术

随着多媒体技术的快速发展，多媒体数据呈现爆炸式增长。视频作为信息传播的主要载体，从视频采集到播放通常面临着很多信息失真，尤其是编码失真。不同强度的编码失真影响视频的质量，在实际应用中，编码失真视频质量评测尤为重要。

目前，视频的质量评测一般采用无参考视频质量评测方法，而无参考视频质量评测方法主要分为传统方法和深度学习方法这两类方法。其中，深度学习方法相较于传统方法的更为便捷、质量评测效果更好，其是指对标注训练集进行深度学习获得视频质量评测模型，利用该视频质量评测模型实现编码失真视频质量评测。

但是，上述深度学习方法通常需要构建一个大规模的标注训练集，该标注训练集包括大量标注质量分数的训练视频，标注质量分数需要耗费很多人力精力等等。即，当标注训练集的规模较小时，采用上述深度学习方法，导致视频质量评测模型的训练效果不佳，从而导致编码失真视频质量评测效果不佳。

发明内容

有鉴于此，本申请实施例提供一种视频质量评测模型训练、视频质量评测的方法和相关装置，即使标注训练集的规模较小，采用该方法使得视频质量评测模型的训练效果更好。

第一方面，本申请实施例提供了一种视频质量评测模型训练的方法，所述方法包括：

利用编码器集合中不同编码器和所述编码器的各个编码参数的不同数值，对第一训练视频集合中未标注质量分数的第一训练视频进行编码，获得多个编码失真视频对、每个所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级；

基于每个所述编码失真视频对、该编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级，对孪生网络进行模型训练，将训练好的孪生网络中任意一个分支网络作为预训练模型；

利用第二训练视频集合中标注质量分数的第二训练视频，对所述预训练模型进行微调训练，将训练好的预训练模型作为视频质量评测模型；所述第二训练视频集合中所述第二训练视频的数量小于预设数量。

可选的，所述利用编码器集合中不同编码器和所述编码器的各个编码参数的不同数值，对第一训练视频集合中未标注质量分数的第一训练视频进行编码，获得多个编码失真视频对、每个所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级，包括：

基于所述编码器集合、各个所述编码参数和所述第一训练视频集合、确定目标编码器、目标编码参数和目标训练视频；

以保持所述目标编码器的其他编码参数的数值不变，单调变化所述目标编码器的所述目标编码参数的数值，对所述目标训练视频进行多次编码；所述其他编码参数是各个所述编码参数中除所述目标编码参数之外的编码参数；

遍历所述编码器集合中每个所述编码器、各个所述编码参数中每个所述编码参数和所述第一训练视频集合中每个所述第一训练视频，重复上述步骤获得多个所述编码失真视频对、每个所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级。

可选的，所述编码器集合包括H264、H265和AV1中多个编码器；各个所述编码参数包括编码速度、固定速率系数和编码码率中多个编码参数。

可选的，所述基于每个所述编码失真视频对、该编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级，对孪生网络进行模型训练，包括：

针对每个所述编码失真视频对，将所述编码失真视频对输入所述孪生网络，获得所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量预测分数；

基于所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级，以及所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量预测分数，利用孪生网络损失函数对所述孪生网络进行模型训练。

可选的，所述孪生网络损失函数是基于所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级的大小关系、以及所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量预测分数构建的。

可选的，所述孪生网络损失函数是基于所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级的大小关系、所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量预测分数、以及惩罚权重构建的；

当所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级的大小关系，与所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量预测分数的大小关系不同时，所述惩罚权重与所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级的差值绝对值正相关。

第二方面，本申请实施例提供了一种视频质量评测的方法，利用上述第一方面任意一项所述的视频质量评测模型，所述方法包括：

获得待评测编码失真视频；

将所述待评测编码失真视频输入所述视频质量评测模型，获得所述待评测编码失真视频的第一质量评测分数。

可选的，在所述获得所述待评测编码失真视频的第一质量评测分数之后，所述方法还包括：

当预设质量评测分数范围与训练质量分数范围不同时，基于所述训练质量分数范围和所述预设质量评测分数范围，将所述第一质量评测分数映射为第二质量评测分数；所述第二质量评测分数属于所述预设质量评测分数范围；

其中，所述预设质量评测分数范围是基于质量评测需求预先设定的；所述训练质量分数范围是所述第二训练视频集合中所述第二训练视频对应的质量分数范围。

第三方面，本申请实施例提供了一种视频质量评测模型训练的装置，所述装置包括：

第一获得单元，用于利用编码器集合中不同编码器和所述编码器的各个编码参数的不同数值，对第一训练视频集合中未标注质量分数的第一训练视频进行编码，获得多个编码失真视频对、每个所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级；

第一训练单元，用于基于每个所述编码失真视频对、该编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级，对孪生网络进行模型训练，将训练好的孪生网络中任意一个分支网络作为预训练模型；

第二训练单元，用于利用第二训练视频集合中标注质量分数的第二训练视频，对所述预训练模型进行微调训练，将训练好的预训练模型作为视频质量评测模型；所述第二训练视频集合中所述第二训练视频的数量小于预设数量。

可选的，所述第一获得单元包括：

确定子单元，用于基于所述编码器集合、各个所述编码参数和所述第一训练视频集合、确定目标编码器、目标编码参数和目标训练视频；

编码子单元，用于以保持所述目标编码器的其他编码参数的数值不变，单调变化所述目标编码器的所述目标编码参数的数值，对所述目标训练视频进行多次编码；所述其他编码参数是各个所述编码参数中除所述目标编码参数之外的编码参数；

第一获得子单元，用于遍历所述编码器集合中每个所述编码器、各个所述编码参数中每个所述编码参数和所述第一训练视频集合中每个所述第一训练视频，重复上述确定子单元和编码子单元，获得多个所述编码失真视频对、每个所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级。

可选的，所述编码器集合包括H264、H265和AV1中多个编码器；各个所述编码参数包括编码速度、固定速率系数和编码码率中多个编码参数。

可选的，所述第一训练单元包括：

第二获得子单元，用于针对每个所述编码失真视频对，将所述编码失真视频对输入所述孪生网络，获得所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量预测分数；

训练子单元，用于基于所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级，以及所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量预测分数，利用孪生网络损失函数对所述孪生网络进行模型训练。

可选的，所述孪生网络损失函数是基于所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级的大小关系、以及所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量预测分数构建的。

可选的，所述孪生网络损失函数是基于所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级的大小关系、所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量预测分数、以及惩罚权重构建的；

当所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级的大小关系，与所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量预测分数的大小关系不同时，所述惩罚权重与所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级的差值绝对值正相关。

第四方面，本申请实施例提供了一种视频质量评测的装置，利用上述第一方面任意一项所述的视频质量评测模型，所述装置包括：

第二获得单元，用于获得待评测编码失真视频；

第三获得单元，用于将所述待评测编码失真视频输入所述视频质量评测模型，获得所述待评测编码失真视频的第一质量评测分数。

可选的，所述装置还包括：

映射单元，用于当预设质量评测分数范围与训练质量分数范围不同时，基于所述训练质量分数范围和所述预设质量评测分数范围，将所述第一质量评测分数映射为第二质量评测分数；所述第二质量评测分数属于所述预设质量评测分数范围；

其中，所述预设质量评测分数范围是基于质量评测需求预先设定的；所述训练质量分数范围是所述第二训练视频集合中所述第二训练视频对应的质量分数范围。

第五方面，本申请实施例提供了一种终端设备，所述终端设备包括处理器以及存储器：

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行上述第一方面任一项所述的视频质量评测模型训练的方法；

或者，所述处理器用于根据所述程序代码中的指令执行上述第二方面任一项所述的视频质量评测的方法。

第六方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行上述第一方面任一项所述的视频质量评测模型训练的方法；或者，所述程序代码用于执行上述第二方面任一项所述的视频质量评测的方法。

与现有技术相比，本申请至少具有以下优点：

采用本申请实施例的技术方案，针对第一训练视频集合中未标注质量分数的第一训练视频，利用编码器集合中不同编码器和编码器的各个编码参数的不同数值进行编码，获得多个编码失真视频对、每个编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级；基于上述数据对孪生网络进行模型训练，将训练好的孪生网络中任意一个分支网络作为预训练模型；利用第二训练视频集合中标注质量分数的第二训练视频，对预训练模型进行微调训练，将训练好的预训练模型作为视频质量评测模型。可见，不需要大规模的标注训练集，先以不同编码器和编码参数的不同数值对第一训练视频进行编码，得到可确定视频质量等级的多个编码失真视频对，采用孪生网络训练多个编码失真视频对得到预训练模型；再以小规模的标注训练集对预训练模型进行微调即可获得视频质量评测模型。即使标注训练集的规模较小，采用该方法使得视频质量评测模型的训练效果更好。

此外，获得待评测编码失真视频，利用上述视频质量评测模型获得待评测编码失真视频的第一质量评测分数。可见，对于任意待评测编码失真视频，输入上述视频质量评测模型即可输出的质量评测分数，实现对编码失真视频质量评测，其质量评测效果更好。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本申请实施例中一种应用场景所涉及的系统框架示意图；

图2为本申请实施例提供的一种视频质量评测模型训练的方法的流程示意图；

图3为本申请实施例提供的一种视频质量评测的方法的流程示意图；

图4为本申请实施例提供的一种视频质量评测模型训练的装置的结构示意图；

图5为本申请实施例提供的一种视频质量评测的装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

编码失真视频质量评测一般深度学习方法，需要构建一个大规模的、包括标注质量分数的训练视频的标注训练集，对该标注训练集进行深度学习获得视频质量评测模型，利用该视频质量评测模型实现编码失真视频质量评测。构建大规模的标注训练集往往需要耗费很多人力精力等等。即，当标注训练集的规模较小时，采用上述深度学习方法，导致视频质量评测模型的训练效果不佳，从而导致编码失真视频质量评测效果不佳。

为了解决这一问题，在本申请实施例中，针对第一训练视频集合中未标注质量分数的第一训练视频，利用编码器集合中不同编码器和编码器的各个编码参数的不同数值进行编码，获得多个编码失真视频对、每个编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级；基于上述数据对孪生网络进行模型训练，将训练好的孪生网络中任意一个分支网络作为预训练模型；利用第二训练视频集合中标注质量分数的第二训练视频，对预训练模型进行微调训练，将训练好的预训练模型作为视频质量评测模型。可见，不需要大规模的标注训练集，先以不同编码器和编码参数的不同数值对第一训练视频进行编码，得到可确定视频质量等级的多个编码失真视频对，采用孪生网络训练多个编码失真视频对得到预训练模型；再以小规模的标注训练集对预训练模型进行微调即可获得视频质量评测模型。即使标注训练集的规模较小，采用该方法使得视频质量评测模型的训练效果更好。

此外，获得待评测编码失真视频，利用上述视频质量评测模型获得待评测编码失真视频的第一质量评测分数。可见，对于任意待评测编码失真视频，输入上述视频质量评测模型即可输出的质量评测分数，实现对编码失真视频质量评测，其质量评测效果更好。

举例来说，本申请实施例的场景之一，可以是应用到如图1所示的场景中，该场景包括终端设备101和处理器102。终端设备101确定多个未标注质量分数的第一训练视频形成第一训练视频集合，以及多个标注质量分数的第二训练视频形成第二训练视频集合；其中，第二训练视频集合规模较小；终端设备101将第一训练视频集合和第二训练视频集合发送至处理器102。处理器102采用本申请实施例提供的视频质量评测模型训练的方法，在第二训练视频集合规模较小情况下，获得训练效果更好的视频质量评测模型。此外，终端设备101确定待评测编码失真视频并发送至处理器102，处理器102采用本申请实施例提供的视频质量评测的方法，实现待评测编码失真视频的质量评测，其质量评测效果更好。

在上述应用场景中，虽然，将本申请实施例提供的实施方式的动作描述由处理器102执行；但是，本申请实施例在执行主体方面不受限制，只要执行了本申请实施例提供的实施方式所公开的动作即可。

上述场景仅是本申请实施例提供的一个场景示例，本申请实施例并不限于此场景。

下面结合附图，通过实施例来详细说明本申请实施例中视频质量评测模型训练、视频质量评测的方法和相关装置的具体实现方式。

示例性方法

参见图2，示出了本申请实施例中一种视频质量评测模型训练的方法的流程示意图。在本实施例中，所述方法例如可以包括以下步骤：

步骤201：利用编码器集合中不同编码器和所述编码器的各个编码参数的不同数值，对第一训练视频集合中未标注质量分数的第一训练视频进行编码，获得多个编码失真视频对、每个所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级。

在本申请实施例中，为了解决标注训练集的规模较小导致视频质量评测模型的训练效果不佳的问题；首先需要采集多个未标注质量分数的第一训练视频形成第一训练视频集合，该对第一训练视频集合中第一训练视频记性需要采用特定的编码方式，以确定编码失真视频的质量等级；并依据编码失真视频的质量等级任意两两组合形成多个编码失真视频对。其中，特定的编码方式是指在提供的包括不同编码器的编码器集合，以及提供的各个编码参数的不同数值的基础上，针对每个第一训练视频，通过对编码器集合中不同编码器和各个编码参数的不同数值的选择进行多次编码的方式。

其中，常见的编码器为H264、H265和AV1等等，常见的编码参数为编码速度、固定速率系数和编码码率。因此，在本申请实施例一种可选的实施方式中，可以选择H264、H265和AV1中多个编码器形成编码器集合，同样，可以选择编码速度、固定速率系数和编码码率中多个编码参数作为各个编码参数。作为一种示例，编码器集合包括但不限于H264、H265和AV1，各个编码参数包括但不限于编码速度、固定速率系数和编码码率。

在本申请实施例中，步骤201具体实施方式是指首先从编码器集合中选择一个编码器作为目标编码器，从各个编码参数中选择一个编码参数作为目标编码参数，以及从第一训练视频集合中选择一个第一训练视频作为目标训练视频；然后，针对目标训练视频进行多次编码时，只单调变化目标编码器的目标编码参数的数值，而不变化目标编码器的其他编码参数的数值，其他编码参数是各个编码参数中除目标编码参数之外的编码参数。通过该方式多次编码后的目标训练视频能够形成关于目标训练视频、目标编码器和目标编码参数的目标编码失真视频集合。由于多次编码时只是目标编码器的目标编码参数的数值单调变化，因此，能够确定该目标编码失真视频集合中编码失真视频的质量等级，任意两两组合即可形成多个包括第一编码失真视频和第二编码失真视频的编码失真视频对。基于此，遍历编码器集合中每个编码器、各个编码参数中每个编码参数和第一训练视频集合中每个第一训练视频，采用上述方法可获得多个编码失真视频对、每个编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级。因此，在本申请实施例一种可选的实施方式中，所述步骤201例如可以包括以下步骤：

步骤A：基于所述编码器集合、各个所述编码参数和所述第一训练视频集合、确定目标编码器、目标编码参数和目标训练视频；

步骤B：以保持所述目标编码器的其他编码参数的数值不变，单调变化所述目标编码器的所述目标编码参数的数值，对所述目标训练视频进行多次编码；所述其他编码参数是各个所述编码参数中除所述目标编码参数之外的编码参数；

步骤C：遍历所述编码器集合中每个所述编码器、各个所述编码参数中每个所述编码参数和所述第一训练视频集合中每个所述第一训练视频，重复上述步骤A-步骤B获得多个所述编码失真视频对、每个所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级。

作为一种示例，在上述示例的基础上，从编码器集合中选择H264作为目标编码器，从各个编码参数中选择编码速度s作为目标编码参数，从第一训练视频集合中选择一个第一训练视频v作为目标训练视频。保持H264的其他编码参数的数值不变，单调变化H264的编码速度s的数值，例如，依次通过ultrafast、superfast、veryfast、faster、fast、medium、slow、slower、veryslo单调递减H264的编码速度s的数值，对所述第一训练视频v进行多次编码，得到目标编码失真视频集合v-H264s。该目标编码失真视频集合v-H264s中编码失真视频的质量等级可确定，若目标编码失真视频集合v-H264s的编码失真视频的数量为n，则可以获得

个编码失真视频对。基于此，遍历编码器集合中每个编码器、各个编码参数中每个编码参数和第一训练视频集合中每个第一训练视频，采用类似该示例的方式即可获得多个编码失真视频对、每个编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级。

步骤202：基于每个所述编码失真视频对、该编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级，对孪生网络进行模型训练，将训练好的孪生网络中任意一个分支网络作为预训练模型。

在本申请实施例中，在步骤201针对未标注质量分数的第一训练视频，采用特定的编码方式获得多个编码失真视频对，且每个编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级已知的情况下；需要采用孪生网络作为上述数据的训练模型进行模型训练。即，将多个编码失真视频对、每个编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级作为训练数据，对孪生网络进行模型训练，训练好的孪生网络中两个分支网络相同，可选择其中任意一个分支网络作为较小规模标注训练集的训练模型，记为预训练模型。

在本申请实施例中，步骤202具体实施方式是指针对每个编码失真视频对以孪生网络进行质量预测，获得编码失真视频对中第一编码失真视频和第二编码失真视频的质量预测分数；利用孪生网络损失函数，通过编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级的实际情况，以及预测得到的编码失真视频对中第一编码失真视频和第二编码失真视频的质量预测分数，可以调整孪生网络的网络参数，以实现对孪生网络的模型训练。因此，在本申请实施例一种可选的实施方式中，所述步骤202例如可以包括以下步骤：

步骤D：针对每个所述编码失真视频对，将所述编码失真视频对输入所述孪生网络，获得所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量预测分数。

步骤E：基于所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级，以及所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量预测分数，利用孪生网络损失函数对所述孪生网络进行模型训练。

其中，在本申请实施例一种可选的实施方式中，所述孪生网络损失函数是基于所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级的大小关系、以及所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量预测分数构建的。

作为一种示例，孪生网络损失函数可以为如下所示的Loss1：

Loss1＝max(0,marg in-y×(score1-score2))；

其中，margin表示基于实际需求预先设置的容差值，例如，marg in＝0.2；y表示编码失真视频对中第一编码失真视频v1和第二编码失真视频v2的质量等级的大小关系，当第一编码失真视频v1的质量等级大于第二编码失真视频v2的质量等级，y＝1，当第一编码失真视频v1的质量等级小于当第二编码失真视频v2的质量等级，y＝-1；score1表示第一编码失真视频v1的质量预测分数，score2表示第二编码失真视频v2的质量预测分数。

在本申请实施例中，为了解决采用上述构建的孪生网络损失函数，导致孪生网络的模型训练速度慢、收敛效果不佳的问题，在构建孪生网络损失函数过程中，还需要增加使得孪生网络的模型训练速度加快、收敛效果更佳的惩罚权重。即，在本申请实施例另一种可选的实施方式中，所述孪生网络损失函数是基于所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级的大小关系、所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量预测分数、以及惩罚权重构建的；当所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级的大小关系，与所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量预测分数的大小关系不同时，所述惩罚权重与所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级的差值绝对值正相关。

作为一种示例，孪生网络损失函数可以为如下所示的Loss2：

Loss2＝max(0,marg in-w×y×(score1-score2))；

其中，margin表示基于实际需求预先设置的容差值，例如，marg in＝0.2；y表示编码失真视频对中第一编码失真视频v1和第二编码失真视频v2的质量等级的大小关系，当第一编码失真视频v1的质量等级大于第二编码失真视频v2的质量等级，y＝1，当第一编码失真视频v1的质量等级小于当第二编码失真视频v2的质量等级，y＝-1；score1表示第一编码失真视频v1的质量预测分数，score2表示第二编码失真视频v2的质量预测分数；w表示惩罚权重，当y×(score1-score2)＜0时，w例如可以为第一编码失真视频v1的质量等级与第二编码失真视频v2的质量等级的差值绝对值，当y×(score1-score2)＞0时，w＝1。

步骤203：利用第二训练视频集合中标注质量分数的第二训练视频，对所述预训练模型进行微调训练，将训练好的预训练模型作为视频质量评测模型；所述第二训练视频集合中所述第二训练视频的数量小于预设数量。

在本申请实施例中，在步骤202获得预训练模型后，当采集多个标注质量分数的第二训练视频形成第二训练视频集合，该第二训练视频集合的规模较小，即，第二训练视频集合中第二训练视频的数量小于预设数量时；将第二训练视频和标注的质量分数作为训练数据，对预训练模型进行微调训练，即可将训练好的预训练模型作为视频质量评测模型。

在本申请实施例中，步骤203具体实施方式是指针对每个第二训练视频以预训练模型进行质量预测，获得第二训练视频的质量预测分数；利用孪生网络损失函数，通过第二训练视频已标注的质量分数和预测得到的第二训练视频的质量预测分数，可以调整预训练模型的网络参数，以实现对孪生网络的微调训练。因此，在本申请实施例一种可选的实施方式中，所述步骤202例如可以包括以下步骤：

步骤F：针对每个所述第二训练视频，将所述第二训练视频输入所述预训练模型，获得所述第二训练视频的质量预测分数。

步骤G：基于所述第二训练视频的质量分数和所述第二训练视频的质量预测分数，利用预训练模型损失函数对所述预训练模型进行微调训练。

通过本实施例提供的各种实施方式，针对第一训练视频集合中未标注质量分数的第一训练视频，利用编码器集合中不同编码器和编码器的各个编码参数的不同数值进行编码，获得多个编码失真视频对、每个编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级；基于上述数据对孪生网络进行模型训练，将训练好的孪生网络中任意一个分支网络作为预训练模型；利用第二训练视频集合中标注质量分数的第二训练视频，对预训练模型进行微调训练，将训练好的预训练模型作为视频质量评测模型。可见，不需要大规模的标注训练集，先以不同编码器和编码参数的不同数值对第一训练视频进行编码，得到可确定视频质量等级的多个编码失真视频对，采用孪生网络训练多个编码失真视频对得到预训练模型；再以小规模的标注训练集对预训练模型进行微调即可获得视频质量评测模型。即使标注训练集的规模较小，采用该方法使得视频质量评测模型的训练效果更好。

在上述实施例的基础上，对于任意一个需要进行质量评测的编码失真视频而言，将其作为待评测编码失真视频输入上述实施例所述的视频质量评测模型，该视频质量评测模型即可对待评测编码失真视频进行质量评测，输出一个质量评测分数，记为待评测编码失真视频的第一质量评测分数。参见图3，示出了本申请实施例中另一种视频质量评测的方法的流程示意图。在本实施例中，利用上述方法实施例所述的视频质量评测模型，所述方法例如可以包括以下步骤：

步骤301：获得待评测编码失真视频。

步骤302：将所述待评测编码失真视频输入所述视频质量评测模型，获得所述待评测编码失真视频的第一质量评测分数。

在本申请实施例中，有可能基于质量评测需求预先设定的预设质量评测分数范围，与表示第二训练视频集合中第二训练视频对应的质量分数范围的训练质量分数范围不同，导致步骤302获得的第一质量评测分数所属的训练质量分数范围与预设质量评测分数范围不符，此时，还需要在训练质量分数范围和预设质量评测分数范围基础上，确定训练质量分数范围至预设质量评测分数范围的映射关系，以将第一质量评测分数映射为属于预设质量评测分数范围的第二质量评测分数。因此，在本申请实施例一种可选的实施方式中，在所述步骤302之后，所述方法例如还可以包括步骤F：当预设质量评测分数范围与训练质量分数范围不同时，基于所述训练质量分数范围和所述预设质量评测分数范围，将所述第一质量评测分数映射为第二质量评测分数；所述第二质量评测分数属于所述预设质量评测分数范围；其中，所述预设质量评测分数范围是基于质量评测需求预先设定的；所述训练质量分数范围是所述第二训练视频集合中所述第二训练视频对应的质量分数范围。

作为一种示例，训练质量分数范围为[t1,t2]，预设质量评测分数范围[f1,f2]，第一质量评测分数为scoreA映射为第二质量评测分数scoreB的公式如下所示：

通过本实施例提供的各种实施方式，获得待评测编码失真视频，利用上述视频质量评测模型获得待评测编码失真视频的第一质量评测分数。可见，对于任意待评测编码失真视频，输入上述视频质量评测模型即可输出的质量评测分数，实现对编码失真视频质量评测，其质量评测效果更好。

示例性装置

参见图4，示出了本申请实施例中一种视频质量评测模型训练的装置的结构示意图。在本实施例中，所述装置例如具体可以包括：

第一获得单元401，用于利用编码器集合中不同编码器和所述编码器的各个编码参数的不同数值，对第一训练视频集合中未标注质量分数的第一训练视频进行编码，获得多个编码失真视频对、每个所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级；

第一训练单元402，用于基于每个所述编码失真视频对、该编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级，对孪生网络进行模型训练，将训练好的孪生网络中任意一个分支网络作为预训练模型；

第二训练单元403，用于利用第二训练视频集合中标注质量分数的第二训练视频，对所述预训练模型进行微调训练，将训练好的预训练模型作为视频质量评测模型；所述第二训练视频集合中所述第二训练视频的数量小于预设数量。

在本申请实施例一种可选的实施方式中，所述第一获得单元401包括：

确定子单元，用于基于所述编码器集合、各个所述编码参数和所述第一训练视频集合、确定目标编码器、目标编码参数和目标训练视频；

编码子单元，用于以保持所述目标编码器的其他编码参数的数值不变，单调变化所述目标编码器的所述目标编码参数的数值，对所述目标训练视频进行多次编码；所述其他编码参数是各个所述编码参数中除所述目标编码参数之外的编码参数；

第一获得子单元，用于遍历所述编码器集合中每个所述编码器、各个所述编码参数中每个所述编码参数和所述第一训练视频集合中每个所述第一训练视频，重复上述确定子单元和编码子单元，获得多个所述编码失真视频对、每个所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级。

在本申请实施例一种可选的实施方式中，所述编码器集合包括H264、H265和AV1中多个编码器；各个所述编码参数包括编码速度、固定速率系数和编码码率中多个编码参数。

在本申请实施例一种可选的实施方式中，所述第一训练单元402包括：

第二获得子单元，用于针对每个所述编码失真视频对，将所述编码失真视频对输入所述孪生网络，获得所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量预测分数；

训练子单元，用于基于所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级，以及所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量预测分数，利用孪生网络损失函数对所述孪生网络进行模型训练。

在本申请实施例一种可选的实施方式中，所述孪生网络损失函数是基于所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级的大小关系、以及所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量预测分数构建的。

在本申请实施例一种可选的实施方式中，所述孪生网络损失函数是基于所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级的大小关系、所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量预测分数、以及惩罚权重构建的；

当所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级的大小关系，与所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量预测分数的大小关系不同时，所述惩罚权重与所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级的差值绝对值正相关。

通过本实施例提供的各种实施方式，针对第一训练视频集合中未标注质量分数的第一训练视频，利用编码器集合中不同编码器和编码器的各个编码参数的不同数值进行编码，获得多个编码失真视频对、每个编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级；基于上述数据对孪生网络进行模型训练，将训练好的孪生网络中任意一个分支网络作为预训练模型；利用第二训练视频集合中标注质量分数的第二训练视频，对预训练模型进行微调训练，将训练好的预训练模型作为视频质量评测模型。可见，不需要大规模的标注训练集，先以不同编码器和编码参数的不同数值对第一训练视频进行编码，得到可确定视频质量等级的多个编码失真视频对，采用孪生网络训练多个编码失真视频对得到预训练模型；再以小规模的标注训练集对预训练模型进行微调即可获得视频质量评测模型。即使标注训练集的规模较小，采用该方法使得视频质量评测模型的训练效果更好。

参见图5，示出了本申请实施例中一种视频质量评测的装置的结构示意图。在本实施例中，利用上述方法实施例所述的视频质量评测模型，所述装置例如具体可以包括：

第二获得单元501，用于获得待评测编码失真视频；

第三获得单元502，用于将所述待评测编码失真视频输入所述视频质量评测模型，获得所述待评测编码失真视频的第一质量评测分数。

在本申请实施例一种可选的实施方式中，所述装置还包括：

映射单元，用于当预设质量评测分数范围与训练质量分数范围不同时，基于所述训练质量分数范围和所述预设质量评测分数范围，将所述第一质量评测分数映射为第二质量评测分数；所述第二质量评测分数属于所述预设质量评测分数范围；

其中，所述预设质量评测分数范围是基于质量评测需求预先设定的；所述训练质量分数范围是所述第二训练视频集合中所述第二训练视频对应的质量分数范围。

通过本实施例提供的各种实施方式，获得待评测编码失真视频，利用上述视频质量评测模型获得待评测编码失真视频的第一质量评测分数。可见，对于任意待评测编码失真视频，输入上述视频质量评测模型即可输出的质量评测分数，实现对编码失真视频质量评测，其质量评测效果更好。

此外，本申请实施例还提供了一种终端设备，所述终端设备包括处理器以及存储器：

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行上述方法实施例所述的视频质量评测模型训练的方法；

或者，所述处理器用于根据所述程序代码中的指令执行上述方法实施例所述的视频质量评测的方法。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行上述方法实施例所述的视频质量评测模型训练的方法；或者，所述程序代码用于执行上述方法实施例所述的视频质量评测的方法。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述，仅是本申请的较佳实施例而已，并非对本申请作任何形式上的限制。虽然本申请已以较佳实施例揭露如上，然而并非用以限定本申请。任何熟悉本领域的技术人员，在不脱离本申请技术方案范围情况下，都可利用上述揭示的方法和技术内容对本申请技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本申请技术方案的内容，依据本申请的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本申请技术方案保护的范围内。

Claims (12)

1.一种视频质量评测模型训练的方法，其特征在于，包括：

利用编码器集合中不同编码器和所述编码器的各个编码参数的不同数值，对第一训练视频集合中未标注质量分数的第一训练视频进行编码，获得多个编码失真视频对、每个所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级；

基于每个所述编码失真视频对、该编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级，对孪生网络进行模型训练，将训练好的孪生网络中任意一个分支网络作为预训练模型；

利用第二训练视频集合中标注质量分数的第二训练视频，对所述预训练模型进行微调训练，将训练好的预训练模型作为视频质量评测模型；所述第二训练视频集合中所述第二训练视频的数量小于预设数量。

2.根据权利要求1所述的方法，其特征在于，所述利用编码器集合中不同编码器和所述编码器的各个编码参数的不同数值，对第一训练视频集合中未标注质量分数的第一训练视频进行编码，获得多个编码失真视频对、每个所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级，包括：

基于所述编码器集合、各个所述编码参数和所述第一训练视频集合、确定目标编码器、目标编码参数和目标训练视频；

以保持所述目标编码器的其他编码参数的数值不变，单调变化所述目标编码器的所述目标编码参数的数值，对所述目标训练视频进行多次编码；所述其他编码参数是各个所述编码参数中除所述目标编码参数之外的编码参数；

遍历所述编码器集合中每个所述编码器、各个所述编码参数中每个所述编码参数和所述第一训练视频集合中每个所述第一训练视频，重复上述步骤获得多个所述编码失真视频对、每个所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级。

3.根据权利要求1所述的方法，其特征在于，所述编码器集合包括H264、H265和AV1中多个编码器；各个所述编码参数包括编码速度、固定速率系数和编码码率中多个编码参数。

4.根据权利要求1所述的方法，其特征在于，所述基于每个所述编码失真视频对、该编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级，对孪生网络进行模型训练，包括：

针对每个所述编码失真视频对，将所述编码失真视频对输入所述孪生网络，获得所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量预测分数；

基于所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级，以及所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量预测分数，利用孪生网络损失函数对所述孪生网络进行模型训练。

5.根据权利要求4所述的方法，其特征在于，所述孪生网络损失函数是基于所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级的大小关系、以及所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量预测分数构建的。

6.根据权利要求5所述的方法，其特征在于，所述孪生网络损失函数是基于所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级的大小关系、所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量预测分数、以及惩罚权重构建的；

当所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级的大小关系，与所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量预测分数的大小关系不同时，所述惩罚权重与所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级的差值绝对值正相关。

7.一种视频质量评测的方法，其特征在于，利用权利要求1-6任意一项所述的视频质量评测模型，所述方法包括：

获得待评测编码失真视频；

将所述待评测编码失真视频输入所述视频质量评测模型，获得所述待评测编码失真视频的第一质量评测分数。

8.根据权利要求1所述的方法，其特征在于，在所述获得所述待评测编码失真视频的第一质量评测分数之后，所述方法还包括：

当预设质量评测分数范围与训练质量分数范围不同时，基于所述训练质量分数范围和所述预设质量评测分数范围，将所述第一质量评测分数映射为第二质量评测分数；所述第二质量评测分数属于所述预设质量评测分数范围；

其中，所述预设质量评测分数范围是基于质量评测需求预先设定的；所述训练质量分数范围是所述第二训练视频集合中所述第二训练视频对应的质量分数范围。

9.一种视频质量评测模型训练的装置，其特征在于，包括：

第一获得单元，用于利用编码器集合中不同编码器和所述编码器的各个编码参数的不同数值，对第一训练视频集合中未标注质量分数的第一训练视频进行编码，获得多个编码失真视频对、每个所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级；

第一训练单元，用于基于每个所述编码失真视频对、该编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级，对孪生网络进行模型训练，将训练好的孪生网络中任意一个分支网络作为预训练模型；

第二训练单元，用于利用第二训练视频集合中标注质量分数的第二训练视频，对所述预训练模型进行微调训练，将训练好的预训练模型作为视频质量评测模型；所述第二训练视频集合中所述第二训练视频的数量小于预设数量。

10.一种视频质量评测的装置，其特征在于，利用权利要求1-6任意一项所述的视频质量评测模型，所述装置包括：

第二获得单元，用于获得待评测编码失真视频；

第三获得单元，用于将所述待评测编码失真视频输入所述视频质量评测模型，获得所述待评测编码失真视频的第一质量评测分数。

11.一种终端设备，其特征在于，所述终端设备包括处理器以及存储器：

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行权利要求1-6任一项所述的视频质量评测模型训练的方法；

或者，所述处理器用于根据所述程序代码中的指令执行权利要求7-8任一项所述的视频质量评测的方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1-6任一项所述的视频质量评测模型训练的方法；或者，所述程序代码用于执行权利要求7-8任一项所述的视频质量评测的方法。

Images