CN115131709B - 视频类别预测方法、视频类别预测模型的训练方法及装置 - Google Patents

Abstract

本公开提出了视频类别预测方法、视频类别预测模型的训练方法及装置，具体涉及深度学习、图像处理和计算机视觉技术领域。方案为：获取目标特征序列，该序列中目标特征是根据目标视频中从首个视频帧至对应视频帧之间各视频帧的特征确定的；确定设定的类别文本集合中至少两个类别文本的文本特征；根据任一目标特征与任一类别文本的文本特征之间的候选相似度，从至少两个类别文本的文本特征中确定与目标特征之间的候选相似度大于设定阈值的目标文本特征；根据目标文本特征，对目标视频进行类别预测，由此，根据目标特征序列中至少一个融合历史视频帧的特征信息的目标特征进行目标视频的类别预测，可提高目标视频的类别预测准确度。

Description

视频类别预测方法、视频类别预测模型的训练方法及装置

技术领域

本公开涉及人工智能技术领域，具体涉及深度学习、图像处理和计算机视觉技术领域，可应用于视频分析、人工智能创造内容(AI-Generated Content，简称AIGC)等场景，尤其涉及一种视频类别预测方法、视频类别预测模型的训练方法及装置。

背景技术

随着互联网技术飞速发展，视频的应用场景不断被丰富，海量的视频随之产生，对海量的视频进行分类，可以提升视频的审核、推荐和搜索等效果，进而提升用户体验，因此，如何对视频进行类别预测是非常重要的。

发明内容

本公开提供了一种用于视频类别预测方法、视频类别预测模型的训练方法及装置。

根据本公开的一方面，提供了一种视频类别预测方法，包括：获取目标特征序列，其中，所述目标特征序列中的至少两个目标特征与目标视频中的至少两个视频帧一一对应，所述目标特征是根据所述目标视频中从首个视频帧至对应视频帧之间各视频帧的特征确定的；对设定的类别文本集合中至少两个类别文本进行文本特征提取，以得到所述至少两个类别文本的文本特征；根据任一所述目标特征与任一所述类别文本的文本特征之间的候选相似度，从所述至少两个类别文本的文本特征中确定目标文本特征，其中，所述目标文本特征与所述目标特征之间的候选相似度大于设定阈值；根据所述目标文本特征，对所述目标视频进行类别预测。

根据本公开的另一方面，提供了一种视频类别预测模型的训练方法，包括：获取至少两个样本视频以及样本类别文本集合，其中，所述样本类别文本集合包括所述至少两个样本视频的类别文本；获取样本目标特征集合，其中，所述样本目标特征集合包括至少两个样本目标特征序列，各所述样本目标特征序列是根据至少两个样本视频中同一位置的视频帧的样本目标特征确定的；采用初始的视频类别预测模型对样本类别文本集合中的各样本类别文本进行文本特征提取，以得到所述各样本类别文本的样本文本特征；采用初始的视频类别预测模型确定任一所述样本目标特征序列与至少两个样本文本特征之间的候选相似度矩阵；根据任一所述样本目标特征序列对应的候选相似度矩阵，以及与任一所述样本目标特征序列对应的所述至少两个样本视频的标注标签矩阵，对所述初始的视频类别预测模型进行训练，其中，与任一所述样本目标特征序列对应的所述至少两个样本视频的标注标签矩阵中的各行中的非零元素用于指示对应样本视频所属的类别标签。

根据本公开的另一方面，提供了一种视频类别预测装置，包括：第一获取模块，用于获取目标特征序列，其中，所述目标特征序列中的至少两个目标特征与目标视频中的至少两个视频帧一一对应，所述目标特征是根据所述目标视频中从首个视频帧至对应视频帧之间各视频帧的特征确定的；提取模块，用于对设定的类别文本集合中至少两个类别文本进行文本特征提取，以得到所述至少两个类别文本的文本特征；第一确定模块，用于根据任一所述目标特征与任一所述类别文本的文本特征之间的候选相似度，从所述至少两个类别文本的文本特征中确定目标文本特征，其中，所述目标文本特征与目标特征之间的候选相似度大于设定阈值；预测模块，用于根据所述目标文本特征，对所述目标视频进行类别预测。

根据本公开的另一方面，提供了一种视频类别预测模型的训练装置，包括：第一获取模块，用于获取至少两个样本视频以及样本类别文本集合，其中，所述样本类别文本集合包括所述至少两个样本视频的类别文本；第二获取模块，用于获取样本目标特征集合，其中，所述样本目标特征集合包括至少两个样本目标特征序列，各所述样本目标特征序列是根据至少两个样本视频中同一位置的视频帧的样本目标特征确定的；提取模块，用于采用初始的视频类别预测模型对样本类别文本集合中的各样本类别文本进行文本特征提取，以得到所述各样本类别文本的样本文本特征；第一确定模块，用于采用初始的视频类别预测模型确定任一所述样本目标特征序列与至少两个样本文本特征之间的候选相似度矩阵；训练模块，用于根据任一所述样本目标特征序列对应的候选相似度矩阵，以及与任一所述样本目标特征序列对应的所述至少两个样本视频的标注标签矩阵，对所述初始的视频类别预测模型进行训练，其中，与任一所述样本目标特征序列对应的所述至少两个样本视频的标注标签矩阵中的各行中的非零元素用于指示对应样本视频所属的类别标签。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开第一方面实施例所述的方法，或者，执行本公开第二方面实施例所述的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行本公开第一方面实施例所述的方法，或者，执行本公开第二方面实施例所述的方法。

根据本公开的另一方面，提供了一种计算机程序产品，所述计算机程序在被处理器执行时实现本公开第一方面实施例所述的方法，或者，执行本公开第二方面实施例所述的方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1为本公开实施例一所提供的视频类别预测方法的流程示意图；

图2为本公开实施例二所提供的视频类别预测方法的流程示意图；

图3为本公开实施例三所提供的视频类别预测方法的流程示意图；

图4为本公开实施例四所提供的视频类别预测方法的流程示意图；

图5为本公开实施例五所提供的视频类别预测方法的流程示意图；

图6为本公开实施例六所提供的视频类别预测模型的训练方法的流程示意图；

图7为本公开实施例七所提供的视频类别预测模型的训练方法的流程示意图；

图8为本公开实施例八所提供的视频类别预测模型的训练方法的流程示意图；

图9为本公开实施例九所提供的视频类别预测模型的训练方法的流程示意图；

图10为本公开实施例提供的视频类别预测模型进行视频类别预测的示意图；

图11为本公开实施例十所提供的视频类别预测模型的训练方法的流程示意图；

图12为本公开实施例十一所提供的视频类别预测装置的结构示意图；

图13为本公开实施例十二所提供的视频类别预测模型的训练装置的结构示意图；

图14示出了可以用来实施本公开的实施例的示例电子设备的示意性框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

相关技术中，视频类别预测模型根据视频中各个视频帧的特征信息进行分析，以得到视频分类，由于该视频类别预测模型仅采用视频中各个视频帧的特征信息进行视频分类，导致视频分类准确度较低，另外，视频类别预测模型采用视频中所有视频帧的特征信息进行分析，确定视频类别，导致视频分类效率较低。

针对上述问题，本公开提出一种视频类别预测方法、视频类别预测模型的训练方法及装置。

下面参考附图描述本公开实施例的视频类别预测方法、视频类别预测模型的训练方法及装置。

图1为本公开实施例一所提供的视频类别预测方法的流程示意图。

本公开实施例以该视频类别预测方法被配置于视频类别预测装置中来举例说明，该视频类别预测装置可以应用于任一电子设备中，以使该电子设备可以执行视频类别预测功能。

其中，电子设备可以为任一具有计算能力的设备，例如可以为个人电脑(PersonalComputer，简称PC)、移动终端等，移动终端例如可以为手机、平板电脑、个人数字助理、穿戴式设备等具有各种操作系统、触摸屏和/或显示屏的硬件设备。

如图1所示，该视频类别预测方法可包括以下步骤：

步骤101，获取目标特征序列。

其中，目标特征序列中的至少两个目标特征与目标视频中的至少两个视频帧一一对应，目标特征是根据目标视频中从首个视频帧至对应视频帧之间各视频帧的特征确定的。

在本公开实施例中，目标特征序列中可包括至少两个(多个)目标特征，并且至少两个目标特征中的每个目标特征与目标视频中的每个视频帧对应。

为了使至少一个视频帧对应的目标特征中具有历史各个视频帧的图像特征，至少一个目标特征可根据目标视频中从首个视频帧至与该目标特征对应的视频帧之间各视频帧的特征确定，比如，第二个视频帧对应的目标特征，是根据首个视频帧的图像特征与第二个视频帧的图像特征融合生成的；又比如，第三个视频帧对应的目标特征，是根据首个视频帧的图像特征、第二个视频帧的图像特征以及第三个视频帧的图像特征融合生成的。

步骤102，对设定的类别文本集合中至少两个类别文本进行文本特征提取，以得到至少两个类别文本的文本特征。

在本公开实施例中，可预先设定类别文本集合，该类别文本集合中可包括至少两个类别文本，可对至少两个类别文本分别进行特征提取，可得到至少两个类别文本的文本特征。

步骤103，根据任一目标特征与任一类别文本的文本特征之间的候选相似度，从至少两个类别文本的文本特征中确定目标文本特征。

其中，目标文本特征与目标特征之间的候选相似度大于设定阈值。

进一步地，可分别确定目标特征序列中的任一目标特征与至少两个文本特征之间的候选相似度，在任一目标特征与任一类别文本的文本特征之间的候选相似度大于设定阈值时，可将该任一类别文本的文本特征作为目标文本特征。

步骤104，根据目标文本特征，对目标视频进行类别预测。

在本公开实施例中，将目标文本特征对应的类别，作为目标视频的预测类别。

综上，通过获取目标特征序列；对设定的类别文本集合中至少两个类别文本进行文本特征提取，以得到至少两个类别文本的文本特征；根据任一目标特征与任一类别文本的文本特征之间的候选相似度，从至少两个类别文本的文本特征中确定目标文本特征；根据目标文本特征，对目标视频进行类别预测，由此，目标特征序列中的至少一个目标特征可融合历史视频帧的特征信息，根据目标特征序列中至少一个融合历史视频帧的特征信息的目标特征进行目标视频的类别预测，可提高目标视频的类别预测准确度。

为了清楚地说明上述实施例中是如何获取目标特征序列的，本公开提出另一种视频类别预测方法。

图2为本公开实施例二所提供的视频类别预测方法的流程示意图。

如图2所示，该视频类别预测方法可包括如下步骤：

步骤201，对目标视频的至少两个视频帧分别进行特征提取，以得到各视频帧的原始特征图。

步骤202，针对至少两个视频帧中除首帧之外的任一视频帧，根据参考视频帧的原始特征图对任一视频帧的原始特征图进行更新，以得到任一视频帧的目标特征图。

其中，参考视频帧是至少两个视频帧中在任一视频帧之前采集的图像。

在本公开实施例中，为了提高目标视频的类别预测准确性，可将参考视频帧中的特征信息融合至目标视频帧的特征信息中，使得目标视频帧中的目标特征可融合历史视频帧的特征信息，从而，通过融合历史视频帧的特征信息的至少一个目标特征进行目标视频的类别预测，可提高目标视频的类别预测准确度。

作为一种示例，针对至少两个视频帧中除首帧之外的任一视频帧，获取在该任一视频帧之前采集的参考视频帧，采用参考视频帧的原始特征图对该任一视频帧的原始特征图进行融合，可得到该任一视频帧的目标特征图。

也就是说，可基于融合算法将至少一帧参考视频帧的原始特征图与任一视频帧的原始特征图进行融合，将融合后的特征图作为该任一视频帧的目标特征图。其中，首个视频帧的目标特征图可为该首个视频帧的原始特征图。

步骤203，根据首个视频帧的原始特征图以及至少两个视频帧中除首个视频帧之外的任一视频帧的目标特征图，确定目标特征序列。

在本公开实施例中，可将首个视频帧的原始特征图以及至少两个视频帧中除首个视频帧之外的其他视频帧的目标特征图的至少两个特征，作为目标特征序列中的至少两个目标特征。

步骤204，对设定的类别文本集合中至少两个类别文本进行文本特征提取，以得到至少两个类别文本的文本特征。

步骤205，根据任一目标特征与任一类别文本的文本特征之间的候选相似度，从至少两个类别文本的文本特征中确定目标文本特征。

其中，目标文本特征与目标特征之间的候选相似度大于设定阈值。

步骤206，根据目标文本特征，对目标视频进行类别预测。

需要说明的是，步骤201、步骤204至205的执行过程可以分别采用本公开的各实施例中的任一种方式实现，本公开实施例并不对此作出限定，也不再赘述。

综上，通过对目标视频的至少两个视频帧分别进行特征提取，以得到各视频帧的原始特征图；针对至少两个视频帧中除首帧之外的任一视频帧，根据至少一帧参考视频帧的原始特征图对任一视频帧的原始特征图进行更新，以得到任一视频帧的目标特征图；根据首个视频帧的原始特征图以及至少两个视频帧中除首个视频帧之外的任一视频帧的目标特征图，确定目标特征序列，由此，目标特征序列中的至少一个目标特征可融合历史视频帧的特征信息，从而，通过根据目标特征序列中至少一个融合历史视频帧的特征信息的目标特征进行目标视频的类别预测，可提高目标视频的类别预测准确度，可提高目标视频的类别预测准确度。

为了清楚地说明上述实施例中是如何根据目标文本特征，对目标视频进行类别预测的，本公开提出另一种视频类别预测方法。

图3为本公开实施例三所提供的视频类别预测方法的流程示意图。

如图3所示，该视频类别预测方法可包括如下步骤：

步骤301，获取目标特征序列。

其中，目标特征序列中的至少两个目标特征与目标视频中的至少两个视频帧一一对应，目标特征是根据目标视频中从首个视频帧至对应视频帧之间各视频帧的特征确定的。

步骤302，对设定的类别文本集合中至少两个类别文本进行文本特征提取，以得到至少两个类别文本的文本特征。

步骤303，根据任一目标特征与任一类别文本的文本特征之间的候选相似度，从至少两个类别文本的文本特征中确定目标文本特征。

其中，目标文本特征与目标特征之间的候选相似度大于设定阈值。

步骤304，根据目标文本特征，从各类别文本中确定目标文本特征对应的目标类别文本。

在本公开实施例中，从各类别文本中，确定目标文本特征对应的类别文本，将目标文本特征对应的类别文本，作为目标类别文本。

步骤305，根据目标类别文本，预测目标视频的类别。

进一步地，将目标类别文本对应的类别，作为目标视频的类别。

需要说明的是，步骤301至303的执行过程可以分别采用本公开的各实施例中的任一种方式实现，本公开实施例并不对此作出限定，也不再赘述。

综上，通过根据目标文本特征，从各类别文本中确定目标文本特征对应的目标类别文本，根据目标类别文本，预测目标视频的类别，由此，根据目标文本特征，可快速预测出目标视频的类别，提高了目标视频的类别预测效率。

为了减少目标特征与至少两个文本特征之间的候选相似度的计算，提高目标视频的类别预测效率，如图4所示，图4为本公开实施例四所提供的视频类别预测方法的流程示意图。在本公开实施例中，可在任一目标特征与至少两个文本特征之间的候选相似度中存在大于设定阈值的目标相似度时，停止目标视频的类别预测。

如图4所示，该视频类别预测方法可包括如下步骤：

步骤401，获取目标特征序列。

其中，目标特征序列中的至少两个目标特征与目标视频中的至少两个视频帧一一对应，目标特征是根据目标视频中从首个视频帧至对应视频帧之间各视频帧的特征确定的。

步骤402，对设定的类别文本集合中至少两个类别文本进行文本特征提取，以得到至少两个类别文本的文本特征。

步骤403，依次确定至少两个目标特征与至少两个类别文本的文本特征之间的候选相似度，直至目标特征序列中第一目标特征与至少两个类别文本的文本特征之间的候选相似度中存在大于设定阈值的目标相似度，停止第二目标特征与至少两个类别文本的文本特征之间的候选相似度的确定。

其中，第二目标特征为目标特征序列中第一目标特征之后的目标特征。

在本公开实施例中，可依次计算目标特征系列中的目标特征与至少两个类别文本的文本特征之间的候选相似度，在目标特征与至少两个类别文本的文本特征之间的候选相似度中存在大于设定阈值的候选相似度时，将该大于设定阈值的候选相似度作为目标相似度，并停止该目标特征之后的其他目标特征与至少两个文本特征之间的候选相似度的确定。也就是，在目标特征与至少两个类别文本的文本特征之间的候选相似度中存在大于设定阈值的候选相似度时，可提前退出目标视频的类别预测，从而可提高目标视频的类别预测效率。

步骤404，根据目标相似度，确定目标文本特征。

在本公开实施例中，在目标特征与任一类别文本的文本特征之间的候选相似度大于设定阈值时，可将该任一类别文本的文本特征作为目标文本特征。

步骤405，根据目标文本特征，对目标视频进行类别预测。

需要说明的是，步骤401至402、步骤405的执行过程可以分别采用本公开的各实施例中的任一种方式实现，本公开实施例并不对此作出限定，也不再赘述。

综上，通过依次确定至少两个目标特征与至少两个类别文本的文本特征之间的候选相似度，直至目标特征序列中第一目标特征与至少两个类别文本的文本特征之间的候选相似度中存在大于设定阈值的目标相似度，停止第二目标特征与至少两个类别文本的文本特征之间的候选相似度的确定，根据目标相似度，确定目标文本特征，由此，在依次确定至少两个目标特征与至少两个文本特征之间的候选相似度中存在大于设定阈值的目标相似度时，并根据该目标相似度，预测目标视频的类别，从而提前退出目标视频的类别预测，提高了目标视频的类别预测效率。

为了进一步提高目标视频的类别预测的准确性，在本公开实施例中，如图5所示，图5为本公开实施例五所提供的视频类别预测方法的流程示意图。可通过提高类别文本的语义完整性，提高目标特征与至少两个类别文本的文本特征之间候选相似度的准确性，从而，提高目标视频的类别预测的准确性，图5所示实施例可包括如下步骤：

步骤501，获取目标特征序列。

其中，目标特征序列中的至少两个目标特征与目标视频中的至少两个视频帧一一对应，目标特征是根据目标视频中从首个视频帧至对应视频帧之间各视频帧的特征确定的。

步骤502，获取设定的类别集合。

在本公开实施例中，类别集合中可包括至少两个类别，至少两个类别比如为“highjump”、“hopstoch”和“zumba”等。

步骤503，将类别集合中的至少两个类别，填充至类别文本模板中，以得到至少两个类别文本。

继续以至少两个类别为“high jump”、“hopstoch”和“zumba”为例，类别文本模板比如可为“a video of...”，将至少两个类别“high jump”、“hopstoch”和“zumba”，填充至类别文本模板“a video of...”中，可得到至少两个类别文本分别为“a video of highjump”、“a video of hopstoch”和“a video of zumba”。

步骤504，根据至少两个类别文本，确定类别文本集合。

进一步的，可将至少两个类别文本进行组合，将组合后的至少两个类别作为类别文本集合。

步骤505，对设定的类别文本集合中至少两个类别文本进行文本特征提取，以得到至少两个类别文本的文本特征。

步骤506，根据任一目标特征与任一类别文本的文本特征之间的候选相似度，从至少两个类别文本的文本特征中确定目标文本特征。

其中，目标文本特征与目标特征之间的候选相似度大于设定阈值。

步骤507，根据目标文本特征，对目标视频进行类别预测。

需要说明的是，步骤505至507的执行过程可以分别采用本公开的各实施例中的任一种方式实现，本公开实施例并不对此作出限定，也不再赘述。

综上，通过获取设定的类别集合；将类别集合中的至少两个类别，填充至类别文本模板中，以得到至少两个类别文本；根据至少两个类别文本，确定类别文本集合，由此，通过将类别集合中的至少两个类别，填充至类别文本模板中，可提高类别文本的语义完整性，从而，可提高目标特征与至少两个类别文本的文本特征之间候选相似度的准确性，进一步提高目标视频的类别预测的准确性。

本公开实施例的视频类别预测方法，通过获取目标特征序列，其中，目标特征序列中的至少两个目标特征与目标视频中的至少两个视频帧一一对应，至少一个目标特征是根据目标视频中从首个视频帧至对应视频帧之间各视频帧的特征确定的；对设定的类别文本集合中至少两个类别文本进行文本特征提取，以得到至少两个类别文本的文本特征；根据任一目标特征与任一所述类别文本的文本特征之间的候选相似度，从至少两个类别文本的文本特征中确定目标文本特征，其中，目标文本特征与至少一目标特征之间的候选相似度大于设定阈值；根据目标文本特征，对目标视频进行类别预测，由此，目标特征序列中的至少一个目标特征可融合历史视频帧的特征信息，根据目标特征序列中至少一个融合历史视频帧的特征信息的目标特征进行目标视频的类别预测，可提高目标视频的类别预测准确度。

上述为视频类别预测模型的预测方法(即视频类别预测方法)所对应的各实施例，本公开还提出一种视频类别预测模型的训练方法。

图6为本公开实施例六所提供的视频类别预测模型的训练方法的流程示意图。

如图6所示，该视频类别预测模型的训练方法可包括如下步骤：

步骤601，获取至少两个样本视频以及样本类别文本集合。

其中，样本类别文本集合包括所述至少两个样本视频的类别文本。

在本公开实施例中，对至少两个样本视频以及样本类别文本集合的获取方式不作限制，比如，至少两个样本视频以及样本类别文本集合可以从现有的训练集获取，或者，至少两个样本视频以及样本类别文本集合也可以在线采集，比如可以通过网络爬虫技术在线采集至少两个样本视频以及样本类别文本集合，或者，至少两个样本视频以及样本类别文本集合也可以为线下采集，等等，本公开对此不作限制。

其中，需要说明的是，样本类别文本集合中可包括至少两个样本视频中每个样本视频所属的样本类别。

步骤602，获取样本目标特征集合。

其中，样本目标特征集合包括至少两个样本目标特征序列，各样本目标特征序列是根据至少两个样本视频中同一位置的视频帧的样本目标特征确定的。

在本公开实施例中，可根据至少两个样本视频中同一位置的视频帧的样本目标特征，确定一个样本目标特征序列，进而，根据至少两个位置的样本目标特征序列，确定样本目标特征集合。作为一种示例，样本目标特征集合可通过初始的视频类别预测模型对各样本视频的视频帧进行特征提取，进而根据提取到视频帧特征生成样本目标特征序列，根据样本目标特征序列，生成样本目标特征集合。

比如，根据至少两个样本视频中每个样本视频的第i个视频帧的样本目标特征，生成对应的一个样本目标特征系列，由此，根据至少两个样本视频对应的至少两个样本目标特征序列，可生成样本目标特征集合。其中，需要说明的是，每个样本目标特征序列中的样本目标特征是根据该样本目标特征对应的视频中从首个视频帧至对应视频帧之间各视频帧的特征确定的。

步骤603，采用初始的视频类别预测模型对样本类别文本集合中的各样本类别文本进行文本特征提取，以得到各样本类别文本的样本文本特征。

在本公开实施例中，采用初始的视频类别预测模型中的特征提取算法对样本类别集合中的各个样本类别进行文本特征提取，得到各样本类别文本的样本文本特征。

步骤604，采用初始的视频类别预测模型确定任一样本目标特征序列与至少两个样本文本特征之间的候选相似度矩阵。

进一步的，采用初始的视频类别预测模型计算任一样本目标特征序列中各样本目标特征与至少两个样本文本特征之间的候选相似度，根据各样本目标特征与至少两个样本文本特征之间的候选相似度，可生成该任一样本目标特征序列与至少两个样本文本特征之间的候选相似度矩阵。

步骤605，根据任一样本目标特征序列对应的候选相似度矩阵，以及与任一样本目标特征序列对应的至少两个样本视频的标注标签矩阵，对初始的视频类别预测模型进行训练。

其中，与任一样本目标特征序列对应的至少两个样本视频的标注标签矩阵中的各行中的非零元素用于指示对应样本视频所属的类别标签。

进而，根据该任一样本目标特征序列对应的候选相似度矩阵与对应的标注标签矩阵之间的差异，对初始的视频类别预测模型进行训练。

其中，需要说明的是，与任一样本目标特征序列对应的至少两个样本视频的标注标签矩阵中的各行中的非零元素用于指示对应样本视频所属的类别标签。

综上，根据任一样本目标特征序列对应的候选相似度矩阵与对应的至少两个样本视频的标签矩阵之间的差异，可实现初始的视频类别预测模型的训练，从而，经过训练的视频类别预测模型可实现将至少一个视频的目标特征序列中的至少一个目标特征融合历史视频帧的特征信息，并根据目标特征序列中至少一个融合历史视频帧的特征信息的目标特征进行至少一个视频的类别预测，从而可提高视频的类别预测准确度。

为了清楚地说明上述实施例中是如何根据任一样本目标特征序列对应的候选相似度矩阵，以及与任一样本目标特征序列对应的至少两个样本视频的标注标签矩阵，对初始的视频类别预测模型进行训练的，本公开提出另一种视频类别预测模型的训练方法。

图7为本公开实施例七所提供的视频类别预测模型的训练方法的流程示意图。

如图7所示，该视频类别预测模型的训练方法可包括如下步骤：

步骤701，获取至少两个样本视频以及样本类别文本集合。

其中，样本类别文本集合包括至少两个样本视频的类别文本。

步骤702，获取样本目标特征集合。

其中，样本目标特征集合包括至少两个样本目标特征序列，各样本目标特征序列是根据至少两个样本视频中同一位置的视频帧的样本目标特征确定的。

步骤703，采用初始的视频类别预测模型对样本类别文本集合中的各样本类别文本进行文本特征提取，以得到各样本类别文本的样本文本特征。

步骤704，采用初始的视频类别预测模型确定任一所述样本目标特征序列与至少两个样本文本特征之间的候选相似度矩阵。

步骤705，分别对任一样本目标特征序列对应的候选相似度矩阵中的各行向量和各列向量进行归一化，以得到至少两个第一行向量和至少两个第一列向量。

在本公开实施例中，分别将任一样本目标特征序列对应的候选相似度矩阵中的每个行向量和列向量进行归一化，得到至少两个第一行向量和至少两个第一列向量。

步骤706，分别对与任一样本目标特征序列对应的标注标签矩阵中的各行向量和各列向量进行归一化，以得到至少两个第二行向量和至少两个第二列向量。

在本公开实施例中，分别将任一样本目标特征序列对应的标注标签矩阵中的每个行向量和每个列向量进行归一化，以得到至少两个第二行向量和至少两个第二列向量。

步骤707，确定至少两个第一行向量与对应的第二行向量之间的第一差异，以及确定至少两个第一列向量与对应的第二列向量之间的第二差异。

进一步地，将至少两个第一行向量与对应的第二行向量进行比对，可得到至少两个第一差异，同理，将至少两个第一列向量与对应的第二列向量进行比对，可得到至少两个第二差异。

步骤708，根据至少两个第一差异，确定第一子损失值，根据至少两个第二差异，确定第二子损失值。

在本公开实施例中，可将至少两个第一差异进行相加，将相加得到的结果与对应的第一差异的个数进行相比，可得到至少两个第一差异对应的平均差异，将至少两个第一差异的平均差异对应的损失值作为第一子损失值；同理，计算至少两个第二差异对应的平均差异，将至少两个第二差异对应的平均差异对应的损失值作为第二子损失值。

其中，第一子损失值和第二子损失值可为KL(Kullback-Leibler divergence，简称KL)散度损失，第一子损失值与至少两个第一差异的平均差异为正向关系(即呈正相关关系)，即至少两个第一差异的平均差异越小，第一损失值的取值越小，反之，至少两个第一差异的平均差异越大，第一子损失值的取值越大。同理，第二子损失值与至少两个第二差异的平均差异为正向关系。

步骤709，根据第一子损失值和第二子损失值，对初始的视频类别预测模型进行训练。

进而，根据第一损失值和第二损失值，对初始的视频类别预测模型中的模型参数进行调整，以使第一子损失值和第二子损失值最小化。

需要说明的是，上述仅以模型训练的终止条件为第一子损失值和第二子损失值的取值最小化进行示例，实际应用时，也可以设置其他的终止条件，比如，终止条件可以为训练次数达到设定次数，或者，终止条件可以训练时长达到设定时长，等等，本公开对此并不做限制。

还需要说明的是，步骤701至704的执行过程可以分别采用本公开的各实施例中的任一种方式实现，本公开实施例并不对此作出限定，也不再赘述。

综上，通过分别对任一样本目标特征序列对应的候选相似度矩阵中的各行向量和各列向量进行归一化，以得到至少两个第一行向量和至少两个第一列向量；分别对与任一样本目标特征序列对应的标注标签矩阵中的各行向量和各列向量进行归一化，以得到至少两个第二行向量和至少两个第二列向量；确定至少两个第一行向量与对应的第二行向量之间的第一差异，以及确定至少两个第一列向量与对应的第二列向量之间的第二差异；根据至少两个第一差异，确定第一子损失值，根据至少两个第二差异，确定第二子损失值；根据第一子损失值和第二子损失值，对初始的视频类别预测模型进行训练，由此，采用任一样本目标特征序列对应的候选相似度矩阵中的各行向量，与对应的标注标签矩阵中的各行向量之间的差异，以及候选相似度矩阵中的各列向量以及与对应的标注标签矩阵中的各列向量之间的差异，对初始的视频类别预测模型进行训练，提高了模型的类别预测准确性。

为了进一步地提高模型的类别预测准确性，本公开提出另一种视频类别预测模型的训练方法。

图8为本公开实施例八所提供的视频类别预测模型的训练方法的流程示意图。

如图8所示，该视频类别预测模型的训练方法可包括如下步骤：

步骤801，获取至少两个样本视频以及样本类别文本集合。

其中，样本类别文本集合包括至少两个样本视频的类别文本。

步骤802，获取样本目标特征集合，

其中，样本目标特征集合包括至少两个样本目标特征序列，各样本目标特征序列是根据至少两个样本视频中同一位置的视频帧的样本目标特征确定的。

步骤803，采用初始的视频类别预测模型对样本类别文本集合中的各样本类别文本进行文本特征提取，以得到各样本类别文本的样本文本特征。

步骤804，采用初始的视频类别预测模型确定任一所述样本目标特征序列与至少两个样本文本特征之间的候选相似度矩阵。

步骤805，根据任一样本目标特征序列对应的候选相似度矩阵，以及与任一样本目标特征序列对应的至少两个样本视频的标注标签矩阵，对初始的视频类别预测模型进行训练。

其中，与任一样本目标特征序列对应的至少两个样本视频的标注标签矩阵中的各行中的非零元素用于指示对应样本视频所属的类别标签。

步骤806，在任一样本目标特征对应的候选相似度矩阵中的各行的至少两个候选相似度中确定目标相似度。

在本公开实施例中，从任一目标样本特征对应的候选相似度矩阵中的各行的至少两个候选相似度中确定大于设定阈值的目标相似度。

步骤807，采用初始的视频类别预测模型根据目标相似度，对与目标相似度对应的样本视频进行类别预测，以得到与目标相似度对应的目标样本视频的预测类别标签。

进一步地，采用初始的视频类别预测模型根据目标相似度，对与目标相似度对应的样本视频进行类别预测，以得到与目标相似度对应的目标样本视频的预测类别标签。

步骤808，根据目标样本视频的预测类别标签，与目标样本视频的标注标签之间的差异，生成第三子损失值。

进一步地，根据目标样本视频的预测类别标签，与目标样本视频的标注标签之间的差异，生成第三子损失值，其中，第三子损失值与目标样本视频的预测类别标签，与目标样本视频的标注标签之间的差异为正向关系。其中，目标样本视频的标注标签是根据目标样本视频对应的类别进行标签标注得到的。

步骤809，根据第三子损失值，对初始的视频类别预测模型进行训练。

从而，根据第三子损失值，对初始的视频类别预测模型中的模型参数进行调整，以使第三子损失值最小化。

需要说明的是，步骤801至805的执行过程可以分别采用本公开的各实施例中的任一种方式实现，本公开实施例并不对此作出限定，也不再赘述。

综上，通过根据目标样本视频的预测类别标签，与目标样本视频的标注标签之间的差异，对初始的视频类别预测模型进行训练，进一步提高了模型对视频类别的预测的准确性。

为了提高模型的预测效率，本公开提出另一种视频类别预测模型的训练方法。

图9为本公开实施例九所提供的视频类别预测模型的训练方法的流程示意图。

如图9所示，该视频类别预测模型的训练方法可包括如下步骤：

步骤901，获取至少两个样本视频以及样本类别文本集合。

其中，样本类别文本集合包括至少两个样本视频的类别文本。

步骤902，获取样本目标特征集合。

其中，样本目标特征集合包括至少两个样本目标特征序列，各样本目标特征序列是根据至少两个样本视频中同一位置的视频帧的样本目标特征确定的。

步骤903，采用初始的视频类别预测模型对样本类别文本集合中的各样本类别文本进行文本特征提取，以得到各样本类别文本的样本文本特征。

步骤904，针对至少两个样本视频中的各样本视频，采用初始的视频类别预测模型依次确定各样本视频对应的至少两个样本目标特征与至少两个样本文本特征之间的候选相似度，直至样本目标特征中第一样本目标特征与所述至少两个文本特征之间的候选相似度中存在大于设定阈值的候选相似度，停止第二样本目标特征与所述至少两个样本文本特征之间的候选相似度的确定。

举例而言，如图10所示，以至少两个样本类别为“high jump”、“hopstoch”和“zumba”为例，可得到至少两个样本类别文本分别为“a video of high jump”、“a videoof hopstoch”和“a video of zumba”为例，依次确定x₁至x_n个样本目标特征与至少两个样本文本特征之间的候选相似度，样本目标特征中第一样本目标特征(如，样本目标特征x₅)与至少两个文本特征之间的候选相似度中存在大于设定阈值的目标相似度时，停止第一样本目标特征之后的样本目标特征与至少两个样本文本特征之间的候选相似度的确定。

步骤905，根据确定的各所述样本视频对应的候选相似度，生成所述至少两个样本视频对应的任一所述样本目标特征序列与至少两个样本文本特征之间的候选相似度矩阵。

在本公开实施例中，根据确定的各样本视频中同一位置的视频帧对应的候选相似度，作为候选相似度矩阵中的各行对应的元素，由此，可确定至少两个样本视频对应的候选相似度矩阵。其中，需要说明的是，对于各样本视频对应的至少两个样本目标特征中的第二样本目标特征与至少两个样本文本特征之间的候选相似度在对应的候选相似度矩阵中的元素可为0。

步骤906，根据任一样本目标特征序列对应的候选相似度矩阵，以及与任一样本目标特征序列对应的至少两个样本视频的标注标签矩阵，对初始的视频类别预测模型进行训练。

其中，与任一样本目标特征序列对应的至少两个样本视频的标注标签矩阵中的各行中的非零元素用于指示对应样本视频所属的类别标签。

需要说明的是，步骤901至903、步骤906的执行过程可以分别采用本公开的各实施例中的任一种方式实现，本公开实施例并不对此作出限定，也不再赘述。

综上，通过针对至少两个样本视频中的各样本视频，采用初始的视频类别预测模型依次确定各样本视频对应的至少两个样本目标特征与至少两个样本文本特征之间的候选相似度，直至样本目标特征中第一样本目标特征与所述至少两个文本特征之间的候选相似度中存在大于设定阈值的目标相似度，停止第二样本目标特征与至少两个样本文本特征之间的候选相似度的确定，由此，在依次确定至少两个样本目标特征与至少两个样本文本特征之间的候选相似度中存在大于设定阈值的目标相似度时，并根据目标相似度对应的目标样本视频的预测类别标签与对应的标注标签之间的差异进行模型训练，并且可实现模型提前退出视频的类别预测，提高了视频的类别预测效率。

为了清楚地说明上述实施例是如何获取样本目标特征集合的，本公开提出另一种视频类别预测模型的训练方法。

图11为本公开实施例十所提供的视频类别预测模型的训练方法的流程示意图。

如图11所示，该视频类别预测模型的训练方法可包括如下步骤：

步骤1101，获取至少两个样本视频以及样本类别文本集合。

其中，样本类别文本集合包括至少两个样本视频的类别文本。

需要说明的是，为了进一步提高模型对视频类别的预测准确性，在本公开实施例中，可通过提高类别文本的语义完整性，提高目标特征与至少两个类别文本的文本特征之间候选相似度的准确性，从而，提高模型对视频类别的预测准确性。

作为一种示例，获取样本类别集合；将样本类别集合中的至少两个样本类别，填充至类别文本模板中，以得到至少两个样本类别文本；根据至少两个样本类别文本，确定样本类别文本集合。

步骤1102，针对至少两个样本视频中的任一样本视频，根据任一样本视频中至少两个位置的视频帧的样本图像特征，确定任一样本视频中至少两个位置的视频帧的样本目标特征。

在本公开实施例中，为了提高模型对视频类别的预测准确性，可使样本视频的视频帧中的特征信息中融合历史视频帧的特征信息，从而，模型采用融合历史视频帧的特征信息的样本目标特征进行视频的类别预测，可提高模型对视频类别的预测准确性。

作为一种示例，针对至少两个样本视频中的任一样本视频，对任一样本视频的至少两个视频帧分别进行特征提取，以得到任一样本视频的各视频帧的原始特征图；针对任一样本视频的至少两个视频帧中除首帧之外的任一视频帧，根据参考视频帧的原始特征图对任一视频帧的原始特征图进行更新，以得到任一视频帧的目标特征图，其中，参考视频帧是至少两个视频帧中任一视频帧之前采集的视频帧；根据任一样本视频中首个视频帧的原始特征图以及至少两个视频帧中除首个视频帧之外的任一视频帧的目标特征图，确定任一所述样本视频中至少两个位置的视频帧的样本目标特征。

步骤1103，根据至少两个样本视频中同一位置的视频帧的样本目标特征，确定至少两个位置的样本目标特征序列。

在本公开实施例中，根据至少两个样本视频中同一位置的视频帧的样本目标特征，可生成至少两个位置的样本目标特征序列。其中，每个样本目标特征序列中包括至少两个样本视频中同一位置的视频帧的样本目标特征。

步骤1104，根据至少两个位置的样本目标特征序列，确定样本目标特征集合。

进而，将至少两个位置的样本目标特征序列中的每个样本目标特征序列，作为样本目标特征集合中的一个元素，可得到样本目标特征集合。

步骤1105，采用初始的视频类别预测模型对样本类别文本集合中的各样本类别文本进行文本特征提取，以得到各样本类别文本的样本文本特征。

步骤1106，采用初始的视频类别预测模型确定任一样本目标特征序列与至少两个样本文本特征之间的候选相似度矩阵。

步骤1107，根据任一样本目标特征序列对应的候选相似度矩阵，以及与任一样本目标特征序列对应的至少两个样本视频的标注标签矩阵，对初始的视频类别预测模型进行训练。

其中，与任一样本目标特征序列对应的至少两个样本视频的标注标签矩阵中的各行中的非零元素用于指示对应样本视频所属的类别标签。

需要说明的是，步骤1105至1107的执行过程可以分别采用本公开的各实施例中的任一种方式实现，本公开实施例并不对此作出限定，也不再赘述。

综上，通过针对至少两个样本视频中的任一样本视频，根据任一样本视频中至少两个位置的视频帧的样本图像特征，确定任一样本视频中至少两个位置的视频帧的样本目标特征；根据至少两个样本视频中同一位置的视频帧的样本目标特征，确定至少两个位置的样本目标特征序列；根据至少两个位置的样本目标特征序列，确定样本目标特征集合，由此，样本目标特征序列中的至少一个样本目标特征可融合历史视频帧的特征信息，从而，视频类别预测模型通过至少一个融合历史视频帧的特征信息的样本目标特征进行视频的类别预测，可提高视频的类别预测准确性。

本公开实施例的视频类别预测模型的训练方法，通过获取至少两个样本视频以及样本类别文本集合，其中，样本类别文本集合包括至少两个样本视频的类别文本；获取样本目标特征集合，其中，样本目标特征集合包括至少两个样本目标特征序列，各样本目标特征序列是根据至少两个样本视频中同一位置的视频帧的样本目标特征确定的；采用初始的视频类别预测模型对样本类别文本集合中的各样本类别文本进行文本特征提取，以得到所述各样本类别文本的样本文本特征；采用初始的视频类别预测模型确定任一所述样本目标特征序列与至少两个样本文本特征之间的候选相似度矩阵；根据任一所述样本目标特征序列对应的候选相似度矩阵，以及与任一所述样本目标特征序列对应的所述至少两个样本视频的标注标签矩阵，对初始的视频类别预测模型进行训练，其中，与任一样本目标特征序列对应的至少两个样本视频的标注标签矩阵中的各行中的非零元素用于指示对应样本视频所属的类别标签，由此，根据任一样本目标特征序列对应的候选相似度矩阵与对应的至少两个样本视频的标签矩阵之间的差异，可实现初始的视频类别预测模型的训练，从而，经过训练的视频类别预测模型可实现将至少一个视频的目标特征序列中的至少一个目标特征融合历史视频帧的特征信息，并根据目标特征序列中至少一个融合历史视频帧的特征信息的目标特征进行至少一个视频的类别预测，从而可提高视频的类别预测准确度。

为了实现上述图1图5所述实施例，本公开提出一种视频类别预测装置。

图12为本公开实施例十一所提供的视频类别预测装置的结构示意图。

如图12所示，视频类别预测装置1200包括：第一获取模块1210、提取模块1220、第一确定模块1230和预测模块1240。

其中，第一获取模块1210，用于获取目标特征序列，其中，目标特征序列中的至少两个目标特征与目标视频中的至少两个视频帧一一对应，目标特征是根据目标视频中从首个视频帧至对应视频帧之间各视频帧的特征确定的；提取模块1220，用于对设定的类别文本集合中至少两个类别文本进行文本特征提取，以得到至少两个类别文本的文本特征；第一确定模块1230，用于根据任一目标特征与任一所述类别文本的文本特征之间的候选相似度，从至少两个类别文本的文本特征中确定目标文本特征，其中，目标文本特征与目标特征之间的候选相似度大于设定阈值；预测模块1240，用于根据目标文本特征，对目标视频进行类别预测。

作为本公开实施例的一种可能的实现方式，第一获取模块，具体1210用于：对目标视频的至少两个视频帧分别进行特征提取，以得到各视频帧的原始特征图；针对至少两个视频帧中除首帧之外的任一视频帧，根据参考视频帧的原始特征图对任一视频帧的原始特征图进行更新，以得到任一视频帧的目标特征图，其中，参考视频帧是至少两个视频帧中在任一视频帧之前采集的图像；根据首个视频帧的原始特征图以及至少两个视频帧中除首个视频帧之外的任一视频帧的目标特征图，确定目标特征序列。

作为本公开实施例的一种可能的实现方式，预测模块1240，具体用于：根据目标文本特征，从各类别标签文本中确定目标文本特征对应的目标类别文本；根据目标类别文本，预测目标视频的类别。

作为本公开实施例的一种可能的实现方式，第一确定模块，具体用于：依次确定至少两个目标特征与至少两个类别文本的文本特征之间的候选相似度，直至目标特征序列中第一目标特征与至少两个文本特征之间的候选相似度中存在大于设定阈值的目标相似度，停止第二目标特征与至少两个文本特征之间的候选相似度的确定，其中，第二目标特征为所述目标特征序列中第一目标特征之后的目标特征；根据目标相似度，确定目标文本特征。

作为本公开实施例的一种可能的实现方式，视频类别预测装置1200还包括：第二获取模块、填充模块和第二确定模块。

其中，第二获取模块，用于获取设定的类别集合；填充模块，用于将类别集合中的至少两个类别，填充至类别文本模板中，以得到至少两个类别文本；第二确定模块，用于根据至少两个类别文本，确定类别标签文本集合。

本公开实施例的视频类别预测装置，通过获取目标特征序列；对设定的类别文本集合中至少两个类别文本进行文本特征提取，以得到至少两个类别文本的文本特征；根据任一目标特征与任一类别文本的文本特征之间的候选相似度，从至少两个类别文本的文本特征中确定目标文本特征；根据目标文本特征，对目标视频进行类别预测，由此，该装置可实现目标特征序列中的至少一个目标特征可融合历史视频帧的特征信息，根据目标特征序列中至少一个融合历史视频帧的特征信息的目标特征进行目标视频的类别预测，可提高目标视频的类别预测准确度。

为了实现上述图6至图11实施例所述的视频类别预测模型的训练方法，本公开提出一种视频类别预测模型的训练装置。

图13为本公开实施例十二所提供的视频类别预测模型的训练装置的结构示意图。

如图13所示，视频类别预测模型的训练装置1300包括：第一获取模块1310、第二获取模块1320、提取模块1330、第一确定模块1340和训练模块1350。

其中，第一获取模块1310，用于获取至少两个样本视频以及样本类别文本集合，其中，样本类别文本集合包括至少两个样本视频的类别文本；第二获取模块1320，用于获取样本目标特征集合，其中，样本目标特征集合包括至少两个样本目标特征序列，各样本目标特征序列是根据至少两个样本视频中同一位置的视频帧的样本目标特征确定的；提取模块1330，用于采用初始的视频类别预测模型对样本类别文本集合中的各样本类别文本进行文本特征提取，以得到各样本类别文本的样本文本特征；第一确定模块1340，用于采用初始的视频类别预测模型确定任一样本目标特征序列与至少两个样本文本特征之间的候选相似度矩阵；训练模块1350，用于根据任一样本目标特征序列对应的候选相似度矩阵，以及与任一样本目标特征序列对应的至少两个样本视频的标注标签矩阵，对初始的视频类别预测模型进行训练，其中，与任一样本目标特征序列对应的至少两个样本视频的标注标签矩阵中的各行中的非零元素用于指示对应样本视频所属的类别标签。

作为本公开实施例的一种可能的实现方式，训练模块1350，具体用于：分别对任一样本目标特征序列对应的候选相似度矩阵中的各行向量和各列向量进行归一化，以得到至少两个第一行向量和至少两个第一列向量；分别对与任一样本目标特征序列对应的标注标签矩阵中的各行向量和各列向量进行归一化，以得到至少两个第二行向量和至少两个第二列向量；确定至少两个第一行向量与对应的第二行向量之间的第一差异，以及确定至少两个第一列向量与对应的第二列向量之间的第二差异；根据至少两个第一差异，确定第一子损失值，根据至少两个第二差异，确定第二子损失值；根据第一子损失值和第二子损失值，对初始的视频类别预测模型进行训练。

作为本公开实施例的一种可能的实现方式，视频类别预测模型的训练装置1300还包括：第二确定模块、预测模块和生成模块。

其中，第二确定模块，用于在任一样本目标特征对应的候选相似度矩阵中的各行的至少两个候选相似度中确定目标相似度，其中，目标相似度为大于设定阈值的候选相似度；预测模块，用于采用初始的视频类别预测模型根据目标相似度，对与目标相似度对应的样本视频进行类别预测，以得到与目标相似度对应的目标样本视频的预测类别标签；生成模块，用于根据目标样本视频的预测类别标签，与目标样本视频的标注标签之间的差异，生成第三子损失值；训练模块1350，还用于根据第三子损失值，对初始的视频类别预测模型进行训练。

作为本公开实施例的一种可能的实现方式，第一确定模块1340，具体用于：针对至少两个样本视频中的各样本视频，采用初始的视频类别预测模型依次确定各样本视频对应的至少两个样本目标特征与至少两个样本文本特征之间的候选相似度，直至样本目标特征中第一样本目标特征与至少两个文本特征之间的候选相似度中存在大于设定阈值的候选相似度，停止第二样本目标特征与至少两个样本文本特征之间的候选相似度的确定；根据确定的各所述样本视频对应的候选相似度，生成至少两个样本视频对应的任一样本目标特征序列与至少两个样本文本特征之间的候选相似度矩阵。

作为本公开实施例的一种可能的实现方式，第二获取模块，具体用于：针对至少两个样本视频中的任一样本视频，根据任一样本视频中至少两个位置的视频帧的样本图像特征，确定任一样本视频中至少两个位置的视频帧的样本目标特征；根据至少两个样本视频中同一位置的视频帧的样本目标特征，确定至少两个位置的样本目标特征序列；根据至少两个位置的样本目标特征序列，确定样本目标特征集合。

作为本公开实施例的一种可能的实现方式，第二获取模块，还用于：针对至少两个样本视频中的任一样本视频，对任一样本视频的至少两个视频帧分别进行特征提取，以得到任一样本视频的各视频帧的原始特征图；针对任一样本视频的至少两个视频帧中除首帧之外的任一视频帧，根据参考视频帧的原始特征图对任一视频帧的原始特征图进行更新，以得到任一视频帧的目标特征图，其中，参考视频帧是至少两个视频帧中任一视频帧之前采集的视频帧；根据任一样本视频中首个视频帧的原始特征图以及至少两个视频帧中除首个视频帧之外的任一视频帧的目标特征图，确定任一样本视频中至少两个位置的视频帧的样本目标特征。

作为本公开实施例的一种可能的实现方式，第一获取模块1410，具体用于：获取样本类别集合；将样本类别集合中的至少两个样本类别，填充至类别文本模板中，以得到至少两个样本类别文本；根据至少两个样本类别文本，确定样本类别文本集合。

本公开实施例的视频类别预测模型的训练装置，通过获取至少两个样本视频以及样本类别文本集合，其中，样本类别文本集合包括至少两个样本视频的类别文本；获取样本目标特征集合，其中，样本目标特征集合包括至少两个样本目标特征序列，各样本目标特征序列是根据至少两个样本视频中同一位置的视频帧的样本目标特征确定的；采用初始的视频类别预测模型对样本类别文本集合中的各样本类别文本进行文本特征提取，以得到各样本类别文本的样本文本特征；采用初始的视频类别预测模型确定任一所述样本目标特征序列与至少两个样本文本特征之间的候选相似度矩阵；根据任一所述样本目标特征序列对应的候选相似度矩阵，以及与任一所述样本目标特征序列对应的所述至少两个样本视频的标注标签矩阵，对初始的视频类别预测模型进行训练，其中，与任一样本目标特征序列对应的至少两个样本视频的标注标签矩阵中的各行中的非零元素用于指示对应样本视频所属的类别标签，由此，该装置可实现根据任一样本目标特征序列对应的候选相似度矩阵与对应的至少两个样本视频的标签矩阵之间的差异，可实现初始的视频类别预测模型的训练，从而，经过训练的视频类别预测模型可实现将至少一个视频的目标特征序列中的至少一个目标特征融合历史视频帧的特征信息，并根据目标特征序列中至少一个融合历史视频帧的特征信息的目标特征进行至少一个视频的类别预测，从而可提高视频的类别预测准确度。

为了实现上述实施例，本公开提出一种电子设备。该电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行图1至图5实施例所述的方法，或者，执行图6至图11实施例所述的方法。

为了实现上述实施例，本公开提出一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使所述计算机执行图1至图5实施例所述的方法，或者，执行图6至图11实施例所述的方法。

为了实现上述实施例，本公开提出一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现图1至图5实施例所述的方法，或者，执行图6至图11实施例所述的方法。

需要说明的是，本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均在征得用户同意的前提下进行，并且均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图14示出了可以用来实施本公开的实施例的示例电子设备1400的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图14所示，设备1400包括计算单元1401，其可以根据存储在只读存储器(ROM)1402中的计算机程序或者从存储单元1408加载到随机访问存储器(RAM)1403中的计算机程序，来执行各种适当的动作和处理。在RAM 1403中，还可存储设备1400操作所需的各种程序和数据。计算单元1401、ROM 1402以及RAM 1403通过总线1404彼此相连。输入/输出(I/O)接口1405也连接至总线1404。

设备1400中的多个部件连接至I/O接口1405，包括：输入单元1406，例如键盘、鼠标等；输出单元1407，例如各种类型的显示器、扬声器等；存储单元1408，例如磁盘、光盘等；以及通信单元1409，例如网卡、调制解调器、无线通信收发机等。通信单元1409允许设备1400通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元1401可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1401的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1401执行上文所描述的各个方法和处理，例如视频类别预测方法或视频类别预测模型的训练方法。例如，在一些实施例中，视频类别预测方法或视频类别预测模型的训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1408。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1402和/或通信单元1409而被载入和/或安装到设备1400上。当计算机程序加载到RAM 1403并由计算单元1401执行时，可以执行上文描述的视频类别预测方法或视频类别预测模型的训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元1401可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行视频类别预测方法或视频类别预测模型的训练方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网和区块链网络。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

其中，需要说明的是，人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (20)

1.一种视频类别预测方法，包括：

获取目标特征序列，其中，所述目标特征序列中的至少两个目标特征与目标视频中的至少两个视频帧一一对应，所述目标特征是根据所述目标视频中从首个视频帧至对应视频帧之间各视频帧的特征确定的；

对设定的类别文本集合中至少两个类别文本进行文本特征提取，以得到所述至少两个类别文本的文本特征；

根据任一所述目标特征与任一所述类别文本的文本特征之间的候选相似度，从所述至少两个类别文本的文本特征中确定目标文本特征，其中，所述目标文本特征与所述目标特征之间的候选相似度大于设定阈值；

根据所述目标文本特征，对所述目标视频进行类别预测；

其中，所述获取目标特征序列，包括：

对所述目标视频的至少两个视频帧分别进行特征提取，以得到各视频帧的原始特征图；

针对所述至少两个视频帧中除首个视频帧之外的任一视频帧，根据参考视频帧的原始特征图对所述任一视频帧的原始特征图进行更新，以得到所述任一视频帧的目标特征图，其中，所述参考视频帧是所述至少两个视频帧中在所述任一视频帧之前采集的图像；

根据所述首个视频帧的原始特征图以及所述至少两个视频帧中除首个视频帧之外的任一视频帧的目标特征图，确定目标特征序列。

2.根据权利要求1所述的方法，其中，所述根据所述目标文本特征，对所述目标视频进行类别预测，包括：

根据所述目标文本特征，从各所述类别文本中确定所述目标文本特征对应的目标类别文本；

根据所述目标类别文本，预测所述目标视频的类别。

3.根据权利要求1所述的方法，其中，所述根据任一所述目标特征与任一所述类别文本的文本特征之间的候选相似度，从所述至少两个类别文本的文本特征中确定目标文本特征，包括：

依次确定所述至少两个目标特征与所述至少两个类别文本的文本特征之间的候选相似度，直至所述目标特征序列中第一目标特征与所述至少两个类别文本的文本特征之间的候选相似度中存在大于设定阈值的目标相似度，停止第二目标特征与所述至少两个类别文本的文本特征之间的候选相似度的确定，其中，所述第二目标特征为所述目标特征序列中所述第一目标特征之后的目标特征；

根据所述目标相似度，确定所述目标文本特征。

4.根据权利要求1-3中任一项所述的方法，其中，所述方法还包括：

获取设定的类别集合；

将所述类别集合中的至少两个类别，填充至类别文本模板中，以得到至少两个类别文本；

根据所述至少两个类别文本，确定类别文本集合。

5.一种视频类别预测模型的训练方法，包括：

获取至少两个样本视频以及样本类别文本集合，其中，所述样本类别文本集合包括所述至少两个样本视频的类别文本；

获取样本目标特征集合，其中，所述样本目标特征集合包括至少两个样本目标特征序列，各所述样本目标特征序列是根据所述至少两个样本视频中同一位置的视频帧的样本目标特征确定的；

采用初始的视频类别预测模型对样本类别文本集合中的各样本类别文本进行文本特征提取，以得到所述各样本类别文本的样本文本特征；

采用初始的视频类别预测模型确定任一所述样本目标特征序列与至少两个样本文本特征之间的候选相似度矩阵；

根据任一所述样本目标特征序列对应的候选相似度矩阵，以及与任一所述样本目标特征序列对应的所述至少两个样本视频的标注标签矩阵，对所述初始的视频类别预测模型进行训练，其中，与任一所述样本目标特征序列对应的所述至少两个样本视频的标注标签矩阵中的各行中的非零元素用于指示对应样本视频所属的类别标签；

其中，所述获取样本目标特征集合，包括：

针对所述至少两个样本视频中的任一所述样本视频，对任一所述样本视频的至少两个视频帧分别进行特征提取，以得到任一所述样本视频的各视频帧的原始特征图；

针对任一所述样本视频的至少两个视频帧中除首帧之外的任一视频帧，根据参考视频帧的原始特征图对所述任一视频帧的原始特征图进行更新，以得到所述任一视频帧的目标特征图，其中，所述参考视频帧是所述至少两个视频帧中任一视频帧之前采集的视频帧；

根据任一所述样本视频中首个视频帧的原始特征图以及所述至少两个视频帧中除首个视频帧之外的任一视频帧的目标特征图，确定任一所述样本视频中至少两个位置的视频帧的样本目标特征；

根据所述至少两个样本视频中同一位置的视频帧的样本目标特征，确定至少两个位置的样本目标特征序列；

根据所述至少两个位置的样本目标特征序列，确定样本目标特征集合。

6.根据权利要求5所述的方法，其中，所述根据任一所述样本目标特征序列对应的候选相似度矩阵，以及与任一所述样本目标特征序列对应的所述至少两个样本视频的标注标签矩阵，对所述初始的视频类别预测模型进行训练，包括：

分别对任一所述样本目标特征序列对应的候选相似度矩阵中的各行向量和各列向量进行归一化，以得到至少两个第一行向量和至少两个第一列向量；

分别对与任一所述样本目标特征序列对应的标注标签矩阵中的各行向量和各列向量进行归一化，以得到至少两个第二行向量和至少两个第二列向量；

确定所述至少两个第一行向量与对应的第二行向量之间的第一差异，以及确定所述至少两个第一列向量与对应的第二列向量之间的第二差异；

根据至少两个所述第一差异，确定第一子损失值，根据至少两个所述第二差异，确定第二子损失值；

根据所述第一子损失值和所述第二子损失值，对所述初始的视频类别预测模型进行训练。

7.根据权利要求6所述的方法，其中，所述方法还包括：

在任一所述样本目标特征对应的候选相似度矩阵中的各行的至少两个候选相似度中确定目标相似度，其中，所述目标相似度为大于设定阈值的候选相似度；

采用所述初始的视频类别预测模型根据所述目标相似度，对与所述目标相似度对应的样本视频进行类别预测，以得到与所述目标相似度对应的目标样本视频的预测类别标签；

根据所述目标样本视频的预测类别标签，与所述目标样本视频的标注标签之间的差异，生成第三子损失值；

根据所述第三子损失值，对所述初始的视频类别预测模型进行训练。

8.根据权利要求5所述的方法，所述采用初始的视频类别预测模型确定任一所述样本目标特征序列与至少两个样本文本特征之间的候选相似度矩阵，包括：

针对所述至少两个样本视频中的各样本视频，采用初始的视频类别预测模型依次确定各所述样本视频对应的至少两个样本目标特征与至少两个样本文本特征之间的候选相似度，直至所述样本目标特征中第一样本目标特征与所述至少两个文本特征之间的候选相似度中存在大于设定阈值的候选相似度，停止第二样本目标特征与所述至少两个样本文本特征之间的候选相似度的确定；

根据确定的各所述样本视频对应的候选相似度，生成所述至少两个样本视频对应的任一所述样本目标特征序列与至少两个样本文本特征之间的候选相似度矩阵。

9.根据权利要求5-8中任一项所述的方法，其中，获取样本类别标签文本集合，包括：

获取样本类别集合；

将所述样本类别集合中的至少两个样本类别，填充至类别文本模板中，以得到至少两个样本类别文本；

根据所述至少两个样本类别文本，确定所述样本类别文本集合。

10.一种视频类别预测装置，包括：

第一获取模块，用于获取目标特征序列，其中，所述目标特征序列中的至少两个目标特征与目标视频中的至少两个视频帧一一对应，所述目标特征是根据所述目标视频中从首个视频帧至对应视频帧之间各视频帧的特征确定的；

提取模块，用于对设定的类别文本集合中至少两个类别文本进行文本特征提取，以得到所述至少两个类别文本的文本特征；

第一确定模块，用于根据任一所述目标特征与任一所述类别文本的文本特征之间的候选相似度，从所述至少两个类别文本的文本特征中确定目标文本特征，其中，所述目标文本特征与所述目标特征之间的候选相似度大于设定阈值；

预测模块，用于根据所述目标文本特征，对所述目标视频进行类别预测；

其中，所述第一获取模块，具体用于：

对所述目标视频的至少两个视频帧分别进行特征提取，以得到各视频帧的原始特征图；

针对所述至少两个视频帧中除首帧之外的任一视频帧，根据参考视频帧的原始特征图对所述任一视频帧的原始特征图进行更新，以得到所述任一视频帧的目标特征图，其中，所述参考视频帧是所述至少两个视频帧中在所述任一视频帧之前采集的图像；

根据首个视频帧的原始特征图以及所述至少两个视频帧中除首个视频帧之外的任一视频帧的目标特征图，确定目标特征序列。

11.根据权利要求10所述的装置，其中，所述预测模块，具体用于：

根据所述目标文本特征，从各所述类别标签文本中确定所述目标文本特征对应的目标类别文本；

根据所述目标类别文本，预测所述目标视频的类别。

12.根据权利要求10所述的装置，其中，所述第一确定模块，具体用于：

依次确定所述至少两个目标特征与所述至少两个类别文本的文本特征之间的候选相似度，直至所述目标特征序列中第一目标特征与所述至少两个文本特征之间的候选相似度中存在大于设定阈值的目标相似度，停止第二目标特征与所述至少两个文本特征之间的候选相似度的确定，其中，所述第二目标特征为所述目标特征序列中所述第一目标特征之后的目标特征；

根据所述目标相似度，确定所述目标文本特征。

13.根据权利要求10-12中任一项所述的装置，其中，所述装置还包括：

第二获取模块，用于获取设定的类别集合；

填充模块，用于将所述类别集合中的至少两个类别，填充至类别文本模板中，以得到至少两个类别文本；

第二确定模块，用于根据所述至少两个类别文本，确定类别标签文本集合。

14.一种视频类别预测模型的训练装置，包括：

第一获取模块，用于获取至少两个样本视频以及样本类别文本集合，其中，所述样本类别文本集合包括所述至少两个样本视频的类别文本；

第二获取模块，用于获取样本目标特征集合，其中，所述样本目标特征集合包括至少两个样本目标特征序列，各所述样本目标特征序列是根据所述至少两个样本视频中同一位置的视频帧的样本目标特征确定的；

提取模块，用于采用初始的视频类别预测模型对样本类别文本集合中的各样本类别文本进行文本特征提取，以得到所述各样本类别文本的样本文本特征；

第一确定模块，用于采用初始的视频类别预测模型确定任一所述样本目标特征序列与至少两个样本文本特征之间的候选相似度矩阵；

训练模块，用于根据任一所述样本目标特征序列对应的候选相似度矩阵，以及与任一所述样本目标特征序列对应的所述至少两个样本视频的标注标签矩阵，对所述初始的视频类别预测模型进行训练，其中，与任一所述样本目标特征序列对应的所述至少两个样本视频的标注标签矩阵中的各行中的非零元素用于指示对应样本视频所属的类别标签；

其中，所述第二获取模块，还用于：

针对所述至少两个样本视频中的任一所述样本视频，对任一所述样本视频的至少两个视频帧分别进行特征提取，以得到任一所述样本视频的各视频帧的原始特征图；

针对任一所述样本视频的至少两个视频帧中除首帧之外的任一视频帧，根据参考视频帧的原始特征图对所述任一视频帧的原始特征图进行更新，以得到所述任一视频帧的目标特征图，其中，所述参考视频帧是所述至少两个视频帧中任一视频帧之前采集的视频帧；

根据任一所述样本视频中首个视频帧的原始特征图以及所述至少两个视频帧中除首个视频帧之外的任一视频帧的目标特征图，确定任一所述样本视频中至少两个位置的视频帧的样本目标特征；

根据所述至少两个样本视频中同一位置的视频帧的样本目标特征，确定至少两个位置的样本目标特征序列；

根据所述至少两个位置的样本目标特征序列，确定样本目标特征集合。

15.根据权利要求14所述的装置，其中，所述训练模块，具体用于：

分别对任一所述样本目标特征序列对应的候选相似度矩阵中的各行向量和各列向量进行归一化，以得到至少两个第一行向量和至少两个第一列向量；

分别对与任一所述样本目标特征序列对应的标注标签矩阵中的各行向量和各列向量进行归一化，以得到至少两个第二行向量和至少两个第二列向量；

确定所述至少两个第一行向量与对应的第二行向量之间的第一差异，以及确定所述至少两个第一列向量与对应的第二列向量之间的第二差异；

根据至少两个所述第一差异，确定第一子损失值，根据至少两个所述第二差异，确定第二子损失值；

根据所述第一子损失值和所述第二子损失值，对所述初始的视频类别预测模型进行训练。

16.根据权利要求15所述的装置，其中，所述装置还包括：

第二确定模块，用于在任一所述样本目标特征对应的候选相似度矩阵中的各行的至少两个候选相似度中确定目标相似度，其中，所述目标相似度为大于设定阈值的候选相似度；

预测模块，用于采用所述初始的视频类别预测模型根据所述目标相似度，对与所述目标相似度对应的样本视频进行类别预测，以得到与所述目标相似度对应的目标样本视频的预测类别标签；

生成模块，用于根据所述目标样本视频的预测类别标签，与所述目标样本视频的标注标签之间的差异，生成第三子损失值；

所述训练模块，还用于根据所述第三子损失值，对所述初始的视频类别预测模型进行训练。

17.根据权利要求14所述的装置，其中，所述第一确定模块，具体用于：

针对所述至少两个样本视频中的各样本视频，采用初始的视频类别预测模型依次确定各所述样本视频对应的至少两个样本目标特征与至少两个样本文本特征之间的候选相似度，直至所述样本目标特征中第一样本目标特征与所述至少两个文本特征之间的候选相似度中存在大于设定阈值的目标相似度，停止第二样本目标特征与所述至少两个样本文本特征之间的候选相似度的确定；

根据确定的各所述样本视频对应的候选相似度，生成所述至少两个样本视频对应的任一所述样本目标特征序列与至少两个样本文本特征之间的候选相似度矩阵。

18.根据权利要求14-17中任一项所述的装置，其中，所述第一获取模块，具体用于：

获取样本类别集合；

将所述样本类别集合中的至少两个样本类别，填充至类别文本模板中，以得到至少两个样本类别文本；

根据所述至少两个样本类别文本，确定所述样本类别文本集合。

19.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-4中任一项所述的方法，或者，执行权利要求5-9中任一项所述的方法。

20.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1-4中任一项所述的方法，或者，执行权利要求5-9中任一项所述的方法。