CN112862005A - 视频的分类方法、装置、电子设备和存储介质 - Google Patents

Abstract

本公开公开了一种视频的分类方法、装置、电子设备和存储介质，尤其涉及计算机视觉、深度学习等人工智能技术领域。其中，具体实现方案为：从待处理视频中获取多组图像帧；对抽取的每组所述图像帧进行特征提取，以确定每组图像帧对应的特征图；确定每组图像帧对应的权重；基于每组图像帧对应的权重，将各个所述特征图进行融合，以生成所述视频对应的总特征图；根据所述总特征图，将所述视频进行分类，以确定所述视频对应的类别标签。由此，在将视频进行分类时，不仅考虑了视频中图像帧包含的内容，还考虑了图像帧在视频中的作用，从而使得分类结果更准确、更可靠。

Description

视频的分类方法、装置、电子设备和存储介质

技术领域

本公开涉及图像处理技术领域，具体涉及计算机视觉、深度学习等人工智能技术领域，尤其涉及一种视频的分类方法、装置、电子设备和存储介质。

背景技术

随着互联网技术的快速发展，视频监视、视频推荐、视频搜索等方面已展现出巨大的应用潜力，因此，对视频进行正确的识别和分类，已成为计算机视觉社区中最活跃的研究主题之一。

评估视频识别和分类方法的重要指标是分类准确性和推理成本，现今视频识别已经在识别精度上取得了巨大的成功，但是由于庞大的计算成本，它仍然是一项具有挑战性的任务。从而，如何在不增加计算量的同时，提高识别精度，成为目前至关重要的问题。

发明内容

本公开提供了一种视频的分类方法、装置、电子设备和存储介质。

本公开一方面，提供了一种视频的分类方法，包括：

从待处理的视频中，获取多组图像帧；

分别对每组所述图像帧进行特征提取，以确定每组所述图像帧对应的特征图；

确定每组所述图像帧对应的权重值；

基于每组所述图像帧对应的权重值，将各个所述特征图进行融合，以生成所述视频对应的总特征图；

根据所述总特征图，将所述视频进行分类，以确定所述视频对应的类别标签。

本公开的另一方面，提供了一种视频的分类装置，包括：

抽取模块，用于从待处理视频中，获取多组图像帧；

第一确定模块，用于分别对每组图像帧进行特征提取，以确定每组图像帧对应的特征图；

第二确定模块，用于确定每组所述图像帧对应的权重值；

生成模块，用于基于每组所述图像帧对应的权重值，将各个所述特征图进行融合，以生成所述视频对应的总特征图；

第三确定模块，用于根据所述总特征图，将所述视频进行分类，以确定所述视频对应的类别标签。

本公开的另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述一方面实施例所述的视频的分类方法。

本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其上存储有计算机程序，所述计算机指令用于使所述计算机执行上述一方面实施例所述的视频的分类方法。

本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述一方面实施例所述的视频的分类方法。

本公开提供的视频的分类方法、装置、电子设备和存储介质，首先从待处理视频中获取多组图像帧；然后对抽取的每组所述图像帧进行特征提取，以确定每组图像帧对应的特征图；确定每组图像帧对应的权重；基于每组图像帧对应的权重，将各个所述特征图进行融合，以生成所述视频对应的总特征图；根据所述总特征图，将所述视频进行分类，以确定所述视频对应的类别标签。由此，在将视频进行分类时，不仅考虑了视频中图像帧包含的内容，还考虑了图像帧在视频中的作用，从而使得分类结果更准确、更可靠。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1为本公开一实施例提供的一种视频的分类方法的流程示意图；

图2为本公开另一实施例提供的一种视频的分类方法的流程示意图；

图3为本公开又一实施例提供的一种视频的分类方法的流程示意图；

图3a为本公开一个实施例提供的一种视频分类网络的结构示意图；

图3b为本公开另一个实施例提供的一种视频分类网络的结构示意图；

图4为本公开一实施例提供的一种视频的分类装置的结构示意图；

图5为本公开另一实施例提供的一种视频的分类装置的结构示意图；

图6为用来实现本公开实施例的视频的分类方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习、深度学习、大数据处理技术、知识图谱技术等几大方向。

计算机视觉是一个跨学科的科学领域，研究如何让计算机从数字图像或视频中获得高水平的理解。从工程学的角度来看，它寻求人类视觉系统能够完成的自动化任务。计算机视觉任务包括获取、处理、分析和理解数字图像的方法，以及从现实世界中提取高维数据以便例如以决策的形式产生数字或符号信息的方法。

深度学习是指多层的人工神经网络和训练它的方法。一层神经网络会把大量矩阵数字作为输入，通过非线性激活方法取权重，再产生另一个数据集合作为输出。通过合适的矩阵数量，多层组织链接一起，形成神经网络“大脑”进行精准复杂的处理，就像人们识别物体标注图片一样。

下面参考附图描述本公开实施例的视频的分类方法、装置、电子设备和存储介质。

本公开实施例的视频的分类方法，可由本公开实施例提供的视频的分类装置执行，该装置可配置于电子设备中。

图1为本公开实施例提供的一种视频的分类方法的流程示意图。

如图1所示，该视频的分类方法，可以包括以下步骤：

步骤101，从待处理视频中，获取多组图像帧。

其中，可以首先将待处理的视频进行均匀分段，然后再从各个视频片段中，均匀抽取一组图像帧，这样即可以保证抽取到的图像帧覆盖范围较广，视频片段中的每一部分都可以尽量被抽取到，从而可以较全面的反映出视频片段的内容。

或者，还可以根据需要采用其他的图像帧抽取方式。比如位于视频开始和结尾位置处的视频片段，抽帧的间隔大，而位于视频中间位置的视频片段，抽帧的间隔小，或者，对于不同类型的待处理视频，各个视频片段设置对应的抽帧方式等等，本公开对此不做限定。

另外，为了便于处理，可以提前将待处理视频分为若干个视频片段。

可以理解的是，对于各个视频片段，所抽取的各组图像帧的数量可以相同，或者也可以不同，可以根据需要进行设置，本公开对此不做限定。

为方便说明，本公开各实施例，以各个视频片段抽取的各组图像帧的数量相同为例进行说明。

步骤102，分别对每组图像帧进行特征提取，以确定每组图像帧对应的特征图。

其中，可以利用预先训练生成的特征提取模型，确定出每个视频片段对应的特征图。

可以理解的是，将各个视频片段对应的各组图像帧，输入到训练生成的特征提取模型中，该特征提取模型即可对各组图像帧进行特征提取，从而确定出各组图像帧对应的特征图，即各视频片段对应的特征图。

或者，也可以利用纹理特征、形状特征等特征提取方法，对各组图像帧进行特征提取，从而可以确定出各组图像帧对应的特征图，即各视频片段对应的特征图。

需要说明的是，上述示例只是举例说明，不能作为对本公开实施例提供的视频分类方法的限定。

步骤103，确定每组图像帧对应的权重值。

其中，本公开中可以采用不同的方式，确定每组图像帧对应的权重值。

比如，可以根据每组图像帧与其他各组图像帧间的关联度，确定每组图像帧对应的权重值。可以理解的是，若某组图像帧与其他各组图像帧间的关联度均比较高，则说明该组图像帧在该视频中的作用比较大，从而即可为该组图像帧设置一个比较高的权重。

本公开中，可以利用任一关系识别方法，确定每组图像帧分别与其他图像帧间的关联度。比如，可以利用标注数据，训练一个用于识别两组图像间关联度的神经网络模型，进而利用训练生成的神经网络模型对每组图像帧与其他各组图像帧分别进行关系识别，以确定每组所述图像帧与其他各组图像帧间的关联度。即，通过将待识别的两组图像帧输入训练生成的神经网络模型中，神经网络模型即可输出该两组图像帧间的关联度。本公开中，可以利用神经网络模型，确定每组图像帧与其他各组图像帧间的关联度，进而再基于确定的关联度，确定每组图像帧对应的权重值。

或者，还可以利用图卷积网络对各组所述图像帧进行关联度提取，以确定多组图像帧间的关联度向量；再根据所述多组图像帧间的关联度向量，确定每组所述图像帧对应的权重值。

其中，各组图像帧间的关联度，可以侧面反映出每组图像帧间在视频中的作用。

可以理解的是，可以将各组图像帧输入到预先训练生成的图卷积网络中，由图卷积网络对各组图像帧间的关系进行关联度提取，之后输出各组图像帧间的关联度向量。

比如，待处理的视频中包含四个视频片段，从四个视频片段中，分别抽取到的4组图像帧分别为A、B、C、D，从而可以将图像帧A、B、C、D输入到图卷积网络中，确定出各组图像帧间的关联度向量[a,b,c,d]，进而即可根据该关联度向量中各个元素的取值，确定每组图像帧对应的权重。

需要说明的是，上述示例只是举例说明，不能作为对本公开实施例提供的视频分类方法的限定。

步骤104，基于每组图像帧对应的权重值，将各个特征图进行融合，以生成视频对应的总特征图。

其中，将各个特征图进行融合时，可以有多种方式。

比如，可以将各组图像帧间对应的权重值与特征图相乘，生成各个视频片段对应的更新后的特征图。

之后，将各个更新后的特征图进行融合时，可以根据各组图像帧间对应的权重，将对应的各个特征图赋予对应的比重。

比如，A组图像帧对应的权重比较大，B组图像帧对应的权重比较小，可以认为A组图像帧在视频中较为重要，从而在将各个特征图进行融合时，可以将A组图像帧对应的特征图赋予较高的比重，而将B组图像帧对应的特征图赋予较小的比重，以生成视频对应的总特征图。

或者，也可以将各个更新后的各个特征图进行拼接，得到总特征图。

需要说明的是，上述示例只是举例说明，不能作为对本公开实施例中对各个特征图进行融合方式等的限定。

本公开实施例中，将各个特征图进行融合时，考虑到了各组图像帧在视频中的作用，从而融合后得到的总特征图也更加全面、可靠。

步骤105，根据总特征图，将视频进行分类，以确定视频对应的类别标签。

其中，总特征图，不仅融合了视频中各个视频片段对应的特征图，而且可以反映出各个视频片段间的关系，因此可以较好的反映出视频的总体特征。从而根据总特征图，对视频进行识别、分类时，可以较为准确的确定出视频对应的类别标签，提高了视频分类的准确性。

本公开实施例，可以从待处理视频中获取多组图像帧，对抽取的每组图像帧进行特征提取，以确定每组图像帧对应的特征图；确定每组图像帧对应的权重；基于每组图像帧对应的权重，将各个所述特征图进行融合，以生成所述视频对应的总特征图；根据所述总特征图，将所述视频进行分类，以确定所述视频对应的类别标签。由此，在将视频进行分类时，不仅考虑了视频中图像帧包含的内容，还考虑了图像帧在视频中的作用，从而使得分类结果更准确、更可靠。

上述实施例，通过对各个视频片段抽取的一组图像帧进行特征提取、图卷积网络处理等，可以确定出各个视频片段对应的特征图以及各组图像帧间的关联度，根据各关联度对特征图进行融合可以得到总特征图，之后即可实现对视频的分类。在一种可能的实现方式中，对于长视频，可以将其均匀分割得到的各个视频片段进行分组，得到各组视频片段，之后可以对各组视频片段进行处理，从而可以提高长视频分类的效率和准确性，下面结合图2对上述过程进行进一步说明。

图2为本公开实施例提供的一种视频的分类方法的流程示意图，如图2所示，该视频的分类方法，可以包括以下步骤：

步骤201，将待处理视频进行均匀分割，以获取多个视频片段。

其中，将待处理视频进行均匀分割时，可以有多种方式。

比如，可以根据需要，将所有待处理视频都均匀划分为W个视频片段，其中W为可以为设定好的任意数值，本公开对此不做限定。

或者，也可以根据待处理视频的长度，对待处理视频进行均匀分割。

比如，可以先根据待处理视频的长度，确定待处理视频待分割的视频片段数量，之后根据待分割的视频片段数量，将待处理视频进行均匀分割，以获取各个视频片段。

具体的，根据待处理视频的长度，确定待分割的视频片段数量时，可以有多种方法。

比如，可以在待处理视频的长度小于或等于阈值的情况下，确定待处理视频待分割的视频片段的数量为指定值。

或者，在待处理视频的长度大于阈值的情况下，确定待处理视频待分割的视频片段的数量为指定值的N倍，其中，N为大于1的整数。

其中，阈值可以为提前设定好的任意数值，本公开对此不做限定。

另外，指定值可以根据训练生成的特征提取模型、图卷积网络确定。比如说，使用特征提取模型、图卷积网络时，输入的各组图像帧的数量为X，则对应的指定值即为X，其中，X可以为任意正整数，本公开对此不做限定。

举例来说,设定好的阈值为30秒，指定值为3。待处理视频时长为25秒，其小于30秒,可以确定待处理视频待分割的视频片段数量为3，之后可以将待处理视频进行均匀分割，得到3个视频片段。

或者，待处理视频时长为70秒，其大于30秒,N取2时，可以确定出待处理视频待分割的视频片段的数量为6，之后可以将待处理视频进行均匀分割，得到6个视频片段。或者N取3时，待处理视频待分割的视频片段的数量为9，之后可以将待处理视频进行均匀分割，得到9个视频片段等等。

需要说明的是，上述示例只是举例说明，不能作为对本公开实施例中确定待处理视频待分隔的视频片段数量等的限定。

步骤202，从每个视频片段中均匀抽取一组图像帧。

步骤203，对抽取的每组图像帧进行特征提取，以确定每个视频片段对应的特征图。

步骤204，在待处理视频中包含的视频片段的数量为M倍的指定值的情况下，将待处理视频中包含的视频片段分为M组。

其中，M可以为大于1的整数，每组视频片段中包含指定值数量的视频片段，且每组视频片段中相邻两个视频片段的序号间的差值为M，视频片段的序号为视频片段在各个视频片段中的顺序。

其中，将待处理视频中包含的视频片段分为M组，可以使各组视频片段中包含的视频内容较为均匀、全面，对各组视频片段进行处理，可以提高处理效率。

比如说，指定值为4，对待处理视频进行分割，得到的视频片段数量为12，即M为3。视频片段的序号分别为1、2、3、4、5、6、7、8、9、10、11、12，从而可以将其分为3组，各组视频片段对应的序号分别为：1、4、7、10，2、5、8、11，3、6、9、12，各组视频片段中相邻两个视频片段的序号间的差值为3。

需要说明的是，上述示例只是举例说明，不能作为对本公开实施例中视频片段序号、数量以及分组等的限定。

步骤205，确定每组视频片段中每组图像帧对应的权重值。

其中，可以采用本公开其他实施例提供的，确定图像帧对应的权重的方式，确定每组视频片段中每组图像帧对应的权重值。

举例来说，将待处理视频对应的各视频片段进行分组后，得到两组视频片段，第一组视频片段对应的序号为1、2、3，第二组视频片段对应的序号为4、5、6。对于第一组视频片段，可以将视频片段1、2、3对应的各组图像帧输入到预先训练生成的图卷积网络中，由图卷积网络对各组图像帧间的关系进行关系识别，可以确定出各组图像帧对应的关联度向量，之后基于该关联度向量，即可确定第一组视频片段中各组图像帧分别对应的权重值。之后，将第二组视频片段中视频片段4、5、6对应的各组图像帧输入到预先训练生成的图卷积网络中，由图卷积网络对各组图像帧间的关系进行关系识别，可以确定出各组图像帧间的关联度向量，之后基于该关联度向量，即可确定第二组视频片段中各组图像帧分别对应的权重值。

需要说明的是，上述示例只是举例说明，不能作为对本公开实施例中确定各组图像帧间的关联度等的限定。

步骤206，基于每组图像帧对应的权重值，将各个特征图进行融合，以生成每组视频片段对应的总特征图。

其中，可以将每个视频片段对应的关联度与特征图进行相乘，以生成每个视频片段对应的更新后的特征图。

比如，可以将各个视频片段对应的关联度与特征图中对应位置的元素进行相乘，从而得到各个视频片段对应的更新后的特征图，本公开对此不做限定。

可以理解的是，通过将每个视频片段对应的关联度与特征图进行相乘，可以使更新后的特征图尽可能的保留原来的特征图的信息，从而更新后的各特征图更加准确。

之后再将每组视频片段中，各个视频片段更新后的特征图进行融合，可以生成每组视频片段对应的总特征图。

比如，可以根据各个视频片段对应的关联度，将各个更新后的特征图进行融合时，将各个视频片段赋予对应的比重。

举例来说，X组视频片段中，视频片段A对应的关联度较大，视频片段B对应的关联度较小，可以认为视频片段A在X组视频片段中较为重要，从而在将各个特征图进行融合时，可以将视频片段A对应的特征图赋予较高的比重，而将视频片段B对应的特征图赋予较小的比重，以生成X组视频片段对应的总特征图。

需要说明的是，上述示例只是举例说明，不能作为对本公开实施例中将对各特征图进行融合方式等的限定。

步骤207，根据每组视频片段对应的总特征图，将视频进行分类，以确定视频对应的M个类别标签。

其中，根据每组视频片段对应的总特征图，将视频进行分类，还可以得到M个类别标签各自对应的置信度。

另外，M个类别标签，可能为M个不同的类别标签，或者也可能为M个相同的类别标签，或者也可能存在部分相同的类别标签，本公开对此不做限定。

可以理解的是，将视频进行分类，每一组视频片段可以确定出视频对应的一个类别标签。

步骤208，将M个类别标签进行融合，以确定视频对应的类别标签。

其中，将M个类别标签进行融合时，可能有多种情况。

举例来说，共有3组视频片段，根据3组视频片段分别对应的特征图，可以确定出视频对应的有3个类别标签。

比如说，3个类别标签都相同均为A，从而可以确定出视频对应的类别标签为A。

或者，其中有2个类别标签相同为B，从而可以确定出视频对应的类别标签为B。

或者，3个类别标签均不同，可以根据各个类别标签对应的置信度大小，确定视频对应的类别标签。比如，三个类别标签及其对应的置信度分别为：类别标签A、置信度为0.3，类别标签B、置信度为0.7，类别标签C、置信度为0.92。根据各置信度，可以确定视频对应的类别标签为C。

需要说明的是，上述示例只是举例说明，不能作为对本公开实施例中将类别标签进行融合，确定视频对应的类别标签等的限定。

本公开实施例中，对于长视频的分类，可以通过先将均匀分割得到的各个视频片段进行分组，得到多组视频片段，再对多组视频片段进行处理，由此可以实现对长视频的高效分类，同时也提高了视频分类的准确性。

本公开实施例，先将待处理视频均匀分割，得到多个视频片段，之后再从各个视频片段中均匀抽取一组图像帧，通过对各组图像帧进行特征提取确定出对应的特征图。在待处理视频中包含的视频片段的数量为M倍的指定值的情况下，将待处理视频中包含的视频片段分为M组，之后可以确定出每组视频片段中每组图像帧对应的权重值，之后基于每组图像帧对应的权重值，将各个特征图进行融合，生成总特征图，再对视频分类得到的多个类别标签进行融合，实现对视频的分类。由此，在将视频进行分类时，不仅考虑了视频的内容，还考虑了视频中各部分片段间的关系，从而使得分类结果更准确、更可靠。

可以理解的是，特征提取模型、关系识别模型，可以通过训练生成，下面结合图3对上述特征提取模型、关系识别模型的训练过程进行详细说明。

图3为本公开实施例提供的一种视频的分类方法的流程示意图，如图3所示，该视频的分类方法，可以包括以下步骤：

步骤301，获取训练视频及训练视频对应的标注标签。

可以理解的是，标注标签，可以为提前设定好的任意标签，各个训练视频对应的标注标签与各训练视频的内容相关。

步骤302，从训练视频中的每个视频片段中，均匀抽取一组图像帧。

可以理解的是，不同视频片段所抽取的图像帧，其对应的数量可以相同，或者也可以不同，本公开对此不做限定。

步骤303，利用初始特征提取模型，对抽取的每组图像帧进行提取，以确定每个视频片段对应的特征图。

其中，初始特征提取模型，可以为预先设置好的模型。

另外，可以将各个视频片段对应的各组图像帧，输入到初始特征提取模型中，该特征提取模型即可对其进行特征提取，从而确定出各组图像帧对应的特征图，即各个视频片段对应的特征图。

可选的，可以采用efficientnet-B1作为初始特征提取模型中的特征提取网络，或者，还可以采用SENet作为特征提取网络等，本公开对此不做限定。

步骤304，利用初始关系识别模型，对各组图像帧进行关系识别，以确定每组图像帧对应的权重。

其中，关系识别模型的结构，可以根据需要设置，比如可以为图3a所示的网络结构，或者，还可以为如图3b所示的图卷积网络结构。本公开对此不做限定。

由图3a可知，该神经网络模型中，可以包括多个关系提取块(clip RelationBlock)以对各组图像帧间的关系进行提取。其中，初始图卷积网络，可以为预先设置好的模型。

另外，可以将各组图像帧输入到初始图卷积网络中，由图卷积网络对各组图像帧间的关系进行关系识别，之后根据各组图像帧之间的关系输出各组图像帧间的关联度

步骤305，基于每组图像帧对应的权重，将各个特征图进行融合，以生成训练视频对应的总特征图。

其中，将特征图进行融合的方式，可以参考本公开任一实施例的详细描述，此处不再赘述。

举例来说，如图3a中右侧所示，可以首先将各组图像帧输入关系提取块，之后关系提取模块通过对各组图像帧进行卷积处理，即可确定每组图像帧对应的特征图，然后再对各个特征图进行关系提取，以确定多组图像帧对应的权重值热力图(Heat Map)，之后，再基于该权重热力图，将各组图像帧对应的多个特征图进行融合，即可生成融合后的特征图。

或者，如图3b所示，在确定了每组图像帧分别对应的特征图后，可以首先根据各组图像帧在视频中的先后顺序，生成以各个特征图为节点、每个特征图间的先后顺序为边的图网络，之后对该图网络进行关系提取，以输出该图网络对应的关联度向量，然后将该关联度向量与各个特征图相乘，即可得到融合后的特征图。

步骤306，根据总特征图，将训练视频进行分类，以确定训练视频对应的预测标签。

其中，确定训练视频对应的预测标签时，可以有多种方式。

比如，可以根据总特征图，先确定给出各个视频片段对应的类别标签，之后将各个类别标签进行融合，从而可以生成训练视频对应的预测标签。

或者，也可以根据总特征图，先确定给出各个视频片段对应的类别标签以及对应的置信度，将其中置信度最高的类别标签，确定为训练视频对应的预测标签。

需要说明的是，上述示例只是举例说明，不能作为对本公开实施例中视频的分类方法的限定。

步骤307，根据预测标签与标注标签，确定损失值。

步骤308，根据损失值，对初始图卷积网络及初始特征提取模型进行参数调整，以生成训练后的图卷积网络及特征提取模型。

其中，可以先根据预测标签与标注标签之间的差异，确定出对应的损失值，之后再根据该损失值对初始图卷积网络、初始特征提取模型进行逐层反向修正，对各自的参数进行调整，从而可以生成训练后的图卷积网络、特征提取模型。

另外，在根据预测标签与标注标签之间的差异，确定出对应的损失值时，可以有多种方式。

比如，可以使用交叉熵损失计算确定出预测标签与标注标签对应的损失值，或者，也可以使用相对熵损失计算确定出预测标签与标注标签对应的损失值，本公开对此不做限定。

之后可以对损失值进行优化，比如可以使用梯度下降、随机梯度下降等，对初始图卷积网络、初始特征提取模型分别参数进行调整，从而可以生成训练后的图卷积网络、特征提取模型，本公开对此不做限定。

需要说明的是，上述示例只是举例说明，不能作为对本公开实施例中确定预测标签与标注标签对应的损失值等的限定。

可以理解的是，在实际模型训练的过程中，可以根据需要，设置多层特征提取、关联度识别、特征图更新等网络，从而可以重复进行多次特征提取、关联度识别、特征图更新等处理，尽量使模型训练更加充分，提高输出结果的准确性。

可以理解的是，可以使用训练生成的图卷积网络、特征提取模型，对待处理的各组图像帧进行处理，从而可以较为准确的确定出每个视频片段对应的特征图、各组图像帧间的关联度，之后可以根据各关联度对各个特征图进行调整，进而对视频进行准确分类。

本公开实施中，先获取训练视频及训练视频对应的标注标签，之后从训练视频中的每个视频片段中，均匀抽取一组图像帧，再利用初始特征提取模型，可以确定出每个视频片段对应的特征图，接着利用初始关系识别模型，对各组图像帧进行关系识别，以确定每组图像帧对应的权重，之后基于每组图像帧对应的权重，对特征图进行融合，从而生成训练视频对应的总特征图。之后可以确定训练视频对应的预测标签，再根据预测标签与标注标签对应的损失值，对初始图卷积网络及初始特征提取模型进行参数调整，以生成训练后的图卷积网络及特征提取模型。由此，通过基于训练视频及对应的标注标签，将图卷积网络和特征提取模型进行联合训练，从而不仅可以提高图卷积网络、特征提取模型的学习能力，而且为提高视频分类的准确性和可靠性，提供了条件。

为了实现上述实施例，本公开还提出一种视频的分类装置。

图4为本公开实施例提供的一种视频的分类装置的结构示意图。

如图4所示，该视频的分类装置400，包括：抽取模块410、第一确定模块420、第二确定模块430、生成模块440和第三确定模块450。

其中，抽取模块410，用于从待处理视频中获取多组图像帧。

第一确定模块420，用于分别对每组所述图像帧进行特征提取，以确定每组所述图像帧对应的特征图。

第二确定模块430，用于确定每组所述图像帧对应的权重值。

生成模块440，用于基于每组所述图像帧对应的权重值，将各个所述特征图进行融合，以生成所述视频对应的总特征图。

第三确定模块450，用于根据所述总特征图，将所述视频进行分类，以确定所述视频对应的类别标签。

本公开实施例中的上述各模块的功能及具体实现原理，可参照上述各方法实施例，此处不再赘述。

本公开实施例的视频的分类装置可以从待处理视频中获取多组图像帧，对抽取的每组图像帧进行特征提取，以确定每组图像帧对应的特征图；确定每组图像帧对应的权重；基于每组图像帧对应的权重，将各个所述特征图进行融合，以生成所述视频对应的总特征图；根据所述总特征图，将所述视频进行分类，以确定所述视频对应的类别标签。由此，在将视频进行分类时，不仅考虑了视频中图像帧包含的内容，还考虑了图像帧在视频中的作用，从而使得分类结果更准确、更可靠。

图5为本公开实施例提供的一种视频的分类装置的结构示意图。

如图5所示，该视频的分类装置500，包括：抽取模块510、第一确定模块520、第二确定模块530、生成模块540和第三确定模块550。

其中，抽取模块510，包括：

获取单元5110，用于将所述待处理视频进行均匀分割，以获取多个视频片段；

抽取单元5120，用于从每个所述视频片段中均匀抽取一组图像帧。

在一种可能的实现方式中，获取单元5110，包括：

确定子单元，用于根据所述待处理视频的长度，确定所述待处理视频待分割的视频片段数量；

获取子单元，用于根据所述待分割的视频片段数量，将所述待处理视频进行均匀分割，以获取各个视频片段。

在一种可能的实现方式中，确定子单元，具体用于在所述待处理视频的长度小于或等于阈值的情况下，确定所述待处理视频待分割的视频片段的数量为指定值；或者，在所述待处理视频的长度大于阈值的情况下，确定所述待处理视频待分割的视频片段的数量为所述指定值的N倍，其中，N为大于1的整数。

第一确定模块520，用于对抽取的每组所述图像帧进行特征提取，以确定每个所述视频片段对应的特征图。

第二确定模块530，具体用于在所述待处理视频中包含的视频片段的数量为M倍的指定值的情况下，将所述待处理视频中包含的视频片段分为M组，其中，M为大于1的整数，每组视频片段中包含所述指定值数量的视频片段，且每组视频片段中相邻两个视频片段的序号间的差值为M，所述视频片段的序号为所述视频片段在各个视频片段中的顺序；确定每组视频片段中，每个视频片段对应的一组图像帧与其他各视频片段分别对应的各组图像帧间的关联度。

生成模块540，用于基于每组图像帧对应的权重，将各个所述特征图进行融合，以生成所述视频对应的总特征图。

第三确定模块550，具体用于根据每组视频片段对应的总特征图，将所述视频进行分类，以确定所述视频对应的M个类别标签；将所述M个类别标签进行融合，以确定所述视频对应的类别标签。

在一种可能的实现方式中，第二确定模块530，具体用于利用训练生成的神经网络对每组所述图像帧与其他各组图像帧分别进行关系识别，以确定每组所述图像帧与其他各组图像帧间的关联度；根据每组所述图像帧与其他各组图像帧间的关联度，确定每组所述图像帧对应的权重值。

在一种可能的实现方式中，第二确定模块530，具体用于利用图卷积网络对各组所述图像帧进行关联度提取，以确定所述各组图像帧间的关联度；根据所述各组图像帧间的关联度，确定每组所述图像帧对应的权重值。

可以理解的是，本公开实施例中的抽取模块510、第一确定模块520、第二确定模块530、生成模块540和第三确定模块550，与上述实施例中的抽取模块410、第一确定模块420、第二确定模块430、生成模块440和第三确定模块450，可以分别具有相同的结构和功能。

本公开实施例中的上述各模块的功能及具体实现原理，可参照上述各方法实施例，此处不再赘述。

本公开实施例的视频的分类装置，先将待处理视频均匀分割，得到各个视频片段，之后再从各个视频片段中均匀抽取一组图像帧，通过对各组图像帧进行特征提取确定出对应的特征图。在待处理视频中包含的视频片段的数量为M倍的指定值的情况下，将待处理视频中包含的视频片段分为M组，之后可以确定出每组视频片段中每组图像帧对应的权重值，之后基于每组图像帧对应的权重值，可以将各个特征图进行融合，生成总特征图，再对视频分类得到的多个类别标签进行融合，实现对视频的分类。由此，在将视频进行分类时，不仅考虑了视频的内容，还考虑了视频中各部分片段间的关系，从而使得分类结果更准确、更可靠。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图6所示，设备600包括计算单元601，其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序，来执行各种适当的动作和处理。在RAM 603中，还可存储设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如视频的分类方法。例如，在一些实施例中，视频的分类方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601执行时，可以执行上文描述的视频的分类方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行视频的分类方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网和区块链网络。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

本公开的技术方案，可以从待处理视频中获取多组图像帧，对抽取的每组图像帧进行特征提取，以确定每组图像帧对应的特征图；确定每组图像帧对应的权重；基于每组图像帧对应的权重，将各个所述特征图进行融合，以生成所述视频对应的总特征图；根据所述总特征图，将所述视频进行分类，以确定所述视频对应的类别标签。由此，在将视频进行分类时，不仅考虑了视频中图像帧包含的内容，还考虑了图像帧在视频中的作用，从而使得分类结果更准确、更可靠。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (19)

1.一种视频的分类方法，包括：

从待处理的视频中，获取多组图像帧；分别对每组所述图像帧进行特征提取，以确定每组所述图像帧对应的特征图；

确定每组所述图像帧对应的权重值；

基于每组所述图像帧对应的权重值，将各个所述特征图进行融合，以生成所述视频对应的总特征图；

根据所述总特征图，将所述视频进行分类，以确定所述视频对应的类别标签。

2.如权利要求1所述的方法，其中，所述从待处理视频中，获取多组图像帧，包括：

将所述待处理视频进行均匀分割，以获取多个视频片段；

从每个所述视频片段中均匀抽取一组图像帧。

3.如权利要求2所述的方法，其中，所述将所述待处理视频进行均匀分割，以获取各个视频片段，包括：

根据所述待处理视频的长度，确定所述待处理视频待分割的视频片段数量；

根据所述待分割的视频片段数量，将所述待处理视频进行均匀分割，以获取各个视频片段。

4.如权利要求3所述的方法，其中，所述根据所述待处理视频的长度，确定所述待处理视频待分割的视频片段数量，包括：

在所述待处理视频的长度小于或等于阈值的情况下，确定所述待处理视频待分割的视频片段的数量为指定值；

或者，

在所述待处理视频的长度大于阈值的情况下，确定所述待处理视频待分割的视频片段的数量为所述指定值的N倍，其中，N为大于1的整数。

5.如权利要求2所述的方法，其中，所述确定每组所述图像帧对应的权重值，包括：

在所述待处理视频中包含的视频片段的数量为M倍的指定值的情况下，将所述待处理视频中包含的视频片段分为M组，其中，M为大于1的整数，每组视频片段中包含所述指定值数量的视频片段，且每组视频片段中相邻两个视频片段的序号间的差值为M，所述视频片段的序号为所述视频片段在各个视频片段中的顺序；

确定每组视频片段中，每个视频片段对应的一组图像帧与其他各视频片段分别对应的各组图像帧间的关联度。

6.如权利要求5所述的方法，其中，所述根据所述总特征图，将所述视频进行分类，以确定所述视频对应的类别标签，包括：

根据每组视频片段对应的总特征图，将所述视频进行分类，以确定所述视频对应的M个类别标签；

将所述M个类别标签进行融合，以确定所述视频对应的类别标签。

7.如权利要求1-6任一所述的方法，其中，所述确定每组所述图像帧对应的权重值，包括：

利用训练生成的神经网络对每组所述图像帧与其他各组图像帧分别进行关系识别，以确定每组所述图像帧与其他各组图像帧间的关联度；

根据每组所述图像帧与其他各组图像帧间的关联度，确定每组所述图像帧对应的权重值。

8.如权利要求1-6任一所述的方法，其中，所述确定每组所述图像帧对应的权重值，包括：

利用图卷积网络对各组所述图像帧进行关联度提取，以确定所述多组图像帧间的关联度向量；

根据所述多组图像帧间的关联度向量，确定每组所述图像帧对应的权重值。

9.一种视频的分类装置，包括：

抽取模块，用于从待处理的视频中，获取多组图像帧；

第一确定模块，用于分别对每组所述图像帧进行特征提取，以确定每组所述图像帧对应的特征图；

第二确定模块，用于确定每组所述图像帧对应的权重值；

生成模块，用于基于每组所述图像帧对应的权重值，将各个所述特征图进行融合，以生成所述视频对应的总特征图；

第三确定模块，用于根据所述总特征图，将所述视频进行分类，以确定所述视频对应的类别标签。

10.如权利要求9所述的装置，其中，所述抽取模块，包括：

获取单元，用于将所述待处理视频进行均匀分割，以获取多个视频片段；

抽取单元，用于从每个所述视频片段中均匀抽取一组图像帧。

11.如权利要求10所述的装置，其中，所述获取单元，包括：

确定子单元，用于根据所述待处理视频的长度，确定所述待处理视频待分割的视频片段数量；

获取子单元，用于根据所述待分割的视频片段数量，将所述待处理视频进行均匀分割，以获取各个视频片段。

12.如权利要求11所述的装置，其中，所述确定子单元，具体用于：

在所述待处理视频的长度小于或等于阈值的情况下，确定所述待处理视频待分割的视频片段的数量为指定值；

或者，

在所述待处理视频的长度大于阈值的情况下，确定所述待处理视频待分割的视频片段的数量为所述指定值的N倍，其中，N为大于1的整数。

13.如权利要求10所述的装置，其中，所述第二确定模块，具体用于：

在所述待处理视频中包含的视频片段的数量为M倍的指定值的情况下，将所述待处理视频中包含的视频片段分为M组，其中，M为大于1的整数，每组视频片段中包含所述指定值数量的视频片段，且每组视频片段中相邻两个视频片段的序号间的差值为M，所述视频片段的序号为所述视频片段在各个视频片段中的顺序；

确定每组视频片段中，每个视频片段对应的一组图像帧与其他各视频片段分别对应的各组图像帧间的关联度。

14.如权利要求13所述的装置，其中，所述第三确定模块，具体用于：

根据每组视频片段对应的总特征图，将所述视频进行分类，以确定所述视频对应的M个类别标签；

将所述M个类别标签进行融合，以确定所述视频对应的类别标签。

15.如权利要求9-14任一所述的装置，其中，所述第二确定模块，具体用于：

利用训练生成的神经网络对每组所述图像帧与其他各组图像帧分别进行关系识别，以确定每组所述图像帧与其他各组图像帧间的关联度。

根据每组所述图像帧与其他各组图像帧间的关联度，确定每组所述图像帧对应的权重值。

16.如权利要求9-14任一所述的装置，其中，所述第二确定模块，具体用于：

利用图卷积网络对各组所述图像帧进行关联度提取，以确定所述各组图像帧间的关联度；

根据所述各组图像帧间的关联度，确定每组所述图像帧对应的权重值。

17.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。

18.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-8中任一项所述的方法。

19.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-8中任一项所述的方法。

Images