CN114494942A - 视频分类方法及装置、存储介质及电子设备 - Google Patents

Abstract

本公开涉及图像与视频处理技术领域，具体涉及一种视频分类方法及装置、计算机可读存储介质及电子设备，方法包括：获取目标视频以及目标视频的标题信息；在目标视频中获取多张目标图像；利用视觉Transformer层对多张目标图像进行特征提取得到目标视频对应的第一特征向量；利用语言表征模型对标题信息进行特征提取得到目标视频对应的第二特征向量；根据第一特征向量和第二特征向量确定目标视频的目标特征向量；根据目标特征向量确定目标视频的目标分类结果。本公开实施例的技术方案提高了对视频分类结果的精度。

Description

视频分类方法及装置、存储介质及电子设备

技术领域

本公开涉及图像与视频处理技术领域，具体而言，涉及一种视频分类方法及装置、计算机可读存储介质及电子设备。

背景技术

随着互联网的快速发展，互联网视频已经进入了爆炸式发展的新阶段。海量的视频数据也对视频处理、分类、推荐等常见的相关技术提出了更高的要求。

现有技术中的视频分类方法分类精度较低，因此有必要提出一种新的视频分类方法。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种视频分类方法、视频分类装置、计算机可读介质和电子设备，进而至少在一定程度上提高了对视频分类结果的精度。

根据本公开的第一方面，提供一种视频分类方法，包括：获取目标视频以及所述目标视频的标题信息；在所述目标视频中获取多张目标图像；利用视觉Transformer层对多张所述目标图像进行特征提取得到所述目标视频对应的第一特征向量；利用语言表征模型对所述标题信息进行特征提取得到所述目标视频对应的第二特征向量；根据所述第一特征向量和所述第二特征向量确定所述目标视频的目标特征向量；根据所述目标特征向量确定所述目标视频的目标分类结果。

根据本公开的第二方面，提供一种视频分类装置，包括：第一获取模块，用于获取目标视频以及所述目标视频的标题信息；第二获取模块，用于在所述目标视频中获取多张目标图像；第一特征提取模块，用于利用视觉Transformer层对多张所述目标图像进行特征提取得到所述目标视频对应的第一特征向量；第二特征提取模块，用于利用语言表征模型对所述标题信息进行特征提取得到所述目标视频对应的第二特征向量；特征融合模块，用于根据所述第一特征向量和所述第二特征向量确定所述目标视频的目标特征向量；视频分类模块，用于根据所述目标特征向量确定所述目标视频的分类结果。

根据本公开的第三方面，提供一种计算机可读介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的方法。

根据本公开的第四方面，提供一种电子设备，其特征在于，包括：一个或多个处理器；以及存储器，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现上述的方法。

本公开的一种实施例所提供的视频分类方法，获取目标视频以及所述目标视频的标题信息；在所述目标视频中获取多张目标图像；利用视觉Transformer层对多张所述目标图像进行特征提取得到所述目标视频对应的第一特征向量；利用语言表征模型对所述标题信息进行特征提取得到所述目标视频对应的第二特征向量；根据所述第一特征向量和所述第二特征向量确定所述目标视频的目标特征向量；根据所述目标特征向量确定所述目标视频的目标分类结果。相较于现有技术，采用视觉Transformer层对多张所述目标图像进行特征提取能够对视频中的图像的全局特征进行较为准确的捕获，提升视频分类精度，进一步的，将标题信息对应的第二特征向量与第一特征向量进行融合得到目标特征向量，使得对视频分类更加精确。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出了可以应用本公开实施例的一种示例性系统架构的示意图；

图2示意性示出本公开示例性实施例中一种视频分类方法的流程图；

图3示意性示出本公开示例性实施例中一种确定目标分类结果的流程图；

图4示意性示出本公开示例性实施例中一种对多头自注意力机制网络训练的数据流向图；

图5示意性示出本公开示例性实施例中一种更新目标分类结果的流程图；

图6示意性示出本公开示例性实施例中一种视频分类装置的组成示意图；

图7示意性示出本公开示例性实施例中另一种视频分类装置的组成示意图；

图8示出了可以应用本公开实施例的一种电子设备的示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

图1示出了系统架构的示意图，该系统架构100可以包括终端110与服务器120。其中，终端110可以是智能手机、平板电脑、台式电脑、笔记本电脑等终端设备，服务器120泛指提供本示例性实施方式中视频分类相关服务的后台系统，可以是一台服务器或多台服务器形成的集群。终端110与服务器120之间可以通过有线或无线的通信链路形成连接，以进行数据交互。

在一种实施方式中，可以由终端110执行上述视频分类方法。例如，用户使用终端110拍摄图像或者用户在终端110的相册中选取目标视频以及所述目标视频的标题信息，由终端110对该图像进行分类，输出分类结果。

在一种实施方式中，可以由服务器120可以执行上述视频分类方法。例如，用户使用终端110拍摄图像或者用户在终端110的相册中选取目标视频以及所述目标视频的标题信息，终端110将该目标视频以及所述目标视频的标题信息上传至服务器120，由服务器120对该目标视频进行分类，向终端110返回分类结果。

由上可知，本示例性实施方式中的视频分类方法的执行主体可以是上述终端110或服务器120，本公开对此不做限定。

本公开的示例性实施方式还提供一种用于执行上述视频分类方法的电子设备，该电子设备可以是上述终端110或服务器120。一般的，该电子设备可以包括处理器与存储器，存储器用于存储处理器的可执行指令，处理器配置为经由执行可执行指令来执行上述图像视频分类方法。

在相关技术中，通常会采用将深度网络利用到了视频理解任务上，主要解决方案是利用ResNet50提取视频图像这一单模态特征，做视频分类。缺点主要有，ResNet50是一种CNN网络结构，CNN网络是由多个CNN block堆叠而成，特征图上所提取到的特征是原图的局部特征，没有充分利用原图各局部特征之间的联系；视频作为一种图像、文本以及语音组成的多模态形态，仅利用视频图像的特征作分类，没有充分利用视频其他模态的特征。另外，该方案对视频每一帧做随机的数据增强，降低视频图像时序间的相关性。或者是利用GAN模型处理视频源数据，得到相似的新源数据，以增加训练数据。另外利用ResNet所提取到单模态图片特征给到LSTM进行视频分类，LSTM的训练对硬件要求非常高，且需要存储带宽绑定计算，训练困难，适用性低。

下面结合图2对本示例性实施方式中的图像质量评价方法进行说明，图2示出了该图像质量评价方法的示例性流程，可以包括：

步骤S210，获取目标视频以及所述目标视频的标题信息；

步骤S220，在所述目标视频中获取多张目标图像；

步骤S230，利用视觉Transformer层对多张所述目标图像进行特征提取得到所述目标视频对应的第一特征向量；

步骤S240，利用语言表征模型对所述标题信息进行特征提取得到所述目标视频对应的第二特征向量；

步骤S250，根据所述第一特征向量和所述第二特征向量确定所述目标视频的目标特征向量；

步骤S260，根据所述目标特征向量确定所述目标视频的目标分类结果。

基于上述方法，相较于现有技术，采用视觉Transformer层对多张所述目标图像进行特征提取能够对视频中的图像的全局特征进行较为准确的捕获，提升视频分类精度，进一步的，将标题信息对应的第二特征向量与第一特征向量进行融合得到目标特征向量，使得对视频分类更加精确。

下面对图2中的每个步骤进行具体说明。

参考图2，在步骤S210中，获取目标视频以及所述目标视频的标题信息。

在本公开的一种示例实施方式中，处理器可以在数据库中获取待处理的目标视频，并确定上述目标视频的标题信息。

在步骤S220中，在所述目标视频中获取多张目标图像；

在本示例实施方式中，处理器可以在上述目标视频中获取多张目标图像，具体而言，可以以第一预设时间为间隔在上述目标视频中获取多张目标图像，在获取是，可以首先确定上述第一预设时间和目标视频的总时长，进而确定上述目标图像的数量。其中没第一预设时间可以是10毫秒、1秒、10秒等，也可以根据用户需求进行自定义，在本示例实施方式中不做具体限定。

在另一种示例实施方式中，可以首先确定上述目标图像的数量和上述目标视频的总时长，然后计算上述第一预设时间，其中，上述目标图像的矢量可以是10张、20张等，也可以根据用户需求进行自定义，在本示例实施方式中不做具体限定。

在获取到上述目标图像之后，可以对上述图像进行数据增强，包括但不限于几何变换增强和颜色变换增强。其中，几何变换增强包括：对每一帧广告视频的翻转、旋转、裁剪、变形和缩放。颜色变换增强包括：对每一帧广告视频的噪声变换、模糊变换和颜色变换。

在步骤S230中，利用视觉Transformer层对多张所述目标图像进行特征提取得到所述目标视频对应的第一特征向量。

在本示例实施方式中，可以利用视觉Transformer层对多张所述目标图像进行特征提取得到所述目标视频对应的第一特征向量，具体而言，首先可以根据上述目标图像确定上述Transformer层中的自主注意力机制单元对应的Q矩阵、K矩阵以及V矩阵，然后可以对上述目标图像进行区域划分，在区域划分时，可以将上述目标图像划分为9个区域，也可以根据用户需求进行自定义，在区域划分是，可以采用平均划分的方式划分，也可以采用滑动窗口的方式对上述目标图像进行区域划分，在本示例实施方式中不做具体限定。

在本示例实施方式中，在对目标图像完成区域划分之后，可以采用自主注意力机制单元对上述目标图像进行处理，并经过视觉Transformer层的归一化层以及融合层和感知层的得到上述第一特征向量。

在本公开组的另一种示例实施方式中，在采用上述视觉Transformer层对目标图像进行特征提取时，还可以获取上述各目标图像的时间信息，将时间信息同步输入至上述视觉Transformer层，以使得得到的第一特征向量种包括了多张图像在时序上的关联，进一步提高视频分类精度。

下面通过一个具体的实施例对上述步骤进行详细说明。

以多张图片为一个batch(并发数量)为例进行说明，VIT(Vision Transformer，视觉Transformer层)读入目标图像的大小即为(1，N，C，W，H)，即输入N张目标图像，通常C＝3，即RGB图像，H、W为目标图像的高和宽，为固定值，如256等；可以首先将(1，N，C，W，H)变换为(1*N，C，W，H)大小的张量送入到VIT提取图像特征，得到(1*N，768)大小的图像特征；最后再将(1*N，768)变换为(1，N，768)大小的第一特征图像。

在步骤S240，利用语言表征模型对所述标题信息进行特征提取得到所述目标视频对应的第二特征向量。

在本示例实施方式中，上述语言表征模型可以是chinese_base_bert模型，以用于对中文进行特征提取的Bert网络。也可以根据用户需求进行自定义，在本示例实施方式中不做具体限定。

处理器可以将上述标题信息输入至上述语言表征模型得到上述目标视频对应的第二特征向量。

举例而言，Bert网络对应读入目标视频标题信息的文本信息(如包含K个字符)，现将其进行词嵌入编码到(1，56)，56是经统计得到的视频标题最长的长度，也可以根据需求进行自定义；可以与(1,56)大小全零的文本向量与(1,56)大小全一的位置向量一同输入到chinese_base_bert模型中，得到(1，56)大小的第二特征向量，然后可以根据根据上述第一特征向量对第二与特征向量进行升维，以将上述第二特征向量变成(1,1,768)大小，以便于与上述第一特征向量进行融合。

在步骤S250中，根据所述第一特征向量和所述第二特征向量确定所述目标视频的目标特征向量。

在本示例实施方式中，在得到上述第一特征向量和上述第二特征向量之后，可以根据上述第一特征向量对上述第二特征向量进行升维，以便于与上述第一特征向量进行融合，举例而言，在第一特征向量的大小为(1，N，768)，第二特征向量的大小为(1，56)时，可以将上述第二特征向量升维至(1,1,768)。然后将上述第一特征向量与上述第二特征向量及进行凭借融合得到上述目标特征向量。

步骤S260中，根据所述目标特征向量确定所述目标视频的目标分类结果。

在本示例实施方式中，根据所述目标特征向量确定所述目标视频的目标分类结果可以包括步骤S310至步骤S320，下面对上述步骤进行详细说明。

在步骤S310中，获取预训练的视频分类模型。

在本示例实施方式中，在获取预训练的视频分类模型可以首先获取以初始模型，初始模型可以是CNN模型，也可以是多头自注意力机制网络，还可以是其他网络，也可以根据用户需求进行自定义，在本示例实施方式中不做具体限定。

下面以上述初始模型为多头自注意力机制网络为例进行说明，在获取到上述多头自注意力机制网络之后，可以获取多个参考视频以及上述参考视频对应的真实标签，其中，上述真实标签可以是动作类标签(如打网球)、场景类标签(如海滩)和物体类标签(如汽车)，也可以根据实际应用标注各种自定义的标签。将上述参考视频以及上述参考视频对应的真实标签作为训练数据。

在本示例实施方式中，在获取到上述训练数据之后，然后获取上述各个获取参考视频的标题信息，并在参考视频中获取多张初始图像；参照图4所示，可以首先对上述初始图像进行区域划分，例如划分为9个区域，然后将划分后图像利用视觉Transformer层410对多张初始图像进行特征提取得到参考视频对应的第四特征向量；利用语言表征模型对标题信息420进行特征提取得到参考视频对应的第五特征向量，其中上述语言表征模型可以是chinese_base_bert层430；根据第四特征向量和第五特征向量确定参考视频的最终特征向量，即根据第四特征向量和第五特征向量利用融合模块440得到最终特征向量；根据最终特征向量和真实标签对多头自注意力机制网络进行训练得到视频分类模型。

在本示例实施方式中，参照图4所示，可以利用交叉熵与softmax损失函数460对上述多头自注意力机制网络450中的参数进行更新以得到上述视频分类模型。

举例而言，在上述多头自注意力机制网络中，假设上述最终特征向量为为X，令Q＝K＝V＝X，

d_k为缩放因子。，Self-Attention是计算序列张量X各个部分的重要性，即softmax部分，再与自身V加权的过程。Multi-HeadAttention融合了多个self-Attention的结果，起到的类似投票的作用。在上图融合VIT得到第一特征向量与Bert得到的第二特征向量，使用了Multi-head Attention充分体现了一段视频里的N帧目标图像与标题信息的重要性，同时能够利用到了视频N个目标图像之间时序的关系，能够更好的进行视频分类任务。

在步骤S320中，根据所述目标特征向量利用与训练的视频分类模型确定所述目标视频的目标分类结果。

在得到上述视频分类模型之后，可以将上述目标特征向量输入至上述视频分类模型得到上述目标视频的目标分类结果。

在本公开的一种示例实施方式中，参照图5所示，上述方法还可以包括步骤S510至步骤S550。下面对上述各个步骤进行详细说明。

在步骤S510中，在所述目标视频中获取至少一组图像集合，每一组所述图像集合包括多张参考图像；

在本示例实施方式中，可以在上述目标视频中获取至少一组图像集合，且上述图像集合中包括多张参考图像，具体而言，可以利用不同的第二预设时间为间隔在上述目标视频中获取多组图像集合，其中，上述第二预设时间与上述第一预设时间均不相同。

在本示例实施方式中，上述图像集合的数量可以是两组、三组等，也可以根据用户需求进行自定义，在本示例实施方式中不做具体限定。

在步骤S520中，利用视觉Transformer层对各所述图像集合进行特征提取得到所述目标视频对应的至少一个第三特征向量。

在本示例实施方式中，可以利用视觉Transformer层对多张所述参考图像进行特征提取得到所述目标视频对应的第三特征向量，具体而言，首先可以根据上述参考图像确定上述Transformer层中的自主注意力机制单元对应的Q矩阵、K矩阵以及V矩阵，然后可以对上述参考图像进行区域划分，在区域划分时，可以将上述参考图像划分为9个区域，也可以根据用户需求进行自定义，在区域划分是，可以采用平均划分的方式划分，也可以采用滑动窗口的方式对上述参考图像进行区域划分，在本示例实施方式中不做具体限定。

在步骤S530中，根据所述第三特征向量和所述第二特征向量确定所述目标视频的至少一个参考特征向量。

在本示例实施方式中，可以首先根据上述第三特征向量对上述第二特征向量进行升维操作，升维操作的具体过程上述已经进行了详细说明，因此，此处不再赘述。

在多上述第二特征向量升维之后，可以将上述第三特征向量与上述第二特征向量进行拼接融合得到上述参考特征向量。

在步骤S540中，根据至少一个参考特征向量确定所述目标视频的参考分类结果。

在本示例实施方式中，在本示例实施方式中，可以将上述参考特征向量输入至上述视频分类模型得到目标视频的至少一个参考分类结果。

在步骤S550中，利用所述参考分类结果更新所述目标分类结果。

在本示例实施方式中，在得到上述多个参考分类结果之后，根据上述多个参考分类结果更新上述目标分类结果，举例而言，假设上述参考分类结果的数量为2个，分别为新闻标签和运动标签，若上述目标分类结果为新闻标签，则可以将新闻标签作为上述目标分类结果。

在另一种示例实施方式中，可以确定上述各参考分类标签的权重信息和上述目标分类结果的权重，根据上述权重来确定上述目标视屏的目标分类结果。

综上所述，本示例性实施方式中，相较于现有技术，采用视觉Transformer层对多张所述目标图像进行特征提取能够对视频中的图像的全局特征进行较为准确的捕获，提升视频分类精度，进一步的，将标题信息对应的第二特征向量与第一特征向量进行融合得到目标特征向量，使得对视频分类更加精确。进一步的，在采用视觉Transformer层对多张所述目标图像进行特征提取时，将各目标图像的信息输入，增加了各目标图像之间的时序关联性，增强了分类的精度，进一步的，采用多头自注意力机制网络来训练视频分类模型，训练模型时，计算数据量小，且得到的视频分类模型对视频分类的精度较高。再进一步的，对同一个目标图像进行多次分类，并根据多次分类结果确定目标分类结果，防止了误分类，增加了容错率，进一步的提升了对视频分类的精度。

需要注意的是，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

进一步的，参考图6所示，本示例的实施方式中还提供一种视频分类装置600，包括第一获取模块610、第二获取模块620、第一特征提取模型630、第二特征提取模型640、特征融合模块650以及视频分类模块660。其中：

第一获取模块610可以用于获取目标视频以及目标视频的标题信息，

第二获取模块620可以用于在目标视频中获取多张目标图像，具体而言，以第一预设时间为间隔在目标视频中获取多张目标图像。

第一特征提取模型630可以用于利用视觉Transformer层对多张目标图像进行特征提取得到目标视频对应的第一特征向量，具体而言，获取多张目标图像的时间信息；根据时间信息利用视觉Transformer层对多张目标图像进行特征提取得到目标视频对应的第一特征向量。

第二特征提取模型640可以用于利用语言表征模型对标题信息进行特征提取得到目标视频对应的第二特征向量。

特征融合模块650可以用于根据第一特征向量和第二特征向量确定目标视频的目标特征向量。

视频分类模块660可以用于根据目标特征向量确定目标视频的目标分类结果，具体而言，可以首先获取预训练的视频分类模型；然后根据目标特征向量利用与训练的视频分类模型确定目标视频的目标分类结果。

在本公开的一种示例实施方式中，获取预训练的视频分类模型时可以首先获取一多头自注意力机制网络；获取多个参考视频以及参考视频对应的真实标签；获取参考视频的标题信息，并在参考视频中获取多张初始图像；利用视觉Transformer层对多张初始图像进行特征提取得到参考视频对应的第四特征向量；利用语言表征模型对标题信息进行特征提取得到参考视频对应的第五特征向量；根据第四特征向量和第五特征向量确定参考视频的最终特征向量；根据最终特征向量和真实标签对多头自注意力机制网络进行训练得到视频分类模型。

在本公开的一种示例实施方式中，参照图7所示，上述视频分类装置600还可以包括结果更新模块670，用于对上述目标分类结果进行更新。具体而言，结果更新模块670在目标视频中获取至少一组图像集合，每一组图像集合包括多张参考图像；利用视觉Transformer层对各图像集合进行特征提取得到目标视频对应的至少一个第三特征向量；根据第三特征向量和第二特征向量确定目标视频的至少一个参考特征向量；根据至少一个参考特征向量确定目标视频的参考分类结果；利用参考分类结果更新目标分类结果。

上述装置中各模块的具体细节在方法部分实施方式中已经详细说明，未披露的细节内容可以参见方法部分的实施方式内容，因而不再赘述。

下面以图8中的移动终端800为例，对该电子设备的构造进行示例性说明。本领域技术人员应当理解，除了特别用于移动目的的部件之外，图8中的构造也能够应用于固定类型的设备。

如图8所示，移动终端800具体可以包括：处理器801、存储器802、总线803、移动通信模块804、天线1、无线通信模块805、天线2、显示屏806、摄像模块807、音频模块808、电源模块809与传感器模块810。

处理器201可以包括一个或多个处理单元，例如：处理器801可以包括AP(Application Processor，应用处理器)、调制解调处理器、GPU(Graphics ProcessingUnit，图形处理器)、ISP(Image Signal Processor，图像信号处理器)、控制器、编码器、解码器、DSP(Digital Signal Processor，数字信号处理器)、基带处理器和/或NPU(Neural-Network Processing Unit，神经网络处理器)等。本示例性实施方式中的视频分类方法可以由AP、GPU或DSP来执行，当方法涉及到神经网络相关的处理时，可以由NPU来执行。

编码器可以对图像或视频进行编码(即压缩)，例如可以将目标图像编码为特定的格式，以减小数据大小，便于存储或发送。解码器可以对图像或视频的编码数据进行解码(即解压缩)，以还原出图像或视频数据，如可以读取目标图像的编码数据，通过解码器进行解码，以还原出目标图像的数据，进而对该数据进行视频分类的相关处理。移动终端800可以支持一种或多种编码器和解码器。这样，移动终端800可以处理多种编码格式的图像或视频，例如：JPEG(Joint Photographic Experts Group，联合图像专家组)、PNG(PortableNetwork Graphics，便携式网络图形)、BMP(Bitmap，位图)等图像格式，MPEG(MovingPicture Experts Group，动态图像专家组)1、MPEG2、H.263、H.264、HEVC(High EfficiencyVideo Coding，高效率视频编码)等视频格式。

处理器801可以通过总线803与存储器802或其他部件形成连接。

存储器802可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器801通过运行存储在存储器802的指令，执行移动终端800的各种功能应用以及数据处理。存储器802还可以存储应用数据，例如存储图像，视频等文件。

移动终端800的通信功能可以通过移动通信模块804、天线1、无线通信模块805、天线2、调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。移动通信模块804可以提供应用在移动终端800上2G、3G、4G、5G等移动通信解决方案。无线通信模块805可以提供应用在移动终端800上的无线局域网、蓝牙、近场通信等无线通信解决方案。

显示屏806用于实现显示功能，如显示用户界面、图像、视频等。摄像模块807用于实现拍摄功能，如拍摄图像、视频等。音频模块808用于实现音频功能，如播放音频，采集语音等。电源模块809用于实现电源管理功能，如为电池充电、为设备供电、监测电池状态等。传感器模块810可以包括深度传感器8101、压力传感器8102、陀螺仪传感器8103、气压传感器8104等，以实现相应的感应检测功能。

所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

本公开的示例性实施方式还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤，例如可以执行图3至图5中任意一个或多个步骤。

需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

此外，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (10)

1.一种视频分类方法，其特征在于，包括：

获取目标视频以及所述目标视频的标题信息；

在所述目标视频中获取多张目标图像；

利用视觉Transformer层对多张所述目标图像进行特征提取得到所述目标视频对应的第一特征向量；

利用语言表征模型对所述标题信息进行特征提取得到所述目标视频对应的第二特征向量；

根据所述第一特征向量和所述第二特征向量确定所述目标视频的目标特征向量；

根据所述目标特征向量确定所述目标视频的目标分类结果。

2.根据权利要求1所述的方法，其特征在于，所述利用视觉Transformer层对多张所述目标图像进行特征提取得到所述目标视频对应的第一特征向量包括：

获取多张所述目标图像的时间信息；

根据所述时间信息所述利用视觉Transformer层对多张所述目标图像进行特征提取得到所述目标视频对应的第一特征向量。

3.根据权利要求1所述的方法，其特征在于，所述根据所述第一特征向量和所述第二特征向量确定所述目标视频的目标特征向量包括：

根据所述第一特征向量对所述第二特征向量进行升维处理得到中间特征向量；

将所述第一特征向量与所述中间特征向量进行拼接融合得到目标特征向量。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述目标视频中获取至少一组图像集合，每一组所述图像集合包括多张参考图像；

利用视觉Transformer层对各所述图像集合进行特征提取得到所述目标视频对应的至少一个第三特征向量；

根据所述第三特征向量和所述第二特征向量确定所述目标视频的至少一个参考特征向量；

根据至少一个参考特征向量确定所述目标视频的参考分类结果；

利用所述参考分类结果更新所述目标分类结果。

5.根据权利要求1所述的方法，其特征在于，所述在所述目标视频中获取多张目标图像包括：

以第一预设时间为间隔在所述目标视频中获取多张目标图像。

6.根据权利要求1所述的方法，其特征在于，所述根据所述目标特征向量确定所述目标视频的目标分类结果包括：

获取预训练的视频分类模型；

根据所述目标特征向量利用与训练的视频分类模型确定所述目标视频的目标分类结果。

7.根据权利要求6所述的方法，其特征在于，所述获取预训练的视频分类模型包括：

获取一多头自注意力机制网络；

获取多个参考视频以及所述参考视频对应的真实标签；

获取参考视频的标题信息，并在所述参考视频中获取多张初始图像；

利用视觉Transformer层对多张所述初始图像进行特征提取得到所述参考视频对应的第四特征向量；

利用语言表征模型对所述标题信息进行特征提取得到所述参考视频对应的第五特征向量；

根据所述第四特征向量和所述第五特征向量确定所述参考视频的最终特征向量；

根据所述最终特征向量和所述真实标签对所述多头自注意力机制网络进行训练得到所述视频分类模型。

8.一种视频分类装置，其特征在于，包括：

第一获取模块，用于获取目标视频以及所述目标视频的标题信息；

第二获取模块，用于在所述目标视频中获取多张目标图像；

第一特征提取模块，用于利用视觉Transformer层对多张所述目标图像进行特征提取得到所述目标视频对应的第一特征向量；

第二特征提取模块，用于利用语言表征模型对所述标题信息进行特征提取得到所述目标视频对应的第二特征向量；

特征融合模块，用于根据所述第一特征向量和所述第二特征向量确定所述目标视频的目标特征向量；

视频分类模块，用于根据所述目标特征向量确定所述目标视频的分类结果。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至7中任一项所述的视频分类方法。

10.一种电子设备，其特征在于，包括：

一个或多个处理器；以及

存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至7中任一项所述的视频分类方法。

Images