CN114255427B - 视频理解方法、装置、设备以及存储介质 - Google Patents

Abstract

本公开提供了一种视频理解方法、装置、设备、存储介质以及程序产品，涉及自然语言处理、知识图谱、深度学习等人工智能技术领域。该方法的一具体实施方式包括：从视频中挖掘显式语义信息；基于显式语义信息建立事件图；基于显式语义信息挖掘隐式语义信息；将隐式语义信息链接到事件图的对应节点上；将事件图输入至预先训练的图神经网络，得到视频的内容信息。该实施方式对视频中的显式语义信息和隐式语义信息进行综合理解，能够更充分理解视频信息。

Description

视频理解方法、装置、设备以及存储介质

技术领域

本公开涉及自然语言处理、知识图谱、深度学习等人工智能技术领域。

背景技术

随着移动互联网和网络通信技术的发展，视频逐渐成为了信息传播最重要的媒介之一。视频理解技术是问答、对话、推荐等一系列上层多模态人工智能任务的必备基础。视频问答更是当前满足用户信息获取需求最直接有效的手段，视频理解与问答有助于开拓更为宽广和深入的人工智能服务能力。

发明内容

本公开实施例提出了一种视频理解方法、装置、设备、存储介质以及程序产品。

第一方面，本公开实施例提出了一种视频理解方法，包括：从视频中挖掘显式语义信息；基于显式语义信息建立事件图；基于显式语义信息挖掘隐式语义信息；将隐式语义信息链接到事件图的对应节点上；将事件图输入至预先训练的图神经网络，得到视频的内容信息。

第二方面，本公开实施例提出了一种视频理解装置，包括：第一挖掘模块，被配置成从视频中挖掘显式语义信息；建立模块，被配置成基于显式语义信息建立事件图；第二挖掘模块，被配置成基于显式语义信息挖掘隐式语义信息；链接模块，被配置成将隐式语义信息链接到事件图的对应节点上；理解模块，被配置成将事件图输入至预先训练的图神经网络，得到视频的内容信息。

第三方面，本公开实施例提出了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面中任一实现方式描述的方法。

第四方面，本公开实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面中任一实现方式描述的方法。

第五方面，本公开实施例提出了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如第一方面中任一实现方式描述的方法。

本公开实施例提供的视频理解方法，对视频中的显式语义信息和隐式语义信息进行综合理解，能够更充分理解视频信息。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显。附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开的视频理解方法的一些实施例的流程图；

图2是根据本公开的视频理解方法的又一些实施例的流程图；

图3是可以实现本公开实施例的视频理解方法的场景图；

图4是根据本公开的视频理解装置的一些实施例的结构示意图；

图5是用来实现本公开实施例的视频理解方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。

图1示出了根据本公开的视频理解方法的一些实施例的流程100。该视频理解方法包括以下步骤：

步骤101，从视频中挖掘显式语义信息。

在本实施例中，视频理解方法的执行主体可以从视频中挖掘显式语义信息。

其中，视频中包含的信息可以有显式语义信息。显式语义信息通常是指直接以结构化或非结构化形式出现在视频中的信息，如沿着时间维度展开的图像序列、人物对话、字幕、旁白等。

通常，利用视频中的显式语义信息可以进行建模和理解，包括图像序列、旁白、字幕、音频等。例如，利用基于图像序列补全视觉模态语义信息，并结合文本模态信息进行视频理解。

步骤102，基于显式语义信息建立事件图。

在本实施例中，上述执行主体可以基于显式语义信息建立事件图。

其中，事件图可以沿着时间维度展开，每个时刻的事件图可以以视频中的实体为节点，以实体之间具有的关系为边。视频中的一帧视频帧对应一个时刻的事件图。由于视频中包括大量的视频帧，为了降低建立事件图的工作量，可以对视频中的视频帧进行采样，仅基于采样到的视频帧的显式语义信息建立事件图。

步骤103，基于显式语义信息挖掘隐式语义信息。

在本实施例中，上述执行主体可以基于显式语义信息挖掘隐式语义信息。

其中，视频中包含的信息还可以有隐式语义信息。隐式语义信息可以揭示显式语义信息背后的动机和影响，因此可以以显式语义信息作为上下文挖掘出隐式语义信息。隐式语义信息一般包括前置情节、人物关系、常识知识等。鉴于目前视频问答的任务定义，给定片段已经包含了问答决策所需的依据，因此这里的隐式语义信息通常特指常识知识。常识知识一般是社会和物理的运行规律，反映了事件背后的原因、联系、影响、发展等重要信息。因此常识知识在理解、推理和决策过程中至关重要。通常，常识知识的数量越多，其实验效果越高，但占用计算资源越多。因此，常识知识的数量可以取决于实验效果和计算资源的折中。

在一些实施例中，引入常识知识的方法可以包括检索法。通常，检索法可以将显式语义信息作为查询信息，通过关键词匹配或注意力机制从常识知识图谱中查询对应的三元组，作为显式语义信息对应的常识知识。通常，知识图谱可以是描述世界现实知识的有向图结构的知识库，其基本组成为三元组(S,P,O)。其中，S和O为知识图谱中的节点，表示实体。S具体表示主体，O具体表示客体。P为知识图谱中连接两个实体(S和O)的边，表示两个实体之间具有的关系。其中，常识知识图谱中的节点可以是实体和常识知识，边可以是实体与常识知识之间具有的关系。若显式语义信息中的实体与常识知识图谱中的实体匹配，则可以引入常识知识图谱中该实体对应的三元组。该三元组可以构成一个知识子图，该知识子图中的节点可以是该实体和该实体对应的常识知识，边可以是该实体与该常识知识之间具有的关系。

步骤104，将隐式语义信息链接到事件图的对应节点上。

在本实施例中，上述执行主体可以将隐式语义信息链接到事件图的对应节点上。

通常，上述执行主体可以在事件图上查找隐式语义信息对应的实体，将隐式语义信息链接到该实体对应的节点上。其中，隐式语义信息对应的实体可以是显式语义信息中的实体。

步骤105，将事件图输入至预先训练的图神经网络，得到视频的内容信息。

在本实施例中，上述执行主体可以将事件图输入至预先训练的图神经网络，得到视频的内容信息。

通常，事件图的整体层面的图状结构适宜采用图神经网络进行建模，而其细节层面的语言语句适宜采用预训练语言模型进行建模。这里，可以基于Transformer实现GNN(Graph Neural Network，图神经网络)的方法来同时建模整体层面和细节层面的信息。通过引入邻接矩阵表示节点之间的拓扑关系，通过引入标签嵌入表用以表示图中边的标签信息。Transformer的处理过程相当于处理全联通图，引入邻接矩阵可以使其仅考虑特定节点之间的连接关系。标签嵌入表所表示的边的标签信息参与到节点之间的信息传递过程中，即可实现有标签图的信息处理。

这里，视频理解可以对视频中的显式语义信息和隐式语义信息进行综合理解。视频问答是视频理解的应用，其任务是基于视频理解得到的内容信息，为给定的自然语言提问生成对应的回答。视频问答的核心操作是基于给定的提问，对视频中的显式语义信息和隐式语义信息进行理解、编码，并进行复杂的推理，进而做出正确的决策。

本公开实施例提供的视频理解方法，将显式语义信息组织成事件图，并引入隐式语义信息揭示显式语义信息背后的动机和影响，辅助进行视频理解。对视频中的显式语义信息和隐式语义信息进行综合理解，能够更充分理解视频信息。当应用于视频问答时，可以更好地进行视频推理和决策。并且，基于事件图进行视频理解，采用结构化的形式，还保留了如空间和位置信息、时序信息、人物关系、事件逻辑等许多重要信息，能够更充分理解视频信息。

继续参考图2，其示出了根据本公开的视频理解方法的又一些实施例的流程200。该视频理解方法包括以下步骤：

步骤201，对于视频中的视频帧，将视频帧输入至预先训练的目标检测模型，得到视频帧的视觉标签信息。

在本实施例中，对于视频中的视频帧，视频理解方法的执行主体可以将视频帧输入至预先训练的目标检测模型，得到视频帧的视觉标签信息。

其中，显式语义信息可以包括视觉标签信息。视觉标签信息可以包括视觉标签和视觉标签的位置。目标检测模型可以检测视频帧中的实体(如角色、物品、场景等)，并转换为视觉标签。目标检测模型可以是利用机器学习方法和训练样本集进行有监督训练而得到的，包括但不限于Faster R-CNN(Region-based Convolutional Neural Network，区域卷积神经网络)、R-FCN(Region-based Fully Convolutional Network，区域全卷积网络)和SSD(Single Shot MultiBox Detector，单级多框预测)等。

步骤202，以视频帧中的视觉标签为节点，以视频帧中的视觉标签之间的相对位置关系为边，建立视频帧的事件图。

在本实施例中，上述执行主体可以以视频帧中的视觉标签为节点，以视频帧中的视觉标签之间的相对位置关系为边，建立视频帧的事件图。

其中，事件图可以沿着时间维度展开，每个时刻的事件图可以以视觉标签为节点，以视觉标签之间的相对位置关系为边。视频中的一帧视频帧对应一个时刻的事件图。由于视频中包括大量的视频帧，为了降低建立事件图的工作量，可以对视频中的视频帧进行采样，仅基于采样到的视频帧的视觉标签和视觉标签之间的相对位置建立事件图。

步骤203，对于视频中的视频帧，将视频帧输入至预先训练的图像标题生成模型，得到视频帧的图像标题文本。

在本实施例中，对于视频中的视频帧，上述执行主体可以将视频帧输入至预先训练的图像标题生成模型，得到视频帧的图像标题文本。

其中，显式语义信息还可以包括图像标题文本。图像标题生成模型可以用于为图像生成从局部到全局的若干句视觉内容有关的标题。图像标题生成模型可以是利用机器学习方法和训练样本集进行有监督训练而得到的。利用图像标题生成模型可以获取从局部到全局不同粒度的图像内容描述。

步骤204，将视频帧的图像标题文本和对话文本解析为图结构。

在本实施例中，上述执行主体可以将视频帧的图像标题文本和对话文本解析为图结构。

其中，图结构与事件图类似，也是沿着时间维度展开，以图像标题文本和对话文本中的实体为节点，以实体之间具有的关系为边。

步骤205，将视频帧的图结构链接到视频帧的事件图的对应节点上。

在本实施例中，上述执行主体可以将视频帧的图结构链接到视频帧的事件图的对应节点上。

通常，将图像标题文本和对话文本解析为图结构，并链接到事件图的对应视觉标签节点上，可以作为显式语义信息的补充。图结构和事件图可以根据相同的节点进行子图合并，并过滤和筛选同义不同形的节点，最终获得一张完整的事件图。其中，事件图整体为图状结构，而细节层面的节点内容为语言语句。

步骤206，将显式语义信息输入至预先训练的生成式语言模型，得到显式语义信息对应的常识知识。

在本实施例中，上述执行主体可以将显式语义信息输入至预先训练的生成式语言模型，得到显式语义信息对应的常识知识。

其中，隐式语义信息可以包括常识知识。常识知识一般是社会和物理的运行规律，反映了事件背后的原因、联系、影响、发展等重要信息。因此常识知识在理解、推理和决策过程中至关重要。通常，常识知识的数量越多，其实验效果越高，但占用计算资源越多。因此，常识知识的数量可以取决于实验效果和计算资源的折中。

在一些实施例中，引入常识知识的方法可以包括生成法。采用生成法可以更加合理的引入常识知识。生成法中的生成式语言模型可以包括编码器和解码器。首先，利用编码器对显式语义信息进行建模，充分理解上下文的语义信息，以得到编码结果。然后，利用解码器对编码结果自回归，生成显式语义信息对应的常识知识。生成法不仅可以考虑上下文全局的语义信息，还可以通过调整解码策略控制生成的知识数量。

步骤207，将常识知识链接到事件图的对应节点上。

在本实施例中，上述执行主体可以将常识知识链接到事件图的对应节点上。

这里，视觉标签信息、图像标题文本和常识知识各自描述了不同时间段、不同区域、不同粒度的语义信息。采用图结构可以很好地将所有局部信息综合起来，获得视频信息的完备表示。使用事件图来构建视频全局信息的表示，事件图包含三种类型的节点，分别代表视觉标签、属性或状态，以及常识知识。节点与节点之间的边表示了空间、属于、包含、交互等关系。为了构建事件图，可以将所有文本信息转换为独立的子图，然后根据相同的节点进行子图合并，并过滤和筛选同义不同形的节点，最终获得一张完整的事件图。事件图整体为图状结构，而细节层面的节点内容为语言语句。

步骤208，将事件图输入至预先训练的图神经网络，得到视频的内容信息。

在本实施例中，步骤208的具体操作已在图1所示的实施例中步骤105中进行了详细的介绍，在此不再赘述。

从图2中可以看出，与图1对应的实施例相比，本实施例中的视频理解方法的流程200突出了显式语义信息和隐式语义信息的挖掘步骤。由此，本实施例描述的方案利用视觉领域模型提取视觉语义信息，并引入常识知识，所有信息组织成事件图表达完备的视频信息，基于图神经网络进行视频理解，能够充分考虑视频中的显式语义信息和认知推理必须的常识知识，并能充分考虑空间、属性、时序等特殊关系，能够更充分理解视频信息，从而实现更好的视频推理和决策。

为了便于理解，图3示出了可以实现本公开实施例的视频理解方法的场景图。如图3所示，对视频进行目标检测，可以得到视觉标签。其中，视觉标签包括艾米、潘妮、男人、桌子等等。对视频进行图像标题生成，可以得到图像标题。其中，图像标题可以包括那个女人穿着绿色外套坐在桌边、两个女人正在愉快地交流、一个女人正在捡东西、桌子上有很多食物和酒等等。基于视觉标签、图像标题和文本信息进行常识知识生成，可以得到常识知识。其中，文本信息包括问题、答案、人物对话、字幕、旁白等等。常识知识包括艾米很兴奋(这个男人让艾米兴奋)、艾米感觉不舒服(她的鞋子太紧了)等等。基于视觉标签可以构建事件图，基于图像标题可以构建图结构。图结构和常识知识可以链接到事件图的对应节点上。事件图可以输入至图神经网络进行问答决策，从而得到候选答案置信度分布。

进一步参考图4，作为对上述各图所示方法的实现，本公开提供了一种视频理解装置的第一些实施例，该装置实施例与图1所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图4所示，本实施例的视频理解装置400可以包括：第一挖掘模块401、建立模块402、第二挖掘模块403、链接模块404和理解模块405。其中，第一挖掘模块401，被配置成从视频中挖掘显式语义信息；建立模块402，被配置成基于显式语义信息建立事件图；第二挖掘模块403，被配置成基于显式语义信息挖掘隐式语义信息；链接模块404，被配置成将隐式语义信息链接到事件图的对应节点上；理解模块405，被配置成将事件图输入至预先训练的图神经网络，得到视频的内容信息。

在本实施例中，视频理解装置400中：第一挖掘模块401、建立模块402、第二挖掘模块403、链接模块404和理解模块405的具体处理及其所带来的技术效果可分别参考图1对应实施例中的步骤101-105的相关说明，在此不再赘述。

在本实施例的一些可选的实现方式中，显式语义信息包括视觉标签信息；以及第一挖掘模块401进一步被配置成：对于视频中的视频帧，将视频帧输入至预先训练的目标检测模型，得到视频帧的视觉标签信息，其中，视觉标签信息包括视觉标签和视觉标签的位置；建立模块402进一步被配置成：以视频帧中的视觉标签为节点，以视频帧中的视觉标签之间的相对位置关系为边，建立视频帧的事件图。

在本实施例的一些可选的实现方式中，显式语义信息还包括图像标题文本；以及第一挖掘模块401进一步被配置成：对于视频中的视频帧，将视频帧输入至预先训练的图像标题生成模型，得到视频帧的图像标题文本；建立模块402进一步被配置成：将视频帧的图像标题文本和对话文本解析为图结构；将视频帧的图结构链接到视频帧的事件图的对应节点上。

在本实施例的一些可选的实现方式中，隐式语义信息包括常识知识；以及第二挖掘模块403包括：生成子模块，被配置成将显式语义信息输入至预先训练的生成式语言模型，得到显式语义信息对应的常识知识。

在本实施例的一些可选的实现方式中，生成式语言模型包括编码器和解码器；以及生成子模块进一步被配置成：利用编码器对显式语义信息进行建模，得到编码结果；利用解码器对编码结果自回归，生成显式语义信息对应的常识知识。

在本实施例的一些可选的实现方式中，隐式语义信息包括常识知识；以及第二挖掘模块403进一步被配置成：将显式语义信息作为查询信息，通过关键词匹配或注意力机制从常识知识图谱中查询对应的三元组，作为显式语义信息对应的常识知识。

本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图5示出了可以用来实施本公开的实施例的示例电子设备500的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图5所示，设备500包括计算单元501，其可以根据存储在只读存储器(ROM)502中的计算机程序或者从存储单元508加载到随机访问存储器(RAM)503中的计算机程序，来执行各种适当的动作和处理。在RAM 503中，还可存储设备500操作所需的各种程序和数据。计算单元501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

设备500中的多个部件连接至I/O接口505，包括：输入单元506，例如键盘、鼠标等；输出单元507，例如各种类型的显示器、扬声器等；存储单元508，例如磁盘、光盘等；以及通信单元509，例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元501的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元501执行上文所描述的各个方法和处理，例如视频理解方法。例如，在一些实施例中，视频理解方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。在一些实施例中，计算机程序的部分或者全部可以经由ROM 502和/或通信单元509而被载入和/或安装到设备500上。当计算机程序加载到RAM 503并由计算单元501执行时，可以执行上文描述的视频理解方法的一个或多个步骤。备选地，在其他实施例中，计算单元501可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行视频理解方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以是分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开提供的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (10)

1.一种视频理解方法，包括：

从视频中挖掘显式语义信息；

基于所述显式语义信息建立事件图；

基于所述显式语义信息挖掘隐式语义信息；

将所述隐式语义信息链接到所述事件图的对应节点上；

将所述事件图输入至预先训练的图神经网络，得到所述视频的内容信息；

其中，所述隐式语义信息包括常识知识；以及

所述基于所述显式语义信息挖掘隐式语义信息，包括：

将所述显式语义信息输入至预先训练的生成式语言模型，得到所述显式语义信息对应的常识知识；

其中，所述生成式语言模型包括编码器和解码器；以及

所述将所述显式语义信息输入至预先训练的生成式语言模型，得到所述显式语义信息对应的常识知识，包括：

利用所述编码器对所述显式语义信息进行建模，考虑上下文的语义信息，得到编码结果；

利用所述解码器对所述编码结果自回归，生成所述显式语义信息对应的常识知识，其中，通过调整编码策略控制生成的知识数量。

2.根据权利要求1所述的方法，其中，所述显式语义信息包括视觉标签信息；以及

所述从视频中挖掘显式语义信息，包括：

对于所述视频中的视频帧，将所述视频帧输入至预先训练的目标检测模型，得到所述视频帧的视觉标签信息，其中，所述视觉标签信息包括视觉标签和视觉标签的位置；

所述基于所述显式语义信息建立事件图，包括：

以所述视频帧中的视觉标签为节点，以所述视频帧中的视觉标签之间的相对位置关系为边，建立所述视频帧的事件图。

3.根据权利要求2所述的方法，其中，所述显式语义信息还包括图像标题文本；以及

所述从视频中挖掘显式语义信息，还包括：

对于所述视频中的视频帧，将所述视频帧输入至预先训练的图像标题生成模型，得到所述视频帧的图像标题文本；

所述基于所述显式语义信息建立事件图，还包括：

将所述视频帧的图像标题文本和对话文本解析为图结构；

将所述视频帧的图结构链接到所述视频帧的事件图的对应节点上。

4.根据权利要求1所述的方法，其中，所述隐式语义信息包括常识知识；以及

所述基于所述显式语义信息挖掘隐式语义信息，包括：

将所述显式语义信息作为查询信息，通过关键词匹配或注意力机制从常识知识图谱中查询对应的三元组，作为所述显式语义信息对应的常识知识。

5.一种视频理解装置，包括：

第一挖掘模块，被配置成从视频中挖掘显式语义信息；

建立模块，被配置成基于所述显式语义信息建立事件图；

第二挖掘模块，被配置成基于所述显式语义信息挖掘隐式语义信息；

链接模块，被配置成将所述隐式语义信息链接到所述事件图的对应节点上；

理解模块，被配置成将所述事件图输入至预先训练的图神经网络，得到所述视频的内容信息；

其中，所述隐式语义信息包括常识知识；以及

所述第二挖掘模块包括：

生成子模块，被配置成将所述显式语义信息输入至预先训练的生成式语言模型，得到所述显式语义信息对应的常识知识；

其中，所述生成式语言模型包括编码器和解码器；以及

所述生成子模块进一步被配置成：

利用所述编码器对所述显式语义信息进行建模，考虑上下文的语义信息，得到编码结果；

利用所述解码器对所述编码结果自回归，生成所述显式语义信息对应的常识知识，其中，通过调整编码策略控制生成的知识数量。

6.根据权利要求5所述的装置，其中，所述显式语义信息包括视觉标签信息；以及

所述第一挖掘模块进一步被配置成：

对于所述视频中的视频帧，将所述视频帧输入至预先训练的目标检测模型，得到所述视频帧的视觉标签信息，其中，所述视觉标签信息包括视觉标签和视觉标签的位置；

所述建立模块进一步被配置成：

以所述视频帧中的视觉标签为节点，以所述视频帧中的视觉标签之间的相对位置关系为边，建立所述视频帧的事件图。

7.根据权利要求6所述的装置，其中，所述显式语义信息还包括图像标题文本；以及

所述第一挖掘模块进一步被配置成：

对于所述视频中的视频帧，将所述视频帧输入至预先训练的图像标题生成模型，得到所述视频帧的图像标题文本；

所述建立模块进一步被配置成：

将所述视频帧的图像标题文本和对话文本解析为图结构；

将所述视频帧的图结构链接到所述视频帧的事件图的对应节点上。

8.根据权利要求5所述的装置，其中，所述隐式语义信息包括常识知识；以及

所述第二挖掘模块进一步被配置成：

将所述显式语义信息作为查询信息，通过关键词匹配或注意力机制从常识知识图谱中查询对应的三元组，作为所述显式语义信息对应的常识知识。

9.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-4中任一项所述的方法。

10.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-4中任一项所述的方法。

Images