CN109933688A - 确定视频标注信息的方法、装置、设备和计算机存储介质 - Google Patents

Abstract

本公开的实施例涉及一种用于确定视频的标注信息的方法、装置、设备和计算机可读存储介质。该方法可以包括确定视频中的文本信息和视频信息。该方法还可以包括确定与文本信息相关联的第一实体和与视频信息相关联的第二实体。此外，该方法可以进一步包括基于第一实体和第二实体，确定视频的标注信息。本公开的技术方案能够实现多模态的视频标注，显著提高了视频标注方案的适用性。此外，可以使用与文本信息相关联的实体信息以及与视频信息相关联的实体信息进行相互校验，以避免视频标注发生错误的情形。

Description

确定视频标注信息的方法、装置、设备和计算机存储介质

技术领域

本公开的实施例主要涉及信息处理领域，并且更具体地，涉及确定视频标注信息的方法、装置、设备和计算机存储介质。

背景技术

在当前信息流中，短视频内容占比不断提高，其价值也变得越来越大。基于视频内容理解对视频进行标注，可以将视频的主题以文本的形式呈现给用户，从而帮助用户便捷地了解视频信息，实现对用户的个性化推荐，从而提升视频类的多媒体产品的用户粘性。然而，传统方案一般是对视频进行单模态的实体标注，例如，单纯通过文本信息或者视频信息来对视频进行标注。单模态标注最大的问题在于仅单一地考量视频的一方面信息，且该方面信息并不一定值得信任，故在标注的准确性和适用性方面存在瓶颈。

发明内容

根据本公开的示例实施例，提供了一种确定视频的标注信息的方案。

在本公开的第一方面中，提供了一种用于确定视频的标注信息的方法。该方法可以包括确定视频中的文本信息和视频信息。该方法还可以包括确定与文本信息相关联的第一实体和与视频信息相关联的第二实体。此外，该方法可以进一步包括基于第一实体和第二实体，确定视频的标注信息。

在本公开的第二方面中，提供了一种用于确定视频的标注信息的装置。该装置可以包括：信息确定模块，被配置为确定视频中的文本信息和视频信息；实体确定模块，被配置为确定与文本信息相关联的第一实体和与视频信息相关联的第二实体；以及第一信息标注模块，被配置为基于第一实体和第二实体，确定视频的标注信息。

在本公开的第三方面中，提供了一种设备，包括一个或多个处理器；以及存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现根据本公开的第一方面的方法。

在本公开的第四方面中，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现根据本公开的第一方面的方法。

应当理解，发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。

附图说明

结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标注表示相同或相似的元素，其中：

图1示出了本公开的多个实施例能够在其中实现的示例环境的示意图；

图2示出了根据本公开的实施例的用于确定视频的标注信息的过程的流程图；

图3示出了根据本公开的实施例的用于确定视频的标注信息的知识库的示意图；

图4示出了根据本公开的实施例的用于确定视频的标注信息的装置的示意框图；以及

图5示出了能够实施本公开的多个实施例的计算设备的框图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。

如上文提及的，传统的视频标注方式仅限于单模态的标注，例如，仅基于视频自带的诸如题目或描述信息的文本信息来对视频进行标注，或者仅基于视频信息来对视频进行标注。这种单模态的视频标注方式仅适于对正规生产的视频，而对于当前互联网环境中的海量视频片段或短视频来说，这种单模态的视频标注方式具有很大的局限性。例如，一部分视频的主题以及描述信息处于缺失的状态，又例如，一部分视频并不能提供清晰的视频信息。当出现此类较为普遍的情况时，传统的视频标注方式并不能对视频进行准确的标注。如何实现多模态的视频标注技术是目前亟待解决的问题。

根据本公开的实施例，提出了一种用于确定视频的标注信息的方案。在该方案中，可以从一个视频中提取文本信息和视频信息，再确定与文本信息相关联的实体信息和与视频信息相关联的实体信息，从而基于至少以上两个实体信息来确定视频的标注信息。本公开的方案能够实现多模态的视频标注，显著提高了视频标注方案的适用性。

以下将参照附图来具体描述本公开的实施例。图1示出了本公开的多个实施例能够在其中实现的示例环境100的示意图。如图1所示，示例环境100中包含视频120、计算设备110和标注信息130。视频120可以是各种类型的视频资源，例如，电影、电视剧、动画片、短视频等。视频120中可以包括一个或多个对象，例如，人物、物体、动物等。应当理解，本公开的实施例也可以应用于其他对象。计算设备110可以接收视频120作为输入，并基于视频120来生成描述视频120的主题的标注信息130。

这里，标注信息130通常是视频120的强相关的描述信息。该描述信息可以基于视频120的文本信息和视频信息来确定。在某些实施例中，文本信息是视频120中的所有检测到的文字信息的结合，而视频信息是视频120中识别出的人物、物体信息等。应理解，由于视频信息中的字母识别信息和音频识别信息等均被提取为文本信息，故本文描述的视频信息可以是图像信息(多帧图像的集合)或者视频流信息(视频120的中的至少一段动画)。无论是文本信息还是视频信息均会被向量化为实体。实体在知识库中以节点的形式表示，而各实体时间的连线则表示了其间的关系，与知识库相关的内容将会在图3中详细示出。下文将参考图2来更详细描述确定视频120的标注信息130的过程。

图2示出了根据本公开的一些实施例的用于确定视频120的标注信息130的过程200的流程图。过程200可以由图1的计算设备110来实现，该计算设备110可以是设置在服务器侧的独立设备。为了方便讨论，将结合图1来描述过程200。

在210，通过计算设备110确定视频120中的文本信息和视频信息。首先，可以通过各种途径来获取视频120。作为示例，视频120可以被存储在分布式文件系统中，并且可以实时、定期或周期性地进行更新。在获取视频120之后，可以同时或按任意顺序地从视频120中解析出文本信息和视频信息。

在某些实施例中，该文本信息除了可以是视频120的标题、视频描述信息之外，还可以是视频120的字幕识别信息和语音识别信息。作为示例，视频120的视频描述信息可以以视频资源信息表的形式与视频120存储在一起。此外，视频120的字幕识别信息可以通过光学字符识别(OCR)技术来获取，视频120的语音识别信息可以通过语音识别(ASR)技术来获取。备选地或附加地，还可以使用其他技术来获取视频120中的文本信息。获取的文本信息的集合可以作为一篇文章来进行进一步的处理。

在某些实施例中，可以按照多种方式确定视频120的视频信息。作为示例，可以确定视频120中的多个帧之间的差异，并且基于该差异从多个帧中确定视频信息。具体地，为了减少后续步骤的运算量，可以仅从视频120中获取一个或多个关键帧(即，代表一个或多个镜头的帧)作为视频信息。作为示例，可以对多个帧中的第一帧和第二帧进行比较，或者备选地，可以对视频120中的多帧图片中的、间隔预定时间的每两帧进行比较，当两帧的不同像素的比例大于预定阈值时，可以确定这两帧位于视频120的两个镜头的边界，故可以将这两帧设为关键帧。备选地或附加地，还可以将位于每个镜头正中的一帧设为关键帧。应理解，除了在时间维度上考虑需要进行比较的帧之外，还可以基于各帧的像素值中的最大值和最小值等来选择需要进行比较的帧，从而更快速地从视频120中选取各镜头的关键帧。

在220，确定与文本信息相关联的第一实体和与视频信息相关联的第二实体。这里将详细描述基于文本信息确定第一实体以及基于视频信息确定第二实体的具体过程。需要指出的是，本文中的被标注的实体是指对视频主旨强相关的实体。如上文所述，文本信息可以是视频120的标题、视频描述信息、字幕识别信息和语音识别信息中的至少一个。因此，可以将文本信息视为词袋模型，从词汇集合中分类得到可以反应视频主旨的实体。

在某些实施例中，具体流程可以是：使用诸如自然语言处理技术(NLP)切词工具，得到文本信息的词集合以及各词的相关基础特征，例如，词性，在文中出现频次等；基于词集合进行特征扩展，例如，使用textrank算法得到每个词在文本信息中的重要度；以及使用xgboost模型，对每个词进行分类判别，从而得到与文本信息相关联的实体。通过这种方式，计算设备110可以从视频120中获取充足的文本信息，基于上述操作可以得到准确性显著提高的实体，并且计算时间也没有被明显地劣化。

此外，关于对视频信息的处理，首先使用yoloV3算法，对出现在上述关键帧中的人物、物体、动物等进行检测(例如，检测出关键帧中的人脸区域)，然后使用InceptionV3网络将检测出的图片区域进行向量化表示，并且与知识库中预存的实例向量进行比较。作为示例，可以使用Faiss检索系统进行向量检索比较，找到最相似的实体进行关联。通过仅对视频120中的关键帧进行检测，可以显著提高诸如人脸识别的效率，同时能够保证识别得到的实体的准确性不会降低。此外，还应理解，上文描述的各种算法和模型均是示例性的，不应视为对本公开技术方案的限定。

在230，基于先前确定的第一实体和第二实体，进一步确定视频120的标注信息130。在某些实施例中，可以获取第一实体和第二实体的预先设置的权重(例如，置信度权重)，之后判定第一实体与第二实体是否匹配，当第一实体与第二实体不匹配时，基于第一实体和第二实体中权重较高的实体，确定视频120的标注信息130。备选地或附加地，参数权重还可以是基于各实体的出现频率等因子实时确定的权重。

作为示例，由于目前基于人脸识别技术确定的视频信息的第二实体并不足够精确，故可以将第二实体的置信度权重设置为低于第一实体的置信度权重。作为另一示例，由于语言类视频中包含更为负载的文本信息，导致确定的第一实体可能偏离该视频的主旨，也可以将第一实体的置信度权重设置为低于第二实体的置信度权重。类似地，还可以基于加权后的第一实体、第二实体、甚至更多实体来提取出与视频120的主旨强相关的标注实体。通过上述操作，可以使用与文本信息相关联的实体信息以及与视频信息相关联的实体信息进行相互校验，以避免标注发生错误的情形。

在某些实施例中，还可以结合知识库技术来得到更为精确的标注结果。作为示例，可以将第一实体与第二实体中的一个实体确定为信任实体，并且在包含该信任实体的知识库中确定与该信任实体相关联的实体集合。当该实体集合中具有与第一实体和第二实体中的另一实体不匹配的实体，基于该实体集合确定视频120的标注信息130。下文将参考图3来更详细描述结合知识库来确定视频120的标注信息130的过程。

图3示出了根据本公开的实施例的用于确定视频120的标注信息130的知识库300的示意图。术语“知识库”是指一种基于图的数据结构，由节点和边组成，例如知识库或其他适当的数据库。在知识库中，每个节点表示现实世界中存在的“实体”，每条边表示实体与实体之间的“关系”。知识库是关系的有效表示方式。换句话说，知识库将不同种类的信息连接在一起而得到的一个关系网络，从而提供了从“关系”的角度对问题进行分析的能力。在图3中，第一实体310被预先设置为信任实体。如图3所示，除了第一实体310，知识库300还包括实体320、330、340和350，并且知识库300还包括多个双向箭头，用于表示各实体间的关系。在图3中，虚线箭头表示图中的实体还可能与其他实体关联。

作为示例，被计算设备110确定的第一实体310可以是一个电影名。如图3所示，该电影名在知识库300中还与实体320、330、340和350相关联，并且实体330、340以及实体340、350也分别相互关联。例如，实体320可以是该电影的拍摄地。实体330和实体350可以分别是该电影的主演A和主演B。此外，实体340可以是主演A和主演B的国籍，也就是说，由图3的知识库300可以确定，主演A和主演B具有相同的国籍。

一种较为普遍的情形是，当基于视频120的文本信息确定的第一实体310为上述电影名并且基于视频120的视频信息确定的第二实体(未在图3中示出)为主演C时，计算设备110并不能直接发现第一实体与第二实体不匹配。此时，可以结合知识库300来进行更为精确的判定。如上所述，第一实体310被预先设置为信任实体，并且在包含该信任实体的知识库300中确定与该信任实体相关联的实体集合，即，实体320、330、340和350。应理解，图3仅示出了距离第一实体310一跳(即，通过一个双向箭头连接)的所有实体的情形。为了实现更为精确的判定，可以将实体集合扩展为距离第一实体310若干跳(例如，两跳)的所有实体。

在遍历知识库300的所有实体集合后，如果计算设备110发现与第一实体310相关联的演员仅为演员A和演员B，并未出现第二实体表示的演员C，则说明该实体集合与第二实体不匹配。在这种情况下，仅基于该实体集合确定视频120的标注信息130，而不考虑第二实体。还应理解，上文描述的各种类型的实体均是示例性的，不应视为对本公开技术方案的限定。通过上述操作，可以利用与信任实体相关联的知识库来对未被信任的实体进行校验，以避免标注发生错误的情形。

在某些实施例中，过程200还可以包括：确定与标注信息130相关联的第三实体；基于包含第三实体的知识库(未示出)，确定与第三实体相关联的实体集合；以及基于实体集合确定视频120的扩展信息。这里，视频120的扩展信息是指用于描述视频120的相关属性的信息，例如，视频120所属的节目类型、录制时间等。作为示例，当视频120的标注信息130被确定之后，可以进一步确定与标注信息130对应的实体以及该实体所在的知识库的至少一部分。类似于图3，可以确定与该实体相关的多个实体作为实体集合。例如，当与标注信息130对应的实体是一个电视节目的名称时，遍历知识库中与该实体相关的实体集合，进一步发现了多个其他电视节目的名称，且这些名称均与一个节目类型的实体相关联。此时，计算设备110就可以确定与标注信息130对应的实体属于该节目类型，由此确定了视频120的扩展信息。

此外，还需要着重指出的是，虽然上文中仅描述了包含两个实体的情形，但不限于仅存在两个实体。例如，对于影视或综艺类视频，还可以采用指纹检索技术(即，基于指纹标记判断该视频是否是已知视频的子片段)得到影视或综艺节目名称作为一个实体。因此，本公开可以基于两个以上的实体来确定视频的标注信息。

本公开的方案能够实现多模态的视频标注，从而使视频标注能够适用于互联网中的各种视频。此外，由于综合了多模态的实体信息，可以利用各实体信息进行相互校验，以避免视频标注发生错误的情形。并且，还可以利用知识库中与其中一个实体信息相关联的实体集合进行更为详细的校验。另外，基于确定的标注，还可以借助知识库进一步确定该视频的更为细节的扩展信息。

以上讨论了在一些示例场景下综合视频120的文本信息和视频信息来确定视频120的标注信息130的示例。然而，应当理解，这些场景的描述仅为了以示例方式来解释说明本公开的实施例。取决于实际需要，在不同或类似场景下，还可以选择不同的策略，以便使标注信息的准确性得到最大化。还需要注意的是，视频120也可以是由若干图片组成的动图，并且对其使用的标注方式同样可以具备上文提到的各种优点。

图4示出了根据本公开实施例的用于确定视频120的标注信息130的装置400的示意性框图。装置400可以被包括在图1的计算设备110中或者被实现为计算设备110。如图4所示，装置400可以包括信息确定模块410，被配置为确定视频120中的文本信息和视频信息。装置400还可以包括实体确定模块420，被配置为确定与文本信息相关联的第一实体和与视频信息相关联的第二实体。装置400可以进一步包括第一信息标注模块430，被配置为基于第一实体和第二实体，确定视频的标注信息。

在一些实施例中，第一信息标注模块430可以进一步包括：权重获取模块，被配置为获取所述第一实体和所述第二实体的相应权重；以及第二信息标注模块，被配置为响应于所述第一实体与所述第二实体不匹配，基于所述第一实体和所述第二实体中权重较高的实体，确定所述视频的所述标注信息。

在一些实施例中，第一信息标注模块430可以进一步包括：信任实体确定模块，被配置为将所述第一实体和所述第二实体中的一个实体确定为信任实体；实体集合确定模块，被配置为在包含所述信任实体的知识库中确定与所述信任实体相关联的实体集合；以及第三信息标注模块，被配置为响应于所述实体集合中具有与所述第一实体和所述第二实体中的另一实体不匹配的实体，基于所述实体集合确定所述视频的所述标注信息。

在一些实施例中，信息确定模块420可以进一步包括提取模块，所述提取模块被配置为提取所述视频中的以下至少一项：标题、视频描述信息、字幕识别信息和语音识别信息。

在一些实施例中，信息确定模块420可以进一步包括：差异确定模块，被配置为确定所述视频中的多个帧之间的差异；以及第一视频信息确定模块，被配置为基于所述差异，从所述多个帧中确定所述视频信息。

在一些实施例中，视频信息确定模块可以进一步包括：帧比较模块，被配置为对所述多个帧中的第一帧和第二帧进行比较；以及第二视频信息确定模块，被配置为响应于所述第一帧与所述第二帧的像素差大于预定阈值，基于所述第一帧和所述第二帧中的至少一部分确定所述视频信息。

在一些实施例中，实体确定模块420进一步被配置为确定与所述标注信息相关联的第三实体，所述装置还包括：实体集合确定模块，被配置为基于包含所述第三实体的知识库，确定与所述第三实体相关联的实体集合；以及扩展信息确定模块，被配置为基于所述实体集合确定所述视频的扩展信息。

图5示出了可以用来实施本公开的实施例的示例设备500的示意性框图。设备500可以用于实现图1的计算设备110。如图所示，设备500包括中央处理单元(CPU)501，其可以根据存储在只读存储器(ROM)502中的计算机程序指令或者从存储单元508加载到随机访问存储器(RAM)503中的计算机程序指令，来执行各种适当的动作和处理。在RAM 503中，还可存储设备500操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

设备500中的多个部件连接至I/O接口505，包括：输入单元506，例如键盘、鼠标等；输出单元507，例如各种类型的显示器、扬声器等；存储单元508，例如磁盘、光盘等；以及通信单元509，例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理单元501执行上文所描述的各个方法和处理，例如过程200。例如，在一些实施例中，过程200可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。在一些实施例中，计算机程序的部分或者全部可以经由ROM 502和/或通信单元509而被载入和/或安装到设备500上。当计算机程序加载到RAM 503并由CPU 501执行时，可以执行上文描述的过程200的一个或多个步骤。备选地，在其他实施例中，CPU 501可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行过程200。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)等等。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所公开的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文公开的各实施例。

Claims (16)

1.一种用于确定视频的标注信息的方法，包括：

确定所述视频中的文本信息和视频信息；

确定与所述文本信息相关联的第一实体和与所述视频信息相关联的第二实体；以及

基于所述第一实体和所述第二实体，确定所述视频的所述标注信息。

2.根据权利要求1所述的方法，其中确定所述视频的所述标注信息包括：

获取所述第一实体和所述第二实体的相应权重；以及

响应于所述第一实体与所述第二实体不匹配，基于所述第一实体和所述第二实体中权重较高的实体，确定所述视频的所述标注信息。

3.根据权利要求1所述的方法，其中确定所述视频的所述标注信息包括：

将所述第一实体和所述第二实体中的一个实体确定为信任实体；

在包含所述信任实体的知识库中确定与所述信任实体相关联的实体集合；以及

响应于所述实体集合中具有与所述第一实体和所述第二实体中的另一实体不匹配的实体，基于所述实体集合确定所述视频的所述标注信息。

4.根据权利要求1所述的方法，其中确定所述视频中的所述文本信息包括提取所述视频中的以下至少一项：

标题、视频描述信息、字幕识别信息和语音识别信息。

5.根据权利要求1所述的方法，其中确定所述视频中的所述视频信息包括：

确定所述视频中的多个帧之间的差异；以及

基于所述差异，从所述多个帧中确定所述视频信息。

6.根据权利要求5所述的方法，其中从所述多个帧中确定所述视频信息包括：

对所述多个帧中的第一帧和第二帧进行比较；以及

响应于所述第一帧与所述第二帧的像素差大于预定阈值，基于所述第一帧和所述第二帧中的至少一部分确定所述视频信息。

7.根据权利要求1所述的方法，还包括：

确定与所述标注信息相关联的第三实体；

基于包含所述第三实体的知识库，确定与所述第三实体相关联的实体集合；以及

基于所述实体集合确定所述视频的扩展信息。

8.一种用于确定视频的标注信息的装置，包括：

信息确定模块，被配置为确定所述视频中的文本信息和视频信息；

实体确定模块，被配置为确定与所述文本信息相关联的第一实体和与所述视频信息相关联的第二实体；以及

第一信息标注模块，被配置为基于所述第一实体和所述第二实体，确定所述视频的所述标注信息。

9.根据权利要求8所述的装置，其中所述第一信息标注模块进一步包括：

权重获取模块，被配置为获取所述第一实体和所述第二实体的相应权重；以及

第二信息标注模块，被配置为响应于所述第一实体与所述第二实体不匹配，基于所述第一实体和所述第二实体中权重较高的实体，确定所述视频的所述标注信息。

10.根据权利要求8所述的装置，其中所述第一信息标注模块进一步包括：

信任实体确定模块，被配置为将所述第一实体和所述第二实体中的一个实体确定为信任实体；

实体集合确定模块，被配置为在包含所述信任实体的知识库中确定与所述信任实体相关联的实体集合；以及

第三信息标注模块，被配置为响应于所述实体集合中具有与所述第一实体和所述第二实体中的另一实体不匹配的实体，基于所述实体集合确定所述视频的所述标注信息。

11.根据权利要求8所述的装置，其中所述信息确定模块进一步包括提取模块，所述提取模块被配置为提取所述视频中的以下至少一项：

标题、视频描述信息、字幕识别信息和语音识别信息。

12.根据权利要求8所述的装置，其中所述信息确定模块进一步包括：

差异确定模块，被配置为确定所述视频中的多个帧之间的差异；以及

第一视频信息确定模块，被配置为基于所述差异，从所述多个帧中确定所述视频信息。

13.根据权利要求12所述的装置，其中所述视频信息确定模块进一步包括：

帧比较模块，被配置为对所述多个帧中的第一帧和第二帧进行比较；以及

第二视频信息确定模块，被配置为响应于所述第一帧与所述第二帧的像素差大于预定阈值，基于所述第一帧和所述第二帧中的至少一部分确定所述视频信息。

14.根据权利要求8所述的装置，其中所述实体确定模块进一步被配置为确定与所述标注信息相关联的第三实体，所述装置还包括：

实体集合确定模块，被配置为基于包含所述第三实体的知识库，确定与所述第三实体相关联的实体集合；以及

扩展信息确定模块，被配置为基于所述实体集合确定所述视频的扩展信息。

15.一种电子设备，所述电子设备包括：

一个或多个处理器；以及

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一项所述的方法。

16.一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如权利要求1-7中任一项所述的方法。