CN115174982B - 实时视频关联展示方法、装置、计算设备和存储介质 - Google Patents

Abstract

本发明公开了一种实时视频关联展示方法、装置、计算设备和存储介质，该方法包括：在目标视频播放过程中，根据预设截取间隔对目标视频进行截取得到视频片段，对视频片段进行文字识别，得到实体名称数组；从目标视频对应的目标视频实体以及目标视频实体的关联实体中查找实体名称数组中各实体名称对应的实体，得到视频片段对应的视频帧实体；在视频播放页面中展示视频帧实体。本发明针对目标视频播放场景，通过截取视频片段进行文字识别，得到实体名称数组，通过查找与实体名称数组对应的实体得到视频帧实体，使得在视频播放页面能实时将视频帧实体进行展示，供用户讨论或点击，让用户能实时获得视频知识，提升用户体验。

Description

实时视频关联展示方法、装置、计算设备和存储介质

技术领域

本发明涉及通信技术领域，具体涉及实时视频关联展示方法、装置、计算设备和存储介质。

背景技术

越来越多的人通过视频网站或者视频应用(APP)观看各类视频，观看的同时了解相关视频知识也越发重要；视频知识不仅能丰富人们对于视频内容的理解，还能通过关联来拉通视频APP各类媒体资源，为其他资源带来可观的流量。

例如，当用户通过现有的视频APP进行电影观看时，如果想了解电影周边知识可以通过电影页面信息点击获得基本的导演、演员等信息，例如，通过在视频播放页面显示悬浮按钮，用户点击视频悬浮按钮之后，通过人工智能(Artificial Intelligence，AI)算法识别用户视频截图中人物信息进行演员信息展示。

但是，现有技术这种视频知识关联方式没有知识图谱的支持，可展示的信息较少；针对演员只展示演员基本信息和演出电影，对于演员相关的音乐、扮演人物情况、奖项等信息没有展示。另外，针对视频涉及的一些历史事件、历史人物等知识也没有展示。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的实时视频关联展示方法、装置、计算设备和存储介质。

根据本发明的一个方面，提供了一种实时视频关联展示方法，包括：

在目标视频播放过程中，根据预设截取间隔对所述目标视频进行截取得到视频片段，对所述视频片段进行文字识别，得到实体名称数组；

从所述目标视频对应的目标视频实体以及所述目标视频实体的关联实体中查找所述实体名称数组中各实体名称对应的实体，得到所述视频片段对应的视频帧实体；

在视频播放页面中展示所述视频帧实体。

根据本发明的另一方面，提供了一种实时视频关联展示装置，包括：

截取识别模块，用于在目标视频播放过程中，根据预设截取间隔对所述目标视频进行截取得到视频片段，对所述视频片段进行文字识别，得到实体名称数组；

实体查找模块，用于从所述目标视频对应的目标视频实体以及所述目标视频实体的关联实体中查找所述实体名称数组中各实体名称对应的实体，得到所述视频片段对应的视频帧实体；

展示模块，用于在视频播放页面中展示所述视频帧实体。

根据本发明的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述一种实时视频关联展示方法对应的操作。

根据本发明的再一方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述一种实时视频关联展示方法对应的操作。

根据本发明的实时视频关联展示方法、装置、计算设备和存储介质，通过在目标视频播放过程中，根据预设截取间隔对目标视频进行截取得到视频片段，对视频片段进行文字识别，得到实体名称数组；从目标视频对应的目标视频实体以及目标视频实体的关联实体中查找实体名称数组中各实体名称对应的实体，得到视频片段对应的视频帧实体；在视频播放页面中展示视频帧实体。本发明针对目标视频播放场景，通过截取视频片段进行文字识别，得到实体名称数组，通过查找与实体名称数组对应的实体得到视频帧实体，使得在视频播放页面能实时将视频帧实体进行展示，供用户讨论或点击，让用户能实时获得视频知识，提升用户体验。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明实施例提供的一种实时视频关联展示方法流程图；

图2a示出了本发明另一实施例提供的一种实时视频关联展示方法的流程图；

图2b示出了本发明实施例示例的三级缓存队列的示意图；

图3a示出了本发明实施例的修正视频帧实体可能出现的场景1的示意图；

图3b示出了本发明实施例的修正视频帧实体可能出现的场景2的示意图；

图4示出了本发明实施例提供的一种实时视频关联展示装置的结构示意图；

图5示出了本发明实施例提供的计算设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

图1示出了本发明一种实时视频关联展示方法实施例的流程图，如图1所示，该方法包括以下步骤：

步骤S110：在目标视频播放过程中，根据预设截取间隔对目标视频进行截取得到视频片段，对视频片段进行文字识别，得到实体名称数组。

基于现有技术中对视频内容识别较慢且不准确，且由于没有知识图谱的支持，用户点击视频悬浮按钮后没有关联到其他媒体资源的信息；比如演员扮演的角色、所演过的电影、演员所唱的歌曲或演员其他人物关系等；以及视频内容所涉及的历史事件、历史人物等信息。

针对上述问题，本实施例在目标视频播放过程中，根据预设截取间隔对目标视频进行截取得到视频片段，对视频片段进行文字识别，得到实体名称数组，依据实体名称数组触发知识图谱进行实体查询，得到视频片段对应的视频帧实体并进行弹幕等方式的展示。

具体地说，在本步骤中，在目标视频播放过程中，根据预设截取间隔对目标视频进行截取得到视频片段，提取视频片段的字幕和视频内容，对视频片段的字幕和视频内容进行文字识别，对识别出的文字通过分词处理，得到实体名称数组；其中，实体名称数组中包括一个或多个识别出来的实体名称。

步骤S120：从目标视频对应的目标视频实体以及目标视频实体的关联实体中查找实体名称数组中各实体名称对应的实体，得到视频片段对应的视频帧实体。

在本步骤中，可以通过预先对目标视频对应的目标视频实体以及目标视频实体的关联实体进行存储，依据步骤S110得到的实体名称数组从预先存储的目标视频实体以及目标视频实体的关联实体中查找实体名称数组中各实体名称对应的实体；其中，目标视频实体的关联实体包括与目标视频实体相关的实体，例如，包括目标视频实体信息的实体，或与目标视频实体之间的关系。

步骤S130：在视频播放页面中展示视频帧实体。

确定视频帧实体之后，在视频播放页面中展示该视频帧实体，用户可以通过点击该视频帧实体展开实体内容，或视频帧实体与目标视频之间的关联关系，从而获取与目标视频相关的视频知识。

例如，进入影片A视频播放页面，在影片A视频播放过程中，根据预设截取间隔截取影片A视频片段，通过识别视频片段的字幕和视频内容中的关键字；比如开头出品公司“****影业”得到<公司A>实体名称，演员“张三”得到<张三>人物实体名称；其中，张三实体名称还包括在影片A中演出的角色名A。通过对视频片段的字幕进行文字识别得到“历史事件A”，则以<历史事件A>为实体名称；通过在预存的影片A实体和影片A的关联实体中查询与<公司A>、<张三>和<历史事件A>对应的实体，这些实体可关联相关视频知识；例如，<张三>关联关于演员张三的作品介绍信息等；将这些实体作为视频帧实体在影片A视频播放页面中进行展示，供用户讨论或点击，让用户能实时获得视频知识，提升用户体验。

采用本实施例的方法，通过在目标视频播放过程中，根据预设截取间隔对目标视频进行截取得到视频片段，对视频片段进行文字识别，得到实体名称数组；从目标视频对应的目标视频实体以及目标视频实体的关联实体中查找实体名称数组中各实体名称对应的实体，得到视频片段对应的视频帧实体；在视频播放页面中展示视频帧实体。本方法针对目标视频播放场景，通过截取视频片段进行文字识别，得到实体名称数组，通过查找与实体名称数组对应的实体得到视频帧实体，使得在视频播放页面能实时将视频帧实体进行展示，供用户讨论或点击，让用户能实时获得视频知识，提升用户体验。

图2示出了本发明另一实施例提供的一种实时视频关联展示方法的流程图，如图2所示，该方法包括以下步骤：

步骤S210：构建知识图谱库，知识图谱库中包含有各个视频对应的视频实体以及各个视频实体的关联实体。

在本实施例中，为了提高实体查询速度，更快速地查询到目标视频实体展示到视频播放页面，可以通过构建知识图谱库来存储各个视频对应的视频实体以及各个视频实体的关联实体，知识图谱库的建立可以缩小搜索范围从而减少查询次数。

步骤S220：按照周期统计各个视频的热度值，从知识图谱库中获取热度值排列靠前的预设数量的视频对应的视频实体以及视频实体的关联实体并存储至缓存模块中。

在一种可选的方式中，缓存模块中包括：多级缓存队列。

为了能够提高实体查询速度，本步骤按照周期统计各个视频的热度值，从知识图谱库中获取热度值排列靠前的预设数量的视频对应的视频实体以及视频实体的关联实体并存储至缓存模块的多级缓存队列中。

在一种可选的实施方式中，步骤S220进一步包括下述步骤1-4：

步骤1：从知识图谱库中获取热度值排列靠前的预设数量的视频对应的视频实体以及视频实体的关联实体。

具体地，以缓存模块包括三级缓存队列为例，对T’周期内的所有视频进行热度值计算，计算公式如下式(1)：

Wi＝αCVi+β∑_ii＝1CRii； (1)

其中，Wi为第i个视频的热度值；CVi是第i个视频播放点击次数；∑_ii＝1CRii是第i个视频所有相关实体在弹幕中点击次数之和；α和β为各自的权重；其中，α+β＝1。

利用排序(TOP-N)算法取得前N个视频的视频标识(ID)，在知识图谱中获取热度值排列前N的视频对应的视频实体以及视频实体自身所关联的关联实体R。

例如，影片A对应的视频实体以及视频实体的关联实体在知识图谱库中采用通用的开源源码Schema.org规范下的JS对象简谱(JavaScript Object Notation,JSON)格式进行存储，则通过本步骤可以通过影片A对应的“directors”字段获取影片A对应的视频实体以及视频实体的关联实体，例如，导演人物实体、导演人物实体的关联实体等；其中，导演人物实体的关联实体可以包括该导演指导过的其他影片或导演简介等关联实体。

在一种可选的方式中，可以利用视频实体对视频实体的关联实体进行再次封装，增加并丰富视频实体的关联实体与视频实体的关系；例如，针对演员张三这一视频实体增加“exInfo”字段，通过该字段抽取在影片A中演员张三扮演的角色名“李四”，则李四即为张三的关联实体。

步骤2：针对每个视频，根据该视频的视频标识、该视频对应的视频实体、视频实体的关联实体以及该视频的热度值，构建该视频对应的缓存存储结构。

具体地说，每个视频对应的缓存存储结构可以表示为(Ni-ID，Ri关联实体组，热度值)，其中，Ni-ID为对应视频的视频标识；Ri关联实体组包括第i个视频对应的视频实体和视频实体的关联实体；i表示第i个视频；N表示视频个数。

步骤3：按照热度值排列顺序，将各个视频对应的缓存存储结构存储至多级缓存队列的一级缓存队列中。

具体地说，一级缓存队列用于存入第T’个周期(即当前周期)内利用排序(TOP-N)算法取得的前N个视频对应的缓存存储结构，也就是第T’个周期内最热门的视频对应的缓存存储结构；进一步地，一级缓存队列所采用的内存硬件读取速度也可以选择比下一级缓存队列更好的存储硬件。

步骤4：每当下一周期到达时，将多级缓存队列中除末级缓存队列之外的任一缓存队列中的缓存存储结构移至其下一级缓存队列中，直至移至末级缓存队列中，在末级缓存队列中按照预设速度对缓存存储结构进行删除。

以缓存模块中包括：三级的缓存队列为例，图2b示出了本发明实施例示例的三级缓存队列的示意图，如图2b所示，其中，一级缓存队列用于存入第T’个周期(即当前周期)内最热门的视频对应的缓存存储结构，二级缓存队列可以存入第T’-1个周期(即前一个周期)最热门的视频对应的缓存存储结构，便于历史查找，且不占过多的空间；三级缓存队列级为末级缓存队列，存储的是第T’-2个周期最热门的视频对应的缓存存储结构，在末级缓存队列中可以按照预设速度对所存储的缓存存储结构进行删除，预设速度计算公式如下式(2)：

V＝t/N； (2)

其中，V为预设速度；N为视频个数；t为周期的时间长度。

以预设速度V对三级缓存队列中的缓存存储结构进行删除，每当下一周期到达时，可以将二级缓存队列中原先存储的缓存存储结构放入三级缓存队列，并将一级缓存队列中原先存储的缓存存储结构放入二级缓存队列；例如，第n个周期内将N个视频按照热度值从小到大的顺序放入一级缓存队列中；第n+1个周期重新统计出N个视频，并将一级缓存队列中原先存储的N个视频对应的缓存存储结构放入二级缓存队列中；第n+2个周期再次重新统计N个视频，将二级缓存队列中原先存储的缓存存储结构放入三级缓存队列，缓存存储结构查询顺序优先级是一级缓存队列≥二级缓存队列≥三级缓存队列。

步骤S230：从知识图谱库或者缓存模块中获取目标视频对应的目标视频实体以及目标视频实体的关联实体。

具体地说，当用户进入目标视频播放页面时，目标视频的视频内容暂时没有播放，可以通过超文本传输协议(Hyper Text Transfer Protocol，HTTP)对缓存模块进行实体请求，缓存模块根据HTTP请求在多级缓存队列中查询目标视频对应的目标视频实体以及目标视频实体的关联实体，若缓存模块内没有查询到目标视频对应的目标视频实体以及目标视频实体的关联实体，则从知识图谱库中捞取目标视频对应的目标视频实体以及目标视频实体的关联实体。

例如，用户通过HTTP请求输入影片A名称查找“影片A”，缓存模块返回“影片A”本身相关演员、相关电影、相关历史事件、相关音乐等实体，缓存存储结构的结构如下：

(视频ID，关联实体组，热度值)

其中，视频ID为视频唯一标识符，包括网页视频播放的统一资源定位系统(uniform resource locator，URL)、视频网站中视频ID等；关系实体组为包括影片A对应的实体以及关联实体组成的数组；热度值是结合目标视频点击次数以及目标视频相关所有实体点击次数计算得出。

需要说明的是，将缓存模块查询到的或知识图谱库捞取到的所有实体放入视频文字识别模块中，视频文字识别模块可对这些实体进行存储；用户点击目标视频播放按钮，目标视频开始播放。

步骤S240：在目标视频播放过程中，根据预设截取间隔对目标视频进行截取得到视频片段，对视频片段进行文字识别，得到实体名称数组。

在本步骤中，根据预设截取间隔T对目标视频进行截取得到视频片段，其中，T需要满足下式(3)：

|T-T弹幕|<α’； (3)

其中，α’为训练阈值；T弹幕为一条弹幕从屏幕右侧边滚动到左侧边所需时间；需要说明的是，α’尽量设置较小阈值范围，这是因为α’范围过大会造成视频片段播放时，用于实体展示的弹幕一闪而过，用户无法交互，或者造成视频片段已播放完毕，用于实体展示的弹幕迟迟没结束。

截取得到视频片段后，利用光学字符识别(Optical Character Recognition，OCR)等视频识别文字工具对视频片段进行文字识别；具体地，对视频片段依据预设截取间隔T进行分割，得到数据结构如下：

(视频ID，预设截取间隔，文字)

其中，视频ID为视频唯一标识符；预设截取间隔T为截取视频间隔时间；文字包括识别到的视频片段对应的字幕文字和画面文字等；例如，若预设截取间隔T为10s，则对“影片A”视频片段中部分截取数据如下：

(00001，01:07-01:17，“出品公司：影业集团A，制片厂B”)；

(00001，02:20-02:30，“制片人王五，演员张三”)；

对上面的文字数组中每段文字通过自然语言处理(Han Language Processing，HanLP)技术或者结巴分词技术进行分词，得到可能的实体名称数组，形成如下数据结构：

(视频ID，预设截取间隔，文字，可能的实体名称数组)

其中，将对每段文字分词产生的名词作为可能的实体名称数组，则对上述影片A截取到的文字进行分词后可以得到下述实体名称数组：

(00001，01:07-01:17，“出品公司：影业集团A，制片厂B”，[影业集团名称，制片厂名称])；

(00001，02:20-02:30，“制片人王五，演员张三”，[制片人，王五，张三])。

步骤S250：从目标视频对应的目标视频实体以及目标视频实体的关联实体中查找实体名称数组中各实体名称对应的实体，得到视频片段对应的视频帧实体。

在本步骤中，利用视频文字识别模块存储的所有实体对上面步骤S240得到的实体名称数组进行实体关联搜索，组装成实时“视频帧实体”，其中，“视频帧实体”存储结构如下：

(视频ID，预设截取间隔，文字，关联实体标记数组)

其中，关联实体标记数组中包括至少一个关联实体标记，关联实体标记的结构如下：

(关联实体，isFind)

其中，isFind为布尔值；isFind＝true代表查找到实体，isFind＝false代表未查找到实体。

(00001，01:07-01:17，“出品公司：影业集团A，制片厂B”，[{影业集团名称实体，true}，{制片厂名称实体，true}])；

(00001，02:20-02:30，“制片人王五，演员张三”，[{制片人，false}，{王五实体，true}，{张三实体，true}])。

步骤S260：若未查找到实体名称数组中任一实体名称对应的实体，则从修正视频帧实体池中查找任一实体名称对应的实体，将查找到的实体作为视频片段对应的视频帧实体。

其中，修正视频帧实体池存储有经标注的修正视频帧实体。

在本步骤中，若未查找到实体名称数组中任一实体名称对应的实体，则通过调用修正视频帧实体池，查找任一实体名称对应的实体，将查找到的实体作为视频片段对应的视频帧实体。

修正视频帧实体池存储大量的经标注的修正视频帧实体，经标注的修正视频帧实体可为不定时间长度的视频帧；经标注的修正视频帧实体指的是经过人工标注或机器算法自动标注的修正视频帧实体；其中，人工标注包活冷门实体标注、模糊文字实体标注、无文字视频片段实体标注等，利用经标注的修正视频帧实体可以增强视频知识的丰富性，例如，修正视频帧实体池可能会存如以下实体：

(00001，01:00-02:00，制片厂B实体，true)

(00001，02:10-02:50，制片人职位实体，true)

(00001，40:29-40:32，角色张三实体，true)

在一种可选的方式中，步骤S260进一步包括：获取任一实体名称对应的时间间隔属性；依据时间间隔属性在修正视频帧实体池中找到修正视频帧实体；在修正视频帧实体中查找任一实体名称对应的实体。

在一种可选的方式中，时间间隔属性包括起始时间和结束时间；步骤S260进一步包括：根据起始时间、结束时间以及预设参数，确定修正起始时间和修正结束时间；利用修正起始时间和修正结束时间在修正视频帧实体池中找到修正视频帧实体。

若通过人工为每个视频片段进行标注会耗费大量时间，为了通过修正视频帧实体池对视频帧实体进行合并修正，本步骤中可以通过获取任一实体名称的时间间隔属性，依据时间间隔属性在修正视频帧实体池中找到修正视频帧实体；在修正视频帧实体中查找任一实体名称对应的实体。

在本步骤中，设定时间间隔起始时间为T1、结束时间为T2，利用时间间隔T1-T2去查找修正视频帧实体池，具体地，通过找到时间相近的实体，T3为修正起始时间，T4为修正结束时间，其中，T1、T2、T3、T4需满足下式(4)：

T1-T3＝α”，T4-T2＝β”； (4)

针对上式(4)，需保证α”，β”为最小值；针对这种取值，可能会存在3种场景：场景1、场景2和场景3。

图3a为本发明实施例的修正视频帧实体可能出现的场景1的示意图，如图3a所示，为多个修正视频帧实体包含1个实时视频帧实体(即在目标视频播放过程中实时地通过截取、识别、查找等处理得到的视频片段对应的视频帧实体)；图3b为本发明实施例的修正视频帧实体可能出现的场景2的示意图，如图3b所示，为1个修正视频帧实体包含1个实时视频帧实体；场景3则为未找到实时视频帧实体相应的修正视频帧实体。

针对场景3，可以将未找到修正视频帧实体的实时视频帧实体导入修正视频帧实体池供人工进行后期检查补充；针对场景1和场景2，可以基于所有修正视频帧实体池的实体的文字属性对该实时视频帧实体进行搜索；具体搜索的过程为：取实时视频帧实体的关联实体标记isFind＝false，若找到，即回填视频帧实体，并将isFind＝false修改为isFind＝true。

步骤S270：在视频播放页面中展示视频帧实体。

在一种可选的方式中，步骤S270进一步包括：在视频播放页面中，以弹幕方式展示视频帧实体。

步骤S280：响应于用户针对视频帧实体的触发操作，在视频播放页面的预设区域中展示视频帧实体的实体内容和/或视频帧实体与目标视频之间的关联关系。

在本步骤中，弹幕系统根据视频帧实体和T弹幕对视频帧实体进行展示，实时滚动视频帧实体的词条弹幕，用户可以点击词条弹幕即可链接到视频帧实体的实体内容和与该目标视频的关联关系。

采用本实施例的方法，针对目标视频播放场景，通过截取视频片段进行文字识别，得到实体名称数组，通过预先构建的知识图谱库和缓存模块查找与实体名称数组对应的实体得到视频帧实体，使得在视频播放页面能实时将视频帧实体进行展示，供用户讨论或点击，让用户能实时获得视频知识，提升用户体验；其中，为了能够更加快捷地将视频帧实体展示到目标视频播放界面，本方法改进了缓存模块的缓存队列结构使其能附属视频实体关系，按照视频热度值进行计算排序，放入设计的多级缓存队列中，并且按照预设周期进行更新；此外为了提高视频帧实体查询的全面性，通过修正视频帧实体来进行视频帧实体的修正与补全。

图4示出了本发明一种实时视频关联展示装置实施例的结构示意图。如图4所示，该装置包括：截取识别模块410、实体查找模块420、存储模块430、展示模块440和修正模块450。

截取识别模块410，用于在目标视频播放过程中，根据预设截取间隔对所述目标视频进行截取得到视频片段，对所述视频片段进行文字识别，得到实体名称数组。

实体查找模块420，用于从所述目标视频对应的目标视频实体以及所述目标视频实体的关联实体中查找所述实体名称数组中各实体名称对应的实体，得到所述视频片段对应的视频帧实体。

存储模块430，用于构建知识图谱库，所述知识图谱库中包含有各个视频对应的视频实体以及各个视频实体的关联实体；按照周期统计各个视频的热度值，从所述知识图谱库中获取热度值排列靠前的预设数量的视频对应的视频实体以及所述视频实体的关联实体并存储至缓存模块中。

在一种可选的方式中，缓存模块包括多级缓存队列。

在一种可选的方式中，所述实体查找模块420进一步用于：从所述知识图谱库或者所述缓存模块中获取所述目标视频对应的目标视频实体以及所述目标视频实体的关联实体。

在一种可选的方式中，存储模块430进一步用于：从所述知识图谱库中获取热度值排列靠前的预设数量的视频对应的视频实体以及所述视频实体的关联实体；针对每个视频，根据该视频的视频标识、该视频对应的视频实体、所述视频实体的关联实体以及该视频的热度值，构建该视频对应的缓存存储结构；按照热度值排列顺序，将各个视频对应的缓存存储结构存储至多级缓存队列的一级缓存队列中；每当下一周期到达时，将多级缓存队列中除末级缓存队列之外的任一缓存队列中的缓存存储结构移至其下一级缓存队列中，直至移至末级缓存队列中，在所述末级缓存队列中按照预设速度对缓存存储结构进行删除。

展示模块440，用于在视频播放页面中展示所述视频帧实体。

在一种可选的方式中，展示模块440进一步用于：以弹幕方式展示所述视频帧实体。

在一种可选的方式中，展示模块440进一步用于：响应于用户针对所述视频帧实体的触发操作，在所述视频播放页面的预设区域中展示所述视频帧实体的实体内容和/或所述视频帧实体与所述目标视频之间的关联关系。

在一种可选的方式中，该装置还包括修正模块450，用于若未查找到所述实体名称数组中任一实体名称对应的实体，则从修正视频帧实体池中查找所述任一实体名称对应的实体，将查找到的实体作为所述视频片段对应的视频帧实体；其中，所述修正视频帧实体池存储有经标注的修正视频帧实体。

在一种可选的方式中，修正模块450进一步用于：获取所述任一实体名称对应的时间间隔属性；依据所述时间间隔属性在所述修正视频帧实体池中找到修正视频帧实体；在所述修正视频帧实体中查找所述任一实体名称对应的实体。

在一种可选的方式中，所述时间间隔属性包括起始时间和结束时间；修正模块450进一步用于：根据所述起始时间、结束时间以及预设参数，确定修正起始时间和修正结束时间；利用所述修正起始时间和所述修正结束时间在所述修正视频帧实体池中找到修正视频帧实体。

采用本实施例的装置，通过在目标视频播放过程中，根据预设截取间隔对目标视频进行截取得到视频片段，对视频片段进行文字识别，得到实体名称数组；从目标视频对应的目标视频实体以及目标视频实体的关联实体中查找实体名称数组中各实体名称对应的实体，得到视频片段对应的视频帧实体；在视频播放页面中展示视频帧实体。本装置针对目标视频播放场景，通过截取视频片段进行文字识别，得到实体名称数组，通过查找与实体名称数组对应的实体得到视频帧实体，使得在视频播放页面能实时将视频帧实体进行展示，供用户讨论或点击，让用户能实时获得视频知识，提升用户体验。

本发明实施例提供了一种非易失性计算机存储介质，所述计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的一种实时视频关联展示方法。

可执行指令具体可以用于使得处理器执行以下操作：

在目标视频播放过程中，根据预设截取间隔对所述目标视频进行截取得到视频片段，对所述视频片段进行文字识别，得到实体名称数组；

从所述目标视频对应的目标视频实体以及所述目标视频实体的关联实体中查找所述实体名称数组中各实体名称对应的实体，得到所述视频片段对应的视频帧实体；

在视频播放页面中展示所述视频帧实体。

图5示出了本发明计算设备实施例的结构示意图，本发明具体实施例并不对计算设备的具体实现做限定。

如图5所示，该计算设备可以包括：

处理器(processor)、通信接口(Communications Interface)、存储器(memory)、以及通信总线。

其中：处理器、通信接口、以及存储器通过通信总线完成相互间的通信。通信接口，用于与其它设备比如客户端或其它服务器等的网元通信。处理器，用于执行程序，具体可以执行上述一种实时视频关联展示方法实施例中的相关步骤。

具体地，程序可以包括程序代码，该程序代码包括计算机操作指令。

处理器可能是中央处理器CPU，或者是特定集成电路ASIC(Application SpecificIntegrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。服务器包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。

存储器，用于存放程序。存储器可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

程序具体可以用于使得处理器执行以下操作：

在目标视频播放过程中，根据预设截取间隔对所述目标视频进行截取得到视频片段，对所述视频片段进行文字识别，得到实体名称数组；

从所述目标视频对应的目标视频实体以及所述目标视频实体的关联实体中查找所述实体名称数组中各实体名称对应的实体，得到所述视频片段对应的视频帧实体；

在视频播放页面中展示所述视频帧实体。

在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明实施例也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤，除有特殊说明外，不应理解为对执行顺序的限定。

Claims (8)

1.一种实时视频关联展示方法，其特征在于，包括：

在目标视频播放过程中，根据预设截取间隔对所述目标视频进行截取得到视频片段，对所述视频片段进行文字识别，得到实体名称数组；

从所述目标视频对应的目标视频实体以及所述目标视频实体的关联实体中查找所述实体名称数组中各实体名称对应的实体，得到所述视频片段对应的视频帧实体；视频帧实体的存储结构为：视频ID，预设截取间隔，文字，关联实体标记数组；其中，关联实体标记数组中包括至少一个关联实体标记，关联实体标记的结构为：关联实体，布尔值；

若未查找到所述实体名称数组中任一实体名称对应的实体，则获取所述任一实体名称对应的时间间隔属性，依据所述时间间隔属性在修正视频帧实体池中找到修正视频帧实体；在所述修正视频帧实体中查找所述任一实体名称对应的实体，将查找到的实体作为所述视频片段对应的视频帧实体；其中，所述修正视频帧实体池存储有经标注的修正视频帧实体；场景具体包括：多个修正视频帧实体包含1个实时视频帧实体，或，1个修正视频帧实体包含1个实时视频帧实体；针对所述场景，基于修正视频帧实体池的实体的文字属性对所述实时视频帧实体进行搜索；具体搜索的过程为：取实时视频帧实体的关联实体标记的布尔值，若找到，回填视频帧实体，修改布尔值；

在视频播放页面中展示所述视频帧实体。

2.根据权利要求1所述的方法，其特征在于，在目标视频播放之前，所述方法还包括：

构建知识图谱库，所述知识图谱库中包含有各个视频对应的视频实体以及各个视频实体的关联实体；

按照周期统计各个视频的热度值，从所述知识图谱库中获取热度值排列靠前的预设数量的视频对应的视频实体以及所述视频实体的关联实体并存储至缓存模块中；

当用户进入所述目标视频播放页面时，目标视频的视频内容暂时没有播放，从所述缓存模块获取所述目标视频对应的目标视频实体以及所述目标视频实体的关联实体；若未从所述缓存模块查询到所述目标视频对应的目标视频实体以及目标视频实体的关联实体，则从所述知识图谱库中捞取目标视频对应的目标视频实体以及目标视频实体的关联实体。

3.根据权利要求2所述的方法，其特征在于，所述缓存模块中包括：多级缓存队列；

所述从所述知识图谱库中获取热度值排列靠前的预设数量的视频对应的视频实体以及所述视频实体的关联实体并存储至缓存模块中进一步包括：

从所述知识图谱库中获取热度值排列靠前的预设数量的视频对应的视频实体以及所述视频实体的关联实体；

针对每个视频，根据该视频的视频标识、该视频对应的视频实体、所述视频实体的关联实体以及该视频的热度值，构建该视频对应的缓存存储结构；

按照热度值排列顺序，将各个视频对应的缓存存储结构存储至多级缓存队列的一级缓存队列中；

每当下一周期到达时，将多级缓存队列中除末级缓存队列之外的任一缓存队列中的缓存存储结构移至其下一级缓存队列中，直至移至末级缓存队列中，在所述末级缓存队列中按照预设速度对缓存存储结构进行删除。

4.根据权利要求1所述的方法，其特征在于，所述时间间隔属性包括起始时间和结束时间；

所述依据所述时间间隔属性在所述修正视频帧实体池中找到修正视频帧实体进一步包括：

根据所述起始时间、结束时间以及预设参数，确定修正起始时间和修正结束时间；

利用所述修正起始时间和所述修正结束时间在所述修正视频帧实体池中找到修正视频帧实体。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述在视频播放页面中展示所述视频帧实体进一步包括：在视频播放页面中，以弹幕方式展示所述视频帧实体；

所述方法还包括：

响应于用户针对所述视频帧实体的触发操作，在所述视频播放页面的预设区域中展示所述视频帧实体的实体内容和/或所述视频帧实体与所述目标视频之间的关联关系。

6.一种实时视频关联展示装置，其特征在于，包括：

截取识别模块，用于在目标视频播放过程中，根据预设截取间隔对所述目标视频进行截取得到视频片段，对所述视频片段进行文字识别，得到实体名称数组；

实体查找模块，用于从所述目标视频对应的目标视频实体以及所述目标视频实体的关联实体中查找所述实体名称数组中各实体名称对应的实体，得到所述视频片段对应的视频帧实体；视频帧实体的存储结构为：视频ID，预设截取间隔，文字，关联实体标记数组；其中，关联实体标记数组中包括至少一个关联实体标记，关联实体标记的结构为：关联实体，布尔值；若未查找到所述实体名称数组中任一实体名称对应的实体，则获取所述任一实体名称对应的时间间隔属性，依据所述时间间隔属性在修正视频帧实体池中找到修正视频帧实体；在所述修正视频帧实体中查找所述任一实体名称对应的实体，将查找到的实体作为所述视频片段对应的视频帧实体；其中，所述修正视频帧实体池存储有经标注的修正视频帧实体；场景具体包括：多个修正视频帧实体包含1个实时视频帧实体，或，1个修正视频帧实体包含1个实时视频帧实体；针对所述场景，基于修正视频帧实体池的实体的文字属性对所述实时视频帧实体进行搜索；具体搜索的过程为：取实时视频帧实体的关联实体标记的布尔值，若找到，回填视频帧实体，修改布尔值；

展示模块，用于在视频播放页面中展示所述视频帧实体。

7.一种计算设备，其特征在于，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-5中任一项所述的一种实时视频关联展示方法对应的操作。

8.一种计算机存储介质，其特征在于，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1-5中任一项所述的一种实时视频关联展示方法对应的操作。