CN111753129A - 基于实时视频内容激发搜索的方法、系统以及终端设备 - Google Patents

Abstract

本公开提供一种基于实时视频内容激发搜索的方法，该方法包括：获取兴趣视频片段；根据所述兴趣视频片段，从云端离线识别数据库查询出或采用本地在线识别方式提取出所述兴趣视频片段所包含的视频实体；根据获取到的所述视频实体进行关联搜索，以得到搜索结果；将所述搜索结果反馈给用户。本公开还提供了一种基于实时视频内容激发搜索的系统以及终端设备。

Description

基于实时视频内容激发搜索的方法、系统以及终端设备

技术领域

本公开实施例涉及互联网技术领域，特别涉及一种基于实时视频内容激发搜索的方法、系统以及终端设备。

背景技术

近年来，互联网内容形态呈现明显的视频化趋势，即越来越多的内容展现以视频的形态出现，尤其是短视频平台的爆发，让用户花在观看视频上的时间越来越多。基于此，用户固有的信息搜索需求、购物需求等也逐渐呈现向视频播放器平台收敛的趋势，即：在视频消费环节中，根据所观看到的视频内容所延伸的“这是谁/这是哪/求背景音乐(BGM)/这东西在哪买/这是什么车……”等需求越来越多。

现有技术中，用户基于上述视频内容激发的搜索方法一般为用户首先通过暂停播放或拖动进度条来定位到关键帧，然后系统根据预设算法，从所获取的关键帧中提取出视频实体，进而通过搜索视频实体得到搜索结果。

发明内容

本公开实施例提供一种基于实时视频内容激发搜索的方法、系统、终端设备以及计算机可读介质。

第一方面，本公开实施例提供了一种基于实时视频内容激发搜索的方法，该方法包括：

获取兴趣视频片段；

根据所述兴趣视频片段，从云端离线识别数据库查询出或采用本地在线识别方式提取出所述兴趣视频片段所包含的视频实体；

根据获取到的所述视频实体进行关联搜索，以得到搜索结果；

将所述搜索结果反馈给用户。

在一些实施例中，所述根据所述兴趣视频片段，从云端离线识别数据库查询出或采用本地在线识别方式提取出所述兴趣视频片段所包含的视频实体包括：

判断云端离线识别数据库中是否存储有所述兴趣视频片段的相关信息；

当判断出所述云端离线识别数据库中存储有所述兴趣视频片段的相关信息时，则从所述云端离线识别数据库中查询出所述兴趣视频片段所包含的视频实体；

当判断出所述云端离线识别数据库中未存储有所述兴趣视频片段的相关信息时，则采用预先设定的实体提取算法对所述兴趣视频片段进行本地在线识别，以提取出所述兴趣视频片段所包含的视频实体。

在一些实施例中，所述云端离线识别数据库中存储有预先选取的热门视频各自所包含的视频实体。

在一些实施例中，所述云端离线识别数据库中存储有各所述热门视频的视频标识；

在所述获取兴趣视频片段的步骤之后，且在所述根据所述兴趣视频片段，从云端离线识别数据库查询出或采用本地在线识别方式提取出所述兴趣视频片段所包含的视频实体的步骤之前，还包括：

确定所述兴趣视频片段所归属完整视频的视频标识；

所述判断云端离线识别数据库中是否存储有所述兴趣视频片段的相关信息具体包括：

查询所述云端离线识别数据库中是否存储有所述兴趣视频片段所归属完整视频的视频标识；

若在所述云端离线识别数据库中查询出所述兴趣视频片段所归属完整视频的视频标识，则判断出云端离线识别数据库中存储有所述兴趣视频片段的相关信息；

若在所述云端离线识别数据库中未查询出所述兴趣视频片段所归属完整视频的视频标识，则判断出云端离线识别数据库中未存储有所述兴趣视频片段的相关信息。

在一些实施例中，所述获取兴趣视频片段的步骤具体包括：

实时判断用户是否执行预定操作；

当判断出用户执行所述预定操作时，则确定视频采集时间段，以确定用户在所述视频采集时间段所观看的视频内容以作为所述兴趣视频片段；其中，所述视频采集段的截止时刻为用户执行所述预定操作时所对应的时刻t2，所述视频采集时间段的起始时刻为t1，t1＝t2-t0，t0为预先设定的时长值。

在一些实施例中，在所述获取所述视频实体的步骤之后以及根据获取到的所述视频实体进行搜索的步骤之前，还包括：

判断所获取到的视频实体的数量是否大于预定阈值；

当判断出所获取到的视频实体的数量大于预定阈值时，则根据预先获取到的所述用户的用户肖像，筛选出与用户肖像相关联的视频实体，并继续执行后续的所述根据获取到的所述视频实体进行关联搜索的步骤；

当判断出所获取到的视频实体的数量小于或等于预定阈值时，则进一步判断所获取到的视频实体的数量是否为零，当判断出视频实体的数量为零时，则向用户反馈相关文案提示，并结束搜索流程。

在一些实施例中，所述用户肖像包括：预设的垂类识别优先级和该用户对特定垂类的偏好程度。

在一些实施例中，所述将所述搜索结果反馈给用户的方式包括：半屏网页弹层和半透明浮层。

第二方面，本公开实施例还提供了一种基于实时视频内容激发搜索的系统，包括：

第一获取模块，用于获取兴趣视频片段；

第二获取模块，用于根据所述兴趣视频片段，从云端离线识别数据库查询出或采用本地在线识别方式提取出所述兴趣视频片段所包含的视频实体；

搜索模块，用于根据所述第二获取模块提取到的所述视频实体进行关联搜索，以得到搜索结果；

反馈模块，用于将所述搜索结果反馈给用户。

在一些实施例中，所述第二获取模块包括：

第一判断单元，用于判断云端离线识别数据库中是否存储有所述兴趣视频片段的相关信息；

查询单元，用于在所述第一判断单元判断出所述云端离线识别数据库中存储有所述兴趣视频片段的相关信息时，从所述云端离线识别数据库中查询出所述兴趣视频片段所包含的视频实体；

计算单元，用于在所述第一判断单元判断出所述云端离线识别数据库中未存储有所述兴趣视频片段的相关信息时，采用预先设定的实体提取算法对所述兴趣视频片段进行本地在线识别，以提取出所述兴趣视频片段所包含的视频实体。

在一些实施例中，所述云端离线识别数据库中存储有预先选取的热门视频各自所包含的视频实体。

在一些实施例中，所述云端离线识别数据库中还存储有各所述热门视频的视频标识；

所述系统还包括：

标识确定模块，用于在所述第二获取模块获取到所述兴趣视频片段之后，确定所述兴趣视频片段所归属完整视频的视频标识；

所述第一判断单元具体用于查询所述云端离线识别数据库中是否存储有所述标识确定模块所确定的所述兴趣视频片段所归属完整视频的视频标识，并且在所述云端离线识别数据库中查询出所述兴趣视频片段所归属完整视频的视频标识时，判断出云端离线识别数据库中存储有所述兴趣视频片段的相关信息；在所述云端离线识别数据库中未查询出所述兴趣视频片段所归属完整视频的视频标识时，判断出云端离线识别数据库中未存储有所述兴趣视频片段的相关信息。

在一些实施例中，所述获取模块包括：

监测单元，用于实时判断用户是否执行预定操作；

确定单元，用于当所述监测单元判断出用户执行所述预定操作时，确定视频采集时间段，并确定用户在所述视频采集时间段所观看的视频内容以作为所述兴趣视频片段；其中，所述视频采集段的截止时刻为用户执行所述预定操作时所对应的时刻t2，所述视频采集时间段的起始时刻为t1，且t1＝t2-t0，t0为预先设定的时长值。

在一些实施例中，所述第二获取模块还包括：

第二判断单元，用于在所述查询单元或所述计算单元提取到所述视频实体后，判断所获取到的视频实体的数量是否大于预定阈值；

筛选模块，用于在所述第二判断单元判断出视频实体的数量大于预定阈值时，根据预先获取到该用户的用户肖像，筛选出与所述用户肖像相关联的视频实体；

第三判断单元，用于在所述第二判断单元判断出所述视频实体的数量小于或等于预定阈值时，进一步判断所获取到的视频实体的数量是否为零，并在判断出所述视频实体的数量为零时，指示所述反馈模块向用户反馈相关文案提示。

在一些实施例中，所述用户肖像包括：预设的垂类优先级和该用户对特定垂类的偏好程度。

在一些实施例中，所述反馈模块向用户反馈所述搜索结果的方式包括：半屏网页弹层和半透明浮层。

第三方面，本公开实施例还提供了一种基于实时视频内容激发搜索的终端设备，包括：

一个或多个处理器；

存储装置，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述的方法。

第四方面，本公开实施例还提供了一种计算机可读介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如上述的方法。

本公开实施例提供的基于实时视频内容激发搜索的方法、系统、终端设备以及计算机可读介质，通过实时判断用户是否执行预定操作，来触发搜索流程，能够大大缩短用户操作路径，从而使基于视频内容激发的搜索场景更容易实现，提高了用户体验；并且预设的云端离线识别数据库内存储有预先选取的高浏览量的热门视频所包含的视频实体，在对用户所感兴趣的兴趣视频片段进行视频实体提取时，结合云端离线查询和本地在线识别两种方式，能够使得用户在观看高浏览量的热门视频时，快速通过云端查询为用户提取到感兴趣的视频实体，并在用户观看冷门视频时，也能通过本地在线识别方式提取到用户感兴趣的视频实体，从而最大限度的满足用户的热门和冷门视频的视频实体提取需求，并同时提高了提取速率，进而在后续基于提取的视频实体为用户反馈搜索结果时，进一步提高用户体验。

附图说明

附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开的实施例一起用于解释本公开，并不构成对本公开的限制。

通过参考附图对详细示例实施例进行描述，以上和其他特征和优点对本领域技术人员将变得更加显而易见，在附图中：

图1为本公开实施例提供的一种基于实时视频内容激发搜索的方法的流程图；

图2为本公开实施例提供的另一种基于实时视频内容激发搜索的方法的流程图；

图3为本公开实施例提供的一种基于实时视频内容激发搜索的系统的结构示意图；

图4为本公开实施例提供的另一种基于实时视频内容激发搜索的系统的结构示意图。

具体实施方式

为使本领域的技术人员更好地理解本发明的技术方案，下面结合附图对本发明提供的基于实时视频内容激发搜索的方法、系统以及终端设备进行详细描述。

在下文中将参考附图更充分地描述示例实施例，但是所述示例实施例可以以不同形式来体现且不应当被解释为限于本文阐述的实施例。反之，提供这些实施例的目的在于使本公开透彻和完整，并将使本领域技术人员充分理解本公开的范围。

如本文所使用的，术语“和/或”包括一个或多个相关列举条目的任何和所有组合。

本文所使用的术语仅用于描述特定实施例，且不意欲限制本公开。

如本文所使用的，单数形式“一个”和“该”也意欲包括复数形式，除非上下文另外清楚指出。还将理解的是，当本说明书中使用术语“包括”和/或“由……制成”时，指定存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其他特征、整体、步骤、操作、元件、组件和/或其群组。

本文所述实施例可借助本公开的理想示意图而参考平面图和/或截面图进行描述。因此，可根据制造技术和/或容限来修改示例图示。因此，实施例不限于附图中所示的实施例，而是包括基于制造工艺而形成的配置的修改。因此，附图中例示的区具有示意性属性，并且图中所示区的形状例示了元件的区的具体形状，但并不旨在是限制性的。

除非另外限定，否则本文所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解，诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本公开的背景下的含义一致的含义，且将不解释为具有理想化或过度形式上的含义，除非本文明确如此限定。

本公开提供的基于实时视频内容激发搜索的方法或系统，用于实现在用户观看某一视频时，由于对视频内容中的某些视频实体感兴趣而产生的基于该些实体的搜索。其中，视频实体指的是视频内容中所涉及到的事物。具体地，视频实体包括视觉实体、文本实体以及声音实体等多种类型的实体，典型的视觉实体包括例如明星人脸、小商品、汽车、logo、动植物、知名景点/标志性建筑物等；典型的文本实体包括例如名人姓名、商品名、地名、菜名、动植物物种名等；典型的声音实体包括例如背景音乐的曲目、人说话的内容、哼唱声、鸟叫声、关门声、汽车发动的声音等。

如图1所示，本公开实施例提供的基于实时视频内容激发搜索的方法包括：

步骤S101、获取兴趣视频片段。

本公开中，兴趣视频片段为用户所感兴趣的视频片段，具体指的是包含用户所感兴趣的视频实体的视频片段。

步骤S102、根据该兴趣视频片段，从云端离线识别数据库查询出或采用本地在线识别方式提取出该兴趣视频片段所包含的视频实体。

步骤S103、根据获取到的视频实体进行搜索，以得到搜索结果。

步骤S104、将搜索结果反馈给用户。

本公开中，云端服务器预设有云端离线识别数据库，该数据库内存储有预先选取的视频以及各视频对应的分帧处理结果，该分帧处理结果包括：热门视频内每一帧各自所包含的视频实体。根据所获取到的用户所感兴趣的兴趣视频片段从云端离线识别数据库进行查询而能够快速提取出兴趣视频片段内所包含的视频实体。

本公开实施例提供的基于实时视频内容激发搜索的方法，在获取到用户感兴趣的兴趣视频片段后，能够通过结合云端在线查询和本地在线识别的方式提取出兴趣视频片段内的视频实体，从而能够为用户快速提取出所感兴趣的视频实体，进而提高了后续搜索速度，提高了用户体验。

本公开还提供另一种基于实时视频内容激发搜索的方法，如图2所示，该方法包括：

步骤S201、实时判断用户是否执行预定操作。

步骤S202、当判断出用户执行预定操作时，确定视频采集时间段，以确定用户在该视频采集时间段所观看的视频内容以作为兴趣视频片段。

在步骤S201中，预定操作指的是可触发获取用户所感兴趣的兴趣视频片段的动作指令，可选的，本公开中预定操作为“摇一摇”动作，通过实时获取并判断用户所发出的动作指令是否为预定操作，可以确定出用户是否想要获取感兴趣的兴趣视频片段，并且，通过设置预定操作来激发搜索流程，相比于现有技术中用户通过手动暂停的方式，能够大大缩短用户的操作路径，从而使基于视频内容激发的搜索场景更容易实现，进一步提高了用户体验

在步骤S202中，当判断出用户执行了预定操作时，则确定出用户想要获取感兴趣的兴趣视频片段，进而将用户在该视频采集时间段所观看的视频内容作为兴趣视频片段，其中，视频采集时间段的确定方式如下：

确定用户执行预定操作时对应的时刻t2，将t2作为该视频采集时间段的截止时刻；确定该视频采集时间段的起始时刻为t1，且t1＝t2-t0，其中，t0为预先设定的时长值，该时长值t0的选取可以基于用户习惯、人脑平均反应时间、设备特性等要素，通过离线或在线的微调和学习进行确定，以使所确定的兴趣视频片段能够更加准确的包括用户所感兴趣的视频实体。

步骤S203、确定兴趣视频片段所归属完整视频的视频标识。

步骤S204、查询云端离线识别数据库中是否存储有兴趣视频片段所归属完整视频的视频标识。

本公开中，每个视频都具有一个特定的视频标识；在步骤S203中，通过提取用户正在观看的视频的相关信息便能够获取到该视频对应的视频标识，该视频标识即为用户感兴趣的兴趣视频片段所归属完整视频的视频标识。

本公开中，云端离线识别数据库内存储有预先选取的视频以及各视频对应的分帧处理结果，该分帧处理结果包括：热门视频内每一帧各自所包含的视频实体，并且可选的，预先选取的该些视频为具有高浏览量的热门视频。除此之外，云端离线识别数据库中还存储了预先选取的视频所对应的视频标识。因此，在步骤S204中，基于所获取到的视频标识从云端离线识别数据库进行查询，便能够确定出用户所感兴趣的兴趣视频片段是否存储在该云端离线识别数据库中。

具体地，当查询结果为是时，则判断出云端离线识别数据库中存储有该兴趣视频片段的相关信息，相应地执行步骤S205，以从云端离线识别数据库中查询出该兴趣视频片段内每一帧所包含的视频实体；当查询结果为否时，则判断出云端离线识别数据库中未存储有兴趣视频片段的相关信息，相应地执行步骤S205’，以通过本地在线识别方式获得该兴趣视频片段中的视频实体。

步骤S205、从所述云端离线识别数据库中查询出该兴趣视频片段所包含的视频实体。

步骤S205’、采用预先设定的实体提取算法针对该兴趣视频片段的进行本地在线识别，以提取出该兴趣视频片段所包含的视频实体。

本公开中，视频实体包括视觉实体、文本实体以及声音实体等多种类型的实体。典型的视觉实体包括例如明星人脸、小商品、汽车、logo、动植物、知名景点/标志性建筑物等，在识别这一类实体时，可以基于计算机视觉算法来识别画面中的物体得到；典型的文本实体包括例如名人姓名、商品名、地名、菜名、动植物物种名等，在识别这一类实体时，可以基于OCR技术获取；典型的声音实体包括例如背景音乐的曲目、人说话的内容、哼唱声、鸟叫声、关门声、汽车发动的声音等，在识别这一类实体时，可以使用音频匹配/语音识别算法对视频的音轨数据进行处理得到。

本公开中，为进一步控制计算成本，在基于预先设定的实体提取算法从兴趣视频片段中提取视频实体时，可结合用户肖像进行提取。具体的，用户肖像包括预设的垂类识别优先级和用户偏好，其中预设的垂类识别优先级可通过对该用户的历史各垂类搜索结果转化率进行统计排序得到，用户偏好可根据统计的用户对特定垂类的偏好程度和/或转化率进行预估得到。通过结合用户肖像来进行本地在线识别，能够优先对某一个或多个垂类进行识别，从而进一步控制了计算成本，提高了实体提取效率，同时也能更好的满足用户需求。

步骤S206、判断所获取到的视频实体的数量是否大于预定阈值。

本公开中，从兴趣视频片段中所提取的视频实体往往包含多个，该多个视频实体不一定都是用户所感兴趣的视频实体，若对所有的视频实体进行搜索，则必然使计算成本过大。在步骤S206中，通过设定预定阈值来进行判断，能够对所获取的视频实体的数量进行控制，从而进一步降低计算成本。

具体的，当步骤S206判断出所获取到的视频实体的数量大于预定阈值时，则说明计算成本过高，此时执行步骤S207；当步骤S206判断出所获取到的视频实体的数量小于预定阈值时，则说明计算成本在可控范围内，此时执行步骤S207’。

步骤S207、根据预先获取到该用户的用户肖像，筛选出与用户肖像相关联的视频实体。

本公开中，用户肖像包括预设的垂类识别优先级和该用户对特定垂类的偏好程度，其中，预设的垂类识别优先级可通过对该用户的历史各垂类搜索结果转化率进行统计排序得到，用户偏好可基于统计的用户对特定垂类的偏好程度和/或转化率进行预估得到。即，用户肖像标识有用户感兴趣的实体类别，通过结合用户肖像来对视频实体进行筛选，能够进一步筛选出与用户肖像相关联的视频实体，从而得到更符合用户兴趣爱好的视频实体，并且能够降低计算成本，其中，视频实体与用户肖像相关联具体是指视频实体所属类别为该用户肖像中所包含的实体类别。

步骤S207’、判断所获取到的视频实体的数量是否为零。

本公开中，当视频实体的数量在预定的阈值范围内时，还进一步判断视频实体的数量是否为零，具体的，当步骤S207’的判断结果为零，则说明未提取到任何实体，此时执行步骤S208’；当步骤S207’的判断结果不为零，则说明提取到相关实体，此时执行步骤S208。

步骤S208、根据获取到的视频实体进行搜索，以得到搜索结果。

步骤S208’、向用户反馈相关文案提示，并结束搜索流程。

在步骤S208中，当获取到视频实体后，将视频实体发送至搜索服务器进行关联搜索，例如百度搜索服务器，从而得到与视频实体相关的搜索结果，搜索结果可包括例如明星的百度百科页面链接、商品的电商购物网页链接、音乐曲目的试听/购买/下载网页链接以及旅游景点网站主页链接等多种形式。

在步骤S208’中，当未提取到视频实体时，向用户反馈相关文案，以告知用户，并结束整个搜索流程。

步骤S209、将搜索结果反馈给用户。

本公开中，将搜索结果反馈给用户的方式包括半屏网页弹层和半透明浮层，具体的反馈方式可由用户根据个人喜好及习惯进行设定。并在不影响视频的正常播放的情况下展现信息，且允许用户在主动点击某一条搜索结果时，跳转到相应的链接。

本公开实施例提供的基于实时视频内容激发搜索的方法，通过实时判断用户是否执行预定操作，来触发搜索流程，能够大大缩短用户操作路径，从而使基于视频内容激发的搜索场景更容易实现，提高了用户体验；并且预设的云端离线识别数据库内存储有预先选取的高浏览量的热门视频所包含的视频实体，在对用户所感兴趣的兴趣视频片段进行视频实体提取时，结合云端离线查询和本地在线识别两种方式，能够使得用户在观看高浏览量的热门视频时，快速通过云端查询为用户提取到感兴趣的视频实体，并在用户观看冷门视频时，也能通过本地在线识别方式提取到用户感兴趣的视频实体，从而最大限度的满足用户的热门和冷门视频的视频实体提取需求，并同时提高了提取速率，进而在后续基于提取的视频实体为用户反馈搜索结果时，进一步提高用户体验。

本公开还提供一种基于实时视频内容激发搜索的系统，用于执行本公开实施例提供的基于实时视频内容激发搜索的方法。

如图3所示，该系统包括：第一获取模块11、第二获取模块12、搜索模块13以及反馈模块14。

其中，第一获取模块11用于获取用户所感兴趣的兴趣视频片段；第二获取模块12，用于根据兴趣视频片段，从云端离线识别数据库查询出或采用本地在线识别方式提取出兴趣视频片段所包含的视频实体；搜索模块13用于根据第二获取模块12提取到的视频实体进行搜索，以得到搜索结果；反馈模块14用于将搜索结果反馈给用户。

本公开中，云端服务器预设有云端离线识别数据库，该数据库内存储有预先选取的视频以及各视频对应的分帧处理结果，该分帧处理结果包括：热门视频内每一帧各自所包含的视频实体。根据所获取到的用户所感兴趣的兴趣视频片段从云端离线识别数据库进行查询而能够快速提取出兴趣视频片段内所包含的视频实体。

本公开实施例提供的基于实时视频内容激发搜索的系统，在获取到用户感兴趣的兴趣视频片段后，能够通过结合云端在线查询和本地在线识别的方式提取出兴趣视频片段内的视频实体，从而能够为用户快速提取出所感兴趣的视频实体，进而提高了后续搜索速度，提高了用户体验。

进一步地，如图4所示，本公开实施例所提供的基于实时视频内容激发搜索的系统中，第二获取模块12进一步包括：第一判断单元121、查询单元122以及计算单元123。

其中，第一判断单元121用于判断云端离线识别数据库中是否存储有该兴趣视频片段的相关信息；查询单元122用于在第一判断单元121判断出云端离线识别数据库中存储有兴趣视频片段的相关信息时，从云端离线识别数据库中查询出兴趣视频片段内每一帧所包含的视频实体；计算单元123用于在第一判断单元121判断出云端离线识别数据库中未存储有兴趣视频片段的相关信息时，采用预先设定的实体提取算法针对兴趣视频片段的进行本地在线识别，以提取出兴趣视频片段所包含的视频实体；

本公开中，每个视频都具有一个特定的视频标识；云端离线识别数据库内存储有预先选取的视频以及各视频对应的分帧处理结果，该分帧处理结果包括：热门视频内每一帧各自所包含的视频实体，并且可选的，预先选取的该些视频为具有高浏览量的热门视频。除此之外，云端离线识别数据库中还存储了预先选取的视频所对应的视频标识。该系统还包括：标识确定模块15，用于在第一获取模块11获取到用户所感兴趣的兴趣视频片段之后，确定出兴趣视频片段所归属完整视频的视频标识。

进一步地，第一判断单元121通过查询云端离线识别数据库中是否存储有确定模块所确定的兴趣视频片段所归属完整视频的视频标识而确定出用户所感兴趣的兴趣视频片段是否存储在该云端离线识别数据库中。

具体地，当在所云端离线识别数据库中查询出兴趣视频片段所归属完整视频的视频标识时，则判断出云端离线识别数据库中存储有该兴趣视频片段的相关信息，并指示查询单元122进行查询，以从云端离线识别数据库中查询出该兴趣视频片段内每一帧所包含的视频实体；若在云端离线识别数据库中未查询出兴趣视频片段所归属完整视频的视频标识时，则判断出云端离线识别数据库中未存储有兴趣视频片段的相关信息，并指示计算单元123进行计算，以通过本地在线识别方式获得该兴趣视频片段中的视频实体。

本公开实施例中，第一获取模块11具体包括：监测单元111和确定单元112，其中，监测单元111用于实时判断用户是否执行预定操作；确定单元112用于当监测单元判断出用户执行预定操作时，确定视频采集时间段，并确定用户在视频采集时间段所观看的视频内容以作为兴趣视频片段。

具体的，确定视频采集时间段的方式为：视频采集段的截止时刻为用户执行预定操作时所对应的时刻t2，视频采集时间段的起始时刻t1为t1＝t2-t0，其中t0为预先设定的时长值。

本公开实施例中，第二获取模块12还包括：第二判断单元124、筛选单元125以及第三判断单元126。

其中，第二判断单元124用于在查询单元122或计算单元123完成视频实体的提取操作之后，判断所获取到的视频实体的数量是否大于预定阈值；筛选单元125用于在第二判断单元124判断出视频实体的数量大于预定阈值时，根据预先获取到该用户的用户肖像，筛选出与该用户肖像相关联的视频实体；第三判断单元126用于在第二判断单元124判断出视频实体的数量小于或等于预定阈值时，进一步判断所获取到的视频实体的数量是否为零，并在判断出视频实体的数量为零时，指示反馈模块14向用户反馈相关文案提示，在判断出视频实体的数量不为零时，指示搜索模块13根据提取到的所述视频实体进行关联搜索。

本公开中，用户肖像包括：预设的垂类识别优先级和该用户对特定垂类的偏好程度。其中，预设的垂类识别优先级可通过对该用户的历史各垂类搜索结果转化率进行统计排序得到，用户偏好可基于统计的用户对特定垂类的偏好程度和/或转化率进行预估得到。

本公开中，反馈模块14向用户反馈搜索结果的方式包括：半屏网页弹层和半透明浮层。并在不影响视频的正常播放的情况下展现信息，且允许用户在主动点击某一条搜索结果时，跳转到相应的链接

本公开还提供一种基于实时视频内容激发搜索的终端设备，包括：一个或多个处理器以及存储装置；其中存储装置上存储有一个或多个程序，当该一个或多个程序被该一个或多个处理器执行，使得该一个或多个处理器实现本公开所提供的基于实时视频内容激发搜索的方法。

本公开还提供一种计算机可读介质，其上存储有计算机程序，其中，该程序被处理器执行时实现本公开所提供的基于实时视频内容激发搜索的方法。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

本文已经公开了示例实施例，并且虽然采用了具体术语，但它们仅用于并仅应当被解释为一般说明性含义，并且不用于限制的目的。在一些实例中，对本领域技术人员显而易见的是，除非另外明确指出，否则可单独使用与特定实施例相结合描述的特征、特性和/或元素，或可与其他实施例相结合描述的特征、特性和/或元件组合使用。因此，本领域技术人员将理解，在不脱离由所附的权利要求阐明的本公开的范围的情况下，可进行各种形式和细节上的改变。

Claims (18)

1.一种基于实时视频内容激发搜索的方法，包括：

获取兴趣视频片段；

根据所述兴趣视频片段，从云端离线识别数据库查询出或采用本地在线识别方式提取出所述兴趣视频片段所包含的视频实体；

根据获取到的所述视频实体进行关联搜索，以得到搜索结果；

将所述搜索结果反馈给用户。

2.根据权利要求1所述的方法，其中，所述根据所述兴趣视频片段，从云端离线识别数据库查询出或采用本地在线识别方式提取出所述兴趣视频片段所包含的视频实体包括：

判断云端离线识别数据库中是否存储有所述兴趣视频片段的相关信息；

当判断出所述云端离线识别数据库中存储有所述兴趣视频片段的相关信息时，则从所述云端离线识别数据库中查询出所述兴趣视频片段所包含的视频实体；

当判断出所述云端离线识别数据库中未存储有所述兴趣视频片段的相关信息时，则采用预先设定的实体提取算法对所述兴趣视频片段进行本地在线识别，以提取出所述兴趣视频片段所包含的视频实体。

3.根据权利要求2所述的方法，其中，所述云端离线识别数据库中存储有预先选取的热门视频各自所包含的视频实体。

4.根据权利要求3所述的方法，其中，

所述云端离线识别数据库中存储有各所述热门视频的视频标识；

在所述获取兴趣视频片段的步骤之后，且在所述根据所述兴趣视频片段，从云端离线识别数据库查询出或采用本地在线识别方式提取出所述兴趣视频片段所包含的视频实体的步骤之前，还包括：

确定所述兴趣视频片段所归属完整视频的视频标识；

所述判断云端离线识别数据库中是否存储有所述兴趣视频片段的相关信息具体包括：

查询所述云端离线识别数据库中是否存储有所述兴趣视频片段所归属完整视频的视频标识；

若在所述云端离线识别数据库中查询出所述兴趣视频片段所归属完整视频的视频标识，则判断出云端离线识别数据库中存储有所述兴趣视频片段的相关信息；

若在所述云端离线识别数据库中未查询出所述兴趣视频片段所归属完整视频的视频标识，则判断出云端离线识别数据库中未存储有所述兴趣视频片段的相关信息。

5.根据权利要求1所述的方法，其中，

所述获取兴趣视频片段的步骤具体包括：

实时判断用户是否执行预定操作；

当判断出用户执行所述预定操作时，则确定视频采集时间段，以确定用户在所述视频采集时间段所观看的视频内容以作为所述兴趣视频片段；其中，所述视频采集段的截止时刻为用户执行所述预定操作时所对应的时刻t2，所述视频采集时间段的起始时刻为t1，t1＝t2-t0，t0为预先设定的时长值。

6.根据权利要求1所述的方法，其中，在所述获取所述视频实体的步骤之后以及根据获取到的所述视频实体进行搜索的步骤之前，还包括：

判断所获取到的视频实体的数量是否大于预定阈值；

当判断出所获取到的视频实体的数量大于预定阈值时，则根据预先获取到的所述用户的用户肖像，筛选出与用户肖像相关联的视频实体，并继续执行后续的所述根据获取到的所述视频实体进行关联搜索的步骤；

当判断出所获取到的视频实体的数量小于或等于预定阈值时，则进一步判断所获取到的视频实体的数量是否为零，当判断出视频实体的数量为零时，则向用户反馈相关文案提示，并结束搜索流程。

7.根据权利要求6所述的方法，其中，所述用户肖像包括：预设的垂类识别优先级和该用户对特定垂类的偏好程度。

8.根据权利要求1-7任一项所述的方法，其中，所述将所述搜索结果反馈给用户的方式包括：半屏网页弹层和半透明浮层。

9.一种基于实时视频内容激发搜索的系统，包括：

第一获取模块，用于获取兴趣视频片段；

第二获取模块，用于根据所述兴趣视频片段，从云端离线识别数据库查询出或采用本地在线识别方式提取出所述兴趣视频片段所包含的视频实体；

搜索模块，用于根据所述第二获取模块提取到的所述视频实体进行关联搜索，以得到搜索结果；

反馈模块，用于将所述搜索结果反馈给用户。

10.根据权利要求8所述的系统，其中，所述第二获取模块包括：

第一判断单元，用于判断云端离线识别数据库中是否存储有所述兴趣视频片段的相关信息；

查询单元，用于在所述第一判断单元判断出所述云端离线识别数据库中存储有所述兴趣视频片段的相关信息时，从所述云端离线识别数据库中查询出所述兴趣视频片段所包含的视频实体；

计算单元，用于在所述第一判断单元判断出所述云端离线识别数据库中未存储有所述兴趣视频片段的相关信息时，采用预先设定的实体提取算法对所述兴趣视频片段进行本地在线识别，以提取出所述兴趣视频片段所包含的视频实体。

11.根据权利要求10所述的系统，其中，所述云端离线识别数据库中存储有预先选取的热门视频各自所包含的视频实体。

12.根据权利要求11所述的系统，其中，

所述云端离线识别数据库中还存储有各所述热门视频的视频标识；

所述系统还包括：

标识确定模块，用于在所述第二获取模块获取到所述兴趣视频片段之后，确定所述兴趣视频片段所归属完整视频的视频标识；

所述第一判断单元具体用于查询所述云端离线识别数据库中是否存储有所述标识确定模块所确定的所述兴趣视频片段所归属完整视频的视频标识，并且在所述云端离线识别数据库中查询出所述兴趣视频片段所归属完整视频的视频标识时，判断出云端离线识别数据库中存储有所述兴趣视频片段的相关信息；在所述云端离线识别数据库中未查询出所述兴趣视频片段所归属完整视频的视频标识时，判断出云端离线识别数据库中未存储有所述兴趣视频片段的相关信息。

13.根据权利要求9所述的系统，其中，

所述获取模块包括：

监测单元，用于实时判断用户是否执行预定操作；

确定单元，用于当所述监测单元判断出用户执行所述预定操作时，确定视频采集时间段，并确定用户在所述视频采集时间段所观看的视频内容以作为所述兴趣视频片段；其中，所述视频采集段的截止时刻为用户执行所述预定操作时所对应的时刻t2，所述视频采集时间段的起始时刻为t1，且t1＝t2-t0，t0为预先设定的时长值。

14.根据权利要求10所述的系统，其中，所述第二获取模块还包括：

第二判断单元，用于在所述查询单元或所述计算单元提取到所述视频实体后，判断所获取到的视频实体的数量是否大于预定阈值；

筛选模块，用于在所述第二判断单元判断出视频实体的数量大于预定阈值时，根据预先获取到该用户的用户肖像，筛选出与所述用户肖像相关联的视频实体；

第三判断单元，用于在所述第二判断单元判断出所述视频实体的数量小于或等于预定阈值时，进一步判断所获取到的视频实体的数量是否为零，并在判断出所述视频实体的数量为零时，指示所述反馈模块向用户反馈相关文案提示。

15.根据权利要求14所述的系统，其中，所述用户肖像包括：预设的垂类优先级和该用户对特定垂类的偏好程度。

16.根据权利要求9-15所述的系统，其中，所述反馈模块向用户反馈所述搜索结果的方式包括：半屏网页弹层和半透明浮层。

17.一种基于实时视频内容激发搜索的终端设备，包括：

一个或多个处理器；

存储装置，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7任一所述的方法。

18.一种计算机可读介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如权利要求1-7任一所述的方法。

Images