CN110362714A - 视频内容的搜索方法和装置 - Google Patents

Abstract

本发明提供一种视频内容的搜索方法和装置，从客户端当前播放的视频中确定出目标图像帧，截取得目标图像帧中，显示有目标物体的待搜索区域，然后向服务器发送待搜索区域的图像，服务器利用接收的待搜索区域的图像进行内容搜索，得到目标物体的关联信息，并将目标物体的关联信息发送至客户端，客户端显示目标物体的关联信息。本发明的技术方案中，客户端能够在视频播放过程中自动的截取待搜索区域的图像并发送给服务器，从而获取服务器搜索得到的目标物体的关联信息，而不需要用户手动地调用搜索软件并输入搜索内容，有效的改善了观看视频的用户的用户体验。

Description

视频内容的搜索方法和装置

技术领域

本发明涉及视频技术领域，特别涉及一种视频内容的搜索方法和装置。

背景技术

随着互联网技术的普及，越来越多的用户利用电脑和智能手机在互联网上观看视频。在用户观看视频的过程中，用户可能对某一时刻视频中显示的物体产生兴趣，进而产生搜索感兴趣物体的相关信息的需求。

在现有技术中，用户产生搜索的需求后，需要从视频播放软件切换到搜索软件，然后手动输入需要搜索的内容，以触发搜索引擎进行搜索。这一过程较为繁琐，无法在第一时间满足用户获取感兴趣物体的相关信息的需求，用户体验较差。

发明内容

基于上述现有技术的缺点，本发明提供一种视频内容的搜索方法和装置，用于改善用户观看视频时的用户体验。

本发明第一方面提供一种视频内容的搜索方法，应用于客户端，所述方法包括：

从所述客户端当前播放的视频中确定出目标图像帧；

截取得到所述目标图像帧中的待搜索区域；其中，所述待搜索区域显示有目标物体；

向服务器发送所述待搜索区域的图像；其中，所述待搜索区域的图像作为所述服务器进行内容搜索的依据；

接收并显示所述服务器反馈的目标物体的关联信息。

可选的，所述从当前播放的视频中确定出目标图像帧，包括：

响应用户的操作，控制所述当前播放的视频进入静止状态；

将所述当前播放的视频进入静止状态时所显示的图像帧，作为所述目标图像帧。

可选的，所述截取得到所述目标图像帧中的待搜索区域，包括：

判断所述目标图像中的物体的数量；

若判断出所述目标图像帧中只存在一个物体，确定所述物体为目标物体，并且，截取显示有所述目标物体的区域作为待搜索区域；

若判断出所述目标图像帧中存在多个物体，响应用户的操作，从所述多个物体中确定出目标物体，并且，截取显示有所述目标物体的区域作为待搜索区域。

可选的，所述目标物体的关联信息包括，视频和网页链接；

所述显示所述服务器反馈的目标物体的关联信息之后，还包括：

响应用户的操作，播放所述目标物体的关联信息中，所述用户指定的视频；

或者，响应用户的操作，跳转至所述目标物体的关联信息中，所述用户指定的网页链接。

本发明第二方面提供一种视频内容的搜索方法，应用于服务器，所述方法包括：

接收客户端发送的待搜索区域的图像；其中，所述待搜索区域包括目标物体，且为所述客户端响应用户的操作，从目标图像帧中截取得到；所述目标图像帧为所述客户端从当前播放的视频中确定得到；

利用所述待搜索区域的图像进行内容搜索，得到所述目标物体的关联信息；

向所述客户端发送所述目标物体的关联信息。

可选的，所述利用所述待搜索区域的图像进行内容搜索，得到所述目标物体的关联信息，包括：

对所述待搜索区域的图像的图像特征进行编码，得到所述待搜索区域的图像的图像编码；其中，所述待搜索区域的图像的图像特征利用图像特征算法从所述待搜索区域的图像中提取；

根据所述待搜索区域的图像的图像编码，从预设的图像数据库中获取所述待搜索区域的图像的多个关联图像；其中，所述关联图像的图像编码与所述待搜索区域的图像的图像编码的相似度，大于或等于相似度阈值；

其中，所述关联图像作为所述目标物体的关联信息。

可选的，所述利用所述待搜索区域的图像进行内容搜索，得到所述目标物体的关联信息，包括：

根据所述待搜索区域的图像的图像特征确定所述待搜索区域的图像的特征文本；

以所述特征文本作为关键词进行内容搜索，得到包括网页链接和/或视频链接的搜索结果；其中，所述搜索结果作为所述目标物体的关联信息。

可选的，所述以所述特征文本作为关键词进行内容搜索，得到的包括网页链接和/或视频的搜索结果，包括：

以所述特征文本作为关键词，分别在多个数据库中进行内容搜索，得到各个数据库的搜索结果；其中，每个所述数据库均保存有唯一的一个类别的数据；每个所述数据库的搜索结果，均包含网页链接和/或视频；

根据预先设定的格式，对所述各个数据库的搜索结果进行归一化处理，得到归一化搜索结果；其中，所述归一化搜索结果作为所述目标物体的关联信息。

本发明第三方面提供一种视频内容的搜索装置，所述装置是客户端，包括：

确定单元，用于从所述客户端当前播放的视频中确定出目标图像帧；

截取单元，用于截取得到所述目标图像帧中的待搜索区域；其中，所述待搜索区域显示有目标物体；

发送单元，用于向服务器发送所述待搜索区域的图像；其中，所述待搜索区域的图像作为所述服务器进行内容搜索的依据；

接收单元，用于接收所述服务器反馈的目标物体的关联信息；

显示单元，用于显示所述服务器反馈的目标物体的关联信息。

本发明第四方面提供一种视频内容的搜索装置，所述装置是服务器，包括：

接收单元，用于接收客户端发送的待搜索区域的图像；其中，所述待搜索区域包括目标物体，且为所述客户端响应用户的操作，从目标图像帧中截取得到；所述目标图像帧为所述客户端从当前播放的视频中确定得到；

搜索单元，用于利用所述待搜索区域的图像进行内容搜索，得到所述目标物体的关联信息；

发送单元，用于向所述客户端发送所述目标物体的关联信息。

本发明提供一种视频内容的搜索方法，从客户端当前播放的视频中确定出目标图像帧，截取得到目标图像帧中，显示有目标物体的待搜索区域，然后向服务器发送待搜索区域的图像，由服务器利用接收的待搜索区域的图像进行内容搜索，得到目标物体的关联信息，并将目标物体的关联信息发送至客户端，客户端显示目标物体的关联信息。本发明的技术方案中，客户端能够在视频播放过程中自动的截取待搜索区域的图像并发送给服务器，从而获取服务器搜索得到的目标物体的关联信息，而不需要用户手动地调用搜索软件并输入搜索内容，有效的改善了观看视频的用户的用户体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种视频内容的搜索方法的流程图；

图2a为本发明实施例提供的一种客户端显示截图提示信息的界面示意图；

图2b为本发明实施例提供的一种客户端显示截图确认信息的界面示意图；

图2c为本发明实施例提供的一种客户端显示绘制提示信息的界面示意图；

图3为本发明另一实施例提供的一种客户端显示截图提示信息的界面示意图；

图4为本发明实施例提供的一种对待搜索图像进行图像搜索的方法的流程图；

图5为本发明另一实施例提供的一种对待搜索图像进行文本搜索的方法的流程图；

图6为本发明又一实施例提供的一种视频内容的搜索方法的流程图；

图7为本发明实施例提供的一种客户端的结构示意图；

图8为本发明实施例提供的一种服务器的结构示意图；

图9为本发明实施例提供的一种搜索单元的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请实施例提供一种视频内容的搜索方法，请参考图1，本实施例提供的方法包括以下步骤：

S101、客户端从当前播放的视频中确定出目标图像帧。

其中，本申请任一实施例涉及的客户端，可以设置于任意一种具有视频播放功能的以及连接网络的功能的电子设备，如智能手机，平板电脑，个人电脑(PC)等。

视频内容的搜索，是指根据用户的需求搜索视频中的特定物体。因此，可以理解的，目标图像帧，是指当前播放的视频中，用户指定的的任意一个图像帧，相对的，步骤S101是在用户执行了特定的操作后，响应用户的操作而执行的。

第一方面，视频播放过程中，若视频中的任意一个物体引起了用户的兴趣，用户可以执行暂停操作，客户端响应用户的暂停操作，控制当前播放的视频进入静止状态(也就是，暂停当前播放的视频)，然后将当前播放的视频进入静止状态时显示的图像帧作为目标图像帧。

若客户端设置在配置有触摸屏的智能手机或平板电脑中，那么用户的暂停操作可以是，长按屏幕上的视频播放区域，或者，连续点击屏幕的视频播放区域N次，N一般设置为3，当然也可以设置为其他大于或等于2的数字，此处不做限定。

长按一般是指，手指按在屏幕上并且持续时间大于或等于时间阈值，一般这个时间阈值设定为3秒，当然也可以根据实际情况设置为其他值。

若客户端设置在以键盘和鼠标作为输入设备的个人电脑中，那么用户的暂停操作可以是用户控制鼠标单击视频播放区域的某个虚拟按钮，客户端监听到这个按钮被点击后，就认为用户执行了暂停操作，进而响应用户的操作，暂停当前播放的视频。

第二方面，考虑到用户的暂停操作可能存在滞后，也就是用户执行暂停操作时视频已经播放至不包含目标物体的图像帧，客户端也可以响应用户的暂停并拖动进度条的操作，在用户将当前播放的视频的进度移动至目标时间点后，将视频在目标时间点处的图像帧作为当前图像帧。

具体的，用户执行暂停操作后，客户端拉起用于指示视频播放进度的进度条，用户可以向后拖动进度条上的按钮，使视频回退至之前播放过的某个时间点，也可以向前拖动进度条上的按钮，使视频快进到尚未被播放的某个时间点，用户拖动完成后，客户端将用户拖动到的这个时间点(即目标时间点)的图像帧作为目标图像帧。

S102、客户端从目标图像帧中截取待搜索区域。

其中，待搜索区域是目标图像帧中显示有目标物体的区域。目标物体，就是当前播放的视频中，用户需要搜索其关联信息的物体，也可以称为，用户的感兴趣物体。

可选的，客户端可以通过下述方式从目标图像帧中截取待搜索区域：

客户端确定出目标图像帧后，利用预先配置的图像目标检测算法，检测目标图像帧中的物体的数量。

若检测到目标图像帧中只有一个物体，目标图像帧中，除了这个物体所在的区域外的其他区域均为图像背景，那么客户端直接将这个物体作为目标物体，截取到的目标物体所在的区域就是待搜索区域。

若检测到目标图像帧中有若干个物体，那么客户端显示截图提示信息，以提示用户执行对应的图像截取操作。在用户执行图像截取操作后，客户端响应用户的图像截取操作，从目标图像帧中截取用户的图像截取操作指定的区域，将截取得到的用户的图像截取操作指定的区域作为待搜索区域，并将待搜索区域内显示的物体作为目标物体。

图像目标检测算法是一类现有的算法，可以用于检测目标图像帧中是否存在某些特定种类的物体，并且确定出这些物体在目标图像帧中的区域。利用合适的样本训练图像目标检测算法，就可以利用图像目标检测算法从目标图像帧中检测视频中常见的若干种类的物体。

S103、客户端向服务器发送待搜索图像。

待搜索图像，即步骤S102中截取得到的目标图像帧的待搜索区域内的图像。

本申请任一实施例中涉及的服务器，是具有图像搜索功能，能够利用客户端发送的图像进行内容搜索的服务器(也可以认为是，配置有图像搜索引擎的服务器)。

S104、服务器利用待搜索图像进行内容搜索，得到目标物体的关联信息。

可选的，服务器收到待搜索图像后，可以先对待搜索图像进行协议转化和鉴权，然后再进行内容搜索。

可选的，服务器对待搜索图像进行内容搜索，一方面可以进行图像搜索，也就是从服务器的图像数据库中搜索与待搜索图像相匹配的图像，然后将搜索得到的待搜索图像的匹配图像作为目标物体的关联信息；另一方面也可以进行文本搜索，也就是在确定待搜索图像的特征文本后，搜索与特征文本相关联的网页链接和视频链接，然后将搜索得到的网页链接和视频链接作为目标物体的关联信息。对于任意一个待搜索图像，服务器可以只进行图像搜索或文本搜索，也可以同时进行图像搜索和文本搜索。同时进行图像搜索和文本搜索时，服务器将搜索得到的匹配图像，网页链接和视频链接均作为目标物体的关联信息发送至客户端。

确定待搜索图像的特征文本，包括利用图像识别算法识别待搜索图像中显示的目标物体的种类，目标物体的种类就作为待搜索图像的特征文本。

例如，识别出目标物体是一只猫，那么待搜索图像的特征文本就是“猫”。识别出目标物体是一辆轿车，那么待搜索图像的特征文本就是“轿车”。

利用准确度更高的图像识别算法，可以进一步的缩小特征文本涵盖的范围，使搜索得到的信息更加精准。例如，可以在前述例子的基础上，进一步识别出猫的品种，如波斯猫，则待搜索图像的特征文本就是“波斯猫”，以及，识别出轿车的品牌，如XX牌，则待搜索图像的特征文本就是“XX轿车”。另外还可以在识别出目标物体是人脸后，通过人脸识别算法识别出对应的人的名字，将名字作为特征文本。

服务器搜索得到的图像，网页链接和视频链接，可以分别称为目标物体的关联图像，关联网页和关联视频，目标物体的关联信息，就是指目标物体的关联图像，关联网页和关联视频的集合。可以理解的，若服务器只搜索到网页链接和视频链接，而未搜索到匹配的图像，那么目标物体的关联信息就是搜索得到的网页链接和视频链接的集合。未搜索到包含特征文本的网页链接或视频链接的情况类似。

可选的，搜索得到的与待搜索图像匹配的图像中，某些图像可能是视频的截图。因此，服务器可以在搜索得到与待搜索图像匹配的图像后，进一步的在视频数据库中搜索包含与待搜索图像匹配的图像的视频，搜索得到的视频的视频链接，也可以作为目标物体的关联信息。

S105、服务器向客户端发送目标物体的关联信息。

一般的，步骤S104中，服务器会搜索得到多个图像，多个网页链接以及多个视频链接。因此，服务器在搜索得到目标物体的关联信息后，还可以分析其中的每一个图像与目标物体的关联程度，每一个网页链接与目标物体的关联程度，以及每一个视频链接与目标物体的关联程度，然后将分析得到的图像与目标物体的关联程度，网页链接与目标物体的关联程度，以及视频链接与目标物体的关联程度与目标物体的关联信息一起发送至客户端，使客户端能够根据关联程度按顺序显示各个图像，网页链接和视频链接。

S106、客户端显示目标物体的关联信息。

客户端从目标图像帧中截取出待搜索区域，并将待搜索区域的图像发送至服务器后，用户可能在等待服务器反馈目标物体的关联信息时执行播放操作，使当前播放的视频退出静止状态，继续播放。

因此，显示目标物体的关联信息前，客户端可以先判断当前播放的视频是否处于静止状态，若当前播放的视频处于静止状态，则客户端直接显示目标物体的关联信息，若当前播放的视频未处于静止状态，则客户端控制当前播放的视频进入静止状态，然后从视频播放界面切换至信息浏览界面，信息浏览界面中，显示有目标物体的关联信息。

可选的，客户端可以配置三个信息浏览界面，分别是，用于显示目标物体的关联图像的图像界面，用于显示目标物体的关联网页的网页界面，以及用于显示目标物体的关联视频的视频界面。用户可以选择其中的任意一个界面浏览。

可选的，客户端也可以用一个信息浏览界面显示目标物体的所有关联信息。

可选的，客户端显示目标物体的关联信息后，可以响应用户浏览完目标物体的关联信息后发起的返回操作，从而返回视频播放界面，控制静止状态的视频从当前的播放进度继续播放。

可选的，客户端可以控制运行客户端的电子设备的显示屏上同时显示视频播放界面和信息浏览界面。

例如，假设进行搜索前，客户端全屏播放当前的视频，那么客户端在需要显示信息浏览界面时，一方面可以退出全屏播放，调整视频播放界面的大小，以及调整信息浏览界面的大小，使得视频播放界面和信息浏览界面同时完整的显示在运行客户端的电子设备的显示屏上。

另一方面，客户端可以保持视频全屏播放，并用信息浏览界面覆盖视频播放界面的部分区域，使得显示屏上同时显示视频播放界面的部分区域，以及信息浏览界面。

若客户端同时显示视频播放界面和信息浏览界面，则客户端可以在显示目标物体的关联信息的同时，继续播放视频。

本申请实施例提供一种视频内容的搜索方法，从客户端当前播放的视频中确定出目标图像帧，截取得目标图像帧中，显示有目标物体的待搜索区域，然后向服务器发送待搜索区域的图像，服务器利用接收的待搜索区域的图像进行内容搜索，得到目标物体的关联信息，并将目标物体的关联信息发送至客户端，客户端显示目标物体的关联信息。本发明的技术方案中，客户端能够在视频播放过程中自动的截取待搜索区域的图像并发送给服务器，从而获取服务器搜索得到的目标物体的关联信息，而不需要用户手动地调用搜索软件并输入搜索内容，有效的改善了观看视频的用户的用户体验。

前述实施例的步骤S102中指出，客户端在判断出目标图像帧中存在多个物体时，客户端需要显示截图提示信息，以提示用户执行图像截取操作。其中，客户端可以采用多种不同的方式显示截图提示信息，对于不同方式的截图提示信息，用户需要执行的图像截取操作也不同。下面结合附图介绍两种截图提示信息的方式，以及用户具体需要执行的图像截取操作。

第一种方式，参考图2a和图2b。客户端确定出目标图像帧后，在视频播放区域显示图2a所示的截图提示信息。截图提示信息用于提示用户拖动屏幕上的屏幕画笔以绘制曲线。用户的图像截取操作，就是指拖动屏幕画笔绘制曲线。

用户完成曲线绘制后，客户端根据用户绘制的曲线确定出待搜索区域。具体的，若用户绘制的曲线完全封闭，那么用户绘制的封闭曲线就是待搜索区域的边界，封闭曲线的内部就是待搜索区域；若用户绘制的曲线未完全封闭，客户端判断曲线的两端之间的距离是否大于阈值，若曲线两端的距离小于或等于阈值，客户端自动用直线连接用户绘制的曲线的两端，得到一条封闭曲线，封闭曲线的内部就是待搜索区域。

可选的，客户端确定出待搜索区域后，可以在视频播放区域显示如图2b所示的截图确认信息，用户点击图示的确认按钮后，客户端就将待搜索区域的图像发送至服务器，使服务器进行内容搜索。若用户在图2b所示的界面中点击“取消”按钮，则客户端返回图2a所示的界面，以提示用户再次绘制曲线。

可选的，若用户绘制的曲线两端的距离大于阈值，使得客户端无法确定出待搜索区域，则客户端显示如图2c所示的绘制提示信息，以提示用户继续绘制曲线。

第二种方式，客户端可以在利用图像目标检测算法检测出目标图像帧中的物体后，直接在目标图像帧中显示如图3所示的多个区域，每个区域均包括一个目标图像帧的一个物体，然后在视频播放区域显示图3的截图提示信息，以提示用户点击目标图像帧中的任意一个区域，然后将用户点击的区域确定为待搜索区域，并且将待搜索区域内的显示的物体确定为目标物体。这种方式中，用户的图像截取操作，就是用户点击目标图像帧的任意一个区域。

可选的，第二种方式中，客户端也可以在用户点击任意一个区域后显示如图2b所示的截图确认信息。

基于上述任意一种显示截图提示信息的方式以及对应的截取待搜索区域的方法，客户端能够从目标图像帧的多个物体中，准确的确定出用户感兴趣的物体(即目标物体)，而不会出现截取到未显示目标物体的区域的情况。

服务器对待搜索图像进行图像搜索的具体方法，参考图4，包括以下步骤：

S401、提取待搜索图像的图像特征。

目前有多种成熟的图像特征算法可以用于提取待搜索图像的图像特征，例如，尺度不变特征变换算法(Scale-invariant feature transform，SIFT)，图像指纹算法，捆绑特征算法(bundling features)，散列函数算法(hash function)等。

步骤S401中，可以预先设置特定的一种现有的图像特征算法用于提取待搜索图像的图像特征，也可以预先配置多种图像特征算法，服务器在接收到待搜索图像后，根据待搜索图像的类别选择其中的一种图像特征算法用于提取图像特征。

可选的，若待搜索图像的分辨率大于预设的分辨率阈值，服务器可以先对待搜索图像进行降采样处理，得到分辨率小于或等于分辨率阈值的降采样后的待搜索图像，然后提取降采样后的待搜索图像的图像特征。

S402、对待搜索图像的图像特征进行编码处理，得到待搜索图像的图像编码。

S403、计算待搜索图像与图像数据库中的各个图像的相似度。

具体的，图像数据库中存储的每一个图像均预先经过编码处理，因此图像数据库中的每一个图像均有一个图像编码。步骤S403中，对于图像数据库中的每一个图像，利用这个图像的图像编码和待搜索图像的图像编码，就可以计算得到这个图像和待搜索图像的相似度。

假设图像数据库中存储有N个图像，那么步骤S403中就可以计算得到待搜索图像的N个相似度，N为正整数。

可选的，可以预先将图像数据库中的各个图像根据对应的图像编码分成多个类别，每个类别包括若干个图像。在此基础上，步骤S403中也可以不计算图像数据库中每一个图像与待搜索图像的相似度，而是在得到待搜索图像的图像编码后，根据待搜索图像的图像编码确定待搜索图像的类别，然后只计算图像数据库中这个类别的各个图像与待搜索图像的相似度。

S404、根据计算得到的多个相似度，确定待搜索图像的匹配图像。

具体的，可以预先配置一个相似度阈值，然后判断步骤S403中计算得到的每一个相似度是否大于相似度阈值，若某个相似度大于相似度阈值，表明这个相似度对应的图像数据库中的图像与待搜索图像相似，将这个图像确定为待搜索图像的匹配图像，若图像数据库中的某个图像与待搜索图像的相似度小于或等于相似度阈值，则这个图像不是待搜索图像的匹配图像。

待搜索图像的匹配图像，可以作为目标物体的关联信息由服务器反馈给客户端。

可选的，本实施例提供的图像搜索的方法还包括：

S405、从多个待搜索图像的匹配图像中确定最佳匹配图像。

确定出多个待搜索图像的匹配图像后，可以进一步的提待搜索图像的各个匹配图像的精确图像特征，然后根据各个匹配图像的精确图像特征确定待搜索图像的最佳匹配图像。

其中，匹配图像的精确图像特征也是利用图像特征算法提取得到，但是步骤S405中使用的图像特征算法比步骤S401中使用的图像特征算法的精确度更高。因此，相对于除最佳匹配图像以外的匹配图像，步骤S405中确定的最佳匹配图像与待搜索图像具有更高的相似度。

可选的，确定出最佳匹配图像后，服务器可以只将待搜索图像的最佳匹配图像作为目标物体的关联信息反馈给客户端，也可以将待搜索图像的所有匹配图像均作为目标物体的关联信息反馈给客户端，但是为其中的最佳匹配图像设置较高的关联程度，使客户端显示图像时，优先显示待搜索图像的最佳匹配图像。

服务器对待搜索图像进行文本搜索的具体过程，参考图5，包括以下步骤：

S501、提取待搜索图像的图像特征。

提取图像特征的方法与前述图像搜索过程中的对应步骤一致。

S502、根据待搜索图像的图像特征判断目标物体的类别。

预先训练好的神经网络模型可以基于待搜索图像的图像特征判断出待搜索图像中是否存在特定类别的物体，而待搜索图像中只包括目标物体，因此，如果神经网络模型判断出待搜索图像中存在某一类别的物体，那么这个类别就是目标物体的类别。

因此，只要预先训练一个或多个能够识别多种常见物体的神经网络模型，就能够在待搜索图像的图像特征的基础上，利用这些神经网络模型判断出目标物体的类别。

S503、确定目标物体的类别对应的文本作为待搜索图像的特征文本。

目标物体的类别和文本之间的对应关系预先配置。具体的，如果判断出目标物体是一只猫，对应的文本就是“猫”，如果判断出目标物体是一架飞机，对应的文本就是“飞机”。

S504、以特征文本作为关键词进行文本搜索。

文本搜索得到多个与特征文本相关联的网页链接和视频链接后，服务器就可以将这些网页链接和视频链接作为目标物体的关联信息反馈给客户端。

在数据库中基于特定的关键词搜索与该关键词相关的网页链接和视频链接的方法，可以参考相关的现有技术，此处不再赘述。

可选的，服务器可以将用于进行文本搜索的数据库分成多个子数据库，每个子数据库保存一种类别的数据。例如，可以分成“人物”，“资讯”，“商品”三个子数据库，每个子数据库只用于保存对应类型的数据，然后服务器利用特征文本分别在上述三个子数据库中进行文本搜索，得到三个子数据库对应的三个子搜索结果。

具体的，“人物”子数据库对应的子搜索结果包括，携带特征文本相关联的人物信息的网页的网页链接，以及携带特征文本相关联的人物信息的视频的视频链接。“资讯”子数据库对应的子搜索结果包括，携带特征文本相关联的资讯信息的网页的网页链接，以及携带特征文本相关联的资讯信息的视频的视频链接。“商品”子数据库对应的子搜索结果包括，携带特征文本相关联的商品信息的网页的网页链接，以及携带特征文本相关联的商品信息的视频的视频链接。

最后，服务器根据预先设定的信息格式，对上述三个子搜索结果进行归一化处理，得到归一化搜索结果，然后将归一化搜索结果作为目标物体的关联信息反馈给客户端。

一般的，用户对目标物体进行搜索后，一般需要消费搜索到的目标物体的关联信息，因此，本申请另一实施例提供一种视频内容的搜索方法，用于在向用户提供目标物体的关联信息的基础上，满足用户消费目标物体的关联信息的需求。

请参考图6，本实施例提供的搜索方法包括下述步骤：

S601、客户端从当前视频中确定目标图像帧。

当前视频是指，客户端当前播放的视频，也就是用户当前观看的视频。

S602、客户端从目标图像帧中截取待搜索区域。

待搜索区域内只显示有目标物体。

S603、客户端向服务器发送待搜索图像。

待搜索图像就是步骤S602中确定的待搜索区域内的图像。

S604、服务器利用待搜索图像进行内容搜索，得到目标物体的关联信息。

S605、服务器向客户端发送目标物体的关联信息。

目标物体的关联信息包括图像，网页链接和视频链接中的任意一种或者或者组合。

可选的，服务器可以将搜索得到的，与待搜索图像匹配的图像直接作为目标物体的关联信息发送给客户端，也可以将与待搜索图像匹配的图像的缩略图作为目标物体的关联信息发送给客户端。

S606、客户端显示目标物体的关联信息。

S607、客户端响应用户操作，向服务器发送内容获取请求。

其中，客户端响应的用户操作，是用户对客户端显示的任意一条网页链接或视频链接的点击操作。对应的，客户端发送的内容获取请求中，携带有被用户点击的网页链接，或者，被用户点击的视频链接。

可选的，客户端收到服务器发送的缩略图时，上述内容获取请求也可以携带用户点击的缩略图对应的图像编号。

S608、服务器向客户端发送内容获取请求对应的内容。

具体的，若内容获取请求携带的是一个网页链接，那么服务器发送的内容获取请求对应的内容，就是这个网页链接指向的网页，若内容获取请求携带的是一个视频链接，那么服务器发送的内容获取请求对应的内容，就是这个视频链接指向的视频。

可选的，内容获取请求携带的是图像编号时，内容获取请求对应的内容，也可以是这个图像编号对应的完整图像，即服务器搜索到的，与待搜索图像相匹配的图像。

S609、客户端显示内容获取请求对应的内容。

具体的，若服务器发送的是网页，则客户端显示服务器发送的网页，若服务器发送的是视频，则客户端播放服务器发送的视频。

S610、客户端响应用户的操作，继续播放当前视频。

可选的，客户端也可以返回步骤S606，继续显示目标物体的关联信息。具体是播放当前视频还是显示目标物体的关联信息，由用户的实际操作决定。

本申请实施例在对视频内容进行内容搜索，并显示目标物体的关联信息的基础上，响应用户对目标物体的关联信息的点击操作，显示目标物体的关联信息中的网页链接所指向的网页，或者播放视频链接指向的视频。也就是说，本实施提供的方法还支持用户实时消费搜索得到的目标物体的关联信息，进一步改善用户体验。

结合本申请任一实施例提供的视频内容的搜索方法，本申请另一实施例提供了一种客户端，用于执行本申请任一实施例提供的视频内容的搜索方法中的对应步骤，参考图7，本实施例提供的客户端包括下述单元：

确定单元701，用于从客户端当前播放的视频中确定出目标图像帧。

截取单元702，用于截取得到所述目标图像帧中的待搜索区域；其中，所述待搜索区域显示有目标物体。

发送单元703，用于向服务器发送所述待搜索区域的图像；其中，所述待搜索区域的图像作为所述服务器进行内容搜索的依据。

接收单元704，用于接收所述服务器反馈的目标物体的关联信息。

显示单元705，用于显示所述服务器反馈的目标物体的关联信息。

可选的，确定单元701具体用于：

响应用户的操作，控制所述当前播放的视频进入静止状态；

将所述当前播放的视频进入静止状态时所显示的图像帧，作为所述目标图像帧。

可选的，截取单元702具体用于：

判断所述目标图像中的物体的数量；

若判断出所述目标图像帧中只存在一个物体，确定所述物体为目标物体，并且，截取显示有所述目标物体的区域作为待搜索区域；

若判断出所述目标图像帧中存在多个物体，响应用户的操作，从所述多个物体中确定出目标物体，并且，截取显示有所述目标物体的区域作为待搜索区域。

可选的，目标物体的关联信息包括，视频和网页链接。

显示单元705还用于：

响应用户的操作，播放所述目标物体的关联信息中，所述用户指定的视频；

或者，响应用户的操作，跳转至所述目标物体的关联信息中，所述用户指定的网页链接。

本申请实施例提供的客户端，其具体工作原理可以参考本申请任一实施例提供的视频内容的搜索方法的相关步骤。

本申请又一实施例提供了一种服务器，用于执行本申请任一实施例提供的视频内容的搜索方法的对应步骤，参考图8，本实施例提供的服务器包括下述单元：

接收单元801，用于接收客户端发送的待搜索区域的图像；其中，所述待搜索区域包括目标物体，且为所述客户端响应用户的操作，从目标图像帧中截取得到；所述目标图像帧为所述客户端从当前播放的视频中确定得到。

搜索单元802，用于利用所述待搜索区域的图像进行内容搜索，得到所述目标物体的关联信息。

发送单元803，用于向所述客户端发送所述目标物体的关联信息。

可选的，参考图9，搜索单元802可以包括下述结构：

接入单元901，用于对待搜索区域的图像进行协议转换和鉴权。

特征提取单元902，用于提取待搜索区域的图像的图像特征。

编码单元903，用于对待搜索区域的图像的图像特征进行编码，得到待搜索区域的图像的图像编码。

相似度计算单元904，用于根据待搜索区域的图像的图像编码，以及图像数据库中的图像的图像编码，计算待搜索区域的图像与图像数据库中各个图像的相似度，并且根据计算得到的各个相似度，获取图像数据库中的关联图像。

关联图像是指，图像数据中，对应的图像编码与待搜索区域的图像的图像编码的相似度，大于或等于相似度阈值的图像。

相似度计算单元904和图像数据库的连接关系可以参考图9。

文本搜索单元905，用于根据待搜索区域的图像的图像特征确定待搜索区域的图像的特征文本，并且以特征文本作为关键词进行内容搜索，得到包括网页链接和/或视频链接的搜索结果。

可选的，文本搜索单元905具体用于，以特征文本作为关键词，分别在多个子数据库中进行内容搜索，得到各个子数据库的子搜索结果；其中，每个所述子数据库均保存有唯一的一个类别的数据；每个子搜索结果，均包含网页链接和/或视频。

子数据库的个数，以及每个子数据库保存的数据的类别可以根据实际情况确定，例如，可以如设置如图9所示人物数据库，资讯数据库，视频数据库以及商品数据库，一共4个子数据库，分别用于保存“人物”，“资讯”，“视频”，“商品”四种类别的数据，子数据库与文本搜索单元905的连接关系如图9所示。

分别从多个子数据库中搜索数据时，搜索单元802还包括，信息聚合单元906，用于根据预先设定的格式，对各个子搜索结果进行合并，合并后得到的合并搜索结果作为文本搜索单元的搜索结果。

相似度计算单元904获取的关联图像，以及文本搜索单元905的搜索结果，均由接入单元901作为目标物体的关联信息提供给服务器的发送单元803。

本申请实施例提供的服务器，其具体工作原理可以参考本申请任一实施例提供的视频内容的搜索方法的相关步骤。

本申请实施例提供的用于进行视频内容的搜索的客户端和服务器，客户端的确定单元701从当前播放的视频中确定出目标图像帧，截取单元702截取得目标图像帧中，显示有目标物体的待搜索区域，然后发送单元703向服务器发送待搜索区域的图像，服务器的接收单元801接收的待搜索区域的图像后，搜索单元802根据待搜索区域的图像进行内容搜索，得到目标物体的关联信息，并通过发送单元803将目标物体的关联信息发送至客户端，客户端利用显示单元705显示目标物体的关联信息。本发明的技术方案中，客户端能够在视频播放过程中自动的截取待搜索区域的图像并发送给服务器，从而获取服务器搜索得到的目标物体的关联信息，而不需要用户手动地调用搜索软件并输入搜索内容，有效的改善了观看视频的用户的用户体验。

专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种视频内容的搜索方法，其特征在于，应用于客户端，所述方法包括：

从所述客户端当前播放的视频中确定出目标图像帧；

截取得到所述目标图像帧中的待搜索区域；其中，所述待搜索区域显示有目标物体；

向服务器发送所述待搜索区域的图像；其中，所述待搜索区域的图像作为所述服务器进行内容搜索的依据；

接收并显示所述服务器反馈的目标物体的关联信息。

2.根据权利要求1所述的搜索方法，其特征在于，所述从当前播放的视频中确定出目标图像帧，包括：

响应用户的操作，控制所述当前播放的视频进入静止状态；

将所述当前播放的视频进入静止状态时所显示的图像帧，作为所述目标图像帧。

3.根据权利要求1所述的搜索方法，其特征在于，所述截取得到所述目标图像帧中的待搜索区域，包括：

判断所述目标图像中的物体的数量；

若判断出所述目标图像帧中只存在一个物体，确定所述物体为目标物体，并且，截取显示有所述目标物体的区域作为待搜索区域；

若判断出所述目标图像帧中存在多个物体，响应用户的操作，从所述多个物体中确定出目标物体，并且，截取显示有所述目标物体的区域作为待搜索区域。

4.根据权利要求1至3中任意一项所述的搜索方法，其特征在于，所述目标物体的关联信息包括，视频和网页链接；

所述显示所述服务器反馈的目标物体的关联信息之后，还包括：

响应用户的操作，播放所述目标物体的关联信息中，所述用户指定的视频；

或者，响应用户的操作，跳转至所述目标物体的关联信息中，所述用户指定的网页链接。

5.一种视频内容的搜索方法，其特征在于，应用于服务器，所述方法包括：

接收客户端发送的待搜索区域的图像；其中，所述待搜索区域包括目标物体，且为所述客户端响应用户的操作，从目标图像帧中截取得到；所述目标图像帧为所述客户端从当前播放的视频中确定得到；

利用所述待搜索区域的图像进行内容搜索，得到所述目标物体的关联信息；

向所述客户端发送所述目标物体的关联信息。

6.根据权利要求5所述的搜索方法，其特征在于，所述利用所述待搜索区域的图像进行内容搜索，得到所述目标物体的关联信息，包括：

对所述待搜索区域的图像的图像特征进行编码，得到所述待搜索区域的图像的图像编码；其中，所述待搜索区域的图像的图像特征利用图像特征算法从所述待搜索区域的图像中提取；

根据所述待搜索区域的图像的图像编码，从预设的图像数据库中获取所述待搜索区域的图像的多个关联图像；其中，所述关联图像的图像编码与所述待搜索区域的图像的图像编码的相似度，大于或等于相似度阈值；

其中，所述关联图像作为所述目标物体的关联信息。

7.根据权利要求5所述的搜索方法，其特征在于，所述利用所述待搜索区域的图像进行内容搜索，得到所述目标物体的关联信息，包括：

根据所述待搜索区域的图像的图像特征确定所述待搜索区域的图像的特征文本；

以所述特征文本作为关键词进行内容搜索，得到包括网页链接和/或视频链接的搜索结果；其中，所述搜索结果作为所述目标物体的关联信息。

8.根据权利要求7所述的搜索方法，其特征在于，所述以所述特征文本作为关键词进行内容搜索，得到的包括网页链接和/或视频的搜索结果，包括：

以所述特征文本作为关键词，分别在多个数据库中进行内容搜索，得到各个数据库的搜索结果；其中，每个所述数据库均保存有唯一的一个类别的数据；每个所述数据库的搜索结果，均包含网页链接和/或视频；

根据预先设定的格式，对所述各个数据库的搜索结果进行归一化处理，得到归一化搜索结果；其中，所述归一化搜索结果作为所述目标物体的关联信息。

9.一种视频内容的搜索装置，其特征在于，所述装置是客户端，包括：

确定单元，用于从所述客户端当前播放的视频中确定出目标图像帧；

截取单元，用于截取得到所述目标图像帧中的待搜索区域；其中，所述待搜索区域显示有目标物体；

发送单元，用于向服务器发送所述待搜索区域的图像；其中，所述待搜索区域的图像作为所述服务器进行内容搜索的依据；

接收单元，用于接收所述服务器反馈的目标物体的关联信息；

显示单元，用于显示所述服务器反馈的目标物体的关联信息。

10.一种视频内容的搜索装置，其特征在于，所述装置是服务器，包括：

接收单元，用于接收客户端发送的待搜索区域的图像；其中，所述待搜索区域包括目标物体，且为所述客户端响应用户的操作，从目标图像帧中截取得到；所述目标图像帧为所述客户端从当前播放的视频中确定得到；

搜索单元，用于利用所述待搜索区域的图像进行内容搜索，得到所述目标物体的关联信息；

发送单元，用于向所述客户端发送所述目标物体的关联信息。