CN105354288A - 一种基于视频内容的图像搜索方法和装置 - Google Patents

Abstract

本发明提供了一种基于视频内容的图像搜索方法和装置，获取用户对正在播放的当前播放视频中所选择的待搜索图像；所述当前播放视频持续播放的同时，将所述待搜索图像传送至对应的网络设备进行识别和搜索，以获得与所述待搜索图像对应的搜索结果；将所述网络设备所返回的所述搜索结果提供给所述用户。与现有技术相比，本发明能够实现用户在观看视频遇到感兴趣的内容时，一边持续播放视频一边进行图像搜索，方便用户对视频内容进行快速的搜索，提升用户的使用体验。

Description

一种基于视频内容的图像搜索方法和装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于视频内容的图像搜索方法和装置。

背景技术

现有技术中，用户在视频观看过程中，遇到视频中感兴趣的内容，想要进行搜索时，需要暂停视频，然后切换到搜索功能，或者打开浏览器进行搜索。

现有的技术方案，视频播放与搜索功能两者是分离的，需要手动操作。而且这种搜索方式也多数是基于文本的搜索，当用户对视频图像内容不了解时，无法进行准确搜索。

因此，如何在播放视频的同时实现基于视频内容进行图像搜索，成为本领域技术人员亟需解决的问题之一。

发明内容

本发明的目的是提供一种基于视频内容的图像搜索方法和装置。

根据本发明的一个方面，提供一种基于视频内容的图像搜索方法，其中，该方法包括以下步骤：

a.获取用户对正在播放的当前播放视频中所选择的待搜索图像；

b.所述当前播放视频持续播放的同时，将所述待搜索图像传送至对应的网络设备进行识别和搜索，以获得与所述待搜索图像对应的搜索结果；

c.将所述网络设备所返回的所述搜索结果提供给所述用户。

根据本发明的另一个方面，还提供了一种基于视频内容的图像搜索装置，其中，该装置包括以下装置：

获取装置，用于获取用户对正在播放的当前播放视频中所选择的待搜索图像；

搜索装置，用于所述当前播放视频持续播放的同时，将所述待搜索图像传送至对应的网络设备进行识别和搜索，以获得与所述待搜索图像对应的搜索结果；

提供装置，用于将所述网络设备所返回的所述搜索结果提供给所述用户。

与现有技术相比，本发明具有以下优点：

用户在观看视频时，如果遇到视频中感兴趣的内容需要进行搜索时，能够实现继续播放视频的同时进行基于用户需求的视频内容的搜索，提升了用户的体验。

进一步地，用户对视频中图像信息进行搜索时，可以编辑图像的分辨率、尺寸以及搜索范围，使得用户确定所需要搜索的指定区域，提高搜索的精确度；而且根据图像搜索结果可进行特型匹配，搜索结果可以跳转到电商业务中，提高网络消费的转化率。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1示出根据本发明一个方面的基于视频内容的图像搜索装置的结构示意图；

图2示出根据本发明另一个方面的基于视频内容的图像搜索方法的流程示意图。

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

在上下文中所称“计算机设备”，也称为“电脑”，是指可以通过运行预定程序或指令来执行数值计算和/或逻辑计算等预定处理过程的智能电子设备，其可以包括处理器与存储器，由处理器执行在存储器中预存的存续指令来执行预定处理过程，或是由ASIC、FPGA、DSP等硬件执行预定处理过程，或是由上述二者组合来实现。计算机设备包括但不限于服务器、个人电脑、笔记本电脑、平板电脑、智能手机等。

所述计算机设备包括用户设备与网络设备。其中，所述用户设备包括但不限于电脑、智能手机、PDA等；所述网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(CloudComputing)的由大量计算机或网络服务器构成的云，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。其中，所述计算机设备可单独运行来实现本发明，也可接入网络并通过与网络中的其他计算机设备的交互操作来实现本发明。其中，所述计算机设备所处的网络包括但不限于互联网、广域网、城域网、局域网、VPN网络等。

需要说明的是，所述用户设备、网络设备和网络等仅为举例，其他现有的或今后可能出现的计算机设备或网络如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。

后面所讨论的方法(其中一些通过流程图示出)可以通过硬件、软件、固件、中间件、微代码、硬件描述语言或者其任意组合来实施。当用软件、固件、中间件或微代码来实施时，用以实施必要任务的程序代码或代码段可以被存储在机器或计算机可读介质(比如存储介质)中。(一个或多个)处理器可以实施必要的任务。

这里所公开的具体结构和功能细节仅仅是代表性的，并且是用于描述本发明的示例性实施例的目的。但是本发明可以通过许多替换形式来具体实现，并且不应当被解释成仅仅受限于这里所阐述的实施例。

应当理解的是，虽然在这里可能使用了术语“第一”、“第二”等等来描述各个单元，但是这些单元不应当受这些术语限制。使用这些术语仅仅是为了将一个单元与另一个单元进行区分。举例来说，在不背离示例性实施例的范围的情况下，第一单元可以被称为第二单元，并且类似地第二单元可以被称为第一单元。这里所使用的术语“和/或”包括其中一个或更多所列出的相关联项目的任意和所有组合。

应当理解的是，当一个单元被称为“连接”或“耦合”到另一单元时，其可以直接连接或耦合到所述另一单元，或者可以存在中间单元。与此相对，当一个单元被称为“直接连接”或“直接耦合”到另一单元时，则不存在中间单元。应当按照类似的方式来解释被用于描述单元之间的关系的其他词语(例如“处于...之间”相比于“直接处于...之间”，“与...邻近”相比于“与...直接邻近”等等)。

这里所使用的术语仅仅是为了描述具体实施例而不意图限制示例性实施例。除非上下文明确地另有所指，否则这里所使用的单数形式“一个”、“一项”还意图包括复数。还应当理解的是，这里所使用的术语“包括”和/或“包含”规定所陈述的特征、整数、步骤、操作、单元和/或组件的存在，而不排除存在或添加一个或更多其他特征、整数、步骤、操作、单元、组件和/或其组合。

还应当提到的是，在一些替换实现方式中，所提到的功能/动作可以按照不同于附图中标示的顺序发生。举例来说，取决于所涉及的功能/动作，相继示出的两幅图实际上可以基本上同时执行或者有时可以按照相反的顺序来执行。

下面结合附图对本发明作进一步详细描述。

图1示出根据本发明一个方面的基于视频内容的图像搜索装置的结构示意图。图像搜索装置1包括获取装置101、搜索装置102和提供装置103。

在此，图像搜索装置1例如可以位于用户设备中。用户设备包括但不限于电脑、智能手机、PDA等。

其中，获取装置101获取用户对正在播放的当前播放视频中所选择的待搜索图像。具体地，用户设备正在播放视频时，用户通过与该用户设备之间的交互，例如，截屏选择等方式，对其上正在播放的当前播放视频中选择了一个待搜索图像，获取装置101通过与该用户设备间的交互，获取用户对正在播放的当前播放视频中所选择的待搜索图像。例如，在视频播放界面设置一视频图像搜索按钮，用户点击视频播放界面的视频图像搜索按钮，调用图像获取接口，通过该图像获取接口获取当前播放位置的待搜索的视频图像。较佳地，所述图像搜索功能例如当用户点击图像搜索按钮时触发，获取装置101通过与用户设备之间的交互，如一次或多次调用应用程序接口(API)，获取用户对正在播放的当前播放视频中所选择的待搜索图像。例如，用户想要搜索当前播放视频中某一视频图像时，点击视频图像搜索按钮后，图像搜索功能触发，视频图像搜索按钮通过监听命令监听到用户的点击行为。获取装置101调用播放插件提供的接口，通过该接口获得当前播放位置的待搜索图像。

本领域技术人员应能理解上述获取待搜索图像的方式仅为举例，其他现有的或今后可能出现的获取待搜索图像的方式如可适用于本发明，也应包含在本发明保护范围以内，并在此以引用的方式包含于此。

优选地，获取装置101包括编辑单元(未示出)。所述编辑单元获取所述用户对所述当前播放视频中所选择的候选图像，对所述候选图像进行编辑，获得所述待搜索图像。其中，对所述候选图像进行编辑包括但不限于：1)编辑所述候选图像的分辨率；2)编辑所述候选图像的尺寸。具体地，用户通过与用户设备之间的交互，对其上正在播放的当前播放视频中选择了一个候选图像，编辑单元获取该用户所选择的候选图像，例如对所述候选图像进行编辑以提高所述候选图像的分辨率，并且对所述候选图像的范围和尺寸进行编辑。例如，编辑单元通过对所述候选图像进行去噪、图形锐化等编辑处理，提高图像的分辨率，并且根据搜索需求调整所述候选图像的搜索范围和尺寸。

在此，图像搜索装置1编辑所述候选图像的分辨率、尺寸以及搜索范围，使得用户确定所需要搜索的指定区域，提高搜索的精确度。

具体地，编辑单元通过以下任一方式获取所述用户对所述当前播放视频中所选择的候选图像：

1)通过视频截图获取所述当前播放视频中的所述候选图像。具体地，当用户设备采用全屏播放方式播放当前播放视频时，编辑单元通过视频截图，获取所述当前播放视频中的所述候选图像；当用户设备采用小窗播放方式播放当前播放视频时，编辑单元也可以通过视频截图获取所述当前播放视频中的所述候选图像，无论采用全屏播放还是小窗播放时，通过视频截图获取的是视频播放窗口的图像，作为候选图像。

例如，用户想要搜索当前播放视频中某一视频图像时，点击视频图像搜索按钮后，图像搜索功能触发，视频图像搜索按钮通过监听命令，例如OnClickListener，监听到用户的点击行为。编辑单元在onClick方法中调用播放插件提供的接口，例如getCurrentFrame接口，通过对当前全屏播放的视频或者小窗播放的视频进行视频截图获得当前播放位置的视频图像，以作为候选图像，然后对所述候选图像进行编辑，获得所述待搜索图像。

2)通过屏幕截图获取所述当前播放视频中的所述候选图像。具体地，当用户设备采用全屏播放方式播放当前播放视频时，编辑单元通过屏幕截图获取所述当前播放视频中的所述候选图像，此时获取的所述候选图像是当前视频播放窗口的视频图像；当用户设备采用小窗播放方式播放当前视频时，编辑单元通过屏幕截图获取所述当前播放视频中的所述候选图像，此时获取的所述候选图像是整个屏幕的屏幕截图图像，所述屏幕截图图像中既包含当前小窗播放视频中的视频图像部分，还包括页面的其他信息，例如当前播放视频的信息以及与所述当前播放视频相关的信息。

例如，用户想要搜索当前播放视频中某一视频图像时，点击视频图像搜索按钮后，图像搜索功能触发，视频图像搜索按钮通过监听命令，例如OnClickListener，监听到用户的点击行为。编辑单元在onClick方法中调用播放插件提供的getCurrentFrame接口，通过对当前播放视频进行屏幕截图获得包括当前播放位置视频图像的屏幕截图图像，以作为候选图像，然后对所述候选图像进行编辑，例如调整所述候选图像的搜索范围和尺寸，获得所述待搜索图像。

本领域技术人员应能理解，上述对候选图像进行编辑的内容仅为举例，其他现有的或今后可能出现的对候选图像进行编辑的内容如可适用于本发明，也应包含在本发明保护范围以内，并在此以引用的方式包含于此。

所述当前播放视频持续播放的同时，搜索装置102将所述待搜索图像传送至对应的网络设备进行识别和搜索，以获得与所述待搜索图像对应的搜索结果。具体地，在获取装置101获取用户对正在播放的当前播放视频中所选择的待搜索图像之后，搜索装置102将所述待搜索图像传送至对应的网络设备进行识别，所述识别包括识别该待搜索图像中的文字、人物以及场景，还包括衣服、首饰等物品信息，然后对识别出的信息进行搜索，以获得与所述待搜索图像对应的搜索结果，在图像搜索执行的过程中不影响当前播放视频的持续播放，即图像搜索装置1的执行过程与当前播放视频的持续播放是同时进行的，互不影响。例如，用户想要搜索当前播放视频中某一视频图像时，点击视频图像搜索按钮，图像搜索功能触发，调用视频播放插件，保持当前视频持续正常播放的同时，获取用户对正在播放的当前播放视频中所选择的待搜索图像，将所述待搜索图像传送至对应的网络设备进行识别和搜索，以获得与所述待搜索图像对应的搜索结果。

优选地，所述当前播放视频以浮窗的形式持续播放的同时，搜索装置102将所述待搜索图像传送至所述网络设备进行识别和搜索，以获得所述搜索结果。具体地，用户点击视频图像搜索按钮后，图像搜索装置1调用视频播放插件的浮窗播放功能，将视频以浮窗的形式置顶播放，同时，图像搜索功能也被触发。例如，用户想要搜索当前播放视频中某一视频图像时，点击视频图像搜索按钮，图像搜索功能触发，图像搜索装置1调用一视频播放插件的浮窗播放功能的同时，截图获取当前播放视频的待搜索图像，使得用户设备在进行一系列操作时，不影响继续观看视频，实现一边观看视频播放一边进行图像搜索。

在此，图像搜索装置1通过调用视频播放插件的浮窗播放功能，将视频以浮窗形式置顶播放，能够使用户实现边观看播放视频边进行图像搜索的功能，方便用户对感兴趣的视频内容通过图像检索了解更多信息，解决用户困扰，提升用户体验。

本领域技术人员应能理解上述浮窗播放方式仅为举例，其他现有的或今后可能出现的可以实现边播放边进行图像搜索的播放方式如可适用于本发明，也应包含在本发明保护范围以内，并在此以引用的方式包含于此。

优选地，所述当前播放视频持续播放的同时，搜索装置102通过搜索接口，将所述待搜索图像传送至所述网络设备进行识别和搜索，以获得所述搜索结果。具体地，用户点击视频图像搜索按钮后，图像搜索按钮通过监听命令，监听到用户的点击行为，触发图像搜索功能，获取装置101获取用户对正在播放的当前播放视频中所选择的待搜索图像，当前播放视频持续播放的同时，通过网络协议，例如HttpClient，设置搜索接口，通过例如HttpPost.setEntity将所述待搜索图像设置到请求的参数中，例如post参数，传送至所述网络设备进行识别和搜索，以获得所述搜索结果。

本领域技术人员应能理解上述搜索接口仅为举例，其他现有的或今后可能出现的其他搜索接口如可适用于本发明，也应包含在本发明保护范围以内，并在此以引用的方式包含于此。

优选地，由所述网络设备对所述待搜索图像进行识别，获取所述待搜索图像中的意图信息，所述意图信息包括但不限于：文本信息、视频信息、图像信息。所述图像信息包括但不限于图像中的：人物、场景，以及衣服、首饰等物品信息。该网络设备还可以根据该待搜索图像，结合该意图信息，进行匹配搜索，获得与该待搜索图像对应的搜索结果。

提供装置103将所述网络设备所返回的所述搜索结果提供给所述用户。具体地，所述网络设备将所述待搜索图像进行识别和搜索之后，向所述用户设备提供搜索结果，提供装置103通过调用诸如JSP、ASP或PHP等动态页面技术，将该网络设备所返回的所述搜索结果展现给所述用户。例如，网络设备，例如服务端，将搜索结果页URL(统一资源定位符)提供给用户设备，提供装置103将该搜索结果页展现给该用户，用户通过例如Browser接口打开搜索结果页。

优选地，根据上述搜索结果可以进行特型匹配，搜索结果可以跳转到电商业务中，提高网络消费的转化率。例如，用户对视频中感兴趣的图片是视频中某一人的衣服、鞋子或者首饰等穿戴用品，搜索结果中不仅有这些穿戴用品的基本信息，还会提供一个跳转到购买这些穿戴用品的电商的接口，用户可以通过点击等操作跳转到感兴趣的电商网页，提高电商的成单量。

以下通过一具体实施例对上述图像搜索装置1进行详细说明：

例如，图像搜索装置1位于手机中。

首先，用户在手机上观看视频时，如果需要对某一画面进行图像搜索，点击视频图像搜索按钮后，图像搜索功能触发，调用视频播放插件的浮窗播放功能，将视频以浮窗的形式置顶播放，与此同时，视频图像搜索按钮通过监听命令，例如OnClickListener，监听到用户的点击行为。获取装置101在onClick方法中调用播放插件提供的getCurrentFrame接口，通过该接口获得当前播放位置的候选图像，完成视频截图的过程。获取到候选图像后，弹出一个可编辑页面，用户通过该可编辑页面编辑所述候选图像的分辨率，例如，通过对所述候选图像进行去噪、图形锐化等编辑处理，提高图像的分辨率，并且根据搜索需求调整所述候选图像的搜索范围和尺寸，提高搜索的精确度。

然后，用户编辑好截图搜索区域后，生成待搜索图像，优选地，页面会出现一个搜索按钮，用户点击搜索按钮，发起搜索，编辑好的待搜索图像被传递至搜索装置102，搜索装置102根据网络协议，通过支持网络协议的工具包，例如HttpClient，设置搜索接口，通过例如HttpPost.setEntity将所述待搜索图像设置到请求的参数中，例如post参数，然后实现将所述待搜索图像传送至所述网络设备，例如服务端，进行识别和搜索，以获得所述搜索结果。

最后，由服务端对所述待搜索图像进行识别，获取所述待搜索图像中的意图信息，所述意图信息包括但不限于：文本信息、视频信息、图像信息。图像信息包括但不限于图像中的：人物、场景，以及衣服、首饰等物品信息。根据所述待搜索图像和获取的意图信息对所述待搜索图像进行搜索，并通过提供装置103向用户反馈搜索结果页，用户在观看视频的同时实现图像搜索。如果用户对视频中感兴趣的图像是视频中某一人的衣服、鞋子或者首饰等穿戴用品，搜索结果中不仅有这些穿戴用品的基本信息，还会根据特型匹配提供一个跳转到购买这些穿戴用品的电商的接口，用户可以通过点击等操作跳转到感兴趣的电商网页，提高网络消费的转化率。

在此，图像搜索装置1实现了用户在观看视频时，如果遇到视频中感兴趣的内容，不需要终止视频，通过图像搜索装置1即可实现边播放边进行图像搜索，方便用户对视频内容进行快速的搜索，提升用户的使用体验。

图2示出根据本发明另一个方面的基于视频内容的图像搜索方法的流程示意图。

在此，图像搜索装置1例如可以位于用户设备中。用户设备包括但不限于电脑、智能手机、PDA等。

在步骤S201中，图像搜索装置1获取用户对正在播放的当前播放视频中所选择的待搜索图像。具体地，用户设备正在播放视频时，用户通过与该用户设备之间的交互，例如，截屏选择等方式，对其上正在播放的当前播放视频中选择了一个待搜索图像，在步骤S201中，图像搜索装置1通过与该用户设备间的交互，获取用户对正在播放的当前播放视频中所选择的待搜索图像。例如，在视频播放界面设置一视频图像搜索按钮，用户点击视频播放界面的视频图像搜索按钮，调用图像获取接口，通过该图像获取接口获取当前播放位置的待搜索的视频图像。较佳地，所述图像搜索功能例如当用户点击图像搜索按钮时触发，在步骤S201中，图像搜索装置1通过与用户设备之间的交互，如一次或多次调用应用程序接口(API)，获取用户对正在播放的当前播放视频中所选择的待搜索图像。例如，用户想要搜索当前播放视频中某一视频图像时，点击视频图像搜索按钮后，图像搜索功能触发，视频图像搜索按钮通过监听命令监听到用户的点击行为。在步骤S201中，图像搜索装置1调用播放插件提供的接口，通过该接口获得当前播放位置的待搜索图像。

本领域技术人员应能理解上述获取待搜索图像的方式仅为举例，其他现有的或今后可能出现的获取待搜索图像的方式如可适用于本发明，也应包含在本发明保护范围以内，并在此以引用的方式包含于此。

优选地，步骤S201还包括子步骤S2011(未示出)。在子步骤S2011中，图像搜索装置1获取所述用户对所述当前播放视频中所选择的候选图像，对所述候选图像进行编辑，获得所述待搜索图像。其中，对所述候选图像进行编辑包括但不限于：1)编辑所述候选图像的分辨率；2)编辑所述候选图像的尺寸。具体地，用户通过与用户设备之间的交互，对其上正在播放的当前播放视频中选择了一个候选图像，在子步骤S2011中，图像搜索装置1获取该用户所选择的候选图像，例如对所述候选图像进行编辑以提高所述候选图像的分辨率，并且对所述候选图像的范围和尺寸进行编辑。例如，在子步骤S2011中，图像搜索装置1通过对所述候选图像进行去噪、图形锐化等编辑处理，提高图像的分辨率，并且根据搜索需求调整所述候选图像的搜索范围和尺寸。

在此，图像搜索装置1编辑所述候选图像的分辨率、尺寸以及搜索范围，使得用户确定所需要搜索的指定区域，提高搜索的精确度。

具体地，子步骤S2011通过以下任一方式获取所述用户对所述当前播放视频中所选择的候选图像：

1)通过视频截图获取所述当前播放视频中的所述候选图像。具体地，当用户设备采用全屏播放方式播放当前播放视频时，在子步骤S2011中，图像搜索装置1通过视频截图，获取所述当前播放视频中的所述候选图像；当用户设备采用小窗播放方式播放当前播放视频时，在子步骤S2011中，图像搜索装置1也可以通过视频截图获取所述当前播放视频中的所述候选图像，无论采用全屏播放还是小窗播放时，通过视频截图获取的是视频播放窗口的图像，作为候选图像。

例如，用户想要搜索当前播放视频中某一视频图像时，点击视频图像搜索按钮后，图像搜索功能触发，视频图像搜索按钮通过监听命令，例如OnClickListener，监听到用户的点击行为。在子步骤S2011中，图像搜索装置1在onClick方法中调用播放插件提供的接口，例如getCurrentFrame接口，通过对当前全屏播放的视频或者小窗播放的视频进行视频截图获得当前播放位置的视频图像，以作为候选图像，然后对所述候选图像进行编辑，获得所述待搜索图像。

2)通过屏幕截图获取所述当前播放视频中的所述候选图像。具体地，当用户设备采用全屏播放方式播放当前播放视频时，在子步骤S2011中，图像搜索装置1通过屏幕截图获取所述当前播放视频中的所述候选图像，此时获取的所述候选图像是当前视频播放窗口的视频图像；当用户设备采用小窗播放方式播放当前视频时，在子步骤S2011中，图像搜索装置1通过屏幕截图获取所述当前播放视频中的所述候选图像，此时获取的所述候选图像是整个屏幕的屏幕截图图像，所述屏幕截图图像中既包含当前小窗播放视频中的视频图像部分，还包括页面的其他信息，例如当前播放视频的信息以及与所述当前播放视频相关的信息。

例如，用户想要搜索当前播放视频中某一视频图像时，点击视频图像搜索按钮后，图像搜索功能触发，视频图像搜索按钮通过监听命令，例如OnClickListener，监听到用户的点击行为。在子步骤S2011中，图像搜索装置1在onClick方法中调用播放插件提供的getCurrentFrame接口，通过对当前播放视频进行屏幕截图获得包括当前播放位置视频图像的屏幕截图图像，以作为候选图像，然后对所述候选图像进行编辑，例如调整所述候选图像的搜索范围和尺寸，获得所述待搜索图像。

本领域技术人员应能理解，上述对候选图像进行编辑的内容仅为举例，其他现有的或今后可能出现的对候选图像进行编辑的内容如可适用于本发明，也应包含在本发明保护范围以内，并在此以引用的方式包含于此。

所述当前播放视频持续播放的同时，在步骤S202中，图像搜索装置1将所述待搜索图像传送至对应的网络设备进行识别和搜索，以获得与所述待搜索图像对应的搜索结果。具体地，图像搜索装置1在步骤S201中获取用户对正在播放的当前播放视频中所选择的待搜索图像之后，在子步骤S2011中将所述待搜索图像传送至对应的网络设备进行识别，所述识别包括识别该待搜索图像中的文字、人物以及场景，还包括衣服、首饰等物品信息，然后对识别出的信息进行搜索，以获得与所述待搜索图像对应的搜索结果，在图像搜索执行的过程中不影响当前播放视频的持续播放，即图像搜索装置1的执行过程与当前播放视频的持续播放是同时进行的，互不影响。例如，用户想要搜索当前播放视频中某一视频图像时，点击视频图像搜索按钮，图像搜索功能触发，调用视频播放插件，保持当前视频持续正常播放的同时，获取用户对正在播放的当前播放视频中所选择的待搜索图像，将所述待搜索图像传送至对应的网络设备进行识别和搜索，以获得与所述待搜索图像对应的搜索结果。

优选地，所述当前播放视频以浮窗的形式持续播放的同时，在步骤S202中，图像搜索装置1将所述待搜索图像传送至所述网络设备进行识别和搜索，以获得所述搜索结果。具体地，用户点击视频图像搜索按钮后，图像搜索装置1调用视频播放插件的浮窗播放功能，将视频以浮窗的形式置顶播放，同时，图像搜索功能也被触发。例如，用户想要搜索当前播放视频中某一视频图像时，点击视频图像搜索按钮，图像搜索功能触发，图像搜索装置1调用一视频播放插件的浮窗播放功能的同时，截图获取当前播放视频的待搜索图像，使得用户设备在进行一系列操作时，不影响继续观看视频，实现一边观看视频播放一边进行图像搜索。

在此，图像搜索装置1通过调用视频播放插件的浮窗播放功能，将视频以浮窗形式置顶播放，能够使用户实现边观看播放视频边进行图像搜索的功能，方便用户对感兴趣的视频内容通过图像检索了解更多信息，解决用户困扰，提升用户体验。

本领域技术人员应能理解上述浮窗播放方式仅为举例，其他现有的或今后可能出现的可以实现边播放边进行图像搜索的播放方式如可适用于本发明，也应包含在本发明保护范围以内，并在此以引用的方式包含于此。

优选地，所述当前播放视频持续播放的同时，在步骤S202中，图像搜索装置1通过搜索接口，将所述待搜索图像传送至所述网络设备进行识别和搜索，以获得所述搜索结果。具体地，用户点击视频图像搜索按钮后，图像搜索按钮通过监听命令，监听到用户的点击行为，触发图像搜索功能，在子步骤S2011中，图像搜索装置1获取用户对正在播放的当前播放视频中所选择的待搜索图像，当前播放视频持续播放的同时，通过网络协议，例如HttpClient，设置搜索接口，通过例如HttpPost.setEntity将所述待搜索图像设置到请求的参数中，例如post参数，传送至所述网络设备进行识别和搜索，以获得所述搜索结果。

本领域技术人员应能理解上述搜索接口仅为举例，其他现有的或今后可能出现的其他搜索接口如可适用于本发明，也应包含在本发明保护范围以内，并在此以引用的方式包含于此。

优选地，由所述网络设备对所述待搜索图像进行识别，获取所述待搜索图像中的意图信息，所述意图信息包括但不限于：文本信息、视频信息、图像信息。所述图像信息包括但不限于图像中的：人物、场景，以及衣服、首饰等物品信息。该网络设备还可以根据该待搜索图像，结合该意图信息，进行匹配搜索，获得与该待搜索图像对应的搜索结果。

在步骤S203中，图像搜索装置1将所述网络设备所返回的所述搜索结果提供给所述用户。具体地，所述网络设备将所述待搜索图像进行识别和搜索之后，向所述用户设备提供搜索结果，在步骤S203中，图像搜索装置1通过调用诸如JSP、ASP或PHP等动态页面技术，将该网络设备所返回的所述搜索结果展现给所述用户。例如，网络设备，例如服务端，将搜索结果页URL(统一资源定位符)提供给用户设备，在步骤S203中，图像搜索装置1将该搜索结果页展现给该用户，用户通过例如Browser接口打开搜索结果页。

优选地，根据上述搜索结果可以进行特型匹配，搜索结果可以跳转到电商业务中，提高网络消费的转化率。例如，用户对视频中感兴趣的图片是视频中某一人的衣服、鞋子或者首饰等穿戴用品，搜索结果中不仅有这些穿戴用品的基本信息，还会提供一个跳转到购买这些穿戴用品的电商的接口，用户可以通过点击等操作跳转到感兴趣的电商网页，提高电商的成单量。

以下通过一具体实施例对上述图像搜索装置1进行详细说明：

例如，图像搜索装置1位于手机中。

首先，用户在手机上观看视频时，如果需要对某一画面进行图像搜索，点击视频图像搜索按钮后，图像搜索功能触发，调用视频播放插件的浮窗播放功能，将视频以浮窗的形式置顶播放，与此同时，视频图像搜索按钮通过监听命令，例如OnClickListener，监听到用户的点击行为。在步骤S201中，图像搜索装置1在onClick方法中调用播放插件提供的getCurrentFrame接口，通过该接口获得当前播放位置的候选图像，完成视频截图的过程。获取到候选图像后，弹出一个可编辑页面，用户通过该可编辑页面编辑所述候选图像的分辨率，例如，通过对所述候选图像进行去噪、图形锐化等编辑处理，提高图像的分辨率，并且根据搜索需求调整所述候选图像的搜索范围和尺寸，提高搜索的精确度。

然后，用户编辑好截图搜索区域后，生成待搜索图像，优选地，页面会出现一个搜索按钮，用户点击搜索按钮，发起搜索，在步骤S202中，图像搜索装置1根据网络协议，通过支持网络协议的工具包，例如HttpClient，设置搜索接口，通过例如HttpPost.setEntity将所述待搜索图像设置到请求的参数中，例如post参数，然后实现将所述待搜索图像传送至所述网络设备，例如服务端，进行识别和搜索，以获得所述搜索结果。

最后，由服务端对所述待搜索图像进行识别，获取所述待搜索图像中的意图信息，所述意图信息包括但不限于：文本信息、视频信息、图像信息。图像信息包括但不限于图像中的：人物、场景，以及衣服、首饰等物品信息。图像搜索装置1根据所述待搜索图像和获取的意图信息对所述待搜索图像进行搜索，并通过步骤S203向用户反馈搜索结果页，用户在观看视频的同时实现图像搜索。如果用户对视频中感兴趣的图像是视频中某一人的衣服、鞋子或者首饰等穿戴用品，搜索结果中不仅有这些穿戴用品的基本信息，还会根据特型匹配提供一个跳转到购买这些穿戴用品的电商的接口，用户可以通过点击等操作跳转到感兴趣的电商网页，提高网络消费的转化率。

在此，图像搜索装置1实现了用户在观看视频时，如果遇到视频中感兴趣的内容，不需要终止视频，通过图像搜索装置1即可实现边播放边进行图像搜索，方便用户对视频内容进行快速的搜索，提升用户的使用体验。

需要注意的是，本发明可在软件和/或软件与硬件的组合体中被实施，例如，本发明的各个装置可采用专用集成电路(ASIC)或任何其他类似硬件设备来实现。在一个实施例中，本发明的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本发明的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本发明的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (12)

1.一种基于视频内容的图像搜索方法，其中，所述方法包括以下步骤：

a.获取用户对正在播放的当前播放视频中所选择的待搜索图像；

b.所述当前播放视频持续播放的同时，将所述待搜索图像传送至对应的网络设备进行识别和搜索，以获得与所述待搜索图像对应的搜索结果；

c.将所述网络设备所返回的所述搜索结果提供给所述用户。

2.根据权利要求1所述的方法，其中，所述步骤a包括：

获取所述用户对所述当前播放视频中所选择的候选图像，对所述候选图像进行编辑，获得所述待搜索图像。

3.根据权利要求2所述的方法，其中，对所述候选图像进行编辑包括以下至少任一项：

编辑所述候选图像的分辨率；

编辑所述候选图像的尺寸。

4.根据权利要求2或3所述的方法，其中，获取所述候选图像的方式包括以下任一项：

通过视频截图获取所述当前播放视频中的所述候选图像；

通过屏幕截图获取所述当前播放视频中的所述候选图像。

5.根据权利要求1所述的方法，其中，所述步骤b包括：

所述当前播放视频以浮窗的形式持续播放的同时，将所述待搜索图像传送至所述网络设备进行识别和搜索，以获得所述搜索结果。

6.根据权利要求1所述的方法，其中，所述步骤b包括：

所述当前播放视频持续播放的同时，通过搜索接口，将所述待搜索图像传送至所述网络设备进行识别和搜索，以获得所述搜索结果。

7.一种基于视频内容的图像搜索装置，其中，所述图像搜索装置包括以下装置：

获取装置，用于获取用户对正在播放的当前播放视频中所选择的待搜索图像；

搜索装置，用于所述当前播放视频持续播放的同时，将所述待搜索图像传送至对应的网络设备进行识别和搜索，以获得与所述待搜索图像对应的搜索结果；

提供装置，用于将所述网络设备所返回的所述搜索结果提供给所述用户。

8.根据权利要求7所述的图像搜索装置，其中，所述获取装置包括：

编辑单元，用于获取所述用户对所述当前播放视频中所选择的候选图像，对所述候选图像进行编辑，获得所述待搜索图像。

9.根据权利要求8所述的图像搜索装置，其中，对所述候选图像进行编辑包括以下至少任一项：

编辑所述候选图像的分辨率；

编辑所述候选图像的尺寸。

10.根据权利要求8或9所述的图像搜索装置，其中，获取所述候选图像的方式包括以下任一项：

通过视频截图获取所述当前播放视频中的所述候选图像；

通过屏幕截图获取所述当前播放视频中的所述候选图像。

11.根据权利要求7所述的图像搜索装置，其中，所述搜索装置用于：

所述当前播放视频以浮窗的形式持续播放的同时，将所述待搜索图像传送至所述网络设备进行识别和搜索，以获得所述搜索结果。

12.根据权利要求7所述的图像搜索装置，其中，所述搜索装置用于：

所述当前播放视频持续播放的同时，通过搜索接口，将所述待搜索图像传送至所述网络设备进行识别和搜索，以获得所述搜索结果。