CN107515868A - 搜索方法及装置 - Google Patents

Abstract

本申请公开了一种搜索方法及装置。搜索方法包括：在视频或图片播放过程中，获取待处理图像；确定待处理图像中需要搜索的目标对象；确定与目标对象相关的待搜索类目；根据目标对象在待搜索类目下进行图像搜索，以获得搜索结果。本申请可以边播放视频或图片，边针对视频或图片中的目标对象在限定的搜索类目范围内进行图像搜索，有利于提高搜索效率。

Description

搜索方法及装置

技术领域

本申请涉及搜索技术领域，尤其涉及一种搜索方法及装置。

背景技术

在现有技术中，用户在观看视频或图片过程中，可能会遇到感兴趣的对象，例如上衣、墨镜等，为了了解与该对象相关的信息，需要针对该对象进行搜索。

在现有技术中，用户需要从视频或图片播放界面切换到具有搜索功能的应用(application，app)，或者打开浏览器，然后输入能够描述待搜索对象的搜索词进行搜索。这种搜索方式是基于文本的搜索，而视频或图片中对象一般无法通过搜索词进行精确描述，所以搜索结果的准确度不高。

发明内容

本申请的多个方面提供一种搜索方法及装置，用以提高搜索效率。

本申请实施例提供一种搜索方法，包括：

在视频或图片播放过程中，获取待处理图像；

确定所述待处理图像中需要搜索的目标对象；

确定与所述目标对象相关的待搜索类目；

根据所述目标对象在所述待搜索类目下进行图像搜索，以获得搜索结果。

在一可选实施方式中，所述确定所述待处理图像中需要搜索的目标对象，包括：

对所述待处理图像中符合预设条件的对象进行突出显示；

响应于用户的对象选择操作，确定所述突出显示的对象中被所述用户选中的对象，作为所述目标对象。

在一可选实施方式中，所述对所述待处理图像中符合预设条件的对象进行突出显示，包括以下至少一种：

采用预设的标记符号，将所述待处理图像中符合预设条件的对象标记出来；

将所述待处理图像中符合预设条件的对象放大显示；

将所述待处理图像中符合预设条件的对象高亮显示；

将所述待处理图像中符合预设条件的对象显示于对象列表中。

在一可选实施方式中，所述确定所述待处理图像中需要搜索的目标对象，包括：

在所述待处理图像上显示圈选框；

响应于用户对所述圈选框的操作，确定位于所述圈选框内的对象，作为所述目标对象。

在一可选实施方式中，所述在所述待处理图像上显示圈选框，包括：

随机选定所述待处理图像上的一区域，将所述圈选框显示于所述随机选定的区域上；或者

确定所述待处理图像中的一显著对象，将所述圈选框显示在所述显著对象所在区域上。

在一可选实施方式中，所述圈选框的形状为所述显著对象的轮廓。

在一可选实施方式中，所述在视频或图片播放过程中，获取待处理图像，包括：

在视频或图片播放过程中，自动获取当前正在播放的视频画面或图片作为所述待处理图像；或者

在视频或图片播放过程中，根据用户的搜索指示，获取当前正在播放的视频画面或图片作为所述待处理图像。

本申请实施例还提供一种搜索装置，包括：

图像获取模块，用于在视频或图片播放过程中，获取待处理图像；

对象确定模块，用于确定所述待处理图像中需要进行搜索的目标对象；

类目确定模块，用于确定与所述目标对象相关的待搜索类目；

图像搜索模块，用于根据所述目标对象在所述待搜索类目下进行图像搜索，以获得搜索结果。

在一可选实施方式中，所述对象确定模块具体用于：

对所述待处理图像中符合预设条件的对象进行突出显示；

响应于用户的对象选择操作，确定所述突出显示的对象中被所述用户选中的对象，作为所述目标对象。

在一可选实施方式中，所述对象确定模块进一步具体用于执行以下至少一种操作：

采用预设的标记符号，将所述待处理图像中符合预设条件的对象标记出来；

将所述待处理图像中符合预设条件的对象放大显示；

将所述待处理图像中符合预设条件的对象高亮显示；

将所述待处理图像中符合预设条件的对象显示于对象列表中。

在一可选实施方式中，所述对象确定模块具体用于：

在所述待处理图像上显示圈选框；

响应于用户对所述圈选框的操作，确定位于所述圈选框内的对象，作为所述目标对象。

在一可选实施方式中，所述对象确定模块进一步具体用于：

随机选定所述待处理图像上的一区域，将所述圈选框显示于所述随机选定的区域上；或者

确定所述待处理图像中的一显著对象，将所述圈选框显示在所述显著对象所在区域上。

在一可选实施方式中，所述圈选框的形状为所述显著对象的轮廓。

在一可选实施方式中，所述图像获取模块具体用于：

在视频或图片播放过程中，自动获取当前正在播放的视频画面或图片作为所述待处理图像；或者

在视频或图片播放过程中，根据用户的搜索指示，获取当前正在播放的视频画面或图片作为所述待处理图像。

在本申请中，可以边播放视频或图片，边针对视频或图片中的目标对象进行图像搜索，由于直接基于视频或图像中的目标对象进行图像搜索，不需要对视频或图片中对象进行文本描述，克服了对视频或图片中的对象描述不准确的问题，有利于提高搜索结果的准确度；另外，本申请将搜索范围限定在与目标对象相关的类目下，有利于进一步提高搜索结果的准确度，而且搜索范围相对较小，还有利于提高搜索效率。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请一实施例提供的搜索方法的流程示意图；

图2为本申请另一实施例提供的提供图像搜索按钮的视频播放界面的示意图；

图3和图4为本申请又一实施例提供的在确定目标对象过程中缓冲视频画面的视频播放界面的示意图；

图5和图6为申请又一实施例提供的展示类目列表的视频播放界面的示意图；

图7为本申请又一实施例提供的分区播放视频和展示搜索结果的视频播放界面的示意图；

图8为本申请又一实施例提供的搜索装置的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在现有技术中，如果用户在观看视频或图片过程中需要针对感兴趣的内容进行搜索，需要从视频或图片播放界面切换到具有搜索功能的app，或者打开浏览器，然后输入能够描述待搜索对象的搜索词进行搜索。这种搜索方式是基于文本的搜索，而视频或图片中对象一般无法通过搜索词进行精确描述，所以搜索结果的准确度不高。针对该问题，本申请提供一种解决方案，主要原理是：在视频或图片播放过程中，获取待处理图像；确定待处理图像中需要搜索的目标对象，并将搜索范围限定在与目标对象相关的类目下，从而在所限定的类目下完成图像搜索。由于本申请直接基于视频或图像中的目标对象进行图像搜索，不需要对视频或图片中对象进行文本描述，克服了对视频或图片中的对象描述不准确的问题，有利于提高搜索结果的准确度；另外，本申请将搜索范围限定在与目标对象相关的类目下，有利于进一步提高搜索结果的准确度，而且搜索范围相对较小，还有利于提高搜索效率。

以下结合附图，详细说明本申请各实施例提供的技术方案。

图1为本申请一实施例提供的搜索方法的流程示意图。如图1所示，该方法包括：

101、在视频或图片播放过程中，获取待处理图像。

102、确定待处理图像中需要搜索的目标对象。

103、确定与目标对象相关的待搜索类目。

104、根据目标对象在待搜索类目下进行图像搜索，以获得搜索结果。

在实际应用中，终端设备播放视频或图片。在视频或图片中，用户能够看到一些内容，例如人物、动物、植物、以及各种物体。所述物体包括但不限于：服饰、头饰、3c电子产品以及日用品等。3c电子产品是指计算机(Computer)、通信(Communication)和消费类电子产品(Consumer Electronics)三类电子产品的简称。在本实施例中，将视频或图片中的内容称为对象。举例说明，视频或图片中的对象包括但不限于：人体某个部位、上衣、连衣裙、鞋子、墨镜、耳环、头饰、自行车、汽车、玩具、广告牌、一朵花、一棵树、一种饮料、手机、个人电脑、平板电脑、洗发水、沐浴露、香皂、洗衣粉、刀具、冰箱、洗衣机、智能机器人等。

在视频或图片播放过程中，用户可能会看到自己感兴趣的对象，需要了解与该对象有关的信息，所以需要在视频或图片播放过程中基于视频或图片中的对象进行搜索。例如，用户在观看电视剧时，可能会对某个演员身上的衣服或头饰感兴趣，需要搜索同款的衣服或头饰。例如，用户在看照片时，可能对照片中的手机或包包感兴趣，需要搜索同款手机或包包。

为了满足用户在视频或图片播放过程中基于视频或图片中的对象进行搜索的需求，本实施例提供一种搜索方法，该搜索方法可以在各种支持视频或图片播放的终端设备中实现，例如智能手机、个人电脑、平板电脑、智能电视、智能眼镜、录像机、智能相机、视频游戏设备等，具体流程如下：

终端设备播放视频或图片，并在视频或图片播放过程中，获取待处理图像。这里的待处理图像实际上是视频播放过程中的视频画面，或者是图片播放过程中的图片。

可选的，上述步骤101的一种实施方式为：终端设备在视频或图片播放过程中，自动获取当前正在播放的视频画面或图片，作为待处理图像。如果有多个需要播放视频画面或图片，那么终端设备会在播放到每个视频画面或图片时，自动获取当前播放到的视频画面或图片作为待处理图像，这样可以针对视频中的每个视频画面或图片中的每个图片进行图像搜索。这种实施方式尤其适用于基于视频画面或图像主动进行信息推送的应用场景中。

可选的，上述步骤101的另一种实施方式为：终端设备在视频或图片播放过程中，根据用户的搜索指示，获取当前正在播放的视频画面或图片，作为待处理图像。例如，终端设备可以在视频或图片播放界面上设置一图像搜索按钮，用户在视频或图片播放过程中，点击视频或图片播放界面上的图像搜索按钮，从而向终端设备发出搜索指示。终端设备接收用户的搜索指示，并获取用户发出搜索指示时播放界面上显示的视频画面或图片，作为待搜索图像。

例如，用户在观看视频过程中，对视频图面中的某个对象感兴趣。如图2所示，为一视频播放界面，该视频播放界面的左侧是视频播放区域，右侧是与正在播放的视频相关的信息展示区域。为便于用户针对感兴趣的对象发出搜索指示，在图2所示的信息展示区域中，提供有一名称为“截视频搜同款”的按钮，该按钮即为图像搜索按钮。当用户希望针对某个视频画面中的某个对象进行图像搜索时，可以点击名称为“截视频搜同款”的按钮发出搜索指示。在该实施方式中，用户可以根据自己的需求选择基于某个视频画面或图片进行图像搜索，灵活性较强。

又例如，用户通过终端设备翻看之前拍摄的照片时，发现对某张照片中的对象感兴趣。终端设备在照片播放界面上提供一图像搜索按钮，用户在翻看照片的过程中，点击照片播放界面上的图像搜索按钮，从而向终端设备发出搜索指示。终端设备接收用户的搜索指示，并获取用户发出搜索指示时翻看到的照片，作为待搜索图像。

在从视频或图片播放过程中，获取视频画面或图片作为待处理图像之后，考虑到待处理图像中一般包括多个对象，所以终端设备需要确定待处理图像中需要搜索的目标对象。

可选的，上述步骤102，即确定待处理图像中需要搜索的目标对象的一种实施方式包括：

终端设备对待处理图像中符合预设条件的对象进行突出显示；响应于用户的对象选择操作，确定突出显示的对象中被用户选中的对象，作为目标对象。

在该实施方式中，终端设备在获取待处理图像后，一方面暂停播放视频或图片，保持待处理图像显示于当前界面上。在终端设备自动获取当前正在播放的视频画面或图片作为待处理图像的方案中，终端设备可以在获取待处理图像的同时自动暂停播放视频或图片，以保持待处理图像显示于当前界面上。在终端设备根据用户的搜索指示获取当前正在播放的视频画面或图片作为待处理图像的方案中，终端设备可以在接收到用户的搜索指示时获取当前视频画面或图片作为待处理图像，同时暂停播放视频或图片，以保持待处理图像显示于当前界面上。

结合图2所示视频画面，图2所示视频画面即为待处理图像，暂停视频播放后的视频画面如图3所示，在图3中，视频画面中临时显示“正在为你截图识别”字样。

另一方面，终端设备对待处理图像进行图像识别，并根据预设条件，确定待处理图像中符合预设条件的对象，对待处理图像中符合预设条件的对象进行突出显示。

在上述过程中，根据应用场景的不同，预设条件会有所不同。例如，在搜同款上衣的应用场景中，可以用上衣所在位置(例如位于人物上半身)、上衣的特性(例如有袖子)、上衣的材质等任何能够唯一标识上衣的信息作为预设条件，则在搜同款上衣的应用场景中，终端设备所确定的待处理图像中符合预设条件的对象即为上衣。例如，在基于人脸的搜索场景中，可以用人脸所在位置(例如整个人体的顶部)、人脸特性(例如包括眼睛、鼻子、嘴巴等)、人脸的纹理特征等任何能够唯一标识人脸的信息作为预设条件，则在基于人脸的搜索场景中，终端设备所确定的待处理图像中符合预设条件的对象即为人脸。

在上述过程中，突出显示是指将待处理图像中符合预设条件的对象与待处理图像中的其它对象明显区分开，便于用户从中选择需要搜索的目标对象。例如，终端设备在对待处理图像中符合预设条件的对象进行突出显示时，可以采用但不限于以下至少一种方式：

采用预设的标记符号，将待处理图像中符合预设条件的对象标记出来；

将待处理图像中符合预设条件的对象放大显示；

将待处理图像中符合预设条件的对象高亮显示；

将待处理图像中符合预设条件的对象显示于对象列表中。

在上述采用预设的标记符号，将待处理图像中符合预设条件的对象标记出来的实施方式中，根据预设的标记符号的不同，标记出来的效果也会有所不同。例如，若预设的标记符号是包围性的符号，例如方框、椭圆、圆圈或者是与符合预设条件的对象的轮廓相同的边框，则待处理图像中符合预设条件的对象会被方框、椭圆、圆圈或者是与符合预设条件的对象的轮廓相同的边框等包围性的符号圈住。又例如，若预设的标记符号是指向性的符号，例如指针、小手或小红旗等，则待处理图像中符合预设条件的对象的旁边会显示有指针、小手或小红旗等指向性的符号。

在上述将待处理图像中符合预设条件的对象放大显示的实施方式中，不限定放大程度，凡是能够将待处理图像中符合预设条件的对象与其他对象区分开的放大程度均适用于本实施例。

在上述将待处理图像中符合预设条件的对象高亮显示的实施方式中，不限定高亮显示的程度，凡是能够将待处理图像中符合预设条件的对象与其他对象区分开的高亮显示程度均适用于本实施例。

在上述将待处理图像中符合预设条件的对象显示于对象列表中的实施方式中，终端设备提供一对象列表，该对象列表专用于显示待处理图像中符合设条件的对象，基于此，用户可以确定对象列表中的对象即为待处理图像中符合设条件的对象。本实施例并不限定对象列表的实现方式，例如可以位于视频或图片播放界面上的信息展示区域内实现，或者可以是一个浮窗。

对用户来说，由于终端设备将待处理图像中符合预设条件的对象进行了突出显示，所以可以根据突出显示的效果，确定待处理图像中符合预设条件的对象。然后，用户执行对象选择操作，以从突出显示的对象中选择目标对象。本实施例并不限定对象选择操作的方式，例如，用户可以是点击某个突出显示的对象，或者可以点击某个突出显示的对象对应的选择按钮。对终端设备来说，响应于用户的对象选择操作，确定突出显示的对象中被用户选中的对象，作为目标对象。

可选的，上述步骤102，即确定待处理图像中需要搜索的目标对象的另一种实施方式，包括：

在待处理图像上显示圈选框，响应于用户对圈选框的操作，确定位于圈选框内的对象，作为目标对象。

在该实施方式中，终端设备在获取待处理图像后，一方面暂停播放视频或图片，保持待处理图像显示于当前界面上。在终端设备自动获取当前正在播放的视频画面或图片作为待处理图像的方案中，终端设备可以在获取待处理图像的同时自动暂停播放视频或图片，以保持待处理图像显示于当前界面上。在终端设备根据用户的搜索指示获取当前正在播放的视频画面或图片作为待处理图像的方案中，终端设备可以在接收到用户的搜索指示时获取当前视频画面或图片作为待处理图像，同时暂停播放视频或图片，以保持待处理图像显示于当前界面上。结合图2所示视频画面，一种暂停视频播放后的视频画面如图3所示。

另一方面，终端设备通过在待处理图像上向用户提供一圈选框，并设置该圈选框可被操作，允许用户通过操作该圈选框来选择目标对象。

其中，用户对圈选框的操作包括但不限于：拖动、放大、缩小。即，终端设备设置圈选框可被拖动，并设置该圈选框大小可变。这样用户可以通过拖动圈选框的位置，改变圈选框的大小等，来圈住目标对象。例如，如果用户希望选择多个目标对象，则可以拖动并拉大圈选框来圈住多个目标对象。

更进一步，终端设备在待处理图像上显示圈选框时，可以随机选定待处理图像上的一区域，将圈选框显示于随机选定的区域上。这种方式实现相对简单，终端设备的资源消耗较少。或者

终端设备可以对待处理对象进行对象识别，确定待处理图像中的一显著对象，将圈选框显示在该显著对象所在区域上。在该方式中，圈选框可以初始选定待处理图像中的一显著对象，如果圈选框初始选定的对象即为用户希望进行搜索的目标对象，则用户可以不用拖动圈选框，节约用户操作，有利于提高确定目标对象的效率。

本实施方式不限定圈选框的形状，例如可以是矩形、圆形、心形、三角形等各种形状。进一步，在将圈选框显示在显著对象所在区域上的方案中，所述圈选框的形状还可以是该显著对象的轮廓。其中，终端设备可以采用现有图像识别技术识别显著对象的外形轮廓，然后按照该轮廓生成圈选框，并将圈选框显示在显著对象所在区域上。

结合图2和图3，终端设备显示圈选框后的视频画面如图4所示。值得说明的是，在图4所示视频画面中，终端设备直接选定视频画面中人物身上的连衣裙作为显著对象，将圈选框显示在该连衣裙所在区域上，但并不限于此。

可选的，无论采用上述哪种实施方式确定目标对象，在确定目标对象之后，终端设备可以恢复视频或图片的播放，即继续播放视频或图片。例如，对于一些屏幕较大的终端设备，例如个人电脑或平板电脑等，可以在确定目标对象之后，继续播放视频或图片。这样可以减少对视频或图片播放过程的影响。

为减小搜索范围，提高搜索结果的准确度和搜索效率，在确定需要搜索的目标对象之后，需要确定与目标对象相关的待搜索类目，以便在待搜索类目下进行图像搜索。

可选的，上述步骤103，即确定与目标对象相关的待搜索类目的一种实施方式，包括：

响应于用户根据目标对象进行类目选择的操作，确定类目列表中被用户选中的类目，作为待搜索类目。

在一种具体实施方式中，终端设备可以预先设定应用场景，并预先存储与该应用场景相适应的类目列表。在确定目标对象之后，终端设备直接获取预先存储的与设定应用场景相适应的类目列表，该类目列表中包括与预先设定的应用场景相适应的多个类目，以供用户从中选择与目标对象相关的类目作为待搜索类目。

在另一种具体实施方式中，终端设备可以预先存储不同应用场景与类目列表之间的对应关系，该对应关系可以存储在终端设备本地，也可以存储在云端。在确定目标对象之后，终端设备根据目标对象，确定目标应用场景；根据预先存储的不同应用场景与类目列表之间的对应关系，确定目标应用场景对应的类目列表。该类目列表中包括与目标应用场景相适应的多个类目，以供用户从中选择与目标对象相关的类目作为待搜索类目。

在终端设备以上述任一方式获取类目列表之后，向用户展示类目列表。本实施例不限定类目列表的展示方式，例如可以位于视频或图片播放界面的部分区域内实现，或者也可以作为一浮窗实现。

在向用户展示类目列表之后，用户可以根据目标对象从类目列表中选择待搜索类目，以便在待搜索类目下进行图像搜索。由于本实施例将搜索范围限定在与目标对象相关的待搜索类目下，减小了搜索范围，因此，有利于减少搜索结果的数量，提高搜索效率，而且只在与目标对象相关的待搜索类目下进行搜索，有利于提高搜索结果的准确性。

例如，用户可以点击类目列表中的一个或多个类目；相应的，终端设备响应于用户的点击操作，确定用户点击的一个或多个类目作为待搜索类目。结合上述图2-图4所示，终端设备在视频播放界面右侧的信息展示区域内展示类目列表，如图5和图6所示，该类目列表包括多级类目。由于在该举例中目标对象为人物身上的连衣裙，故用户可以选择图5所示类目列表中的“女装”，进而选择图6所示类目列表中的“连衣裙”，作为待搜索类目。

其中，用户点击的类目可以包括目标对象所属的类目，或者也可以包括与目标对象所属的类目相近的类目，或者也可以同时包括目标对象所属的类目以及与目标对象所属的类目相近的类目。其中，与目标对象所属的类目相近的类目，可以是与目标对象所属的类目的相关度大于指定相关度门限的类目。

可选的，上述步骤103，即确定与目标对象相关的待搜索类目的另一实施方式，包括：

根据目标对象与各类目的相关度，确定待搜索类目。

具体的，在确定目标对象之后，终端设备计算目标对象与各类目的相关度，然后，根据目标对象与各类目的相关度，从中选择与目标对象的相关度满足指定要求的类目，作为待搜索类目。

在上述根据目标对象与各类目的相关度过程中，终端设备可以生成目标对象的描述信息，例如目标对象的形状、颜色、大小、所属类目等，根据目标对象的描述信息与各类目的描述信息，计算目标对象与各类目的相关度。进一步，对于每个类目，终端设备可以计算目标对象的描述信息与该类目的描述信息的相关度，根据两个描述信息的相关度确定目标对象与该类目的相关度。其中，终端设备可以采用但不限于：余弦相关度、皮尔森相关度等，计算两个描述信息的相关度。

值得说明的是，计算目标对象与各类目的相关度并不限于上述一种实现方式，还可以采用其他实现方式。例如，终端设备可以获取各类目下能够代表该类目的关键对象，直接将目标对象与各类目下的关键对象进行相似比较，根据比较结果确定目标对象与对应类目之间的相关度。

根据应用需求的不同，上述指定要求可以灵活设置。下面举例说明：

在上述过程中，指定要求可以是：选择相关度最大的类目。基于此，终端设备可以从各类目中，选择与目标对象的相关度最大的类目作为待搜索类目。

在上述过程中，指定要求可以是：选择相关度大于指定相关度门限的类目。基于此，终端设备可以从各类目中，选择与目标对象的相关度大于指定相关度门限的类目作为待搜索类目。

可选的，终端设备可以自动根据目标对象与各类目的相关度，从中选择相关度满足指定要求的类目，作为待搜索类目，无需用户参与，节约用户操作。

可选的，终端设备可以将各类目中与目标对象的相关度满足指定要求的类目作为候选类目，然后展示候选类目以及候选类目与目标对象的相关度，以供用户从中确定待搜索类目；然后，响应于用户针对候选类目发出的操作，从候选类目中确定待搜索类目。值得说明的是，这里候选类目可以是一个或多个。

进一步，为了便于用户从候选类目中确定待搜索类目，可以按照候选类目与目标对象的相关度的大小，对候选类目进行排序；按照排序后的类目顺序，展示候选类目以及候选类目与目标对象的相关度。例如，按照相关度由大到小的顺序，依次展示候选类目以及候选类目与目标对象的相关度；或者，按照相关度由小到大的顺序，依次展示候选类目以及候选类目与目标对象的相关度。

在一具体实现方式中，终端设备可响应于用户针对候选类目发出的确认操作，确定候选类目作为待搜索类目。例如，终端设备除了展示候选类目以及候选类目与目标对象的相关度之外，还提示用户是否将候选类目作为待搜索类目，并向用户展示选择按钮，例如“是”和“否”，“确定”和“取消”等。用户可以点击“是”或“确定”按钮，终端设备响应于用户点击“是”或“确定”按钮的确认操作，将候选类目作为待搜索类目。或者，用户也可以点击“否”或“取消”按钮，终端设备响应于用户点击“否”或“取消”按钮的操作，不会将候选类目作为待搜索类目。可选的，若用户点击“否”或“取消”按钮，终端设备可以重新获取候选类目并展示给用户，直到用户选择点击“是”或“确定”按钮。

在另一具体实施方式中，终端设备将候选类目以及候选类目与目标对象的相关度展示给用户，允许用户从候选类目中选择待搜索类目。即，终端设备可响应于用户针对候选类目发出的选择操作，确定候选类目中被用户选中的类目作为待搜索类目。例如，用户可以点击可以作为待搜索类目的候选类目，或者点击可以作为待搜索类目的候选类目对应的选择按钮，终端设备响应于用户的点击操作，确定用户点击的候选类目作为待搜索类目。例如，用户可以优先选择与目标对象的相关度更高的候选类目作为待搜索类目。

在又一具体实施方式中，终端设备将候选类目以及候选类目与目标对象的相关度展示给用户，允许用户从候选类目中选择待搜索类目，另外还允许用户补充输入待搜索类目。即，终端设备可响应于用户针对候选类目的补充操作，确定候选类目以及用户补充输入的类目作为待搜索类目。例如，如果用户认为终端设备给出的候选类目都不适合作为待搜索类目，则可以触发终端设备提供类目输入框，用户可以通过类目输入框输入可以作为待搜索类目的类目信息。或者，如果用户认为终端设备给出的候选类目还不够全面，则可以触发终端设备提供类目输入框，用户可以通过类目输入框补充输入其它可以作为待搜索类目的类目信息。

在上述几种具体实施方式中，终端设备与用户交互，让用户进一步确认是否将候选类目作为待搜索类目，或者从候选类目中选择可以作为待搜索类目，有利于将错误的或不太适合作为待搜索类目的候选类目剔除，有利于提高所确定的待搜索类目的准确性，为进一步提高搜索结果的准确度提供了条件；而允许用户补充输入可以作为待搜索类目的类目信息，有利于保证待搜索类目的全面性，使得搜索结果覆盖范围更广，提高用户从搜索结果中获取所需内容的几率。

可选的，在上述各种确定待搜索类目的实施方式中，可以在确定待搜索类目的过程中暂停播放视频或图片，并在确定待搜索类目后，恢复视频或图片的播放。该可选实施方式尤其适用于屏幕较小的终端设备，例如手机等。这是因为在上述各种确定待搜索类目的实施方式中，需要与用户交互，对于屏幕较小的终端设备，如果在用户确定待搜索类目过程中不暂停播放视频或图片，会影响视频或图片的播放效果，例如视频或图片播放界面会被遮挡，导致用户会漏看部分视频画面或图片，所以可以暂停播放视频或图片，从而降低对视频或图片的播放效果的影响。

可选的，在上述各种确定待搜索类目的实施方式中，可以在确定待搜索类目的过程中持续播放视频或图片。例如，若在确定目标对象之后，恢复了视频或图片播放，则可以在持续播放视频或图片的过程中，确定待搜索类目。该可选实施方式尤其适用于屏幕较大的终端设备，例如个人电脑或平板电脑等。这是因为终端设备的屏幕较大，即使在确定待搜索类目的过程中需要与用户交互，可以在屏幕的部分区域播放视频或图片，在其他屏幕区域与用户进行交互，基本上不影响视频或图片的播放效果，所以不暂停播放视频或图片。

基于上述各实施方式，在确定目标对象以及与目标对象相关的待搜索类目之后，可以根据目标对象在待搜索类目下进行图像搜索。

具体的，终端设备预先对指定应用场景或目标对象所确定的目标应用场景下的各对象进行特征提取，提取各对象的特征信息，并根据提取的特征信息建立对象特征库。基于此，在根据目标对象在待搜索类目下进行图像搜索的过程中，终端设备可以对目标对象进行特征提取，获取目标对象的特征信息，然后根据目标对象的特征信息和待搜索类目，在对象特征库中进行搜索，以获得搜索结果。

可选的，终端设备可以将待搜索类目对应的类目标识添加到目标对象的特征信息中，以获得待搜索特征信息，根据待搜索特征信息在对象特征库中进行搜索，以获得搜索结果。或者

终端设备可以根据待搜索类目对应的类目标识，在对象特征库中进行初始搜索，以获得待搜索类目下的对象的特征信息形成子对象特征库，然后，根据目标对象的特征信息在子对象特征库中进行二次搜索，以获得搜索结果。

进一步，在获得搜索结果后，终端设备可以将搜索结果提供给用户。例如，终端设备可以以搜索结果列表的形式将搜索结果提供给用户，但不限于搜索结果列表这一种形式。

进一步，为了降低对视频或图片播放过程的影响，终端设备可以在播放视频或图片的同时，向用户展示搜索结果，进一步体现在播放视频或图片过程中边进行图像搜索，提高用户体验。例如，终端设备可以在向用户展示搜索结果的同时，采用浮窗的形式置顶播放视频或图片。又例如，终端设备也可以在播放视频或图片的同时，采用浮窗的形式置顶展示搜索结果。又例如，终端设备也可以对视频或图片分区，在一区域内播放视频或图片，与此时，在另一区域向用户展示搜索结果。如图7所示，视频播放界面的左侧是视频播放区域，右侧是搜索结果展示区域。

进一步，若采用搜索结果列表的形式展示搜索结果，则搜索结果列表除了包括搜索结果之外，还可以包括用于对搜索结果进行各种操作的操作按钮。例如，在搜索结果列表中可以包括用于对搜索结果排序的排序按钮、用于对搜索结果进行筛选的筛选按钮、用于选择搜索结果的选择按钮、用于针对搜索结果执行加购物车操作的购物车按钮、用于收藏搜索结果的收藏按钮、用于访问搜索结果详情的访问按钮、用于针对搜索结果执行购买操作的购买按钮、用于删除搜索结果的删除按钮等。

例如，本实施例提供的方法可应用于边看边买应用场景中，即用户在观看视频的过程中，如果看到感兴趣的商品，例如上衣、裤子、首饰、包包等，希望购买同款，则可以在视频或图片播放过程中，发出购买同款的搜索指示；终端设备可以根据用户的搜索指示，获取当前正在播放的视频画面作为待处理图像，进而在视频或图片持续播放的同时，确定待处理图像中需要搜索的目标商品，并确定与目标商品相关的商品类目，根据目标商品在所确定的商品类目下进行图像搜索，以获得目标商品的同款商品，并提供给用户，以供用户选择需要购买的同款商品。

综上所述，本申请实施例可以直接基于视频或图像中的目标对象进行图像搜索，不需要对视频或图片中对象进行文本描述，克服了对视频或图片中的对象描述不准确的问题，有利于提高搜索结果的准确度。

另外，本申请实施例可以将搜索范围限定在与目标对象相关的类目下，有利于进一步提高搜索结果的准确度，而且搜索范围相对较小，还有利于提高搜索效率。

再者，本实施例实施例可以边播放视频或图片，边针对视频或图片中的目标对象进行图像搜索，用户无需像现有技术那样从视频播放界面切换到具有搜索功能的app或浏览器，有利于简化用户操作，提高搜索效率。

需要说明的是，上述实施例所提供方法的各步骤的执行主体均可以是同一设备，或者，该方法也由不同设备作为执行主体。比如，步骤101和步骤102的执行主体可以为设备A；又比如，步骤101的执行主体可以为设备A，步骤102的执行主体可以为设备B；等等。

图8为本申请又一实施例提供的搜索装置的结构示意图。如图8，该装置包括：图像获取模块81、对象确定模块82、类目确定模块83和图像搜索模块84。

图像获取模块81，用于在视频或图片播放过程中，获取待处理图像。

对象确定模块82，用于确定待处理图像中需要进行搜索的目标对象。

类目确定模块83，用于确定与目标对象相关的待搜索类目。

图像搜索模块84，用于根据目标对象在待搜索类目下进行图像搜索，以获得搜索结果。

在一可选实施方式中，图像获取模块81具体用于：

在视频或图片播放过程中，自动获取当前正在播放的视频画面或图片作为待处理图像；或者

在视频或图片播放过程中，根据用户的搜索指示，获取当前正在播放的视频画面或图片作为待处理图像。

在一可选实施方式中，对象确定模块82具体用于：

对待处理图像中符合预设条件的对象进行突出显示；

响应于用户的对象选择操作，确定突出显示的对象中被用户选中的对象，作为目标对象。

进一步，对象确定模块82在对待处理图像中符合预设条件的对象进行突出显示时，具体用于执行以下至少一种操作：

采用预设的标记符号，将待处理图像中符合预设条件的对象标记出来；

将待处理图像中符合预设条件的对象放大显示；

将待处理图像中符合预设条件的对象高亮显示；

将待处理图像中符合预设条件的对象显示于对象列表中。

在一可选实施方式中，对象确定模块82具体用于：

在待处理图像上显示圈选框；

响应于用户对圈选框的操作，确定位于圈选框内的对象，作为目标对象。

进一步，对象确定模块82在在待处理图像上显示圈选框时，具体用于：

随机选定待处理图像上的一区域，将圈选框显示于随机选定的区域上；或者

确定待处理图像中的一显著对象，将圈选框显示在显著对象所在区域上。

可选的，圈选框的形状为显著对象的轮廓。

在一可选实施方式中，类目确定模块83具体用于：

响应于用户根据目标对象进行类目选择的操作，确定类目列表中被用户选中的类目，作为待搜索类目。

在一可选实施方式中，类目确定模块83具体用于：

根据目标对象与各类目的相似度，确定待搜索类目。

进一步，类目确定模块83具体用于：

计算目标对象与各类目的相关度；

根据目标对象与各类目的相关度，从中选择与目标对象的相关度满足指定要求的类目，作为待搜索类目。

更进一步，类目确定模块83在根据目标对象与各类目的相关度，从中选择与目标对象的相关度满足指定要求的类目，作为待搜索类目时，具体用于：

将各类目中与目标对象的相关度满足指定要求的类目作为候选类目，展示候选类目以及候选类目与目标对象的相关度；

响应于用户针对候选类目发出的操作，从候选类目中确定待搜索类目。

更进一步，类目确定模块83在响应于用户针对候选类目发出的操作，从候选类目中确定待搜索类目时，具体用于：

响应于用户针对候选类目发出的确认操作，确定候选类目作为待搜索类目；或者

响应于用户针对候选类目发出的选择操作，确定候选类目中被用户选中的类目作为待搜索类目；或者

响应于用户针对候选类目的补充操作，确定候选类目以及用户补充输入的类目作为待搜索类目。

在一可选实施方式中，图像搜索模块84具体用于：

对目标对象进行特征提取，获取目标对象的特征信息；

根据目标对象的特征信息和待搜索类目，在对象特征库中进行搜索，以获得搜索结果。对象特征库包括相应应用场景下各对象的特征信息。

进一步，图像搜索模块84在根据目标对象的特征信息和待搜索类目，在对象特征库中进行搜索，以获得搜索结果时，具体用于：

将待搜索类目对应的类目标识添加到目标对象的特征信息中，以获得待搜索特征信息；根据待搜索特征信息在对象特征库中进行搜索，以获得搜索结果。或者

图像搜索模块84在根据目标对象的特征信息和待搜索类目，在对象特征库中进行搜索，以获得搜索结果时，具体用于：

根据待搜索类目对应的类目标识，在对象特征库中进行初始搜索，以获得待搜索类目下的对象的特征信息形成子对象特征库；

根据目标对象的特征信息在子对象特征库中进行二次搜索，以获得搜索结果。

本实施例提供的搜索装置，可位于各终端设备中实现，例如可以位于智能手机、个人电脑、平板电脑、智能电视、智能眼镜、录像机、智能相机、视频游戏设备等中实现。

本实施例提供的搜索装置，可以直接基于视频或图像中的目标对象进行图像搜索，不需要对视频或图片中对象进行文本描述，克服了对视频或图片中的对象描述不准确的问题，有利于提高搜索结果的准确度。

另外，本实施例提供的搜索装置，将搜索范围限定在与目标对象相关的类目下，有利于进一步提高搜索结果的准确度，而且搜索范围相对较小，还有利于提高搜索效率。

再者，采用本实施例提供的搜索装置，可以边播放视频或图片，边针对视频或图片中的目标对象进行图像搜索，用户无需像现有技术那样从视频播放界面切换到具有搜索功能的app或浏览器，有利于简化用户操作，提高搜索效率。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (14)

1.一种搜索方法，其特征在于，包括：

在视频或图片播放过程中，获取待处理图像；

确定所述待处理图像中需要搜索的目标对象；

确定与所述目标对象相关的待搜索类目；

根据所述目标对象在所述待搜索类目下进行图像搜索，以获得搜索结果。

2.根据权利要求1所述的方法，其特征在于，所述确定所述待处理图像中需要搜索的目标对象，包括：

对所述待处理图像中符合预设条件的对象进行突出显示；

响应于用户的对象选择操作，确定所述突出显示的对象中被所述用户选中的对象，作为所述目标对象。

3.根据权利要求2所述的方法，其特征在于，所述对所述待处理图像中符合预设条件的对象进行突出显示，包括以下至少一种：

采用预设的标记符号，将所述待处理图像中符合预设条件的对象标记出来；

将所述待处理图像中符合预设条件的对象放大显示；

将所述待处理图像中符合预设条件的对象高亮显示；

将所述待处理图像中符合预设条件的对象显示于对象列表中。

4.根据权利要求1所述的方法，其特征在于，所述确定所述待处理图像中需要搜索的目标对象，包括：

在所述待处理图像上显示圈选框；

响应于用户对所述圈选框的操作，确定位于所述圈选框内的对象，作为所述目标对象。

5.根据权利要求4所述的方法，其特征在于，所述在所述待处理图像上显示圈选框，包括：

随机选定所述待处理图像上的一区域，将所述圈选框显示于所述随机选定的区域上；或者

确定所述待处理图像中的一显著对象，将所述圈选框显示在所述显著对象所在区域上。

6.根据权利要求5所述的方法，其特征在于，所述圈选框的形状为所述显著对象的轮廓。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述在视频或图片播放过程中，获取待处理图像，包括：

在视频或图片播放过程中，自动获取当前正在播放的视频画面或图片作为所述待处理图像；或者

在视频或图片播放过程中，根据用户的搜索指示，获取当前正在播放的视频画面或图片作为所述待处理图像。

8.一种搜索装置，其特征在于，包括：

图像获取模块，用于在视频或图片播放过程中，获取待处理图像；

对象确定模块，用于确定所述待处理图像中需要进行搜索的目标对象；

类目确定模块，用于确定与所述目标对象相关的待搜索类目；

图像搜索模块，用于根据所述目标对象在所述待搜索类目下进行图像搜索，以获得搜索结果。

9.根据权利要求8所述的装置，其特征在于，所述对象确定模块具体用于：

对所述待处理图像中符合预设条件的对象进行突出显示；

响应于用户的对象选择操作，确定所述突出显示的对象中被所述用户选中的对象，作为所述目标对象。

10.根据权利要求9所述的装置，其特征在于，所述对象确定模块进一步具体用于执行以下至少一种操作：

采用预设的标记符号，将所述待处理图像中符合预设条件的对象标记出来；

将所述待处理图像中符合预设条件的对象放大显示；

将所述待处理图像中符合预设条件的对象高亮显示；

将所述待处理图像中符合预设条件的对象显示于对象列表中。

11.根据权利要求8所述的装置，其特征在于，所述对象确定模块具体用于：

在所述待处理图像上显示圈选框：

响应于用户对所述圈选框的操作，确定位于所述圈选框内的对象，作为所述目标对象。

12.根据权利要求11所述的装置，其特征在于，所述对象确定模块进一步具体用于：

随机选定所述待处理图像上的一区域，将所述圈选框显示于所述随机选定的区域上；或者

确定所述待处理图像中的一显著对象，将所述圈选框显示在所述显著对象所在区域上。

13.根据权利要求12所述的装置，其特征在于，所述圈选框的形状为所述显著对象的轮廓。

14.根据权利要求8-13任一项所述的装置，其特征在于，所述图像获取模块具体用于：

在视频或图片播放过程中，自动获取当前正在播放的视频画面或图片作为所述待处理图像；或者

在视频或图片播放过程中，根据用户的搜索指示，获取当前正在播放的视频画面或图片作为所述待处理图像。