CN107515871A - 搜索方法及装置 - Google Patents
搜索方法及装置 Download PDFInfo
- Publication number
- CN107515871A CN107515871A CN201610425936.8A CN201610425936A CN107515871A CN 107515871 A CN107515871 A CN 107515871A CN 201610425936 A CN201610425936 A CN 201610425936A CN 107515871 A CN107515871 A CN 107515871A
- Authority
- CN
- China
- Prior art keywords
- user
- picture
- video
- classification
- pending image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Library & Information Science (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种搜索方法及装置。搜索方法包括:在视频或图片播放过程中,获取待处理图像;确定待处理图像中需要搜索的目标对象;响应于用户根据目标对象进行类目选择的操作,确定类目列表中被用户选中的类目作为待搜索类目;根据目标对象在待搜索类目下进行图像搜索,以获得搜索结果。本申请可以边播放视频或图片,边针对视频或图片中的目标对象在限定的搜索类目范围内进行图像搜索,有利于提高搜索结果的准确度。
Description
技术领域
本申请涉及搜索技术领域,尤其涉及一种搜索方法及装置。
背景技术
在现有技术中,用户在观看视频或图片过程中,可能会遇到感兴趣的对象,例如上衣、墨镜等,为了了解与该对象相关的信息,需要针对该对象进行搜索。
在现有技术中,用户需要从视频或图片播放界面切换到具有搜索功能的应用(application,app),或者打开浏览器,然后输入能够描述待搜索对象的搜索词进行搜索。这种搜索方式是基于文本的搜索,而视频或图片中对象一般无法通过搜索词进行精确描述,所以搜索结果的准确度不高。
发明内容
本申请的多个方面提供一种搜索方法及装置,用以提高搜索结果的准确度。
本申请实施例提供一种搜索方法,包括:
在视频或图片播放过程中,获取待处理图像;
确定所述待处理图像中需要搜索的目标对象;
响应于用户根据所述目标对象进行类目选择的操作,确定类目列表中被所述用户选中的类目作为待搜索类目;
根据所述目标对象在所述待搜索类目下进行图像搜索,以获得搜索结果。
本申请实施例还提供一种搜索装置,包括:
图像获取模块,用于在视频或图片播放过程中,获取待处理图像;
对象确定模块,用于确定所述待处理图像中需要搜索的目标对象;
类目确定模块,用于响应于用户根据所述目标对象进行类目选择的操作,确定类目列表中被所述用户选中的类目作为待搜索类目;
图像搜索模块,用于根据所述目标对象在所述待搜索类目下进行图像搜索,以获得搜索结果。
在本申请中,可以边播放视频或图片,边针对视频或图片中的目标对象进行图像搜索,由于直接基于视频或图像中的目标对象进行图像搜索,不需要对视频或图片中对象进行文本描述,克服了对视频或图片中的对象描述不准确的问题,有利于提高搜索结果的准确度;另外,本申请可以根据用户选择类目的操作将搜索范围限定在与目标对象相关的类目下,有利于进一步提高搜索结果的准确度,而且搜索范围相对较小,还有利于提高搜索效率。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本申请一实施例提供的搜索方法的流程示意图;
图2为本申请另一实施例提供的提供图像搜索按钮的视频播放界面的示意图;
图3和图4为本申请又一实施例提供的在确定目标对象过程中暂停视频播放时视频播放界面的示意图;
图5和图6为申请又一实施例提供的展示类目列表的视频播放界面的示意图;
图7为本申请又一实施例提供的分区播放视频和展示搜索结果的视频播放界面的示意图;
图8为本申请又一实施例提供的搜索装置的结构示意图;
图9为本申请又一实施例提供的搜索装置的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在现有技术中,如果用户在观看视频过程中需要针对感兴趣的内容进行搜索,需要从视频或图片播放界面切换到具有搜索功能的app,或者打开浏览器,然后输入能够描述待搜索对象的搜索词进行搜索。这种搜索方式是基于文本的搜索,而视频或图片中对象一般无法通过搜索词进行精确描述,所以搜索结果的准确度不高。针对该问题,本申请提供一种解决方案,主要原理是:在视频或图片播放过程中,获取待处理图像;确定待处理图像中需要搜索的目标对象,响应于用户根据目标对象进行类目选择的操作,将搜索范围限定在与目标对象相关的类目下,从而在所限定的类目下完成图像搜索。由于本申请直接基于视频或图像中的目标对象进行图像搜索,不需要对视频或图片中对象进行文本描述,克服了对视频或图片中的对象描述不准确的问题,有利于提高搜索结果的准确度;另外,本申请将搜索范围限定在与目标对象相关的类目下,有利于进一步提高搜索结果的准确度,而且搜索范围相对较小,还有利于提高搜索效率。
以下结合附图,详细说明本申请各实施例提供的技术方案。
图1为本申请一实施例提供的搜索方法的流程示意图。如图1所示,该方法包括:
101、在视频或图片播放过程中,获取待处理图像。
102、确定待处理图像中需要搜索的目标对象。
103、响应于用户根据目标对象进行类目选择的操作,确定类目列表中被用户选中的类目作为待搜索类目。
104、根据目标对象在待搜索类目下进行图像搜索,以获得搜索结果。
在实际应用中,终端设备播放视频或图片。在视频或图片中,用户能够看到一些内容,例如人物、动物、植物、以及各种物体。所述物体包括但不限于:服饰、头饰、3c电子产品以及日用品等。3c电子产品是指计算机(Computer)、通信(Communication)和消费类电子产品(Consumer Electronics)三类电子产品的简称。在本实施例中,将视频或图片中的内容称为对象。举例说明,视频或图片中的对象包括但不限于:人体某个部位、上衣、连衣裙、鞋子、墨镜、耳环、头饰、自行车、汽车、玩具、广告牌、一朵花、一棵树、一种饮料、手机、个人电脑、平板电脑、洗发水、沐浴露、香皂、洗衣粉、刀具、冰箱、洗衣机、智能机器人等。
在视频或图片播放过程中,用户可能会看到自己感兴趣的对象,需要了解与该对象有关的信息,所以需要在视频或图片播放过程中基于视频或图片中的对象进行搜索。例如,用户在观看电视剧时,可能会对某个演员身上的衣服或头饰感兴趣,需要搜索同款的衣服或头饰。例如,用户在看照片时,可能对照片中的手机或包包感兴趣,需要搜索同款手机或包包。
为了满足用户在视频或图片播放过程中基于视频或图片中的对象进行搜索的需求,本实施例提供一种搜索方法,该搜索方法可以在各种支持视频或图片播放的终端设备中实现,例如智能手机、个人电脑、平板电脑、智能电视、智能眼镜、录像机、智能相机、视频游戏设备等,具体流程如下:
终端设备播放视频或图片,并在视频或图片播放过程中,获取待处理图像。这里的待处理图像实际上是视频播放过程中的视频画面,或者是图片播放过程中的图片。
可选的,上述步骤101的一种实施方式为:终端设备可以在视频或图片播放过程中,自动获取当前正在播放的视频画面或图片,作为待处理图像。如果有多个需要播放视频画面或图片,那么终端设备会在播放到每个视频画面或图片时,自动获取当前播放到的视频画面或图片作为待处理图像,这样可以针对视频中的每个视频画面或图片中的每个图片进行图像搜索。这种实施方式尤其适用于基于视频画面或图像主动进行信息推送的应用场景中。
可选的,上述步骤101的另一种实施方式为:终端设备可以在视频或图片播放过程中,根据用户的搜索指示,获取当前正在播放的视频画面或图片,作为待处理图像。例如,终端设备可以在视频或图片播放界面上设置一图像搜索按钮,用户在视频或图片播放过程中,点击视频或图片播放界面上的图像搜索按钮,从而向终端设备发出搜索指示。终端设备接收用户的搜索指示,并获取用户发出搜索指示时播放界面上显示的视频画面或图片,作为待搜索图像。
以用户在观看视频为例,如图2所示,为一视频播放界面,该视频播放界面的左侧是视频播放区域,右侧是与正在播放的视频相关的信息展示区域。为便于用户针对感兴趣的对象发出搜索指示,在图2所示的信息展示区域中,提供有一名称为“截视频搜同款”的按钮,该按钮即为图像搜索按钮。当用户希望针对某个视频画面中的某个对象进行图像搜索时,可以点击名称为“截视频搜同款”的按钮发出搜索指示。在该实施方式中,用户可以根据自己的需求选择基于某个视频画面或图片进行图像搜索,灵活性较强。
以用户翻看之前拍摄的照片为例,终端设备在照片播放界面上提供一图像搜索按钮,用户在翻看照片的过程中,点击照片播放界面上的图像搜索按钮,从而向终端设备发出搜索指示。终端设备接收用户的搜索指示,并获取用户发出搜索指示时翻看到的照片,作为待搜索图像。
在从视频或图片播放过程中,获取视频画面或图片作为待处理图像之后,考虑到待处理图像中一般包括多个对象,所以终端设备需要确定待处理图像中需要搜索的目标对象。
可选的,上述步骤102,即确定待处理图像中需要搜索的目标对象的一种实施方式包括:
终端设备对待处理图像中符合预设条件的对象进行突出显示;响应于用户的对象选择操作,确定突出显示的对象中被用户选中的对象,作为目标对象。
在该实施方式中,终端设备在获取待处理图像后,一方面暂停播放视频或图片,保持待处理图像显示于当前界面上。在终端设备自动获取当前正在播放的视频画面或图片作为待处理图像的方案中,终端设备可以在获取待处理图像的同时自动暂停播放视频或图片,以保持待处理图像显示于当前界面上。在终端设备根据用户的搜索指示获取当前正在播放的视频画面或图片作为待处理图像的方案中,终端设备可以在接收到用户的搜索指示时获取当前视频画面或图片作为待处理图像,同时暂停播放视频或图片,以保持待处理图像显示于当前界面上。
结合图2所示视频画面,图2所示视频画面即为待处理图像,暂停视频播放后的视频画面如图3所示,在图3中,视频画面中临时显示“正在为你截图识别”字样。
另一方面,终端设备对待处理图像进行图像识别,并根据预设条件,确定待处理图像中符合预设条件的对象,对待处理图像中符合预设条件的对象进行突出显示。
在上述过程中,根据应用场景的不同,预设条件会有所不同。例如,在搜同款上衣的应用场景中,可以用上衣所在位置(例如位于人物上半身)、上衣的特性(例如有袖子)、上衣的材质等任何能够唯一标识上衣的信息作为预设条件,则在搜同款上衣的应用场景中,终端设备所确定的待处理图像中符合预设条件的对象即为上衣。例如,在基于人脸的搜索场景中,可以用人脸所在位置(例如整个人体的顶部)、人脸特性(例如包括眼睛、鼻子、嘴巴等)、人脸的纹理特征等任何能够唯一标识人脸的信息作为预设条件,则在基于人脸的搜索场景中,终端设备所确定的待处理图像中符合预设条件的对象即为人脸。
在上述过程中,突出显示是指将待处理图像中符合预设条件的对象与待处理图像中的其它对象明显区分开,便于用户从中选择需要搜索的目标对象。例如,终端设备在对待处理图像中符合预设条件的对象进行突出显示时,可以采用但不限于以下至少一种方式:
采用预设的标记符号,将待处理图像中符合预设条件的对象标记出来;
将待处理图像中符合预设条件的对象放大显示;
将待处理图像中符合预设条件的对象高亮显示;
将待处理图像中符合预设条件的对象显示于对象列表中。
在上述采用预设的标记符号,将待处理图像中符合预设条件的对象标记出来的实施方式中,根据预设的标记符号的不同,标记出来的效果也会有所不同。例如,若预设的标记符号是包围性的符号,例如方框、椭圆、圆圈或者是与符合预设条件的对象的轮廓相同的边框,则待处理图像中符合预设条件的对象会被方框、椭圆、圆圈或者是与符合预设条件的对象的轮廓相同的边框等包围性的符号圈住。又例如,若预设的标记符号是指向性的符号,例如指针、小手或小红旗等,则待处理图像中符合预设条件的对象的旁边会显示有指针、小手或小红旗等指向性的符号。
在上述将待处理图像中符合预设条件的对象放大显示的实施方式中,不限定放大程度,凡是能够将待处理图像中符合预设条件的对象与其他对象区分开的放大程度均适用于本实施例。
在上述将待处理图像中符合预设条件的对象高亮显示的实施方式中,不限定高亮显示的程度,凡是能够将待处理图像中符合预设条件的对象与其他对象区分开的高亮显示程度均适用于本实施例。
在上述将待处理图像中符合预设条件的对象显示于对象列表中的实施方式中,终端设备提供一对象列表,该对象列表专用于显示待处理图像中符合设条件的对象,基于此,用户可以确定对象列表中的对象即为待处理图像中符合设条件的对象。本实施例并不限定对象列表的实现方式,例如可以位于视频或图片播放界面上的信息展示区域内实现,或者可以是一个浮窗。
对用户来说,由于终端设备将待处理图像中符合预设条件的对象进行了突出显示,所以可以根据突出显示的效果,确定待处理图像中符合预设条件的对象。然后,用户执行对象选择操作,以从突出显示的对象中选择目标对象。本实施例并不限定对象选择操作的方式,例如,用户可以是点击某个突出显示的对象,或者可以点击某个突出显示的对象对应的选择按钮。对终端设备来说,响应于用户的对象选择操作,确定突出显示的对象中被用户选中的对象,作为目标对象。
可选的,上述步骤102,即确定待处理图像中需要搜索的目标对象的另一种实施方式,包括:
在待处理图像上显示圈选框,响应于用户对圈选框的操作,确定位于圈选框内的对象,作为目标对象。
在该实施方式中,终端设备在获取待处理图像后,一方面暂停播放视频或图片,保持待处理图像显示于当前界面上。在终端设备自动获取当前正在播放的视频画面或图片作为待处理图像的方案中,终端设备可以在获取待处理图像的同时自动暂停播放视频或图片,以保持待处理图像显示于当前界面上。在终端设备根据用户的搜索指示获取当前正在播放的视频画面或图片作为待处理图像的方案中,终端设备可以在接收到用户的搜索指示时获取当前视频画面或图片作为待处理图像,同时暂停播放视频或图片,以保持待处理图像显示于当前界面上。结合图2所示视频画面,一种暂停视频播放后的视频画面如图3所示。
另一方面,终端设备通过在待处理图像上向用户提供一圈选框,并设置该圈选框可被操作,允许用户通过操作该圈选框来选择目标对象。
其中,用户对圈选框的操作包括但不限于:拖动、放大、缩小。即,终端设备设置圈选框可被拖动,并设置该圈选框大小可变。这样用户可以通过拖动圈选框的位置,改变圈选框的大小等,来圈住目标对象。例如,如果用户希望选择多个目标对象,则可以拖动并拉大圈选框来圈住多个目标对象。
更进一步,终端设备在待处理图像上显示圈选框时,可以随机选定待处理图像上的一区域,将圈选框显示于随机选定的区域上。这种方式实现相对简单,终端设备的资源消耗较少。或者
终端设备可以对待处理对象进行对象识别,确定待处理图像中的一显著对象,将圈选框显示在该显著对象所在区域上。在该方式中,圈选框可以初始选定待处理图像中的一显著对象,如果圈选框初始选定的对象即为用户希望进行搜索的目标对象,则用户可以不用拖动圈选框,节约用户操作,有利于提高确定目标对象的效率。
本实施方式不限定圈选框的形状,例如可以是矩形、圆形、心形、三角形等各种形状。进一步,在将圈选框显示在显著对象所在区域上的方案中,所述圈选框的形状还可以是该显著对象的轮廓。其中,终端设备可以采用现有图像识别技术识别显著对象的外形轮廓,然后按照该轮廓生成圈选框,并将圈选框显示在显著对象所在区域上。
结合图2和图3,终端设备确定目标对象后的视频画面如图4所示。
值得说明的是,在图4所示视频画面中,终端设备直接选定视频画面中人物身上的连衣裙作为显著对象,将圈选框显示在该连衣裙所在区域上,但并不限于此。
可选的,无论采用上述哪种实施方式确定目标对象,在确定目标对象之后,终端设备可以恢复视频或图片的播放,即继续播放视频或图片。例如,对于一些屏幕较大的终端设备,例如个人电脑或平板电脑等,可以在确定目标对象之后,继续播放视频或图片。这样可以减少对视频或图片播放过程的影响。
基于上述各实施方式,在确定目标对象之后,还需要确定待搜索类目,以限定搜索范围,提高搜索结果的准确度和搜索效率。在本实施例中,响应于用户根据目标对象进行类目选择的操作,确定类目列表中被用户选中的类目,作为待搜索类目。
在一种具体实施方式中,终端设备可以预先设定应用场景,并预先存储与该应用场景相适应的类目列表。在确定目标对象之后,终端设备根据预设的应用场景,确定类目列表,即直接获取预先存储的与设定应用场景相适应的类目列表。该类目列表中包括与预先设定的应用场景相适应的多个类目,以供用户从中选择与目标对象相关的类目作为待搜索类目。
在另一种具体实施方式中,在确定目标对象之后,终端设备可以根据目标对象,确定类目列表。具体的,终端设备可以预先存储不同应用场景与类目列表之间的对应关系,该对应关系可以存储在终端设备本地,也可以存储在云端。终端设备可以根据目标对象,确定目标应用场景;根据预先存储的应用场景与类目列表之间的对应关系,确定目标应用场景对应的类目列表。该类目列表中包括与目标应用场景相适应的多个类目,以供用户从中选择与目标对象相关的类目作为待搜索类目。
在终端设备以上述任一方式获取类目列表之后,向用户展示类目列表。本实施例不限定类目列表的展示方式,例如可以以浮窗的形式,将类目列表展示于待处理图像所在视频或图片播放界面上,或者,可以将类目列表展示于待处理图像所在视频或图片播放界面上的信息展示区域,视频或图片播放界面分区显示,信息展示区域是非播放区域,播放区域用于播放视频或图片。
在向用户展示类目列表之后,用户可以根据目标对象从类目列表中选择待搜索类目,以便在待搜索类目下进行图像搜索。
由于本实施例将搜索范围限定在与目标对象相关的待搜索类目下,减小了搜索范围,因此,有利于减少搜索结果的数量,提高搜索效率,而且只在与目标对象相关的待搜索类目下进行搜索,有利于提高搜索结果的准确性。
另外,在本实施例中,用户可以根据搜索需求适应性选择待搜索类目的,灵活性较强。如果对搜索结果的准确度要求很高,则可以选择目标对象所属的类目,或者与目标对象所属的类目相似度较高的类目;如果对搜索结果的准确度要求较低,可以选择更多类目,增大搜索范围,这样可以提高用户获取所需内容的几率。
例如,用户可以点击类目列表中的一个或多个类目;相应的,终端设备响应于用户的点击操作,确定用户点击的一个或多个类目作为待搜索类目。结合上述图2-图4所示,终端设备在视频播放界面右侧的信息展示区域内展示类目列表,如图5和图6所示,该类目列表包括多级类目。由于在该举例中目标对象为人物身上的连衣裙,故用户可以选择图5所示类目列表中的“女装”,进而选择图6所示类目列表中的“连衣裙”,作为待搜索类目。
其中,用户点击的类目可以包括目标对象所属的类目,或者也可以包括与目标对象所属的类目相近的类目,或者也可以同时包括目标对象所属的类目以及与目标对象所属的类目相近的类目。其中,与目标对象所属的类目相近的类目,可以是与目标对象所属的类目的相关度大于指定相关度门限的类目。
可选的,在上述确定待搜索类目的实施方式中,可以在确定待搜索类目的过程中暂停播放视频或图片,并在确定待搜索类目后,恢复视频或图片的播放。该可选实施方式尤其适用于屏幕较小的终端设备,例如手机等。这是因为在上述确定待搜索类目的实施方式中,需要与用户交互,对于屏幕较小的终端设备,如果在用户确定待搜索类目过程中不暂停播放视频或图片,会影响视频或图片的播放效果,例如视频或图片播放界面会被遮挡,导致用户会漏看部分视频画面或图片,所以可以暂停播放视频或图片,从而降低对视频或图片的播放效果的影响。
可选的,在上述确定待搜索类目的实施方式中,可以在确定待搜索类目的过程中持续播放视频或图片。例如,若在确定目标对象之后,恢复了视频或图片播放,则可以在持续播放视频或图片的过程中,确定待搜索类目。该可选实施方式尤其适用于屏幕较大的终端设备,例如个人电脑或平板电脑等。这是因为终端设备的屏幕较大,即使在确定待搜索类目的过程中需要与用户交互,可以在屏幕的部分区域播放视频或图片,在其他屏幕区域与用户进行交互,基本上不影响视频或图片的播放效果,所以不暂停播放视频或图片。
基于上述各实施方式,在确定目标对象以及待搜索类目之后,可以根据目标对象在待搜索类目下进行图像搜索。
具体的,终端设备预先对指定应用场景或目标对象所确定的目标应用场景下的各对象进行特征提取,提取各对象的特征信息,并根据提取的特征信息建立对象特征库。基于此,在根据目标对象在待搜索类目下进行图像搜索的过程中,终端设备可以对目标对象进行特征提取,获取目标对象的特征信息,然后根据目标对象的特征信息和待搜索类目,在对象特征库中进行搜索,以获得搜索结果。
进一步,终端设备可以将待搜索类目对应的类目标识添加到目标对象的特征信息中,以获得待搜索特征信息,根据待搜索特征信息在对象特征库中进行搜索,以获得搜索结果。或者
终端设备可以根据待搜索类目对应的类目标识,在对象特征库中进行初始搜索,以获得待搜索类目下的对象的特征信息形成子对象特征库,然后,根据目标对象的特征信息在子对象特征库中进行二次搜索,以获得搜索结果。
进一步,在获得搜索结果后,终端设备可以将搜索结果提供给用户。例如,终端设备可以以搜索结果列表的形式将搜索结果提供给用户,但不限于搜索结果列表这一种形式。
进一步,为了降低对视频或图片播放过程的影响,终端设备可以在播放视频或图片的同时,向用户展示搜索结果,进一步体现在播放视频或图片过程中边进行图像搜索,提高用户体验。例如,终端设备可以在向用户展示搜索结果的同时,采用浮窗的形式置顶播放视频或图片。又例如,终端设备也可以在播放视频或图片的同时,采用浮窗的形式置顶展示搜索结果。又例如,终端设备也可以对视频或图片分区,在一区域内播放视频或图片,与此时,在另一区域向用户展示搜索结果。如图7所示,视频播放界面的左侧是视频播放区域,右侧是搜索结果展示区域。
进一步,若采用搜索结果列表的形式展示搜索结果,则搜索结果列表除了包括搜索结果之外,还可以包括用于对搜索结果进行各种操作的操作按钮。例如,在搜索结果列表中可以包括用于对搜索结果排序的排序按钮、用于对搜索结果进行筛选的筛选按钮、用于选择搜索结果的选择按钮、用于针对搜索结果执行加购物车操作的购物车按钮、用于收藏搜索结果的收藏按钮、用于访问搜索结果详情的访问按钮、用于针对搜索结果执行购买操作的购买按钮、用于删除搜索结果的删除按钮等。
例如,本实施例提供的方法可应用于边看边买应用场景中,即用户在观看视频的过程中,如果看到感兴趣的商品,例如上衣、裤子、首饰、包包等,希望购买同款,则可以在视频或图片播放过程中,发出购买同款的搜索指示;终端设备可以根据用户的搜索指示,获取当前正在播放的视频画面作为待处理图像,进而确定待处理图像中需要搜索的目标商品,并响应于用户根据进行类目选择的操作,确定与目标商品相关的商品类目,根据目标商品在所确定的商品类目下进行图像搜索,以获得目标商品的同款商品,并提供给用户,以供用户选择需要购买的同款商品。
综上所述,本申请实施例可以直接基于视频或图像中的目标对象进行图像搜索,不需要对视频或图片中对象进行文本描述,克服了对视频或图片中的对象描述不准确的问题,有利于提高搜索结果的准确度。
另外,本申请实施例可以将搜索范围限定在与目标对象相关的类目下,有利于进一步提高搜索结果的准确度,而且搜索范围相对较小,还有利于提高搜索效率。
再者,本申请实施例可以边播放视频或图片,边针对视频或图片中的目标对象进行图像搜索,用户无需像现有技术那样从视频播放界面切换到具有搜索功能的app或浏览器,有利于简化用户操作,提高搜索效率。
需要说明的是,上述实施例所提供方法的各步骤的执行主体均可以是同一设备,或者,该方法也由不同设备作为执行主体。比如,步骤101和步骤102的执行主体可以为设备A;又比如,步骤101的执行主体可以为设备A,步骤102的执行主体可以为设备B;等等。
图8为本申请又一实施例提供的搜索装置的结构示意图。如图8,该装置包括:图像获取模块81、对象确定模块82、类目确定模块83和图像搜索模块84。
图像获取模块81,用于在视频或图片播放过程中,获取待处理图像。
对象确定模块82,用于确定待处理图像中需要进行搜索的目标对象。
类目确定模块83,用于响应于用户根据目标对象进行类目选择的操作,确定类目列表中被用户选中的类目作为待搜索类目。
图像搜索模块84,用于根据目标对象在待搜索类目下进行图像搜索,以获得搜索结果。
在一可选实施方式中,图像获取模块81具体用于:
在视频或图片播放过程中,自动获取当前正在播放的视频画面或图片作为待处理图像;或者
在视频或图片播放过程中,根据用户的搜索指示,获取当前正在播放的视频画面或图片作为待处理图像。
在一可选实施方式中,对象确定模块82具体用于:
对待处理图像中符合预设条件的对象进行突出显示;
响应于用户的对象选择操作,确定突出显示的对象中被用户选中的对象,作为目标对象。
进一步,对象确定模块82在对待处理图像中符合预设条件的对象进行突出显示时,具体用于执行以下至少一种操作:
采用预设的标记符号,将待处理图像中符合预设条件的对象标记出来;
将待处理图像中符合预设条件的对象放大显示;
将待处理图像中符合预设条件的对象高亮显示;
将待处理图像中符合预设条件的对象显示于对象列表中。
在一可选实施方式中,对象确定模块82具体用于:
在待处理图像上显示圈选框;
响应于用户对圈选框的操作,确定位于圈选框内的对象,作为目标对象。
进一步,对象确定模块82在在待处理图像上显示圈选框时,具体用于:
随机选定待处理图像上的一区域,将圈选框显示于随机选定的区域上;或者
确定待处理图像中的一显著对象,将圈选框显示在显著对象所在区域上。
可选的,圈选框的形状为显著对象的轮廓。
在一可选实施方式中,如图9所示,该搜索装置还包括:列表展示模块85。
列表展示模块85,用于在类目确定模块83响应于用户根据目标对象进行类目选择的操作,确定类目列表中被用户选中的类目作为待搜索类目之前,展示类目列表。
进一步,列表展示模块85具体用于:
以浮窗的形式,将类目列表展示于待处理图像所在视频或图片播放界面上;或者
将类目列表展示于待处理图像所在视频或图片播放界面上的信息展示区域。
在一可选实施方式中,如图9所示,该搜索装置还包括:列表确定模块86。
列表确定模块86,用于在列表展示模块85展示类目列表之前,根据预设的应用场景,确定类目列表,或者,根据目标对象,确定类目列表。
进一步,列表确定模块86在根据目标对象,确定类目列表时,具体用于:
根据目标对象,确定目标应用场景;根据预设的应用场景与类目列表之间的对应关系,确定目标应用场景对应的类目列表。
在一可选实施方式中,图像搜索模块84具体用于:
对目标对象进行特征提取,获取目标对象的特征信息;
根据目标对象的特征信息和待搜索类目,在对象特征库中进行搜索,以获得搜索结果。对象特征库包括相应应用场景下各对象的特征信息。
进一步,图像搜索模块84在根据目标对象的特征信息和待搜索类目,在对象特征库中进行搜索,以获得搜索结果时,具体用于:
将待搜索类目对应的类目标识添加到目标对象的特征信息中,以获得待搜索特征信息;根据待搜索特征信息在对象特征库中进行搜索,以获得搜索结果。或者
图像搜索模块84在根据目标对象的特征信息和待搜索类目,在对象特征库中进行搜索,以获得搜索结果时,具体用于:
根据待搜索类目对应的类目标识,在对象特征库中进行初始搜索,以获得待搜索类目下的对象的特征信息形成子对象特征库;
根据目标对象的特征信息在子对象特征库中进行二次搜索,以获得搜索结果。
本实施例提供的搜索装置,可位于各终端设备中实现,例如可以位于智能手机、个人电脑、平板电脑、智能电视、智能眼镜、录像机、智能相机、视频游戏设备等中实现。
本实施例提供的搜索装置,可以直接基于视频或图像中的目标对象进行图像搜索,不需要对视频或图片中对象进行文本描述,克服了对视频或图片中的对象描述不准确的问题,有利于提高搜索结果的准确度。
另外,本实施例提供的搜索装置,将搜索范围限定在与目标对象相关的类目下,有利于进一步提高搜索结果的准确度,而且搜索范围相对较小,还有利于提高搜索效率。
再者,采用本实施例提供的搜索装置,可以边播放视频或图片,边针对视频或图片中的目标对象进行图像搜索,用户无需像现有技术那样从视频播放界面切换到具有搜索功能的app或浏览器,有利于简化用户操作,提高搜索效率。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种搜索方法,其特征在于,包括:
在视频或图片播放过程中,获取待处理图像;
确定所述待处理图像中需要搜索的目标对象;
响应于用户根据所述目标对象进行类目选择的操作,确定类目列表中被所述用户选中的类目作为待搜索类目;
根据所述目标对象在所述待搜索类目下进行图像搜索,以获得搜索结果。
2.根据权利要求1所述的方法,其特征在于,所述响应于用户根据所述目标对象进行类目选择的操作,确定类目列表中被所述用户选中的类目作为待搜索类目之前,包括:
展示所述类目列表。
3.根据权利要求2所述的方法,其特征在于,所述展示所述类目列表,包括:
以浮窗的形式,将所述类目列表展示于所述待处理图像所在视频或图片播放界面上;或者
将所述类目列表展示于所述待处理图像所在视频或图片播放界面上的信息展示区域。
4.根据权利压2所述的方法,其特征在于,所述展示所述类目列表之前,包括:
根据预设的应用场景,确定所述类目列表;或者
根据所述目标对象,确定所述类目列表。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述确定所述待处理图像中需要搜索的目标对象,包括:
对所述待处理图像中符合预设条件的对象进行突出显示,响应于所述用户的对象选择操作,确定所述突出显示的对象中被所述用户选中的对象,作为所述目标对象;或者
在所述待处理图像上显示圈选框,响应于所述用户对所述圈选框的操作,确定位于所述圈选框内的对象,作为所述目标对象。
6.一种搜索装置,其特征在于,包括:
图像获取模块,用于在视频或图片播放过程中,获取待处理图像;
对象确定模块,用于确定所述待处理图像中需要搜索的目标对象;
类目确定模块,用于响应于用户根据所述目标对象进行类目选择的操作,确定类目列表中被所述用户选中的类目作为待搜索类目;
图像搜索模块,用于根据所述目标对象在所述待搜索类目下进行图像搜索,以获得搜索结果。
7.根据权利要求6所述的装置,其特征在于,还包括:
列表展示模块,用于展示所述类目列表。
8.根据权利要求7所述的装置,其特征在于,所述列表展示模块具体用于:
以浮窗的形式,将所述类目列表展示于所述待处理图像所在视频或图片播放界面上;或者
将所述类目列表展示于所述待处理图像所在视频或图片播放界面上的信息展示区域。
9.根据权利要求7所述的装置,其特征在于,还包括:
列表确定模块,用于根据预设的应用场景,确定所述类目列表,或者,根据所述目标对象,确定所述类目列表。
10.根据权利要求6-9任一项所述的装置,其特征在于,所述对象确定模块具体用于:
对所述待处理图像中符合预设条件的对象进行突出显示,响应于所述用户的对象选择操作,确定所述突出显示的对象中被所述用户选中的对象,作为所述目标对象;或者
在所述待处理图像上显示圈选框,响应于所述用户对所述圈选框的操作,确定位于所述圈选框内的对象,作为所述目标对象。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610425936.8A CN107515871A (zh) | 2016-06-15 | 2016-06-15 | 搜索方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610425936.8A CN107515871A (zh) | 2016-06-15 | 2016-06-15 | 搜索方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107515871A true CN107515871A (zh) | 2017-12-26 |
Family
ID=60720987
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610425936.8A Pending CN107515871A (zh) | 2016-06-15 | 2016-06-15 | 搜索方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107515871A (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108259970A (zh) * | 2017-12-29 | 2018-07-06 | 北京陌上花科技有限公司 | 基于点播视频的配置管理方法及装置 |
CN108874262A (zh) * | 2018-06-07 | 2018-11-23 | 北京小度信息科技有限公司 | 信息交互方法、装置、电子设备及计算机可读存储介质 |
CN109218750A (zh) * | 2018-10-30 | 2019-01-15 | 百度在线网络技术(北京)有限公司 | 视频内容检索的方法、装置、存储介质和终端设备 |
CN109947988A (zh) * | 2019-03-08 | 2019-06-28 | 百度在线网络技术(北京)有限公司 | 一种信息处理方法、装置、终端设备及服务器 |
CN110717066A (zh) * | 2019-10-11 | 2020-01-21 | 掌阅科技股份有限公司 | 基于有声电子书的智能搜索方法及电子设备 |
CN111436000A (zh) * | 2019-01-12 | 2020-07-21 | 北京字节跳动网络技术有限公司 | 一种视频上展示信息的方法、装置、设备和存储介质 |
CN113111932A (zh) * | 2021-04-02 | 2021-07-13 | 支付宝(杭州)信息技术有限公司 | 智能货柜的物品核对方法及系统 |
CN113298589A (zh) * | 2020-06-19 | 2021-08-24 | 阿里巴巴集团控股有限公司 | 商品信息处理方法及装置、信息获取方法及装置 |
CN113360064A (zh) * | 2021-06-09 | 2021-09-07 | 深圳集智数字科技有限公司 | 对图片的局部区域的搜索方法及装置、介质及电子设备 |
US11526269B2 (en) | 2019-01-12 | 2022-12-13 | Shanghai marine diesel engine research institute | Video playing control method and apparatus, device, and storage medium |
US11550457B2 (en) | 2019-01-12 | 2023-01-10 | Beijing Bytedance Network Technology Co., Ltd. | Method, device, apparatus and storage medium of displaying information on video |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090116695A1 (en) * | 2007-11-07 | 2009-05-07 | Yegor Anchyshkin | System and method for processing digital media |
CN102802055A (zh) * | 2011-05-25 | 2012-11-28 | 阿里巴巴集团控股有限公司 | 一种基于在线视频的数据交互方法及装置 |
CN103514220A (zh) * | 2012-06-29 | 2014-01-15 | 深圳市快播科技有限公司 | 基于多屏互动场景的视频画面检索方法、装置及系统 |
CN103716712A (zh) * | 2013-12-31 | 2014-04-09 | 上海艾麒信息科技有限公司 | 一种基于移动终端的视频处理方法 |
CN103780973A (zh) * | 2012-10-17 | 2014-05-07 | 三星电子(中国)研发中心 | 视频标签添加方法及装置 |
CN104462325A (zh) * | 2014-12-02 | 2015-03-25 | 百度在线网络技术(北京)有限公司 | 搜索推荐方法及装置 |
CN105095231A (zh) * | 2014-04-29 | 2015-11-25 | 阿里巴巴集团控股有限公司 | 一种呈现搜索结果的方法和装置 |
-
2016
- 2016-06-15 CN CN201610425936.8A patent/CN107515871A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090116695A1 (en) * | 2007-11-07 | 2009-05-07 | Yegor Anchyshkin | System and method for processing digital media |
CN102802055A (zh) * | 2011-05-25 | 2012-11-28 | 阿里巴巴集团控股有限公司 | 一种基于在线视频的数据交互方法及装置 |
CN103514220A (zh) * | 2012-06-29 | 2014-01-15 | 深圳市快播科技有限公司 | 基于多屏互动场景的视频画面检索方法、装置及系统 |
CN103780973A (zh) * | 2012-10-17 | 2014-05-07 | 三星电子(中国)研发中心 | 视频标签添加方法及装置 |
CN103716712A (zh) * | 2013-12-31 | 2014-04-09 | 上海艾麒信息科技有限公司 | 一种基于移动终端的视频处理方法 |
CN105095231A (zh) * | 2014-04-29 | 2015-11-25 | 阿里巴巴集团控股有限公司 | 一种呈现搜索结果的方法和装置 |
CN104462325A (zh) * | 2014-12-02 | 2015-03-25 | 百度在线网络技术(北京)有限公司 | 搜索推荐方法及装置 |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108259970B (zh) * | 2017-12-29 | 2022-01-04 | 北京陌上花科技有限公司 | 基于点播视频的配置管理方法及装置 |
CN108259970A (zh) * | 2017-12-29 | 2018-07-06 | 北京陌上花科技有限公司 | 基于点播视频的配置管理方法及装置 |
CN108874262A (zh) * | 2018-06-07 | 2018-11-23 | 北京小度信息科技有限公司 | 信息交互方法、装置、电子设备及计算机可读存储介质 |
CN109218750A (zh) * | 2018-10-30 | 2019-01-15 | 百度在线网络技术(北京)有限公司 | 视频内容检索的方法、装置、存储介质和终端设备 |
CN109218750B (zh) * | 2018-10-30 | 2022-01-04 | 百度在线网络技术(北京)有限公司 | 视频内容检索的方法、装置、存储介质和终端设备 |
US11550457B2 (en) | 2019-01-12 | 2023-01-10 | Beijing Bytedance Network Technology Co., Ltd. | Method, device, apparatus and storage medium of displaying information on video |
CN111436000A (zh) * | 2019-01-12 | 2020-07-21 | 北京字节跳动网络技术有限公司 | 一种视频上展示信息的方法、装置、设备和存储介质 |
US11526269B2 (en) | 2019-01-12 | 2022-12-13 | Shanghai marine diesel engine research institute | Video playing control method and apparatus, device, and storage medium |
CN109947988A (zh) * | 2019-03-08 | 2019-06-28 | 百度在线网络技术(北京)有限公司 | 一种信息处理方法、装置、终端设备及服务器 |
CN110717066A (zh) * | 2019-10-11 | 2020-01-21 | 掌阅科技股份有限公司 | 基于有声电子书的智能搜索方法及电子设备 |
CN113298589A (zh) * | 2020-06-19 | 2021-08-24 | 阿里巴巴集团控股有限公司 | 商品信息处理方法及装置、信息获取方法及装置 |
CN113111932B (zh) * | 2021-04-02 | 2022-05-20 | 支付宝(杭州)信息技术有限公司 | 智能货柜的物品核对方法及系统 |
CN113111932A (zh) * | 2021-04-02 | 2021-07-13 | 支付宝(杭州)信息技术有限公司 | 智能货柜的物品核对方法及系统 |
CN113360064A (zh) * | 2021-06-09 | 2021-09-07 | 深圳集智数字科技有限公司 | 对图片的局部区域的搜索方法及装置、介质及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107515871A (zh) | 搜索方法及装置 | |
CN107515868A (zh) | 搜索方法及装置 | |
US11317159B2 (en) | Machine-based object recognition of video content | |
US20190138815A1 (en) | Method, Apparatus, User Terminal, Electronic Equipment, and Server for Video Recognition | |
CN109104639A (zh) | 直播系统、确定直播视频主题的方法、装置以及电子设备 | |
KR100827849B1 (ko) | 화상 데이터에 나타난 인물에 부착된 상품 정보를 획득하기위한 방법 및 장치 | |
JP6950912B2 (ja) | 映像検索情報提供方法、装置およびコンピュータプログラム | |
CN106202317A (zh) | 基于视频的商品推荐方法及装置 | |
CN109923870A (zh) | 通过广播中的视频识别的实时购物方法及安装有用于实现其的应用程序的智能设备 | |
CN106055710A (zh) | 基于视频的商品推荐方法及装置 | |
CN109040461A (zh) | 一种基于对象识别的业务处理方法和装置 | |
CN107515872A (zh) | 搜索方法及装置 | |
CN106202304A (zh) | 基于视频的商品推荐方法及装置 | |
CN107577686A (zh) | 搜索方法及装置 | |
CN109416693A (zh) | 服务器装置、终端装置以及信息处理方法 | |
CN107918900A (zh) | 一种基于云计算的场景化购物系统及方法 | |
KR102295459B1 (ko) | 사용자에게 날짜를 이용하여 패션 아이템 추천 서비스를 제공하는 방법 | |
TW202117639A (zh) | 資料處理方法、商品展示方法和視頻播放方法 | |
US20140250466A1 (en) | Method and system of identifying and providing information about products contained in an audiovisual presentation | |
CN103888812A (zh) | 基于云电视的信息处理方法及云电视系统 | |
CN105512341B (zh) | 基于大数据搜索的个性化推荐方法和系统 | |
KR102102572B1 (ko) | 온라인 쇼핑몰을 제공하는 시스템 및 방법 | |
WO2015107424A1 (en) | System and method for product placement | |
KR102200038B1 (ko) | 사용자에게 날짜를 이용하여 패션 아이템 추천 서비스를 제공하는 방법 | |
CN105260368B (zh) | 一种视频数据的编辑、业务对象的推送方法、装置和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
EE01 | Entry into force of recordation of patent licensing contract | ||
EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20171226 Assignee: Apple R&D (Beijing) Co., Ltd. Assignor: BEIJING MOSHANGHUA TECHNOLOGY CO., LTD. Contract record no.: 2019990000054 Denomination of invention: Money search method and device in error correction decode License type: Exclusive License Record date: 20190211 |
|
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171226 |