CN108829764B - 推荐信息获取方法、装置、系统、服务器及存储介质 - Google Patents

推荐信息获取方法、装置、系统、服务器及存储介质 Download PDF

Info

Publication number
CN108829764B
CN108829764B CN201810525326.4A CN201810525326A CN108829764B CN 108829764 B CN108829764 B CN 108829764B CN 201810525326 A CN201810525326 A CN 201810525326A CN 108829764 B CN108829764 B CN 108829764B
Authority
CN
China
Prior art keywords
search
image
candidate
information
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810525326.4A
Other languages
English (en)
Other versions
CN108829764A (zh
Inventor
李习华
申瑞珉
戴宇荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yayue Technology Co ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201810525326.4A priority Critical patent/CN108829764B/zh
Publication of CN108829764A publication Critical patent/CN108829764A/zh
Application granted granted Critical
Publication of CN108829764B publication Critical patent/CN108829764B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供一种推荐信息获取方法、装置、系统、服务器及存储介质,业务服务器针对其提供的业务信息关联的一搜索图像,生成搜索请求并发送至搜索服务器,由搜索服务器提取该搜索图像的全局图像特征及多个区域对象特征,构成搜索图像特征,实现对候选图像进行相似性搜索,得到相应的候选推荐集合并反馈至业务服务器存储。可见,由于图像特征并不受人为因素影响,解决了基于图像标签进行相似度搜索,造成搜索结果不准确的技术问题,而且,本实施例进行相似度搜索的依据还包含有搜索图像的区域对象特征,提高了搜索到的推荐信息的准确性。

Description

推荐信息获取方法、装置、系统、服务器及存储介质
技术领域
本发明涉及数据处理技术领域,具体涉及一种推荐信息获取方法、装置、系统、服务器及存储介质。
背景技术
如今,在用户通过互联网进行网页浏览过程中,比如浏览购物网页、新闻网页、搞笑图片网页等应用场景中,通常会采用图像搜索方法,即在数据库中对用户当前浏览图像进行相似性搜索,将得到的搜索结果作为推荐信息反馈给用户,以便用户了解与当前浏览图像相关的信息。
目前进行图像搜索时,往往是利用图像的文本标签实现,具体由用户在客户端输入搜索关键词,客户端将搜索关键词发送至相应的业务服务器,由业务服务器从数据库中,搜索与该搜索关键词相似的标签对应的图像,反馈至客户端当前界面展示。
然而,由于图像的标签往往是人工定义,往往会导致不同用户对同一图像设置的标签内容不一致,降低获取的推荐信息的准确性及效率,比如,购物网站中的一个穿着连衣裙的女生的图像,其被定义的标签可以有休闲装、女生、裙子等,当用户在购物网站输入连衣裙,往往无法准确搜索到用户希望查看的连衣裙图像。
由此可见,如何通过图像搜索,提高获取推荐信息的准确性成为技术人员的研究重点之一。
发明内容
有鉴于此,本发明实施例提供一种推荐信息获取方法、装置、系统、服务器及存储介质,提高了推荐信息获取的准确性及效率。
为实现上述目的,本发明实施例提供如下技术方案:
一种推荐信息获取方法,应用于搜索服务器,所述方法包括:
接收业务服务器发送的搜索请求,所述搜索请求指示有业务信息关联的搜索图像;
响应所述搜索请求,提取所述搜索图像的搜索图像特征,所述搜索图像特征包括所述搜索图像的全局图像特征及区域对象特征,所述区域对象特征从所述搜索图像的至少一个图像区域提取;
基于所述搜索图像特征,对图像数据库中的候选图像进行相似度搜索,得到与所述搜索图像关联的候选推荐集合,所述候选推荐集合至少包括至少一个候选图像;
将得到的所述候选推荐集合反馈至所述业务服务器,由所述业务服务器将所述候选推荐集合与所述搜索图像进行关联存储。
另一种推荐信息获取方法,应用于业务服务器,所述方法包括:
向搜索服务器发送搜索请求,所述搜索请求指示有业务信息关联的搜索图像;
接收所述搜索服务器响应所述搜索请求反馈的候选推荐集合,所述候选推荐集合至少包括至少一个候选图像,所述候选图像是基于所述搜索图像与图像数据库包含的候选图像的相似度筛选得到的;
对所述候选推荐集合与所述搜索图像进行关联存储。
一种推荐信息获取装置,应用于搜索服务器,所述装置包括:
搜索请求接收模块,用于接收业务服务器针对搜索图像发起的搜索请求,所述搜索图像指示有业务信息关联的搜索图像;
特征提取模块,用于响应所述搜索请求,提取所述搜索图像的搜索图像特征,所述搜索图像特征所述搜索图像的全局图像特征及区域对象特征,所述区域对象特征从所述搜索图像的至少一个图像区域提取;
相似度搜索模块,用于基于所述搜索图像特征,对图像数据库中的候选图像进行相似度搜索,得到与所述搜索图像关联的候选推荐集合,所述候选推荐集合至少包括至少一个候选图像;
候选推荐集合发送模块,用于将得到的所述候选推荐集合反馈至所述业务服务器。
另一种推荐信息获取装置,应用于业务服务器,所述装置包括:
搜索请求发送模块,用于向搜索服务器发送搜索请求,所述搜索请求指示有业务信息关联的搜索图像;
候选推荐集合接收模块,用于接收所述搜索服务器响应所述搜索请求反馈的候选推荐集合,所述候选推荐集合至少包括至少一个候选图像,所述候选图像是基于所述搜索图像与图像数据库包含的候选图像的相似度筛选得到的;
候选推荐集合存储模块,用于对所述候选推荐集合与所述搜索图像进行关联存储。
一种存储介质,其上存储有计算机程序,所述计算机程序被处理器执行,实现如上任一推荐信息获取方法。
一种服务器,所述服务器包括:
通信接口;
存储器,用于存储实现上述一种推荐信息获取方法的第一程序,或者用于存储实现上述另一种推荐信息获取方法的第二程序;
处理器,用于加载并执行所述存储器存储的第一程序,实现上述一种推荐信息获取方法的各步骤;或者用于加载并执行所述存储器存储的第二程序,实现上述另一种推荐信息获取方法的各步骤。
一种推荐信息获取系统,所述系统包括:
业务服务器,用于实现上述一种推荐信息获取方法的各步骤;
搜索服务器,用于实现上述另一种推荐信息获取方法的各步骤;
客户端,用于基于当前用户对客户端当前界面输出信息的访问操作,生成相应业务访问请求,并将生成的业务访问请求发送至所述业务服务器,接收所述业务服务器响应所述业务访问请求反馈的目标推荐信息,并呈现在当前界面。
基于上述技术方案,本实施例提供了一种推荐信息获取方法、装置、系统、服务器及存储介质,业务服务器针对其提供的业务信息关联的一搜索图像,生成搜索请求并发送至搜索服务器,由搜索服务器提取该搜索图像的搜索图像特征,其包括了整个搜索图像的全局图像特征,及从至少一个图像区域提取的区域对象特征,基于这样的搜索图像特征,对候选图像进行相似性搜索,得到相应的候选推荐集合并反馈至业务服务器存储。可见,由于图像特征并不受人为因素影响,解决了基于图像标签进行相似度搜索,造成搜索结果不准确的技术问题,而且,本实施例进行相似度搜索的依据还包含有搜索图像的区域对象特征,提高了搜索到的推荐信息的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为现有的一种推荐信息获取方法的示意图;
图2为本实施例提供的实现推荐信息获取方法的系统结构图;
图3为本实施例提供的一种推荐信息获取方法的信令流程图;
图4a为本实施例提供的一种搜索图像的图像区域示意图;
图4b为本实施例提供的一种候选推荐集合的生成方法的示意图;
图4c为本实施例提供的一种推荐信息获取方法的场景示意图;
图5为本实施例提供的一种推荐信息获取方法的流程示意图;
图6为本实施例提供的另一种推荐信息获取方法的流程示意图;
图7为本实施例提供的又一种推荐信息获取方法的流程示意图;
图8为本实施例提供的另一种推荐信息获取方法的场景示意图;
图9为本实施例提供的又一种推荐信息获取方法的场景示意图;
图10为本实施例提供的一种推荐信息获取装置的结构示意图;
图11为本实施例提供的另一种推荐信息获取装置的结构示意图;
图12为本实施例提供的另一种推荐信息获取装置的结构示意图;
图13为本实施例提供的又一种推荐信息获取装置的结构示意图;
图14为本实施例提供的又一种推荐信息获取装置的结构示意图;
图15为本实施例提供的一种服务器的硬件结构示意图。
具体实施方式
为了实现主动向用户推送推荐信息,不需要用户输入搜索关键词,本发明的发明人提出采用基于内容的图像搜索的方式,来获取向用户推送的推荐信息,参照图1所示的流程示意图,获取用户关注的搜索图像(如用户点击选择的图像)后,通常是提取该搜索图像的全局图像整体,以获取由该全局图像特征映射到的标签,如图1中的休闲装、女生等标签,之后,使用该标签在图像数据库中进行筛选,即筛选具有该标签的候选图像,作为该用户的推荐信息推送给用户客户端。
然而,图像标签这种显性描述具有很大局限性和不稳定性,因搜索图像内容并不是都能够用标签来描述的,对于抽象搜索图像,无法对其定义表达其内容的标签,这种基于内容的搜索方式,将无法准确获取推荐信息,使得推送至用户客户端的推送信息很可能与搜索图像无关,不仅无法达到信息推荐目的,还会给用户造成不必要的困扰。
而且,无论基于用户输入的搜索关键词的图像搜索方式,还是上述基于内容的图像搜索方式,所使用到的图像标签都是人工定义,因标签定义标准带有很大主观因素,导致图像内容理解的标签与候选图像实际标签可能不一致,大大降低了图像搜索的准确性,即降低了获取用户的推荐信息的准确性。
针对上述问题,本发明的发明人提出,直接基于搜索图像的图像特征,实现对候选图像的相似度搜索,不再将其映射到图像标签,由于图像特征的内容并不是由人为定义的,而是通过图像分析得到,解决了人工无法对抽象图像定义标签,及即便能够人工定义各候选图像的标签,基于图像标签进行图像搜索也会导致获取的推荐信息不准确的问题;而且,发明人提出的这种推荐信息获取方法,除了提高获取推荐信息的准确性外,还使其推荐信息的获取方法更加简单且可迁移。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参照图2,为本实施例提供的实现推荐信息获取方法的系统结构示意图,该结构仅作为实现推荐信息获取方法的系统的示意性说明,并不局限于本文描述的这种系统结构,如图2所示,该系统可以包括:客户端21、业务服务器22以及搜索服务器23,其中:
客户端21可以是为用户提供服务的应用程序,比如浏览器、视频播放器、新闻头条客户端等,其可以是安装在用户终端上的独立应用程序,也可以是网页应用程序,本实施例对该客户端21的类型不作限定。
实际应用中,客户端通常具有信息搜索能够,用户可以直接在客户端的界面进行信息搜索,查找所需信息,而本实施例将这种搜索能力后置给业务服务器,使得用户无需输入关键词进行搜索,后台也能够为用户推送,与其当前浏览对象相似或相关的推荐信息,具体实现过程可以参照下文方法实施例的描述。
业务服务器22可以是与客户端21对应的,为客户端提供服务,保证客户端正常运行的服务设备,其可以是一个服务器,也可以是服务器集群。
在本实施例中,业务服务器22可以在线下,根据设定的搜索图像,生成相应的检索请求,并发送至搜索服务器23,也可以将客户端发送的搜索请求(并不是由在线用户发起的)。对于前者搜索请求生成方式中,搜索图像可以由业务服务器的服务提供者即业务开发者设定的,需要针对业务平台中的哪类或哪种图像,预先获取相应的搜索图像,以生成相应的搜索请求,发送至搜索服务器,获取对应的候选推荐集合,供业务服务器据此实现对在线用户的推荐服务,这样业务服务器不需要再针对用户输入的搜索条件,从大数据库中进行搜索,提高了向用户展示的推荐信息的准确性以及效率。
可选的,业务服务器获取在线用户的推荐信息时,除了参考当前用户关注图像,还可以结合用户的用户画像信息,如用户行为信息、社会属性信息等,对候选推荐集合中的候选项进行搜索,进一步提高所得推荐信息的准确性,且实现了个性化推荐,如当不同用户使用浏览器查看娱乐新闻时,可以从娱乐新闻对应的候选推荐信息中,搜索得到不同的目标推荐信息,并反馈至各用户客户端,进一步提高了用户体验。
需要说明,上述业务服务器22可以包括业务数据库,用来存储业务有关信息(如用户使用业务客户端的历史行为信息、业务对象属性信息等等),以及从搜索服务器23获取的候选推荐集合,各历史用户(即曾经使用该客户端的用户)对应的用户画像信息等等。
搜索服务器23用来提供搜索服务,如响应业务服务器发送的搜索请求,得到对应的候选推荐集合,并反馈至业务服务器存储,本实施例中,其可以包括基于内容的搜索的搜索引擎的至少部分功能、图像处理功能、图像存储功能等等,具体可以参照下文实施例的描述。
基于上文图2所示的系统结构,本实施例提供了一种推荐信息获取方法,如图3所示的推荐信息获取方法的信令流程图,具体可以包括但并不局限于以下步骤:
步骤S101,业务服务器向搜索服务器发送搜索请求;
为了提高推荐信息获取效率及准确性,发明人提出业务服务器预先获取对应各图像的候选推荐信息,这样,当用户通过业务客户端登录业务服务器,进行信息浏览时,业务服务器可以直接从预先存储的候选信息中,筛选出向该用户推送的目标推荐信息,与传统方案从所有信息中筛选目标推荐信息的方案相比,提高了工作效率及准确性。
基于该发明构思,本实施例提出由业务服务器获取其服务提供者针对该业务服务器提供的业务信息关联的一搜索图像,输入的搜索触发指令,生成相应的搜索请求,并将该搜索请求发送至搜索服务器,可见,该搜索请求是针对业务服务器提供的业务信息关联的一搜索图像生成的,且包含有该搜索图像,本实施例对搜索请求的发送方式不作限定。
可选的,上述搜索请求也可以是客户端发送至业务服务器的,具体针对客户端当前界面输出信息关联的搜索图像生成该搜索请求,本实施例对该搜索请求的生成方式不作限定,客户端当前界面输出信息可以是业务服务器提供的业务信息。
其中,对于不同业务信息,其关联的搜索图像往往是不同的,得到的候选推荐信息包含的内容也将不同,本实施例为了明确搜索服务器是针对什么图像进行信息搜索,可以按照上述方式生成搜索请求,并由业务服务器发送至搜索服务器,可见,本实施例的搜索请求指示有业务信息关联的搜索图像。需要说明,关于搜索请求的生成方式,并不局限于本实施例描述的上述两种方式。
以业务服务器是网页服务器为例,本实施例可以预先设定获取体育、娱乐、财经等各类业务信息关联的搜索图像,以便用户使用浏览器进入相应网页,浏览体育、娱乐、财经等业务信息时,该网页服务器(即该浏览器的服务器)可以直接将用户可能感兴趣的,与该搜索图像相关类型的信息发送至该浏览器,这样,用户在浏览这类信息过程中,可以直接查看推荐的其可能感兴趣的信息。由此可见,本实施例的搜索图像可以是某个明星、某个物体(如羽毛球、乒乓球等)、某商品展示图像等等,本实施例对其包含的内容不作限定。
可选的,在确定业务信息关联的搜索图像时,可以参照业务服务器能够输出的信息热度(如点击率、阅读数量等)等因素、好评率等因素,确定一类业务,再获取与该类业务的业务信息关联的一搜索图像,但并不局限于这种实现方式。
步骤S102,搜索服务器解析该搜索请求,得到搜索图像;
结合上述分析,搜索图像是与业务服务器展示的某类信息主题相关联的图像,如与体育信息相关联的体育明星、体育器材等,与新闻介绍对象相关的图像等等。搜索服务器接收到业务服务器发起的搜索请求后,可以对其进行解析,以确定当前需要搜索与什么图像相关的候选推荐信息,即确定搜索图像。
步骤S103,搜索服务器识别搜索图像包含的至少一个图像区域;
为了提高候选推荐集合包含候选推荐信息的准确性、全面性及可扩展性,本实施例可以对搜索图像包含的每个图像区域进行图像分析,因此,搜索服务器得到搜索图像后,可以先识别出搜索图像包含的各对象,并将各对象的有效区域记为图像区域,以便后续有针对性进行图像分析。
参照图4a所示的图像,搜索图像可以是模特展示的一件条纹衬衫,该搜索图像包含的对象可以有模特(通常由人脸来表示人物)、条纹衬衫,识别到的图像区域可以有模特的人脸区域、白色衬衫区域,如图4a中的方框内的区域。
步骤S104,搜索服务器提取搜索图像的全局图像特征及各图像区域对应的区域对象特征;
在本实施例,参照图4b,全局图像特征可以是表示整幅图像上的特征,即整体属性,用于描述整幅图像的颜色、纹理等整体特征,其可以包括整体图像的图像语义特征及图像视觉特征(如上述颜色、纹理等),具体可以利用深度学习算法(如深层神经网络算法)实现全局图像特征的提取,具体实现过程本实施例不作详述,且全局特征的提取方式也并不局限于深度网络方式。
而对于图像区域的区域对象特征的提取,则可以根据该图像区域的类别或特点,选择合适的方式实现区域特征的提取,比如,参照图4b,识别出的图像区域包含有人脸区域,此时可以利用人脸识别技术提取人脸区域的人脸属性特征,及用于人脸识别的特征,比如脸型、肤色、五官特点等等,若识别出该人脸区域中的人脸图像是某个知名人物的图像,也可以进一步确定出该知名人物的名字等相关信息,作为人脸识别特征。若图像区域是服装区域,此时也可以利用深度学习算法提取服装特征,如属性、纹理、外观等等,也可以利用SIFT(Scale-invariant feature transform,尺度不变特征变换)方式实现区域特征的提取等等,本实施例上述特征提取的实现方法不做限定。
步骤S105,搜索服务器对全局图像特征及各区域对象特征进行特征融合,得到搜索图像特征;
在本实施例中,可以将搜索图像的全局图像特征称为语义级别的特征,将图像区域的区域对象特征称为物体级别(即Instance级别)的特征,本实施例在图像搜索时,将搜索图像的语义级别的特征和物体级别的特征进行融合,使得到的搜索图像特征包含了搜索图像中各种细节特征及图像整体语义特征,进而据此进行图像搜索,能够提高搜索结果准确性及扩展性。
以商品推荐场景为例进行说明,该搜索图像可以是图4a所示的模特穿着一件条纹衬衫的图像,在进行后续相似度搜索时,不仅关心衬衫,还会关注衬衫的颜色、纹理等,且还会关注模特的人脸,进一步还会关注人脸是谁等等,不仅能够提高商品推荐准确性,而且还能够进行场景推荐,如通过穿着相似的服装来推荐明星的作品等,即能够给出与搜索图像相关的很多延伸信息,相对于传统仅推荐与衬衫相似其他服装相比,提高了业务多样化及丰富性。
可选的,本实施例可以采用特征拼接方式,实现全局特征及各区域对象特征的融合处理,也可以采用其他特征融合处理方式,实现全局特征与各区域对象特征的融合,本实施例对特征融合的实现方法不作限定。
步骤S106,搜索服务器基于搜索图像特征,对图像数据库中的各候选图像进行相似度搜索,得到与搜索图像关联的候选推荐集合;
可选的,参照图4b,该候选推荐集合至少可以包括至少一个候选图像,还可以包括由其包含的候选图像分析得到的扩展信息,如候选图像包含某明星穿着的一件条纹衬衫,对其人脸区域进行人脸识别,确定该明星的用户属性,再获取与该用户属性关联的信息,作为该候选图像关联的扩展信息,比如该明星的作品,最近动态等等。
需要说明,本实施例在对候选图像进行相似性搜索时,可以采用特征向量相似度计算方式,来实现对应图像之间的相似度,此时,本实施例可以由得到的搜索图像特征,生成相应的目标特征向量,并获取各候选图像对应的候选特征向量,之后,计算该目标特征向量与各候选特征向量之间的相似度,来表示这两个特征向量对应的图像之间的相似度。
其中,关于特征向量之前的相似度计算,可以采用近邻算法(如Kmeans聚类算法、LSH(Location Sensitive Hash,位置敏感哈希函数)算法等)实现,但并不局限于这种相似度计算方法。
在本实施例中,候选图像可以是预先设定的候选图像库中的任一图像,可以按照上述对搜索图像的处理方式,获取每一个候选图像的候选图像特征。在实际应用中,可以直接将得到的候选图像特征与各候选图像进行关联存储,这样在执行步骤S106时,可以直接将搜索图像特征与候选图像库中的各候选图像特征进行相似度计算,不需要反复对各候选图像进行特征提取,提高了工作效率。
进一步地,本实施例也可以进一步针对各候选图像特征,生成相应的候选特征向量并存储,这样,在得到搜索图像特征,生成相应的目标特征向量后,可以直接从候选图像库中获取多个候选特征向量,实现目标特征向量与各候选特征向量之间的相似度计算,与上述可选实施例相比,能够进一步提高工作效率。
可见,本实施例可以利用图像的特征向量实现相似度搜索,由于特征向量是由一串数字构成,没有具体的语义,相对于传统的利用图像标签,得到图像中物体的类别,如白色西装外套,本实施例这种数字表示特征的方式没有局限性,通过相似度计算得到的推荐结果更加全面且准确。
步骤S107,搜索服务器将得到的候选推荐集合反馈至业务服务器存储;
在本实施例中,搜索服务器可以作为业务服务器的后置服务器,也就是说,该业务服务器中可以设置触发搜索服务器实现上述功能步骤的业务入口,业务服务器可以通过该业务入口,将搜索图像发送至搜索服务器,以使搜索服务器通过上述方法获取对应的候选推荐集合后,通过该业务入口反馈至业务服务器存储。
由此可见,与目前将客户端显示界面中的信息输入窗口作为搜索入口,呈现在用户面前,由用户在该搜索入口输入信息,业务服务器基于用户输入信息在数据库进行搜索的方案相比,本实施例将该搜索入口的能力服务化,后者给业务服务器,不需要用户输入信息,业务服务器就能够根据用户浏览的搜索图像,直接在对应的候选推荐集合进行相似性搜索,提高了业务整体效率。
需要说明,本实施例对业务服务器如何对各候选推荐集合的存储方式不作限定,可以直接建立与相应搜索图像的关联关系,以使业务服务器后续可以基于该关联关系,查找所需候选推荐集合进行搜索,本实施例对该关联关系的表现形式不作限定。
步骤S108,业务服务器获取各历史用户标识对应的用户画像信息;
其中,历史用户标识可以是曾经通过客户端登录业务服务器的用户的用户标识,如用户账号,使用终端的终端标识等,本实施例对该历史用户标识的内容不做限定。
用户画像信息可以包括用户行为信息、用户属性信息(如工作、性别、年龄等)等,参照图4c,本实施例可以根据各历史用户标识,从第三方或业务数据库等来源获取,本实施例对用户画像信息包含的内容及其获取方式不作限定。
步骤S109,业务服务器按照用户画像信息,对存储的各候选推荐集合进行筛选,得到各历史用户标识对应的推荐信息;
可见,本实施例按照上述方式,得到各搜索图像关联的候选推荐集合后,为了提高为在线用户推送推荐信息的准确性,本实施例可以通过用户画像信息,分析各历史用户的社会属性、生活习惯、消费行为等,结合用户画像信息进行推荐信息搜索,由于候选推荐集合包含了与搜索图像相似的候选推荐图像,甚至还可能包括用户可能感兴趣的与该候选推荐图像关联的扩展信息,本实施例再基于用户画像信息,从候选推荐集合中筛选推荐信息,能够使得到的推荐信息,更加能够符合用户身份、喜好等,将这些的推荐信息推送给用户,用户从中选择查看信息的概率更大。
比如,根据如图4c所示的搜索图像,得到的候选推荐图像都是人穿着相似衬衫的图像,而用户画像信息表明该用户是学生,平时多买一些白色休闲衣服,消费水平较低,经过步骤S109的筛选,可以从多个候选推荐图像中筛选衬衫价位较低、白色的衬衫所在的图像,过滤掉那些价位偏高、颜色暗沉的衬衫所在的图像,从而使最终筛选出的推荐信息中的图像,更加符合该用户的需求。
其中,若用户画像信息还表明该用户特别关注了A明星,那么,在进行推荐信息筛选时,在考虑上述用户画像信息的同时,还可以进一步选择A明星穿相似衬衫的图像,以及该A明星穿该衬衫出现的场合、A明星最近动态等扩展信息,以增加用户挑选衬衫的参考标准。
步骤S110,业务服务器当确定客户端输出的目标搜索图像,获取当前用户标识;
在实际应用中,参照图4c,可以在用户启动客户端,浏览其当前界面输出信息过程中,获取客户端输出的目标搜索图像,其可以是用户当前关注的图像,并将该搜索图像发送至业务服务器。需要说明,该过程是在后台实现,用户无法得知该处理过程。
步骤S111,业务服务器搜索与目标搜索图像及所述当前用户标识对应的目标推荐信息;
由于本实施例的业务服务器已经预先存储了,各历史用户标识对应的各搜索图像关联的推荐信息,所以,确定当前启动客户端的用户的当前用户标识及目标搜索图像后,可以按照预先存储的历史用户标识、搜索图像及推荐信息的关联关系,得到目标推荐信息,本实施例对该关联关系的表示形式不做限定。
步骤S112,业务服务器将所述目标推荐信息发送至客户端;
步骤S113,客户端在当前界面呈现目标推荐信息。
可选的,本实施例可以在客户端的当前显示界面生成一个新的窗口,用来展示业务服务器反馈的推荐信息,或者在当前显示界面中显示搜索图像的窗口展示该推荐信息,本实施例对在客户端当前显示界面对推荐信息进行展示的方法不作限定。
综上所述,在本实施例中,业务服务器可以在线下向搜索服务器发送搜索请求,获取相应的候选推荐集合进行存储,这样,当用户通过客户端登录业务服务器时,无需用户输入搜索关键词,业务服务器可以利用用户关注的目标搜索图像,自动从相应的候选推荐集合中筛选相似图像反馈至客户端,不再从整个数据库中进行相似图像筛选,大大降低了图像搜索工作量。
而且,搜索服务器在响应搜索请求时,将提取的搜索图像的全局图像特征及多个区域对象特征融合,得到搜索图像特征,并不是直接将全局图像特征作为搜索图像特征,基于这样的搜索图像特征,对候选图像进行相似性搜索,得到搜索结果,明显比直接基于全局图像特征进行相似性搜索得到的搜索结果更加准确,且由于图像特征并不受人为因素影响,解决了基于图像标签进行相似度搜索,造成搜索结果不准确的技术问题。
进一步地,本实施例还能够集合用户画像信息,对得到的候选推荐集合作进一步筛选,使得到的推荐信息集合能够更加符合该用户画像,业务服务器将该推荐信息集合作为对候选集合,实现对在线用户的推荐信息的获取,提高了获取的推荐信息的准确性及效率。
可选的,对于上述步骤S106的实现方法,如图5所示,本实施例提供了一种基于搜索图像特征,对图像数据库中的候选图像进行相似度搜索的实现方法,但并不局限于本实施例提供的这种实现方法,参照图5所示的另一种推荐信息获取方法的流程示意图,该方法中获取搜索图像特征之前的步骤,可以参照上述实施例步骤S101~步骤S105的描述,本实施例在此不再赘述,主要对搜索服务器如何实现上述步骤S106进行描述,如图5所示,该方法可以包括以下步骤:
步骤S201,利用得到的搜索图像特征,构建相应的搜索特征向量;
结合上述对搜索图像特征的分析,本实施例得到的搜索特征向量可以由多个不同网络层的特征组合形成,比如图像上面的边缘、语义信息、对象特征信息等组合而成,其具体是一串数字,每个数字并没有显性的语义含义,属于一种对搜索图像的隐性表达方式,其克服了现有定义图像标签的局限性问题。
可选的,在实际应用中,对于图像数据库,可以直接存储各种候选图像,根据再由搜索服务器进行图像特征提取,以及特征向量构建,也可以存储各候选图像对应的图像特征,这样,搜索服务器可以直接获取各候选图像对应的图像特征,只需要构建相应的特征向量,即可实现相似度搜索;或者,图像数据库还可以存储各候选图像对应的候选特征向量,在需要进行相似度搜索时,直接获取候选特征向量即可,进一步提高了搜索效率。
步骤S202,获取图像数据库中各候选图像对应的候选特征向量;
本实施例对如何利用图像特征,构建相应的特征向量的实现方法不做限定,其中,利用搜索图像特征,构建相应的搜索特征向量,与利用各候选图像的候选图像特征,构建相应的候选特征向量的实现方法可以相同,也可以不同,本实施例对此不做限定。
其中,对于图像数据库中对候选图像的不同存储方式,步骤S202的具体实现方法可以不同,如图像数据库仅存储有候选图像,此时需要按时上述对搜索图像处理方式,得到候选特征向量;若图像数据库存储有候选图像对应的图像特征,此时可以获取候选图像特征,并构建候选特征向量;若图像数据库存储有候选图像对应的候选特征向量,步骤S202可以直接从图像数据库中获取各候选特征向量,本实施例对步骤S202的具体实现方法不作限定。
步骤S203,对搜索特征向量与各候选特征向量进行相似度计算;
本实施例对向量之间的相似度计算方法不作限定,比如近邻算法、距离算法等。
步骤S204,基于相似度计算结果,从多个候选图像中,筛选出至少一个候选推荐图像;
可选的,本实施例可以选择相似度达到预设阈值对应的候选图像为候选推荐图像,或者按照相似度大小,对多个候选图像进行排序,选择相似度最高的K个候选图像为候选推荐图像等等,K是整数,本实施例对K的具体数值不做限定。本实施例对如何利用候选图像的相似度,从中筛选候选推荐图像的实现方法不做限定。
其中,若上述相似度计算采用近邻算法,其是由特征向量之间的距离大小来表示搜索图像与相应候选图像之间的相似度大小;当然,若采用其他算法实现相似度计算,表示相似度大小的标准可以相应改变,本实施例在此不再一一详述。
步骤S205,基于至少一个候选推荐图像,生成与搜索图像关联的候选推荐集合。
需要说明,在本实施例中,候选图像对应的相似度越大,所述候选图像被选到候选推荐集合的概率越大,本实施例对步骤S205的具体实现方法不作限定。
可选的,本实施例可以直接由筛选出的候选推荐图像,构成候选推荐集合,也就是说,该候选推荐集合中的元素可以是筛选出的每一幅候选推荐图像,此时可以按照候选图像对应的相似度大小,从所述图像数据库中筛选出第一数量个候选图像,由该第一数量个候选图像,构成所述搜索图像的候选推荐集合,本实施例对第一数量个候选图像的筛选方法不做限定,如按照相似度排序后,再从相似度从大到小顺序,筛选第一数量个候选图像;或者通过相似度两两比较的方式,筛选第一数量个候选图像;或者,直接筛选大于预设阈值的相似度对应的候选图像等等。
作为本申请另一可选实施例,本实施例还可以对得到的各候选推荐图像做进一步图像分析,比如识别各候选推荐图像中的人脸区域,提取相应的人脸属性特征及人脸识别特征,可以采用上述对搜索图像的人脸区域的区域对象特征提取方式实现。
通过人脸识别特征,若确定某候选推荐图像中的人是某位明星,本实施例还可以基于该明星的名字等属性,从第三方获取与该属性相关的信息,比如该明星的作品、以候选推荐图像中形象出现的场合等等,这种情况下,本实施在构建候选推荐集合之前,还可以获取该明星的作品信息、出现的场合信息等扩展信息,这样,除了筛选出的各候选推荐图像外,本实施例还可以将进一步获取的各候选推荐图像的扩展信息,作为候选推荐集合的组成元素。
同理,若上述搜索图像是一幅风景图,按照上述方式筛选出多幅相似的候选推荐图像后,可以进一步分析各候选推荐图像对应的地名,并获取与该地名相关的信息,比如该地方旅游信息,历史事件、曾经到过该地方的名人等等,这样,得到的与该搜索图像关联的候选推荐集合,可以包括与目标推向相似度较高的其他风景图像,以及各风景图像对应地方旅游信息、历史事件等扩展信息。
基于此,上述步骤S205可以按照图6所示的方式,生成搜索图像的候选推荐集合:
步骤A1,按照候选图像对应的相似度大小,从图像数据库中筛选出第一数量个候选图像;
步骤A2,利用第一数量个候选图像分别候选图像对应区域对象特征,得到具有该区域对象特征的扩展对象;
其中,该扩展对象是相应候选图像包含的一对象;
步骤A3,获取与该扩展对象的对象属性关联的扩展信息;
步骤A4,由筛选出的第一数量个候选图像及相应关联的扩展信息,构成搜索图像的候选推荐集合。
需要说明,关于候选推荐图像的扩展信息并不局限于上文列举内容,可以根据候选推荐图像的具体图像内容进行扩展,本实施例在此不再一一详述。且本实施例对各候选推荐集合中的各类信息关联关系的表现形式也不做限定。
由此可见,在本实施例中,利用图像特征向量,实现图像相似度搜索,相比传统利用图像标签进行相似度搜索,丰富了对图像内容的表达,提高了获取推荐信息的效率及准确性,且具有良好的扩展性,不仅能够实现对相似图像的推荐,还能够实现其他场景推荐,使得向用户反馈的推荐信息更加丰富。
参照图7和图8,示出的本实施例提供又一种推荐信息获取方法的流程示意图,该方法主要从业务服务器角度进行描述,具体是在业务服务器接收到搜索服务器响应搜索请求反馈的候选推荐集合之后的操作,关于在此之前的步骤可以参照上文相应部分的描述,本实施例不再赘述,如图7和8所示,该方法可以包括以下步骤:
步骤S301,接收客户端发送的业务访问请求;
其中,该业务访问请求可以是基于当前用户对客户端当前界面输出信息的访问操作生成的,且该业务访问请求携带有当前用户标识。也就是说,本实施例可以在用户通过客户端登录业务服务器之后,执行本实施例描述的各步骤,这种情况下,业务服务器可以不用基于各历史用户标识对应的用户画像信息,对各搜索图像对应的候选推荐集合作进一步筛选。
需要说明,该业务访问请求可以是客户端自动生成,而不是根据用户输入的搜索关键词,或输入的操作指令生成的,也就是说,本实施例描述的方法可以在客户端后台执行。
可选的,客户端当前界面输出的信息过程中,可以监听用户当前观看信息内容,即客户端显示界面当前显示的信息内容,通过这种方式获取用户对客户端显示界面输出信息的关注点,即获取目标搜索图像,将其添加到业务访问请求中,发送至业务服务器。
步骤S302,基于该业务访问请求,得到客户端输出信息关联的目标搜索图像;
其中,目标搜索图像可以是用户当前关注的图像,如用户浏览新闻,可以是当前浏览这条新闻的配图;用户挑选商品,可以是用户当前正在看的商品图像等。
步骤S303,获取与当前用户标识对应的当前用户画像信息;
本实施例中,当前用户画像信息可以包括当前用户在业务服务器中的用户行为信息,但并不局限于该信息。
步骤S304,从目标搜索图像关联的候选推荐集合中,筛选当前用户画像信息匹配的目标推荐信息;
可选的,候选推荐集合可以包括至少一个候选图像,即与搜索图像相似的图像,还可以包括由候选图像或搜索图像分析得到的扩展信息,本实施例在此主要对由候选图像分析得到的扩展信息为例进行说明,该过程可以由搜索服务器实现,参照上述实施例相应部分的描述,也可以由业务服务器实现,即识别候选推荐集合中的候选图像包含的扩展对象,获取与所述扩展对象的对象属性关联的扩展信息,将所述扩展信息与该候选图像关联,并存储到相应的候选推荐集合,业务服务器与搜索服务器获取扩展信息的实现过程类似,可以参照上述实施例相应部分的描述。
步骤S305,将目标推荐信息发送至客户端,由客户端当前界面呈现目标推荐信息。
由此可见,如图7所示,本实施例由搜索服务器线下将各搜索图像关联的推荐集合存储至业务服务器,当用户登录业务服务器,监测用户关注的目标搜索图像,业务服务器自动搜索其关联的候选推荐集合,并基于该用户的用户画像信息,从该推荐集合中筛选出目标推荐信息,反馈给用户客户端展示,相对于传统直接从图像数据库中筛选推荐信息,大大提高了工作效率,且提高了获取推荐信息的准确性。
结合上述各实施例的描述,参照图9,搜索图像是模特穿着一件条纹衬衫,按照上述处理步骤,得到至少一个候选图像中,包含了一幅A明星穿着条纹衬衫的图像,本实施例可以获取该A明星的用户属性,如姓名等,基于此可以从第三方搜索A明星参与的作品,如参演的电视机、电影等,将这些信息作为这副图像的扩展信息,与上述得到的至少一个候选图像共同构成候选推荐集合,这样,当用户在线也看到该搜索图像时,后台的业务服务器会向客户端反馈一幅A明星穿着条纹衬衫的图像,及A明星的作品等扩展信息,还可以反馈其他候选图像。这样,用户不仅能够看到与其浏览的衬衫相似的其他衬衫,还能够得知A明星曾经穿过这类衬衫,A明星曾经的作品有哪些,极大丰富了业务推荐服务。
参照图10,为本实施例提供的一种推荐信息获取装置,该装置可以应用搜索服务器,该装置可以包括:
搜索请求接收模块101,用于接收业务服务器针对搜索图像发起的搜索请求;
其中,所述搜索图像是与业务服务器提供的业务信息关联的一图像,即其可以指示有业务信息关联的搜索图像;
特征提取模块102,用于响应所述搜索请求,提取所述搜索图像的搜索图像特征,所述搜索图像特征所述搜索图像的全局图像特征及区域对象特征,所述区域对象特征从所述搜索图像的至少一个图像区域提取;
可选的,特征提取模块102可以包括:
图像区域识别单元,用于识别所述搜索图像包含的多个图像区域;
特征提取单元,用于从所述搜索图像提取的全局图像特征,并从各图像区域提取对应的区域对象特征;
特征融合单元,用于对所述全局图像特征及各区域对象特征进行特征融合,得到搜索图像特征。
相似度搜索模块103,用于基于所述搜索图像特征,对图像数据库中的候选图像进行相似度搜索,得到与所述搜索图像关联的候选推荐集合;
其中,所述候选推荐集合至少包括至少一个候选图像;
可选的,该相似度搜索模块103可以包括:
候选图像特征获取单元,用于获取图像数据库中各候选图像对应的候选图像特征;
第一相似度计算单元,用于对所述搜索图像特征与各候选图像特征进行相似度计算;
第一候选推荐集合生成单元,用于基于相似度计算结果,生成所述搜索图像的候选推荐集合;
其中,候选图像对应的相似度越大,所述候选图像被选到候选推荐集合的概率越大。
作为另一可选实施例,如图11所示,上述相似度搜索模块103也可以包括:
搜索特征向量构建单元1031,用于利用所述搜索图像特征,构建相应的搜索特征向量;
候选特征向量获取单元1032,用于获取图像数据库中各候选图像对应的候选特征向量;
第二相似度计算单元1033,用于对所述搜索特征向量与各候选特征向量进行相似度计算;
第二候选推荐集合生成单元1034,用于基于相似度计算结果,生成所述搜索图像的候选推荐集合。
其中,候选图像对应的相似度越大,所述候选图像被选到候选推荐集合的概率越大。
可选的,参照图12所示,对于上述第一候选推荐集合生成单元及第二候选推荐集合生成单元1034,可以包括:
第一筛选子单元10341,用于按照候选图像对应的相似度大小,从所述图像数据库中筛选出第一数量个候选图像;
可选的,在本实施例实际应用中,也可以直接由筛选出的第一数量个候选图像,构成搜索图像的候选推荐集合。
扩展对象获取子单元10342,用于利用所述第一数量个候选图像分别对应局部对象特征,得到具有所述局部对象特征的扩展对象;
本实施例中,该扩展对象是相应候选图像包含的一对象。
扩展信息获取子单元10343,用于获取与所述扩展对象的对象属性关联的扩展信息;
候选推荐集合构成子单元10344,用于由所述第一数量个候选图像及相应关联的扩展信息,构成所述搜索图像的候选推荐集合。
候选推荐集合发送模块104,用于将得到的所述候选推荐集合反馈至所述业务服务器。
综上所述,在本实施例中,将由业务服务器线下向搜索服务器发送搜索请求,获取相应的候选推荐集合进行存储,无需用户手动发起搜索请求,且搜索服务器在响应搜索请求时,将提取的搜索图像的全局图像特征及多个局部对象,作为搜索图像特征,并不是直接将全局图像特征作为搜索图像特征,基于这样的搜索图像特征,对候选图像进行相似性搜索,得到搜索结果,明显比直接基于全局图像特征进行相似性搜索得到的搜索结果更加准确,且由于图像特征并不受人为因素影响,解决了基于图像标签进行相似度搜索,造成搜索结果不准确的技术问题。
参照图13,为本实施例提供的另一种推荐信息获取装置的结构示意图,该装置可以应用于业务服务器,该装置可以包括:
搜索请求发送模块131,用于向搜索服务器发送搜索请求,所述搜索请求指示有业务信息关联的搜索图像;
在本实施例中,该装置还可以包括:
搜索请求接收模块,用于接收客户端发送的搜索请求;
其中,所述搜索请求是针对所述客户端当前界面输出信息关联的搜索图像生成的,所述客户端当前界面输出信息是所述业务服务器提供的业务信息;或者,
或者,搜索请求生成模块,用于获取搜索触发指令,生成相应的搜索请求;
其中所述搜索触发指令是由所述业务服务器的服务提供者输入的,且所述搜索触发指令包含所述业务服务器提供的业务信息关联的一搜索图像。
候选推荐集合接收模块132,用于接收所述搜索服务器响应所述搜索请求反馈的候选推荐集合;
其中,候选推荐集合至少可以包括至少一个候选图像,所述候选图像是基于所述搜索图像与图像数据库包含的候选图像的相似度筛选得到的,具体实现过程可以参照上述从搜索服务器角度描述的方案。
作为另一可选实施例,搜索服务器反馈的候选推荐集合还可以包括基于候选图像分析得到的扩展信息,具体实现过程可以参照上述方法实施例相应部分的描述。
候选推荐集合存储模块133,用于对所述候选推荐集合与所述搜索图像进行关联存储。
可选的,如图14所示,该推荐信息获取装置还可以包括:
用户画像信息获取模块134,用于获取各历史用户标识对应的用户画像信息;
其中,所述用户画像信息至少包括用户行为信息;
候选推荐集合筛选模块135,用于按照所述用户画像信息,对存储的各候选推荐集合进行筛选,得到各历史用户标识对应的推荐信息;
当前用户标识获取模块136,用于当确定客户端输出的目标搜索图像,获取当前用户标识;
目标推荐信息搜索模块137,用于搜索与目标搜索图像及所述当前用户标识对应的目标推荐信息;
第一目标推荐信息发送模块138,用于将所述目标推荐信息发送至所述客户端,由所述客户端当前界面呈现所述目标推荐信息。
作为另一可选实施例,该推荐信息获取装置也还可以包括:
业务访问请求接收模块,用于接收客户端发送的业务访问请求;
其中,所述业务访问请求是基于当前用户对客户端当前界面输出信息的访问操作生成的,且所述业务访问请求携带有当前用户标识;
目标搜索图像获取模块,用于基于所述业务访问请求,得到所述客户端当前界面输出信息关联的目标搜索图像;
当前用户画像信息获取模块,用于获取与所述当前用户标识对应的当前用户画像信息;
目标推荐信息筛选模块,用于从所述目标搜索图像关联的候选推荐集合中,筛选所述当前用户画像信息匹配的目标推荐信息;
第二目标推荐信息发送模块,用于将所述目标推荐信息发送至所述客户端,由所述客户端当前界面呈现所述目标推荐信息。
可选的,在上述各实施例的基础上,上述装置还可以包括:
扩展对象识别模块,用于识别所述候选推荐集合中的候选图像包含的扩展对象;
扩展信息获取模块,用于获取与所述扩展对象的对象属性关联的扩展信息;
扩展信息关联模块,用于将所述扩展信息与该候选图像关联,并存储到相应的候选推荐集合。
综上所述,在上述实施例中,业务服务器在线下获取各搜索图像关联的候选推荐集合,这样,当用户通过客户端登录业务服务器时,无需用户输入搜索关键词,业务服务器可以利用用户关注的目标搜索图像,自动从相应的候选推荐集合中筛选相似图像反馈至客户端,不再从整个数据库中进行相似图像筛选,大大降低了图像搜索工作量,提高了向用户客户端反馈推荐信息的效率及准确性。
本发明还提供了一种存储介质的实施例,该存储介质上可以存储有计算机程序,该计算机程序可以被处理器执行,实现由业务服务器执行完成的上述推荐信息获取方法的各步骤,具体可以参照上述方法实施例相应部分的描述。
本发明还提供了另一种存储介质的实施例,该存储介质上可以存储有计算机程序,该计算机程序可以被处理器执行,实现由搜索服务器执行完成的上述推荐信息获取方法的各步骤,具体可以参照上述方法实施例相应部分的描述。
参照图15,本实施例还提供了一种服务器的硬件结构示意图,该服务器可以是业务服务器,也可以是搜索服务器,两者硬件结构类似,本实施例不做分别描述,区别在于两个服务器存储的实现推荐信息获取方法的程序不同,具体如下,该服务器可以包括:通信接口1、存储器2和处理器3;
在本发明实施例中,通信接口1、存储器2、处理器3可以通过通信总线实现相互间的通信,且该通信接口1、存储器2、处理器3及通信总线的数量可以为至少一个。
可选的,通信接口1可以为通信模块的接口,如GSM模块的接口;
处理器3可能是一个中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路。
存储器2可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatilememory),例如至少一个磁盘存储器。
其中,存储器2存储有程序,处理器3调用存储器2所存储的程序,以实现上述应用于计算机设备的对象推荐方法的各步骤。
当程序为第一程序时,第一程序主要用于:
接收业务服务器发送的搜索请求,所述搜索请求指示有业务信息关联的搜索图像;
响应所述搜索请求,提取所述搜索图像的搜索图像特征,所述搜索图像特征包括所述搜索图像的全局图像特征及区域对象特征,所述区域对象特征从所述搜索图像的至少一个图像区域提取;
基于所述搜索图像特征,对图像数据库中的候选图像进行相似度搜索,得到与所述搜索图像关联的候选推荐集合,所述候选推荐集合至少包括至少一个候选图像;
将得到的所述候选推荐集合反馈至所述业务服务器,由所述业务服务器将所述候选推荐集合与所述搜索图像进行关联存储。
当程序为第二程序时,第二程序主要用于:
向搜索服务器发送搜索请求,所述搜索请求指示有业务信息关联的搜索图像;
接收所述搜索服务器响应所述搜索请求反馈的候选推荐集合,所述候选推荐集合至少包括至少一个候选图像,所述候选图像是基于所述搜索图像与图像数据库包含的候选图像的相似度筛选得到的;
对所述候选推荐集合与所述搜索图像进行关联存储。
需要说明,关于上述实施例中第一程序、第二程序能够实现的推荐信息获取方法的其他步骤,可以参照上述方法实施例相应部分的描述,本实施例不做赘述。参照上图2,本实施例还提供了一种推荐信息获取系统,该系统可以包括:客户端21、业务服务器22以及搜索服务器23,其中:
客户端21,用于基于当前用户对客户端当前界面输出信息的访问操作,生成相应业务访问请求,并将生成的业务访问请求发送至所述业务服务器22,接收所述业务服务器22响应所述业务访问请求反馈的目标推荐信息,并呈现在当前界面。
业务服务器22,用于实现上述从业务服务器角度描述的推荐信息获取方法的各步骤;
搜索服务器23,用于实现上述从搜索服务器角度描述的推荐信息获取方法的各步骤;
其中,关于该业务服务器22和搜索服务器23实现推荐信息获取方法的过程,可以参照上述方法实施例相应部分的描述,本实施例不再赘述。
最后,需要说明,本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置、服务器而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的核心思想或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (14)

1.一种推荐信息获取方法,其特征在于,应用于搜索服务器,所述方法包括:
接收业务服务器发送的搜索请求,所述搜索请求指示有业务信息关联的搜索图像;
响应所述搜索请求,提取所述搜索图像的搜索图像特征,所述搜索图像特征包括所述搜索图像的全局图像特征及区域对象特征,所述区域对象特征从所述搜索图像的至少一个图像区域提取,所述全局图像特征为语义级别的特征,所述区域对象特征为物体级别的特征;所述响应所述搜索请求,提取所述搜索图像的搜索图像特征,包括:识别所述搜索图像包含的多个图像区域;从所述搜索图像提取的全局图像特征,并从各图像区域提取对应的区域对象特征;对所述全局图像特征及各区域对象特征进行特征融合,得到搜索图像特征;
基于所述搜索图像特征,对图像数据库中的候选图像进行相似度搜索,得到与所述搜索图像关联的候选推荐集合,所述候选推荐集合至少包括至少一个候选图像,所述候选推荐集合还包括:对所述候选图像分析得到的扩展信息;
将得到的所述候选推荐集合反馈至所述业务服务器,由所述业务服务器将所述候选推荐集合与所述搜索图像进行关联存储。
2.根据权利要求 1 所述的方法,其特征在于,所述基于所述搜索图像特征,对图像数据库中的候选图像进行相似度搜索,得到与所述搜索图像关联的候选推荐集合,包括:利用所述搜索图像特征,构建相应的搜索特征向量;
获取图像数据库中各候选图像对应的候选特征向量;
对所述搜索特征向量与各候选特征向量进行相似度计算;
基于相似度计算结果,生成所述搜索图像的候选推荐集合,其中,候选图像对应的相似度越大,所述候选图像被选到候选推荐集合的概率越大。
3.根据权利要求 2 所述的方法,其特征在于,所述基于相似度计算结果,生成所述搜索图像的候选推荐集合,包括:
按照候选图像对应的相似度大小,从所述图像数据库中筛选出第一数量个候选图像;由所述第一数量个候选图像,构成所述搜索图像的候选推荐集合。
4.根据权利要求 3 所述的方法,其特征在于,所述基于相似度计算结果,生成所述搜索图像的候选推荐集合,还包括:
利用所述第一数量个候选图像分别对应区域对象特征,得到具有所述区域对象特征的扩展对象,所述扩展对象是相应候选图像包含的一对象;
获取与所述扩展对象的对象属性关联的扩展信息;
由所述第一数量个候选图像及相应关联的扩展信息,构成所述搜索图像的候选推荐集合。
5.一种推荐信息获取方法,其特征在于,应用于业务服务器,所述方法包括:
向搜索服务器发送搜索请求,所述搜索请求指示有业务信息关联的搜索图像;
接收所述搜索服务器响应所述搜索请求反馈的候选推荐集合,所述候选推荐集合至少包括至少一个候选图像,所述候选图像是基于所述搜索图像与图像数据库包含的候选图像的相似度筛选得到的,所述候选推荐集合还包括:对所述候选图像分析得到的扩展信息;其中,所述候选推荐集合由所述搜索服务器基于搜索图像特征对图像数据库中的候选图像进行相似度搜索得到,所述搜索图像特征通过对所述搜索图像的全局图像特征及区域对象特征进行特征融合得到,所述全局图像特征为语义级别的特征,所述区域对象特征为物体级别的特征;
对所述候选推荐集合与所述搜索图像进行关联存储。
6.根据权利要求 5 所述的方法,其特征在于,所述方法还包括:
获取各历史用户标识对应的用户画像信息,所述用户画像信息至少包括用户行为信息;
按照所述用户画像信息,对存储的各候选推荐集合进行筛选,得到各历史用户标识对应的推荐信息;
当确定客户端输出的目标搜索图像,获取当前用户标识;
搜索与所述目标搜索图像及所述当前用户标识对应的目标推荐信息;
将所述目标推荐信息发送至所述客户端,由所述客户端当前界面呈现所述目标推荐信息。
7.根据权利要求 5 所述的方法,其特征在于,所述方法还包括:
接收客户端发送的业务访问请求,所述业务访问请求是基于当前用户对客户端当前界面输出信息的访问操作生成的,且所述业务访问请求携带有当前用户标识;
基于所述业务访问请求,得到所述客户端当前界面输出信息关联的目标搜索图像;
获取与所述当前用户标识对应的当前用户画像信息;
从所述目标搜索图像关联的候选推荐集合中,筛选所述当前用户画像信息匹配的目标推荐信息;
将所述目标推荐信息发送至所述客户端,由所述客户端当前界面呈现所述目标推荐信息。
8.根据权利要求 5-7 任意一项所述的方法,其特征在于,所述方法还包括:
识别所述候选推荐集合中的候选图像包含的扩展对象;
获取与所述扩展对象的对象属性关联的扩展信息;
将所述扩展信息与该候选图像关联,并存储到相应的候选推荐集合。
9.根据权利要求 5 所述的方法,其特征在于,所述方法还包括:
接收客户端发送的搜索请求,所述搜索请求是针对所述客户端当前界面输出信息关联的搜索图像生成的,所述客户端当前界面输出信息是所述业务服务器提供的业务信息;或者,
获取搜索触发指令,生成相应的搜索请求,所述搜索触发指令是由所述业务服务器的服务提供者输入的,且所述搜索触发指令包含所述业务服务器提供的业务信息关联的一搜索图像。
10.一种推荐信息获取装置,其特征在于,应用于搜索服务器,所述装置包括:
搜索请求接收模块,用于接收业务服务器针对搜索图像发起的搜索请求,所述搜索图像指示有业务信息关联的搜索图像;
特征提取模块,用于响应所述搜索请求,提取所述搜索图像的搜索图像特征,所述搜索图像特征所述搜索图像的全局图像特征及区域对象特征,所述区域对象特征从所述搜索图像的至少一个图像区域提取,所述全局图像特征为语义级别的特征,所述区域对象特征为物体级别的特征;所述响应所述搜索请求,提取所述搜索图像的搜索图像特征,包括:识别所述搜索图像包含的多个图像区域;从所述搜索图像提取的全局图像特征,并从各图像区域提取对应的区域对象特征;对所述全局图像特征及各区域对象特征进行特征融合,得到搜索图像特征;
相似度搜索模块,用于基于所述搜索图像特征,对图像数据库中的候选图像进行相似度搜索,得到与所述搜索图像关联的候选推荐集合,所述候选推荐集合至少包括至少一个候选图像,所述候选推荐集合还包括:对所述候选图像分析得到的扩展信息;
候选推荐集合发送模块,用于将得到的所述候选推荐集合反馈至所述业务服务器。
11.一种推荐信息获取装置,其特征在于,应用于业务服务器,所述装置包括:
搜索请求发送模块,用于向搜索服务器发送搜索请求,所述搜索请求指示有业务信息关联的搜索图像;
候选推荐集合接收模块,用于接收所述搜索服务器响应所述搜索请求反馈的候选推荐集合,所述候选推荐集合至少包括至少一个候选图像,所述候选图像是基于所述搜索图像与图像数据库包含的候选图像的相似度筛选得到的,所述候选推荐集合还包括:对所述候选图像分析得到的扩展信息;其中,所述候选推荐集合由所述搜索服务器基于搜索图像特征对图像数据库中的候选图像进行相似度搜索得到,所述搜索图像特征通过对所述搜索图像的全局图像特征及区域对象特征进行特征融合得到,所述全局图像特征为语义级别的特征,所述区域对象特征为物体级别的特征;
候选推荐集合存储模块,用于对所述候选推荐集合与所述搜索图像进行关联存储。
12.一种存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行,实现如权利要求 1-4 任意一项所述的推荐信息获取方法,或者实现如权利要求 5-9任意一项所述的推荐信息获取方法。
13.一种服务器,其特征在于,所述服务器包括:
通信接口;
存储器,用于存储实现如权利要求 1-4 任意一项所述的推荐信息获取方法的第一程序,或者用于存储实现如权利要求 5-9 任意一项所述的推荐信息获取方法的第二程序;
处理器,用于加载并执行所述存储器存储的第一程序,实现如权利要求1-4 任意一项所述的推荐信息获取方法的各步骤;或者用于加载并执行所述存储器存储的第二程序,实现如权利要求 5-9 任意一项所述的推荐信息获取方法的各步骤。
14.一种推荐信息获取系统,其特征在于,所述系统包括:
业务服务器,用于实现如权利要求 5-9 任意一项所述的推荐信息获取方法的各步骤;
搜索服务器,用于实现如权利要求 1-4 任意一项所述的推荐信息获取方法的各步骤;
客户端,用于基于当前用户对客户端当前界面输出信息的访问操作,生成相应业务访问请求,并将生成的业务访问请求发送至所述业务服务器,接收所述业务服务器响应所述业务访问请求反馈的目标推荐信息,并呈现在当前界面。
CN201810525326.4A 2018-05-28 2018-05-28 推荐信息获取方法、装置、系统、服务器及存储介质 Active CN108829764B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810525326.4A CN108829764B (zh) 2018-05-28 2018-05-28 推荐信息获取方法、装置、系统、服务器及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810525326.4A CN108829764B (zh) 2018-05-28 2018-05-28 推荐信息获取方法、装置、系统、服务器及存储介质

Publications (2)

Publication Number Publication Date
CN108829764A CN108829764A (zh) 2018-11-16
CN108829764B true CN108829764B (zh) 2021-11-09

Family

ID=64146442

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810525326.4A Active CN108829764B (zh) 2018-05-28 2018-05-28 推荐信息获取方法、装置、系统、服务器及存储介质

Country Status (1)

Country Link
CN (1) CN108829764B (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111291211A (zh) * 2018-11-21 2020-06-16 上海博泰悦臻网络技术服务有限公司 目标关联近期动态推荐及提供方法、系统、终端及介质
CN109508769B (zh) * 2018-11-21 2022-06-28 广州万物信息科技股份有限公司 目标对象监测方法、装置、计算机设备和存储介质
CN110008396B (zh) * 2018-11-28 2023-11-24 创新先进技术有限公司 对象信息推送方法、装置、设备及计算机可读存储介质
CN111325705A (zh) * 2018-11-28 2020-06-23 北京京东尚科信息技术有限公司 图像处理方法、装置、设备及存储介质
CN110232155B (zh) * 2019-05-31 2021-08-24 腾讯科技(深圳)有限公司 浏览器界面的信息推荐方法及电子设备
CN110321935B (zh) * 2019-06-13 2022-03-15 上海上湖信息技术有限公司 业务事件关系确定方法及装置、计算机可读存储介质
CN112131417B (zh) * 2019-06-25 2024-04-02 北京百度网讯科技有限公司 图像标签生成方法及装置
CN110347922B (zh) * 2019-07-08 2023-06-20 上海喜马拉雅科技有限公司 基于相似度的推荐方法、装置、设备和存储介质
CN110489685A (zh) * 2019-08-19 2019-11-22 腾讯科技(武汉)有限公司 一种网页显示方法、系统和相关装置及存储介质
CN110515895B (zh) * 2019-08-30 2023-06-23 北京燕山电子设备厂 大数据存储系统中对数据文件进行关联存储的方法及系统
CN110609833A (zh) * 2019-09-19 2019-12-24 广东小天才科技有限公司 一种书本页码的识别方法、装置、家教机及存储介质
CN110781388A (zh) * 2019-10-12 2020-02-11 微梦创科网络科技(中国)有限公司 针对图像信息的信息推荐方法及装置
CN112700296B (zh) * 2019-10-23 2022-05-27 阿里巴巴集团控股有限公司 业务对象搜索/属性确定方法、装置、系统及设备
CN110795582A (zh) * 2019-10-31 2020-02-14 京东方科技集团股份有限公司 一种图像推荐方法、系统、终端设备及服务器
CN113343013A (zh) * 2019-12-24 2021-09-03 北京旷视科技有限公司 目标对象的确定方法、装置及电子设备
CN111241309B (zh) * 2020-01-07 2021-09-07 腾讯科技(深圳)有限公司 多媒体资源搜索方法、装置及存储介质
CN113286200A (zh) * 2020-02-20 2021-08-20 佛山市云米电器科技有限公司 节目推荐方法、云端服务器、电视机、系统和存储介质
CN111339741B (zh) * 2020-02-26 2021-08-24 腾讯科技(深圳)有限公司 账户申请方法、装置、计算机可读存储介质及电子设备
CN111460185A (zh) * 2020-03-30 2020-07-28 小船出海教育科技(北京)有限公司 书籍搜索方法、装置和系统
CN111523068A (zh) * 2020-03-30 2020-08-11 五八有限公司 页面配置方法、装置、服务器及存储介质
CN111782877B (zh) * 2020-07-06 2023-11-03 聚好看科技股份有限公司 服务器、显示设备及其视频搜索排序方法
CN112084394B (zh) * 2020-09-09 2024-04-23 重庆广播电视大学重庆工商职业学院 基于图像识别的搜索结果推荐方法及装置
CN112766406A (zh) * 2021-01-29 2021-05-07 北京达佳互联信息技术有限公司 物品图像的处理方法、装置、计算机设备及存储介质
CN113010703B (zh) * 2021-03-22 2024-04-12 深圳市雅阅科技有限公司 一种信息推荐方法、装置、电子设备和存储介质
CN113344023A (zh) * 2021-03-25 2021-09-03 苏宁金融科技(南京)有限公司 一种代码推荐方法、装置及系统
CN113343015A (zh) * 2021-05-31 2021-09-03 北京达佳互联信息技术有限公司 图像查询方法、装置、电子设备及计算机可读存储介质
CN113627508B (zh) * 2021-08-03 2022-09-02 北京百度网讯科技有限公司 陈列场景识别方法、装置、设备以及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102411627A (zh) * 2010-12-16 2012-04-11 微软公司 包括面部图像的图像搜索
CN102667777A (zh) * 2009-12-24 2012-09-12 株式会社尼康 检索辅助系统、检索辅助方法以及检索辅助程序
CN105956051A (zh) * 2016-04-26 2016-09-21 乐视控股(北京)有限公司 信息查找的方法、装置及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3673615B2 (ja) * 1997-06-19 2005-07-20 キヤノン株式会社 画像処理装置及びその制御方法
US9244946B2 (en) * 2012-11-26 2016-01-26 International Business Machines Corporation Data mining shape based data

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102667777A (zh) * 2009-12-24 2012-09-12 株式会社尼康 检索辅助系统、检索辅助方法以及检索辅助程序
CN102411627A (zh) * 2010-12-16 2012-04-11 微软公司 包括面部图像的图像搜索
CN105956051A (zh) * 2016-04-26 2016-09-21 乐视控股(北京)有限公司 信息查找的方法、装置及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种基于区域综合特征的图像检索方法;党长青, 姜方正, 牛分中;《计算机工程与应用》;20081231;全文 *

Also Published As

Publication number Publication date
CN108829764A (zh) 2018-11-16

Similar Documents

Publication Publication Date Title
CN108829764B (zh) 推荐信息获取方法、装置、系统、服务器及存储介质
US10832738B2 (en) Computerized system and method for automatically generating high-quality digital content thumbnails from digital video
US10735494B2 (en) Media information presentation method, client, and server
US9678989B2 (en) System and method for use of images with recognition analysis
US9607010B1 (en) Techniques for shape-based search of content
US7542610B2 (en) System and method for use of images with recognition analysis
WO2020048084A1 (zh) 资源推荐方法、装置、计算机设备及计算机可读存储介质
US20200342320A1 (en) Non-binary gender filter
US20110238503A1 (en) System and method for personalized dynamic web content based on photographic data
CN108334632B (zh) 实体推荐方法、装置、计算机设备和计算机可读存储介质
CN106874314B (zh) 信息推荐的方法和装置
JP2012529122A (ja) ユーザーのジャンル及びスタイルを学習すると共に製品をユーザーの好みにマッチングさせるシステム及び方法
KR20200141251A (ko) 사용자 맞춤형 패션 아이템 광고 방법 및 이를 실행하는 서버
KR20220039578A (ko) 사용자 선택 의류를 기반으로 의류 추천 정보를 제공하는 방법, 이를 이용하는 서버 및 프로그램
CN111767420A (zh) 一种生成服饰搭配数据的方法和装置
CN113225580B (zh) 直播数据处理方法、装置、电子设备及介质
CN111447260A (zh) 信息推送、信息发布方法及装置
KR20210131198A (ko) 추천 상품 광고 방법, 장치 및 컴퓨터 프로그램
CN113377970A (zh) 信息的处理方法和装置
CN110781388A (zh) 针对图像信息的信息推荐方法及装置
US20220101407A1 (en) Method for determining a recommended product, electronic apparatus, and non-transitory computer-readable storage medium
CN114596138A (zh) 一种信息推荐方法、装置、计算机设备和存储介质
US20200074218A1 (en) Information processing system, information processing apparatus, and non-transitory computer readable medium
US20230022051A1 (en) Information processing device
CN116629954A (zh) 智能服装搭配方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221207

Address after: 1402, Floor 14, Block A, Haina Baichuan Headquarters Building, No. 6, Baoxing Road, Haibin Community, Xin'an Street, Bao'an District, Shenzhen, Guangdong 518000

Patentee after: Shenzhen Yayue Technology Co.,Ltd.

Address before: 518000 Tencent Building, No. 1 High-tech Zone, Nanshan District, Shenzhen City, Guangdong Province, 35 Floors

Patentee before: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd.