CN110110117A - 一种商品搜索方法、装置以及系统 - Google Patents

Abstract

本申请提供了一种商品搜索方法，该方法包括：服务器接收客户端发送的携带草图的商品搜索请求，将草图输入预先训练的生成模型输出得到仿真图像，再根据仿真图像从商品图库中搜索得到商品图像，并向客户端反馈商品图像。可见，该方法为用户提供的以草图为基础的商品搜索方式，当用户不知道商品名称、商品描述特征等关键字的情况下，可以通过绘制草图以及修改草图的方式，进行渐进式地商品搜索，逐渐搜索得到自己想要的商品。在用户不清楚商品关键字以及没有商品图像的情况下，该方法能够提高商品搜索的精准度，提高用户体验。另外，本申请还提供了一种商品搜索装置以及系统。

Description

一种商品搜索方法、装置以及系统

技术领域

本申请涉及互联网数据处理技术领域，特别涉及一种商品搜索方法、装置及系统。

背景技术

随着互联网的普及以及电子商务的迅速发展，电子商务的应用对人们产生越来越大的作用，其中最为突出的是，人们进行网络购物，网络购物在电子商务中占据机器重要的地位。互联网用户在进行网络购物时比如会先搜索自己想要购买或者感兴趣的商品，并通过电子商务的商品搜索系统得到搜索结果，进而对所搜索到的不同商品进行筛选以及对比，挑选其中最合心意的商品进行购买。

目前许多网站提供了各种搜索引擎，用户可以在网页中输入所需商品的相关关键字，搜索引擎会根据该关键字给用户反馈搜索结果。但这种搜索方式要求用户必须知道商品的相关关键字，如商品名称、特性等关键字。但有些商品特征是无法用关键字的方式准确描述，比如，形状、颜色位置等，这就导致用户搜不到自己想要的商品。而且，在很多情况下，用户仅看到某款商品，知道该商品的外观但并不知道该商品的相关关键字，则很难通过关键字搜索得到自己想要的商品。

基于此，目前急需一种商品搜索方法，适应于用户不知道商品名称、商品描述特征等关键字的情况下，方便用户进行商品搜索，快速得到想要搜索得到的商品，提高商品搜索的结果的准确度，给进行商品搜索的用户带来更好的体验。

发明内容

为了解决上述技术问题，本申请提供了一种商品搜索方法，该方法通过客户端接收用户输入的草图，生成携带草图的商品搜索请求并向服务器发送该商品搜索请求，服务器利用预先训练的生成模型对草图进行学习生成对应的仿真图像，再根据仿真图像进行商品搜索，从而快速得到想要搜索的商品，提高商品搜索的结果的准确度，给用户带来更好的使用体验。

另外，为保证上述方法在实际中的实现与应用，本申请还提供了一种商品搜索装置以及系统。

本申请提供的技术方案具体如下：

在本申请第一方面提供了一种商品搜索系统，该系统包括：

客户端，用于接收用户输入的草图，向服务器发送携带所述草图的商品搜索请求，所述商品搜索请求用于请求服务器利用预先训练的生成模型对所述草图进行学习生成对应的仿真图像，再根据所述仿真图像进行商品搜索；

服务器，用于响应所述商品搜索请求，将所述草图输入预先训练的生成模型输出得到所述仿真图像，根据所述仿真图像从商品图库中搜索得到商品图像，向所述客户端反馈所述商品图像。

在本申请第二方面提供一种商品搜索方法，应用于服务器，该方法包括：

接收客户端发送的携带草图的商品搜索请求；

将所述草图输入预先训练的生成模型输出得到仿真图像；

根据所述仿真图像从商品图库中搜索得到商品图像，并向客户端反馈所述商品图像。

在本申请的第三方面提供了一种商品搜索装置，应用于服务器，该装置包括：

接收模块，用于接收客户端发送的携带草图的商品搜索请求；

草图处理模块，用于将所述草图输入预先训练的生成模型输出得到仿真图像；

搜索反馈模块，用于根据所述仿真图像从商品图库中搜索得到商品图像，并向客户端反馈所述商品图像。

在本申请的第四方面提供了一种商品搜索方法，应用于客户端，所述方法包括：

接收用户输入的草图；

向服务器发送携带所述草图的商品搜索请求，所述商品搜索请求用于请求所述服务器利用预先训练的生成模型对所述草图进行学习生成仿真图像，并根据所述仿真图像进行商品搜索；

接收并显示所述服务器反馈的商品图像。

在本申请第五方面提供了一种商品搜索装置，应用于客户端，该装置包括：

接收模块，用于接收用户输入的草图；

请求模块，用于向服务器发送携带所述草图的商品搜索请求，所述商品搜索请求用于请求所述服务器利用预先训练的生成模型对所述草图进行学习生成仿真图像，并根据所述仿真图像进行商品搜索；

显示模块，用于接收并显示所述服务器反馈的商品图像。

在本申请的第六方面提供了一种商品搜索方法，应用于客户端，该方法包括：

接收用户输入的草图；

将所述草图输入预先训练的生成模型输出得到仿真图像；

向服务器发送携带所述仿真图像的商品搜索请求，所述商品搜索请求用于请求服务器根据所述仿真图像从商品图库中搜索得到商品图像；

接收并显示服务器反馈的商品图像。

在本申请第七方面提供了一种商品搜索装置，应用于客户端，该装置包括：

接收模块，用于接收用户输入的草图；

生成模块，用于将所述草图输入预先训练的生成模型输出得到仿真图像；

请求模块，用于向服务器发送携带所述仿真图像的商品搜索请求，所述商品搜索请求用于请求服务器根据所述仿真图像从商品图库中搜索得到商品图像；

显示模块，用于接收并显示服务器反馈的商品图像。

在本申请第八方面提供一种商品搜索系统，该系统包括：

客户端，用于接收用户输入的草图；将所述草图输入预先训练的生成模型输出得到仿真图像；向服务器发送携带所述仿真图像的商品搜索请求，所述商品搜索请求用于请求服务器根据所述仿真图像从商品图库中搜索得到商品图像；接收并显示服务器反馈的商品图像；

服务器，用于响应所述客户端的商品搜索请求，根据所述仿真图像从商品图库中搜索得到商品图像，向所述客户端反馈所述商品图像。

在本申请第九方面提供一种生成模型训练方法，该方法包括：

获取训练集，所述训练集包括：具有配对关系的草图样本集和商品图像样本集，所述草图样本集中的草图与所述商品图像样本集中的商品图像具有匹配关系；

对所述训练集进行机器学习得到生成模型，所述生成模型用于商品搜索。

在本申请第十方面提供一种生成模型训练装置，该装置包括：

训练集获取模块，用于获取训练集，所述训练集包括：具有配对关系的草图样本集和商品图像样本集，所述草图样本集中的草图与所述商品图像样本集中的商品图像具有匹配关系；

训练模块，用于对所述训练集进行机器学习得到生成模型，所述生成模型用于商品搜索。

与现有技术相比，本申请包括以下优点：

在本申请提供的技术方案中，通过服务器和客户端的网络构架为用户提供的通过绘制草图的方式进行商品搜索，尤其是，可以通过渐进式修改草图的方式进行多次搜索，以逐渐搜索得到想要的商品。其中，用户通过客户端向服务器发送携带草图的商品搜索请求，以请求服务器利用生成模型对该草图进行学习得到仿真图像，进而利用仿真图像进行商品搜索，服务器响应该商品搜索请求，将搜索得到的商品图像反馈给客户端。基于此，用户在不知道商品名称、商品描述特征等关键字的情况下，就可以通过绘制草图的这种可渐进式的搜索方式进行商品搜索，逐渐搜索得到自己想要的商品，该方法与传统的搜索方法所不同，提出了新型的商品搜索方式，提高了商品搜索的准确度，提高了用户体验。

当然，实施本申请的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请在实际应用中的场景示例图；

图2是本申请实施例提供的一种商品搜索系统的结构图；

图3是本申请实施例提供的一种搜索界面示意图；

图4是本申请实施例提供的一种商品搜索方法的流程图；

图5是本申请实施例提供的用户搜索商品过程的界面交互示意图；

图6是本申请实施例提供的一种商品搜索装置的结构图；

图7是本申请实施例提供的另一种商品搜索方法流程图；

图8是本申请实施例提供的渐进式交互过程示意图；

图9是本申请实施例提供的另一种商品搜索装置的结构图；

图10是本申请实施例提供的一种生成模型训练方法的流程图；

图11是本申请实施例提供的一种生成模型训练装置的结构图；

图12是本申请实施例提供的另一种搜索方法的流程图；

图13是本申请实施例提供的另一种商品搜索装置的结构图；

图14是本申请实施例提供的另一种商品搜索系统的结构图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为了便于理解本申请提供的技术方案，下面先对本申请技术方案的研究背景进行简单说明。

发明人对传统的商品搜索技术进行研究发现，传统商品搜索系统主要提供两种搜索方式；其中，一种搜索方式是关键字搜索，基于关键字搜索时，用户需要知道商品名称、商品特性等关键字，然后输入商品的这些关键字进行搜索，进而可以得到与这些关键字匹配的商品；但在实际应用中，当用户不清楚商品的这些关键字时，或者商品的某些特性很难用关键字来准确描述时，用户无法通过关键字搜索的方式快速搜索得到自己想要的商品。例如，用户想要搜索一款红色鞋面、两边分别有1cm白边的运动鞋，若通过关键字搜索，也只能搜索到大量的红色运动鞋，很难精准地搜索到自己想要的商品。另一种搜索方式是以图搜图方式，基于以图搜图的方式，用户需要输入一张包含商品的图像，然后，利用以图搜图搜索引擎根据该图像进行图像搜索得到与该图像中的商品相似的商品图；但在实际应用中，大部分时候用户并无法得到上述包含商品的图像，无法通过以图搜图的方式进行搜索，或者，当上述包含商品的图像不清晰时，也无法通过以图搜图方式得到想要的商品。传统的这两种搜索方式在以上情况下，其搜索结果不精准，搜索效率不高。

基于此，发明人经过研究提出了本申请的技术方案，具体的，通过客户端/服务器的网络构架为用户提供基于草图的新型搜索方式，由客户端为用户提供草图绘制界面，用户基于该草图绘制界面绘制草图并通过该草图进行商品搜索，利用客户端向服务器发送携带草图的商品搜索请求，服务器利用预先训练的生成模型对草图进行学习生成仿真图像，再根据仿真图像进行商品搜索得到商品图像，并向客户端反馈搜索得到的商品图像；若用户对第一次反馈的搜索结果不满意，用户还可以对草图修改再进行搜索，通过多次修改草图以及多次搜索以最终搜索得到自己想要的商品，以此提高商品搜索的精准度，提高用户的商品搜索体验。

为了便于本领域技术人员理解本申请，下面结合实际应用场景对本申请在实际中的应用情况作解释说明。

参见图1，其示出了本申请在实际应用中的场景示例图，在该场景下，通过服务器与客户端的网络构架方式来实现本申请的技术方案，具体的，本申请提供的商品搜索方法应用于服务器101中，从软件实现角度来讲，服务器101能够为多个客户端102同时提供商品搜索的数据支持；从硬件实现角度来讲，服务器101可以是独立部署的计算设备，也可以通过集群技术部署集群服务器。从软件实现角度来讲，客户端102可以是独立的应用程序，也可以是一些应用程序中的功能模块。从硬件实现角度来讲，该客户端102可以以APP或者浏览器的形式装载于用户终端中，用户使用用户终端运行客户端102以实现其功能，其中，用户终端可以是智能手机、笔记本、计算机等计算设备。

在实际应用中，用户通过客户端102提供的草图绘制界面绘制草图，然后通过客户端102向服务器101发送携带该草图的商品搜索请求，然后，服务器101根据该商品搜索请求，将草图输入预先训练的生成模型输出得到仿真图像，然后在根据该仿真图像从商品图库中搜索得到商品图像，并向客户端反馈该商品图像；客户端102接收并为用户显示该商品图像，从而方便用户根据商品图像选择自己感兴趣的商品。

如图1中所示，用户绘制了一顶帽子的草图，基于该草图进行商品搜索即可搜索得到相关的帽子商品；如果用户对此次搜索结果不满意，还可以对草图进行进一步修改，并利用修改后的草图作进一步的搜索；如图1中所示，用户对第一次绘制的草图进行修改，例如：在顶部添加黑色颜色，添加了透气孔等；对于服务器101而言，服务器101同样按照上述方式响应接收到的商品搜索请求，再根据修改后的草图学习到对应的仿真图像，再利用该仿真图像进行搜索，向客户端102再反馈搜索到的商品图像；用户若对第二次搜索的结果还不满意，则可以再一次修改草图，再次进行商品搜索，就这样，用户可以通过渐进式地修改草图地交互方式，逐渐地搜索得到自己想要的商品。

另外，为了方便用户快速搜索得到自己想要的商品，服务器101在向客户端102反馈仿真图像时，可以一并反馈服务器在利用该仿真图像进行商品搜索时，与该仿真图像相关的商品的相关属性(如品牌、材质、款式、风格等等)，将商品的相关属性一并反馈给客户端102，以便客户端102为用户显示仿真图像时，一并显示可供用户选择的商品的相关属性，基于此，用户可以修改草图，在修改草图时，可以选定商品属性，则客户端102再次向服务器发送修改后的草图以及用户选定的商品属性，以使服务器101再根据用户选定的商品属性以及修改后的草图作商品搜索。当然，用户也可以仅修改草图，而不选定商品属性，则客户端102仅向服务器101发送修改后的草图，以使服务器101根据修改后的草图进行商品搜索。可见，用户在渐进式搜索时，可以通过修改草图以及选定商品属性的方式逐渐确定自己的搜索意图，尽快搜索得到自己想要的商品。

可见，利用本申请提供的商品搜索方法，用户在不知道商品具体名称、描述特征的关键字的情况下，或者，在没有具体的商品图像的情况下，用户可以通过手绘草图并且可以通过不断修改草图细节的方式，逐渐搜索得到自己想要的商品，该方法为用户提供了这种以草图为基准的渐进式搜索方式，用户通过这种渐进式搜索方式，能够逐渐明晰自己想要的商品细节，进而能够得到自己想要的商品。

为了适应于上述应用场景，本申请实施例提供了一种商品搜索系统，下面结合图2对该系统进行介绍。

参见图2，其示出了本申请实施例提供的一种商品搜索系统的结构图，该系统包括：

客户端201，用于接收用户输入的草图，向服务器发送携带所述草图的商品搜索请求，所述商品搜索请求用于请求服务器利用预先训练的生成模型对所述草图进行学习生成对应的仿真图像，再根据所述仿真图像进行商品搜索；优选的，关于客户端的具体实现可以参见下文图6所示方法实施例的描述，此次暂不详述。

为了便于用户操作，该客户端201可以用于通过搜索框为用户提供手绘草图的输入控件，响应于用户触发所述输入控件的操作，显示草图绘制界面。

举例说明，参见图3，其示出了一种搜索界面示意图，如图3所示，在搜索框内设置有一个关于手绘草图的输入控件，当用户想要通过草图进行商品搜索时，可以点击该输入控件，则客户端响应于用户的点击操作为用户显示草图绘制界面，用户进而在该草图绘制界面上绘制草图。

为了兼容传统搜索框的搜索功能，兼容用户传统搜索习惯，该搜索框也还可以承载关键字搜索功能(如图3A中所示的文本控件)，以及，还可以承载有以图搜图功能(如图3A中所示的照相机控件)。

假设，用户看到路人带了一顶帽子非常漂亮，但用户并不知道这顶帽子的品牌、名称等关键字，也没有这顶帽子的照片，此时，用户想要搜索这顶帽子的商品时，利用本申请实施例的客户端，在用户终端上运行该客户端，在搜索框中点击绘制草图的输入控件，客户端显示草图绘制界面(如图3B所示)，然后用户在草图绘制界面上根据自己对这顶帽子的记忆，绘制出这顶帽子的草图，然后再以该草图为基准进行商品搜索(如图3C所示)。在本申请实施例中，客户端也可以通过与其他客户端通信的方式，来获得用户输入的草图。

服务器202，用于响应所述商品搜索请求，将所述草图输入预先训练的生成模型输出得到所述仿真图像，根据所述仿真图像从商品图库中搜索得到商品图像，向所述客户端反馈所述商品图像。优选的，该服务器的具体实现可以参见下文图4所示方法实施例的描述，此处暂不详述。

在实际应用中，该服务器202中可以预先内置有生成模型，该生成模型是以配对的草图样本集和商品图像样本集作为训练集，采用机器学习方法对所述训练集进行学习得到的从输入图像到输出图像之间的映射关系。

本申请实施例提供的商品搜索系统，通过服务器与客户端的网络架构，为用户提供了通过绘制草图的方式进行商品搜索，该方式与传统的基于关键字和以图搜图方式所不同，无需用户输入关键字，无需用户输入包含商品的图像，该方式是利用预先建立的生成模型学习用户绘制的草图，以得到一个接近真实商品的仿真图像，该仿真图像能够表征用户想要的商品的特征，基于该仿真图像进行商品搜索能够提高商品搜索的准确度，以此提高用户的商品搜索体验。

以上是对本申请实施例提供的一种商品搜索系统进行了说明,下面对本申请实施例提供的一种商品搜索方法进行介绍。

参见图4，其示出了本申请实施例提供的一种商品搜索方法的流程图，该方法可以应用于服务器中，包括以下步骤：

S401、接收客户端发送的携带草图的商品搜索请求；

在本申请实施例中，客户端发送的该商品搜索请求与基于关键字的商品搜索请求不相同，并且与基于以图搜图的商品搜索请求也不相同。其中，基于关键字的商品搜索请求中携带有商品的关键字，例如必须携带商品名称、商品特征属性等关键字；而且，服务器针对这种请求的响应方式是，从请求中解析出关键字，通过关键字匹配的方式直接从商品库中搜索相匹配的商品。其中，基于以图搜图的商品搜索请求中携带有用户输入的包含商品的图像；而且，服务器针对这种情况的响应方式是，从请求中解析出包含商品的图像，然后基于图像匹配算法从商品库中搜索相匹配的商品。

在本申请实施例中，客户端发送的该商品搜索请求中携带有用户输入的草图，这是一种新型的搜索请求，客户端向服务器发送该请求，是为了请求服务器对该草图进行学习得到仿真图像，再利用仿真图像进行商品搜索。

为了同时兼容基于关键字的搜索方式和基于以图搜图的搜索方式，在本申请实施例中针对商品搜索请求的具体实现还提供以下可选的实现方式，具体的，在商品搜索请求中携带版本号，通过不同的版本号标识不同的搜索方式，例如，版本号为0，则商品搜索请求为基于关键字的搜索请求；版本号为1，则商品搜索请求为基于以图搜图的搜索请求；而版本号为2时，在商品搜索请求为上述步骤401中的携带草图的商品搜索请求，这样，服务器接收到商品搜索请求之后，可以先识别版本号，进而决定采用哪种方式进行搜索。

服务器接收到客户端发送的携带草图的商品搜索请求之后，就按照步骤402和403进行处理。

S402、将所述草图输入预先训练的生成模型输出得到仿真图像；

在本申请实施例中，服务器中可以内置有预先训练的生成模型，该生成模型是以配对的草图样本集合商品图像样本集作为训练集，采用机器学习方法对训练集进行学习得到的从输入图像到输出图像之间的映射关系。具体的，该生成模型可以采用以下任意一种概率生成模型的形式：

深度卷积生成对抗网络模型(Deep Convolution Generative AdversarialNetwork,DGAN)、变分自动编码模型、包含限制Boltzamann机的概率模型、随机神经网络、或者自回归模型。

在本申请实施例中，服务器可以调用该生成模型，将接收到的草图输入该生成模型，该生成模型处理后输出对应的仿真图像，该仿真图像可以理解为是接近真实事物的逼真图像，即，该仿真图像是接近于真实商品的生成图像，但并不是真实商品图像，服务器生成仿真图像的目的是为了更准确地进行商品搜索。

S403、根据所述仿真图像从商品图库中搜索得到商品图像，并向客户端反馈所述商品图像；

在本申请实施例中，服务器以仿真图像作为搜索因子，从商品图库中搜索与该搜索因子匹配的商品图像，然后向客户端反馈搜索结果，使得客户端为用户展示搜索结果。其中，商品图库是用于存储商品图像的数据库，其中商品图像是包含商品主体的图像。当然，该商品图库中也还可以包含商品的一些基本信息，如商品名称、商品描述、商品属性等信息。

服务器利用该仿真图像从商品图库中搜索得到商品图像，具体的，服务器可以采用图像匹配算法，计算该仿真图像与商品图像之间的图像相似度，并将图像相似度高于预设阈值的商品图像作为搜索结果反馈给客户端。为了提高服务器的搜索效率，服务器还可以通过以图搜图引擎，从商品图库中搜索商品图像。

下面结合一个实例对上述方法进行说明。

参见图5，其示出了本申请实施例提供的用户搜索商品图像的交互过程示意图，用户利用用户终端运行客户端，在客户端上输入草图如图5所示的手绘帽子，触发搜索操作，客户端向服务器发送携带改草图的商品搜索请求，服务器利用生成模型对该手绘帽子图像进行处理生成仿真图像，进而利用该仿真图像从商品图库中搜索得到商品图像，将搜索结果反馈给客户端，通过客户端向用户显示搜索结果。

在实际应用中，若用户手绘技术较好，绘制一次草图，通过一次搜索可能就搜索得到自己想要的商品。但考虑到在实际应用中，由于草图一般都仅表达事物的基本意向和概念，通常不够精细，因此，用户绘制一次草图，进行一次搜索得到的搜索结果可能也不满意，基于此，本申请实施例还提供了可选的实现方式，具体的，在上述方法的基础上还可以增加如下步骤：

在输出得到仿真图像之后，向客户端反馈仿真图像，以使客户端为用户显示仿真图像，以供用户根据仿真图像对草图进行修改。

服务器向客户端反馈生成的仿真图像，通过客户端向用户显示该仿真图像，用户通过该仿真图像可以了解到服务器对草图的学习情况，从而针对性地对草图进行适应性修改，使得搜索结果更符合用户期望。

若用户对草图进行修改，则客户端再向服务器发送携带修改后的草图的商品搜索请求，服务器再按照上述步骤402和403响应该商品搜索请求，对于用户而言，可以通过多次修改草图的方式，渐进式地搜索得到自己想要的商品。

为了引导用户快速定位自己的搜索意图，提高搜索效率，则服务器在向客户端反馈仿真图像时，还反馈可供用户选择的商品相关属性，以使客户端为用户显示仿真图像和可供用户选择的商品相关属性，以供用户根据该仿真图像对草图进行修改，并选择商品属性。

其中，可供用户选择的商品相关属性具体是服务器在利用该仿真图像进行搜索时，所搜索得到的与该仿真图像相关的商品所具有的一些商品属性。

用户在进行一次搜索之后，若对搜索结果不满意，则可以根据仿真图像对草图作进一步修改，而且在此基础上，用户还可以指定商品的一些属性，以通过修改后的草图和指定的商品属性来表征自己的搜索意图，则客户端根据用户的操作，向服务器反馈修改后的草图以及用户选定的商品属性，使服务器根据修改后的草图以及用户选定的商品属性进行商品搜索。

具体的，服务器可以先采用上述步骤S402和S403利用修改后的草图对应的仿真图像从商品库中搜索得到初次搜索结果，然后再在该初次搜索结果中筛选出具有用户指定属性的商品，将筛选出的商品作为最终搜索结果反馈给客户端；或者，服务器也可以先根据用户指定属性从商品图库中筛选出具有用户指定属性的商品作为初次搜索结果，然后再采用上述步骤S402和S403，利用修改后的草图对应的仿真图像从初次搜索结果中搜索商品，将搜索得到的商品作为最终搜索结果，反馈给客户端。

在实际应用中，用户在客户端上看到可选的商品相关属性，用户可以指定商品属性，也可以不指定，而仅仅是对草图作修改，此时，客户端仅向服务器发送修改后的草图，以使服务器利用修改后的草图进行修改。

利用本申请实施例提供的商品搜索方法，服务器为客户端提供了基于草图的渐进式搜索服务，服务器根据客户端发送的携带草图的商品搜索请求，利用预设建立的生成图像对草图进行学习得到仿真图像，以仿真图像为基准进行商品搜索，通过客户端为用户反馈搜索结果，该方法提供一种新型的搜索方式，该搜索方式方便用户在没有商品关键字，没有商品图像的情况下，能够通过手绘草图搜索到自己想要的商品。

与上述图4所示方法相对应的，参见图6，其示出了本申请实施例提供的一种商品搜索装置的结构图，该装置600包括：

接收模块601，用于接收客户端发送的携带草图的商品搜索请求；

草图处理模块602，用于将所述草图输入预先训练的生成模型输出得到仿真图像；

搜索反馈模块603，用于根据所述仿真图像从商品图库中搜索得到商品图像，并向客户端反馈所述商品图像。

需要说明的是，上述装置600的各个功能模块的具体实现可以参见上文图4所示方法实施例的实现，此处不再赘述。

以上方法实施例描述了服务器侧的商品搜索方法，与上述方法相对应的本申请实施例还提供了另一种商品搜索方法。

参见图7，其示出了本申请实施例提供的另一种商品搜索方法的流程图，该方法应用于客户端，包括以下步骤：

S701、接收用户输入的草图；

在本申请实施例中，客户端可以为用户显示草图绘制界面，然后接受用户通过该草图绘制界面所绘制的草图；具体的，客户端可以在搜索框中显示手绘草图的输入控件，用户点击该输入控件，客户端响应于用户触发输入控件的操作，然后再为用户显示该草图绘制界面。如图3所示，用户基于该草图绘制界面，绘制自己想要的商品的草图，绘制完成后，点击确认控件，则客户端接收到该用户上传的草图。客户端可以保存该草图，以便于用户后续查看和修改该草图。

在实际商品搜索过程中，用户可能对第一次搜索的结果不太满意，用户还可以基于该草图绘制界面继续对该草图进行修改，不断的完善草图，使得草图更接近自己想要的商品，进而利用修改后的草图进行商品搜索，则客户端还可以响应用户对草图的修改操作，向所述服务器发送携带修改后的草图的商品搜索请求，以请求服务器利用所述生成模型对所述修改后的草图进行处理生成第二仿真图像，再根据所述第二仿真图像进行商品搜索。

用户可以通过对草图的多次修改，以触发多次搜索，通过这种渐进式地交互方式，由客户端和服务器多次交互搜索，逐渐搜索得到自己想要的商品。

S702、向服务器发送携带草图的商品搜索请求，所述商品搜索请求用于请求服务器利用预先训练的生成模型对所述草图进行学习生成仿真图像，并根据仿真图像进行商品搜索；

在本申请实施例中，客户端接收到用户输入的草图，并响应用户触发的搜索操作，生成携带该草图的商品搜索请求，向服务器发送该请求，通过该请求以请求服务器进行商品搜索。

服务器接收到客户端的该请求之后，利用生成模型对草图进行学习生成对应的仿真图像，然后利用该仿真图像进行商品搜索，并将搜索结果反馈给客户端，其中，关于服务器的具体实现过程可以参见上文图3所示方法实施例的描述。如上文所述，在实际商品搜索过程中，用户对当前的搜索结果可能不满意，用户可以通过修改草图的方式继续进行搜索，为了避免用户盲目进行修改而造成不必要的搜索，服务器可以将根据草图训练生成的仿真图像反馈给客户端，使得用户根据仿真图像对草图进行有针对性的修改，则客户端还可以接收并显示服务器反馈的仿真图像，以供用户根据仿真图像对草图进行修改。或者，服务器在向客户端反馈仿真图像时，还可以向客户端反馈可供用户选择的商品相关属性，则客户端为用户显示仿真图像以及可供用户选择的商品相关属性，用户基于此可以对草图进行适应性修改，同时也可以选定商品属性，以进一步确定搜索意图，尽快搜索得到想要的商品。

这样，用户在需要修改草图时，可以参照仿真图像了解草图与实际商品图像之间的耦合情况，进而对草图进行适应性修改，使得草图更逼近实际商品图像。为了便于理解，下面结合图8进行示例性说明。

参见图8，其示出了本申请实施例提供的一种渐进式交互过程的示意图，该示意图的场景是，用户绘制草图进行一次搜索之后，对搜索结果并不满意，用户可以对草图进行修改，再利用修改后的草图进行搜索，通过这种渐进式修改草图的方式，逐渐搜索得到自己想要的商品；例如，用户先绘制的一个帽子A的草图，然后，查看到搜索结果并不满意，用户可以根据该帽子A对应的仿真图像A’对帽子A作进一步修改，例如，用户将帽子A两侧添加颜色黑色生成修改后的草图A1，修改后再触发确定控件以触发下一次搜索，客户端再根据修改后的草图A1向服务器发送携带修改后的草图A1的商品搜索请求，服务器再根据该请求进行搜索，进而反馈搜索结果，对于用户而言，若此次搜索结果中包含自己想要的商品，则停止搜索，若此次搜索结果中不包含自己想要的商品，则用户可以再对草图A1进行修改，对草图细节作进一步完善，从而再触发下一次搜索操作，由客户端再请求服务器进行下一次搜索，直到搜索到自己想要的商品为止。可见，这种渐进式交互方式，便于用户通过绘制草图以及不断修改草图细节的方式，逐渐地搜索得到自己想要的商品，能够提高用户的搜索交互体验，提高商品搜索结果的精准度。

利用本申请实施例提供的商品搜索方法，通过客户端为用户提供了通过绘制草图的方式进行商品搜索的通道，基于草图的搜索方式，方便用户通过渐进式交互方式，不断修改草图，使得草图更接近自己想要的商品，从而提高商品搜索的精准度，尤其在用户不清楚商品名称等关键字以及用户没有商品图像的情况下，利用该方法用户可以快速地搜索得到自己想要的商品。

与上述图7所示方法相对应的，参见图9，其示出了本申请实施例提供的另一种商品搜索装置的结构图，该装置900包括：

接收模块901，用于接收用户输入的草图；

请求模块902，用于向服务器发送携带所述草图的商品搜索请求，所述商品搜索请求用于请求所述服务器利用预先训练的生成模型对所述草图进行学习生成仿真图像，并根据所述仿真图像进行商品搜索；

显示模块903，用于接收并显示所述服务器反馈的商品图像。

需要说明的是，上述装置900的各个功能模块的具体实现可以参见上文图7所示方法实施例的实现，此处不再赘述。

在上述方法实施例中，为了提高搜索精准度，服务器需要利用生成模型先对草图进行学习以生成仿真图像，基于该仿真图像进行搜索能够提高搜索精准度。基于此，本申请实施例还提供了一种生成模型的训练方法，下面结合图10对该方法进行说明。

参见图10，其示出了本申请实施例提供的一种生成模型训练方法的流程图，该方法包括以下步骤：

S1001、获取训练集，所述训练集包括：具有配对关系的草图样本集和商品图像样本集，所述草图样本集中的草图与所述商品图像样本集中的商品图像具有匹配关系；

在本申请实施例中，草图样本集包含大量的手绘草图，该手绘草图是基于实际的商品图像而绘制的，一个手绘草图对应一个商品图像，即该手绘草图与商品图像相匹配；商品图像样本集包含大量的商品图像，其中，每个商品图像都能够与草图样本集中的一个手绘草图相匹配。

S1002、对所述训练集进行机器学习得到生成模型，所述生成模型用于商品搜索；

在本申请实施例中，可以基于深度卷积生成网络对抗模型、变分自动编码模型或自回归模型，训练得到生成模型，该生成模型最终用于商品搜索过程中。为了便于理解该生成模型，下面仅以深度卷积生成网络对抗(DCGAN)模型为例对该生成模型的训练过程进行说明。

基于DCGAN的生成模型可以理解为一个样本生成器，其功能是根据输入的一组向量，通过向量空间映射变化，生成一个逼真的样本，即输出一个接近真实事物的样本，在本申请中称为仿真图像。

通过DCGAN算法对训练集中的样本进行训练得到生成模型，该生成模型实际上是通过对样本学习得到的从从均匀向量空间Z到真实图像空间I^R的近似映射关系G：z->I；这样，在均匀向量空间Z上的轻微扰动通过映射关系G尽可能对应到真实图像空间的图像上；该生成模型具有根据一个图像生成尽可能真实的另一图像的功能。DCGAN算法主要是通过训练集训练得到两个网络，一个是生成图片的网络G，即生成模型，它用于接收一个图片，通过该图片生成一个逼真图片，记作G(z)；另一个是判别网络，其用于判别一张图像是不是真实的，它的输入是一个图片x，输出是一个概率D(x)，输出D(x)代表x为真实图片的概率，如果为1，就代表100％是真实的图片，而输出为0，就代表不可能是真实的图片。在训练过程中，生成网络G的目标就是尽量生成真实的图片去欺骗判别网络D。而判别网络D的目标就是尽量把G生成的图片和真实的图片区分开。这样，G和D构成了一个动态的“博弈过程”。经过大量的样本训练之后，最终训练的目的是得到G可以生成足以以假乱真的仿真图片G(z)；而对判别网络D而言，它难以判别仿真图片G(z)是否是真实的，因此D(G(z))＝0.5。这样，训练得到的生成网络G就是本申请实施例所描述的生成模型,用于在商品搜索过程中根据草图生成对应的仿真图像。

与上述图10所示方法相对应的，本申请实施例还提供了一种生成模型的训练装置，下面结合图11对该装置进行解释说明。

参见图11，其示出了本申请实施例提供的一种生成模型训练装置的结构图，该装置1100包括：

训练集获取模块1101，用于获取训练集，所述训练集包括：具有配对关系的草图样本集和商品图像样本集，所述草图样本集中的草图与所述商品图像样本集中的商品图像具有匹配关系；

训练模块1102，用于对所述训练集进行机器学习得到生成模型，所述生成模型用于商品搜索。

需要说明的是，上述装置1100的各个功能模块的具体实现可以参见上文图10所示方法实施例的实现，此处不再赘述。

通过上述装置训练得到的生成模型可以应用于服务器中，如上文方法实施例描述的，服务器中预先配置该生成模型，然后在实际商品搜索过程中，利用该生成模型对草图进行学习得到仿真图像，再利用该仿真图像进行处理。该生成模型也可以应用于客户端中，下文将给出具体实施例对生成模型应用于客户端中的方案进行说明。

参见图12，其示出了本申请实施例提供的又一种商品搜索方法的流程图，该方法应用于客户端，包括以下步骤：

S1201、接收用户输入的草图；

关于该步骤的实现可以参见上文图7所示的步骤701，此处不再赘述。

S1202、将所述草图输入预先训练的生成模型输出得到仿真图像；

S1203、向服务器发送携带所述仿真图像的商品搜索请求，所述商品搜索请求用于请求服务器根据所述仿真图像从商品图库中搜索得到商品图像；

与上述图7所示方法实施例所不同的是，在本实施例中，客户端接收到用户输入的草图之后，需要先调用预先训练的生成模型，利用该生成模型生成逼近真实商品图像的仿真图像，然后基于该仿真图像生成包含该仿真图像的商品搜索请求，以请求服务器直接根据该仿真图像进行商品搜索。其中，服务器可以以图搜图搜索引擎从商品图库中搜索得到商品图像，并将搜索到的商品图像反馈给客户端；服务器也可以采用其他搜索方式进行搜索。具体的，关于服务器实现过程可以参见上述图3所示方法实施例的相关描述，此次不再赘述。

S1204、接收并显示服务器反馈的商品图像。

客户端接收到服务器根据仿真图像搜索到的商品图像，并为用户显示该商品图像，以供用户从这些商品图像中选中自己想要的商品。若用户对此次搜索结果并不满意，用户还可以对上传的草图进行修改，进而触发客户端再对接收到用户修改后的草图进行处理生成对应的仿真图像，客户端再按照上述步骤S1203和S1204，用户可以通过多次修改草图的方式，触发客户端通过这种渐进式搜索方式，为用户搜索得到用户想要的商品。

可选的，所述方法还可以包括：

显示草图绘制界面；

则所述接收用户输入的草图具体为：接收用户通过所述草图绘制界面绘制的草图。

可选的，所述方法还可以包括：

在搜索框中显示手绘草图的输入控件，响应于用户触发所述输入控件的操作，再执行步骤：显示草图绘制界面。

可选的，所述方法还可以包括：

显示所述仿真图像和可供用户选择的商品相关属性，以供用户根据所述仿真图像对所述草图进行修改，并选择商品属性。

关于上述可选的实现方式，可以参见上文图4所示方法实施例中的相关描述，此处不再赘述。

利用上述本申请实施例的方法，客户端接收到用户输入的草图之后，直接利用生成模型对草图进行处理生成仿真图像，利用该仿真图像生成商品搜索请求，以请求服务器进行商品搜索；该方法简化了服务器侧的处理过程，能够提高服务器的搜索效率。

与上述图12所示方法相对应的，本申请实施例还提供对应的装置，参见图13，其示出了本申请实施例提供的又一种商品搜索装置的结构图，该装置1300包括：

接收模块1301，用于接收用户输入的草图；

生成模块1302，用于将所述草图输入预先训练的生成模型输出得到仿真图像；

请求模块1303，用于向服务器发送携带所述仿真图像的商品搜索请求，所述商品搜索请求用于请求服务器根据所述仿真图像从商品图库中搜索得到商品图像；

显示模块1304，用于接收并显示服务器反馈的商品图像。

需要说明的是，上述装置1300的各个功能模块的具体实现可以参见上文图12所示方法实施例的实现，此处不再赘述。

与上述图12所示方法相对应的，本申请实施例还提供对应的系统，参见图14，其示出了本申请实施例提供的另一种商品搜索系统的结构图，该系统1400包括：

客户端1401，用于接收用户输入的草图；将所述草图输入预先训练的生成模型输出得到仿真图像；向服务器发送携带所述仿真图像的商品搜索请求，所述商品搜索请求用于请求服务器根据所述仿真图像从商品图库中搜索得到商品图像；接收并显示服务器反馈的商品图像；优选的，该客户端1401的具体实现可以参照上述图12所示方法实施例的描述，此处不再赘述。

服务器1402，用于响应所述客户端的商品搜索请求，根据所述仿真图像从商品图库中搜索得到商品图像，向所述客户端反馈所述商品图像。

利用上述本申请实施例的系统，通过客户端与服务器的网络构架，为用户提供通过手绘绘图的方式进行搜索，尤其在用户不知道商品名称、商品图片的情况下，便于用户通过渐进式绘制草图的方式逐渐搜索得到自己想要的商品，提高用户的商品搜索体验；在该系统中，由客户端利用生成模型处理草图生成仿真图像，然后根据仿真图像请求服务器进行商品搜索，这样能够简化服务器的处理过程，提高服务器的搜索效率。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本申请提供的一种商品搜索方法、装置及系统分别进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (24)

1.一种商品搜索系统，其特征在于，包括：

客户端，用于接收用户输入的草图，向服务器发送携带所述草图的商品搜索请求，所述商品搜索请求用于请求服务器利用预先训练的生成模型对所述草图进行学习生成对应的仿真图像，再根据所述仿真图像进行商品搜索；

服务器，用于响应所述商品搜索请求，将所述草图输入预先训练的生成模型输出得到所述仿真图像，根据所述仿真图像从商品图库中搜索得到商品图像，向所述客户端反馈所述商品图像。

2.根据权利要求1所述系统，其特征在于，所述客户端还用于通过搜索框为用户提供手绘草图的输入控件，响应于用户触发所述输入控件的操作，显示草图绘制界面。

3.根据权利要求1所述系统，其特征在于，所述服务器中内置有所述生成模型，所述生成模型是以配对的草图样本集和商品图像样本集作为训练集，采用机器学习方法对所述训练集进行学习得到的从输入图像到输出图像之间的映射关系。

4.一种商品搜索方法，其特征在于，应用于服务器，包括：

接收客户端发送的携带草图的商品搜索请求；

将所述草图输入预先训练的生成模型输出得到仿真图像；

根据所述仿真图像从商品图库中搜索得到商品图像，并向客户端反馈所述商品图像。

5.根据权利要求4所述方法，其特征在于，所述服务器中内置有预先训练的生成模型，所述生成模型是以配对的草图样本集和商品图像样本集作为训练集，采用机器学习方法对所述训练集进行学习得到的从输入图像到输出图像之间的映射关系。

6.根据权利要求5所述方法，其特征在于，所述生成模型具体为以下任一种概率生成模型：

深度卷积生成对抗网络模型、变分自动编码模型或者自回归模型。

7.根据权利要求4所述方法，其特征在于，所述根据所述仿真图像从商品图库中搜索得到商品图像，包括：

通过以图搜图搜索引擎从商品数据库中搜索与所述仿真图像相似的商品图像。

8.根据权利要求4所述方法，其特征在于，在输出得到仿真图像之后，所述方法还包括：

向所述客户端反馈所述仿真图像和可供用户选择的商品相关属性，以使所述客户端为用户显示所述仿真图像和可供用户选择的商品相关属性，以供用户根据所述仿真图像对所述草图进行修改，并选择商品属性。

9.一种商品搜索装置，其特征在于，包括：

接收模块，用于接收客户端发送的携带草图的商品搜索请求；

草图处理模块，用于将所述草图输入预先训练的生成模型输出得到仿真图像；

搜索反馈模块，用于根据所述仿真图像从商品图库中搜索得到商品图像，并向客户端反馈所述商品图像。

10.一种商品搜索方法，其特征在于，应用于客户端，所述方法包括：

接收用户输入的草图；

向服务器发送携带所述草图的商品搜索请求，所述商品搜索请求用于请求所述服务器利用预先训练的生成模型对所述草图进行学习生成仿真图像，并根据所述仿真图像进行商品搜索；

接收并显示所述服务器反馈的商品图像。

11.根据权利要求10所述方法，其特征在于，所述方法还包括：

响应于用户对所述草图的修改操作，向所述服务器发送携带修改后的草图的商品搜索请求，以请求服务器利用所述生成模型对所述修改后的草图进行处理生成第二仿真图像，再根据所述第二仿真图像进行商品搜索。

12.根据权利要求10所述方法，其特征在于，所述方法还包括：

显示草图绘制界面；

则所述接收用户输入的草图具体为：接收用户通过所述草图绘制界面绘制的草图。

13.根据权利要求12所述方法，其特征在于，所述方法还包括：

在搜索框中显示手绘草图的输入控件，响应于用户触发所述输入控件的操作，再执行步骤：显示草图绘制界面。

14.根据权利要求10所述方法，其特征在于，所述方法还包括：

接收并显示所述服务器反馈的所述仿真图像和可供用户选择的商品相关属性，以供用户根据所述仿真图像对所述草图进行修改，并选择商品属性。

15.一种商品搜索装置，其特征在于，应用于客户端，所述装置包括：

接收模块，用于接收用户输入的草图；

请求模块，用于向服务器发送携带所述草图的商品搜索请求，所述商品搜索请求用于请求所述服务器利用预先训练的生成模型对所述草图进行学习生成仿真图像，并根据所述仿真图像进行商品搜索；

显示模块，用于接收并显示所述服务器反馈的商品图像。

16.一种商品搜索方法，其特征在于，应用于客户端，包括：

接收用户输入的草图；

将所述草图输入预先训练的生成模型输出得到仿真图像；

向服务器发送携带所述仿真图像的商品搜索请求，所述商品搜索请求用于请求服务器根据所述仿真图像从商品图库中搜索得到商品图像；

接收并显示服务器反馈的商品图像。

17.根据权利要求16所述方法，其特征在于，所述方法还包括：

显示草图绘制界面；

则所述接收用户输入的草图具体为：接收用户通过所述草图绘制界面绘制的草图。

18.根据权利要求17所述方法，其特征在于，所述方法还包括：

在搜索框中显示手绘草图的输入控件，响应于用户触发所述输入控件的操作，再执行步骤：显示草图绘制界面。

19.根据权利要求16所述方法，其特征在于，所述方法还包括：

显示所述仿真图像和可供用户选择的商品相关属性，以供用户根据所述仿真图像对所述草图进行修改，并选择商品属性。

20.一种商品搜索装置，其特征在于，包括：

接收模块，用于接收用户输入的草图；

生成模块，用于将所述草图输入预先训练的生成模型输出得到仿真图像；

请求模块，用于向服务器发送携带所述仿真图像的商品搜索请求，所述商品搜索请求用于请求服务器根据所述仿真图像从商品图库中搜索得到商品图像；

显示模块，用于接收并显示服务器反馈的商品图像。

21.一种商品搜索系统，其特征在于，包括：

客户端，用于接收用户输入的草图；将所述草图输入预先训练的生成模型输出得到仿真图像；向服务器发送携带所述仿真图像的商品搜索请求，所述商品搜索请求用于请求服务器根据所述仿真图像从商品图库中搜索得到商品图像；接收并显示服务器反馈的商品图像；

服务器，用于响应所述客户端的商品搜索请求，根据所述仿真图像从商品图库中搜索得到商品图像，向所述客户端反馈所述商品图像。

22.一种生成模型训练方法，其特征在于，包括：

获取训练集，所述训练集包括：具有配对关系的草图样本集和商品图像样本集，所述草图样本集中的草图与所述商品图像样本集中的商品图像具有匹配关系；

对所述训练集进行机器学习得到生成模型，所述生成模型用于商品搜索。

23.根据权利要求22所述方法，其特征在于，所述生成模型是基于深度卷积生成对抗网络模型、变分自动编码模型或自回归模型训练生成的。

24.一种生成模型训练装置，其特征在于，包括：

训练集获取模块，用于获取训练集，所述训练集包括：具有配对关系的草图样本集和商品图像样本集，所述草图样本集中的草图与所述商品图像样本集中的商品图像具有匹配关系；

训练模块，用于对所述训练集进行机器学习得到生成模型，所述生成模型用于商品搜索。