CN104584033B - 在线商店中的交互式服装搜索 - Google Patents

Abstract

服装搜索系统使用基于要素的图像搜索向用户提供服装搜索。零售商目录被分析以确定服装图像内的服装要素。与要素关联的特征被确定。当用户请求服装搜索时，服装搜索系统基于用户请求的要素和特征来选择服装。用户还可提供图像到服装搜索系统。服装搜索系统确定图像的要素和特征并且标识具有匹配要素的服装。

Description

在线商店中的交互式服装搜索

背景技术

本发明总体涉及在线消费品搜索，并且具体涉及在线商店中的交互式在线基于内容的图像搜索以及服装的检索。

在线服装购买正在成为越来越受欢迎的购物模式。在许多在线购物网站中，消费者可用关键词来搜索服装，诸如通过诸如“黑色、无袖的、酒会礼服”。基于搜索的关键词和与在线购物网站的服装关联的关键词，这些搜索通常为用户提供一组搜索结果。

然而，这种搜索将用户限制于用户可能考虑到的关键词，且经常需要用户对许多搜索结果分类，以找到用户感兴趣的项。时尚是高度地视觉艺术，且时尚的外观到关键词的转换时常会遗漏期望外观的特性。此外，用户时常想要找到与用户看到的图片或用户正当面查看的场景或人相似的服装。因此，存在对有能力基于照片标识相似的服装的系统的需要。

发明内容

系统是为时下许多在线服装商店设计的，来便于买家高效地找到他们最喜欢的服装。服装零售商首先提供他们商店中售卖的服装的清晰照片，并且这些服装的数据库被建立。此外，系统可自动地定位服装的关键部分并且识别他们的设计(颜色、图案、衣领、袖子以及裤子/裙子的款式)并且将他们与服装照片一起保存在数据库中。

然后系统提供网络界面，使得买家可以利用他们最喜欢的服装的查询照片找到他们最喜欢的服装，查询照片可以在网络上找到或在街上被照相机捕获。用与服装商店的数据集相同的方式，系统识别查询照片的设计且检索数据库中保存的最相似的在线商品。

如果他们对他们最喜欢的服装有进一步的需求，系统还可与买家交互。在这种情况下，系统可让买家选择查询服装中的哪个部分/设计买家最喜欢。并且系统会相应地修改结果以满足需求。

在一个实施例中，提供了用于交互式地搜索在线商店中的服装的方法，方法包括：接收由卖家售卖的多件服装的多张照片；对于一件服装的每张照片，自动地检测与一件服装关联的多个特征要素；接收来自用户的、对一件服装的查询；以及检索与查询的一件服装的多个特征要素匹配的一件或多件服装。

在进一步的实施例中，方法进一步包括建立用于存储来自多个卖家的多件服装的多张照片以及他们的关联特征要素的数据库。

在进一步的实施例中，与一件服装关联的多个特征要素包括：一件服装的类型；一件服装的颜色；一件服装的款式；一件服装的每个要素的位置；每个要素的描述；以及一件服装的设计信息。

在进一步的实施例中，自动地检测与一件服装关联的多个特征要素包括：训练树结构的人解析模型以定位多件服装的多个特征要素；以及定位和描述多件服装中的一件服装的多个特征要素。在另外的实施例中，训练树结构的人解析模型包括：基于用于人解析的大量预标记的训练样本来训练单独的人体部分的多个形状模板；以及训练隶属于用于人解析的大量预标记的训练样本的人体部分的树结构化组合。

在进一步的实施例中，方法进一步包括检索一件或多件服装，其包括：从被查询的一件服装检测多个特征要素；以及确定一件或多件服装的被检测的特征要素的相关性。

在进一步的实施例中，方法进一步包括：注解常见的服装款式并将注解与被标识的多件服装一起存储；使用常见服装款式的注解评估多件服装的多个特征要素；以及使用常见服装款式的注解搜索在数据库中存储的多件服装当中的常见服装款式。

在另一个实施例中，非瞬态计算机可读存储介质存储可执行的计算机程序指令，以用于根据任何一个上述方法交互式地搜索在线商店中的服装。

在另一个实施例中，计算系统包括处理器，处理器被配置用于执行任何一个上述方法。

在另一个实施例中，非瞬态计算机可读存储介质存储可执行的计算机程序指令以用于交互式地搜索服装，其中计算机程序指令包括用于以下的指令：接收由卖家售卖的多件服装的多张照片；对于一件服装的每张照片，自动地检测与一件服装关联的多个特征要素；接收来自用户的、对一件服装的查询；以及检索与被查询的一件服装的多个特征要素匹配的一件或多件服装。

附图说明

图1是根据一个实施例的用于服装搜索系统的环境。

图2是根据一个实施例的示出在服装搜索系统中的数据流的业务图。

图3是用于客户端图示服装要素搜索的用户界面。

图4是根据一个实施例的在新图像上的要素模板训练和要素的标识的概念性图示。

图5示出了根据一个实施例的基于在图像中标识的要素的相似服装的选择。

图6图示了根据一个实施例的带注解的服装属性。

仅出于图示的目的，图描绘了本发明的各种实施例。本领域的技术人员将从下面的讨论中容易地意识到，本文中图示的结构和方法的替代实施例在不脱离本文描述的本发明的原理的情况下可以被采用。

具体实施方式

在线服装购物正在成为越来越受欢迎的购物模式。本公开描述了服装标识系统，该服装标识系统可基于由用户客户端捕获的图像(诸如街上人的照片或从因特网选择的照片)来选择相似服装。来自在线零售商或其它数据库的相似的服装被选择以向用户呈现。

图1是根据一个实施例的用于服装搜索系统的环境。服装搜索系统100基于服装要素的选择或基于服装的图像来搜索并标识服装。服装搜索系统100通过网络120连接到用户客户端130和在线服装零售商140。

用户客户端130是由用户操作的计算设备，并且是用于与服装搜索系统100通信的任何适合的系统。用户客户端130可以是平板电脑、移动设备、台式电脑或其它计算系统。用户客户端130向用户提供显示，并且从用户接收用于传输到服装搜索系统100的输入。用户客户端130还可以包括用于捕获图像的照相机或其它成像设备。由照相机捕获的或由用户客户端130以其它方式可访问的图像被传输到服装搜索系统100，以用于相似服装的选择。图像还可以通过其它方式选择，诸如通过从诸如因特网之类的网络来选择图像。

在线服装零售商140维护用于在线售卖服装的数据库和其它系统。在线服装零售商140处的服装与至少一个图像关联，并且可以与附加的数据关联。附加的数据可包括与服装关联的关键词，并且可以进一步包括款式、服装类型、服装的描述以及设计信息。服装搜索系统100可与多个在线服装零售商140连接，并且访问储存在每一个在线服装零售商140处的服装数据库中的服装。当用户接收用户感兴趣的搜索结果时，用户可访问在线服装零售商140以购买用户感兴趣的服装。

服装搜索系统100包括用于接收和处理来自用户客户端130和在线服装零售商140的信息的各种模块和数据库，以向用户客户端130的用户提供服装建议。服装搜索系统100是基于视觉的识别系统，其接收具有服装/人的照片并输出服装要素的位置和特征描述。因此，服装搜索系统100接收来自在线服装零售商140的服装图像并分析图像以确定服装的组成部分以及款式和其它特征。组成部分指示与图像方面对应的图像的特定部分，诸如衣领、袖子、肩部、裙子等。这允许图像被作为几个要素的合成物进行分析。例如，图像可被识别为具有衣领、肩部、腰部，但没有袖子。要素被用于帮助基于要素的匹配。用户可选择要素并搜索具有相似特征的匹配要素的其它服装。用于匹配的要素可以基于用户的选择，或者可以基于由用户提供的图像中的要素。服装搜索系统100包括服装搜索模块102、要素检测模块104、模板训练模块106、特征模块108以及诸如要素模板数据库110和服装数据库112之类的数据存储元件。图1中图示的服装搜索系统100的模块和其它部分在各种实施例中可伴随有附加的或更少的模块且不限于图1的示例。

要素模板数据库110保持用于各种类型要素的基于树的模板。模板还可以被称为分类器，并且确定图像的部分是否被识别为模板的图像类型。例如图像被提供给“肩部”模板，且模板确定图像的部分是否包括“肩部”以及图像的什么部分包括肩部。模板被结构化为使用基于形状的图像要素的树。具体地，一个实施例使用图像的梯度方向直方图(HOG)来确定要素类型。各种照片可捕获从不同的视图以及具有不同的特性的“肩部”要素，例如从诸如前、侧、后或上方之类的不同角度。这些不同的角度各自可提供图像中不同的特性。通过使用基于树的模板，每一组常用的特性可被当作树中的树枝，并且因此允许迅速地标识要素以及不用受其它类型“肩部”视图特征的干扰。

要素的模板由模板训练模块106创建或训练。详细地，要素检测系统基于带标记的人解析数据集和形状描述特征，训练形状模板以及要素组合规则。用于训练要素检测方法的特征与上文描述的用于标识要素的方法相同。因此，在一个实施例中梯度方向直方图的特征被使用。在其它实施例中，其它特征类型可被用于定义带标记的数据集。在一个实施例中，算法用梯度方向直方图(HOG)的特征在BUFFY上身数据集和PARSE全身数据集上训练模板。

要素检测模块104将要素模板数据库110中的要素模板应用到图像，以确定图像内的服装要素。通过要素检测模块104处理的图像可从用户客户端130获得或者可以由在线服装零售商140提供。各种要素可被提供给特征模块108或服装搜索模块102。

特征模块108提取与由要素检测模块检测的要素有关的特征。对于在线服装零售商中的服装，特征模块108可访问与在线服装零售商数据库中的服装关联的关键词、描述、款式、以及其它项。对于图像中的要素，特征模块108访问涉及每一个要素的图像部分，并且提取与要素有关的特征。被提取的特征被用于确定在一个服装项中的要素与在另一个服装项中的要素的相似性。例如，其是亮红色且完全覆盖肩部的在一个服装项中的肩部与在另一件服装上的另一个亮红色的完全覆盖的要素相似。在一个实施例中，被提取的特征包括梯度直方图、颜色直方图、颜色矩、局部二值模式和皮肤颜色。在其它实施例中，任何合适的特征可被用于描述被标识的要素的方面。

在附加的实施例中，关键词和其它关键词、款式以及描述也相对于被提取的特征而被训练。匹配服装或要素的款式和关键词可被用于建议款式和关键词，以与查询的图像关联。

服装数据库112保持与在线服装零售商140关联的服装数据库。在线服装零售商140处的服装图像由服装搜索系统检索，并且被添加到服装数据库112。要素检测模块104分析在线服装零售商140处的服装，并将被标识的要素添加到服装图像，以及如由特征模块108标识的与图像要素关联的特征。此外，在线服装零售商140处存储的服装的关键词、款式和其它方面被检索且与服装数据库112中的服装关联。

服装搜索模块102接收来自用户客户端130的搜索请求，并且对服装数据库112上的相似或匹配的服装执行搜索。当新的查询照片被服装搜索模块102接收时，服装搜索模块将照片提供给要素检测模块104，以确定照片中的服装要素。在确定服装要素之后，服装要素和照片被提供给特征模块108，以如上文描述的提取与每一个服装要素关联的特征。

服装搜索模块102查询服装数据库112以确定具有相同要素的服装。服装搜索模块102通过匹配要素与由用户提供的图像以及通过匹配与要素关联的特征与服装数据库112中的服装特征来确定具有相似特征的服装。服装搜索模块102确定在查询图像的特征和数据库112中服装的特征之间的特征距离。服装搜索模块102然后基于总特征距离检索最相似的项。在一个实施例中，用户可选择最喜欢的图像要素或以其它方式指示高度地加重特定要素。当用户选择最喜欢的要素时，与该要素有关的相似性测量相对于其它要素的相似性被加重。用这种方法，服装搜索模块102提供来自在线服装零售商140的在要素和特征上与由用户客户端130提供的图像中标识的服装相似的一套服装。服装搜索模块102向用户客户端130提供搜索结果列表，或为用户客户端130提供链接或其它指示器以访问在线服装零售商140处的作为结果的服装。

图2是根据一个实施例的示出了服装搜索系统中的数据流的业务图。用户客户端130首先接触服装搜索模块102，并且上传220照片或指示特定的要素或款式，以用于服装搜索模块102定位相似的服装。当用户搜索模块102接收照片时，用户搜索模块102确定如上文中描述的要素和关联的特征230。通过使用由用户指示的要素或款式或者使用从照片中提取的要素和特征，搜索查询210形成。搜索查询被应用于服装数据库112，并且与查询相似的服装被标识130。相似的服装被传输到用户客户端130，以用于用户查看和交互。

图3是用于用户客户端130图示服装要素搜索的用户界面。用于搜索的图像被选择并传输到服装搜索系统100。产生的搜索结果提供在用户界面上，从而允许用户查看匹配的服装并选择感兴趣的服装。此外，用户可选择服装以启动基于与那件服装关联的图像的新搜索，或用户可选择服装的特定要素以强调基于那个要素的搜索。当用户请求搜索以强调服装的要素时，其他服装中的要素与被强调的要素的相似性会如上文描述的占更高的权重。

图4是根据一个实施例的在新图像上的要素模板训练和要素标识的概念性图示，如上文中进一步描述的。要素模板的训练通过一组具有带标记的要素位置的照片400而启动。每一张图像中涉及特定要素的部分被选择410，且通过模板训练模块106被用于训练模板以用于标识要素。树基于图像的特征而被训练420以检测相同要素的不同类型的视图，诸如通过确定相同要素的不同姿势。在一个实施例中，特征包括梯度方向直方图。在被训练之后，要素检测模块104使用模板来标识在新图像430上的要素。如这幅图中所示出的，图像中检测的要素可以重叠。

图5示出了根据一个实施例的基于在图像中标识的要素的相似服装的选择。如上文描述的，在查询照片500中检测要素510。要素描述520通过从要素提取特征矢量被确定，诸如肩部描述520A和裙子描述520B。要素和关联的特征矢量与存储在服装数据库112中的服装相比较以确定匹配的服装。匹配的服装被显示在诸如界面530之类的界面上。

图6图示了根据一个实施例的带注解的服装属性。数据库112中的服装可与如图6所示的各种服装属性关联。在服装数据库中的属性可基于在线服装零售商140处的描述被确定，或可以基于分类器(基于其它服装描述)被确定。带注解的描述可包括总体描述，诸如颜色、图案以及材料。此外，服装的具体部分可被描述，诸如所示的上身要素的正面或裤子的形状。对于搜索，用户还可选择服装属性以进一步精炼用户感兴趣的服装的选择。

用户界面发送用户的查询到数据库服务器，并从服务器下载和显示检索的项。最喜欢的查询服装的部分/设计可以由用户交互式地选择，并且也经由界面发送到服务器。

因此，这个系统和方法提供了服装设计更全面的描述。这个描述可在服装相似性测量方面有更好的表现。

前述实施例的高级服装描述给基于要素和款式的灵活精细服装搜索带来新的可能性，到目前为止这还没有在先前的系统中被好好研究。

总之，我们提出的服装描述通过处理姿势和环境多样性两者提供了关于服装要素定位的更好的性能，尤其是在被用户处的照相机捕获的日常照片之间的搜索的稳健性以及基于用户提供的图像的搜索在线购物存货的能力。这样的交叉数据集的要素级搜索在之前提到的系统中是未被解决的。

作为这些实施例的示例用途，用户可用照相机给任何街上穿着时尚的女士拍照，并使用界面在商店中查询她的服装。当在社交网络上浏览朋友的相册时，人们还可查询网络照片。

所发明的自动服装识别系统还可被用于服装数据挖掘应用。在这些种类的用途中，期望服装款式(例如冬季/春季/夏季服装、具有当地或职业特征的装束等)的样本需要首先被收集和加注解。参照这些样本，系统可自动地给在线照片产生服装款式标记。这样的数据挖掘可提供关于季节时装、当地穿着和照片内容的有帮助的统计信息。在社交网络网站中，从用户上传的照片中预测的这些信息可被用于推荐(广告、时尚等)。

此外，如果还提供专业的服装搭配指导，服装识别系统可处理个人服装管理和搭配推荐。这个应用对于许多现今的数字衣柜服务是有价值的。

本发明实施例的上述描述出于说明的目的已被给出；它并不旨在是穷尽式的或将本发明限制于公开的精确形式。相关领域的技术人员可以理解的是，许多修改和改变根据上面的公开内容是可能的。

本描述的一些部分在对信息的操作的算法和符号表示的方面描述了本发明的实施例。这些算法描述和表示通常被数据处理领域的技术人员用于有效地向本领域的其它技术人员传达他们的工作内容。当被功能地、计算地或逻辑地描述时，这些操作被理解为要通过计算机程序或者等效电路、微代码等来实现。此外，也证明了把这些操作布置称为模块有时是方便的，而不失一般性。被描述的操作和他们关联的模块可体现在软件、固件、硬件或任何它们的组合中。

本文描述的任何步骤、操作或处理可利用一个或更多硬件或软件模块单独地或结合其它设备而执行或实现。在一个实施例中，软件模块用包括含有计算机程序代码的计算机可读介质的计算机程序产品而实现，其可由计算机处理器执行，以用于执行任何或所有已描述的步骤、操作或处理。

本发明的实施例还可以涉及用于执行本文中的操作的装置。这个装置可按所需的目的特别地构建，和/或它可包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算设备。这样的计算机程序可被存储在非瞬态、有形的计算机可读存储介质中，或适用于存储电子指令的任何类型的介质中，它们可耦合到计算机系统总线。此外，在说明书中提及的任何计算系统可包括单个处理器，或可以是采用多处理器设计的架构以增加计算能力。

本发明的实施例还可涉及通过本文描述的计算处理而产生的产品。这样的产品可包括从计算处理产生的信息，其中信息存储在非瞬态、有形的计算机可读存储介质上，并且可包括本文描述的计算机程序产品或其它数据组合的任何实施例。

最后，说明书中使用的语言已被首要地选择用于可读性和教学目的，并且它可以没有已被选择用于描绘或约束发明的主题。因此，旨在的是，本发明的范围不受这个详细描述的限制，而是更确切地说由发出基于其的应用的任何权利要求限制。因此，本发明实施例的公开旨在于是说明性的，而不是限制本发明的范围，本发明的范围陈述在下面的权利要求中。

Claims (8)

1.一种用于交互式地搜索在线商店中的服装的方法，所述方法包括：

训练服装搜索系统以用于从照片检测多件服装的要素和所述要素的特征，所述训练包括：

基于所述照片来维护模板，每个模板对应于要素并且被结构化为树，所述树的树枝对应于跨所述照片的所述要素的一组常用特性；

由所述服装搜索系统接收由卖家售卖的多件服装的多张照片；

对于一件服装的每张照片：

由所述服装搜索系统通过向所述照片应用所述模板，自动检测与所述一件服装关联的多个要素；以及

由所述服装搜索系统从所述照片自动提取对应于所述多个要素的多个特征；

由所述服装搜索系统接收来自用户的、对由所述卖家售卖的一件服装的查询；以及

由所述服装搜索系统基于所述查询来检索所述一件服装，所述检索包括：

从所述查询来标识所述一件服装的要素，并且将所述要素与自动检测的要素进行匹配，以及

从所述查询来标识对应于所述要素的特征，并且将所述特征与自动提取的特征进行匹配。

2.根据权利要求1所述的方法，进一步包括建立用于存储所述多件服装的多张照片、自动检测的所述多个要素和自动提取的所述多个特征的数据库。

3.根据权利要求1所述的方法，其中自动提取的所述多个特征包括：

所述一件服装的类型；

所述一件服装的颜色；

所述一件服装的款式；

所述一件服装的每个要素的位置；

每个要素的描述；以及

所述一件服装的设计信息。

4.根据权利要求1所述的方法，其中所述模板包括单独的人体部分的形状模板。

5.根据权利要求4所述的方法，其中所述训练包括：

基于大量的用于人解析的预标记的训练样本，训练单独的人体部分的所述形状模板；以及

训练隶属于用于人解析的大量预标记的训练样本的人体部分的树结构化组合。

6.根据权利要求1所述的方法，其中检索所述一件服装包括：

确定匹配的要素和匹配的特征的相关性。

7.根据权利要求1所述的方法，进一步包括：

注解常见服装款式并且将所述注解与所述多件服装一起存储；

使用所述注解来评估所述多个要素和所述多个特征；以及

使用所述注解在存储的所述多件服装当中搜索常见服装款式。

8.一种非瞬态计算机可读存储介质，存储可执行计算机程序指令以用于交互式地搜索在线商店中的服装，所述计算机程序指令包括用于以下的指令：

训练服装搜索系统以用于从照片检测多件服装的要素和所述要素的特征，所述训练包括：

基于所述照片来维护模板，每个模板对应于要素并且被结构化为树，所述树的树枝对应于跨所述照片的所述要素的一组常用特性；

由所述服装搜索系统接收由卖家售卖的多件服装的多张照片；

对于一件服装的每张照片：

由所述服装搜索系统通过向所述照片应用所述模板，自动检测与所述一件服装关联的多个要素；以及

由所述服装搜索系统从所述照片自动提取对应于所述多个要素的多个特征；

由所述服装搜索系统接收来自用户的、对由所述卖家售卖的一件服装的查询；以及

由所述服装搜索系统基于所述查询来检索所述一件服装，所述检索包括：

从所述查询来标识所述一件服装的要素，并且将所述要素与自动检测的要素进行匹配，以及

从所述查询来标识对应于所述要素的特征，并且将所述特征与自动提取的特征进行匹配。