CN110826528B - 时尚偏好分析 - Google Patents
时尚偏好分析 Download PDFInfo
- Publication number
- CN110826528B CN110826528B CN201911145202.4A CN201911145202A CN110826528B CN 110826528 B CN110826528 B CN 110826528B CN 201911145202 A CN201911145202 A CN 201911145202A CN 110826528 B CN110826528 B CN 110826528B
- Authority
- CN
- China
- Prior art keywords
- user
- image
- fashion
- analysis
- items
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 178
- 238000000034 method Methods 0.000 claims description 134
- 230000000007 visual effect Effects 0.000 claims description 40
- 238000005259 measurement Methods 0.000 claims description 17
- 210000000988 bone and bone Anatomy 0.000 claims description 8
- 238000010801 machine learning Methods 0.000 claims 2
- 230000001131 transforming effect Effects 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 24
- 230000015654 memory Effects 0.000 description 23
- 238000004891 communication Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 16
- 230000008569 process Effects 0.000 description 14
- 230000007246 mechanism Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 239000000284 extract Substances 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 239000002243 precursor Substances 0.000 description 6
- 210000000707 wrist Anatomy 0.000 description 6
- 230000001413 cellular effect Effects 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 210000004247 hand Anatomy 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 230000006855 networking Effects 0.000 description 4
- 239000000047 product Substances 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000004744 fabric Substances 0.000 description 3
- 210000002683 foot Anatomy 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 210000002414 leg Anatomy 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000000053 physical method Methods 0.000 description 3
- 230000001737 promoting effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000002860 competitive effect Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 239000010985 leather Substances 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 230000011664 signaling Effects 0.000 description 2
- 239000004984 smart glass Substances 0.000 description 2
- 235000019640 taste Nutrition 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- RWSOTUBLDIXVET-UHFFFAOYSA-N Dihydrogen sulfide Chemical compound S RWSOTUBLDIXVET-UHFFFAOYSA-N 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 210000003423 ankle Anatomy 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000001217 buttock Anatomy 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000013481 data capture Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0631—Item recommendations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Economics (AREA)
- Development Economics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Psychiatry (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Transition And Organic Metals Composition Catalysts For Addition Polymerization (AREA)
- User Interface Of Digital Computer (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
一种机器可以被配置为确定用户的时尚偏好并且基于用户的时尚偏好向用户提供物品推荐。例如,机器接收用户的图像和指示用户的身体在三维空间中的位置的空间数据集合。机器可以执行对图像和空间数据集合的分析。分析的执行可以包括从图像提取描绘用户穿戴的物品的一部分的图像样本。机器可以基于对图像和空间数据集合的分析来识别用户的时尚偏好。机器可以识别在时尚物品的库存内与用户的时尚偏好相对应的物品并且可以生成对所识别的时尚物品的推荐。
Description
本申请是国际申请日2015年4月17日、国际申请号“PCT/US2015/026361”、中国申请号201580026270.2、发明名称为“时尚偏好分析”的专利申请的分案申请。
优先权要求
本申请要求于2014年4月17日提交的申请号为61/981,011的美国临时申请和于2014年7月8日提交的申请号为14/326,125的美国专利申请的优先权权益,两者据此通过引用以其整体并入本文。
版权
本专利文件的公开内容的一部分包含受版权保护的材料。版权所有者不反对任何人对专利文件或专利公开内容的复制,因为它出现在专利商标局的专利文档或记录中,但是在别的方面却保留所有的版权权利(无论什么)。以下声明适用于如在下文描述的以及在形成本文件的一部分的附图中的软件和数据:版权eBay公司2014,保留所有权利。
技术领域
本文公开的主题总体上涉及数据的处理。具体地,本公开提出了确定用户的时尚偏好并且基于用户的时尚偏好向用户提供物品推荐的系统和方法。
背景技术
在线商务已经改变了人们的购物方式。很多人从在线商店购买各种产品(例如电子器件、杂货、书籍和汽车)。在线商务的最令人印象深刻的成功案例之一是时尚服装细分市场。这可能至少部分归因于由大规模库存以有竞争力的价格提供的各种时尚选择。然而,由于通过托管大规模时尚库存提供的优势,需要促进用户与数以百万计的物品列表的有效交互。许多现有的电子商务网站利用基于文本的搜索引擎,以帮助识别与查询最相关的产品。
附图说明
一些实施例被通过示例的方式示出并且不限于附图中的图形。
图1是描绘了在其之内可以部署一些示例实施例的客户端-服务器系统的网络图。
图2是示出了市场和支付应用(并且其在一些示例实施例中被提供为联网的系统中的应用服务器118的一部分)的框图。
图3是示出了根据一些示例实施例的适合于分析时尚偏好的网络环境的网络图。
图4是示出了根据一些示例实施例的输入数据的示例的图。
图5是根据一些示例实施例的示例偏好分析机器的功能图。
图6是示出根据一些示例实施例的描绘了用户在不同时间点的示例图像和表示在不同时间点的用户的身体的相应的示例模型的图。
图7是示出了根据一些示例实施例的偏好分析机器的组件的框图。
图8、图8A和图9是示出了根据一些示例实施例的在执行确定用户的时尚偏好的方法时的偏好分析机器的操作的流程图。
图10是示出了根据一些示例实施例的模型集群的示例的图。
图11是示出了根据一些示例实施例的在执行确定用户的时尚偏好的方法时偏好分析机器的操作的流程图。
图12是示出了根据一些示例实施例的示例图像和从各自的示例图像中提取的图像样本的相应示例组的图。
图13-图15是示出了根据一些示例实施例的在执行确定用户的时尚偏好的方法时偏好分析机器的操作的流程图。
图16是示出了根据一些示例实施例的示例查询图像和相应的示例搜索结果的图。
图17是示出了根据一些示例实施例的移动设备的框图。
图18是示出了根据一些示例实施例的能够从机器可读介质读取指令并且执行本文论述的方法中的任何一个或多个方法的机器的组件的框图。
具体实施方式
描述了用于促进用户的时尚偏好的确定以及用于基于用户的时尚偏好向用户提供物品推荐的示例方法和系统。示例仅仅代表可能的变形。除非另有明确说明,组件和功能是可选的并且可以被组合或细分,并且操作可以按顺序改变或被组合或细分。在以下的描述中,为了解释的目的,阐述了许多具体细节以提供对示例实施例的透彻理解。然而,将对本领域技术人员明显的是,本主题可以在没有这些具体细节的情况下实施。
自其成立以来,在线购物已经被证明是以有竞争力的价格向用户提供更多的商品选择的有效机制。随着更多的商业实体获得在线存在,在线可购商品的量急剧增加。因此,购物者可能发现更难以快速搜索和识别满足其搜索标准的物品。
一般而言,当使用搜索引擎发起对物品的在线搜索时,用户将文本查询输入到用户界面中。当用文本搜索时尚物品时用户可能面临两个主要的痛点。首先,由于在理解长句查询的语义方面方面的困难,使用长查询短语(例如,“blue striped half sleeve shirtwith low cut collar(具有低切口领的蓝色条纹半袖衬衫)”)可能导致现有技术文本搜索引擎的很多状态的低性能。第二,时尚主要关注经常由文本搜索引擎绕过的视觉美学。最近已经进行了尝试以促进使用图像查询来搜索物品。然而,这样的尝试经常不能得到更好的、更相关的搜索结果。没有被定制以考虑用户的时尚品味、形状(或身体结构或身体尺寸)、偏好的颜色、图案、风格或品牌的单独的图像搜索可能产生与用户不相关的大量搜索结果。
最近在虚拟试衣间方面的发展已经解决了确定用户的身体结构的一些方面。然而,很多虚拟试衣间系统可能不试图理解用户风格或时尚偏好。此外,很多虚拟试衣间系统可能不适于研究用户的自然时尚风格,因为到虚拟试衣间的行程通常是人为的一次性发生,其可能不允许在延长的时间段内连续观察用户的时尚选择。
在一些示例实施例中,偏好分析系统可以确定用户的时尚偏好并且基于用户的时尚偏好提供物品推荐。根据某些示例实施例,偏好分析系统可以收集描述在一段时间内用户在用户的自然环境(例如,起居室或办公室空间)的视觉和空间数据,可以基于收集的视觉和空间数据来确定用户的一个或多个时尚偏好,可以识别符合用户的时尚偏好的一个或多个时尚物品(例如服装、鞋类或配件),并且可以将识别的一个或多个时尚物品推荐给用户。在一些示例实施例中,通过促进用户与偏好分析系统的隐式交互,而不要求用户站在相对于收集视觉和空间数据的设备(例如摄像机或传感器)的某些预定位置,偏好分析系统可以提供更加用户友好和节省时间的学习关于用户的时尚品味的机制,并且可以提供相似于用户的衣柜物品或可以与用户的衣柜物品相协调的时尚物品的相关推荐。
在一些示例实施例中,使用成像技术(例如以红色、绿色、蓝色和深度(在下文中为“RGB-D”)传感器实现的成像技术)来收集视觉和空间数据。使用深度感测技术的产品的示例是MicrosoftTM 和XBOX One。典型的RGB图像是通过将三维(下文中为“3D”)场景投影到二维(在下文中为“2D”)传感器上(因此丢失关于深度的所有信息)而获得的。因为RGB-D传感器提供深度数据,所以新的技术进步在运动捕捉和人类身体建模的领域中是可能的。此外,因为RGB-D数据可以被捕捉为其中用户呈现复杂运动的视频流,所以偏好分析系统可以获得关于正被穿在身体的不同部位上的服装以及关于用户的身体(例如,轮廓、身材或测量)的详细信息。
根据一些示例实施例,由偏好分析系统使用以确定用户的时尚偏好的数据集具有采取3元组形式的三个主要信息源:RGB信道、深度信道、和人类人物线条(stick)图形(例如基于由深度传感器捕捉的数据生成的)。RGB-D数据集可以由来表示。在一些情况下用于基于用户的时尚偏好来执行时尚库存的搜索的查询图像可以由{Iq,Dq,Sq}来表示。三元组变量分别代表RGB图像、深度图像和骨架阵列(例如,骨架关节的标识符)。RGB-D图像中的人可以被使用由固定数量的骨关节(例如P个关节)组成的骨架来表示。换言之,Sn={x1n,x2n…xPn}包括与每个骨关节的位置相对应的户个三维坐标。还可以假设存在由表示的一组R个物品、服装或配件(例如,帽子、太阳镜、T恤、手表、鞋、首饰物品、包等)。
存在可以基于观察运动中的用户来确定的各种有用信息。这样的信息的示例是用户的身体尺寸和衣着风格。用户的身体测量的确定可以帮助针对特定的用户定制关于正确尺寸的衣着的搜索。一般而言,很多用户不愿意讨论其身体尺寸或向任何人(例如,电子商务操作者)提供身体尺寸信息。用户还可能发现随着时间的流逝难以连续跟踪其身体测量。偏好分析系统可以通过确定用户的身体测量(而不用询问明确的问题并且不发出为了测量而摆好姿势的指令)来解决该问题。
在一些示例实施例中,在成像传感器和算法中的进步允许偏好分析系统确定多个身体部位的精确身体尺寸。通过x={x,y}来表示点的2D图像像素坐标和通过X=[X,Y,Z]来表示在3D世界中的其相应的位置,两个表示可以通过投影矩阵x=PX相关。基于图像像素坐标,偏好分析系统可以使用投影矩阵来准确恢复X,Y,而可以将Z恢复到比例因子。然而,深度(例如,Kinect))传感器的深度信道可以向偏好分析系统提供解决在Z中的模糊度的显式的深度值。一旦偏好分析系统访问了用户的身体关节的3D坐标,则偏好分析系统可以测量用户的身体尺寸。使用关于人体流形M上的3D中的关节距离dM的原语,
jtDist3D(i,j)=dM(Xi-Xj),1≤i,j≤P。 (1)
在一些示例实施例中,偏好分析系统可以将人的身体上的每个像素投影到3D空间中,在将网格拟合到3D点之后产生人的完整的3D模型。在某些示例实施例中,偏好分析系统可以基于在3D空间中的关节位置而产生人的模型。从平面2D图像估计的身体测量缺乏深度感。深度传感器可以帮助偏好分析系统通过明确地为彩色图像中的每个像素提供深度信道来克服该问题。由于3D世界已经被投影到2D成像传感器上,所以可以使用反转投影过程以恢复真实的3D坐标,其中(fx,fy),(Sx,Sy)是x-y相机焦距和主偏移。
在一些示例实施例中,一旦已经使用定位了与不同的身体关节相对应的身体位置,则下一个步骤可以是针对服装或其它时尚物品可以被穿戴在其上的每个身体部位提取像素。在一些情况下,很多身体部位可以被定位:面部(例如,可以佩戴眼镜)、躯干(例如,可以穿着衬衫、上衣、T恤或夹克)、右/左手(例如,可以佩戴手表或手镯)、右或左腿(例如可以穿着裤子、短裤或裙子)、或右或左脚(例如,可以穿着靴子、鞋子或凉鞋)。这些感兴趣的身体部位内在地由如下文在图6中示出的身体部位关节组成。例如,躯干身体部位Btorso={1,2}由在胸部x2i和肚脐x1i上检测的两个关节组成。某些身体部位及其组成关节之间的示例关系在下文显示的表格1中示出。
身体部位 | 组成关节 |
面部 | 额头、下巴 |
躯干 | 胸部、肚脐 |
下手 | 手腕、内手 |
上手 | 肩、肘 |
腿 | 臀部、膝盖 |
脚 | 脚踝、脚 |
表格1:如通过Kinect传感器中的姿势估计API返回的身体部位与其组成关节之间的关系的列表。
在一些示例实施例中,可以从图像提取与图像内的用户的标识的特定身体部位(例如躯干)的一部分相对应的图像块(例如,样本或区域)。如果假设某个身体部位构成在L个关节上,那么可以使用以下的公式来计算图像样本的中心和图像样本的尺寸。
样本尺寸=1.5×maXi,j||xin-xjn||2。 (2)
换言之,根据一些示例实施例,用于从用户的图像提取图像样本的过程包括裁剪以点“样本中心”为中心的尺寸为“样本尺寸”的方框。
一旦已经从图像裁剪出与不同的身体部位相对应的感兴趣的区域,则可以使用合适的视觉描述符来描述它们。视觉描述符可以是“色调、饱和度、和值”(也为“HSV”)颜色空间中的颜色描述符。属于每个身体部位的像素由代表包含在裁剪出的块中的颜色的一组实数来表示。偏好分析系统可以利用为H信道创建24个箱(bin)、为S信道创建8个箱和为V信道创建8个箱的非均匀分级(binning)策略。除了颜色特征之外,偏好分析系统还可以采用由导致由48个实数组成的视觉描述符的8个箱组成的灰度直方图。与在第j个图像中的第i个身体部位相关联的视觉描述符可以由样本vij来表示。在一些示例实施例中,除了基于颜色的描述符之外或代替基于颜色的描述符,偏好分析系统利用一种或多种其它类型的描述符(例如,基于质地的描述符、基于形状的描述符等等)。
在一些情况下,确定用户时尚偏好以及识别与用户的时尚偏好相容的时尚物品的过程包括估计某个姿势和时尚(例如服装)物品之间的相容性。
表格2:矩阵I捕捉姿势和时尚物品之间的共现。此处,九个时尚物品由A1到A9来表示,并且七个姿势由P1到P7来表示。
在以上表格2中示出的矩阵I是布尔矩阵(例如每个条目是1或0)。行(i)与不同的姿态相对应,并且列(j)与不同的服装(或其它时尚)物品相对应。如果某个服装物品j可以从姿态i可靠地提取出来,则I(i,j)=1。备选地,如果某个服装物品j不能从姿态i可靠地提取出来,则I(i,j)=0。由深度(例如,Kinect)传感器估计的姿态可以在它们之间具有大的变化性。一个示例是面对摄像机双手在空中举起的用户和侧身面对摄像机的用户之间的对比。为了使偏好分析系统理解(例如确定)人当前所处的姿态,偏好分析系统可以采用姿势聚类。为此,偏好分析系统可以根据在图6中示出的人类骨骼图形创建姿势描述符。如果通过Pn来表示关于第i个对象的姿势描述符,则姿势描述符是关节位置之间的角度
Pn(j,k)=∠xjn,xkn。 (3)
因为矩阵Pn是对称的,所以矩阵的上三角部分可以被矢量化以形成姿势描述符。换言之,每个姿势描述符是连接在一起的一组个实数。这些描述符是描述用户可能处于的姿态的特征空间的一部分。聚类过程可以允许将相似的姿势分组在一起以及将相似的姿势与其它不相似的姿势区分开。在一些示例实施例中,偏好分析系统基于一个或多个聚类规则将聚类项目(例如,可以形成聚类的项目)分组为特定的聚类。例如,第一聚类规则指定可以基于相同类型的聚类项目形成聚类。在某些示例实施例中,作为应用第一聚类规则的结果,偏好分析系统可以产生将一个或多个用户的图像进行分组的第一聚类、将一个或多个用户的模型(例如,人物线条图形)进行分组的第二聚类以及将图像和模型的组合进行分组的第三聚类。
在另一个示例中,第二聚类规则指定可以基于描绘用户的相似姿势的聚类项目将聚类项目一起分组成特定的聚类。基于特定的姿势(或相似的姿势)将聚类项目分组成特定的聚类可以促进对与在图像或模型中描绘的用户的未被遮挡的身体部位相对应的区域(例如,在图像或模型中)的识别。基于特定的姿势(或相似的姿势)将聚类项目分组成特定的聚类可以进一步促进执行对在图像或模型中的与未被遮挡的身体部位相对应的区域的更准确分析。包括在聚类中的一个或多个聚类项目可以用于分析与包括在聚类中的聚类项目中描绘的用户的未被遮挡的身体部位相对应的特定区域。
根据一个示例,聚类过程将示出面对摄像机用户的胳膊向上伸展的用户姿态的所有图像分组成第一聚类。根据另一个示例,使用户的手在用户前方的用户姿态的图像被分组成不同于第一聚类的第二聚类。这种场景在图11中示出。
可以使用以下的公式来描述聚类过程:
其中,K是要被分析的姿势聚类的数量,以及Si(1≤i≤K)是聚类的集合,每个包含用户所处的姿态的整个空间的子集或分区。姿势聚类可以将大量的数据点(等于视频帧捕捉的数量)减少到一组紧凑的示例性姿态签名μI,1≤i≤K,其中每个签名是来自每个聚类的代表性示例。在聚类中分组在一起的姿态的示例是描绘用户的正面视图的图像、描绘用户的侧视图的图像、描绘用户将用户的胳膊向上举起的用户的图像、描绘手放在用户的躯干前面的图像或描绘坐着的用户的图像。
可以使用姿势聚类,因为提取的图像样本的质量可能取决于用户的特定姿态。如果用户的特定身体部位相对于用户的其它身体部位位于更远离摄像机,或被另一个身体部位或在房间中的另一个物体遮挡,则特定身体部位的图像样本可能不包括用于关于穿戴在特定身体部位上的物品确定用户偏好的足够信息。例如,如果用户在用户的左手腕上佩戴手表并且用户的身体的右侧面对摄像机,则尝试提取描绘在其左手腕上的用户的手表的图像样本可能不会导致良好质量的图像样本。相似地,当用户使用户的胳膊在用户的躯干前面折叠时尝试提取关于用户的衬衫的信息可能不成功,因为偏好分析系统可能对属于图像内的用户的胳膊或手的表示的像素(而不是属于衬衫的表示的像素)进行错误地采样。
在某些示例实施例中,偏好分析系统对提取的样本的精确度进行评估。提取的图像样本的精确度可能基于提取的图像样本在多大程度上表示(例如描绘或示出)感兴趣的身体部位来进行评定。作为提取图像样本的过程的一部分,偏好分析系统在表示感兴趣的身体部位的图像内的位置(例如区域或地带)处将边界框叠加在图像上。如果边界框框出感兴趣的身体部位的表示的一部分,则高分可以与图像样本相关联(例如,作为图像样本的元数据)。如果边界框未能包围身体部位的表示的一部分,则低分与图像样本相关联。在一些情况下,只将高度可靠的样本存储在数据库的记录中并且用于进一步的分析。
在一些示例实施例中,偏好分析系统基于用户对特定的时尚物品(或时尚物品的特征,例如风格、颜色或图案)的偏好以及用户的测量来定制对时尚物品的库存的搜索。针对特定用户定制的聚焦搜索可以消除购物过程内的摩擦,提供对时尚物品的相关推荐以及增加推荐的物品的销售额。
观察用户活动可以帮助定制对特定用户的偏好的搜索。在一些示例实施例中,一旦从所观察的用户的一个或多个图像中提取出图像样本,则偏好分析系统可以基于用户的测量和时尚偏好来执行对时尚物品的库存内的时尚物品的搜索,以生成适合于推荐给用户的搜索结果。在一些情况下,对时尚物品的库存的搜索包括将查询样本(例如从接收的用户图像中提取的图像样本)与描绘包括在时尚物品的库存内的时尚物品的不同图像进行比较。
在一些示例实施例中,偏好分析系统基于提取的图像样本执行对时尚物品的库存的相似性搜索。相似性搜索的执行可以包括:例如基于从接收的图像中提取的图像样本中的视觉特征与描绘时尚物品的库存中的时尚物品的不同图像中的视觉特征的匹配,在时尚库存内识别尽可能密切匹配提取的图像样本的时尚物品。
根据某些示例实施例,给定从用户的图像中提取的查询样本偏好分析系统在时尚物品的库存中搜索视觉上相似的物品(例如,用于在电子商务网站上销售的时尚物品)。可以假设库存由U={U眼镜,U鞋子,U衬衫,...,U裤子}组成。库存数据集可以包括与各种时尚物品(例如眼镜、衬衫、鞋子、裤子等等)相对应的视觉特征。在一些情况下,相似性搜索的结果可以基于最近邻居匹配来进行确定并且可以包括与查询样本最相似的一个或多个物品。例如,可以基于库存物品具有与查询样本共同的一定数目(或百分比)的视觉特征而将该库存物品识别为与查询样本最相似。在一些情况下,基于库存物品具有与查询样本共同的超出特定的阈值的一定数目(或百分比)的视觉特征而将该库存物品识别为与查询样本最相似。
在一些示例实施例中,偏好分析系统基于提取的图像样本执行对时尚物品的库存的协调搜索。协调搜索的执行可以包括:基于协调规则在时尚物品的库存内识别可以与先前由用户穿戴的物品穿戴在一起的时尚物品。在一些情况下,可以基于分析由用户先前做出的时尚选择(例如,先前穿戴在一起的物品,由用户先前购买的物品,遵循对时尚物品的某些推荐等等)来产生描述用户的一个或多个时尚偏好的一个或多个协调规则。在一些示例实施例中,除了应用描述用户的一个或多个时尚偏好的一个或多个协调规则来执行协调搜索以外或代替应用描述用户的一个或多个时尚偏好的一个或多个协调规则来执行协调搜索,偏好分析系统利用由时尚专家确定的一个或多个协调规则或从描述多个人(例如买方、设计者、时尚博主、时尚专家、时装模特、展示街头风格的人等等)的时尚偏好(例如,时尚偏好图案)的数据机器学习到的一个或多个协调规则。
根据某些示例实施例,给定查询服装(例如衬衫查询)和目标服装物品(例如与衬衫相配的裤子),可以在查询空间与目标空间之间首先确定由T查询→目标表示的协调变换。在这样的场景下,一旦(例如从查询服装的图像)提取出具有视觉签名的查询样本则偏好分析系统可以将查询变换到目标空间(例如关于裤子的颜色/图案空间)。可以基于以下的公式来执行该变换:
一旦计算了目标视觉签名,则偏好分析系统可以基于以上描述的视觉搜索对目标空间执行相似性搜索。可以有用的是,注意到:给定衬衫查询,可以在查询空间上执行相似性搜索期间的视觉搜索,使得相似的衬衫物品被识别为搜索结果。相比之下,在协调搜索期间,偏好分析系统可以首先将视觉签名从查询空间变换到目标空间(例如裤子)并且然后在目标空间上执行最终搜索。
在一些示例实施例中,在执行相似性搜索或协调搜索时,偏好分析系统产生包括相似性搜索(或协调搜索)的一个或多个结果的推荐。推荐可以在通信中发送到用户。
根据某些示例实施例,偏好分析系统可以分析用户的时尚偏好并且可以估计用户的身体部位的尺寸而不管用户的姿势或摄像机的视角。可以在用户的家里、办公室环境或甚至公共空间内捕捉用户的图像和描述3D空间内用户的身体和姿势的空间数据。
例如,大型公共显示器是用于与购物中心和其它公共场所中的购物者进行交互的流行介质。大型显示器总是唤起用户之间的好奇心,并且在较长的时间段内维持用户参与可能对于这些显示器的成功是重要的。这样的显示器可以包括捕捉用户图像和描述用户的身体和姿势的空间数据的(偏好分析系统的)摄像机。一旦用户走过这样的显示器,则摄像机可以捕捉用户的图像和空间数据,并且偏好分析系统可以基于用户的图像和描述用户的身体或姿势的空间数据来确定用户的身体尺寸、用户的服装的特征(例如,衣服风格)或此两者。基于用户的身体尺寸、用户的服装的特征或此两者,偏好分析系统可以立即开始向用户做出推荐。
此外,在一些情况下,可以增加推荐以打动用户。根据一个示例,如果在十二月份正在执行对要推荐给用户的时尚物品的搜索,则当用户位于公共显示器前面时可以向用户推荐适合用户的圣诞装备。如果在体育事件(例如超级碗)期间正在执行搜索查询,则偏好分析系统可以推荐代表比赛队伍的衣服。根据另一个示例,偏好分析系统可以根据视频游戏的一个或多个主题(或角色)将时尚物品推荐给玩该视频游戏的人。根据又一示例,偏好分析系统可以根据正在观看的特定节目、节目中出现的角色或在节目中主演的演员将衣服推荐给看该电视节目的用户。例如,偏好分析系统可以基于当前流行的名人构建衣服风格的计算模型。偏好分析系统可以基于正被播放的节目和出现在特定节目中的名人的衣服风格的计算模型来推荐时尚物品。
图1是描绘客户端-服务器系统100(在其内可以部署一个示例实施例)的网络图。联网系统102(采取基于网络的市场或发布系统的示例形式)经由网络104(例如因特网或广域网(WAN))向一个或多个客户端提供服务器侧功能。图1示出了例如在各自的设备110和112上执行的web客户端106(例如,浏览器,诸如由华盛顿州雷德蒙德(Redmond,WashingtonState)的微软公司开发的Internet Explorer浏览器)和编程客户端108。
应用程序接口(API)服务器114和web服务器116耦合到一个或多个应用服务器118,并且将分别将编程接口和web接口提供到该一个或多个应用服务器118。应用服务器118托管一个或多个市场应用120和支付应用122。应用服务器118转而示出为耦合到促进对一个或多个数据库126的访问的一个或多个数据库服务器124。
市场应用120可以将许多市场功能和服务提供给防问联网系统102的用户。在各种示例实施例中,市场应用120可以包括偏好分析器132。在一些示例实施例中,偏好分析器132可以确定用户的时尚偏好,并且可以基于用户的时尚偏好生成物品推荐。
支付应用122可以同样地向用户提供许多支付服务和功能。支付应用122可以允许用户在账户中累积价值(例如,以商业货币,诸如美元或专有货币,诸如“点数”),并且然后稍后针对经由市场应用120提供的产品(例如,商品或服务)兑换累积的价值。虽然市场应用和支付应用120和122在图1中示出为两者形成联网系统102的一部分,但将理解的是,在替代实施例中,支付应用122可以形成与联网系统102分离且与其不同的支付服务的一部分。
此外,虽然在图1中示出的系统100采用客户端-服务器架构,但是实施例当然不限于这样的架构,并且可以同样在例如分布式或对等架构系统中找到应用。各种市场应用和支付应用120和122还可以实现为独立的软件程序,其不必具有联网能力。
web客户端106经由通过web服务器116支持的web接口访问各种市场应用和支付应用120和122。类似地,编程客户端108经由通过API服务器114提供的编程接口访问由市场应用和支付应用120和122提供的各种服务和功能。编程客户端108可以例如是卖方应用(例如,由San Jose,California的eBay公司开发的TurboLister应用),其能够使卖方以离线方式在联网系统102上创作和管理列表,并且在编程客户端108和联网系统102之间执行批处理模式通信。
图1还示出了在第三方服务器机器130上执行的第三方应用128(如经由通过API服务器114提供的编程接口对联网系统102进行编程访问)。例如,第三方应用128可以(利用从联网系统102检索的信息)支持在由第三方托管的网站上的一个或多个特征或功能。第三方网站可以例如提供由联网系统102的相关应用支持的一个或多个促销、市场或支付功能。
图2是示出了市场应用和支付应用120和122(其在一个示例实施例中被提供为联网系统102中的应用服务器118的一部分)的框图。应用120和122可以被托管在通信地耦合以实现服务器机器之间的通信的专用或共享服务器机器(未示出)上。应用120和122本身通信地耦合(例如,经由适当的接口)到彼此和各种数据源,以便允许信息在应用120和122之间传递或以便允许应用120和122共享和访问公共数据。应用120和122还可以经由数据库服务器124访问一个或多个数据库126。
联网系统102可以提供许多发布、列表和价格设置机制,由此卖方可以列出待售商品或服务(或发布关于待售商品或服务的信息),买方可以表达对购买这样的商品或服务的兴趣或指示购买这样的商品或服务的愿望,并且可以为与商品或服务有关的交易设置价格。为此,将市场应用和支付应用120和122示出为包括至少一个发布应用200和一个或多个拍卖应用202,其支持拍卖格式列表和价格设置机制(例如,英语、丹麦语、Vickrey、汉语、双重、反向拍卖等等)。各种拍卖应用202还可以提供支持这样的拍卖格式列表的多个特征(例如保留价格特征(由此卖方可以指定与列表有关的保留价格)和代理投标特征(由此投标人可以调用自动代理投标))。
多个固定价格应用204支持固定价格列表格式(例如,传统的分类广告类型列表或目录列表)和买断类型列表。具体地,买断类型列表(例如,包括由San Jose,California的eBay公司开发的立即购买(BIN)技术)可以与拍卖格式列表一起提供,并且允许买方以通常高于拍卖的起价的固定价格购买商品或服务(其还被经由拍卖提供用于销售)。
商店应用206允许卖方将“虚拟”商店内的列表(其可以通过和针对卖方标记商标和以其它方式进行个性化)分组。这样的虚拟商店还可以提供特定于和个性化于相关卖方的促销、激励和特征。
声誉应用208允许利用联网系统102进行交易的用户建立、构建和维护声誉,其可以提供和发布给潜在的贸易伙伴。考虑到例如联网系统102支持个人对个人贸易的情况,用户可能没有由此可以评估潜在的贸易伙伴的可信赖性和可信度的历史或其它参考信息。声誉应用208允许用户(例如,通过由其它交易伙伴提供的反馈)随着时间的流逝在联网系统102内建立声誉。其它潜在的贸易伙伴可以然后出于评估可信度和可信赖性的目的而参考这样的声誉。
个性化应用210允许联网系统102的用户个性化其与联网系统102的交互的各个方面。例如,用户可以利用适当的个性化应用210创建个性化参考页面(可以在其中查看关于用户是(或已经是)针对其的一方的交易的信息)。此外,个性化应用210可以使得用户能够个性化列表和其与联网系统102以及其它方的交互的其它方面。
联网系统102可以支持例如针对特定的地理区域定制的多个市场。联网系统102的版本可以针对英国进行定制,而联网系统102的另一个版本可以针对美国进行定制。这些版本中的每个版本可以操作为独立的市场或可以是公共基础市场的定制(或国际化)呈现。联网系统102可以相应地包括根据预定标准(例如,地理、人口统计或市场标准)来定制信息(和/或由联网系统102呈现信息)的多个国际化应用212。例如,国际化应用212可以用于支持针对由联网系统102操作和经由各自的web服务器116可访问的多个区域网站的信息的定制。
联网系统102的导航可以通过一个或多个导航应用214来促进。例如,搜索应用(作为导航应用214的示例)可以实现对经由联网系统102发布的列表的关键字搜索。浏览应用可以允许用户根据可以在联网系统102内进行分类的那些列表来浏览各种类别、目录或库存数据结构。各种其它导航应用214可以被提供以补充搜索应用和浏览应用。
为了使列表经由联网系统102可用作视觉通知以及尽可能有吸引力,应用120和122可以包括一个或多个成像应用216,用户可以利用成像应用上传图像以包括在列表内。成像应用216还操作以将图像并入所查看的列表内。成像应用216还可以支持一个或多个促销特征(例如呈现给潜在的买方的图像画廊)。例如,卖方可以支付附加的费用以使图像包括在关于促销的物品的图像画廊内。
列表创建应用218允许卖方方便地创作关于他们希望经由联网系统102进行交易的商品或服务的列表,并且列表管理应用220允许卖方管理这样的列表。具体地,在特定的卖方已经创作和/或发布了多个列表的情况下,管理这样的列表可能提出挑战。列表管理应用220提供多个特征(例如,自动重新列表、库存水平监控等等)以帮助卖方管理这样的列表。一个或多个列表后管理应用222还帮助卖方进行通常在列表后发生的多个活动。例如,在完成由一个或多个拍卖应用202促进的拍卖时,卖方可能希望留下关于特定买方的反馈。为此,列表后管理应用222可以将接口提供给一个或多个声誉应用208,以便允许卖方方便地将关于多个买方的反馈提供给声誉应用208。
争议解决应用224提供由此可以解决交易方之间产生的争议的机制。例如,争议解决应用224可以提供引导程序,由此通过尝试解决争议的多个步骤来引导各方。在经由引导的程序不能解决争议的情况下,争议可能升级到第三方调解员或仲裁员。
多个欺诈预防应用226实现欺诈检测和预防机制以减少联网系统102内的欺诈的发生。
消息发送应用228负责生成消息和将消息(例如,建议用户关于在联网系统102处的列表的状态的消息(例如,在拍卖过程期间将“出高价”通知提供给投标人或将促销和商品销售信息提供给用户))递送到联网系统102的用户。各自的消息发送应用228可以利用多个消息递送网络和平台中的任何一个以将消息递送到用户。例如,消息发送应用228可以经由有线(例如,因特网)、普通老式电话服务(POTS)或无线(例如,移动、蜂窝、WiFi、WiMAX)网络104递送电子邮件(e-mail)、即时消息(IM)、短消息服务(SMS)、文本、传真或语音(例如,因特网协议语音(VoIP))消息。
商品销售应用230支持提供给卖方的各种商品销售功能以使得卖方能够经由联网系统102增加销售额。商品销售应用230还操作可以由卖方调用的各种商品销售特征,并且可以监视和跟踪由卖方采用的商品销售策略的成功。
联网系统102本身或经由联网系统102进行交易的一方或多方可以操作由一个或多个忠诚度/促销应用232支持的忠诚度程序。例如,买方可以针对与特定卖方建立的和/或终止的每个交易获得忠诚度或促销点,并且可以被提供针对其可以兑换累积的忠诚度点的奖励。
图3是示出了根据一些示例实施例的适合于分析用户时尚偏好的网络环境300的网络图。网络环境300包括偏好分析机器310(例如,偏好分析器132)、数据库126以及设备330和350(它们都经由网络390可通信地耦合到彼此)。偏好分析机器310(具有或不具有数据库126)可以形成基于网络的系统305的全部或一部分(例如,配置为向设备330和350提供一个或多个图像处理服务的基于云的服务器系统)。设备330和350中的一者或两者可以包括允许捕捉图像(例如,用户在起居室中的图像)数据或描述摄像机外部的环境的深度(或空间)数据或此两者的摄像机。设备330和350中的一者或两者可以促进将图像、空间数据或此两者(例如,作为针对数据库126的提交)传送到偏好分析机器310。偏好分析机器310以及设备330和350可以每个在计算机系统中(整体地或部分地)实现,如下文参考图18描述的。
还在图3中示出用户332和352。用户332和352中的一者或两者可以是人类用户(例如,人类)、机器用户(例如,由软件程序配置以与设备330进行交互的计算机)或其任何合适的组合(例如,由机器辅助的人类或由人类监督的机器)。用户332不是网络环境300的一部分,但是与设备330相关联并且可以是设备330的用户。例如,设备330可以是台式计算机、车载计算机、平板计算机、导航设备、便携式媒体设备、智能电话或属于用户332的可穿戴设备(例如智能手表或智能眼镜)。同样地,用户352不是网络环境300的一部分,但是与设备350相关联。作为示例,设备350可以是台式计算机、车载计算机、平板计算机、导航设备、便携式媒体设备、智能电话或属于用户352的可穿戴设备(例如,智能手表或智能眼镜)。
还在图3中示出深度传感器334和354,例如微软TMKinectTM(在下文为“Kinect”)、移动设备(诸如蜂窝电话、平板计算机或PDA)、或摄像机(下文也为“深度传感器”)。网络环境300可以包括一个或多个深度传感器。在一些示例实施例中,深度传感器324可以是设备330的一部分。在其它示例实施例中,深度传感器334可以在设备330外部。类似地,深度传感器354可以是设备350的一部分。在其它示例实施例中,深度传感器354可以在设备350外部。
深度传感器334和354中的每个可以捕捉(例如接收、聚集或收集)关于在深度传感器外部的物理空间的空间数据(例如关于用户332的空间数据)并且将捕捉的空间数据传输到没备330或设备350,其转而可以经由网络390将由深度传感器334和354捕捉的一些或所有空间数据传输到偏好分析机器310。在一些示例实施例中,深度传感器334和354可以经由网络390与偏好分析机器310进行通信,并且经由网络390将捕捉的空间数据发送到偏好分析机器310,而不先将空间数据发送到设备330或350中的任一个。
在一些示例实施例中,深度传感器334和354不在网络环境300中。设备330或设备350可以分别捕捉用户332或用户352的图像,并且可以经由网络390将图像传输到偏好分析机器310,以用于基于捕捉的图像来确定用户时尚偏好。例如,如果深度信道不存在,则偏好分析机器310可以利用RGB信道数据以确定用户的时尚偏好。
在一些示例实施例中,偏好分析机器310的一些或所有功能通过设备330或设备350来执行。例如,托管在设备330上的应用(例如,存储在智能电话上的应用)可以对从设备330的摄像机或深度传感器334接收的图像数据和/或空间数据执行分析。所接收的图像数据和/或接收的空间数据可以描述由用户332穿戴的物品和用户332的身体。托管在设备330上的应用可以在某些情况下确定用户332的一个或多个时尚偏好。在一些情况下,托管在设备330上的应用可以将图像数据和/或空间数据的分析的结果传输到偏好分析机器310,以用于确定用户332的时尚偏好和/或用于基于用户332的时尚偏好来搜索时尚物品的库存。
图3中示出的机器、数据库或设备中的任何一个可以在通过软件(例如,一个或多个软件模块)修改(例如,配置或编程)为专用计算机以为该机器、数据库或设备执行本文描述的功能中的一个或多个功能的通用计算机中实现。例如,下文参考图18来论述能够实现本文描述的方法中的任何一个或多个方法的计算机系统。如本文所使用的,“数据库”是数据存储资源并且可以存储被构造为文本文件、表格、电子表格、关系数据库(例如,对象关系数据库)、三元组存储、分层数据存储或其任何合适的组合的数据。此外,图3中示出的机器、数据库或设备中的任何两个或多于两个可以组合成单个机器,并且本文针对任何单个机器、数据库或设备描述的功能可以在多个机器、数据库或设备之间进行细分。
网络390可以是实现在机器、数据库和设备(例如,服务器机器310和设备330)之间或之中的通信的任何网络。相应地,网络390可以是有线网络、无线网络(例如,移动或蜂窝网络)或其任何合适的组合。网络390可以包括构成专用网络、公共网络(例如因特网)或其任何合适的组合的一个或多个部分。相应地,网络390可以包括结合以下各项的一个或多个部分:局域网(LAN)、广域网(WAN)、因特网、移动电话网络(例如,蜂窝网络)、有线电话网络(例如,普通老式电话系统(POTS)网络)、无线数据网络(例如,WiFi网络或WiMax网络)或其任何合适的组合。网络390中的任何一个或多个部分可以经由传输介质来传送信息。如本文使用的,“传输介质”是指能够传送(例如,传输)用于由机器(例如,由这样的机器的一个或多个处理器)执行的指令的任何无形(例如,瞬时)介质,并且包括数字或模拟通信信号或促进这样的软件的通信的其它无形介质。
图4是示出了根据一些示例实施例的输入数据的示例的图。偏好分析机器310(使用在深度传感器中实现的骨架和深度跟踪技术)可以聚集描述位于深度传感器外部的物理环境(例如,用户的起居室)中的对象的空间数据。骨架和深度跟踪技术可以在深度传感器(例如,Kinect)、立体摄像机、移动设备和可以捕捉深度数据的任何其它设备中实现。在一些示例实施例中,使用利用RGB和深度信道的算法在服务器上实现骨架和深度跟踪技术。
在一些示例实施例中,深度感测技术使用基于结构光或飞行时间的感测。例如,作为偏好分析机器310的一部分并且位于用户的起居室中的红外(在下文中也为“IR”)发射器可以将红外光束投射(例如,发射或喷出)到周围空间中。投射的IR光束可以碰撞和反射位于其路径中的对象(例如,位于用户的起居室的用户或物理对象)。深度传感器(例如,位于用户的起居室)可以基于反射的IR光束捕捉(例如,接收)关于深度传感器的周围环境的空间数据。在一些示例实施例中,捕捉的空间数据可以用于创建(例如,表示、建模或定义)可以在(例如,电视机、计算机或移动设备的)屏幕上显示的3D视场。这样的空间数据的示例包括在空间传感器位于其中的房间内的对象的位置和形状。
在一些示例实施例中,基于测量IR光束反射它们在其路径中遇到并且由深度传感器捕捉的对象所花的时间,偏好分析机器310可以确定IR光束反射的对象(例如,用户、家具件或墙壁)的位置(例如,距离深度传感器的距离)。在各种示例实施例中,基于接收到的空间数据,系统可以确定在房间内的对象的细节,诸如在房间内的对象的空间测量结果(例如,用户的身体的尺寸)。
在一些示例实施例中,(例如,由包括在设备330中的摄像机捕捉的)用户332的图像和经由深度传感器334在一段时间内收集的空间数据用作针对偏好分析机器310的输入数据。图4示出了用户332的示例图像410(例如RGB图像)和指示深度传感器334外部的物理环境的示例空间数据420(例如,喷射伪色深度图像)。空间数据420包括关于用户332的身体的形状、用户332的身体的尺寸、深度传感器334和用户332之间的距离等等的信息。根据某些示例实施例,偏好分析机器310可以分析输入数据以确定用户的时尚偏好。偏好分析机器310还可以识别匹配用户的时尚偏好和用户的身体测量结果的可供购买的时尚物品,并且可以将识别的时尚物品推荐给用户。
图5是根据一些示例实施例的示例偏好分析机器310的功能图。在一些示例实施例中,偏好分析机器310包括在基于网络的系统500中。如在下文更详细描述的,偏好分析机器310可以接收图像和空间数据集合510(例如,用户332的图像和指示在深度传感器334外部的空间中的用户332的身体的空间数据)。可以从与用户332相关联的设备330接收图像和空间数据集合510。可以在相同时间一起或在不同时间彼此独立以及从不同的数据捕捉设备接收图像和空间数据集合510。在某些示例实施例中,设备330包括深度传感器334。
响应于接收图像和空间数据510,偏好分析机器310使用至少一个计算机处理器分析(例如,执行对其的图像和空间数据分析520)接收的图像和接收的空间数据集合510(也为“图像和空间数据集合510”)。在一些示例实施例中,为了执行图像和空间数据分析520,偏好分析机器310基于在特定的时间接收的空间数据集合生成表示用户的身体的模型,以及基于图像和模型的分析来确定表征由用户在特定的时间在用户的特定身体部位上穿戴的物品的一个或多个属性值对。由用户穿戴的物品的属性可以是物品的特征,例如风格、颜色、图案、品牌、织物或质地。属性值是属性可能采取的描述。属性值对的示例可以是“风格:非正式”、“颜色:红色”或“材料:皮革”。
偏好分析机器310可以基于在多个时间接收的用户的多个图像和多个空间数据集合来执行图像和空间数据分析520。相应地,偏好分析机器310可以生成表示在多个时间用户的身体的多个模型,并且可以基于对多个图像和多个模型的分析来确定表征由用户在多个时间中的每个时间穿戴在特定身体部位上的每个物品的一个或多个属性值对。
在某些示例实施例中,偏好分析机器310基于在一段时间内用户穿戴由特定属性值对表征的物品的频率来识别用户332的时尚偏好530。例如,偏好分析机器310可以确定在特定月份中有多少天用户穿着由属性值对“风格:非正式”表征的衬衫。在另一个示例中,偏好分析机器310可以确定在特定月份中有多少天用户穿着由属性值“材料:皮革”表征的鞋子。
在一些示例实施例中,当识别出用户332的用户偏好530时,偏好分析机器310基于识别的用户偏好530执行对待售物品的库存(例如,待售物品的多个列表)的搜索540。在一些情况下,偏好分析机器310可以基于用户偏好530执行相似性搜索,以识别与用户332频繁穿戴的物品相似的时尚物品。在其它情况下,偏好分析机器310可以基于用户偏好530执行协调搜索以识别可以与由用户332穿戴的一个或多个物品协调(例如,与其一起穿戴的)的时尚物品。
偏好分析机器310可以在一些示例实施例中生成对可以包括相似性搜索、协调搜索或两者的一个或多个结果的相关搜索结果的推荐550。偏好分析机器310然后可以将包括对相关搜索结果的推荐550的通信传输到与用户332相关联的设备330。
图6是示出了根据一些示例实施例的描绘在不同时间点的用户的示例图像和表示在不同时间点用户的身体的相应的示例模型的图。在图6中示出的图像610、630、650和670表示由设备330在一段时间内在某些时间捕捉的用户332的多个图像。例如,图像610、630、650和670可以是来自Kinect视频序列的帧。图像610、630、650和670示出了用户332执行多个活动(例如,站立、行走、坐着、锻炼或拉伸)。
还在图6中示出分别表示处于与图像610、630、650和670相对应的特定姿势中的用户332的身体的模型620、640、660和680的示例。在模型620、640、660和680中看到的每个姿势反映用户332的身体的位置(如在相应的图像610、630、650和670中的每个图像中示出的)。
在一些示例实施例中,用户332的身体的模型可以采取人物线条(stick)图形的形式(如在图6中描绘的模型620、640、660和680中示出的)。用户332的身体的模型可以包括用户332的身体的骨关节的位置的标识符。偏好分析机器310可以基于用户332的身体的骨关节的位置的标识符来识别在模型中的用户332的某些身体部位。基于在模型中的识别的身体部位,偏好分析机器310可以针对穿戴在相应的身体部位上的时尚物品确定用户偏好。
图7是示出了根据一些示例实施例的偏好分析机器310的组件的框图。偏好分析机器310被示出为包括接收器模块710、生成模块720、分析模块730、偏好模块740、搜索模块750、推荐模块760和通信模块770,所有这些被配置为彼此进行通信(例如,经由总线、共享存储器或交换机)。
可以使用硬件(例如,机器的一个或多个处理器)或硬件和软件的组合来实现本文描述的模块中的任何一个或多个模块。例如,本文描述的任何模块可以配置处理器(例如,在机器的一个或多个处理器之间)以为该模块执行本文描述的操作。此外,这些模块中的任何两个或多于两个模块可以组合成单个模块,并且本文针对单个模块描述的功能可以在多个模块之间进行细分。此外,根据各种示例实施例,本文描述为在单个机器、数据库或设备内实现的模块可以分布在多个机器、数据库或没备上。
图8、图8A、图9和图10是示出了根据一些示例实施例的偏好分析机器310在执行确定用户的时尚偏好以及基于用户的时尚偏好提供时尚物品推荐的方法800时的操作的流程图。可以使用以上关于图7描述的模块来执行在方法800中的操作。如在图8中示出的,方法800可以包括操作810、820和830中的一个或多个。
在方法操作810,接收器模块710访问(例如,接收、获得或捕捉)用户的图像和指示在特定的时间(例如,时间点)在三维空间中的用户的位置的空间数据集合。接收的图像(也为“图像”)和接收的空间数据集合(也为“空间数据集合”)可以被在特定的时间捕捉。在一些示例实施例中,接收的图像和接收的空间数据集合是由接收器模块710从与用户相关联的设备(例如,Kinect)接收的输入数据。图像、空间数据集合或此两者可以由深度传感器捕捉,深度传感器可以将图像、空间数据集合或此两者传送到与用户相关联的设备。在一些情况下,深度传感器可以绕过与用户相关联的设备,并且可以将图像、空间数据集合或此两者直接传输到偏好分析机器310(例如,到接收器模块710)。
在方法操作820,分析模块730使用一个或多个硬件处理器执行对接收的图像和接收的空间数据集合的分析。分析的执行可以包括从接收的图像提取图像样本。图像样本可以描绘由用户在特定的时间穿戴的物品的一部分。分析模块730可以将图像样本存储在数据库(例如,数据库126)的记录中。
在一些示例实施例中,对图像和模型的分析包括分析该图像中与用户的特定身体部位相对应并且描绘由用户在特定的时间穿戴的时尚物品的区域。在某些示例实施例中,分析模块730确定用户的身体的一个或多个测量结果(例如,尺寸)作为图像和模型的分析的一部分。分析模块730还可以基于用户的身体的测量结果确定来自不同品牌(例如,时尚物品的制造商或卖方)的可能适合用户的身体的时尚物品的一个或多个尺码。
在方法操作830,偏好模块730基于对接收的图像和接收的空间数据集合的分析来识别用户的时尚偏好。例如,基于对接收的图像和接收的空间数据集合的分析,分析模块730可以确定用户喜欢穿着由蓝色牛仔布织物制成的衬衫。在下文关于图8A、图9、图11和图13-图15来描述关于方法800的方法操作的进一步细节。
如在图8A中示出的,方法800可以包括操作811中的一个或多个。方法操作811可以在方法操作810之后执行,在其中接收器模块710接收用户的图像和指示在特定的时间在三维空间中的用户的位置的空间数据集合。
在方法操作811,生成模块720(使用一个或多个处理器)基于空间数据集合生成表示在特定时间用户的身体的模型。在一些示例实施例中,模型包括表示在特定的时间捕捉的图像中描绘的用户的姿势的人物线条图形。
如在图9中所示的,根据一些示例实施例,方法800可以包括方法操作901、902和903中的一个或多个。方法操作901可以执行为方法操作820的一部分(例如,前体任务、子例程或一部分),在其中分析模块730执行对接收的图像和接收的空间数据集合的分析。在方法操作901,分析模块730分析在表示在特定的时间用户的身体的位置的模型中描绘的用户的姿势。
方法操作902可以在方法操作901之后执行。在方法操作902,分析模块730基于对姿势的分析来识别模型中表示未被对象(例如,用户的另一个身体部位、家具物品、另一个人、动物等等)遮挡的用户的特定身体部位(例如,躯干)的区域(例如,表示用户的躯干的区域)。
方法操作903可以在方法操作902之后执行。在方法操作903,分析模块730将该模型与表示在其它时间的用户的身体的一个或多个其它模型进行聚类(例如,进行分组、生成其的聚类或生成其的分组)。模型的聚类可以基于模型的表示用户的特定身体部位的区域和一个或多个其它模型的未被另一个身体部位或对象遮挡的相同的区域。
例如,模型是表示用户的身体在特定时间的位置的人物线条图形。分析模块730可以将表示在不同的时间的用户的身体的人物线条图形进行聚类。人物线条图形的聚类可以基于在用户的身体的姿势中的相似性。例如,分析模块730可以识别具有未被用户的胳膊或手遮挡的躯干区域(表示用户的躯干)的人物线条图形。分析模块730然后可以将识别的人物线条图形分组为聚类。聚类可以映射到(例如,可以被识别为示出或描述)未被另一个身体部位或对象遮挡的特定身体部位(例如,躯干)。
在一些示例实施例中,聚类是基于描述在不同时间的不同用户的图像和/或空间数据所生成的人物线条图形的库。在特定的分组中聚类的人物线条图形可以表示由不同的人采取的特定的姿势。姿势聚类中的一个或多个可以映射到在视野上未被遮挡的某些身体部位。
根据各种示例实施例,代替生成表示用户的身体在多个时间的位置的模型的聚类或除了生成表示用户的身体在多个时间的位置的模型的聚类之外,分析模块730生成描绘在多个时间的用户的图像的聚类。在一些示例实施例中,代替生成模型的聚类或用户的图像的聚类或除了生成模型的聚类或用户的图像的聚类之外,分析模块730可以生成在特定的时间捕捉的用户的图像和表示在该特定的时间的用户的姿势的相应模型的组合。例如,图像和相应模型的组合可以包括在图像中描绘的用户的身体的二维表示上的模型(例如,表示用户的姿势的人物线条图形)的覆盖(例如,叠加)。分析模块730可以将图像和相应的模型的组合与其它图像和其它相应的模型的一个或多个其它组合进行聚类。分析模块730可以将(例如,模型的、图像的或图像和模型的组合的)一个或多个聚类存储在数据库(例如,数据库126)的一个或多个记录中。
图10是示出了根据一些示例实施例的模型聚类的示例的图。图10包括两排用户的图像和表示用户的姿势的模型的组合。两排中的每排表示示例聚类1010和1020。聚类1010包括用户的图像与表示用户的身体的特定位置的相应模型的四个组合。类似地,聚类1020包括用户的图像与表示用户的身体的特定位置的相应模型的四个组合。在聚类1010和1020内的图像和模型的每个组合中,模型(例如,人物线条图形)可以叠加在其相应的用户的图像上。根据某些示例实施例,图像和模型的组合基于如在图像中描绘的并且在与各自的图像相对应的模型中表示的用户的姿势的相似性而聚类在一起。
如在图10中所示,在聚类1010中的图像和模型的组合描绘用户站立,且用户的胳膊举起在肩膀水平处或高于肩膀水平处。相应地,在一些示例实施例中,聚类1010可以用于获得与由用户在用户的上身(例如,基于从表示用户的躯干的图像区域提取视觉特征)或在包括在聚类1010中的一个或多个图像内完全可见的任何其它身体部位上穿戴的时尚物品相关的信息。
如在图10中所示,在聚类1020中的图像和模型的组合描绘用户站立,且用户的胳膊或手部分遮挡用户的躯干的视图。例如,如在聚类1020的图像中的一些图像中描绘的,用户使用户的胳膊在用户的胸部前面交叉。相应地,在一些示例实施例中,聚类1020可能不用于获得与由用户穿戴在用户的上身上的时尚物品有关的信息。然而,因为在聚类1020的图像中用户的胳膊和手腕更靠近摄像机,所以聚类1020可以用于获得于由用户佩戴在用户的胳膊或手腕(例如,基于从表示用户的胳膊或手腕的图像区域提取视觉特征)或在包括在聚类1020中的一个或多个图像内完全可见的任何其它身体部位上的时尚物品有关的信息。
图11是示出了根据一些示例实施例的偏好分析机器在执行确定用户的时尚偏好的方法800时的操作的流程图。如在图11中所示,根据一些示例实施例,方法800包括方法操作1101、1102、1103、1104和1105中的一个或多个。
方法操作1101可以执行为方法操作820的一部分(例如,前体任务、子例程或一部分),在其中分析模块730执行对接收的图像和接收的空间数据集合的分析。在方法操作1101,分析模块730从模型的聚类获得(例如,访问、接收、选择或提取)模型以及与模型相对应的接收的图像。备选地,在一些示例实施例中,分析模块730从接收的图像和相应的模型的组合的聚类中获得接收的图像和相应模型的组合。模型和相应的接收图像可以表示(例如,描述)在特定时间的用户的姿势。
方法操作1102可以在方法操作1101之后执行。在方法操作1102,分析模块730识别接收图像中与从聚类获得的模型相对应的位置。位置与用户的特定身体部位相对应。识别与用户的特定身体部位相对应的位置可以基于用户的骨关节的一个或多个标识符。用户的骨关节的标识符可以包括在表示在特定时间的用户的姿势的模型中。
方法操作1103可以在方法操作1102之后执行。在方法操作1103,分析模块730从在图像中识别的位置处提取图像样本(例如,部分、区域、正方形、矩形或圆形)。图像样本可以描绘由用户穿戴在特定身体部位上的物品的一部分或整体。在一些示例实施例中,分析模块730将提取的图像样本存储在数据库(例如,数据库126)的记录中。分析模块730可以执行对从用户的一个或多个接收的图像中提取的一个或多个图像样本的进一步分析。
方法操作1104可以在方法操作1103之后执行。在方法操作1104,分析模块730分析图像样本。在一些示例实施例中,图像样本的分析包括确定表征由用户穿戴在特定身体部位上的物品的一个或多个属性值对。
方法操作1105可以在方法操作1104之后执行,在其中分析模块730分析图像样本。在方法操作1105,分析模块730确定表征由用户穿戴在用户的特定身体部位上的物品的一个或多个属性值对。一个或多个属性值对的确定可以基于对图像样本的分析。例如,基于对从在接收的图像中描绘的用户的躯干区域中提取的图像样本的分析,分析模块730可以确定用户将由属性值对“颜色:蓝色”和由属性值对“织物:牛仔布”表征的物品穿戴在用户的上身上。
图12是示出了根据一些示例实施例的示例图像和从各自的示例图像提取的相应示例图像样本组的图。如在图12中所示,图像1210和1230可以是由分析模块730从用户的图像的不同聚类获得的采样图像。图像1210和1230所属的聚类可以表示在包括在各自的聚类中的图像中描绘的不同姿势。
在图像和模型的分析过程期间,分析模块730可以识别用户完全可见的(例如,不被对象的另一个身体部位遮挡的)特定身体部位。分析模块730可以识别与特定的未被遮挡的身体部位相对应的图像区域(例如,图像中的位置或图像的一部分)。例如,如在图12中所示,分析模块730可以基于在描绘用户的特定身体部位的一部分或整体的图像的一部分周围覆盖边界框来识别图像区域。分析模块730可以在一些情况下基于覆盖多个不同颜色的边界框来标记几个图像区域,以识别描绘用户的有区别的(例如,不同的)身体部位的图像部分。识别的图像区域可以用于在特定图像中提取描绘由用户穿戴在用户的身体的不同部位上的不同的时尚物品的图像样本。
分析模块730可以从识别的图像区域中提取一个或多个图像样本。例如,如图12中所示,分析模块730在用户的躯干的区域中提取与包括在叠加在图像1210上的绿色边界框内的第一图像区域相对应的第一图像样本。分析模块730可以在用户的右腿的区域中提取与包括在叠加在图像1210上的黄色边界框内的第二图像区域相对应的第二图像样本。
还在图12中示出一组从图像1210中提取的图像样本1220和一组从图像1230中提取的图像样本1240。可以分析在图像样本1220和1240的组中的图像样本以确定表征由用户穿戴在一个或多个身体部位上的物品的属性值对。
图13-图15是示出了根据一些示例实施例的偏好分析机器在执行确定用户的时尚偏好的方法800时的操作的流程图。
如在图13中所示,根据一些示例实施例,方法800可以包括方法操作1301和1302中的一个或多个。方法操作1301可以执行为方法操作1104的一部分(例如,前体任务、子例程或一部分),在其中分析模块730分析图像样本。在方法操作1301,分析模块730从图像样本提取一个或多个视觉特征。
在一些示例实施例中,分析模块730将从图像样本中提取的一个或多个视觉特征与图像样本的标识符一起或相关联地存储在数据库的记录中。在一些情况下,可以使用从图像样本中提取的一个或多个视觉特征以执行对时尚物品的库存的相似性搜索或时尚物品的库存的协调搜索或此两者。例如,在相似性搜索中,从图像样本中提取的一个或多个视觉特征可以与在描绘包括在正被搜索的时尚物品库存中的时尚物品的图像中所识别的一个或多个视觉特征进行比较。
方法操作1302可以在方法操作1302之后执行,在其中分析模块730从图像样本中提取一个或多个视觉特征。在方法操作1302,分析模块730基于从图像样本中提取的视觉特征确定表征由用户穿戴在特定身体部位上的物品的一个或多个属性值对。
如在图14中所示,根据一些示例实施例,方法800可以包括方法操作1401、1402、1403、1404、1405和1406中的一个或多个。方法操作1401可以执行为方法操作830的一部分(例如,前体任务、子例程或一部分),在其中,偏好模块730基于对接收的图像和接收的空间数据集合的分析识别用户的时尚偏好。在方法操作1401,偏好模块740访问(例如,接收)表征由用户在一段时间内(例如,在多个时间,诸如在6月份期间的每个工作日的上午10时)穿戴的一个或多个物品的多个属性值对。
方法操作1402可以在方法操作1401之后执行。在方法操作1402,偏好模块740访问在该段时间内接收的多个接收图像。
方法操作1404可以在方法操作1403之后执行。在方法操作1404,偏好模块740确定在该段时间内用户穿戴由多个属性值对中的特定属性值对所表征的物品的频率。频率的确定可以基于在该段时间内接收的多个接收图像。频率可以由在该段时间内用户穿戴由特定属性值对所表征的物品的天数或次数来表示。
方法操作1404可以在方法操作1403之后执行。在方法操作1405,偏好模块740基于在该段时间内用户穿戴由特定属性值对所表征的物品的频率来识别用户的时尚偏好。
在一些示例实施例中,偏好模块740可以将一段时间内用户穿戴由特定属性值对所表征的物品的天数与阈值天数进行比较。如果在一段时间内用户穿戴由特定属性值对所表征的物品的天数超出阈值天数,则偏好模块740将特定属性值对识别为表示用户的时尚偏好。在一些情况下,将用户的时尚偏好作为用户的一般时尚偏好(例如,用户喜欢蓝颜色或用户喜欢穿牛仔布)存储在数据库126的记录中。在其它情况下,将用户的偏好作为与偏好所属的时尚物品(例如,上装、下装、鞋类、钱包、帽子、领带、首饰等等)的类型的标识符相关联的用户的时尚偏好存储在数据库126的记录中。
例如,偏好模块740可以确定在过去三十天中有二十天用户在用户的上身上穿戴由属性值对“颜色:蓝色”所表征的时尚物品。阈值天数是三十天中的十八天。偏好模块740可以确定:由于在过去的三十天中有多于十八天用户在用户的上身上穿戴蓝色衣服,所以用户穿戴由属性值对“颜色:蓝色”表征的物品的天数超出阈值天数。相应地,偏好模块740可以将属性值对“颜色:蓝色”识别为用户的时尚偏好。
方法操作1405可以在方法操作830之后执行,在其中偏好模块730基于对接收的图像和接收的空间数据集合的分析识别用户的时尚偏好。在方法操作1405,搜索模块750基于对时尚物品的库存的搜索来识别与用户的时尚偏好相对应的物品(例如,作为其一部分)。偏好模块730可以基于所识别的用户的时尚偏好来执行对时尚物品的库存的搜索。时尚物品的库存可以包括可供在基于网络的市场上购买的物品。
在一些示例实施例中,与用户的时尚偏好相对应的物品的识别包括基于图像样本执行对时尚物品的库存的搜索。执行搜索可以包括根据特定的搜索规则将图像样本和描绘在库存内的时尚物品的一个或多个图像进行比较。
在一些示例实施例中,识别与用户的时尚偏好相对应的物品包括基于表征由用户在用户的特定身体部位上穿戴的物品的一个或多个属性值对来执行对时尚物品的库存的搜索。可以基于从图像样本提取的视觉特征来确定一个或多个属性值对。
在一些示例实施例中,搜索模块750可以将搜索限制到特定类别的物品。例如,搜索模块750搜索被识别为由特定的性别(例如,女性或男性)或年龄(例如,儿童或成年人)的人穿戴的物品(例如,具有包括在物品列表的元数据或物品的图像中的标识符或标签)。根据另一个示例,搜索模块750搜索包括在特定类别的时尚物品中的物品(例如,上装、下装、帽子、鞋类、首饰等等)。
方法操作1406可以在方法操作1405之后执行。在方法操作1406,推荐模块760生成对在时尚物品库存的搜索期间识别为与用户的时尚偏好相对应的物品的推荐。
在一些示例实施例中,方法800还可以包括将通信传输(例如,通过通信模块770)到用户。通信可以包括所生成的对被识别为与用户的时尚偏好相对应的物品的推荐。
如在图15中所示,根据一些示例实施例,方法800可以包括方法操作1501和1502中的一个或多个。方法操作1501可以执行为方法操作1405的一部分(例如,前体任务、子例程或一部分),在其中搜索模块750基于识别的用户的时尚偏好执行时尚物品的库存的搜索。在方法1501,搜索模块750执行对时尚物品库存的相似性搜索并且生成相似性搜索结果(例如,与由用户先前穿戴的物品相似的时尚物品)。
在一些示例实施例中,相似性搜索是基于图像样本的。在一些情况下,相似性搜索还基于用户的身体的一个或多个测量结果。执行相似性搜索可以包括:选择(例如,通过搜索模块750)要被用作查询图像样本的提取的图像,并且将查询图像样本与时尚物品库存中的物品的一个或多个图像进行匹配。
在一些情况下,搜索模块750基于从图像样本提取的一个或多个视觉特征执行对时尚物品的库存的相似性搜索。例如,为了执行相似性搜索,搜索模块750将从图像样本提取的一个或多个视觉特征和在描绘包括在正被搜索的时尚物品库存中的时尚物品的图像中所识别的一个或多个视觉特征进行比较。
在一些示例实施例中,相似性搜索是基于表征由用户先前穿戴的时尚物品的属性值对的。在一些情况下,相似性搜索还基于用户的身体的一个或多个测量结果。执行相似性搜索可以包括:选择(例如,通过搜索模块750)要被用作查询属性值对的属性值对,以及识别在时尚物品库存中的由属性值对所表征的一个或多个物品。
方法操作1502可以执行为方法操作1405的一部分(例如,前体任务、子例程或一部分),在其中搜索模块750基于识别的用户的时尚偏好执行对时尚物品的库存的搜索。在方法1502,搜索模块750执行对时尚物品库存的协调搜索,并且生成协调搜索结果(例如,可以与由用户先前穿戴的物品协调的时尚物品)。
在一些示例实施例中,协调搜索是基于图像样本的。在一些情况下,协调搜索还基于用户的身体的一个或多个测量结果。执行协调搜索可以包括:选择(例如,通过搜索模块750)要被用作查询图像样本的提取的图像样本,以及基于协调规则识别时尚物品库存中的可以和与查询图像样本相对应的时尚物品穿戴在一起的一个或多个物品。
在一些情况下,搜索模块750基于从图像样本提取的一个或多个视觉特征执行对时尚物品的库存的协调搜索。例如,为了执行协调搜索,搜索模块750可以将从图像样本提取的一个或多个视觉特征和在描绘包括在正被搜索的时尚物品库存中的时尚物品的图像中所识别的一个或多个视觉特征进行比较。
在一些情况下,基于对在一段时间内捕捉的一个或多个用户的多个图像的分析生成指定什么物品可以穿戴在一起的一个或多个协调规则。一个或多个协调规则可以与一个或多个用户的标识符相关联地存储在数据库(例如,数据库126)的一个或多个记录中。
在一些示例实施例中,协调搜索是基于表征由用户先前穿戴的时尚物品的属性值对的。在一些情况下,协调搜索还基于用户的身体的一个或多个测量结果。执行协调搜索可以包括:选择(例如,通过搜索模块750)要被用作查询属性值对的属性值对,以及基于协调规则识别时尚物品库存中的可以与由用户先前穿戴的时尚物品穿戴在一起并且由属性值对所表征的一个或多个物品。
图16是示出了根据一些示例实施例的包括查询图像样本的示例图像和相应的示例搜索结果的图。如图16中所示,图像1610可以用于提取两个图像样本:由覆盖(例如,包围)在图像1610中描绘的用户的牛仔裤的一部分上的红色边界框标记的第一图像样本和由覆盖(例如,包围)在图像1610中描绘的用户的白色T恤的一部分上的绿色边界框标记的第二图像样本。
搜索模块750可以基于从图像1610提取的第一图像样本执行相似性搜索。基于相似性搜索,搜索模块750可以生成一个或多个相似性搜索结果1620。搜索模块750可以基于从图像1610提取的第二图像样本执行协调搜索。基于协调搜索,搜索模块750可以生成一个或多个协调搜索结果1630。
类似地,搜索模块750可以基于从图像1640提取的第一图像样本执行相似性搜索。基于相似性搜索,搜索模块750可以生成一个或多个相似性搜索结果1650。搜索模块750可以基于从图像1640提取的第二图像样本执行协调搜索。基于协调搜索,搜索模块750可以生成一个或多个协调搜索结果1660。
根据各种示例实施例,本文描述的方法中的一个或多个可以促进确定用户的时尚偏好。此外,本文描述的方法中的一个或多个可以促进基于用户的时尚偏好向用户提供物品推荐。因此,本文描述的方法中的一个或多个可以促进改善向用户推荐的物品的销售。
当综合考虑这些效果时,本文描述的方法中的一个或多个可以消除对评估在线销售的物品的图像所涉及的某些努力或资源的需要。可以通过本文描述的方法中的一个或多个减少由这样的图像的提供者(例如,卖方)在评估这样的图像时所花费的努力。可以类似地减少由一个或多个机器、数据库或设备(例如,在网络环境300内)使用的计算资源。这样的计算资源的示例包括处理器周期、网络流量、存储器使用、数据存储容量、功率消耗和冷却能力。
示例移动设备
图17是示出根据示例实施例的移动设备1700的框图。移动设备1700可以包括处理器1702。处理器1702可以是适合于移动设备1700的各种不同类型的可商用处理器1702中的任何一个(例如,XScale架构微处理器、没有互锁流水线(pipeline)级(MIPS)架构处理器的微处理器或另一类型的处理器1702)。存储器1704(诸如随机访问存储器(RAM)、闪存或其它类型的存储器)通常可由处理器1702访问。存储器1704可以适于存储操作系统(OS)1706以及应用程序1708(诸如可以向用户提供LBS的移动位置使能应用)。处理器1702可以直接或经由适当的中间硬件耦合到显示器1710和一个或多个输入/输出(I/O)设备1712(诸如小键盘、触摸面板传感器、麦克风等等)。类似地,在一些实施例中,处理器1702可以耦合到与天线1716连接的收发器1714。根据移动设备1700的性质,收发器1714可以配置为经由天线1716发送和接收蜂窝网络信号、无线数据信号或其它类型的信号。此外,在一些配置中,GPS接收器1718还可以利用天线1716来接收GPS信号。
模块、组件和逻辑
某些实施例在本文描述为包括逻辑或多个组件、模块或机制。模块可以构成软件模块(例如,体现在(1)非瞬时性机器可读介质上或(2)传输信号中的代码)或硬件实现的模块。硬件实现的模块是能够执行某些操作的有形单元并且可以以某种方式进行配置或布置。在示例实施例中,一个或多个计算机系统(例如,独立的、客户端或服务器计算机系统)或一个或多个处理器1702可以由软件(例如,应用或应用部分)配置为操作以执行如本文描述的某些操作的硬件实现的模块。
在各种实施例中,硬件实现的模块可以以机械方式或电子方式实现。例如,硬件实现的模块可以包括永久配置(例如,作为专用处理器,诸如现场可编程门阵列(FPGA)或专用集成电路(ASIC))以执行某些操作的专用电路或逻辑。硬件实现的模块还可以包括由软件暂时配置以执行某些操作的可编程逻辑或电路(例如,如包含在通用处理器1702或其它可编程处理器1702之内的)。应当理解的是,可以通过成本和时间考虑来推动以机械方式、以专用和永久配置的电路、或以暂时配置的电路(例如,通过软件配置的)实现硬件实现的模块的决定。
相应地,术语“硬件实现的模块”应当理解为包括有形实体,其是物理构造的、永久配置(例如,硬连线)或暂时或瞬时配置(例如,编程)为按某种方式操作和/或执行本文描述的某些操作的实体。考虑其中硬件实现的模块被暂时配置(例如,编程)的实施例,硬件实现的模块中的每个模块不需要在任何一个时间实例进行配置或实例化。例如,在硬件实现的模块包括使用软件配置的通用处理器1702的情况下,通用处理器1702可以在不同的时间配置为相应的不同的硬件实现的模块。软件可以相应地配置处理器1702例如以在一个时间实例构成特定的硬件实现的模块以及在不同的时间实例构成不同的硬件实现的模块。
硬件实现的模块可以将信息提供到其它硬件实现的模块和从其接收信息。相应地,描述的硬件实现的模块可以视为是通信地耦合的。在多个这样的硬件实现的模块同时存在的情况下,可以通过信号传输来实现通信(例如,通过连接硬件实现的模块的适当的电路和总线)。在其中多个硬件实现的模块在不同时间被配置或实例化的实施例中,可以实现这样的硬件实现的模块之间的通信(例如,通过在多个硬件实现的模块对其具有访问权限的存储器结构中的信息的存储和检索)。例如,一个硬件实现的模块可以执行操作并且将该操作的输出存储在其通信地耦合到的存储器设备中。另外的硬件实现的模块可以然后在稍后的时间访问存储器设备以检索和处理存储的输出。硬件实现的模块还可以发起与输入或输出设备的通信,并且可以对资源(例如,信息的集合进行操作。
本文描述的示例方法中的各种操作可以至少部分由暂时配置(例如,通过软件)或永久配置以执行相关操作的一个或多个处理器1702来执行。无论是暂时还是永久配置,这样的处理器1702可以构成操作以执行一个或多个操作或功能的处理器实现的模块。本文提到的模块可以在一些示例实施例中包括处理器实现的模块。
类似地,本文描述的方法可以是至少部分处理器实现的。例如,方法的操作中的至少一些可以由一个或多个处理器1702或处理器实现的模块来执行。操作中的某些的执行可以分布在一个或多个处理器1702或处理器实现的模块(不仅可以驻留在单个机器内,而且可以部署在多个机器上)中。在一些示例实施例中,一个或多个处理器1702或处理器实现的模块可以位于单个位置(例如,家庭环境、办公室环境内或作为服务器群(server farm))中,而在其它实施例中,一个或多个处理器1702或处理器实现的模块可以分布在多个位置上。
一个或多个处理器1702还可以操作以支持在“云计算”环境中的相关操作的执行或作为“软件即服务”(SaaS)。例如,可以由一组计算机(如包括处理器的机器的示例)来执行操作中的至少一些,这些操作可经由网络(例如,因特网)和经由一个或多个适当的接口(例如,应用程序接口(API))访问。
电子装置和系统
可以在数字电子电路中或在计算机硬件、固件、软件中或在它们的组合中实现示例实施例。可以使用计算机程序产品(例如有形地体现在信息载体(例如在机器可读介质中)中用于由数据处理装置(例如可编程处理器1702、计算机或多个计算机)执行或控制数据处理装置的操作的计算机程序)来实现示例实施例。
可以以任何形式的编程语言(包括编译或解释语言)来编写计算机程序,并且它可以被以任何形式进行部署(包括作为独立程序或作为模块、子例程或适合于在计算环境中使用的其它单元)。计算机程序可以被部署以在一个计算机上或在多个计算机上(一个站点处或分布在多个站点上并且通过通信网络互连的多个计算机)执行。
在示例实施例中,可以由一个或多个可编程处理器1702执行计算机程序以通过对输入数据进行操作并且生成输出以实施功能来实施操作。方法操作还可以通过专用逻辑电路(例如,现场可编程门阵列(FPGA)或专用集成电路(ASIC))来执行,并且示例实施例的装置可以实现为专用逻辑电路(例如,现场可编程门阵列(FPGA)或专用集成电路(ASIC))。
计算系统可以包括客户端和服务器。客户端和服务器通常彼此远离并且通常通过通信网络进行交互。客户端和服务器的关系借助于在各自的计算机上运行并且彼此具有客户端-服务器关系的计算机程序而出现。在部署可编程计算系统的实施例中,应当理解的是,硬件架构和软件架构两者都需要考虑。具体地,应当理解的是,是否在永久配置的硬件(例如,ASIC)中、在暂时配置的硬件(例如,软件和可编程处理器1702的组合)中或永久配置的硬件和暂时配置的硬件的组合中实现某个功能的选择可以是设计选择。下文阐述的是可以在各个示例实施例中部署的硬件(例如机器)架构和软件架构。
示例机器架构和机器可读介质
图18是示出了根据一些示例实施例的能够从机器可读介质1822(例如,非瞬时性机器可读介质、机器可读存储介质、计算机可读存储介质或其任何合适的组合)读取指令1824并且整体地或部分地执行本文论述的方法中的任何一个或多个的机器1800的组件的框图。具体地,图18示出了采取计算机系统(例如计算机)的示例形式的机器1800,在计算机系统内用于使得机器1800执行本文论述的方法中的任何一个或多个的指令1824(例如,软件、程序、应用、小程序、应用程序(app)、或其它可执行代码)可以被整体地或部分地执行。
在备选实施例中,机器1800操作为独立设备或可以连接(例如联网)到其它机器。在联网的部署中,机器1800可以在服务器-客户端网络环境中以服务器机器或客户端机器的身份进行操作或在分布式(例如对等)网络环境中操作为对等机器。机器1800可以是服务器计算机、客户端计算机、个人计算机(PC)、平板计算机、膝上型计算机、上网本、蜂窝电话、智能电话、机顶盒(STB)、个人数字助理(PDA)、web设备、网络路由器、网络交换机、网桥或能够顺序或以其它方式执行指定要由该机器采取的动作的指令1824的任何机器。此外,尽管仅仅示出了单个机器,但是术语“机器”还应被采用以包括单独地或联合地执行指令1824以实施本文论述的方法中的任何一个或多个的全部或部分的机器的任何集合。
机器1800包括处理器1802(例如,中央处理单元(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、射频集成电路(RFIC)或其任何合适的组合)、主存储器1804和静态存储器1806,被配置为经由总线1808彼此进行通信。处理器1802可以包含可由指令1824中的一些或全部暂时或永久配置的微电路,使得处理器1802可配置为整体地或部分地执行本文描述的方法中的任何一个或多个。例如,处理器1802的包括一个或多个微电路的集合可以可配置为执行本文描述的一个或多个模块(例如,软件模块)。
机器1800还可以包括图形显示器1810(例如,等离子体显示面板(PDP)、发光二极管(LED)显示器、液晶显示器(LCD)、投影仪、阴极射线管(CRT)或能够显示图形或视频的任何其它显示器)。机器1800还可以包括字母数字输入设备1812(例如,键盘或小键盘)、光标控制设备1814(例如,鼠标、触摸板、跟踪球、操纵杆、运动传感器、眼睛跟踪设备或其它指向仪器)、存储单元1816、音频生成设备1818(例如,声卡、放大器、扬声器、耳机插孔、或其任何合适的组合)和网络接口设备1820。
存储单元1816包括机器可读介质1822(例如有形和非瞬时性机器可读存储介质),在其上存储有体现本文描述的方法或功能中的任何一个或多个的指令1824。指令1824还可以在其由机器1800执行之前或期间完全地或至少部分地驻留在主存储器1804内、在处理器1802内(例如,在处理器的高速缓存存储器内)或在此两者内。相应地,主存储器1804和处理器1802可以被认为是机器可读介质(例如,有形和非瞬时性机器可读介质)。指令1824可以经由网络接口设备1820通过网络1826进行发送或接收。例如,网络接口设备1820可以使用任何一个或多个传输协议(例如,超文本传输协议(HTTP))来传送指令1824。
在一些示例实施例中,机器1800可以是便携式计算设备(例如智能电话或平板计算机)并且具有一个或多个附加的输入组件1830(例如,传感器或仪表)。这样的输入组件1830的示例包括图像输入组件(例如,一个或多个摄像机)、音频输入组件(例如,麦克风)、方向输入组件(例如,罗盘)、位置输入组件(例如,全球定位系统(GPS)接收器)、定向组件(例如,陀螺仪)、运动检测组件(例如,一个或多个加速度计)、高度检测组件(例如,高度计)和气体检测组件(例如,气体传感器)。由这些输入组件中的任何一个或多个收集的输入可以可由本文描述的模块中的任何一个模块访问并且可供其使用。
如本文使用的,术语“存储器”是指能够暂时或永久存储数据的机器可读介质,并且可以认为包括但不限于随机访问存储器(RAM)、只读存储器(ROM)、缓冲存储器、闪存和高速缓存存储器。虽然在示例实施例中机器可读介质1822示出为单个介质,但是术语“机器可读介质”应当被认为包括能够存储指令的单个介质或多个介质(例如,集中式或分布式数据库,或相关联的高速缓存和服务器)。术语“机器可读介质”还将被认为包括能够存储指令1824的任何介质或多个介质的组合,指令1824用于由机器1800执行,使得指令1824当由机器1800的一个或多个处理器(例如,处理器1802)执行时使得机器1800整体地或部分地执行本文描述的方法中的任何一个或多个。相应地,“机器可读介质”是指单个存储装置或设备以及包括多个存储装置或设备的基于云的存储系统或存储网络。术语“机器可读介质”应相应地被认为包括但不限于采取固态存储器、光学介质、磁介质或其任何合适的组合的形式的一个或多个有形(例如,非瞬时性)数据存储库。
贯穿本说明书,多个实例可以实现描述为单个实例的组件、操作或结构。尽管一个或多个方法中的各个操作被示出和描述为单独的操作,但是各个操作中的一个或多个可以被同时执行,并且不要求以示出的顺序来执行操作。在示例配置中呈现为单独的组件的结构和功能可以实现为组合的结构或组件。类似地,呈现为单个组件的结构和功能可以实现为单独的组件。这些和其它变形、修改、添加和改进落入本文主题的范围。
某些实施例在本文描述为包括逻辑或多个组件、模块或机制。模块可以构成软件模块(例如,存储或以其它方式体现在机器可读介质上或在传输介质中的代码)、硬件模块或其任何合适的组合。“硬件模块”是能够执行某些操作的有形(例如,非瞬时性)单元并且可以被以某个物理方式进行配置或布置。在各个示例实施例中,一个或多个计算机系统(例如,独立计算机系统、客户端计算机系统或服务器计算机系统)或计算机系统的一个或多个硬件模块(例如处理器或一组处理器)可以由软件(例如,应用或应用部分)配置为操作以执行如本文描述的某些操作的硬件模块。
在一些实施例中,可以以机械方式、电子方式或其任何合适的组合来实现硬件模块。例如,硬件模块可以包括永久配置以执行某些操作的专用电路或逻辑。例如,硬件模块可以是专用处理器,例如现场可编程门阵列(FPGA)或ASIC。硬件模块还可以包括由软件暂时配置以执行某些操作的可编程逻辑或电路。例如,硬件模块可以包括包含在通用处理器或其它可编程处理器内的软件。应当理解的是,可以通过成本和时间考虑来推动以机械方式、以专用和永久配置的电路、或以暂时配置(例如,通过软件配置的)的电路实现硬件模块的决定。
相应地,短语“hardware module(硬件模块)”应当理解为包含有形实体,并且这样的有形实体可以被物理构造、永久配置(例如,硬连线)或暂时配置(例如,编程)以按某个方式进行操作或以执行本文描述的某些操作。如本文使用的,“硬件实现的模块”是指硬件模块。考虑到其中硬件模块被暂时配置(例如编程)的实施例,硬件模块中的每个硬件模块不需要在任何一个时间实例进行配置或实例化。例如,在硬件模块包括由软件配置以成为专用处理器的通用处理器的情况下,通用处理器可以在不同的时间配置为分别不同的专用处理器(例如,包括不同的硬件模块)。软件(例如,软件模块)可以相应地配置一个或多个处理器例如以在一个时间实例构成特定的硬件模块并且在不同的时间实例构成不同的硬件模块。
硬件模块可以向其它硬件模块提供信息并且从其它硬件模块接收信息。相应地,描述的硬件模块可以被视为是通信地耦合的。在多个硬件模块同时存在的情况下,可以通过硬件模块中的两个或多于两个硬件模块之间或之中的信号传输(例如,通过适当的电路和总线)实现通信。在其中多个硬件模块被在不同的时间配置或实例化的实施例中,可以例如通过在多个硬件模块对其有访问权限的存储器结构中的信息的存储和检索来实现这样的硬件模块之间的通信。例如,一个硬件模块可以执行操作并且将该操作的输出存储在其通信地耦合到的存储器设备中。另外的硬件模块可以然后在稍后的时间访问存储器设备以检索和处理所存储的输出。硬件模块还可以发起与输入设备或输出设备的通信,并且可以对资源(例如,信息的集合)进行操作。
本文描述的示例方法中的各种操作可以由暂时配置(例如,通过软件)或永久配置以执行相关操作的一个或多个处理器至少部分地执行。无论是暂时还是永久配置,这样的处理器可以构成操作以执行本文描述的一个或多个操作或功能的处理器实现的模块。如本文使用的,“处理器实现的模块”是指使用一个或多个处理器实现的硬件模块。
类似地,本文描述的方法可以是至少部分处理器实现的,处理器是硬件的示例。例如,方法中的操作中的至少一些可以由一个或多个处理器或处理器实现的模块来执行。如本文使用的,“处理器实现的模块”是指其中硬件包括一个或多个处理器的硬件模块。此外,一个或多个处理器还可以操作以支持在“云计算”环境中的相关操作的执行或作为“软件即服务”(SaaS)。例如,操作中的至少一些可以由一组计算机(作为包括处理器的机器的示例)来执行,其中这些操作可经由网络(例如,因特网)和经由一个或多个适当的接口(例如,应用程序接口(API))访问。
某些操作的执行可以分布在一个或多个处理器之中(不仅驻留在单个机器内,而且部署在多个机器上)。在一些示例实施例中,一个或多个处理器或处理器实现的模块可以位于单个地理位置中(例如,在家庭环境、办公室环境或服务器群内)。在其它示例实施例中,一个或多个处理器或处理器实现的模块可以分布在多个地理位置中。
本文论述的主题的一些部分可以根据对存储为机器存储器(例如,计算机存储器)内的位或二进制数字信号的数据的操作的算法或符号表示来呈现。这样的算法或符号表示是由在数据处理领域中的普通技术人员使用以将他们的工作的实质传达给本领域其它技术人员的技术的示例。如本文使用的,“算法”是导致期望的结果的操作或类似的处理的自相一致序列。在这种背景下,算法和操作涉及物理量的物理操纵。通常,但不一定,这些量可以采取能够由机器存储、访问、传输、组合、比较或以其它方式进行操纵的电、磁或光学信号的形式。主要出于普遍使用的原因,有时使用诸如“数据”、“内容”、“位”、“值”、“元件”、“符号”、“字符”、“术语”、“数(number)”、“数字(numeral)”等等的词语来指代这样的信号是方便的。然而,这些词语仅仅是方便的标记并且将与适当的物理量相关联。
除非另有明确说明,在本文使用诸如“处理”、“计算(compute)”、“求解(calculate)”、“确定”、“呈现”、“显示”等等的词语的论述可以是指对在一个或多个存储器(例如,易失性存储器、非易失性存储器或其任何合适的组合)、寄存器或接收、存储、传输或显示信息的其它机器组件内表示为物理(例如,电子、磁或光学)量的数据进行操纵或变换的机器(例如,计算机)的动作或过程。此外,除非另有明确说明,在本文使用如在专利文件中常见的术语“a(一)”或“an(一个)”以包括一个或多于一个实例。最后,如本文使用的,除非另有明确说明,连词“or(或)”是指非排他性的“or(或)”。
工业适用性
本文公开的发明具有诸如深度感测技术、图像分析、数据处理和人机交互的广泛范围的工业应用。
Claims (18)
1.一种系统,包括:
一个或多个硬件处理器;
接收器模块,由所述一个或多个处理器实现,并且被配置为接收用户的图像和指示用户的身体在三维空间中的位置的空间数据集合,所接收的图像和所接收的空间数据集合是在一个时间点捕捉的;
分析模块,由所述一个或多个处理器实现,并且被配置为执行对所接收的图像和所接收的空间数据集合的分析,所述分析的执行包括:
基于在骨架阵列中用户的骨关节的一个或多个标识符,识别在所接收的图像中的与用户的特定身体部位相对应的位置,其中所述骨架阵列是基于所述空间数据集合生成的;以及
从所接收的图像中的所识别的位置处提取图像样本,所述图像样本描绘用户穿戴在所述特定身体部位上的物品的一部分;
偏好模块,由所述一个或多个处理器实现,并且被配置为基于对所接收的图像的所述分析来识别用户的时尚偏好;以及
搜索模块,由所述一个或多个处理器实现,并且被配置为基于一个或多个协调规则,在时尚物品库存中识别与用户的时尚偏好相对应的、与用户穿戴的物品一起穿戴的一个或多个时尚物品。
2.根据权利要求1所述的系统,其中,所述搜索模块还被配置为通过以下操作来识别与用户穿戴的物品一起穿戴的一个或多个时尚物品:
从所述用户的图像中提取查询样本,所述查询样本表示用户穿戴的物品;
根据所述查询样本来确定查询空间;
根据所述一个或多个协调规则将所述查询空间变换到目标空间;以及
基于用户的时尚偏好,搜索所述目标空间内的所述一个或多个时尚物品。
3.根据权利要求1所述的系统,其中所述一个或多个协调规则是基于分析用户先前做出的时尚选择而产生的,或者是由时尚专家确定的,或者是对描述多个人的时尚偏好的数据的机器学习而产生的。
4.根据权利要求1所述的系统,其中所述分析模块还被配置为基于所述用户的图像和所述空间数据集合,产生表示在所述时间点用户的身体和用户穿戴的一个或多个物品的用户模型,并且将所述用户模型存储在数据库中。
5.根据权利要求4所述的系统,其中所述偏好模块还被配置为:
从所述数据库中访问所述用户模型;
从所述数据库中访问另一用户模型,所述另一用户模型表示在其他时间用户的身体和用户穿戴的一个或多个物品;以及
通过对所述用户模型和所述另一用户模型进行聚类来产生用户模型的聚类。
6.根据权利要求4所述的系统,其中所述分析模块还被配置为:
执行对所述图像样本的分析;以及
基于对所述图像样本的分析,确定表征用户穿戴在身体上的所述物品的一个或多个属性值对。
7.根据权利要求6所述的系统,其中执行对所述图像样本的分析包括:
从所述图像样本提取一个或多个视觉特征,以及
其中所述一个或多个属性值对的确定基于从所述图像样本提取的所述一个或多个视觉特征。
8.根据权利要求6所述的系统,其中所述偏好模块还被配置为:
访问表征由用户在一段时间内穿戴的一个或多个物品的多个属性值对,所述一个或多个物品包括所述物品;
访问在所述一段时间内接收的多个接收图像;
确定在所述一段时间内用户穿戴由所述多个属性值对中的特定属性值对所表征的物品的频率,以及
其中识别用户的所述时尚偏好基于用户在所述一段时间内穿戴由所述多个属性值对中的所述特定属性值对所表征的物品的频率。
9.根据权利要求2所述的系统,其中所述分析模块还被配置为作为对所接收的图像的分析的一部分,确定用户的身体的一个或多个测量结果,并且所述搜索模块还被配置为基于用户的身体的测量结果,识别适合用户的身体的所述一个或多个时尚物品。
10.一种计算机实现的方法,包括:
接收用户的图像和指示用户的身体在三维空间中的位置的空间数据集合,所接收的图像和所接收的空间数据集合是在一个时间点捕捉的;
执行对所接收的图像和所接收的空间数据集合的分析,所述分析的执行包括:基于在骨架阵列中用户的骨关节的一个或多个标识符,识别在所接收的图像中的与用户的特定身体部位相对应的位置,其中所述骨架阵列是基于所述空间数据集合生成的;以及从所接收的图像中的所识别的位置处提取图像样本,所述图像样本描绘用户穿戴在所述特定身体部位上的物品的一部分;
基于对所接收的图像的所述分析来识别用户的时尚偏好;以及
基于一个或多个协调规则,在时尚物品库存中识别与用户的时尚偏好相对应的、与用户穿戴的物品一起穿戴的一个或多个时尚物品。
11.根据权利要求10所述的计算机实现的方法,其中识别与用户穿戴的物品一起穿戴的一个或多个时尚物品还包括:
从所述用户的图像中提取查询样本,所述查询样本表示用户穿戴的物品;
根据所述查询样本来确定查询空间;
根据所述一个或多个协调规则将所述查询空间变换到目标空间;以及
基于用户的时尚偏好,搜索所述目标空间内的所述一个或多个时尚物品。
12.根据权利要求10所述的计算机实现的方法,其中所述一个或多个协调规则是基于分析用户先前做出的时尚选择而产生的,或者是由时尚专家确定的,或者是对描述多个人的时尚偏好的数据的机器学习而产生的。
13.根据权利要求10所述的计算机实现的方法,还包括:
基于所述用户的图像和所述空间数据集合,产生表示在所述时间点用户的身体和用户穿戴的一个或多个物品的用户模型;以及
将所述用户模型存储在数据库中。
14.根据权利要求13所述的计算机实现的方法,还包括:
从所述数据库中访问所述用户模型;
从所述数据库中访问另一用户模型,所述另一用户模型表示在其他时间用户的身体和用户穿戴的一个或多个物品;以及
通过对所述用户模型和所述另一用户模型进行聚类来产生用户模型的聚类。
15.根据权利要求13所述的计算机实现的方法,还包括:
执行对所述图像样本的分析;以及
基于对所述图像样本的所述分析确定表征由用户穿戴在身体上的所述物品的一个或多个属性值对。
16.根据权利要求15所述的计算机实现的方法,其中执行对所述图像样本的分析包括从所述图像样本提取一个或多个视觉特征,以及
其中所述一个或多个属性值对的确定基于从所述图像样本提取的所述一个或多个视觉特征。
17.根据权利要求15所述的计算机实现的方法,还包括:
作为对所接收的图像的分析的一部分,确定用户的身体的一个或多个测量结果;以及
基于用户的身体的测量结果,识别适合用户的身体的所述一个或多个时尚物品。
18.一种机器可读介质,承载指令,所述指令在由机器的一个或多个处理器执行时使得所述机器执行根据权利要求10到17中的任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911145202.4A CN110826528B (zh) | 2014-04-17 | 2015-04-17 | 时尚偏好分析 |
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201461981011P | 2014-04-17 | 2014-04-17 | |
US61/981,011 | 2014-04-17 | ||
US14/326,125 | 2014-07-08 | ||
US14/326,125 US10013710B2 (en) | 2014-04-17 | 2014-07-08 | Fashion preference analysis |
CN201580026270.2A CN106462979B (zh) | 2014-04-17 | 2015-04-17 | 时尚偏好分析 |
PCT/US2015/026361 WO2015161191A1 (en) | 2014-04-17 | 2015-04-17 | Fashion preference analysis |
CN201911145202.4A CN110826528B (zh) | 2014-04-17 | 2015-04-17 | 时尚偏好分析 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580026270.2A Division CN106462979B (zh) | 2014-04-17 | 2015-04-17 | 时尚偏好分析 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110826528A CN110826528A (zh) | 2020-02-21 |
CN110826528B true CN110826528B (zh) | 2023-12-22 |
Family
ID=54322403
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911145202.4A Active CN110826528B (zh) | 2014-04-17 | 2015-04-17 | 时尚偏好分析 |
CN201580026270.2A Active CN106462979B (zh) | 2014-04-17 | 2015-04-17 | 时尚偏好分析 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580026270.2A Active CN106462979B (zh) | 2014-04-17 | 2015-04-17 | 时尚偏好分析 |
Country Status (5)
Country | Link |
---|---|
US (3) | US10013710B2 (zh) |
EP (1) | EP3132421A4 (zh) |
KR (3) | KR102189394B1 (zh) |
CN (2) | CN110826528B (zh) |
WO (1) | WO2015161191A1 (zh) |
Families Citing this family (43)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10332176B2 (en) | 2014-08-28 | 2019-06-25 | Ebay Inc. | Methods and systems for virtual fitting rooms or hybrid stores |
US9460342B1 (en) * | 2013-08-05 | 2016-10-04 | Google Inc. | Determining body measurements |
US10013710B2 (en) | 2014-04-17 | 2018-07-03 | Ebay Inc. | Fashion preference analysis |
US10529009B2 (en) | 2014-06-25 | 2020-01-07 | Ebay Inc. | Digital avatars in online marketplaces |
US10653962B2 (en) | 2014-08-01 | 2020-05-19 | Ebay Inc. | Generating and utilizing digital avatar data for online marketplaces |
US20160078289A1 (en) * | 2014-09-16 | 2016-03-17 | Foundation for Research and Technology - Hellas (FORTH) (acting through its Institute of Computer | Gesture Recognition Apparatuses, Methods and Systems for Human-Machine Interaction |
US10726464B2 (en) * | 2014-12-18 | 2020-07-28 | Ebay Inc. | Expressions of user interest |
US10109219B2 (en) * | 2015-04-16 | 2018-10-23 | Robert Bosch Gmbh | System and method for automated sign language recognition |
WO2017007930A1 (en) * | 2015-07-07 | 2017-01-12 | Beckham Brittany Fletcher | System and network for outfit planning and wardrobe management |
US9836867B2 (en) * | 2015-11-06 | 2017-12-05 | International Business Machines Corporation | Photograph augmentation with garment overlay |
US9460557B1 (en) | 2016-03-07 | 2016-10-04 | Bao Tran | Systems and methods for footwear fitting |
US9996981B1 (en) | 2016-03-07 | 2018-06-12 | Bao Tran | Augmented reality system |
US9919217B2 (en) | 2016-03-08 | 2018-03-20 | Electronic Arts Inc. | Dynamic difficulty adjustment |
BR112018068087A8 (pt) * | 2016-03-08 | 2023-04-11 | A&At Uk Ltd | Método para identificar o tamanho ideal de peças de vestuário e sistema para facilitar e/ou melhorar a satisfação com a seleção do tamanho de uma peça de vestuário |
US10262440B2 (en) * | 2016-03-25 | 2019-04-16 | Ebay Inc. | Publication modification using body coordinates |
KR20180026155A (ko) * | 2016-09-02 | 2018-03-12 | 에스케이플래닛 주식회사 | 사용자 이미지를 이용한 대여 아이템 선호도 자동 분석 장치 및 이를 이용한 방법 |
US10384133B1 (en) | 2016-12-30 | 2019-08-20 | Electronic Arts Inc. | Systems and methods for automatically measuring a video game difficulty |
CN110392897A (zh) * | 2017-01-04 | 2019-10-29 | 艾奎菲股份有限公司 | 用于基于形状的物品检索的系统和方法 |
JP2018120527A (ja) * | 2017-01-27 | 2018-08-02 | 株式会社リコー | 画像処理装置、画像処理方法及び画像処理システム |
US10357718B2 (en) | 2017-02-28 | 2019-07-23 | Electronic Arts Inc. | Realtime dynamic modification and optimization of gameplay parameters within a video game application |
US10052026B1 (en) | 2017-03-06 | 2018-08-21 | Bao Tran | Smart mirror |
JP6922400B2 (ja) * | 2017-05-15 | 2021-08-18 | 富士通株式会社 | ファッション分析プログラム、ファッション分析装置及びファッション分析方法 |
CN108230082A (zh) | 2017-06-16 | 2018-06-29 | 深圳市商汤科技有限公司 | 搭配服饰的推荐方法和装置、电子设备、存储介质 |
US10949667B2 (en) | 2017-09-14 | 2021-03-16 | Ebay Inc. | Camera platform and object inventory control |
US10592960B2 (en) * | 2017-12-19 | 2020-03-17 | Futurewei Technologies, Inc. | Determining thermal insulation levels of clothing to wear at a destination |
CN109993595B (zh) * | 2017-12-29 | 2024-06-21 | 北京三星通信技术研究有限公司 | 个性化推荐商品及服务的方法、系统及设备 |
US11188965B2 (en) * | 2017-12-29 | 2021-11-30 | Samsung Electronics Co., Ltd. | Method and apparatus for recommending customer item based on visual information |
CN110110189A (zh) * | 2018-02-01 | 2019-08-09 | 北京京东尚科信息技术有限公司 | 用于生成信息的方法和装置 |
US10713543B1 (en) | 2018-06-13 | 2020-07-14 | Electronic Arts Inc. | Enhanced training of machine learning systems based on automatically generated realistic gameplay information |
CN110706043A (zh) * | 2018-07-09 | 2020-01-17 | 阿里巴巴集团控股有限公司 | 一种商品提供商、商品的推荐方法、装置及设备 |
CN110147854A (zh) * | 2018-07-19 | 2019-08-20 | 深圳码隆科技有限公司 | 服装识别方法、计算机设备和存储介质 |
CN109672917B (zh) * | 2018-08-10 | 2020-05-08 | 邹培利 | 视频文件读取分析方法 |
US10953334B2 (en) | 2019-03-27 | 2021-03-23 | Electronic Arts Inc. | Virtual character generation from image or video data |
US11276216B2 (en) | 2019-03-27 | 2022-03-15 | Electronic Arts Inc. | Virtual animal character generation from image or video data |
US10796276B1 (en) | 2019-04-11 | 2020-10-06 | Caastle, Inc. | Systems and methods for electronic platform for transactions of wearable items |
US10902510B2 (en) | 2019-04-11 | 2021-01-26 | Caastle, Inc. | Systems and methods for analysis of wearable items of a clothing subscription platform |
US11151794B1 (en) * | 2019-06-28 | 2021-10-19 | Snap Inc. | Messaging system with augmented reality messages |
US11626994B2 (en) * | 2020-02-27 | 2023-04-11 | Sneakertopia Inc. | System and method for presenting content based on articles properly presented and verifiably owned by or in possession of user |
US11721035B2 (en) * | 2020-06-16 | 2023-08-08 | Tailoru Llc | System and method of use of augmented reality in measuring body circumference for the use of apparel production |
KR102377736B1 (ko) * | 2020-08-07 | 2022-03-24 | 주식회사 비크코퍼레이션 | 빅데이터 기반의 소비자 참여형 온라인 쇼핑 서비스 제공 방법 및 장치 |
KR102534182B1 (ko) * | 2020-09-25 | 2023-05-18 | 엔에이치엔클라우드 주식회사 | 딥러닝 기반 상품검색 방법 및 시스템 |
US11531697B2 (en) * | 2020-11-03 | 2022-12-20 | Adobe Inc. | Identifying and providing digital images depicting human poses utilizing visual interactive content search and virtual mannequins |
US11854069B2 (en) * | 2021-07-16 | 2023-12-26 | Snap Inc. | Personalized try-on ads |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012135797A2 (en) * | 2011-03-31 | 2012-10-04 | Linda Smith | Targeted marketing system and method |
CN103440587A (zh) * | 2013-08-27 | 2013-12-11 | 刘丽君 | 基于网络购物的个人形象设计与产品推荐的方法 |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20010090191A (ko) | 2000-03-23 | 2001-10-18 | 이건우 | 인터넷을 이용한 주문형 신발 제작 시스템 및 방법 |
US8660902B2 (en) * | 2004-07-23 | 2014-02-25 | Lori Coulter, Llc | Methods and systems for selling apparel |
FI20045300A (fi) | 2004-08-17 | 2006-02-18 | Nokia Corp | Elektroninen laite ja menetelmä elektronisen laitteen toimintojen ohjaamiseksi sekä ohjelmatuote menetelmän toteuttamiseksi |
US7487116B2 (en) * | 2005-12-01 | 2009-02-03 | International Business Machines Corporation | Consumer representation rendering with selected merchandise |
US8139067B2 (en) * | 2006-07-25 | 2012-03-20 | The Board Of Trustees Of The Leland Stanford Junior University | Shape completion, animation and marker-less motion capture of people, animals or characters |
US8068676B2 (en) * | 2007-11-07 | 2011-11-29 | Palo Alto Research Center Incorporated | Intelligent fashion exploration based on clothes recognition |
US9189886B2 (en) | 2008-08-15 | 2015-11-17 | Brown University | Method and apparatus for estimating body shape |
US20100313141A1 (en) | 2009-06-03 | 2010-12-09 | Tianli Yu | System and Method for Learning User Genres and Styles and for Matching Products to User Preferences |
JP2012529122A (ja) | 2009-06-03 | 2012-11-15 | ライクドットコム | ユーザーのジャンル及びスタイルを学習すると共に製品をユーザーの好みにマッチングさせるシステム及び方法 |
KR101616926B1 (ko) * | 2009-09-22 | 2016-05-02 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
US8908928B1 (en) * | 2010-05-31 | 2014-12-09 | Andrew S. Hansen | Body modeling and garment fitting using an electronic device |
US8929612B2 (en) | 2011-06-06 | 2015-01-06 | Microsoft Corporation | System for recognizing an open or closed hand |
US8908962B2 (en) * | 2011-09-30 | 2014-12-09 | Ebay Inc. | Item recommendations using image feature data |
KR101307325B1 (ko) | 2011-10-10 | 2013-09-10 | 건국대학교 산학협력단 | 관심영역 설정을 이용한 이미지 이중 검색 시스템 |
CN104156870A (zh) * | 2011-12-07 | 2014-11-19 | 株式会社尼康 | 移动终端的控制方法及移动终端 |
US9213420B2 (en) * | 2012-03-20 | 2015-12-15 | A9.Com, Inc. | Structured lighting based content interactions |
KR20130107506A (ko) | 2012-03-22 | 2013-10-02 | 삼성전기주식회사 | 유체동압베어링 모듈 및 이를 포함하는 스핀들 모터 |
CN103578008B (zh) * | 2012-07-20 | 2020-08-25 | 阿里巴巴集团控股有限公司 | 一种推荐服装产品的方法以及装置 |
WO2014037939A1 (en) | 2012-09-05 | 2014-03-13 | Body Pass Ltd. | System and method for deriving accurate body size measures from a sequence of 2d images |
CN102968555A (zh) * | 2012-11-01 | 2013-03-13 | 江苏物联网研究发展中心 | 基于电子商务的懒人搭配穿衣建议系统 |
US9275308B2 (en) * | 2013-05-31 | 2016-03-01 | Google Inc. | Object detection using deep neural networks |
US10013710B2 (en) | 2014-04-17 | 2018-07-03 | Ebay Inc. | Fashion preference analysis |
-
2014
- 2014-07-08 US US14/326,125 patent/US10013710B2/en active Active
-
2015
- 2015-04-17 KR KR1020187037225A patent/KR102189394B1/ko active IP Right Grant
- 2015-04-17 WO PCT/US2015/026361 patent/WO2015161191A1/en active Application Filing
- 2015-04-17 KR KR1020167032017A patent/KR20160145732A/ko active Search and Examination
- 2015-04-17 CN CN201911145202.4A patent/CN110826528B/zh active Active
- 2015-04-17 EP EP15779536.0A patent/EP3132421A4/en not_active Withdrawn
- 2015-04-17 KR KR1020207034889A patent/KR102425462B1/ko active IP Right Grant
- 2015-04-17 CN CN201580026270.2A patent/CN106462979B/zh active Active
-
2018
- 2018-06-15 US US16/009,626 patent/US10878481B2/en active Active
-
2020
- 2020-11-23 US US17/102,194 patent/US11599929B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012135797A2 (en) * | 2011-03-31 | 2012-10-04 | Linda Smith | Targeted marketing system and method |
CN103440587A (zh) * | 2013-08-27 | 2013-12-11 | 刘丽君 | 基于网络购物的个人形象设计与产品推荐的方法 |
Also Published As
Publication number | Publication date |
---|---|
KR20190000397A (ko) | 2019-01-02 |
WO2015161191A1 (en) | 2015-10-22 |
CN106462979A (zh) | 2017-02-22 |
CN110826528A (zh) | 2020-02-21 |
US20210166290A1 (en) | 2021-06-03 |
US10878481B2 (en) | 2020-12-29 |
US11599929B2 (en) | 2023-03-07 |
KR102425462B1 (ko) | 2022-07-27 |
KR102189394B1 (ko) | 2020-12-18 |
KR20200139275A (ko) | 2020-12-11 |
US20150302505A1 (en) | 2015-10-22 |
EP3132421A4 (en) | 2017-08-23 |
EP3132421A1 (en) | 2017-02-22 |
CN106462979B (zh) | 2019-12-13 |
US20180365750A1 (en) | 2018-12-20 |
US10013710B2 (en) | 2018-07-03 |
KR20160145732A (ko) | 2016-12-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11599929B2 (en) | Fashion preference analysis | |
US11593871B1 (en) | Virtually modeling clothing based on 3D models of customers | |
US12008619B2 (en) | Methods and systems for virtual fitting rooms or hybrid stores | |
US20210264508A1 (en) | Providing a Virtual Shopping Environment for an Item | |
US11273378B2 (en) | Generating and utilizing digital avatar data for online marketplaces | |
US10964078B2 (en) | System, device, and method of virtual dressing utilizing image processing, machine learning, and computer vision | |
US20200143456A1 (en) | Digital avatars in online marketplaces | |
KR101852581B1 (ko) | 이미지 평가 기법 | |
US9898742B2 (en) | Virtual dressing room | |
US10475099B1 (en) | Displaying relevant content | |
CN111681070A (zh) | 线上商品的购买方法、购买装置、存储装置及购买设备 | |
US20200372560A1 (en) | Method for exploring and recommending matching products across categories | |
US12094032B2 (en) | Pose recommendation and real-time guidance for user-generated content | |
US20240071019A1 (en) | Three-dimensional models of users wearing clothing items |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |