CN109840825A - 基于用户的物理特征的推荐系统 - Google Patents

基于用户的物理特征的推荐系统 Download PDF

Info

Publication number
CN109840825A
CN109840825A CN201811433064.5A CN201811433064A CN109840825A CN 109840825 A CN109840825 A CN 109840825A CN 201811433064 A CN201811433064 A CN 201811433064A CN 109840825 A CN109840825 A CN 109840825A
Authority
CN
China
Prior art keywords
user
product
model
face
physical characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811433064.5A
Other languages
English (en)
Inventor
D.科尔尼洛夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dieter Technologies
Original Assignee
Dieter Technologies
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dieter Technologies filed Critical Dieter Technologies
Publication of CN109840825A publication Critical patent/CN109840825A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0282—Rating or review of business operators or products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本公开的实施例提供了基于用户的物理/生物计量特征的推荐系统。在各种实施例中，系统包括处理器，所述处理器被配置成至少部分地基于用户的图像来确定用户的物理特性。所述处理器还被配置成确定物理特性和产品之间的相关性，并且至少部分地基于所确定的相关性来生成产品推荐。

Description

基于用户的物理特征的推荐系统
背景技术
对购买服装和诸如眼镜的配饰感兴趣的人通常需要亲自访问商店并且试穿该产品以查看他们是否为良好的搭配。衣服和配饰通常具有功能和美学的目的两者，这可能影响选择过程。在没有对产品的适用性的先前的知识的大部分情况下，可能花费数小时的浏览和试穿产品。个人设计师可以通过建议产品来帮助决定过程。然而，个人设计师受到他们自己的偏爱和对相对小的领域的可用库存的熟悉的限制。常规的产品推荐算法通常是简单的，并且基于用户的浏览历史的基本评估来做出建议。
附图说明
在下文中的详细描述和附图中公开了本发明的各种实施例。
图1是图示用于基于用户的图像来推荐产品的过程的实施例的流程图。
图2是图示用于基于用户的物理特征来做出推荐的系统的实施例的框图。
图3是图示用于基于用户的物理特征来做出推荐的系统的示例的框图。
图4是图示推荐引擎的实施例的框图。
图5是示出用于用户的面部的3D建模的过程的实施例的流程图。
图6是示出用于用户的面部的3D建模的过程的实施例的流程图。
图7是示出输入到用于生成用户的面部的3D可形变模型的主要分量分析和从其输出的示例的图。
图8A示出从用户的面部的图像集合获得的参考点的示例。
图8B示出从用户的面部的图像集合获得的参考点的示例。
图9是示出3D空间中的预定3D面部的可视化的示例的图。
图10是图示用于确定推荐的解释的过程的实施例的流程图。
图11是图示面部数据评分系统的实施例的框图。
图12是图示用于使用分类器来确定面部特征属性的过程的实施例的流程图。
图13A是用于浏览库存的产品目录的示例图形用户界面(GUI)。
图13B是示出响应于与图13A的GUI的用户交互而显示的产品的示例GUI。
图13C是示出响应于与图13A的GUI的用户交互而显示的产品的示例GUI。
图14A是用于浏览库存的产品目录的示例GUI。
图14B是响应于与图14A的GUI的用户交互而显示的示例GUI。
图15A是用于浏览库存的产品目录的示例GUI。
图15B是响应于与图15A的GUI的用户交互而显示的示例GUI。
图16是示出基于用户的物理特征的推荐的输出的示例GUI。
具体实施方式
本发明可以以多种方式实现，包括作为过程；装置；系统；物质成分；嵌入在计算机可读存储介质上的计算机程序产品；和/或处理器，诸如被配置成执行存储在耦合到处理器的存储器上和/或由耦合到处理器的存储器提供的指令的处理器。在本说明书中，这些实现方式或者本发明可以采取的任何其它形式可以被称为技术。通常，所公开的过程的步骤的顺序可以在本发明的范围内改变。除非另外声明，否则诸如被描述为被配置成执行任务的处理器或存储器之类的部件可被实现为被临时配置成在给定时间执行任务的通用部件或被制造成执行该任务的特定部件。如本文中所使用的那样，术语“处理器”指代配置成处理数据(诸如，计算机程序指令)的一个或多个设备、电路和/或处理核心。
下文连同图示本发明的原理的附图一起提供本发明的一个或多个实施例的详细描述。结合这样的实施例来描述本发明，但是本发明不限于任何实施例。本发明的范围仅由权利要求限定，并且本发明涵盖许多替换方案、修改和等同物。在以下描述中阐述了许多特定细节以便提供对本发明的透彻理解。这些细节是出于示例的目的而提供的，并且可以在没有这些特定细节中的一些或全部的情况下根据权利要求来实践本发明。为了清楚性的目的，尚未详细描述在与本发明相关的技术领域中已知的技术材料，使得本发明不会被不必要地模糊。
公开了基于用户的物理特征的推荐系统的实施例。在各种实施例中，确定物理特性(有时称为“生物计量特性”)并将其用于对适合于用户的产品做出推荐。物理特性可以描述用户的面部的3D表面，包括面部结构或比例、面部形状、眼睛颜色和形状、头发颜色、皮肤颜色、皮肤图案等。在各种实施例中，至少部分地基于用户的图像来确定用户的物理特性。确定物理特性和产品之间的相关性，并且至少部分地基于所确定的相关性来生成产品推荐。用户的图像可以是用户的正面轮廓、侧面轮廓或如以下更全面描述的那样的事物之间的静止图像或视频的帧。
物理特性和产品之间的相关性可以基于用户之间的相似性(诸如面部的类似3D表面)或产品与用户的搭配来确定。与基于2D图像的用户报告的属性或性质提供推荐的常规设计师或搭配顾问不同，在各种实施例中，基于系统地确定的3D物理特性（诸如用户的面部的3D表面的特征）来做出推荐。
图1是图示用于基于用户的图像来推荐产品的过程的实施例的流程图。过程100可以至少部分地在图2的系统200的一个或多个部件上实现。在一些实施例中，过程200由图3的推荐引擎314执行。
该过程基于图像确定物理特性(102)。物理特性是指图像的主体的属性。例如，对于用户的图像，物理特性包括面部特征，诸如面部的3D表面、面部结构或比例、面部形状、眼睛颜色、眼睛形状、头发颜色、皮肤颜色、皮肤图案等。诸如眼睛之间的距离、从鼻梁到鼻尖的距离等的物理特性可通过提取从图像集合获得的参考点来测量，如关于图8A和图8B更全面地描述的那样。在各种实施例中，图像包括可促进确定物理特性的诸如深度传感器的其它传感器数据。
图像可以由诸如与图2的用户设备204相关联的相机之类的相机捕获。其它传感器数据可由各种传感器(诸如深度传感器)捕获。在一些实施例中，用户的单个基本正面图像足以进行产品推荐。在一些实施例中，使用用户的多个图像（诸如从不同角度拍摄的用户头部的图像、形成视频的帧等）以确定如本文中更全面描述的那样的物理特性。可以向用户提供如何拍摄图像的指令。例如，可以指示用户将她自己定位在相机之前，并且在相机捕获视频帧时转动她的头部。在一些实施例中，指示用户看向左然后看向右。在一些实施例中，指令可体现于演示视频剪辑或动画中。所捕获的视频帧的数目可以变化。相机可由处理器指示以用连续视频或快照(例如，具有捕获之间的延迟的一系列图像)捕获用户的头部。在一些实施例中，相机以连续捕获模式捕获用户的头部的图像，其中帧速率可以低于捕获视频。处理器可以是本地的或远程的，例如在服务器上。捕获的图像可用于确定对象的物理特性和/或确定要在其上放置/搭配所选眼镜框架的3D模型的用户的面部的3D模型，如以下将进一步详细描述的那样。
在一些实施例中，基于根据图像构建的用户的头部的中间模型来确定物理特性。中间模型可以是由对关于面部的3D表面的面部特征和头部比例的信息进行编码的矢量和多边形描述的头部的3D模型，如本文中更全面地描述的那样。可以从3D模型提取物理特性。在一些实施例中，3D模型由图3中所示出的3D模型引擎306生成。
该过程确定物理特性与产品之间的相关性(104)。相关性可以是用户之间的关系，诸如面部特征的相似性或面部的3D表面中的相似性。相关性可以是用户和产品之间的关系，诸如产品对用户的搭配程度。如本文中所使用的那样，搭配指的是诸如一副眼镜如何搭配好用户的面部的功能搭配，这可以由诸如舒适、由眼镜提供给用户的视觉质量等因素来指示。如本文中所使用的那样，该搭配还指的是美学搭配，诸如一副眼镜在用户的面部上看起来如何好，这可以通过对框架到眼睛的比例和其它面部比例进行评分来指示。
该过程推荐产品(106)。可以至少部分地基于所确定的相关性来生成推荐。在各种实施例中，使用深度神经网络、基于内容的过滤、协作过滤或其组合来确定推荐。
基于内容的过滤是指搜索类似于其它产品的产品。使用眼镜的示例，可以基于诸如形状、颜色、材料(塑料或线框)、价格、镜片规定的适用性等的属性来评估相似性，通过产品彼此的相似性进行搜索允许找到类似于其它眼镜的眼镜，这是因为共享的或类似的属性。对一个产品感兴趣的用户可能对类似产品感兴趣。
协同过滤是指基于购买历史找到产品。假设第一用户已经购买了眼镜A、B和C，并且第二用户已经购买了眼镜B、C和D。第一用户和第二用户的购买历史彼此相似，因为他们都购买了眼镜B和C。在一些实施例中，该数据的协作过滤指示可以向第二用户推荐眼镜A，并且可以向第一用户推荐眼镜D，因为第一和第二用户具有类似的品味。
在各种实施例中，基于内容的过滤或协同过滤的结果可以基于诸如用户指示的偏好之类的其它因素来调整。假设默认地推荐对用户的皮肤颜色的对比色的框架，但是用户偏好与用户的皮肤颜色相混合的颜色的框架。可以根据用户所指示的对与皮肤颜色混合的框架的偏好来细化推荐。利用用户偏好信息，推荐系统可以被更新以推荐与用户的偏好更匹配的产品。
在一个方面，偏好可以随时间改变。例如，用户的偏好可以随着风格改变或品味改变而改变。推荐引擎可以通过学习和适应改变来适应改变。
在一些实施例中，产品推荐包括为何做出推荐的解释。与其中推荐系统向用户呈现推荐而不解释为什么选择产品的常规技术相对比，这里做出的推荐可以包括关于系统如何和为何做出选择的事实和解释。可以根据图10中所示出的过程做出推荐解释。本文中关于图4中所示出的系统进一步描述了相关性和推荐过程。
图2是图示用于基于用户的物理特征做出推荐的系统的实施例的框图。在该示例中，系统200包括用户设备204、网络206和服务器208。用户设备204经由网络206耦合到服务器208。网络206可以包括高速数据网络和/或电信网络。用户202可以与用户设备交互以提供对根据本文中进一步描述的方法做出推荐有用的信息并且接收推荐。
用户设备204被配置成为用户202提供用户界面。例如，用户设备204可以接收输入或观察由用户202与用户设备的用户交互。基于由用户设备收集的信息中的至少一些信息，向用户输出推荐。在一些实施例中，如本文进一步描述的那样，与服务器208合作地做出推荐。
在各种实施例中，用户设备包括输入部件，诸如相机、深度传感器、其它传感器或多个传感器的组合。相机可被配置成观察和/或捕获可从中确定物理特性的用户的图像。如本文中进一步描述的那样，可以指示用户操作相机或针对相机摆出姿势。可以使用和/或存储由输入部件收集的信息以做出推荐。
服务器108被配置成根据输入图像确定物理特性，确定物理特性与产品之间的相关性，并且推荐产品。服务器可以基于包括用户的图像、产品的图像、用户浏览习惯、用户简况等的各种收集的数据来进行相关性和推荐，如本文中更全面地描述的那样。基于用户的物理特性来做出推荐具有许多应用。基于用户的物理特性做出推荐的示例应用包括诸如眼镜、化妆品、珠宝等的面部配饰的虚拟试穿。
图3是图示用于基于用户的物理特征来做出推荐的系统的示例的框图。系统300可以包括在图2的服务器208中。在该示例中，系统300包括传感器数据存储器316、产品信息存储器312、用户信息存储器318、推荐引擎314和输出引擎312。
传感器数据存储器316被配置成存储传感器数据，诸如图像/深度数据、静止图像、视频的帧以及来自各种传感器的相关联的数据。传感器数据可以与各种用户相关联。在一些实施例中，图像存储器存储已经由相机记录或以其它方式捕获的图像。图像的主体可以是诸如(人类)用户的主体。图像可以与诸如与用户简况相关联的特定用户或用户分组相关联地存储。存储在传感器数据存储器316中的图像可根据本文中所描述的方法来检索和处理以确定图像的主体的物理特性。
产品信息存储器312被配置成存储关于库存的信息。发明人可以包括可用于用户的产品的集合，诸如可用于购买的眼镜框架。例如，可以存储诸如颜色、形状、尺寸等的产品的特性。可以存储诸如表示产品的3D模型的顶点的3D坐标之类的数字表示。每个产品可以与一个或多个预定标签存储。标签是产品的类型或特性的描述，并且可以允许产品与其它产品分组在一起，如本文中更全面地描述的那样。用于眼镜框架的示例标签包括物理属性性质，诸如“塑料的”或“金属的”，或者基于风格/人类感知的分类，诸如“学术的”、“书呆子的”和“运动的”。
在各种实施例中，可以存储产品性能信息。性能可以与产品或产品分组和特定用户或用户分组的流行度相关联。
用户信息存储器318被配置成存储与特定用户相关联的信息。例如，可以存储描述用户的用户简况（诸如主体的物理特性）、过去的购买、偏好和与用户界面的交互历史(例如，网络浏览)。
推荐引擎314被配置成基于由传感器数据存储器316、产品信息存储器312和/或用户信息存储器314存储的信息中的至少一些来做出推荐。在各种实施例中，推荐引擎被配置成至少部分地基于用户的图像(诸如用户的面部或头部的(一个或多个)图像)来确定用户的物理特性。可以从用户设备实时提取图像和/或从传感器数据存储器316提取图像。在一些实施例中，直接从图像确定物理特性。在一些实施例中，物理特性是根据3D模型或用户的头部来确定的，该3D模型是从本文中更全面地描述的图像集合导出的。至少部分地基于所确定的物理特性，生成产品推荐。推荐引擎可以被配置成基于包括不同用户的物理特性和顾客偏好之间的相似性的若干因素来做出推荐。
在各种实施例中，推荐引擎基于不同用户的物理特性之间的相似性做出推荐。例如，如果一个用户购买特定产品或对特定产品产生兴趣，则可以向具有类似物理特性的另一用户推荐相同的产品。
在各种实施例中，推荐引擎通过适应顾客偏好来做出推荐。适应可以实时进行。例如，当用户向下滚动网页或从一个网页前进到另一个网页时，可以更新向用户显示的推荐。当用户浏览网页时，可以收集关于用户的信息，诸如对产品的反应。在一些实施例中，可以立即使用该信息来更新预期用户稍后访问的内容，诸如对用户尚不可见的网页的一部分。在一些实施例中，收集关于用户存储的信息以供稍后使用，诸如与用户简况相关联。在图13A-13C、14A、14B、15A和15B中示出了响应于顾客偏好的图形用户界面(GUI)更新的示例。
在一些实施例中，向用户推荐风格的分组(有时被称为“风格聚类”)。响应于用户对该风格分组的反馈，可以显示该风格分组内的产品。例如，可以对用户做出学术风格和运动风格的推荐。在各种实施例中，针对产品的特定分组(例如，每个电子商务网站)固定类别。可以通过使用产品属性(例如，材料：金属/塑料，款式：矩形/椭圆形、颜色、尺寸等)来预先创建类别。产品属性形成多维空间，其中应用聚类技术(例如K-均值聚类)来寻找产品的聚类。然后，样式专家将标签(在各种实施例中，对于人类来说是可理解的)分配给每个聚类：“学术的”、“运动的”、“书呆子的”等。当聚类被呈现给顾客时，推荐引擎(例如，图3的推荐引擎314)挑选最推荐的眼镜的N-样本(例如，N＝30)，搜索哪些聚类包含这些N-样本，以及基于分数订购聚类。例如，可以通过计算来自每个聚类中的N-样本的眼镜的数目来计算、基于加权加和等等来计算分数。
如果用户选择运动风格，则显示适合于(例如，如通过本文中更全面描述的方法确定的)用户的“运动风格”的分组中的产品。风格聚类(例如，“学术的”)的标签可以由人类或计算机进行。在一个方面，可以通过如下方式来增强用户体验：通过允许用户选择聚焦在产品的分组上来呈现产品的聚合子集而不是单个产品，从而不用太多单个产品来覆盖用户。
推荐引擎可以被训练以随时间改进推荐的确定。例如，好的推荐是用户倾向于跟随的推荐。随着时间的过去，推荐引擎可以被训练为做出用户更可能跟随的推荐。在图12中示出了用于训练推荐引擎的示例过程。
输出引擎312被配置成提供诸如推荐的输出。输出引擎可包括对为何做出特定推荐的解释，诸如使得特定推荐被做出的因素，如本文中进一步描述的那样。输出引擎312可以在诸如用户设备(例如，图2的用户设备204)的用户界面之类的多种介质上提供输出。
在一些实施例中，系统300包括3D模型引擎306。可形变模型引擎306被配置成从输入图像生成三维(3D)模型。在各种实施例中，3D模型引擎被配置成从图像集合生成用户的头部的3D模型。在各种实施例中，3D模型引擎被配置成从产品描述或图像生成产品的3D模型。可形变模型可用于导出用户的物理特性，如本文中更全面地描述的那样。
3D模型(有时被称为“可形变模型”)可以根据各种技术来生成。例如，接收要建模的用户的面部输入图像，并且通过使用至少部分地基于光流确定的成本函数来评估候选参数值来生成将输入到统计模型中以对应于输入图像的参数值集合。参考图5-7描述3D模型生成的附加示例。
在各种实施例中，PCA分量的子集定义各种物理特性。例如，PCA分量的子集定义面部形状，并且另一子集(其可以或可以不与第一子集重叠)定义面部比例。
图4是图示推荐引擎的实施例的框图。在该示例中，推荐引擎400包括面部数据评分系统402、浏览数据评分系统404、用户简况评分系统406和相关器410。
面部数据评分系统402被配置成基于诸如面部特征之类的用户的物理特性来提供分数。分数可以用于确定针对用户的推荐。如本文中更充分讨论的那样，面部特征包括面部结构或比例、面部形状、虹膜颜色、头发颜色、皮肤颜色和皮肤图案。推荐可以是分数S1。
浏览数据评分系统404被配置成基于诸如与网站的交互、购买历史、浏览行为等的用户行为来提供推荐。例如，当用户在特定产品上逗留时，行为可指示对该产品的兴趣。此兴趣可与用户相关联，并且类似于该产品的产品可被推荐给用户。
用户简况评分系统406被配置成基于不是物理特性的顾客属性来提供推荐。示例属性包括人口统计数据，诸如位置、收入、教育、年龄、性别等。非生物计量属性可影响推荐。例如，基于晴朗状态的用户更可能想要太阳镜，并且可以向用户推荐合适的产品。
相关器410被配置成确定用户的特征(诸如面部特征、用户历史)和产品之间的相关性。相关器可以基于诸如价格、颜色等的产品性质来确定相关性。相关器可以基于以下因素中的一个或多个来确定相关性：面部的相似性(基于内容的过滤)、与站点的交互和/或在实体店中的购买历史(协作过滤)等。相关器可以组合由评分系统402-406中的每个输出的分数。在一些实施例中，分数在它们被组合时被加权。可以动态地调整或预定系统的加权。例如，用户可能希望强调风格、面部美观、搭配等。被分配给分数S1、S2和S3的权重被相应地调整。
在一些实施例中，面部数据(分数S1)比其它分数更重地加权，因为面部数据可被认为对于做出推荐更重要。例如，50％被分配给面部数据，而剩余的50％被分配在用户数据和用户简况数据之间。
可以调整面部数据的加权。例如，如果用户不同意推荐，则给予面部数据的权重被降低。在一些实施例中，响应于用户与网页的交互（诸如在用户点击产品(其可以指示对该产品的兴趣)之后）来动态地调整权重。在一些实施例中，响应于用户会话动态地调整权重。例如，处理在用户的浏览会话期间(诸如在用户访问网站达15分钟时)收集的信息以基于用户与网站的交互来调整权重。用户在显示特定产品的网页的一部分上逗留可指示对那些产品的兴趣。
在一些实施例中，使用用户的面部的3D模型和产品的3D模型来执行相关。对于面部和产品中的每一个，应用本文中所描述的3D可形变技术以提取包括面部和产品中的每一个的PCA分量的3D模型。面部和产品中的每一个的顶点和PCA分量以及购买历史被提供给相关器以获得对产品的推荐。
在各种实施例中，推荐引擎被配置成输出推荐产品的列表。在一些实施例中，列表是产品的排名列表，其中产品可以以排名顺序显示。推荐引擎可以被配置成应用一个或多个规则以进一步过滤推荐。例如，推荐引擎可以被配置成显示特定品牌、价格范围内的产品等。
在一些实施例中，深度神经网络可以用于找到用户的面部和购买之间的相关性。存储关于用户面部、购买历史和产品信息(诸如产品特性)的数据。可以训练深度神经网络以确定面部和产品信息的组合(关系、相关性)和购买历史。换言之，数据模型（深度神经网络）可被构造成描述哪些面部将购买哪些产品。使用数据模型，可以对没有购买历史或具有短购买历史的用户做出推荐。例如，识别与新用户的面部类似的已知面部，并且基于已知面部购买历史来推荐针对新用户的面部的产品。可以基于与网站的历史用户交互来推荐产品。
图5是示出用于用户的面部的3D建模的过程的实施例的流程图。过程500可以至少部分地在图2的系统200的一个或多个部件上实现。在一些实施例中，过程500由图3的3D模型引擎306执行。在一些实施例中，图5的过程的至少一部分被包括在图1的102中。
在502，接收要建模的用户的面部的输入图像。用户的面部的输入图像包括用户的面部的捕获或记录的图像。在各种实施例中，用户的面部的输入图像可以包括用户的面部的正面轮廓、用户的面部的侧面轮廓或者在正面轮廓和侧面轮廓之间的以一角度的用户的面部的轮廓。
在504，通过使用至少部分地基于光流确定的成本函数来评估候选参数值来生成对应于输入图像的对统计模型的参数值集合。在各种实施例中，确定将被输入到包括一个或多个形状部件和一个或多个纹理部件的PCA模型中以生成面部的3D模型的参数值，该面部的3D模型(例如，最佳地或在给定容差内)与输入图像中的用户的面部匹配。在一些实施例中，除了将输入到PCA模型中的参数值之外，还将确定与相机焦距、(例如，在3D空间中的)相机旋转及(例如，在3D空间中的)相机平移相关联的附加参数。在各种实施例中，将被输入到PCA模型中的参数值以及相机参数值也是通过下列操作来确定的：迭代参数值的各种候选集合、使用参数值的候选集合生成面部的3D模型、将所生成的面部的3D模型投影到2D表面上以生成候选合成图像，以及计算每个候选合成图像和输入图像之间的成本。在各种实施例中，基于从候选合成图像到输入图像的光流确定每个候选合成图像与输入图像之间的成本。
图6是示出用于用户的面部的3D建模的过程的实施例的流程图。过程600可以至少部分地在图2的系统200的一个或多个部件上实现。在一些实施例中，过程600由图3的3D模型引擎306执行。在一些实施例中，图6的过程的至少一部分被包括在图1的102中。
在602，将用户的面部的多个3D扫描输入主要分量分析(PCA)中。PCA 应用于各种用户的面部的许多(例如，200)3D扫描。
在604，从PCA接收包括多个分量和对应于多个分量中的相应分量的多个参数值范围的PCA模型。PCA是识别线性不相关变量的集合的统计过程，所述线性不相关变量被称为输入数据之间的“主要分量”。每个主要分量表示输入数据之间的方差并且正交于从相同输入数据确定的其它主要分量中的每一个。在各种实施例中，所获得的PCA模型包括分别描述用户的面部的输入3D扫描中的形状和纹理的变化的形状分量的集合和纹理分量的集合。形状和纹理分量的组合形成面部的3D可形变模型。在一些实施例中，每个形状分量为描述用户的面部的3D模型的40000个顶点的40000个(x，y，z)坐标的向量。在一些实施例中，每个纹理分量为描述用户的面部的3D模型的40000个对应顶点的色彩的40000个(r，g，b)值的向量。除了形状分量的集合和纹理分量的集合之外，PCA还输出对应于与每个形状或纹理分量相关联的每个系数的值的范围。形状和纹理系数的一个集合使用3D可形变模型来生成特定面部，而形状和纹理的系数的第二集合生成另一特定面部，这就是为什么模型被称为是“可形变的”。
在各种实施例中，可以通过下列操作来生成面部的不同的3D模型：将不同的值分配给与每个形状或纹理分量相关联的系数、将缩放的形状分量组合成组合的面部形状、将缩放的纹理分量组合成组合的面部纹理、然后将组合的面部形状与组合的面部纹理组合。对应于PCA的形状和纹理分量的形状系数和纹理系数被包括在将在如本文中所描述的各种实施例中确定的参数值集合中。在一些实施例中，PCA模型被配置成包括20个形状分量和20个纹理分量。因此，在本文中所描述的一些实施例中，20个形状系数和20个纹理系数包括于待确定的参数值集合中。
图7是示出输入到用于生成用户的面部的3D可形变模型的主要分量分析和从其输出的示例的图。如在图6的过程600中所描述的那样，不同用户的面部704的各种3D扫描被输入到主要分量分析706，主要分量分析706可使用一个或多个软件和硬件来实现。主要分量分析706然后产生输出708。输出708包括形状分量的集合，其中，其中x，y和z是顶点的3D位置。输出708进一步包括纹理分量的集合，其中，其中共同地r，g和b是顶点的颜色。在一些实施例中，N和n都是可配置的值。在一些实施例中，N＝20且n＝40000。输出708进一步包括对应于相应形状分量的每个形状系数的值的范围和对应于相应纹理分量的每个纹理系数的值的范围。
在一些实施例中，平均形状(例如，具有描述40000个顶点的3D位置的3D坐标的向量)从与主要分量分析706分离的不同用户的面部704的各种3D扫描生成。在一些实施例中，平均纹理(例如，描述40000个顶点的颜色的具有r、g和b值的向量)从与主要分量分析706分离的不同用户的面部的各种3D扫描生成。
在各种实施例中，组合输出208的形状和纹理分量与平均形状分量和平均纹理分量，新的3D面部形状和新的3D面部纹理可以基于以下公式来生成：
其中表示新的3D面部形状，表示平均形状，表示对应于的形状系数，表示PCA形状分量，表示新的3D面部纹理，表示平均纹理，表示对应于的纹理系数，并且表示PCA纹理分量。
和然后可被组合成一个网格以生成面部的新的3D模型。例如，和然后可通过对的每个顶点分配对应于同一顶点的的颜色来组合。
在一些实施例中，PCA模型的形状系数以及纹理系数被包括在将被确定的参数值集合中。
图8A示出从用户的面部的图像集合获得的参考点的示例。参考点定义各种面部特征的位置并且用于生成用户的面部的3D模型。图8A示出了图像800，其中用户处于正面取向并且参考点802处于用户的右眼的内部角落处，其被分配坐标(x0，y0)。眼睛的参考点还可以包括具有坐标(x1，y1)的内部左眼点804和具有坐标(x2，y2)的外部左眼点806。根据内部右眼802和内部左眼804的两个参考点，可以确定鼻梁距离808。在一些实施例中，可使用内部左眼点804和外部左眼点806 (产生距离810)来确定镜片距离。
图8B示出从用户的面部的图像集合获得的参考点的示例。图8B示出了另一图像，其具有用户的面部的另一取向、右轮廓820、具有坐标(y4，z4)的外部右眼参考点822以及螺旋将头部点824与坐标(y3，z3)接合的顶部点。根据简况图片，可以将z坐标添加到用户的面部的3D模型。根据用户的面部的2D视频框架，可以确定用户的面部的3D模型。
在一些实施例中，来自2D图像(例如，诸如图8A和8B中所示出的那些)的参考点被组合以形成用户的面部的3D模型。将对应的参考点组合以产生表示用户的面部/头部上的每个参考点(例如，面部特征的位置)的位置的(x，y，z)坐标的集合。例如，来自图8A的前取向视频帧800的右眼812的外角落的(x，y)坐标可与图8B的右取向图像/视频帧820中的外部右眼参考点822的z坐标组合以获得具有坐标的参考点。用户的面部的3D模型包括3D点(对应的(x，y，z)坐标)，其包括内部眉毛点、外部眼角、内部眼角、耳朵接合处、脸颊骨、鼻尖等。
图9是示出3D空间中的预定3D面部的可视化的示例的图。在一些实施例中，预定3D面部包括.obj文件。在图9的示例中，预定3D面部900包括限定预定3D面部的面部特征的形状的三角形状的多边形。在一些实施例中，每个多边形包括表示面部的该区域的颜色的相关联的颜色。虽然在图9的示例中，预定3D面部900包括三角形状的多边形，但在实际实现方式中，预定3D面部也可包括其它形状和/或其它数目的顶点的多边形。
图10是图示用于确定推荐的解释的过程的实施例的流程图。过程1000可以至少部分地在图2的系统200的一个或多个部件上实现。在一些实施例中，过程200由图3的推荐引擎314和/或输出引擎312执行。在一些实施例中，图10的过程的至少一部分被包括在图1的104和/或106中。在图16中示出了输出的示例。
该过程基于一个或多个图像执行面部的3D重构(1002)。可根据本文中所描述的方法执行3D重构。例如，可以从图像生成头部的3D模型。可从旋转矩阵和平移向量确定面部姿态。可基于3D模型和相机的固有参数针对面部执行姿势估计。
该过程基于3D重构来确定物理特性的解释(1004)。例如，可以确定面部特征，诸如面部形状、面部结构或比例、眼睛颜色、头发颜色、皮肤颜色和/或纹理。用于挑选具有特定鼻托结构的眼镜框架的解释可以通过相对窄和短的鼻梁的面部特征来解释。一副眼镜上的特定鼻托结构可良好地适用于(例如，良好搭配)所述类型的鼻梁，从而提供使眼睛在框架内居中的舒适度和审美搭配两者。
过程输出解释(1006)。该解释可以与推荐一起输出以向用户提供关于为什么做出推荐的更多上下文和信息。返回参考适于相对窄和短的鼻梁的鼻托的示例，该物理属性可以在GUI上输出，以通知用户框架由于用户的鼻梁结构而适合于用户。
图11是图示面部数据评分系统的实施例的框图。在该示例中，面部数据评分系统1100包括分类器1102-1106。分类器中的每个可以被配置成基于所接收的特征来输出分数。例如，分类器1102接收特征1并输出该特征的分数，分类器1104接收特征2并输出该特征的分数，并且分类器1106接收特征3并输出该特征的分数。在各种实施例中，分类器由机器学习模型实现，使得因为更多的训练数据被输入到分类器，所以评分随着时间的推移而改进。
如所示出的那样，可以在系统中提供可变数量的分类器，每个分类器适于处理相应的特征类型。示例特征类型包括面部形状、皮肤颜色、眼睛颜色、头发颜色、面部比例等。在一些实施例中，可以基于面部的3D表面来确定一个或多个特征类型。
面部形状可以如下检测。分类器被配置成基于所接收的特征来确定面部形状。分类器确定面部的轮廓，其中该轮廓是点的集合。可以使用库或常规方法来确定轮廓。分类器被配置成将分数分配给每个面部形状。分数向量描述面部轮廓。在一些实施例中，面部形状由面部落入预定的类别或标签（诸如圆形、椭圆形、心形、三角形和正方形）的程度来描述。例如，面部可以是40％的正方形和60％的椭圆形，并且不需要被分类为100％的椭圆形。分类器被配置成通过确定面部轮廓的点的集合与已知的点的集合之间的匹配或相似性来分配分数。如果在阈值内存在匹配或相似性，则这意味着形状是预定百分比的椭圆形、预定百分比的正方形等。
在各种实施例中，皮肤区域限定面部的轮廓。例如，皮肤区域是头发结束和皮肤开始、背景结束和皮肤开始等的位置的确定。
在一些实施例中，从图像中直接提取面部特征。在一些实施例中，从如本文中进一步描述的可形变模型提取面部特征。所检测的面部轮廓可以被输入到与检测面部形状相关联的机器学习模型中。
皮肤图案是皮肤的纹理、出生标记、粗糙度等的度量。产品推荐可以适应于用户的皮肤图案。例如，独特的皮肤图案可影响推荐产品的选择。在各种实施例中，通过对来自表示皮肤的区域的像素进行采样来确定皮肤图案。在一些实施例中，3D可形变头部提供关于皮肤区域的信息，并且缩小采样像素的区域以确定皮肤图案。例如，图像被分割成皮肤区域和非皮肤区域(诸如毛发、衣服、背景等)。然后可以对皮肤区域进行采样以确定皮肤图案。
在各种实施例中，分类器被配置成确定皮肤颜色。皮肤颜色描述了用户的面部的至少一部分的颜色。皮肤颜色可以在诸如RGB、CIELAB等的各种颜色空间中描述。可以通过至少部分地基于用户的面部的图像集合对来自用户的面部的各个区域的颜色进行采样来确定皮肤颜色。
可以在考虑图像被记录的照明环境中的同时确定皮肤颜色。在各种实施例中，对于与用户的面部相关联的图像集合中的每个图像，利用与该特定图像相关联的外在信息集合变换的形变3D通用模型被搭配3D眼镜模型，该3D眼镜模型也利用与该特定图像相关联的外部信息集合来变换，并且由变换的3D眼镜模型投射到变换的通用3D模型上的阴影利用给定的照明模型来模拟。在一些实施例中，基于图像集合中的用户的特定照明环境来确定照明模型。例如，3D眼镜模型与已经被选择为在用户的面部上虚拟试穿的一副眼镜相关联。在各种实施例中，生成具有阴影图像的2D面部，该阴影图像包括由眼镜模型投射到变换的3D通用模型上的阴影。在各种实施例中，至少部分地基于每个图像的对应2D面部图像与具有阴影图像的对应2D面部之间的差异为与用户的面部相关联的图像集合中的每个图像生成对应阴影变换。在各种实施例中，可将对应于与用户的面部相关联的图像集合的图像的阴影变换应用于所述图像以渲染/模拟在所述图像中由选定眼镜投射到用户的面部上的阴影。可以使用所选择的一副眼镜的2D图像的覆盖来呈现被施加对应阴影变换的用户的面部的图像，以便模拟所选择的眼镜对在用户的面部上的虚拟试穿，其中如使用基于用户的特定照明环境所确定的照明模型所模拟的那样由所选择的眼镜投射到用户的面部上的实际阴影。
在一些实施例中，从图像中直接提取面部特征。在一些实施例中，从如本文进一步描述的可形变模型提取面部特征。例如，可以基于多边形的颜色从可形变模型确定皮肤颜色。所采样的颜色可以被输入到与确定皮肤颜色相关联的机器学习模型中。
在各种实施例中，分类器被配置成确定眼睛颜色。可以通过至少部分地基于用户的面部的图像集合对来自用户的眼睛(诸如虹膜)的各种区域的颜色进行采样来确定眼睛颜色。在一些实施例中，从图像中直接提取面部特征。在一些实施例中，从如本文进一步描述的可形变模型提取面部特征。例如，可使用3D可形变头部来识别眼睛的位置以缩小采样像素的区以确定眼睛颜色。所采样的颜色可以被输入到与确定眼睛颜色相关联的机器学习模型中。
在各种实施例中，分类器被配置成确定头发颜色。头发颜色可以通过至少部分地基于用户的面部的图像集合对来自用户的各种区域的颜色进行采样来确定。在一些实施例中，从图像中直接提取面部特征。在一些实施例中，从如本文进一步描述的可形变模型提取面部特征。所采样的颜色可以被输入到与确定头发颜色相关联的机器学习模型中。
在各种实施例中，分类器被配置成确定面部结构(有时称为面部比例)。可通过至少部分地基于用户的面部的图像集合提取至少两个面部特征距离之间的比率来确定面部比例。例如，分类器可以接收面部特征的面部宽度和其它度量或比率。例如，(i)外部眼角之间的距离与(ii)鼻尖与鼻子的鼻梁线之间的距离的比率，其中鼻梁线是穿过连接内部眼角的鼻子的线。
在一些实施例中，从图像中直接提取面部特征。在一些实施例中，从如本文进一步描述的可形变模型提取面部特征。所采样的颜色可以被输入到与确定面部比例相关联的机器学习模型中。
在各种实施例中，分类器被配置成确定面部的3D表面。面部的3D表面是通过从用户的面部的可形变模型获得位置或顶点来测量的面部的结构的描述。可以从面部的3D模型确定各种特征。例如，可以通过从头部的3D可形变模型提取特性来确定面部形状。例如，可以从3D可形变模型确定鼻梁区域、脸颊、视角(pantascopic)倾斜(镜片相对于面部的角度)和其它特性。可以基于这些因素来评估眼镜的搭配以及眼镜位于特定用户的脸上如何。当汇编推荐或不推荐列表时，具有不良搭配或可能在用户的面部上看起来不良好的眼镜可以被去优先化。
在一些实施例中，为了训练分类器以识别给定3D可形变头部的面部特性，可以从可形变头部提取面部的3D表面的颜色和顶点的坐标。顶点的坐标可以是形成可形变头部的多边形。在一些实施例中，可形变头部可包括形成多边形的大量坐标(例如，大约20000个点)。每个多边形可以具有相关联的颜色。这些坐标被提供给数据模型或分类器，该数据模型或分类器可由机器学习模型来实现。将顶点坐标和产品标签的提供给分类器。标签可被预定或分配或自动确定为产品的表示。分类器确定顶点和标签之间的相关性。
在一些实施例中，为了训练分类器以识别给定3D可形变头部的面部特性，3D可形变头部从若干角度渲染。例如，图像库可以由从各种角度渲染的头部组成。从以各种角度呈现的头部，可以检测轮廓。可以基于检测的轮廓来分配面部形状或面部形状的评分。
面部的3D表面可用于确定面部之间的相似性。例如，两个用户可以共享具有相对宽间距的眼睛的特征，指示它们都适合于特定类型的眼镜。
所获得的位置或顶点可被输入到与确定面部的3D表面相关联的机器学习模型中。在一些实施例中，可以确定眼镜的形状与面部的3D表面之间的相关性。该相关性可用于向用户或具有类似3D面部表面的其它用户推荐眼镜。
在各种实施例中，从分类器1102-1106的输出生成组合模型输出。组合对应于与多个面部特征类型相关联的多个经训练的机器学习模型中的相应的机器学习模型的输出。组合输出可以与多个产品相关以选择多个产品的子集用于进一步分析。在一个方面，通过相关过程将待推荐的潜在产品缩小。在一些实施例中，可以使用附加类型的推荐、协作过滤等来确定推荐。相关器的示例在图4中示出。可以呈现产品的子集。
图12是图示用于使用分类器来确定面部特征属性的过程的实施例的流程图。过程1200可以至少部分地在图2的系统200的一个或多个部件上实现。在一些实施例中，过程200由图3的推荐引擎314和/或图11的分类器1102-1106执行。在一些实施例中，图12的过程的至少一部分被包括在图1的104中。
所述过程基于所接收的(一个或多个)图像提取对应于面部特征的类型的面部特征(1202)。面部特征提取可以基于图像和/或诸如深度的其它传感器数据。在各种实施例中，可针对若干类型的面部特征执行面部特征提取。例如，可以针对每个面部特征重复704，直到没有未处理的面部特征剩余。
所述过程将所提取的面部特征输入到对应于面部特征的类型的分类器(1204)。分类器可通过经训练的机器学习模型来实现。例如，与面部形状相关联的面部特征被输入到面部形状分类器。面部形状可以由已经用面部形状数据训练并且可以基于输入数据自动地检测面部形状的分类器系统地确定。
该过程从分类器获得对应于面部特征的类型的输出(1206)。再次参考面部形状示例，分类器输出输入面部落入各种形状类别（圆形、椭圆形、正方形、菱形等）的百分比。
尽管主要描述了使用眼镜的示例，但是本文描述的技术在包括耳环、帽子、化妆品、鞋、衣服等的虚拟搭配在内的多种设定中得到应用。
图13A是用于浏览库存的产品目录的示例GUI。GUI 1300包括可选的导航区域1302，其可以填充有菜单、过滤器等，以辅助在GUI中显示的库存的导航。在该示例中，GUI1300显示包括多个眼镜框架的产品目录。这里，六个眼镜框架(模型AA、AB、AC、BE、BX和CD)是可见的。用户可以与GUI 1300交互以探索产品和细节。例如，响应于经由使用滚动条1304向下滚动页面，可以在GUI 1300中展现附加的眼镜。响应于用户向下滚动页面，可以加载一个或多个附加眼镜框架。在各种实施例中，可以至少部分地基于本文所描述的技术来确定响应于用户向下滚动页面而加载的眼镜框架。例如，眼镜推荐可以适用于顾客偏好，其中的至少一些可以基于顾客浏览习惯来学习。
图13B是示出响应于与图13A的GUI的用户交互而显示的产品的示例GUI。当用户(诸如通过使用GUI 1300的滚动条1304)向下滚动时，可以显示六个眼镜框架的分组1330(模型DA、DB、DR、EA、EF和EL)。分组1330可包括至少部分基于本文中所描述的技术而选择的一或多个推荐产品，诸如由图3的推荐引擎314选择的产品。在一些实施例中，分组1330被预加载(例如，存储在缓冲器中)以促进在预期用户向下滚动GUI 1300时快速加载产品。
图13C是示出响应于与图13A的GUI的用户交互而显示的产品的示例GUI。当用户(诸如通过使用GUI 1300的滚动条1304)向下滚动时，可以显示六个眼镜框架(模型AD、AG、AL、RV、RM和RP)的分组1350。在一些实施例中，分组1350被预加载(例如，存储在缓冲器中)以促进在预期用户向下滚动GUI 1300时快速加载产品。
分组1350可包括至少部分基于本文中所描述的技术而选择的一或多个推荐产品，诸如由图3的推荐引擎314选择的产品。在该示例中，分组1350包括响应于用户对模型AC(在GUI 1300中示出)的选择而做出的推荐。例如，用户可以点击模型AC以加载与该模型相关联的产品页面并且返回到目录页面1300。当用户返回到目录页面1300时，可以加载分组1350，使得当用户向下滚动GUI 1300时，分组1350被显示。分组1350中的产品可基于根据本文中所描述的技术的模型AC来选择。例如，分组1350包括类似于模型AC的矩形框架眼镜。在一个方面，分组1330和1350的组合提供无缝的用户体验，因为用户不知道响应于浏览而采取或更新的产品。当用户向下滚动网页时，可以响应于用户浏览而更新隐藏产品(例如，产品列表中的那些降低的产品)以动态地适应用户偏好。
图14A是用于浏览库存的产品目录的示例GUI。GUI 1400包括可选的导航区域1402，其可以填充有菜单、过滤器等，以辅助在GUI中显示的库存的导航。在该示例中，GUI1400显示包括多个眼镜框架的产品目录。这里，图示了六个眼镜框架(模型A、B、C、D、E和G)。用户可以与GUI 1400交互以探索产品和细节。例如，响应于用户对模型C的选择，可以更新在GUI 1400中显示的产品。
图14B是响应于与图14A的GUI的用户交互而显示的示例GUI。例如，用户可以点击模型C (在GUI 1400中示出)以加载与该模型相关联的产品页面并且返回到目录页面。当用户返回到目录页面时，可以加载GUI 1450以显示更新的产品推荐。这里，模型M、K和X响应于用户对模型C的选择来代替GUI 1400的模型C、D和G。模型M、K和X可以根据本文描述的技术基于模型C来选择。例如，模型C是线框架。模型M、K和X是代替塑料框架眼镜模型C、D和G的线框架眼镜。在各种实施例中，GUI 1450的一些区被指定用于接收替换或更新的产品推荐。这些区在本文中有时被称为“推荐块”。例如，推荐块1452、1454和1456用于更新，而在其它区中示出的产品(诸如模型D)剩余。在一些实施例中，选择更可见的区以接收产品推荐更新。换言之，产品推荐可以散布在GUI中显示的那些产品之中，并且响应于顾客偏好而动态地更新。
图15A是用于浏览库存的产品目录的示例GUI。GUI 1500包括可选的导航区域1502，其可以填充有菜单、过滤器等，以辅助在GUI中显示的库存的导航。GUI 1500包括其中显示推荐产品(这里，四个眼镜模型)的推荐框1504。在该示例中，GUI 1500显示包括多个眼镜框架的产品目录。这里，示出了六个眼镜框架(模型A、B、C、D、E和G)。此外，在推荐框1504中图示了四个眼镜框架(模型L、P、Y和A)。
推荐块可以被更新以显示适于用户的偏好的其它推荐产品。例如，响应于用户对模型C的选择，可以更新在推荐块1504中显示的产品。
图15B是响应于与图15A的GUI的用户交互而显示的示例GUI。例如，用户可以点击模型C(在GUI 1500中示出)以加载与该模型相关联的产品页面并且返回到目录页面。当用户返回到目录页面时，GUI 1550可被加载以在推荐框1504中显示经更新的产品推荐。这里，响应于用户对模型C模型的选择，GUI 1500的模型L、P、Y和A由GUI 1550中示出的模型X、H、Q和S代替。模型X、H、Q和S可以根据本文描述的技术基于模型C来选择。例如，模型C是矩形框架。模型X、H、Q和S是对模型C感兴趣的用户可能感兴趣的矩形框架眼镜。
图16是示出基于用户的物理特征的推荐的输出的示例GUI。GUI 1600示出用户的面部的捕获图像和推荐。这里，推荐是圆形框架。显示针对该推荐的解释。这里，推荐圆形框架的原因是用户的主要面部形状是正方形。即，可以通过各种形状来显示用户的面部，并且主导形状是正方形。在该示例中，由圆形眼镜框架将正方形面部最大地美观。
虽然为了理解的清楚性的目的已经以一些细节描述了前述实施例，但是本发明不限于所提供的细节。存在实现本发明的许多可替换方式。所公开的实施例是说明性的而非限制性的。

Claims (20)

1.一种包括处理器的系统，所述处理器被配置成：
至少部分地基于用户的图像来确定所述用户的物理特性；
确定所述物理特性与产品之间的相关性；以及
至少部分地基于所述确定的相关性来生成产品推荐。
2.根据权利要求1所述的系统，其中所述物理特性的所述确定包括所述产品与所述用户搭配。
3.根据权利要求1所述的系统，其中所述物理特性包括面部形状，所述形状相对于所述形状落入多个类别中的程度被定义。
4.根据权利要求1所述的系统，其中所述物理特性包括面部比例。
5.根据权利要求1所述的系统，其中所述物理特性包括眼睛颜色、皮肤颜色和头发颜色中的至少一个，所述颜色至少部分地基于在其中捕获所述至少一个图像的照明环境而被归一化。
6.根据权利要求1所述的系统，其中所述相关性的所述确定基于下列项目中的至少一个的加权组合：所述物理特性、用户浏览数据和用户简况数据。
7.根据权利要求6所述的系统，其中基于来自机器学习模型的输出将权重分配给下列项目中的至少一个：所述物理特性、用户浏览数据和用户简况数据。
8.根据权利要求6所述的系统，其中，所述物理特性比下列项目中的至少一个更重地加权：用户浏览数据和用户简况数据。
9.根据权利要求6所述的系统，其中分配给所述物理特性、所述用户浏览数据和所述用户简况数据的权重是可调整的。
10.根据权利要求6所述的系统，其中所述处理器还配置成响应于所述产品推荐上的用户反馈而调整用于所述加权组合的权重。
11.根据权利要求1所述的系统，其中：
所述处理器还配置成基于所述用户的所述图像来生成用户的头部的三维(3D)模型，包括通过使用至少部分地基于光流确定的成本函数来评估候选参数值来生成对应于所述用户的所述图像的对统计模型的参数值的集合；以及
至少部分地通过从所述3D模型提取参数来确定所述物理特性。
12.根据权利要求11所述的系统，其中所述统计模型至少部分基于所述用户的面部的3D扫描而从主要分量分析导出，并且所述统计模型包括形状分量和纹理分量。
13.根据权利要求11所述的系统，其中所述3D模型是包括定义下列项目中的至少一个的多边形的网格模型：面部特征的形状和头部形状。
14.根据权利要求11所述的系统，其中物理特性的所述确定包括基于所述3D模型的多边形的颜色来确定皮肤颜色。
15.根据权利要求1所述的系统，其中产品推荐的所述生成是基于产品的属性的，并且所述产品的所述属性至少部分地基于所述产品的3D模型来确定。
16.根据权利要求15所述的系统，其中产品推荐的所述生成基于所述产品的所述3D模型与所述用户的3D模型的搭配。
17.根据权利要求1所述的系统，其中所述产品推荐包括产品的分组；以及
所述处理器还配置成响应于对所述分组中的至少一个产品的用户选择来更新所述产品推荐。
18.根据权利要求1所述的系统，其中所述产品推荐包括对所述产品推荐的解释。
19.一种方法，包括：
至少部分地基于用户的图像提取所述用户的物理特性；
确定所述物理特性与产品之间的相关性；以及
至少部分地基于所述确定的相关性来生成产品推荐。
20.一种体现在非暂时性计算机可读存储介质中并且包括计算机指令的计算机程序产品，所述计算机指令用于：
至少部分地基于用户的图像提取所述用户的物理特性；
确定所述物理特性与产品之间的相关性；以及
至少部分地基于所述确定的相关性来生成产品推荐。
CN201811433064.5A 2017-11-29 2018-11-28 基于用户的物理特征的推荐系统 Pending CN109840825A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/826,533 US11157985B2 (en) 2017-11-29 2017-11-29 Recommendation system, method and computer program product based on a user's physical features
US15/826533 2017-11-29

Publications (1)

Publication Number Publication Date
CN109840825A true CN109840825A (zh) 2019-06-04

Family

ID=63915181

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811433064.5A Pending CN109840825A (zh) 2017-11-29 2018-11-28 基于用户的物理特征的推荐系统

Country Status (4)

Country Link
US (2) US11157985B2 (zh)
EP (1) EP3493138A1 (zh)
JP (1) JP6857638B2 (zh)
CN (1) CN109840825A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112241992A (zh) * 2020-11-10 2021-01-19 北京中科深智科技有限公司 一种全自动的服装动画生成方法和系统
TWI754530B (zh) * 2020-01-31 2022-02-01 日商Ｚｏｚｏ股份有限公司 眼鏡、推薦化妝品提示控制系統及推薦化妝品提示控制方法

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11157985B2 (en) * 2017-11-29 2021-10-26 Ditto Technologies, Inc. Recommendation system, method and computer program product based on a user's physical features
US11538083B2 (en) * 2018-05-17 2022-12-27 International Business Machines Corporation Cognitive fashion product recommendation system, computer program product, and method
KR102149395B1 (ko) * 2018-08-31 2020-08-31 주식회사 더메이크 트루뎁스 카메라를 이용하여 아이웨어 시착 및 추천 서비스를 제공하는 시스템 및 방법
EP3660728A1 (en) * 2018-11-30 2020-06-03 Essilor International (Compagnie Generale D'optique) A server, method, and computer-readable storage medium for selecting eyewear equipment
EP3965611A1 (en) * 2019-05-06 2022-03-16 CareOS Smart mirror system and methods of use thereof
US11191342B2 (en) * 2019-07-18 2021-12-07 L'oreal Techniques for identifying skin color in images having uncontrolled lighting conditions
CN112685596B (zh) * 2019-10-18 2023-04-14 中移(苏州)软件技术有限公司 视频推荐方法及装置、终端、存储介质
US20230010378A1 (en) * 2019-12-17 2023-01-12 Essilor International Apparatus, method, and computer-readable storage medium for contextualized equipment recommendation
CN114787872A (zh) * 2019-12-19 2022-07-22 依视路国际公司 用于扩展用于评估眼睛配戴物兼容性的图像数据库的装置、方法及计算机可读存储介质
CN111340852B (zh) * 2020-03-10 2022-09-27 南昌航空大学 一种基于优化语义分割的图像序列光流计算方法
US11587358B2 (en) * 2020-03-26 2023-02-21 Panasonic Avionics Corporation Managing content on in-flight entertainment platforms
JP6882810B6 (ja) * 2020-05-22 2021-06-23 株式会社Ｎｏｖｅｒａ 情報処理装置、プログラム、及び方法
JP6895189B1 (ja) * 2020-06-30 2021-06-30 株式会社フライウィール 推薦システムおよび方法
WO2022054208A1 (ja) * 2020-09-10 2022-03-17 株式会社ソシオネクスト 商品提案方法、商品購入方法、及び、商品提案装置
US20220207539A1 (en) * 2020-12-24 2022-06-30 Jand, Inc. System and method for predicting a fit quality for a head wearable device and uses thereof
US20220202168A1 (en) * 2020-12-30 2022-06-30 L'oreal Digital makeup palette
KR20220143569A (ko) 2021-04-16 2022-10-25 주식회사 빅스터 안경 추천 방법 및 안경 추천 서버
CN113784189B (zh) * 2021-08-31 2023-08-01 Oook(北京)教育科技有限责任公司 一种圆桌视频会议的生成方法、装置、介质和电子设备
JP7095849B1 (ja) 2021-11-26 2022-07-05 アイジャパン株式会社 アイウェア仮想試着システム、アイウェア選定システム、アイウェア試着システムおよびアイウェア分類システム
US20230252745A1 (en) * 2022-02-09 2023-08-10 Google Llc Validation of modeling and simulation of virtual try-on of wearable device
JP7260939B1 (ja) 2022-03-23 2023-04-19 株式会社Novera プログラム、情報処理装置、及び方法
CN116401468B (zh) * 2023-04-17 2023-12-19 哈尔滨工业大学 一种基于产品概念设计特性组合的智能推荐系统及方法
KR102642920B1 (ko) * 2023-07-20 2024-03-04 주식회사 아즈라 귀형상을 이용한 이어팁 최적화 서비스 제공 시스템

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6556196B1 (en) * 1999-03-19 2003-04-29 Max-Planck-Gesellschaft Zur Forderung Der Wissenschaften E.V. Method and apparatus for the processing of images
US20070058858A1 (en) * 2005-09-09 2007-03-15 Michael Harville Method and system for recommending a product based upon skin color estimated from an image
CN101189637A (zh) * 2005-06-03 2008-05-28 日本电气株式会社 图像处理系统、三维形状估计系统、对象位置/姿态估计系统和图像产生系统
US20110096832A1 (en) * 2009-10-23 2011-04-28 Qualcomm Incorporated Depth map generation techniques for conversion of 2d video data to 3d video data
US20140253707A1 (en) * 2013-03-11 2014-09-11 Dasa V. Gangadhar Automated acquisition of eyeglasses
US20150077323A1 (en) * 2013-09-17 2015-03-19 Amazon Technologies, Inc. Dynamic object tracking for user interfaces
US9058765B1 (en) * 2008-03-17 2015-06-16 Taaz, Inc. System and method for creating and sharing personalized virtual makeovers
US9104908B1 (en) * 2012-05-22 2015-08-11 Image Metrics Limited Building systems for adaptive tracking of facial features across individuals and groups
CN104956404A (zh) * 2013-01-30 2015-09-30 高通股份有限公司 具有功率有效深度传感器使用的实时三维重建
CN105190673A (zh) * 2013-03-08 2015-12-23 电子湾有限公司 用于生成推荐的系统和方法
CN105340286A (zh) * 2013-06-10 2016-02-17 汤姆逊许可公司 用于向用户推荐内容的方法和系统
CN105374065A (zh) * 2014-08-08 2016-03-02 想象技术有限公司 用于在渲染图像中使用的可重新照明纹理
CN105469072A (zh) * 2015-12-14 2016-04-06 依视路国际集团（光学总公司） 一种评估眼镜佩戴者和其所佩戴眼镜搭配度的方法和系统
US20160246078A1 (en) * 2015-02-23 2016-08-25 Fittingbox Process and method for real-time physically accurate and realistic-looking glasses try-on
CN106354768A (zh) * 2016-08-18 2017-01-25 向莉妮 基于颜色的用户与商品的匹配方法及商品匹配推荐方法
JP2017037650A (ja) * 2015-08-13 2017-02-16 ジョン・ジンホ 相対比較による商品推薦サービス方法、このための推薦サービス装置、及びプログラム
CN106651542A (zh) * 2016-12-31 2017-05-10 珠海市魅族科技有限公司 一种物品推荐的方法及装置
CN106910102A (zh) * 2016-07-25 2017-06-30 湖南拓视觉信息技术有限公司 眼镜虚拟试戴方法及装置
CN107123027A (zh) * 2017-04-28 2017-09-01 广东工业大学 一种基于深度学习的化妆品推荐方法及系统
US20170286534A1 (en) * 2016-03-29 2017-10-05 Microsoft Technology Licensing, Llc User location profile for personalized search experience

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003030494A (ja) 2001-07-16 2003-01-31 Nikon Gijutsu Kobo:Kk 眼鏡の選択支援システム
US7437344B2 (en) * 2001-10-01 2008-10-14 L'oreal S.A. Use of artificial intelligence in providing beauty advice
US7665843B2 (en) 2007-02-21 2010-02-23 Yiling Xie Method and the associate mechanism for stored-image database-driven spectacle frame fitting services over public network
JP2010520551A (ja) * 2007-03-08 2010-06-10 ヒューレット−パッカード デベロップメント カンパニー エル．ピー． 画像から推定される皮膚色に基づいて製品を推奨するための方法及びシステム
US7958066B2 (en) * 2007-11-02 2011-06-07 Hunch Inc. Interactive machine learning advice facility
JP5245377B2 (ja) 2007-11-30 2013-07-24 日本電気株式会社 物品推薦装置、物品推薦方法及び物品推薦用プログラム
US10872322B2 (en) * 2008-03-21 2020-12-22 Dressbot, Inc. System and method for collaborative shopping, business and entertainment
JP5648299B2 (ja) 2010-03-16 2015-01-07 株式会社ニコン 眼鏡販売システム、レンズ企業端末、フレーム企業端末、眼鏡販売方法、および眼鏡販売プログラム
US20130088490A1 (en) * 2011-04-04 2013-04-11 Aaron Rasmussen Method for eyewear fitting, recommendation, and customization using collision detection
US9111134B1 (en) * 2012-05-22 2015-08-18 Image Metrics Limited Building systems for tracking facial features across individuals and groups
CN105637512B (zh) * 2013-08-22 2018-04-20 贝斯普客公司 用于创造定制产品的方法和系统
KR101571241B1 (ko) * 2014-04-23 2015-11-23 한국 한의학 연구원 안면 표현형 결정 장치 및 방법
US10796480B2 (en) 2015-08-14 2020-10-06 Metail Limited Methods of generating personalized 3D head models or 3D body models
US10672055B2 (en) 2016-05-23 2020-06-02 Oath Inc. Method and system for presenting personalized products based on digital signage for electronic commerce
JP6753276B2 (ja) * 2016-11-11 2020-09-09 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
EP3669318A1 (de) * 2017-08-16 2020-06-24 Henkel AG & Co. KGaA Verfahren und vorrichtung zur computergestützten haarbehandlungsberatung
US11157985B2 (en) * 2017-11-29 2021-10-26 Ditto Technologies, Inc. Recommendation system, method and computer program product based on a user's physical features

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6556196B1 (en) * 1999-03-19 2003-04-29 Max-Planck-Gesellschaft Zur Forderung Der Wissenschaften E.V. Method and apparatus for the processing of images
CN101189637A (zh) * 2005-06-03 2008-05-28 日本电气株式会社 图像处理系统、三维形状估计系统、对象位置/姿态估计系统和图像产生系统
US20070058858A1 (en) * 2005-09-09 2007-03-15 Michael Harville Method and system for recommending a product based upon skin color estimated from an image
US9058765B1 (en) * 2008-03-17 2015-06-16 Taaz, Inc. System and method for creating and sharing personalized virtual makeovers
US20110096832A1 (en) * 2009-10-23 2011-04-28 Qualcomm Incorporated Depth map generation techniques for conversion of 2d video data to 3d video data
US9104908B1 (en) * 2012-05-22 2015-08-11 Image Metrics Limited Building systems for adaptive tracking of facial features across individuals and groups
CN104956404A (zh) * 2013-01-30 2015-09-30 高通股份有限公司 具有功率有效深度传感器使用的实时三维重建
CN105190673A (zh) * 2013-03-08 2015-12-23 电子湾有限公司 用于生成推荐的系统和方法
US20140253707A1 (en) * 2013-03-11 2014-09-11 Dasa V. Gangadhar Automated acquisition of eyeglasses
CN105340286A (zh) * 2013-06-10 2016-02-17 汤姆逊许可公司 用于向用户推荐内容的方法和系统
US20150077323A1 (en) * 2013-09-17 2015-03-19 Amazon Technologies, Inc. Dynamic object tracking for user interfaces
CN105374065A (zh) * 2014-08-08 2016-03-02 想象技术有限公司 用于在渲染图像中使用的可重新照明纹理
US20160246078A1 (en) * 2015-02-23 2016-08-25 Fittingbox Process and method for real-time physically accurate and realistic-looking glasses try-on
JP2017037650A (ja) * 2015-08-13 2017-02-16 ジョン・ジンホ 相対比較による商品推薦サービス方法、このための推薦サービス装置、及びプログラム
CN105469072A (zh) * 2015-12-14 2016-04-06 依视路国际集团（光学总公司） 一种评估眼镜佩戴者和其所佩戴眼镜搭配度的方法和系统
US20170286534A1 (en) * 2016-03-29 2017-10-05 Microsoft Technology Licensing, Llc User location profile for personalized search experience
CN106910102A (zh) * 2016-07-25 2017-06-30 湖南拓视觉信息技术有限公司 眼镜虚拟试戴方法及装置
CN106354768A (zh) * 2016-08-18 2017-01-25 向莉妮 基于颜色的用户与商品的匹配方法及商品匹配推荐方法
CN106651542A (zh) * 2016-12-31 2017-05-10 珠海市魅族科技有限公司 一种物品推荐的方法及装置
CN107123027A (zh) * 2017-04-28 2017-09-01 广东工业大学 一种基于深度学习的化妆品推荐方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI754530B (zh) * 2020-01-31 2022-02-01 日商Ｚｏｚｏ股份有限公司 眼鏡、推薦化妝品提示控制系統及推薦化妝品提示控制方法
CN112241992A (zh) * 2020-11-10 2021-01-19 北京中科深智科技有限公司 一种全自动的服装动画生成方法和系统

Also Published As

Publication number Publication date
JP2019102068A (ja) 2019-06-24
US20190164210A1 (en) 2019-05-30
EP3493138A1 (en) 2019-06-05
US20210406987A1 (en) 2021-12-30
US11157985B2 (en) 2021-10-26
JP6857638B2 (ja) 2021-04-14

Similar Documents

Publication Publication Date Title
CN109840825A (zh) 基于用户的物理特征的推荐系统
CN105637512B (zh) 用于创造定制产品的方法和系统
GB2564745B (en) Methods for generating a 3D garment image, and related devices, systems and computer program products
Guan et al. Apparel recommendation system evolution: an empirical review
CN109690617A (zh) 用于数字化妆镜的系统和方法
US20160026926A1 (en) Clothing matching system and method
CN101779218B (zh) 化妆模拟系统及其化妆模拟方法
WO2021028728A1 (ru) Способ и система для дистанционного выбора одежды
CN109310196B (zh) 化妆辅助装置以及化妆辅助方法
US20110234581A1 (en) Methods and systems for three-dimensional rendering of a virtual augmented replica of a product image merged with a model image of a human-body feature
CN106294489A (zh) 内容推荐方法、装置及系统
CN106055710A (zh) 基于视频的商品推荐方法及装置
EP1134701A2 (en) Client-server system for three-dimensional face make-up simulation
JP2008165807A (ja) ターミナル試着模擬システム及び操作と応用方法
CN102201099A (zh) 基于运动的交互式购物环境
US20220044311A1 (en) Method for enhancing a user's image while e-commerce shopping for the purpose of enhancing the item that is for sale
CN106202304A (zh) 基于视频的商品推荐方法及装置
CN108537126A (zh) 一种人脸图像处理系统及方法
CN106327231A (zh) 个性化商品匹配推荐系统及方法
KR20210090456A (ko) 멀티 포즈를 지원하는 이미지 기반 자세보존 가상피팅 시스템
CN111767817A (zh) 一种服饰搭配方法、装置、电子设备及存储介质
Wang et al. Style transformed synthetic images for real world gaze estimation by using residual neural network with embedded personal identities
Podlasov et al. Japanese street fashion for young people: A multimodal digital humanities approach for identifying sociocultural patterns and trends
Goldstein et al. Virtual prototyping: from concept to 3D design and prototyping in hours
WO2023194466A1 (en) Method for recommending cosmetic products using a knn algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination