CN110119968A - 基于脸部分析推荐产品的系统及方法 - Google Patents

基于脸部分析推荐产品的系统及方法 Download PDF

Info

Publication number
CN110119968A
CN110119968A CN201811503926.7A CN201811503926A CN110119968A CN 110119968 A CN110119968 A CN 110119968A CN 201811503926 A CN201811503926 A CN 201811503926A CN 110119968 A CN110119968 A CN 110119968A
Authority
CN
China
Prior art keywords
face
measurement module
recommended products
face feature
analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811503926.7A
Other languages
English (en)
Inventor
张智杰
林宜玮
黄佩雯
陈平鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
British Cayman Islands Business By Ltd By Share Ltd
Original Assignee
British Cayman Islands Business By Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by British Cayman Islands Business By Ltd By Share Ltd filed Critical British Cayman Islands Business By Ltd By Share Ltd
Publication of CN110119968A publication Critical patent/CN110119968A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Geometry (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

一种用于基于脸部分析推荐产品的系统及方法，在一计算设备中实现，用于基于脸部分析推荐产品的方法包括监视计算设备的前置相机的使用。响应于检测前置相机的使用以获取自拍图像，计算设备分析由该前置相机获取的自拍图像中的个体的脸部区域的多个脸部特征。计算设备进一步存取用于所述多个脸部特征的对应的多个测量模板，并将所述多个测量模板的至少其中之一应用于对应的所述多个脸部特征。计算设备检索与所述至少一个应用的测量模板相对应的所述多个脸部特征的产品标识符。计算设备基于检索到的多个产品标识符生成至少一个产品推荐，并在一用户接口上显示所述至少一个产品推荐。

Description

基于脸部分析推荐产品的系统及方法
技术领域
本发明一般涉及产品推荐，更精确的说，是涉及用于基于脸部分析推荐产品的系统及方法。
背景技术
人们常在化妆工具和配件上投入大量资金。然而，由于消费者可以选择的化妆品产品的种类广泛，因此想要与药妆界专业人士能实现同样的妆容是相当具有挑战性的。
发明内容
在用于基于脸部分析推荐产品的计算设备中，监视计算设备的前置相机的使用。响应于检测前置相机的使用以获取自拍图像，计算设备分析由该前置相机获取的该自拍图像中描绘的一个体的一脸部区域的多个脸部特征。计算设备进一步存取用于所述多个脸部特征的对应的多个测量模板，并将所述多个测量模板的至少其中之一应用于对应的所述多个脸部特征。计算设备检索与所述至少一个应用的测量模板相对应的所述多个脸部特征的产品标识符。计算设备基于检索到的多个产品标识符生成至少一个产品推荐，并在一用户接口上显示所述至少一个产品推荐。
优选地，每个所述测量模板指定用于分析一对应脸部特征的一或多个目标属性。
优选地，所述对应脸部特征包括在所述脸部区域中的眼部，且用于所述测量模板的所述一或多个目标属性包括涉及位于每个所述眼部的边缘周围的多对点的距离测量。
优选地，所述对应脸部特征包括在所述脸部区域中的眼部，且用于所述测量模板的所述一或多个目标属性包括在每个所述眼部的边缘上的点进行的曲率测量，以判断所述眼部是否近似杏仁状或圆形。
优选地，用于所述测量模板的所述一或多个目标属性包括每个所述眼部的宽度及每个所述眼部的高度之间的比值。
优选地，所述对应脸部特征包括在所述脸部区域中的皮肤，且用于所述测量模板的所述一或多个目标属性包括皮肤色调。
优选地，所述对应脸部特征包括整个所述脸部区域，且用于所述测量模板的所述一或多个目标属性包括脸部形状。
优选地，所述对应脸部特征包括在所述脸部区域中的嘴唇，且用于所述测量模板的所述一或多个目标属性包括一嘴唇轮廓。
优选地，所述对应脸部特征包括在所述脸部区域中的嘴唇，且用于所述测量模板的所述一或多个目标属性包括一嘴唇颜色。
优选地，所述对应脸部特征包括在所述脸部区域中的嘴唇，且用于所述测量模板的所述一或多个目标属性包括一上嘴唇部分的厚度及一下嘴唇部分的厚度。
优选地，在所述用户接口上显示所述至少一个产品推荐是基于分配给所述多个脸部特征的多个权重值来进行的。
优选地，所述多个权重值包括以下的其中之一：多个预定义值；或由一用户指定的多个值。
优选地，所述多个脸部特征包括由所述计算设备的一用户选择的多个脸部特征。
另一实施例为一种用于基于脸部分析推荐产品的系统，包括前置相机、存储多个指令的存储器，以及耦接于存储器的处理器。处理器经由所述多个指令所配置以监视计算设备的前置相机的使用。响应于检测所述前置相机的使用，以获取一自拍图像，且处理器经配置以执行以下步骤：分析由该前置相机获取的该自拍图像中描绘的一个体的一脸部区域的多个脸部特征；存取用于所述多个脸部特征的对应的多个测量模板；将所述多个测量模板的至少其中之一应用于对应的所述多个脸部特征；检索与所述至少一个应用的测量模板相对应的所述多个脸部特征的产品标识符；基于检索到的多个产品标识符生成至少一个产品推荐；在一用户接口上显示所述至少一个产品推荐。
优选地，每个所述测量模板指定用于分析一对应脸部特征的一或多个目标属性。
优选地，所述对应脸部特征包括在所述脸部区域中的眼部，且其中用于所述测量模板的所述一或多个目标属性包括涉及位于每个所述眼部的边缘周围的多对点的距离测量。
优选地，所述对应脸部特征包括在所述脸部区域中的皮肤，且其中用于所述测量模板的所述一或多个目标属性包括皮肤色调。
优选地，所述对应脸部特征包括整个所述脸部区域，且其中用于所述测量模板的所述一或多个目标属性包括脸部形状。
优选地，所述对应脸部特征包括在所述脸部区域中的嘴唇，且其中用于所述测量模板的所述一或多个目标属性包括一上嘴唇部分的厚度及一下嘴唇部分的厚度。
另一实施例为一种非暂时性计算器可读存储介质，存储将由具有一处理器的一计算设备实现的多个指令，其中所述多个指令，在由所述处理器执行时，存储在非暂时性计算器可读存储介质上的多个指令使计算设备监视计算设备的前置相机的使用。响应于检测所述前置相机的使用，以获取一自拍图像，且处理器经配置以执行以下步骤：分析由该前置相机获取的该自拍图像中描绘的一个体的一脸部区域的多个脸部特征；存取用于所述多个脸部特征的对应的多个测量模板；将所述多个测量模板的至少其中之一应用于对应的所述多个脸部特征；检索与所述至少一个应用的测量模板相对应的所述多个脸部特征的产品标识符；基于检索到的多个产品标识符生成至少一个产品推荐；在一用户接口上显示所述至少一个产品推荐。
优选地，每个所述测量模板指定用于分析一对应脸部特征的一或多个目标属性。
为使能更进一步了解本发明的特征及技术内容，请参阅以下有关本发明的详细说明与附图，然而所提供的附图仅用于提供参考与说明，并非用来对本发明加以限制。
附图说明
参考以下附图可以更好地理解本申请的各个实施方式。附图中的组件不一定按比例绘制，其重点在于清楚地说明本申请的原理。此外，在附图中，相同的附图标记在一些附图中表示相应的部件。
图1是根据各种实施例绘示的用于实现所公开的化妆品推荐特征的计算设备的方框图。
图2根据各种实施例绘示了在图1中的计算设备的方框示意图。
图3是根据各种实施例的由图1的计算设备执行的用于产品推荐的流程图。
图4根据各种实施例绘示了通过用户握持着计算设备，并以计算设备上的前置相机获取用户脸部的图像或视频的示意图。
图5根据各种实施例绘示了通过图1的计算设备采用的测量模板，用于判断眼部的属性。
图6根据各种实施例绘示了通过图1的计算设备采用的测量模板，用于判断脸型。
图7根据各种实施例绘示了通过图1的计算设备采用的测量模板，用于判断嘴唇的属性。
图8根据各种实施例绘示了通过图1的计算设备采用的测量模板，用于判断鼻子的属性。
图9根据各种实施例绘示了通过图1的计算设备执行的用于基于脸部分析提供建议的用户接口范例。
具体实施方式
公开了各种实施例，用于通过基于个人的特定脸部特征来推荐产品以便于化妆的应用。如下文中更详细描述的，系统检测配备有前置相机的计算设备(例如，智能电话)的用户何时利用此相机来产生自拍(self-portrait)(即，自拍照(selfie))。作为响应，系统自动分析在自拍图像中描绘的脸部区域的属性，其中，基于上述分析，系统推荐针对个体脸部的特定属性定制的特定化妆品。在一些实施例中，利用对应于不同脸部特征的测量模板，由此测量模板指定一或多个目标属性及指针，以分析对应的脸部特征。这些目标属性可能根据不同的脸部特征而变化。在一些实施例中，以特征为基础向用户推荐化妆品。例如，个人眼睛的形状可以使特定的化妆品(例如，特定品牌的眼线笔)被推荐给用户，而个人的嘴唇的形状可以使另一种化妆品(例如，特定的颜色及品牌的口红)被推荐给用户。
在其他实施例中，可以将所有脸部特征作为整体进行分析，由此在判断要向用户推荐哪些化妆品时，应用权重值。在一些情况下，可以向用户推荐权重值较高的化妆品，其中，也可以向用户推荐与推荐的化妆品兼容或特别匹配的其他化妆品。例如，可以为个人的肤色分配更高的权重值。基于所分析的肤色，向用户推荐特定的化妆品(例如，特定的腮红颜色)。基于所推荐的腮红颜色，也可以推荐与推荐的腮红兼容或相匹配的特定颜色的口红给使用者，即使所推荐的口红与基于属性推荐的口红不同。在这方面，对于某些实施例，化妆品产品更着重于某些脸部属性上进行推荐，而非根据特征推荐。
现将以详述系统内部组件的操作的方式来说明基于脸部区域分析推荐化妆品的系统。图1是计算设备102的方框图，在其中可实现本文所公开的化妆应用特征。计算设备102可以体现为配备有数字内容记录能力的计算设备(例如，前置相机)，其中，计算设备102可以包括但不限于，智能手机、平板计算设备、膝上型计算器、连接到网络相机的计算器，等等。计算设备102被配置为经由相机接口106检索用户的数字表示，其中数字表示可以包括用户的静止图像或实况视频。相机接口106通信地耦合到计算设备102的相机(例如，前置相机)。
如普通技术人员将理解的，数字媒体内容可以以多种格式中的任何格式编码，包括但不限于JPEG(联合图像专家组)文件、TIFF(标记图像文件格式)文件、PNG(便携式网络图形)文件、GIF(图形交换格式)文件、BMP(位图)文件、HEIF(高效图像文件)文件或任何数量的其他数字格式。数字媒体内容可以以其他格式编码，包括但不限于动态图像专家组(MPEG)-1、MPEG-2、MPEG-4、H.264、H.265、HEVC(高效率视频编码)、第三代合作伙伴计划(3GPP)、3GPP-2、标清视频(SD-Video)、高清视频(HD-Video)、数字多功能光盘(DVD)多媒体、高清数字通用光盘(HD-DVD)多媒体、数字电视视频/高清数字电视(DTV/HDTV)多媒体、音频视频交错(AVI)、数字视频(DV)、QuickTime(QT)文件、Windows Media Video(WMV)、高级系统格式(ASF)、Real Media(RM)、Flash Media(FLV)、MPEG Audio Layer III(MP3)、MPEG Audio Layer II(MP2)、Waveform Audio Format(WAV)、Windows Media Audio(WMA)或任何数量的其他数字格式。
产品推荐应用104在计算设备102的处理器上执行，并配置处理器以执行与脸部特征的分析及化妆品产品的推荐相关的各种操作。产品推荐应用104包括脸部区域分析器108、汇集器110、推荐检索器112及用户界面生成器114。相机接口106监视计算设备102中的前置相机(未示出)的使用。响应于检测到用户使用相机产生自拍图像，相机接口106将触发信号输出到产品推荐应用104。
响应于接收到触发信号，产品推荐应用104中的脸部区域分析器108经配置以分析由前置相机获取的自拍图像中描绘的用户的脸部区域的多个脸部特征。脸部区域分析器108进一步经配置以存取在计算设备102中的数据库116，以针对脸部特征检索对应的多个测量模板118。对于一些实施例而言，各测量模板118指定一或多个目标脸部特征。一个目标脸部特征可包括用户的双眼，而另一目标脸部特征可包括用户的肤色。举例而言，在图1中的测量模板1可对应于双眼(见图5)，测量模板2可对应于脸型(见图6)，测量模板3可对应于嘴唇(见图7)，且测量模板4可对应于鼻子(见图8)。
对于一些实施例而言，测量模板118亦可包括权重值。在一些实施例中，某些脸部特征可分配到较其他脸部特征更大的权重值。例如，包括用户脸部的整体形状(例如，椭圆形与圆形形状)的面部特征可以被分配比包括用户头发的颜色的面部特征更大的权重值。如上所述，对于一些实施例而言，具有较高权重值的化妆品产品可被推荐给用户。此外，与所推荐的化妆品产品兼容或特定匹配的其他化妆品产品亦可被推荐给用户。测量模板118还包括用于特定化妆品产品(例如，特定的颜色/品牌的唇膏)的至少一个标识符，用于对应的目标特征(例如，用户的嘴唇)。如下文将更详细描述的，脸部区域分析器108进一步经配置以将每个测量模板应用于对应的脸部特征。
汇集器110根据应用的测量模板，检索每个面部特征的化妆品产品标识符(product identifiers)。产品标识符可以包括诸如产品描述(例如，品牌名称、产品名称、产品图像)、产品规格(例如，颜色、包装、纹理)、购买信息(例如，用于产品的统一资源定位符(URL)之类的信息、在线零售商销售特定产品)，等等。汇集器110还经配置以根据所检索到的产品标识符生成至少一个产品建议。用户界面生成器114将至少一个产品建议显示于用户界面上。
产品推荐应用104还可以包括允许计算设备102耦合到网络的网络接口(未示出)，例如，因特网、内部网络、外联网、广域网(WAN)、局域网(LAN)、有线网络、无线网络或其他合适的网络等，或者两个或更多个这样的网络的任何组合。通过网络，计算设备102可以通信地耦合到其他计算设备，以便检索更新的测量模板。
图2绘示了在图1中的计算设备的示意方框图。计算设备102可以体现在各种有线和/或无线计算设备中的任何一种中，例如台式计算器、便携式计算器、专用服务器计算器、多处理器计算设备、智能电话、平板计算机等。如图2所示，计算设备102包括存储器214、处理设备202、输入/输出接口204、网络接口208、显示器206、周边接口211和大容量存储器226，其中这些组件中的每一个都跨本地连接数据总线210进行连接。
处理设备202可以包括与计算设备102相关联的若干处理器中的任何定制或商用处理器、中央处理单元(CPU)或协处理器、基于半导体的微处理器(以微芯片的形式)、宏处理器、一个或多个专用集成电路(ASIC)、多个适当配置的数字逻辑门，以及其他众所周知的电气配置，包括单独和各种组合的分立组件，以协调计算系统的整体操作。
存储器214可以包括易失性存储器组件(例如，随机存取存储器(RAM，诸如DRAM和SRAM等))和非易失性存储器组件(例如，ROM、硬盘驱动器、磁带、CDROM等)的组合中的任何一个。存储器214通常包括用于各种操作系统和/或仿真硬件平台、仿真操作系统等中的任何一个的本机操作系统216、一个或多个本机应用程序、仿真系统或仿真应用程序。例如，应用程序可以包括应用程序专用软件，其可以包括图1中描绘的计算设备102的一些或所有组件。根据这样的实施例，组件存储在存储器214中并由处理设备202执行。本领域普通技术人员将理解，存储器214能够，并且通常将包括出于简洁的目的而省略的其他组件。
输入/输出接口204为数据的输入和输出提供任何数量的接口。例如，如果计算设备102包含一台个人计算机，则这些组件可能可以与一或多个用户输入/输出接口204对接，其中可包括键盘或鼠标，如图2所示。显示器206可包括计算器监视器、用于PC的等离子屏幕、手持设备上的液晶显示器(LCD)、触摸屏或其他显示设备。
在本公开的上下文中，非暂时性计算器可读介质存储供指令执行系统，装置或设备使用或与指令执行系统，装置或设备结合使用的程序。计算器可读介质的更具体示例可以包括示例而非限制：便携式计算器磁盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM、EEPROM或闪存)和便携式光盘只读存储器(CDROM)(光学)。
参考图3，其是根据实施例的由图1的计算设备102执行的基于脸部区域分析来推荐化妆品产品的流程图。应理解，图3的流程图300仅提供可用于实现计算设备102的各种组件的操作的不同类型的功能配置的示例。作为替代方案，可以将图3的流程图300视为描绘根据一或多个实施例的在计算设备102中实现的方法的步骤的示例。
虽然图3的流程图300显示了特定的执行顺序，但据了解，执行顺序可能与所描述的不同。例如，可以相对于所示的顺序对两或更多个方框的执行顺序进行拼凑。并且，图3中具有先后顺序的多个方框也可同时进行或部分同时进行。应理解，所有这些变化都在本公开的范围内。
在方框310中，计算设备102监视计算设备102的前置相机的使用。在判定方框320中，如果检测到使用前置相机产生自拍图像，则流程前进至方框330，其中，计算设备102分析通过前置相机获取的图像中描绘的个体的脸部区域的脸部特征。如果未检测到前置相机的使用，则计算设备102继续监视前置相机(方框310)的使用。
在方框340中，计算设备102访问数据库116(图1)以检索脸部特征的对应测量模板。对于一些实施例而言，脸部特征包括用户选择的脸部特征。对于其他实施例而言，脸部特征可包括预定的目标脸部特征组。对于一些实施例，每个测量模板指定一个或多个目标属性以分析对应脸部特征。对应脸部特征可以包括脸部区域中的眼部，其中，用于测量模板的一或多个目标属性包括涉及位于每个所述眼部的边缘周围的多对点的距离测量。
对于一些实施例而言，对应脸部特征包括脸部区域中的眼睛，其中，用于测量模板的一或多个目标属性包括在每个眼部的边界上的点处的曲率测量，用于判断眼睛是近似杏仁形状或圆形。用于测量模板的一或多个目标属性包括每只眼睛的宽度及每只眼睛的高度之间的比值。
对于一些实施例而言，对应脸部特征包括在脸部区域中的皮肤，且其中用于测量模板的一或多个目标属性包括皮肤色调。对于一些实施例而言，对应脸部特征可包括整个脸部区域，且其中用于测量模板的一或多个目标属性包括脸部形状。对应脸部特征亦可包括在脸部区域中的嘴唇，且其中用于测量模板的一或多个目标属性包括嘴唇轮廓或嘴唇颜色。用于测量模板的一或多个目标属性亦可包括上嘴唇部分的厚度及下嘴唇部分的厚度。
在方框350中，计算设备102将测量模板中的至少一个应用于对应的脸部特征。在方框360中，计算设备102检索与至少一个应用的测量模板相对应的多个脸部特征的产品标识符。在方框370中，计算设备102基于检索到的多个产品标识符生成至少一个产品推荐。在方框380中，计算设备102在用户界面上显示至少一个产品推荐。对于一些实施例而言，计算设备102是基于分配给多个脸部特征的多个权重值来显示至少一个产品推荐。权重值可包括多个预定义值或由用户指定的多个值。此后，图3中的流程结束。
为了进一步说明各种特征，参考图4至图9。图4根据各种实施例绘示了通过用户握持着计算设备，并以计算设备上的前置相机获取用户脸部的图像或视频的示意图。如上所述，计算设备102监视计算设备102中的前置相机的使用。如果检测到使用前置相机并由此获取自拍图像402，则计算设备102分析自拍图像中描绘的个体的脸部区域的脸部特征。计算设备102访问数据库116(图1)以检索对应不同脸部特征的多个测量模板。
对于某些实施例而言，边界404由脸部区域分析器108围绕目标面部特征(例如，眼睛、鼻子、眉毛、嘴唇、脸部轮廓)所生成，且是基于在测量模板中界定的测量点及这些点的间距。边界404包括在图像402中的个体的脸部区域中的多个特征点。在这方面，边界404提供图像402中的个体的面部轮廓，其中，图像402经分析以生成边界404及对应的脸部特征点。对于一些实施例而言，测量模板可定义点的数量及点与点之间的间距。在这方面，边界404的点与点(例如，P40、P47、P45)之间的间距可预先在测量模板中定义。
图5根据各种实施例绘示了通过图1的计算设备采用的测量模板，用于判断眼部的属性。在所示的示例中，测量模板指定每只眼睛周围或附近的总共九个测量点(例如，P6、P12、P7、P13、P10、P14、P9、P15、P8)。测量模板还可以指定这些点中的每一个之间的间隔。例如，一个测量模板可以指定三个测量点(例如，P12，P7，P13)将位于左眼的两端(例如，P6，P10)之间。然后，每个点的实际放置将取决于被分析的眼睛区域的轮廓。在所示的示例中，生成追踪每只眼睛的形状的边界502，从而分析与沿着边界的不同点相关的指针以判断眼睛的属性。例如，为了判断个体具有下垂眼睛(外角处向下倾斜的杏仁形眼睛)或上翘眼睛(外角向上倾斜的椭圆形眼睛)，使用了与图5中所示的多个点相关的各种指标。
对于一些实施例而言，测量模板定义了从边界点(下文中称为P)P12至P15的线段、从P7至P9的线段，以及从P13至P14的线段。然后生成从这些线段中的每一条的大致中心延伸的线段，并将其与P6的位置进行比较。如果P6高于此中心线段，则计算设备102判断此个体呈现上翘的眼睛。如果P6低于此中心线段，则计算设备102判断此个体呈现下垂的眼睛。
为了判断个体是圆形或杏仁状眼睛，另一个测量模板可定义从P7至P9的线段及从P6至P10的线段之间的比值。若此比值大于预定比值，则计算设备102判断此个体的眼睛形状为圆形。若此比值小于预定比值，则计算设备102判断此个体的眼睛形状为杏仁形状。为了确定个体为疏眼距或密眼距，测量模板指定比较P8与P21之间的距离与P6与P8之间的距离的指标。若在P8与P21之间的距离大于P6与P8之间的距离，则计算设备102判断此个体呈现疏眼距。若在P8与P21之间的距离小于P6与P8之间的距离，则计算设备102判断此个体呈现密眼距。在一些实施例中，P6至P10定义为椭圆的长轴，P7至P9定义为椭圆的短轴。计算设备102在P7判断椭圆的曲率。若此曲率大于预定曲率，则判断眼睛形状为圆形。若此曲率小于预定曲率，则判断眼睛形状为杏仁形。
图6根据各种实施例绘示了通过图1的计算设备采用的测量模板，用于判断脸型。对于一些实施例而言，测量模板定义与沿着所示的轮廓上的多个点之间的斜率相关的指标。例如，为了分析颚的轮廓，一个测量模板定义分析以下线段的斜率：线段P74到P70、线段P74到P71、线段P74到P72、线段P74到P73、线段P74到P75、线段P74到P76、线段P74到P77，以及线段P74至P78。
个体脸部一半的长度定义为P31到P74之间的距离。测量模板可以进一步定义从P66跨越到P82的个体脸部的宽度。测量模板还可定义从P51跨越至P74的个体的下巴的长度，以及从P70跨越至P78的个体的下巴的宽度。根据各种脸型(如脸部宽度、下巴长度、下巴宽度)，计算设备102决定了个人的脸部类型(正方形、椭圆形、长、圆、三角形等)。对于某些实施例，根据脸部宽度、下巴长度、下巴宽度等，预定义了脸部类型(如正方形、椭圆形、长、圆、三角形)。
图7根据各种实施例绘示了通过图1的计算设备采用的测量模板，用于判断嘴唇的属性。对于一些实施例，测量模板定义与个体嘴唇相关的指标以决定诸如唇形之类的属性，如嘴唇是否下垂(嘴角向下倾斜)、上唇的厚度、下唇的厚度等。对于一些实施例，测量模板指定用于定义唇形的指标，其中，上唇的厚度对应于P42与P59之间的距离，下唇的厚度对应于P64与P51之间的距离。
嘴唇的尖端由P42至P43的线段及P43至P49的线段所界定的角度来定义。测量模板通过分析P50及P60是否低于P59来指定用于判断嘴唇是否下垂的指标。测量模板通过分析由三
个点P48、P41及P42定义的角度(θ1)来指定用于判断个体的嘴唇是否不均匀的指标。将此角度(θ1)与P42、P43及P49三个点所定义的角度(θ2)进行比较。若两角度并非实质上相等的，则计算设备102判断嘴唇是不均匀的。测量模板还可以指定由P54、P52、P55及P51定义的线段的弧度，并比较此弧度是否与P57、P53、P56及P51定义的线段的弧度匹配。
测量模板通过判断由P42和P43定义的线段及由P41及P42限定的线段的角度(θ3)是否大于阈值(例如，170度)来指定用于判断嘴唇是否是椭圆形的指标。测量模板指定了通过判断从上唇(P42到P59)的线段及从下唇(P64到P51)的线段的比值来判断上唇是否厚实的指标。如果此比值大于预定比值阈值，则计算设备102将判断用户呈现的是厚实的上唇。如果此比值小于预定比值阈值，则计算设备102将判断用户呈现的是薄的上唇，而下唇反之亦然。
图8根据各种实施例绘示了通过图1的计算设备采用的测量模板，用于判断鼻子的属性。对于一些实施例，测量模板定义与个体鼻子相关的指标，以判断诸如鼻子的长度、鼻子的翼部、鼻子的高度等属性。对于一些实施例，测量模板通过分析从P31到P34的线段及脸部的长度的比值来指定用于定义鼻子长度的指标。对于一些实施例，测量模板通过分析从P31到P34的线段与从P38到P39的线段的比值来指定用于定义鼻子的翼部(翼(ala)或鼻子的侧面)的指标。对于一些实施例，测量模板通过分析从P31到P5到P16的线段的中心点的距离来指定用于定义鼻子高度的指标。
图9根据各种实施例绘示了通过图1的计算设备102执行的用于基于脸部分析提供建议的用户接口范例。在使用测量模板分析个体的脸部特征时，计算设备102提供显示产品推荐的用户界面902。在某些实施例中，用于获得个人嘴唇属性的测量模板可包括特定化妆品产品(如口红、唇彩)的产品标识符。基于此产品标识符，计算设备102生成特定产品推荐以帮助个人获得实际产品。在所示的示例中，用户接口902通过显示销售化妆品产品(如口红)的产品网页的在线零售商的网址(URL)来提供建议。提供给用户的其他信息可以包括用于特定品牌的口红、该特定品牌的口红的颜色等的产品库存单位(SKU)代码SKU代码。
以上所公开的内容仅为本发明的优选可行实施例，并非因此局限本发明的权利要求书的保护范围，所以凡是运用本发明说明书及附图内容所做的等效技术变化，均包含于本发明的权利要求书的保护范围内。

Claims (21)

1.一种用于基于脸部分析推荐产品的方法，其特征在于，在一计算设备中实现，所述基于脸部分析推荐产品的方法包括：
监视所述计算设备的一前置相机的使用；
响应于检测所述前置相机的使用，以获取一自拍图像，并执行以下步骤：
分析由该前置相机获取的该自拍图像中描绘的一个体的一脸部区域的多个脸部特征；
存取用于所述多个脸部特征的对应的多个测量模板；
将所述多个测量模板的至少其中之一应用于对应的所述多个脸部特征；
检索与所述至少一个应用的测量模板相对应的所述多个脸部特征的产品标识符；
基于检索到的多个产品标识符生成至少一个产品推荐；
在一用户接口上显示所述至少一个产品推荐。
2.根据权利要求1所述的用于基于脸部分析推荐产品的方法，其特征在于，其中每个所述测量模板指定用于分析一对应脸部特征的一或多个目标属性。
3.根据权利要求2所述的用于基于脸部分析推荐产品的方法，其特征在于，其中所述对应脸部特征包括在所述脸部区域中的眼部，且其中用于所述测量模板的所述一或多个目标属性包括涉及位于每个所述眼部的边缘周围的多对点的距离测量。
4.根据权利要求2所述的用于基于脸部分析推荐产品的方法，其特征在于，其中所述对应脸部特征包括在所述脸部区域中的眼部，且其中用于所述测量模板的所述一或多个目标属性包括在每个所述眼部的边缘上的点进行的曲率测量，以判断所述眼部是否近似杏仁状或圆形。
5.根据权利要求3所述的用于基于脸部分析推荐产品的方法，其特征在于，其中用于所述测量模板的所述一或多个目标属性包括每个所述眼部的宽度及每个所述眼部的高度之间的比值。
6.根据权利要求2所述的用于基于脸部分析推荐产品的方法，其特征在于，其中所述对应脸部特征包括在所述脸部区域中的皮肤，且其中用于所述测量模板的所述一或多个目标属性包括皮肤色调。
7.根据权利要求2所述的用于基于脸部分析推荐产品的方法，其特征在于，其中所述对应脸部特征包括整个所述脸部区域，且其中用于所述测量模板的所述一或多个目标属性包括脸部形状。
8.根据权利要求2所述的用于基于脸部分析推荐产品的方法，其特征在于，其中所述对应脸部特征包括在所述脸部区域中的嘴唇，且其中用于所述测量模板的所述一或多个目标属性包括一嘴唇轮廓。
9.根据权利要求2所述的用于基于脸部分析推荐产品的方法，其特征在于，其中所述对应脸部特征包括在所述脸部区域中的嘴唇，且其中用于所述测量模板的所述一或多个目标属性包括一嘴唇颜色。
10.根据权利要求2所述的用于基于脸部分析推荐产品的方法，其特征在于，其中所述对应脸部特征包括在所述脸部区域中的嘴唇，且其中用于所述测量模板的所述一或多个目标属性包括一上嘴唇部分的厚度及一下嘴唇部分的厚度。
11.根据权利要求2所述的用于基于脸部分析推荐产品的方法，其特征在于，其中在所述用户接口上显示所述至少一个产品推荐是基于分配给多个所述脸部特征的多个权重值来进行的。
12.根据权利要求11所述的用于基于脸部分析推荐产品的方法，其特征在于，其中所述多个权重值包括以下的其中之一：多个预定义值；或由一用户指定的多个值。
13.根据权利要求1所述的用于基于脸部分析推荐产品的方法，其特征在于，其中所述多个脸部特征包括由所述计算设备的一用户选择的多个脸部特征。
14.一种用于基于脸部分析推荐产品的系统，其特征在于，所述系统包括：
一前置相机；
一存储器，存储多个指令；以及
一处理器，耦接于所述存储器，由所述多个指令来配置以执行至少：
监视所述前置相机的使用；
响应于检测所述前置相机的使用，以获取一自拍图像，并执行以下步骤：
分析由该前置相机获取的该自拍图像中描绘的一个体的一脸部区域的多个脸部特征；
存取用于所述多个脸部特征的对应的多个测量模板；
将所述多个测量模板的至少其中之一应用于对应的所述多个脸部特征；
检索与所述至少一个应用的测量模板相对应的所述多个脸部特征的产品标识符；
基于检索到的多个产品标识符生成至少一个产品推荐；
在一用户接口上显示所述至少一个产品推荐。
15.根据权利要求14所述的用于基于脸部分析推荐产品的系统，其特征在于，其中每个所述测量模板指定用于分析一对应脸部特征的一或多个目标属性。
16.根据权利要求15所述的用于基于脸部分析推荐产品的系统，其特征在于，其中所述对应脸部特征包括在所述脸部区域中的眼部，且其中用于所述测量模板的所述一或多个目标属性包括涉及位于每个所述眼部的边缘周围的多对点的距离测量。
17.根据权利要求15所述的用于基于脸部分析推荐产品的系统，其特征在于，其中所述对应脸部特征包括在所述脸部区域中的皮肤，且其中用于所述测量模板的所述一或多个目标属性包括皮肤色调。
18.根据权利要求15所述的用于基于脸部分析推荐产品的系统，其特征在于，其中所述对应脸部特征包括整个所述脸部区域，且其中用于所述测量模板的所述一或多个目标属性包括脸部形状。
19.根据权利要求15所述的用于基于脸部分析推荐产品的系统，其特征在于，其中所述对应脸部特征包括在所述脸部区域中的嘴唇，且其中用于所述测量模板的所述一或多个目标属性包括一上嘴唇部分的厚度及一下嘴唇部分的厚度。
20.一种用于基于脸部分析推荐产品的非暂时性计算器可读存储介质，存储将由具有一处理器的一计算设备实现的多个指令，其中所述多个指令在由所述处理器执行时，使所述计算设备至少进行：
监视所述计算设备的一前置相机的使用；
响应于检测所述前置相机的使用，以获取一自拍图像，并执行以下步骤：
分析由该前置相机获取的该自拍图像中描绘的一个体的一脸部区域的多个脸部特征；
存取用于所述多个脸部特征的对应的多个测量模板；
将多个所述测量模板的至少其中之一应用于对应的所述多个脸部特征；
检索与所述至少一个应用的测量模板相对应的所述多个脸部特征的产品标识符；
基于检索到的多个产品标识符生成至少一个产品推荐；
在一用户接口上显示所述至少一个产品推荐。
21.根据权利要求20所述的用于基于脸部分析推荐产品的非暂时性计算器可读存储介质，其特征在于，其中每个所述测量模板指定用于分析一对应脸部特征的一或多个目标属性。
CN201811503926.7A 2018-02-06 2018-12-10 基于脸部分析推荐产品的系统及方法 Pending CN110119968A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862626924P 2018-02-06 2018-02-06
US62/626,924 2018-02-06

Publications (1)

Publication Number Publication Date
CN110119968A true CN110119968A (zh) 2019-08-13

Family

ID=67520222

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811503926.7A Pending CN110119968A (zh) 2018-02-06 2018-12-10 基于脸部分析推荐产品的系统及方法

Country Status (1)

Country Link
CN (1) CN110119968A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111553219A (zh) * 2020-04-21 2020-08-18 海信集团有限公司 一种数据处理方法及智能设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070071314A1 (en) * 2005-09-09 2007-03-29 Nina Bhatti Capture and systematic use of expert color analysis
WO2008057577A2 (en) * 2006-11-08 2008-05-15 24Eight Llc Method and apparatus for recommending beauty-related products
CN104983399A (zh) * 2015-07-17 2015-10-21 武汉雨点科技有限公司 一种面部皮肤检测系统及方法
CN105662348A (zh) * 2016-01-11 2016-06-15 中山德尚伟业生物科技有限公司 基于智能手机的新型皮肤检测系统及产品辅助选择系统
CN106952143A (zh) * 2017-03-17 2017-07-14 合肥龙图腾信息技术有限公司 美容用品智能推荐系统、装置和方法
CN107122989A (zh) * 2017-03-21 2017-09-01 浙江工业大学 一种面向化妆品的多角度混合推荐方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070071314A1 (en) * 2005-09-09 2007-03-29 Nina Bhatti Capture and systematic use of expert color analysis
WO2008057577A2 (en) * 2006-11-08 2008-05-15 24Eight Llc Method and apparatus for recommending beauty-related products
CN104983399A (zh) * 2015-07-17 2015-10-21 武汉雨点科技有限公司 一种面部皮肤检测系统及方法
CN105662348A (zh) * 2016-01-11 2016-06-15 中山德尚伟业生物科技有限公司 基于智能手机的新型皮肤检测系统及产品辅助选择系统
CN106952143A (zh) * 2017-03-17 2017-07-14 合肥龙图腾信息技术有限公司 美容用品智能推荐系统、装置和方法
CN107122989A (zh) * 2017-03-21 2017-09-01 浙江工业大学 一种面向化妆品的多角度混合推荐方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111553219A (zh) * 2020-04-21 2020-08-18 海信集团有限公司 一种数据处理方法及智能设备

Similar Documents

Publication Publication Date Title
TWI573093B (zh) 建立虛擬彩妝資料的方法、具備建立虛擬彩妝資料之方法的電子裝置以及其非暫態電腦可讀取記錄媒體
EP3491963A1 (en) Systems and methods for identification and virtual application of cosmetic products
EP3522069A1 (en) Systems and methods for recommending products based on facial analysis
JP6956389B2 (ja) メイクアップ支援装置およびメイクアップ支援方法
CN110516096A (zh) 合成感知数字图像搜索
TW202129524A (zh) 妝容處理方法、裝置、電子設備及儲存媒體
US11900675B2 (en) Dynamic image analysis and cropping
KR20230025906A (ko) 개선된 얼굴 속성 분류 및 그것의 사용을 위한 시스템들 및 방법들
US20210312533A1 (en) Identification of physical products for augmented reality experiences in a messaging system
EP3572973A1 (en) Systems and methods for performing virtual application of makeup effects based on a source image
GB2569833A (en) Shape-based graphics search
Guo et al. A real-time interactive system of surface reconstruction and dynamic projection mapping with RGB-depth sensor and projector
CN109871564A (zh) 化妆品辨识及模拟应用的方法、系统及可读取存储媒体
EP3767575A1 (en) Systems and methods for recommendation of makeup effects based on makeup trends and facial analysis
CN110119968A (zh) 基于脸部分析推荐产品的系统及方法
Amador et al. Benchmarking head pose estimation in-the-wild
US20220358786A1 (en) System and method for personality prediction using multi-tiered analysis
TW202016881A (zh) 程式、資訊處理裝置、定量化方法及資訊處理系統
US20220254144A1 (en) Product image classification
Nie et al. Social media profiler: Inferring your social media personality from visual attributes in portrait
CN111557022B (zh) 二维图像处理方法及执行所述方法的设备
JP2022078936A (ja) 肌画像分析方法
Zhang et al. A map-based normalized cross correlation algorithm using dynamic template for vision-guided telerobot
CN113298593A (zh) 商品推荐及图像检测方法、装置、设备和存储介质
Angadi et al. Face Recognition Through Symbolic Data Modeling of Local Directional Gradient

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190813