CN110709856A - 用于确定表观皮肤年龄的系统和方法 - Google Patents

用于确定表观皮肤年龄的系统和方法 Download PDF

Info

Publication number
CN110709856A
CN110709856A CN201880035105.7A CN201880035105A CN110709856A CN 110709856 A CN110709856 A CN 110709856A CN 201880035105 A CN201880035105 A CN 201880035105A CN 110709856 A CN110709856 A CN 110709856A
Authority
CN
China
Prior art keywords
image
skin
age
cnn
skin age
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880035105.7A
Other languages
English (en)
Other versions
CN110709856B (zh
Inventor
A·普尔瓦
P·J·麦茨
M·A·施里弗
W·吴
B·徐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Procter and Gamble Ltd
Original Assignee
Procter and Gamble Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Procter and Gamble Ltd filed Critical Procter and Gamble Ltd
Publication of CN110709856A publication Critical patent/CN110709856A/zh
Application granted granted Critical
Publication of CN110709856B publication Critical patent/CN110709856B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/273—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion removing elements interfering with the pattern to be recognised
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明提供了用于确定人的表观皮肤年龄并提供定制的皮肤护理产品推荐的系统和方法。所述系统利用计算装置来掩蔽人的图像中的面部宏观特征，并且然后用卷积神经网络分析所述图像以确定所述人的表观皮肤年龄。确定所述表观皮肤年龄可包括识别指示皮肤年龄的至少一个像素以及利用所述至少一个像素来提供所述表观皮肤年龄。所述系统可用于确定人的目标皮肤年龄，确定用于实现所述目标皮肤年龄的护肤产品或护肤方案，并且为用户提供购买所述产品的选项。

Description

用于确定表观皮肤年龄的系统和方法
技术领域
本专利申请整体涉及用于确定人皮肤的表观年龄的系统和方法。更具体地讲，本专利申请涉及图像处理技术和一个或多个卷积神经网络用于更准确地确定消费者的皮肤年龄的用途。
背景技术
皮肤是抵抗环境侵害的第一道防线，否则其将损害敏感的下层组织和器官。此外，皮肤在人的外貌中起到关键作用。一般来讲，大多数人期望看起来更年轻、健康的皮肤。并且对一些人而言，皮肤老化(诸如皮肤变薄、皱纹和老年斑)的明显迹象是对青春消逝的不可取的提醒。因此，在现今重视青春的社会中，治疗皮肤老化迹象的已成为急速发展的行业。疗法范围从美容霜膏和保湿剂到各种形式的美容手术。
虽然各种各样的化妆护肤产品被销售用于治疗皮肤病症，但消费者常常难以确定其应当使用哪种护肤产品。例如，与皮肤看起来更年轻的人相比，皮肤呈现出比他们的实足年龄大的人可需要不同的产品或方案。因此，期望准确地确定人的皮肤的表观年龄。
已进行了多次尝试以通过使用计算机模型/算法分析人的图像(例如，“自拍照”)来确定人的表观皮肤年龄。然后可使用由计算机模型提供的结果向消费者提供皮肤特征(例如，皮肤年龄、水分含量或油性)和/或产品推荐。过去对皮肤年龄建模的尝试依赖于作为驱动计算机模型/预测的主要因素的面部宏观特征(眼部、耳部、鼻部、嘴部等)。然而，基于宏观特征的系统可不充分利用驱动消费者的年龄感知的其他皮肤外观线索(例如，微观特征，诸如细纹、皱纹和色素沉着状况)，这可导致对表观皮肤年龄的较差预测。
过去对皮肤年龄和/或皮肤状况建模的其他尝试利用了烦琐的设备或技术(例如，固定式照相机、显微镜、交叉偏振光、镜面反射率和/或空间频率分析)。因此，可期望为消费者提供方便使用和/或移动的系统，所述系统分析皮肤，使得消费者可接收产品和/或护肤方案推荐。
因此，仍然需要一种方便地确定人皮肤的表观年龄的改善的方法，其然后可用于帮助提供定制的护肤产品或方案推荐。
发明内容
本文公开了用于确定人的表观皮肤年龄并向用户提供定制的护肤产品推荐的系统和方法。所述系统和方法利用计算装置来处理描述人的面部的人的图像，并且然后分析经处理的图像。在处理期间，在图像中识别人的面部，并掩蔽面部宏观特征。分析经处理的图像。确定表观皮肤年龄可包括识别指示皮肤年龄的至少一个像素以及利用至少一个像素来提供表观皮肤年龄。基于由CNN进行的分析，并且任选地由用户提供的其他数据，该系统可确定人的表观皮肤年龄和/或为人提供护肤产品或皮肤护理方案。
附图说明
图1示出本发明系统的示例。
图2示出了在人的图像中识别的宏观特征。
图3A示出了分割的图像。
图3B示出了界定图像。
图4A至4G示出掩蔽的宏观特征。
图5A至5G示出了掩蔽的宏观特征。
图6B至6G示出了感兴趣的区域。
图7为处理图像的方法的流程图。
图8和图9示出了用于确定表观皮肤年龄的卷积神经网络。
图10至21示出了示例性用户界面。
图22示出了用于提供护肤产品和/或方案推荐的远程计算装置。
图23为向用户提供产品推荐的方法的流程图。
具体实施方式
化妆品行业中已使用多种系统和方法来向消费者提供定制的产品推荐。例如，一些熟知的系统使用基于宏观特征的分析，其中在捕获的图像诸如数字照片或“自拍照”中检测到通常在人面部的照片中可见的一个或多个宏观特征(例如，眼部、耳部、鼻部、嘴部和/或毛发)，并将其与预定义的定义进行比较。然而，基于宏观特征的分析系统可不提供对表观皮肤年龄的适当地准确的指示。常规的基于微观特征的系统可采用繁琐的设备或技术，所述设备或技术可不适用于普通消费者。
现已发现，用卷积神经网络(“CNN”)掩蔽面部宏观特征并分析面部微观特征可提供对人的表观皮肤年龄的适当准确的确定。基于CNN的图像分析系统可被构造成使用相对较少的图像预处理，这减少了系统对先前知识和预先确定的定义的依赖，并降低了分析图像所需的计算机存储和/或处理能力。因此，与常规的基于宏观特征的图像分析系统相比，本系统展示出改善的普遍化，这可导致对使用该系统的消费者的更好的护肤产品或方案推荐。
定义
如本文所用，“约”修饰特定值，所提及的范围等于该特定值加或减百分之二十(+/-20％)或更小(例如小于15％，10％，或甚至小于5％)。
“表观皮肤年龄”意指由本文的系统基于捕获的图像计算的人皮肤的年龄。
“卷积神经网络”是一种前馈人工神经网络的类型，其中各个神经元被覆盖使得它们对视觉领域中的重叠区域作出响应。
当提及本文系统的各种部件时，“耦合”意指各部件彼此电气、电子和/或机械连通。
“设置”意思是一个元件相对于另一个元件被定位在特定位置。
“图像捕获装置”意指能够捕获人的图像的装置，诸如数字相机；
“接合”是指其中通过将一个元件直接附连到另一个元件来使该元件直接固定到另一个元件的构型，以及其中通过将一个元件附连到一个或多个中间构件，继而附连到另一个元件来使该元件间接固定到另一个元件的构型。
“宏观特征”是在人面部上或附近发现的相对较大的身体特征。宏观特征包括但不限于面部形状、耳、眼、嘴、鼻、毛发和眉毛。
“掩蔽”是指采用所具有的RGB值与所关注区域中设置的像素接近或等同的像素，对设置于图像中的宏观特征中和/或接近图像中的宏观特征的像素的至少一部分进行数字替换的过程。
“微观特征”是通常与发现于人面部上的老化皮肤和/或皮肤疾病相关的相对较小的特征。微观特征包括但不限于细纹、皱纹、干燥的皮肤特征(例如皮肤碎屑)、以及色素沉着疾病(例如色素沉着过度病症)。微观特征不包括宏观特征。
“人”意指人类。
“感兴趣的区域”或“RoI”意指图像或图像片段中期望由CNN分析以提供表观皮肤年龄的皮肤的具体界定部分。感兴趣的区域的一些非限制性示例包括图像的一部分，其示出其中宏观特征已被掩蔽的前额、面颊、鼻唇沟、眼下区域或颏。
“分割”是指将图像分成两个或更多个离散的区域以用于分析。
“目标皮肤年龄”意指与表观皮肤年龄相差预先确定的年数的皮肤年龄。
本文中的“用户”是指使用至少本文提供的特征的人，包括例如装置用户、产品用户、系统用户等。
本文的系统和方法利用多步骤(例如，2步骤、3步骤、4步骤或更多步骤)方法来由该人的图像确定人的表观皮肤年龄。通过使用多步骤方法而不是单步骤方法，其中CNN处理并分析图像或分析全面部图像，CNN可关注驱动年龄感知的重要特征(例如，微观特征)，并且减少分析图像所需的计算能力，并且减少可由宏观特征引入系统中的偏差。
在第一步骤中，存储在系统的存储器部件中的处理逻辑使得系统执行下列中的一个或多个(例如，全部)：识别图像中的面部以用于分析，将图像归一化，掩蔽所识别的面部上的一个或多个(例如，全部)面部宏观特征，以及将图像分割以用于分析。根据需要，处理步骤可以任何顺序执行。将经处理的图像作为用于分析的一个或多个输入变型提供给卷积神经网络。使用CNN分析的结果以提供每个片段的表观皮肤年龄和/或整个面部的总体皮肤年龄。
图1示出了示例性系统10，其用于捕获人的图像，分析图像，确定人的皮肤年龄，以及任选地向用户提供定制的护肤方案和/或产品推荐。系统10可包括网络100(例如广域网，诸如移动电话网、公用交换电话网、卫星网络和/或互联网；局域网，诸如无线保真、Wi-Max、ZigBeeTM和/或BluetoothTM；和/或其他合适的连网能力形式)。耦合到网络100的是移动计算装置102、远程计算装置104和训练计算装置108。
移动计算装置102可为移动电话、平板电脑、膝上型计算机、个人数字助理和/或被配置用于捕获、存储和/或传输图像诸如数字照片的其它计算装置。因此，移动计算装置102可包括图像捕获装置103，诸如数字相机，和/或可被配置成从其它装置接收图像。移动计算装置102可包括存储器部件140a，所述存储器部件存储图像捕获逻辑144a和界面逻辑144b。存储器部件140a可包括随机存取存储器(诸如SRAM、DRAM等)、只读存储器(ROM)、寄存器和/或其它形式的计算存储硬件。图像捕获逻辑144a和界面逻辑144b可包括软件部件、硬件电路、固件和/或其他计算基础结构。图像捕获逻辑144a可有利于捕获、存储、预处理、分析、传送和/或执行用户的数字图像上的其他功能。界面逻辑144b可被配置用于向用户提供一个或多个用户界面，所述用户界面可包括问题、选项等。移动计算装置102还可被配置用于经由网络100与其它计算装置通信。
远程计算装置104还可耦合到网络100并且可被配置为服务器(或多个服务器)、个人计算机、移动计算机和/或被配置用于创建、存储和/或训练卷积神经网络的其他计算装置，该卷积神经网络能够通过定位并分析所捕获用户面部的图像中对皮肤年龄作出贡献的皮肤特征来确定用户的皮肤年龄。例如，CNN可作为逻辑144c和144d存储在远程计算装置104的存储器部件140b中。通常感知的皮肤缺陷诸如细纹、皱纹、暗色(老年)斑点、不均匀的皮肤色调、红斑、增大的毛孔、发红、发黄、这些缺陷的组合等均可由经训练的CNN识别为对用户的皮肤年龄作出贡献。
远程计算装置104可包括存储器部件140b，所述存储器部件存储训练逻辑144c、分析逻辑144d和/或处理逻辑144e。存储器部件140b可包括随机存取存储器(诸如SRAM、DRAM等)、只读存储器(ROM)、寄存器和/或其他形式的计算存储硬件。训练逻辑144c、分析逻辑144d和/或处理逻辑144e可包括软件部件、硬件电路、固件和/或其他计算基础结构。训练逻辑144c有利于CNN的创建和/或训练，并且从而可有利于CNN的创建和/或操作。处理逻辑144e使得从移动计算装置102(或其他计算装置)接收的图像被处理，以供分析逻辑144d分析。图像处理可包括宏观特征识别、掩蔽、分割和/或其他图像更改过程，其在下文中有更详细地描述。分析逻辑144d使得远程计算装置104分析经处理的图像以提供表观皮肤年龄、产品推荐等。
在一些情况下，训练计算装置108可耦合到网络100以促进CNN的训练。例如，训练者可经由训练计算装置108向CNN提供面部或皮肤的一个或多个数字图像。训练者还可提供信息和其他指示(例如，实际年龄)，以告知CNN哪些评估是正确的以及哪些评估是不正确的。基于来自训练者的输入，CNN可自动地适应，如下文更详细所述。
系统10还可包括信息亭计算装置106，其可类似于移动计算装置102操作，但也可能能够分配一个或多个产品和/或以现金或电子交易的形式接收支付。当然，应当理解，本文设想了也提供支付和/或产品分配的移动计算装置102。在一些情况下，信息亭计算装置106和/或移动计算装置102也可被配置为有利于训练CNN。因此，被描绘和/或描述用于移动计算装置102和远程计算装置104的硬件和软件可被包括在信息亭计算装置106、训练计算装置108和/或其他装置中。类似地，对于图21中的远程计算装置2104所描绘和/或描述的硬件和软件可包括在移动计算装置102、远程计算装置104、信息亭计算装置106和训练计算装置108中的一个或多个中。
还应当理解，尽管图1中将远程计算装置104描绘为执行图像处理和图像分析，但是这仅仅是一个示例。图像处理和/或图像分析可根据需要由任何合适的计算装置执行。
图像处理
在本文图像分析过程的第一步骤中，本发明的系统接收包含至少一个人面部的图像，并准备图像以供CNN分析。图像可从任何合适的源接收，例如包括数字照相机的智能电话。可能期望使用能够产生至少一兆像素的图像并以电子方式将图像传输至可访问合适的图像处理逻辑和/或图像分析逻辑的一个或多个计算装置的相机。
一旦接收到图像，处理逻辑就识别图像中包含人面部的一个或多个部分。处理逻辑可被构造成使用本领域已知的任何合适的技术来检测图像中存在的一个或多个人面部，例如颜色和/或颜色对比技术、移除单色背景特征、使用几何模型或Hausdorff距离的基于边缘的技术、弱级联技术或这些技术的组合。在一些情况下，可能特别期望使用Viola-Jones型的弱级联技术，其由Paul Viola和Michael Jones在“International Journal ofComputer Vision”57(2)，137-154，2004中描述。
在一些情况下，由本发明系统接收的图像可包含多于一个面部，但用户可能不希望分析图像中的所有面部。例如，用户可仅希望分析寻求与皮肤护理治疗和/或产品相关的建议的人的面部。因此，本发明的系统可被构造成仅选择一个或多个期望的图像以用于分析。例如，处理逻辑可基于面部在图像中的相对位置(例如，中心)、面部的相对尺寸(例如，最大“矩形”)或这些的组合来选择主要面部以用于分析。另选地或除此之外，本发明的系统可查询用户以确认由处理逻辑所选择的面部是正确的和/或要求用户选择一个或多个面部以用于分析。本领域已知的任何合适的用户界面技术可用于查询用户和/或使用户能够选择存在于图像中的一个或多个面部。
一旦选择一个或多个适当的面部用于进一步处理，该处理逻辑就检测一个或多个面部标志(例如，眼部、鼻部、嘴部或它们的部分)，其可用作锚定特征(即，处理逻辑可使用以将图像归一化和/或分割的参考点)。在一些情况下，处理逻辑可创建将面部与图像的其余部分隔离的边界框。以这种方式，可移除背景对象、不可取的宏观特征和/或图像中可见的其他身体部分。可使用已知的标志检测技术(例如，Viola-Jones或面部形状/尺寸识别算法)来检测感兴趣的面部标志。
图2示出了标志检测技术的示例，其中眼部202、鼻部204和嘴角206由处理逻辑来识别以用作锚定特征。在该示例中，将图像归一化可包括旋转图像和/或缩放图像的尺寸以减少图像之间的可变性。
图3A示出了将图像300分割成离散区域以用于后续处理和/或分析的示例。在一些情况下，分割图像300可经由移动计算装置呈现给用户，如图3A所示。然而，在一些情况下，分割图像可仅是图像处理的一部分并且不向用户显示。如图3A所示，将图像分割成6个片段，所述片段包括前额片段301、左和右眼片段302和303、左和右面颊/鼻唇沟片段304和305、以及颏片段306。在一些情况下，可将图像分割和/或将两个或更多个片段组合以反映通常用于分析化妆品工业中的皮肤的区域，例如所谓的T区或U区。在化妆品工业中，T区一般被认为是侧向延伸穿过前额并且从大约前额的中间纵向延伸到鼻部末端或颏底部的面部部分。T区被如此命名，因为其类似于大写字母T。U区通常被识别为纵向向下延伸一个面颊，侧向穿过颏，然后向上(纵向)延伸回到另一个面颊的面部部分。U区被如此命名，因为其类似于字母U。
面部分割可例如通过任务受限深度卷积网络(TCDCN)或其他合适的技术来进行，如本领域的技术人员已知的。将面部图像分割允许分析逻辑为每个片段提供表观年龄，这可能是重要的，因为已知一些片段比其他片段更多地影响总体皮肤年龄感知。因此，可对每个片段进行加权，以反映该片段对皮肤年龄感知的影响。在一些情况下，处理逻辑可使系统缩放分割图像，使得面部图像的全高度(即，从颏底部到前额顶部的距离)不超过特定值(例如，介于700像素和800像素之间，介于700像素和750像素之间，或甚至约716像素)。
图3B示出了在边界框320中界定图像310的示例。边界框320可从颏底部纵向延伸到前额顶部，并且从一个镜腿侧向延伸至另一个镜腿。边界框320的尺寸可被设定成移除背景对象、宏观特征或其一部分(例如，毛发、耳部)，和/或可存在于图像中的其他身体对象中的全部或一部分(例如，颈部、胸部、肩部、臂或前额)。当然，本文设想了所有尺寸的边界框。界定可在图像分割之前、之后或与图像分割同时发生。在一些情况下，边界框320和/或界定图像310可经由移动计算装置呈现给用户，如图3B所示，但不一定如此。
重要的是防止面部宏观特征污染通过CNN进行的皮肤年龄分析。如果不掩蔽面部宏观特征，则CNN可学会由宏观特征线索而不是微观特征线索(诸如细纹和皱纹)来预测人的皮肤年龄，已知这在人们如何感知皮肤年龄方面具有更大的影响。这可通过以数字方式改变图像以移除面部微观特征(诸如细纹、皱纹和色素沉着疾病)并观察到由系统提供的表观年龄不变来证明。屏蔽可在图像被分割和/或限定之前和/或之后发生。在本发明系统中，掩蔽可通过用具有均匀的非零(即，黑色)、非-255(即，白色)RGB值的像素替换面部宏特征中的像素来实现。例如，可能期望用具有感兴趣的区域中的皮肤的中值RGB值的像素替换宏观特征中的像素。不受理论的限制，据信通过用均匀着色的像素或非描述性像素掩蔽面部宏观特征，CNN将学会使用不是宏观特征的特征(例如，面部微观特征，诸如细纹和皱纹)来预测年龄。本文中的掩蔽可使用本领域已知的任何合适的掩蔽方式来实现，例如
Figure BDA0002291310740000081
品牌计算机软件。
即使在如上所述掩蔽面部宏观特征时，复杂的卷积神经网络仍可基于“幻像”宏观特征来学习以预测皮肤年龄。换句话讲，神经网络仍可学会识别中值RGB像素的图案的差异，因为该图案通常对应于掩蔽的面部宏观特征的尺寸和/或位置。然后，CNN可将图案差异应用于其年龄预测分析。为了避免该问题，重要的是将多于一个经处理的图像的输入变型(例如，2个、3个、4个、5个、或6个、或更多个)用于CNN。通过改变将掩蔽的宏观特征呈现给CNN的方式，不受理论的束缚，据信CNN较不容易学会使用中值RGB像素图案中的差异来预测皮肤年龄。
图4A至4G示出了第一输入变型的示例，其中面部图像被分割成六个离散区域，并且然后掩蔽每个片段中的宏观特征以提供期望的感兴趣区域。在该示例中，处理逻辑使得图像片段中与宏观特征(例如，眼部、鼻部、嘴部、耳部、眉毛、毛发)相关联的所有像素均被位于相关感兴趣的区域(例如，图像中不包括宏观特征的一部分)中的所有像素的中值RGB颜色空间值填充。图4B示出了如何在前额片段中掩蔽眼部和/或眉毛以提供前额RoI。图4C和4D示出了如何在眼下片段中掩蔽眼部、眉毛、鼻部、面颊和毛发以提供眼下RoI。图4E和图4F示出了如何在脸颊/鼻唇沟片段中掩蔽鼻部、嘴部和毛发以提供面颊/鼻唇沟RoI。图4G示出了如何在颏片段中掩蔽嘴部以提供颏RoI。图4A示出了当将单独掩蔽的片段组合并且通过边界框移除背景特征时，掩蔽特征将如何呈现在整个面部的图像上。
图5A至5G示出了第二输入变型的示例。在该示例中，处理逻辑使得与面部的未分割图像(“全面部”)中的宏观特征相关联的所有像素均被设置在感兴趣的区域中的所有像素的中值RGB值填充。然后，处理逻辑可使得被掩蔽的全面部图像被分割，例如，如上所述。图5A示出了其中某些宏观特征被掩蔽并且背景特征被边界框移除的全面部图像。图5B至5G示出了当图5A的被掩蔽的全面部图像被分割时，每个感兴趣的区域如何呈现。当图4A至4G与图5A至5G中的相对物进行比较时，全面部图像和各个感兴趣的区域两者彼此在一定程度上不同。
图6A至6G示出第三输入变型的示例。在该示例中，处理逻辑使得系统识别全面部图像中感兴趣的区域，并且然后将图像分割成包括感兴趣的区域的六个离散区域。图6A示出了其中鼻子被用作锚定特征并且识别六个图像片段的全面部图像。图6B-6G示出了从每个图像片段提取的感兴趣的区域。图6B示出了前额RoI，图6C和6D各自示出了眼下RoI；图6F和6F各自示出了面颊/鼻唇沟RoI；并且图6G示出了颏RoI。
在一些情况下，可能期望仅选择感兴趣的特定区域的一部分以用于由CNN进行分析。例如，可能期望选择设置在感兴趣的区域的中心内和/或周围的皮肤贴片，并且将所选择的皮肤贴片缩放至均匀的尺寸。继续该示例，可从每个感兴趣的区域的中心提取仅皮肤区域的最大矩形，并且将其重新缩放成256像素x 256像素皮肤贴片。
图7示出了本文的方法和系统的图像处理流程700。在框702中，由系统接收图像。在框704中，处理逻辑使得所接收的图像中的一个或多个面部被检测或选择以用于进一步处理。在框706中，处理逻辑使得标志特征在检测的或选择的面部中被检测到。在框708中，处理逻辑使得图像归一化。在框710A和710B中，处理逻辑使得图像被分割并且每个片段中的宏观特征被掩蔽，作为第一输入变型710的一部分。在框711A和711B中，处理逻辑使得归一化图像中的宏观特征被掩蔽，并且然后被分割作为第二输入变型711的一部分。在框712A和框712B中，处理逻辑使得系统识别感兴趣区域以用于由CNN进行分析，并且然后将图像分割作为第三输入变型712一部分。在框714中，处理逻辑使得每个感兴趣区域的一部分被提取并且缩放至合适的尺寸。
卷积神经网络
本文的系统和方法使用经训练的卷积神经网络，所述卷积神经网络用作生物信息学模拟皮肤模型，以通过分析人皮肤(例如，面部皮肤)的图像来向用户提供表观皮肤年龄。CNN包括多层神经元集合，所述神经元集合在层中对每个像素使用相同的滤波器。对部分和完全连接的层的各种组合中的每个像素使用相同的滤波器降低系统的内存和处理要求。在一些情况下，CNN包括多个深度网络，所述深度网络被训练并且作为离散卷积神经网络对具体图像片段和/或感兴趣的区域起作用。
图8示出用于本文的CNN800构造的示例。如图8中所示，CNN 800包括四个单独的深度网络，以用于分析各个感兴趣区域或其一部分，其在该示例中为感兴趣的前额、眼下区域、面颊/鼻唇沟、以及颏区域的部分。当然，应当理解，CNN可根据需要包括更少的深度网络或更多的深度网络。来自每个深度网络的图像分析结果可用于提供其各自感兴趣区域的表观皮肤年龄和/或可被级联以提供总体表观皮肤年龄。
本文的CNN可使用深度学习技术进行训练，所述技术允许CNN了解图像的哪些部分对皮肤年龄作出贡献，与哺乳动物视觉皮层学习来识别图像中的重要特征的方式非常相同。例如，CNN可被训练成确定对人的皮肤年龄作出贡献的像素的位置、颜色和/或色度(例如，明度或暗度)。在一些情况下，CNN训练可涉及使用带有Nesterov动量(和/或其它算法)的微型批量随机梯度下降(SGD)。利用随机梯度下降的示例公开于US 8,582,807中。
在一些情况下，可通过提供从其中了解大量捕获的图像的未经训练CNN来训练CNN。在一些情况下，CNN可学会通过称为监督学习的过程来识别图像中对皮肤年龄作出贡献的皮肤部分。“监督学习”通常是指通过分析其中图像中的人的年龄被预定的图像来训练CNN。根据期望的准确度，训练图像的数量可从少量图像变化到大量图像(例如，数百或甚至数千)，以连续输入图像(即，提供连续训练)。
本文的系统和方法利用经训练的CNN，所述经训练的CNN能够准确地预测各种各样的皮肤类型的用户的表观年龄。为了生成表观年龄，正在通过经训练的CNN前向传播感兴趣的区域(例如，得自人面部的图像)或其部分的图像。CNN分析图像或图像部分并识别图像中对用户的预测年龄作出贡献的皮肤微观特征(“问题点”)。然后，CNN使用该问题点来提供感兴趣的区域的表观皮肤年龄和/或总体表观皮肤年龄。
在一些情况下，输入到CNN的图像可能不适用于分析，例如，由于遮挡(例如，毛发覆盖了图像的一部分的，遮蔽了感兴趣的区域)。在这些情况下，CNN或其他逻辑可在通过CNN分析之前丢弃图像，或者在生成表观年龄之前丢弃CNN分析的结果。
图9示出了用于本发明系统的卷积神经网络900的示例。CNN 900可包括经输入的图像905(例如，所关注的区域或其部分)、一个或多个卷积层C1，C2、一个或多个二次采样层S1和S2、一个或多个部分连接层、一个或多个完全连接层以及输出。为了开始分析或训练CNN，将图像905输入到CNN 900(例如，用户图像)中。CNN可对图像的一个或多个部分进行采样以在第一卷积层C1中创建一个或多个特征图。例如，如图9所示，CNN可对图像905的六个部分进行采样以在第一卷积层C1中创建六个特征图。接下来，CNN可对第一卷积层C1中的一个或多个特征图的一个或多个部分进行二次采样以创建第一二次采样层S1。在一些情况下，特征图的二次采样部分可以是特征图的一半区。例如，如果特征图包括来自图像905的29×29像素的样本区，则二次采样区可为14×14像素。CNN 900可执行一个或多个另外级别的采样和二次采样，以提供第二卷积层C2和第二二次采样层S2。应当理解，根据需要，CNN900可包括任意数量的卷积层和二次采样层。在完成最终二次采样层(例如，图9中的层S2)后，CNN900生成完全连接的层F1，其中每个神经元连接到每个其他神经元。从完全连接的层F1，CNN可生成输出，诸如预测年龄或热图。
在一些情况下，本发明的系统可确定该人的目标皮肤年龄(例如，人的表观年龄减去预先确定的年数(例如，10年、9年、8年、7年、6年、5年、4年、3年、2年或1年))或实际年龄。系统可使得目标年龄作为梯度传播回原始图像。然后可针对至少一个像素对梯度的多个通道的绝对值进行求和并且出于可视化目的从0至1进行缩放。缩放的像素的值可表示对确定用户的皮肤年龄作出最大(和最小)贡献的像素。可对每个缩放值(或值范围)分配颜色或色度，使得可生成虚拟掩模以用图形表示像素的缩放值。在一些情况下，CNN分析(任选地与用户提供的习惯和做法输入结合)可用于帮助提供护肤产品和/或方案推荐。
图10示出用于捕获用户图像和提供定制的产品推荐的示例性用户界面1030。如图所示，移动计算装置1002可提供用于捕获用户图像的应用程序。因此，图10示出移动计算装置1002上用于开始捕获图像和提供定制的产品推荐的过程的介绍性页面。用户界面1030还包括用于开始过程的开始选项1032。
图11示出了示例性用户界面1130，其示出了被分析用于向本发明系统的用户提供表观皮肤年龄和/或定制产品推荐的图像。响应于从图10中选择开始选项1032，可提供用户界面1130。如图所示，图像捕获装置103可用于捕获用户的图像。在一些实施方案中，用户可利用先前捕获的图像。无论如何，在捕获图像时，图像可提供在用户界面1130中。如果用户不希望利用图像，则用户可重新拍摄图像。如果用户核准图像，则用户可选择下一个选项1132来开始分析图像并继续进行到下一个用户界面。
图12示出用于向用户提供调查表以帮助定制产品推荐的示例性用户界面1230。如图所示，用户界面1230可提供用于确定关于用户的附加细节的一个或多个问题，包括产品偏好、当前方案等。例如，所述问题可包括用户是否利用保湿霜与防晒霜。可以提供一个或多个预定义的回答1232以供用户从中选择。
图13示出用于提供调查表的附加提示的示例性用户界面1330。响应于从图12的用户界面1230输入所请求的数据，可提供用户界面1330。如图所示，用户界面1330提供另一个问题(诸如用户是否偏爱有香味的护肤产品)以及三个预定义的回答1332供用户从中选择。也可提供提交选项1334用于提交所选择的一个或多个回答。应当理解，虽然图13和14提供了两个问题，但根据具体实施方案，可向用户提供任何数量的问题。问题和问题数可取决于用户的实际年龄，所述年龄可通过本文例示的一个或多个步骤中输入，取决于用户的皮肤年龄和/或其他因素。
图14示出基于捕获的图像，提供用户的皮肤年龄的示例性用户界面1430。响应于完成图13和14的调查表，可提供用户界面1430。如图所示，用户界面1430可提供用户的皮肤年龄和具有至少一个识别符1432的捕获的图像，以指示哪个(哪些)感兴趣的区域对由CNN提供的表观皮肤年龄作出贡献。在一些情况下，系统还可提供对由CNN提供的表观皮肤年龄作出贡献的感兴趣区域的列表1434。也可提供说明书1436，以及用于查看定制的产品推荐的产品推荐选项1438。
图15示出了用于显示图像分析的结果的另一示例性用户界面1530。用户界面1530可包括结果部分1532，其指示分析是成功的还是在过程中遇到了问题(例如，图像质量较差)。用户界面1530可包括产品推荐选项(未示出)。除此之外或另选地，结果部分1532可向用户显示出总体表观皮肤年龄和/或每个感兴趣的区域的表观皮肤年龄。用户界面1530可向用户呈现年龄输入选项1536。还可提供附加的预测选项1538。
图16示出用于提供产品推荐的示例性用户界面1630。响应于用户对产品推荐选项的选择，可提供用户界面1630。如图所示，用户界面1630可提供基于用户年龄、对用户的表观皮肤年龄作出贡献的感兴趣区域，和/或目标年龄(例如，表观皮肤年龄和/或实际用户年龄减去预先确定的年数)确定的一个或多个推荐产品。具体地，可将至少一种产品确定为适用于设置在对用户的表观皮肤年龄贡献最大的感兴趣区域中的皮肤。例如，可推荐乳霜、保湿霜、洗液、防晒霜、洁面乳等。还提供了用于提供推荐方案的方案选项1632。还可提供购买选项1634。
图17示出用于提供产品推荐的细节的示例性用户界面1730。响应于从图16选择方案选项1632，可提供用户界面1730。如图所示，用户界面1730可提供产品选项1732和用于在用户美容方案中使用推荐产品的时间表选项1734。可在部分1736中提供与美容方案的第一阶段相关的附加信息。类似地，可在部分1738中提供与方案的第二阶段和/或后续阶段相关的数据。
图18示出了提供推荐的美容方案的示例性用户界面1830。响应于从图17选择时间表选项1734，可提供用户界面1830。用户界面1830可提供推荐产品的列表以及时间表，包括方案的时间表细节。具体地，用户界面1830可提供可提供产品的当日时间。细节选项1834可向用户提供关于产品和方案的附加细节。
图19示出用于提供与美容方案和其中所用的产品相关联的附加细节的示例性用户界面1930。可响应于从图18选择细节选项1834来提供用户界面1930。如图所示，用户界面1930可提供关于产品、应用技巧等的细节。在一些情况下，可提供“背后的科学”选项1932、1936和“如何展示”选项1934、1938。响应于选择背后的科学选项1932、1936，可提供关于推荐产品和施用方案的细节。响应于选择如何展示选项1934、1938，可提供音频和/或视频来向用户指示施用产品的策略。类似地，方案的后续部分(诸如图19中所示的步骤2)也可包括背后的科学选项1932、1936和如何展示选项1934、1938。
图20示出了用于提供与所确定的方案相关的推荐的示例性用户界面2030。响应于选择购买选项1634(图16)，可提供用户界面2030。如图所示，用户界面2030包括购买一个或多个推荐产品的购买选项2032、2034、2036。用户界面2030还可提供添加到购物车选项2038和更多商店选项2040。
图21示出了用于向用户时间线提供产品推荐的示例性用户界面2130。如图所示，用户界面2130可提供已向用户的时间线添加一个或多个推荐产品的通知。在购买产品时(例如，经由来自图19的用户界面1930)，可将所购买的产品添加到推荐的用户方案。因此，通知可包括接受选项2132和视图时间线选项2134。
图22示出了根据本文所述的实施方案，用于提供定制的护肤产品和/或方案推荐的远程计算装置2204的部件。远程计算装置2204包括处理器2230、输入/输出硬件2232、网络接口硬件2234、数据存储部件2236(其存储图像数据2238a、产品数据2238b和/或其他数据)以及存储器部件2240b。存储器部件2240b可被构造成易失性和/或非易失性存储器，并且因此可包括随机存取存储器(包括SRAM、DRAM和/或其他类型的RAM)、闪存存储器、安全数字(SD)存储器、寄存器、光盘(CD)、数字通用盘(DVD)、和/或其他类型的非暂态计算机可读介质。取决于具体实施方案，这些非暂态计算机可读介质可驻留在远程计算装置2204内，和/或驻留在远程计算装置2204的外部。
存储器部件2240b可存储操作逻辑2242、处理逻辑2244b、训练逻辑2244c以及分析逻辑2244d。训练逻辑2244c、处理逻辑2244b和分析逻辑2244d可各自包括多个不同的逻辑块，其中每一个逻辑块可被体现为例如计算机程序、固件和/或硬件。图22中还包括本地通信接口2246，并且所述本地通信接口可被实施为总线或其他通信接口以促进在远程计算装置2204的部件之间进行通信。
处理器2230可包括可操作以接收并执行指令(诸如来自数据存储部件2236和/或存储器部件2240b)的任何处理部件。如上所述，输入/输出硬件2232可包括图22的部件和/或被构造成与图22的部件交接。
网络接口硬件2234可包括任何有线或无线联网硬件和/或被构造成与任何有线或无线联网硬件进行通信，包括天线、调制解调器、LAN端口、无线保真(Wi-Fi)卡、WiMax卡、BluetoothTM模块、移动通信硬件和/或用于与其他网络和/或装置通信的其他硬件。通过该连接，可促进远程计算装置2204与其他计算装置(诸如图1中所示的计算装置)之间的通信。
操作系统逻辑2242可包括操作系统和/或用于管理远程计算装置2204的部件的其他软件。如上文所讨论的，训练逻辑2244c可驻留在存储器部件2240b中，并且可被构造成使得处理器2230训练卷积神经网络。处理逻辑2244b还可驻留在存储器部件2244b中并且被构造成在由分析逻辑2244d分析之前处理图像。类似地，分析逻辑2244d可用于分析用于皮肤年龄预测的图像。
应当理解，虽然图22中的部件被示出为驻留在远程计算装置2204内，但这仅仅是一个示例。在一些实施方案中，一个或多个部件可驻留在远程计算装置2204外部，和/或远程计算装置2204可被构造成移动装置。还应当理解，虽然远程计算装置2204被示出为单一装置，但是这也仅仅是一个示例。在一些实施方案中，训练逻辑2244c、处理逻辑2244b和/或分析逻辑2244d可驻留在不同计算装置中。例如，本文描述的一个或多个功能和/或部件可由移动计算装置102和/或可通信地耦合到远程计算装置104的其它装置来提供。这些计算装置还可包括用于执行在本文描述的功能的硬件和/或软件。
另外，虽然远程计算装置2204被示出为具有作为单独逻辑部件的训练逻辑2244c、处理逻辑2244b和分析逻辑2244d，但是这也是一个示例。在一些实施方案中，单个逻辑块可使得远程计算装置2204提供所述功能。
图23示出了用于提供定制产品推荐的流程图。在框2350中，可捕获用户图像。在框2352中，处理所捕获的图像以用于分析。在框2354中，向用户提供问题。在框2356中，从用户接收对问题的回答。在框2358中，由CNN分析图像。在框2360中，向用户提供表观皮肤年龄。在框2361中，可生成任选的皮肤特征。任选的皮肤特征可包括(例如)一个或多个感兴趣的区域的年龄、皮肤状况、或特定感兴趣区域对总体皮肤年龄的影响。在框2362中，向用户提供定制的产品推荐。
在一些情况下，本文所述的图像和其它数据中的至少一些可存储为历史数据供稍后使用。例如，可基于此历史数据来确定用户进展跟踪。根据需要，还可对该历史数据执行其他分析。
本文所公开的量纲和值不应理解为严格限于所引用的精确数值。相反，除非另外指明，否则每个此类量纲旨在表示所述值以及围绕该值功能上等同的范围。例如，公开为“40mm”的量纲旨在表示“约40mm”。
除非明确排除或以其它方式限制，本文中引用的每一篇文献，包括任何交叉引用或相关专利或专利申请以及本申请对其要求优先权或其有益效果的任何专利申请或专利，均据此全文以引用方式并入本文。对任何文献的引用不是对其作为与本发明的任何所公开或本文受权利要求书保护的现有技术的认可，或不是对其自身或与任何一个或多个参考文献的组合提出、建议或公开任何此类发明的认可。此外，当本发明中术语的任何含义或定义与以引用方式并入的文献中相同术语的任何含义或定义矛盾时，应当服从在本发明中赋予该术语的含义或定义。
虽然已举例说明和描述了本发明的具体实施方案，但是对于本领域技术人员来说显而易见的是，在不脱离本发明的实质和范围的情况下可作出多个其它变化和修改。因此，本文旨在于所附权利要求中涵盖属于本发明范围内的所有此类变化和修改。

Claims (10)

1.一种用于确定人的表观皮肤年龄的系统，所述系统包括：具有其上存储的逻辑的非暂态计算机可读存储介质，其中所述逻辑使所述系统
a)接收包括人面部的数字图像；
b)处理所述数字图像以用于分析，其中处理包括将所述人面部定位在所述数字图像中并掩蔽存在于所述面部上的至少一个宏观特征；
c)使用卷积神经网络(CNN)分析经处理的图像，其中所述分析包括识别设置在指示所述人的皮肤年龄的面部微观特征中的至少一个像素；
d)基于由所述CNN的所述分析确定所述人的表观皮肤年龄；以及
e)在对用户可见的显示装置上显示所述表观皮肤年龄。
2.一种确定人的表观皮肤年龄的方法，所述方法包括：使用根据权利要求1所述的系统。
3.根据权利要求1所述的系统或根据权利要求2所述的方法，其中图像捕获装置耦合到计算机，并且所述数字图像由所述图像捕获装置捕获并由所述计算机接收。
4.根据前述权利要求中任一项所述的系统或方法，其中掩蔽所述宏观特征包括用具有设置在感兴趣的区域中的皮肤的中值RGB值的像素替换所述面部宏观特征中的像素。
5.根据前述权利要求中任一项所述的系统或方法，其中处理所述图像以用于分析还包括将所述图像分割成两个或更多个图像片段。
6.根据权利要求5所述的系统或方法，其中所述CNN包括用于每个图像片段的深度神经网络。
7.根据权利要求6所述的系统或方法，其中每个深度神经网络分析来自不同图像片段的感兴趣的区域，并且使用每种分析的结果来确定该感兴趣的区域的表观皮肤年龄。
8.根据权利要求7所述的系统或方法，其中将来自所有所述深度神经网络分析的结果级联以提供总体表观皮肤年龄。
9.根据前述权利要求中任一项所述的系统或方法，其中处理所述图像包括向所述CNN提供两个或更多个输入变型。
10.根据权利要求9所述的系统或方法，其中通过将所述图像分割并且然后掩蔽所述宏观特征来提供第一输入变型，并且通过掩蔽所述宏观特征并且然后将所述图像分割来提供第二输入变型。
CN201880035105.7A 2017-05-31 2018-05-31 用于确定表观皮肤年龄的系统和方法 Active CN110709856B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762513186P 2017-05-31 2017-05-31
US62/513,186 2017-05-31
PCT/US2018/035291 WO2018222808A1 (en) 2017-05-31 2018-05-31 Systems and methods for determining apparent skin age

Publications (2)

Publication Number Publication Date
CN110709856A true CN110709856A (zh) 2020-01-17
CN110709856B CN110709856B (zh) 2023-11-28

Family

ID=62713101

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880035105.7A Active CN110709856B (zh) 2017-05-31 2018-05-31 用于确定表观皮肤年龄的系统和方法

Country Status (6)

Country Link
US (1) US10818007B2 (zh)
EP (1) EP3631679B1 (zh)
JP (1) JP6849825B2 (zh)
KR (1) KR102297301B1 (zh)
CN (1) CN110709856B (zh)
WO (1) WO2018222808A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021244352A1 (zh) * 2020-06-05 2021-12-09 中国科学院上海营养与健康研究所 用于确定影响面部衰老程度的局部区域的方法和装置

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017165363A1 (en) 2016-03-21 2017-09-28 The Procter & Gamble Company Systems and methods for providing customized product recommendations
US20180190377A1 (en) * 2016-12-30 2018-07-05 Dirk Schneemann, LLC Modeling and learning character traits and medical condition based on 3d facial features
CN110678875B (zh) 2017-05-31 2023-07-11 宝洁公司 用于引导用户拍摄自拍照的系统和方法
US10990858B2 (en) * 2018-01-05 2021-04-27 L'oreal Machine-implemented facial health and beauty assistant
CN110740252A (zh) * 2018-07-20 2020-01-31 华为技术有限公司 一种图像获取的方法、装置及终端
JP7395604B2 (ja) 2018-12-04 2023-12-11 ジャン・ルオウェイ 深層学習を用いた自動的な画像ベースの皮膚診断
US11961224B2 (en) * 2019-01-04 2024-04-16 Stella Surgical Device for the qualitative evaluation of human organs
US20200265937A1 (en) * 2019-02-19 2020-08-20 Johnson & Johnson Consumer Inc. Use of artificial intelligence to identify novel targets and methodologies for skin care treatment
KR20210139309A (ko) 2019-04-23 2021-11-22 더 프록터 앤드 갬블 캄파니 미용 피부 속성을 시각화하기 위한 장치 및 방법
KR102653079B1 (ko) 2019-04-23 2024-04-01 더 프록터 앤드 갬블 캄파니 미용 피부 속성을 측정하기 위한 장치 및 방법
KR20220158218A (ko) * 2019-07-10 2022-11-30 루오웨이 지앙 피부 분석을 위한 이미지들을 프로세싱하고 피부 분석을 시각화하기 위한 시스템들 및 방법들
WO2021003574A1 (en) * 2019-07-10 2021-01-14 Jiang Ruowei Systems and methods to process images for skin analysis and to visualize skin analysis
US20210056357A1 (en) * 2019-08-19 2021-02-25 Board Of Trustees Of Michigan State University Systems and methods for implementing flexible, input-adaptive deep learning neural networks
CA3153073A1 (en) * 2019-10-03 2021-04-08 Pablo PRIETO Detection and treatment of dermatological conditions
US11657481B2 (en) * 2019-11-18 2023-05-23 Shinyfields Limited Systems and methods for selective enhancement of skin features in images
US11687778B2 (en) 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals
KR102264315B1 (ko) 2020-01-09 2021-06-14 한국에스케이에프씰 주식회사 다회전 절대위치 검출 토크앵글센서 모듈
US10811138B1 (en) * 2020-03-11 2020-10-20 Memorial Sloan Kettering Cancer Center Parameter selection model using image analysis
KR102167185B1 (ko) * 2020-03-18 2020-10-19 이승락 피부 테스트 방법 및 이를 이용한 화장료 조성물 제조방법
FR3108250A1 (fr) * 2020-03-23 2021-09-24 Ieva Procede de determination d’un rituel beaute, dermatologique ou capillaire, associe a un utilisateur specifique
CN111582057B (zh) * 2020-04-20 2022-02-15 东南大学 一种基于局部感受野的人脸验证方法
US20220122354A1 (en) * 2020-06-19 2022-04-21 Pinterest, Inc. Skin tone determination and filtering
CN111767858B (zh) * 2020-06-30 2024-03-22 北京百度网讯科技有限公司 图像识别方法、装置、设备和计算机存储介质
WO2022002964A1 (en) * 2020-06-30 2022-01-06 L'oréal High-resolution controllable face aging with spatially-aware conditional gans
KR20220055018A (ko) 2020-10-26 2022-05-03 딤포 몰라테리 안면 이미지에 기초하여 제품 추천을 제공하는 방법 및 장치
WO2022136471A1 (en) * 2020-12-23 2022-06-30 L'oreal Sa Applying a continuous effect via model-estimated class embeddings
FR3118241A1 (fr) * 2020-12-23 2022-06-24 L'oreal Application d’un effet continu via des incorporations de classe estimée par le modèle
FR3125407A1 (fr) * 2021-07-23 2023-01-27 L'oreal Prédiction de résultats de traitement de vieillissement sur la base d’un âgéotype
KR20240001250A (ko) * 2021-04-30 2024-01-03 로레알 피부 연령형에 기초한 노화 트리트먼트 결과들 예측
KR20240009440A (ko) * 2021-05-20 2024-01-22 이씨아 에스테틱 나비가치온 게엠베하 컴퓨터-기반 신체 부위 분석 방법들 및 시스템들
KR102406377B1 (ko) * 2021-08-13 2022-06-09 주식회사 에이아이네이션 인공지능 기반의 얼굴 부분별 화장 트랜스퍼 정도 조절이 가능한 가상 화장 방법 및 장치
KR102465456B1 (ko) * 2021-08-13 2022-11-11 주식회사 에이아이네이션 인공지능 기반의 얼굴 나이 및 주름 분석을 통한 개인 맞춤형 화장법 추천 방법 및 장치
KR102436127B1 (ko) 2021-09-03 2022-08-26 주식회사 룰루랩 인공신경망에 기반하여 주름을 검출하는 방법 및 장치
KR20230046210A (ko) * 2021-09-29 2023-04-05 주식회사 엘지생활건강 나이 추정 장치
US20230196552A1 (en) * 2021-12-16 2023-06-22 The Gillette Company Llc Digital imaging systems and methods of analyzing pixel data of an image of a skin area of a user for determining skin oiliness
US11816144B2 (en) 2022-03-31 2023-11-14 Pinterest, Inc. Hair pattern determination and filtering
KR102530149B1 (ko) * 2022-07-01 2023-05-08 김수동 얼굴 피부 진단방법
WO2024029600A1 (ja) * 2022-08-04 2024-02-08 花王株式会社 肌状態推定方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110116691A1 (en) * 2009-11-13 2011-05-19 Chung Pao-Choo Facial skin defect resolution system, method and computer program product
CN102903135A (zh) * 2007-07-23 2013-01-30 宝洁公司 用于皱纹老化和去老化逼真模拟的方法和装置
CN104573673A (zh) * 2015-01-28 2015-04-29 广州远信网络科技发展有限公司 一种人脸图像年龄的识别方法
CN105209870A (zh) * 2013-03-15 2015-12-30 皮科共和股份有限公司 用于指定和配制定制的外用制剂的系统和方法
CN105760850A (zh) * 2016-03-11 2016-07-13 重庆医科大学 基于皮肤纹理信息的无创年龄估计方法
CN105844236A (zh) * 2016-03-22 2016-08-10 重庆医科大学 基于皮肤图像信息处理的年龄测试方法
CN106203306A (zh) * 2016-06-30 2016-12-07 北京小米移动软件有限公司 年龄的预测方法、装置及终端
CN106469298A (zh) * 2016-08-31 2017-03-01 乐视控股（北京）有限公司 基于人脸图像的年龄识别方法及装置
CN106529402A (zh) * 2016-09-27 2017-03-22 中国科学院自动化研究所 基于多任务学习的卷积神经网络的人脸属性分析方法

Family Cites Families (133)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4276570A (en) 1979-05-08 1981-06-30 Nancy Burson Method and apparatus for producing an image of a person's face at a different age
JP3799633B2 (ja) 1995-06-16 2006-07-19 セイコーエプソン株式会社 顔画像処理方法および顔画像処理装置
EA001936B1 (ru) 1995-10-23 2001-10-22 Сайтометрикс, Инк. Способ измерения характеристик поглощающего объекта и устройство для его осуществления
JP3912834B2 (ja) 1997-03-06 2007-05-09 有限会社開発顧問室 顔画像の修正方法、化粧シミュレーション方法、化粧方法、化粧サポート装置及びファンデーション転写膜
US6619860B1 (en) 1997-11-14 2003-09-16 Eastman Kodak Company Photobooth for producing digitally processed images
EP1039417B1 (en) 1999-03-19 2006-12-20 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. Method and device for the processing of images based on morphable models
US6571003B1 (en) 1999-06-14 2003-05-27 The Procter & Gamble Company Skin imaging and analysis systems and methods
JP2001268594A (ja) 2000-03-15 2001-09-28 Infiniteface.Com Inc 三次元ビューティーシミュレーション用クライアントサーバシステム
US6959119B2 (en) 2000-11-03 2005-10-25 Unilever Home & Personal Care Usa Method of evaluating cosmetic products on a consumer with future predictive transformation
US6734858B2 (en) 2000-12-27 2004-05-11 Avon Products, Inc. Method and apparatus for use of computer aging to demonstrate a product benefit
US20030065523A1 (en) 2001-10-01 2003-04-03 Francis Pruche Early detection of beauty treatment progress
US20030065255A1 (en) 2001-10-01 2003-04-03 Daniela Giacchetti Simulation of an aesthetic feature on a facial image
US7634103B2 (en) 2001-10-01 2009-12-15 L'oreal S.A. Analysis using a three-dimensional facial image
US6761697B2 (en) 2001-10-01 2004-07-13 L'oreal Sa Methods and systems for predicting and/or tracking changes in external body conditions
US20030065589A1 (en) 2001-10-01 2003-04-03 Daniella Giacchetti Body image templates with pre-applied beauty products
GB0128863D0 (en) 2001-12-01 2002-01-23 Univ London Performance-driven facial animation techniques and media products generated therefrom
US7020347B2 (en) 2002-04-18 2006-03-28 Microsoft Corp. System and method for image-based surface detail transfer
JP2004201797A (ja) * 2002-12-24 2004-07-22 Yasutaka Nakada 肌分析方法
US7039222B2 (en) 2003-02-28 2006-05-02 Eastman Kodak Company Method and system for enhancing portrait images that are processed in a batch mode
US20040215066A1 (en) 2003-04-23 2004-10-28 Kelly Huang Method of measuring the efficacy of a skin treatment program
TWI226589B (en) 2003-04-28 2005-01-11 Ind Tech Res Inst Statistical facial feature extraction method
US20040223631A1 (en) 2003-05-07 2004-11-11 Roman Waupotitsch Face recognition based on obtaining two dimensional information from three-dimensional face shapes
GB2402535B (en) * 2003-06-05 2006-06-21 Canon Kk Image processing
JP4303092B2 (ja) * 2003-11-12 2009-07-29 株式会社国際電気通信基礎技術研究所 年齢推定装置、年齢推定方法および年齢推定プログラム
US7804997B2 (en) 2004-06-10 2010-09-28 Technest Holdings, Inc. Method and system for a three dimensional facial recognition system
GB2416098A (en) 2004-07-08 2006-01-11 Univ Kent Canterbury Facial image generation system
AU2005286823B2 (en) 2004-09-17 2009-10-01 Cyberextruder.Com, Inc. System, method, and apparatus for generating a three-dimensional representation from one or more two-dimensional images
US20060274071A1 (en) 2004-09-29 2006-12-07 L'oreal Method of predicting the appearance of at least a portion of an individual's body
US8094186B2 (en) 2004-10-22 2012-01-10 Shiseido Company, Ltd. Skin condition diagnosis system and beauty counseling system
GB2424332A (en) 2004-12-13 2006-09-20 Mark Charles Spittle An image processing system
JP4795718B2 (ja) 2005-05-16 2011-10-19 富士フイルム株式会社 画像処理装置および方法並びにプログラム
JP2007050158A (ja) 2005-08-19 2007-03-01 Utsunomiya Univ 肌画像の処理方法及び処理装置並びにそれを用いた肌年齢の推定方法
US20070052726A1 (en) 2005-09-08 2007-03-08 David Wright Method and system for likeness reconstruction
US7522768B2 (en) 2005-09-09 2009-04-21 Hewlett-Packard Development Company, L.P. Capture and systematic use of expert color analysis
JP2007094549A (ja) 2005-09-27 2007-04-12 Fujifilm Corp 画像処理方法および装置ならびにプログラム
US20070080967A1 (en) 2005-10-11 2007-04-12 Animetrics Inc. Generation of normalized 2D imagery and ID systems via 2D to 3D lifting of multifeatured objects
CA2628087C (en) 2005-11-04 2016-11-01 Cryos Technology, Inc. Surface analysis method and system
US7728904B2 (en) 2005-11-08 2010-06-01 Qualcomm Incorporated Skin color prioritized automatic focus control via sensor-dependent skin color detection
US20070229498A1 (en) 2006-03-29 2007-10-04 Wojciech Matusik Statistical modeling for synthesis of detailed facial geometry
CN100386778C (zh) 2006-06-15 2008-05-07 西安交通大学 基于平均脸和衰老比例图的人脸图像年龄变换方法
BE1017201A4 (nl) 2006-07-03 2008-04-01 Karavani Ilan Werkwijze voor het bepalen van de veroudering van de huid van het gelaat van personen.
US8077931B1 (en) 2006-07-14 2011-12-13 Chatman Andrew S Method and apparatus for determining facial characteristics
US8103061B2 (en) 2006-10-02 2012-01-24 Johnson & Johnson Consumer Companies, Inc. Method and apparatus for identifying facial regions
US8031914B2 (en) 2006-10-11 2011-10-04 Hewlett-Packard Development Company, L.P. Face-based image clustering
WO2008057577A2 (en) 2006-11-08 2008-05-15 24Eight Llc Method and apparatus for recommending beauty-related products
WO2008086311A2 (en) 2007-01-05 2008-07-17 Myskin, Inc. System, device and method for dermal imaging
US20090245603A1 (en) 2007-01-05 2009-10-01 Djuro Koruga System and method for analysis of light-matter interaction based on spectral convolution
US20100185064A1 (en) 2007-01-05 2010-07-22 Jadran Bandic Skin analysis methods
US7792379B2 (en) 2007-02-06 2010-09-07 Accenture Global Services Gmbh Transforming a submitted image of a person based on a condition of the person
US8290257B2 (en) 2007-03-02 2012-10-16 The Procter & Gamble Company Method and apparatus for simulation of facial skin aging and de-aging
WO2008130906A1 (en) 2007-04-17 2008-10-30 Mikos, Ltd. System and method for using three dimensional infrared imaging to provide psychological profiles of individuals
WO2008151421A1 (en) 2007-06-11 2008-12-18 Darwin Dimensions Inc. User defined characteristics for inheritance based avatar generation
JP4974788B2 (ja) 2007-06-29 2012-07-11 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、及び記憶媒体
US8520906B1 (en) 2007-09-24 2013-08-27 Videomining Corporation Method and system for age estimation based on relative ages of pairwise facial images of people
KR20100130592A (ko) 2008-02-14 2010-12-13 그레고리 굿맨 미용 분석 및 치료 진단을 위한 시스템 및 방법
JP5067224B2 (ja) * 2008-03-24 2012-11-07 セイコーエプソン株式会社 オブジェクト検出装置、オブジェクト検出方法、オブジェクト検出プログラムおよび印刷装置
US8425477B2 (en) 2008-09-16 2013-04-23 Elc Management Llc Method and system for providing targeted and individualized delivery of cosmetic actives
US8358348B2 (en) 2008-05-09 2013-01-22 Elc Management Llc Method and system for automatic or manual evaluation to provide targeted and individualized delivery of cosmetic actives in a mask or patch form
WO2010028247A2 (en) 2008-09-04 2010-03-11 Elc Management Llc An objective model of apparent age, methods and use
US8491926B2 (en) 2008-09-16 2013-07-23 Elc Management Llc Method and system for automatic or manual evaluation to provide targeted and individualized delivery of cosmetic actives in a mask or patch form
CN101556699A (zh) 2008-11-07 2009-10-14 浙江大学 一种基于脸型的人脸衰老图像合成方法
US8725560B2 (en) 2009-02-02 2014-05-13 Modiface Inc. Method and system for simulated product evaluation via personalizing advertisements based on portrait images
DE102009030062A1 (de) 2009-06-22 2010-12-23 Beiersdorf Ag Verfahren zur Altersbestimmung und altersabhängigen Auswahl von kosmetischen Produkten
WO2011067162A1 (en) 2009-12-02 2011-06-09 Unilever Plc Apparatus for and method of measuring skin age
US8401300B2 (en) 2009-12-14 2013-03-19 Conopco, Inc. Targeted image transformation of skin attribute
JP5554984B2 (ja) 2009-12-24 2014-07-23 キヤノン株式会社 パターン認識方法およびパターン認識装置
FR2954837B1 (fr) 2009-12-30 2013-08-23 Natura Cosmeticos Sa Procede d'evaluation de l'etat esthetique et morphologique de la peau et prescription d'un traitement cosmetique et/ou dermatologique
DE102010006741A1 (de) 2010-02-03 2011-08-04 Friedrich-Alexander-Universität Erlangen-Nürnberg, 91054 Verfahren zum Verarbeiten eines Endoskopiebildes
US8957981B2 (en) 2010-03-03 2015-02-17 Intellectual Ventures Fund 83 Llc Imaging device for capturing self-portrait images
US8582807B2 (en) 2010-03-15 2013-11-12 Nec Laboratories America, Inc. Systems and methods for determining personal characteristics
US8331698B2 (en) 2010-04-07 2012-12-11 Seiko Epson Corporation Ethnicity classification using multiple features
US8550818B2 (en) 2010-05-21 2013-10-08 Photometria, Inc. System and method for providing and modifying a personalized face chart
US8913847B2 (en) 2010-06-01 2014-12-16 Hewlett-Packard Development Company, L.P. Replacement of a person or object in an image
CN102870136B (zh) * 2010-06-21 2017-05-10 宝丽化学工业有限公司 年龄估计方法
JP2012053813A (ja) * 2010-09-03 2012-03-15 Dainippon Printing Co Ltd 人物属性推定装置、人物属性推定方法、及びプログラム
US8413884B2 (en) 2011-03-03 2013-04-09 Life In Mobile, Inc. Method and apparatus for dynamically presenting content in response to successive scans of a static code
US20120253755A1 (en) 2011-03-30 2012-10-04 Gobel David P Method Of Obtaining The Age Quotient Of A Person
US20120288168A1 (en) * 2011-05-09 2012-11-15 Telibrahma Convergent Communications Pvt. Ltd. System and a method for enhancing appeareance of a face
WO2013005447A1 (ja) 2011-07-07 2013-01-10 花王株式会社 顔印象分析方法、美容カウンセリング方法および顔画像生成方法
US8515491B2 (en) 2011-07-28 2013-08-20 Qualcomm Innovation Center, Inc. User distance detection for enhanced interaction with a mobile device
JP5786259B2 (ja) 2011-08-09 2015-09-30 インテル・コーポレーション パラメータ化された３ｄ顔生成
US20130041733A1 (en) 2011-08-11 2013-02-14 Reise Officer System, method, and computer program product for tip sharing using social networking
US9916538B2 (en) 2012-09-15 2018-03-13 Z Advanced Computing, Inc. Method and system for feature detection
US9817946B2 (en) 2011-12-16 2017-11-14 Cerner Innovation, Inc. Graphic representations of health-related status
US20130169621A1 (en) 2011-12-28 2013-07-04 Li Mei Method of creating and transforming a face model and related system
AU2013203345A1 (en) 2012-01-11 2013-07-25 Steven Liew A method and apparatus for facial aging assessment and treatment management
WO2013115801A1 (en) 2012-01-31 2013-08-08 Hewlett-Packard Development Company, L.P. Identification mark with a predetermined color difference
US8254647B1 (en) 2012-04-16 2012-08-28 Google Inc. Facial image quality assessment
US10037820B2 (en) 2012-05-29 2018-07-31 Medical Avatar Llc System and method for managing past, present, and future states of health using personalized 3-D anatomical models
US20140089017A1 (en) 2012-09-27 2014-03-27 United Video Properties, Inc. Systems and methods for operating an entertainment control system
US9311564B2 (en) 2012-10-05 2016-04-12 Carnegie Mellon University Face age-estimation and methods, systems, and software therefor
KR20140055819A (ko) 2012-11-01 2014-05-09 삼성전자주식회사 얼굴인식장치 및 그 제어방법
KR20140078459A (ko) 2012-12-17 2014-06-25 최봉우 스마트폰을 이용한 피부 상태 분석 및 관리 방법
US8915435B2 (en) 2013-01-25 2014-12-23 Hewlett-Packard Development Company, L.P. Characterization of color charts
US8976252B2 (en) 2013-01-30 2015-03-10 Hewlett-Packard Development Company, L.P. Acquisition of color calibration charts
US9443132B2 (en) 2013-02-05 2016-09-13 Children's National Medical Center Device and method for classifying a condition based on image analysis
GB201302194D0 (en) 2013-02-07 2013-03-27 Crisalix Sa 3D platform for aesthetic simulation
US9268993B2 (en) 2013-03-13 2016-02-23 Futurewei Technologies, Inc. Real-time face detection using combinations of local and global features
US20150045631A1 (en) 2013-03-15 2015-02-12 Lee Pederson Skin health system
US9101320B2 (en) 2013-04-09 2015-08-11 Elc Management Llc Skin diagnostic and image processing methods
US9256963B2 (en) 2013-04-09 2016-02-09 Elc Management Llc Skin diagnostic and image processing systems, apparatus and articles
CN104166835A (zh) 2013-05-17 2014-11-26 诺基亚公司 用于识别活体用户的方法和装置
US9875394B2 (en) 2013-07-31 2018-01-23 Panasonic Intellectual Property Corporation Of America Skin analysis method, skin analysis device, and method for controlling skin analysis device
WO2015017687A2 (en) 2013-07-31 2015-02-05 Cosmesys Inc. Systems and methods for producing predictive images
JP6499583B2 (ja) 2013-09-24 2019-04-10 シャープ株式会社 画像処理装置及び画像表示装置
US20150099947A1 (en) 2013-10-04 2015-04-09 Access Business Group International Llc Skin youthfulness index, methods and applications thereof
KR20150059394A (ko) 2013-11-22 2015-06-01 (주)아모레퍼시픽 계량화 수단을 이용한 피부 나이 예측 장치 및 방법
WO2015088079A1 (ko) 2013-12-12 2015-06-18 주식회사 바이오코즈글로벌코리아 맞춤형 개별 화장품 생산 시스템
CA2934514C (en) 2013-12-19 2021-04-06 Avigilon Fortress Corporation System and method for identifying faces in unconstrained media
US9773156B2 (en) 2014-04-29 2017-09-26 Microsoft Technology Licensing, Llc Grouping and ranking images based on facial recognition data
US9760935B2 (en) 2014-05-20 2017-09-12 Modiface Inc. Method, system and computer program product for generating recommendations for products and treatments
CN105488371B (zh) 2014-09-19 2021-04-20 中兴通讯股份有限公司 一种脸部识别方法和装置
EP3218851A4 (en) 2014-11-13 2018-07-11 Intel Corporation Image quality compensation system and method
KR20160061856A (ko) * 2014-11-24 2016-06-01 삼성전자주식회사 객체 인식 방법 및 장치, 및 인식기 학습 방법 및 장치
CN104504376A (zh) 2014-12-22 2015-04-08 厦门美图之家科技有限公司 一种人脸图像的年龄分类方法和系统
US9712751B2 (en) 2015-01-22 2017-07-18 Apple Inc. Camera field of view effects based on device orientation and scene content
JP6058722B2 (ja) * 2015-03-17 2017-01-11 株式会社ジェイメック 肌画像解析装置、画像処理装置及びコンピュータプログラム
US20160314616A1 (en) 2015-04-23 2016-10-27 Sungwook Su 3d identification system with facial forecast
US9830727B2 (en) 2015-07-30 2017-11-28 Google Inc. Personalizing image capture
KR102439938B1 (ko) 2015-08-03 2022-09-05 삼성전자주식회사 사용자 인증을 위한 멀티-모달 퓨전 방법 및 사용자 인증 방법
WO2017029488A2 (en) 2015-08-14 2017-02-23 Metail Limited Methods of generating personalized 3d head models or 3d body models
US9754237B2 (en) 2015-12-18 2017-09-05 Ricoh Co., Ltd. Index image quality metric
US20170246473A1 (en) 2016-02-25 2017-08-31 Sava Marinkovich Method and system for managing treatments
US10255482B2 (en) 2016-03-21 2019-04-09 The Procter & Gamble Company Interactive display for facial skin monitoring
US10438258B2 (en) 2016-03-21 2019-10-08 The Procter & Gamble Company Method and apparatus for generating graphical chromophore maps
US10255484B2 (en) 2016-03-21 2019-04-09 The Procter & Gamble Company Method and system for assessing facial skin health from a mobile selfie image
US10264250B2 (en) 2016-03-21 2019-04-16 The Procter & Gamble Company Method and apparatus for determining spectral characteristics of an image captured by a camera on a mobile endpoint device
WO2017165363A1 (en) * 2016-03-21 2017-09-28 The Procter & Gamble Company Systems and methods for providing customized product recommendations
US10282868B2 (en) 2016-03-21 2019-05-07 The Procter & Gamble Company Method and system for generating accurate graphical chromophore maps
US10002415B2 (en) 2016-04-12 2018-06-19 Adobe Systems Incorporated Utilizing deep learning for rating aesthetics of digital images
US10614623B2 (en) 2017-03-21 2020-04-07 Canfield Scientific, Incorporated Methods and apparatuses for age appearance simulation
US10621771B2 (en) 2017-03-21 2020-04-14 The Procter & Gamble Company Methods for age appearance simulation
CN110678875B (zh) 2017-05-31 2023-07-11 宝洁公司 用于引导用户拍摄自拍照的系统和方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102903135A (zh) * 2007-07-23 2013-01-30 宝洁公司 用于皱纹老化和去老化逼真模拟的方法和装置
US20110116691A1 (en) * 2009-11-13 2011-05-19 Chung Pao-Choo Facial skin defect resolution system, method and computer program product
CN105209870A (zh) * 2013-03-15 2015-12-30 皮科共和股份有限公司 用于指定和配制定制的外用制剂的系统和方法
CN104573673A (zh) * 2015-01-28 2015-04-29 广州远信网络科技发展有限公司 一种人脸图像年龄的识别方法
CN105760850A (zh) * 2016-03-11 2016-07-13 重庆医科大学 基于皮肤纹理信息的无创年龄估计方法
CN105844236A (zh) * 2016-03-22 2016-08-10 重庆医科大学 基于皮肤图像信息处理的年龄测试方法
CN106203306A (zh) * 2016-06-30 2016-12-07 北京小米移动软件有限公司 年龄的预测方法、装置及终端
CN106469298A (zh) * 2016-08-31 2017-03-01 乐视控股（北京）有限公司 基于人脸图像的年龄识别方法及装置
CN106529402A (zh) * 2016-09-27 2017-03-22 中国科学院自动化研究所 基于多任务学习的卷积神经网络的人脸属性分析方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JAYANTJAGTAP等: "Human age classification using facial skin aging features and artificial neural network", 《COGNITIVE SYSTEMS RESEARCH》 *
JAYANTJAGTAP等: "Human age classification using facial skin aging features and artificial neural network", 《COGNITIVE SYSTEMS RESEARCH》, vol. 40, 20 May 2016 (2016-05-20), pages 118 - 125 *
王越: "基于人脸图像的性别分类与年龄估计", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
王越: "基于人脸图像的性别分类与年龄估计", 《中国优秀硕士学位论文全文数据库 信息科技辑》, 15 May 2017 (2017-05-15), pages 138 - 1067 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021244352A1 (zh) * 2020-06-05 2021-12-09 中国科学院上海营养与健康研究所 用于确定影响面部衰老程度的局部区域的方法和装置

Also Published As

Publication number Publication date
US10818007B2 (en) 2020-10-27
KR20200003402A (ko) 2020-01-09
US20180350071A1 (en) 2018-12-06
WO2018222808A1 (en) 2018-12-06
CN110709856B (zh) 2023-11-28
EP3631679B1 (en) 2023-09-13
KR102297301B1 (ko) 2021-09-06
EP3631679A1 (en) 2020-04-08
JP2020522810A (ja) 2020-07-30
JP6849825B2 (ja) 2021-03-31

Similar Documents

Publication Publication Date Title
CN110709856B (zh) 用于确定表观皮肤年龄的系统和方法
CN108701323B (zh) 用于提供定制的产品推荐的系统和方法
KR102339915B1 (ko) 셀피를 촬영하도록 사용자를 안내하기 위한 시스템 및 방법
US11832958B2 (en) Automatic image-based skin diagnostics using deep learning
US11282190B2 (en) Systems and methods for hair coverage analysis
JP7407115B2 (ja) 機械実行顔面健康及び美容アシスタント
EP3794541A1 (en) Systems and methods for hair analysis
CA3218635A1 (en) Computer-based body part analysis methods and systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40017784

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant