CN113767439A - 用于将美容皮肤属性可视化的设备和方法 - Google Patents

用于将美容皮肤属性可视化的设备和方法 Download PDF

Info

Publication number
CN113767439A
CN113767439A CN202080029868.8A CN202080029868A CN113767439A CN 113767439 A CN113767439 A CN 113767439A CN 202080029868 A CN202080029868 A CN 202080029868A CN 113767439 A CN113767439 A CN 113767439A
Authority
CN
China
Prior art keywords
skin
cosmetic skin
tiles
cosmetic
digital image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080029868.8A
Other languages
English (en)
Inventor
D·M·M·B·迪萨纳亚克
宫本直喜
琳达·舒珊·林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Procter and Gamble Co
Original Assignee
Procter and Gamble Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Procter and Gamble Co filed Critical Procter and Gamble Co
Publication of CN113767439A publication Critical patent/CN113767439A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7435—Displaying user selection data, e.g. icons in a graphical user interface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Quality & Reliability (AREA)
  • Dermatology (AREA)
  • Human Computer Interaction (AREA)
  • Developmental Disabilities (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Psychiatry (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Image Processing (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了将受试者的至少一个美容皮肤属性可视化的方法。该方法包括以下步骤：a)获得该受试者的面部的至少一部分的第一数字图像，其中该第一数字图像选自该面部的输入图像的至少一个区域；b)跨所获得的第一数字图像限定多个图块；c)对于该至少一个美容皮肤属性，针对所限定的多个图块中的每个图块分析该第一数字图像；d)基于该图块的被分析的至少一个美容皮肤属性向所限定的多个图块中的每个图块唯一地指派单度标记；以及e)显示各自具有唯一指派的单度标记的该多个图块中的至少一些图块以将至少一个美容皮肤属性可视化。基于该图块的被分析的至少一个美容皮肤属性，该多个图块中的所显示的至少一些图块显示相对于该多个图块中的未显示图块的美容皮肤属性状况更好的美容皮肤属性状况。

Description

用于将美容皮肤属性可视化的设备和方法
技术领域
本发明涉及用于将美容皮肤属性可视化的系统和方法。
背景技术
消费者寻求通过使用化妆品和护肤品来改善他们的外表。因此，可供消费者选择的可用产品非常多。通常，当考虑到个体自身的个人皮肤类型和皮肤属性，以及潜在的不同的或变化的皮肤属性时，个体消费者发现很难确定施用哪些产品以及如何施用这些产品以达到最佳效果。当个体的皮肤随时间推移而变化和/或美观趋势随时间推移而变化时，这一问题变得复杂。零售化妆品柜台的美容顾问通常负责识别顾客需要处理的皮肤属性。一旦识别了皮肤属性，顾问就会将这些皮肤属性的类型、数量和位置传达给顾客进行讨论。最后，顾问推荐目的在于改善所识别的皮肤属性的外观的护肤产品和施用技术，并向消费者展示改善效果。这种方法在很大程度上取决于顾问的主观判断和/或视力。
随着精通数字技术的消费者人数不断增加，尤其是年轻人群，他们倾向于使用计算装置相互交流并在线做出皮肤和美容护理产品的购买决定，而不是寻求传统美容顾问的咨询。其中一些消费者认为，数字工具可以达到很高的客观性，因此，来自数字来源的推荐对这一消费者群体来说更为可信。已进行了许多尝试以使得此类消费者能够通过使用计算机建模/算法分析他们自己的数字图像(例如，“自拍”)来执行个体皮肤分析。然后，可使用由计算机模型提供的结果来向消费者提供在视觉上可感知的皮肤属性(例如，可见的老年斑、可见的细纹和皱纹)的位置和类型以及后续的产品推荐/使用说明。
向消费者指示/标记这些在视觉上可感知的皮肤属性的一种方式是通过“热图”来将其面部和其皮肤属性可视化。然而，消费者通常需要理解大量信息。这可能不像在视觉上可感知的皮肤属性的问题那样具有挑战性，因为消费者可使用在视觉上可感知的属性作为皮肤护理处理的参考点或目标。然而，当皮肤属性在视觉上是不可感知的时，问题会显著加剧。这在可能没有或只有极少量在视觉上可感知的属性的年轻消费者群体中尤其如此。因此，需要快速且轻松地识别在视觉上不可感知的属性及其在面部上的位置，特别是当存在多于一个这样的在视觉上不可感知的属性时，甚至是在通常缺乏许多可感知皮肤属性的年轻消费者群体中更是如此。
越来越多的研究表明，一些在视觉上不可感知的皮肤属性成为在视觉上可感知的皮肤属性的前奏。为此，如果消费者能够在其生命早期识别这些在视觉上不可感知的皮肤属性并对这些属性进行预防性皮肤处理，则延缓和/或减轻不期望的在视觉上可感知的皮肤属性的出现和/或延缓不期望的在视觉上可感知的皮肤属性的发作的可能性将增加。
已开发出多种皮肤评估数字工具以满足数字时代消费者的需求，从而提供关于上述皮肤属性的信息，消费者都受到海量信息过载的影响，这使得在短时间内了解信息的过程对许多消费者来说具有挑战性，尤其是在美容皮肤属性条件的背景下，例如，“我现在的皮肤状况是什么，我可以做些什么来改善它？”。然而，消费者倾向于在便携式装置(诸如移动电话)上查看评估信息，或者只有有限的时间来理解评估信息。因此，如果显示大量信息，消费者可能很快就会不知所措，从而导致“信息过载”。信息过载会导致这样一种情况：由于信息过多，消费者不再理解信息或无法评估需要采取哪些措施来改善他或她的皮肤状况。在此类情况下，消费者可停止使用为消费者生成信息过载的数字工具。
因此，需要为消费者提供识别一种或多种皮肤属性的方法和系统，并以简单的方式在消费者脸上显示这些属性的位置，以使消费者能够了解他或她的美容皮肤属性，并获得针对性的和有效的处理，从而改善美容皮肤属性的状况。
发明内容
本发明涉及一种将受试者的至少一个美容皮肤属性可视化的方法，该方法包括以下步骤：
a)获得受试者的面部的至少一部分的第一数字图像，其中该第一数字图像选自面部的输入图像的至少一个区域；
b)跨所获得的第一数字图像限定多个图块；
c)对于至少一个美容皮肤属性，针对所限定的多个图块中的每个图块分析第一数字图像；
d)基于图块的被分析的至少一个美容皮肤属性向所限定的多个图块中的每个图块唯一地指派单度标记；以及
e)显示各自具有唯一指派的单度标记的多个图块中的至少一些图块以将至少一个美容皮肤属性可视化；
其中基于图块的被分析的至少一个美容皮肤属性，多个图块中的所显示的至少一些图块显示相对于多个图块中的未显示图块的美容皮肤属性状况更好的美容皮肤属性状况。
附图说明
应当理解，前述一般说明和以下的详细说明均描述了各种实施方案，并且旨在提供用于了解受权利要求书保护的主题的属性和特征的概述或框架。附图用来提供对所述各种实施方案的进一步理解，并且被并入本说明书中并构成本说明书的一部分。附图示出了本文所述的各种实施方案，并且连同说明书一起用来解释受权利要求书保护的主题的原理和操作。
图1是示出根据本发明的经由网络将至少一个美容皮肤属性可视化的示例性系统的图示；
图2是示出根据本发明的用于将美容皮肤属性可视化的替代性示例性系统的图示；
图3是示出根据本发明的用于将美容皮肤属性可视化的示例性系统的部件的框图；
图4A至图4C是示出根据本发明的用于将美容皮肤属性可视化的方法的一系列过程流程图；
图5是示出根据本发明的用于将美容皮肤属性可视化的方法的流程图；
图6A至图6C是示出在根据本发明的将美容皮肤属性可视化的方法中获得第一数字图像的步骤的细节的一系列过程流程图；
图7是示出获得第一数字图像的步骤的流程图；
图8是示出在根据本发明的将美容皮肤属性可视化的方法中限定多个图块的步骤的图片；
图9是示出限定多个图块的步骤的流程图；
图10是示出根据本发明的针对所限定的多个图块中的每个图块分析图像数据的过程500的流程图。
图11A至图11C是示出根据本发明的显示多个图块的过程的过程流程图；
图12是示出根据本发明的显示多个图块的过程的流程图；
图13A至图13D是示出根据本发明的将至少一个美容皮肤属性可视化的方法的过程流程图；
图14是示出根据本发明的将至少一个美容皮肤属性可视化的方法的流程图；
图15是示出根据本发明的将至少一个美容皮肤属性可视化的替代方法的流程图；
图16A至图16E是示出根据本发明的用于将美容皮肤属性可视化的示例性用户界面的截屏；
图17A至图17B是示出根据本发明的用于提供附加提示以用于重复用于将美容皮肤属性可视化的方法的示例性用户界面的截屏；
图18A和图18B是示出根据本发明的用于显示用于处理美容皮肤属性的产品推荐的细节的示例性用户界面的截屏；并且
图19是根据本发明的用于显示美容皮肤属性的图16D的示例性用户界面的截屏的变化；
图20是示出根据本发明的用于显示用于处理美容皮肤属性的产品推荐的细节的示例性用户界面的截屏；
图21是根据本发明的用于将美容皮肤属性可视化的示例性用户界面；
图22是根据本发明的用于将美容皮肤属性可视化的示例性用户界面；
图23是示出根据本发明的包括热图作为用于将至少一个美容皮肤属性可视化的图像描述的示例的示例性用户界面的截屏；
图24是示出用于在图23的用户界面中将至少一个美容皮肤属性可视化的图像描述的替代变化的截屏；并且
图25是示出根据本发明的用于将至少一个美容皮肤属性可视化的示例性用户界面的截屏。
具体实施方式
众所周知，当皮肤经受压力(由UV因素、实足年龄因素、精神压力因素、环境因素导致)时，皮肤将受到各种级别的损伤，包括DNA级别、细胞级别和组织级别。此类对皮肤的损伤可导致皮肤缺陷。这些皮肤缺陷的存在显著影响皮肤的光学性质，诸如在以下示例中所描述：
·如果角质层是干燥的(冬天/空气状况)，则光将从表面更多地反射(表面反射)，从而增强皮肤微纹理，这导致皮肤上的细纹
·如果真皮受损(UV)，则较少的光将在真皮处散射(也称为真皮散射)，并且光将穿透皮肤(较少的表面下反射)。当存在较少的真皮散射时，并且皮肤因此显得较暗。
·如果皮肤暴露于长期UV，则皮肤产生更多的黑色素。黑色素吸收光，
从而减少表面下反射，并且因此皮肤显得较暗。
以上皮肤缺陷表现为对于消费者眼睛而言在视觉上不可感知的较差皮肤质量的信号。消费者可能会将这些缺陷视为潜意识层次下的杂质，但由于缺乏有意识的知识，无法采取行动来改善缺陷。如果皮肤经受长期压力和/或未经治疗，则这些在视觉上不可感知的杂质可最终导致可见的和可感知的表型(色素斑点、皱纹、松垂)。
本发明涉及一种用于将受试者的至少一个美容皮肤属性可视化的方法、设备和系统以及一种图形用户界面。美容皮肤属性可包括在视觉上可感知的美容皮肤属性或在视觉上不可感知的美容皮肤属性。
该方法包括以下步骤：
a)获得受试者的面部的至少一部分的第一数字图像，其中该第一数字图像选自面部的输入图像的至少一个区域；
b)跨所获得的第一数字图像限定多个图块；
c)对于至少一个美容皮肤属性，针对所限定的多个图块中的每个图块分析第一数字图像；
d)基于图块的被分析的至少一个美容皮肤属性向所限定的多个图块中的每个图块唯一地指派单度标记；以及
e)显示各自具有唯一指派的单度标记的多个图块中的至少一些图块以将至少一个美容皮肤属性可视化；
其中基于图块的被分析的至少一个美容皮肤属性，该多个图块中的所显示的至少一些图块显示相对于多个图块中的未显示图块的美容皮肤属性状况更好的美容皮肤属性状况。
已令人惊讶地发现，通过仅显示显示相对于多个图块中的未显示图块的美容皮肤属性状况更好的美容皮肤属性状况的一些图块，消费者可轻松地更好地理解美容皮肤属性的状况，并因此作出有根据的决定来寻求处理以改善美容皮肤属性的状况。
具体地，具有未显示图块的技术效果使单个显示器上的“信息杂乱”和“信息过载”最小化，尤其是在具有小外形的电子便携式装置(诸如移动电话)上的显示。另一个技术效果是，可减少在短时间内生成显示所需的计算资源，并且这导致在使用本发明时(例如，作为移动电话上的本机应用程序，或通过移动电话访问的网络应用程序)产生更好的用户体验。
在详细描述本发明之前，定义了以下术语，并且未定义的术语应被赋予相关领域的技术人员所理解的它们的普通含义。
本文使用的“熵”是指离散随机分布(p(x))的香农熵(E)并且由以下等式限定：
Figure BDA0003310623080000061
其中p(x)是灰度级的分布
E(p)表示在将数字图像转换为色彩通道图像之后，色彩系统中的数字图像或色彩通道图像中的信息量。
如本文所用，“熵统计数据”是指使用熵作为描述性统计数据来分析数字图像或色彩通道图像的统计方法。在其中数字图像是RGB图像的非限制性示例中，可单独地计算每个R(红色)通道、G(绿色)通道和B(蓝色)通道的熵。可通过在每个像素位置(i，j)处计算以(i，j)为中心的2维区内的像素值的熵值来计算图像的熵值。该2维区可以是色彩通道图像的部分。可使用诸如Python的编程软件包来计算熵值。
本文使用的“美容皮肤属性”包括提供人体区域上的视觉/美学效果或影响皮肤外观和/或感觉的所有皮肤属性。美容皮肤属性的一些非限制性示例可包括皮肤形貌、皮肤弹性、皮肤色调、皮肤色素沉着、皮肤纹理、皮肤毛孔、美容皮肤炎症、皮肤水合、皮肤皮脂水平、痤疮、痣、皮肤发光率、皮肤光泽、皮肤暗淡、不均匀色调或皮肤屏障。技术人员应当了解，以上美容皮肤属性是标准术语，并且可在以下发布的参考文献中找到美容皮肤属性的对应定义，即，“美容科学和技术手册，第三版，编辑Andre O.Barel、Marc Paye、HowardI.Maiback，CRC出版社，2009(Handbook of cosmetic science and technology，3rdedition，editors Andre O.Barel，Marc Paye，Howard I.Maiback，CRC Press，2009)”、“美容科学和技术-理论原理和应用，编辑Kazutami Sakamoto Robert Y.Lochhead、HowardI.Maibach、Yuji Yamashita，Elsavier，2017(Cosmetic Science and Technology-Theoretical Principles and Applications，editors Kazutami Sakamoto RobertY.Lochhead，Howard I.Maibach，Yuji Yamashita，Elsavier，2017)”、“美容皮肤学：产品和手术，编辑：Zoe Diana Draelos，Blackwell出版有限公司，2010(Cosmetic Dermatology：Products and Procedures，Editor(s)：Zoe Diana Draelos，Blackwell Publishing Ltd，2010)”。美容皮肤属性不包括与医疗状况或基础医疗状况相关的皮肤属性。
本文使用的“不可感知的美容皮肤属性”是指无法由感知者感知或感知者感知不到的美容皮肤属性，该感知者即为人、用户或人类受试者。感知(Perceive)源自词语“感知(Perception)”，该词是指组织、识别和解译感官信息以便表示和理解所呈现的信息或环境。所有感知涉及穿过神经系统的信号，该信号又是由对感官系统的物理或化学刺激引起。例如，视觉涉及照射在眼睛的视网膜上的光，嗅觉是由气味分子介导，并且听觉涉及压力波。感知不仅是这些信号的被动接收，而且还通过接收方的学习、记忆、预期和关注而成形。感知可分为两个过程，即，过程(1)，其涉及处理感官输入，该过程将这些低级信息变换为更高级的信息(例如，提取用于对象辨识的形状)，以及过程(2)，其涉及与人的概念和预期(或知识)、影响感知的恢复性和选择性机制(诸如注意力)相联系的处理。例如，感知者可在过程(1)中看到对象，但不具有在过程(2)中感知和辨识该对象表示/意味什么的知识，并且因此可将该对象视为在视觉上不可感知的。
本文使用的“在视觉上不可感知的美容皮肤属性”包括不能够由无协助的眼睛检测到的所有美容皮肤属性或消费者能够在视觉上检测到的美容皮肤属性但该消费者无法理解该美容皮肤属性，并且因此被视为不可感知的美容皮肤属性。不能够由无协助的眼睛在视觉上检测到的在视觉上不可感知的美容皮肤属性的一些非限制性示例包括美容皮肤炎症、皮肤皮脂水平或任何基础美容皮肤属性。
本文使用的“无协助”是指没有来自诊断装备的辅助。
本文使用的“图块”包括形成数字图像的部分的单元，诸如像素，并且因此“图块”形成整个数字图像。
本文使用的“数字图像数据”包括从图像获得装置获得的图像数据，该图像获得装置包括(但不限于)数码相机、照片扫描仪、能够存储数字图像的计算机可读存储介质以及包括图片拍摄能力的任何电子装置。数字图像数据还可包括从RGB图像转换为色彩系统中的色彩通道图像的色彩通道图像。
本文使用的“单度标记”包括所有电子视觉表示，包括(但不限于)图形符号、数值、色码、照明技术以及它们的组合。
本文使用的“皮肤属性指数”是指可基于数学公式或从统计方法和数据导出的模型或查找表(信息阵列)而计算的得分。可将皮肤属性指数生成为指示相对于限定人群的人的皮肤的至少一部分的美容皮肤属性的状况的概率值，优选地，将皮肤属性指数生成为由F(熵值)限定的熵值的函数，其中该函数是由在训练数据集之上建立的模型而确定，其中该训练数据集包括：(i)限定人群的多个色彩通道图像，其中该多个色彩通道图像中的每个色彩通道图像包括该限定人群中的人的面部皮肤，其中该面部皮肤包括美容皮肤属性；(ii)基于美容皮肤属性的相关联的类别定义。
本文使用的“L*a*b*”是指由国际照明委员会(“CIE”)指定的普遍公认的色彩空间。三个坐标表示(i)色彩的明度(即，L*＝0产生黑色并且L*＝100指示漫射白色)；(ii)色彩在洋红色与绿色之间的位置(即，负a*值指示绿色，而正a*值指示洋红色)；以及(iii)色彩在黄色与蓝色之间的位置(即，负b*值指示蓝色并且正b*值指示黄色)。
本文使用的“发色团映射”是指用于黑色素和血红蛋白映射并且确定黑色素或血红蛋白浓度的普遍公认的发色团空间，该黑色素或血红蛋白浓度可以用作整体肤色的指示符。可根据发色团映射数据计算出平均黑色素或血红蛋白。另外，可通过黑色素或血红蛋白均匀度(例如，标准偏差)确定皮肤色调均匀度，该黑色素或血红蛋白均匀度也可根据发色团映射数据来计算。
本文使用的“皮肤纯度”是指在人的皮肤的至少部分中不存在皮肤缺陷的外观。该皮肤缺陷包括影响不规则或非均匀的光谱性质的美容皮肤属性，该不规则或非均匀的光谱性质由皮肤形貌形态的表面反射和/或诸如黑色素、血红蛋白和/或角化细胞的皮肤发色团和纤维母细胞定向的细胞代谢物的子表面反射组成，并且该美容皮肤属性包括(但不限于)皮肤发光率、皮肤色调等。
本文使用的“皮肤年龄”是指表观年龄，其是指基于物理外观，优选地基于人的面部，优选地基于人的面部的至少一部分，更优选地基于人的面部的至少一部分的至少一个关注区(ROI)与标准年龄皮肤外观相比在视觉上估计或感知到的人的皮肤的年龄，更优选地，该至少一个ROI选自由以下各项组成的组：眼睛周围的皮肤区(“眼睛区”)、面颊周围的皮肤区(“面颊区”)、嘴周围的皮肤区(“嘴区”)以及它们的组合。
本文使用的“皮肤色调”一般是指基础肤色或色彩均匀度的整体外观。皮肤色调通常在皮肤的较大区域上表征。该区域可多于100mm2，但设想更大的区域，诸如整个面部皮肤或其他人体皮肤表面(例如，手臂、腿、背、手、颈部)。
本文使用的“皮肤皱纹”一般是指皮肤中的褶皱、脊或折痕，并且包括(但不限于)细微细纹、超细纹、细皱纹、超细皱纹、皱纹、细纹。可在(例如)密度和/或长度方面测量皮肤皱纹。
本文使用的“皮肤发光率”一般是指皮肤反射的光的量，并且可称为皮肤光泽。
本文使用的“皮肤纹理”一般是指皮肤表面的形貌或粗糙度。
本文使用的“皮肤张力”通常是指皮肤的紧致度或弹性。
本文使用的“皮肤皮脂水平”一般是指作为由皮肤中的皮脂腺分泌的油性或蜡质物质的皮脂的量。
本文使用的“皮肤斑点”一般是指皮肤的变色或不均匀的色素沉着(例如，色素沉着过度、斑点)。可依据例如变色的密度、大小和/或程度评估皮肤斑点。
本文使用的“皮肤护理产品”是指包含皮肤护理活性物质并且调节和/或改善皮肤状况的产品。
本文使用的“数字图像”是指由成像系统中的像素(包括(但不限于)标准RGB等)并且在不同照明条件和/或模式下获得的图像下形成的数字图像。数字图像的非限制性示例包括彩色图像(RGB)、单色图像、视频、多光谱图像、高光谱图像等。非限制性光条件包括白光、蓝光、UV光、IR光、处于特定波长的光，诸如发射100nm至1000nm、300nm至700nm、400nm至700nm或上述上限和下限的不同组合或以上列出的范围内的任何整数的组合的光的光源。可从图像获得装置获得该数字图像，该图像获得装置包括(但不限于)数码相机、照片扫描仪、能够存储数字图像的计算机可读存储介质以及包括图片拍摄能力的任何电子装置。
在以下描述中，所描述的系统是用于将美容皮肤属性可视化的系统。因此，所描述的设备是用于将美容皮肤属性可视化的设备，并且所描述的图形用户界面是用于将美容皮肤属性可视化的图形用户界面。图形用户界面还可被配置用于提供用以处理至少一个美容皮肤属性的产品推荐。
在一个示例性实施方案中，该系统是位于零售化妆品柜台处的用于分析和推荐美容和皮肤护理产品的独立成像系统(在图2中示出)。然而，预期该系统和该方法可被配置为通过包括图像获得单元和显示器的电子便携式装置在任何地方使用，诸如如图1中所示，其中该电子便携式装置通过网络连接至用于生成用于将美容皮肤属性可视化的图形用户界面以用于在显示器上显示的设备。
系统
图1是示出根据本发明的用于将美容皮肤属性可视化的系统10的示意图。系统10可包括网络100，该网络可体现为广域网(诸如移动电话网络、公共交换电话网络、卫星网络、互联网等)、局域网(诸如无线保真度、Wi-Max、ZigBeeTM、BluetoothTM等)和/或其它形式的联网功能。便携式电子装置12和用于生成用于将美容皮肤属性可视化的图形用户界面以用于在显示器上显示的设备14耦合到网络100。设备104远程定位并且通过网络100连接至便携式电子装置。
便携式电子装置12可以是移动电话、平板计算机、膝上型计算机、个人数字助理和/或被配置为捕获、存储和/或传递诸如数字照片的数字图像的其他计算装置。因此，便携式电子装置12可包括用于接收用户输入的输入装置12a、用于获得图像的图像获得装置18，诸如数码相机，以及用于显示该图像的输出装置12b。便携式电子装置12还可被配置为经由网络100与其他计算装置通信。便携式电子装置12还可包括图像处理装置(未示出)，该图像处理装置与该图像获得装置18耦合，以用于使用熵统计数据来分析获得的至少一个色彩通道图像以获得熵值，并且基于该熵值而确定人的皮肤的至少一部分的美容皮肤属性。该图像处理装置优选地包括具有计算机可执行指令的处理器。便携式电子装置12还可包括显示生成单元(未示出，诸如电子LED/LCD显示器)，用于生成用以显示描述确定的美容皮肤属性的内容数据的显示。设备14可包括非暂时性计算机可读存储介质14a(在下文称为“存储介质”)，该非暂时性计算机可读存储介质存储图像获得逻辑144a、图像分析逻辑144a和图形用户界面(在下文称为“GUI”)逻辑144c。存储介质14a可包括随机存取存储器(诸如SRAM、DRAM等)、只读存储器(ROM)、寄存器和/或其他形式的计算存储硬件。图像获得逻辑144a、图像分析逻辑144b和GUI逻辑144c限定计算机可执行指令。处理器14b耦合到存储介质14a，其中处理器14b被配置为用于基于计算机可执行指令而实施在下文关于图4A至图4C的框图和图5的流程图所描述的根据本发明的用于将受试者的美容皮肤属性可视化的方法200。
方法
参考图4A和图5，当起动处理器14b时，处理器14b致使在步骤202中例如经由图像获得逻辑144a获得受试者的面部的至少一部分的第一数字图像51。处理器14b跨所获得的图像数据20限定多个图块54(步骤204)。多个图块54可以是相邻的以便定义图块图55，如图4B所示。在步骤206中，处理器对于至少一个美容皮肤属性，针对所限定的多个图块54中的每个图块的图象数据中的每个图象数据分析图像数据。在步骤208中，基于被分析的至少一个美容皮肤属性，向所限定的多个图块中的每个图块54唯一地指派单度标记40。在步骤210中，显示各自具有唯一指派的单度标记的多个图块中的至少一些图块以将至少一个美容皮肤属性可视化，如图4C所示。通过分析由用户(消费者)提供的输人数字图像的图像数据，在单个截屏中组织和显示针对所限定的多个图块中的每个图块的被分析的图像数据，根据本发明的方法200允许用户/消费者轻松识别美容皮肤属性，同时避免在将美容皮肤属性可视化所需的不同照明系统下在分开的窗口中显示信息的用户界面中进行导航的繁重任务。例如，可能需要特定条件(诸如UV光)来将无协助的眼睛不可感知的UV点可视化。
在一个示例性实施方案中，可将每个图块具有唯一指派的单度标记的第二数字图像插入第一数字图像51中。应当了解，可通过水平侧上的像素的数目(图块宽度，W)和垂直侧上的像素的数目(图块高度，H)来限定图块54的大小。在根据本发明的示例性方法中，每个图块可包括以下图块大小：不大于100乘100像素、1乘1像素至100乘100像素、2乘2像素至100乘100像素、5乘5像素至90像素乘90像素、40乘40像素至70乘70像素，或上述上限和下限的不同组合或以上列出的范围内的任何整数的组合。具有以上范围内的图块大小的技术效果在于，这实现分析图像数据的较短的处理时间，并且因此实现在较短时间量内将至少一个美容皮肤属性可视化的显示。
参考图1，可使用网络100从便携式电子装置12获取数字图像，并且将该数字图像传输至设备14以在根据本发明的方法200中使用。输入装置12a可耦合到便携式电子装置12或与该便携式电子装置成一体，以用于接收用于起动处理器14b的用户输入。便携式电子装置12可包括用于显示多个图块的输出装置12b，每个图块具有唯一地指派的单度标记。输入装置12a可包括(但不限于)鼠标、触摸屏显示器等。输出装置12b可包括但不限于触摸屏显示器、非触摸屏显示器、打印机、用于在诸如镜的显示表面上投影面部图像图30的投影仪，如在下文关于图2所描述。
图2是被配置为独立成像系统的系统10的透视图，该系统位于零售化妆品柜台处，用于将至少一个美容皮肤属性可视化，并且基于该可视化的至少一个美容皮肤属性而推荐美容和皮肤护理产品。图3是图2的系统10的框图。参考图2和图3，系统10包括用于图1的设备14的外壳11，该设备连接至用于获取受试者的数字图像以便将至少一个美容皮肤属性可视化的图像获得装置18。参考图2，系统10可包括镜16，并且可将图像获得装置18在外壳11内安装在镜16后方，使得可从视野隐藏图像获得装置18。图像获得装置18可以是数码相机、连接至数字化电路的模拟相机、扫描仪、摄像机等。系统10可包括诸如LED灯的灯30，该灯布置在外壳11周围以形成用于辅助生成受试者的数字图像的LED照明系统。系统10具有用于接收用户输入的输入装置112a。系统10还可包括诸如投影仪的输出装置112b，该输出装置被配置为接收面部图30并且投影该面部图以用于显示在镜16上。在图2中未示出该投影仪，因为该投影仪可以是与外壳11分离但耦合到设备14以形成系统10的外围部件。系统10还可包括诸如一个或多个扬声器的第二输出装置112c，该第二输出装置任选地耦合到放大器，用于生成音频指导输出以补充和/或增强整体消费者体验。
为了阐释系统10和方法200根据本发明来将至少一个美容皮肤属性可视化所采取的方式，理解以下操作是有帮助的：在步骤202中如何获得受试者的面部的数字图像、在步骤204中如何限定图块、在步骤206中如何分析图像数据、在步骤208中如何向每个图块唯一地指派单度标记以及在步骤210中如何显示图块。因此，根据本发明的方法200的步骤202、204、206、208、210在下文被描述为用于执行每个步骤的单独过程。还可将每个过程描述为子例程，即，按照根据本发明的方法200执行对应步骤的一连串程序指令。
获得数字图像
参考作为说明如何获得第一数字图像的一系列过程流程图的图6A、图6B和图6C来描述按照根据本发明的方法200获得数字图像的步骤202，并且图7是获得与步骤202相对应的数字图像的过程300的流程图。
在图6A中示出了面部1的输入图像50a。可由用户例如在如图7中所示的过程300的步骤302中使用相机18捕获输入图像50a。图6B示出了步骤304：裁剪输入图像50a以获得包括该面部的至少一部分的经编辑的图像数据50b。可通过以下操作来裁剪输入图像50a：识别面部的锚特征1a，包括(但不限于)诸如眼睛、鼻子、鼻孔、嘴角等的面部特征；以及相应地进行裁剪。虽然如图6B中所示将眼睛描绘为锚特征1a，但应当了解，这仅仅是示例，并且任何突出的或可检测的面部特征可以是锚特征。所编辑的图像数据50b可以是在步骤308中获得的第一数字图像51。另选地，如图6C中所示，可通过裁剪来进一步处理所编辑的图像数据50b以移除输入图像50a的一个或多个不想要的部分，进而在步骤308中获得包括由边界线52限定的面部1的至少一部分的第一数字图像51。获得的第一数字图像51可包括由边界线52限定的面部1的至少一部分的至少一个关注区(ROI)2。ROI 2可以是面部1的整个部分，优选为面部的至少一部分，更优选为限定面部1的至少部分的一个或多个皮肤区。在下文参考图10A至图10C和图11的流程图来描述如何限定皮肤区的细节。
任选地，过程300可包括步骤306，其中ROI 2可选自由以下项组成的组：眼睛周围的皮肤区(“眼睛区2a”)、脸颊周围的皮肤区(“脸颊区2b”)、嘴周围的皮肤区(“嘴区2c”)以及它们的组合，优选地，ROI 2是受试者的面部1的至少一部分的部分，更优选地，所获得的第一数字图像限定面部1的左侧或右侧。ROI 2可包括获得的第一数字图像的至少5％、10％至100％、25％至90％的区域。
限定图块
图8是示出第一数字图像数据51上的多个图块54的图片。图9是示出限定第一数字图像数据51上的多个图块54的过程400的流程图。参考图8，第一数字图像数据51包括由边界线52限定的面部1的至少一部分，如在上文参考图6C所描述。过程400包括限定外周边53，该外周边包围围绕获得的第一数字图像的边界线52(步骤402)。获得的第一数字图像51是由总数个像素形成，例如，获得的第一数字图像51可具有在步骤304或步骤306处确定的像素数目，这取决于在裁剪输入图像50a之后的图像大小。因此，可在步骤404中限定基于获得的第一数字图像51的总图像大小。例如，如果将图块大小设置成40乘40像素至70乘70像素，相应地，将通过使总图像大小除以指定图块大小来获得在步骤406中形成跨所获得的第一数字图像51的多个图块54的图块54的数目。
分析图像数据
图10是示出根据本发明的针对所限定的多个图块中的每个图块分析图像数据的过程500的流程图。过程500可开始于步骤502，其中从所获得的第一数字图像提取至少一个色彩通道，以提供所提取的色彩通道图像供分析，从而获得用于确定美容皮肤属性的熵值。在以下描述中，至少一个色彩通道图像是L*a*b*色彩系统中的选自由以下项组成的组的图像：L色彩通道图像、a通道图像、b通道图像以及来自RGB色彩空间的c通道图像以及它们的组合；其中熵值选自由以下各项组成的组：L熵值、a熵值、b熵值、c熵值以及它们的组合；并且其中函数具有以下公式：
皮肤属性指数＝A+B×(L熵值)+C×(a熵值)+D×(b熵值)+E×(c熵)，其中A、B、C、D和E是常数；其中B、C、D和E中的至少一者不是0。
然而，应当理解，至少一个色彩通道也可以是发色团系统，并且至少一个色彩通道可以是黑素通道或血红蛋白通道。色彩系统也可以是HSL/HSV色彩系统和CMYK色彩系统。
可在步骤504中对所提取的色彩通道进行滤波，并且在步骤506中使用熵统计数据来分析经滤波的色彩通道以生成用于确定至少一个美容皮肤属性的熵值。应当理解，也可使用其他描述性统计数据(包括但不限于标准偏差、平均值等)来分析经滤波的色彩通道。使用熵统计数据的技术效果是，相对于其他描述性统计数据，熵统计数据具有更高的准确度，并且还使得根据本发明的方法的处理时间更快。
在步骤506中，基于熵值而确定人的皮肤的至少一部分的美容皮肤属性。
至少一个色彩通道图像可以是选自由以下各项组成的组的色彩系统中的图像：L*a*b*色彩系统、RGB色彩系统、HSL/HSV色彩系统和CMYK色彩系统。
下表1列出了每个熵值，其中将要基于该熵值而确定对应的色彩通道图像和对应的美容皮肤属性。在表1中描述的色彩通道图像是L*a*b*色彩系统中的选自由以下各项组成的组的图像：L通道图像、a通道图像、b通道图像、c通道图像以及它们的组合。
表1
Figure BDA0003310623080000151
确定美容皮肤属性可包括生成皮肤属性指数作为指示相对于限定人群的人的皮肤的至少一部分的美容皮肤属性的状况的概率值。具体地，在视觉感知研究中，可要求消费者基于预定尺度针对美容皮肤属性对限定人群的数字图像(例如，照片)进行排名。可存储经过排名的数字图像作为数据库以便根据方法500进行分析，以确定与美容皮肤属性具有最高相关性的熵值。
可替代地，可依据由函数F(熵值)限定的熵值来生成皮肤属性指数，其中该函数是由在训练数据集上建立的模型确定。该训练数据集可包括：(i)限定人群的多个色彩通道图像，其中该多个色彩通道图像中的每个色彩通道图像包括该限定人群中的人的面部皮肤，其中该面部皮肤包括美容皮肤属性；(ii)基于美容皮肤属性的相关联的类别定义。图像处理方法领域的技术人员已知用于构建训练数据集的技术，并且将不进一步描述。
该模型可以是回归模型或分类模型，优选为线性回归模型，更优选为机器学习线性回归模型，最优选为机器学习支持向量回归(SVR)模型。该SVR模型是支持向量机(SVM)模型的特定示例。SVM模型也可以是支持向量分类模型。
使用SVR模型实现了以下优势：该方法在被实施为便携式电子装置上的本机应用程序时的执行方面的准确性、再现性和速度。具体地，SVR模型的权重允许本机应用程序具有更小的硬件占用面积，并且因此根据本发明的方法可容易地部署在诸如具有移动电话操作系统(OS)的移动电话的便携式电子装置中，该移动电话操作系统包括(但不限于)用于AppleTM电话的iOS或用于Android电话的Android OS。
可使用分类模型将消费者分类为多个组，每个组具有相同美容皮肤属性的状况的不同程度，优选分类为两个组，更优选分类为三个组，以便基于皮肤属性指数的数值来限定相关联的类别定义。例如，该方法可显示热图，该热图被配置为基于指派给该组中的每个组的阈值而将皮肤的区分类为高水平的美容皮肤属性状况或低水平的美容皮肤属性状况。
至少一个色彩通道图像是L*a*b*色彩系统中的选自由以下各项组成的组的图像：L色彩通道图像、a通道图像、b通道图像以及来自RGB色彩系统的c通道图像以及它们的组合；其中熵值选自由以下各项组成的组：L熵值、a熵值、b熵值、c熵值以及它们的组合；并且其中函数具有以下公式：
皮肤属性指数＝A+B×(L熵值)+C×(a熵值)+D×(b熵值)+E×(c熵)，
其中A、B、C、D和E是常数；其中B、C、D和E中的至少一者不是0。
应当了解，常数A、B、C、D和E可基于训练数据集的大小和内容而变，并且可以是由模型基于训练数据集而生成的任何数值。
具体地，以上熵值中的每一个熵值可单独使用或与熵值中的另一熵值组合使用。例如，使用单个熵值可导致更快的计算速度，这使得能够使用具有非常基本的硬件的小装置，进而导致更高效和更具成本效益的产品。
至少一个色彩通道图像可以是L通道图像；其中熵值是L熵值；其中C、D、E各自具有为0的值；并且其中生成的皮肤属性指数指示皮肤纯度、皮肤色调或皮肤发光率。
已经惊讶地发现，L色彩通道图像的L熵值具有与皮肤纯度的最高的相关性。
针对分析步骤选择L通道图像作为至少一个色彩通道图像以按照根据本发明的方法获得L熵值并且基于该L熵值而确定皮肤纯度的技术效果是因为基于分析色彩通道图像，L熵值相对于其他熵值具有与皮肤纯度的最高的相关性(r＝0.89)。以下是基于与来自视觉感知研究的结果的相关性而生成的数据，该视觉感知研究使用了利用皮尔森相关系数(r)的统计分析。下文在下表2中示出了相关性结果。
表2
熵值 与视觉感知研究的结果的皮尔森相关系数(r)
L熵值 0.89
a熵值 0.55
b熵值 0.7
c熵值 0.76
较高的皮尔森相关系数(r)意味着熵值是对在视觉感知研究中研究的美容皮肤属性的状况影响更大的因数。具体地，基于专门小组成员的预定数目＝302、专门小组成员的年龄＝20-50来进行视觉感知研究。要求该专门小组成员在1至5的尺度上针对皮肤纯度(作为美容皮肤属性的示例)对人的照片进行排名。基于视觉感知研究结果和以上相关性结果，已经发现，经过滤波的图像(通过频率滤波器)的L通道熵值具有与皮肤纯度属性最高的相关性。因此，使用L通道的L熵值来确定数字图像中的人的皮肤的至少一部分的皮肤纯度可用于将皮肤纯度从在视觉上不可感知的美容皮肤属性变换为能够通过消费者相关方式向消费者解释的美容皮肤属性。
至少一个色彩通道图像可以是a通道图像；其中熵值是a熵值；其中B、D、E各自具有为0的值；并且其中生成的皮肤属性指数指示皮肤炎症。
至少一个色彩通道图像可以是b通道图像；其中熵值是b熵值；其中B、C、E各自具有为0的值；并且其中生成的皮肤属性指数指示皮肤色素沉着或皮肤暗淡。
至少一个色彩通道图像可以是c通道图像；其中熵值是c熵值；其中B、C、D各自具有为0的值；并且其中生成的皮肤属性指数指示皮肤形貌，该皮肤形貌优选地选自由以下各项组成的组：毛孔、细纹、皱纹、松垂、皮肤弹性以及它们的组合。
优选地，受试者的年龄和限定人群的平均年龄可各自独立地是18岁至60岁，优选地20岁至40岁，更优选地25岁至35岁，甚至更优选地28岁至32岁。
任选地，步骤的对所提取的色彩通道图像进行滤波可包括使用频率滤波器，优选地，该频率滤波器选自由以下项组成的组：高斯差分(DoG)滤波器、快速傅里叶变换(FFT)滤波器、小波变换滤波器以及它们的组合；更优选地，该滤波器是DoG滤波器。任选地，方法200还可包括在分析经滤波的色彩通道之前向经滤波的色彩通道施加图像校正因子。
参考图10，分析图像数据可包括分析至少两个色彩通道，更优选地三个色彩通道。具体地，可如下描述红色色彩通道、黄色色彩通道和蓝色色彩通道。当红色色彩通道处于L*a*b*色彩空间中时，a熵是经滤波的红色色彩通道的熵值。当黄色色彩通道处于L*a*b*色彩系统中时，b熵是经滤波的黄色色彩通道的熵值。当蓝色色彩通道对应于纹理通道时，c熵是蓝色色彩通道的熵值。
显示
根据本发明的方法还可包括以下步骤：生成与在上文针对将美容皮肤状况可视化所描述的生成的皮肤属性指数相对应的图像描述。该图像描述可包括热图(诸如图16D、图25中所示)、指示美容皮肤属性状况的总得分(诸如在图16D中的第四区域194中所示的美容皮肤属性、皮肤年龄)、图25中的特征934中所示的皮肤纯度得分。可基于在上文描述的生成的皮肤属性指数而计算出该总得分。
图11A至图11C是示出根据本发明的方法显示多个图块的过程的细节的过程流程图。图12是示出显示多个图块的过程的流程图。图11A是示出插入在第一数字图像51上的第二数字图像60的图片。第二数字图像60包括具有所显示的多个图块54的受试者的面部的至少一部分，每个图块具有唯一指派的单度标记40。图11B示出了基于各自具有唯一指派的单度标记的多个图块54而在获得的第一数字图像上显示的三个分区：第一分区110、第二分区120、第三分区130。每个分区110、120、130识别在上文参考图6A至图6C和图7所描述的受试者的面部1上的相应的关注区(ROI)2。图11C与图11B的不同之处在于，边界线52和外周边53显示在图11B的第二数字图像60中，但未显示在图11C的第二数字图像60中。第一分区110可包括具有第一分区色彩110a的第一分区线，第二分区120可包括具有第二分区色彩120a的第二分区线，并且第三分区130可包括具有第三分区色彩130a的第三分区线。基于每个分区中的图块54的被分析的图像数据，每个分区线的色彩可以是不同的，以更好地在视觉上区分将相对于受试者的其他分区可能处于正常、美丽或脆弱状况的美容皮肤属性可视化的图块，诸如在图16D的示例性用户界面中所示出。
图12是示出根据本发明的显示多个图块的过程600的流程图。过程600可开始于步骤602，其中处理器读取每个图块54的被分析的图像数据，并且基于图块54的被分析的至少一个视觉美容皮肤属性而向该多个图块中的每个图块54唯一地指派单度标记(步骤604)。当该单度标记是照明时，可在步骤606中转换该图块中的每个图块的被分析的图像数据以反映每个图块处的照明的对应程度的亮度。在示例性示例中，相对于分区120内的图块中的每个图块处的照明程度，分区110可具有分区110内的图块中的每个图块处的较低程度的照明。此外，在步骤608中，可限定分区，使得第一分区110可对应于眼睛分区，第二分区120可对应于脸颊分区并且第三分区130对应于嘴分区。可计算出每个分区的图块的平均指数，以根据相应的分区而生成与所显示的美容皮肤属性相关的皮肤状况的诊断，以便向该分区指派产品推荐项目来处理该分区中的所显示的美容皮肤属性。具体地，方法200还可包括显示用以处理所显示的美容皮肤属性的至少一个产品推荐项目。
图13A至图13D是示出根据本发明的将至少一个美容皮肤属性可视化的方法的过程流程图。图14是示出根据本发明的将至少一个美容皮肤属性可视化的方法700的流程图。图13A是示出在图14的方法700的步骤702中显示的受试者的面部的至少一部分的第一数字图像的彩色图片。图13B是示出受试者的面部的至少一部分的第二数字图像和各自具有唯一指派的单度标记的多个图块的彩色图片，其中在步骤704中，将第二数字图像插入在第一数字图像上。任选地，可如图13C中所示将第一数字图像转换为灰度等级，以提供在各自具有唯一指派的单度标记的多个图块与第一数字图像之间的更好的对比度。在步骤706中，基于各自具有唯一指派的单度标记的多个图块而在第二数字图像上显示三个分区。
图15是示出如图14中示出的将至少一个美容皮肤属性可视化的方法700的变化的流程图。在图14的方法700的步骤706之后，在步骤708中显示至少一个产品推荐项目。在步骤710中，向用户提示选择结束方法700，并且在用户选择是的情况下方法700终止于步骤712。如果用户选择否，则执行图5的方法200的步骤，并且方法700返回到步骤708。
人机用户界面
本发明还涉及用于提供用以处理至少一个美容皮肤属性的产品推荐的人机用户界面(在下文称为“用户界面”)。该用户界面可以是包括触摸屏显示器/具有输入装置和图像获得装置的显示器的便携式电子设备上的图形用户界面。该用户界面可包括显示从图像获得装置获得的受试者的面部的至少一部分的第一数字图像和插入在该第一数字图像上的第二数字图像的触摸屏显示器的第一区域，该第二数字图像具有该受试者的面部的至少一部分和各自具有唯一指派的单度标记的该显示的多个图块。该用户界面还可包括不同于该第一区域的触摸屏显示器的第二区域，该第二区域显示用于接收用户输入的可选择图标，其中如果用户激活该可选择图标，则在触摸屏显示器上显示用以处理所显示的美容皮肤属性的至少一个产品推荐项目的图像。
图16A至图16E是截屏，每个截屏示出根据本发明的彼此配合以用于将美容皮肤属性可视化的示例性用户界面。虽然将图16A至图16E描述为响应于前述用户界面以连续方式提供的一系列用户界面，但应当了解，可通过多个方式编程图16A至图16E的用户界面以限定如在上文描述按照根据本发明的方法用于将至少一个美容皮肤属性可视化的整体用户界面。优选地，图16A至图16E的所有用户界面都限定根据本发明的用于将美容皮肤属性可视化的示例性用户界面。
图16A描绘了用于接收第一用户输入的用户界面160，优选地，该第一用户输入是用户的年龄。用户界面160可包括用于接收第一用户输入的第一区域162。第一区域162可包括用于接收第一用户输入的一个或多个用户输入特征164。用户输入特征164可以是诸如与诸如在图16A中所示的用户年龄的预定用户特征相对应的可选择输入图标。用户界面160还可包括第二区域166，该第二区域包括对用户的用于提供第一用户输入的对应指令。第二区域166可设置在第一区域162上方以便提供更加用户友好的界面。用户界面160可以是用于开始根据本发明的方法200的启动选项的部分。
图16B描绘了用于接收第二用户输入的用户界面170，优选地，该第二用户输入是引起用户注意的美容皮肤属性。可将该美容皮肤属性描述为用户的皮肤问题。可响应于从图16A的用户输入特征164选择第一用户输入而提供用户界面170。用户界面170可包括用于接收第二用户输入的第一区域172。第一区域172可包括用于接收第二用户输入的一个或多个用户输入特征174。用户输入特征174可以是诸如与预定皮肤问题相对应的可选择输入图标。第一区域172还可包括与一个或多个输入特征174相对应的解释区域173，其中解释区域173包括对美容皮肤属性或皮肤问题的简要描述。用户界面170还可包括第二区域176，该第二区域包括对于用户的用于提供用户输入的对应指令。第二区域176可设置在第一区域172上方以便提供更加用户友好的界面。
图16C描绘了用于获得用户的输入图像的用户界面180。用户界面180可包括第一区域182，该第一区域具有用于对准锚特征(诸如眼睛)以便根据在图7中描述的过程获得第一数字图像的指令。可响应于通过图16B的一个或多个用户输入特征174选择第二用户输入而提供用户界面180。
图16D描绘了用于显示至少一个美容皮肤属性的用户界面190。可于在图16C的用户界面180中获得用户输入图像之后提供用户界面190。用户界面190可包括第一区域191，该第一区域显示各自具有唯一指派的单度标记的多个图块，以根据本发明的方法将至少一个美容皮肤属性可视化。第一区域191可显示如图13D中所示的类似特征，但差别仅在于限定多个图块的线可拐弯和/或被设置成不可见的层。第一区域191可包括与用户的面部的至少一部分的眼睛分区相对应的第一分区110、与用户的面部的至少一部分的脸颊分区相对应的第二分区120，和与用户的面部的至少一部分的嘴分区相对应的第三分区130。如图16D中所示，可在第三区域193中显示分区结果，借此，该分区结果包括可基于用户的面部的至少一部分内的分区的指数的相对比较而针对每个分区生成的指数。在一个示例性实施方案中，依据该分区结果，可将第一分区110描述为正常/美丽/脆弱分区，可将第二分区120描述为正常/美丽/脆弱分区，并且可将第三分区130描述为正常/美丽/脆弱分区。优选地，每个分区可具有基于分区结果中的相对差异的不同描述。用户界面190还包括用于接收第三用户输入的第二区域192。第二区域192可包括用于接收第三用户输入的一个或多个用户输入特征1921。用户输入特征1921可以是诸如用于继续进行根据本发明的方法的下一步骤的可选择输入图标。任选地，用户界面190可包括用于根据基于用户的面部的至少一部分的所获得的第一数字图像的多个图块中的每个图块的被分析的至少一个美容皮肤属性而显示用户的皮肤年龄的第四区域194。
图16E描绘了包括用于显示产品推荐项目210的第一区域201的用户界面200。可响应于来自图16D的用户界面190的对用户输入特征1921的选择而提供用户界面200。任选地，用户界面200可包括用于提供产品推荐项目210的细节的第二区域202。优选地，用户界面200可包括用于接收第四用户输入的第三区域203，该第四用户输入诸如来自产品顾问的针对询问和/或购买产品推荐项目210的援助请求。第三区域203可包括用于接收第四用户输入的一个或多个用户输入特征2031。用户输入特征2031可以是诸如用于继续进行根据本发明的方法的下一步骤的可选择输入图标。
图17A是截屏，该截屏示出根据本发明的用于提供根据方法700的步骤710的附加提示以用于如参考图15所述将美容皮肤属性可视化的示例性用户界面300。可响应于图16D的对用户输入特征1921的选择而提供用户界面300，或可由处理器在图16E的用户界面200之后自动生成该用户界面。
参考图17A，用户界面300可包括用于接收第五用户输入诸如以结束根据方法700的步骤712的方法的第一区域301，以及用于接收第六用户输入诸如以继续根据本发明的方法的下一步骤的第二区域302。第一区域301和第二区域302可包括用于接收第四用户输入的一个或多个用户输入特征3011、3021。用户输入特征3011、3021可以是诸如用于继续进行根据本发明的方法的下一步骤的可选择输入图标。任选地，用户界面300可包括第三区域303，该第三区域包括用于设置供用户提供第五用户输入或第六用户输入的时间段的定时器特征。图17B是截屏，该截屏示出用于显示方法700的步骤712的示例性用户界面400。用户界面400可包括用于向用户示出用于确认方法700结束的内容的第一区域401。
图18A和图18B是截屏，每个截屏示出根据本发明的用于显示产品推荐项目的细节以及产品推荐项目如何处理美容皮肤属性的示例性用户界面500、600。
在一个示例性实施方案中，本发明可涉及一种用于提供用以处理至少一个美容皮肤属性的产品推荐的用户界面，该用户界面是在包括显示器和图像获得装置的便携式电子设备上。该用户界面可包括显示从图像获得装置获得的受试者的面部的至少一部分的第一数字图像和插入在该第一数字图像上的第二数字图像的显示器的第一区域，该第二数字图像具有受试者的面部的至少一部分和各自具有唯一指派的单度标记的该显示的多个图块；显示器的不同于第一区域的第二区域，该第二区域显示用于接收用户输入的语音输入部件，其中如果用户激活语音输入部件，则在触摸屏显示器上显示用以处理所显示的美容皮肤属性的至少一个产品推荐项目的图像；和显示器的不同于第一区域的第三区域，该第三区域显示用以处理所显示的美容皮肤属性的至少一个产品推荐项目的图像。
图19是截屏，该截屏示出根据本发明的用于显示美容皮肤属性的图16D的示例性用户界面700的变化。具体地，图19的用户界面700具有与图16D的用户界面190基本上相同的特征，但在以下附加特征上有所不同，该附加特征包括用于显示至少一个产品推荐项目210的第五区域195、用于接收用户输入以诸如继续根据本发明的方法的下一步骤例如添加另一个产品推荐项目的第六区域196和用于接收用户输入诸如以终止本发明的方法的第七区域197。第五区域195和第六区域196可包括用于接收相应用户输入的一个或多个用户输入特征。用户输入特征可以是诸如用于继续进行根据本发明的方法的下一步骤的可选择输入图标。
图20是截屏，该截屏示出根据本发明的用于显示一个或多个产品推荐项目的示例性用户界面800。可响应于在第六区域196中选择用户输入特征来提供用户界面800。用户界面800具有与用户界面700基本上相同的特征，并且不同之处在于用户界面800显示多个产品推荐项目210。
根据本发明的方法可包括基于各自具有唯一指派的单度标记的多个图块，显示至少一个关注区(ROI)，优选地一个至三个ROI，更优选地三个ROI；优选地，基于图块的被分析的至少一个美容皮肤属性，三个ROI中的所显示的一个ROI显示相对于三个ROI中的其它ROI的美容皮肤属性状况更好的美容皮肤属性状况。
图21是用于显示美容皮肤属性的示例性用户界面810的截屏。具体地，用户界面810具有与16D的用户界面基本上相同的特征，并且不同之处在于不显示多个图块。具体地，用户界面810包括三个ROI，每个ROI具有限定相应ROI的边界线。具体地，三个ROI包括限定眼睛区的第一ROI812、限定脸颊区的第二ROI 814和限定嘴区的第三ROI 816。美容皮肤属性是干燥皮肤/纹理，并且因此解释美容皮肤属性的状况的图像描述818、820、822靠近三个ROI 812、814、816中的每个ROI设置。例如，第三ROI 816可具有图像描述822，该图像描述基于未显示的图块的被分析的美容皮肤属性指示第三ROI 816是面部上的美丽分区。
图22是用于显示美容皮肤属性的示例性用户界面830的截屏。具体地，用户界面830具有与图21的用户界面820基本上相同的特征，并且不同之处在于显示三个ROI 812、814、816中的每个ROI中的图块54。应当理解，图块54可被配置为在单个ROI中显示，诸如仅显示ROI 816，其中ROI 816基于图像描述822指示美丽分区。
图23描绘了包括覆盖在数字图像51上的图像描述901以用于根据本发明将至少一个美容皮肤属性可视化的示例性用户界面900的局部视图。图像描述902包括基于从在上文描述的方法500输出的熵值而生成的热图。该热图包括基于对应于较好的美容皮肤属性状况的低熵值的第一热图区段906。该热图904还包括基于对应于较差的美容皮肤属性状况的高熵值的第二热图区段908。第一热图区段906是由第一多个图块形成，该第一多个图块在视觉上不同于第二热图区段908中的第二多个图块。例如，该第一多个图块经过转换以显示与第二多个图块的色彩不同的色彩。未显示的热图区段910(在下文称为“非显示的热图区段910”)对应于高熵值与低熵值之间的熵值。可如下配置热图区段以显示与美容皮肤属性状况和皮肤属性指数相关的熵信息，如在下表5中概述。
表5
热图 热图区段可视化 熵值 美容皮肤属性状况
热图区段906 显示为第一色彩 低 较好
热图区段908 显示为不同于第一色彩的第二色彩 高 较差
热图区段910 不显示 在低与高之间 在较差与较好之间
图24描绘了用于在图23的用户界面900中将至少一个美容皮肤属性可视化的图像描述920的替代性变化。图像描述920与图19的图像描述902的不同之处在于，图像描述920包括所显示的关注区(ROI)922，其中所显示的ROI 922经过转换以显示一种色彩来相对于与较好的美容皮肤属性状况相对应的其他非显示的关注区(ROI)924指示较差的美容皮肤属性状况。仅显示单个热图区段(参看图20)或ROI的优势在于，不会让观看用户界面的消费者负担太多的视觉信息。
图25是截屏，该截屏示出根据本发明的用于将至少一个美容皮肤属性可视化的示例性用户界面930，其中该至少一个美容皮肤属性是皮肤纯度。用户界面930与图19的用户界面902的不同之处在于，用户界面930包括替代性文本932，该替代性文本描述了美容皮肤属性和基于生成的皮肤属性指数的总得分934。用户界面930还可包括计量器936和用于沿着计量器936以0至100的尺度表示总得分的计量器记号938。计量器936是将总得分934可视化的不同方式，并且可以是任选的。计量器936的色彩可被配置为示出表示第一热图区段904和第二热图区段906的色彩梯度。
在上文描述的根据本发明的用于确定美容皮肤状况的方法还可包括以下步骤：在预定时期内跟踪美容皮肤属性。例如，在图21中示出的用户界面930可包括第一可选择图标940，在选择该第一可选择图标时致使处理器接收指令并且由该处理器执行步骤，从而生成日历或时间表以产生美容皮肤属性日记来跟踪美容皮肤属性的改善。例如，当消费者在第1天使用它时，记录日期和面部分析并且将日期和面部分析保存在存储器中。随后，每当消费者在将来(在预定周期、1周、1个月、6个月之后)使用根据本发明的方法时，再次分析消费者的面部皮肤，并且消费者可在相对于第1天的预定周期之后比较他的/她的面部皮肤在那时看起来如何。根据本发明的方法可被配置为：可下载软件应用程序，该可下载软件应用程序作为本机应用程序存储在便携式电子装置上；或网络应用程序，可通过消费者特有的登录账户访问该网络应用程序，使得消费者可基于根据本发明的方法而执行自我皮肤分析，并且观看和/或监测在一段时期内的改善(具有较差的美容皮肤属性状况的ROI的减少)。
用户界面930还可包括第二可选择图标942，在选择该第二可选择图标时使得能够重复根据本发明的用于确定美容皮肤属性的方法。例如，可重复在上文描述的方法500。
可如以下段落中所陈述来描述上文描述的本公开的代表性实施方案：
A.一种将受试者的至少一个在视觉上不可感知的美容皮肤属性可视化的方法，该方法包括以下步骤：
a)获得受试者的面部的至少一部分的第一数字图像数据；
b)跨所获得的图像数据限定多个图块；
c)对于至少一个在视觉上不可感知的美容皮肤属性，针对所限定的多个图块中的每个图块分析图像数据；
d)基于图块的被分析的至少一个在视觉上不可感知的美容皮肤属性向所限定的多个图块中的每个图块唯一地指派单度标记；以及
e)显示各自具有唯一指派的单度标记的多个图块以将至少一个在视觉上不可感知的美容皮肤属性可视化。
B.根据段落A所述的方法，其中所获得的第一数字图像数据包括受试者的面部的至少一部分的至少一个关注区(ROI)，其中该ROI选自由以下项组成的组：眼睛周围的皮肤区(“眼睛区”)、面颊周围的皮肤区(“面颊区”)、嘴周围的皮肤区(“嘴区”)以及它们的组合，优选地，该ROI是受试者的面部的至少一部分的一部分，更优选地，所获得的第一数字图像数据限定面部的左侧或右侧。
C.根据段落A或B所述的方法，其中每个图块包括不大于100乘100像素，优选地1乘1像素至100乘100像素，更优选地2乘2像素至100乘100像素，更优选地5乘5像素至90乘90像素的图块大小，甚至更优选地，该图块大小为40乘40像素至70乘70像素。
D.根据段落A、B或C中任一项所述的方法，其中步骤(c)中的分析包括分析多个图块的总表面积的至少5％，优选地10％至100％，更优选地25％至90％。
E.根据段落A至D中任一项所述的方法，该方法还包括显示所限定的多个图块中的每个图块的单度标记与和人群相关联的预定值之间的比较。
F.根据段落A至E中任一项所述的方法，该方法还包括插入受试者的面部的至少一部分的第二数字图像数据和各自具有唯一指派的单度标记的该显示的多个图块。
G.根据段落A至F中任一项所述的方法，其中在视觉上不可感知的美容皮肤属性选自由以下项组成的组：皮肤形貌、皮肤弹性、皮肤色调、皮肤色素沉着、皮肤纹理、皮肤毛孔、美容皮肤炎症、皮肤水合、皮肤皮脂水平、痤疮、痣、皮肤发光率、皮肤光泽、皮肤暗淡、不均匀色调或皮肤屏障。
H.根据段落A至G中任一项所述的方法，其中该单度标记选自由以下项组成的组：图形符号、数值、色码、照明以及它们的组合。
I.根据段落A至H中任一项所述的方法，其中步骤(e)中的显示包括基于各自具有唯一指派的单度标记的多个图块，在所获得的第一数字图像数据上限定至少一个关注区(ROI)，优选地一个至三个ROI，更优选地三个ROI。
J.根据段落A至I中任一项所述的方法，该方法还包括显示用以处理所显示的在视觉上不可感知的美容皮肤属性的至少一个产品推荐项目。
K.根据段落A至J中任一项所述的方法，其中分析图像数据包括：
i)从获得的数字图像提取至少一个色彩通道以提供所提取的色彩通道图像；
ii)对所提取的色彩通道图像进行滤波；以及
iii)使用熵统计数据来分析经滤波的色彩通道图像以确定至少一个在视觉上不可感知的美容皮肤属性。
L.根据段落K所述的方法，其中步骤(ii)的对所提取的色彩通道图像进行滤波包括使用频率滤波器，优选地，该频率滤波器选自由以下项组成的组：高斯差分(DoG)滤波器、快速傅里叶变换(FFT)滤波器、小波变换滤波器以及它们的组合；更优选地，该滤波器是DoG滤波器。
M.根据段落L所述的方法，其中至少一个色彩通道可选自：红色色彩通道、黄色色彩通道和蓝色色彩通道；优选地，该方法包括至少两个色彩通道，更优选地三个色彩通道；其中，
红色色彩通道处于L*a*b*色彩空间中，其中a熵是经过滤波的红色色彩通道的熵值；
黄色色彩通道处于L*a*b*色彩系统中，其中b熵是经过滤波的黄色色彩通道的熵值；
蓝色色彩通道对应于纹理通道，其中c熵是蓝色色彩通道的熵值。
N.根据段落K、L或M中任一项所述的方法，其中该方法还包括以下步骤：将至少一个在视觉上不可感知的美容属性与预定义的数据集进行比较以指派指数；
其中将单度标记唯一地指派给每个图块是基于所指派的指数的；
其中显示各自具有唯一指派的指数的多个图块。
O.根据段落N所述的方法，其中该指数是基于在视觉上不可感知的美容皮肤属性的a熵值、b熵值、c熵值中的至少一者来计算的，并且该预定义数据集包括限定人群的同一在视觉上不可感知的美容皮肤属性的预定a熵值、b熵值、c熵值。
P.根据段落O所述的方法，其中受试者的年龄和限定人群的平均年龄各自独立地是18岁至40岁，优选地20岁至40岁，更优选地25岁至35岁，甚至更优选地28岁至32岁。
Q.根据段落K、L、M、N、O或P中任一项所述的方法，其中至少一个色彩通道图像是红色色彩通道，
优选地，其中在视觉上不可感知的属性美容皮肤属性是皮肤炎症。
R.根据段落K、L、M、N、O、P或Q中任一项所述的方法，其中至少一个色彩通道是黄色色彩通道，
优选地，其中在视觉上不可感知的美容皮肤属性是皮肤色素沉着/暗淡。
S.根据段落K、L、M、N、O、P、Q或R中任一项所述的方法，其中至少一个色彩通道是纹理通道，
优选地，在视觉上不可感知的美容皮肤属性是皮肤形貌，更优选地是毛孔、细纹、细皱纹、松垂、皮肤弹性。
T.根据段落K、L、M、N、O、P、Q、R或S中任一项所述的方法，该方法还包括在分析图像数据之前向经滤波的色彩应用图像校正因子。
U.一种用于提供用以处理至少一个在视觉上不可感知的美容皮肤属性的产品推荐的图形用户界面，该图形用户界面是在包括触摸屏显示器/具有输入装置和图像获得装置的显示器的便携式电子设备上，该图形用户界面包括：
显示从图像获得装置获得的受试者的面部的至少一部分的第一数字图像数据和插入在第一数字图像数据上的第二数字图像数据的触摸屏显示器的第一区域，该第二数字图像数据具有受试者的面部的至少一部分和各自具有唯一指派的单度标记的该显示的多个图块；和
触摸屏显示器的不同于第一区域的第二区域，该第二区域显示用于接收用户输入的可选择图标，其中如果用户激活可选择图标，则在触摸屏显示器上显示用以处理所显示的在视觉上不可感知的美容皮肤属性的至少一个产品推荐项目的图像。
V.一种用于提供用以处理至少一个在视觉上不可感知的美容皮肤属性的产品推荐的人机界面，该人机界面是在包括显示器和图像获得装置的便携式电子设备上，该图形用户界面包括：
显示从图像获得装置获得的受试者的面部的至少一部分的第一数字图像数据和插入在第一数字图像数据上的第二数字图像数据的显示器的第一区域，该第二数字图像数据具有受试者的面部的至少一部分和各自具有唯一指派的单度标记的该显示的多个图块；
显示器的不同于第一区域的第二区域，该第二区域显示用于接收用户输入的语音输入部件，其中如果用户激活语音输入部件，则在触摸屏显示器上显示用以处理所显示的在视觉上不可感知的美容皮肤属性的至少一个产品推荐项目的图像；和
触摸屏显示器的不同于第一区域的第三区域，该第三区域显示用以处理所显示的在视觉上不可感知的美容皮肤属性的至少一个产品推荐项目的图像。
W.一种用于将受试者的至少一个在视觉上不可感知的美容皮肤属性可视化的设备，该设备包括被配置为存储人的数字图像和计算机可执行指令的非暂时性计算机可读存储介质；和
处理器，该处理器耦合到该存储介质，该处理器被配置为基于计算机可执行指令而进行以下操作：
a)获得受试者的面部的至少一部分的第一数字图像数据；
b)跨所获得的图像数据限定多个图块；
c)对于至少一个在视觉上不可感知的美容皮肤属性，针对所限定的多个图块中的每个图块分析图像数据；
d)基于图块的被分析的至少一个在视觉上不可感知的美容皮肤属性而向所限定的多个图块中的每个图块唯一地指派单度标记；以及
e)显示各自具有唯一指派的单度标记的多个图块以将至少一个在视觉上不可感知的美容皮肤属性可视化。
X.一种系统，该系统包括根据段落W所述的设备和可操作地连接至该设备的触摸屏显示器。
Y.一种将受试者的至少一个美容皮肤属性可视化的方法，该方法包括以下步骤：
a)获得受试者的面部的至少一部分的第一数字图像数据，其中该第一数字图像数据选自面部的输入图像的至少一个区域；
b)跨所获得的第一数字图像数据限定多个图块；
c)对于至少一个美容皮肤属性，针对所限定的多个图块中的每个图块分析图像数据；
d)基于图块的被分析的至少一个美容皮肤属性向所限定的多个图块中的每个图块唯一地指派单度标记；以及
e)显示各自具有唯一指派的单度标记的多个图块中的至少一些图块以将至少一个美容皮肤属性可视化；
f)其中基于图块的被分析的至少一个美容皮肤属性，多个图块中的所显示的至少一些图块显示相对于多个图块中的未显示图块的美容皮肤属性状况更好的美容皮肤属性状况。
Z.根据权利要求Y所述的方法，其中所获得的图像数据包括受试者的面部的至少一部分的至少一个关注区(ROI)，其中该ROI选自由以下项组成的组：眼睛周围的皮肤区、面颊周围的皮肤区、嘴周围的皮肤区以及它们的组合。
AA.一种将受试者的至少一个美容皮肤属性可视化的方法，该方法包括以下步骤：
a)显示受试者的面部的至少一部分的第一数字图像数据；
b)插入受试者的面部的至少一部分的第二数字图像和各自具有唯一指派的单度标记的多个图块；以及
c)基于各自具有唯一指派的单度标记的多个图块，在第二数字图像数据上显示受试者的面部的至少一部分的至少一个关注区(ROI)，其中该ROI选自由以下项组成的组：眼睛周围的皮肤区、面颊周围的皮肤区、嘴周围的皮肤区以及它们的组合。
BB.根据段落AA所述的方法，其中至少一个ROI由具有色彩的边界线限定。
CC.根据段落AA或BB所述的方法，其中显示包括显示两个至三个ROI，其中该两个或三个ROI中的一个ROI具有与该两个或三个ROI中的其他ROI中的每个ROI不同的边界线色彩。
DD.一种用于将受试者的至少一个在视觉上不可感知的美容皮肤属性可视化的设备，该设备包括被配置为存储人的数字图像和计算机可执行指令的非暂时性计算机可读存储介质；和
处理器，该处理器耦合到该存储介质，该处理器被配置为基于计算机可执行指令而进行以下操作：
a)显示受试者的面部的至少一部分的第一数字图像数据；
b)插入受试者的面部的至少一部分的第二数字图像和各自具有唯一指派的单度标记的多个图块；以及
c)基于各自具有唯一指派的单度标记的多个图块，在第二数字图像数据上显示受试者的面部的至少一部分的至少一个关注区(ROI)，其中该ROI选自由以下项组成的组：眼睛周围的皮肤区、面颊周围的皮肤区、嘴周围的皮肤区以及它们的组合。
除非明确排除或以其他方式限制，本文中引用的每一篇文献，包括任何交叉引用或相关专利或专利申请以及本申请对其要求优先权或其有益效果的任何专利申请或专利，均据此全文以引用方式并人本文。对任何文献的引用不是对其作为与本发明的任何所公开或本文受权利要求书保护的现有技术的认可，或不是对其自身或与任何一个或多个参考文献的组合提出、建议或公开任何此类发明的认可。此外，当本发明中术语的任何含义或定义与以引用方式并人的文献中相同术语的任何含义或定义矛盾时，应当服从在本发明中赋予该术语的含义或定义。
虽然已举例说明和描述了本发明的具体实施方案，但是对于本领域技术人员来说显而易见的是，在不脱离本发明的实质和范围的情况下可作出各种其他变化和修改。因此，本文旨在于所附权利要求中涵盖属于本发明范围内的所有此类变化和修改。

Claims (15)

1.一种将受试者的至少一个美容皮肤属性可视化的方法，所述方法包括以下步骤：
a)获得所述受试者的面部的至少一部分的第一数字图像，其中所述第一数字图像选自所述面部的输入图像的至少一个区域；
b)跨所获得的第一数字图像限定多个图块；
c)对于所述至少一个美容皮肤属性，针对所限定的多个图块中的每个图块分析所述第一数字图像；
d)基于所述图块的被分析的至少一个美容皮肤属性向所限定的多个图块中的每个图块唯一地指派单度标记；以及
e)显示各自具有唯一指派的单度标记的所述多个图块中的至少一些图块以将至少一个美容皮肤属性可视化；
其中基于所述图块的被分析的至少一个美容皮肤属性，所述多个图块中的所显示的至少一些图块显示相对于所述多个图块中的未显示图块的美容皮肤属性状况更好的美容皮肤属性状况。
2.根据权利要求1所述的方法，其中所述多个图块中的所显示的至少一些图块包括第一所显示图块和第二所显示图块，其中在所述第一所显示图块和所述第二所显示图块之间存在视觉差异，其中基于所述图块的被分析的至少一个美容皮肤属性，所述第一所显示图块显示相对于所述第二所显示图块的美容皮肤属性状况更好的美容皮肤属性状况。
3.根据权利要求1所述的方法，其中所获得的第一数字图像包括所述受试者的面部的所述至少一部分的至少一个关注区(ROI)，其中所述至少一个ROI选自由以下项组成的组：眼睛周围的皮肤区(“眼睛区”)、面颊周围的皮肤区(“面颊区”)、嘴周围的皮肤区(“嘴区”)以及它们的组合，优选地，所述至少一个ROI是所述受试者的所述面部的所述至少一部分的一部分，更优选地，所获得的第一数字图像限定所述面部的左侧或右侧。
4.根据权利要求3所述的方法，其中步骤(e)中的显示包括基于各自具有唯一指派的单度标记的所述多个图块，显示所述至少一个关注区(ROI)，优选地一个至三个ROI，更优选地三个ROI；优选地，基于所述图块的被分析的至少一个美容皮肤属性，所述三个ROI中的所显示的一个ROI显示相对于所述三个ROI中的其它ROI的美容皮肤属性状况更好的美容皮肤属性状况。
5.根据权利要求1所述的方法，所述方法还包括显示所限定的多个图块中的每个图块的所述单度标记与和限定人群相关联的预定值之间的比较。
6.根据权利要求1所述的方法，其中步骤(e)中的显示包括插入所述受试者的面部的至少一部分的第二数字图像和各自具有唯一指派的单度标记的所述显示的多个图块。
7.根据权利要求1所述的方法，其中所述美容皮肤属性选自由以下项组成的组：皮肤纯度、皮肤年龄、皮肤形貌、皮肤色调、皮肤色素沉着、皮肤毛孔、皮肤炎症、皮肤水合、皮肤皮脂水平、痤疮、痣、皮肤发光率、皮肤光泽、皮肤暗淡和皮肤屏障。
8.根据权利要求1所述的方法，其中所述美容皮肤属性是在视觉上不可感知的美容皮肤属性，其中所述在视觉上不可感知的美容皮肤属性是不能够由无协助的眼睛检测到的美容皮肤属性，或能够由消费者在视觉上检测到的美容皮肤属性但所述消费者无法理解所述美容皮肤属性。
9.根据权利要求1所述的方法，其中所述单度标记选自由以下项组成的组：图形符号、数值、色码、照明以及它们的组合。
10.根据权利要求1所述的方法，所述方法还包括显示用以处理所显示的美容皮肤属性的至少一个产品推荐项目。
11.根据权利要求1所述的方法，其中在分析步骤(c)中，将皮肤属性指数生成为指示相对于限定人群的所述受试者的皮肤的所述至少一部分的所述美容皮肤属性状况的概率值，优选地，将所述皮肤属性指数生成为由F(熵值)限定的熵值的函数，其中所述函数是由在训练数据集之上建立的模型而确定，其中所述训练数据集包括：(i)所述限定人群的多个色彩通道图像，其中所述多个色彩通道图像中的每个色彩通道图像包括所述限定人群中的人的面部皮肤，其中所述面部皮肤包括所述美容皮肤属性；(ii)基于所述美容皮肤属性的相关联的类别定义。
12.根据权利要求11所述的方法，其中所述受试者的年龄和所述限定人群的平均年龄各自独立地是18岁至60岁，优选地20岁至40岁，更优选地25岁至35岁，甚至更优选地28岁至32岁。
13.一种将受试者的至少一个美容皮肤属性可视化的方法，所述方法包括以下步骤：
a)显示所述受试者的面部的至少一部分的第一数字图像；
b)插入所述受试者的面部的至少一部分的第二数字图像和各自具有唯一指派的单度标记的多个图块；以及
c)基于各自具有唯一指派的单度标记的所述多个图块，在所述第二数字图像上显示所述受试者的面部的所述至少一部分的至少一个关注区(ROI)，其中所述至少一个ROI选自由以下项组成的组：眼睛周围的皮肤区、面颊周围的皮肤区、嘴周围的皮肤区以及它们的组合；其中显示包括显示两个或三个ROI，其中所述两个或三个ROI中的一个ROI具有与所述两个或三个ROI中的其他ROI中的每个ROI不同的边界线，其中所述三个ROI中的所述至少一个ROI的所显示的边界线指示所述两个或三个ROI中的所述至少一个ROI具有相对于所述两个或三个ROI中的其他ROI中的每个ROI的美容皮肤属性更好的美容皮肤属性状况。
14.一种用于提供用以处理至少一个美容皮肤属性的产品推荐的图形用户界面，所述图形用户界面是在包括触摸屏显示器/具有输入装置和图像获得装置的显示器的便携式电子设备上，所述图形用户界面包括：
触摸屏显示器的第一区域，所述触摸屏显示器的第一区域显示从所述图像获得装置获得的所述受试者的面部的至少一部分的第一数字图像和插入在所述第一数字图像上的第二数字图像，所述第二数字图像具有所述受试者的面部的所述至少一部分和各自具有唯一指派的单度标记的所述显示的多个图块；和
所述触摸屏显示器的第二区域，所述第二区域不同于所述第一区域，所述第二区域显示用于接收用户输入的可选择图标，其中如果所述用户激活所述可选择图标，则在所述触摸屏显示器上显示用以处理所显示的美容皮肤属性的至少一个产品推荐项目的图像。
15.根据权利要求14所述的图形用户界面，其中所述至少一个美容皮肤属性是在视觉上不可感知的美容皮肤属性，其中所述在视觉上不可感知的美容皮肤属性是不能够由无协助的眼睛检测到的美容皮肤属性，或能够由消费者在视觉上检测到的美容皮肤属性但所述消费者无法理解所述美容皮肤属性。
CN202080029868.8A 2019-04-23 2020-04-23 用于将美容皮肤属性可视化的设备和方法 Pending CN113767439A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962837208P 2019-04-23 2019-04-23
US62/837,208 2019-04-23
PCT/US2020/029422 WO2020219612A1 (en) 2019-04-23 2020-04-23 Apparatus and method for visualizing cosmetic skin attributes

Publications (1)

Publication Number Publication Date
CN113767439A true CN113767439A (zh) 2021-12-07

Family

ID=70614682

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080029868.8A Pending CN113767439A (zh) 2019-04-23 2020-04-23 用于将美容皮肤属性可视化的设备和方法

Country Status (6)

Country Link
US (1) US11416988B2 (zh)
EP (1) EP3959724A1 (zh)
JP (2) JP7235895B2 (zh)
KR (1) KR20210139309A (zh)
CN (1) CN113767439A (zh)
WO (1) WO2020219612A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102653079B1 (ko) 2019-04-23 2024-04-01 더 프록터 앤드 갬블 캄파니 미용 피부 속성을 측정하기 위한 장치 및 방법
USD923043S1 (en) * 2019-04-23 2021-06-22 The Procter & Gamble Company Display panel with graphical user interface for skin age determination
USD944402S1 (en) * 2019-04-23 2022-02-22 The Procter & Gamble Company Skin age identifier
USD968441S1 (en) * 2020-04-30 2022-11-01 The Procter & Gamble Company Display screen with graphical user interface
USD962256S1 (en) 2020-05-14 2022-08-30 The Procter & Gamble Company Display screen with graphical user interface
KR102396376B1 (ko) * 2020-07-16 2022-05-10 (주) 코코리색채연구소 멜라닌 지수 및 헤모글로빈 지수를 기초로 한 화장품 추천 방법 및 그 디바이스
US20220249397A1 (en) * 2021-02-07 2022-08-11 Function Better Inc. Automated Dosing Protocol for Use of Cannabinoids or Other Psychoactive Substances
CN113191985A (zh) * 2021-05-24 2021-07-30 北京美医医学技术研究院有限公司 一种基于红外激光的智能祛斑系统
CN113450340B (zh) * 2021-07-13 2024-03-19 北京美医医学技术研究院有限公司 一种皮肤纹理检测系统
US20230196816A1 (en) * 2021-12-16 2023-06-22 The Gillett Company LLC Digital imaging systems and methods of analyzing pixel data of an image of a skin area of a user for determining skin hyperpigmentation
US20230196553A1 (en) * 2021-12-16 2023-06-22 The Gillette Company Llc Digital imaging systems and methods of analyzing pixel data of an image of a skin area of a user for determining skin dryness

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1355680A (zh) * 1999-06-14 2002-06-26 宝洁公司 皮肤成像和分析系统及方法
TW201721487A (zh) * 2015-11-30 2017-06-16 愛茉莉太平洋股份有限公司 皮膚特性的可視化方法
CN109064438A (zh) * 2017-06-09 2018-12-21 丽宝大数据股份有限公司 皮肤状态检测方法、电子装置与皮肤状态检测系统

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002521752A (ja) 1998-07-24 2002-07-16 ジャーグ コーポレーション オブジェクト検索を実行するための分散コンピュータ・データベースシステム及びその方法
JP2002521753A (ja) 1998-07-24 2002-07-16 ジャーグ コーポレーション 複数のオントロジーに基づく検索システム及び検索方法
KR100408829B1 (ko) 1998-12-29 2004-01-24 주식회사 대우일렉트로닉스 모델 기반 부호화 시스템에서의 얼굴 영상 세그멘테이션 방법
US7039222B2 (en) 2003-02-28 2006-05-02 Eastman Kodak Company Method and system for enhancing portrait images that are processed in a batch mode
EP1938274A2 (en) 2005-09-12 2008-07-02 D.V.P. Technologies Ltd. Medical image processing
US7558416B2 (en) 2006-10-02 2009-07-07 Johnson & Johnson Consumer Companies, Inc. Apparatus and method for measuring photodamage to skin
EP2042095A1 (en) 2007-09-26 2009-04-01 Astron Clinica Limited Methods and apparatus for quantifying photo-damage
JP2009082338A (ja) 2007-09-28 2009-04-23 Masahiro Nakagawa エントロピーを用いた肌の鑑別方法
JP5290585B2 (ja) 2008-01-17 2013-09-18 株式会社 資生堂 肌色評価方法、肌色評価装置、肌色評価プログラム、及び該プログラムが記録された記録媒体
US8837832B2 (en) 2010-05-18 2014-09-16 Skin Of Mine Dot Com, Llc Systems and methods for monitoring the condition of the skin
JP4831259B1 (ja) 2011-03-10 2011-12-07 オムロン株式会社 画像処理装置、画像処理方法、および制御プログラム
JP2013212177A (ja) 2012-03-30 2013-10-17 Shiseido Co Ltd 画像解析方法、画像解析装置、及び画像解析プログラム
JP6131732B2 (ja) 2013-06-18 2017-05-24 沖電気工業株式会社 人物属性提示装置及び人物属性提示方法
EP3000386B1 (en) 2013-06-28 2021-01-20 Panasonic Intellectual Property Corporation of America Skin function evaluation device and skin evaluation method
KR20160075501A (ko) 2013-09-25 2016-06-29 더 프록터 앤드 갬블 캄파니 피부 케어 상담을 위한 방법 및 시스템
CN104156947B (zh) 2014-07-23 2018-03-16 小米科技有限责任公司 图像分割方法、装置及设备
KR101701210B1 (ko) 2014-10-02 2017-02-01 주식회사 엘지유플러스 피부 분석 결과 출력 방법, 이를 위한 장치 및 어플리케이션
CN104299011A (zh) 2014-10-13 2015-01-21 吴亮 一种基于人脸图像识别的肤质与皮肤问题识别检测方法
US10398353B2 (en) 2016-02-19 2019-09-03 Covidien Lp Systems and methods for video-based monitoring of vital signs
CA3015492C (en) 2016-03-21 2021-11-23 The Procter & Gamble Company Systems and methods for providing customized product recommendations
CN110709856B (zh) 2017-05-31 2023-11-28 宝洁公司 用于确定表观皮肤年龄的系统和方法
US10719729B2 (en) * 2018-06-06 2020-07-21 Perfect Corp. Systems and methods for generating skin tone profiles
EP3890591A4 (en) * 2018-12-04 2022-08-10 Jiang, Ruowei AUTOMATIC IMAGE-BASED SKIN DIAGNOSTICS USING DEEP LEARNING
KR102653079B1 (ko) 2019-04-23 2024-04-01 더 프록터 앤드 갬블 캄파니 미용 피부 속성을 측정하기 위한 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1355680A (zh) * 1999-06-14 2002-06-26 宝洁公司 皮肤成像和分析系统及方法
TW201721487A (zh) * 2015-11-30 2017-06-16 愛茉莉太平洋股份有限公司 皮膚特性的可視化方法
CN109064438A (zh) * 2017-06-09 2018-12-21 丽宝大数据股份有限公司 皮肤状态检测方法、电子装置与皮肤状态检测系统

Also Published As

Publication number Publication date
US20200342594A1 (en) 2020-10-29
JP2023040229A (ja) 2023-03-22
KR20210139309A (ko) 2021-11-22
WO2020219612A1 (en) 2020-10-29
US11416988B2 (en) 2022-08-16
EP3959724A1 (en) 2022-03-02
JP2022529677A (ja) 2022-06-23
JP7235895B2 (ja) 2023-03-08

Similar Documents

Publication Publication Date Title
US11416988B2 (en) Apparatus and method for visualizing visually imperceivable cosmetic skin attributes
US11605243B2 (en) Apparatus and method for determining cosmetic skin attributes
CA2751549C (en) Method and apparatus for simulation of facial skin aging and de-aging
JP6985403B2 (ja) 年齢容姿シミュレーションのための方法
JP6271708B2 (ja) システム及びユーザ肌画像生成装置
US10796455B2 (en) Image processing apparatus and image processing method
JP6243008B2 (ja) 肌診断及び画像処理方法
US20120044335A1 (en) Makeup simulation system, makeup simulation apparatus, makeup simulation method, and makeup simulation program
KR20200003402A (ko) 겉보기 피부 나이를 결정하기 위한 시스템 및 방법
US20200146622A1 (en) System and method for determining the effectiveness of a cosmetic skin treatment
JP5399874B2 (ja) 画像処理装置および画像処理方法
CN117440849A (zh) 护肤设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40061351

Country of ref document: HK