CN115209789A - 提供人的期望脸部的计算机修改的可视化的方法和系统 - Google Patents

提供人的期望脸部的计算机修改的可视化的方法和系统 Download PDF

Info

Publication number
CN115209789A
CN115209789A CN202080086690.0A CN202080086690A CN115209789A CN 115209789 A CN115209789 A CN 115209789A CN 202080086690 A CN202080086690 A CN 202080086690A CN 115209789 A CN115209789 A CN 115209789A
Authority
CN
China
Prior art keywords
face
person
visual material
data set
modified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080086690.0A
Other languages
English (en)
Inventor
海克·本迪特-克莱佩特科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Quantitative Facial Co ltd
Original Assignee
Quantitative Facial Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Quantitative Facial Co ltd filed Critical Quantitative Facial Co ltd
Publication of CN115209789A publication Critical patent/CN115209789A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/167—Personality evaluation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10148—Varying focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Psychiatry (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Psychology (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Developmental Disabilities (AREA)

Abstract

本公开涉及一种用于提供人(2)的期望脸部的计算机修改的图片(13)的方法，该方法包括以下步骤：‑生成脸部的视觉材料及其提取的脸部属性数据的数据集，并将所述数据集存储在数据库(8)中，所述数据集与由一组代表性的人提供的脸部特征数据相关联，该组代表性的人关于他们的脸部特征对这些脸部的视觉材料进行评分；‑进一步提取这些脸部的视觉材料的脸部属性数据，并将这些提取的脸部属性数据与所生成的数据集一起用于训练人工智能，以使人工智能能够提供对脸部的视觉材料的特征的自动评分；‑生成可通过美容和/或医学治疗(16)实现的脸部的视觉材料修改数据集，并将该数据集存储在数据库(9)中；‑取得人(2)的脸部的标准化视觉材料；‑输入待改变的人脸部的至少一个期望特征；‑使用人工智能来分析人脸部的视觉材料，并基于所选择的期望特征和通过至少一种美容和/或医学治疗可实现的修改，来生成修改数据集(12)；‑基于修改数据集(12)修改人(2)的脸部的视觉材料，并生成人(2)的期望脸部的计算机修改的视觉材料(13)，脸部的修改可通过建议的至少一种美容和/或医学治疗(16)来实现；‑显示人(2)的期望脸部的计算机修改的视觉材料(13)。

Description

提供人的期望脸部的计算机修改的可视化的方法和系统
技术领域
本公开涉及一种方法和系统，用于提供考虑进行微创和/或有创美容和/或医学治疗以改善人的外貌的人的期望脸部的计算机修改的可视化。
背景技术
人们普遍希望优化自己的外貌。脸部是与该外貌相关的身体主要区域之一。已知有许多不同的治疗方法可以改变脸部外貌、表情和/或形态，例如减少脸部皮肤皱纹或改变颧骨。对这种改变感兴趣的人通常约见美容师、皮肤科医师、医师、获得脸部修饰认证的专家或整形外科医师，以获得可能的治疗信息。在第一步中，上述专家检查脸部的不同区域，并基于他们的个人知识和技能，建议能够提供所需外貌变化的医疗和/或美容治疗。这种工作方式的问题在于，对于专业人员来说，该人难以理解专家建议的治疗可能产生的视觉效果和/或对第一印象(即脸部如何被其他人感知)的影响。
LiaoYanbing等人：“Deep Rank Learning for Facial Attractiveness”2017 4THIAPR ASIAN CONFERENCE ON PATTERN RECOGNITION(ACPR)，IEEE，26November 2017(2017-11-26),pages 565-570，XP033475316公开了一种用于全自动面部美容评估和排名的深度卷积神经元网络和人工智能。从流行的社交/约会网站收集的1885个女性脸部图像的“HOTorNOT”数据库被用于训练人工智能如何预测女性脸部的脸部吸引力并对其进行排名。
MESSERU等人：“Predicting Social Perception from Faces:A Deep LearningApproach”，Arxiv.Org，CORNELL UNIVERSITY LIBRARY，201OLIN LIBRARY CORNELLUNIVERSITY ITHACA,NY 14853,29JUNE 2019(2019-06-29)，XP081385771公开了深卷积神经元网络和人工智能，基于人脸的视觉表示来预测人类感知者对特征“温暖”和“能力”的印象。人工智能从脸部图像的区域提取特征或脸部特性数据，并用10K成人脸部数据库进行训练，其中人类评估者对这些人脸的特征“温暖”和“能力”进行评分，以产生脸部特征。热图(Heat maps)用于识别与人类感知者相关的脸部区域。
WO2015/017687A2公开了一种方法和系统，其使用户能够用设备拍摄他们的脸部照片并将其发送到计算机服务器。服务器使用脸部识别软件来识别脸部的解剖特征，并且用户选择他想要改善的脸部的解剖区域。在下一步中，服务器确定所选择的解剖区域中的缺陷“严重程度”的级别。此后，该人必须从可能的治疗列表中选择医学或美容治疗，并且服务器基于该选择的医学或美容治疗的临床研究数据来确定可能的治疗结果。最后，服务器生成用户脸部的修改图片，该修改图片具有针对所选择的解剖区域的所选择的医学或美容治疗的可能结果，该图像在用户设备上邻近所拍摄的原始图片进行显示。所公开的方法具有这样的缺点：用户独自进行脸部区域的选择和可能的医学或美容治疗的选择，这可能导致在一次或多次治疗之后用户的整体外貌不那么吸引人。需要技术手段来解决这些技术选择问题。
公开内容
这些问题通过包括以下步骤的方法来解决：
-生成脸部的视觉材料及其提取的脸部属性数据的数据集，并将所述数据集存储在数据库中，所述数据集与由一组代表性的人提供的脸部特征数据相关联，该组代表性的人关于他们的脸部特征对这些脸部的视觉材料进行评分；
-进一步提取这些脸部的视觉材料的脸部属性数据，并将这些提取的脸部属性数据与所生成的数据集一起用于训练人工智能，以使人工智能能够提供对脸部的视觉材料的特征的自动评分；
-生成可通过美容和/或医学治疗实现的脸部的视觉材料修改数据集，并将该数据集存储在数据库中；
-取得人的脸部的标准化视觉材料；
-输入待改变的人脸部的至少一个期望特征；
-使用人工智能来分析人脸部的视觉材料，并基于所选择的期望特征和通过至少一种美容和/或医学治疗可实现的修改，来生成修改数据集；
-基于修改数据集修改人的脸部的视觉材料，并生成人的期望脸部的计算机修改的视觉材料，脸部的修改可通过所述至少一种美容和/或医学治疗来实现；
-显示人的期望脸部的计算机修改的视觉材料。
本发明的方法、系统和/或计算机程序使用完全不同的概念和技术来使用户能够作出明智的决定，以决定如何改变脸部外貌、表情和/或形态。用户可以是例如美容师、皮肤科医师、医师、经认证进行脸部修饰的专家或整形外科医师，以及对他们自己的外貌改变感兴趣的人。
本发明基于这样的发现，即当要改变人的外貌时，例如选择性地减少皱纹或增加嘴唇的体积仅仅是次要目标，因为人们在形成第一印象的过程中以更复杂的方式和整体对他人的外貌进行分类。给人留下第一印象的特征是，例如，吸引力、健康、青春、疲劳、痛苦、友好、支配、能力、可爱或值得信任，仅举一些例子。该新概念和技术使得用户能够选择他/她想要改变的至少一个特征。在形成第一印象过程中，改变他人所赋予的特征可以通过两种方式实现，即增加被认为是积极的特征或减少被认为是消极的特征。例如，一个人可能希望看起来不那么累。在另一个例子中，一个人可能希望看起来更友好。在另一个例子中，一个人可能希望看起来更吸引人。
在本发明方法的第一步中，编辑脸部视觉材料的新数据集。这包括人脸部的图像和视频，以及计算机生成的图像和人造脸部的3D模型。在深度学习算法的预处理步骤中，该数据集通过用于脸部对准、剪裁和尺寸调整的变换而被标准化。为了适当地对准脸部数据，首先执行脸部特征的脸部界标检测，然后执行更详细的皮肤纹理分析。视觉材料数据集是通过人类评估和/或修改这些脸部来生成和改进的，以训练基于深度学习的应用程序和/或人工智能和/或软件。在迭代过程中使用其先前版本产生的数据，该应用程序的质量被进一步改善。参考以上引用的作为描述这种人工智能的结构和模型结构的现有文献的科学文章。
根据深度学习原理，一种新技术用于生成修改数据集，其中包括关于在期望方向上改变用户的特征所需的脸部的所有修改的复杂信息。所述修改可以影响脸部外貌、表情和/或形态。这种脸部修改可以包括，例如，眉毛的高度、脸颊的丰满度、下巴的宽度和高度、嘴唇的体积、颧骨的体积、嘴角纹的深度、下颌轮廓的直线度、眉间线的深度、眶周的凹陷度和皮肤的紧实度。从技术上讲，这些改变可以通过微创和/或有创性的美容和/或医学治疗来获得，正如过去进行的临床研究或治疗所证明的那样。这些治疗包括应用皮肤填充物、肉毒杆菌毒素、线、植入物、外科手术、激光治疗、自体脂肪移植和皮肤表面重修治疗等。
在进一步的步骤中，获得人脸部的视觉材料数据(例如照片或视频)。在选择至少一个要改变的特征的同时，将脸部视觉材料数据集传送到服务器。也可以另外输入人的年龄和/或性别和/或人种数据。
在该方法的最后一步，由服务器处理的基于深度学习的应用程序/人工智能，被用于根据用户所选择的一个或多个特征的改变来修改用户脸部的视觉材料数据。也可以使用人工智能基于人脸部的原始视觉材料数据选择性地描述和/或评价特征。
期望脸部的计算机修改的可视化可以在显示器上邻近用户的原始视觉材料数据显示，以显示可能的改变。这种改变可以通过使用不同的有创和/或微创美容和/或医学治疗中的一种或其组合来获得，这些治疗总体上改变了用户的脸部，朝着所选特征的所需改变。可选地，可以给出获得所需脸部的必要治疗的建议。
这种新方法的主要优势在于，它可以在给人留下第一印象时将脸部外貌、表情和/或形态的变化对归因于一个人的特征的影响可视化。用户可以选择至少一个他/她希望改变(例如减少或改进)的特定特征。随后，可视化达到期望效果(即期望脸部)所必需的脸部外貌、表情和/或形态的所需改变。
根据现有技术的方法仅使脸部的孤立区域的改变可视化。在给人留下第一印象时归因于人的特征的上下文中，用户的脸部可能以不希望的方式改变。商人或政治家的主要目的可能是为了改善其外貌，使其被认为是一个有能力的人，同时他希望看起来更年轻。然而，为了看起来更年轻而选择的脸部特征的改变，可能导致与他的专业需要相矛盾的不太称职的外貌。
发明人发现，当给人留下第一印象时，考虑一个或多个归因于人的特征对于优化选择和/或选择个性化的不同有创和/或微创美容和/或医学治疗以达到所需的脸部修饰是必要的。应用该原理的一个要求是通过使用人工智能以新颖、创新、快速和高效的方式处理大型数据集的能力。
因此，通过以上列出的步骤的组合，本公开解决了现有技术中处理数据的技术问题，根据给人第一印象时归因于该人的特征，来分析、可视化和预测人的脸部及其对他人的感知。
附图说明
本发明的这些和更有利的实施例将基于下面的描述和附图进行解释。
图1示出了显示人的期望脸部的计算机修改的可视化的系统。
图2示出了具有人脸部图片的系统的移动设备。
图3示出了人脸在哪个区域被划分以用于进一步的分析。
图4示出了基于人脸部的原始视觉材料数据的特征的描述和评级。
图5示出了用户如何选择特征。
图6示出了覆盖了修改数据集的人脸。
图7示出了人脸的原始图像与期望脸部的计算机修改的可视化的比较。
图8示出了使用哪些治疗方法的建议。
图9示出了脸部的线条图，其中脸部的区域被标记为待处理，以增加给人留下第一印象时的特征“支配”。
图10示出了脸部的照片，其中脸部的区域被标记为待处理，以增加给人留下第一印象时的特征“支配”。
图11示出了脸部的线条图，其中脸部的区域被标记为待处理，以增加给人留下第一印象时的特征“能力”。
图12示出了具有有创和/或微创美容和医学治疗的例子的表格，以通过在人脸的特定区域中的动作实现人脸所需特征的改变。
图13示出了在进行推荐治疗之前和之后人脸的视觉材料效果。
具体实施方式
图1示出了系统1，其利用移动设备3显示人2的期望脸部的计算机修改的可视化或视觉材料。移动设备3执行软件，特别是考虑进行有创和/或微创美容和/或医学治疗的人2的应用程序，或者进行这种治疗的专家的应用程序，其想要做出数据驱动的决定，选择哪些治疗来获得所需的脸部改变。移动设备3的相机用于获得人2的脸部的视觉材料作为图2所示的标准化视觉材料数据4。视觉材料数据4可以表示人2脸部的照片或胶片。可将视觉材料数据4的标准化拆分为对人2和摄影者采取什么措施来拍摄标准化照片或胶片以及对所拍摄的照片或胶片的后处理的指令。对人2和摄影者的指令可以包括以下步骤中的一个或多个：要求人2摘下例如耳环或鼻环；要求人2不要笑，要求人2做出一个中性的脸部表情；要求人2使头发离开他/她的脸部；让人2直视镜头；良好的通用照明条件；中性背景。照片或胶片的后处理可以包括以下步骤中的一个或多个：从视觉材料数据4中剪切脸部后面的背景；剪切人脸部的耳朵以减少例如耳环的视觉材料影响；剪切可能影响脸部的衣服和其它服装；剪切人2的头发。
系统1包括通过宽带网络6或其它远程连接技术与移动设备3连接的远程服务器5。服务器5执行基于深度学习的应用程序7，并由此形成分析人2的脸部的视觉材料数据4的人工智能，以在产生第一印象时评定归因于人2的一个或多个特征。这样的脸部特征或性状例如可以是吸引力、健康、青春、疲劳、痛苦、友好、支配、能力、讨人喜欢或值得信任。基于深度学习的应用程序7是一种包括指令的计算机程序，当程序由远程服务器5执行时，使远程服务器5执行以下步骤以提供人2的期望脸部的计算机修改的可视化13。
为了使基于深度学习的应用程序7能够评定脸部特征，执行以下步骤。在第一步中，生成与脸部特征数据相关联的脸部视觉材料的视觉材料数据及其提取的脸部属性数据的数据集。为了提取脸部属性，传统的计算机视觉材料算法(如界标检测)将人2的脸部划分为如图3所示的下巴和下颌轮廓等区域，并自动提取脸部特征及其位置。这种脸部属性数据可以例如包括眼睛之间的距离或眼睛与嘴之间的距离以及要测量以描述脸部的其它距离。基于深度学习的应用程序7将这些脸部属性数据与这些脸部的视觉材料数据一起存储在服务器5的数据库8中。作为视觉材料数据存储在数据库8中的这种面部视觉材料的代表性数量，显示在显示器上，让有代表性数量的人关于他们的特征手动评定这些面部视觉材料。这些可以用不同的特征或性状的得分(例如从0到7)对它们进行评分。这些人的评分被存储在与脸部的视觉材料数据相关联的数据库8中，并为基于深度学习的应用程序7提供基础信息，以对产生第一印象时归因于人2的特征进行评分。
在第二步中，通过传统的计算机视觉算法，例如界标检测、皱纹检测、皮肤纹理分析、脸部比例分析，提取这些脸部视觉材料的进一步脸部属性数据。这些脸部视觉材料的脸部属性数据与在第一步中生成并存储在数据库8中的数据集一起用于训练基于深度学习的应用程序7，以使人工智能能够提供脸部视觉材料特征的自动评分。参考上面列出的描述这种人工智能的结构和模型结构的科学文章。因此，可以将脸部的任何视觉材料提供给基于深度学习的应用程序7，该应用程序7将基于存储在数据库8中的数据集，提供脸部视觉材料特征的自动评分。图4示出了基于显示在移动设备3上的人脸的视觉材料，对人的特征或性状进行这种描述和自动评分的结果。
服务器5还包括数据库9，该数据库9具有基于临床研究、案例研究或其它可公开获得的信息在第三步中生成的数据，该数据包括关于可通过有创和/或微创美容和医学治疗实现的脸部视觉材料修改的信息。例如，数据库9包括在3周内改善3.1至1.5的皱纹评分的治疗效果的信息。参考公开了基于参数的临床试验摘要的现有技术WO2015/017687，例如，研究人员在最大皱眉时对眉间线严重程度的评分，以及受试者在注射后120天内用肉毒杆菌毒素进行医学治疗后对眉间线外观变化的全局评估。该现有技术文献公开了一种数据库，该数据库存储了如何用一种特定的医学治疗改善脸部的一个特定区域的数据。作为另一个例子，图12示出了一个表格，该表格包括数据库9的信息，其具有有创和/或微创美容和医学治疗的例子，以在人2的脸部的特定区域中实现行动或改善。
在用上述三个步骤建立数据库8和9之后，系统1已准备好用于提供人脸部的计算机修改的视觉材料，如该方法的以下步骤中所述。
在第四步中，使用移动设备3的相机来获得如上所述并如图2所示的人2的脸部的标准化视觉材料数据4。在优选的可选实施例中，这些视觉材料数据4被发送到服务器5，并且基于深度学习的应用程序7对人2的特征或性状进行自动评分，并提供图4所示的评分以支持人2决定他/她可能想要改变的特征或性状。在另一个不太优选的实施例中，人2在没有图4所示的自动评分的情况下决定改善他/她的脸部的哪个特征。
在第五步中，人2基于人2的个人兴趣输入要改变的人脸部的至少一个特征。由人2输入的特征以脸部特征数据的形式被存储和发送。人2可以利用如图5所示的移动设备3的输入装置10决定改变他/她的脸部外貌、表情和/或形态以来改善特征“能力”。由人2选择的这个特征经由宽带网络6被发送到服务器5。在本发明的另一个实施例中，人2可以使用另一种方式用手机3来输入他/她感兴趣改变的脸部的至少一个特征。这可以通过由人2使用的应用程序的选择来完成，因为可以有一个应用程序来改进特征“能力”以及另一个应用程序来改进特征“支配”。
在该方法的第六步中，服务器5的人工智能分析人脸部的视觉材料，并基于所选择的期望特征和数据库9的至少一个美容和/或医学治疗可实现的修改来生成修改数据集12。这意味着可以使用数据库9的仅一个或多个美容治疗或仅一个或多个医学治疗或一个或多个美容和医学治疗的任何组合，来修改用户的脸部朝向所选择的期望特性的期望改变。此外，涉及的美容治疗是指覆盖任何有创和/或微创美容治疗。为了实现这个技术步骤，基于深度学习的应用程序7基于数据库8评估需要哪些修改来改进人2的特征“能力”；并将所需的这些修改与存储在数据库9中的可能的修改相匹配。图11示出了脸部的线条图，其中脸部的区域被标记为待处理，以增加给人留下第一印象时的特征“能力”。与此一致，图12的表格示出了增加给人留下第一印象时的“能力”特征所需的动作：使下巴不那么宽，脸颊不那么饱满，以及眉毛下移。图12还示出了美容和/或医学治疗，其可由美容师、皮肤科医师、医师、经认证可进行面部修饰的专家或整形外科医生执行以实现这些动作。
然后将所需的修改和可能修改的最佳匹配的结果存储在修改数据集12中。该修改数据集12在技术上描述了需要哪些修改来修改人2的脸部的视觉材料数据4以显示一个或多个有创和/或微创美容和/或医学治疗的可能结果，以在如图6所示的人2的脸部的计算机修改的视觉材料13中改善人2的特征“能力”。图6示出了具有箭头覆盖的人2的脸部，所述箭头覆盖的表明需要进行处理的脸部区域以获得改善的“能力”的所需结果。因此，例如，需要抬高眉毛位置和增大下颌轮廓的体积。所示箭头仅是象征性的，因为修改数据集12可包括关于脸部和所需视觉材料数据4的处理的进一步信息。
在该方法的第七步中，基于修改数据集12来修改人2的脸部的视觉材料数据4，并且生成人2的脸部的计算机修改的视觉材料13，其中脸部的修改可通过至少一种建议的美容和/或医学治疗来实现。例如，如果服务器5的人工智能得出结论：需要收紧人2的眼袋以提高人2的特征“吸引力”，则修改数据集12可以包括在人2的脸部的视觉材料数据4中软聚焦下眼睑和颧骨区域的信息。因此，基于深度学习的应用程序7或其它传统图像处理方法(如图像扭曲)处理人2的照片或胶片，以提供人2的期望脸部的计算机修改的视觉材料13。由于其处理能力量，该第七步可以由服务器5执行，但是也可以由移动设备3执行。因此，在该实施例中，服务器5包括图像数据修改装置14，用于根据修改数据集12修改人2的脸部的视觉材料数据4，将人2的脸部的修改的视觉材料数据4发送到移动设备3，并用移动设备3显示为人2的期望脸部的计算机修改的视觉材料13。
在本发明的一个优选实施例中，基于本领域技术人员已知的技术，使用人工智能来自动识别人的脸部视觉材料中具有皱纹的区域。这样的区域例如可以是下眼睑和颧骨的区域。然后，在例如人2的特征“吸引力”应该改进的情况下，可以使用人工智能来自动软聚焦这些识别的区域，因此修改数据集包括这样的信息，以修改人脸的视觉材料，从而生成人的期望脸部的计算机修改的视觉材料。在另一个优选实施例中，人工智能也可以在例如年轻的人的脸部的视觉材料上增加皱纹，他们想要在老年人经常出现皱纹的区域改进特征“能力”。
在该方法的第八步中，如图7所示，用移动设备3显示人2期望脸部的计算机修改的视觉材料13。有两种优选模式来显示人2的脸部视觉材料数据4和期望脸部的计算机修改的视觉材料13，以使他/她能够更容易地看到差异。第一个优选的模式是使用切换模式来交替显示所拍摄的人2的脸部的标准化视觉材料数据4和人2的期望脸部的计算机修改的视觉材料13。人2只需触摸移动设备3的显示器中的按钮区域，就可以像人2想看到的那样快速地在两个视觉材料效果之间切换，以便更好地看到差别和修改。第二个优选模式是使用标记模式将修改数据集12修改的人2的脸部区域标记为所显示的人2的期望脸部的计算机修改的视觉材料13的叠加，如图10所示。标记可以例如用叠加在人2的期望脸部的计算机修改的视觉材料13上的线或虚线来完成。两种优选模式都使人2能够容易地看到需要用有创和/或微创美容和/或医学治疗的那些脸部区域。
图13示出了在进行推荐治疗之前和之后的另一个人2的脸部。左侧的照片示出了有兴趣通过增加特征“支配”和“能力”来改变其脸部外貌的人2。本发明的方法和系统提供并显示与右侧照片相似的期望脸部的计算机修改的视觉材料13，并提供使用脸部的特定识别区域中的脂肪填充治疗的建议。在进行推荐的治疗之后，拍摄图13的右侧照片，结果发现期望脸部的计算机修改的视觉材料13与治疗之后拍摄的实际照片几乎相同。该技术方案极大地有助于做出就美容和/或医学治疗作出明智的决定。
此外，还可以显示存储在数据库9中的所有有创和/或微创美容和/或医学治疗，并预先选择这些有创和/或微创美容和/或医学治疗中的一些，将它们与人2的视觉材料数据4和人2输入以改变他/她的脸部外貌的特征一起发送到服务器5。在这种情况下，服务器5的人工智能仅使用那些选择的有创和/或微创美容和/或医学治疗，在可通过选定的有创和/或微创美容和/或医学治疗实现的视觉材料修改的数据库9中搜索修改数据集12可实现的最佳匹配。这使得人2能够预先决定哪些有创和/或微创美容和/或医学治疗是可接受的以用于改变他/她的面部外观，并且有助于服务器5的流水线处理。
在上述方法的第七步由移动设备3处理而不是在服务器5上处理的情况下，移动设备3将包括视觉材料数据修改装置14，以通过改变某些图像矢量，利用从服务器5接收的修改数据集12来修改人2的脸部的视觉材料数据4。然后用设备3显示人2的期望脸部的计算机修改的视觉材料13。在本发明的另一个实施例中，由视觉材料数据修改装置进行的图像处理可在服务器5和移动设备3之间分开。
可选地建立基于深度学习的应用程序7，以评估图片数据4中的人2的年龄、人种和性别。这有助于减少在使用应用程序时需要输入的数据。
系统1还能够在移动设备3的显示器上显示那些由人工智能选择以获得期望脸部的有创和/或微创美容和/或医学治疗16，如图8所示。例如，如果人2不愿接受外科手术干预，则人2可以决定使用过滤器仅选择所示的有创和/或微创美容和/或医学治疗中的一些。人2的这种选择被发送到服务器5，服务器5计算必要的修改数据集12，修改数据集12可以通过减少数量的有创和/或微创美容和/或医学治疗来实现，以实现特征(例如吸引力)的期望改变。
此外，如图5所示，可以用移动设备3的输入装置来输入一个以上的特征。这提供了这样的优点，即人2可以根据他/她的个人兴趣自由地改进两个或多个特征。
此外，使用该应用程序的人不是想要改变他/她的外貌的人，而是想要作出明智决定的人，例如美容师、皮肤科医师、医师、获得面部护理认证的专家修改或整形外科医师。
在本发明的另一个实施例中，实现为手机的应用程序的计算机程序可以被编程以询问用户如下问题：性别、年龄、职业、教育程度、性取向、宗教和政治取向。可以在上述方法的第五步中关于一个实施例中的用户和关于第二个实施例中用户感兴趣的目标群询问这些问题。当生成修改数据集时，该信息可用于上述方法的第六步。对关于用户和/或用户感兴趣的目标群体(例如用户想要被识别为更“支配)的信息的分析结果可以用作需要如何修改用户的特征进一步的输入。这具有这样的优点，即这些修改非常适合用户的个人需要和愿望。
在本发明的另一个实施例中，使用人工智能系统来提供脸部视觉材料特征的自动评分。这种人工智能系统可以包括检测人脸的界标的软件或具有这样做能力的任何其它传统算法。

Claims (9)

1.一种提供人(2)的期望脸部的计算机修改的视觉材料(13)的方法，其特征在于，该方法包括以下步骤：
-生成脸部的视觉材料及其提取的脸部属性数据的数据集，并将所述数据集存储在数据库(8)中，所述数据集与由一组代表性的人提供的脸部特征数据相关联，该组代表性的人关于他们的脸部特征对这些脸部的视觉材料进行评分；
-进一步提取这些脸部的视觉材料的脸部属性数据，并将这些提取的脸部属性数据与所生成的数据集一起用于训练人工智能，以使人工智能能够提供对脸部的视觉材料的特征的自动评分；
-生成可通过美容和/或医学治疗(16)实现的脸部的视觉材料修改数据集，并将该数据集存储在数据库(9)中；
-取得人(2)的脸部的标准化视觉材料；
-输入待改变的人脸部的至少一个期望特征；
-使用人工智能来分析人脸部的视觉材料(4)，并基于所选择的期望特征和通过至少一种美容和/或医学治疗(16)可实现的修改，来生成修改数据集(12)；
-基于所述修改数据集(12)修改人(2)的脸部的视觉材料，并生成人(2)的期望脸部的计算机修改的视觉材料(13)，脸部的修改可通过所述至少一种建议的美容和/或医学治疗(16)来实现；
-显示人(2)的期望脸部的计算机修改的视觉材料(13)。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括以下步骤：
-使用切换模式来交替地显示所取得的人(2)的脸部的标准化视觉材料(4)和所述人(2)的期望脸部的计算机修改的视觉材料(13)，或者
-使用标记模式来将由所述修改数据集(12)修改的人(2)的脸部区域标记为与所显示的人(2)的期望脸部的计算机修改的视觉材料(13)的叠加。
3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括以下步骤：
-显示存储在数据集中的所有美容和/或医学治疗(16)；
-仅选择所显示的美容和/或医学治疗(16)中的一个或多个；
-仅使用所选择的美容和/或医学治疗(16)来产生所述修改数据集(12)。
4.根据权利要求1-3中任一项所述的方法，其特征在于，所述方法还包括以下步骤：
-显示存储在数据库(8)中的所有特征；
-选择所显示的特征中的两个或更多个特征，作为要由人工智能用来生成所述修改数据集(12)的期望特征。
5.根据权利要求1-4中任一项所述的方法，其特征在于，所述方法还包括以下步骤：
-显示由人工智能选择的要用于产生所述修改数据集(12)的那些美容和/或医学治疗(16)。
6.根据权利要求1-5中任一项所述的方法，其特征在于，所述方法还包括以下步骤：
-使用人工智能来分析人(2)脸部的视觉材料，以提供对所述人(2)脸部的视觉材料(4)的特征的自动评分；
-显示所述人(2)脸部的视觉材料(4)的特征。
7.根据权利要求1-6中任一项所述的方法，其特征在于，所述方法还包括以下步骤：
-使用人工智能来自动识别所述人(2)脸部的视觉材料中具有皱纹的区域，并且在所述修改数据集包括这样的信息的情况下，自动软聚焦所识别的区域，以修改所述人的脸部的视觉材料，从而生成所述人(2)的期望脸部的计算机修改的视觉材料(13)。
8.一种系统(1)，用于通过移动设备显示人(2)的期望脸部的计算机修改的视觉材料(13)，该移动设备(3)包括显示器和相机以及用于输入特征的输入装置，所述移动设备(3)连接到远程服务器，所述远程服务器生成修改数据集(12)，其特征在于，所述服务器(5)包括基于深度学习的应用程序(7)，用于执行根据权利要求1-7之一的方法的步骤，从而生成具有与脸部特征相关联的脸部的视觉材料及其提取的脸部属性数据的数据集的数据库(8)，并且生成具有可通过美容和/或医学治疗(16)实现的脸部的视觉材料修改数据集的数据库，并且
基于深度学习的应用程序(7)被建立为生成人(2)的脸部的至少一个区域的所述修改数据集(12)，以基于所生成的数据库(8，9)实现脸部的特征中的期望改变，并且
所述服务器(5)或所述移动设备(3)包括视觉材料数据修改装置(14)，用于用所述至少一种美容和/或医学治疗(16)可实现的所述修改数据集来修改人(2)脸部的视觉材料数据(4)，用所述移动设备(3)显示脸部的修改的视觉材料数据(13)。
9.一种包括指令的计算机程序，当该程序由计算机(5)执行时，该指令使所述计算机(5)执行以下步骤以提供人(2)的期望脸部的计算机修改的可视化(13)：
-生成脸部的视觉材料及其提取的脸部属性数据的数据集，并将所述数据集存储在数据库(8)中，所述数据集与由一组代表性的人提供的脸部特征数据相关联，该组代表性的人关于他们的脸部特征对这些脸部的视觉材料进行评分；
-进一步提取这些脸部的视觉材料的脸部属性数据，并将这些提取的脸部属性数据与所生成的数据集一起用于训练人工智能，以使人工智能能够提供对脸部的视觉材料的特征的自动评分；
-生成可通过美容和/或医学治疗(16)实现的脸部的视觉材料修改数据集，并将该数据集存储在数据库(9)中；
-从移动设备(3)接收人(2)的脸部的标准化视觉材料(4)；
-接收由人(2)用所述移动设备(3)输入的待改变的人的脸部的至少一个期望特征；
-使用人工智能来分析人脸部的视觉材料，并基于所选择的期望特征和通过至少一种美容和/或医学治疗(16)可实现的修改，来生成修改数据集(12)；
-基于所述修改数据集修改人(2)脸部的视觉材料，并生成人(2)脸部的计算机修改的视觉材料，所述脸部的修改可通过建议的至少一种美容和/或医学治疗(16)来实现；
-将人的期望脸部的计算机修改的视觉材料发送到移动设备以显示所述计算机修改的视觉材料(13)。
CN202080086690.0A 2019-12-11 2020-11-26 提供人的期望脸部的计算机修改的可视化的方法和系统 Pending CN115209789A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19215134.8 2019-12-11
EP19215134 2019-12-11
PCT/EP2020/083543 WO2021115798A1 (en) 2019-12-11 2020-11-26 Method and system to provide a computer-modified visualization of the desired face of a person

Publications (1)

Publication Number Publication Date
CN115209789A true CN115209789A (zh) 2022-10-18

Family

ID=68886753

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080086690.0A Pending CN115209789A (zh) 2019-12-11 2020-11-26 提供人的期望脸部的计算机修改的可视化的方法和系统

Country Status (5)

Country Link
US (2) US20210183124A1 (zh)
EP (1) EP4072403A1 (zh)
CN (1) CN115209789A (zh)
DE (1) DE212020000466U1 (zh)
WO (1) WO2021115798A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4073682B1 (en) 2019-12-11 2023-11-08 QuantiFace GmbH Generating videos, which include modified facial images

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10482333B1 (en) 2017-01-04 2019-11-19 Affectiva, Inc. Mental state analysis using blink rate within vehicles
US8917914B2 (en) 2011-04-05 2014-12-23 Alcorn State University Face recognition system and method using face pattern words and face pattern bytes
US9520072B2 (en) 2011-09-21 2016-12-13 University Of South Florida Systems and methods for projecting images onto an object
WO2014068567A1 (en) 2012-11-02 2014-05-08 Itzhak Wilf Method and system for predicting personality traits, capabilities and suggested interactions from images of a person
WO2015017687A2 (en) 2013-07-31 2015-02-05 Cosmesys Inc. Systems and methods for producing predictive images
WO2015192263A1 (en) 2014-06-16 2015-12-23 Xiaoou Tang A method and a system for face verification
CN105844202A (zh) 2015-01-12 2016-08-10 芋头科技（杭州）有限公司 一种影像识别系统及方法
EP3335195A2 (en) 2015-08-14 2018-06-20 Metail Limited Methods of generating personalized 3d head models or 3d body models
CN108664782B (zh) 2017-03-28 2023-09-12 三星电子株式会社 面部验证方法和设备
US10438415B2 (en) 2017-04-07 2019-10-08 Unveil, LLC Systems and methods for mixed reality medical training
US10977674B2 (en) 2017-04-28 2021-04-13 Qualtrics, Llc Conducting digital surveys that collect and convert biometric data into survey respondent characteristics
CN108960020A (zh) 2017-05-27 2018-12-07 富士通株式会社 信息处理方法和信息处理设备
TW201907334A (zh) * 2017-07-03 2019-02-16 華碩電腦股份有限公司 電子裝置、影像處理方法及非暫態電腦可讀取記錄媒體
US10825564B1 (en) * 2017-12-11 2020-11-03 State Farm Mutual Automobile Insurance Company Biometric characteristic application using audio/video analysis
US10997703B1 (en) * 2018-04-24 2021-05-04 Igor Khalatian Methods and systems for automated attractiveness prediction
US11151362B2 (en) * 2018-08-30 2021-10-19 FaceValue B.V. System and method for first impression analysis and face morphing by adjusting facial landmarks using faces scored for plural perceptive traits
US11250245B2 (en) 2019-09-20 2022-02-15 The Trustees Of Princeont University Data-driven, photorealistic social face-trait encoding, prediction, and manipulation using deep neural networks
US10764535B1 (en) 2019-10-14 2020-09-01 Facebook, Inc. Facial tracking during video calls using remote control input

Also Published As

Publication number Publication date
WO2021115798A1 (en) 2021-06-17
EP4072403A1 (en) 2022-10-19
US20210183124A1 (en) 2021-06-17
US20210279933A1 (en) 2021-09-09
US11227424B2 (en) 2022-01-18
DE212020000466U1 (de) 2021-09-09

Similar Documents

Publication Publication Date Title
US11625878B2 (en) Method, apparatus, and system generating 3D avatar from 2D image
Bruce et al. Sex discrimination: how do we tell the difference between male and female faces?
CA2692667C (en) Method and apparatus for realistic simulation of wrinkle aging and de-aging
CN113156650A (zh) 利用映像的增强现实系统和方法
CN109310196B (zh) 化妆辅助装置以及化妆辅助方法
IL264217A (en) A system control technique for creating a virtual character through the use of a user's emotional states
JP7278724B2 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
Smelik A close shave: The taboo on female body hair
EP4073682B1 (en) Generating videos, which include modified facial images
JP2004000427A (ja) 身体画像の修整
JP2020067868A (ja) 施術支援システム
TW202238618A (zh) 運用於美容醫療之人工智慧輔助評估方法及其輔助評估系統
US11227424B2 (en) Method and system to provide a computer-modified visualization of the desired face of a person
KR102330833B1 (ko) 성형 큐레이션 서비스 방법
KR20190042493A (ko) 식별가능한 얼굴 편차를 처리하기 위한 얼굴 교정 디자인 및 애플리케이션 프로토콜을 자동으로 생성하는 시스템 및 방법
Gibson Bodies without histories: Cosmetic surgery and the undoing of time
KR102195033B1 (ko) 성형예상이미지와 그 성형예상이미지를 통해 예상되는 라이프스타일을 제공하는 빅데이터 성형컨설팅 시스템
Harris Rembrandt van Rijn: self-portrait 1660
KR102588813B1 (ko) Ai 비젼 인식에 기반한 시술자 맞춤형 눈썹 시술 추천 시스템
Karimi et al. Morphometric facial analysis: a methodology to create lateral facial images
JP2023038871A (ja) 特徴抽出方法及び特徴抽出システム
CA3218635A1 (en) Computer-based body part analysis methods and systems
Al-Dahoud The computational face for facial emotion analysis: Computer based emotion analysis from the face
CN118352052A (zh) 一种基于人工智能的ai数字眼科虚拟智能医生系统
Woolley The iconography of disruptive bodies: social media and medical identities

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination