CN109310475A - 用于自动生成面部修复设计和应用方案以解决可观察的面部偏差的系统和方法 - Google Patents

用于自动生成面部修复设计和应用方案以解决可观察的面部偏差的系统和方法 Download PDF

Info

Publication number
CN109310475A
CN109310475A CN201780038267.1A CN201780038267A CN109310475A CN 109310475 A CN109310475 A CN 109310475A CN 201780038267 A CN201780038267 A CN 201780038267A CN 109310475 A CN109310475 A CN 109310475A
Authority
CN
China
Prior art keywords
face
user
facial
standard
deviation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780038267.1A
Other languages
English (en)
Inventor
约翰·G·罗伯森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of CN109310475A publication Critical patent/CN109310475A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00743—Type of operation; Specification of treatment sites
    • A61B2017/00792—Plastic surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Urology & Nephrology (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

描述了计算机化方法和系统的各种实施例，该计算计划方法和系统用于基于用户的输入面部图像为用户自动开发面部修复方案，其中面部修复设计或计划包括以下一个或多个的组合：用于移动或改变不同面部解剖学特征的尺寸的外科手术计划、用于改变不同面部解剖学特征的外观尺寸或外观位置的化妆计划以及其他技术、例如头发设计，以例如减少对象面部与标准面部之间的实际差异以及察觉到的差异。

Description

用于自动生成面部修复设计和应用方案以解决可观察的面部 偏差的系统和方法
技术领域
本公开涉及面部美容改进系统和方法，具体地，涉及用于自动生成面部修复设计和应用协议以解决可观察的面部偏差的系统和方法。
背景技术
整形外科手术、化妆和其他美容程序已经在世界各地被个人普遍使用以寻求改善其面貌，例如解决可能由于基本审美、种族和/或文化偏好所致的某些不太理想的面部特征以及更重要的特征，举例来说，由于事故或伤害或者各种先天性面部畸形所致的特征。侵入式面部重建或结构改变程序(特别是后者)并不罕见，这可以提供某些明显的改善，但通常不能达到真正令人满意的结果。因此，个人通常求助于整形外科医生、化妆师等，自行设计个性化的面部修复计划。对于怎样最好地改善对象的面貌而言，这些计划通常依赖于某些未经证实的理论或理想，并且主要依赖于主观评估。
最近对美的本质和决定因素的学术研究为评估一个人的面貌提供了更加坚实的基础。例如，A.C.Little等人的出版物“Facial attractiveness:evolutionary basedresearch(面部吸引力：基于进化的研究)”(Phil.Trans.R。Soc.B(2011)366,1638-1659)提供了当前关于面部吸引力决定因素的研究的综述。然而，此类研究的商业影响仍然特别有限。
近年来，用于台式计算机和移动设备的许多计算机应用已经在商业上可用，其可用于捕获面部图像并将不同的化妆样式数字化地应用/覆盖到面部图像上。因此，如果用户选择特定的化妆样式，就可以预览他们看上去的样子。然而，除了输出用户的面部图像和应用的化妆样式选择的分层面部图像呈现之外，这些应用几乎不提供指导或实用性。
提供这些背景信息是为了揭示申请人认为可能具有相关性的信息。不允许或不应将任何前述信息解释为构成现有技术或形成相关领域的一般常识的一部分。
发明内容
下面给出本文所述总发明构思(多个)的简述，以提供对本发明某些方案的基本理解。该发明内容不是对本发明的广泛综述。发明内容并非要限制本发明的关键或重要要素，或者描述本发明的范围，除此之外，通过以下描述和权利要求书明确或隐含地描述本发明的范围。
需要一种用于自动生成面部修复设计和应用方案的系统和方法，例如用以解决面部偏差，其克服了已知技术的某些缺点，或者至少提供其有用的替代方案。本公开的某些方案提供这种系统和方法的示例
根据一个方案，提供一种基于用户的输入面部图像为所述用户自动开发面部修复方案的计算机化方法，该方法包括：基于所述输入面部图像来定义所述用户的数字用户面部结构；从可访问的数据存储器中检索指定的数字标准面部结构；计算所述数字用户面部结构与所述指定的标准面部结构之间的结构偏差；从所述可访问的数据存储器中检索与至少一些所述计算的偏差相对应的预设数字面部修复方案措施，其中所述一个或多个预设面部修复方案措施已经被预先建立为至少部分地减少相应结构偏差的视觉外观；以及根据所述预设数字化妆方案措施输出数字修复方案。
在一个实施例中，定义所述数字用户面部结构包括从所述输入面部图像中自动识别预设结构关键特征点的用户集合并定义其数字用户关键特征点表示；所述指定的数字标准面部结构包括预设结构关键特征点的相应标准集合的相应标准关键特征点表示；以及所述计算包括计算所述用户关键特征点表示与所述标准关键特征点表示之间的偏差。
在一个实施例中，所述用户关键特征点表示由构成的用户关键特征点比率的用户矢量定义，并且其中所述标准关键特征点表示由构成的标准关键特征点比率的标准矢量定义。
在一个实施例中，所述偏差由偏差矢量表示。在一个这样的实施例中，所述偏差还由表示从所述用户面部结构识别的计算的不对称性的不对称矢量表示。
在一个实施例中，所述结构偏差是自动排序的，并且检索所述预设数字化妆方案措施，以便解决所述偏差的最高有序子集。
在一个实施例中，所述标准面部结构是可选择的，以与一个或多个用户人口统计特征相对应。
在一个实施例中，所述一个或多个用户人口统计特征包括用户年龄、用户年龄范围、用户种族和用户性别中的至少一个。
在一个实施例中，所述标准面部结构根据满足所述一个或多个人口统计特征的个体的样本面部图像集合而定义。
在一个实施例中，所述标准面部结构根据从所述样本图像集合中的每一个提取的一个或多个标准关键特征点的平均表示而定义。
在一个实施例中，所述面部结构根据与所述样本面部图像集合中的每个图像相关联的吸引力等级的函数而定义。
在一个实施例中，所述方法还包括接收可选择的受体作为输入，其中在定义受体特定标准面部结构时针对所述一个或多个标准关键特征点应用受体特定权重，以优先吸引所述选择的受体。
在一个实施例中，所述输出包括数字化地增强所述面部图像以向其应用所述数字面部修复方案，并输出其增强数字图像表示。
在一个实施例中，所述增强数字图像包括说明所述数字面部修复方案的渐进应用的增强数字图像的有序集合。
在一个实施例中，所述输出包括用于实现所述数字面部修复方案的有序书面指令。
在一个实施例中，所述数字面部修复方案的强度是可调节的，以便输出所述面部修复方案的渐进实现。
在一个实施例中，所述图像是2D图像和3D图像之一。
在一个实施例中，所述面部修复方案包括化妆应用方案。
根据另一个方案，提供一种计算机可读介质，其中存储有用于通过硬件处理器执行、以实现上述方法中任一个的步骤的语句和指令。
根据另一个方案，提供一种基于用户的输入面部图像为所述用户自动开发面部修复方案的计算机化系统，该系统包括：图像输入接口；面部修复方案输出接口；硬件处理器；以及数据存储设备，其中存储有用于通过所述硬件处理器执行、以实现上述方法中任一个的步骤的语句和指令。
根据另一个方案，提供一种基于用户的输入面部图像为所述用户自动开发面部修复方案的计算机化系统，该系统包括：图像输入接口；面部修复方案输出接口；硬件处理器；以及数据存储设备，其上存储有：可选择的数字标准面部结构的集合；预设数字面部修复方案措施的集合，被预先建立为至少部分地调节相应面部关键特征点或其表示的视觉外观；以及语句和指令，用于通过所述硬件处理器执行以：基于作为所述图像输入接口接收的所述输入面部图像，定义所述用户的数字用户面部结构；检索所述可选择的标准面部结构中的指定面部结构；计算所述数字用户面部结构与所述标准面部结构中的所述指定面部结构之间的结构偏差；编辑所述预设数字面部修复方案措施的集合中与所述计算的偏差中的至少一些偏差相对应的子集，作为输出数字化妆方案；以及将所述数字面部修复方案输出到所述输出接口。
在一个实施例中，所述系统还包括操作性地连接到所述输入接口的图像捕获装置。
在一个实施例中，所述输入接口和所述输出接口分别包括网络可接入接口，其中，所述用户图像能经由所述输入接口上传至所述系统，并且所述化妆方案能通过通信网络从所述输出接口检索。
通过阅读以下参考附图仅通过示例给出的特定实施例的非限制性描述，本发明的其他方案、特征和/或优点将变得更加明显。
附图说明
参考附图仅通过示例提供本公开的若干实施例，其中：
图1是根据一个实施例的用于自动生成面部修复设计和应用方案以解决面部偏差的系统的高级示意图；
图2是根据一个实施例的用于自动生成面部修复设计和应用方案以解决面部偏差的处理设备的示意图；
图3A和3B分别是根据一个实施例的人脸的草图和照片，指出了可用于描述给定面部结构的各种示例性解剖学关键特征点；以及
图4是根据一个实施例的用于自动生成面部修复设计和应用方案以解决面部偏差的示例性系统数据流的示意图。
具体实施方式
根据不同的实施例，本文所述系统和方法提供了不同的示例，其中自动或半自动化系统可以用于为给定用户生成面部修复设计和应用方案，以便解决可观察的面部偏差。例如，可以从用户面部的一个或多个图像中自动识别与一个或多个固定或可定制的理想化结构面部模型相比的结构偏差。通常，可将面部结构定义为面部的特征集合，这些特征与尺度以及皮肤状况无关，而是依赖于关键特征点之间的距离比、不对称性以及类似的相关结构考虑因素。如下所述，输出的面部修复设计或计划将包括以下一个或多个的组合：用于移动或改变各种面部解剖学特征的尺寸的外科手术计划或方案、用于改变各种面部解剖学特征的外观尺寸或外观位置的化妆计划或方案以及其他技术(例如头发设计)，例如用于减少对象的面部与标准面部之间的实际差异以及察觉到的差异。
在一些实施例中，可以考虑用户的年龄、性别、种族、个人偏好和/或在统计学上统一的预期或优选的受体偏好以及类似参数，以便定义对于用户而言适当的和/或实际上可成为目标的适当的理想化的结构模型。然后可以将用户的实际的自动表征的面部结构(多个)与该模型进行比较，以识别可以通过实现用户特定结构偏差和理想化结构模型的唯一集合的、自动生成的修复设计和应用方案来解决或至少缓解可察觉的结构偏差。即，在执行输出修复设计和应用方案时，可以显著减少所识别的用户面部偏差的视觉外观，从而允许用户例如以更大的自信、更自然地参与日常活动。
与当前的化妆样式可视化应用不同，这里考虑的实施例被配置为专门和自动地考虑每个用户的特定结构以及这些结构如何偏离理想化的面部结构模型，无论是一个或多个可选择的标准的理想化结构模型还是基于各种用户偏好、特征、目标等的可选择的和/或可定制的理想化结构模型。通过这样做，系统可以自动考虑这些结构偏差并呈现适当的化妆设计和应用方案，该化妆设计和应用方案基于经过验证和可再现的面部美容和/或美学因素和特征更有可能减少这种偏差的出现，从而积极地改进用户由他们自己以及其他人所察觉的外观，并且该化妆设计和应用方案由存储的理想化面部结构模型驱动。
现在参考图1，并且根据一个实施例，描述用于自动生成面部修复设计和应用方案以解决面部偏差的系统100。在该实施例中，系统100包括图像捕获设备102或可执行以直接或间接地与图像捕获设备102的输出进行接口，该图像捕获设备102可操作以捕获给定用户的面部的一个或多个图像104。通常，利用用户面部的正面图像将最佳地操作系统，但是可以同等地、附加性或替代性地利用轮廓图像等操作，只要可以从图像充分地识别和量化用户面部的各种结构特征(例如，关键特征点位置、关键特征点之间的距离、比率等)以执行预期处理即可。如本领域技术人员将容易理解的，也可以考虑使用用户面部的3D合成图像或扫描，以及其他面部成像技术。例如，虽然在本文提供的示例中通常考虑2D图像，但是系统100可以同样地操作以从三维图像识别和处理面部关键特征点位置，三维图像例如可以从诸如计算机断层摄影装置的3D扫描仪、磁共振图像装置、激光表面扫描装置和本领域公知的其他3D扫描装置获得。如下更详细所述，系统的输出可以同样地以3D形式呈现，以便更好地说明所提及的三维的修复设计和方案。
在所示示例中，图像104随后被本地传送到本地计算设备106等以进行初始处理和可视化。可选地，一部分图像和修复设计处理可以经由适当的网络连接108卸载到远程处理服务器110等，如图所示，或者由本地处理设备106本地处理。然后将处理结果本地或远程地转发到可操作地与本地设备106相关联的显示器112，以便以一个或多个数字呈现的图像114(例如，示出所提出的修复设计和/或方案)和/或用于中继用以执行所提出的修复方案的结构化文本指令116的形式由用户进行查看。
如本领域技术人员将理解的，这里可以认为不同的图像捕获设备102提供类似的结果，如同可能适当的不同的系统架构和中间通信/网络协议。例如，在一个实施例中，可以操作独立数字相机以本地存储捕获的图像，以便随后经由有线或无线端口传输到本地计算设备106和可选的下游服务器110。在相同或替代实施例中，例如，在用于形成本地的、分布式的和/或Web实现的修复设计和方案处理应用的一部分的集成的图像捕获功能的环境中，网络摄像头可以用于直接捕获用户图像并将其中继到计算设备106和/或服务器110。在又一个实施例中，可以使用照相手机、智能手机或平板电脑来捕获用户图像以用于内部存储和处理(例如，在独立的移动应用的环境中)，和/或将用户图像经由适当的网络连接(例如，Wi-Fi、蜂窝数据、蓝牙等)中继到本地处理设备106和/或远程服务器110。如本领域技术人员将理解的，也可以考虑其他系统架构，而不脱离本公开的总体范围和性质。例如，在专业客户咨询等的背景下，专业人员及其客户可以在商业或临床环境中操作自助和/或网络使能的信息服务设备(kiosk)等。类似的实施例可以在医疗机构内实施，可能作为在扩展的医疗或手术治疗实践等的更大背景下执行的自助和/或网络辅助的应用。这些和其他这样的示例将被认为落入本公开的范围。
进一步参考图2，任何移动、本地和/或远程处理设备，单独或组合(在图2中被共同标识为处理设备200)，将被配置为处理所捕获的(一个或多个)图像104并启动自动修复设计和方案生成处理并将其结果中继/输出，以便由用户查看。通常，处理设备将包括电源202和各种输入/输出端口204，诸如：集成的、本地的和/或远程的数据输入端口，用于接收感兴趣的一个或多个图像104作为输入；一个或多个内部或中间通信端口，用于在适当时在系统的各组件之间中继图像、用户和处理数据；以及一个或多个输出端口，用于将结果输出给用户。通常还将提供集成的本地的、网络和/或远程用户接口216，以允许用户执行和操作系统100，输入各种用户偏好、选择和/或选项，以及输出各种交互结果(看情况，向用户输出各种交互结果)。可用用户接口的示例可以包括但不限于键盘或者有线或无线键盘端口、有线或无线触摸板、触摸屏、有线或无线鼠标端口、跟踪球等、以及本领域公知的其他类型的用户接口。
处理设备200还将包括一个或多个集成的、本地的和/或远程的硬件处理器206，如本领域所公知的，用于在执行感兴趣的自动化化妆设计和方案生成时处理系统的各种语句、命令、指令和输入。
处理设备(多个)200还包括一个或多个本地的和/或远程的计算机可读介质208，用于存储在执行自动化化妆设计和方案生成处理时所需的数字信息、指令和处理指令。例如，数据存储可以包括用于存储各种面部结构标准、偏好和索引210的一个或多个数据库，面部结构标准、偏好和索引210例如根据各种可用的用户可选字段和/或选项被组织在一起和/或相互关联，和/或再次地与相应的预设的、演进的和/或基于种族、性别、年龄等的可定制的标准面部结构类型、和/或基于公共的面部偏好数据处理的可选择的样式和/或趋势、可识别的名人或时尚样式/趋势等相关联。
数据存储器208通常还包括面部结构分析模块212，其可操作以从用户的图像104自动识别特定结构关键特征点，将其与所存储的、与由用户选择的或为用户选择的理想化面部结构模型相关联的关键特征点特征进行比较，并计算所捕获的用户数据中其相应的偏差。根据由模块212计算的处理偏差，可以调用适当的修复设计和方案生成模块214以产生期望的结果。下面将参考以下结合图4描述的实施例给出关于该效果的进一步细节。然后可以中继输出修复设计和方案用于显示和实施。
如本领域技术人员将理解地，可以在将用户的面部特征化和将多个面部样本(其用以计算系统的各种面部标准结构和受体偏好数据集)特征化两者时，考虑不同的面部特点和特征。下表提供了可观察的面部关键特征点的一些示例，如图3A和3B所示，其可以以各种组合用于表征用户的整体面部外观以及与一个或多个标准化数据集的偏差。如本领域技术人员将理解的，虽然该表概述了各种示例性面部关键特征点、即面部上的解剖学上可识别的点，但是其可单独地或组合地用于表征用户的面部外观、参考图像和/或标准,在不脱离本公开的总体范围和本质的情况下，还可以考虑其他关键特征点和/或其定义。
如上所述，如本领域技术人员将容易理解的，其他可观察的关键特征点也可以或者可替换地达到类似的效果，因此，上面列出的关键特征点应该仅被视为非限制性示例。
在不同的实施例中，在定义面部外观和/或偏差时，可以考虑关键特征点位置(例如，面部坐标)、距离(例如，面部照片上任意两个关键特征点之间的直线距离)和/或比率(例如，将一对关键特征点的关键特征点距离除以第二对关键特征点的关键特征点距离的结果)的不同组合。例如，可以定义标准面部坐标系以系统地表征跨用户和采样面部的面部关键特征点。在一个这样的示例中，面部坐标可以由一组具有原点的正交坐标定义，使得颔下点的垂直坐标的值为零，垂直中心线(将面部划分为两个镜像部分的垂直线)的水平坐标为零，以及发际中点、鼻根、鼻尖和颔下点的偏差的绝对值之和加上对称对的水平坐标之和的绝对值为最小。这些坐标可以单独使用或与其他定义的面部特征组合使用，以表征关键特征点、对称对(例如，在面部的左侧和右侧出现的成对的解剖学点)等。
如上所述，根据一些实施例，然后，例如基于通过其一维矢量表示来表示的一个或多个关键特征点距离和/或比率，可将面部矢量根据这些识别的关键特征点/位置而定义。此外或者替代性地，例如可将其他关键特征点导出的矢量定义为水平配对不对称矢量、垂直配对不对称矢量以及中心线不对称矢量，其中，水平配对不对称矢量由其元素通过计算从每个对称对到垂直中心线的距离与从鼻根到颔下点(或者另一个关键特征点对)的距离之间的比率来形成的一维矢量定义，垂直配对不对称矢量由其元素通过计算对称对的每个元素之间的垂直距离与从鼻根到颔下点(或者另一个关键特征点对)的距离之间的比率来形成的一维矢量定义，中心线不对称矢量由其元素通过计算从应当自然落在垂直中心线上的关键特征点的垂直中心线开始的水平位移与从鼻根到颔下点(或者另一个关键特征点对)的距离之间的比率来形成的一维矢量定义。
根据以上定义并根据一个实施例，可将标准矢量定义为其元素是给定群体的成员的平均关键特征点比率和/或距离的一维矢量，给定群体的成员可以作为整体选择，也可以作为来自该给定群体的以下成员的子集选择：这些成员通过排名个体的随机样本等等与最高排名相关联。在这种情况下，可将给定群体表征为标准群体，如下所示，其中将该标准群体的成员识别为共有一组相同的一个或多个特征，例如性别、年龄组和种族。类似地，可将标准偏差矢量定义为其元素通过计算被选择为形成标准矢量的、标准群体的那些成员的面部矢量的元素的标准偏差来形成的一维矢量。如本领域技术人员将理解的，在不脱离本公开的一般范围和本质的情况下，还可以考虑其他标准群体矢量定义。
如下所述，基于所选择的标准特定矢量和对应的用户矢量，可将偏差矢量定义为表示用户的面部关键特征点与对于感兴趣的群体定义的理想化关键特征点之间的偏差，这些偏差可以用作建立所提议的用于解决或至少部分缓解这些偏差的一部分的修复设计和方案的基础。
为了进一步改进或强调感兴趣的特定面部外观，可以考虑许多受体特定合格者，以便增强或促进特定目标受体的期望结果。例如，用户可能希望效仿所选择的标准群体(这个群体可能或多或少地与他们自己的人口统计特征(例如年龄、性别、种族)相对应)的理想外观或平均最高排名外观，同时还希望对于已知或预测为对特定受体(也就是共有某些受体人口统计特征的个体所组成的受体，例如年轻的北美男性，30至35岁年龄组的韩国女性等)而言最具吸引力或者最重要的特定面部特征和/或关键特征点增强这种特定的理想化。因此，还可以定义受体矢量，其元素由对于感兴趣的标准群体定义的面部矢量的每个元素的相对重要性形成。换句话说，可将期望的受体矢量选择为对目标标准群体矢量的理想化面部矢量元素应用适当的权重，从而在优选感兴趣的期望受体的特定偏好时相对于其他元素对应地优选某些标准面部矢量元素。在一个实施例中，受体矢量的元素等于多元回归的多元回归系数，其中样本面部的面部矢量的元素作为预测因子，吸引力等级作为预测。
示例
下面描述如上所述的面部修复设计和方案生成方法和系统的一个示例性实施例。在该示例中提供在图4中一般性示出的系统，以对于每个给定用户自动生成修复计划输出610，这个计划将改变该用户面部的外观，使得其外观更接近于通过该用户选择和/或对于该用户选择的一个或多个标准面部结构和/或受体面部特征数据集所定义的外观。
通常，系统将首先要求执行标准化处理，由此可以由本地、共享或网络处理器410构建和填充预设标准490的系统数据库510，以根据选择的或预设的理想提供用于评估用户外观偏差的比较基础，并且生成修复设计和方案以至少部分地解决这种偏差。在该说明性示例中，系统数据集填充如下。
首先从一个或多个目标群体人口统计特征收集样本面部图像的集合，以形成相应的目标群体特定标准，每个群组由特定性别、年龄范围、种族起源等的多个人员表示。每个标准群体通常由形成这种面部图像的集合M的面部图像的大样本表示。基于图像集合的这个样本，可以为每个集合M中的每个样本定义和编辑面部结构的对应集合。例如，在一个实施例中，可将图像处理模块用于在每个图像中自动指出面部关键特征点，可选地包括一系列随机定向的面部图像，并将相应的面部结构确定为到这些关键特征点和/或这些关键特征点之间的面部矢量。在一些实施方式中，可以提供用户接口，以允许用户调节自动识别的关键特征点的位置(也就是调节错位的关键特征点的位置)，从而优化所生成的结构面部矢量的准确性。在其他实施例中，用户可经由该接口手动识别某些面部关键特征点，用于相应面部矢量的后续处理。
给定集合M中的每个样本一经处理，就可以选择随机受体来评估每个样本图像的吸引力并为其分配相应的吸引力等级，用于进一步处理。根据编辑的受体等级，可以为集合中的每个面部图像样本定义整体吸引力得分。在一个实施例中，将这个得分定义为H(R)，其中R是由随机受体分配给特定图像的吸引力等级的集合，并且其中其中n是评估者的数量，ri是第i个评估者给与特定面部的等级。然后可将总体吸引力得分用于选择M中样本的子集，以对于该集合定义理想化标准结构特征。如本领域技术人员将理解的，该子集中的样本数量可以根据预期结果而变化，范围从一个或几个理想化的目标样本(在这种情况下，吸引力得分会起到特别重要的作用)到整个集合(当寻求生成平均或一般群体理想时，为此吸引力得分会起到最无足轻重的作用)。因此，子集可通过吸引力阈值或者再次通过所需样本的预设子集数量来定义，或者可选地依赖于权重或者相对影响比例，从而对于那些已经接收更高的总体吸引力得分的样本应用更高的重要性。
在这个特定示例中，对于为M定义的给定群体，将该集合中最高得分样本图像的子集用于形成结构面部标准，在一个实施例中，将其中的每个结构元素定义为G(Si’)，其中Si’是对于M中的每个面部定义的面部结构的第i个元素。在这个特定示例中，将G(Si’)视为整个子集上Si’的平均值，在其他情况下，可将其表示为其中Si’是M中最具吸引力的面部的面部结构的第i个元素的集合，k是Si’面部矢量的第k个元素。
在另一个示例中，可以识别一个或多个受体特定偏好，以校准不同的面部结构对结构特征的选择可能具有的影响或相对重要性，从而在定义特定标准时优选，这会导致受体特定的、加权的或者受影响的标准的集合扩展。因此，用户以后在定制为其设计修复输出方案中主要要解决的面部特征、外观和/或样式时，可以识别这些受体偏好的一个或多个。因此，可以基于不同的受体特征对于相同的样本集合表征不同的理想化面部结构集合。在这样做时，通过在对于每个采样的面部确定吸引力得分时计算面部结构的每个元素的相对重要性，系统可以自动计算并将受体特征与集合M中的图像相关联。这些相对值例如可以是多元回归分析的系数，其中面部结构的元素作为预测因子，吸引力等级作为预测。例如在一个实施例中，可将给定标准的每个结构元素的相对重要性计算为γ(β，α)，其中γ(β，α)是将β(M的元素的面部结构的集合)作为预测因子，将α(M的元素的吸引力等级)作为预测的多元回归，以形成受体特征的集合集合可以表示为其元素是来自γ(β，α)的系数的受体矢量。
通过系统的群体特定理想化吸引力面部结构标准以及计算和存储的被受体影响的偏好(可选的)，可以操作系统来自动评估用户图像，以识别与这些标准结构和/或受体偏好的偏差，并生成建议的修复设计和方案来解决这些识别的偏差，从而将用户的面部外观与所选择的标准和/或偏好(多个)更好地对齐。
如上所述，接收对象面部的合适图像以及所选择的标准、可选的样式和/或优选受体，作为给输入模块440的输入420，例如部分地、直接地或间接地从集成或接入数据捕获接口430中继。用户选项可以包括但不限于选择的标准群体、受体和可选的化妆样式、以及各种可选的用户偏好选项，其可以包括搜索和选择一个或多个已知的面部结构(例如，名人、政治家、运动员等)，以找到具有与用户最接近的匹配面部结构的名人或多个名人。该搜索和识别可通过用户和/或对象手动执行，或者再次自动实施，向用户给出推荐以供考虑。在选择给定的一个或多个名人结构作为感兴趣的标准结构的基础或者对于感兴趣的标准结构的影响时，对象的输出修复设计和方案可以产生与所选名人相似的结果外观。
然后，将图像数据450中继到关键特征点位置模块460，使得可以确定所获取图像的面部结构，例如以上对于样本图像集合(多个)所述并且出于比较目的而存储的。同样，可以提供关键特征点调节接口455，以允许用户调节自动识别的关键特征点420的位置，从而输出要通过面部评估模块520处理的优化结构关键特征点数据480。
在一个示例中，执行面部评估模块520，以确定用户的面部结构与感兴趣的标准结构之间的差异，其细节从数据库510访问。例如，可以定义一个或多个偏差矢量D，其中计算第i个元素di以定义与所选标准的相应元素的特定用户偏差。例如，可将偏差矢量定义为一维矢量，其元素di由F(S,U)形成，其中S是标准矢量，U是用户矢量，并且定义为：
其中例如，di是偏差矢量的第i个元素，Si是标准矢量第i个元素的值，ui是用户矢量第i个元素的值。或者，可将标准偏差矢量定义为一维矢量，其元素ti通过计算选择为形成标准矢量的标准群体的那些成员的面部矢量的元素的标准偏差而形成，并且定义为：
其中例如，ti是用户-标准偏差矢量D的第i个元素(以下称为标准偏差矢量)，Si是标准矢量第i个元素的值，ui是用户矢量的第i个元素，而σi是标准基本集合标准偏差矢量的第i个元素。
附加性或替代性的面部评估例如可以包括但不限于：水平配对不对称矢量(也就是被定义为其元素通过计算从每个对称对到垂直中心线的距离与从鼻根到颔下点(或者另一个关键特征点对)的距离之间的比率来形成的一维矢量)、垂直配对不对称矢量(也就是被定义为其元素通过计算对称对的每个元素之间的垂直距离与从鼻根到颔下点(或者另一个关键特征点对)的距离之间的比率来形成的一维矢量)、以及中心线不对称矢量(也就是被定义为其元素通过计算从应当自然落入垂直中心线的关键特征点(例如鼻根和鼻前点)的垂直中心线开始的水平位移与从鼻根到颔下点(或者另一个关键特征点对)的距离之间的比率来形成的一维矢量)的计算。
用户的各种结构偏差530一经计算并存储，就可以将它们连同所选择的标准一起中继到面部修复计划生成器540，以调用面部修复计划580的自动构建，面部修复计划580将至少部分地解决这些偏差的一部分，以尽可能与所选择的标准接近地呈现用户的外观。在以下示例中，将校正表示为集合其中D是根据标准计算的偏差的集合，是用户选择的可选受体特定特征(多个)，如上所述。
为了计算结构校正，基于通过应用以下等式之一计算的偏差顺序值oi来排序偏差矢量D的元素di：
其中oi是第i个偏差的阶数，ai是第i个偏差的多元回归系数，di是使用等式(1)计算的偏差矢量D的第i个元素；或者
其中Oi是第i个偏差的阶数，ai是第i个偏差的多元回归系数，ti是使用等式(2)计算的偏差矢量D的第i个元素；或者
其中Oi是第i个偏差的阶数，ai是第i个偏差的多元回归系数，si是标准矢量第i个元素的值，ui是用户矢量的第i个元素，而σi是标准基本集合标准偏差矢量的第i个元素。
在其他实施例中，系统还可以通过O(di，vi)的值将偏差矢量和不对称矢量的元素都排序，来调用计算的不对称矢量，大体就像上面在等式3至5中所考虑的那样，其中di是偏差矢量的第i个元素，vi是不对称矢量第i个元素的集合。
一旦如上所述将偏差和/或不对称排序，就可以选择这些偏差的子集，以提出可能有助于解决这些选择的偏差的适当面部修复措施。换句话说，系统将自动定制其输出，以首先解决排名最高的偏差，也就是指示面部修复措施的应用与相应的偏差或不对称程度成比例，从而对用户的面貌产生最大的影响，使其更接近符合所选择的标准和可选的受体。即，所提出的修复措施将具有以下效果：实际地或者有效地在视觉上移动对象面部(例如眼睛、下巴、颧骨等)的解剖学特征的位置或尺寸，从而更好地与所选择的标准和/或受体对齐。
在一个特定实施例中，系统实现有序偏差和不对称到修复措施的非满射映射、非单射映射，使得从特定偏差或不对称映射的修复措施的应用将减少实际偏差或者这种偏差或不对称的外观。在这样做时，系统的修复应用器和指令生成器590有效地请求(560)数据库510中存储的适当的预设修复措施550(该措施可以根据理想化标准至少部分地解决所处理的偏差530)，并且在该示例中，输出(600)用于指导修复措施的书面指令的结构化集合以及用于显示所提议的修复设计和方案对于用户的整体面貌610应当产生的影响的用户原始图像的增强再现这两者。例如，面部修复应用器和指令生成器590可以自动改变用户的面部图像，从而结合面部修复计划，以便连同用于应用面部修复计划的指令列表一起，向用户显示将化妆计划应用于他或她的面部的结果。
在一个特定实施例中，通过数字地拉伸输出化妆措施550以匹配对象面部的结构，然后依次将每个拉伸的化妆措施与对象的图像组合以在输出610中呈现最终图像600，来改变用户的图像。因此，结果面部图像在表现由化妆措施的着色组合定义的结果着色的同时，可以具有与对象面部相同的基础结构。因此，该方法允许系统利用应用于图像的化妆措施来构建对象面部的图像，从而在用户评估输出并了解如何实现输出设计和方案时，演示化妆计划对于对象外观的影响。
在一些实施例中，所提出的化妆措施可包括强度的若干程度，例如，在对象因此转变其外观时，允许化妆效果的渐变应用。
虽然本公开描述了各种示例性实施例，但是本公开不限于此。相反，本公开旨在涵盖包括在本公开一般范围内的各种修改和等同布置。

Claims (23)

1.一种基于用户的输入面部图像为所述用户自动开发面部修复方案的计算机化方法，该方法包括：
基于所述输入面部图像来定义所述用户的数字用户面部结构；
从可访问的数据存储器中检索指定的数字标准面部结构；
计算所述数字用户面部结构与所述指定的标准面部结构之间的结构偏差；
从所述可访问的数据存储器中检索与至少一些所述计算的偏差相对应的预设数字面部修复方案措施，其中所述一个或多个预设面部修复方案措施已经被预先建立为至少部分地减少相应结构偏差的视觉外观；以及
根据所述预设数字化妆方案措施输出数字修复方案。
2.根据权利要求1所述的方法，其中：
所述定义所述数字用户面部结构包括从所述输入面部图像中自动识别预设结构关键特征点的用户集合并定义其数字用户关键特征点表示；
所述指定的数字标准面部结构包括预设结构关键特征点的相应标准集合的相应标准关键特征点表示；以及
所述计算包括计算所述用户关键特征点表示与所述标准关键特征点表示之间的偏差。
3.如权利要求2所述的方法，其中所述用户关键特征点表示由构成的用户关键特征点比率的用户矢量定义，并且其中所述标准关键特征点表示由构成的标准关键特征点比率的标准矢量定义。
4.如权利要求3所述的方法，其中所述偏差由偏差矢量表示。
5.如权利要求4所述的方法，其中所述偏差还由表示从所述用户面部结构识别的计算的不对称性的不对称矢量表示。
6.如权利要求1至5中任一项所述的方法，其中，所述结构偏差是自动排序的，并且其中，检索所述预设数字化妆方案措施，以便解决所述偏差的最高有序子集。
7.如权利要求1至6中任一项所述的方法，其中，所述标准面部结构是可选择的，以与一个或多个用户人口统计特征相对应。
8.如权利要求7所述的方法，其中，所述一个或多个用户人口统计特征包括用户年龄、用户年龄范围、用户种族和用户性别中的至少一个。
9.如权利要求7或8所述的方法，其中所述标准面部结构根据满足所述一个或多个人口统计特征的个体的样本面部图像集合而定义。
10.如权利要求9所述的方法，其中所述标准面部结构根据从所述样本图像集合中的每一个提取的一个或多个标准关键特征点的平均表示而定义。
11.如权利要求9或10所述的方法，其中所述面部结构根据与所述样本面部图像集合中的每个样本面部图像相关联的吸引力等级而定义。
12.如权利要求9至11中任一项所述的方法，还包括接收可选择的受体作为输入，其中在定义受体特定标准面部结构时针对所述一个或多个标准关键特征点应用受体特定权重，以优先吸引所述选择的受体。
13.如权利要求1至12中任一项所述的方法，其中，所述输出包括数字化地增强所述面部图像以向其应用所述数字面部修复方案，并输出其增强数字图像表示。
14.如权利要求13所述的方法，其中，所述增强数字图像包括说明所述数字面部修复方案的渐进应用的增强数字图像的有序集合。
15.如权利要求1至14中任一项所述的方法，其中，所述输出包括用于实现所述数字面部修复方案的有序书面指令。
16.如权利要求13至15中任一项所述的方法，其中所述数字化妆方案的强度是可调节的，以便输出所述面部修复方案的渐进实现。
17.如权利要求1至16中任一项所述的方法，其中，所述图像是2D图像和3D图像之一。
18.如权利要求1至17中任一项所述的方法，其中所述面部修复方案包括化妆应用方案。
19.一种计算机可读介质，其中存储有用于通过硬件处理器执行、以实现权利要求1至18中任一项的步骤的语句和指令。
20.一种基于用户的输入面部图像为所述用户自动开发面部修复方案的计算机化系统，该系统包括：
图像输入接口；
面部修复方案输出接口；
硬件处理器；以及
数据存储设备，其上存储有：
可选择的数字标准面部结构的集合；
预设数字面部修复方案措施的集合，其被预先建立为至少部分地调节相应面部关键特征点或其表示的视觉外观；以及
语句和指令，用于通过所述硬件处理器执行以：
基于在所述图像输入接口接收的所述输入面部图像，定义所述用户的数字用户面部结构；
检索所述可选择的标准面部结构中的指定的标准面部结构；
计算所述数字用户面部结构与所述标准面部结构中的所述指定的标准面部结构之间的结构偏差；
编辑所述预设数字面部修复方案措施的集合中与所述计算的偏差中的至少一些偏差相对应的子集，作为输出数字化妆方案；以及
将所述数字面部修复方案输出到所述输出接口。
21.如权利要求20所述的系统，还包括操作性地连接到所述输入接口的图像捕获装置。
22.如权利要求20所述的系统，其中，所述输入接口和所述输出接口分别包括网络可接入接口，其中，所述用户图像能够经由所述输入接口上传至所述系统，并且所述化妆方案能够通过通信网络从所述输出接口检索。
23.一种基于用户的输入面部图像为所述用户自动开发面部修复方案的计算机化系统，该系统包括：
图像输入接口；
面部修复方案输出接口；
硬件处理器；以及
数据存储设备，其中存储有用于通过所述硬件处理器执行、以实现权利要求1至18中任一项的步骤的语句和指令。
CN201780038267.1A 2016-06-21 2017-05-16 用于自动生成面部修复设计和应用方案以解决可观察的面部偏差的系统和方法 Pending CN109310475A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CA2933799A CA2933799A1 (en) 2016-06-21 2016-06-21 System and method for automatically generating a facial remediation design and application protocol to address observable facial deviations
CA2933799 2016-06-21
PCT/CA2017/050580 WO2017219123A1 (en) 2016-06-21 2017-05-16 System and method for automatically generating a facial remediation design and application protocol to address observable facial deviations

Publications (1)

Publication Number Publication Date
CN109310475A true CN109310475A (zh) 2019-02-05

Family

ID=60763707

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780038267.1A Pending CN109310475A (zh) 2016-06-21 2017-05-16 用于自动生成面部修复设计和应用方案以解决可观察的面部偏差的系统和方法

Country Status (5)

Country Link
US (1) US10751129B2 (zh)
KR (1) KR102224596B1 (zh)
CN (1) CN109310475A (zh)
CA (1) CA2933799A1 (zh)
WO (1) WO2017219123A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109806004A (zh) * 2019-03-18 2019-05-28 汪俊霞 一种基于云数据技术的手术机器人系统及操作方法
CN110335207A (zh) * 2019-06-04 2019-10-15 苏州浩哥文化传播有限公司 一种基于群像选择的智能影像优化方法及其系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210081526A (ko) 2019-12-24 2021-07-02 엠더블유엔테크 주식회사 가상 미용 성형 장치

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101371272A (zh) * 2006-01-17 2009-02-18 株式会社资生堂 化妆模拟系统，化妆模拟装置，化妆模拟方法，以及化妆模拟程序
CN101673475A (zh) * 2009-09-15 2010-03-17 宇龙计算机通信科技(深圳)有限公司 一种在终端上实现化妆指导的方法、设备及系统
US20110270044A1 (en) * 2010-05-03 2011-11-03 Ron Kimmel Surgery planning based on predicted results
WO2013005447A1 (ja) * 2011-07-07 2013-01-10 花王株式会社 顔印象分析方法、美容カウンセリング方法および顔画像生成方法
US20130173235A1 (en) * 2010-05-21 2013-07-04 My Orthodontics Pty Ltd Prediction of post-procedural appearance
US20150351638A1 (en) * 2013-01-23 2015-12-10 Aldo Amato Procedure for dental aesthetic analysis of the smile area and for facilitating the identification of dental aesthetic treatments
CN105160312A (zh) * 2015-08-27 2015-12-16 南京信息工程大学 基于人脸相似度匹配的明星脸装扮推荐方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5659625A (en) * 1992-06-04 1997-08-19 Marquardt; Stephen R. Method and apparatus for analyzing facial configurations and components
DE19757773A1 (de) * 1997-12-24 1999-07-01 Bernward Maehner Verfahren zur dreidimensionalen, detaillierten Simulation plastischer Veränderungen an menschlichen Körperpartien
KR20010082779A (ko) * 2001-05-26 2001-08-31 이경환 이미지 데이터를 이용한 아바타 제작 방법 및 아바타를이용한 에이전트 시스템
JP2006260198A (ja) * 2005-03-17 2006-09-28 Toshiba Corp 仮想化粧装置、仮想化粧方法および仮想化粧プログラム
KR100986101B1 (ko) * 2008-05-30 2010-10-08 이승철 얼굴 분석 서비스 제공 방법 및 장치
KR101385599B1 (ko) * 2012-09-26 2014-04-16 한국과학기술연구원 몽타주 추론 방법 및 장치
FR2998402B1 (fr) * 2012-11-20 2014-11-14 Morpho Procede de generation d'un modele de visage en trois dimensions
US10667697B2 (en) * 2015-06-14 2020-06-02 Facense Ltd. Identification of posture-related syncope using head-mounted sensors

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101371272A (zh) * 2006-01-17 2009-02-18 株式会社资生堂 化妆模拟系统，化妆模拟装置，化妆模拟方法，以及化妆模拟程序
CN101673475A (zh) * 2009-09-15 2010-03-17 宇龙计算机通信科技(深圳)有限公司 一种在终端上实现化妆指导的方法、设备及系统
US20110270044A1 (en) * 2010-05-03 2011-11-03 Ron Kimmel Surgery planning based on predicted results
US20130173235A1 (en) * 2010-05-21 2013-07-04 My Orthodontics Pty Ltd Prediction of post-procedural appearance
WO2013005447A1 (ja) * 2011-07-07 2013-01-10 花王株式会社 顔印象分析方法、美容カウンセリング方法および顔画像生成方法
US20150351638A1 (en) * 2013-01-23 2015-12-10 Aldo Amato Procedure for dental aesthetic analysis of the smile area and for facilitating the identification of dental aesthetic treatments
CN105160312A (zh) * 2015-08-27 2015-12-16 南京信息工程大学 基于人脸相似度匹配的明星脸装扮推荐方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109806004A (zh) * 2019-03-18 2019-05-28 汪俊霞 一种基于云数据技术的手术机器人系统及操作方法
CN110335207A (zh) * 2019-06-04 2019-10-15 苏州浩哥文化传播有限公司 一种基于群像选择的智能影像优化方法及其系统
CN110335207B (zh) * 2019-06-04 2022-01-21 重庆七腾科技有限公司 一种基于群像选择的智能影像优化方法及其系统

Also Published As

Publication number Publication date
KR20190042493A (ko) 2019-04-24
KR102224596B1 (ko) 2021-03-09
US10751129B2 (en) 2020-08-25
WO2017219123A1 (en) 2017-12-28
US20190254748A1 (en) 2019-08-22
CA2933799A1 (en) 2017-12-21

Similar Documents

Publication Publication Date Title
US11501363B2 (en) 3D platform for aesthetic simulation
CN109310196B (zh) 化妆辅助装置以及化妆辅助方法
US11010896B2 (en) Methods and systems for generating 3D datasets to train deep learning networks for measurements estimation
Hong et al. Interactive virtual try-on based three-dimensional garment block design for disabled people of scoliosis type
US20100312143A1 (en) Human body measurement system and information provision method using the same
CN110491480A (zh) 一种医疗图像处理方法、装置、电子医疗设备和存储介质
EP1298587A2 (en) Body image enhancement
US9262669B2 (en) Systems and methods for using curvatures to analyze facial and body features
Cvetkoska et al. Smart mirror E-health assistant—Posture analyze algorithm proposed model for upright posture
CN108538375A (zh) 基于人工智能和小程序的整形美容机构运营系统
CN109310475A (zh) 用于自动生成面部修复设计和应用方案以解决可观察的面部偏差的系统和方法
EP3574837A1 (en) Medical information virtual reality server system, medical information virtual reality program, medical information virtual reality system, method of creating medical information virtual reality data, and medical information virtual reality data
WO2020169214A1 (en) Machine-implemented beauty assistant for predicting face aging
KR20180110842A (ko) 가상체험을 기반으로 하는 고객 맞춤형 반영구화장 시술 추천시스템 및 그 서비스 방법
KR20070122042A (ko) 사용자 특성반영 가상캐릭터 시뮬레이션 시스템
KR20220000851A (ko) 딥러닝 기술을 활용한 피부과 시술 추천 시스템 및 방법
KR102267688B1 (ko) 모발 자가진단 정확성을 향상시킨 어플리케이션 실행 방법
JP7095849B1 (ja) アイウェア仮想試着システム、アイウェア選定システム、アイウェア試着システムおよびアイウェア分類システム
JP2015219698A (ja) パーツの影響度に基づいて感情を推定する装置、プログラム及び方法
KR20240009440A (ko) 컴퓨터-기반 신체 부위 분석 방법들 및 시스템들
Mukthar FitCraft-Redefining Tailoring Precision Through Advanced Computer Vision and Machine Learning Integration
KR20240033355A (ko) 스마트 컨디션 케어 시스템
Sarret UNDERGRADUATE PROJECT REPORT
CN111797775A (zh) 形象设计的推荐方法、设备和智能镜

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190205