CN111066060B - 虚拟面部化妆去除和模拟、快速面部检测和地标跟踪 - Google Patents

虚拟面部化妆去除和模拟、快速面部检测和地标跟踪 Download PDF

Info

Publication number
CN111066060B
CN111066060B CN201880042814.8A CN201880042814A CN111066060B CN 111066060 B CN111066060 B CN 111066060B CN 201880042814 A CN201880042814 A CN 201880042814A CN 111066060 B CN111066060 B CN 111066060B
Authority
CN
China
Prior art keywords
image
region
makeup
color
facial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880042814.8A
Other languages
English (en)
Other versions
CN111066060A (zh
Inventor
付昀
王舒旸
李洙旻
姜淞耀
孙彬
毛海轶
启镐.E.张
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shiseido Co Ltd
Original Assignee
Shiseido Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shiseido Co Ltd filed Critical Shiseido Co Ltd
Publication of CN111066060A publication Critical patent/CN111066060A/zh
Application granted granted Critical
Publication of CN111066060B publication Critical patent/CN111066060B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D44/005—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms for selecting or displaying personal cosmetic colours or hairstyle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/80—Shading
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

通过化妆去除和化妆附加、最终效果和模拟纹理来提供虚拟面部化妆模拟。为了虚拟地去除面部化妆，提供了在其上施加了化妆的用户的面部图像；从面部图像区域中定位面部地标，将区域分解为通道，将所述通道馈入直方图匹配以获得在该区域中没有化妆的图像，并将其他区域转换为颜色通道，将其在不同光照条件下馈入直方图匹配以获得没有化妆的第二图像，并形成在面部区域去除了化妆的结果图像。在具有脸部的输入图像上虚拟地生成输出效果，以创建对面部图像的嘴唇区域的动态纹理。基于经过训练的神经网络模型推荐化妆。提供快速面部检测和地标跟踪以减少与快速移动相关的滞后并减少由于缺乏运动而产生的抖动。使用高斯混合模型提供了先进的地标定位和特征检测。

Description

虚拟面部化妆去除和模拟、快速面部检测和地标跟踪
相关申请的交叉引用
根据35U.S.C§119(e)，本非临时专利申请要求来自2017年7月13日提交的美国临时专利申请第62/531,929号的权益，其全部公开内容通过引用并入本文。
发明背景
技术领域
本公开涉及用于虚拟面部化妆模拟的系统和方法，包括用于虚拟地去除化妆以及将化妆和化妆效果施加到用户图像的方法。本公开进一步涉及用于使用神经网络进行虚拟面部化妆模拟的系统和方法。本公开还涉及用于改善虚拟面部化妆模拟的各种方法和系统，包括虚拟化妆教程、化妆建议、使用颜色图和标准自动调节亮度和颜色校准、快速面部地标检测和跟踪以及一种解决与快速面部移动相关的滞后问题以及与用户在视频中保持静止相关的地标抖动问题的方法。
背景技术
面部化妆在我们的日常生活和社交网络中无处不在。随着电子商务、智能电话和增强现实技术的迅速发展，虚拟化妆试用应用程序现在已经投放市场，允许消费者查看特定的化妆产品，如同这些产品被应用于消费者后期望看到的样子，而不必实际应用化妆产品。然而，由于受到在某些情况下可能已经应用于用户的现有化妆的影响，现有的虚拟系统存在不一致的问题。如果用户已经在其脸部施加了化妆，则虚拟系统只能将其虚拟化妆的应用原样覆盖在脸部，并且如果已经在用户上施加了化妆，则可能导致错误、不一致或不逼真的结果。
已知虚拟镜系统用于在线改变物体或消费者物品(诸如衣服)的外观。这些系统着重于物体形状和颜色更换或衣服的覆盖。在美国专利号为7,948,481中描述了这种技术的例子。
针对化妆品以及针对用户脸部的各种化妆品的“虚拟试用”，已经开发了类似的覆盖方法。这些方法结合了来自主服务器的面部识别软件，以识别来自用户服务器的数字图像上的面部特征。然后，可以将检测到的面部特征(例如眼睛、嘴唇等)与来自特定化妆品的像素图像覆盖在一起。参见例如，美国专利号8,498,456。
随着时间的流逝，此类系统已得到改进，以实现更高的准确性。例如，捕获图像并且可以通过使用来自用户的捕获图像数据和来自增强面部图像的数据的数据库来增强图像以进行虚拟试用，这些数据在数学上被覆盖并与捕获图像匹配以创建增强图像，如在美国专利申请公开号2016/0196665A1中描述的。
如美国专利No.8,265,351中所描述的，还使用面部识别软件来对特征进行匹配和数字增强以创建增强的外观，例如“虚拟瘦脸”。
为了获得更高的准确性和更好的最终结果，在虚拟试用区域进行了进一步的改进。例如，在美国专利公开号2017/0076474A1中描述了一种虚拟系统，该虚拟系统具有用于检测和去除用户脸部的化妆的方法和系统。该系统检测化妆的类型，并基于化妆的用户数据库和没有化妆的用户数据库，从而去除用户的化妆。
尽管这种技术继续改进，但是本领域中需要通过消除现有化妆的潜在存在的影响以及增强在虚拟环境中去除和施加化妆的技术来在最终结果中获得更大的一致性和逼真的着色。这样的系统所获得的最终结果越准确和逼真，对于消费者来说是可行的替代选择，它们就越有用。此外，尽管面部地标检测在增强现实、虚拟现实、人机交互等方面提出了许多潜在的有吸引力的应用程序，但是现在有一些应用程序使人们试用虚拟化妆并使用某些端点作为面部地标来识别脸部，从准确性的角度来看，这种开发技术仍然存在问题。例如，使用这些技术时，总是存在两个严重影响视频中此类应用程序性能的主要问题：抖动问题和滞后问题。
可能出现的另一个问题是，可能存在被遮挡的地标，该被遮挡的地标不希望在图像中显示，或者该被遮挡的地标使传统地标技术的应用程序变得难以应用，例如，很难从面部检测和修改扭曲的笑容或皱褶的亲吻表情。嘴唇区域上的其他遮挡物，例如指尖、牙齿、舌头或覆盖嘴唇的其他物体，使得这种标准的面部识别或检测技术难以使用。
因此，在本领域中不仅需要通过消除试用中现有化妆的影响或潜在影响来获得一致性和逼真的颜色，还需要一种平滑的视频以使用更准确的面部地标、真实的颜色和亮度更好地检测和识别，避免了与滞后和抖动有关的问题以及视频中出现的问题，以及找到一种能够克服使用地标和其他问题时与被遮挡区域相关的问题的技术。本领域中还需要为用户提供与虚拟试用系统交互的更有用且更简化的方式，并显示比通过简单的颜色叠加所能实现的更为逼真的效果。
发明内容
在本文的一个实施例中，本发明包括一种虚拟地去除面部化妆的方法，包括：提供用户的面部图像，该面部图像上施加有化妆；从用户的面部图像中定位面部地标，面部地标至少包括第一区域和不同于第一区域的第二区域；将面部图像的第一区域分解为第一通道；将第一区域的第一通道馈入直方图匹配以获得在第一区域中去除了化妆的第一图像；将面部图像的第二区域转换为颜色通道；在不同光照条件下，将颜色通道馈入直方图匹配中，以获得在第二区域中去除了化妆的第二图像；组合第一图像和第二图像以形成从第一区域和第二区域去除了化妆的结果面部图像。
在这种方法中，第一通道可以包括反射通道和阴影通道。反射通道可以包括面部图像的材料依赖特性，而阴影通道可以包括面部图像的光依赖特性。反射通道优选地仅包含一种颜色，并且阴影通道优选地保留第一区域的形状信息。
该方法中的第一区域优选地包括眼睛区域，第二区域优选地包括嘴唇区域。在将第一区域的第一通道馈入直方图映射之前，第一区域中的化妆类型优选地不同于在将面部图像的第二区域转换为颜色通道之前的第二区域中的化妆类型。颜色通道可以包括色调通道、饱和度通道和值通道。
在另一个实施例中，将颜色通道馈入直方图匹配包括：提供面部图像的数据集，在不同的光照条件下，每个面部图像的相应第二区域中没有化妆，并且包括预定义的直方图；以及将不同光照条件下的一个或多个颜色通道的直方图与预定义的直方图中对应的一个相匹配以获得第二图像。在一实施例中，颜色通道是值通道和/或饱和度通道。
本发明还包括一种用于虚拟地去除面部化妆的方法，包括：提供用户的面部图像，该面部图像上施加有化妆；在用户的面部图像的区域中定位面部地标；将面部图像区域分解为分离的通道；以及将所述区域中的分离的通道馈入直方图匹配以获得在该区域中去除了化妆的结果图像；
在该实施例中，用户的面部图像的区域优选地包括眼睛区域。在分解图像之前，用户面部图像上的化妆可以包括眼妆。分离的通道可以包括反射通道和阴影通道。反射通道可以包括面部图像的材料依赖特性，而阴影通道可以包括面部图像的光依赖特性。反射通道优选地仅包含一种颜色，并且阴影通道优选地保留第一区域的形状信息。
本发明还包括一种用于虚拟地去除面部化妆的方法，包括：提供用户的面部图像，该面部图像上施加有化妆；在用户的面部图像的区域中定位面部地标；将面部图像的所述区域转换为颜色通道；并在不同的光照条件下将颜色通道送入直方图匹配中，以获得去除了该区域的化妆的结果图像。
在该方法实施例中，用户的面部图像的所述区域优选地包括嘴唇区域。在将面部图像的区域转换为颜色通道之前，所述面部图像上的化妆也优选是口红或唇彩。颜色通道可以包括色调通道、饱和度通道和值通道。将颜色通道馈入直方图匹配的步骤可以包括：提供没有化妆的面部图像数据集，包括预定义的直方图；以及将不同光照条件下的颜色通道的直方图与预定义的直方图中对应的一个相匹配以获得第二图像。在本发明的一个实施例中，颜色通道是值通道和/或饱和度通道。
在本实施例中，该方法还可以包括：在不同光照条件下收集肤色数据集，与标准唇色相比，对于这种不同光照条件，其具有相应唇色偏移；从用户的图像中提取输入的肤色；在特定光照条件下，检测输入肤色的相应唇色偏移；以及提供最终的修改后的唇色以用作从用户的面部图像的第一区域中去除的唇色，其中最终的修改后的唇色具有检测到的色移。
在本发明的范围内的还有一种用于从输入图像中检测和去除化妆的系统，其中该系统被配置为能够：从用户界面接收施加了化妆的输入图像；从用户的面部图像至少在第一区域中和/或与第一区域不同的第二区域中定位面部地标，其中，第一区域包括化妆，和/或第二区域包括化妆；如果第一区域被定位，则将面部图像的第一区域分解为第一通道，并使用参考直方图将第一区域的第一通道馈入直方图匹配，所述参考直方图来自每个都没有化妆的脸部直方图数据集，以获得在第一区域中去除了化妆的第一图像和/或如果第二区域被定位，则将面部图像的第二区域转换为颜色通道，并在不同光照条件下并使用参考直方图将颜色通道馈入直方图匹配，所述参考直方图来自不同光照条件下每个都没有化妆的脸部直方图数据集，以获得在第二区域中去除了化妆的第二图像；以及如果同时定位了第一区域和第二区域，则组合第一图像和第二图像以形成从第一区域和第二区域去除了化妆的结果面部图像。
在本文的系统的一个实施例中，该系统可以包括具有系统存储器和系统处理器的控制器，其中，所述控制器被配置为接收输入图像，并且在存储器中接收和/或存储没有化妆的脸部直方图的数据集和在不同光照条件下的脸部直方图的数据集，以及所述系统处理器能够执行能够检测面部图像并定位面部地标的编程指令。处理器优选地能够执行用于将所述输入图像的所述第一区域分解成所述第一通道并且用于所述第一区域的所述第一通道的直方图匹配的编程指令；以及其中处理器能够执行用于在不同的光照条件下将面部图像的第二区域转换为颜色通道以及颜色通道的直方图匹配的编程指令。
同样在该实施例中，用户界面可以是智能手机数字相机、数字相机、数字摄像机、网络摄像头或智能手机数字摄像机。
本发明还优选地包括一种用于在具有脸部的输入图像上生成输出效果的方法，包括：(a)为用户的面部图像提供面部地标；(b)从用户的面部图像中定位面部地标，其中面部地标包括第一区域，并且其中与第一区域相关联的地标与具有唇色的面部图像的嘴唇相关联，并且第一区域包括嘴唇区域；(c)将图像的嘴唇区域转换成至少一个颜色通道，并检测和分析所述嘴唇区域的光分布；(d)将所述至少一个颜色通道馈入各种不同光分布上的直方图匹配中，以识别具有与嘴唇区域的光分布不同的预定义的光分布的直方图，从而生成至少一种输出效果；和(e)将输出效果与第一图像组合，以提供具有唇色和施加到嘴唇的至少一个输出效果的结果图像。
在该实施例中，至少一个颜色通道可以包括饱和通道和/或值通道。在该实施例中，在转换步骤(c)之前，该方法可以还包括从所述用户的面部图像的嘴唇区域去除化妆的步骤。在另一个实施例中，面部地标可以包括第二区域，并且第二区域可以包括眼睛区域。在这样的实施例中，该方法可以进一步包括：(f)将图像的眼睛区域分解成至少一个第一通道，并检测和分析眼睛区域的光分布；(g)将至少一个第一通道馈入各种不同光分布上的直方图中匹配中，以识别具有与眼睛区域的光分布不同的预定义的光分布的直方图，从而生成对眼睛的至少一个第二输出效果；以及(h)将第一结果图像与第二图像以及至少一个第二输出效果组合，以提供具有预定义的唇色和对嘴唇的至少一个第一输出效果以及对眼睛的至少一个第二输出效果的第二结果图像。
在该实施例中，至少一个第一通道可以包括阴影或反射中的一个。具有预定义的光分布的直方图的光分布可以增加透明度和平滑度，并且至少一个输出效果可以包括光泽效果。光泽效果优选根据透明度的级别而变化。具有预定义的光分布的直方图的光分布可以增加随机反射，并且至少一个输出效果可以包括自然效果。具有预定义的光分布的直方图的光分布可以增加透明度和发光，并且至少一个输出效果可以包括发光效果。具有预定义的光分布的直方图的光分布可以增加闪光，并且至少一个输出效果可以是闪光效果。
在该实施例中，可以重复步骤(d)和(e)以对所述第一图像创建至少一个不同的输出效果，并且将具有对第一图像的至少一个不同输出效果中的一个的每个结果图像将与第一结果图像进行组合，提供最终的结果图像，所述结果图像具有至少一个第一输出效果以及对第一图像的至少一个不同的输出效果中的每一个。
该方法可以进一步包括，在步骤(b)之后，计算嘴嘴唇区域的面积，以预定义的比例放大嘴唇区域的面积，以提供针对性的放大地标，除了至少一个第一输出效果外，还创建丰满的输出效果，将丰满的输出效果与至少一个第一输出效果和第一图像进行组合和变形，以提供具有施加了唇色的嘴唇、丰满的输出效果和至少一个第一输出效果的第一结果图像。在这样的实施例中，具有预定义的光分布的直方图的光分布还可以增加透明度和发光，并且至少一个第一输出效果优选地包括发光效果，并且所述结果图像包括丰满的发光外观。
本发明在此还包括一种用于在具有脸部的输入图像上生成输出效果的方法，包括：(a)为用户的面部图像提供面部地标；(b)从用户的面部图像中定位面部地标，其中面部地标包括第二区域，并且其中与第二区域相关联的地标与面部图像的眼睛相关联，并且第二区域包括眼睛区域；(c)将图像的眼睛区域分解成至少一个第一通道，并检测和分析眼睛区域的光分布；(d)将至少一个第一通道馈入各种不同光分布上的直方图中匹配中，以识别具有与眼睛区域的光分布不同的预定义的光分布的直方图，从而生成对眼睛的至少一个第二输出效果；(e)将第一结果图像与第二图像以及至少一个第二输出效果组合，以提供具有预定义的唇色和至少一个第一输出效果以及对眼睛的至少一个第二输出效果的第二结果图像。
本发明还包括化妆推荐系统，包括：至少一个经过训练的神经网络模型，用于提供各种化妆风格；化妆数据库；以及化妆注释系统，其中，所述化妆推荐系统能够基于由注释系统注释的至少一个经过训练的神经网络中的数据向用户生成个性化的逐步化妆指令。和/或从化妆产品数据库中推荐产品，以及能够基于用户的输入图像，向用户逐步显示虚拟化妆应用。至少一个经过训练的模型优选地从深度学习框架导出。深度学习框架最好接收以下一项或多项的数据输入：在其上施加了选择的化妆风格的面部图像；以及从化妆注释系统的输出地面实况数据。
注释系统优选地注释在其上施加了选择的化妆风格的面部图像，并且所述注释的面部图像为所述神经网络提供训练数据。可以手动选择化妆风格并添加注释。输入图像可以是来自用户视频的帧。推荐系统可以进一步包括至少一个虚拟化妆教程。在一个实施例中，逐步指令可以包括(a)显示第一类型的化妆的第一选择颜色，以及(b)将所选颜色的化妆类型虚拟地施加到用户脸部输入图像的相应区域。在这样的实施例中，可以针对至少一种其他选择的颜色和至少一种第二类型的化妆重复步骤(a)和(b)，以基于所述推荐系统中的数据在用户的输入图像上创建期望的化妆外观。
推荐系统可以被修改为进一步包括用于调整输入图像的亮度的系统，其中，所述用于调整亮度的系统被配置为使用肤色估计器来估计用户的输入图像中的脸部的归一化肤色，检测面部地标，并为面部区域、图像中心区域和边界区域分配不同的加权因子，计算输入图像的平均亮度并将平均亮度与估计的归一化肤色进行比较以产生校正因子，以及根据校正因子，使用多项式变换将曲线变换应用于输入图像。
本发明在此还包括一种用于调整在虚拟化妆试用或去除方法中有用的输入图像的亮度的系统，该系统具有配置为执行以下步骤的软件：使用肤色估计器来估计用户的输入图像中的脸部的归一化肤色；检测面部地标，并将加权因子分配给面部区域、图像中心区域和边界区域；计算输入图像的平均亮度；将平均亮度与估计的脸部的归一化肤色进行比较以产生校正因子；以及根据校正因子，使用多项式变换将曲线变换应用于输入图像。
在本发明内还包括一种用于提供校准颜色的系统，该系统被配置为执行以下步骤：响应于从具有数字相机的设备接收的用户的输入图像，自动检测其上具有色块的颜色参考图表；读取每个色块的像素值；将检测到的来自颜色参考图表的信息与在黄金标准系统下捕获的存储的参考颜色图表的像素值进行比较；发送控制系统以校准相机的参数，以便修改输入图像以满足黄金标准系统以保持颜色一致性。
在这样的实施例中，由用于提供校准的颜色的系统校准的颜色能够用于确定对象的颜色、确定产品的颜色、确定施加到用户的化妆产品的颜色以及评估颜色的变化。
本发明进一步包括一种用于提供虚拟化妆教程的方法，包括：从一个或多个现有的化妆视频中选择关键帧；通过检测所选择的关键帧中的产品名称字符，使用字符识别来定位产品名称，或通过对产品数据库中的产品进行评估的经过训练的产品分类器得出的分类器来定位产品，来检测现有化妆视频中的产品名称；在化妆教程摘要中，从所选择的关键帧和/或检测到的产品名称总结化妆信息；以及基于化妆教程摘要生成虚拟化妆教程。
在教程方法中，可以通过以下方式来选择关键帧：将来自一个或多个现有化妆视频的视频数据划分为多个片段；基于帧差异、颜色直方图和/或相机运动生成一组候选关键帧，以及基于一组标准以及在前一帧或后一帧上是否使用不同类型的化妆来选择最终关键帧。
本发明还包括一种用于快速面部检测和地标跟踪的方法，包括使用二维相机捕获输入图像；使用不同尺度的图像创建图像金字塔；应用带有滑动窗口和支持向量机(SVM)的梯度特征直方图(HOG)，以在图像金字塔的图像上找到脸部的边界框；以及基于全局学习下降正则化(GLDR)模型使用一个或多个面部地标检测器来检测边界框内的脸部(如果存在脸部)。该方法可以进一步包括:提取斑块，并将地地标均值漂移拟合应用于所述图像，以平滑所述地标数据，归一化所述图像金字塔上的地标位置。应用三层神经网络模型作为正确性验证模型来过滤错误形状，并关联和选择最终地标。神经网络的三层优选是卷积层、上采样层和映射层。该方法还可包括减少与快速运动相关联的滞后并减少与缺乏运动相关联的抖动的步骤，其包括使用点分布模型(PDM)来过滤来自地面实况数据集的噪声并使所述地标视频更稳定。
本文还包括一种从面部图像提取嘴唇区域的方法，包括：(a)在输入的面部图像上使用面部地标定位面部区域；(b)使用地标获得面部区域并去除非面部背景；(c)使用L*a*b*空间将基于肤色的高斯混合模型应用于输入面部图像的下部，其中每个像素在L*a*b*空间中具有颜色值，并计算输入面部图像的所述部分中的每个像素的概率，以确定其是否满足或超过基本阈值，并在面部图像中待被检测的面部区域的部分中生成皮肤区域的概率图；(d)从概率面部图生成初始面部区域二值图像；(e)使用迭代方法来调整基本阈值以确定精炼的二进制图像；以及(f)在每次迭代中，基于预定义的标准评估精炼的二进制图像，以使用精炼的二进制图像检测面部区域。
在这种方法的一个实施例中，高斯混合模型可以具有三个或更多个分量。阈值可以通过使用阵列的偏移量来调整，以迭代地精炼基本阈值。所述预定义的标准包括围绕所述面部区域的一个或多个外部矩形的宽度与高度之比；面部区域的面积与外部矩形的面积之比；以及面部区域的面积与面部图像的所述部分的面积之比。在一个实施例中，面部区域是嘴唇区域，面部图像的所述部分是面部图像的下部。该方法可以进一步包括在精炼的高斯混合模型中，在初始面部区域和非面部区域中使用像素的L*a*b*颜色空间颜色；计算初始面部区域和非面部区域的概率图；并使用高斯混合模型创建整体概率图，以用于检测面部区域。该方法的各种实施例可以进一步包括使用边缘检测和轮廓来平滑整个概率图。
本发明还包括一种虚拟地为面部图像提供眼妆附加效果的方法，包括：(a)为眼睛的至少一个眼妆特征创建模板，在与眼妆特征相关的模板上手动注释地标点，并将地标点的位置保存为文本文件；(b)使用用于图像帧的地标检测器提取面部图像的眼睛区域的地标；(c)裁剪图像的眼睛区域，以基于与模板的眼妆特征相关的地标创建图像帧；(d)通过从在所述图像帧的眼睛区域上检测到的所提取的地标，通过在眼睛区域周围的线性插值来生成点；(e)基于所述模板的注释地标在所述模板周围生成点；(f)通过向前变形将模板应用于图像帧，以从其上应用的模板创建具有眼妆特征的眼睛区域图像帧；以及(g)将所述眼睛区域图像帧裁剪回原始面部图像，以创建在其上具有眼妆特征的面部图像。在这种方法中，眼妆特征可以选自眼影特征、中眼影特征、眼影尾巴特征、眼影角特征和睫毛特征。该方法的步骤(a)可以包括为眼影特征、中眼影特征、眼影尾巴特征、眼影角特征和睫毛特征中的每一个创建模板，并且所述方法还可以包括针对模板中的两个或多个眼睛特征在面部图像上重复步骤(b)至(g)，并组合面部图像上的两个或多个特征以创建组合的眼妆外观。
本文还提供了一种虚拟地为面部图像提供口红纹理的方法，该方法包括：提供一种纹理模拟器，所述纹理模拟器包括具有深度卷积神经网络结构的训练模块；在预处理模块中处理输入的嘴唇区域，使用L*a*b*颜色空间的亮度通道针对所需的口红颜色和加权覆盖因子，将输入的嘴唇区域修改为具有所需的口红颜色和亮度增强，创建具有亮度分布和模拟动态纹理的L-通道图像，并对a*和b*通道从RGB到L*a*b*空间颜色的输入图像进行处理；将L-通道图像从预处理模块馈入使用训练模块在图像数据集上训练过的单通道风格转换模块，以基于数据集中的参考风格图像，创建具有合成颜色和纹理的合成L-通道图像；以及在用于RGB转换的后处理模块中，进一步处理具有动态纹理模拟的合成L-通道图像以及来自用于RGB转换的预处理模块的a*和b*通道图像。
在本发明内还包括用于使用输入图像进行虚拟化妆去除和虚拟化妆应用的系统的实施例，其中该系统被配置为能够：从用户界面接收施加了化妆的输入图像；从用户的面部图像至少在第一区域中和/或与第一区域不同的第二区域中定位面部地标，其中，第一区域包括化妆，和/或第二区域包括化妆；如果第一区域被定位，则将面部图像的第一区域分解为第一通道，并使用参考直方图将第一区域的第一通道馈入直方图匹配，所述参考直方图来自每个都没有化妆的脸部直方图数据集，以获得在第一区域中去除了化妆的第一图像和/或如果第二区域被定位，则将面部图像的第二区域转换为颜色通道，并在不同光照条件下并使用参考直方图将颜色通道馈入直方图匹配，所述参考直方图来自不同光照条件下每个都没有化妆的脸部直方图数据集，以获得在第二区域中去除了化妆的第二图像；如果同时定位了第一区域和第二区域，则组合第一图像和第二图像以形成从第一区域和第二区域去除了化妆的结果面部图像；虚拟地将一种类型的化妆施加到去除了化妆的结果面部图像的第一区域上和/或将第二种类型的化妆施加到去除了化妆的结果面部图像的第二区域上。
一种用于使用输入图像进行虚拟化妆去除和虚拟化妆应用的方法，其特征在于，所述方法包括：从用户界面接收施加了化妆的输入图像；从用户的面部图像至少在第一区域中和/或与第一区域不同的第二区域中定位面部地标，其中，第一区域包括化妆，和/或第二区域包括化妆；如果第一区域被定位，则将面部图像的第一区域分解为第一通道，并使用参考直方图将第一区域的第一通道馈入直方图匹配，所述参考直方图来自每个都没有化妆的脸部直方图数据集，以获得在第一区域中去除了化妆的第一图像和/或如果第二区域被定位，则将面部图像的第二区域转换为颜色通道，并在不同光照条件下并使用参考直方图将颜色通道馈入直方图匹配，所述参考直方图来自不同光照条件下每个都没有化妆的脸部直方图数据集，以获得在第二区域中去除了化妆的第二图像；如果同时定位了第一区域和第二区域，则组合第一图像和第二图像以形成从第一区域和第二区域去除了化妆的结果面部图像；虚拟地将一种类型的化妆施加到去除了化妆的结果面部图像的第一区域上和/或将第二种类型的化妆施加到去除了化妆的结果面部图像的第二区域上。
在该系统和方法的上述实施例中，第一类型的化妆可以是虚拟化妆附加物，第二类型的化妆可以是虚拟口红。该系统和方法优选地还能够为第一类型的化妆和/或第二类型的化妆提供输出最终效果和/或为第二类型的化妆提供模拟的纹理。
附图简要说明
当结合附图阅读时，将更好地理解本发明的前述概述以及以下对本发明的优选实施例的详细描述。为了说明本发明，在附图中示出了目前优选的实施例。然而，应当理解，本发明不限于所示的精确的手段。在附图中：
图1是示出色调、饱和度和值的示例性HSV颜色空间的图形说明。
图2是投影到色品平面上的倾斜的RGB立方体的图形说明。
图3是根据本公开的实施例的用于虚拟地去除化妆的方法的流程图。
图4A和图4B分别示出了根据本公开实施例的分解的反射图像和阴影图像。
图5A和图5B分别示出了根据本公开实施例的去除化妆的反射图像和阴影图像。
图5C示出了将去除化妆的反射图像和阴影图像(分别如图5A和5B所示的)叠加的结果。
图6A和图6B示出根据本公开的实施例的在眼睛区域处的去除化妆的示例；
图7是根据本公开的实施例的口红纹理生成器的流程框图。
图8示出了根据本公开的实施例的每个发生器的输出效果和真实嘴唇图像的混合输出；
图9示出了根据本公开实施例的深度学习模型训练部分的流程框图。
图10A、10B、10C和10D分别示出了根据本公开实施例的化妆注释系统的更详细的输出示例；
图11是根据本公开的实施例的化妆推荐系统的流程框图。
图12是根据本公开的实施例的虚拟面部化妆模拟/推荐系统的流程框图。
图13示出了根据本公开实施例的用于肤色估计的过程；
图14和图15是分别示出根据本公开实施例的使用曲线变换来调整图像亮度的方法的流程图。
图16是根据本公开实施例的用于检测图像的颜色参考图表并且使用检测到的颜色参考图表来校准相机硬件的方法的流程图；
图17是示出根据本公开的实施例的颜色测量系统的流程框图。
图18示出根据本公开的实施例的使用颜色测量系统提取的输入图像及其主色；
图19是示出根据本公开的优选实施例的用于面部地标框架的系统的流程图；
图20是代表性像素Q的图示，该代表性像素Q是像素P的像素4-邻接，用于评估先验阴影。
图21是用于在本发明的实施例中使用的面部图像的地标协议的表示，该协议采用地标位置进行特征检测，包括用于使用高斯混合方法(GMM)的增强特征提取的方法中；
图22是面部蒙版的表示，示出了面部图像的一部分，在其中具有包含面部特征的感兴趣面部区域的区域，其中该面部特征通过地标和去除的非面部背景来检测。
图23是在图22中的感兴趣的面部区域上使用GMM生成的概率图的示例。
图24包括通过对图23中创建的概率图采用不同的阈值而创建的二值图像的示例；
图25a和图25b分别是当对照用于评估包括凸包的形成的二值图像的已制定的标准来评估时，使用不同的迭代阈值的可拒绝和可接受的二值图像。
图26是整体概率图的示例，该总体概率图用于通过使用精炼的基于GMM的方法检测面部特征，使用基于GMM的方法来精炼(refine)感兴趣的面部区域的概率图，其中，为具有面部特征和背景(非面部特征)区域的前景创建GMM，并且使用两个GMM的概率来确定总体概率；
图26a是示出在与图26相关联的精炼的基于GMM的方法的实施例中使用的优选步骤的流程图；
图27a是根据本发明实施例的用于眼妆附加方法中未施加化妆的脸部图像；
图27b是根据本发明实施例的使用眼妆附加方法应用于图27a的图像的眼影层附加物图像；
图27c是根据本发明实施例的使用眼妆附加方法应用于图27a的图像的眼影中眼附加物图像；
图27d是根据本发明实施例的使用眼妆附加方法应用于图27a的图像的眼角妆附加物图像；
图27e是根据本发明实施例的使用眼妆附加方法应用于图27a的图像的眼尾妆附加物图像；
图27f是根据本发明实施例的使用眼妆附加方法应用于图27a的图像的睫毛妆附加物图像；
图28a是用于本发明的眼妆附加方法的实施例中的眼影模板的表示；
图28b是用于本发明的眼妆附加方法的实施例中的眼影中间模板的表示；
图28c是用于本发明的眼妆附加方法的实施例中的眼影角模板的表示；
图28d是用于本发明的眼妆附加方法的实施例中的眼影尾巴模板的表示；
图28e是用于本发明的眼妆附加方法的实施例中的睫毛模板的表示；
图29是根据本发明方法实施例的手动标记眼影化妆附加物的模板的示例，该方法根据地标协议采用在模板上的点；
图30是根据本发明的眼妆附加方法的实施例示出了眼影附加方法中的步骤的流程图；
图31是图30的流程图的步骤的可视化表示；
图32是根据本发明的眼妆附加方法的实施例示出了中眼影附加方法的步骤的流程图；
图33是根据本发明的眼妆附加方法的实施例示出了角眼影附加方法中的步骤的流程图；
图34是根据本发明的眼妆附加方法的实施例示出了眼尾阴影附加方法中的步骤的流程图；
图35是根据本发明的眼妆附加方法的实施例示出了睫毛附加方法中的步骤的流程图；和
图36是表示能够学习和应用虚拟口红纹理的纹理模拟器的组件的图像流程图，该虚拟口红纹理用于将输出效果施加到其上施加了口红的嘴唇的图像上；
图37是根据本文其他附图和实施方案所示的实施例示出了使用地标检测方法、使用化妆去除方法、使用化妆试用方法以及包括在输入图像上进行纹理模拟的化妆效果的流程图；和
图38是如本文的各个实施方案中所述的用于化妆去除和/或试用的系统的示意图。
具体实施方式
以下详细描述包括用于执行化妆去除方法的优选实施例以及一种用于从用户的输入图像进行化妆去除的系统，以使得化妆试用程序为逼真的试用外观提供一致且更好的着色。除了虚拟地去除方法外，还提供了用于化妆的虚拟附加物以及基于至少一个经过训练的神经网络模型、化妆数据库和化妆批注系统的化妆个性化推荐的系统和方法。推荐系统能够基于化妆产品数据库中的产品和来自用户的输入图像来向用户生成个性化的逐步化妆指令。还包括用于提供虚拟化妆教程的方法，以及用于向具有用户脸部的输入图像提供虚拟输出效果的方法。这样的技术可以独立使用或协作使用，如本文的附图所示和图37所总结的。此外，还描述了用于虚拟化妆试用或虚拟地去除方法中的调整亮度和校准颜色的方法、用于快速面部检测和地标跟踪的方法(该方法还可以包括减少与快速移动相关的滞后和减少由于输入图像视频缺乏运动而引起的抖动的方法)、以及一种用于上述方法的注释系统。
如本文所使用的，“化妆”涵盖单一类型的化妆或在单一位置的多种类型的化妆或在面部图像的多个位置处的单一类型的化妆或多种类型的化妆，除非另有说明仅指一种类型或一个位置。同样如本文中所使用的，在学习或训练数据中对用户或人群的“面部图像”指的是在其范围内包括面部图像的照片和视频两者，并且可以是孤立的图像(例如单张照片或单个视频帧)或多个图像(例如重复的照片、整个视频或具有多于一个帧的视频的一部分)，并且除非另有特别说明，否则不应解释为仅限于照片、视频或仅单个图像。优选的是，本文的照片和视频是数字的。这样的照片或视频可以用作本文的方法和系统的“输入图像”(II，II’)，并且可以通过用户界面传达以用于本文的方法和系统，所述的用户界面可以是智能手机数字相机、数字相机、数字摄像机、网络摄像头或智能手机数字摄像机或能够提供输入图像的类似设备。
增强型个性化教程的虚拟面部化妆模拟：
本公开中的虚拟面部化妆模拟使用以下技术：HSV颜色空间或固有分解，每个都与直方图匹配。HSV颜色空间是用于评估除RGB颜色模型之外的颜色的一种知名替代模型。RGB模型以笛卡尔(立方体)表示形式出现。HSV颜色模型重新排列了RGB模型的几何形状，通常表示为圆锥或圆柱坐标表示，其通过以更接近人类的方式更好地显示颜色，从而更加直观和感知相关。“HSV”代表色调、饱和度和值，有时也称为HSB(其中“B”代表亮度)。
图1说明了HSV颜色空间。如图1所示，在以圆柱表示的每个HSV中，“色调”是通过围绕如图1所示的中心垂直轴线的角度来测量的，并通过旋转箭头标记为“色调”。如图1中标记为“色度”的箭头所示，距圆柱轴A-A'的横向距离对应于“饱和度”。沿轴线A-A'测得的距离对应于“值”，也可以称为“亮度”或“明度”。
参考图1，其中显示了HSV颜色空间以及色调、饱和度和值的定义，色调表示颜色类型，可以将其角度范围描述为从0到360度的整个圆周范围的一部分。饱和度用于衡量颜色与灰度的差异程度，即，饱和度越低，则褪色或灰度就越大。该值表示颜色的亮度级别，值为0表示完全暗，值为255表示完全亮。
HSV模型可以通过几何策略导出。HSV模型可以从RGB立方体派生而来，RGB立方体具有颜色标识为R、G、B的红色、绿色和蓝色的组成量，其颜色倾斜于其角上，以使“黑色”位于原点，而“白色”沿垂直轴位于黑色的正上方。以倾斜的RGB立方体并将其投影到垂直于中性轴的“色度平面”上，投影采用六边形的形状，其角处具有红色、黄色、绿色、青色、蓝色和洋红色。图2说明了投影到色度平面P上的RGB倾斜立方体C。
色调的测量大致是向量与投影中某个点的角度，而色度大致是该点距原点的距离。然后，将值定义为颜色的最大成分。因此，饱和度定义为相对于明度的色度。在数学上，下面例如在公式(1a)中编写了从RGB转换为色调、饱和度和值颜色空间的转换公式：
除了使用HSV颜色空间之外，本发明还使用直方图匹配。在图像处理中，直方图匹配或直方图规定化是一个图像的变换或转换，以使其直方图与规定的或参考直方图匹配。众所周知的直方图均衡方法是一种特殊情况，其中规定的直方图或参考直方图是均匀分布的。在数学上，给定两个灰度图像(即输入图像和参考图像)及其各自的直方图，可以计算出每个直方图的累积分布：输入图像直方图为F1()，参考图像直方图为F2()。对于每个灰度级G1∈[0,255]，可以找到灰度级G2，其中F1(G1)＝F2(G2)。这是直方图匹配功能的结果：M(G1)＝G2。最后，函数M()可以应用于输入图像的每个像素。
同样如上所述，除了HSV颜色空间和直方图匹配之外，本发明还使用本质分解。恢复本征图像的任务是将给定的输入图像分解为其依赖于材料的属性(通常是反射率)及其依赖于光的属性(例如照明或阴影)的单独的分量。以眼睛区域图像为例，不包括眉毛或睫毛的整个脸部皮肤可以被认为具有几乎相同的材料和颜色。理想情况下，反射分量在裸露的脸部应仅包含一种颜色，而在施加化妆品后应包含所有化妆颜色信息。相反，阴影分量或通道保留了脸部和眼睛的形状信息，并且无论是否施加化妆，阴影分量或通道都不会改变太多，因为脸部在同一图像中保持其基本形状。本质分解是分离这些分量的能力，以便可以基于分离的分量重建初始图像。
在详细介绍能量函数之前，这里首先指定一个符号。对于给定的图像I，需要确定两个分量：反射率R和阴影s，以使I＝s x R。Ii、Ri和si分别表示上述三个分离的分量中每个分量的位置i处的像素值，其中Ii和Ri是尺寸为3的三维向量，而si是尺寸为1的向量。由于关系Ii＝si x Ri必须适用于所有颜色通道(R、G、B)，因此Ri的方向是已知的，即，Ri可以重写为，和，而使r＝(r1，.....，rN)为唯一要求解的未知变量。在此，Ii/||Ii||是Ri的方向，r＝(r1，.....rN)是R在其方向上的振幅。由于R表示三维向量，因此该公式将R转换为一维向量r。在下面的部分中，r可以表示R，因为一旦获得r，则通过将r乘以其方向Ii/||Ii||也可以获知R。因此，优化问题被简化为对N个变量的搜索，其中N是图像I中的像素总数。阴影分量可以使用si＝||Ii||ri来计算。
本文的能量函数是根据以下两个术语(先验)编写的(即，阴影先验(Es)和全局稀疏反射先验(Ecl))，以及那些先验，即，上述两个分量，将在下面详细描述。如上所述，Ii/||Ii||是的Ri方向，r＝(r1，...，rN)是的Ri方向上的振幅。由于R表示三维向量，因此该公式将R转换为一维向量r。在下面的能量函数表达式中，r用于表示R，因为一旦如上所述获得r，则通过将r乘以R的方向Ii/||Ii||，获知R。
在下面的表达式中，α＝(α1,α2,α3,…,αN)αi代表像素的聚类成员编号i，并且αi从1到C。例如，如果我们将聚类编号设置为5，则每个像素将由1到5的聚类成员编号表示。
能量函数优选表示为阴影先验(Es)和全局稀疏反射先验(Ecl)的函数：
最小wsEs(r)+wclEcl(r，α)。 (2a)
ri，αi；i＝1、…、n
A.阴影先验(Es)：此处，图像的阴影在整个图像上会平滑变化，并按以下成对因素进行编码：
其中，使用4-连接像素图对i～j内表示的邻域关系进行编码。在此评估中，如果Q和P共享边缘，则将像素Q解释为给定像素P的4-邻接。像素P的4-邻接(即像素P2、P4、P6和P8)以代表形式显示在图20中。对于每个像素P，我们可以计算其4-邻接之间的上述成对值Es(r)。4-连接像素图将是一个图像尺寸矩阵，每个像素都具有其4-邻接的成对值之和的值。例如，像素P的值为Es(P,P2)+Es(P,P4)+Es(P,P6)+Es(P,P8)
B.全球稀疏反射先验(Ecl)：该术语被包括在内，并充当反射的全局潜力，并且进一步有利于分解为几个反射聚类。假设存在C个不同的反射聚类，每个由αi∈{1，...C}表示，每个反射像素属于聚类中的一个，并使用变量αi由其聚类成员表示，其中αi∈{1，...C}。概括为以下能量项，其中r和i如上定义：
在此，连续的r变量和离散的α变量都混合在一起。这表示全局潜力，因为聚类均值取决于图像中所有像素的分配。对于固定的α，该项在r中是凸的；对于固定的r，α的最优值是一个简单的分配问题。在给定r和α的情况下，反射聚类的均值最佳确定如下：
在一个实施例中，本公开使用上述技术并且提供本征图像分解或HSV颜色通道转换以及基于直方图匹配的框架，以分别从眼睛区域和嘴部区域虚拟地去除化妆。通常，当顾客在化妆品店购物时，在大多数情况下他们会在脸部施加化妆。利用本公开的系统，顾客不需要去除他们的化妆来试用新的化妆。取而代之的是，客户可以使用计算机增强的合成图像技术来虚拟地去除化妆并虚拟尝试新的化妆。
图3示出了根据本公开的实施例的虚拟地去除化妆的方法的流程图，通常被称为实施例1000。参照图3，在步骤1010中，用户获取输入。用户输入可以是本文定义的任何面部图像，包括单个图像、重复照片、单个视频帧或具有多个帧的视频，这些图像由用户使用移动设备捕获或上传到本公开的系统中。一旦获取，就从用户输入中检测或识别出面部图像。优选地，在去除方法中，仅输入一张图像，并且一旦上传图像就检测到脸部，然而，本发明不限于仅输入一张图像。
在检测到图像的脸部时，在步骤1020中，使用输入图像来定位面部地标。可以预设和选择地标，例如下巴的顶部、每只眼睛的外侧边缘、每个眉毛的内侧边缘等。这样的地标对于所有脸部都是通用的，因此可以通过在脸部前景的彩色图像中的基准点(例如鼻尖、嘴巴和眼角)的精确定位进行检测和评估。
在步骤1030中，例如，可以使用地标检测算法来定位地标的基准点，然后可以通过该基准点提取嘴巴区域和眼睛区域图像。可在OpenCV(即opencv.org)上找到适用于此目的的合适的地标检测软件和相关的训练集。也可以使用其他软件和面部识别过程，例如dlib标志检测(请参见http://dlib.net/face_landmark_detection.py.html)和Giaran，Inc.标志检测。存在许多用于面部检测的合适的商业和开源软件，例如Python、dlib和HOG，以及用于地标检测和基准点识别的软件，例如V.Kazemi等人所描述的“用级联回归树一毫秒脸部对齐”，瑞典皇家理工学院计算机视觉与主动感知实验室的KTH(2014年)，“OneMillisecond Face Alignment with an Ensemble of Regression Trees,”KTH,RoyalInstitute of Technology,Computer Vision and Active Perception Lab,Stockholm,Sweden(2014)。本文优选使用的是Giaran，Inc.软件。
尽管本文的方法和系统中可以使用各种区域和基准点，但出于解释说明优选实施例的目的，该实施例说明了要提取的第一和/或第二区域以及此类区域中的一个本质分解，下面的示例说明了如下使用眼睛和嘴巴区域的步骤。对于眼睛区域1040A，例如，在步骤1045中利用本征图像分解技术来恢复眼睛区域的阴影和反射通道。然后，在步骤1050A中，将阴影通道和反射通道分别馈入直方图匹配，以得到在眼睛区域去除了化妆的图像。例如，对于嘴唇/嘴部区域1040B，首先将图像转移(即转换)到HSV颜色通道上，然后针对不同的光照条件将不同的直方图匹配过程分别应用于H、S、V通道。对于去除嘴唇的颜色，从收集的没有嘴唇化妆的面部图像数据集中学习了“饱和度”和“值”的特定参考直方图。利用那些预定义的嘴唇直方图，可以通过将检测到的嘴唇直方图与对应的没有化妆的嘴唇直方图进行匹配来去除输入的嘴唇化妆。对于嘴唇通道，“色调”通道用作嘴唇区域，通常只有一个值，因此无需使用直方图来表示它，并且将“色调”通道的过程设置为每个像素与预先训练的颜色值相比的“色调”通道的值。
在步骤1050B中，适当地将不同的H、S和V通道馈入直方图匹配或像素匹配。通道被分别馈入以获取在嘴唇/嘴部区域去除了化妆的图像。
在步骤1060中，由步骤1050A和1050B得到的图像是通过彼此叠加而被组合，从而形成从嘴唇区域和眼睛区域去除了任何面部化妆的图像。如果使用这些技术分析了更多区域，它们也可以覆盖在这些区域上。
对于眼睛区域1040A，将两个先验项合并以形成能量函数。通过求解能量函数，可以找到反射和阴影图像的最佳分解。这两个先验在阴影通道和反射通道上提供了平滑约束。然后，图像的阴影可以在整个图像上平滑变化，其中使用4-连接的像素图对邻域关系进行编码。后者全局稀疏反射先前项约束了反射图像中存在的颜色聚类的数量。它允许不同的材料反射的混合，从而保持任何可能的化妆颜色以及数学上的聚类的多样性。
在本公开的系统和方法中，按照相同的实施例，将嘴唇区域图像转换成HSV颜色空间。通过实验，发明人在此观察到：“色调”通道通常在光照条件发生变化或施加浅口红时发生变化；“饱和度”通道在施加红色口红时发生变化；以及“值”或“亮度”在施加紫色或深色时发生变化。基于这些观察，可以在检测到口红时用不同颜色的口红编辑相应的通道。对于唇色的去除，可以从收集的非化妆嘴唇数据集中学习“饱和度”和“值”的特定参考直方图。使用那些预定义的嘴唇直方图，可以通过将检测到的嘴唇直方图与相应的非化妆直方图进行匹配来去除输入的嘴唇化妆。注意，对于“色调”通道，嘴唇区域通常仅具有一个值，并且不需要用直方图表示。
请注意，在不同的光照条件下，嘴唇的显现会有所不同。因此，本公开的系统考虑光照条件以提供更真实的去除颜色预测。为了用于嘴唇去除，与标准唇色相比，在不同光照条件下以相应的唇色偏移收集肤色数据集。利用该数据集，本公开的系统首先提取输入的肤色并且找到在该特定光照条件下的对应的唇色偏移。然后，最终的修正后的去除唇色具有检测到的色移。其他去除区域不需要肤色数据集，但会收集该数据集以指导嘴唇化妆去除。在没有数据集的情况下，也可以使用预定义的颜色来检测嘴唇。
为了去除眼睛区域的化妆，情况要比通常只有一种统一颜色的嘴唇区域复杂得多。因此，对于眼睛区域，引入本征图像分解技术以首先将由形状和光照引起的固有颜色信息和阴影信息分开。在获得反射和阴影图像之后，应用直方图匹配技术来去除化妆。眼睛区域的参考直方图与嘴唇区域的参考直方图的生成方式不同。对于眼睛区域，通过基于某些标准对提取的直方图进行过滤来获得参考直方图。假定任何眼妆(眼影、眼线膏、睫毛膏)的化妆颜色都应与肤色不同，并且与眼睛区域的肤色相比，被认为是少数部分。因此，为每种颜色及其百分比量设置阈值。该阈值是用于确定潜在的化妆颜色的标度，因为假设是与肤色相比，化妆颜色是少数颜色，因此应用该阈值来查找少量颜色。
在一个实施例中，可以根据附录A中所示的伪代码来概括本公开的系统，在此将其合并为用于激活本发明的该方面的合适的代码。本文的每个附录是其说明书的一部分，但是与主要文本分开以便于阅读和理解文本。
图4A和4B示出了分解的反射图像(图4A)和分解的阴影图像(图4B)的示例。图4A中的反射图像是包含化妆品的颜色信息的三通道RGB图像，而阴影图像是灰色图像。然后，将两个分解图像都应用直方图匹配，以获取去除的图像。图5A和5B示出了去除了化妆的反射图像(图5A)和去除了化妆的阴影图像(图5B)的示例。然后，将图5A和5B中的两个图像相乘(覆盖)以产生去除的眼睛区域图像，如图5C中所示。图6A和6B示出了在眼睛区域去除化妆的示例。覆盖涉及在每个像素中相乘两个图层颜色值。
在本文的另一个实施例中，增强了将地标用于面部特征提取的地标检测技术，特别优选用于嘴唇区域提取，以考虑到其中输入图像可能包括难以检测到的面部区域，特别是例如那些有嘴唇手势的嘴唇(起皱的吻脸或大的扭曲的笑容)或在嘴唇区域内有遮挡的嘴唇(指尖、牙齿、舌头或任何物体遮盖嘴唇)。在这种情况下，仅使用地标通常不会提供准确的面部区域，例如准确的嘴唇区域。本实施例利用颜色信息来进一步改善地标检测结果，以获得并检测最佳面部区域，例如优选的最佳嘴唇区域。下面的方法将针对嘴唇区域进行说明，但是应该理解，可以类似地将其用于其他面部区域。
通常，嘴唇区域和面部皮肤背景之间的色差显着变化，并且对于具有不同颜色的不同人，其色差也可能或多或少地变化。因此，有必要提出一种嘴唇分割方法以适应各种色差。
因此，本发明采用了高斯混合模型(GMM)技术。GMM是表示整体人群中正态分布亚群的概率模型。混合模型通常不需要知道数据点属于哪个子种群，从而允许模型自动学习子种群。
GMM由两种类型的值进行参数化：混合分量权重以及分量均值和方差/协方差。对于具有K个分量的GMM，第k个分量的均值为μk，方差为σk。对于分量Ck，混合分量权重定义为φk，约束条件为∑k (i＝1)φk＝1，因此总概率分布归一化为1。
在本发明中，提供了一种基于GMM颜色模型从面部图像提取嘴唇区域的方法。该方法可以用于用普通唇代替有色唇的化妆去除方法中，也可以用于去除现有嘴唇区域并用另一种有色嘴唇区域替换的化妆附加方法中使用。该方法的目标是基于地标解析结果来精炼嘴唇区域，因为在许多情况下，地标检测可能无法提供真实的嘴唇区域，特别是基于失真或遮挡。
如本文所述，该方法首先采用面部地标检测来从输入图像中检测脸部区域和面部地标。这在图21中所示。如图所示，分配了数字以标记地标协议2中的所有面部地标。由此，获得如图22所示的感兴趣的面部区域4(在此示例中为嘴唇区域)，并去除非脸部背景6以构建GMM模型，请参见图22中的面部蒙版M。去除非脸部背景的准确性对获得最终的嘴唇分割结果影响很小。在这里选择L*a*b*颜色空间是因为它具有人类感知的持久性。基于发明人的经验研究，将GMM模型中的分量设置为3(3)，尽管可以使用其他值(例如4、5、6等)，而不会显着改变效果，因此本发明不应被视为仅限于具有3个分量的GMM。
肤色GMM是在L*a*b*颜色空间中构建的。对于脸部下部的每个像素i，3是给定的颜色值，xi＝(Li,ai,bi)，以及3维L*a*b*颜色值，以便计算从肤色混合模型生成的肤色概率如下：
其中，πk,μk,σk分别表示混合模型中第k个高斯分量的权重、均值和协方差。如图23所示，这用于生成相关皮肤区域4的概率图8。皮肤区域的概率图显示，较深的颜色表示较深的颜色是皮肤的概率较低，并且表示较深的部分表示嘴唇区域的概率较高。在获得概率图之后，采用迭代阈值方法来获得初始嘴唇二进制图像。优选的一种这样的迭代阈值方法是如N.Otsu所描述的Noukiyuki Otsu的方法，“从灰度级直方图的阈值选择方法”，“Athreshold selection method from gray-level histograms,”IEEE Transactions onSystems，Man，and Cybernetics，9.1(1979)，pp.62-66，在相关部分并入本文。
在传统的嘴唇检测方法中，通常使用固定阈值来估计哪些像素属于嘴唇区域或在嘴唇区域之外。但是，对于不同的人来说，嘴唇与嘴唇周围的面部皮肤背景之间的色差可能会显着不同。此外，在某些情况下，嘴唇和周围皮肤区域之间的差异可能很小。本文通过迭代检测方法解决了该问题。首先，使用阈值方法(例如Otsu方法)来查找基本阈值，然后基于该基本阈值，使用偏移量阵列来调整基本阈值，其中：偏移量＝{0，0.05，0.10，0.15，0.18，0.2，0.22，0.24，0.25，0.26，0.27，0.28，0.29，0.30，0.31，0.32，0.33，0.34，0.35，0.36，0.37，0.38，0.39，0.4，0.5}。应用的阈值将是基本阈值之间的差减去偏移量。
然后每个大于阈值数字的像素设置为0，否则为255。因此，随着阈值变大，将保留更少的像素，其他像素将变为0。通过应用不同的阈值，针对面部区域4获得了不同的二进制图像10、12，如图24中的两个图像所示，取自图23中的概率图。
对于每次迭代，根据关于嘴唇的一些先验知识，将产生的二进制图像用于检测嘴唇区域，并用于制定以下标准：
1.嘴唇区域的外部矩形的宽度与高度之间的比率具有特定范围。该外部矩形基于最小矩形，该最小矩形可以包含上述二值化之后的所有白色区域。宽度和高度之间的比率设置在大约0.7到大约10之间。
2.嘴唇区域面积与其外部矩形之间的比率具有特定范围。在上述二值化过程之后，嘴唇区域是白色区域。例如，在图24中，每个图像中的白色区域定义了检测到的嘴唇区域。外部矩形是所示的最小矩形，它可以包含所有白色区域。嘴唇区域面积/矩形的面积之比设定为约0.3至约0.9。
3.嘴唇区域面积与脸部下部面积之间的比率具有特定范围。如图21中所示的地标显示，一旦检测到面部地标，则可以将下脸部区域定义为从较低点(点7；点10)一直延伸到点34，再从点4一直延伸到点14。例如，在评估图24的二进制图像时，相关图像区域将是由地标确定的下脸部区域。嘴唇区域面积与下脸部区域的面积之比为约0.1至约0.5。
在评估上述参数时，嘴唇区域的中心位置应在下脸部的特定区域内，嘴唇区域的边界不应达到下脸部的边界，并且嘴唇区域4应该几乎为凸包，如参考图25a和25b所述。在评估图25a时，示出了嘴唇区域4的图像14，其中，灰色区域16在白色区域中没有形成凸包，这样的图像将被拒绝为非凸的。图25b提供了具有灰色区域20的图像18，该图像将被接受为从白色区域形成凸包。
迭代方法用于使用脸部下部的肤色概率图检测嘴唇区域。在每次迭代中，将更多偏移量添加到基本阈值上，直到二进制图像包含满足上述标准的轮廓区域，并对白色区域具有凸包形状。一旦满足这些标准，则将检测到的区域视为初始嘴唇区域。
通常，初始嘴唇区域不是最佳图像。它可能在嘴唇中包含一些皮肤像素，并且还可能错误地从初始嘴唇中消除了某些嘴唇像素。为了进一步解决该问题并精炼嘴唇，使用了一种优化方法。具体而言，在L*a*b*颜色空间中，初始嘴唇区域和非嘴唇区域中的像素颜色分别用于构建精炼的GMM。每个GMM中的分量编号设置为3。我们使用两个GMM来计算背景概率图和前景概率图。嘴唇区域的整体概率图将为
其p(xi|lip)中p(xi|non_lip)和是从两个GMM计算出的相应概率。用这种方法获得的总体嘴唇区域概率图22显示在图26中。
在获得总体嘴唇区域概率图之后，使用Canny边缘检测和轮廓平滑度获得最终的嘴唇区域蒙版。该技术是已知的，并在J.Canny的“边缘检测的计算方法”“A computationalapproach to edge detection,”Readings in Computer Vision，(1987)，第184-203页中进行了描述，该文献在相关部分通过引用并入本文。
Canny边缘检测后，有很多边缘候选者。结果，使用嘴唇区域的先验知识来过滤最终边缘线。具体地，首先通过选择白色区域的最左点和最右点来找到嘴的左角和右角。然后，在左角和右角之间，并且对于每列像素，从上向下扫描图像区域，并且选择具有最大梯度的两个像素分别作为上唇线和下唇线的最终边缘像素。当扫描像素列时，先前的限制适用于每个相邻点应在较小的垂直范围内(例如，在大约-5到大约+5像素之内)，以便最终边缘将是平滑的。附录B中的伪代码表示了如上所述的该方法的基于颜色的嘴唇蒙版提取的算法。
作为实施例300，该方法在图26a的流程图中示出。在该方法中，在步骤310中获取用户的图像。如步骤320中所述，检测面部地标。然后在步骤330中使用来自无唇区域的数据来训练基于肤色的GMM，并且在步骤340中，如上所述为下脸部中的嘴唇创建初始概率图。在步骤350中，调整图像二值化的阈值，直到轮廓满足如上所述的嘴唇区域标准为止。如果检测到嘴唇区域，则在步骤370中针对初始嘴唇和非嘴唇区域训练GMM。如果未检测到嘴唇区域，则将继续调整阈值以满足标准。在步骤370之后，在步骤380中基于两个学习到的GMM创建精炼的概率图。然后在步骤390中，利用边缘检测算法和嘴唇形状先验知识对嘴唇轮廓进行平滑处理。最后，在步骤395中提取最佳嘴唇区域作为输出。
嘴唇产品的纹理生成和输出效果
在一个实施例中，本公开提供了用于向面部图像提供各种输出效果的方法。这些方法以动态纹理生成的形式提供输出效果，该效果针对的是适用于各种类型产品的纹理附加方法，包括口红产品(如唇彩、润唇膏、唇膏等)。例如，四种不同的效果发生器和输出效果是可能的，并包括在本文中，包括发光、闪光、随机光照和丰满。通过调整参数并组合它们，可以生成纹理变化形式的许多其他输出效果。
化妆品公司提供各种颜色和纹理的口红产品。其中一些公司在其网站上提供虚拟试用解决方案，以帮助客户检查产品的颜色。例如，SephoraTM的Virtual Artist是最大的虚拟试用服务之一，它使人们可以单击鼠标来尝试数百种口红，用户还可以单击商店以添加他们的选择到他们的购物车。
即使化妆品产品具有不同的纹理(例如光泽、保湿、哑光等)，现有的虚拟试用系统通常也只能提供颜色效果。有一些方法可以在嘴唇上生成发光效果，但是此类方法通常仅适用不能适应光线变化的预定义蒙版。
本公开的纹理生成技术包括生成不同纹理的四种方法。首先，该方法产生光泽效果。它可以检测嘴唇的光分布并提供平滑度和透明度。此外，它还会产生随机反射，因此这种效果看起来更加自然。同样，对于具有不同参数的保湿，微光或缎纹纹理的产品，可以产生发光效果。具体来说，在应用较少的光泽效果时，将使用较少的透明度，同时保持用户嘴唇的原始纹理。由于此方法使用了来自输入图像的光分布，因此生成的纹理变化取决于光，这是与现有方法不同的因素。
图7示出了根据本公开的实施例的口红纹理生成器的框图。输入图像(可能包括要处理的脸部)与来自三个不同纹理生成器的输出混合。图8示出了每个生成器的输出效果及其真实嘴唇图像的混合输出。请注意，所示示例无意限制纹理生成器，因为它可以通过调整参数和四个不同效果生成器的组合来生成许多其他纹理变化。附录C中提供了用于增加透明度和发光效果的详细算法的伪代码。
在图7中，示出了用于在具有脸部的输入图像上生成输出效果的方法2000的示例。输入图像可以是具有化妆或不具有化妆的脸部的图像。在步骤2010中，将该输入图像提供给诸如本文其他地方所描述的系统。如果图像在脸部上(尤其是在嘴唇区域)上有化妆，则可以根据需要使用上述化妆去除方法来去除化妆，以便将所需口红阴影的真实颜色施加到用户的脸部。面部图像也可以原样使用。面部图像将具有面部地标，例如上述的地标，并且将通过具有如上所述的适当软件来配置所使用的系统，以从用户的面部图像中定位至少一个或所有面部地标。地标与至少一个面部区域相关联。如本文在第一示例实施例中针对嘴唇所示的这样的输出效果，面部图像应该已经检测到与面部图像的嘴唇相关联的地标，并且第一面部区域包括嘴唇区域。
可以如本文所述那样转换地标区域中的面部图像，并且将包括定位的嘴唇区域的面部区域转换成至少一个颜色通道，以便检测和分析嘴唇区域的光分布(即照度)。为此，尽管可以进一步评估其他特性，例如色调、反射、阴影、照度、透明度或其他光反射特性，但是所评估的通道优选地是饱和度和值通道。优选地，至少饱和度和值在亮度范围内被评估，并且在第一颜色通道中被检测和分析，但是如上所述的其他通道也可以如图7的步骤2020中所示被检测和分析。
使用本文所述的技术在各种不同光分布上将颜色通道馈入直方图匹配，以识别变化的光分布的直方图数据集中的直方图，并且优选地具有各种预定义的光分布，其包括从嘴唇区域的光分布变化到所需程度的值，从而将生成所需的输出效果。在步骤2025a中，可以使用一定范围内的照度/亮度参数来提供各种程度的透明度、平滑度和/或发光度，以用于各种光泽或发光效果，如步骤2025b。
在步骤2030a中，可以识别具有根据光分布的期望的闪光程度的预定义的直方图，以创建如步骤2030b中的闪光效果并提供各种级别的微光。
在步骤2040a中，可以识别预定义的直方图以添加随机光分布并创建更自然的效果，如步骤2040b中所示。
在每种情况下，在这种直方图匹配第一效果后(例如，步骤2025a和2025b中的光泽级别或发光级别)，该方法提供具有输出效果的第一图像。如果需要多个输出效果，则可以重复步骤2020以及在2040a和2040b中提供微光和/或自然效果或它们的组合(或者基于本公开本领域技术人员将理解的所需的附加效果)的其他并行步骤2030a和2030b中的另一个，以提供一个或多个附加图像，每个图像都具有所需的相关输出效果。在步骤2040中，将具有第一输出效果的第一图像和/或具有它们各自的输出效果的附加图像与用户的原始面部图像组合并混合，以在步骤2050中创建具有在用户的面部图像上组合的每个输出效果的结果图像。
如果需要获得丰满的效果(2050a)，无论是单独使用还是使用其他输出效果，则在检测到嘴唇区域中的面部地标后，将它们在嘴唇区域中按预定比例放大。完成此操作后，如果需要的话，最好使用上面提到的技术在放大的嘴唇区域上施加发光度(用于暗示湿度)输出效果，并创建具有放大的(丰满的)嘴唇区域和任何其他施加的输出效果(例如施加发光)的修改后的图像。其他效果也可能与丰满结合在一起。然后将具有丰满的嘴唇区域和任何其他施加的输出效果的修改后的图像叠加并变形到初始用户图像的原始嘴唇区域上。初始在处理地标时，将根据初始用户照片中嘴唇区域的初始面积来计算放大率，并且将初始嘴唇区域地标内的图像向针对性的放大地标变形。然后，如在方法2000中通过组合图像和输出效果，使用具有输出效果和/或丰满效果的所有图像的叠加生成最终的结果图像2050。
如上所述，在转换图像之前，可以通过使用本文的化妆去除方法和系统来完成来自用户的面部图像的嘴唇区域的化妆。因此，除了如上所述生成输出效果之外，如上所述，不化妆的面部图像的嘴唇区域可以被转换成颜色通道，然后还可以在变化的光照条件下将颜色通道馈送到直方图匹配中，以识别具有与数据集中的商品颜色或其他颜色口红相对应的预定义的化妆颜色的直方图，以获取将唇色施加到嘴唇区域的嘴唇上的其他附加图像，从而使颜色与施加现有的化妆相比更真实，并且具有该颜色的图像可以与用户的原始面部图像以及具有最终效果生成的用户的任何图像进行组合，以提供具有预定义的唇色和所需的输出效果的最终图像。
关于输出效果，可以提供具有预定义的光分布的直方图，该直方图基于透明度的级别将透明度和平滑度并入不同程度，以创建提供不同程度的光泽度的输出效果。预定义直方图中的光分布还可以添加不同程度的随机反射，以提供更自然的输出效果。进一步的不同程度的透明度和发光度可以用于作为发光效果的输出效果。提供闪光的预定义的光分布效果，也可以用来产生闪光或微光效果。
图8示出了输入图像II和从图像II产生的图形照度分布图B形式的检测光分布。然后将数据映射到如上所述的预定义的输出效果，包括来自透明度和发光度变化的光泽级别CE、随机光效果DE和闪光效果EE，然后将其与原始面部图像II混合以创建如图所示的具有嘴唇区域LR的结果图像。如果需要如图所示的丰满效果，则在施加光泽CE、随机光效果DE或发光效果EE之前，将图8所示的其他效果所用的地标在嘴唇区域中按预定义的比例放大，使得带有输出效果的修改后的(放大的)嘴唇区域LP被叠加并应用于创建一个丰满的嘴唇的输出图像。
基于学习的实时口红纹理模拟
在另一个实施例中，本文提供了一种纹理生成器，其利用深度卷积风格转换网络来模拟三种口红纹理，即哑光、湿润和光泽。纹理风格转换在亮度级别上进行，该亮度级别将原始嘴唇区域的输入光分布修改为不同口红纹理所需的分布，同时忠实于预处理的口红颜色。然后使用动态纹理生成技术处理风格转换的嘴唇区域，以进行最终修饰。
现有的虚拟试用技术严重依赖于输入嘴唇区域上的原始光分布，这对于模拟与输入图像相比亮度分布有较大偏差的纹理具有固有的挑战性。因此，为了产生更逼真的纹理，需要通过映射功能将原始的嘴唇亮度图案映射为参考图案。这样的映射函数将必须是高度非线性的且复杂的，以便用手进行显式建模。因此，本文采用了一种深度学习模型来解决风格转换问题，该模型具有对高度非线性函数建模的能力。近年来，尤其是在深度学习领域，对风格转换的研究日益增加。例如，一些出版物证明了深层网络能够实时模拟任何输入的纹理或艺术风格。参见，例如约翰逊，贾斯汀等。“实时风格转换和超分辨率的感知损失”，“Perceptual Losses for Real-Time Style Transfer and Super-Resolution”，ECCV(2016)；Zhang，Hang和Kristin J.Dana，“用于实时转换的多风格生成网络”，“Multi-styleGenerative Network for Real-time Transfer”，CoRRabs/1703.06953(2017)；以及Li，Chuan和Michael Wand，“使用Markovian生成对抗网络预先计算的实时纹理合成”，“Precomputed Real-Time Texture Synthesis with Markovian GenerativeAdversarial Networks”，ECCV(2016)。
在给定这样纹理的单个参考图像的情况下，本纹理模拟器100能够学习任何口红纹理，并在图36中的代表性组件流程图中示出。模拟管道包含四个模块(参见，图36)：训练模块52、预处理模块50、单通道风格转换(MST)模块54和后处理模块56。给定所需的深度卷积神经网络结构，所述训练模块负责通过所有自定义损失函数指导的梯度下降来学习所有隐藏的权重和偏差。可以在创意共同体署名许可下或者由内部数据集自行准备的任何图像数据集58上训练风格转换模型。训练模块之后，便可以将风格转换模型与其余模块一起使用。
预处理模块50通过将唇色60改变为所需的口红颜色62并通过本文描述的动态纹理生成方法来增强亮度来修改输入嘴唇区域LI’。对于唇色匹配，首先将嘴唇区域ILip和唇色图像IColor转换为CIELABL*a*b*空间，从而使亮度(L-通道，IL)与所有颜色通道(a*和b*通道，Ia和Ib)隔离。
给定嘴唇区域蒙版M，其中0≤{Mij}≤1，唇色匹配定义为以下关系表达式：
ILip L'＝α(ILip L-μLip L)+μColor L,其中0≤α≤1
ILip L＝M*ILip L'+(1–M)*ILip L
ILip a＝M*IColor a+(1–M)*ILip a
ILip b＝M*IColor b+(1–M)*ILip b
操作1将输入嘴唇L通道的平均像素值μLip L偏移到嘴唇彩色图像的平均像素值μColor L，该值与所需口红RGB值的CIELAB空间L值相同。因子α控制附加唇色在肉眼中看起来有多牢固；零α完全覆盖下面的所有唇形，而单位α保留所有唇形。操作2到4通过彩色图像和嘴唇图像通道之间的加权和更新CIELAB空间中的所有通道。
单通道风格转换(MST)模块54从预处理模块50接收L-通道图像，并通过风格转换深度网络64执行一次推断。
风格转换网络继承了约翰逊(Justin)等人所述的通用自动编码器结构。“实时风格转换和超分辨率的感知损失”，“Perceptual Losses for Real-Time Style Transferand Super-Resolution”，ECCV(2016)，其具有相等数量的卷积单位和反卷积单位。每个卷积或反卷积单元被定义为包括一个卷积或反卷积函数、一个归一化函数和一个非线性激活函数的顺序操作。网络中隐藏层(卷积或反卷积单元)的确切数量被视为要针对实时嘴唇纹理模拟进行优化的参数。由于风格转换会根据参考风格图像同时合成纹理和颜色，因此合成的图像将被转换到CIELAB空间，并且仅L-通道66用于后期处理，即Gatys，LeonA.等中所述的仅亮度转换，“在神经艺术风格转换中保留颜色”，“Preserving Color in NeuralArtistic Style Transfer”，CoRRabs/1606.05897(2016)。
后处理模块54从MST模块接收合成的L-通道图像以进行动态纹理模拟，并从预处理模块中接收a通道和b通道图像68、70以进行RGB转换。动态纹理模拟模块根据上面关于输出效果讨论的动态纹理模拟部分中描述的每个纹理，调整L-通道的亮度分布。在使图像通过系统中的MST模块54之后，从后处理中创建具有新的所需颜色62和动态纹理效果74的最终图像72。
分层眼睛附加方法
除了对如上所述的面部特征(如嘴唇区域)施加效果之外，本发明还包括一种可选的方法400，该方法使用与上述为嘴唇区域增加效果的技术相似的技术，用于从各种眼睛区域附加层构建眼妆效果。
如图27a-27f所示，使用示例图像照片II”’，可以将眼妆/或眼睛特征的各个部分逐层层叠在照片II”’的眼睛424上，如图所示。图27a示出了没有施加化妆的脸部426的输入图像II”’。图27b包括施加到图像II”’的脸部426的眼影层附加物428。图27c包括施加到图像II”’的中眼影附加物430。图27d包括施加到图像II”’的眼角附加物432。图27e示出了施加到图像II”’的眼尾附加物434，图27f包括了也施加到图像II”’的眼睫毛附加物436。
这些效果是使用以下方法创建的。如图28a-28e所示创建的眼睛模板，其中每个模板分别是眼影模板438(图28a)、眼睛中间模板440(图28b)、眼角模板442(图28c)、眼尾模板444(图28d)和睫毛模板446(图28e)。通过根据地标协议使用模板上的点手动标记地标来创建每个此类模板。图29中显示了其中标识为点448的点被施加到眼影模板438的示例。点448的地标位置被保存为文本文件。
为了创建眼影附加物，从针对该帧的地标检测器中提取眼睛区域地标。眼睛区域由37到42和43到48的感兴趣的地标裁剪。根据检测到的带注释的地标，通过围绕眼睛区域的线性插值生成100个点(可以使用本文所述的注释系统对这些地标进行注释)。由此，基于手动注释的地标，在眼影模板周围会生成100个点。通过从帧到模板向前变形100个点，将模板施加到所述帧。有许多可用的变形算法，例如向前变形、逆变形和相似性变换、仿射变换等。在优选实施例中，采用了具有仿射变换的向前变形。之后，眼睛区域图像被裁剪回原始帧。
此眼影应用程序如图30所示的流程图10000所示。在步骤10010中，从当前帧检测出地标，并且在步骤10020中，从地标中裁剪眼睛区域。同时或在此之前，在步骤10030中，加载眼影模板并在地标位置文件中用地标进行预先注释。此类带注释的文件和模板保存在学习数据库中。在步骤10040中，基于步骤10030的带注释的地标，通过线性插值在眼睛区域周围生成100个点。在步骤10050中，基于从步骤10010检测到的地标，通过线性插值在当前图像帧的眼睛区域周围生成100个点。在步骤10040中将模板中的100个点向前变形到在步骤10050中图像中眼睛区域的100个点上。这创建了具有在步骤10060中施加了模板的眼睛图像，并且将该模板裁剪回图像上以显示在步骤10070中施加了眼影的图像帧。
图31示出了描绘了与上述步骤10010至10070类似的步骤10010a至10070a的流程图，但是对流程图10000a中的上述步骤使用了图示说明。
为了创建中眼影附加物，要提取眼睛区域地标。眼睛区域由38到39、41到42和44到45、47到48的感兴趣的地标裁剪。然后，从检测到的地标，通过线性插值在眼睛区域周围生成50个点。此外，基于手动注释的地标，在眼影模板周围生成50个点。然后，通过从帧到模板向前变形50个点，将模板施加到所述帧。然后将眼睛区域图像裁剪回原始帧，以创建带有将施加了眼影化妆作为中眼影附加物的帧。
该中眼模板附加物在图32的流程图中示出为实施例20000。在步骤20010中，从当前帧(图像)中检测出地标，并且在步骤20020中从地标中裁剪出眼睛区域。同时或在此之前，在步骤20030中，加载中眼影模板并用地标位置文件预先注释。然后在步骤20040中，基于在步骤20030中的带注释的地标，通过线性插值在中眼区域周围生成50个点。在步骤20050中，基于来自步骤20020的地标，通过线性插值还在图像帧的中眼区域周围生成50个点。然后，在步骤20060中，将模板向前变形到图像帧上111以创建在其上施加了模板的眼睛的图像，并且在步骤20070中将在其上施加了眼影的眼睛图像裁剪回图像帧。
使用眼角模板，通过从帧的地标检测器中提取眼睛区域地标来执行眼角附加物。眼睛区域由39到41和44到45到48的感兴趣地标裁剪。然后，从检测到的地标，通过线性插值在眼角区域周围的生成50个点。此外，基于手动注释的地标，在眼角阴影模板周围生成50个点。通过从帧到模板向前变形50个点，将模板施加到所述帧。
眼睛区域图像被裁剪回原始帧，以创建施加了眼角化妆的帧。关于实施例30000，该眼角阴影应用在图33中示出。在步骤30010中，检测来自图像帧的地标，并且在步骤30020中从该地标裁剪眼睛区域。在该步骤的同时或之前，在步骤30030中，使用地标位置文件加载模板并对其地标进行预先注释。在步骤30040中，基于带注释的地标，通过线性插值在角眼区域周围生成50个点。此外，在步骤30050中，基于地标使用线性插值，在从图像帧裁剪的图像区域的角眼区域周围产生50个点。在步骤30060中，将模板点向前变形到所述帧图像点上，并创建具有在其上施加了角模板的眼睛的图像。在步骤30070中，将施加了眼角阴影的帧裁剪回图像帧，以创建具有施加了眼角阴影的脸部。
眼尾区域是通过使用帧的地标检测器提取眼睛区域地标来创建的。眼睛区域由39到41和44到45到48的感兴趣地标裁剪。然后，从检测到的地标，通过线性插值法围绕眼尾区域生成50个点。基于存储文件中手动注释的地标，还会在眼尾阴影模板周围生成50个点。通过从帧到模板向前变形50个点，将模板施加到所述帧。眼睛区域图像被裁剪回原始帧，以创建具有施加了眼尾化妆的图像帧。
这在实施例40000的图34的流程图中示出。在步骤40010中，在当前图像帧内检测出地标，并在步骤40020中从地标中裁剪出眼睛区域。同时或在此之前，在步骤40030中加载具有来自地标位置文件的预先注释地标的眼尾附加物的模板。在步骤40040中，基于模板上的带注释的地标，通过线性插值在眼尾区域周围产生50个点。在步骤40050中，基于地标，使用线性插值在裁剪图像帧的眼尾区域周围生成另外的50个点。在步骤40060中，将模板向前变形到图像帧上以创建在其上施加了模板的眼睛的图像，最后在步骤40070中，将图像帧裁剪回该图像帧，以提供带有施加了眼尾阴影区域的脸部。
可以使用眼睛区域并从用于图像帧的地标检测器中提取地标来创建睫毛附加物。然后，从37到42和43到48的感兴趣的地标裁剪出眼睛区域。从在原始裁剪图像帧中检测到的地标，通过线性插值围绕眼睛区域进生成100个点。使用睫毛模板，基于手动注释的地标，在睫毛模板周围生成100个点。通过从帧到模板向前变形100个点，将模板施加到所述帧。然后将眼睛区域图像施加到原始帧，以创建带有施加了睫毛化妆的帧。
在实施例50000中的图35的流程图中示出了该睫毛附加物。在步骤50010中，从当前图像帧检测地标。在步骤50020中，从地标裁剪眼睛区域。同时或之前，在步骤50030中加载睫毛模板，其中该模板具有来自地标位置文件的预先注释的地标。在步骤50040中，基于带注释的地标，通过线性插值在眼睛区域周围生成100个点。此外，在步骤50050中，基于原始裁剪图像帧的地标，通过线性插值还在眼睛区域周围生成100个点。在步骤50060中，使用地标将模板向前变形到原始图像，以创建具有在其上施加了模板的眼睛图像。然后，在步骤50070中，将该图像裁剪回原始图像帧，其中在其上具有睫毛的面部图像。
在上述模板附加物中，这些模板的地标协议如图21所示。对于全眼区域，从地标37至42为左眼生成100个点，并且从地标42至48为右眼生成100个点。对于中眼区域，从地标38至40、41和42在左眼上生成50个点，从地标44至45、47和48在右眼上生成50个点。对于眼角区域，从地标39到41在左眼上和从地标30到41在右眼上生成30个点。线性插值遵循以下表达式。
给定两个点(x0,f(x0)),(x1,f(x1))，插入两个点的线表示为：
对于向前变形，源图像是要用作参考的图像。该图像的几何形状保持不变，表示为S。通过变换参考图像获得目标图像，并将其表示为T。使用以下参数：
(x，y)：参考图像中点的坐标
(u，v)：目标图像中点的坐标
f，g或F，G：变换函数的x和y分量
y最小，y最大：y的最小值和最大值
x最小，x最大：x的最小值和最大值
对于y＝y最小到y最大
对于x＝x最小到x最大
u＝f(x，y)；和v＝g(x，y)
源S(x，y)处的像素被复制到T(u，v)
如上所述，可以独立地或在整体方法和系统中使用化妆去除和施加的方法以及所施加的最终效果和纹理模拟，并且可以通过以下所述的各种增强技术来补充。图37示出了本文的方法和系统的一些实施例的组合500的总体流程图。用户可以通过用户界面(UI)来提供输入图像II，II’(如本文所定义)。用户界面可以优选地传达如本文所定义的数字输入图像。如本公开(200、8000)中所述，可以处理输入图像II，II’，并校准设备和颜色，并使用本文所述的各种地标检测和注释方法300、3000来检测和/或识别和注释地标。当提供输入图像II，II’时，用户可以选择使用本文描述的虚拟化妆去除方法和系统，包括例如如果用户使用方法1000，从输入图像中虚拟地去除任何化妆以达到初始去除化妆。如果发送的输入图像没有化妆，那么就不需要使用此处的方法去除化妆，或者一旦使用此处的方法去除了任何化妆，或者，如果用户应使用附加程序而未在一个或多个位置去除化妆，则然后可选地将输入图像发送到化妆服务(MS)，并且可以进行任何化妆试用、输出最终效果或纹理模拟，如本文的系统和方法中所述。例如，如在实施例400中所描述的，虚拟试用可以被用来施加一种或多种类型和多层眼妆附加物的眼妆虚拟施加，包括其一个或多个特定子方法10000、20000、30000、40000和50000。替代地，化妆服务可以采用如本文所述的嘴唇化妆颜色和/或输出最终效应(参见方法2000)，包括可选的丰满效果和/或嘴唇纹理模拟(如方法100)。
可以单独使用这样的方法和系统，也可以与包括本文所述的其他方法或技术一起使用，以创建具有一个或多个这样的虚拟化妆模拟和/或施加的输出最终效果的结果图像RI的虚拟输出(包括提供去除了化妆且不再施加任何化妆的结果图像)。
当使用各种方法时，可以使用图38中所示的系统600来执行此类方法，该系统600可以将数据存储在系统存储器SM中，具有控制器C的化妆服务MS，该控制器C可以执行可编程指令以执行本文的虚拟地去除和/或化妆试用或输出效果，其接收由系统的用户从用户界面UI发送的如本文所述的输入图像II、II’。
基于深度学习的个性化化妆推荐
基于深度学习的个性化化妆推荐可以为用户提供非常详细的逐步化妆指导。为此，化妆注释系统从输入图像中记录逐步的化妆信息，该输入图像包括穿戴专业化妆的人。此外，如上所述，虚拟面部化妆清除(化妆去除方法和系统)适用于生成用于深度学习的输入数据库，就在之前和之后收集足够数量的化妆照片以训练深度学习模型而言，这是最难的事情之一。
种类繁多的化妆品以及这类化妆品的不同品牌可供使用，并且不断推出更多产品，这使得难以推荐适合个人的产品，但对于化妆品制造商和销售商而言，这是非常重要的卖点。消费者想了解创建最终外观的有关产品组合的更多信息以评估在施加此类化妆品时会如何呈现，而不仅是有关单个产品的必定效果的信息(例如，Beauty Youtubers，丝芙兰美容板)。现有的个性化化妆推荐方法主要是寻求化妆专业人士的建议。
由于深度学习模型在不同推荐系统中的成功，因此本公开的化妆推荐系统基于深度学习。另外，对于详细的建议，所公开的方法在每个步骤中生成化妆产品，并且还向用户说明他们应如何施加它。特别地，本公开的化妆推荐系统生成RGB颜色值作为输出，并且通过在数据库上选择最接近的输出来将产品显示给用户，与仅产生少量预定结果的现有技术方法相比，这是一种非常先进的方法本公开中的输入数据也不同于其他方法中使用的输入数据。本发明提供了一种仅使用专业模型的脸部和施加了专业的化妆外观作为深度学习模型的输入的方法和系统，从而可以在学习期间提取最佳特征。
图9示出了根据本公开的实施例的深度学习模型训练系统4000的框图。施加了化妆的脸部图像数据库4010提供相对宽的代表性图像，其中使用专业化妆并且使用下文将进一步描述的本公开的化妆注释系统5000来对逐步化妆数据进行注释。如上所述，在处理了虚拟面部化妆清除(化妆去除方法和系统)之后，具有化妆的数据库4010也成为进一步的用于深度学习训练的输入数据，这是使算法起作用的最重要原理之一。在一个实施例中，系统4000生成没有化妆4020a的脸部图像，或者如在4020b中实际上去除了化妆的面部图像，使得这些图像可以成为用于深度学习训练的输入数据。化妆清除或去除以生成非化妆面部图像的独特用法使系统更加强大，但也代表解决深度学习训练问题最困难部分的解决方案，该问题是在之前和之后收集足够的化妆图像以进行深度训练训练产生的学习模型(DLM)4040。因此，可以收集在其上带有化妆的各种图像，而不必搜集大量的去除化妆图像，可以使用化妆去除方法来生成许多未施加化妆的图像，将其用作步骤4030中训练的输入数据。
对于模型训练，深度学习框架4035(例如CaffeTM、Caffe2TM或PytorchTM)用于支持许多不同类型的深度学习架构，用于图像分类和图像分割。这样的框架支持各种神经网络模式以及完全连接的神经网络设计。例如，对于使用CaffeTM框架的训练，还必须输入定义神经网络的训练原型。最初设计用于面部识别的神经网络可以适用于化妆推荐，因为它们每个都与一个人的外貌有关。
图10A-10D示出了根据本公开的实施例的化妆注释系统5000的更详细的输出示例。通过化妆注释系统5000，可以生成数字化的化妆信息，并且该信息可以用作步骤4045中的深度学习训练的输入数据。附录D中提供了化妆注释系统的伪代码。基于本公开，本领域技术人员将理解，基于能够生成神经网络的各种类型的源软件，可以为此目的开发其他类型的神经网络。在图10A中，标记(注释)了施加了化妆的脸部图像，以及识别了区域并用作模板，这些区域由数字1-5标识，用于改变眼影模板(1)、尾影(2)、中眼影(3)、角眼影(4)和睫毛效果(5)(如本文其他地方所述)的阴影和输出效果的颜色和纹理(输出效果)。下文进一步描述了用于形成和注释模板的方法。在图10B中，带有化妆的图像(如上所述的注释)也用作唇色注释的模板，图10C显示了相关的嘴唇纹理注释(输出效果)，其颜色标记为如图所示，输出效果或纹理标识为离散的对应值。可以使用本文的方法来施加这种效果和颜色，但是对于训练数据，在数据参考集中使用这种带注释的图像。图10D提供按整体风格(如所示的自然风格和烟熏风格)分类的图像。
在图11中，化妆推荐系统使用数据库中的真实产品生成个性化的逐步化妆说明。可以从深度学习系统4000和注释系统5000中获取针对不同化妆风格的经过训练的模型4040，其可以被输入到化妆推荐系统6000中以提供个性化的化妆推荐7050，并且还可选地可以提供虚拟化妆教程，如下面所描述的。可以从经过训练的系统和模型(例如，经过训练的模型4040)中从化妆推荐器7020得出化妆推荐7050，尽管可以创建单独的经过训练的模型以仅与推荐系统一起使用。还可以使用化妆产品数据库来使用产品匹配7030，其可以与化妆数据库7045相同或不同(如图11所示，它是相同的数据库)。化妆推荐者和/或产品匹配可以产生个性化的化妆推荐7050。虚拟教程也可以使用分段视频路径生成，或者使用经过训练的美容产品数据库中的产品分类器从产品搜索和识别中获取信息，如下所述。
虚拟化妆教程
在一个实施例中，本公开提供了一种虚拟化妆教程系统7000，其可以自动将视频概括为关键步骤、提取所有使用过的产品、查找购买链接、并且提供虚拟试用教程，而不必在线订购产品或在零售商店中测试产品。图12是示出根据本公开的实施例的虚拟化妆教程系统的流程图。
它已成为许多现代社交媒体平台上不可或缺的一部分，可以在视频和/或照片共享网站(例如，YouTubeTM和InstagramTM)上关注化妆师。虽然视频教程是让消费者获得化妆技巧和发现美容产品的好方法，但是查找和使用此类视频非常耗时，而且观众中的用户通常很难重现外观。为了跟进并找到所有使用过的产品的链接，消费者必须多次暂停视频、查找视频中介绍的每个产品、写下产品名称、并在线查找购买链接。在本公开中，对于输入化妆教程视频7010，虚拟化妆教程系统可以通过划分将教程视频概括为关键步骤7020，定位和/或通过提取在教程视频中使用或引入的所有产品7030，其中每个产品可以用于查找购买链接以提供化妆教程摘要7040，该摘要用于一般虚拟化妆试用教程7050，而不必在线订购产品或在零售商店中测试产品。
在一个实施例中，在步骤7020中，在将视频划分成片段7020a之后，可以选择关键帧7020b，并且使用过滤和指定的化妆相关标准来检测化妆产品，以生成化妆教程视频的逐步摘要7040。在步骤7020中，基于可量化的度量来选择关键帧，诸如运动和行为的量(例如，可能仅在化妆应用期间存在的手的移动或被手覆盖的脸)，而所述步骤的每个关键帧通常显示为清晰且无遮挡的脸部。从视频数据中选择关键帧的方法包括以下步骤：将视频数据划分为片段7020a；基于帧差异、颜色直方图和/或相机运动，使用通用视频关键帧检测方法生成一组候选关键帧7020b；基于指定的化妆相关标准选择最终的关键帧，例如额头、脸部遮挡、手势和/或脸部表情(通常带有微笑)，以及在其上一个或下一个关键帧之间是否存在不同的化妆。
产品检测：
对于产品检测步骤7030，在某些情况下，化妆师在首次引入每个产品时将其名称显示在屏幕上，或者可以在视频下列出所有产品作为其描述的一部分。因此，本公开的系统可以尝试检测在先前过程中检测到的关键帧周围的字符，然后执行光学字符识别技术以识别一个或多个名称和相关产品，如7030b所示。在其他情况下，当在视频上没有添加产品名称时，本公开的系统可以首先定位通常存在于视频图像中的脸部附近和/或由具有类似手势的手握住的产品(例如，通过其瓶子、试管或盒子)7030a。然后，在步骤7030c中，可以将产品的图像馈入经过训练的分类器7035，该分类器7035将来自美容产品数据库7045的数据分类，以识别产品。在最坏的情况下，当无法识别产品时，系统可能会返回带有未知产品的帧作为视频摘要中的关键帧。
产品检测7030和/或划分视频7020中的每一个可以在虚拟化妆教程系统中使用以生成化妆教程摘要7040并生成虚拟化妆教程7050。利用上面获取的视频摘要，系统可以通过虚拟化妆教程7050自动生成一系列虚拟试用选项，使用户可以逐步重现外观，而不必在线订购产品或在零售商店中对其进行测试。
数字化妆品的配色
鲁棒亮度控制
在一个实施例中，本公开提供了一种系统，该系统在本文中通常被称为系统8000，其用于自动检测由相机捕获的脸部并根据检测到的脸部肤色来鲁棒地调整脸部的亮度。该系统针对服务器视频实时应用程序，以避免闪烁并平滑调整过程。
通常，相机硬件上的自动亮度控制通常无法调整用户脸部的亮度。因此，这种具有自动亮度控制的硬件可能不适用于虚拟化妆应用程序。为了在由数字照相机捕获的人脸部上维持合适的亮度，需要亮度控制算法。实现合适亮度的一种常见方法是使用其他光源，例如LED。但是，硬件光源可能有局限性。在该实施例中，用户脸部的亮度控制主要在软件级别上执行。
参考图14，在本实施例中，当具有脸部的视频帧形式的输入8010被输入到用于检测脸部并调节亮度的系统8000时，在步骤8020中，面部地标检测算法被用于从输入图像中检测脸部出区域和面部地标，以获取图像中的脸部位置和形状。然后，系统基于来自图像的地标信息使用肤色估计器来估计脸部的归一化肤色8030。在另一条路径8040中，在检测到面部地标的情况下，系统将不同的加权因子分配给脸部区域、图像中心区域和边界区域，然后计算图像的平均亮度8045。然后将平均亮度与估计的肤色8055比较，并输出校正因子。根据上述过程中计算出的校正因子，将使用多项式变换的曲线变换8050应用于图像。然后，所得到的图像准备好用于后处理8060，例如虚拟化妆附加物中。
曲线变换8050也可以参考图15生成。在针对视频实时数字化妆品应用程序时，应将亮度级别保持尽可能恒定，以避免闪烁和突然变化。因此，创建响应曲线8050a，并将其添加到亮度控制系统8000。这在时域中平滑校正因子8050b，并提供稳定的亮度受控视频8050c作为输出。
为了处理图像并调节亮度，需要一个数学变换方程式。在一个实施例中，可以使用以下曲线变换滤波器：
Po＝(1–α)Pi+αPi 2. (6a)
在上面提到的用于自动检测由相机捕获的用户的脸部并根据检测到的脸部肤色来鲁棒地调整脸部亮度的方法系统和方法8000中，在步骤8030中，采用了鲁棒肤色估计器。图13示出了根据本公开的一个实施例的用于肤色估计的过程，其可以用作肤色估计器的实施例8030。在该实施例中，在附录E中提供了用于肤色估计的算法。在该实施例中，并且根据上述算法，该方法接收输入图像II’，并使用上述技术以及是否可以使用上述化妆去除方法和系统执行所需的成分去除(MR)来采用地标检测(LD)。然后使用RGD和灰度分析进行直方图分析HA。上面结合化妆去除过程和系统描述了用于该目的的技术。采用投票(评级)方案来生成忠实的肤色像素SCP(参见附录F)。
图14和图15示出了如以上参考系统8000所述的根据本公开的实施例的使用曲线变换来调整图像亮度的方法的流程图。在一个实施例中，在附录E和F的上下文中提供了用于亮度控制的算法。
颜色恒常性
在一个实施例中，本公开提供了一个系统，该系统在本文中总体上称为系统9000，其用于维持颜色恒常性以便执行颜色匹配以准确地检测场景颜色。系统9000自动检测颜色参考图表，并使用检测到的信息来校准相机硬件设置。然后，系统执行附加的高级软件校准，以符合此处的黄金标准系统，以保持颜色恒常性。然后，该实施例的系统可以执行颜色匹配以准确地检测场景颜色。
计算机视觉中的一个问题是估计导致某些观察到的图像的底层世界。该问题的一个子集是颜色恒常性，即，估计场景的光源颜色和在白光下观看的场景中对象的颜色。恒定性旨在恢复图像背后的真实世界。对于人眼和计算机应用而言，颜色恒常性问题始终是一个挑战。
图16示出了根据本公开实施例的系统9000的颜色恒常性方法和相关算法的流程图。本公开中使用的颜色恒常性算法可以估计环境光投射在场景上的照明。该算法还可以恢复对象的真实颜色(反射)，这些颜色在不同的环境条件下是不变的。该方法可用于校准相机的副作用，补偿光源产生的颜色以及识别实际产品的地面实况颜色。
硬件颜色校准算法：
在系统9000的一个实施例中，建立一种颜色校准系统以实现颜色恒常性。由于目标是具有相机可访问性的实时视频应用程序，因此整个系统可以建立在实时框架上。用户将使用具有数字视频功能的相机或具有相机构造的其他设备，以提供实时数字视频作为输入9010。如上所述，视频帧9015可以是隔离的输入。当用户通过任何合适的输入技术启动颜色校准请求时。作为响应，在步骤9020中，系统将要求用户在特定位置显示颜色参考图表。校准系统自动检测颜色参考图表9020，并在步骤9025中，读取每个色块的像素值。然后，系统将观察到的颜色图表与存储在数据库中的黄金参考系统9030a下捕获的参考值9030进行比较。使用比较结果，校准系统将控制信号发送到视频捕获设备，例如使用操作系统中内置的SDK的网络摄像头。在步骤9040中，系统相应地校准所有相机参数，例如ISO速度、白平衡、快门速度、色调、亮度、对比度和增益，以达到黄金系统中的参考值。该校准用作连续反馈过程，其中校准系统根据捕获的新帧将校准控制信号连续地发送到相机。最终，所有控制参数都实现了动态平衡，并且所捕获帧中颜色参考图表的像素值变得非常接近参考值。
软件颜色校正算法：
然后，校准系统分别计算RGB通道中的曲线变换，并将其应用于帧，作为步骤9050和9060中的最终详细校准。最终，在步骤9070中，所捕获的帧实现了颜色恒常性，并且已经准备好进行颜色匹配。为了修改图像以校准颜色，可以使用三阶多项式来模拟三个通道上的变换过程。利用三阶多项式，可以在像素值的不同范围内对变换进行不同的修改，从而提供了良好的灵活性。通过实验，可以观察到诸如RG、RB和GB之类的相互通道项对输出没有太大影响。因此，可以省略这些项，从而使多项式通道独立。以红色通道为例，变换方程式可写为，如下所示：
Ro＝Cr0+Cr1Ri+Cr2Ri2+Cr3Ri 3 (1)
其中Ro是输出红色通道像素值，Ri是输入红色通道像素值，Cr是多项式的系数(可以是常数)。以上函数可以用矩阵形式编写，如下所示：
Ax+b＝0 (2)
由于存在远大于未知常数C的数量的24个观测值，因此我们有待定的系统要解决。然后将问题转换为可以使用最小二乘法解决的回归问题。目标函数可以写成：
min||Ax+b||2 (3)
其中R1...R n是我们的观测值，Cr是要求解的系数，Rref是根据黄金系统的参考值，而n是色块的观测次数(在这种情况下为24)。
在为每个R、G和B通道求解C系数之后，我们有了一套完整的系数，其可用于在硬件校准后处理图像，以最小化颜色恒常性的误差。最后，在硬件和软件校准之后，视频帧已准备好用于进一步的基于颜色的应用，例如颜色匹配算法。
与其他颜色恒常性算法相比，由于本文的发明方法使用参考颜色图表作为地面实况参考，因此所得的颜色恒常性算法的输出比那些基于软件的方法准确得多，所述基于软件的方法是基于许多没有任何地面实况数据的假设和统计结论。此外，我们的算法可以进行一次校准，并实时应用于视频。
颜色匹配：
在如上所述的颜色校准之后，根据黄金系统作为参考校准所有颜色。然后，输出帧可以用于颜色匹配，其可以完成识别场景中的确切颜色。例如，该系统可用于识别口红的颜色。
为了使颜色与其参考值匹配，量化的色差公式非常重要。色差的量化通常是一个挑战，因为颜色的显示方式与人眼所感知的方式截然不同。人们在电子设备上看到的大多数颜色都是基于sRGB颜色空间的。因此，色差最常见的解决方案是计算颜色空间中的距离。例如，RGB颜色空间中的欧几里得距离可以表示为：
除了RGB中的欧几里得距离之外，许多色距公式还可以使用其他颜色空间(例如HSV)，并据此计算空间距离。但是，所有色距公式实际上都是对上述方程式的简单修改，并具有简单的欧几里得距离，而不背离基本计算的精神和范围。色距公式都无法解释人类颜色感知的不均匀行为。因此，在相同的颜色测量下，这些方程式可以从人眼得出不同的结果。
国际照明委员会(CIE)创建了许多色差公式，例如CIE76、CIE94和CIE2000，旨在更接近人眼地量化色差。由于CIE94定义不能充分解决感知一致性问题，因此在CIEDE2000中，CIE精炼了其定义并添加了五处更正。CIEDE2000基于LCH(明度、色度和色调)颜色空间，该值是从CIELab颜色空间计算得出的。CIEDE2000色差是造成不均匀的原因，更接近于人类的感知。
去除高光的颜色测量
在一个实施例中，本公开提供一种颜色测量算法，该颜色测量算法用于通过去除图像中示出的对象上的反射光来计算输入图像的主色。考虑对象的位置，以便可以将更多焦点赋予输入图像的中心。
即使可以保证颜色的一致性，仍然有问题待解决。例如，在真实世界的照片中光反射是可见。为了获得所需的准确颜色，必须擦除反射光并测量对象的主色。
图17是示出根据本公开的实施例的颜色测量系统的框图。如图17所示，在步骤210中，将输入图像II”转换到HSV颜色空间中，其中，如上所述HSV颜色空间是RGB颜色空间中点的最常见的柱坐标表示。
如前所述，可以在HSV颜色空间中定义色调、饱和度和值，如图1所示。色调代表颜色类型，其可以用0到360度的角度范围来描述。饱和度用于衡量颜色与灰色的差异程度，饱和度越低，其褪色程度就越大。值表示颜色的亮度，其中0表示完全暗，255表示完全亮。
在获得HSV颜色空间的图像之后，可以在步骤220中计算图像的直方图。直方图是数字数据分布的图形表示。它是对连续变量(定量变量)的概率分布的估计，并且最早由Karl Pearson提出。它是一种条形图。要构建直方图，第一步是将值的范围“合并”，即将值的整个范围划分为一系列间隔，然后计算每个间隔中有多少个值。通常将所述合并指定为变量的连续、不重叠的间隔。所述合并(间隔)必须相邻，并且通常(但不必是)相等的大小。
获取输入图像的直方图后，可以使用3D卷积计算每个合并的加权平均值，并返回顶部两个值。卷积是表示一个函数g在移到另一个函数f上时的重叠量的积分，例如下面的方程式(5)。由于HSV颜色空间是三维的，因此将方程式(6)用于3D卷积。此外，HSV颜色空间的色调值具有圆柱表示形式，因此使用循环卷积来考虑相邻合并的所有值。方程式(7)示出了卷积矩阵gτ，其是色调值的定义明确的周期性求和。
在步骤230中还通过加权二维(2D)卷积来计算位置，以通过比较顶部两个值的位置来确定在步骤240中的最终的返回值，以使更多焦点聚焦于输入图像中心的对象。图18示出根据本公开的实施例的使用颜色测量系统提取的输入图像F、G、H及其主色F′、G′、H′。附录G中提供了颜色测量系统的伪代码。
自动快速面部检测和地标跟踪
在本公开的该部分中，实施例示出了使用基于全局学习下降正则化(GLDR)模型的新算法的面部地标的新颖框架，用于解决地标抖动和滞后问题。该实施例还具有斑块系数计算以检查地标的正确性。
在一个实施例中，本公开涉及一种用于快速面部地标检测和跟踪的框架。本公开还涉及一种用于解决人在视频中保持静止时脸部快速移动中的滞后问题和地标晃动问题的方法。
在一个实施例中，本发明提供了一种用于面部地标检测的框架。特别地，本发明涉及一种利用多尺度全局检测器解决滞后问题的方法，并且还涉及一种使用具有不同尺度图像和斑块相关性匹配的快速线性回归作为当前边界框的局部地标作为当前帧的初始形状的方法，以使框架变得更快并减少地标漂移问题。
在该方法的第一实施例中，图像是由二维(2d)相机捕获的。然后使用不同尺度的图像创建图像金字塔。脸部边界框在图像金字塔上使用带有滑动窗口和SVM的梯度直方图特征。
在另一实施例中，如果框内有脸部，则在不同尺度的图像上使用几个全局面部地标检测器(GLDR模型)，以检测边界框内的脸部上的地标。全局检测器将使用“梯度直方图”作为特征，因为在检测到脸部时这些特征已经存在。然后，将地标位置在整个图像金字塔上归一化，以消除对地标检测的噪声影响。
在本发明公开的另一实施例中，通过经过训练的神经网络模型来验证地标的正确性，然后提取以地标为中心的斑块。在当前帧中使用的地标作为接下来的帧的初始形状。在全局地标检测器检测到它们之后，使用“地标均值漂移拟合”对斑块进行拟合。每个斑块的相关系数是计算机，并且不良地标消失了。然后该过程返回到初始的第一实施例。
图19是概述了优化面部地标的检测的整个过程的流程图。将参考图19中的方法3000来描述该方法，其中，首先，在步骤3010中使用2D相机捕获图像。
参考3020，第一帧被识别为图像帧。这可以使用以不同尺度生成的图像金字塔来完成。如果当前帧具有先前的地标，则在3040中检测到脸部，并使用带有滑动窗口的多尺度全局检测器扫描图像以检测面部地标3050，并且在3050中，对于每个感兴趣区域，计算梯度直方图，并将其用作支持向量机模型的输入3060，以判断哪个部分是斑块提取和拟合的目标区域。参见，N.Dalal和B.Triggs，“用于人类检测的定向梯度直方图”，“Histograms oforiented gradients for human detection”，CVPR，pp.886-893(2005)；和C.Cortes和V.Vapnik，“支持向量网络”，“Support-vector networks”，Machine Learning，pp.273-297(1995)。然后在3070中，对窗口进行下采样以使该区域更加准确。如果未检测到脸部，则在图像金字塔中使用约束均值漂移来检测帧3030，并且如果存在先前的地标，则可以在3050中将它们用作全局检测器的初始形状。如果当前帧具有先前的地标，则在3035中将先前的地标用于与当前边界框对齐，以作为“监督下降法”(SDM)的初始地标。
如上所述，GLDR模型3050用于检测面部地标。有许多方法可以用作全局检测器，例如回归树(参见，V.Kazemi和J.Sullivan,“一毫秒脸部对齐与回归线合奏”，“Onemillisecond face alignment with an ensemble of regression tress”，CVPR(2014))；回归局部二值特征(参见S.Ren等人，“通过回归局部二值特征以3000FPS进行脸部对准”，“Face Alignment at 3000FPS via Regressing Local Binary Features”，CVPR(2014))；监督下降法(参见X.Xiong等人，“监督下降法及其在脸部对准中的应用”，“Superviseddescent method and its applications to face alignment”CVPR(2013))；等等。在本发明中，优选的GLDR方法是HOG，作为用于检测面部地标的全局检测器方法，并且为了使检测更加准确，还优选使用点分布模型作为SDM的第二个特征(参见T.Baltrusaitis，等，“受约束的局部神经场以在野外进行可靠的(robust)面部地标检测”，ICCV研讨会(2013年)。创建新公式，如下所示：
变量x是由点分布模型计算的参数。H表示地标的梯度直方图。H(x*)是地面实况地标位置的HOG特征。我们可以基于点分布模型使用参数p来计算形状。估算方程式为：
其中s是尺度、R是旋转矢量、是包含n个特征向量的形状子空间矩阵的常数矩阵、q表示非刚性形状参数和t是平移。这样我们就可以获得参数向量p：
p＝{s，R，t，q} (3)
其中s、R和t可以是全局参数，而q可以是局部参数。方程式(1)是目标方程式，并且期望的是可以使目标方程式的结果最小化的参数。假设H是可微的两次，则对方程式(1)的左边使用二阶泰勒展开式：
其中J和H是在p处求值的f的雅可比矩阵和海森州矩阵。通过将x设置为零并相对于它对方程式(1)进行求微分来计算第一次更新：
Δx1＝-H-1Jf＝-2Jh(H(x)-H(x*)) (5)
优选在更新形状x的同时更新参数p。基于点分布模型(PDM)，可以根据更新形状轻松获得更新参数：
Δp＝-Hp -1Xc(Φ-1p+JpΔX) (6)
Φ＝diag{[0；λ1，λ2，λ3，λ4，λ5，...λm]} (7)
其中Hp是PDM的Hessian矩阵，Jp是PDM的Jacobian矩阵。Xc是当前形状。然后计算p的更新：
pk＝pk-1-Hp -1X(Φ-1p+JpΔX) (8)
pk＝pk-1-Hp -1X(Φ-1p+Jp(-2Jhk(H(xk-1)-H(x*)))) (9)
pk＝pk-1-Hp -1X(Φ-1p+Jp(Rk-1H(xk-1)-bk-1)) (10)
pk＝pk-1-Hp -1XΦ-1p-Hp -1XΦ-1pJp(Rk-1H(xk-1)-bk-1) (11)
pk＝pk-1-Bk-1-Hp -1XΦ-1pJpRk-1H(xk-1) (12)
pk＝pk-1-Bk-1-Ak-1H(xk-1) (13)
由于x可以用p描述，所以最终方程式可以是：
pk＝pk-1-Bk-1-Ak-1H′(pk-1) (14)
新的对象函数将是：
然后可以像SDM一样使用高斯-牛顿法来优化新的对象函数。
因此，在一个实施例中，该步骤中的训练算法可以如下：
在获得检测到的地标和参数之后，提取斑块，并使用已经可用的参数进行地标均值漂移拟合3060。优选地，地标是光滑的，使得局部斑块被用作特征以计算新参数p。基于正则化地标均值漂移方法，获得更新参数(参见，J.Saragih等人，“通过正规化地标均值漂移进行的可变形模型拟合”，IJCV(2011)：
其中，J是相对于向量p的雅可比矩阵，并且是p上的先验矩阵、v是斑块上的均值漂移向量，其中p0是可以从SDM计算得出的p的初始估计。在高斯分布p(p)Ν(q；0；Λ)中，Λ-1是指示p的先验的矩阵。v＝[v1,v2,…,vn]T是均值漂移向量，其通过高斯核密度估计器表示如下：
其中函数N是高斯分布，是x的当前估计值，该估计值是通过先前的步骤计算得出的。
地标位置在整个图像金字塔上归一化3065。
在生成地标之后，将三层神经网络模型用作正确性验证模型3070，以过滤错误的形状。神经网络层优选是卷积层、上采样层和映射层。
然后通过计算每对斑块的相关系数来匹配先前的斑块和当前的斑块。然后，选择当前斑块中的最佳感兴趣区域，并将其中心作为最终地标3090。另外，相关系数也可以用于分类哪些地标被遮挡。计算函数优选为：
R(x,y)＝∑x′,y′(T(x′,y′)-I(x+x′,y+y′))2 (18)
比较
因此可以开发出一种新的算法，并将SDM与点分布模型结合在一起，作为GLDR的首选方法，如在3050中。但是，本文中的优选框架和GLDR模型均不同于现有模型。虽然使用SDM来优化方程式(15)，但目标函数的变量是由点分布模型计算的参数，该模型能够从地面实况中过滤噪声，从而使视频中的地标更加稳定。此外，通过将SDM与不同尺度的图像一起使用，可以降低噪声。SDM的初始地标是从前一帧到当前边界框的对齐地标。另外，该框架使用GLDR模型，该模型是全局检测器，而不是如上面引用的Baltrusaitis等人所述的使用点分布的现有技术GLDR中的局部检测器。因此，当脸部旋转非常快时，使用当前方法的性能不会出现滞后问题。新框架甚至更智能，因为它具有斑块系数匹配模块来检测哪个地标被遮挡。
对于本文的各种系统和方法，可以使用图38中所示的一般系统结构，并且可以以各种方式(例如，图37中)或与上述其他技术和改进组合的方法。如图38所示，可以采用存储功能(基于云或硬件服务器)在优选安全的位置存储本文描述的所有各种数据和数据集，包括眼模板、地面实况数据、产品数据、风格和各种类型的化妆外观信息、用户信息、训练和学习信息以及系统操作需要的任何其他信息。数据应基于本文所述的算法和伪代码可由可编程系统软件访问，并且可在本文的控制器中的处理器上执行。
这样的系统的实现可以采用各种类型的适当的硬件或软件。该系统可以在任何具有运行操作系统(OS)能力的系统结构上执行，例如MicrosoftOS、AppleApple平台、Google AndroidTM平台、操作系统和操作系统的其他变体，等等。
所描述的功能中的一些或全部可以在用户设备上的软件和/或硬件中实现。用户设备应包括合适的用户界面，并且如上所述，可以是具有数字相机和/或数字视频容量的移动电话(智能电话)。另外，可以使用智能/数字手表、智能镜、智能眼镜、平板电脑、便携式计算机、电视、游戏设备、音乐播放器、虚拟现实护目镜、笔记本电脑、掌上电脑、智能或哑终端、网络计算机、个人数字助理、家居助理(例如AlexaTM或HomeTM)，它们最好具有相机、无线设备、信息设备、工作站、小型计算机、大型计算机或其他计算设备，作为可以执行本文描述的功能的通用计算机或专用硬件设备运行的计算机。
可以以计算机的形式在通用计算设备上实施软件，该计算机包括处理单元、系统存储器以及将包括系统存储器的各种系统组件耦合到处理单元的系统总线。附加地或替代地，一些或全部功能可以在云中远程地执行，或者通过软件即服务(例如，化妆服务)来执行。例如，可以在如上所述的与用户设备及其用户界面进行通信的一个或多个远程服务器或其他设备上执行虚拟地去除和化妆虚拟模拟以及附加物功能以及相关功能。远程功能可以在具有足够的内存、数据存储和处理能力的服务器类计算机上执行，并且运行服务器类操作系统(例如Oracle，和系列操作系统)。
该系统可以包括存储在存储器中并在处理器上执行的多个软件处理模块。作为说明，程序模块可以是一种或多种合适的编程语言的形式，其被转换为机器语言或目标代码，以允许一个或多个处理器执行指令。所述软件可以是独立应用程序的形式，基于本文提供的算法和伪代码以合适的编程语言或框架来实现。
本文所述技术的方法步骤可以由一个或多个可编程处理器执行，这些处理器执行一个或多个计算机程序，通过操作输入图像和其他相关的数据和生成输出，来执行功能。方法步骤也可以由专用逻辑电路执行，并且设备可以作为专用逻辑电路实现，例如：FPGA(现场可编程门阵列)或ASIC(专用集成电路)。模块可以指代实现该功能的计算机程序和/或处理器/特殊电路的部分。
作为示例，适合于执行计算机程序的处理器包括通用和专用微处理器。通常，处理器将从只读存储器或随机存取存储器或这两者中接收指令和数据。计算机的基本元件是用于执行指令的处理器和一个或多个用于存储指令和数据的存储器设备。适用于实现计算机程序指令和数据的信息载体包括所有形式的非易失性存储器，包括例如半导体存储器设备，如：EPROM、EEPROM和闪存设备；磁盘，例如：内部硬盘或可移动磁盘；磁光盘；和CD-ROM和DVD-ROM磁盘。一个或多个存储器可以存储媒体资源(例如，音频、视频、图形、界面元素和/或其他媒体文件)，配置文件和/或指令，当由处理器执行指令时，形成模块、引擎和本发明描述的其他组件并执行与组件相关联的功能。处理器和存储器可以由专用逻辑电路补充或并入专用逻辑电路中。这样的处理器还可以致动本文描述的可执行学习工具和系统。
在各种实施方式中，用户设备优选地包括对有权访问网页浏览器、本机应用程序或两者的设备的访问或与之通信，这有助于执行本文所述的功能。网页浏览器允许设备利用网页请求来请求网页或其他可下载程序、小程序(applet)或文档(例如，来自服务器)。网页的一个示例是数据文件，其包括计算机可执行或可解释的信息、图形、声音、文本和/或视频，其可以被显示、执行、播放、处理、流传输和/或存储并且可以包含指向其他网页的链接或指针。在一个实施方式中，设备的用户手动地从服务器请求网页。或者，所述设备会自动使用网页浏览器发出请求。商用网络浏览器软件的示例包括Internet和
在一些实施方式中，用户设备可以包括客户端软件，例如与化妆服务一起工作的应用程序。客户端软件可以向设备提供用于实现和执行本文描述的特征的功能，包括亮度调整和颜色校准以及允许模板和其他用户数据的存储。客户端软件可以以各种形式实现，例如，它可以是本机应用程序、网页、小工具(widget)和/或Java、JavaScript、.Net、Silverlight、Flash和/或其他小程序或插件，可以将其下载到设备并与Web浏览器一起运行。客户端软件和Web浏览器可以是单个客户端-服务器接口的一部分；例如，客户端软件可以作为Web浏览器或其他框架或操作系统的插件来实现。其他合适的客户端软件架构，包括但不限于小工具框架和小程序技术，也可以与客户端软件一起使用。
通信网络可以将设备与一个或多个服务器连接和/或相互之间连接。通信可以通过标准电话线、LAN或WAN链路(例如，T1、T3、56kb、X.25)、宽带连接(ISDN、帧中继，ATM)、无线链路(802.11(Wi-Fi)、蓝牙、GSM、CDMA等)，例如。其他通信媒体也是可能的。网络可以承载TCP/IP协议通信，以及Web浏览器发出的HTTP/HTTPS请求，并且客户端和服务器之间的连接可以通过这样的TCP/IP网络进行通信。其他通信协议也是可能的。
该系统还可以在分布式计算环境中使用，其中通过通信网络链接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储器存储设备的本地和远程计算机存储介质中。除了本发明描述的系统硬件和软件外，还可以使用其他类型的系统硬件和软件，这取决于设备的容量和所需的数据处理能力。系统还可以在一台或多台虚拟机上实现，这些虚拟机执行上述虚拟操作系统，并在一台或多台具有本发明描述的硬件计算机上运行。
在一些情况下，关系数据库或其他结构化数据库可以提供此类功能，例如，作为存储用于处理的数据的数据库管理系统。数据库的示例包括由加州红杉海岸的甲骨文公司(ORACLE Corp.of Redwood Shores,California,)提供的MySQL数据库服务器或ORACLE数据库服务器，由加州伯克利的PostgreSQL全球开发集团(PostgreSQL Global DevelopmentGroup of Berkeley,California)提供的PostgreSQL数据库服务器，或由IBM提供的DB2数据库服务器。
还应注意，系统和方法的实现可以作为一个或多个计算机可读程序提供，这些程序包含或在一个或多个产品中。程序指令可以在人工生成的传播信号上编码，例如，机器生成的电、光或电磁信号，其生成是为了对信息进行编码，以便传输到合适的接收设备，从而由数据处理装置执行。计算机存储介质可以是或包括在计算机可读存储设备、计算机可读存储基板、随机或串行存取存储器阵列或设备、或它们中的一个或多个的组合中。此外，虽然计算机存储介质不是传播信号，但是计算机存储介质可以是用人工生成的传播信号编码的计算机程序指令的源或目标。计算机存储介质也可以是或包括在一个或多个单独的物理组件或介质(例如，多个CD、磁盘或其他存储设备)中。
本领域技术人员应当理解，在不脱离其广泛的发明构思的情况下，可以对上述实施例进行改变。因此，应理解，本发明不限于所公开的特定实施例，而是旨在覆盖由本发明所附权利要求所限定的精神和范围内的修改。
附录A:
附录B
附录C
附录D
附录E:
附录F:
附录G：

Claims (19)

1.一种用于虚拟地去除面部化妆的方法，其特征在于，包括：
提供用户的面部图像，该面部图像上施加有化妆；
从所述用户的面部图像中定位面部地标，所述面部地标至少包括第一区域和不同于所述第一区域的第二区域；
将所述面部图像的所述第一区域分解为第一通道，其中所述第一通道包括反射通道和阴影通道；
将所述第一区域的所述第一通道馈入直方图匹配以获得在所述第一区域中去除了化妆的第一图像；
将所述面部图像的所述第二区域转换为颜色通道，其中所述颜色通道包括色调通道、饱和度通道和/或值通道；
在不同光照条件下将所述颜色通道馈入直方图匹配以获得在所述第二区域中去除了化妆的第二图像；和
将所述第一图像和所述第二图像组合以形成从所述第一区域和所述第二区域去除了化妆的结果面部图像，
其中将所述颜色通道馈入直方图匹配包括：
提供面部图像的数据集，在不同的光照条件下，每个面部图像的相应第二区域中没有化妆，并且包括预定义的直方图；和
将不同光照条件下的一个或多个颜色通道的直方图与所述预定义的直方图中对应的一个相匹配以获得所述第二图像。
2.根据权利要求1所述的方法，其特征在于，所述反射通道包括所述面部图像的与材料有关的特性，并且所述阴影通道包括所述面部图像的与光有关的特性。
3.根据权利要求2所述的方法，其特征在于，所述反射通道仅包含一种颜色，并且所述阴影通道保留所述第一区域的形状信息。
4.根据权利要求1所述的方法，其特征在于，所述第一区域包括眼睛区域，并且所述第二区域包括嘴唇区域。
5.根据权利要求1所述的方法，其特征在于，在将所述第一区域的所述第一通道馈入直方图映射之前在所述第一区域中的化妆的类型，不同于在将所述面部图像的所述第二区域转换为所述颜色通道之前的在所述第二区域中的化妆的类型。
6.根据权利要求1所述的方法，其特征在于，所述颜色通道包括所述色调通道、所述饱和度通道和所述值通道。
7.一种用于虚拟地去除面部化妆的方法，其特征在于，包括：
提供用户的面部图像，该面部图像上施加有化妆；
在所述用户的面部图像的一个区域中定位面部地标；
将所述面部图像的所述区域转换为颜色通道，其中所述颜色通道包括色调通道、饱和度通道和/或值通道；和
在不同光照条件下，将所述颜色通道馈入直方图匹配，以获得去除了所述区域中的化妆的结果图像，其中将所述颜色通道馈入直方图匹配包括：
提供没有化妆的面部图像数据集，包括预定义的直方图；和
将不同光照条件下的一个或多个所述颜色通道的直方图与所述预定义的直方图中对应的一个相匹配以获得第二图像。
8.根据权利要求7所述的方法，其特征在于，所述用户的面部图像的区域包括嘴唇区域。
9.根据权利要求8所述的方法，其特征在于，在将所述用户的所述面部图像的所述区域转换成颜色通道之前，所述面部图像上的化妆是口红或唇彩。
10.根据权利要求7所述的方法，其特征在于，所述颜色通道包括色调通道、饱和度通道和值通道。
11.根据权利要求7所述的方法，其特征在于，还包括：
收集肤色数据集，其中在不同光照条件下收集肤色数据，与标准唇色相比，对于这种不同光照条件，肤色数据具有相应的唇色偏移；
从所述用户的所述面部图像中提取输入的肤色；
使用所述肤色数据集在所述输入的肤色的光照条件下检测所述输入的肤色的相应嘴唇颜色偏移；和
提供最终的修改后的唇色以用作从所述用户的面部图像的所述区域中去除的唇色，其中所述最终的修改后的唇色具有检测到的颜色偏移。
12.一种用于从输入图像中检测和去除化妆的系统，其特征在于，所述系统被配置为能够：
从用户界面接收施加了化妆的输入图像；
从用户的面部图像至少在第一区域中和/或与第一区域不同的第二区域中定位面部地标，其中，第一区域包括化妆，和/或第二区域包括化妆；
如果所述第一区域被定位，则将所述面部图像的所述第一区域分解为第一通道，其中所述第一通道包括反射通道和阴影通道，并使用参考直方图将所述第一区域的所述第一通道馈入直方图匹配，所述参考直方图来自每个都没有化妆的脸部直方图数据集，以获得在所述第一区域中去除了化妆的第一图像，和/或，如果所述第二区域被定位，则将所述面部图像的所述第二区域转换为颜色通道，其中所述颜色通道包括色调通道、饱和度通道和/或值通道，并在不同光照条件下并使用参考直方图将所述颜色通道馈入直方图匹配，所述参考直方图来自不同光照条件下每个都没有化妆的脸部直方图数据集，以获得在所述第二区域中去除了化妆的第二图像；和
如果同时定位了所述第一区域和所述第二区域，则组合所述第一图像和所述第二图像以形成从所述第一区域和所述第二区域去除了化妆的结果面部图像。
13.根据权利要求12所述的系统，其特征在于，所述系统包括具有系统存储器和系统处理器的控制器，其中，所述控制器被配置为接收输入图像，并且在所述存储器中接收和/或存储没有化妆的脸部直方图数据集和在不同光照条件下的脸部直方图数据集，以及所述系统处理器能够执行能够检测面部图像并定位面部地标的编程指令。
14.根据权利要求13所述的系统，其特征在于，所述处理器能够执行用于将所述输入图像的所述第一区域分解成所述第一通道并且用于所述第一区域的所述第一通道的直方图匹配的编程指令；和
其中所述处理器能够执行用于在不同的光照条件下将所述面部图像的所述第二区域转换为所述颜色通道以及所述颜色通道的直方图匹配的编程指令。
15.根据权利要求12所述的系统，其特征在于，所述用户界面是智能手机数字相机、数字相机、数字摄像机、网络摄像头或智能手机数字摄像机。
16.根据权利要求12所述的系统，其特征在于，所述系统还配置为能够：
虚拟地将第一类型的化妆施加到去除了化妆的所述结果面部图像的所述第一区域上和/或虚拟地将第二类型的化妆施加到去除了化妆的所述结果面部图像的所述第二区域上。
17.根据权利要求16所述的系统，其特征在于，所述第一类型的化妆是虚拟化妆附加物，并且所述第二类型的化妆是虚拟口红。
18.根据权利要求17所述的系统，其特征在于，所述系统还能够为所述第一类型的化妆和/或所述第二类型的化妆提供输出最终效果。
19.根据权利要求17所述的系统，其特征在于，所述系统还能够为所述第二类型的化妆提供模拟的纹理。
CN201880042814.8A 2017-07-13 2018-07-13 虚拟面部化妆去除和模拟、快速面部检测和地标跟踪 Active CN111066060B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762531929P 2017-07-13 2017-07-13
US62/531,929 2017-07-13
PCT/US2018/042175 WO2019014646A1 (en) 2017-07-13 2018-07-13 REMOVAL OF VIRTUAL FACIAL MAKE-UP, FAST FACIAL DETECTION AND TRACK POINT TRACKING

Publications (2)

Publication Number Publication Date
CN111066060A CN111066060A (zh) 2020-04-24
CN111066060B true CN111066060B (zh) 2024-08-02

Family

ID=64999954

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880042814.8A Active CN111066060B (zh) 2017-07-13 2018-07-13 虚拟面部化妆去除和模拟、快速面部检测和地标跟踪

Country Status (7)

Country Link
US (5) US10939742B2 (zh)
EP (1) EP3652701A4 (zh)
JP (3) JP7200139B2 (zh)
KR (1) KR20200026808A (zh)
CN (1) CN111066060B (zh)
TW (1) TW201931179A (zh)
WO (1) WO2019014646A1 (zh)

Families Citing this family (129)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9544598B2 (en) 2010-09-10 2017-01-10 Thomson Licensing Methods and apparatus for pruning decision optimization in example-based data pruning compression
US10984559B2 (en) 2017-07-03 2021-04-20 StyleRiser Inc. Color engine
CN111066060B (zh) 2017-07-13 2024-08-02 资生堂株式会社 虚拟面部化妆去除和模拟、快速面部检测和地标跟踪
US11410400B2 (en) 2017-12-29 2022-08-09 Pcms Holdings, Inc. Method and system for maintaining color calibration using common objects
US10755447B2 (en) * 2018-04-19 2020-08-25 Adobe Inc. Makeup identification using deep learning
JP7135472B2 (ja) * 2018-06-11 2022-09-13 カシオ計算機株式会社 表示制御装置、表示制御方法及び表示制御プログラム
US10571799B1 (en) * 2018-08-27 2020-02-25 Asml Us, Llc Hessian-free calculation of product of Hessian matrix and vector for lithography optimization
US10685470B2 (en) * 2018-09-12 2020-06-16 Adobe Inc. Generating and providing composition effect tutorials for creating and editing digital content
US11032063B2 (en) 2018-09-19 2021-06-08 International Business Machines Corporation Distributed platform for computation and trusted validation
US11940978B2 (en) * 2018-09-19 2024-03-26 International Business Machines Corporation Distributed platform for computation and trusted validation
JP6949795B2 (ja) * 2018-09-25 2021-10-13 富士フイルム株式会社 画像処理装置、画像処理システム、画像処理方法、及びプログラム
US11803974B2 (en) * 2018-10-05 2023-10-31 The Trustees Of Princeton University Automated system to measure multi-animal body part dynamics
JP7412348B2 (ja) * 2018-10-29 2024-01-12 サターン ライセンシング エルエルシー 表示装置、及び表示制御方法
US10846518B2 (en) * 2018-11-28 2020-11-24 National Yunlin University Of Science And Technology Facial stroking detection method and system thereof
US10664642B1 (en) 2018-11-30 2020-05-26 International Business Machines Corporation Constructing via meshes for high performance routing on silicon chips
KR20210106990A (ko) * 2018-11-30 2021-08-31 피씨엠에스 홀딩스, 인크. 피부 반사율 데이터베이스에 기초하여 장면 발광체를 추정하는 방법 및 장치
US11961224B2 (en) * 2019-01-04 2024-04-16 Stella Surgical Device for the qualitative evaluation of human organs
CN109784281A (zh) * 2019-01-18 2019-05-21 深圳壹账通智能科技有限公司 基于人脸特征的产品推荐方法、装置及计算机设备
CN111582005B (zh) * 2019-02-18 2023-08-15 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读介质及电子设备
US10949649B2 (en) * 2019-02-22 2021-03-16 Image Metrics, Ltd. Real-time tracking of facial features in unconstrained video
KR20200106113A (ko) * 2019-02-26 2020-09-11 주식회사 틸투원 컨볼루션 뉴럴 네트워크 모델을 이용한 이미지의 원색 복원 장치 및 방법
CN109961488A (zh) * 2019-03-25 2019-07-02 中国银联股份有限公司 一种实物图像生成方法及装置
US11182963B2 (en) * 2019-04-03 2021-11-23 Posnap, Inc. Computerized system and method for providing a mobile augmented reality item display and selection experience
KR20220064346A (ko) * 2019-04-23 2022-05-18 로레알 컨볼루션 신경망 기반 랜드마크 추적기
US11902708B2 (en) * 2019-05-09 2024-02-13 Present Communications, Inc. Method for generating a synthetic skin model
US11218668B2 (en) * 2019-05-09 2022-01-04 Present Communications, Inc. Video conferencing method
US11069094B1 (en) * 2019-05-13 2021-07-20 Facebook, Inc. Generating realistic makeup in a digital video stream
CN110223218B (zh) * 2019-05-16 2024-01-12 北京达佳互联信息技术有限公司 人脸图像处理方法、装置、电子设备及存储介质
CN110363704B (zh) * 2019-05-29 2023-01-03 西北大学 融合形态及色彩的图像超分辨率重建模型构建及重建方法
WO2020248789A1 (en) * 2019-06-11 2020-12-17 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method and system for facial landmark detection using facial component-specific local refinement
US11348334B1 (en) * 2019-06-30 2022-05-31 George Douglas MacEwen Methods and systems for skin color matching using an imaging device and a controlled light source
US11191342B2 (en) * 2019-07-18 2021-12-07 L'oreal Techniques for identifying skin color in images having uncontrolled lighting conditions
WO2021031147A1 (en) * 2019-08-21 2021-02-25 L'oreal Computing device, method and apparatus for recommending at least one of makeup palette or hair coloration scheme
US11488359B2 (en) 2019-08-28 2022-11-01 Snap Inc. Providing 3D data for messages in a messaging system
CN114730483A (zh) * 2019-08-28 2022-07-08 斯纳普公司 在消息传送系统中生成3d数据
US11457196B2 (en) 2019-08-28 2022-09-27 Snap Inc. Effects for 3D data in a messaging system
CN110619598B (zh) * 2019-09-03 2023-04-18 云南白药集团健康产品有限公司 一种图像处理方法、装置及系统
US11323627B2 (en) 2019-09-12 2022-05-03 Samsung Electronics Co., Ltd. Method and electronic device for applying beauty effect setting
JP7560711B2 (ja) * 2019-09-12 2024-10-03 フリュー株式会社 画像処理装置、画像処理方法及び画像処理プログラム
CN110689479B (zh) * 2019-09-26 2023-05-30 北京达佳互联信息技术有限公司 一种人脸上妆方法、装置、设备及介质
KR102391087B1 (ko) 2019-09-30 2022-04-27 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 이미지 처리 방법, 장치 및 전자 기기
CN110728620A (zh) * 2019-09-30 2020-01-24 北京市商汤科技开发有限公司 一种图像处理方法、装置和电子设备
CN112733570B (zh) * 2019-10-14 2024-04-30 北京眼神智能科技有限公司 眼镜检测的方法、装置、电子设备及存储介质
CN110796593A (zh) * 2019-10-15 2020-02-14 腾讯科技（深圳）有限公司 基于人工智能的图像处理方法、装置、介质及电子设备
CN110895809B (zh) * 2019-10-18 2022-07-15 中国科学技术大学 准确提取髋关节影像中关键点的方法
CN110738654B (zh) * 2019-10-18 2022-07-15 中国科学技术大学 髋关节影像中的关键点提取及骨龄预测方法
US11030782B2 (en) * 2019-11-09 2021-06-08 Adobe Inc. Accurately generating virtual try-on images utilizing a unified neural network framework
CN111091610B (zh) * 2019-11-22 2023-04-11 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
US11403788B2 (en) 2019-11-22 2022-08-02 Beijing Sensetime Technology Development Co., Ltd. Image processing method and apparatus, electronic device, and storage medium
CN111062260B (zh) * 2019-11-25 2024-03-05 杭州绿度信息技术有限公司 一种面部整容推荐方案自动生成方法
CN110956595B (zh) * 2019-11-29 2023-11-24 广州酷狗计算机科技有限公司 一种人脸美型处理的方法、装置、系统及存储介质
US20210182950A1 (en) * 2019-12-16 2021-06-17 Myntra Designs Private Limited System and method for transforming images of retail items
US11216922B2 (en) 2019-12-17 2022-01-04 Capital One Services, Llc Systems and methods for recognition of user-provided images
CN112991147B (zh) * 2019-12-18 2023-10-27 抖音视界有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
US11687778B2 (en) 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals
JP2021114111A (ja) * 2020-01-17 2021-08-05 Ｎｅｃソリューションイノベータ株式会社 撮像支援装置、撮像支援方法、及びプログラム
CN114981836A (zh) * 2020-01-23 2022-08-30 三星电子株式会社 电子设备和电子设备的控制方法
US11922540B2 (en) 2020-02-14 2024-03-05 Perfect Mobile Corp. Systems and methods for segment-based virtual application of facial effects to facial regions displayed in video frames
US11404086B2 (en) 2020-02-14 2022-08-02 Perfect Mobile Corp. Systems and methods for segment-based virtual application of makeup effects to facial regions displayed in video frames
US11508148B2 (en) * 2020-03-18 2022-11-22 Adobe Inc. Automatic makeup transfer using semi-supervised learning
CN111345803B (zh) * 2020-03-20 2022-04-12 浙江大学城市学院 一种基于移动设备摄像头的心率变异性测量方法
US11676354B2 (en) * 2020-03-31 2023-06-13 Snap Inc. Augmented reality beauty product tutorials
CN115699130A (zh) * 2020-03-31 2023-02-03 斯纳普公司 增强现实美容产品教程
CN113496459A (zh) * 2020-04-01 2021-10-12 华为技术有限公司 辅助化妆方法、终端设备、存储介质及程序产品
US11915305B2 (en) 2020-04-01 2024-02-27 Snap Inc. Identification of physical products for augmented reality experiences in a messaging system
US11521334B2 (en) 2020-04-01 2022-12-06 Snap Inc. Augmented reality experiences of color palettes in a messaging system
US12118601B2 (en) * 2020-04-01 2024-10-15 Snap Inc. Method, system, and non-transitory computer-readable medium for analyzing facial features for augmented reality experiences of physical products in a messaging system
CN111612687B (zh) * 2020-04-22 2023-04-18 杭州电子科技大学 一种人脸图像自动上妆方法
CN111523473B (zh) * 2020-04-23 2023-09-26 北京百度网讯科技有限公司 口罩佩戴识别方法、装置、设备和可读存储介质
JP7183414B2 (ja) * 2020-04-29 2022-12-05 バイドゥ オンライン ネットワーク テクノロジー（ペキン） カンパニー リミテッド 画像処理の方法及び装置
CN111586428A (zh) * 2020-04-30 2020-08-25 永康精信软件开发有限公司 具有虚拟人物上妆功能的化妆品直播系统及方法
CN111640057B (zh) * 2020-05-25 2022-04-15 武汉理工大学 基于隐藏变量解耦的人脸图像局部特征迁移网络及方法
KR102503711B1 (ko) * 2020-05-26 2023-02-24 문명일 데이터베이스 연동 얼굴 분석 시스템 및 그것의 화면 표시 제어 방법
KR102223753B1 (ko) * 2020-06-05 2021-03-05 주식회사 픽스트리 얼굴 이미지 개선 방법 및 장치
CN111601129B (zh) * 2020-06-05 2022-04-01 北京字节跳动网络技术有限公司 控制方法、装置、终端及存储介质
US11423652B2 (en) 2020-06-10 2022-08-23 Snap Inc. Adding beauty products to augmented reality tutorials
FR3115146B1 (fr) * 2020-10-14 2022-10-28 Oreal systeme et procédé d'essayage de maquillage virtuel précis et personnalisé
US11580682B1 (en) * 2020-06-30 2023-02-14 Snap Inc. Messaging system with augmented reality makeup
US11682151B2 (en) * 2020-06-30 2023-06-20 L'oreal System and method for a personalized and accurate virtual make-up try-on
JP7575657B2 (ja) 2020-07-02 2024-10-30 フリュー株式会社 画像処理装置、画像処理方法、画像処理プログラム、領域特定モデル及びモデル生成方法
CN111815533B (zh) * 2020-07-14 2024-01-19 厦门美图之家科技有限公司 妆容处理方法、装置、电子设备和可读存储介质
TWI768478B (zh) * 2020-09-25 2022-06-21 宏碁股份有限公司 適應性調用外部硬體資源的方法
KR102416554B1 (ko) * 2020-10-08 2022-07-05 주식회사 써머캣 이미지에 포함된 얼굴 윤곽을 보정하기 위한 장치 및 이의 작동 방법
US11361515B2 (en) * 2020-10-18 2022-06-14 International Business Machines Corporation Automated generation of self-guided augmented reality session plans from remotely-guided augmented reality sessions
BR102020022162A2 (pt) * 2020-10-29 2022-05-10 Botica Comercial Farmacêutica Ltda. Método de detecção e segmentação da região labial
CN112308769B (zh) * 2020-10-30 2022-06-10 北京字跳网络技术有限公司 图像合成方法、设备及存储介质
WO2022098087A1 (ko) * 2020-11-03 2022-05-12 주식회사 메디트 데이터 처리 장치 및 데이터 처리 방법
KR102395083B1 (ko) * 2020-11-18 2022-05-10 주식회사 에스알유니버스 인공지능을 활용한 가상 얼굴 생성 방법 및 장치
US12079306B2 (en) * 2020-11-20 2024-09-03 Mediatek Inc. Methods and apparatuses of contrastive learning for color constancy
KR20220073444A (ko) 2020-11-26 2022-06-03 삼성전자주식회사 오브젝트 추적 방법, 장치 및 그 방법을 수행하는 단말기
WO2022120202A1 (en) * 2020-12-04 2022-06-09 Skin Posi Inc. Systems and methods to order cosmetic products in a skincare routine to maximize product efficacy
CN112651322B (zh) * 2020-12-22 2024-05-24 北京眼神智能科技有限公司 脸颊遮挡检测方法、装置及电子设备
US11659193B2 (en) * 2021-01-06 2023-05-23 Tencent America LLC Framework for video conferencing based on face restoration
CN112863453B (zh) * 2021-01-07 2022-07-12 Tcl华星光电技术有限公司 全息显示方法及全息显示系统
CN112750531A (zh) * 2021-01-21 2021-05-04 广东工业大学 一种中医自动化望诊系统、方法、设备和介质
EP4075326A4 (en) * 2021-02-23 2022-12-14 Beijing Sensetime Technology Development Co., Ltd. IMAGE PROCESSING METHOD AND APPARATUS, ELECTRONIC DEVICE AND STORAGE MEDIA
CN112767285B (zh) * 2021-02-23 2023-03-10 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN112766234B (zh) * 2021-02-23 2023-05-12 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN112819017B (zh) * 2021-03-09 2022-08-16 遵义师范学院 基于直方图的高精度色偏图像识别方法
US12117891B2 (en) 2021-03-09 2024-10-15 International Business Machines Corporation Deducing a root cause analysis model from augmented reality peer assistance sessions
WO2022195323A1 (en) * 2021-03-15 2022-09-22 One Game Studio S.A.P.I De C.V. System and method to interpret a surround of a user to generate an augmented reality environment
CN113298936B (zh) * 2021-06-01 2022-04-29 浙江大学 一种基于深度学习的多rgb-d全脸材质恢复方法
CN113362422B (zh) * 2021-06-08 2022-07-05 武汉理工大学 一种阴影鲁棒的基于解耦表示的妆容迁移系统及方法
CN113435443B (zh) * 2021-06-28 2023-04-18 中国兵器装备集团自动化研究所有限公司 一种从视频中自动识别地标的方法
CN113313811B (zh) * 2021-06-29 2024-06-28 完美世界(北京)软件科技发展有限公司 一种光照处理方法、装置、电子设备及存储介质
CN113449657B (zh) * 2021-07-05 2022-08-30 中山大学 一种基于人脸关键点的深度伪造人脸视频检测方法、系统及介质
US11373059B2 (en) * 2021-07-23 2022-06-28 MIME, Inc. Color image analysis for makeup color prediction model
CN113592880A (zh) * 2021-07-30 2021-11-02 复旦大学 一种基于高斯混合模型的唇部分割方法
KR102377222B1 (ko) * 2021-08-13 2022-03-23 주식회사 에이아이네이션 다각도 이미지 인식 처리 기술을 활용한 인공지능 가상 화장 방법 및 장치
CN113837017B (zh) * 2021-08-31 2022-11-04 北京新氧科技有限公司 一种化妆进度检测方法、装置、设备及存储介质
CN115731142A (zh) * 2021-08-31 2023-03-03 北京新氧科技有限公司 一种图像处理方法、装置、设备及存储介质
CN113837020B (zh) * 2021-08-31 2024-02-02 北京新氧科技有限公司 一种化妆进度检测方法、装置、设备及存储介质
CN115829827A (zh) * 2021-09-16 2023-03-21 北京字跳网络技术有限公司 人脸图像处理方法、装置、设备及介质
WO2023069086A1 (en) * 2021-10-20 2023-04-27 Innopeak Technology, Inc. System and method for dynamic portrait relighting
US12020358B2 (en) * 2021-10-29 2024-06-25 Snap Inc. Animated custom sticker creation
US11995757B2 (en) 2021-10-29 2024-05-28 Snap Inc. Customized animation from video
CN114220172A (zh) * 2021-12-16 2022-03-22 云知声智能科技股份有限公司 一种唇动识别的方法、装置、电子设备和存储介质
CN116484932B (zh) * 2022-01-14 2024-09-06 腾讯科技（深圳）有限公司 妆容迁移模型的训练方法、装置及妆容迁移方法、装置
JP7308318B1 (ja) 2022-03-04 2023-07-13 株式会社Zozo 情報処理装置、情報処理方法及び情報処理プログラム
JP7308317B1 (ja) 2022-03-04 2023-07-13 株式会社Zozo 情報処理装置、情報処理方法及び情報処理プログラム
US20230289930A1 (en) * 2022-03-10 2023-09-14 Samsung Electronics Company, Ltd. Systems and Methods for Lightweight Machine Learning for Image Illumination Control
CN114663552B (zh) * 2022-05-25 2022-08-16 武汉纺织大学 一种基于2d图像的虚拟试衣方法
CN115243033A (zh) * 2022-06-30 2022-10-25 东莞华贝电子科技有限公司 一种偏色检测方法、装置、电子设备和存储介质
KR102515436B1 (ko) * 2022-08-01 2023-03-29 주식회사 어썸커머스 인공지능 기반 얼굴 메이크업 처리 방법, 장치 및 시스템
TWI835238B (zh) * 2022-08-05 2024-03-11 瑞昱半導體股份有限公司 影像處理方法及影像處理裝置
WO2024050760A1 (en) * 2022-09-08 2024-03-14 Intel Corporation Image processing with face mask detection
TWI847642B (zh) * 2023-03-31 2024-07-01 國立勤益科技大學 智能商品供應量監控系統
CN118132842B (zh) * 2024-03-07 2024-09-03 浙江百姿化妆品股份有限公司 一种基于物联网的口红配色选择分析系统
US12118821B1 (en) * 2024-04-10 2024-10-15 Lashify, Inc. Using image processing, machine learning and images of a human face for prompt generation related to false eyelashes

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102113335A (zh) * 2009-06-09 2011-06-29 索尼公司 图像处理设备和方法以及程序

Family Cites Families (106)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW511040B (en) 1999-07-07 2002-11-21 Fd Man Inc Color cosmetic selection system
FR2799022B1 (fr) 1999-09-29 2002-02-01 Oreal Dispositif d'aide au maquillage et ensemble constitue d'un tel dispositif et d'un dispositif permettant de delivrer un produit ayant une brdf predeterminee, selectionne par le dispositif d'aide au maquillage
WO2001045029A2 (en) 1999-12-10 2001-06-21 Lennon Jerry W Customer image capture and use thereof in a retailing system
FR2802679B1 (fr) 1999-12-21 2002-02-08 Oreal Systeme et procede d'analyse et de simulation previsionnelle de l'evolution d'une zone pileuse, et plus particulierement du cuir chevelu humain
US10755286B2 (en) 2000-08-24 2020-08-25 Facecake Marketing Technologies, Inc. Targeted marketing system and method
US7337127B1 (en) 2000-08-24 2008-02-26 Facecake Marketing Technologies, Inc. Targeted marketing system and method
US9064344B2 (en) 2009-03-01 2015-06-23 Facecake Technologies, Inc. Image transformation systems and methods
JP2002131135A (ja) 2000-10-20 2002-05-09 Kao Corp 基準色票およびメイクシミュレーション装置
US7634103B2 (en) 2001-10-01 2009-12-15 L'oreal S.A. Analysis using a three-dimensional facial image
US7324668B2 (en) 2001-10-01 2008-01-29 L'oreal S.A. Feature extraction in beauty analysis
US7437344B2 (en) 2001-10-01 2008-10-14 L'oreal S.A. Use of artificial intelligence in providing beauty advice
US6761697B2 (en) 2001-10-01 2004-07-13 L'oreal Sa Methods and systems for predicting and/or tracking changes in external body conditions
JP2003187230A (ja) * 2001-12-14 2003-07-04 Kao Corp 撮影画像処理装置および化粧シミュレーション装置
JP3993029B2 (ja) * 2002-06-24 2007-10-17 デジタルファッション株式会社 化粧シミュレーション装置、化粧シミュレーション方法、化粧シミュレーションプログラム及びそのプログラムを記録した記録媒体
JP4285037B2 (ja) 2003-03-20 2009-06-24 花王株式会社 肌のシミュレーション画像の形成方法
US7773091B2 (en) 2004-09-07 2010-08-10 L'oreal Method and device for generating a synthesized image of at least one fringe of lashes
AU2005286823B2 (en) * 2004-09-17 2009-10-01 Cyberextruder.Com, Inc. System, method, and apparatus for generating a three-dimensional representation from one or more two-dimensional images
US8488023B2 (en) * 2009-05-20 2013-07-16 DigitalOptics Corporation Europe Limited Identifying facial expressions in acquired digital images
EP2884738A1 (en) 2005-03-01 2015-06-17 Nissi Vilcovsky Method to enable appearance comparison of a user
JP2006254309A (ja) 2005-03-14 2006-09-21 Fuji Photo Film Co Ltd 撮影システム
FR2883395B1 (fr) * 2005-03-16 2007-06-01 Marie Anne Senckeisen Procede d'assistance au maquillage en temps reel et son dispositif de mise en oeuvre
US7319467B2 (en) 2005-03-29 2008-01-15 Mitsubishi Electric Research Laboratories, Inc. Skin reflectance model for representing and rendering faces
EP1975870B1 (en) * 2006-01-17 2020-08-26 Shiseido Co., Ltd. Makeup simulation system, makeup simulation device, makeup simulation method, and makeup simulation program
US7634108B2 (en) 2006-02-14 2009-12-15 Microsoft Corp. Automated face enhancement
JP4753025B2 (ja) * 2006-03-22 2011-08-17 花王株式会社 メイクアップシミュレーション方法
US8620038B2 (en) 2006-05-05 2013-12-31 Parham Aarabi Method, system and computer program product for automatic and semi-automatic modification of digital images of faces
US8660319B2 (en) 2006-05-05 2014-02-25 Parham Aarabi Method, system and computer program product for automatic and semi-automatic modification of digital images of faces
US8265351B2 (en) 2006-05-05 2012-09-11 Parham Aarabi Method, system and computer program product for automatic and semi-automatic modification of digital images of faces
JP2010520551A (ja) 2007-03-08 2010-06-10 ヒューレット−パッカード デベロップメント カンパニー エル．ピー． 画像から推定される皮膚色に基づいて製品を推奨するための方法及びシステム
JP2009064423A (ja) * 2007-08-10 2009-03-26 Shiseido Co Ltd メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム
US20090231356A1 (en) * 2008-03-17 2009-09-17 Photometria, Inc. Graphical user interface for selection of options from option groups and methods relating to same
US8005270B2 (en) 2008-04-11 2011-08-23 Youdocs Llc System and method for determining an objective measure of human beauty
US20090290791A1 (en) * 2008-05-20 2009-11-26 Holub Alex David Automatic tracking of people and bodies in video
CA2651539C (en) 2008-07-18 2016-07-05 Modiface Inc. Method and apparatus for hair colour simulation
JP2010086036A (ja) 2008-09-29 2010-04-15 Fujifilm Corp 診断装置及び診断方法
US8725560B2 (en) 2009-02-02 2014-05-13 Modiface Inc. Method and system for simulated product evaluation via personalizing advertisements based on portrait images
US9965778B2 (en) 2009-02-02 2018-05-08 Modiface Inc. System and method for the indication of modification region boundaries on facial images
JP2010211308A (ja) * 2009-03-06 2010-09-24 Fujifilm Corp メイクアップアドバイス装置、メイクアップアドバイス方法及びプログラム
US8823934B2 (en) 2009-03-27 2014-09-02 Brightex Bio-Photonics Llc Methods and systems for imaging and modeling skin using polarized lighting
US8498456B2 (en) 2009-07-13 2013-07-30 Stylecaster, Inc. Method and system for applying cosmetic and/or accessorial enhancements to digital images
US8550818B2 (en) 2010-05-21 2013-10-08 Photometria, Inc. System and method for providing and modifying a personalized face chart
JP4760999B1 (ja) 2010-10-29 2011-08-31 オムロン株式会社 画像処理装置、画像処理方法、および制御プログラム
US8711175B2 (en) 2010-11-24 2014-04-29 Modiface Inc. Method and system for simulating superimposition of a non-linearly stretchable object upon a base object using representative images
JP5656603B2 (ja) 2010-12-14 2015-01-21 キヤノン株式会社 情報処理装置、情報処理方法、およびそのプログラム
KR101733512B1 (ko) * 2010-12-22 2017-05-10 에스케이플래닛 주식회사 얼굴 특징 기반의 가상 체험 시스템 및 그 방법
JP2012181688A (ja) 2011-03-01 2012-09-20 Sony Corp 情報処理装置、情報処理方法、情報処理システムおよびプログラム
JP4831259B1 (ja) * 2011-03-10 2011-12-07 オムロン株式会社 画像処理装置、画像処理方法、および制御プログラム
US8478077B2 (en) * 2011-03-20 2013-07-02 General Electric Company Optimal gradient pursuit for image alignment
KR101850527B1 (ko) 2011-03-25 2018-04-19 삼성전자주식회사 휴대용 디바이스 및 휴대용 디바이스의 무선 전력 충전 시스템
US8804122B2 (en) 2011-09-22 2014-08-12 Brightex Bio-Photonics Llc Systems and methods for determining a surface profile using a plurality of light sources
US8983203B2 (en) 2011-10-14 2015-03-17 Ulsee Inc. Face-tracking method with high accuracy
JP2015507241A (ja) * 2011-12-04 2015-03-05 デジタル メイクアップ リミテッドＤｉｇｉｔａｌ Ｍａｋｅｕｐ Ｌｔｄ デジタルメイクアップ
US8634647B2 (en) 2011-12-07 2014-01-21 Elwha Llc Informational data indicative of a possible non-imaged portion of a region of interest
US20130159895A1 (en) 2011-12-15 2013-06-20 Parham Aarabi Method and system for interactive cosmetic enhancements interface
US8908904B2 (en) 2011-12-28 2014-12-09 Samsung Electrônica da Amazônia Ltda. Method and system for make-up simulation on portable devices having digital cameras
US9118876B2 (en) 2012-03-30 2015-08-25 Verizon Patent And Licensing Inc. Automatic skin tone calibration for camera images
US9111134B1 (en) 2012-05-22 2015-08-18 Image Metrics Limited Building systems for tracking facial features across individuals and groups
US9104908B1 (en) 2012-05-22 2015-08-11 Image Metrics Limited Building systems for adaptive tracking of facial features across individuals and groups
US9460462B1 (en) 2012-05-22 2016-10-04 Image Metrics Limited Monetization using video-based simulation of cosmetic products
US9449412B1 (en) 2012-05-22 2016-09-20 Image Metrics Limited Adaptive, calibrated simulation of cosmetic products on consumer devices
US9224248B2 (en) 2012-07-12 2015-12-29 Ulsee Inc. Method of virtual makeup achieved by facial tracking
US9262869B2 (en) 2012-07-12 2016-02-16 UL See Inc. Method of 3D model morphing driven by facial tracking and electronic device using the method the same
US9182813B2 (en) 2012-08-10 2015-11-10 Ulsee Inc. Image-based object tracking system in 3D space using controller having multiple color clusters
US8910082B2 (en) 2012-08-10 2014-12-09 Modiface Inc. Method and system for modification of digital images through rotational cascading-effect interface
TWI582708B (zh) 2012-11-22 2017-05-11 緯創資通股份有限公司 臉部表情控制系統、表情控制之方法及其電腦系統
US9317136B2 (en) 2013-01-10 2016-04-19 UL See Inc. Image-based object tracking system and image-based object tracking method
EP2953090A4 (en) 2013-02-01 2016-05-25 Panasonic Ip Man Co Ltd MAKEUP AID, MAKEUP AID, MAKEUP ASSISTANCE AND MAKEUP ASSISTANCE
JP6008323B2 (ja) 2013-02-01 2016-10-19 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
WO2014144275A2 (en) 2013-03-15 2014-09-18 Skin Republic, Inc. Systems and methods for specifying and formulating customized topical agents
US20160042224A1 (en) 2013-04-03 2016-02-11 Nokia Technologies Oy An Apparatus and Associated Methods
CN104380339B (zh) 2013-04-08 2018-11-30 松下电器（美国）知识产权公司 图像处理装置、图像处理方法、以及介质
WO2014170886A1 (en) * 2013-04-17 2014-10-23 Digital Makeup Ltd System and method for online processing of video images in real time
CN105378657A (zh) 2013-05-29 2016-03-02 诺基亚技术有限公司 装置和相关方法
WO2014208067A1 (ja) 2013-06-28 2014-12-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 肌の官能評価装置および肌の評価方法
GB2518589B (en) 2013-07-30 2019-12-11 Holition Ltd Image processing
US9779527B2 (en) 2013-08-15 2017-10-03 Xiaomi Inc. Method, terminal device and storage medium for processing image
JP6368919B2 (ja) 2013-08-30 2018-08-08 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
US20160239187A1 (en) 2013-10-13 2016-08-18 Inuitive Ltd. Hands on computerized emulation of make up
FR3015872B1 (fr) 2013-12-27 2017-03-24 Oreal Dispositif de maquillage comportant une pluralite d'encres cosmetiques
US9687155B2 (en) 2014-02-20 2017-06-27 Modiface Inc. System, method and application for skin health visualization and quantification
US10339685B2 (en) 2014-02-23 2019-07-02 Northeastern University System for beauty, cosmetic, and fashion analysis
US9501689B2 (en) 2014-03-13 2016-11-22 Panasonic Intellectual Property Management Co., Ltd. Image processing apparatus and image processing method
JP6331515B2 (ja) 2014-03-13 2018-05-30 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置およびメイクアップ支援方法
US9760935B2 (en) 2014-05-20 2017-09-12 Modiface Inc. Method, system and computer program product for generating recommendations for products and treatments
US9665984B2 (en) 2014-07-31 2017-05-30 Ulsee Inc. 2D image-based 3D glasses virtual try-on system
GB201414144D0 (en) * 2014-08-08 2014-09-24 Imagination Tech Ltd Relightable texture for use in rendering an image
US20160042557A1 (en) 2014-08-08 2016-02-11 Asustek Computer Inc. Method of applying virtual makeup, virtual makeup electronic system, and electronic device having virtual makeup electronic system
US10002452B2 (en) 2014-10-07 2018-06-19 Cyberlink Corp. Systems and methods for automatic application of special effects based on image attributes
KR102214918B1 (ko) 2014-10-21 2021-02-10 삼성전자주식회사 얼굴 인식 방법 및 장치
US10664686B2 (en) 2014-11-04 2020-05-26 Samsung Electronics Co., Ltd. Electronic device, and method for analyzing face information in electronic device
US10083345B2 (en) 2015-05-05 2018-09-25 Myongsu Choe Makeup supporting methods for creating and applying a makeup guide content to makeup user's face on a real-time basis
US20160357578A1 (en) 2015-06-03 2016-12-08 Samsung Electronics Co., Ltd. Method and device for providing makeup mirror
US10121055B1 (en) 2015-09-08 2018-11-06 Carnegie Mellon University Method and system for facial landmark localization
US9633250B2 (en) 2015-09-21 2017-04-25 Mitsubishi Electric Research Laboratories, Inc. Method for estimating locations of facial landmarks in an image of a face using globally aligned regression
US9576351B1 (en) * 2015-11-19 2017-02-21 Adobe Systems Incorporated Style transfer for headshot portraits
US9984282B2 (en) 2015-12-10 2018-05-29 Perfect Corp. Systems and methods for distinguishing facial features for cosmetic application
JP6200483B2 (ja) 2015-12-23 2017-09-20 株式会社オプティム 画像処理システム、画像処理方法、および画像処理プログラム
US10162997B2 (en) 2015-12-27 2018-12-25 Asustek Computer Inc. Electronic device, computer readable storage medium and face image display method
EP3423990A1 (en) * 2016-03-02 2019-01-09 Holition Limited Locating and augmenting object features in images
US10614567B2 (en) * 2016-07-25 2020-04-07 Case Western Reserve University Quantifying mass effect deformation with structural radiomics in brain tumor patients
US11315173B2 (en) * 2016-09-15 2022-04-26 GlamST LLC Applying virtual makeup products
CN106682958A (zh) * 2016-11-21 2017-05-17 汕头市智美科技有限公司 一种虚拟试妆方法及装置
US10068135B2 (en) 2016-12-22 2018-09-04 TCL Research America Inc. Face detection, identification, and tracking system for robotic devices
EP3592176A4 (en) 2017-03-07 2020-08-26 Shiseido Americas Corporation SYSTEM AND METHOD FOR SETTING CUSTOM TOPICAL AGENTS
CN111066060B (zh) 2017-07-13 2024-08-02 资生堂株式会社 虚拟面部化妆去除和模拟、快速面部检测和地标跟踪
CA3074301C (en) 2017-09-07 2021-05-04 Ofinno, Llc Uplink beam management

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102113335A (zh) * 2009-06-09 2011-06-29 索尼公司 图像处理设备和方法以及程序

Also Published As

Publication number Publication date
JP7200139B2 (ja) 2023-01-06
US20200015575A1 (en) 2020-01-16
US20190289986A1 (en) 2019-09-26
TW201931179A (zh) 2019-08-01
EP3652701A4 (en) 2021-11-03
US20190014884A1 (en) 2019-01-17
US10939742B2 (en) 2021-03-09
JP2023036784A (ja) 2023-03-14
US11000107B2 (en) 2021-05-11
KR20200026808A (ko) 2020-03-11
CN111066060A (zh) 2020-04-24
US20190269224A1 (en) 2019-09-05
EP3652701A1 (en) 2020-05-20
JP2020526809A (ja) 2020-08-31
WO2019014646A1 (en) 2019-01-17
US11039675B2 (en) 2021-06-22
US20220386759A1 (en) 2022-12-08
JP2024120013A (ja) 2024-09-03
US11344102B2 (en) 2022-05-31

Similar Documents

Publication Publication Date Title
CN111066060B (zh) 虚拟面部化妆去除和模拟、快速面部检测和地标跟踪
CN109690617B (zh) 用于数字化妆镜的系统和方法
US11741639B2 (en) Locating and augmenting object features in images
US10169905B2 (en) Systems and methods for animating models from audio data
US20190122411A1 (en) Systems and Methods for Generating Computer Ready Animation Models of a Human Head from Captured Data Images
JP2024500896A (ja) ３ｄ頭部変形モデルを生成するための方法、システム及び方法
CN116997933A (zh) 用于构造面部位置图的方法和系统
JP7462120B2 (ja) ２次元（２ｄ）顔画像から色を抽出するための方法、システム及びコンピュータプログラム
Ioannou et al. Robust feature detection for facial expression recognition
JP2024506170A (ja) 個人化された３ｄ頭部モデルおよび顔モデルを形成するための方法、電子装置、およびプログラム
US10803677B2 (en) Method and system of automated facial morphing for eyebrow hair and face color detection
Zhang et al. Monocular face reconstruction with global and local shape constraints
Withurat et al. Personal color analysis using color space algorithm
Zhao 3D Human Face Reconstruction and 2D Appearance Synthesis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40017285

Country of ref document: HK

TA01 Transfer of patent application right

Effective date of registration: 20210425

Address after: Tokyo, Japan

Applicant after: Shiseido Co.,Ltd.

Address before: New York State, USA

Applicant before: Shiseido Americas

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant