CN113557716B - 用于将包括毛发颜色变化的数字内容投影到用户的头部，面部或身体上的系统，设备和方法 - Google Patents

Abstract

在一个实施例中，虚拟染发系统包括：投影仪(22)，被配置为将包括化妆应用教程的数字内容投影到用户头发上；和动态映射单元(24；30)，与投影仪可操作地联接，其中，动态映射单元被配置为建立投影仪(22)的像素与用户头发特征之间的动态对应关系。

Description

用于将包括毛发颜色变化的数字内容投影到用户的头部，面 部或身体上的系统，设备和方法

发明内容

在一个实施例中，虚拟染发系统包括：投影仪，所述投影仪被配置为将包括化妆应用教程的数字内容投影到用户的头发上；和动态映射单元，所述动态映射单元与投影仪能够操作地联接，其中，动态映射单元被配置为建立投影仪像素与用户头发特征之间的动态对应关系。

一方面，所述投影仪的像素与用户头发特征之间的动态对应关系为第一动态对应关系，所述动态映射单元被配置为建立投影仪像素与用户面部特征之间的第二动态对应关系。

一方面，该系统还包括能够操作地联接到投影仪的动态失真补偿单元，其中，所述动态失真补偿单元被配置为实时补偿用户面部表面或用户头发的颜色失真和几何失真中的至少一种。

一方面，所述动态映射单元包括深度相机，所述深度相机被配置为动态确定用户面部表面或用户头发的深度轮廓。

在另一方面，所述深度相机包括被配置为确定用户头发的深度轮廓的飞行时间传感器和多普勒效应转换器中的至少一个。

一方面，所述动态映射单元包括具有分束器的同轴光学装置，其中，所述分束器被配置为将用户面部表面图像或用户头发图像引导至动态映射单元的相机，其中，所述投影仪被配置为将包括化妆应用教程的数字内容投影到用户头发上。

一方面，该相机为2D相机，所述动态映射单元被配置为与用户面部或用户头发的深度轮廓无关地建立投影仪的各个像素与用户面部表面特征之间的动态对应关系。

在一个方面，所述投影仪被配置为至少投影第一虚拟对象和第二虚拟对象，第二虚拟对象指示与第一虚拟对象不同的环境照明条件。

一方面，用户头发的深度解析数字表达的动态对应关系包括至少一个面部标记的动态对应关系。

一方面，用户头发的深度解析数字表达的动态对应关系包括用户头发的至少一个部分三维表达的动态对应关系。

一方面，用户头发的深度解析数字表达的动态对应关系包括面部图像中的面部标记、皱纹、皮褶或解剖特征中的至少一种的动态对应关系。

在一个实施例中，一种将包括化妆应用教程的数字内容投影到用户的方法，所述方法包括：通过动态映射单元来建立投影仪的像素与用户头发特征之间的动态对应关系，其中，所述动态映射单元能够操作地联接到投影仪；并且通过所述投影仪将包括化妆应用教程在内的数字内容投影到用户的头发上。

一方面，通过所述动态映射单元来建立投影仪的像素与用户头发特征的动态对应关系包括：投影包括结构光投影、结构码投影、灯带投影、空间编码图案、时间编码图案或参考图像投影在内的光图案。

一方面，通过所述动态映射单元来建立投影仪的像素与用户头发特征之间的动态对应关系包括：产生至少部分用户头发的深度解析数字表达。

一方面，将包括化妆应用教程的数字内容投影包括：投影数字产生的、代表头发造型过程的内容。

附图说明

图1是根据本发明的一个实施例的数字内容投影系统的示意图。

图2是根据本发明的一个实施例的数字内容投影系统的示意图。

图3A-3C是根据本发明的实施例的用于化妆应用的数字内容投影方法示意图。

图4A-4C是根据本发明的实施例的用于化妆应用的数字内容投影方法示意图。

图5A和5B是根据本发明的实施例的用于染发或头发造型应用的数字内容投影方法示意图。

图6是根据本发明的一个实施例的数字内容投影系统的透视图。

在以下详细描述中会参考附图，其构成了本文的一部分。在附图中，除非上下文另有说明，否则相似的符号通常标识相似的组件。在详细说明、附图和请求保护方案中描述的说明性实施例并不意味着是限制性的。在不脱离这里呈现的主题的精神或范围的情况下，可以利用其他实施例，并且可以做出其他改变。

具体实施方式

图1是根据本发明的一个实施例中的数字内容投影系统的示意图。在不同的实施例中，系统110(例如，数字内容投影系统、增强现实系统、化妆教程系统、虚拟染发系统等)可以包括通过以下方式实现的一种或多种方法论或技术：例如，将数字内容投影到用户，将数字头发内容投影到用户，将数字化妆内容投影到用户的头部、面部或身体部分，产生增强现实内容等。为了简要和简洁，这些数字内容投影系统、增强现实系统、化妆教程系统和/或虚拟染发系统在本文中被称为化妆教程系统。

在所示实施例中，深度相机24获取用户10的面部的深度解析图像。在不同的实施例中，深度相机24和适当的图像处理软件(例如，由处理单元30和/或相机24本身携带)被称为动态映射单元。在一个实施例中，深度相机24包括被配置为对用户头部、面部或身体部分的至少部分的三维或二维表达进行实时跟踪的深度传感器和电路。深度相机24获取的图像可由处理单元30(例如，计算机、智能手机、数字控制器等)处理以解析用户面部的深度和轮廓。

由于为投影仪22和深度相机24创建模型(例如，在处理单元30内)，因而深度相机24建立几何校准。基于模型并通过校准，可以估计这些模型的参数。因此，使用实时深度输入和模型参数，系统110可以动态地(例如，为每一帧)建立投影仪22的投影与深度相机24获取的深度轮廓之间的对应关系。

在一个实施例中，投影仪22被配置为在用户面部产生数字美容应用的投影。在操作中，数字投影仪22的像素可以实时跟踪用户面部的一个或多个标记/特征，如由深度相机24捕获和解析的。投影仪22也可以与处理单元30连接以协调由深度相机24获得的用户面部的深度和轮廓。

在一个实施例中，系统110被配置为针对实时投影校准投影仪和相机。在一个实施例中，深度传感器可操作以评估相机像素的三维(3D)位置。在一个实施例中，深度相机24和投影仪22之间的校准可以使用不同的方案来实现。例如，从用于投影仪和相机的光学模型(相同但光线方向相反)开始，需要投影仪上的二维(2D)点和相机图像以及3D点之间在场景中的一组对应关系以调整光学模型的参数。共同的原理是投影仪投影一些编码信息，相机捕获并解码这些信息。

编码此信息(时间/空间编码)有不同的方法，对所需的设置和姿势数量有不同假设。作为非限制性示例，一些方法使用将编码信息投影在其上的校准目标，其他方法仅在任意场景上投影，并且在某些情况下可以在平面上进行投影。使用平面可以提供比任意场景更好的结果(由于复杂表面上的纯解码、相互反射等而受到异常值的影响)，而平面上的投影仍然可以提供大量稳定点。

在一个实施例中，系统110包括动态失真补偿单元26。在不同的实施例中，动态失真补偿单元26针对例如用户面部的不同姿势、面部扭曲、嘴唇的运动、眨眼、头发的晃动等进行调整，从而使得投影仪22说明用户10上的这些动态变化。在不同的实施例中，动态失真补偿单元26实时补偿与投影的数字内容(可能包括与化妆应用教程相关的失真)相关联的照明和几何失真。在一个实施例中，动态失真补偿可以包括通过投影仪22在用户的面部或头发上投影的点、线、形状、区域等。在一些实施例中，动态失真补偿单元26可操作地联接到投影仪22以实时补偿用户面部表面的颜色失真和几何失真中的至少一种。在一些实施例中，动态失真补偿单元26在面部被映射(例如，通过深度相机24而被映射)之后执行校正以增强用户体验。例如，光度补偿可以补偿用户面部的不同颜色，以创建所需的效果。此外，可以在使用系统110的深度相机24和系统120的同轴光学系统两者时应用失真补偿(图2中所示)。

在一些实施例中，化妆教程28可以将数字内容化妆内容(例如，通过数字投影仪22)投影到用户的面部表面上。这种数字内容化妆内容可以包括表示化妆应用过程的面部映射和数字产生的内容，例如，用于化妆、染发或头发造型的指令。在一些实施例中，可以将化妆教程投影到一只眼睛上作为指导，而将真正的化妆应用到另一只眼睛上。在不同的实施例中，可以将多重场景投影到面部。例如，用于白天穿着的一套妆容可以投影到脸的一侧，而用于晚间活动的另一套妆容可以投影到脸的另一侧。

在操作过程中，系统110可以通过深度相机24来提取用户面部的形状和拓扑结构，并可以通过投影仪22直接在用户面部投影个性化的化妆教程。用户可以使用镜子看到投影。在一个实施例中，化妆程序是通过定义每个待应用的产品的应用区域来逐渐投影的。在一个实施例中，用户可以使用这些区域进行真正的化妆。在一个实施例中，化妆应用是数字化地实现的(例如，投影仪22是数字投影仪)。在一个实施例中，用户10与界面交互以推进下一个产品或修改体验。在一个实施例中，用户可以通过将真实产品与投影的虚拟应用区域进行比较来检查真实产品的应用是否成功。

在一些实施例中，用户通过界面(平板电脑、智能手机等)与系统交互。对于各种应用程序，用户可以与界面交互为了对投影的内容做出决定。例如，用户可以从各种建议的体验(化妆教程、趣味投影、讲故事、染发等)中选择一个，修改体验(调整妆容等)，或控制过程(转到或跳过下一步，提供她/他完成当前会话的反馈等)。该界面可以通过WiFi或通过集成在最终产品中的电缆连接到投影摄像机系统。

由深度相机24获取的数据、由投影仪22投影的数据、用于数据处理的算法、化妆教程等可以存储在处理单元30或远程系统50(“数据云”)上——统称为数据存储系统。如本文所述，数据存储系统可以是被配置为存储数据以供计算设备访问的任何合适的设备。数据存储系统的示例是在一个或多个计算设备上执行并且可通过高速网络在数据云50上访问的高速相关数据库管理系统(DBMS)。然而，可以使用能够提供响应于查询所存储数据的其他合适的存储技术和/或设备，并且计算设备可以是本地可访问的而不是通过网络访问的，或者可以作为基于云的服务而被提供。云存储系统50还可以包括以有组织的方式存储在计算机可读存储介质中的数据。

投影仪和相机之间的校准

投影仪22和深度相机24的深度传感器之间的准确校准对于实时投影很重要。此外，深度相机24提供相机像素的3D位置。在一些实施例中，深度传感器可以与深度相机24分开配置。

从投影仪22和深度相机24的光学模型(可能相同但光线方向相反)开始，需要一组投影仪上的2D点和相机图像以及3D点在场景中的对应关系以调整光学模型的参数。共同的原理是投影仪22投影一些编码信息，深度相机24捕捉并解码这些信息。有不同的方法来编码这些信息(时间/空间编码)和对设置的不同假设以及所需姿势的数量。一些方法使用编码信息投影在其上的校准目标，其他方法仅投影在任意3D表面或平面上。使用平面的原因是它比任意场景(由于复杂表面上的纯解码、相互反射等而受到异常值的影响)提供更好的结果，并且仍然可以方便地使用并提供大量稳定点。

深度相机24的深度传感器的一些非排他示例为实感D415(RealSense D415)、英特尔实感(Intel RealSense)、微软Kinect(Microsoft Kinect)、高通深度传感器(QualcommDepth Sensor)和华硕Xtion Pro(Asus Xtion Pro)。例如，第一个版本的微软Kinect(Microsoft Kinect)使用差异传感器，由此(以红外波长)投影结构光图案，并根据该图案的位移，通过差异来计算深度。再举另一个例子，Microsoft Kinect的第二个版本使用飞行时间(仍然在红外线中)来测量投影光从场景中的3D对象反射所需的时间，以估计到对象的距离。再举另一个例子，为进行通过三角测量来执行的3D重建，英特尔实感(IntelRealSense)D系列使用两个传感器(立体模块)。此外，可选的点状红外光投影提供额外的纹理以改善三角测量。

图2是根据本发明的一个实施例的数字内容投影系统120(例如，数字内容投影系统、增强现实系统、化妆教程系统和虚拟染发系统等)的示意图。在一些实施例中，数字内容投影系统120是指一种具有分束器27的同轴光学装置。分束器27能够使用户10的图像朝向相机23，相机23可以是2D相机。分束器27还能够允许将投影仪22的数字投影(例如，化妆应用场景、头发造型场景和化妆教程等)投影到用户10上。

在操作中，我们需要投影仪22的像素与相机23之间的动态对应关系。在一些实施例中，同轴光学系统120由于如下一种同轴光学特性可以避开深度信息：投影仪22与相机23之间的对应关系是深度独立的。因此，由于投影仪与相机之间的对应关系随着移动的场景而保持不变，该对应关系注册一次可能就足够了。在一些实施例中，不需要计算模型的参数。作为替代，执行相对简单的校准过程(例如，建立相机23的像素与投影仪24之间的对应关系)。使用图1中的系统110的深度相机可以建立3D场景，用于确定例如真实3D空间的面部特征。然而，由于图2中系统120中的通信延迟更少，该系统的同轴光学一般更快。此外，在一些实施例中，将3D模型应用在相机23的2D表达上是可能的，因此，使系统120获得几乎与深度相机系统110相同的功能。

图3A-3C是根据本发明的实施例的用于化妆应用的数字内容投影方法的示意图。在一些实施例中，该方法可以仅包括图3A-3C中的一些步骤，或者可以包括没说明的附加步骤。在图3A中，方法3000A是本发明用于将妆容投影到用户面部的一个实施例。依据被说明的方法3000A，一组用户面部的标记在相机图像上进行追踪。特别地，在框320中，通过相机(例如相机24)获得红/绿/蓝(RGB)、灰度级或红外实时输入。在框325中，一组面部标记(通过点来标记)通过基于框320中的相机获得的实时输入来进行标识和追踪。特征327是该标记的非限制性示例。在框315中，用户面部或头发的深度实时输入通过例如相机24来获得。在框310中，相机和投影仪相互校准。在框330中，结合框310、315和355的输入以获得相机到投影仪的帧转换。在框350中，产生投影仪空间，并具有一组面部表情轮廓，并准备用于定义兴趣区域。在框355中，兴趣区域根据投影仪空间350来定义。例如，投影仪空间350的一个或多个亚空间可以被显露在用户面部妆容的投影所填充。在框360中，勾勒出妆容投影。在一些实施例中，妆容投影360可以基于化妆教程。在框370中，妆容投影360应用于用户面部上。在一些实施例中，用户可以在镜子、平板电脑或类似设备上观察妆容投影316。此外，用户可以交换化妆教程中不同的外观，从而例如在不同选择中更好地理解和决定。

在图3B中，方法3000B是本发明用于在用户面部投影妆容的一个实施例。方法3000B的步骤基于框315中得到的深度图像。在框325中，基于框315中得到的深度图像来检测和追踪面部特征。在一些实施例中，方法3000B的其余步骤与方法3000A的步骤类似。

在图3C中，方法3000C是本发明用于在用户面部投影妆容的一个实施例。在被说明的实施例中，使用2D相机和3D相机图像(分别对应框320和框315)来检测和追踪面部标记。因此，框315的深度实时输入被输入到框325，框325中影响面部标记检测和追踪，并进入框330中，框330中影响相机到投影仪的帧转换。

图4A-4C是根据本发明的实施例的用于化妆应用的数字内容投影方法的示意图。在一些实施例中，该方法可以仅包括一些图4A-4C中的步骤，或者可以包括没说明的附加步骤。图4A中，方法4000A是本发明用于在用户面部投影妆容的一个实施例。在框410中，产生3D面部模型(也指3D可变形模型)。在框325中，3D面部模型拟合在用户面部图像上。在框412中，产生包括3D面部模型的投影仪空间。在框420中，访问具有妆容纹理的数据库，并且在用户面部图像上覆盖所需纹理。该所需纹理与框412的投影仪空间结合应用于框360的妆容投影。在一些实施例中，标记可以在划分3D网格前可选地被拟合。

在图4B中，方法4000B是本发明用于在用户面部投影妆容的一个实施例。在框325中，3D网格覆盖在由框315获取的(例如通过深度相机24)用户面部表达上。在说明的实施例中，基于深度图像来划分和追踪3D面部网格。在一些实施例中，标记可以在划分3D网格前可选地被拟合。

在图4C中，方法4000C是本发明用于在用户面部投影妆容的一个实施例。通过方法4000C来划分和追踪3D面部网格包括相机图像和深度图像这两者。例如，包括相机到投影仪的帧转换的框330基于框315的深度实时输入、框320的相机输入和框410的3D可变形模型。

图5A和5B是根据本发明的实施例的用于染发和头发造型应用的数字内容投影方法。在一些实施例中，该方法可以仅包括一些图5A和5B中的步骤，或者可以包括没说明的附加步骤。图5A中，方法5000A是本发明用于将染发和/或头发造型应用(也指“虚拟染发”)投影到用户头发上的一个实施例。在框520中，获得用户面部和头发的相机输入。在框315中，通过例如相机24获得用户面部和/或头发的深度实时输入。该实时输入可以提供给框330，在框330中影响相机到投影仪的帧转换，并进入框525中，在框525中影响其分割和追踪。在框560中，投影仪22可以将其内容投影到框525的头发分割和追踪轮廓。框570展示了由此产生的用户头发上的健康内容投影的覆盖。在不同的实施例中，框560的健康内容投影可以包括例如不同颜色和/或不同发型。

在图5B中，方法5000B是本发明用于将染发和/或头发造型应用(也指“虚拟染发”)投影到用户头发上的一个实施例。在框520中，获得用户面部和头发的相机输入。框520的该相机输入可以在框525A-525B中或者单独地或者与框315中的深度实时输入相结合进行。在框525A中，框520中的相机输入被转化为头发分割轮廓。在框525B中，定义追踪点(例如标记327)。在框525C中，3D面部模型覆盖在框520的相机输入上。在不同的实施例中，实施框525A-525C的部分或全部。在框535中，影响3D头发重建和追踪。在框545中，在3D空间中创造内容，并且内容可能被输入到框330的相机到投影仪的帧转换中。在框560中，创造头发内容投影。在一些实施例中，该头发内容投影可以至少部分地基于化妆教程。框570显示了由此产生的用户头发上的头发内容投影。

图6是根据本发明的实施例的数字内容投影系统的透视图。在一些实施例中，投影仪22可以将妆容投影投影到例如用户的半张脸上(370-R)，同时用户的另外半张脸没有投影。用户370可以在镜子、平板电脑、处理器单元30或其他显示单元上观察妆容投影。用户可以选择不同的待投影的化妆实施例以找到满意的投影。在一些实施例中，一种妆容(例如夜妆)投影到脸的一边，另一种妆容(例如日妆)投影到脸的另一边。在不同的实施例中，用户可以用通过基于化妆教程的不同图像证明的不同发型和/或颜色为头部进行相似的处理。在其他实施例中，用户可以将妆容投影到半张脸上，并用投影作为指导来将该妆容应用到另外半张脸上。在此处的描述中，本发明可以由例如美容师、化妆师等个人而非该用户操作。

面部检测/重建

由于是需要以某一频率追踪的非刚性表面，因而面部的准确位置是重要的。这可以依据应用需求使用不同的方法来完成。下面描述了这种追踪的一些实施例。

在一个实施例中，面部的标记或者直接通过RGB相机或者通过红外相机来进行检测。如果与切断红外投影的投影仪上的滤波器联接，则后者将提供不被投影内容影响的稳定的标记，这可能对一些应用有用。

在另一实施例中，3D模型可以仅使用RGB信息或结合RGB和深度信息来应用在面部上。如此一实施例具有额外计算成本，但是，如果基于深度，该方法可以比由投影导致的面部颜色变化更加稳定。

在另一实施例中，面部表面可以用深度传感器图像和该表面上的标记的附加检测来重建。

在一个实施例中，标记既可以用深度图像也可以用RGB/红外图像作为输入来检测，从而使检测更加稳定以投影。另外，可以在这样的数据库中训练深度学习算法。

在一个实施例中，可以对人(用户)的面部进行扫描然后追踪，作为表情(混合形状)和姿势方向的结合。

在一个实施例中，RGB图像用于头发分割，例如使用深度学习算法。在一些实施例中，深度信息的这种额外使用使得分割更加准确。

虚拟内容生成

虚拟内容的产生取决于应用场景和用于面部重建/检测的方法。它可以是简单地基于面部标记并使用这种2D拓扑来创建所需的纹理，或者如果后者被计算，它可以是映射到3D面部模型上的纹理。

在一个实施例中，在操作期间，系统110、120将数字内容投影到用户的头发上以产生头发颜色变化的错觉。在一个实施例中，该效果与妆容投影相结合以决定最佳组合。在一个实施例中，用户使用具有音频或手动输入的界面或通过改变颜色或修改纹理(突出显示、模式等)来与系统110、120交互。下面描述使用中的系统110、120的一些应用。

妆容投影：妆容丰富，方便试用各种产品(受环境条件限制)。可以改变投影产品以考虑物理应用对特定类型皮肤的影响。

故事讲述：对于特殊活动，可以提出极端的增强功能，例如在剧院/音乐会的舞台上使用的增强功能，以讲述有关品牌新发布的故事或这些身临其境的体验可以提供的令人惊叹的因素。

不同光照条件模拟：可以模拟不同光照条件的效果，以可视化不同条件下(如夜店、日光、办公室等)的妆容外观。

老化/衰老模拟：增加和增强皱纹或皮肤暴露，以使人看起来更老。这可以与皮肤护理治疗和诊断相结合。另一方面，使用光线可以弥补皱纹，并使人看起来更年轻。这可以模拟使用护肤产品的预期结果。

光学效果创建：在面部表面创建和模拟不同的光学效果，例如增加光泽度、平滑面部、珠光效果、增加对比度、透明度等。可以在这样的系统中对次表面散射进行建模和考虑，以创建更逼真的效果。

流量创造：在销售点，这样的系统可以通过具有在橱窗后面系统来吸引人们进入商店一次，从而显著增加流量。一旦他们从商店外面经过，他们就会得到一些“有趣”的东西。

不仅增强人脸，还增强其他对象：增强产品的包装，可以是真实产品或用于可视化目的的大型模型。

化妆教程

在一个实施例中，该系统包括化妆教程单元。在一个实施例中，化妆教程单元被配置为将包括化妆应用教程的数字内容投影到用户的面部表面上。例如，在一个实施例中，化妆教程单元包括处理器和计算电路，该处理器和计算电路被配置为响应于接收到与用户面部表面的数字表示相关联的一个或多个参数而产生可投影化妆教程内容。

在一个实施例中，化妆教程单元被配置为产生数字美容应用的投影，该投影实时跟踪用户面部表面的至少部分的三维或二维表达。在一个实施例中，化妆教程单元106被配置为产生实时跟踪一个或多个面部标记的数字美容应用程序的投影。

在一个实施例中，化妆教程单元106包括多个可控发光源，可操作该发光源以产生可投影显示。例如，在一个实施例中，化妆教程单元包括多个可控发光源，可操作该可控发光源以将化妆应用教程投影到用户的面部表面上。这种投影可以模拟多种环境照明条件。在一个实施例中，化妆教程单元包括多个可控发光源，可操作该可控发光源以投影至少第一虚拟对象和第二虚拟对象，第二虚拟对象指示与第一虚拟对象不同的环境照明条件。

可控发光源108的非限制性示例包括一个或多个激光器、激光二极管、发光二极管(LED)、有机发光二极管(OLED)、聚合物发光二极管、弧光闪光灯、连续波灯泡，或白炽灯等。在一个实施例中，化妆教程单元具有下列中的至少一个：平均峰值发射波长范围为610纳米(nm)至720nm的红色发光源、平均峰值发射波长范围为430nm至500nm的蓝色发光源，以及平均峰值发射波长范围为500nm至570nm的绿色发光源。

在一个实施例中，化妆教程单元包括多个可控激光二极管，可操作该可控激光二极管以产生可投影显示。在一个实施例中，化妆教程单元包括具有范围从610nm到720nm的平均峰值发射波长的红色激光二极管、具有范围从430nm到500nm的平均峰值发射波长的蓝色激光二极管以及平均峰值发射波长范围为500nm至570nm的绿色激光二极管中的至少一个。

在一个实施例中，化妆教程单元包括多个可控发光源和数字微镜装置(DMD)，可操作该可控发光源和数字微镜装置以投影表示化妆应用过程的面部映射的、数字产生的内容。在一个实施例中，化妆教程单元包括激光二极管组件，可操作该激光二极管组件以响应于接收到与用户面部表面的数字表示相关联的一个或多个参数而将化妆应用教程投影到用户面部表面。在一个实施例中，化妆教程单元包括激光二极管、分色镜、反射镜、荧光轮、色轮、数字微镜器件(DMD)芯片、棱镜或投影透镜组件中的至少一种。

在一个实施例中，化妆教程单元包括至少一个液晶显示器(LCD)投影仪。在一个实施例中，化妆教程单元包括至少一个超微型MEMS反射镜，可操作该超微型MEMS反射镜以将调制激光束扫描到用户的面部表面上。

动态失真补偿单元

在一个实施例中，动态失真补偿单元可操作地联接到化妆教程单元，并且被配置为实时补偿与包括化妆应用教程的投影数字内容相关联的照明和几何失真。在一个实施例中，动态失真补偿单元包括处理器和计算电路，该处理器和计算电路被配置为响应于接收指示在结构化光投影、结构化代码投影、空间或时间编码的图案投影或光带投影中检测到的失真的一个或多个输入而产生一个或多个照明校准参数或几何校准参数。在一个实施例中，动态失真补偿单元包括处理器和计算电路，该处理器和计算电路被配置为响应于接收到一个或多个输入来调制与包括化妆应用教程的投影数字内容相关联的一个或多个数字图像，该一个或多个输入指示检测到的、与投影的项目数字内容相关联的照明失真或几何失真。

深度解析图像系统

在一个实施例中，系统包括化妆教程单元和深度解析图像单元(例如，深度相机24具有一个或多个深度传感器)。在一个实施例中，化妆教程单元被配置为响应于接收到与用户面部表面的数字表示相关联的一个或多个参数而将化妆应用教程投影到用户面部表面。

在一个实施例中，深度解析图像单元被配置为产生用户面部表面的深度解析的数字表示。在一个实施例中，化妆教程单元可操作地联接深度解析图像单元，并被配置为响应于接收到与用户面部表面的深度解析的数字表示相关联的一个或多个参数而将化妆应用教程投影到用户面部表面。

在一个实施例中，深度解析图像单元包括处理器和计算电路，该处理器和计算电路被配置为响应于接收到指示检测到的发光信号和反射光信号之间的差异的一个或多个输入而产生用户面部表面的深度解析数字表示。

在一个实施例中，深度解析图像单元包括被配置为检测发光信号和反射光信号之间的差异的飞行时间传感器。

在一个实施例中，深度解析图像单元至少具有一个多普勒效应转换器。

在一个实施例中，深度解析图像单元包括处理器和计算电路，该处理器和计算电路被配置为响应于接收到指示在投影光图案中检测到的失真变化的一个或多个输入而产生用户面部表面的深度解析数字表示。

在一个实施例中，深度解析图像单元包括红外发光器、红外传感器、RGB(红，绿，蓝)传感器或单色传感器中的至少一种。

在一个实施例中，深度解析图像单元包括至少一个红外发光器和至少一个红外传感器，红外发光器可操作以将红外光图案投影到用户面部表面，红外传感器可操作以在投影的等间距间隔的红外光图案中检测失真变化。

在一个实施例中，深度解析图像单元包括RGB(红，绿，蓝)传感器、单色传感器和红外传感器等中的至少一对，可操作以通过三角测量估计深度。

在一个实施例中，深度解析图像单元包括一个或多个深度传感器。深度传感器的非限制性示例包括滚动快门深度传感器、全域快门深度传感器、活动深度感应相机、电荷耦合器件(CCD)、辅助型金属氧化半导体(CMOS)等。深度传感器的进一步的非限制性示例包括差异传感器、飞行时间传感器和立体传感器等。深度传感器的进一步的非限制性示例包括英特尔实感传感器(Intel RealSense)、微软Kinect传感器(Microsoft Kinect)、高通深度传感器(Qualcomm Depth)、华硕Xtion Pro(Asus Xtion Pro)传感器等。

在一个实施例中，深度解析图像单元包括电路，该电路被配置为投影结构化光图案并根据该图案的位移来计算基于指示结构化光图案中的差异的一个或多个输入的深度。在一个实施例中，深度解析图像单元包括电路，该电路被配置为检测场景中物体的投影光反弹的时间，并确定与物体的距离。在一个实施例中，深度解析图像单元包括电路，该电路包括被配置为通过三角测量重建用户头部、面部或身体部分的多个传感器(立体模块)。在一个实施例中，深度解析图像单元包括电路，该电路被配置为将红外图案投影以提供额外纹理来简化三角测量。

在一个实施例中，深度解析图像单元包括多个深度传感器、至少一个RGB(红、绿、蓝)传感器和至少一个红外投影仪。在一个实施例中，多个深度传感器包括至少一个滚动快门深度传感器。在一个实施例中，多个深度传感器包括至少一个全域快门深度传感器。在一个实施例中，多个深度传感器包括至少一个电荷耦合器件(CCD)。在一个实施例中，多个深度传感器包括至少一个辅助型金属氧化半导体(CMOS)。在一个实施例中，深度解析图像单元包括至少一个活动深度感应相机。

在一个实施例中，深度解析图像单元包括处理器和计算电路，该处理器和计算电路被配置为从用户面部表面的深度解析数字表示提取一个或多个面部标记，并追踪从用户面部表面的深度解析数字表示提取的一个或多个面部标记。

在一个实施例中，深度解析图像单元被配置为使用下列类别中的至少一种方法从用户面部表面的深度解析数字表示提取一个或多个面部标记。

在不同的实施例中，深度解析图像可以通过以下方法产生：整体方法(例如主动外观模型(AAM)、拟合算法或扩展)、局部约束模型(CLM)方法(例如整体或局部外观模型、面部形状模型，优化检测等等)以及基于回归方法(直接、级联或深度学习回归)。

在一个实施例中，深度解析图像单元被配置从用户面部表面的深度解析数字表示来执行用户面部表面的至少部分的3D重建。

在一个实施例中，深度解析图像单元被配置为使用RGB、单色、红外或深度实时输入中的任一个来从用户面部表面中提取一个或多个面部标记。

在一个实施例中，深度解析图像单元被配置为使用RGB、单色、红外或深度实时输入中的任一个来执行用户面部表面的至少部分的3D重建。

同轴光学装置

在一个实施例中，化妆教程单元可操作地联接于同轴光学单元，并且被配置为响应于接收到与投影数字内容和目标数字内容之间的检测到的差异相关联的一个或多个参数而将化妆应用教程投影到用户面部表面。

在一个实施例中，同轴光学单元被配置为检测投影数字内容和目标数字内容之间的几何和光度差异。

在一个实施例中，同轴光学单元包括分束器、相机和投影仪。

在一个实施例中，同轴光学单元包括分束器、图像传感器和数字光处理(DLP)投影仪。

追踪用户面部位置

面部检测/重建：面部准确位置是相关的，因为它是一个通常以高频率追踪的非刚性表面。这可以用不同方法来进行。以下列出了一些这样的方法。

在一些实施例中，通过RGB、单色、红外摄像头等对人脸进行标记检测。如果与可切断红外投影的投影仪上的滤波器联接，那么后者可提供不受投影内容影响的稳定的标记，这对某些应用很重要。

在一些实施例中，仅使用RGB信息(用于标记)或结合RGB和深度信息(通过深度传感器和技术获得)来将3D模型安装在面部上。这会产生额外的计算成本，但是，如果基于深度，则它对于由于投影而导致的面部颜色变化更加稳定。

在一些实施例中，面部的表面重建使用深度传感器图像和该表面上的标记的附加检测。

在一些实施例中，使用深度图像和RGB/红外图像两者作为输入来检测标记，以使检测对投影更加稳定。在一些实施例中，可以在这样的数据集上训练深度学习算法。

一些实施例包括扫描人的面部，然后对其追踪作为表情(混合形状)和姿势方向的组合。

染发

在一个实施例中，虚拟染发系统包括处理器和计算电路，该处理器和计算电路被配置为至少基于与一个或多个头发段相关联的输入来产生可投影的头发颜色内容。

在一个实施例中，可投射头发颜色内容包括可投影头发颜色、可投影头发纹理、可投影头发颜色图案、可投影头发高亮图案中的一个或多个。

在一个实施例中，数字头发投影单元包括激光二极管组件，该激光二极管组件可操作以至少投影第一虚拟对象和第二虚拟对象，第二虚拟对象指示与第一虚拟对象不同的头发颜色状况。

在一个实施例中，第一虚拟对象包括第一头发高亮颜色，第二虚拟对象包括不同于第一头发高亮颜色的第二头发高亮颜色。

在一个实施例中，第一虚拟对象包括第一头发高亮图案，第二虚拟对象包括不同于第一头发高亮图案的第二头发高亮图案。

在一个实施例中，第一虚拟对象包括第一头发纹理图案，第二虚拟对象包括第二头发纹理图案。

在一个实施例中，数字头发投影单元包括激光二极管组件，该激光二极管组件可操作以至少投影第一虚拟对象和第二虚拟对象，第二虚拟对象指示与第一虚拟对象不同的环境照明条件。

在一个实施例中，数字头发投影单元包括激光二极管组件，该激光二极管组件可操作以将数字头发颜色内容投影到用户的头部或身体部分，模拟头发颜色或头发纹理的变化。

在一个实施例中，数字头发投影单元包括激光二极管组件，该激光二极管组件可操作以将数字头发颜色内容投影到用户的头部或身体部分，模拟头发颜色或头发纹理在多种环境照明条件下的变化。

在一个实施例中，数字头发投影单元还被配置为响应于接收到与分割掩模相关联的一个或多个参数而将数字化妆内容投影到用户面部或身体的一部分上。

在一个实施例中，虚拟染发方法包括：将用户的头部、面部或身体部分的数字表示划分为头发段、面部段、皮肤段或背景段中的一个或多个，并产生一个虚拟的着色分割掩模。

在一个实施例中，请求保护方案14的虚拟染发方法还包括响应于接收到与虚拟染发分割掩模相关联的一个或多个输入而产生可投影的数字头发内容。

在一个实施例中，虚拟染发方法还包括将数字头发内容投影到用户。

在一个实施例中，将用户的头部、面部或身体部分的数字表示划分为头发段、面部段、皮肤段或背景段中的一个或多个，包括检测用户头部、面部或身体部分的数字表示中的一个或多个对象。

在一个实施例中，染发方法包括将对象分割成头发段、面部段、皮肤段或背景段中的一个或多个。

在一个实施例中，虚拟染发方法还包括追踪一个或多个对象中的至少一个。

在一个实施例中，请求保护方案14所述的染发方法还包括产生虚拟化妆分割掩模，并响应于接收到与虚拟化妆分割掩模相关联的一个或多个输入而产生可投影的数字化妆内容。

一些实施例包括用于使用RGB图像的一些应用(例如深度学习算法)的头发分割，或额外使用深度信息以使分割更准确。

本文公开的某些实施例利用电路来实现例如投影协议、可操作地联接两个或多个组件、产生信息、确定操作条件、控制设备或方法等。可以使用任何类型的电路。在一个实施例中，除其他外，电路包括一个或多个计算设备，例如处理器(例如，微处理器)、中央处理单元(CPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)等，或它们的任何组合，并且可以包括分立的数字或模拟电路元件或电子器件，或其组合。在一个实施例中，电路包括一个或多个具有多个预定义逻辑组件的ASIC。在一个实施例中，电路包括一个或多个具有多个可编程逻辑组件的FPGA。

在一个实施例中，电路包括一个或多个电子电路、印刷电路、柔性电路、电导体、电极、腔谐振器、导电迹线、陶瓷图案电极、机电组件、转换器等。

在一个实施例中，电路包括彼此可操作地联接(例如，通信地、电磁地、磁地、超声波地、光学地、感应地、电地、电容地耦合、无线地耦合等)的一个或多个组件。在一个实施例中，电路包括一个或多个远程定位组件。在一个实施例中，远程定位组件例如经由无线通信可操作地联接。在一个实施例中，远程定位组件例如经由一个或多个通信模块、接收器、发射器、收发器等可操作地联接。

在一个实施例中，电路包括例如存储指令或信息的存储器。存储器的非限制性示例包括易失性存储器(例如，随机访问存储器(RAM)、动态随机访问存储器(DRAM)等)、非易失性存储器(例如，只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、光盘只读存储器(CD-ROM)等)、持久性存储器等。存储器的进一步非限制性示例包括可擦除可编程只读存储器(EPROM)、闪存等。在一个实施例中，存储器通过一个或多个指令、信息或电源总线联接到例如一个或多个计算设备。

在一个实施例中，电路包括一个或多个计算机可读媒体驱动器、接口插座、通用串行总线(USB)端口、存储卡插槽等，以及一个或多个输入/输出组件，例如图形用户界面、显示器、键盘、小键盘、轨迹球、操纵杆、触摸屏、鼠标、开关、表盘等，以及任何其他外围设备。在一个实施例中，电路包括一个或多个用户输入/输出组件，该用户输入/输出组件可操作地联接到至少一个计算设备，该计算设备被配置为控制(电的、机电的、软件实现的、固件实现的或其他控制，或它们的组合)与例如确定一种或多种响应于检测到的开启电压的偏移的组织热性能相关的至少一个参数。

在一个实施例中，电路包括被配置为接受信号承载介质(例如，计算机可读存储介质、计算机可读记录介质等)的计算机可读介质驱动器或存储器插槽。在一个实施例中，用于使系统执行任何公开的方法的程序可以存储在例如计算机可读记录介质、信号承载介质等上。信号承载介质的非限制性示例包括可记录类型介质，例如磁带、软盘、硬盘驱动器、压缩盘(CD)、数字视频盘(DVD)、蓝光光盘、数字磁带、计算机存储器等，以及诸如数字或模拟通信介质(例如，光纤电缆、波导、有线通信链路、无线通信链路(例如，接收器、发送器、收发器、传输逻辑、接收逻辑等))的传输类型介质。信号承载介质的其他非限制性示例包括但不限于DVD-ROM、DVD-RAM、DVD+RW、DVD-RW、DVD-R,DVD+R,CD-ROM,Super Audio CD,CD-R,CD+R,CD+RW,CD-RW,视频压缩光盘(Video Compact Disc),超级视频光盘(Super VideoDisc),闪存,磁带,磁光盘,MINIDISC、非易失性存储卡、EEPROM、光盘、光存储、RAM、ROM、系统内存、网络服务器等。

在一个实施例中，电路包括声转换器、电声转换器、电化学转换器、电磁转换器、机电转换器、静电转换器、光电转换器、无线电声转换器、热电转换器、超声波转换器等。

在一个实施例中，电路包括与转换器(例如，致动器、马达、压电晶体、微机电系统(MEMS)等)可操作地联接的电子电路。在一个实施例中，电路包括具有至少一个分立电路，具有至少一个集成电路的电路，或具有至少一个专用集成电路的电路。在一个实施例中，电路包括形成由计算机程序配置的通用计算设备的电路(例如，由至少部分地执行本文描述的过程和/或设备的计算机程序配置的通用计算机，或由至少部分地执行本文描述的过程和/或设备的计算机程序配置的微处理器)、形成存储器设备的电路(例如，存储器形式(例如，随机存取、闪存、只读等))、形成通信设备的电路(例如，调制解调器、通信交换机、光电设备等)和/或任何非电气模拟设备，例如光学设备或其他模拟设备。

Claims (14)

1.一种虚拟染发系统，其特征在于，包括：

投影仪(22)，被配置为将包括化妆应用教程的数字内容投影到用户头发上；和

动态映射单元(24；30)，能够操作地联接到所述投影仪，其中，所述动态映射单元被配置为在所述投影仪(22)的像素与用户头发特征之间建立动态对应关系，

其中，所述投影仪的像素与用户头发特征的动态对应关系为第一动态对应关系，

其中，所述动态映射单元(24；30)被配置为在所述投影仪(22)的像素与用户面部特征之间建立第二动态对应关系，并且

其中，所述虚拟染发系统被配置为：

-将用户的头部的数字表示分割成多个头发分割并生成虚拟着色分割掩模，并且

-至少基于与所述多个头发分割相关联的输入来生成能投影的头发颜色内容，其中所述能投影的头发颜色内容包括用于应用头发着色的指令。

2.根据权利要求1所述的系统，进一步包括：

动态失真补偿单元(26)，能够操作地联接到所述投影仪(22)，其中，所述动态失真补偿单元(26)被配置为实时补偿用户面部表面或用户头发的颜色失真和几何失真中的至少一种。

3.根据权利要求1或2所述的系统，其中，所述动态映射单元(24；30)包括深度相机，所述深度相机被配置为动态确定用户面部表面或用户头发的深度轮廓。

4.根据权利要求3所述的系统，其中，所述深度相机包括被配置为确定用户头发的深度轮廓的飞行时间传感器和多普勒效应转换器中的至少一个。

5.根据权利要求1或2所述的系统，其中，所述动态映射单元(24；30)包括具有分束器(27)的同轴光学装置，其中，所述分束器(27)被配置为将用户面部表面的图像或用户头发的图像引导至所述动态映射单元的相机，并且其中，所述投影仪被配置为将包括化妆应用教程的数字内容投影到用户头发上。

6.根据权利要求5所述的系统，其中，所述相机为2D相机，其中，所述动态映射单元(24；30)被配置为与用户面部或用户头发的深度轮廓无关地在所述投影仪的各个像素与用户面部表面特征之间建立动态对应关系。

7.根据权利要求1或2所述的系统，其中，所述投影仪(22)被配置为至少投影第一虚拟对象和第二虚拟对象，所述第二虚拟对象指示与所述第一虚拟对象不同的环境照明条件。

8.根据权利要求1或2所述的系统，其中，用户头发的深度解析数字表达的动态对应关系包括至少一个面部标记的动态对应关系。

9.根据权利要求1或2所述的系统，其中，用户头发的深度解析数字表达的动态对应关系包括用户头发的至少一个部分的三维表达的动态对应关系。

10.根据权利要求1或2所述的系统，其中，用户头发的深度解析数字表达的动态对应关系包括面部图像中的面部标记、皱纹、皮褶或解剖特征中的至少一种的动态对应关系。

11.一种将包括化妆应用教程的数字内容投影到用户的方法，其特征在于，所述方法包括：

通过动态映射单元来建立投影仪的像素与用户头发特征之间的动态对应关系，其中，所述动态映射单元能够操作地联接到投影仪；并且

通过所述投影仪将包括化妆应用教程的数字内容投影到用户的头发上，

其中，所述投影仪的像素与用户头发特征的动态对应关系为第一动态对应关系，

其中，所述动态映射单元(24；30)被配置为在所述投影仪(22)的像素与用户面部特征之间建立第二动态对应关系，并且

其中，投影数字内容的所述方法包括：

-将用户的头部的数字表示分割成多个头发分割并生成虚拟着色分割掩模，并且

-至少基于与所述多个头发分割相关联的输入来生成能投影的头发颜色内容，其中所述能投影的头发颜色内容包括用于应用头发着色的指令。

12.根据权利要求11所述的方法，其中，通过所述动态映射单元来建立投影仪的像素与用户头发特征的动态对应关系包括：投影包括结构光投影、结构码投影、灯带投影、空间编码图案、时间编码图案或参考图像投影的光图案。

13.根据权利要求11或12所述的方法，其中，通过所述动态映射单元来建立投影仪的像素与用户头发特征之间的动态对应关系包括：产生至少部分用户头发的深度解析数字表达。

14.根据权利要求11或12所述的方法，其中，将包括化妆应用教程的数字内容投影包括：投影数字产生的、代表头发造型过程的内容。