CN111066026A - 用于向图像数据提供虚拟光调节的技术 - Google Patents

Abstract

本公开的实施方案可提供用于向图像数据提供虚拟照明调节的系统、方法和计算机可读介质。可经由电子设备提供用于呈现和/或修改图像数据的用户界面。可接收指示对虚拟照明模式的选择的用户输入。可至少部分地基于一组像素的深度测量值来识别对应于所述图像数据的所述一组像素的界标点。可从所述界标点生成一个或多个掩模。可使用这些掩模(或所述界标点和所述界标点的隐含几何形状)对所述图像数据进行与所述选择的虚拟照明模式相关联的一个或多个虚拟照明调节。可经由所述电子设备处的所述用户界面向所述用户呈现所述调节/修改的图像。

Description

用于向图像数据提供虚拟光调节的技术

相关申请的交叉引用

本申请要求于2018年7月11日提交的美国非临时申请16/032,418的优先权，该美国非临时申请要求于2017年9月9日提交的美国临时申请62/556,411的优先权权益，这两个申请的公开内容全文以引用方式并入本文用于所有目的。

背景技术

拍照已经成为人们日常生活中更加普遍的活动。许多个人设备(例如，智能电话、可穿戴设备、平板电脑等)现在包括数字相机，使得拍照成为易于达成的活动。独立的数字相机继续受到欢迎。社交媒体激起了人们对通过图像分享经验的兴趣，因为用户经常将自己或所爱的人的照片发布到他们的社交团体中。在大多数个人设备上提供的数字相机不必一定像专业摄影装置那样稳健。另外，一些专业装置可能体积庞大并且难以运输。虽然个人设备和独立数字相机可包括许多高级特征，但用户可能缺乏有效利用此类特征的经验或训练。无论使用的介质如何，通常情况下，用户捕获的图像缺乏专业照片中所发现的品质。要获得专业质量的照片，通常必须访问摄影室或与专业摄影师会面。对于许多用户而言，这可能不方便，甚至成本过高。

发明内容

本公开的实施方案可提供用于为图像数据(例如，数字照片)提供虚拟照明调节的系统、方法和计算机可读介质。在一些示例中，计算设备(例如，膝上型计算机、移动电话或其他便携式手持设备)可用于呈现能够应用各种虚拟光的用户界面。虚拟光可用于修改图像数据以产生专业的外观图像，避免寻求专业帮助的成本或不便。

在一些实施方案中，公开了一种用于为图像数据提供虚拟光调节的计算机实现的方法。该方法可包括由电子设备呈现用于修改图像数据的用户界面。在一些实施方案中，图像数据可包括头部特写图像数据。该方法还可包括在用户界面处接收指示对虚拟照明模式的选择的用户输入。应当理解，可在图像捕获设备捕获图像数据之前或之后接收指示对虚拟照明模式的选择的用户输入。该方法还可包括从头部特写图像数据中识别多个界标点。在一些实施方案中，所述多个界标点中的每个界标点可对应于头部特写图像数据的一组像素。可至少部分地基于与该组像素相关联的深度测量值来单独识别所述多个界标点。该方法还可包括确定用于头部特写图像数据的一个或多个掩模。所述一个或多个掩模中的一个掩模可对应于头部特写图像数据的区域的一组像素位置。可至少部分地基于所述多个界标点来确定所述一个或多个掩模。该方法还可包括通过根据所述一个或多个掩模中的至少一个掩模将多个虚拟照明调节的子组应用于头部特写图像数据来修改头部特写图像数据。可至少部分地基于对所选择的虚拟照明模式的选择和与该组像素相关联的深度测量值来修改头部特写图像数据。

在一些实施方案中，公开了一种用于为图像数据提供虚拟光调节的计算机实现的方法。该方法可包括由电子设备(例如，在捕获时间或之后在后处理中)呈现用于修改图像数据的用户界面。在一些实施方案中，图像数据可包括头部特写图像数据。该方法还可包括在用户界面处接收指示对虚拟轮廓照明模式的选择的用户输入。该方法还可包括从头部特写图像数据中识别多个界标点。在一些实施方案中，所述多个界标点中的每个界标点可对应于头部特写图像数据的一组像素。该方法还可包括确定用于头部特写图像数据的一个或多个掩模。在一些实施方案中，掩模可对应于头部特写图像数据的区域的一组像素位置。可至少部分地基于所述多个界标点来确定所述一个或多个掩模。该方法还可包括：根据对虚拟轮廓照明模式的选择减少感知到的照明，该感知到的照明照射与所述一个或多个掩模的第一掩模的侧区域相关联的第一多个像素。减少感知到的照明可使得第一多个像素看起来较暗，同时仍保留图像数据的对象的肤色。该方法还可包括根据对虚拟轮廓照明模式的选择减少与所述一个或多个掩模中的第二掩模的鼻部区域的一侧相关联的第二多个像素的亮度。该方法还可包括根据对虚拟轮廓照明模式的选择增加与所述一个或多个掩模中的第二掩模的鼻部区域相关联的第三多个像素的亮度。该方法还可包括根据对虚拟轮廓照明模式的选择增加与所述一个或多个掩模中的第三掩模的前额区域相关联的第四多个像素的亮度。该方法还可包括根据对虚拟轮廓照明模式的选择，减少与头部特写图像数据的颈部区域相关联的第五多个像素的亮度。

在一些实施方案中，公开了一种用于为图像数据提供虚拟光调节的计算机实现的方法。该方法可包括由电子设备呈现用于修改图像数据的用户界面。在一些实施方案中，图像数据包括头部特写图像数据。该方法还可包括在用户界面处接收指示对摄影室照明模式的选择的用户输入。该方法还可包括从头部特写图像数据中识别多个界标点。在一些实施方案中，所述多个界标点中的每个界标点可对应于头部特写图像数据的一组像素。该方法还可包括确定用于头部特写图像数据的一个或多个掩模。在一些实施方案中，这些掩模可对应于头部特写图像数据的区域的一组像素位置。可至少部分地基于所述多个界标点来确定这些掩模。该方法还可包括根据对摄影室照明模式的选择增加与所述一个或多个掩模中的第一掩模的前额区域相关联的第一多个像素的亮度。该方法还可包括根据所选择的摄影室照明模式增加与所述一个或多个掩模中的第二掩膜的下眼部区域相关联的第二多个像素的亮度。该方法还可包括根据所选择的摄影室照明模式增加与所述一个或多个掩模中的第三掩膜的侧区域相关联的第三多个像素的亮度。该方法还可包括根据所选择的摄影室照明模式增加与所述一个或多个掩模中的第四掩膜的鼻部区域相关联的第四多个像素的亮度。该方法还可包括根据所选择的摄影室照明模式增加与所述一个或多个掩模中的第五掩膜的颏部区域相关联的第五多个像素的亮度。应当理解，本文所述的掩模可为单独的掩模。另选地，可利用单个掩模来代替本文所述的任何合适的掩模组合以增加/减少任何合适的像素组合的亮度。

以下具体实施方式连同附图将提供对本公开的实质和优点的更好的理解。

附图说明

图1是示出根据至少一个实施方案的用于修改图像数据以提供如本文所述的虚拟照明调节的示例过程的简化框图；

图2是示出根据至少一个实施方案的用于呈现和修改图像数据的示例用户界面的简化示意图；

图3是示出根据至少一个实施方案的图像的示例界标点组的简化示意图；

图4是示出根据至少一个实施方案的与图像相关联的界标点的示例构型的简化示意图；

图5是示出根据至少一个实施方案的对应于图像的示例掩模的简化示意图；

图6是示出根据至少一个实施方案的掩模内的一组照明调节区域的示例构型的简化示意图。

图7是示出根据至少一个实施方案的掩模内的另一组照明调节区域的另一个示例构型的简化示意图。

图8是示出根据至少一个实施方案的又一个照明调节区域的简化示意图。

图9是示出根据至少一个实施方案的用于执行虚拟光移除的附加的照明调节区域的简化示意图。

图10是示出根据至少一个实施方案的对应于可用于修改图像的掩模的阴影区域的简化示意图；

图11是示出根据至少一个实施方案的用于根据轮廓模式选择来修改头部特写图像数据的示例过程的简化流程图；

图12是示出根据至少一个实施方案的用于根据摄影室模式选择来修改头部特写图像数据的示例过程的简化流程图。

图13是示出根据至少一个实施方案的用于根据舞台模式选择来修改头部特写图像数据的示例过程的简化流程图；

图14示意性地示出根据至少一个实施方案的包括可执行本文所述功能的多个模块的示例计算机架构；

图15是示出根据至少一个实施方案的用于修改如本文所述的图像数据的示例过程的简化流程图；

图16是示出根据至少一个实施方案的用于根据如本文所述的轮廓模式选择来修改图像数据的示例过程的简化流程图；以及

图17是示出根据至少一个实施方案的用于根据如本文所述的轮廓模式选择来修改图像数据的示例过程的简化流程图。

具体实施方式

本公开的某些实施方案涉及用于修改图像数据以提供虚拟照明调节的设备、计算机可读介质、用户界面和方法。“图像数据”旨在指与数字图像相关的任何合适的信息(例如，RGB值、对应于深度图的深度测量值、2维(2D)图像数据、3维(3D)图像数据等)。在一些示例中，图像数据可包括与图像的对象相关的“头部特写图像数据”，诸如描绘对象的头部特写的图像的一部分(例如，面部区域和/或面部的某个距离内的区域，诸如对象的颈部、肩部、胸部等)。尽管本文的示例可在包括单个对象(例如，人)的图像的数字图像的上下文中提供，但应当理解，可使用下文所述的技术相似地修改包括多于一个对象的数字图像。

一旦捕获图像，用户就可预览图像并从多种照明模式中选择。在一些实施方案中，用户可在捕获时间之前选择照明模式，使得捕获的图像可根据先前选择的照明模式来修改。根据预定义的方案，每个照明模式可用于增加或减少图像内的像素的感知到的亮度(例如，明度)。换句话讲，每个照明模式可与对象的特定的一个或多个区域以及要修改这些区域内的像素的亮度的特定方式相关联。因此，可根据照明模式来修改图像，使得对象的一些部分看起来变亮并且/或者其他部分看起来变暗。应当理解，对调节像素的亮度和/或明度的任何提及可同样地应用于其中亮度和/或明度看起来(可被感知到)被调节的情况，不论像素的亮度和/或明度是否被实际修改。通过利用本文所述的技术，用户可在捕获时间修改图像以更高度相似于专业捕捉或编辑的数字图像。因此，可改善数字图像的质量而无需与专业摄影师交换意见并且/或者购买昂贵的摄影装置。

以举例的方式，用户可使用具有图像捕获功能/硬件的个人计算设备(例如，智能电话、可穿戴设备、膝上型计算机等)来捕获图像。所捕获的图像可包括对应于图像内的任何合适数量的对象的头部特写图像数据。可在用户的个人设备的屏幕上显示所捕获图像的预览。在一些示例中，可将平滑技术(例如，降噪算法)应用于预览的图像以降低捕获期间产生的图像噪声。在一些实施方案中，可将“填充”光应用于图像中的对象(例如，对象的面部)以平滑阴影和不均匀的照明。可保持对象的肤色以提供照明调节而不洗去图像。这可具有提供与由专业摄影师实际执行的照明调节高度相似的更逼真的修改的效果。可提供用户界面，该用户界面允许用户选择用于修改预览的图像的各种照明模式(例如，轮廓、摄影室、舞台等)中的一种照明模式。

如本文所论述，一组照明模式可包括轮廓模式、摄影室模式和舞台模式。可利用轮廓模式来产生修改的图像，该修改的图像至少部分地朝向面部的前部增加明度并且使面部的侧面变暗。可利用摄影室模式来大致使面部变亮并突出显示面部的侧面。在未检测到面部的示例中，图像的前景可在摄影室模式中变亮。舞台模式可至少将对象描绘为从变暗的背景中显现。在一些示例中，可提供附加的舞台模式(例如，舞台模式黑色和白色)，该附加的舞台模式以黑色和白色描绘对象，并且将对象描绘为从变暗的背景中显现。在任一舞台模式中，即使未检测到面部特征，图像的背景也可变暗(或被模糊)。可提供用户界面元素的任何合适的组合，并且那些界面元素可对应于本文所述的照明模式的任何合适的组合。应当理解，本文所述的照明模式实质上是例示性的，并且设想了提供不同照明模式调节的其他模式。

在接收到用户对特定照明模式的选择时，可分析图像数据以识别头部特写图像数据(例如，对应于对象面部内和/或周围的区域)。界标点可用于识别头部特写图像的特定位置/部分。可至少部分地基于分析图像数据的深度测量值，使用图像数据(包括头部特写图像数据)来获得任何合适数量的界标点。一组界标点可限定头部特写的特定区域。以举例的方式，一组界标点可限定对象头部的轮廓，而另一组界标点可限定对应于对象的眉毛、嘴部、眼部、鼻部、牙齿等的区域。

多个掩模(例如，一个或多个)可由界标点生成。这些掩模可根据图像的区域来生成，使得可对图像进行局部照明修改。这些掩模中的至少一个掩模可为由2D图像数据和图像的深度测量值生成的3D虚拟模型。在一些示例中，掩模可包括对象头部的轮廓，但不包括对应于对象的眼部、眉毛、鼻部、嘴部、牙齿等的区域。因此，在一些实施方案中，掩模可限定图像的部分(例如，面部、肩颈、肩部、颈部等)，在该部分内描绘了对象的皮肤。在另外的示例中，掩模可限定对象的部分，诸如前额、颏部、脸颊、鼻部、眼部，或对象的任何合适的部分。一般来讲，虚拟光可指向一个或多个掩模的各个部分以确定光的施加可对图像内的皮肤外观的影响程度。

在一些实施方案中，可利用掩模来识别对应于头部特写的子部分的多组像素位置。例如，可利用掩模来识别脸颊/颊骨区域、颏部区域、前额、面部侧面、太阳穴或图像的对象的任何合适部分的任何合适的组合。图像数据一旦被识别，可根据所选择的照明模式修改对应于多组像素位置的图像数据。

在一些实施方案中，图像数据的深度测量值可影响根据照明模式来修改图像的程度。深度测量值可量化从视点到场景对象的表面的距离。深度测量值可用于确定对象的面部或其他部分的各点的深度，以及对象在图像内的深度。在一些情况下，可以与在图像的前景(例如，在阈值深度值以下)中的不同对象的图像不同的方式来修改在图像的背景(例如，在某个阈值深度值之上)中的对象的图像。以举例的方式，照明模式可使得前景对象图像被修改为具有比应用于背景对象图像的亮度变化更大的亮度变化。在一些实施方案中，可根据照明模式选择来仅修改前景对象图像，而忽略背景对象图像，因为背景对象被确定为以超过阈值深度值的深度取向。与如果将该照明模式普遍应用于每个对象图像而不考虑对象图像的深度相比，通过至少部分地基于深度来改变照明模式对对象图像的影响可提供更逼真的图像。

在一些实施方案中，可利用对象的面部大小和/或面部取向来修改照明。以举例的方式，图像内的对象可在图像内以一定角度面对。因此，照明模式对对象的影响可至少部分地基于对象的取向方式而变化。即，与看起来面向相机的对象面部的侧面相比，可用较少的照明修改量来修改看起来背离相机的对象面部的侧面。

下文将参考以下附图更详细地讨论上述技术。

图1是示出根据至少一个实施方案的用于修改图像数据102以提供如本文所述的虚拟照明调节的示例过程100的简化框图。应当理解，可在图像捕获时间或在捕获或以其他方式获取图像之后的任何合适时间进行虚拟照明调节。例如，可在任何合适的时间收集图像数据102。作为非限制性示例，图像数据102可对应于使用图像捕获设备(例如，相机)收集的任何合适数量的数字图像。在一些实施方案中，图像捕获设备可为用户的个人设备(例如，智能电话)的一部分。图像数据102可对应于单独描绘一个或多个对象(例如，人)的相应图像。图像数据102可包括RGB值、对应于图像的深度图的深度测量值、二维(2D)图像数据、三维(3D)图像数据，或这些值和数据的任何合适的组合。

在一些实施方案中，可利用图像数据102的深度测量值(例如，深度图)来确定界标点104。以举例的方式，深度测量值可用作机器学习模型中的输入。虽然可在本文的示例中利用深度测量值，但应当理解，在一些实施方案中，可至少部分地基于RGB图像数据来识别界标点。因此，出于说明的目的，可附加地或另选地用RGB图像数据来执行可利用深度测量值的本文的任何示例。在一些实施方案中，可利用监督机器学习技术来训练机器学习模型，该机器学习技术具有已知并识别出特定界标点的图像。一旦训练后，机器学习模型可被配置为将深度测量值作为输入并提供一组界标点作为输出。

界标点104可用于生成一个或多个掩模106(例如，一个或多个3D虚拟模型、一个或多个隐含几何形状)。例如，可利用界标点104(或界标点104的子组)来识别对应于图像的对象的头部特写的多种区域。作为非限制性示例，界标点104可提供头部特写的区域的轮廓。所识别的区域可包括但不限于面部、颈部、肩部、肩颈、眼部、眉毛、鼻部、嘴部和牙齿的区域。在一些实施方案中，可生成一个或多个掩模106以包括面部的单独区域(或区域的组合)，但不包括对应于眼部、鼻部、眉毛、嘴部和牙齿的区域。根据一些实施方案，一个或多个掩模106可限定描绘对象图像的头部特写内的皮肤的区域。在一些实施方案中，可使用界标点和这些界标点的隐含几何形状(而根本不使用掩模)来进行本文所讨论的照明调节。

可根据一组人像模式照明修改108来修改图像数据102以产生修改的图像110。可至少部分地基于多种因素来确定人像模式照明修改108。例如，用户选择112可指定特定照明模式(例如，轮廓、摄影室、舞台、黑色和白色舞台等)。所选择的特定照明模式可用于识别要在图像数据102和/或一个或多个掩模106上执行的虚拟照明调节114。针对指定的照明模式识别的虚拟照明调节114可对应于要增加(例如，变亮)或减少(例如，变暗)亮度(和/或感知的亮度)的头部特写的特定区域。可在任何合适的时间将对一个或多个掩模106(或任何合适的掩模)的虚拟照明调节114转换并应用于图像数据102。

在一些实施方案中，还可利用图像数据102(例如，深度测量值)来确定人像模式照明修改108改变图像数据102的程度，或者换句话讲，来确定头部特写区域的亮度被修改的量。以举例的方式，可将对应于浅深度测量值的头部特写的像素/区域修改到比对应于较深深度测量值的像素/区域更大的程度。因此，看起来更近的头部特写区域可比看起来更远的头部特写区域变得更亮。在一些实施方案中，在进行照明修改时，可将头部特写中的面部大小和/或头部特写内的面部取向考虑在内。例如，与面向相机的头部特写的区域相比，可将背离相机的头部特写的区域修改到较少的程度。相似地，在一些实施方案中，与应用于较小面部的那些照明修改相比，可将较大的照明修改应用于较大的面部。

作为具体的非限制性示例，用户选择112可指示已选择照明模式“A”。照明模式A可与虚拟照明调节114相关联。这些虚拟照明调节114可指定使图像的前额区域变亮。与前额区域相关联的一组像素作为执行人像模式照明修改108的一部分，可利用一个或多个掩模106从图像数据102识别与前额区域相关联的该组像素。换句话讲，可在一个或多个掩模106内确定前额区域，然后可从图像数据102识别与该区域相关联的像素。然后可根据虚拟照明调节114使对应于前额的像素变亮。在一些实施方案中，前额可根据每个像素的相应深度测量值而变亮。因此，描绘出看起来更近的前额的一部分的像素可比描绘看起来更远的前额的部分的像素变得更亮。在一些情况下，可根据虚拟照明调节114来使对应于前额的像素普遍变亮，不论每个像素的相应深度测量值如何。在该示例中，一旦人像模式照明修改108完成，修改的图像110就可描绘由具有变亮的前额区域的图像数据102所限定的原始图像。

图2是示出根据至少一个实施方案的用于呈现和修改图像数据(例如，图1的图像数据102)的示例用户界面200的简化示意图。用户界面200可经由显示器202提供。显示器202可为个人设备(例如，智能电话、移动电话、可穿戴设备、膝上型计算机等)的硬件部件。在用户界面200内提供了观看区域204。观看区域204可被配置为呈现图像203(例如，包括对象206的图像)。应当理解，图像203旨在实质上为例示性的，并且可在观看区域204内呈现任何合适的图像。

在一些实施方案中，可提供多个用户界面(UI)元素。例如，可提供UI元素208。UI元素208可对应于自然光模式，该自然光模式对应于由个人设备的捕获设备(例如，相机)捕获的图像203的视图。可提供UI元素210并且该UI元素可对应于用于选择轮廓照明模式的选项。可提供UI元素212并且该UI元素可对应于用于选择摄影室照明模式的选项。可提供UI元素214并且该UI元素可对应于用于选择舞台照明模式的选项。可提供UI元素216并且该UI元素可对应于用于选择黑色和白色舞台照明模式的选项。可在用户界面200内如所描绘的呈现UI元素208-216，或者可在用户界面200内以不同的布置描绘UI元素208-216。UI元素208-216可如图2中所描绘的与图标一起呈现，并且/或者可经由复选框、无线电按钮或适于向用户提供选择照明模式的方式的任何合适的界面元素在菜单中提供UI元素208-216。应当理解，可提供比图2中所描绘的那些照明模式选项更多或更少的照明模式选项。

对UI元素208-216中的任一个UI元素的选择(例如，照明模式)可使得根据该选择来修改图像203的图像数据。也就是说，在选择UI元素时，可根据对应于所选择的UI元素的照明模式来修改图像203的整体和/或图像203的一部分(例如，对象206)。修改的图像(未示出)可替换观看区域204中的图像203。如果用户要选择对应于不同照明模式的另一个UI元素，则观看区域204可呈现对应于根据新选择的照明模式修改的图像203的修改的图像。

在一些实施方案中，用户界面200可包括附加的编辑选项218。附加的编辑选项218可对应于多种常规图像编辑技术，诸如但不限于裁剪图像、调节图像内的颜色(感知的或实际的)，以及调节图像的对比度和/或明度(感知的或实际的对比度和/或明度)。可如图2中所描绘的布置附加的编辑选项218，但也设想了其他布置方式。

用户界面200可包括取消选项220和完成选项222。在一些实施方案中，对取消选项220的选择可使得在观看区域204内当前显示的图像恢复到原始状态(例如，在应用任何编辑和/或调节之前的图像203)。对完成选项222的选择可指示用户已完成其编辑和/或调节。在选择完成选项222时，在观看区域204内当前呈现的图像可自动保存，或者可向用户呈现用于保存该图像的选项。

图3是示出根据至少一个实施方案的图像(例如，图2的图像203)的示例界标点组的简化示意图300。界标点302被描绘为图像203的该组界标点中的一个界标点。涉及界标点302的任何描述可相似地应用于图3内所描绘的任何界标点。可利用图像数据(例如，图1的包括对应于图像203的图像像素的深度测量值的图像数据102)来识别界标点302。在一些实施方案中，可利用任何合适数量的深度测量值来确定界标点302。

图3中所描绘的界标点的数量旨在实质上为例示性的。可识别任何合适数量的界标点。在一些实施方案中，界标点302可与标签或标识符相关联。标签/标识符对于界标点302可为唯一的，或者标签/标识符可在界标点302与一个或多个附加的界标点之间共享。以举例的方式，可识别界标点304并使这些界标点与关联于对象206的左眼区域的标签/标识符单独相关联。相似地，可识别界标点306并使这些界标点与关联于对象206的左眉区域的标签/标识符单独相关联。下文将结合图14更详细地描述界标识别和标记技术。

图4是示出根据至少一个实施方案的与图像相关联的界标点的示例构型400的简化示意图。构型400包括63个界标点。然而，可利用任何合适数量的界标点。每个界标点(例如，界标点0-63)可对应于使用图像数据(例如，图1的图像数据102)选择的像素。每个界标点可至少部分地基于给定区域中的像素的深度测量值(和/或RGB值)选自给定区域内的任何合适数量的像素。以举例的方式，界标点0可选自区域402内的像素，界标点1可选自区域404内的像素，界标2可选自区域406内的像素，界标3可选自区域408内的像素。从中选择界标点的区域可根据预先确定的方案在大小和形状上变化。

为了从图像数据中选择和/或识别特定界标，可提供对应于区域402内的每个像素(或图像(诸如图2的图像203)的一组像素)的深度测量值(和/或RGB值)作为机器学习模型的输入。可用已知界标点的历史数据来训练机器学习模型(例如，利用监督学习技术)。因此，可利用机器学习模型来识别区域402内最高度相似历史图像的对应界标点的单个像素(对应于左眉的最左边点的界标点0)。换句话讲，机器学习模型可利用区域402内的像素的相应深度测量值来识别最可能是左眉的最左边点的像素(对应于界标点0)。

识别的每个界标点可与对应于特定界标(例如，面部特征)的标签或标识符相关联。如图4所描绘的，界标点0-3可与指示界标点0-3对应于左眉的标签/标识符相关联。相似地，界标点4-7可与指示界标点4-7对应于右眉的标签/标识符相关联。界标点8-15可与对应于左眼的标签/标识符相关联，而界标点16-23可与对应于右眼的标签/标识符相关联。界标点24-31可被关联或被识别为对应于嘴部(或唇部)。界标点32-39可被标记或被识别为对应于牙齿。界标点40-50可被标记或被识别为对应于面部轮廓。界标点51-62可被标记或被识别为对应于鼻部。

图5是示出根据至少一个实施方案的对应于图像(例如，图2的图像203)的示例掩模502的简化示意图500。掩模502可由图3或图4的界标点生成。在一些实施方案中，可如上所述利用掩模502，而在其他实施方案中，掩模502可包括用其进行照明调节的一个或多个掩模。为了便于说明，掩模502可包括单个掩模，但应当理解，本文提供的示例可相似地应用于其中利用多个掩模的使用情况。因此，指“掩模502”的任何示例可同义地用作“一个或多个掩模中的一个掩模”。可从图3的界标点的子组确定面部区域503(包括对象206的面部和耳部)。左眉区域504、右眉区域506、左眼区域508、右眼区域510、鼻部区域512和嘴部区域514可根据图3中所描绘的界标点的相应子组来确定。在至少一个实施方案中，掩模502可通过从面部区域503移除或排除区域504-514而生成。在一些示例中，掩模502可限定要在其中应用后续虚拟照明调节的区域。掩模502之外的区域可从虚拟照明调节的应用中排除。因此，由掩模502限定的区域可对应于图像203的像素的子组。在下文中将结合图14描述掩模的更多细节。

图6是示出掩模601(例如，图5的掩模502)内的一组照明调节区域的示例构型600的简化示意图。应当理解，图6至图10的掩模可与掩模502相同或为不同的掩模并且/或者这些掩模可依赖于或可不依赖于掩模502。在一些实施方案中，每种类型的照明调节可利用不同的掩模。在一些实施方案中，可不利用掩模601，而是可使用界标点和这些界标点的隐含几何形状来进行照明调节。照明调节区域可限定在其内进行照明调节的边界。图6的照明调节区域可包括照明调节区域602、照明调节区域604、照明调节区域606以及照明调节区域608，但可利用任何合适数量或构型的照明调节区域。照明调节区域602-608可单独或集体与特定照明模式(例如，轮廓、摄影室、舞台、黑色和白色舞台等)相关联。照明调节区域602-608的位置和形状可为预定义的。虽然图6中提供了照明调节区域602-608的特定位置和形状，但应当理解，此类位置/形状实质上仅为例示性的，并且可使用其他位置和/或形状。

在至少一个实施方案中，可利用照明调节区域602-608中的每个照明调节区域应用照明调节以模拟对应的虚拟聚光灯。可利用虚拟聚光灯照明调节以模拟使用物理光投射指向对象的特定位置/区域的光束的视觉效果。在一些实施方案中，照明调节区域602-608中的每个照明调节区域可对应于唯一虚拟聚光灯，或者照明调节区域602-608的组合可对应于单个虚拟聚光灯。为便于解释，照明调节区域602-608可被认为对应于模拟多束物理光的单个虚拟聚光灯或可照亮整个面部的模拟的大面积光源(模拟人像摄影“柔光箱”)。

在至少一个实施方案中，可相对于掩模601来限定照明调节区域602-608。以举例的方式，照明调节区域602可被预定义为对应于左眉区域504和右眉区域506之间的掩模601的区域(或由界标点和隐含几何形状限定的区域)。照明调节区域602的位置、大小、形状和/或取向可如图6中所描绘，或者照明调节区域602的位置、大小、形状和/或取向可不同于图6中所描绘的位置、大小、形状和/或取向。

照明调节区域604可被预定义为对应于左眼区域508下方的掩模601的区域(或由界标点和隐含几何形状限定的区域)。照明调节区域606可被预定义为对应于右眼区域510下方的掩模601的区域(或由界标点和隐含几何形状限定的区域)。照明调节区域604和/或照明调节区域606的位置、大小、形状和/或取向可如图6中所描绘，或者此类区域的位置、大小、形状和/或取向可不同于图6中所描绘的那些位置、大小、形状和/或取向。

照明调节区域608可被预定义为对应于掩模601的颏部区域(或由界标点和隐含几何形状限定的区域)。在一些示例中，颏部区域可被定义为两个界标点之间的区域。例如，图4的界标点30和界标点45之间的中间距离可被计算并且与掩模601的颏部区域(或由界标点和隐含几何形状限定的区域)相关联。照明调节区域608的位置、大小、形状和/或取向可如图6中所描绘，或者照明调节区域608的位置、大小、形状和/或取向可不同于图6中所描绘的位置、大小、形状和/或取向。

掩模601的照明调节区域602-608(或由界标点和隐含几何形状限定的区域)一旦被识别，可利用这些照明调节区域识别图像(例如，图2的图像203)的对应像素组。各种虚拟照明调节可应用于对应像素组。在一些实施方案中，相同的虚拟照明调节可普遍应用于照明调节区域602-608，或者虚拟照明调节可在照明调节区域602-608之间不同。以举例的方式，应用普遍应用的虚拟照明调节可使得每个像素对照明调节区域602-608的相应明度值以特定量变亮(例如，每个相应像素的初始明度值增加10％，每个明度值可以公共整数值增加等)。在一些情况下，像素的初始明度可控制所添加的光的量，使得阴影中的图像可比直接光中的图像获得更多/更少添加到这些图像的光。

在一些实施方案中，可利用对应于掩模601(或界标点)的像素的图像数据(例如，深度测量值)来确定该图像的倾斜角、旋转度和/或对象。在一些示例中，利用照明调节区域602-608执行的照明调节可取决于对象倾斜、旋转或取向的情况。作为非限制性示例，当对象的头部被确定为旋转时，增加对应于照明调节区域604的像素的明度的调节可提高到比对应于照明调节区域606的像素低的程度。这可能是因为照明调节区域604可对应于对象的一部分，该对象的该部分看起来比对象的对应于照明调节区域604的一部分更靠后。

图7是示出根据至少一个实施方案的掩模701(例如，图5的掩模502、图6的掩模601或不同的掩模)内的另一组照明调节区域的另一个示例构型700的简化示意图。在一些实施方案中，可不利用掩模701，而是可使用界标点和这些界标点的隐含几何形状来进行照明调节。图7的照明调节区域可包括照明调节区域702以及照明调节区域704，但可利用任何合适数量或构型的照明调节区域。照明调节区域702-704可单独或集体与特定照明模式(例如，轮廓、摄影室、舞台、黑色和白色舞台等)相关联。照明调节区域702-704的位置、宽度、高度和形状可为预定义的。虽然图7中提供了照明调节区域702-704的特定位置、宽度、高度和形状，但应当理解，照明调节区域702-704的这些属性实质上仅为例示性的。

在至少一个实施方案中，可利用照明调节区域702-704中的每个照明调节区域将照明调节应用于模拟对应的虚拟背景光。可利用虚拟背景光照明调节模拟以指向面部的侧部的角度照射物理光的视觉效果，该视觉效果可在视觉上突出和/或削弱面部的侧部。相似地，可利用照明调节区域702-704的一些组合来应用涉及虚拟光移除的照明调节。利用照明调节区域702-704来执行虚拟光移除技术可使对象(例如，面部)的侧部变暗，这可使得侧部被削弱，如同对象被深色布料围绕一样。

在至少一个实施方案中，可相对于掩模701或相对于由界标点和这些界标点的隐含几何形状限定的区域来限定照明调节区域702-704。以举例的方式，照明调节区域702可被预定义为对应于与掩模502的左侧对应的区域。照明调节区域702可与高度706和宽度708相关联。高度706和/或宽度708可为预定义的，或者可至少部分地基于对应于照明调节区域702的像素的深度测量值来计算高度706和/或宽度708。照明调节区域702的位置、大小、形状和/或取向可如图7中所描绘，或者照明调节区域702的位置、大小、形状和/或取向可不同于图7中所描绘的位置、大小、形状和/或取向。在一些实施方案中，可至少部分地基于由掩模701和/或界标点和隐含几何形状确定的对象的倾斜角、旋转度和/或取向来计算照明调节区域702的位置、形状、高度706或宽度708。

又如，照明调节区域704可被预定义为对应于与对象的右侧对应的区域。照明调节区域704可与高度710和宽度712相关联。高度710和/或宽度712可为预定义的，或者可至少部分地基于对应于照明调节区域704的像素的深度测量值来计算高度710和/或宽度712。照明调节区域704的位置、大小、形状和/或取向可如图7中所描绘，或者照明调节区域704的位置、大小、形状和/或取向可不同于图7中所描绘的位置、大小、形状和/或取向。

在一些实施方案中，可利用对应于掩模701的像素的图像数据(例如，深度测量值)或多个界标点和这些界标点的隐含几何形状来确定对象的倾斜角、旋转度和/或取向。在一些示例中，可至少部分地基于对象的倾斜、旋转或取向情况来确定照明调节区域702-704。以举例的方式，当确定对象在给定方向上旋转时，照明调节区域702的宽度708可小于照明调节区域704的宽度712。因此，对应于旋转背离的面部侧面的照明调节区域702的宽度708可比对应于在捕获图像时更靠近图像捕获设备的面部侧面的照明调节区域704的宽度712窄。

照明调节区域702-704(例如，由掩模701限定或由一组界标点和这些界标点的隐含几何形状限定)一旦被识别，可利用这些照明调节区域识别图像(例如，图2的图像203)的对应像素组。各种虚拟照明调节(例如，变亮和/或变暗)可应用于对应像素组。在一些实施方案中，相同的虚拟照明调节可普遍应用于照明调节区域702-704，或者虚拟照明调节可在照明调节区域702-704之间不同。以举例的方式，应用普遍应用的虚拟照明调节可使得每个像素对照明调节区域702-704的相应明度值以特定量变亮(例如，每个相应像素的初始明度值增加10％，每个明度值可以公共整数值增加等)。又如，虚拟照明调节可使照明调节区域702-704中的一个照明调节区域变亮，而另一个虚拟照明调节可使其中的另一个区域变暗。在另外的示例中，虚拟照明调节可使照明调节区域702-704同时但以不同的量变亮或变暗。

图8是示出根据至少一个实施方案的又一个照明调节区域(例如，照明调节区域802)的简化示意图800。照明调节区域802可与特定照明模式(例如，轮廓、摄影室、舞台、黑色和白色舞台等)相关联。照明调节区域802的位置和形状可为预定义的。虽然图8中提供了照明调节区域802的特定位置和形状，但应当理解，照明调节区域802的属性实质上仅为例示性的。照明区域802可相对于掩模801(例如，图5至图7的掩模502、掩模601、掩模701)限定，而在其他实施方案中可不利用掩模801。在一些实施方案中，可使用界标点和这些界标点的隐含几何形状(而根本不利用掩模)来进行照明调节。

在至少一个实施方案中，可利用照明调节区域802将照明调节应用于模拟虚拟闪光灯。可利用虚拟闪光灯照明调节以模拟照射指向对象的特定区域的物理闪光灯的视觉效果。在至少一个实施方案中，可将照明调节区域802预定义为对应于图像的对象(例如，图2的图像203的对象206)的鼻部区域804(例如，由掩模501的一部分限定，由图4的界标点51-62限定的区域等)。在至少一个示例中，应用虚拟闪光灯照明调节可使得鼻梁变亮，但可相似地对图像的其他区域应用虚拟闪光灯照明调节。

在一些实施方案中，可利用对应于鼻部区域804的像素的图像数据(例如，深度测量值)来确定对象的一部分(例如，对应于鼻部区域804的一部分)的倾斜角、旋转度和/或取向。因此，照明调节区域802的具有较深深度测量值的部分可比照明调节区域802的具有较浅深度测量值的部分至少以更少的一些量变亮。

照明调节区域802一旦被识别，可利用这些照明调节区域识别图像(例如，图2的图像203)的一组像素。然后可根据预先确定的方案以及在一些情况下如上所述的对象和/或鼻部区域804的倾斜角、旋转和/或取向来修改该组像素的明度值。

图9是示出根据至少一个实施方案的用于执行虚拟光移除的附加的照明调节区域(例如，照明调节区域902和照明调节区域904)的简化示意图900。照明调节区域902-904可与特定照明模式(例如，轮廓、摄影室、舞台、黑色和白色舞台等)相关联。照明调节区域902-904的位置和形状可为预定义的。虽然图9中提供了照明调节区域902-904的特定位置和形状，但应当理解，照明调节区域902-904的这些属性实质上仅为例示性的。照明区域902-904可相对于掩模901(例如，图5至图8的掩模502、掩模601、掩模701、掩模801)限定，而在其他实施方案中可不利用掩模901。在一些实施方案中，可使用界标点和这些界标点的隐含几何形状(而根本不利用掩模)来进行照明调节。

在至少一个实施方案中，可单独或集体利用照明调节区域902-904来应用照明调节以使对象的一部分变暗。执行使对象的一部分变暗的照明调节可被称为虚拟光移除。在至少一个实施方案中，可将照明调节区域902-904预定义为包括图像的对象(例如，图2的图像203的对象206)的鼻部区域906(例如，用掩模901限定的区域，由图4的界标点51-62限定的鼻部区域等)的侧部或任何合适的部分。在至少一个示例中，虚拟光移除可使得鼻部的侧面相对于原始图像变暗。

在一些实施方案中，可利用对应于鼻部区域906侧部的像素的图像数据(例如，深度测量值)来确定鼻部区域906的倾斜角、旋转度和/或取向。因此，照明调节区域902-904的具有较深深度测量值的部分可比照明调节区域902-904的具有较浅深度测量值的部分移除更多的光。

照明调节区域902-904一旦被识别，可利用这些照明调节区域识别图像(例如，图2的图像203)的一组像素。然后可根据预先确定的方案以及在一些情况下如上所述的鼻部区域906的倾斜角、旋转度和/或取向来修改该组像素的明度值以使这些像素的至少一些变暗。

图10是示出根据至少一个实施方案的可用于修改图像的阴影区域1002的简化示意图1000。阴影区域1002可与特定照明模式(例如，轮廓、摄影室、舞台、黑色和白色舞台等)相关联。阴影区域1002的位置和形状可为预定义的，或者可至少部分地基于对象的倾斜角、旋转度或取向来确定阴影区域1002的位置和形状。在一些实施方案中，可至少部分地基于本文所讨论的一个或多个掩模来限定阴影区域1002，或者可至少部分地基于一组界标点和该组界标点的隐含几何形状来限定阴影区域1002。虽然图10中提供了阴影区域1002的特定大小和形状，但应当理解，阴影区域1002的属性实质上仅为例示性的。

在至少一个实施方案中，可利用阴影区域1002来应用照明调节以使对象的一部分变暗。在图10所描绘的示例中，阴影区域1002可用于使对象面部特征之外的区域变暗，并且沿着对象的颈部延伸某种合适的距离。

在一些实施方案中，可普遍调节图像数据(例如，对应于阴影区域1002的图像的一组像素)，或者可至少部分地基于与阴影区域1002相关联的预定义方案来对图像数据进行可变调节。例如，对应于阴影区域1002的图像数据的一组像素可通过从这些像素中的每个像素的相应明度值减去公共值(例如，10、20等)来各自以合适的量变暗。又如，预定义的方案可指定对应于阴影区域1002的区域1004的像素可比对应于区域1004之外的阴影区域1002的像素以更大的程度变暗。

图11至图13涉及在其中将照明调节应用于图像数据(例如，对应于图2的图像203的图1的图像数据102)的多个示例。图11至图13的示例描绘了图5至图10的照明调节区域的特定组合和在其中可应用对应于这些区域的调节的特定顺序。如上述附图中所述，可由一个或多个掩模和/或各组界标点和这些界标点的隐含几何形状来限定照明调节区域。应当理解，所描绘的照明调节区域的组合和调节的顺序实质上为例示性的，并非旨在限制本发明的范围。可以任何合适的组合、以任何合适的顺序利用图5至图10的照明调节区域。在上文在图5至图10中所述的那些照明调节区域之外的附加的照明调节区域可与图5至图10的照明调节区域一起利用，或代替图5至图10的照明调节区域。这些附加的照明调节区域可为任何合适的大小或形状，并且可指向掩模502、特征区域(例如，图5的特征区域，这些特征区域包括左眉区域504、右眉区域506、左眼区域508、右眼区域510、鼻部区域512、嘴部区域514、牙齿区域或掩模502的任何合适的特征区域)、图像数据、头部特写图像数据等内的不同像素位置。与图5至图10的照明调节区域一样，附加的照明调节区域可对应于一个或多个虚拟照明模式并且可与限定在该区域内进行虚拟照明调节的方式的唯一协议组相关联。

图11是示出根据至少一个实施方案的用于根据轮廓模式选择来修改图像数据的示例过程1100的简化流程图。过程1100可描绘对应于轮廓照明模式的照明调节。过程1100可在1102处开始，其中可根据构型600根据图6的照明调节区域对图像数据进行虚拟照明调节。

在1104处，可对在1102处改变的图像数据进行附加的虚拟照明调节。在1104处进行的附加的虚拟照明调节可根据图7的照明调节区域和构型700。

在1106处，可对在1106处改变的图像数据进行附加的虚拟照明调节。在1106处进行的附加的虚拟照明调节可根据图9的照明调节区域和构型900。

在1108处，可对在1106处改变的图像数据进行附加的虚拟照明调节。在1108处进行的附加的虚拟照明调节可根据图8的照明调节区域和构型800。

在1110处，可对在1108处改变的图像数据进行对应于图10的阴影区域1002的附加的虚拟照明调节。

图12是示出根据至少一个实施方案的用于根据摄影室模式选择来修改图像数据的示例过程的简化流程图。过程1200可描绘对应于摄影室照明模式的照明调节。过程1200可在1202处开始，其中可根据图6的照明调节区域中的一些对图像数据进行虚拟照明调节。例如，照明调节区域602、照明调节区域604和照明调节区域606可在1202处用于根据与摄影室照明模式相关联的协议组对图像数据执行对应的照明调节。

在1204处，可对在1202处改变的图像数据进行附加的虚拟照明调节。以举例的方式，图6的颏部区域608可用于根据与摄影室照明模式相关联的协议组对图像数据执行对应的照明调节。

在1206处，可对在1204处改变的图像数据进行附加的虚拟照明调节。在1106处进行的附加的虚拟照明调节可根据图7的照明调节区域和构型700。

在1208处，可对在1206处改变的图像数据进行附加的虚拟照明调节。在1208处进行的附加的虚拟照明调节可根据图8的照明调节区域和构型800。

图13是示出根据至少一个实施方案的用于根据黑色和白色舞台模式选择来修改图像数据的示例过程1300的简化流程图。过程1300可描绘对应于黑色和白色摄影室照明模式的照明调节。过程1300可在1302处开始，其中图像的黑色和白色版本可用于根据图6的照明调节区域中的一些来提供虚拟照明调节。例如，照明调节区域602、照明调节区域604和照明调节区域606可在1302处用于根据与摄影室照明模式相关联的协议组对图像数据执行对应的照明调节。

在1304处，可对在1302处改变的图像数据进行附加的虚拟照明调节。以举例的方式，图6的颏部区域608可用于根据与摄影室照明模式相关联的协议组对图像数据执行对应的照明调节。

在1306处，可对在1304处改变的图像数据进行附加的虚拟照明调节。在1306处进行的附加的虚拟照明调节可根据图7的照明调节区域和构型700。

在1308处，可对在1306处改变的图像数据进行附加的虚拟照明调节。在1308处进行的附加的虚拟照明调节可根据图8的照明调节区域和构型800。

在1310处，可使用在1306处改变的图像数据对图像数据进行附加的虚拟照明调节。例如，可使图像数据的背景(例如，描绘图像的对象的头部特写图像数据后面的区域)变黑(或变暗)。另外，可如1312处所描绘应用渐变效果。渐变效果可使得图像的对象从变黑的背景中显现。

图14示意性地示出根据至少一个实施方案的包括可执行本文所述功能的多个模块的示例计算机架构1400。在一些示例中，示例架构1400的计算设备1402(例如，诸如智能电话、可穿戴设备、膝上型计算机等的个人设备)可被配置为呈现用户界面(例如，用户界面200)。用户界面可包括上述用户界面元素的任何合适的数量和配置。

如上所述，计算设备1402可被配置为执行或以其他方式管理用于呈现用户界面(例如，用户界面200)并提供对图像数据的照明模式调节的应用程序或指令。计算设备1402可为任何类型的计算设备，诸如但不限于移动电话(例如，智能电话)、平板电脑、个人数字助理(PDA)、膝上型计算机、台式计算机、瘦客户端设备、智能手表、无线耳机等。

在一种例示性配置中，计算设备1402可包括至少一个存储器1414和一个或多个处理单元(或一个或多个处理器)1416。一个或多个处理器1416可在硬件、计算机可执行指令或它们的组合中适当的实现。一个或多个处理器1416的计算机可执行指令或固件具体实施包括以任何合适的编程语言编写的计算机可执行指令或机器可执行指令，以执行所述的各种功能。

存储器1414可存储能够在一个或多个处理器1416上加载和执行的程序指令以及在执行这些程序期间生成的数据。根据计算设备1402的配置和类型，存储器1414可为易失性存储器(诸如随机存取存储器(RAM))和/或非易失性存储器(诸如只读存储器(ROM)、闪存存储器等)。计算设备1402还可包括附加可移除存储装置和/或不可移除存储装置1426，包括但不限于磁存储装置、光盘和/或磁带存储装置。磁盘驱动器及其相关联的非暂态计算机可读介质可为计算设备提供计算机可读指令、数据结构、程序模块及其他数据的非易失性存储装置。在一些具体实施中，存储器1414可包括多种不同类型的存储器，诸如静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)或ROM。虽然本文所述的易失性存储器可以被称为RAM，但是从主机和/或电源拔下后将不会保留其中所存储的数据的任何易失性存储器都是适当的。

可移除及不可移除的存储器1414和附加的存储装置1426均为非暂态计算机可读存储介质的示例。例如，非暂态计算机可读存储介质可包括易失性或非易失性、可移除或不可移除介质，其通过任何方法或技术实现为用于存储信息诸如计算机可读指令、数据结构、程序模块或其他数据。存储器1414和附加的存储装置1426均为非暂态计算机存储介质的示例。可存在于计算设备1402中的附加类型的计算机存储介质可包括但不限于：相变RAM(PRAM)、SRAM、DRAM、RAM、ROM、电可擦除可编程只读存储器(EEPROM)、闪存存储器或其他存储器技术、光盘只读存储器(CD-ROM)、数字视频光盘(DVD)或其他光学存储装置、磁带盒、磁带、磁盘存储装置或其他磁性存储设备或任何其他可用于存储所需信息并可被计算设备1402访问的介质。上述任意组合也应该包括在非暂态计算机可读存储介质的范围内。

另选地，计算机可读通信介质可包括计算机可读指令、程序模块或在数据信号诸如载波或其他传输手段内传输的其他数据。然而，如本文所用，计算机可读存储介质不包括计算机可读通信介质。

计算设备1402还可包含一个或多个通信连接件1428，这一个或多个通信连接件允许计算设备1402经由一个或多个网络与数据存储库、另一个计算设备或服务器、用户终端和/或其他设备进行通信。此类网络可包括许多不同类型的网络中的任一种或组合，诸如有线网络、互联网、无线网络、蜂窝网络、卫星网络、其他专用网络和/或公共网络或者它们的任意组合。计算设备1402还可包括一个或多个I/O设备1430，诸如触摸输入设备、键盘、鼠标、笔、语音输入设备、显示器、扬声器、打印机等。

更详细地转到存储器1414的内容，存储器1414可包括操作系统1432和/或用于实现本文所公开的特征的一个或多个应用程序或服务。存储器1414可包括可被配置为存储图像数据(例如，图1的图像数据102)的图像数据存储库1433。存储器1414可包括根据至少一个实施方案的用于执行功能的多个模块。这些模块可包括用户界面模块1434、界标识别模块1436、掩模生成模块1438、降噪模块1436以及虚拟照明调节模块1442。这些模块可为软件模块、硬件模块或这些模块的组合。如果模块为软件模块，则这些模块可具体实现在计算机可读介质上并由本文所述的任何计算机系统中的处理器处理。应当指出的是，在一些实施方案中，任何模块可为负责管理进行对应计算所需类型的数据的服务。

在一些示例中，用户界面模块1434可被配置为在计算设备1402处(例如，在一个或多个I/O设备1430的显示器处)提供用户界面200。作为提供用户界面200的一部分，用户界面模块1434可被配置为检索用于在用户界面200处呈现数字图像的图像数据(例如，来自图像数据存储库1433的图像数据)。在一些示例中，图像数据可包括对应于数字图像的对象的头部特写的头部特写图像数据。在一些示例中，用户界面模块1434可呈现用户界面200，或用于呈现和/或修改图像数据的任何合适的用户界面。另外，在一些示例中，用户界面模块1434可被配置为接收和/或解释用户输入、用户界面元素选择和/或用于与用户界面200(例如，经由触摸屏)进行交互的手势信息。在一些实施方案中，用户界面模块1434可被配置为向界标识别模块1436提供关于用户界面元素选择的图像数据和/或信息。

在至少一个实施方案中，界标识别模块1436可被配置为获得对应于图像数据的一组界标点。界标识别模块1436可从界标点源请求该组界标点。以举例的方式，界标识别模块1436可请求来自负责确定来自图像数据的一组界标点的系统或服务的界标点。在一些示例中，请求可包括图像数据并且可返回(例如，经由应用编程接口)对应于一组界标点的响应。所请求/返回的该组界标点可对应于图像数据的一部分(例如，头部特写图像数据)，或者所请求/返回的该组界标点可对应于一个或多个特定特征区域(例如，鼻部区域、眼部区域、眉区域、嘴部区域、牙齿区域等)。

在至少一个实施方案中，界标识别模块1436可被配置为确定来自图像数据的一组界标点。图像数据可由界标识别模块1436提供作为机器学习模型的输入。可用已知界标点的历史数据来训练机器学习模型(例如，利用监督学习技术)。因此，可利用机器学习模型来识别单个像素和区域，其中单个像素最高度相似历史图像的对应界标点。

在至少一个实施方案中，掩模生成模块1438可被配置为从一组界标点生成掩模(例如，图5的掩模502)。以举例的方式，掩模生成模块1438可接收由界标识别模块1436获得的一组界标点。该组界标点可对应于一个或多个区域(例如，面部区域、嘴部区域、牙齿区域、眼部区域、眉区域等)。至少部分地基于预定义的协议组，掩模生成模块1438可被配置为生成对应于面部区域的掩模(或3D模型)。在一些示例中，掩模生成模块1438可从掩模中排除一个或多个子区域，诸如眼部区域、眉区域、嘴部区域、牙齿区域等的任何合适的组合。作为非限制性示例，掩模可排除两个眼部区域和一个嘴部区域。在一些示例中，掩模生成模块1438可生成对应于眼部区域、眉区域、嘴部区域、牙齿区域等的任何合适的组合的附加的掩模。该掩模可至少部分地基于从该组界标点限定有界区域来生成。掩模(例如，3D模型)可对应于图像数据的2D信息和/或深度测量值。因此，在一些示例中，应用于掩模的调节(例如，照明调节)可在任何合适的时间被转换并相似地应用于图像数据。

在至少一个实施方案中，降噪模块1440可被配置为利用由掩模生成模块1438和/或图像数据生成的掩模来执行降噪技术的任何合适的组合。例如，对比度调节算法可用于减小对应于掩模的区域内的图像数据的局部对比度。在一些实施方案中，可将面部特征诸如雀斑、胎记等从掩模移除。即使未检测到面部特征，也可对图像应用对比度调节算法以增加和/或减少图像的对比度。在一些实施方案中，对比度调节算法可对应于线性滤波器诸如高斯掩模，高斯掩模包括由高斯函数确定的元素。在这种情况下，可使图像数据(例如，对应于掩模)的每个像素的值与其相邻像素的值更接近。平滑滤波器可以将每个像素设置为其自身及其附近相邻像素的平均值或加权平均值。在一些实施方案中，平滑滤波器可模糊图像以移除显著更高和/或更低的像素强度值，因为此类值可使邻域的平均值/加权平均值偏斜。可使用其他合适的降噪技术，诸如自适应滤波器、非线性滤波器和/或中值滤波器，这对于降噪领域的技术人员将是显而易见的。在至少一个示例中，降噪模块1440可被配置为在已利用一个或多个噪声相关算法来减小或增大图像内的噪声之后存储对应于该图像的修改的图像数据。

在至少一个实施方案中，虚拟照明调节模块1442可被配置为接收或获得图像数据。在一些实施方案中，虚拟照明调节模块1442可从图像数据存储库1433和/或降噪模块1440获得图像数据。所接收/获得的图像数据可为由图像捕获设备(例如，相机)捕获的原始图像数据，或者所接收/获得的图像数据可为已应用了一种或多种降噪算法的图像数据。在至少一个实施方案中，虚拟照明调节模块1442可被配置为接收/获取图像数据的掩模(例如，来自掩模生成模块1438或被配置为存储掩模的合适的存储位置)。

虚拟照明调节模块1442可被配置为接收/获得对应于由用户选择的照明调节模式的信息。根据所选择的照明调节模式，虚拟照明调节模块1442可识别限定要对图像数据进行的一组照明调节的协议组(例如，规则)。与照明调节模式相关联的协议组可限定对应于一个或多个虚拟光、虚拟光移除和/或阴影区域的照明调节的数量(并且在一些情况下为顺序)。该协议组还可限定至少部分地基于深度测量值来调节像素的亮度的量或程度。在一些实施方案中，可至少部分地基于以下中的至少一者的倾斜角/旋转度/取向来使像素变亮或变暗：图像的对象、掩模或特征区域。上文相对于图11至图13讨论了对应于多种照明模式的具体照明调节。

在一些实施方案中，虚拟照明调节模块1442可被配置为将照明调节(例如，如由对应于照明调节模式的协议组所限定的照明调节)应用于图像数据(例如，头部特写图像数据)、掩模和/或面部区域。如果将虚拟照明调节模块1442应用于掩模，则该虚拟照明调节模块可被配置为确定对应于该掩模内的点的图像数据的对应像素。一旦确定，虚拟照明调节模块1442可使得虚拟照明调节被应用于该图像数据。在至少一个实施方案中，虚拟照明调节模块1442可被配置为经由计算设备1402来提供修改的图像数据(例如，在已应用虚拟照明调节之后对应于图像数据)。以举例的方式，虚拟照明调节模块1442可被配置为在用户界面200处呈现(例如，经由计算设备1402的显示器)修改的图像数据。

图15至图17示出用于向如本文所述的图像数据提供照明模式调节的相应方法1500、1600和1700的简化流程图。这些方法1500、1600和1700被示出为逻辑流程图，这些逻辑流程图的每个操作表示可在硬件、计算机指令或它们的组合中实现的一系列操作。在计算机指令的上下文中，操作表示存储在一种或多种计算机可读存储介质上的计算机可执行指令，这些计算机可执行指令由一种或多种处理器执行时执行所述操作。一般来讲，计算机可执行指令包括执行特定功能或实现特定数据类型的例程、程序、对象、部件、数据结构等。描述操作的顺序并非旨在被理解为限制，并且任何数量的所述操作均可按照任意顺序和/或平行组合以实现所述过程。

另外，这些过程中的一些、任意者或全部可在被配置为具有可执行指令的一个或多个计算机系统的控制下执行，并且可实现为在一个或多个处理器上、由硬件、或它们的组合共同执行的代码(例如，可执行指令、一个或多个计算机程序、或一个或多个应用程序)。如上所述，代码可存储在计算机可读存储介质上，例如以包括可由一个或多个处理器执行的多个指令的计算机程序的形式存储。计算机可读存储介质是非暂态的。

图15是示出根据至少一个实施方案的用于根据虚拟照明模式修改图像数据的示例方法1500的简化流程图。在一些示例中，方法1500可由图14的计算设备1402来执行。方法1500可在1502处开始，其中用于修改图像数据的用户界面可由电子设备(例如，利用图14的用户界面模块1434的计算设备1402)呈现。在一些实施方案中，图像数据包括头部特写图像数据。以举例的方式，可在计算设备1402上呈现(例如，经由计算设备1402的显示器)用户界面200，以使用户能够修改图1的图像数据102(例如，对应于图2的图像203)。

在1504处，可在用户界面(例如，用户界面200)处接收用户输入。在一些实施方案中，用户输入可指示对虚拟照明模式(例如，轮廓模式、摄影室模式、舞台模式、黑色和白色舞台模式等)的选择。

在1506处，可从头部特写图像数据识别(例如，通过图14的界标识别模块1436)多个界标点。在一些实施方案中，所述多个界标点中的每个界标点可对应于头部特写图像数据的一组像素。可至少部分地基于与该组像素相关联的深度测量值来单独识别所述多个界标点。

在1508处，可针对头部特写图像数据来确定(例如，通过掩模生成模块1438)一个或多个掩模(例如，本文所讨论的掩模中的任一个掩模)。在一些实施方案中，掩模可对应于头部特写图像数据的区域的一组像素位置。可至少部分地基于所述多个界标点来确定(生成)掩模。在一些实施方案中，可基于所述多个界标点和所述多个界标点的隐含几何形状来确定头部特写图像数据的区域。

在1510处，可通过根据所述一个或多个掩模将多个虚拟照明调节的子组应用于头部特写图像数据来修改(例如，通过图14的虚拟照明调节模块1442)头部特写图像数据。以举例的方式，虚拟照明调节可应用于掩模(例如，3D模型)，并且可根据修改的掩模来调节头部特写图像数据的对应像素。在一些实施方案中，可通过根据一组界标点和该组界标点的隐含几何形状将多个虚拟照明调节的子组应用于头部特写图像数据来修改(例如，通过图14的虚拟照明调节模块1442)头部特写图像数据。在一些实施方案中，可至少部分地基于对所选择的虚拟照明模式的选择和与该组像素相关联的深度测量值来修改头部特写图像数据。换句话讲，该组像素的深度测量值(例如，对应于掩模的区域或一组界标点)可影响针对该组像素调节亮度的量。具有较深深度的像素的调节可显著小于具有较浅深度的像素的调节。

图16是示出根据至少一个实施方案的用于根据如本文所述的虚拟轮廓照明模式选择来修改图像数据的示例过程1600的简化流程图。在一些示例中，过程1600可由图14的计算设备1402来执行。过程1600可在1602处开始，其中用于修改图像数据的用户界面可由电子设备(例如，利用图14的用户界面模块1434的计算设备1402)呈现。在一些实施方案中，图像数据包括头部特写图像数据。以举例的方式，可在计算设备1402上呈现(例如，经由计算设备1402的显示器)用户界面200，以使用户能够修改图1的图像数据102(例如，对应于图2的图像203)。

在1604处，可在用户界面(例如，用户界面200)处接收用户输入。在一些实施方案中，用户输入可指示对虚拟轮廓照明模式的选择。虚拟轮廓照明模式可与限定虚拟照明调节进行的方式的协议组相关联。该协议组可限定用图像数据(包括头部特写图像数据)和/或掩模进行亮度增加/减少的位置、区域和/或量/百分比。

在1606处，可从头部特写图像数据识别(例如，通过图14的界标识别模块1436)多个界标点。在一些实施方案中，所述多个界标点中的每个界标点可对应于头部特写图像数据的一组像素。可至少部分地基于与该组像素相关联的深度测量值来单独识别所述多个界标点。

在1608处，可针对头部特写图像数据来确定(例如，通过掩模生成模块1438)掩模(例如，上述附图中的一个或多个掩模)。在一些实施方案中，掩模可对应于头部特写图像数据的区域的一组像素位置。可至少部分地基于所述多个界标点来确定(生成)掩模。在一些实施方案中，相对于图16讨论的照明调节可利用所述一个或多个掩模和/或一组或多组界标点和所述一组或多组界标点的隐含几何形状。

在1610处，可根据对虚拟轮廓照明模式的选择来增加与所述一个或多个掩模的前额区域、下眼部区域和颏部区域相关联的第一多个像素的亮度。以举例的方式，可如图11的1102处所描绘的来调节该亮度。

在1612处，可根据对虚拟轮廓照明模式的选择来增加与所述一个或多个掩模的侧区域相关联的第二多个像素的亮度。以举例的方式，可如图11的1104处所描绘的来调节该亮度。

在1614处，可根据对虚拟轮廓照明模式的选择来减少与掩模的侧鼻部区域相关联的第三多个像素的亮度。以举例的方式，可如图11的1106处所描绘的来调节该亮度。

在1616处，可根据对虚拟轮廓照明模式的选择来减少与掩模的侧鼻部区域相关联的第四多个像素的亮度。以举例的方式，可如图11的1108处所描绘的来调节该亮度。

在1618处，可根据对虚拟轮廓照明模式的选择来减少与头部特写图像数据的颈部区域相关联的第五多个像素的亮度。以举例的方式，可如图11的1110处所描绘的来调节该亮度。

图17是示出根据至少一个实施方案的用于根据如本文所述的虚拟摄影室模式选择来修改图像数据的示例过程1700的简化流程图。在一些示例中，过程1700可由图14的计算设备1402来执行。在一些实施方案中，相对于图17讨论的照明调节可利用所述一个或多个掩模和/或一组或多组界标点和所述一组或多组界标点的隐含几何形状。

过程1700可在1702处开始，其中用于修改图像数据的用户界面可由电子设备(例如，利用图14的用户界面模块1434的计算设备1402)呈现。在一些实施方案中，图像数据包括头部特写图像数据。以举例的方式，可在计算设备1402上呈现(例如，经由计算设备1402的显示器)用户界面200，以使用户能够修改图1的图像数据102(例如，对应于图2的图像203)。

在1704处，可在用户界面(例如，用户界面200)处接收用户输入。在一些实施方案中，用户输入可指示对虚拟摄影室照明模式的选择。虚拟摄影室照明模式可与限定虚拟照明调节进行的方式的协议组相关联。该协议组可限定用图像数据(包括头部特写图像数据)和/或一个或多个掩模进行亮度增加/减少的位置、区域和/或量/百分比。

在1706处，可从头部特写图像数据(例如，通过图14的界标识别模块1436)识别多个界标点。在一些实施方案中，所述多个界标点中的每个界标点可对应于头部特写图像数据的一组像素。可至少部分地基于与该组像素相关联的深度测量值来单独识别所述多个界标点。

在1708处，可针对头部特写图像数据来确定(例如，通过掩模生成模块1438)一个或多个掩模(例如，上文附图中所述的掩模中的任一个掩模)。在一些实施方案中，掩模可对应于头部特写图像数据的区域的一组像素位置。可至少部分地基于所述多个界标点来确定(生成)所述一个或多个掩模。

在1710处，可根据对虚拟轮廓照明模式的选择来增加与所述一个或多个掩模的前额区域相关联的第一多个像素的亮度。以举例的方式，可使用如图11的1102处所描绘的照明调节区域602来调节该亮度。

在1712处，可根据对虚拟轮廓照明模式的选择来增加与所述一个或多个掩模的下眼部区域相关联的第二多个像素的亮度。以举例的方式，可使用如图12的1202处所描绘的照明调节区域604来调节该亮度。

在1714处，可根据对虚拟轮廓照明模式的选择来增加与所述一个或多个掩模的颏部区域相关联的第三多个像素的亮度。以举例的方式，可使用如图12的1204处所描绘的照明调节区域608来调节该亮度。

在1716处，可根据对虚拟轮廓照明模式的选择来增加与所述一个或多个掩模的侧区域相关联的第四多个像素的亮度。以举例的方式，可如图12的1206处所描绘的来调节该亮度。

在1718处，可根据对虚拟轮廓照明模式的选择来增加与头部特写图像数据的鼻部区域相关联的第五多个像素的亮度。以举例的方式，可如图12的1208处所描绘的来调节该亮度。

Claims (20)

1.一种方法，包括：

由电子设备呈现用于修改图像数据的用户界面，所述图像数据包括头部特写图像数据；

在所述用户界面处接收指示对虚拟照明模式的选择的用户输入；

从所述头部特写图像数据中识别多个界标点，所述多个界标点中的每个界标点对应于所述头部特写图像数据的一组像素，所述多个界标点至少部分地基于与所述一组像素相关联的深度测量值而被单独识别；

确定用于所述头部特写图像数据的一个或多个掩模，所述一个或多个掩模中的一个掩模对应于所述头部特写图像数据的区域的一组像素位置，所述一个或多个掩模至少部分地基于所述多个界标点来确定；并且

通过至少部分地根据所述一个或多个掩模中的至少一个掩模将多个虚拟照明调节的子组应用于所述头部特写图像数据来修改所述头部特写图像数据，所述头部特写图像数据至少部分地基于对所选择的所述虚拟照明模式的所述选择和与所述一组像素相关联的所述深度测量值来修改。

2.根据权利要求1所述的方法，其中所述呈现还包括：

由所述电子设备的图像捕获设备捕获包括所述头部特写图像数据的所述图像数据；以及

在所述电子设备的显示器上显示包括所述头部特写图像数据的所述图像数据的预览。

3.根据权利要求1所述的方法，其中所述修改还包括：

在所述电子设备的所述显示器上显示所修改的头部特写图像数据的预览。

4.根据权利要求1所述的方法，其中确定所述一个或多个掩模还包括：

确定所述头部特写图像数据的至少一个特征区域，所述特征区域对应于所述图像数据的多个像素，所述特征区域对应于以下中的至少一者：对象的鼻部区域、所述对象的至少一个眼部区域、所述对象的嘴部区域、所述对象的牙齿区域或所述对象的至少一个面部毛发区域；以及

将所述至少一个子区域从所述图像的所述对象的所述一个或多个掩模中排除。

5.根据权利要求1所述的方法，其中所述多个虚拟照明调节的所述子组包括以下中的至少一者：

虚拟聚光灯照明调节，所述虚拟聚光灯照明调节增加与所述一个或多个掩模的第一子区域相关联的第一组像素的亮度；

虚拟闪光灯照明调节，所述虚拟闪光灯照明调节增加与所述一个或多个掩模的第二子区域相关联的第二组像素的亮度；和

虚拟背景光照明调节，所述虚拟背景光照明调节增加与所述一个或多个掩模的侧部相关联的第三组像素的亮度。

6.根据权利要求4所述的方法，其中至少部分地基于将对应于所述一个或多个掩模的子区域的面积大小与由所述图像数据限定的图像的总面积进行比较来增加所述第一组像素的所述亮度。

7.根据权利要求1所述的方法，还包括：

至少部分地基于所选择的所述虚拟照明模式，利用虚拟光移除技术来使所述一个或多个掩模的子区域变暗。

8.根据权利要求4所述的方法，还包括：

至少部分地基于所述头部特写图像数据来识别所述掩模的取向和倾斜角；以及

至少部分地基于所述取向和所述倾斜角来确定对应于所述一个或多个掩模的子区域的多个照明调节区域的尺寸，所述多个照明调节区域用于根据所述一个或多个掩模将所述多个照明调节的所述子组应用于所述头部特写图像数据。

9.一种方法，包括：

由电子设备呈现用于修改图像数据的用户界面，所述图像数据包括头部特写图像数据；

在所述用户界面处接收指示对虚拟轮廓照明模式的选择的用户输入；

从所述头部特写图像数据识别多个界标点，所述多个界标点中的每个界标点对应于所述头部特写图像数据的一组像素；

确定用于所述头部特写图像数据的一个或多个掩模，所述一个或多个掩模中的一个掩模对应于所述头部特写图像数据的区域的一组像素位置，所述掩模至少部分地基于所述多个界标点来确定；

根据对所述虚拟轮廓照明模式的所述选择，增加与所述一个或多个掩模的前额区域、下眼部区域和颏部区域相关联的第一多个像素的亮度；

根据对所述虚拟轮廓照明模式的所述选择，减少与所述一个或多个掩模的侧区域相关联的第二多个像素的亮度；

根据对所述虚拟轮廓照明模式的所述选择，增加与所述一个或多个掩模的侧鼻部区域相关联的第三多个像素的亮度；

根据对所述虚拟轮廓照明模式的所述选择，增加与所述一个或多个掩模的鼻部区域相关联的第四多个像素的亮度；以及

根据对所述虚拟轮廓照明模式的所述选择，减少与所述头部特写图像数据的所述颈部区域相关联的第五多个像素的亮度。

10.根据权利要求9所述的方法，还包括：

通过执行至少一个对比度降低算法来修改所述头部特写图像数据，其中执行所述对比度降低算法使得图像噪声与所述头部特写图像数据一起降低。

11.根据权利要求10所述的方法，其中所述至少一个对比度降低算法包括以下中的至少一者：高斯掩模、平滑滤波器、线性滤波器、非线性滤波器或中值滤波器。

12.根据权利要求9所述的方法，其中所述头部特写图像数据的所述颈部区域相对于多个界标点来限定。

13.根据权利要求8所述的方法，其中所述掩模还通过以下步骤确定：

识别所述掩模的两个眼部区域和所述一个或多个掩模的嘴部区域；以及

将所述两个眼部区域和所述嘴部区域从所述一个或多个掩模中排除。

14.一种方法，包括：

由电子设备呈现用于修改图像数据的用户界面，所述图像数据包括头部特写图像数据；

在所述用户界面处接收指示对虚拟摄影室照明模式的选择的用户输入；

从所述头部特写图像数据识别多个界标点，所述多个界标点中的每个界标点对应于所述头部特写图像数据的一组像素；

确定用于所述头部特写图像数据的一个或多个掩模，所述一个或多个掩模中的一个掩模对应于所述头部特写图像数据的区域的一组像素位置，所述掩模至少部分地基于所述多个界标点来确定；

根据对虚拟摄影室照明模式的所述选择，增加与所述一个或多个掩模的前额区域相关联的第一多个像素的亮度；

根据所选择的所述虚拟摄影室照明模式，增加与所述一个或多个掩模的下眼部区域相关联的第二多个像素的亮度；

根据所选择的所述虚拟摄影室照明模式，增加与所述一个或多个掩模的颏部区域相关联的第三多个像素的亮度；

根据所选择的所述虚拟摄影室照明模式，增加与所述一个或多个掩模的侧区域相关联的第四多个像素的亮度；以及

根据所选择的所述虚拟摄影室照明模式，增加与所述一个或多个掩模的鼻部区域相关联的第五多个像素的亮度。

15.根据权利要求14所述的方法，其中利用对应的照明调节区域来增加所述第一多个像素、所述第二多个像素、所述第三多个像素、所述第四多个像素和所述第五多个像素的所述亮度，所述照明调节区域限定边界，在所述边界内进行亮度调节。

16.根据权利要求14所述的方法，其中所述照明调节区域的宽度至少部分地基于所述图像数据的对象的取向。

17.根据权利要求14所述的方法，还包括：

确定用于所述图像数据的多个对象的多个掩模，所述多个掩模对应于与所述图像数据的多个对象相关联的像素组，所述多个掩模至少部分地基于所述多个界标点来确定；并且

根据对所述摄影室照明模式的所述选择，根据与所选择的所述摄影室照明模式相关联的预定义方案来增加所述像素组的亮度。

18.根据权利要求14所述的方法，还包括：

利用局部对比度降低算法来过滤所述头部特写图像数据的噪声。

19.根据权利要求14所述的方法，其中所述亮度增加的量至少部分地基于相对于总图像的由所述图像数据限定的第二区域的所述一个或多个掩模的第一区域。

20.根据权利要求14所述的方法，其中所述亮度增加的量至少部分地基于所述头部特写图像数据的对象的倾斜角。

Images