CN110148204A - 用于在真实环境的视图中表示虚拟对象的方法和系统 - Google Patents

Abstract

本发明涉及用于在真实环境的视图中表示虚拟对象的方法和系统，该方法包括如下步骤：提供由第一相机捕获的人脸的至少部分的第一图像的图像信息；提供至少一个人脸具体特性；将面部的图像区域的至少部分确定为第一图像的面部区域；根据第一图像的面部区域和至少一个人脸具体特性确定落在面部上的至少一个第一光；和根据至少一个第一光在显示装置上在真实环境的视图中调和虚拟对象。还包括：提供多个面部采样位置；为每个面部采样位置提供辐射传输函数；确定第一图像中的面部采样位置的至少部分的图像位置；根据与第一图像中的面部采样位置的至少部分的图像位置有关的强度信息和与面部采样位置的至少部分有关的辐射传输函数确定至少一个第一光。

Description

用于在真实环境的视图中表示虚拟对象的方法和系统

本申请是申请日为2015年3月25日、申请号为201510134695.7、名称为“用于在真实环境的视图中表示虚拟对象的方法和系统”的发明专利申请的分案申请。

技术领域

本公开内容涉及用于在真实环境的视图中表示虚拟对象的方法和系统。

背景技术

在增强现实(Augmented Reality,AR)中，真实环境的视图(例如真实环境的视频图像)与一个或多个虚拟对象的叠加在空间关系上结合，从而结合至真实环境。对于许多AR应用，虚拟对象应该无缝地集成在视图中，使得真实和虚拟对象无法区分开。因此，重要的是，利用在真实世界中可见的相同照明条件来照亮或者显示虚拟对象以及使虚拟对象改变光照，例如通过将阴影投射在来自现实场景的部件(部分)上。对于增强现实场景，照明条件通常是未知并且随机的，因此对于现实和虚拟对象通常难以或者甚至不可能具有一致的照明。

在AR应用中对于现实和虚拟对象具有一致照明的可能方式是估计从真实环境发出的光。现有技术中的常规方法需要附加装置(例如镜子或者特殊相机(例如鱼眼相机)，以便估计环境光。这无疑限制了这些方法的可应用性。此外，大部分常规方法仅仅能估计环境光的方向，但是不能估计任何光源的位置。

一种估计或者捕获环境光的方法是通过全景相机(如参考文献[3]中所描述的)或者通过捕获镜面球的图像(如参考文献[2]中所描述的)生成真实环境的全景图像。根据全景图像可以直接测量环境光。这种方法的一个问题是必须要附加设备，例如该附加设备需要鱼眼相机镜头或者镜面球，其中添加到场景的额外对象改变了原始场景。此外，该方法测量环境光的方向。

估计环境光的另一方法是基于真实环境的图像和真实环境的已知模型。例如，Gruber等人在参考文献1中提出了使用RGB-D相机来捕获真实环境的深度图像，然后重构真实环境的表面。可以从基于深度数据的表面信息以及来自RGB-D相机的RGB数据的纹理信息估计环境光。

发明内容

因此，期望提供一种在真实环境的视图中表示虚拟对象的方法，该方法能够提高增强现实应用的可应用性，尤其是在具有未知照明条件的环境中。

根据一个方面，公开了一种在真实环境的视图中表示虚拟对象的方法，包括提供由第一相机捕获的人脸的至少部分的第一图像的图像信息、提供至少一个人脸具体特性(human face specific characteristic)、将第一图像中的面部的图像区域(图像面积，图像平面，image area)的至少部分确定为第一图像的面部区域(脸部区域，face region)、根据第一图像的面部区域和至少一个人脸具体特性来确定落在脸上的至少一个第一光、以及根据该至少一个第一光在显示装置上在真实环境的视图中调和(blending in)虚拟对象。

更具体地说，根据一个方面，公开了一种在真实环境的视图中表示虚拟对象的方法，包括：

a)提供由第一相机捕获的人脸的至少部分的第一图像的图像信息，

b)提供至少一个人脸具体特性，其中，所述至少一个人脸具体特性包括面部的至少部分的辐射传输特性，

c)将第一图像中的面部的图像区域的至少部分确定为该第一图像的面部区域，

d)根据所述第一图像的面部区域和所述至少一个人脸具体特性确定落到面部上的至少一个第一光，

e)根据所述至少一个第一光在显示装置上在所述真实环境的视图中调和虚拟对象，

其中，所述步骤d)包括步骤d1)-d4)

d1)提供多个面部采样位置(面部样本位置，face sample position)，

d2)为所述多个面部采样位置中的每一个提供辐射传输函数，

d3)确定所述第一图像中的所述面部采样位置的至少部分的图像位置，以及d4)根据与所述第一图像中的所述面部采样位置的至少部分的所述图像位置有关的强度信息和与所述第一图像中的所述面部采样位置的至少部分有关的所述辐射传输函数来确定所述至少一个第一光，

其中，根据训练方法确定所述辐射传输函数，所述训练方法包括：

f1)在多个不同光照下提供人脸的多个图像的图像信息，其中，所述多个不同光照是已知的，

f2)为所述多个图像中的每一个确定所述面部采样位置的至少部分的图像位置，

f3)根据与所述多个图像的至少部分中的所述图像位置有关的强度信息和与所述多个图像的至少部分有关的照明和姿态为所述多个面部采样位置中的每一个确定相应的辐射传输函数。

根据另一个方面，公开了一种用于在真实环境的视图中表示虚拟对象的系统，其包括被配置为执行上述步骤的处理系统。

根据一个方面，该处理系统被配置为：接收由第一相机捕获的人脸的至少部分的第一图像的图像信息、提供至少一个人脸具体特性、将第一图像中的脸的图像区域的至少部分确定为第一图像的面部区域、根据第一图像的面部区域和至少一个人脸具体特性来确定落在脸上的至少一个第一光、以及与显示装置通信以根据该至少一个第一光在显示装置上在真实环境的视图中调和(blend in)虚拟对象。

例如，处理系统被包括在移动装置(例如移动电话、平板计算机或者移动计算机(常常称作膝上型计算机))中和/或被包括在适配为与移动装置通信的服务器计算机中。该处理系统可以被包括在这些装置的仅仅一个中，例如被包括在移动装置中或者服务器计算机中，或者该处理系统可以是分布式系统，在该分布式系统中，通过被分布且彼此通信(例如，通过点对点通信或者经由网络)的一个或多个部件来分配和处理一个或多个处理任务。

根据一个实施例，第一相机与显示装置关联，使得在人脸面对显示装置时人脸的至少部分由第一相机捕获。

根据一个实施例，该系统包括包含第一相机和显示装置的移动装置，其中，显示装置的法线和第一相机的光轴以基本上相同的方向被定位。基本上相同的方向应该意指应包括方位角的小偏差，例如可达5°-10°。

根据本发明的实施例，提出了使用体验AR应用并且已经存在于真实环境中的用户的面部来估计环境光(即从环境发出的光)。这具有各种优点。用户的面部是可获得的，因此不必增加额外的几何形状并且不需要多余的设备。人脸受限于几何形状和材料的变化范围，从而基于可以运行更快和更有效的有效假设和限制而允许某种预处理和优化算法。由于只要用户面对或者注视真实环境的增强视图，用户的面部就总是可获得的，所以可以支持动态变化的光照。在使用情况下，例如其中虚拟对象是人可穿戴的对象或者衣服，用户的面部靠近该增强的位置，这是另一个益处。

如参考文献[4，5]中所描述的，可以在可变的光照下在面部识别的区域中估计来自人脸的光照，以便减去光照的影响并且收回无光照图像，以便更好地识别面部特征。在这里，光照是应该去除的干扰因素。

如参考文献[6]中所描述的，面部的光照可被估计和变换成在面部重新照明的区域内的另一个光照。焦点在于适应面部本身的外观，而不是使用回收光来始终照亮附加对象。

根据一个实施例，当第一相机捕获第一图像时，所确定的至少一个第一光与第一相机相关。

根据一个实施例，用于光估计的至少一个人脸具体特性包括但不限于以下中的至少一个：普通3D面部模型、面部的至少部分的几何形状、面部的至少部分的材料特性、面部的至少部分的颜色、面部的至少部分的辐射传输特性、面部的至少部分的反射特性、以及面部的至少部分的适合等级。

根据一个实施例，确定至少一个第一光包括确定至少一个第一光的至少一个特性，其中，至少一个第一光的至少一个特性包括强度、波长以及方向中的至少一个。

根据一个实施例，确定至少一个第一光包括确定发射或者反射或者折射至少一个第一光的至少部分的至少一个光源的至少一个特性，其中，至少一个光源的至少一个特性包括以下中的至少一个：类型、强度、波长、方向、距离、位置、维度、面积(区域，area)、形状、球谐函数系数(球谐系数，spherical harmonics coefficient)、小波基础系数以及冯·米塞斯-费舍尔分布(von Mises-Fisher distribution)的混合系数，尤其是模式数量、平均方向以及强度(concentration)参数中的至少一个。

例如，至少一个光源包括以下中的至少一个：背景光、点光、定向光、聚光、面光源以及环境光，其中，环境光被表示为环境映射、球形谐波、小波、或者冯·米塞斯-费舍尔分布的混合。

根据一个实施例，真实环境的视图通过第一相机被捕获为图像，并且调和虚拟对象包括根据所确定的至少一个第一光照亮虚拟对象的至少部分。

根据一个实施例，真实环境的视图通过第二相机被捕获为图像，其中，第二相机与第一相机具有已知的空间关系，并且调和虚拟对象包括根据所确定的至少一个第一光以及第一相机和第二相机之间的已知空间关系照亮虚拟对象的至少部分。

例如，调和虚拟对象包括：当第二相机捕获真实环境的视图时提供第二相机相对于真实环境的姿态；以及根据所提供的姿态将虚拟对象与真实环境的视图对准。

根据一个实施例，调和虚拟对象包括：当第一相机捕获真实环境的视图时提供第一相机相对于面部或者相对于真实环境的姿态；以及根据所提供的姿态将虚拟对象与真实环境的视图对准。

根据一个实施例，确定至少一个第一光包括：提供与第一图像的面部区域关联的深度信息；以及根据强度和与第一图像的面部区域关联的深度信息确定至少一个第一光。

根据一个实施例，确定至少一个第一光包括：提供3D面部模型的至少部分，其中3D面部模型是普通3D面部模型或者面部的3D模型；当第一相机捕获第一图像时，提供面部相对于第一相机的姿态；以及根据与面部区域和3D面部模型的至少部分关联的强度信息来确定至少一个第一光。

根据一个实施例，确定至少一个第一光包括：提供人脸的多个不同光照(照度，亮度，illumination)和姿态的多个图像的图像信息，其中多个不同光照和姿态是已知的；提供多个面部采样位置；对于多个图像中的每一个，确定面部采样位置的至少部分的图像位置；对于多个面部采样位置中的每一个，根据与多个图像的至少部分中的图像位置关联的强度信息和与多个图像的至少部分关联的光照和姿态来确定辐射传输函数(发光传输函数，radiance transfer function)；确定第一图像中的面部采样位置的至少部分的图像位置；以及根据与第一图像中的面部采样位置的至少部分的图像位置关联的强度信息和与第一图像中的面部采样位置的至少部分关联的辐射传输函数来确定至少一个第一光。

根据一个实施例，根据面部的至少部分的热图像来确定面部区域，其中，热图像的至少部分与第一图像的至少部分对准。

根据一个实施例，面部区域包括至少一个面部部分，其包括以下中的至少一个：鼻子、脸颊、前额、颌、眼睛以及下巴。

根据一个实施例，该方法进一步包括：将第一图像中的非面部图像区域的至少部分确定为背景区域；根据该背景区域以不同于确定至少一个第一光的方式确定至少一个第二光；以及通过将所确定的至少一个第一光和所确定的至少一个第二光结合来更新所确定的至少一个第一光。

根据一个实施例，该方法进一步包括：提供通过第二相机捕获的真实环境的至少部分的第二图像的图像信息，其中第二相机与第一相机具有已知的空间关系；根据第二图像来确定至少一个第三光；以及根据已知的空间关系通过将所确定的至少一个第一光和所确定的至少一个第三光结合来更新所确定的至少一个第一光。

根据一个实施例，该方法进一步包括：提供处于不同姿态的面部相对于真实环境的至少一部分的多个图像的图像信息；以及根据多个图像来计算光线范围和光源位置中的至少一个。

根据一个实施例，该方法进一步包括：当第一相机捕获第一图像时，确定面部相对于第一相机的第一姿态；提供通过第一相机捕获的面部的至少部分的第三图像的图像信息；根据该第三图像确定至少一个第四光；当第一相机捕获第三图像时，确定面部相对于第一相机的第三姿态；以及根据第一姿态和第三姿态通过将所确定的至少一个第一光和所确定的至少一个第四光结合来更新所确定的至少一个第一光。

根据一个实施例，该方法进一步包括：提供通过第一相机捕获的面部的至少部分的第三图像的图像信息；根据第三图像确定至少一个第四光；确定第一相机正在捕获与真实环境的至少部分关联的真实环境坐标系中的第一图像和第三图像时之间的运动；以及根据该运动通过将所确定的至少一个第一光以及所确定的至少一个第四光结合来更新所确定的至少一个第一光。

根据一个实施例，该方法进一步包括：根据第一姿态、运动第三姿态以及所述运动，通过将所确定的至少一个第一光和所确定的至少一个第四光结合来更新所确定的至少一个第一光。

例如，可以根据至少一个跟踪传感器(具体是惯性传感器、GPS传感器以及罗盘中的至少一个)来确定该运动。也可以根据第一和第三图像的非面部区域来确定该运动。也可以根据通过第二相机捕获的真实环境的至少部分的至少一个图像来确定该运动，其中，第二相机与第一相机具有已知的空间关系或者相对于第一相机被刚性固定。

根据一个实施例，该方法进一步包括提供与第一图像和第三图像关联的公共坐标系，其中，公共坐标系是真实环境坐标系、与面部关联的坐标系、以及与第一相机关联的坐标系中的一个。

例如，结合所确定的至少一个第一光和所确定的至少一个第四光包括：确定至少一个第一光的方向和至少一个第四光的方向；以及确定沿着两个所确定的方向的线之间的交点。

根据另一个实施例，结合所确定的至少一个第一光和所确定的至少一个第四光包括：基于数学方法(具体是平均、最小二乘方最小化、随机抽样一致性(ransac)以及概率最大化中的至少一个)，根据至少一个第一光的特性的值和至少一个第四光的特性的值来计算所更新的至少一个第一光的特性的值。

根据一个实施例，调和虚拟对象包括：根据虚拟对象和至少一个第一光，改变真实环境的视图的至少部分的光照。例如，根据微分渲染来进行改变光照。

根据本发明的实施例，基于人脸的图像来估计环境光，然后应用所估计的光以照亮在真实环境的视图中调和的虚拟对象。具体地说，本发明公开了使用配备有显示屏和一个或两个相机(例如注视与屏幕相同的一侧的正面相机和注视与屏幕相对的一侧的背面相机)的现代移动装置(例如移动电话或者平板计算机)。因为用户注视该屏幕以便体验AR图像，所以正面相机总是可以捕获用户的面部，而背面相机可以捕获真实环境的视图。

根据本发明的实施例，确定从真实环境发出的至少一个光。从真实环境发出的光是环境光并且也称作光照或者真实光照。

根据当前公开的本发明，与确定用于真实和虚拟内容的一致照明的真实光照的现有技术的一个显著差异是，当用户正在观察显示装置上的增强场景的可见内容时，明确使用在一定光照下通过用户面对相机(user facing camera)(即指向用户或者指向通过一个或多个光学设备(例如镜子或者光学镜头)反射的用户的图像的相机，用于捕获用户的面部)捕获的用户面部的一个或多个人脸具体特性。这允许关于人脸的先验知识的应用。该图像通常通过用户面对相机来捕获并且用于估计光照，而不是依靠用于光探测的场景中的已知几何形状的附加对象或者使用对于估计来自其的光照可能任意不适当的随机场景几何形状。通过明确地使用面部(例如使用面部具体特性)，其在用户观察增强的整个持续时间大部分或者总是可获得的，可以在不影响场景的情况下在任何时间估计该光照。另外，通过明确地聚焦在面部(其就所有人之间的几何形状和材料而言具有有限的变化范围)上，可以应用用于估计来自用户的面部的光的专用算法。对于随机场景表面无效的假设可以被应用，如用于皮肤反射的特定模型，该模型降低了表面反射和光强度/颜色之间的模糊性的物理问题。特别适于估计光照的面部的区域可以被预学习和/或预定义并与其它区域区分开。这些区域可以经由所创建的面部检测和姿态检测的算法以实况跟踪方式被记录。可以考虑可能对估计具有不良影响的区域(如眉毛)。

此外，对于许多使用情况，可以假设用户面部和用户面对相机之间的距离的有限变化，例如用户靠近该装置，这是因为用户抓住该装置或者因为用户紧邻显示装置以体验AR应用，并且从而也靠近用户面对相机。这个有限距离使场景对于应用深度相机更实用，所述深度相机与可能很远处的用户前方的场景(如下一个房屋)相比显示出有限的深度/精度范围。

另外，本发明可以不需要预先捕获光探测器(捕获所有方向的入射光照的测量值的全方向(360°全景)高动态范围图像)的任何离线预处理并且支持动态变化的光照，因为可以在用户正观看AR场景的整个时间段跟踪用户的面部。

与使用必须明确地放置在室内并且由相机捕获以用于光估计的特殊对象(如乒乓球或者平面指示器)的现有技术(像参考文献[13]中所使用的)相比，用户的面部具有的巨大优势在于：在整个增强处理期间，不必花费特别的精力来将对象保持在相机的视场内。

具有单相机(一个相机)的设备：

本发明的一个实施例是使用从由相机捕获的用户面部的图像估计的环境光，用于以一致光照在通过相机捕获的图像内进行真实对象和虚拟对象之间的渲染增强。相机可以附接至移动装置，例如移动电话、平板装置或者平板电脑。例如LCD屏幕的显示装置也可以附接至移动装置。

现代移动电话、平板装置或者平板电脑可以具有指向到两个相反方向的两个配备相机(例如用户面对相机和背对相机)。移动装置的屏幕具有与用户面对相机相同的方向。在当前设备中所使用的相机可以是用户面对相机或者背对相机。

具有双相机的设备：

本发明的可能实施例是使用从由用户面对相机捕获的用户面部的图像估计的环境光，用于以一致光照在通过另一个相机(例如与用户面对相机相比指向相反方向的背对相机)捕获的另一个相机图像内进行真实对象和虚拟对象之间的渲染增强。这两个相机可以附接至移动装置，例如移动电话、平板装置或者平板电脑。此外，例如LCD屏幕的显示装置可以附接至移动装置。

现代移动电话、平板装置或者平板电脑可以具有指向两个相反方向的两个配备相机(即用户面对相机和背对相机)。移动装置的两个相机可以具有固定空间关系，其可以通过使用已知的平面网格指示器或者附加的跟踪系统根据例如手眼校准的校准过程来确定。

这两个相机可以与假定两个相机的坐标系之间的已知关系进行组合使用。背对相机可以用于跟踪，所述跟踪可以确定背对相机相对于与真实环境关联的真实环境坐标系和/或与位于真实环境中的真实对象关联的对象坐标系的姿态。这将允许在通过背对相机所捕获的图像中进行虚拟对象和真实环境中的真实对象之间的期望对准。假设两个相机的坐标系之间的已知关系，从通过用户面对相机捕获的用户的面部估计的光照可以被变换到真实环境坐标系和/或对象坐标系中。这将允许在背对相机的相机图像内以一致光照进行真实对象和虚拟对象之间的渲染增强。

本发明的另一实施例是使用从用户面对相机所捕获的用户面部的图像估计的环境光，用于以一致光照在通过用户面对相机捕获的图像内进行真实对象和虚拟对象之间的渲染增强。在这种情况下，背对相机可以用来估计第一相机在与真实环境关联的真实环境坐标系中的运动。

在本发明的另一实施例中，两个相机中的一个可以用来估计环境，根据该环境光可以分析或者处理通过另一个相机捕获的图像。可以根据估计的环境光对所捕获的图像执行各种图像处理或者计算机视觉方法。例如，基于图像的面部识别方法严重地依赖于面部的光照。可以执行面部识别方法，以根据从由另一个相机捕获的图像所估计的环境光来识别通过两个相机中的一个捕获的面部的图像中的面部。所估计的环境光可用于消除或者确定面部的图像中的面部光照的至少部分。此外，基于视觉的跟踪方法可被应用，以根据通过使用由另一个相机捕获的图像所估计的环境光来跟踪由两个相机中的一个所捕获的对象的图像中的对象(例如桌子)。所估计的环境光可用于消除或者确定对象上的光照的至少部分或者用于恢复图像中的对象的原始纹理。深度相机可以优选地用作两个相机中的一个，以捕获面部或者对象的图像。通过深度相机提供的面部或者对象的3D表面和所估计的光可以一起用于消除或者确定面部或者对象上的光照的至少部分。具体地说，具有相反方向的两个相机的设备将受益于该实施例，因为落在通过两个相机中的一个相机捕获的图像中的面部或者对象上的环境光可以由另一个相反的相机直接捕获。

在单相机设备和双相机设备两者中，在某些场景下，面部相对于用户面对相机的姿态必须被确定，以便将虚拟对象与通过用户面对相机捕获的图像中的面部对准。例如，将头部可穿戴的虚拟对象(例如眼镜或者帽子)覆盖在面部的图像上会需要把头部可穿戴的虚拟对象放置在面部的图像中的期望位置上。确定面部相对于相机的姿态可以基于根据相机捕获的面部的图像的基于模型的方法(就像在参考文献[7]中)或者基于机器学习的方法(就像在参考文献8]中)。

对于设备的两个实施例，即单相机设备和双相机设备，移动装置的显示装置的法线和用户面对相机的光轴优选具有相同的方向。在这种情况下，当用户观察显示装置上的增强场景的视觉信息时，用户的面部大部分或者总是由用户面对相机捕获。因此，可以总是基于面部的图像来估计环境光。

根据一个实施例，如以上公开的步骤d4)还包括：提供用于至少一个第一光的解范围的下界约束(下界限制，lower bound constraint)；以及对至少一个方程组求解以得到至少一个第一光的解，其中，至少一个方程式组包括至少一个第一光的未知变量、与第一图像中的面部采样位置的至少部分的图像位置有关的强度信息的已知参数、以及与第一图像中的面部采样位置的至少部分有关的辐射传输函数的已知参数。

根据一个实施例，该方法进一步包括：根据所确定的至少一个第一光和与面部采样的至少部分有关的辐射传输函数来确定用于面部采样的至少部分的目标强度值；确定目标强度值和与第一图像中的面部采样位置的至少部分的图像位置有关的强度信息之间的强度差；以及根据人脸的第五图像和所确定的强度差来确定落到面部上的至少一个第五光，其中，第五图像和第一图像是相同图像或者不同图像。

根据一个实施例，确定至少一个第五光的步骤包括根据所确定的强度差来确定面部采样的至少部分的权重，并且其中，所确定的权重用于确定至少一个第五光。

在本文中所描述的关于该方法的实施例、方面以及实例可以同样由(通过软件和/或硬件)被配置为执行相应步骤的处理系统来实施。任何所使用的处理装置可以经由通信网络(例如经由服务器计算机或者点对点通信)与一个或多个相机和/或任何其它部件通信。

根据另一方面，本发明还涉及包括适于执行根据本发明的方法的软件代码部分的计算机程序产品。具体地说，软件代码部分被包含在非暂时的计算机可读介质上。软件代码部分可以加载到如本文中所描述的一个或多个处理装置的存储器中。如本文中所描述的，任何所使用的处理装置可以经由通信网络(例如经由服务器计算机或者点对点通信)通信。

附图说明

现在相对于附图来描述本发明的各方面和各实施例，在附图中：

图1示出了根据本发明实施例的将用户的面部捕获在图像中的方法和普通设备，

图2示出了根据本发明实施例的用于估计头部姿态的步骤，

图3示出了根据本发明实施例的用于估计光照的步骤，

图4示出了根据本发明实施例的微分渲染步骤，

图5示出了根据本发明的可能的实施例，

图6示出了具有如参照图5所描述的示例性场景的根据本发明的实施例的流程图，

图7示出了根据本发明的可能的实施例，

图8示出了具有如参照图7所描述的示例性场景的根据本发明的实施例的流程图，

图9示出了根据本发明的实施例，

图10示出了根据本发明的可能的实施例，

图11示出了根据本发明的另一可能的实施例，

图12示出了具有如参照图11所描述的示例性场景的根据本发明的实施例的流程图，

图13示出了根据本发明实施例的用于在真实环境的视图中表示虚拟对象的实施例的流程图。

具体实施方式

图1示出了根据本发明实施例的将用户的面部捕获在图像中的方法和通用设备，其中，用户面对相机101记录用户的面部103的图像102。用户的面部103通过来自场景的光被照亮，例如来自面光源104和/或点光源105。例如，光线106从点光源105发出，在额头107处碰撞到面部并且被部分反射为朝着相机101的反射光线108，其中，反射光线108被转换成在最终图像102中的位置109处的一个或多个像素强度。落在面部上的光106也称作面部入射光。

朝着相机被反射回的光强度越多，出现在图像中的对应区域越亮。在面部的特定位置处所反射的光线的强度尤其取决于有效到达该位置的光线的强度。这取决于表面是否朝着入射光线被定向(参见，例如与面部的额头的较暗的右侧110(称作附属阴影)相比，额头的左侧109更亮)。而且，这取决于光线被作为投射阴影可见的其它表面部分的遮挡，其中，例如鼻子111遮挡由点光源105发出的朝着右脸颊112的光线并且在鼻子下和右脸颊上投射阴影。

图2示出了根据本发明实施例的用于估计头部姿态的步骤。图像201示出了用户的面部且包含多个面部部位，如嘴202、鼻子203以及眼睛204，这些部位在头部姿态估计器(head pose estimator,HPE)205内用于确定头部208分别相对于用户面对相机207的坐标系和其图像坐标系206的姿态。

图3示出了根据本发明实施例的用于估计光照的步骤。用户的面部的图像301与所确定的头部302的姿态一起被输入到面部光照估计器(facial illumination estimator,FIE)303。基于示出了面部的明亮区306和阴影区304、305的图像强度，可选地设置有附加输入(additional input,AI)307(像例如深度值)，重构示出了具有主要的入射光强度311、312的两组方向的面部入射光308(其作为在相对于用户面对相机坐标系310所确定的面部的特定位置309处的真实世界的明场中的一部分)。面部具体特性(参见下面的部分人脸和人脸具体特性)还可以用于在面部光照估计器(FIE)303中确定面部入射光308。

图4示出了根据本发明实施例的微分渲染步骤，其可以用于根据在光照估计步骤中所确定的至少一个第一光来在显示装置上在真实环境的视图中调和虚拟对象。基于代替受到增加虚拟内容影响的真实世界场景的3D几何形状和材料部分的代理对象401，渲染两个全局光照方案。第一个是代理对象401仅仅在真实世界的估计照明条件402下的图像403。第二个是代理对象401在代理对象的光照受虚拟对象(例如虚拟眼镜405)影响的情况下在真实世界的估计照明条件402下的图像404。图像404包含代理对象和虚拟对象的组合场景的阴影和光相互反射，例如来自真实场景的阴影407以及从虚拟对象投射在真实场景上的阴影406。从第二图像404中减去第一图像403(步骤408)，使得所产生的图像409确实仅仅包含两个方案之间的照明差，例如由虚拟对象引入的阴影区410，而不是之前已被遮挡的那些阴影区411。

在步骤413中将图像409添加到所捕获的真实环境的图像414。这在通过将虚拟对象405结合到真实场景中而另外修改的估计照明条件402下会生成真实场景的图像415。最后，将这个图像415在估计照明条件402下与虚拟对象405的渲染组合(步骤416)，其中虚拟对象的光照在最终的增强图像417中受代理对象的影响。

图5示出了根据本发明的可能的实施例，其中，用户501正在示出了结合有如虚拟眼镜504的虚拟内容的用户的头部和面部503的图像509的显示屏502上体验增强的现实场景。用户的面部由光源505照亮并且通过具有一定视场507的用户面对相机506来捕获。

相机506可以是移动装置500(例如平板计算机或者智能电话)的一部分或者与其关联，该移动装置500包括处理装置518(例如微处理器)。通过示例，移动装置500(或者其处理装置518)可以与具有处理装置521(例如微处理器)的服务器计算机520通信，该处理装置至少部分地可以配置为执行如本文中所描述的一些方法步骤。同样地，处理装置518和521可以以有线或者无线的方式(例如在网络上，例如因特网)彼此通信并且形成处理系统，该处理系统通过适当的硬件和软件构造被配置为实施如本文中所描述的方法步骤的至少部分。用于执行如本文中所公开的方法的处理系统还可以包括处理装置518或者521，而不具有处理装置中的相应另一个。移动装置500和/或服务器计算机520或者任一个其处理装置518、521此时可以在显示屏502上形成用于在真实环境的视图中表示虚拟对象的系统。

类似的配置也可以用于本文中所描述的其它实施例中，如参考图7描述的实施例中。

通过相机506捕获的图像508示出了由光源505照亮的面部503。通过根据图像508中的用户面部的外观估计从光源505发出的面部入射光，虚拟对象可以使用微分渲染利用估计的真实世界光照来渲染并且与所捕获的用户面对图像合并。该结果是表征可见的虚拟和现实部分之间的一致光照的图像509-参见虚拟眼镜504的一致阴影510以及由虚拟眼镜504投射在真实面部上的阴影511。与不具有现实和虚拟内容之间的一致光照的图像512相比，图像509提供逼真得多的结果。

所确定的落在面部503上的光还可以用于消除图像508中的由所确定的光引起的对面部503外观的影响(例如阴影530)。然后，施加至少一个虚拟光(例如计算机生成的光)以照亮面部的图像(即在消除阴影530后的图像508)和叠加到该图像的虚拟对象，以便使真实对象和虚拟对象(即面部503和虚拟眼镜504)具有相同光照。

图6示出了具有如参考图5所描述的示例性场景的根据本发明实施例的流程图，其中，用户正在显示屏上体验增强的真实场景，该显示屏示出了结合有虚拟内容(如虚拟眼镜)的用户的面部本身的图像607。用户的面部的图像601由用户面对相机捕获。在步骤HPE602(头部姿态估计器)中，基于图像601来确定头部姿态。基于图像601和根据步骤602所确定的姿态，在步骤FIE 603(面部光照估计器)中确定来自真实场景内的光源的面部入射光。基于所确定的姿态，记录虚拟对象604。基于所捕获的图像601、记录的几何形状、估计的光照以及代理几何形状定义(步骤605，PGD)，其中该代理几何形状定义代替受到增加虚拟内容影响的真实世界场景的3D几何形状和材料部分，微分渲染步骤606(DR)过程生成增强的图像607。

图7示出了根据本发明的可能的实施例，其中，用户701正在显示装置702上体验增强的真实场景，该显示装置示出了用户前方的结合有虚拟内容(例如兔子712)的真实场景(例如桌子708)的图像714。用户701保持住移动装置700(例如平板计算机或者智能电话)，该移动装置配备有处理装置718、显示装置702、用户面对相机705以及另一(在这里是背对)相机709。用户的面部703由光源704照亮并且由具有一定视场706的用户面对相机705(第一相机)捕获。所产生的图像707示出了由光源照亮的面部。根据图像707中的用户面部的外观来估计(或者重构)从光源704发出的面部入射光(通常是光照的表示)。用户前方的包括桌子708的场景由具有一定视场710的相机709(第二相机)捕获并且生成一定光照下的桌子的图像711。从这个图像中还可以确定真实世界内的相机709的姿态。

在相机705和709两者的相机坐标系被彼此记录的假设下，所重构的光照的表示被从用户面对相机705的坐标系转换到背对相机709的坐标系中。现在，虚拟内容(如兔子712)可以使用微分渲染与所估计的真实世界光照一起渲染并与由背对相机709所捕获的图像711结合，从而产生表征真实桌子和虚拟兔子的一致光照的增强图像714，例如虚拟兔子上的加亮区715和阴影716以及由虚拟几何形状投射在真实桌子708上的阴影717。

图8示出了具有如参考图7所描述的示例性场景的根据本发明的实施例的流程图，其中，用户正在显示屏上体验增强的真实场景，该显示屏示出了用户前方的包括桌子811的结合有虚拟内容(如虚拟兔子812)的真实场景的图像810。用户的面部的图像801由用户面对相机捕获。在步骤HPE 802(头部姿态估计器)中，基于图像801来确定头部姿态。基于面部的图像801和根据步骤802所确定的姿态，在步骤FIE 803(面部光照估计器)中确定来自真实场景内的光源的面部入射光。此外，例如同时，使用背对相机来捕获真实场景的图像804。在步骤PE 805(姿态估计器)中确定场景内的相机姿态。在两个相机的相机坐标系被彼此记录的假设下，在步骤IT 806(光照变换)中，基于来自步骤PE805的场景内的实际姿态估计，将所重构的光照的表示分别变换到背对相机的坐标系中或者变换到世界坐标系中。基于根据步骤PE 805所确定的姿态，记录虚拟几何形状(步骤807)。基于所捕获的图像804、所记录的几何形状(807)、根据步骤IT 806估计的变换光照以及代理几何形状定义808(PGD)，其中该代理几何形状定义代替受到增加虚拟内容影响的真实世界场景的3D几何形状和材料部分，步骤DR 809(微分渲染)中的微分渲染过程生成具有真实对象811和虚拟对象812的一致光照的增强图像810，该增强图像包括一致底纹(shading)，如加亮区813和附属阴影814以及阴影投射(cast)815。

图9示出了根据本发明的实施例，其中，用户面对相机901拍摄显示背景环境前方的用户903的图像902。具体地说，配备有广角透镜(如鱼眼透镜)的相机是优选的，以便捕获宽视场。在步骤SP 904(分割过程，例如基于深度信息)中将图像902分割为显示用户的用户部分905和显示背景环境的背景部分906。图像的用户部分的与面部对应的区域907用于估计入射在用户的面部909上的来自用户903前方的方向的覆盖范围908的面部入射光。对于两个光源910和911，估计来自两个方向912、913的面部入射光。

图像的示出了环境的部分906被用作直接捕获来自大部分在用户后面的方向914的特定覆盖范围的入射光。在图像中确定具有主要光强度的两个主方向916、917。与用户915后面的光源918对应的一个方向916是可见的，如同源于窗口920，与用户915上方的光源919对应的一个方向917是可见的，如同源于月亮921。

在步骤CIE 922(合并光照估计)中，来自背景环境图像部分906的直射光捕获的关于光方向912、913、916、917的估计信息和来自用户面部部分905的估计光照的合并引起以更大的方向覆盖范围923在用户的位置924处更加完整的真实光照的表示。用于来自上面方向912和917的光的光估计存在于用户部分905中以及存在于环境部分906中，并且例如通过平均或者采用更可靠的估计被合并成更实用的估计926。从环境部分906获取来自用户后面的光925，而从用户部分905获取用户前方的光927。

图10示出了根据本发明的可能的实施例，其中，各自利用转动的设备的多个测量值被整合到光估计1035中。场景1001、1002、1003示出了在不同时间点的从上方所见的场景。用户1004、1005、1006随后各自转身，保持用户面对相机1007、1008、1009在其面部的前方。两个光源1010、1011照亮包括用户1004、1005、1006的面部1012、1013、1014的场景。在每个时间点，面部1012、1013、1014的图像通过相机1007、1008、1009拍摄。在步骤FIE 1015、1016、1017(面部光照估计器)中，根据每个图像估计用于在用户1004、1005、1006前方的方向的覆盖范围1018、1019、1020的面部入射光。所估计的“光照1”1021包括对应于来自光源1010的光线的主要入射光方向1022的估计。不能估计来自光源1011的方向的光线，因为它被远远设置在用户1004后面并且因此几乎对用户1004的面部1012没有影响。所估计的“光照2”1023包括对应于来自光源1010的光线的主要入射光方向1024的估计。也估计与来自光源1011的光线对应的第二主要入射光方向1025。所估计的“光照3”1026包括对应于来自光源1011的光的主要入射光方向1027的估计。不能估计来自光源1010的方向的光，因为它被远远设置在用户1006后面并且因此几乎对用户1006的面部1014的外观没有影响。

利用图像的捕获，在步骤PE 1028、1029、1030(姿态估计器)中确定相对于环境的相应的相机姿态，从而分别产生所确定的“姿态1”1031、“姿态2”1032以及“姿态3”1033。姿态确定例如可以基于惯性传感器、罗盘、基于图像的关于用户面对相机的背景的跟踪，或者使用附加的背对相机。该结果是用户的面部1012、1013、1014的图像的捕获顺序，这些图像示出了不同旋转下的照亮的面部、对应的所确定的姿态1031、1032、1033和所估计的光照1021、1023、1026。在步骤CIE 1034(合并光照估计器)中，基于特定的确定姿态1031、1032、1033将所估计的入射方向真实世界照明情况(光照)1021、1023、1026的不同的重叠部分1018、1019、1020合并到组合光估计中。所产生的组合估计1035给出对于真实世界照明条件更实用和完整的估计并且包括用于所有光方向(包括从与光源1010、1011对应的方向1036、1037入射的光)的估计。

图11示出了根据本发明的可能的实施例，其中，在不同位置处的多个测量值被整合到光估计中。用户1101首先位于位置1102处。用户面对相机1103捕获用户的面部1104的图像，根据该图像来估计关于来自用户1101前方的方向的覆盖范围1105的光相对于位置1102的信息。确定两个方向1106和1107的入射光。然后，用户1109移动(由运动1108描绘)到第二位置1110(右图)。在这里，使用用户面对相机1112再次拍摄运动的用户1109的面部1111的图像。根据该图像，估计关于来自用户1109前方的方向的覆盖范围1113的光相对于位置1110的信息。确定两个方向1114和1115的入射光。

假定两个姿态1102和1110之间的差异(运动1108)被确定(例如，基于惯性传感器或者基于图像的对用户面对相机的背景的跟踪，或者使用附加的背对相机)，可以经由背面投射的光方向的三角测量来提取关于与所确定的入射光的方向对应的光源的3D信息。根据所确定的光方向1107和光方向1115的方向信息，光源1116的3D位置在对应的背面投射线1117和1118的交点处从位置1102和1110再现到方向1107和1115中。从位置1102和1110到方向1106和1114的用于所确定的光方向1106和光方向1114的方向信息的对应的背面投射线1119和1120是平行的并且因此在无穷远处相交。对应的光源被假定为无穷远。例如通过取平均值以得到更实用的估计，仍可以合并用于方向1106、1114的两个估计。

图12示出了具有如参考图11所描述的示例性场景的根据本发明实施例的流程图，其中，将关于不同位置处的入射光的多个估计合并以提取关于光的位置信息。在位置A1201处，在步骤IC 1202中捕获用户的面部的图像A 1203(图像捕获)，以及通过PE步骤1205来确定步骤1202内所使用的相机的对应姿态A 1205(姿态估计)。该步骤例如可以基于惯性传感器、或者基于图像的关于用户面对相机的背景的跟踪、或者使用附加的背对相机。根据图像A 1203和姿态A 1205，通过FIE步骤1206估计关于在位置A处的入射光的方向信息1207(面部光照估计器)。

用户然后与相机一起移动到新位置B 1208。在位置B 1208处，在步骤IC 1209中捕获用户的面部的图像B 1210(图像捕获)以及通过PE步骤1211确定在步骤1209内所使用的相机相对于姿态A 1205的对应姿态B 1212(姿态估计)。该步骤例如可以基于惯性传感器、或者基于图像的关于用户面对相机的背景的跟踪、或者使用附加的背对相机。根据图像B1210和姿态B 1212，通过FIE步骤1213来估计关于在位置B处的入射光的方向信息1214(面部光照估计器)。

在CIE步骤1215(组合光估计)内，合并测量值1203、1210和方向估计1207、1214以及对应的所确定的姿态1205、1212，并且提取关于场景内的光的位置信息1216。

图13示出了根据本发明实施例的用于在真实环境的视图中表示虚拟对象的实施例的流程图。在下文中，当涉及根据图7的实施例的配置时，相应的步骤可以类似地应用于根据图5的实施例的配置，并且反之亦然。

步骤1301提供由第一相机捕获的人脸(具体地说，用户的面部)的第一图像。该面部可以是在第一相机捕获第一图像时正观看显示在显示装置上的视觉内容的用户的面部。第一相机可以被固定至配备有显示装置的移动装置(例如，如图5和7所示，分别固定至移动装置500或者700)。对于如图5或者图7所示的实例，第一相机可以是相机506或者705，并且显示装置可以是屏幕502或者702。屏幕502、702的法线和相机506、705的光轴相应地可以具有相同方向。可以通过相机506、705将用户501、701的面部503、703捕获在图像508、707(即第一图像)中。

步骤1302确定第一图像中的面部区域。该面部区域包括第一图像中的面部的至少部分。面部区域可以包括第一图像中的面部的图像区域或者面部的多个分离的图像区域。根据各种方法，例如根据基于机器学习的面部识别(如参考文献[8]所述)、基于模型的记录(如参考文献[7]所述)、模板匹配和/或特征匹配等，可以自动地确定面部区域。也可以手动地确定面部区域。也可以通过使用深度图像或者红外图像自动地确定面部区域。深度图像或者红外图像可以通过深度相机或者红外相机捕获。面部区域检测可以根据深度相机(或者红外相机)和第一相机之间的已知或者固定关系。面部区域检测也可以根据深度图像(或者红外图像)和第一图像之间的匹配。

真实环境的至少部分的视图可以通过第一相机(步骤1303)或者通过与第一相机具有已知空间关系的第二相机(步骤1304)捕获。真实环境的至少部分的视图可以被捕获在第一图像中或者通过第一相机被捕获在不同于第一图像的图像中。在图5中示出的实例中，由相机506(相当于第一相机)捕获的图像508(相当于第一图像)提供真实环境的至少部分的视图。在这种情况下，用户501的面部503是真实环境的一部分。在图7中示出的实例中，第二相机709(相当于第二相机)将真实环境的至少部分捕获在图像711中。在这种情况下，桌子708是真实环境的一部分。要注意的是，真实环境的至少部分的视图也可以由眼睛捕获，眼睛是在光学透视式AR应用中的常规设备。

步骤1305提供至少一个人脸具体特性。人脸具体特性例如可以是特定的面部区域中的学习或者模拟的平均肤色，其可用于在第一图像中所捕获的光照下从对应区域的平均颜色中确定平均的光颜色。

另一人脸具体特性可以是在不同的面部区域处的平均表面方向，其可用于确定从哪个方向多少光量是在第一图像中所捕获的光照下来自对应区域的强度的差。

另一人脸具体特性可以是鼻部区域和几何形状，其可以与在第一图像中所捕获的光照下的对应鼻部区域中的阴影轮廓检测一起用于检测由鼻子投射的阴影并根据阴影轮廓/位置来确定主光方向。

另一人脸具体特性可以是在特定面部区域处由另一面部区域产生的遥远环境(和由此的入射光)的遮蔽，其也可用于确定从哪个方向多少光量是在第一图像中所捕获的光照下来自对应区域的强度差。

另一人脸具体特性可以是面部的反射特性，确定在不同面部区域处漫射、光滑、镜面反射和/或次表面散射(子表面散射)的量，该反射特性可用于克服限制以呈现简单朗伯(lambertian)反射模型。

另一人脸具体特性可以是在眼睛中或者额头上的反射，其可用于确定入射到面部上的光。

另一人脸具体特性可以是用于特定面部区域(如面部的基础图像)或者在基础光照(球谐函数基础(Spherical Harmonics basis)或者点光)下的面部区域的一些预模型化(premodeled)辐射传输，其可用于得到更好的线性拟合组合，从而产生用于入射光的估计。

人脸具体特性例如可以是在光估计中使用的特定面部区域的适合等级。例如，这可以模拟特定面部区域处不同人之间的几何形状和材料方面的变化量或者由光照造成的特定面部区域的干涉。如果变化较少，则该区域更适合于光估计。

上述人脸具体特性可以单独地或者以任何数量且组合地使用，以实现本发明的目的。

步骤1306根据所确定的第一图像的面部区域和至少一个或多个人脸具体特性来确定落到面部上的至少一个第一光。落到面部上的光也称作面部入射光。具有至少一个人脸具体特性，可以确定至少一个第一光的至少一个特性(也参见本文中下面的“面部具体特性”)。至少一个第一光的一个或多个特性包括但不限于强度、波长以及方向中的至少一个。以下公开了确定面部入射光的不同实施例。

在一个实施例中，当第一相机捕获第一图像时，可以根据面部的第一图像和面部相对于第一相机的姿态来确定面部入射光(例如，至少一个第一光)。在另一实施例中，可以根据与第一图像的面部区域关联的深度信息来确定面部入射光(例如至少一个第一光)。深度相机可用于减少对通过普通3D面部几何形状模型的近似的需要。可以根据关于特定用户的面部的深度信息来确定几何形状定义和由此的表面方向和遮蔽。人脸具体特性中的至少一个也可以与深度信息一起用于估计至少一个第一光，如以上所公开的。

在另一实施例中，可以根据面部光照的统计模型来确定面部入射光(例如至少一个第一光)。可以基于在不同的已知光照下的人脸的多个图像和姿态或者面部的3D模型来生成统计模型。例如，参考文献[12]提出了基于面部的多个3D模型生成面部光照的统计模型的方法。

在另一实施例中，可以根据在图像(即面部的多个图像)中所捕获的面部光照来确定面部入射光(例如至少一个第一光)，其在本文中在“基于面部的训练图像的光估计(Light Estimation based on training images of faces)”部分中公开。

具有根据步骤1306所确定的至少一个第一光，可以执行步骤1319。步骤1319根据至少一个第一光在显示装置上在真实环境的至少部分的视图中调和虚拟对象。在图5和图7所示出的实例中，显示装置分别是显示屏502和702。

例如，在图5中，真实环境的至少部分的视图可以被捕获在图像508(即第一图像)中。虚拟眼镜504被调和入图像508中，这产生在显示屏502上所示出的合成图像509。根据至少一个第一光来确定虚拟眼镜504的一致底纹510以及由虚拟眼镜504投射在真实面部上的阴影511。在这个实例中，真实环境的至少部分的视图可以通过第一相机被捕获在不同于图像508的图像中。在图4中示出了确定一致底纹510和阴影511的实施例的数据流程图。

在图7所示的另一实例中，真实环境的至少部分的视图可以通过相机709(即第二相机)被捕获在图像711中。至少一个第一光在相机705(即第一相机)的坐标系中根据图像707(即第一图像)被确定并且可以根据两个相机之间的空间关系变换到相机709的坐标系。然后，至少一个第一光可以直接被应用，以在图像711中调和虚拟对象712，以生成表征真实桌子和虚拟兔子的一致光照的图像714，例如虚拟兔子上的加亮区715和阴影716以及由虚拟几何形状投射在真实桌子708上的阴影717。

可选的是，执行步骤1307-1309和/或步骤1310-1312和/或步骤1314-1318，以便将进一步估计或者确定的环境光集成到至少一个第一光中。

步骤1307确定第一图像中的非面部区域。非面部区域是第一图像中的并未包括面部的图像区域的至少部分。例如，非面部区域是图9中示出了背景环境的背景部分906，而第一图像是图像902。在该实例中，非面部区域也可以不包括属于用户905的身体。可以基于步骤1302所确定的面部区域来确定非面部区域。也可以根据与第一图像或者3D面部模型关联的深度信息来确定非面部区域。

步骤1308根据非面部区域来确定至少一个第二光。至少一个第二光的确定不同于至少一个第一光的确定。用户后面的背景对应于环境，使得图像直接包括关于来自用户后面的环境的光的信息。与根据面部的光估计相比，其中从面部反射的光(在图像中可见)用于估计最初什么光入射在面部上，在这里，所测量的每一像素的强度可以被用作来自与像素对应的方向的入射光，如参考文献[3]中。

步骤1309将所确定的至少一个第二光的至少部分集成到所确定的至少一个第一光中。可以以不同的方式来进行将多个估计集成为一个。当不同估计给出相同数量的估计时，集成的一种方式例如是根据用于特定数量的每个估计的可靠性对不同估计采取加权平均值。其它集成方法可以基于最大似然估计、非正常值检测和/或聚类分析。如果不同估计提供用于不同数量的估计，例如在不同位置处的两个光估计，则该信息仍可以被集成。参见例如图11，其中通过找到背面投射线1117、1118的交点1116来集成用于从方向1107到位置1102的光的估计和用于从方向1115到位置1110的光的估计。在这里，合并两个估计以再现关于光的3D信息。

图9描绘了如上所述的关于步骤1307-1309的实施例。

根据非面部区域的至少一个第二光也可以已经被合并到来自面部区域的第一光的光估计步骤中。参见例如图9，其中，来自方向917的光被捕获在与月亮921相对应的非面部区域906中。这个已经捕获的光可以作为基于面部区域905的光估计步骤的附加输入被给出。

步骤1310提供通过与第一相机具有已知空间关系的第二相机所捕获的真实环境的至少部分的第二图像。例如，如图7所示，第二相机可以是相机709，而第一相机可以是相机705。在该实施例中，两个相机都附接至具有显示屏702的移动装置(例如平板计算机或者智能电话)并且具有彼此固定和已知的空间关系。第二相机可以捕获桌子708(即，真实环境的至少部分)的图像711(即，第二图像)。

步骤1311根据第二图像来确定至少一个第三光。从真实环境的至少部分反射并且捕获在第二图像中的光可以被确定为至少一个第三光的至少部分。例如，从桌子708反射并且捕获在图像711中的光可以被确定为至少一个第三光的至少部分。从一个或多个发光对象(例如太阳、灯等)直接发出的光也可以被确定为至少一个第三光的至少部分，对此可以应用步骤1307的相同实施例。

步骤1312根据空间关系将至少一个第三光的至少部分集成到至少一个第一光中(与步骤1309类似)。

步骤1314提供由第一相机捕获的面部的第三图像。步骤1315根据第三图像确定至少一个第四光。至少一个第四光可以与确定至少一个第一光的实施例中的一个类似地确定。步骤1316在第一相机分别捕获第一图像和第三图像时确定第一相机相对于面部的第一姿态和第三姿态。

步骤1317确定第一相机在真实环境的坐标系中捕获第一图像和第三图像之间的运动。可以根据跟踪系统，例如使用GPS、惯性传感器、相机等中的一个或多个，来确定第一相机的运动。例如，第二相机可以被固定至第一相机并且捕获真实环境的图像。可以根据真实环境的图像来确定第二相机的运动。所确定的第二相机的运动可用于确定第一相机在真实环境的坐标系中捕获第一图像和第三图像之间的运动。

可以根据第一图像和第三图像来确定第一相机的运动。具体地说，第一图像和第三图像可以捕获真实环境的至少部分，因此可以根据第一图像和第三图像中的所捕获的真实环境的至少部分来估计该运动。

步骤1318根据运动、第一姿态和第三姿态将至少一个第四光的至少部分集成到至少一个第一光中(与步骤1309类似)。

图10和11描绘了关于如上所述的步骤1314-1318的相应实例。

根据本发明的各方面，光照例如可以通过逆向照明(inverse lighting)并考虑光在表面外观上的不同影响(的组合)根据面部的图像来估计，所述影响如漫射底纹、皮肤和眼睛上的镜面和光滑的反射、面部的不同部分之间的相互反射、次表面散射以及投射阴影。例如可以在用于低频照明的球谐函数系数(球谐系数，spherical harmonicscoefficient)、用于高频照明的小波基础、用于局部光的主要方向和点光源、或者像面光源、冯·米塞斯-费舍尔分布的混合或者重构环境映射的其它表示方面估计和表示该光照。

可以使用参考文献[2]中提出的微分渲染方法与用于计算两个近似全局光照方案的适当方法一起进行具有包含真实内容和虚拟内容的混合场景的一致光照的渲染，其中使用例如阴影映射、即时辐射(参见例如参考文献[11])、射线追踪、光子映射(参见例如参考文献[15])、反射式阴影映射、光子扩散、球谐照明、预计算辐射传输等。

本发明的可能的实施例包括与用户面对深度相机的组合，这使得根据用户面部的外观的光照估计能够依赖于关于实际的面部模型几何形状的更准确的信息。这允许提取更多细节并且提高或者依赖于来自基本标准面部模型的统计数值或者拟合和扭曲某一普通面部模型的需要。深度相机的另一好处是在非常暗或者非常亮(或者强烈变化)的场景内进行面部检测和姿态估计，其中，标准的低动态范围相机很可能无法检测面部和估计姿态。

本发明的另一可能的实施例包括视频顺序的使用。一方面，可以维持动态变化的光照情形。这意味着，当光照在视频顺序的运行期间改变时，可以估计新的光照情况(因为它不是独立的预处理并且用户的面部总是可见的)。另一方面，在不变的照明条件的情况下，可以集成来自多个帧(图像数据组)的信息以用于更好的估计。可以在不同的头部姿态下随着时间变化来跟踪面部。假设在一定时间段上具有相同光照，则来自多个帧的关于光照的信息(其中当头部姿态改变时阴影和底纹变化)可以被合并以捕获更多细节(有或者没有深度相机)。观察多个帧允许更实用的估计、在反射的镜面/光滑和漫射部分之间的区别、以及更高频率的光照的恢复。

不同类型的运动可以区分如下：

对于两类运动，用户具有相对于用户面对相机的固定姿态。第一类型是围绕用户的向上轴线的旋转，这通过将多个测量值集成到一个实用的方向光估计中(参见例如图10)允许用户周围的照明条件的更完整的(就估计光方向而言)估计。根据面部的图像，可以估计入射在面部上的光的某一覆盖范围(就方向而言)。通过利用转动设备拍摄多个图像并且从而进行光的多次测量，通过合并不同估计(参见图10中的实例)可以估计入射在面部上的光的更完整的覆盖范围(就方向而言)。另外，为了得到更完整的覆盖范围，可以(例如通过在不同估计上对每一方向所估计的强度取平均值)合并对于一个方向的多个估计，从而产生更实用的估计。

第二类型的运动是用户与用户面对相机一起平移。在两个不同的位置处估计方向照明条件。根据该两个测量值，通过将来自该估计的原点的光线相交到光源的方向可以提取光源的第三维度(参见例如图11和图12)。

第三类型的运动是面部在用户面对相机前方的运动。不同的头部姿态给出相同光照的多次测量值并且从而可以产生更实用的估计。例如，由鼻子投射的阴影在不同的头部姿态之间移动。

也可以以组合的方式使用不同类型的运动。

为了合并多个帧，应该跟踪相对于与真实环境关联的真实环境坐标系的头部姿态，以区分用户面对相机的运动和头部的运动。这可以在双相机设备中通过背对相机跟踪固定世界坐标系或者通过以下实施例来实现。

本发明的可能的实施例在仅仅跟踪用户面部以便将来自多个图像的信息集成到一个光估计时考虑来自倾斜/陀螺仪传感器和/或罗盘的方向和/或运动。

实例：当用户面对移动装置(例如智能电话)并且由此在周围移动或者倾斜相机时，头部的运动和相机的运动应该被区分开，以便将多个测量值集成到常规的“世界坐标系”中并且使用它们一起来估计光照。

本发明的可能的实施例包括使用附加有源光(拍照光/闪光或可以是来自屏幕的光)来人工地照亮用户的面部，以便克服反照率估计的限制。图像强度/颜色不仅仅取决于落到面部上的光量，而且还取决于特定皮肤的肤色/反射特性。通过利用增加的合成拍照光和不具有其的光来拍摄图像，两个图像之间的差异是仅仅由合成光照亮的面部。如果我们知道这个光的强度/光颜色，我们可以减去关于像漫反射系数的表面反射的信息。

本发明的可能的实施例包括与用户面对热红外相机的组合，这可以有助于检测面部和估计在相机前方的姿态(例如，对于暗或者感光过度(或者强烈变化的)场景)。热红外相机的图像还可以用于区分皮肤区域和毛发区域，以便滤去包含毛发的区域，因为它们损害皮肤漫反射系数的假设，并且皮肤区域因此被优选用于光估计。

本发明的可能的实施例包括用户面对彩色相机与偏光器的组合，使得可以分离表面反射的散射分量和镜面分量，这允许更好的光照估计。

本发明的可能的实施例包括存取用于用户面对相机的原始图像数据，以能够在线性强度下工作。为了估计来自反射的光强度，该观测值应该是线性形式的，其是光强度和图像光照之间的线性度。不同的因素将光强度变换为非线性形式，如相机响应曲线、色调映射、伽玛变换。

本发明的可能的实施例包括使用高动态范围成像装置用于用户面对相机，以能够捕获全动态范围的强度以及线性形式的表示强度。低动态图像具有过曝光和欠曝光的区域，其中不再给出光强度和图像光照之间的线性度。

本发明的可能的实施例包括使用环境光传感器来得到光照的色彩的强度的绝对标尺。

与用户面对鱼眼相机的组合：

本发明的可能的实施例包括使用广角(鱼眼)透镜用于用户面对相机(参见例如图9)。当根据用户的面部的外观来估计光照时，很少有关于来自用户后面的方向的光的提示，因为这个光对面部的外观仅仅具有微弱的影响，因此难以估计。当用户面对相机具有宽视场时，它也可以用于直接捕获来自用户后面的光照。图像的示出了用户面部的部分可用于估计主要来自用户前面的光，而图像的示出了背景的部分可以被用作对于这些特定方向的光捕获。通过合并来自两个源的信息，可以恢复更完整、更实用的光照估计。

根据用户面对相机和背对相机的光照估计的组合：

本发明的可能的实施例包括示出了用户面部的用户面对图像和示出了真实场景的背对相机的组合，并且组合地使用两个(RGB或者RGB-D)图像用于根据所捕获的图像估计该光照。

一个相机的视频图像仅包含面对该相机的表面方向。因此，在视频图像中，表面方向的大致一半的变化(正面远离相机的那些)是不可见的。因此，根据取决于表面方向的光效应(如底纹或者反射)可以估计仅仅部分的光照。使用场景上的背对相机与面对用户面部的正对相机一起捕获图像中的更大范围的表面变化/方向。合并来自正面相机和背对相机的两个视频图像的信息用于光估计允许得到更实用和完整的关于光方向的估计。另外，它不仅通过估计关于光源的(2D)方向信息而且还通过经由三角测量合并来自场景的不同部分的方向光估计的(3D)位置信息来减少在两个相机图像内所估计的光源的远场景假设。

考虑作为不同类型光源的光照类型(室内/户外)进行估计：

本发明的可能的实施例包括考虑光照的类型(作为实例，区分室内和户外)，用于使用不同算法和光源表示的类型来估计该光照。例如，户外日光照明可以被模拟为天窗的平滑半球面光源加上用于太阳的强的“或多或少”方向光源，并且有利于不同的估计过程和与估计包括窗口前面或者局部人工光源的室内光相比的光源表示。

不同的参数/光源表示应该被估计，并且不同的算法应该被用于该估计(例如，投射阴影vs底纹)。

或者可以由使用情况指定表示和算法，或者可以设法根据在所捕获的图像中检测到的特征或者通过使用例如光照的第一估计、来自环境光传感器的光温度或GPS接收强度来推断哪种光类型/环境是合适的。GPS接收不是室内的提示。测量光温度的环境光传感器可以用来了解光源的类型，其中人造光介于大约1700K(开尔文)到4800K范围之间，来自太阳和天空(除日出和日落之外)的自然光介于4300K到30000K范围之间。因此，可以根据光的温度来区分室内(或者人造光)和户外(自然光)。而且，相机图像中的可见天空可用于确定该场景被设置在户外。此外，从鼻子到面部上的投射阴影可以指示强方向光(其可以是太阳)。与紧挨着阴影区的明亮区的颜色相比，阴影区的颜色可用于推断所遮蔽光源的颜色。这个颜色可用作光源类型的提示(例如如果该颜色与日光相称)。

考虑由测量装置(例如智能电话)引入的光扩展/阴影投射：

本发明的可能的实施例可以考虑由捕获装置和/或移动装置(例如智能电话屏幕)引入的光以及在所捕获的图像中(或者也通常在场景中)由捕获装置和/或移动装置投射的阴影。通常，用于捕获和显示的装置可能影响场景中的光照。该影响可以被考虑并尝试或者从光估计中消除或者被明确地模拟。

基于面部的训练图像的光估计：

根据本发明的实施例的方法可以基于监控机器学习方法。我们可以使用在已知的一个或多个不同光照(即一个或多个面部入射光是已知的)下由一个或多个相机捕获的一个或多个面部的多个训练图像，以学习或者生成一个或多个辐射传输函数(以下解释)，例如在离线训练处理中用于面部上的一个或多个不同采样位置(即面部采样位置)。一个或多个不同采样位置中的每一个与辐射传输函数关联。在与面部关联的坐标系中根据人脸具体特性中的至少一个手动地和/或自动地预定义一个或多个不同采样位置。

用于一个面部采样位置的辐射传输函数描述与该面部采样位置关联的辐射比率的输出和光方向参数的输入之间的关系。辐射比率被定义为在反射光在面部采样位置处的辐射(例如强度)和来自环境的入射光的辐射(例如强度)之间。光参数包括入射光的方向。光参数可以进一步包括反射光在面部采样位置处的方向。当已知图像中的面部的姿态时，反射光在面部采样位置处的方向可以不包含在辐射传输函数中。

面部入射光可以被模拟为球谐函数-在单元球表面的域上的标准正交基函数，并且通过包含球谐函数基函数(spherical harmonics basis function)的对应系数的矢量来指定。一个或多个辐射传输函数中的每一个可以由包含球谐函数基函数的对应系数的矢量指定。

对于一个面部采样位置，一个图像(任何训练图像或者任何看不见的图像)中的反射光强度(在面部采样位置的图像位置处编码在像素强度中)可以被定义为关联辐射传输函数和与图像有关的面部入射光的乘积上的积分。这个积分变成表示每个函数的系数向量的简单点积。在训练图像中，已知反射光强度和面部入射光，因此可以估计用于面部采样位置的辐射传输函数。每个图像将提供用于辐射传输函数的方程式。可以通过解方程组来估计该辐射传输函数。

对于任何新的先前看不见的面部图像(看不见的图像未包括在多个训练图像内，例如基于面部区域的用于环境光的输入图像)，我们可以首先对输入图像执行面部姿态检测，以在面部的输入图像中确定在训练阶段定义的一个或多个采样位置的至少部分。

根据与一个或多个采样位置的至少部分关联的辐射传输函数，输入图像中的一个或多个采样位置的至少部分的强度可用于确定环境光(即面部入射光)。在训练过程中估计辐射传输函数。

面部不会发射(可见)光，而是反射入射在面部上的光。光被假定为来源于与局部对象(例如面部)的尺寸相比距离较远的环境。因此，对于局部场景中的位置的范围，可以忽略关于来自远距离环境的入射光的视差效应，并且可以仅仅根据方向来定义来自环境的光。

在这里，辐射传输函数指定面部的特定表面点关于在这个点朝着相机反射的辐射方面如何对来自环境的特定方向的入射光作出响应。辐射传输函数主要取决于在该位置处的表面方向和远距离环境的部分在表面位置处由局部几何形状引起的遮蔽，并且还包括材料性质和局部几何形状之间的光相互反射。在对于每个人补偿漫反射系数后，我们假定对于面部中的特定位置在所有不同的人身上可以使用相同的辐射传输函数。例如在通过图像中的眼睛位置定义的坐标系内指定面部中的特定位置。现在，我们将本身局限于正面头部姿态。

对于面部上的特定面部采样位置，辐射传输函数具有固定的离去反射方向并且对于来自环境的入射光的方向仅仅具有2D参数的一个变量。它模拟反射光强度与从特定方向来自环境的光强度的比率。

更经常地，真实环境不仅包括光起源于的单个方向，而且还包括光强度在所有方向范围内的整体密集分布。由多个入射光方向引起的组合反射光是对于每个入射光方向的反射光强度的总和。对于方向的连续范围，该总和变为对于来自所有方向的入射光的反射光上的积分(也指定为单元球)。被积函数(integrand)是辐射传输函数和来自特定方向的入射光强度的乘积。

用于远距离光照的估计的实施例包括离线学习阶段和实时光估计。在学习阶段中，我们使用在不同的已知的方向光照下的一组面部图像(参见参考文献[14]，Yale面部数据库B+扩展Yale面部数据库B)。根据面部在光照下的图像，我们在采样位置处提取像素强度(其对在对应表面位置处朝着相机的反射光进行编码)，这些采样位置是在这个特定点处的辐射传输函数和远距离光照的乘积的积分的示例。我们在单元球表面的域上使用球谐-标准正交基函数来模拟辐射传输函数以及来自远距离环境的入射光。然后可以通过球谐基函数的对应系数来指定特定的辐射传输函数和特定的远距离光照。在辐射传输函数和特定的远距离光照的乘积上的积分变为表示每个函数的系数向量的简单点积。

考虑图像中的特定表面点，从每个图像中，我们得到面部中的位置的未知辐射传输函数和已知像素强度及对应的已知光照之间的方程式。从该组图像和因此捕获的采样(像素强度)中，我们可以建立一方程组并且可以计算用于辐射传输函数的系数的最小二乘解。离线阶段产生用于面部中的几个位置的再现辐射传输函数(在球谐函数系数中所指定的每一个)。

在在线阶段中，我们接收面部的图像作为输入且想要估计未知光照。通过执行面部检测，我们首先确定坐标系和由此在图像中的采样位置。基于面部中的用于位置的再现辐射传输函数，我们然后可以根据球谐函数系数估计光照，该球谐函数系数是在未知的远距离光照和已知的像素强度与相应的已知辐射传输函数之间的不同采样位置的方程组上的另一最小二乘方最小化的结果。

来自场景的辐射(即光强度)可以投射到相机的图像/传感器平面上，从而产生入射在传感器上的图像辐照度。特定的相机电子设备的相机响应功能确定图像辐照度如何被映射到所测量的像素强度值。

辐射校准可以确定从像素强度到图像辐照度的逆映射，使得可以再次给予像素强度关于入射光强度的物理含义。对于利用光的强度来计算的许多算法，这个是预处理步骤。

在下文中，描述可以与如上所述的本发明的任何方面和实施例结合应用的根据本发明的进一步方面和实施例。

采样位置的选择(训练阶段-适用性)：

以下实施例可以用于区分通常很适合估计众多人体上的光照的人脸上的良好采样位置和很不适合估计众多人的光照的人脸上的不良采样位置。一旦基于在不同的已知光照下不同人的面部的多个图像在训练阶段内或者在训练阶段结束时离线，例如使用用于训练辐射传输函数的面部的多个图像的数据集，产生了良好和不良采样位置之间的区别。这种所产生的区别于是可以有助于在光估计期间减少采样位置的数量并且引起光估计方法的加速以及估计光照的实用化。例如，仅仅良好的采样位置可以用于估计光照。在另一实例中，不良的采样位置可以得到比用于估计光照的良好采样位置更低的权重。

在一个实施例中，首先选择在面部的区域上均匀分布的采样位置。

在一个实施例中，通过以下中的至少一个首先选择在面部的区域上均匀分布的采样位置。

·手动指定坐标，

·泊松圆盘采样，

·弛豫，

·均匀网格，

·等级-1点阵，

·准随机低差异序列，

·它们的组合。

在一个实施例中，确定首先选择的均匀分布的采样位置的子集，这些采样位置特别适合于在不同的已知光照下基于不同人的面部的图像用于多个人的光估计，例如该数据集也用于训练。

在一个实施例中，该组采样位置的学习RTF(辐射传输函数)-可能包括由RTF学习阶段引起的不确定性结果-用于确定采样位置是否非常适合用于光估计。

当采样位置具有包括在至少一个基函数中的强效应(高绝对系数值)(例如某一百分位(percentile)以上的绝对系数值)的学习RTF时，该采样位置例如可以认为非常适合。

当采样位置具有包括对于特定一组基函数的强效应(高绝对系数值)(例如某一百分位以上的绝对合并系数值)的学习RTF时，该采样位置例如可以认为非常适合。

当RTF确定仅仅随着面部上的采样位置的邻域附近内的位置而稍微变化时，该采样位置例如可以认为非常适合。

在一个实施例中，采样位置的强度值对于不同人和不同光照的变化用于确定采样位置是否非常适合于光估计。

当在不同光方向上每人的强度变化(对于人的漫反射系数可能正确)较高时，采样位置可以认为非常适合，意味着强度值携带关于光照的信息。

当在不同人上每个光方向的强度变化(对于人的漫反射系数可能正确)较低时，采样位置可以认为非常适合，意味着强度值携带关于特定人的较少信息。

采样位置可以通过取多个适用性等级的中值被认为非常适合。

采样位置可以通过合并多个适用性等级，例如通过单个适用性等级组合为在单个适用性等级上的多项式的加权总和，被认为是非常适合。

采样位置可以通过设置关于适用性等级值的临界值被认为非常适合。

采样位置可以通过合并多个适用性等级，例如通过布尔级联，被认为非常合适。

采样位置的选择(光估计阶段-异常值检测)：

给出的方法使用包括来自众多人的面部的图像的数据集来学习辐射传输函数，以便之后根据一个特定人的面部的图像来估计光照。下列实施例可以用于区分非常适合于估计光照的那些采样位置和不是很适合估计光照的那些采样位置之间的特定人的面部。这例如利用学习辐射传输函数鉴别对于特定人的面部不一致的采样位置，例如因为特定人具有覆盖采样位置的区域的斑点、文身、胡须或者刘海。这个区别可以有助于强化估计的光照。以下实施例阐明这种区别。

当根据特定人的图像估计光照时，某些采样位置可以与学习RTF相比在强度方面表现不一致。

在一个实施例中，与学习RTF相比在强度方面对于特定人表现不一致的采样位置被鉴别并且从光估计中排除。

在一个实施例中，通过基于估计的光照和采样位置的相应的RTF首先确定在采样位置处的预期强度值然后计算与真实强度值相比的差/余量(对于人的漫反射系数可能正确)来计算采样位置的不一致性。

在一个实施例中，通过估计光照的球谐函数系数向量和RTF在采样位置处的相应的球谐函数系数向量(对于人的漫反射系数可能正确)的点积来确定基于估计光照和采样位置的相应的RTF的采样位置处的预期强度值。

在一个实施例中，具有某一临界值以上的不一致性等级的采样位置被列为异常值并从光估计中除去。

在一个实施例中，通过除去方程组中的相应列从光估计中除去采样位置。

在一个实施例中，通过将方程组中的相应列设置为0从光估计中除去采样位置。

在一个实施例中，具有某一临界值以上的不一致性等级的采样位置被列为异常值并且例如通过将方程组中的相应列与权重相乘得到光估计中的低权重。

在一个实施例中，基于该组采样位置的不一致性等级的分布来确定临界值。

在一个实施例中，该临界值被确定为第三个四分位数加上该组采样位置的不一致性等级分布的四分位差的n(例如3)倍。

在一个实施例中，该临界值被确定为该组采样位置的不一致性等级的分布的百分位。

多个测量值：

给出的方法根据面部的单个图像估计光照。如果面部的多个图像是可获得的，则这个附加的知识可以用于通过采用来自所有图像的附加信息生成更实用的、时间平滑前进或者更完整的光照的估计。以下实施例阐明来自多个图像的信息的这种合并。

在一个实施例中，多个先后执行的光估计被合并成单个光估计。

在一个实施例中，多个先后执行的光估计通过在不同的光估计上取加权总和而被合并成单个光估计。

在一个实施例中，基于流逝的时间来确定光估计的权重，因为为光估计贡献强度值的图像被拍摄。

在一个实施例中，基于与当前姿态相比对应于为光估计贡献强度值的图像的姿态的差别，来确定光估计的权重。

在一个实施例中，在取加权总和之前，光估计首先被转换到公用坐标系中。

在一个实施例中，来自多个先后捕获的图像的强度值被合并成一个单个光估计。

在一个实施例中，来自多个先后捕获的图像的强度值通过建立和求解在采样位置的强度值和相应RTF之间的合并方程组被合并成一个单个光估计。

在一个实施例中，来自不同图像的相应RTF基于对应于为光估计贡献强度值的每个图像的姿态被转换到公用坐标系中。

在一个实施例中，多个图像被用于估计光照，对应于RTF的球谐函数系数基于相机的姿态和贡献强度值的特定的图像的面部的姿态中的至少一个通过球谐旋转(SphericalHarmonics Rotation)被转换到公用坐标系中，并且每个图像可能将每一采样位置的一个列增加到RTF、光照和强度值之间的方程组。

限制求解器：

给出的方法通过找到较好地解释具有相应先前学习的辐射传输函数的一组强度观测值的特定光照来估计该光照。这可以在数学上被公式化为最小化问题，其可以通过最小二乘法来求解。

在数学上，无约束解的结果还可以包括物理上不是似乎有理的解，像用于某些光方向的负光强度。因此，它可以有益于将约束(像仅仅正强度)放置在可能的解空间上，从而例如将该解强制为物理上似乎有理的。以下实施例阐明解空间的这种约束。

在一个实施例中，用于估计光照的解空间不受约束。

在一个实施例中，用于估计光照的解由最小二乘求解器找到。

在一个实施例中，用于估计光照的解空间被限制。

在一个实施例中，用于估计光照的解空间被严格地约束，意味着约束空间以外的解是不可能的。在这种情况下，仅仅允许值是指严格执行值。

在一个实施例中，用于估计光照的解空间被微弱地约束，意味着约束空间以外的解更低等、更不可能。在这种情况下，仅仅允许值是指优选这些值。

在一个实施例中，用于估计光照的解空间通过仅仅允许用于某一组光方向的某一值以上的光强度被约束。

在一个实施例中，用于估计光照的解空间通过仅仅允许用于某一组光方向的在某一值以上/以下和/或处的光强度被约束。

在一个实施例中，这组光方向包括均匀分布的方向。

在一个实施例中，这组光方向包括全范围的方向。

在一个实施例中，这组光方向包括对应于来自用户后面的光的方向。

在一个实施例中，某一值取决于先前估计的光强度。

在一个实施例中，某一值取决于先前估计的光分布的球谐函数系数。

在一个实施例中，某一值取决于图像强度。

在一个实施例中，某一值取决于用户在位置处的图像的图像强度，所述位置被认为是在用户的面部/轮廓周围的背景区域。

在一个实施例中，某一值是0作为下限，这仅仅允许位置光强度。

在一个实施例中，某一值是低于0作为下限，这允许负光强度的某一量。

在一个实施例中，某一值是-0.14作为下限。

在一个实施例中，约束解空间通过由附加约束增强方程组来模拟。

原始方程组：

其中，|J|是采样的数量，是基函数系数矢量形式的用于采样位置j的学习RTF，是待被估计的用于光照的基函数系数矢量，以及是用于采样位置j的强度值(可能由漫反射系统和伽马补偿)。

附加约束将来自不受拘束的最小二乘问题的问题变换为具有约束的二次规划问题。

满足

其中Q＝T^T·T,c^T＝i·T,以及A∈R^M×N,b∈R^M

其中是层叠学习的RTF，i是层叠强度的矢量，N是基函数的维度，M是约束的数目，A和b利用以下来模拟约束：

这个方程组/非等式中的每一列模拟一个约束。矩阵A指定一个特定限制的方向。对于下边界，该行的列值被设置为用于特定的方向的不同基函数的估算。b的相应列指定约束值。为了模拟上边界，A的相应列和限制值必须被求负。

在一个实施例中，基函数是球谐函数基函数。

在一个实施例中，具有附加约束的二次规划问题通过Goldfarb-Idnani有效设置双重方法来求解。

在一个实施例中，具有附加约束的二次规划问题通过使用拉格朗日乘数来求解。

此外，以下方面和实施例可以连同如上所述的本发明的各方面和实施例一起采用。

真实对象和环境：

真实环境(或者真实世界)可以是室内场景或者户外场景。例如，真实环境可以是室内办公室或者户外街道。真实环境还可以是或者包括真实对象，例如沙发、汽车、人、人的面部、树和/或建筑物。真实环境的至少部分可以是真实环境的一部分和/或位于真实环境中的至少一个真实对象。真实环境或者真实对象是对于解剖结构的眼睛或者光学成像装置在视觉上可察觉的信息。例如，真实环境或者真实对象可以发射或者反射可以通过人眼或者相机捕获的可见光。真实环境或者真实对象也可以发射或者反射不能通过人眼捕获但可以通过相机捕获的不可见光。例如，真实环境或者真实对象可以是红外图形并且可以由红外相机捕获。

虚拟对象：

虚拟对象是任何计算机生成的对于解剖结构的眼睛或者光学成像装置在视觉上可察觉的信息。虚拟对象可以显示在显示装置上。虚拟对象例如可以是文字、图形、图像、由计算机生成或者通过相机捕获的对象、符号图形、或者它们的组合。

相机：

可以利用任何提供图像的相机来应用和实施本发明。它不局限于提供RGB格式的彩色图像的相机。它也可应用于任何其他颜色格式，并且也可应用于单色图像，例如，应用于提供灰度级格式或者YUV格式的图像的相机。如本文中所使用的相机可以进一步提供具有深度数据的图像。该深度数据不需要以与(彩色/灰度级)图像相同的分辨率被提供。提供具有深度数据的图像的相机常常称作深度相机。深度相机系统可以是飞行时间(TOF)相机系统或者无源立体相机或者基于结构光的有源立体相机。本发明也可以使用光场相机，该光场相机可以从多个不同视点捕获图像并且可选地对于不同视点具有不同焦点。

如本文中公开的相机是测量光的强度并将测量值转换为称为图像的数字表示的装置。通过捕获图像，相机采集在特定的时间范围来自特定的方向范围的位于特定的位置范围的辐射量的测量值。通过相机的非固有和固有参数来确定从所捕获的位置和方向范围到数字表示的特定部分的映射。对于具有简化针孔的标准相机模型或者鱼眼相机模型，测量仅仅通过单个点(即针孔)落下的光。图像中的捕获范围因此可以由与入射光的方向对应的二维空间来指定。因此，存在从图像的2D阵列表示内的“像素位置”到入射光方向的连续映射。光场相机不限于捕获仅仅通过单个点落下的光，而且还测量在不同位置处入射的多个光强度。图像中的捕获范围从而不再可以通过二维空间中的连续映射来指定。在本公开内容中，术语相机可以指代如上所述的任何数码相机。

相机也可以通过虚拟相机模拟。虚拟相机通过一组参数定义并且可以生成虚拟对象或者场景的图像，其是合成图像。虚拟相机的关键参数可以是其姿态，即相对于虚拟对象或者场景的3D平移和3D方向。虚拟相机可以将3D空间中的对象映射到2D空间上。例如，虚拟相机可以将3D对象映射到2D图像平面上。虚拟相机的映射可以是针孔相机模型，并且在这种情况下，相机的固有参数包括焦距和像主点(principal point)。虚拟相机也可以使用鱼眼相机模型或者模拟任意的光学装置。虚拟相机的常规实施使用OpenGL光栅化管路、射线投射或者射线跟踪。通常，虚拟相机通过在真实相机使真实对象成像时发生的捕获过程的近似生成(可能3D)虚拟对象的视图(即二维图像)。在增强现实中，相机的固有和非固有参数通常被选定为或者与真实相机相一致，或者使得它们与增强现实系统的设备对应。

相机通常具有光轴和图像平面，借此，当光轴指向真实环境的方向时，通过计算机视觉系统给出的场景的图像被形成在图像平面中。光轴的方向指向真实环境。通常，光轴垂直于图像平面。

图像：

图像是描绘或者记录可视信息或者感知的任何数据。图像可以是二维图像。图像也可以是深度图像。图像可以是真实图像或者合成图像。真实图像可以通过相机捕获。例如，RGB相机可以将感兴趣的对象或者感兴趣对象的一部分捕获在一个真实的RGB图像中。合成图像可以通过计算机自动地或者通过人手动地生成。例如，计算机渲染程序(例如基于openGL)可以生成感兴趣的对象或者感兴趣对象的一部分的合成图像。可以根据立体投影(当它由相机捕获时)来生成合成图像。可以根据正交投影来生成合成图像。

深度图像是具有相应的深度映射的2D图像。深度图像不需要以与任何2D(彩色/灰度级)图像相同的分辨率被提供。深度图像也可以被称作3D图像。人脸的多个图像可以通过使用一个或多个真实相机捕获一个或多个真实面部来被捕获。人脸的多个图像也可以通过将面部的一个或多个3D模型在计算机中渲染来生成。

在本公开内容中，描述的是，可以提供或者接收一个或多个图像。例如，图像可以通过相机来捕获并且被提供给例如包括在移动装置(例如智能电话或者平板计算机)中和/或服务器计算机中的处理系统。当提供或者接收图像时，本文中应该理解的是，例如以有线方式或者无线地提供或者接收与图像关联的对应图像信息(或者数据)。本领域技术人员已知的是，这可以包括提供或者接收图像、图像的部分和/或图像特征的任何经处理或者未经处理的信息(数据)，这允许特征识别和/或姿态估计。本发明不需要提供或者接收任何原始图像数据。处理从而包括例如压缩、加密、到另一彩色空间或者灰度级的转换等。所有这些图像处理方法可以可选地被执行，并且应该由图像信息或者图像的数据的术语包含。

光：

光可以是一种或多种电磁辐射，其可以例如通过光电池或者电荷耦合器件(CCD)以及例如通过人眼的视网膜中的专用单元来测量。光是对于环境的视觉感知的基本输入。光可以是对人眼可见的或者不可见的。例如，红外光对于人眼是不可见的。

光的主要特性是频率/波长(其对应于处于大约400纳米到700纳米范围内的可见光和像位于可见光谱以下或者以上的红外或者紫外的不可见光的颜色)、传播方向以及强度。光是电磁辐射并且作为辐射能量通过空间传播。沿着射线行进的光量可以被测量作为辐射。可以由真实环境中的辐射对象(例如，太阳、灯泡等)发射或者在真实环境(例如，面部、墙壁、天空、月亮)的至少部分的表面处反射或者折射的光也称作环境光。任何辐射对象和真实环境的至少部分的表面可以被认为是光源。

在本公开内容中，光(例如至少一个第一光、至少一个第二光、至少一个第三光和/或至少一个第四光)可以表示一个或多个光线。一个或多个光线中的每一个可以具有方向、强度和/或颜色(波长)。光线可以是从不同光源发射或者反射的一个或多个电磁辐射的组合。空间内的光分布可以被描述为光场，其是确定沿着多个方向通过空间中的多个点行进的光量的函数。波长的全光谱可以被近似用于考虑仅仅三个主要颜色(红色、绿色和蓝色)的人的视觉，该三个主要颜色与人眼对色彩感觉负责的光感受器层中的不同类型的锥体对应。当排除荧光时，辐射确实不会在表面相互作用处改变波长。于是，对于彩色图像和逆渲染，每个颜色通道可以分别视为用于估计该特定波长的光的强度的灰度级图像。对于特定的波长，5D全视函数沿着3D位置和2D方向定义的射线返回辐射率(radiance)。

逆渲染根据对象的图像和关于对象的相应表面模型的知识来估计落到对象上的入射光(例如包括一个或多个光线)。因此，常常考虑来自远距离环境的入射光。这意味着该光源被认为远离局部照亮设置并显示场景部分，使得关于入射光的视差效应对于局部场景的这个考虑范围内的位置可以被忽略。从远距离场景入射的光于是仅仅取决于方向，而不取决于位置。仅仅取决于方向的来自远距离场景的入射光的这个2D函数(每一波长一个函数)在本文中被称为入射光的方向分布。逆渲染中的常规方法是找到对于给定图像的入射光最有理和可能的方向分布。要注意的是，落到表面上的有效光量仍然受局部场景内的遮蔽和相互反射的影响。从远距离环境入射的光对于局部对象的表面点仍然可以由局部对象的另一部分遮蔽或者从局部对象的局部表面点反射到另一个局部表面点上。根据逆渲染的特定实施，考虑或不考虑这些相互反射和屏蔽效应。

入射光的模型例如可以是仅仅环境光(一个标量值(每一波长))、一个方向光(2D方向)、一个方向光(2D方向+强度/每波长)或者返回来自每个方向(环境映射、球谐函数表示、小波)的入射光量的函数。根据所使用的入射光的模型，方向分布的估计可以从简单估计标量值，即在所有方向上的平均辐射，变化到估计大部分光强度所来自的主方向(＝两个值/角度)，最后到在可能的方向和在中间的许多其它变化的整个范围上的辐射(～强度)的连续估计。

根据可获得的捕获工具链的校正和关于捕获对象的材料特性(例如人脸的面部具体特性)的知识，估计可以或者是辐射率的绝对值或者是相对值。相对强度例如可以是相对于一个特定方向的参考值(例如，来自左边的光量是来自上面的光量的两倍)或者相对于一个特定波长的参考值(例如入射红光量是入射蓝光量的两倍)。另外，对于多个波长(或者红、绿、蓝)的单独估计是可能的。不同估计之间的等级可以仅仅通过附加知识(例如关于捕获对象的材料性质的信息)来确定。

来自图像的光估计可以受益于捕获工具链和捕获图像的相机的辐射校准。需要辐射校准以便估计光的绝对值。另外，相机参数(相机响应曲线、曝光度、白平衡、对比度、颜色强度、色调映射等)影响或者扭曲这些估计。要注意的是，也可能需要这个，因为它自动地将相机影响合并到估计的环境光中，使得虚拟对象呈现出与相机图像一致(例如像相机图像也过度曝光)。

光源表示：

根据光特性，可以使用不同的光源表示。光的颜色对应于每波长的强度，并且从而可以由用于每波长强度(例如一个用于红光、一个用于绿光、一个用于蓝光)的一个或多个标量值表示。环境光(其通常指定全景内的恒定光强度)可以由每波长的一个或多个标量值表示(例如三个值，一个用于红光、一个用于绿光、一个用于蓝光)。方向光源可以由用于方向的两个角度的2D矢量表示(该方向常常也由3D单位矢量表示)。为了也表示用于这个方向光源的强度，该表示可以由每波长的标量值扩展。

未定位的面光源相当于连续范围的方向光源。方向的范围可以或者由球面几何学定义(2D网格)、平均方向和扩展、角度间距定义，或者在单元方向的域(例如2D图像)上的某些离散化来定义。

在全光谱的方向上(在单位球面上定义)具有变化强度的方向光源可以由每波长的标量值函数表示，该函数从单元球面的域映射到来自这个方向的光强度。例如可以使用球谐函数(和系数)、在球面上的小波(和系数)、冯·米塞斯-费舍尔分布的混合(多个模式、平均方向和强度参数)或者像例如环境映射的具有到单元球面的映射的离散2D图像表示来指定这些函数。

点光源可以由与位置对应的3D矢量表示。点光源通常将光平均地发射到所有方向。因此，为了也表示用于这个点光源的强度，该表示可以由每波长的标量值扩展。

聚光点光源可以由与原点对应的3D矢量、与主光方向(光方向锥体的轴线)对应的方向(2D或者3D单位矢量)以及锥体的开口角来表示。可以增加具体说明与方向有关的辐射行为的另外的参数(例如从主光方向到开口角处的方向的强度的线性下降)。

局部化面光源可以由场景内的3D几何形状(三角网格、类属对象定义(像球面)或者像例如NURBS的一些其它表面表示)和说明与方向有关的辐射行为的附加参数来定义。

点光源、聚光点光源和局部化面光源是局部光源，意思是指光源的有效强度取决于光源的位置和表面点的位置。到表面点上的强度取决于距离。光源对于表面点可见的方向还取决于表面点的位置。

通常，任何局部化光源可以由一组3D位置来表示，该组3D位置指定每个光发射的原点，在与方向有关的强度方面具有相关辐射行为(类似于在全光谱方向上具有变化强度的方向光源)。

光强度可以指定为例如辐射率的绝对值或者相对值。相对强度例如可以相对于特定方向的参考值(例如，来自左边的光量是来自上面的光量的两倍)或者相对于特定波长的参考值(例如红光的量是蓝光的量的两倍)。

人脸和人脸具体特性：

如在本文中公开的人脸具体特性可以包括但不限于以下中的至少一个：普通3D面部模型、面部的至少部分的几何形状、面部的至少部分的材料特性、面部的至少部分的颜色、面部的至少部分的辐射传输特性、以及面部的至少部分的反射特性。

在对象的特定区域处朝着相机反射的光量表现为图像中的像素的强度。这个量取决于最初由光源发射的光以及取决于通过场景中的对象如何分配光。分配光的方式取决于不同因素，如表面方向和材料性质以及取决于由几何形状引起的光路的遮蔽。

逆照明(即来自图像的光估计)常常依赖于可见对象的已知几何形状和材料性质。根据光强度(图像)的若干测量值与已知的下层几何形状(和由此的已知表面方向和遮蔽)和材料性质一起，可以确定引起所测量的反射强度的入射光照的最可能版本。下层几何形状越是多层面的，越是可以再现更多的光照特征。对于任意场景，几何形状和材料可以是任意不相称的。对于不相称的几何形状的实例例如是简单平面，其中不存在表面方向的变化。

面部几何形状另一方面适于光估计，该光估计覆盖表面方向的可能可见的半球体的几乎完全致密的范围，而且包括像鼻子的不同区域(引起入射光方向的遮蔽的改变)。可以由普通3D面部模型获得面部几何形状。

对于任意未知的场景，可以首先确定几何形状和材料。虽然现在可以在空中确定几何形状，但是它仍然常常依赖于像深度或者立体相机的专用硬件。面部几何形状另一方面具有有限范围的变化，使得可以使用预定义的模型。这些模型或者可以直接使用，或者进一步适配为基于图像(3D形变模型)更好地拟合。因此，通常不需要获取面部的几何形状的专用硬件。

另外，这些模型可以已经包括具体用于面部(如材料性质或者遮蔽)的光估计的所有必要信息。通常，可以已经预先计算整体光传输(指定来自特定方向的多少入射光被朝着相机有效地反射回来)。例如，在各种照明条件下的面部的一组图像可以通过低维线性子空间(例如通过面部在球谐基础照明(Spherical Harmonics Basis Lighting)下的9个基础图像的线性组合)来近似。这些图像可以被预先计算并且用于估计面部的捕获图像的线性组合的最佳系数，从而产生照明的球谐函数表示的估计，如参考文献[12]中所示出的。

在没有任何附加假设的情况下，在未知照明情况下在空中从一个图像获取材料性质是相当困难的并且通常几乎不可能，例如因为存在光和材料之间的模糊性。显示绿色球面的图像例如可以使用具有白光的绿色球面或者具有绿光的白色球面来生成。当在表面上材料性质变化很多时，在空中获取材料性质更加困难。常常，假设均匀的材料性能，这对于任意对象可能是任意不适当的。

对于人脸，可以预先限制人脸具体特性(例如，材料性质、颜色、在特定位置处的表面方向等)的范围。因此，代替用于面部具体特性的一个要素(像漫反射系数的平均值或者反射函数，可以模拟用于面部具体特性的一组要素(例如，有限的范围或者子空间)，并且用于特定面部的对应要素可以被优化用于光估计/与光估计结合。例如，可以预定义(手动地或者自动地提取)一组“漫反射系数”或者“反射函数”。根据面部具体特性的一组预定义的不同要素，可以挑选(自动地或者手动地选择)最佳拟合要素。

例如斑点、文身、胡须、毛发、几何偏差的不适于该模型的特定面部的面部区域可以被检测为不一致性并且从光估计中排除。

为了使用特定面部的图像来确定环境光，可以基于面部区域的特定部分的特性内的不一致性从该估计中排除面部区域的至少部分。可以或者基于为特定面部区域(例如，无粗糙对比度)模拟的特性或者基于面部区域的特定部分如何更好地适合于所估计的环境光来检测不一致性。例如，来自面部图像的不满足肤色假设的部分(例如，因为斑点、文身、胡须、毛发)可以被检测且不用于光估计。可以检查不同特征之间的一致性，并且从估计中除去异常值。

另外，可以预先鉴别(预学习)均匀材料性质的区域并且可以排除不适合估计光照的区域(例如眉毛)。而且，肤色包括RGB色空间的所有三个主色度(红色、绿色以及蓝色)(其相当于它反射入射光的所有三个主色度)的事实使其很适合估计光(包括颜色)。

绿色球面相比之下会例如仅仅反射光的绿色部分，使得红光完全不被反射。对于人的皮肤不存在这种问题。然而，每波长反射的不同权重在不同的肤色之间变化。例如可以使用参考文献[9]中所提出的方法来估计不同类型的漫反射系数。皮肤不表现为完全散射材料，而是包括某些光泽反射。附加的眼睛显示出镜面反射(参见参考文献[10])。这个和例如由鼻子投射的阴影允许再现与例如完全漫射球面相比而言更高频率的入射光变化。

人脸的另一好处是面部的更透彻和稳定的跟踪以及头部姿态估计。在面部在大体上静态场景内是移动部分的情况下，应该分离场景和面部之间的运动，以便将多个测量值和光估计合并在一起。在用户的面部在用户面对相机前方的情况下，即使当用户正移动穿过场景时，废除用于光估计的与用户一起移动的额外几何形状的附加成果。与根据任意的直观几何形状估计(这在用户移动时随着时间而改变)相比，面部在整个增强过程中可能是可获得和非常适合的。

无论何时在本文中涉及“面部”或者面部的任何部分或者区域，应当理解的是，这应该指代人脸，具体地说分别是用户的面部和面部的任何区域或者部分。

模型：

模型可以描述对象的几何形状或者一组对象的类属几何形状。对象的2D模型可以描述对象的至少部分的2D几何形状。对象的3D模型可以描述对象的至少部分的3D几何形状。该对象可以是真实对象或者虚拟对象。类属2D或者3D模型可以描述一组对象的类属2D或者3D几何形状。例如，3D模型对于对象可以是特定的。3D模型对于对象可以不是特定的，而是可以描述一组类似对象的类属几何形状。类似对象可以属于相同类型并且共享某些通用特性。例如，不同人的面部属于具有眼睛、嘴巴、耳朵、鼻子等的相同类型。不同型号或者来自不同品牌的汽车属于具有四个轮胎、至少两个门以及前窗玻璃等的相同对象类型。

类属3D面部模型可以不与任何真实存在的单个面部相同，但是它可以与现有的单个面部类似。例如，3D模型的面部的轮廓可以不精确地匹配现有单个面部的轮廓，但是它们都是月食的形状。可以根据面部的多个3D模型来确定类属3D面部模型，如同参考文献[16]所描述的。也可以已经进一步处理面部模型，例如包括具有面部具体特性的至少一个的平均值和方差的主成分分析。

几何形状是指对象的一个或多个属性，包括但不限于形状、形式、表面、对称性、几何尺寸、维度和/或结构。真实对象或者虚拟对象的模型可以由CAD模型、多边模型、点云、体积数据集和/或边界模型表示，或者使用任何其它表示。模型可以进一步描述对象的材料。对象的材料可以由模型中的纹理和/或颜色表示，并且例如可以表示模型的反射或者辐射传输特性。对象的模型可以使用用于对象的不同部分的不同表示。

几何形状的至少部分可以由至少一个坐标(离散表示)或者通过2D或者3D坐标系中的至少一个数学公式(连续表示)在数学上表示。例如，圆或者球面可以由一组点或者由2D或者3D坐标系中的方程式表示。2D形状的圆可以在2D或者3D空间中定义。3D几何形状的球面可以在2D空间中定义作为球面(即3D形状)在2D空间上的投影。

3D模型例如可以进一步被表示为包括3D顶点和由这些顶点跨越的多边形面和/或边缘的模型。该模型的边缘和面也可以被表示为样条或者NURBS表面。3D模型可以附有描述其纹理和材料的位图文件，其中，多边形模型中的每个顶点具有描述在位图纹理中存储用于该顶点的材料的纹理坐标。3D模型还可以由例如利用激光扫描器所捕获的一组3D点表示。这些点可能携带关于它们的颜色、强度的附加信息和/或与特定点有关的任何其它附加信息。

变换和姿态：

变换描述两个对象之间或者两个坐标系之间的空间关系，即指定对象或者坐标系如何按照平移、和/或旋转和/或缩放相对于其它对象或者其它坐标系定位在2D或者3D空间中。变换可以是刚性变换或者还可以是相似变换。刚性变换包括平移和/或旋转。两个对象之间的空间关系描述两个对象之间的刚性变换。相机相对于坐标系或者相对于另一对象的姿态或者对象相对于坐标系或者相对于另一对象的姿态是刚性变换。相机的运动描述在公用坐标系中一个位置处的相机和另一位置处的相机之间的空间关系或者刚性变换。

真实环境的视图：

真实环境或者真实环境的一部分的视图可以通过相机或者通过眼睛捕获。例如，该视图可以通过用户的眼睛作为视觉印象被捕获，或者通过用户佩戴或者附接在用户握持的装置上的相机作为一个或多个图像被获取。人眼和相机具有相同的成像数学模型，即针孔投影模型。该视图至少表示2D成像信息。视图定义视场。存在不同的硬件设备，其可以用于通过在显示装置上将空间记录的虚拟对象融合(调和)在视图中来加强用户在真实对象或者环境上的视图。正如在引言中更详尽地描述的，实例包括用于光学透视式AR、视频透视式AR以及投射式AR的设备。

显示装置(AR设备)：

存在将至少一个虚拟对象结合到真实环境的视图中的不同设备或者装置。一个实例是将光学透视式装置放置在用户的眼睛和真实对象之间。真实对象然后可以通过光学透视式装置的这个半透明的屏幕来直接观察，而虚拟对象被计算机生成并且显示在半透明的屏幕上。该配置被称为光学透视式AR。在这种情况下，用户的眼睛将是取景器，并且半透明的屏幕是显示装置。

还可以使用包括相机和反射式或者发射式屏幕(例如LCD、LED、OLED或者E墨水)的视频透视式装置来执行虚拟对象和真实对象(或者环境)的视觉集成。在该配置中，相机捕获真实对象或者环境的图像，然后在显示装置上显示所捕获的叠加有空间记录的计算机生成的虚拟对象的图像。这个配置称为视频透视式AR。在这种情况下，相机将是取景器，并且反射式或者发射式屏幕是显示装置。

另一方法是使用可见光投影仪来投射空间记录在真实对象或者真实环境上的计算机生成的虚拟对象。用户于是在不需要注视或者通过任何物理显示器的情况下直接观察真实对象和所投射的虚拟对象。在投射式AR的这种情况下，投影仪是取景器，并且投影表面的至少部分(例如虚拟对象所投射的真实对象的表面)是显示装置。

显示装置的至少部分可以是平面(例如，显示表面)并且可以具有与平面部分关联的法线方向。通常，该法线方向垂直于平面部分。法线方向通常从显示装置指向在显示装置前方观察在显示装置的至少部分上显示的视觉信息的用户。

尽管在本文中参考某些部件描述了各种实施例，当实施这些实施例中的任一个时，也可以使用如本文中所描述或者对本领域技术人员很显然的部件的任何其它配置。如本文中所描述的装置或者部件中的任一个可以是或者可以包括用于执行如本文中所描述的任务中的某些或更多任务的相应的处理装置(未明确地示出)，例如微处理器。处理任务中的一个或多个可以由部件中的一个或多个或者它们的处理装置(其例如通过相应的点对点通信或者经由网络(例如经由服务器计算机)彼此通信)来处理。

参考文献：

1.Gruber,Lukas,Thomas Richter-Trummer,and Dieter Schmalstieg."Real-time photometric registration from arbitrary geometry."Mixed and AugmentedReality(ISMAR),2012IEEE International Symposium on.IEEE,2012.

2.P.Debevec.Rendering synthetic objects into real scenes:bridgingtraditional and image-based graphics with global illumination and highdynamic range photography.In Proceedings of the 25th annual conference onComputer graphics and interactive techniques,SIGGRAPH’98,pages 189–198,NewYork,NY,USA,1998.ACM.

3.Sato,I.,Sato,Y.,and Ikeuchi,K.Acquiring a radiance distribution tosuperimpose virtual objects onto a real scene.IEEE Transactions onVisualization and Computer Graphics 5,1(January-March 1999),

4.Lee,Kuang-Chih,Jeffrey Ho,and David J.Kriegman."Acquiring linearsubspaces for face recognition under variable lighting."Pattern Analysis andMachine Intelligence,IEEE Transactions on 27.5(2005):684-698.

5.Georghiades,Athinodoros S.,Peter N.Belhumeur,and David J.Kriegman."From few to many:Illumination cone models for face recognition under variablelighting and pose."Pattern Analysis and Machine Intelligence,IEEETransactions on 23.6(2001):643-660.

6.Wang,Yang,et al."Face relighting from a single image underarbitrary unknown lighting conditions."Pattern Analysis and MachineIntelligence,IEEE Transactions on 31.11(2009):1968-1984.

7.Yang,Ruigang,and Zhengyou Zhang."Model-based head pose trackingwith stereovision."Automatic Face and Gesture Recognition,2002.Proceedings.Fifth IEEE International Conference on.IEEE,2002.

8.Fanelli,Gabriele,Juergen Gall,and Luc Van Gool."Real time head poseestimation with random regression forests."Computer Vision and PatternRecognition(CVPR),2011 IEEE Conference on.IEEE,2011.

9.Suh,Sungho,Minsik Lee,and Chong-Ho Choi."Robust Albedo EstimationFrom a Facial Image With Cast Shadow Under General Unknown Lighting."ImageProcessing,IEEE Transactions on 22.1(2013):391-401.

10.Nishino,Ko,Peter N.Belhumeur,and Shree K.Nayar."Using eyereflections for face recognition under varying illumination."Computer Vision,2005.ICCV 2005.Tenth IEEE International Conference on.Vol.1.IEEE,2005.

11.Knecht,Martin,et al."Differential instant radiosity for mixedreality."Mixed and Augmented Reality(ISMAR),2010 9th IEEE InternationalSymposium on.IEEE,2010.

12.Zhang,Lei,and Dimitris Samaras."Face recognition under variablelighting using harmonic image exemplars."Computer Vision and PatternRecognition,2003.Proceedings.2003 IEEE Computer Society Conferenceon.Vol.1.IEEE,2003.

13.Miika Aittala.“Inverse lighting and photorealistic rendering foraugmented reality”.The visual computer,26(6-8):669-678,2010.

14.Georghiades,Athinodoros S.,Peter N.Belhumeur,and David Kriegman."From few to many:Illumination cone models for face recognition under variablelighting and pose."Pattern Analysis and Machine Intelligence,IEEETransactions on 23.6(2001):643-660.

15.Kán,Peter,and Hannes Kaufmann."High-quality reflections,refractions,and caustics in aug-mented reality and their contribution tovisual coherence."Mixed and Augmented Reality(ISMAR),2012 IEEE InternationalSymposium on.IEEE,2012.

16.Blanz,Volker,and Thomas Vetter."A morphable model for thesynthesis of 3D faces."Proceedings of the 26th annual conference on Computergraphics and interactive techniques.ACM Press/Addison-Wesley Publishing Co.,1999。

Claims (20)

1.一种在真实环境的视图中表示虚拟对象的方法，包括：

获得由第一相机捕获的真实环境中的人脸的至少一部分的图像；

确定所述图像中人脸的所述至少一部分的与一个或多个面部采样位置对应的图像位置；

根据与图像中的图像位置对应的面部采样位置相关联的强度信息，确定第一光的至少一个特征；以及

根据所述第一光的所述至少一个特征生成虚拟对象。

2.根据权利要求1所述的方法，其中所述一个或多个面部采样位置中的每个面部采样位置与针对一个或多个光方向的入射光和反射光的辐射率相关联。

3.根据权利要求1所述的方法，其中所述第一光的所述至少一个特征包括所述第一光的方向。

4.根据权利要求1所述的方法，其中所述第一光的所述至少一个特征包括所述第一光的波长。

5.根据权利要求1所述的方法，其中生成所述虚拟对象包括根据所述第一光的所述至少一个特征照亮所述虚拟对象的至少一部分。

6.根据权利要求1所述的方法，其中确定第一光的所述至少一个特征包括：

获得与所述图像的包括所述人脸的区域有关的深度信息；以及

根据与所述图像的包括所述人脸的所述区域有关的所述深度信息来确定所述第一光的所述至少一个特征。

7.根据权利要求1所述的方法，还包括：

将所述图像中的非面部图像区域的至少一部分确定为背景区域；

根据所述背景区域确定至少一个第二光；以及

进一步根据第二光来生成所述虚拟对象。

8.一种计算机可读介质，所述计算机可读介质包括用于在真实环境的视图中表示虚拟对象的计算机可读代码，所述计算机可读代码能够由一个或多个处理器执行以：

获得由第一相机捕获的真实环境中的人脸的至少一部分的图像；

确定所述图像中人脸的所述至少一部分的与一个或多个面部采样位置对应的图像位置；

根据与图像中的图像位置对应的面部采样位置相关联的强度信息，确定第一光的至少一个特征；以及

根据所述第一光的所述至少一个特征生成虚拟对象。

9.根据权利要求8所述的计算机可读介质，其中所述一个或多个面部采样位置中的每个面部采样位置与针对一个或多个光方向的入射光和反射光的辐射率相关联。

10.根据权利要求8所述的计算机可读介质，其中所述第一光的所述至少一个特征包括所述第一光的方向。

11.根据权利要求8所述的计算机可读介质，其中所述第一光的所述至少一个特征包括所述第一光的波长。

12.根据权利要求8所述的计算机可读介质，其中生成所述虚拟对象包括根据所述第一光的所述至少一个特征照亮所述虚拟对象的至少一部分。

13.根据权利要求8所述的计算机可读介质，其中用于确定第一光的所述至少一个特征的计算机可读代码包括用于执行以下操作的计算机可读代码：

获得与所述图像的包括所述人脸的区域有关的深度信息；以及

根据与所述图像的包括所述人脸的所述区域有关的所述深度信息来确定所述第一光的所述至少一个特征。

14.根据权利要求8所述的计算机可读介质，还包括用于执行以下操作的计算机可读代码：

将所述图像中的非面部图像区域的至少一部分确定为背景区域；

根据所述背景区域确定至少一个第二光；以及

进一步根据第二光来生成所述虚拟对象。

15.一种用于在真实环境的视图中表示虚拟对象的系统，包括：

相机；

一个或多个处理器；以及

存储器，所述存储器耦合到所述一个或多个处理器，并包括计算机可读指令，所述计算机可读指令能够由一个或多个处理器执行以：

获得由所述相机捕获的真实环境中的人脸的至少一部分的图像；

确定所述图像中人脸的所述至少一部分的与一个或多个面部采样位置对应的图像位置；

根据与图像中的图像位置对应的面部采样位置相关联的强度信息，确定第一光的至少一个特征；以及

根据所述第一光的所述至少一个特征生成虚拟对象。

16.根据权利要求15所述的系统，其中所述一个或多个面部采样位置中的每个面部采样位置与针对一个或多个光方向的入射光和反射光的辐射率相关联。

17.根据权利要求15所述的系统，其中所述第一光的所述至少一个特征包括所述第一光的方向。

18.根据权利要求15所述的系统，其中所述第一光的所述至少一个特征包括所述第一光的波长。

19.根据权利要求15所述的系统，其中生成所述虚拟对象包括根据所述第一光的所述至少一个特征照亮所述虚拟对象的至少一部分。

20.根据权利要求15所述的系统，其中用于确定第一光的所述至少一个特征的计算机可读代码包括用于执行以下操作的计算机可读代码：

获得与所述图像的包括所述人脸的区域有关的深度信息；以及

根据与所述图像的包括所述人脸的所述区域有关的所述深度信息来确定所述第一光的所述至少一个特征。