CN108805970A - 光照估计方法及装置 - Google Patents

Abstract

本发明提出一种光照估计方法及装置，其中，光照估计方法包括：采用模拟光照模型对三维人脸模型进行仿真光照投射，渲染得到多张二维图片；为每张所述二维图片标注对应的所述模拟光照模型的光照参数；对所述二维图片进行人脸检测，截取检测到的人脸区域，得到二维人脸图片；根据多张所述二维人脸图片的像素采样值和所述二维人脸图片标注的所述光照参数，训练得到光照估计模型。该光照估计方法及装置，降低了光照参数的获取难度和成本，且能够覆盖所有可能的光照条件，提高了光照估计模型的精确度。

Description

光照估计方法及装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种光照估计方法及装置。

背景技术

随着技术的发展，增强现实(Augmented Reality，简称AR)以其新颖炫酷的信息展现和人机交互方式吸引了越来越多的关注。AR最具商业价值的应用之一是视频和直播场景的植入式广告。例如，在现今所流行的主播视频中，通过对平面(如桌面)或立面(如墙体)的识别，在可行区域内放置特定品牌或内容的3D虚拟物体，如日用品/玩具/摆件/装饰画等。为实现逼真的虚拟物体渲染及广告植入目的，AR的关键问题之一，是对所叠加的虚拟3D物体施加逼真的光照，使其能够融入真实场景，理想情况下肉眼难以分辨真伪。而准确的光照参数估计(也称光照条件估计，以下简称光照估计)对于生成逼真的光照至关重要，对AR整体效果的影响不言而喻。

现有技术中，基于人脸探针的光照估计方法如下：利用实际拍摄的、带真实光照参数标注的正面人脸图片，采样像素作为训练样本，训练以线性方程描述的光照估计模型。

但现有技术至少存在如下缺陷：真实光照参数的获取或设置难度大，成本高，且样本数据集受成本所限，无法覆盖所有可能的光照条件，导致光照估计模型的精确度较低。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的第一个目的在于提出一种光照估计方法，以降低光照参数的获取难度和成本，且能够覆盖所有可能的光照条件，提高光照估计模型的精确度。

本发明的第二个目的在于提出一种光照估计装置。

本发明的第三个目的在于提出一种计算机设备。

本发明的第四个目的在于提出一种非临时性计算机可读存储介质。

本发明的第五个目的在于提出一种计算机程序产品。

为达上述目的，本发明第一方面实施例提出了一种光照估计方法，包括：

采用模拟光照模型对三维人脸模型进行仿真光照投射，渲染得到多张二维图片；

为每张所述二维图片标注对应的所述模拟光照模型的光照参数；

对所述二维图片进行人脸检测，截取检测到的人脸区域，得到二维人脸图片；

根据多张所述二维人脸图片的像素采样值和所述二维人脸图片标注的所述光照参数，训练得到光照估计模型。

本发明实施例的光照估计方法，采用模拟光照模型对三维人脸模型进行仿真光照投射，渲染得到多张二维图片。由于可以对模拟光照模型的光照参数进行各种可能的取值组合，渲染得到无限多张二维图片，因此当模拟光照模型足够复杂时，可以覆盖现实世界中任何可能的光照条件，提高了光照估计模型的精确度。通过仿真的方法获得无限量的真实光照参数，降低了光照参数的获取难度和成本。

为达上述目的，本发明第二方面实施例提出了一种光照估计装置，包括：

渲染模块，用于采用模拟光照模型对三维人脸模型进行仿真光照投射，渲染得到多张二维图片；

标注模块，用于为每张所述二维图片标注对应的所述模拟光照模型的光照参数；

第一截取模块，用于对所述二维图片进行人脸检测，截取检测到的人脸区域，得到二维人脸图片；

训练模块，用于根据多张所述二维人脸图片的像素采样值和所述二维人脸图片标注的所述光照参数，训练得到光照估计模型。

本发明实施例的光照估计装置，采用模拟光照模型对三维人脸模型进行仿真光照投射，渲染得到多张二维图片。由于可以对模拟光照模型的光照参数进行各种可能的取值组合，渲染得到无限多张二维图片，因此当模拟光照模型足够复杂时，可以覆盖现实世界中任何可能的光照条件，提高了光照估计模型的精确度。通过仿真的方法获得无限量的真实光照参数，降低了光照参数的获取难度和成本。

为达上述目的，本发明第三方面实施例提出了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时，实现如本发明第一方面实施例所述的光照估计方法。

为达上述目的，本发明第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明第一方面实施例所述的光照估计方法。

为达上述目的，本发明第五方面实施例提出了一种计算机程序产品，当所述计算机程序产品中的指令由处理器执行时，执行如本发明第一方面实施例所述的光照估计方法。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例所提供的一种光照估计方法的流程示意图；

图2为采用模拟光照模型对三维人脸模型进行仿真光照投射的示意图；

图3为本发明实施例的光照估计方法的原理示意图；

图4为本发明实施例所提供的另一种光照估计方法的流程示意图；

图5为基于光照估计模型进行光照参数估计的原理示意图；

图6为基于光照参数的估计结果对虚拟球体进行打光和渲染的示意图；

图7为本发明实施例所提供的一种光照估计装置的结构示意图；

图8为本发明实施例所提供的另一种光照估计装置的结构示意图；以及

图9为本发明实施例所提供的计算机设备的结构框图。

具体实施方式

下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参考附图描述本发明实施例的光照估计方法及装置。

图1为本发明实施例所提供的一种光照估计方法的流程示意图。如图1所示，该光照估计方法包括以下步骤：

S101，采用模拟光照模型对三维人脸模型进行仿真光照投射，渲染得到多张二维图片。

具体的，三维(Three Dimensions，简称3D)人脸模型可从3D游戏、互联网开源数据等资源中获取，典型格式为FBX或glTF。在实际应用中可使用人种、性别、年龄等各种特性组合产生的人脸模型，以保证良好的数据覆盖，确保生成的光照估计模型更精确，能够适用对各种类型的人脸图片的光照估计。

模拟光照模型是对现实世界中光照过程的抽象数学描述。例如，一种典型的简化模拟光照模型包括一个主要平行光源+环境光+人脸反光特性。其中，主要平行光源的参数具体可包括方向、强度和颜色，环境光的参数具体可包括强度和颜色，人脸反光特性可简化为朗伯反射(理想漫反射)等。在实际应用中，可以使用更复杂的多光源个数、多光源类型的模拟光照模型。

一组确定的光照参数即定义一个固定的模拟光照模型，即一个固定的模拟光照模型对应一组确定的光照参数。当模拟光照模型足够复杂时，能够模拟现实世界中任何可能的光照条件。在实际应用中，可以采用对坐标、角度等连续量空间采取间隔采样的方式控制采样总量。

模拟光照模型的参数编码方式可以有多种，例如，方向和位置等坐标信息可采用笛卡尔坐标系、球面坐标系、球谐函数展开(spherical harmonics expansion)等方式表达。

为保证覆盖所有可能的人脸姿态，可以采用模拟光照模型对6自由度姿态下的三维人脸模型进行仿真光照投射，确保生成的光照估计模型更精确，能够适用对各种姿态下的人脸图片的光照估计。其中，6自由度包括三维空间位置坐标和三维旋转角度。

在给定一组光照参数和三维人脸模型的6自由度姿态下，可使用WebGL、Unity、Unreal等3D渲染引擎软件对三维人脸模型进行仿真光照投射，模拟出该三维人脸模型在给定姿态下被给定光照条件照射产生的3D虚拟场景，并在给定摄影机姿态的情况下，渲染得到一张二维图片。在实际应用中，可以给定模拟光照模型的光照参数和三维人脸模型的6自由度姿态各种可能的取值组合，生成无限张二维图片。

图2为采用模拟光照模型对三维人脸模型进行仿真光照投射的示意图。如图2所示，模拟光照模型简化为单一平行光源，光源位置O(A，E)由相对于人脸质心的球面坐标(二元坐标，方位角azimuth，简称A，以及仰角elevation，简称E)定义，光源方向为从光源指向人脸质心，三维人脸模型也有一定旋转。

S102，为每张二维图片标注对应的模拟光照模型的光照参数。

具体的，在二维图片生成的过程中，由于模拟光照模型的光照参数给定，因此可以将与二维图片对应的模拟光照模型的光照参数，作为该二维图片的标注信息。对于标注好的多张二维图片，可以存储至仿真数据库中。

S103，对二维图片进行人脸检测，截取检测到的人脸区域，得到二维人脸图片。

具体的，可以采用现有的各种人脸检测方法或离线预训练好的人脸检测模型，在二维图片中检测人脸的位置，将检测到的非人脸区域裁剪掉，截取出检测到的人脸区域，得到二维人脸图片。对于截取到的多张二维人脸图片，可以存储至训练数据库中。

S104，根据多张二维人脸图片的像素采样值和二维人脸图片标注的光照参数，训练得到光照估计模型。

具体的，采用机器学习技术，从大量的标注有光照参数的二维人脸图片中学习并建立像素采样值所表达的光影模式与光照参数之间的映射关系，回归光照参数，训练得到光照估计模型。由于模拟光照模型由一至多个光照参数定义，因此，光照估计模型需支持多输出。

作为一种可行的实施方式，可采用能较好地捕捉人脸细节特征且支持多输出的卷积深度神经网络算法，训练得到光照估计模型。在实际应用中，也可以采用在其他人脸数据库上预训练得到的人脸识别神经网络模型，在本发明实施例的训练数据库上进行迁移学习(transfer learning)或微调(fine-tuning)，或使用相似架构重新训练以便利用其特征模式学习能力，从而得到光照估计模型。

作为一种可行的实施方式，在训练光照估计模型的过程中，可以通过最小化预定义的光照参数误差函数，例如采用最小二乘等形式来度量光照估计模型输出与真值之间的差距，训练得到光照估计模型。

图3为本发明实施例的光照估计方法的原理示意图，如图3所示，上述步骤S101-S104分别由渲染模块、标注模块、截取模块和训练模块执行，模拟光照模型和三维人脸模型作为渲染模块的输入，输出为渲染得到的多张二维图片。渲染模块输出的多张二维图片作为标注模块的输入，输出为标注有光照参数的多张二维图片，存储至仿真数据库中。仿真数据库中的标注有光照参数的多张二维图片作为截取模块的输入，输出为截取到的多张二维人脸图片，存储至训练数据库中。训练数据库中的标注有光照参数的多张二维人脸图片作为训练模块的输入，输出为训练好的光照估计模型。

本发明实施例的光照估计方法描述了光照估计模型的生成过程，基于本发明实施例生成的光照估计模型，可以实现对任意包含人脸的图片的光照参数的估计(即预测)，具体可参见下一实施例中的相关描述。

本实施例中，采用模拟光照模型对三维人脸模型进行仿真光照投射，渲染得到多张二维图片。由于可以对模拟光照模型的光照参数进行各种可能的取值组合，渲染得到无限多张二维图片，因此当模拟光照模型足够复杂时，可以覆盖现实世界中任何可能的光照条件，提高了光照估计模型的精确度。通过仿真的方法获得无限量的真实光照参数，降低了光照参数的获取难度和成本。

为了清楚说明上一实施例，本实施例提供了另一种光照估计方法，图4为本发明实施例所提供的另一种光照估计方法的流程示意图。如图4所示，该光照估计方法包括以下步骤：

S401，采用模拟光照模型对三维人脸模型进行仿真光照投射，渲染得到多张二维图片。

S402，为每张二维图片标注对应的模拟光照模型的光照参数。

S403，对二维图片进行人脸检测，截取检测到的人脸区域，得到二维人脸图片。

具体的，步骤S401-S403与上一实施例中的步骤S101-S103相同，此处不再赘述。

在上一实施例中的步骤S104之前，还可以包括以下步骤S404。

S404，对二维人脸图片进行预处理操作。

具体的，由于训练光照估计模型的过程中，基于二维人脸图片的数据特征具体可包括原始像素RGB信息、灰度信息、二值化信息、人脸地标(landmark，即眼镜、鼻子等器官边界的关键位置点)、肤色、皮肤反光特性、人脸6自由度姿态以及以这些特征为基础所延伸定义的特征及其组合形式等。因此，在训练光照估计模型之前，可以对二维人脸图片进行预处理操作。其中，预处理操作具体可包括但不限于以下操作中的任意一种或多种的组合：二值化、灰度化、对比度增强、旋转、镜像和平移。

S405，根据多张二维人脸图片的像素采样值和二维人脸图片标注的光照参数，训练得到光照估计模型。

具体的，步骤S405与上一实施例中的步骤S104相同，此处不再赘述。

进一步的，在步骤S405之后，还可以包括以下基于光照估计模型进行光照参数估计(即预测)的步骤S406-S407。

S406，对目标二维图片进行人脸检测，截取检测到的人脸区域，得到目标二维人脸图片。

具体的，目标二维图片即待估计光照参数的二维图片，具体可以为摄像头采集的帧图像或视频文件切分得到的帧图像等。与步骤S103的人脸检测、截取过程类似，对目标二维图片进行人脸检测，截取检测到的人脸区域，得到目标二维人脸图片，具体过程此处不再赘述。

S407，采用光照估计模型，对目标二维人脸图片的光照参数进行估计。

具体的，将目标二维人脸图片输入至步骤S405训练得到的光照估计模型中，输出即为对该目标二维人脸图片的光照参数的估计。

图5为基于光照估计模型进行光照参数估计的原理示意图，如图5所示，上述步骤S406-S407分别由截取模块和估计模块执行，目标二维图片作为截取模块的输入，输出为截取人脸区域得到的目标二维人脸图片。截取模块输出的目标二维人脸图片和训练得到的光照估计模型作为估计模块的输入，输出为对目标二维人脸图片光照参数的估计。

进一步的，若目标二维图片为视频文件切分得到的帧图像，则在步骤S407之后，还可以包括以下步骤S408。

S408，根据估计到的多张目标二维人脸图片的光照参数，进行后处理操作。

具体的，后处理操作具体可包括但不限于以下操作中的任意一种或多种的组合：计算平均值、获取中位数、使用时域滑动窗口计算移动平均值和使用卡尔曼滤波器等对估计的光照参数进行滤波，以滤除噪音得到更加鲁棒的估计。

基于光照参数的估计结果，渲染引擎可对待渲染的虚拟物体进行打光和渲染。此过程需配合对待渲染场景中平面(如桌面)或立面(如墙体)的识别、虚拟物体放置空间的估计以及对物理世界尺度的估计等，以便在合理的位置、以合适的尺寸放置虚拟物体。图6为基于光照参数的估计结果对虚拟球体进行打光和渲染的示意图，如图6所示，基于光照参数的估计结果，对虚拟球体打光，并放置于场景内的桌面的可行区域内，虚拟球体的阴影由估计的光照参数定义的模拟光照模型照射生成。

此处需要说明的是，本发明实施例的光照估计方法适用于任何有人脸存在的场景中，以人脸作为探针进行光照参数的估计。由于不涉及图片的深度信息，因此可适用于AR直播场景或已拍摄好的视频场景。

本实施例中，采用模拟光照模型对三维人脸模型进行仿真光照投射，渲染得到多张二维图片。由于可以对模拟光照模型的光照参数进行各种可能的取值组合，渲染得到无限多张二维图片，因此当模拟光照模型足够复杂时，可以覆盖现实世界中任何可能的光照条件，提高了光照估计模型的精确度。通过仿真的方法获得无限量的真实光照参数，降低了光照参数的获取难度和成本。

为了实现上述实施例，本发明还提出一种光照估计装置。图7为本发明实施例所提供的一种光照估计装置的结构示意图。如图7所示，该光照估计装置包括：渲染模块71、标注模块72、第一截取模块73和训练模块74。

渲染模块71，用于采用模拟光照模型对三维人脸模型进行仿真光照投射，渲染得到多张二维图片。

标注模块72，用于为每张二维图片标注对应的模拟光照模型的光照参数。

第一截取模块73，用于对二维图片进行人脸检测，截取检测到的人脸区域，得到二维人脸图片。

训练模块74，用于根据多张二维人脸图片的像素采样值和二维人脸图片标注的光照参数，训练得到光照估计模型。

需要说明的是，前述对光照估计方法实施例的解释说明也适用于该实施例的光照估计装置，此处不再赘述。

本实施例中，采用模拟光照模型对三维人脸模型进行仿真光照投射，渲染得到多张二维图片。由于可以对模拟光照模型的光照参数进行各种可能的取值组合，渲染得到无限多张二维图片，因此当模拟光照模型足够复杂时，可以覆盖现实世界中任何可能的光照条件，提高了光照估计模型的精确度。通过仿真的方法获得无限量的真实光照参数，降低了光照参数的获取难度和成本。

基于上述实施例，本发明实施例还提供了一种光照估计装置的可能的实现方式。图8为本发明实施例所提供的另一种光照估计装置的结构示意图。如图8所示，在上一实施例的基础上，本发明实施例的光照估计装置还可以包括：第二截取模块81和估计模块82。

第二截取模块81，用于对目标二维图片进行人脸检测，截取检测到的人脸区域，得到目标二维人脸图片。

估计模块82，用于采用光照估计模型，对目标二维人脸图片的光照参数进行估计。

进一步地，在本发明实施例的一种可能的实现方式中，渲染模块71可具体用于：采用模拟光照模型对6自由度姿态下的三维人脸模型进行仿真光照投射，6自由度包括三维空间位置坐标和三维旋转角度。

进一步地，在本发明实施例的一种可能的实现方式中，训练模块74可具体用于：通过最小化预定义的光照参数误差函数，训练得到光照估计模型。

进一步地，在本发明实施例的一种可能的实现方式中，训练模块74可具体用于：采用卷积深度神经网络算法，训练得到光照估计模型。

进一步地，在本发明实施例的一种可能的实现方式中，训练模块74还用于：在根据多张二维人脸图片的像素采样值和二维人脸图片标注的光照参数，训练得到光照估计模型之前，对二维人脸图片进行预处理操作，预处理操作包括但不限于以下操作中的任意一种或多种的组合：二值化、灰度化、对比度增强、旋转、镜像和平移。

进一步地，在本发明实施例的一种可能的实现方式中，目标二维图片为摄像头采集的帧图像或视频文件切分得到的帧图像。

进一步地，在本发明实施例的一种可能的实现方式中，若目标二维图片为视频文件切分得到的帧图像，则估计模块82还可用于：在对目标二维人脸图片的光照参数进行估计之后，根据估计到的多张目标二维人脸图片的光照参数，进行后处理操作，后处理操作包括但不限于以下操作中的任意一种或多种的组合：计算平均值、获取中位数、使用时域滑动窗口计算移动平均值和滤波。

需要说明的是，前述对光照估计方法实施例的解释说明也适用于该实施例的光照估计装置，此处不再赘述。

本实施例中，采用模拟光照模型对三维人脸模型进行仿真光照投射，渲染得到多张二维图片。由于可以对模拟光照模型的光照参数进行各种可能的取值组合，渲染得到无限多张二维图片，因此当模拟光照模型足够复杂时，可以覆盖现实世界中任何可能的光照条件，提高了光照估计模型的精确度。通过仿真的方法获得无限量的真实光照参数，降低了光照参数的获取难度和成本。

为了实现上述实施例，本发明还提出一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时，实现如上述实施例所示的光照估计方法。

为了实现上述实施例，本发明还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例所示的光照估计方法。

为了实现上述实施例，本发明还提出一种计算机程序产品，当计算机程序产品中的指令由处理器执行时，执行如上述实施例所示的光照估计方法。

图9示出了适于用来实现本申请实施方式的示例性计算机设备的框图。图9显示的计算机设备12仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图9所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture；以下简称：ISA)总线，微通道体系结构(Micro Channel Architecture；以下简称：MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation；以下简称：VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnection；以下简称：PCI)总线。

计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory；以下简称：RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图9未显示，通常称为“硬盘驱动器”)。尽管图9中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如：光盘只读存储器(Compact Disc Read OnlyMemory；以下简称：CD-ROM)、数字多功能只读光盘(Digital Video Disc Read OnlyMemory；以下简称：DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本申请各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本申请所描述的实施例中的功能和/或方法。

计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机系统/服务器12交互的设备通信，和/或与使得该计算机系统/服务器12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local AreaNetwork；以下简称：LAN)，广域网(Wide Area Network；以下简称：WAN)和/或公共网络，例如因特网)通信。如图9所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图9中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现前述实施例中提及的方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (19)

1.一种光照估计方法，其特征在于，包括以下步骤：

采用模拟光照模型对三维人脸模型进行仿真光照投射，渲染得到多张二维图片；

为每张所述二维图片标注对应的所述模拟光照模型的光照参数；

对所述二维图片进行人脸检测，截取检测到的人脸区域，得到二维人脸图片；

根据多张所述二维人脸图片的像素采样值和所述二维人脸图片标注的所述光照参数，训练得到光照估计模型。

2.根据权利要求1所述的光照估计方法，其特征在于，还包括：

对目标二维图片进行人脸检测，截取检测到的人脸区域，得到目标二维人脸图片；

采用所述光照估计模型，对所述目标二维人脸图片的光照参数进行估计。

3.根据权利要求1所述的光照估计方法，其特征在于，所述采用模拟光照模型对三维人脸模型进行仿真光照投射包括：

采用所述模拟光照模型对6自由度姿态下的所述三维人脸模型进行仿真光照投射，所述6自由度包括三维空间位置坐标和三维旋转角度。

4.根据权利要求1所述的光照估计方法，其特征在于，所述训练得到光照估计模型包括：

通过最小化预定义的光照参数误差函数，训练得到所述光照估计模型。

5.根据权利要求1所述的光照估计方法，其特征在于，所述训练得到光照估计模型包括：

采用卷积深度神经网络算法，训练得到所述光照估计模型。

6.根据权利要求1所述的光照估计方法，其特征在于，所述根据多张所述二维人脸图片的像素采样值和所述二维人脸图片标注的所述光照参数，训练得到光照估计模型之前，还包括：

对所述二维人脸图片进行预处理操作，所述预处理操作包括以下操作中的任意一种或多种的组合：二值化、灰度化、对比度增强、旋转、镜像和平移。

7.根据权利要求2所述的光照估计方法，其特征在于，所述目标二维图片为摄像头采集的帧图像或视频文件切分得到的帧图像。

8.根据权利要求7所述的光照估计方法，其特征在于，若所述目标二维图片为所述视频文件切分得到的帧图像，则所述对所述目标二维人脸图片的光照参数进行估计之后，还包括：

根据估计到的多张所述目标二维人脸图片的光照参数，进行后处理操作，所述后处理操作包括以下操作中的任意一种或多种的组合：计算平均值、获取中位数、使用时域滑动窗口计算移动平均值和滤波。

9.一种光照估计装置，其特征在于，包括：

渲染模块，用于采用模拟光照模型对三维人脸模型进行仿真光照投射，渲染得到多张二维图片；

标注模块，用于为每张所述二维图片标注对应的所述模拟光照模型的光照参数；

第一截取模块，用于对所述二维图片进行人脸检测，截取检测到的人脸区域，得到二维人脸图片；

训练模块，用于根据多张所述二维人脸图片的像素采样值和所述二维人脸图片标注的所述光照参数，训练得到光照估计模型。

10.根据权利要求9所述的光照估计装置，其特征在于，还包括：

第二截取模块，用于对目标二维图片进行人脸检测，截取检测到的人脸区域，得到目标二维人脸图片；

估计模块，用于采用所述光照估计模型，对所述目标二维人脸图片的光照参数进行估计。

11.根据权利要求9所述的光照估计装置，其特征在于，所述渲染模块具体用于：

采用所述模拟光照模型对6自由度姿态下的所述三维人脸模型进行仿真光照投射，所述6自由度包括三维空间位置坐标和三维旋转角度。

12.根据权利要求9所述的光照估计装置，其特征在于，所述训练模块具体用于：

通过最小化预定义的光照参数误差函数，训练得到所述光照估计模型。

13.根据权利要求9所述的光照估计装置，其特征在于，所述训练模块具体用于：

采用卷积深度神经网络算法，训练得到所述光照估计模型。

14.根据权利要求9所述的光照估计装置，其特征在于，所述训练模块还用于：

在所述根据多张所述二维人脸图片的像素采样值和所述二维人脸图片标注的所述光照参数，训练得到光照估计模型之前，对所述二维人脸图片进行预处理操作，所述预处理操作包括以下操作中的任意一种或多种的组合：二值化、灰度化、对比度增强、旋转、镜像和平移。

15.根据权利要求10所述的光照估计装置，其特征在于，所述目标二维图片为摄像头采集的帧图像或视频文件切分得到的帧图像。

16.根据权利要求15所述的光照估计装置，其特征在于，若所述目标二维图片为所述视频文件切分得到的帧图像，则所述估计模块还用于：

在所述对所述目标二维人脸图片的光照参数进行估计之后，根据估计到的多张所述目标二维人脸图片的光照参数，进行后处理操作，所述后处理操作包括以下操作中的任意一种或多种的组合：计算平均值、获取中位数、使用时域滑动窗口计算移动平均值和滤波。

17.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时，实现如权利要求1-8中任一所述的光照估计方法。

18.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一所述的光照估计方法。

19.一种计算机程序产品，其特征在于，当所述计算机程序产品中的指令由处理器执行时，执行如权利要求1-8中任一所述的光照估计方法。