CN111063017A - 一种光照估计方法及装置 - Google Patents

Abstract

本申请实施例公开了一种光照估计方法及装置，涉及光照估计领域，解决了人脸成像的光效效果较差的问题。具体方案为：利用卷积神经网络获取第一图像的光照估计参数初始值，光照估计参数初始值包括初始球面光照系数、初始反照率集合和初始法向集合，第一图像包括M个像素点，初始反照率集合包括M个像素点的初始反照率，初始法向集合包括M个像素点的初始法向，M为正整数；然后，利用原始图像、初始反照率集合、初始法向集合和初始球面光照系数之间的关系，优化光照估计参数初始值。本申请实施例用于光照估计的过程。

Description

一种光照估计方法及装置

技术领域

本申请实施例涉及光照估计领域，尤其涉及一种光照估计方法及装置。

背景技术

由于室内光源、物体材质属性、纹理、场景几何结构以及室外天气变化无常等多种环境因素带来的干扰，光照估计仍然是一个具有挑战性的课题。例如，人脸皮肤经常受到室内外光照、油脂和胭脂等条件影响，在人脸的局部会产生镜面反射光。在拍照、人脸重建和人脸识别等计算机视觉任务中，需要估计人脸的光照信息，根据光照信息去除镜面反射光等负面效果，提升人脸成像的光效效果。

传统的光照估计技术手段主要分为借助辅助拍摄设备的方法、借助辅助标志物的方法和无需辅助标志或拍摄设备的图像分析方法三类。图像分析方法是指运用机器学习、图像处理等技术分析真实场景光照的方法，由于图像分析方法不需要借助多余的硬件设备，是近年来光照估计领域的重要发展方向。随着深度学习技术的发展，采用卷积神经网络(convolutional neural networks，CNN)进行光照估计已成为光照估计领域发展的趋势。但是，基于卷积神经网络的光照估计算法分解出的人脸图像的反照率、法向和球面光照系数往往不精确，将这种不精确的光照估计的结果应用到人脸图像的计算机视觉任务中，导致人脸成像的光效效果较差。

发明内容

本申请实施例提供一种光照估计方法及装置，解决了人脸成像的光效效果较差的问题。

为达到上述目的，本申请实施例采用如下技术方案：

第一方面，本申请实施例提供了一种光照估计方法，该方法可应用于终端设备，或者该方法可应用于可以支持终端设备实现该方法的光照估计装置，例如该光照估计装置包括芯片系统，方法包括：首先，根据第一图像和卷积神经网络，得到第一图像的光照估计参数初始值，其中，光照估计参数初始值包括初始球面光照系数、初始反照率集合和初始法向集合，第一图像可以是原始图像进行下采样的图像，第一图像包括M个像素点，初始反照率集合包括M个像素点的初始反照率，初始法向集合包括M个像素点的初始法向，M为正整数；然后，根据初始球面光照系数、初始反照率集合、初始法向集合和第一图像包括的M个像素点的原始像素值，确定第一图像的优化后球面光照系数。

本申请实施例提供的光照估计方法主要应用在3D人像光效、去高光、光效迁移等需要光照估计的领域。初始球面光照系数经过本申请实施例提供的光照估计方法进行优化后，从而有效地提高人脸成像的光效效果。

结合第一方面，在一种可能的实现方式中，根据初始球面光照系数、初始反照率集合、初始法向集合和第一图像包括的M个像素点的原始像素值，确定第一图像的优化后球面光照系数，包括：获取M个像素点的第一重构像素值与原始像素值之间的差异，获取M个像素点的第一重构像素值与原始像素值之间的差异包括：根据第p个像素点的初始反照率、第p个像素点的初始球面调和基函数和初始球面光照系数，获取第p个像素点的第一重构像素值，第p个像素点的初始球面调和基函数由球面调和基函数和第p个像素点的初始法向确定，p为整数，p的取值为1至M；获取第p个像素点的第一重构像素值与第p个像素点的原始像素值之间的差异，第p个像素点的原始像素值属于第一图像包括的M个像素点的原始像素值；以减少M个像素点的第一重构像素值与原始像素值之间的差异为目标，优化初始球面光照系数，从而得到优化后球面光照系数。示例性的，所述差异可以是第p个像素点的第一重构像素值与第p个像素点的原始像素值之间的误差的平方，或者第p个像素点的第一重构像素值与第p个像素点的原始像素值之间误差的平方和。

结合第一方面和上述可能的实现方式，在另一种可能的实现方式中，在根据初始球面光照系数、初始反照率集合、初始法向集合和第一图像包括的M个像素点的原始像素值，确定第一图像的优化后球面光照系数之后，方法还包括：根据优化后球面光照系数、初始法向集合和预设的环境光对反照率的影响因子，确定第一图像的优化后反照率集合，优化后反照率集合包括M个像素点的优化后反照率。

示例的，根据优化后球面光照系数、初始法向集合和预设的环境光对反照率的影响因子，确定第一图像的优化后反照率集合，包括：根据第p个像素点的初始球面调和基函数、影响因子和优化后球面光照系数，估计理想球面光照系数，第p个像素点的初始球面调和基函数由球面调和基函数和第p个像素点的初始法向确定，p为整数，p的取值为1至M；利用朗伯体模型，根据第p个像素点的初始球面调和基函数、理想球面光照系数和第一图像包括的M个像素点的原始像素值，确定第一图像的优化后反照率集合。

结合上述可能的实现方式，在另一种可能的实现方式中，在根据优化后球面光照系数、初始法向集合和预设的环境光对反照率的影响因子，确定第一图像的优化后反照率集合之后，方法还包括：根据优化后球面光照系数、优化后反照率集合、初始法向集合和第一图像包括的M个像素点的原始像素值，更新优化后球面光照系数，得到第一图像的更新后球面光照系数。

示例的，根据优化后球面光照系数、优化后反照率集合、初始法向集合和第一图像包括的M个像素点的原始像素值，更新优化后球面光照系数，得到第一图像的更新后球面光照系数，包括：获取M个像素点的第二重构像素值与原始像素值之间的差异，获取M个像素点的第二重构像素值与原始像素值之间的差异包括：根据第p个像素点的优化后反照率、第p个像素点的初始球面调和基函数和优化后球面光照系数，获取第p个像素点的第二重构像素值，第p个像素点的初始球面调和基函数由球面调和基函数和第p个像素点的初始法向确定，p为整数，p的取值为1至M；获取第p个像素点的第二重构像素值与第p个像素点的原始像素值之间的差异，第p个像素点的原始像素值属于第一图像包括的M个像素点的原始像素值；以减少M个像素点的第二重构像素值与原始像素值之间的差异为目标，更新优化后球面光照系数，从而得到更新后球面光照系数。示例性的，所述差异可以是第p个像素点的第二重构像素值与第p个像素点的原始像素值之差的L₁范数。

结合上述可能的实现方式，在另一种可能的实现方式中，在根据优化后球面光照系数、优化后反照率集合、初始法向集合和第一图像包括的M个像素点的原始像素值，更新优化后球面光照系数，得到第一图像的更新后球面光照系数之后，方法还包括：确定第一图像的光照主方向，光照主方向的球面调和基函数与更新后球面光照系数的乘积大于或者等于其它法向的球面调和基函数与更新后球面光照系数的乘积。本申请实施例所述的光照估计方法求取光照主方向，在3D人像光效应用场景中，将光源设置在估计出的主方向上，从而可以加强原始光照的效果。

第二方面，本申请实施例提供了一种光照估计方法，该方法可应用于终端设备，或者该方法可应用于可以支持终端设备实现该方法的光照估计装置，例如该光照估计装置包括芯片系统，方法包括：根据朗伯体模型获取原始图像的光照估计参数原始值，光照估计参数原始值包括原始球面光照系数、原始反照率集合和原始法向集合，原始图像包括Q个像素点，原始反照率集合包括Q个像素点的原始反照率，原始法向集合包括Q个像素点的原始法向，Q为正整数；根据卷积神经网络获取第一图像的光照估计参数初始值，光照估计参数初始值包括初始球面光照系数、初始反照率集合和初始法向集合，第一图像为原始图像进行下采样的图像，第一图像包括M个像素点，初始反照率集合包括M个像素点的初始反照率，初始法向集合包括M个像素点的初始法向，Q大于M；根据原始图像的分辨率上采样初始反照率集合和初始法向集合，得到上采样反照率集合和上采样法向集合，上采样反照率集合包括Q个像素点的上采样反照率，上采样法向集合包括Q个像素点的上采样法向；根据原始反照率集合与上采样反照率集合的误差、原始法向集合与上采样法向集合的误差和原始图像与重构图像的误差之和构建优化模型，重构图像由上采样反照率集合、球面调和基函数、上采样法向集合和原始球面光照系数确定；以减少误差之后为优化目标，根据优化模型优化上采样反照率集合和上采样法向集合，获取优化后上采样反照率集合和优化后上采样法向集合。

本申请实施例提供的光照估计方法，利用原始图像使下采样图像的反照率集合和法向集合上采样到与原始图像的分辨率相同的反照率集合和法向集合，将优化后上采样反照率集合和优化后上采样法向集合应用到去高光和光效迁移等光照估计应用中，从而，有效地提高了人脸成像的光效效果。

第三方面，本申请实施例还提供了一种光照估计装置，用于实现上述第一方面或第二方面描述的方法。光照估计装置为终端设备或支持终端设备实现该第一方面描述的方法的装置，例如该光照估计装置包括芯片系统。例如，该光照估计装置包括：处理单元。所述处理单元，用于根据第一图像和卷积神经网络，得到第一图像的光照估计参数初始值，光照估计参数初始值包括初始球面光照系数、初始反照率集合和初始法向集合，第一图像为原始图像进行下采样的图像，第一图像包括M个像素点，初始反照率集合包括M个像素点的初始反照率，初始法向集合包括M个像素点的初始法向，M为正整数；处理单元，还用于根据初始球面光照系数、初始反照率集合、初始法向集合和第一图像包括的M个像素点的原始像素值，确定第一图像的优化后球面光照系数。

可选地，具体的方法同第一方面或第二方面中相应的描述，这里不再赘述。

可选地，光照估计装置还可以包括通信接口，用于获取图像。

需要说明的是，上述第三方面的功能模块可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相的模块。例如，收发器，用于完成接收单元和发送单元的功能，处理器，用于完成处理单元的功能，存储器，用于处理器处理本申请实施例的方法的程序指令。处理器、收发器和存储器通过总线连接并完成相互间的通信。具体的，可以参考第一方面所述的方法至第二方面所述的方法中的终端设备的行为的功能。

第四方面，本申请实施例还提供了一种光照估计装置，用于实现上述第一方面或第二方面描述的方法。所述光照估计装置为终端设备或支持终端设备实现该第一方面或第二方面描述的方法的装置，例如该光照估计装置包括芯片系统。例如所述光照估计装置包括处理器，用于实现上述第一方面或第二方面描述的方法的功能。所述光照估计装置还可以包括存储器，用于存储程序指令和数据。所述存储器与所述处理器耦合，所述处理器可以调用并执行所述存储器中存储的程序指令，用于实现上述第一方面或第二方面描述的方法中的功能。所述光照估计装置还可以包括通信接口，所述通信接口用于该光照估计装置与其它设备进行通信。

在一种可能的设备中，该光照估计装置包括：通信接口，所述通信接口用于所述光照估计装置和其它装置进行通信。示例性地，该通信接口可以是收发器。存储器，用于存储程序指令。处理器，用于根据第一图像和卷积神经网络，得到第一图像的光照估计参数初始值，光照估计参数初始值包括初始球面光照系数、初始反照率集合和初始法向集合，第一图像为原始图像进行下采样的图像，第一图像包括M个像素点，初始反照率集合包括M个像素点的初始反照率，初始法向集合包括M个像素点的初始法向，M为正整数；处理器还用于根据初始球面光照系数、初始反照率集合、初始法向集合和第一图像包括的M个像素点的原始像素值，确定第一图像的优化后球面光照系数。

可选地，具体的方法同第一方面或第二方面中相应的描述，这里不再赘述。

第五方面，本申请实施例还提供了一种计算机可读存储介质，包括：计算机软件指令；当计算机软件指令在光照估计装置中运行时，使得光照估计装置执行上述第一方面或第二方面所述的方法。

第六方面，本申请实施例还提供了一种包含指令的计算机程序产品，当计算机程序产品在光照估计装置中运行时，使得光照估计装置执行上述第一方面或第二方面所述的方法。

第七方面，本申请实施例提供了一种芯片系统，该芯片系统包括处理器，还可以包括存储器，用于实现上述方法中终端设备的功能。该芯片系统可以由芯片构成，也可以包含芯片和其他分立器件。

另外，上述任意方面的设计方式所带来的技术效果可参见第一方面和第二方面中不同设计方式所带来的技术效果，此处不再赘述。

本申请实施例中，终端设备和光照估计装置的名字对设备本身不构成限定，在实际实现中，这些设备可以以其他名称出现。只要各个设备的功能和本申请实施例类似，属于本申请权利要求及其等同技术的范围之内。

附图说明

图1为本申请实施例提供的一种系统架构的简化示例图；

图2为本申请实施例提供的一种光照估计方法的流程图；

图3为本申请实施例提供的一种卷积神经网络分解结果示例图；

图4为本申请实施例提供的另一种光照估计方法的流程图；

图5为本申请实施例提供的一种3D人像光效结果示例图；

图6为本申请实施例提供的又一种光照估计方法的流程图；

图7为本申请实施例提供的一种上采样结果示例图；

图8为本申请实施例提供的另一种上采样结果示例图；

图9为本申请实施例提供的一种去高光结果示例图；

图10为本申请实施例提供的一种光照迁移结果示例图；

图11为本申请实施例提供的一种光照估计装置的组成示例图；

图12为本申请实施例提供的另一种光照估计装置的组成示例图；

图13为本申请实施例提供的一种终端设备的组成示例图。

具体实施方式

为了下述各实施例的描述清楚简洁，首先给出相关技术的简要介绍：

反照率(albedo)是指目标地物的反射出射度与入射度之比，即单位时间、单位面积上各方向出射的总辐射能量与入射的总辐射能量之比。用公式表示，公式为：

其中，A表示反照率，F表示出射的总辐射能量，E表示入射的总辐射能量。反照率还可以称为半球反照率。在本申请实施例中，反照率用于衡量人脸皮肤吸收能量的水平。

法向(normal)是指法线方向，与切向(切线方向)垂直。切向和法向均是相对于界面、轨迹等而言。

光源可以表示为光源方向和光源强度的组合。将光源方向单位化就可以认为光源是定义在单位球面上的函数。假设在球面上的函数可以表示为球面调和基函数的组合。球面调和基函数是定义在球面上的正交基函数。将球面参数化，可以表示为：s＝(x,y,z)＝(sinθcosφ,sinθsinφ,cosθ)，其中，s表示球面上的位置。

定义在s上的球面调和基函数为：

由于球面调和基函数是彼此正交的，任意定义在s上的标量函数f可以表示为球面调和基函数的组合。球面调和基函数

对应的系数，用公式表示，公式为：

上述系数可以用来重构标量函数，用公式表示，公式为：

其中，

表示重构的标量函数。

当n越来越大时，逼近误差越来越小。对于固定的n阶展开，有n²个球面调和基函数，为了方便，可以使用一个指标记号来表示球面调和基函数：

在本申请实施例中使用二阶球面调和基函数，即九个球面调和基函数逼近光照。假定点p处的法向为n_p＝[x,y,x]^T，那么p点处的九维球面调和基函数Y_p表示为：

其中：

根据上述定义，可以将p点处的光照(light)定义为：light＝Y_p·L，其中，L表示待求的球面光照系数(spherical harmonics coefficients)。

本申请实施例提供一种光照估计方法，其基本原理是：首先，利用卷积神经网络获取第一图像的光照估计参数初始值，光照估计参数初始值包括初始球面光照系数、初始反照率集合和初始法向集合，第一图像包括M个像素点，初始反照率集合包括M个像素点的初始反照率，初始法向集合包括M个像素点的初始法向，M为正整数；然后，利用原始图像、初始反照率集合、初始法向集合和初始球面光照系数之间的关系，优化光照估计参数初始值。

需要说明的是，本申请实施例所述的光照估计方法主要是针对人脸图像进行处理。上述原始图像可以是指不包括任何背景只包括人脸原始图像。人脸图像经过本申请实施例提供的光照估计方法优化后，能够有效地提高人脸成像的光效效果。

在3D人像光效应用中，用户拍照过程中经常会受到环境光照的影响，而环境光照的强度和主方向对3D人像光效的效果有着直接影响。如果3D人像光效系统不充分利用环境光的主方向信息，强行加上光效，最终3D人像光效的效果会很生硬、不自然。如果根据本申请实施例提供的光照估计优化方法估计出的光照主方向，将光源设置在估计出的主方向上，从而可以加强原始光照的效果。

在光照迁移应用中，利用本申请实施例提供的光照估计优化方法可以对用户自拍的照片中光照进行处理。例如，可以将模板照片中的光照信息迁移到目标照片中。首先分别估计出模板照片的球面光照系数、反照率和法线图，以及目标照片的球面光照系数、反照率和法线图，然后将模板照片的球面光照系数、目标照片的反照率和法线图相乘，即可实现光效迁移的效果。

在计算机视觉任务中，人脸上的镜面反射光会对分割、跟踪、匹配、纹理映射带来负面影响。通过本申请实施例提供的光照估计优化方法可以去除脸部的镜面高光。

下面将结合附图对本申请实施例的实施方式进行详细描述。

图1为本申请实施例提供的一种系统架构的简化示例图。该系统架构包括下采样模块101、卷积神经网络模块102、优化球面光照系数模块103、优化反照率模块104、更新球面光照系数模块105、抽取光照主方向模块106、上采样模块107和光照估计应用模块108。

下采样模块101，用于从单帧原始图像中检测人脸框和角度，根据人脸框裁剪出原始人脸图像，对原始人脸图像进行下采样，并将下采样人脸图像输入至卷积神经网络模块102。

卷积神经网络模块102，用于利用卷积神经网络对下采样人脸图像进行卷积神经网络运算，得到光照估计参数初始值。

优化球面光照系数模块103，用于根据初始球面光照系数、初始反照率集合、初始法向集合和下采样人脸图像包括的M个像素点的原始像素值，确定下采样人脸图像的优化后球面光照系数，并将优化后球面光照系数输入至优化反照率模块104和更新球面光照系数模块105。

优化反照率模块104，用于根据优化后球面光照系数、初始法向集合和预设的环境光对反照率的影响因子，确定下采样人脸图像的优化后反照率集合，并将优化后反照率集合输入至更新球面光照系数模块105。

更新球面光照系数模块105，用于根据优化后球面光照系数、优化后反照率集合、初始法向集合和下采样人脸图像包括的M个像素点的原始像素值，更新优化后球面光照系数，得到更新后球面光照系数，并将更新后球面光照系数输入至抽取光照主方向模块106。

抽取光照主方向模块106，用于确定下采样人脸图像的光照主方向，光照主方向的球面调和基函数与更新后球面光照系数的乘积大于或者等于其它法向的球面调和基函数与更新后球面光照系数的乘积。

上采样模块107，用于根据原始人脸图像和下采样人脸图像建立建立优化模型，通过坐标轮换法，求解出高分辨率的法向和反照率。

光照估计应用模块108，用于根据抽取光照主方向模块106和上采样模块107的结果应该到光照估计的应用中。

图2为本申请实施例提供的一种光照估计方法的流程图，假设原始图像为未经过处理的不包括任何背景只包括人脸的单帧图像。如图2所示，该方法可以包括以下步骤：

S201、根据第一图像和卷积神经网络，得到第一图像的光照估计参数初始值。

在获取到包括人脸和背景的单帧图像后，首先检测人脸框和人脸角度，根据人脸框裁剪出原始人脸图像。所述原始人脸图像为只包括人脸的原始图像。然后，对原始人脸图像进行下采样，得到第一图像。第一图像为原始图像(人脸图像)进行下采样的图像。下采样可以理解为抽取，即对于一个样值序列间隔几个样值取样一次，得到新序列就是原序列的下采样。

在机器学习中，卷积神经网络是一种深度前馈人工神经网络，人工神经元可以响应周围单元，可以进行大型图像处理。卷积神经网络包括卷积层和池化层。将第一图像输入至卷积神经网络，利用卷积神经网络对第一图像进行卷积神经网络运算，得到第一图像的光照估计参数初始值。光照估计参数初始值包括初始球面光照系数、初始反照率集合和初始法向集合。假设第一图像包括M个像素点，初始反照率集合包括M个像素点的初始反照率，初始法向集合包括M个像素点的初始法向，M为正整数。如图3所示，本申请实施例提供的一种卷积神经网络分解结果示例图。需要说明的是，本申请实施例所采用的卷积神经网络可以是多种类型的卷积神经网络结构，例如，GoogLeNet或ResNet。

S202、根据初始球面光照系数、初始反照率集合、初始法向集合和第一图像包括的M个像素点的原始像素值，确定第一图像的优化后球面光照系数。

通常，对于图像中的任意一个像素点的像素值，可以根据该像素点的反照率、该像素点的法向与球面光照系数得到。因此，可以根据初始球面光照系数、初始反照率集合和初始法向集合估计第一图像包括的M个像素点的像素值，再运用M个像素点的估计像素值和第一图像包括的M个像素点的原始像素值确定优化后球面光照系数。

对于第一图像包括的M个像素点中的任意一个像素点p可以根据以下方法重构第p个像素点的像素值。示例性的，先将第p个像素点的初始法向代入上述球面调和基函数确定第p个像素点的初始球面调和基函数。然后，根据第p个像素点的初始反照率、第p个像素点的初始球面调和基函数和初始球面光照系数，重构第p个像素点的像素值，得到第p个像素点的第一重构像素值。其次，获取第p个像素点的第一重构像素值与第p个像素点的原始像素值之间的差异，所述差异可以是第p个像素点的第一重构像素值与第p个像素点的原始像素值之间的误差的平方，或者第p个像素点的第一重构像素值与第p个像素点的原始像素值之间误差的平方和。以减少M个像素点的第一重构像素值与原始像素值之间的差异为目标，优化初始球面光照系数，从而得到优化后球面光照系数。

下面以误差的平方为例进行说明。根据上述方法遍历下采样的人脸图像中的M个像素点，得到M个像素点中每个像素点的第一重构像素值与原始像素值的误差的平方。再获取M个像素点的第一重构像素值与原始像素值的误差的平方之和，利用坐标轮换法(univariate search technique)，固定反照率和法向，以减少M个像素点的第一重构像素值与原始像素值之间的误差的平方之和为目标，优化初始球面光照系数，从而得到优化后球面光照系数。

需要说明的是，坐标轮换法是一种求无约束最优化问题的方法，属于直接法。其迭代过程是沿不同的坐标方向轮换地进行搜索。坐标轮换法是每次允许一个变量变化，其余变量保持不变，即沿坐标方向轮流进行搜索的寻优方法。它把多变量的优化问题轮流的转化成单变量的优化问题，因此又可以称为变量轮换法。在搜索的过程中可以不需要目标函数的导数，只需目标函数值信息。它比利用目标函数导数建立搜索方向的方法简单的多。

用公式表示，公式一为：

其中，A_p′表示第p个像素点的初始反照率，

表示第p个像素点的初始球面调和基函数，L″表示优化后球面光照系数，I_p表示第一图像中第p个像素点的原始像素值。可理解的，可以将初始球面光照系数作为求取优化后球面光照系数的初始值，即将初始球面光照系数L′代入上述公式一，求取优化后球面光照系数。

需要说明的是，根据上述方法遍历下采样的人脸图像中的M个像素点，得到M个像素点中每个像素点的第一重构像素值与原始像素值的误差的平方之后，可以以减少每个像素点的第一重构像素值与原始像素值之间的误差的平方之和为目标，优化初始球面光照系数，从而得到优化后球面光照系数。

本申请实施例提供的光照估计方法，利用原始图像、初始反照率集合、初始法向集合和初始球面光照系数之间的关系，优化初始球面光照系数，将优化后球面光照系数输入到光照估计应用中，从而，有效地提高了人脸成像的光效效果。

由于人脸经常受到外部光照的影响，卷积神经网络分解得到的初始反照率集合与原始反照率集合存在差异。反照率不准确会严重影响光照估计的结果。进一步的，在对初始球面光照系数进行优化之后，可以利用优化后球面光照系数优化初始反照率集合，即在S202之后，本申请实施例还可以包括以下步骤，如图4所示。

S401、根据优化后球面光照系数、初始法向集合和预设的环境光对反照率的影响因子，确定第一图像的优化后反照率集合。

对于第一图像包括的M个像素点中的任意一个像素点p可以根据以下方法重构第p个像素点的像素值。示例的，先将第p个像素点的初始法向代入上述球面调和基函数确定第p个像素点的初始球面调和基函数。根据上述方法遍历下采样的人脸图像包括的M个像素点，得到M个像素点中每个像素点的初始球面调和基函数。然后，根据第p个像素点的初始球面调和基函数、预设的环境光对反照率的影响因子和优化后球面光照系数，估计理想球面光照系数。用公式表示，公式二为：

其中，α表示外部光照引起的反照率误差比值，取值可以是[0,1]的常数，

表示第p个像素点的初始球面调和基函数，L″表示优化后球面光照系数，

表示理想球面光照系数。可理解的，理想球面光照系数可以是指球面不受外界任何光照干扰的光照系数。

其次，利用朗伯体模型，根据第p个像素点的初始球面调和基函数、理想球面光照系数和第一图像包括的M个像素点的原始像素值，确定第一图像优化后反照率集合，优化后反照率集合包括M个像素点的优化后反照率。用公式表示，公式三为：

其中，A_p″表示第p个像素点的优化后反照率，δ_p表示第p个像素点处的反照率误差，即由外部光照引起的反照率扰动，假设

需要说明的是，朗伯体是指当入射能量在所有方向均匀反射，即入射能量以入射点为中心，在整个半球空间内向四周各向同性的反射能量的现象。朗伯体也可称为漫反射。各向同性反射，一个完全的漫射体也可以称为朗伯体。朗伯体模型可以表示为反照率、法向、球面调和基函数与球面光照系数的乘积。

在根据优化后球面光照系数优化初始反照率集合之后，再根据优化后反照率集合更新第一图像的优化后球面光照系数，即在S401之后执行S402。

S402、根据优化后球面光照系数、优化后反照率集合、初始法向集合和第一图像包括的M个像素点的原始像素值，更新第一图像的优化后球面光照系数，得到第一图像的更新后球面光照系数。

可以根据优化后球面光照系数、优化后反照率集合和初始法向集合估计第一图像包括的M个像素点的像素值，再运用M个像素点的估计像素值和第一图像包括的M个像素点的原始像素值确定更新后球面光照系数。对于第一图像包括的M个像素点中的任意一个像素点p可以根据以下方法重构第p个像素点的像素值。具体的，先将第p个像素点的初始法向代入上述球面调和基函数确定第p个像素点的初始球面调和基函数。然后，根据第p个像素点的优化后反照率、第p个像素点的初始球面调和基函数和优化后球面光照系数，重构第p个像素点的像素值，得到第p个像素点的第二重构像素值。其次，获取第p个像素点的第二重构像素值与第p个像素点的原始像素值之间的差异。以减少M个像素点的第二重构像素值与原始像素值之间的差异为目标，更新第一图像的优化后球面光照系数，从而得到第一图像的更新后球面光照系数。示例的，所述差异可以是第p个像素点的第二重构像素值与第p个像素点的原始像素值之差的L₁范数。根据上述方法遍历下采样的人脸图像中的M个像素点，得到M个像素点中每个像素点的第二重构像素值与原始像素值之差的L₁范数。再获取M个像素点的第二重构像素值与原始像素值之差的L₁范数之和，利用坐标轮换法，固定反照率和法向，以减少M个像素点的第二重构像素值与原始像素值之差的L₁范数为目标，更新第一图像的优化后球面光照系数，从而得到第一图像的更新后球面光照系数。

用公式表示，公式四为：

其中，L″′表示更新后球面光照系数。

由于L₁范数无法求导，因此通常采用交替方向乘子法(alternating directionmethod of multipliers，ADMM)方法求解系数优化L₁问题。但受限于ADMM需要做若干步迭代，无法满足在终端设备上实时运行。因此将公式四转换如下形式：

再求解公式五，公式五为：

得到更新后球面光照系数。

需要说明的是，根据上述方法遍历下采样的人脸图像中的M个像素点，得到M个像素点中每个像素点的第二重构像素值与原始像素值之差的L₁范数之后，可以以减小每个像素点的第二重构像素值与原始像素值之差的L₁范数为目标，更新第一图像的优化后球面光照系数，从而得到第一图像的更新后球面光照系数。

另外，在3D人像光效应用中，如何根据环境光的方向加强3D光效的效果是一个重要的课题。在用户拍照过程中，经常会受到环境光照的影响，而环境光照的强度和主方向对3D人像光效的效果有着直接影响。如果3D人像光效系统不充分利用环境光的主方向信息，强行加上光效，最终3D人像光效的效果会很生硬、不自然。如果根据本申请实施例提供的光照估计方法估计出的光照主方向，将光源设置在估计出的主方向上，从而可以加强原始光照的效果。具体的，本申请实施例还可以包括S403。

S403、确定第一图像的光照主方向。

光照主方向的球面调和基函数与更新后球面光照系数的乘积大于或者等于其它法向的球面调和基函数与更新后球面光照系数的乘积。示例性的，假设基于球面调和基函数的环境光照L_e。为了方便起见，考虑L_e的二阶球面调和基函数展开式：

入射光方向应该使得L_e(ω)最大，因此，必须有公式六

由于L_e(ω)是关于ω的二次函数，因此上述ω的四次函数，不方便快速求解。先采用离散方法求解上述优化问题。输入CNN的第一图像分辨率是w×h，其中，w表示第一图像的宽，h表示第一图像的高。本申请实施例构造w×h的空白图像I_ω，在第一图像的每个像素点(i,j)处按如下规则赋予法向值：

其中，n表示法向，

x、y和z分别表示三维坐标系的三个方向。像素点(i,j)即像素点p，i表示像素点p的横坐标，即第一图像的宽，j表示像素点p的纵坐标，即第一图像的高。

优化是关于公式六计算得到的球面光照系数在法向图I_ω上打光效果图S，S可以视作球面光照系数L″′在光球的模拟效果：

其中，ω表示光照主方向，ω的方位是-1到1，所谓的其他法向就是-1到1范围内的其他法向。

因此，遍历模拟光球S，获取模拟光球S亮度最大值，该点出法向

就是光照的主方向。

由于，光照有RGB三个颜色分量，因此最终的光照主方向为：

示例的，如图5所示。图5中的(a)为终端设备的主界面501，终端设备的主界面501上显示有相机应用图标502。用户可以点击相机图标502，终端设备响应用户的操作，终端设备的主界面501可以显示如图5中的(b)所示的相机界面503，相机界面503中可以显示需要拍摄的图像，需要拍摄的图像包括人脸图像和背景图像。用户确认好需要拍摄的图像后，可以点击拍摄图标504。需要说明的是，图5中的(b)所示的相机界面503还显示有相册入口图标505。在用户没有点击拍摄图标504之前，相册入口图标505显示的是相册中已经存储的照片。用户点击拍摄图标504之后，终端设备对摄像头获取到的图像进行拍摄，并根据本申请实施例提供的光照估计方法对拍摄到的图像进行优化，将优化后的图像存储到相册应用中。图5中的(c)所示的相机界面503的相册入口图标505显示的是用户当前拍摄的照片。此时，用户可以点击相册入口图标505查看拍摄的照片。如图5中的(d1)所示为终端设备未根据本申请实施例提供的光照估计方法对拍摄到的图像进行优化的原始图像，如图5中的(d2)所示为终端设备根据本申请实施例提供的光照估计优化方法得到的主方向上加上虚拟光源得到的图像。

为了提高卷积神经网络的运算速度，本申请实施例中对原始图像进行下采样。球面光照系数不依赖于图像分辨率，但是反照率和法向均需要与输入的原始图像分辨率一致，因此需要将下采样的反照率和法向上采样到与原始图像的分辨率相同的分辨率的反照率和法向。

图6为本申请实施例提供的一种光照估计方法的流程图，假设原始图像为未经过处理的不包括任何背景只包括人脸的单帧图像。如图6所示，本申请实施例可以包括以下步骤：

S601、根据朗伯体模型获取原始图像的光照估计参数原始值。

光照估计参数原始值包括原始球面光照系数、原始反照率集合和原始法向集合，原始图像包括Q个像素点，原始反照率集合包括Q个像素点中每个像素点的原始反照率，原始法向集合包括Q个像素点中每个像素点的原始法向，Q为正整数。假设I_o为原始图像，对应的朗伯体模型分解结果为：I_o＝A_o*Y_o*L_o，其中，A_o表示原始反照率集合，Y_o表示原始图像的球面调和基函数，L_o表示原始球面光照系数。

S602、根据卷积神经网络获取第一图像的光照估计参数初始值。

光照估计参数初始值包括初始球面光照系数、初始反照率集合和初始法向集合，第一图像为原始图像进行下采样的图像，第一图像包括M个像素点，初始反照率集合包括M个像素点的初始反照率，初始法向集合包括M个像素点的初始法向。假设I_d为第一图像，对应的朗伯体模型分解结果为：I_d＝A_d*Y_d*L_o，其中，A_d表示初始反照率集合，Y_d表示第一图像的球面调和基函数，L_o表示原始球面光照系数。

S603、根据原始图像的分辨率上采样初始反照率集合和初始法向集合，得到上采样反照率集合和上采样法向集合。

上采样反照率集合包括Q个像素点中每个像素点的上采样反照率，上采样法向集合包括Q个像素点中每个像素点的上采样法向，Q大于M。可以通过双线性差值算法将小分辨率的反照率集合A_d和法向集合N_d上采样至原始图像的分辨率，得到与原始图像I_o分辨率一致的反照率集合

和法向集合

S604、根据原始反照率集合与上采样反照率集合的误差、原始法向集合与上采样法向集合的误差和原始图像与重构图像的误差之和构建优化模型。

用公式表示，公式七为：

其中，

表示上采样的反照率集合，

表示上采样的法向集合，A_o表示原始图像的反照率集合，N_o表示原始图像的法向集合，L_o表示原始图像的球面光照系数。需要说明的是，公式七中的*表示哈达玛(hadamard)积，表示对应元素相乘。当公式七的值最优时，即为与原始图像的分辨率一致的反照率集合A_o和法向集合N_o。重构图像由上采样反照率集合、球面调和基函数、上采样法向集合和原始球面光照系数确定。α表示反照率误差的L₁范数权重，β表示法向误差的L₁范数权重，可以设置为[0,1]的常数。

S605、以减少误差之后为优化目标，根据优化模型优化上采样反照率集合和上采样法向集合，获取优化后上采样反照率集合和优化后上采样法向集合。

采样坐标轮换法对S604中的公式七进行求解，其步骤如下：1、更新反照率集合A_o：将

和

作为公式七的初始值，固定住法向N_o，然后，S604中的优化模型变为二次优化模型，可以采用共轭梯度下降法求解最优的反照率集合A₁。2、更新法向集合N_o：固定反照率为A₁，固定住法向N_o，采用采样坐标轮换法可以求解出最优的法向图N₁。

本申请实施例提供的光照估计方法，利用原始图像使下采样图像的反照率集合和法向集合上采样到与原始图像的分辨率相同的反照率集合和法向集合，将优化后上采样反照率集合和优化后上采样法向集合应用到光照估计应用中，从而，有效地提高了人脸成像的光效效果。

示例的，如图7所示，对于分辨率为128*128至316*316的原始图像，第一行表示采用传统的双线性上采样的结果，第二行表示采用本申请方法上采样结果。比较双线性上采样的结果和本申请方法上采样结果可以看出，根据本申请方法上采样重构图像更接近原图，细节恢复的很好，反照率和法向的上采样效果也明显优于传统的双线性上采样效果。

示例的，如图8所示，对于分辨率为128*128至1495*1495的原始图像，第一行表示采用传统的双线性上采样的结果，第二行表示采用本申请方法上采样结果。比较双线性上采样的结果和本申请方法上采样结果可以看出，根据本申请方法上采样重构图像更接近原图，细节恢复的很好，反照率和法向的上采样效果也明显优于传统的双线性上采样效果。

在计算机视觉任务中，人脸上的镜面反射光会对分割、跟踪、匹配、纹理映射带来负面影响。通过本申请实施例提供的光照估计方法去除脸部的镜面高光，其效果如图9所示。

在光照迁移应用中，利用本申请实施例提供的光照估计方法对用户自拍的照片中光照进行处理，可以将模板照片中的光照信息迁移到目标照片中。首先分别估计出模板照片的球面光照系数、反照率和法线图，以及目标照片的球面光照系数、反照率和法线图，然后将模板照片的球面光照系数、目标照片的反照率和法线图相乘，即可实现光效迁移的效果，其效果如图10所示。

上述主要从各个网元之间交互的角度对本申请实施例提供的方案进行了介绍。可以理解的是，各个网元，例如终端设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法示例对终端设备进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

在采用对应各个功能划分各个功能模块的情况下，图11示出了上述和实施例中涉及的光照估计装置的一种可能的组成示意图，如图11所示，该光照估计装置可以包括：处理单元1101。

其中，处理单元1101，用于支持光照估计装置执行图2所示的光照估计方法中的S201～S202，图4所示的光照估计方法中的S201～S202，以及S401～S403，图6所示的光照估计方法中的S201～S202，以及S401～S403，S601～S605。

在本申请实施例中，进一步的，如图11所示，该光照估计装置还可以包括：接收单元1102和发送单元1103。

需要说明的是，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。

本申请实施例提供的光照估计装置，用于执行上述光照估计方法，因此可以达到与上述光照估计方法相同的效果。

如图12所示为本申请实施例提供的光照估计装置1200，用于实现上述方法中终端设备的功能。光照估计装置1200用于实现上述方法中终端设备的功能。该光照估计装置1200可以是终端设备，也可以是终端设备中的装置。其中，该光照估计装置1200可以为芯片系统。本申请实施例中，芯片系统可以由芯片构成，也可以包含芯片和其他分立器件。

光照估计装置1200包括至少一个处理器1201，用于实现本申请实施例提供的方法中终端设备的功能。示例性地，处理器1201可以用于根据第一图像和卷积神经网络，得到第一图像的光照估计参数初始值，并根据初始球面光照系数、初始反照率集合、初始法向集合、球面调和基函数和原始图像包括的M个像素点的原始像素值，确定优化后球面光照系数等等，具体参见方法示例中的详细描述，此处不做赘述。

光照估计装置1200还可以包括至少一个存储器1202，用于存储程序指令和/或数据。存储器1202和处理器1201耦合。本申请实施例中的耦合是装置、单元或模块之间的间接耦合或通信连接，可以是电性，机械或其它的形式，用于装置、单元或模块之间的信息交互。处理器1201可能和存储器1202协同操作。处理器1201可能执行存储器1202中存储的程序指令。所述至少一个存储器中的至少一个可以包括于处理器中。

光照估计装置1200还可以包括通信接口1203，用于通过传输介质和其它设备进行通信，从而用于光照估计装置1200中的装置可以和其它设备进行通信。处理器1201利用通信接口1203收发数据，并用于实现图2、图4和图6对应的实施例中所述的终端设备所执行的方法。

本申请实施例中不限定上述通信接口1203、处理器1201以及存储器1202之间的具体连接介质。本申请实施例在图12中以通信接口1203、处理器1201以及存储器1202之间通过总线1204连接，总线在图12中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图12中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

具体的，上述终端设备可以是手机。如图13所示，该手机可以包括：显示单元1301、输入单元1302、处理器1303、存储器1304、电源1305、射频(radio frequency，RF)电路1306、重力传感器1307、音频电路1308、扬声器1309、麦克风1310和摄像头1311等部件，这些部件之间可以以总线连接，也可以直连连接。本领域技术人员可以理解，图13中示出的手机结构并不构成对手机的限定，可以包括比图示更多的部件，或者组合某些部件，或者不同的部件布置。

其中，显示单元1301可操作的连接到处理器1303，用于接收处理器1303返回的处理结果并进行显示。例如，可用于显示通过摄像头采集到的图像，以及手机的各种菜单。在显示单元1301上通常配置有图形用户接口(graphical user interface，GUI)，GUI用于在用户和手机上运行的操作系统之间提供易于使用的接口。在本申请实施例中，显示单元1301用于显示摄像头采集到的图像。

输入单元1302可以是单点或多点的输入单元，其可操作的连接到处理器1303，用于接收用户的输入操作。输入单元1302可以是放置在显示单元1301之上或之前的触摸板或触摸屏，该触摸板或触摸屏可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触摸屏上或在触摸屏附近的操作)，并根据预先设定的程式驱动相应的连接装置。例如，可以基于电容感应、电阻感应、表面声波感应、压力感应、光感应等感应技术来实现触摸板或触摸屏。且触摸板或触摸屏可以与显示单元1301集成在一起或者也可以是单独的部件。在本申请实施例中，输入单元1302用于接收用户的拍摄操作。

处理器1303是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器1304内的软件程序和/或模块，以及调用存储在存储器1304内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。在具体实现中，作为一种实施例，处理器1303可包括一个或多个处理单元；处理器1303可集成图形处理器(graphics processing unit，GPU)、人工智能(artificial intelligence，AI)芯片、应用处理器和调制解调处理器。其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1303中。在本申请实施例中，中央处理器用于对摄像头1311获取到的原始图像进行下采样，人工智能芯片用于利用卷积神经网络对下采样图像进行处理，得到下采样图像的初始球面光照系数、初始反照率集合和初始法向集合。或者，人工智能芯片用于对摄像头1311获取到的原始图像进行下采样，并利用卷积神经网络对下采样图像进行处理，得到下采样图像的初始球面光照系数、初始反照率集合和初始法向集合。图形处理器用于对下采样的图像进行光照估计优化，提高人脸成像的光效效果。当然，中央处理器也可以用于对下采样的图像进行光照估计优化，提高人脸成像的光效效果。

存储器1304可用于存储数据、软件程序以及模块，可以是易失性存储器(volatilememory)，例如随机存取存储器(random-access memory，RAM)；或者非易失性存储器(non-volatile memory)，例如只读存储器(read-only memory，ROM)，快闪存储器(flashmemory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)；或者上述种类的存储器的组合，或者也可以是可移动存储介质，例如安全数字(secure digital，SD)存储卡。具体的，存储器1304内可存储程序代码，该程序代码用于使处理器1303通过执行该程序代码，执行本申请实施例提供的光照估计方法。在本申请实施例中，存储器1304可以用于存储摄像头采集到的图像数据。

电源1305，可以为电池，通过电源管理系统与处理器1303逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

RF电路1306可用于收发信息或通话过程中，信号的接收和发送，特别地，将接收到的信息给处理器1303处理；另外，将处理器1303生成的信号发送出去。通常，RF电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(low noise amplifier，LNA)、双工器等。此外，RF电路1306还可以通过无线通信与网络和其他设备通信。

重力传感器(gravity sensor)1307，可以检测手机在各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等。需要说明的是，手机还可以包括其它传感器，比如压力传感器、光传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

音频电路1308、扬声器1309、麦克风1310可提供用户与手机之间的音频接口。音频电路1308可将接收到的音频数据转换后的电信号，传输到扬声器1309，由扬声器1309转换为声音信号输出；另一方面，麦克风1310将收集的声音信号转换为电信号，由音频电路1308接收后转换为音频数据，再将音频数据输出至RF电路1306以发送给比如另一手机，或者将音频数据输出至处理器1303以便进一步处理。

摄像头1311，用于获取包括背景和人脸的原始图像。另外，在上述部件之上，运行有操作系统。在该操作系统上可以安装运行应用程序，例如照相应用。且，尽管未示出，手机还可以包括WiFi模块、蓝牙模块等部件。其中，WiFi模块，可以是包括WiFi芯片和WiFi芯片的驱动程序的模块，WiFi芯片具备运行无线互联网标准协议的能力。蓝牙模块，是一种集成蓝牙功能的印刷电路板组件(printed circuit board assembly，PCBA)，用于短距离无线通讯。

在本申请实施例中，处理器可以是通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

在本申请实施例中，存储器可以是非易失性存储器，比如硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)等，还可以是易失性存储器(volatilememory)，例如随机存取存储器(random-access memory，RAM)。存储器是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本申请实施例中的存储器还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。本申请实施例所涉及的终端设备可以为图13所示的智能手机。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

本申请实施例提供的方法中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、网络设备、终端或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机可以存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，数字视频光盘(digital video disc，DVD))、或者半导体介质(例如，SSD)等。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (19)

1.一种光照估计方法，其特征在于，包括：

根据第一图像和卷积神经网络，得到所述第一图像的光照估计参数初始值，所述光照估计参数初始值包括初始球面光照系数、初始反照率集合和初始法向集合，所述第一图像包括M个像素点，所述初始反照率集合包括所述M个像素点的初始反照率，所述初始法向集合包括所述M个像素点的初始法向，M为正整数；

根据所述初始球面光照系数、所述初始反照率集合、所述初始法向集合和所述第一图像包括的M个像素点的原始像素值，确定所述第一图像的优化后球面光照系数。

2.根据权利要求1所述的光照估计方法，其特征在于，所述根据所述初始球面光照系数、所述初始反照率集合、所述初始法向集合和所述第一图像包括的M个像素点的原始像素值，确定所述第一图像的优化后球面光照系数，包括：

获取所述M个像素点的第一重构像素值与原始像素值之间的差异，所述获取M个像素点的第一重构像素值与原始像素值之间的差异包括：根据第p个像素点的初始反照率、所述第p个像素点的初始球面调和基函数和所述初始球面光照系数，获取所述第p个像素点的第一重构像素值，所述第p个像素点的初始球面调和基函数由球面调和基函数和所述第p个像素点的初始法向确定，p为整数，p的取值为1至M；获取所述第p个像素点的第一重构像素值与所述第p个像素点的原始像素值之间的差异，所述第p个像素点的原始像素值属于所述第一图像包括的M个像素点的原始像素值；

以减少所述M个像素点的第一重构像素值与原始像素值之间的差异为目标，优化所述初始球面光照系数，从而得到所述优化后球面光照系数。

3.根据权利要求1或2所述的光照估计方法，其特征在于，在所述根据所述初始球面光照系数、所述初始反照率集合、所述初始法向集合和所述第一图像包括的M个像素点的原始像素值，确定所述第一图像的优化后球面光照系数之后，所述方法还包括：

根据所述优化后球面光照系数、所述初始法向集合和预设的环境光对反照率的影响因子，确定所述第一图像的优化后反照率集合，所述优化后反照率集合包括所述M个像素点的优化后反照率。

4.根据权利要求3所述的光照估计方法，其特征在于，在所述根据所述优化后球面光照系数、所述初始法向集合和预设的环境光对反照率的影响因子，确定所述第一图像的优化后反照率集合之后，所述方法还包括：

根据所述优化后球面光照系数、所述优化后反照率集合、所述初始法向集合和所述第一图像包括的M个像素点的原始像素值，更新所述优化后球面光照系数，得到所述第一图像的更新后球面光照系数。

5.根据权利要求3所述的光照估计方法，其特征在于，所述根据所述优化后球面光照系数、所述初始法向集合和预设的环境光对反照率的影响因子，确定所述第一图像的优化后反照率集合，包括：

根据第p个像素点的初始球面调和基函数、所述影响因子和所述优化后球面光照系数，估计理想球面光照系数，所述第p个像素点的初始球面调和基函数由球面调和基函数和所述第p个像素点的初始法向确定，p为整数，p的取值为1至M；

利用朗伯体模型，根据所述第p个像素点的初始球面调和基函数、所述理想球面光照系数和所述第一图像包括的M个像素点的原始像素值，确定所述第一图像的优化后反照率集合。

6.根据权利要求4所述的光照估计方法，其特征在于，所述根据所述优化后球面光照系数、所述优化后反照率集合、所述初始法向集合和所述第一图像包括的M个像素点的原始像素值，更新所述优化后球面光照系数，得到所述第一图像的更新后球面光照系数，包括：

获取所述M个像素点的第二重构像素值与原始像素值之间的差异，所述获取所述M个像素点的第二重构像素值与原始像素值之间的差异包括：根据第p个像素点的优化后反照率、所述第p个像素点的初始球面调和基函数和所述优化后球面光照系数，获取所述第p个像素点的第二重构像素值，所述第p个像素点的初始球面调和基函数由球面调和基函数和所述第p个像素点的初始法向确定，p为整数，p的取值为1至M；获取所述第p个像素点的第二重构像素值与所述第p个像素点的原始像素值之间的差异，所述第p个像素点的原始像素值属于所述第一图像包括的M个像素点的原始像素值；

以减少所述M个像素点的第二重构像素值与原始像素值之间的差异为目标，更新所述优化后球面光照系数，从而得到所述更新后球面光照系数。

7.根据权利要求6所述的光照估计方法，其特征在于，在所述根据所述优化后球面光照系数、所述优化后反照率集合、所述初始法向集合和所述第一图像包括的M个像素点的原始像素值，更新所述优化后球面光照系数，得到所述第一图像的更新后球面光照系数之后，所述方法还包括：

确定所述第一图像的光照主方向，所述光照主方向的球面调和基函数与所述更新后球面光照系数的乘积大于或者等于其它法向的球面调和基函数与所述更新后球面光照系数的乘积。

8.一种光照估计方法，其特征在于，包括：

根据朗伯体模型获取原始图像的光照估计参数原始值，所述光照估计参数原始值包括原始球面光照系数、原始反照率集合和原始法向集合，所述原始图像包括Q个像素点，所述原始反照率集合包括所述Q个像素点的原始反照率，所述原始法向集合包括所述Q个像素点的原始法向，Q为正整数；

根据卷积神经网络获取第一图像的光照估计参数初始值，所述光照估计参数初始值包括初始球面光照系数、初始反照率集合和初始法向集合，所述第一图像为所述原始图像进行下采样的图像，所述第一图像包括M个像素点，所述初始反照率集合包括所述M个像素点的初始反照率，所述初始法向集合包括所述M个像素点的初始法向，Q大于M；

根据所述原始图像的分辨率上采样所述初始反照率集合和所述初始法向集合，得到上采样反照率集合和上采样法向集合，所述上采样反照率集合包括Q个像素点的上采样反照率，所述上采样法向集合包括所述Q个像素点的上采样法向；

根据所述原始反照率集合与所述上采样反照率集合的误差、所述原始法向集合与所述上采样法向集合的误差和所述原始图像与重构图像的误差之和构建优化模型，所述重构图像由所述上采样反照率集合、球面调和基函数、所述上采样法向集合和所述原始球面光照系数确定；

以减少所述误差之后为优化目标，根据所述优化模型优化所述上采样反照率集合和所述上采样法向集合，获取优化后上采样反照率集合和优化后上采样法向集合。

9.一种光照估计装置，其特征在于，包括：

处理单元，用于根据第一图像和卷积神经网络，得到所述第一图像的光照估计参数初始值，所述光照估计参数初始值包括初始球面光照系数、初始反照率集合和初始法向集合，所述第一图像包括M个像素点，所述初始反照率集合包括所述M个像素点的初始反照率，所述初始法向集合包括所述M个像素点的初始法向，M为正整数；

所述处理单元，还用于根据所述初始球面光照系数、所述初始反照率集合、所述初始法向集合和所述第一图像包括的M个像素点的原始像素值，确定所述第一图像的优化后球面光照系数。

10.根据权利要求9所述的光照估计装置，其特征在于，所述处理单元用于：

获取所述M个像素点的第一重构像素值与原始像素值之间的差异，所述获取M个像素点的第一重构像素值与原始像素值之间的差异包括：根据第p个像素点的初始反照率、所述第p个像素点的初始球面调和基函数和所述初始球面光照系数，获取所述第p个像素点的第一重构像素值，所述第p个像素点的初始球面调和基函数由球面调和基函数和所述第p个像素点的初始法向确定，p为整数，p的取值为1至M；获取所述第p个像素点的第一重构像素值与所述第p个像素点的原始像素值之间的差异，所述第p个像素点的原始像素值属于所述第一图像包括的M个像素点的原始像素值；

以减少所述M个像素点的第一重构像素值与原始像素值之间的差异为目标，优化所述初始球面光照系数，从而得到所述优化后球面光照系数。

11.根据权利要求9或10所述的光照估计装置，其特征在于，所述处理单元，还用于：

根据所述优化后球面光照系数、所述初始法向集合和预设的环境光对反照率的影响因子，确定所述第一图像的优化后反照率集合，所述优化后反照率集合包括所述M个像素点的优化后反照率。

12.根据权利要求11所述的光照估计装置，其特征在于，所述处理单元，还用于：

根据所述优化后球面光照系数、所述优化后反照率集合、所述初始法向集合和所述第一图像包括的M个像素点的原始像素值，更新所述优化后球面光照系数，得到所述第一图像的更新后球面光照系数。

13.根据权利要求11所述的光照估计装置，其特征在于，所述处理单元用于：

根据第p个像素点的初始球面调和基函数、所述影响因子和所述优化后球面光照系数，估计理想球面光照系数，所述第p个像素点的初始球面调和基函数由球面调和基函数和所述第p个像素点的初始法向确定，p为整数，p的取值为1至M；

利用朗伯体模型，根据所述第p个像素点的初始球面调和基函数、所述理想球面光照系数和所述第一图像包括的M个像素点的原始像素值，确定所述第一图像的优化后反照率集合。

14.根据权利要求12所述的光照估计装置，其特征在于，所述处理单元用于：

获取所述M个像素点的第二重构像素值与原始像素值之间的差异，所述获取所述M个像素点的第二重构像素值与原始像素值之间的差异包括：根据第p个像素点的优化后反照率、所述第p个像素点的初始球面调和基函数和所述优化后球面光照系数，获取所述第p个像素点的第二重构像素值，所述第p个像素点的初始球面调和基函数由球面调和基函数和所述第p个像素点的初始法向确定，p为整数，p的取值为1至M；获取所述第p个像素点的第二重构像素值与所述第p个像素点的原始像素值之间的差异，所述第p个像素点的原始像素值属于所述第一图像包括的M个像素点的原始像素值；

以减少所述M个像素点的第二重构像素值与原始像素值之间的差异为目标，更新所述优化后球面光照系数，从而得到所述更新后球面光照系数。

15.根据权利要求14所述的光照估计装置，其特征在于，所述处理单元，还用于：

确定所述第一图像的光照主方向，所述光照主方向的球面调和基函数与所述更新后球面光照系数的乘积大于或者等于其它法向的球面调和基函数与所述更新后球面光照系数的乘积。

16.一种光照估计装置，其特征在于，包括：

处理单元，用于根据朗伯体模型获取原始图像的光照估计参数原始值，所述光照估计参数原始值包括原始球面光照系数、原始反照率集合和原始法向集合，所述原始图像包括Q个像素点，所述原始反照率集合包括所述Q个像素点的原始反照率，所述原始法向集合包括所述Q个像素点的原始法向，Q为正整数；

所述处理单元，还用于根据卷积神经网络获取第一图像的光照估计参数初始值，所述光照估计参数初始值包括初始球面光照系数、初始反照率集合和初始法向集合，所述第一图像为所述原始图像进行下采样的图像，所述第一图像包括M个像素点，所述初始反照率集合包括所述M个像素点的初始反照率，所述初始法向集合包括所述M个像素点的初始法向，Q大于M；

所述处理单元，还用于根据所述原始图像的分辨率上采样所述初始反照率集合和所述初始法向集合，得到上采样反照率集合和上采样法向集合，所述上采样反照率集合包括Q个像素点的上采样反照率，所述上采样法向集合包括所述Q个像素点的上采样法向；

所述处理单元，还用于根据所述原始反照率集合与所述上采样反照率集合的误差、所述原始法向集合与所述上采样法向集合的误差和所述原始图像与重构图像的误差之和构建优化模型，所述重构图像由所述上采样反照率集合、球面调和基函数、所述上采样法向集合和所述原始球面光照系数确定；

所述处理单元，还用于以减少所述误差之后为优化目标，根据所述优化模型优化所述上采样反照率集合和所述上采样法向集合，获取优化后上采样反照率集合和优化后上采样法向集合。

17.一种光照估计装置，其特征在于，所述光照估计装置包括：一个或多个处理器、存储器和通信接口；

所述存储器、所述通信接口与所述一个或多个处理器连接；所述光照估计装置通过所述通信接口与其他设备通信，所述存储器用于存储计算机程序代码，所述计算机程序代码包括指令，当所述一个或多个处理器执行所述指令时，所述光照估计装置执行如权利要求1-7中任意一项所述的方法或权利要求8所述的方法。

18.一种计算机可读存储介质，其特征在于，包括：计算机软件指令；

当所述计算机软件指令在设备或内置在设备的芯片中运行时，使得所述设备执行如权利要求1-7中任意一项所述的方法或权利要求8所述的方法。

19.一种包含指令的计算机程序产品，其特征在于，当所述计算机程序产品在设备或内置在设备的芯片中运行时，使得所述设备执行如权利要求1-7中任意一项所述的方法或权利要求8所述的方法。

Images