CN115546041A - 补光模型的训练方法、图像处理方法及其相关设备 - Google Patents

Abstract

本申请提供一种补光模型的训练方法、图像处理方法及其相关设备，涉及图像技术领域，该训练方法包括：对获取的多帧初始人像训练图像进行第一处理，得到精细掩膜人像训练图像和多帧OLAT训练图像；对精细掩膜人像训练图像和多帧OLAT训练图像进行第二处理，得到反照率人像训练图像和法向人像训练图像；对精细掩膜人像训练图像和多帧OLAT训练图像，以及全景环境图像进行第三处理，得到待补光合成渲染图像和补光合成渲染图像；利用反照率人像训练图像、法向人像训练图像、待补光合成渲染图像和补光合成渲染图像对初始补光模型进行训练，得到目标补光模型。本申请利用深度学习的方法，对待拍摄场景中的人像和环境进行补光，实现提升人像清晰度和对比度的目的。

Description

补光模型的训练方法、图像处理方法及其相关设备

技术领域

本申请涉及图像技术领域，尤其涉及一种补光模型的训练方法、图像处理方法及其相关设备。

背景技术

摄像是光与影的艺术，在户外环境进行拍摄时，自然光能够较真实地记录拍摄现场的实时光效，但是它并不能出现在每一个需要照射的部分，由此，部分角度将会产生阴影或者部分区域将成为暗光区域。比如在强烈的日光下拍摄逆光或侧逆光的人像特写时，周围光线较强，人像区域则成为暗光区域，看不清细节。

对此，如果是专业的摄影师进行拍摄，将会利用外置闪光灯或聚光灯等外置人造光源来进行补光，从而可以在减少环境光影响的同时，充分利用光影效果拍摄出更有张力的人像照片。

但对于日常生活中更多地使用手机等电子设备进行拍摄的普通用户来讲，不可能为了拍摄照片去搭建这样专业的外置补光场景，既不现实也没必要。为此，如何打破硬件限制，通过计算方法为手机等电子设备助力，使其能拍摄出媲美专业摄影师、专业拍摄场地的光线效果下拍摄的人像照片，成为了图形学、各大厂商的研究热点。

发明内容

本申请提供一种补光模型的训练方法、图像处理方法及其相关设备，通过利用深度学习的方法，结合待拍摄场景中环境光的光照情况、待拍摄人像的头部姿态、法向和反照率，以对待拍摄场景中的人像和环境进行补光，实现提升人像清晰度和对比度的目的。

为达到上述目的，本申请采用如下技术方案：

第一方面，提供一种补光模型的训练方法，该方法包括：

获取多帧初始人像训练图像和全景环境图像；

对所述多帧初始人像训练图像进行第一处理，得到精细掩膜人像训练图像和多帧OLAT(one light at a time)训练图像；

对所述精细掩膜人像训练图像和所述多帧OLAT训练图像进行第二处理，得到反照率人像训练图像和法向人像训练图像；

对所述精细掩膜人像训练图像和所述多帧OLAT训练图像，以及所述全景环境图像进行第三处理，得到待补光合成渲染图像和补光合成渲染图像；

利用所述反照率人像训练图像、所述法向人像训练图像、所述待补光合成渲染图像和所述补光合成渲染图像对初始补光模型进行训练，得到目标补光模型；

其中，所述初始补光模型包括初始逆渲染子模型、补光位置估计模块和初始补光控制子模型；所述目标补光模型包括目标逆渲染子模型、所述补光位置估计模块和目标补光控制子模型。

本申请实施例提供了一种补光模型的训练方法，在训练过程中，通过利用新的构造数据的方法，来构造更真实的训练图像，以训练初始补光模型，由此来提高得到的目标补光模型的处理效果。

在第一方面一种可能的实现方式中，对所述多帧初始人像训练图像进行第一处理，得到精细掩膜人像训练图像和多帧OLAT训练图像，包括：

将多帧正常人像训练图像分别与全亮人像训练图像进行配准，得到所述多帧OLAT训练图像，其中，所述多帧初始人像训练图像包括所述多帧正常人像训练图像、全亮人像训练图像、掩膜人像训练图像和空像训练图像；

将所述掩膜人像训练图像与所述全亮人像训练图像进行配准，得到配准后的掩膜人像训练图像；

将所述配准后的掩膜人像训练图像和所述空像训练图像相除，得到所述精细掩膜人像训练图像。

在该实现方式中，本申请通过获取掩膜人像训练图像和空像训练图像，以相除得到精细掩膜人像训练图像，以便于后续根据精细掩膜人像训练图像，将人像和背景环境进行更精细地区分处理。

在第一方面一种可能的实现方式中，对所述精细掩膜人像训练图像和所述多帧OLAT训练图像进行第二处理，得到反照率人像训练图像和法向人像训练图像，包括：

将所述多帧OLAT训练图像分别与所述精细掩膜人像训练图像相乘，得到多帧OLAT中间图像；

根据所述多帧OLAT中间图像，利用光度立体公式，确定所述反照率人像训练图像和所述法向人像训练图像。

在该实现方式中，本申请通过根据多帧OLAT训练图像，利用光度立体公式来求解出相应像素点位置处的反照率和法向量，从而可以构建出表示人像反照率信息的反照率人像训练图像和表示人像法向信息的法向人像训练图像，以便于提供给模型训练阶段进行模型训练。

在第一方面一种可能的实现方式中，对所述精细掩膜人像训练图像和所述多帧OLAT训练图像，以及所述全景环境图像进行第三处理，得到待补光合成渲染图像，包括：

根据所述多帧OLAT训练图像和所述全景环境图像，确定全景环境标注图像，所述全景环境标注图像标注有所述多帧OLAT训练图像各自对应的光源的位置；

根据三角网算法，按照光源的位置对所述全景环境标注图像进行区域划分；

确定所述全景环境标注图像中每个区域对应的权重；

根据所述多帧OLAT训练图像和所述全景环境标注图像中每个区域对应的权重，确定所述待补光人像渲染图像；

根据所述全景环境图像和所述待补光人像渲染图像，得到所述待补光合成渲染图像。

应理解，全景环境标注图像中划分的区域与OLAT训练图像一一对应，或者说与OLAT训练图像对应的光源一一对应。

在该实现方式中，本申请通过根据OLAT训练图像和全景环境图像，确定显示有光源位置的全景环境标注图像；再从全景环境标注图像中确定出每个光源所在区域对应的权重，将其作为每个光源合成该环境的光照情况中的权重，从而OLAT中间图像可以根据该权重加权求和出在该环境的光照情况下，人物所达到的光影效果，也即得到待补光人像渲染图像；然后，根据全景环境图像与待补光人像渲染图像，即可得到能同时表示该环境的光照情况以及处于该环境下的人物的光影效果的待补光合成渲染图像。

在第一方面一种可能的实现方式中，根据所述多帧OLAT训练图像和所述全景环境图像，确定全景环境标注图像，包括：

根据所述多帧OLAT训练图像，确定每帧OLAT训练图像所对应的光源的直角坐标；

将所述光源的直角坐标转换为极坐标；

根据所述光源对应的极坐标，在所述全景环境图像上标注光源的位置，得到所述全景环境标注图像。

在该实现方式中，本申请通过将OLAT训练图像所对应的光源的直角坐标进行坐标转换后，即可在全景环境图像中标注出所有光源的极坐标位置，得到全景环境标注图像。

在第一方面一种可能的实现方式中，根据所述多帧OLAT训练图像和所述全景环境标注图像中每个区域对应的权重，确定所述待补光人像渲染图像，包括：

将所述多帧OLAT训练图像分别与所述精细掩膜人像训练图像相乘，得到所述多帧OLAT中间图像；

利用所述全景环境标注图像中每个区域对应的权重，将所述多帧OLAT中间图像进行加权求和，得到所述待补光人像渲染图像。

在该实现方式中，本申请通过将所有OLAT中间图像以及对应的权重进行加权求和后，即可得到在全景环境标注图像所示的环境中，由所有呈现不同明暗程度的光源所组成的复杂光照场景下，人像所对应的光影效果。

在第一方面一种可能的实现方式中，根据所述全景环境图像和所述待补光人像渲染图像，得到所述待补光合成渲染图像，包括：

将所述全景环境图像进行裁切，得到局部环境图像；

将所述待补光人像渲染图像和所述局部环境图像进行合成，得到所述待补光合成渲染图像。

在该实现方式中，本申请通过将全景环境图像裁切后与待补光人像渲染图像合成，即可得到能同时表示该人像所处局部环境的光照情况以及处于该环境下的人物的光影效果的待补光合成渲染图像。

在第一方面一种可能的实现方式中，对所述精细掩膜人像训练图像和所述多帧OLAT训练图像，以及所述全景环境图像进行第三处理，得到补光合成渲染图像，包括：

根据所述全景环境图像，确定全景补光环境图像；

根据所述多帧OLAT训练图像和所述全景补光环境图像，确定全景补光环境标注图像，所述全景补光环境标注图像标注有所述多帧OLAT训练图像各自对应的光源的位置；

根据三角网算法，按照光源的位置对所述全景补光环境标注图像进行区域划分；

确定所述全景补光环境标注图像中每个区域对应的权重；

根据所述多帧OLAT训练图像和所述全景环境标注图像中每个区域对应的权重，确定所述补光人像渲染图像；

根据所述全景补光环境图像和所述补光人像渲染图像，得到所述补光合成渲染图像。

应理解，全景补光环境标注图像中划分的区域与OLAT训练图像一一对应，或者说与OLAT训练图像对应的光源一一对应。

在该实现方式中，本申请通过确定全景补光环境图像，可以模拟补光后的环境；再通过多帧OLAT训练图像和全景补光环境图像，确定显示有光源位置的全景补光环境标注图像；再从全景环境标注图像中确定出每个光源所在区域对应的权重，将其作为每个光源合成该补光环境的光照情况中的权重，从而OLAT中间图像可以根据该权重加权求和出在该补光环境的光照情况下，人物所到到的光影效果，也即得到补光人像渲染图像；然后，根据全景补光环境图像和补光人像渲染图像，即可得到能同时表示该补光后的环境的光照情况以及处于该环境下的人物的光影效果的补光合成渲染图像。

在第一方面一种可能的实现方式中，根据全景环境图像，确定全景补光环境图像，包括：

获取全景补光图像；

将所述全景补光图像和所述全景环境图像进行叠加，得到所述全景补光环境图像。

在该实现方式中，本申请通过将全景补光图像和全景环境图像进行叠加，可以模拟对环境补光的效果，从而得到全景补光环境图像。

在第一方面一种可能的实现方式中，根据所述多帧OLAT训练图像和所述全景补光环境图像，确定全景补光环境标注图像，包括：

根据所述多帧OLAT训练图像，确定每帧OLAT训练图像所对应的光源的直角坐标；

将所述光源的直角坐标转换为极坐标；

根据所述光源对应的极坐标，在所述全景补光环境图像上标注光源的位置，得到所述全景补光环境标注图像。

在该实现方式中，本申请通过将OLAT训练图像所对应的光源的直角坐标进行坐标转换后，即可在全景补光环境图中标注出所有光源的极坐标位置，得到全景补光环境标注图像。

在第一方面一种可能的实现方式中，根据所述多帧OLAT训练图像和所述全景环境标注图像中每个区域对应的权重，确定所述补光人像渲染图像，包括：

将所述多帧OLAT训练图像分别与所述精细掩膜人像训练图像相乘，得到所述多帧OLAT中间图像；

利用所述全景补光环境标注图像中每个区域对应的权重，将所述多帧OLAT中间图像进行加权求和，得到所述补光人像渲染图像。

在该实现方式中，本申请通过将所有OLAT中间图像以及对应的权重进行加权求和后，即可得到在全景补光环境标注图像所示的补光后的环境中，由所有呈现不同明暗程度的光源以及补光光源所组成的复杂光照场景下，人像所对应的光影效果。

在第一方面一种可能的实现方式中，根据所述全景补光环境图像和所述补光人像渲染图像，得到所述补光合成渲染图像，包括：

将所述全景补光环境图像进行裁切，得到局部补光环境图像；

将所述补光人像渲染图像和所述局部补光环境图像进行合成，得到所述补光合成渲染图像。

在该实现方式中，本申请通过将全景补光环境图像裁切后与待补光人像渲染图像合成，即可得到表示该补光后的环境的光照情况以及处于该补光后的环境下的人物的光影效果的补光合成渲染图像。

在第一方面一种可能的实现方式中，利用所述反照率人像训练图像、所述法向人像训练图像、所述待补光合成渲染图像和所述补光合成渲染图像对初始补光模型进行训练，得到目标补光模型，包括：

将所述待补光合成渲染图像输入所述初始逆渲染子模型中，得到第一输出图像、第二输出图像和第三输出图像；

将所述第一输出图像和所述反照率人像训练图像对比，将所述第二输出图像和所述法向人像训练图像对比，将所述第三输出图像和所述局部环境图像进行对比；

若相似，则将训练后的初始逆渲染子模型作为目标逆渲染子模型。

其中，初始逆渲染子模型可以为U-net模型。

在该实现方式中，本申请通过利用待补光合成渲染图像、反照率人像训练图像、法向人像训练图像和局部环境图像对初始逆渲染子模型进行训练，从而可以得到能从复杂图像中拆解出人像反照率信息、人像法向信息和环境信息的目标逆渲染子模型。

在第一方面一种可能的实现方式中，所述方法还包括：

将所述反照率人像训练图像、所述法向人像训练图像、所述局部补光环境图像和所述待补光合成渲染图像输入所述初始补光控制子模型，得到第四输出图像；

将所述第四输出图像和所述补光合成渲染图像进行对比；

若相似，则将训练后的初始补光控制子模型作为目标补光控制子模型。

其中，初始补光控制子模型可以为U-net模型。

在该实现方式中，本申请通过利用待补光合成渲染图像、精细掩膜人像训练图像、反照率人像训练图像、法向人像训练图像、局部补光环境图像和补光合成渲染图像对初始补光控制子模型进行训练，即可得到能根据补光环境中的补光信息，利用人像反照率信息、人像法向信息，根据补光信息对人像进行补光的目标补光控制子模型。

在第一方面一种可能的实现方式中，将所述反照率人像训练图像、所述法向人像训练图像、所述局部补光环境图像和所述待补光合成渲染图像输入所述初始补光控制子模型，得到第四输出图像，包括：

根据所述法向人像训练图像和所述局部补光环境图像，得到光影训练图像；

将所述待补光合成渲染图像和所述精细掩膜人像训练图像相乘，得到待补光合成中间图像；

将所述反照率人像训练图像、所述法向人像训练图像、所述光影训练图像，以及所述待补光合成中间图像输入所述初始补光控制子模型，得到所述第四输出图像。

在该实现方式中，通过将待补光合成渲染图像和精细掩膜人像训练图像相乘，可以得到细节更丰富的待补光合成中间图像，进而后续对人像的提高补光效果。

第二方面，提供了一种补光模型的训练装置，该装置包括用于执行以上第一方面或第一方面的任意可能的实现方式中各个步骤的单元。

第三方面，提供了一种图像处理方法，该方法包括：显示第一界面，所述第一界面包括第一控件；检测到对所述第一控件的第一操作；响应于所述第一操作，获取原始图像；利用以上第一方面或第一方面的任意可能的实现方式中得到的目标补光模型，对原始图像进行处理，得到拍摄图像。

本申请实施例提供了一种图像处理方法，通过利用目标补光模型将原始图像的人像和环境信息进行拆解，再对环境进行补光，然后再根据补光环境对人像进行补光，从而可以对人物和环境均实现补光，得到清晰度高、对比度强的拍摄图像。

第四方面，提供了一种图像处理装置，该装置包括用于执行以上第三方面或第三方面的任意可能的实现方式中各个步骤的单元。

第五方面，提供了一种电子设备，包括处理器和存储器；存储器，用于存储可在处理器上运行的计算机程序；处理器，用于执行如第一方面或第一方面的任意可能的实现方式中提供的补光模型的训练方法，和/或，如第三方面中提供的图像处理方法。

第六方面，提供了一种芯片，包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有芯片的设备执行如第一方面或第一方面的任意可能的实现方式中提供的补光模型的训练方法，和/或，如第三方面中提供的图像处理方法。

第七方面，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序包括程序指令，程序指令当被处理器执行时，使处理器执行如第一方面或第一方面的任意可能的实现方式中提供的补光模型的训练方法，和/或，如第三方面提供的图像处理方法。

第八方面，提供了一种计算机程序产品，计算机程序产品包括存储了计算机程序的计算机可读存储介质，计算机程序使得计算机执行如第一方面或第一方面的任意可能的实现方式中提供的补光模型的训练方法，和/或，如第三方面提供的图像处理方法。

附图说明

图1为本申请实施例提供的补光模型的训练方法的流程图；

图2为本申请实施例提供的初始补光模型的结构示意图；

图3为本申请实施例提供的获取阶段和第一处理阶段的流程示意图；

图4为本申请实施例提供的第二处理阶段的流程示意图；

图5为本申请实施例提供的第三处理阶段中的第一子阶段的流程示意图；

图6为本申请实施例提供的第三处理阶段中的第二子阶段的流程示意图；

图7为本申请实施例提供的初始逆渲染子模型的训练流程示意图；

图8为本申请实施例提供的初始补光控制子模型的训练流程示意图；

图9为本申请实施例提供的一种图像处理方法的流程示意图；

图10为本申请实施例提供的目标补光模型的结构示意图；

图11为本申请实施例提供的目标补光模型的处理流程示意图；

图12为本申请实施例提供的电子设备的界面示意图；

图13为本申请实施例提供的电子设备的界面示意图；

图14为本申请实施例提供的电子设备的硬件结构示意图；

图15为本申请实施例提供的电子设备的软件结构示意图；

图16为本申请实施例提供的一种图像处理装置的结构示意图；

图17为本申请实施例提供的一种芯片的结构示意图。

具体实施方式

下面将结合附图，对本申请中的技术方案进行描述。

在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，在本申请实施例的描述中，“多个”是指两个或多于两个。

以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。

首先，对本申请实施例中的部分用语进行解释说明，以便于本领域技术人员理解。

1、RGB(red，green，blue)颜色空间或RGB域，指的是一种与人的视觉系统结构相关的颜色模型。根据人眼睛的结构，将所有颜色都当作是红色、绿色和蓝色的不同组合。

2、像素值，指的是位于RGB颜色空间的彩色图像中每个像素对应的一组颜色分量。例如，每个像素对应一组三基色分量，其中，三基色分量分别为红色分量R、绿色分量G和蓝色分量B。

3、逆光，逆光是一种由于被摄主体恰好处于光源和相机之间的状况。在该状态下，容易造成被摄主体曝光不充分的问题，因此，在一般情况下用户应尽量避免在逆光条件下拍摄物体。

4、高速相机，侧重于相机拍摄动作的迅速，每秒可以达到几十万、甚至几百万的图片的采集。

5、配准(image registration)，指的是在同一区域内以不同成像手段所获得的不同图像的地理坐标的匹配。其中，包括几何纠正、投影变换与统一比例尺三方面的处理。

6、反照率(albedo)，通常指的是地表在太阳辐射的影响下，反射辐射通量与入射辐射通量的比值。它是反演很多地表参数的重要变量，反映了地表对太阳辐射的吸收能力。

在本申请中，反照率指的是人像头部在灯光的照射下，反射辐射通量与入射辐射通量的比值，用于反映人像头部表层例如人脸、头皮对光照辐射的吸收能力。

7、法向，法线的方向。

以上是对本申请实施例所涉及的名词的简单介绍，以下不再赘述。

随着电子设备的广泛使用，使用电子设备进行拍照已经成为人们生活中的一种日常行为方式。但是，以手机为例，对于更多地使用手机进行拍摄的普通用户来讲，在待拍摄场景光线条件不好时，不可能为了拍摄照片去搭建专业的外置补光场景，既不现实也没必要。由此，如何打破硬件限制，通过计算方法为手机等电子设备助力，使其能拍摄出媲美专业摄影师、专业拍摄场地的光线效果下拍摄的人像照片，成为了图形学、各大厂商的研究热点。

为了解决上述问题，现有技术中的一些处理方式是：划分拍照屏幕为预览区域和补光区域，用户手动选择补光区域进行补光。这种方式不仅效率低，而且光线变化生硬，补光效果较差。

有鉴于此，本申请实施例提供了一种补光模型的训练方法和一种图像处理方法，在训练过程中，利用新的构造数据的方法，来构造更真实的训练图像，以训练初始补光模型，由此来提高得到的目标补光模型的处理效果。而在图像处理过程中，利用该补光模型来对输入图像进行拆解，分析人像相对应的反照率、法向和所处环境，准确评估补光位置，从而可以更精确地进行补光，进而可以提升输出图像的细节和对比度，生成更加贴合实际环境的补光结果。

下面结合说明书附图，先对本申请实施例所提供的补光模型、以及补光模型的训练方法进行详细介绍。

参考图1，图1是本申请实施例提供的补光模型的训练方法1的流程图。如图1所示的，本申请实施例提供的补光模型的训练方法1包括以五个阶段(S110至S150)，分别第一阶段至第五阶段。其中，第一阶段为获取阶段，第二阶段为第一处理阶段，第三阶段为第二处理阶段，第四阶段为第三处理阶段，第五阶段为模型训练阶段。

S110、获取多帧初始人像训练图像和全景环境图像。

其中，多帧初始人像训练图像包括：多帧正常人像训练图像、全亮人像训练图像、掩膜人像训练图像、空像训练图像。

全亮人像训练图像指的是利用所有光源照射人像时所拍摄到的图像；正常人像训练图像指的是利用部分光源从非人像背面(从人像的正面或侧面)照射人像时所拍摄到的图像，多帧正常人像训练图像中每帧正常人像训练图像所对应的光源位置不同。“正常”与“全亮”是相对应的，当拍摄全亮人像训练图像时所利用的光源数量更改时，全亮人像训练图像将更改，此时，正常人像训练图像也随之更改。

掩膜人像训练图像指的是逆光拍摄灰度板前的人像时所拍摄到的图像。空像训练图像指的是逆光拍摄灰度板时所拍摄到的图像。灰度板可以理解为蒙版，为半透明材质。被灰度板遮挡的区域，光线只有部分透过，也即光照降低。掩膜人像训练图像和空像训练图像也是相对应的，区别仅在于拍摄时有或没有人像。

需要说明的是，为了采集所需的多帧初始人像训练图像，可以构造一个打光装置，该打光装置为类似球体的多面体，例如具有116个顶点，每个顶点位置处安装有一个发光光源对准多面体的中心位置处照射，该中心位置处放置待拍摄物体。其中，该发光光源可以为LED光源，而且该116个LED光源可以发不同颜色的光。

应理解，多面体具有的顶点的个数、以及设置的发光光源的类型和光源颜色，均可以根据需要进行设置，本申请实施例对此不进行任何限制。本申请实施例以116个LED光源，每个光源发白光为例进行说明，后续不再赘述。

此处，由于本申请实施例需要构造包括有人像的图像数据，因此，待拍摄的人物可以坐在打光装置中，使得待拍摄的人物的头部或上半身位于多面体的中心位置处。当然，如果打光装置半径非常大，待拍摄的人物相对于打光装置非常小时，也可以使待拍摄的人物的整个身体位于多面体的中心位置处，本申请实施例对此不进行任何限制。应理解，本申请实施例中的人像指的是待拍摄的人物的头部、上半身或整个身体，以下以待拍摄的人物的头部为例进行说明。

相机正对打光装置的中心位置处，对中心位置处的人像进行拍摄。相机的类型可以选择高速相机。其中，相机的类型、数量和位置均可以根据需要进行配置和更改，本申请实施例对此不进行任何限制，不同位置的高速相机采集图像，不仅可以获得更多的三维信息，还可以有效解决投影(shadow cast)影响。本申请实施例以一个相机为例进行示意，且该相机位于人像正面正对的一侧。

该打光装置还设置有灰度板，灰度板为半透明材质。发光光源照射到灰度板上，可以透过部分光。灰度板设置在人像背面位置，灰度板的尺寸大于人像尺寸。可以理解的是，人像处于灰度板和相机之间，相机对人像进行拍摄时，可以在拍摄到人像的同时，也可以拍摄到人像背后的灰度板。

该打光装置还连接有控制器，控制器用于控制116个发光光源的工作情况，或者说，控制该116个发光光源是否发光以及发光的亮暗程度。

在一些实施例中，该控制器还可以对多面体中心位置处的人像的姿态进行检测，自动调整不同位置处的发光光源的亮度，以避免受到光照的人像的某些区域过曝或欠曝。

结合上述打光装置，全亮人像训练图像，指的是全部发光光源照射打光装置中心位置处的人像时，利用高速相机所采集到的图像。

正常人像训练图像，指的是一个发光光源或几个发光光源(非全部发光光源，且非人像背后的光源)照射打光装置中心位置处的人像时，利用高速相机所采集到的图像。多帧正常人像训练图像各自对应的发光光源位置不同，以模拟不同角度的光照情况。

掩膜人像训练图像，指的是打开灰度板背面的多个发光光源时，例如打开灰度板背面的6个发光光源时，利用高速相机逆光拍摄所采集到的图像。灰度板背面指的是灰度板远离相机的一侧。

空像训练图像，指的是待拍摄的人物离开打光装置，也即去除打光装置中的人像，然后，仅打开灰度板背面的6个发光光源时，利用高速相机逆光拍摄所采集到的图像。

示例性的，在采集正常人像训练图像时，可以每次仅打开一个发光光源，依次将116个发光光源打开，由此，可以对应采集到116帧正常人像训练图像。

还需要说明的是，全景环境图像用于指示能表示360°全方位的环境信息的图像。其中，可以利用金属球球面反射的原理，将金属球放置于不同的场地，以通过相机拍摄金属球来获取全景环境图像。

示例性的，可以将金属球放置于户外的草地上，以反射周围包括蓝天、草地的环境，由此利用相机拍摄金属球可以获取到户外的全景环境图像。

示例性的，可以将金属球放置剧院的中央，以反射周围包括观众席、舞台的环境，由此利用相机拍摄金属球可以获取到剧院室内的全景环境图像。

应理解，本申请通过将不同位置的发光光源去照射人像，从而可以获取到用于表现受到不同角度光照的多帧正常人像训练图像，以便于后续模仿真实处理过程中受到来自不同方向的复杂光照的输入图像。

本申请可以获取多帧全景环境图像，以便于后续模仿真实处理过程中人像所处的不同环境。

S120、对多帧初始人像训练图像进行第一处理，得到精细掩膜人像训练图像和多帧OLAT训练图像。

其中，多帧OLAT训练图像与多帧正常人像训练图像是一一对应的。

S130、对精细掩膜人像训练图像和多帧OLAT训练图像进行第二处理，得到反照率人像训练图像和法向人像训练图像。

其中，反照率人像训练图像用于反映OLAT训练图像中的人像的反照率信息，法向人像训练图像用于反映OLAT训练图像中的人像的法向信息。

S140、对精细掩膜人像训练图像和多帧OLAT训练图像，以及全景环境图像进行第三处理，得到待补光合成渲染图像和补光合成渲染图像。

其中，待补光合成渲染图像用于表示人像和所处的环境，补光合成渲染图像用于表示补光后的人像以及补光后所处的环境。

S150、利用反照率人像训练图像、法向人像训练图像、待补光合成渲染图像和补光合成渲染图像对初始补光模型进行训练，得到目标补光模型。

其中，图2为本申请实施例提供的一种初始补光模型的结构示意图。如图2所示的，该初始补光模型包括：初始逆渲染子模型、补光位置估计模块和初始补光控制子模型。

初始逆渲染子模型、补光位置估计模块和初始补光控制子模型均与输入端相连接，输入端用于输入待补光合成渲染图像；

初始逆渲染子模型还与补光位置估计模块和初始补光控制子模型均连接，初始逆渲染子模型用于对待补光合成渲染图像进行拆解，分析人像对应的反照率信息、法向信息和所处环境。

补光位置估计模块还与目标补光控制子模型相连接，补光位置估计模块用于对人像的姿态进行估计，确定人像对应的欧拉角(yaw，roll，pitch)，然后，结合环境中的光源位置和人像姿态，确定补光位置，对环境进行补光。

初始补光控制子模型用于与输出端相连接，初始补光控制子模型用于结合补光后的环境，对人像进行补光，以期望得到与补光合成渲染图像一样的图像。

本申请实施例提供的补光模型的训练方法，在训练过程中，通过利用新的构造数据的方法，来构造更真实的训练图像，以训练初始补光模型，由此来提高得到的目标补光模型的处理效果。

图3示出了第一处理阶段的流程示意图。第一处理阶段用于为第二处理阶段和第三处理阶段构造训练数据。如图3所示，第一处理阶段包括以下S11至S13。

S11、基于全亮人像训练图像，将多帧正常人像训练图像进行配准，得到多帧配准后的正常人像训练图像。

此处，每帧配准后的正常人像训练图像可以称为OLAT训练图像。

S12、基于全亮人像训练图像，将掩膜人像训练图像进行配准，得到配准后的掩膜人像训练图像。

S13、将配准后的掩膜人像训练图像和空像训练图像相除，得到精细掩膜(matte)人像训练图像。

应理解，配准后的掩膜人像训练图像和空像训练图像进行相除指的是，将相同位置处的像素值进行相除。由于配准后的掩膜人像训练图像和空像训练图像之间的区别仅在于图像中有无人像，相除时两者中内容相同的区域的像素值相同，相除后为1，而内容不同的区域的像素值不同，相除则不是1，由此，进行相除操作后，相当于将人像区域与背景区域进行锐化，使得人像和背景区域区分的更加明显。

应理解，精细掩膜人像训练图像为Y图或者说灰度图，精细掩膜人像训练图像相对于配准后的掩膜人像训练图像掩膜的更精细，可以表现出头发丝等细节。

在第一处理阶段中，通过获取掩膜人像训练图像和空像训练图像，以相除得到精细掩膜人像训练图像，以便于后续根据精细掩膜人像训练图像，将人像和背景环境进行更精细地区分处理。

图4示出了第二处理阶段的流程示意图。如图4所示，第二处理阶段用于基于第一处理阶段得到的OLAT训练图像和精细掩膜人像训练图像，为模型训练阶段构造训练数据。该第二处理阶段包括以下S21至S22。

S21、将配准后的多帧正常人像训练图像，或者说多帧OLAT训练图像，分别与精细掩膜人像训练图像相乘，得到多帧OLAT中间图像。

需要说明的是，将配准后的多帧正常人像训练图像，或者说多帧OLAT训练图像，分别与精细掩膜人像训练图像进行相乘，相当于将每帧OLAT训练图像依据精细掩膜人像训练图像中划分的人像和背景环境进行了加权处理，从而使得得到的OLAT中间图像中的人像和背景环境区分更明显，细节更丰富。

S22、根据多帧OLAT中间图像中的至少三帧OLAT中间图像，利用光度立体公式，确定每个像素点位置处的反照率和法向量，生成反照率人像训练图像和法向人像训练图像。

应理解，光度立体公式为一种使用多个光源方向估计表面几何形状的方法。该方法可以重建出物体表面点的法向量，以及物体不同表面点的反照率。本申请实施例利用该方法可以重建出人像表面点的法向量，以及人像不同表面点的反照率。

其中，光度立体公式为：

t＝ρ×(N×L)×I

在上述公式中，t表示像素值，ρ表示物体表面的反照率，N表示三维的表面法向量，L表示三维的单位光源位置向量，I表示光源的强度。

像素值t可以通过OLAT中间图像直接获得，单位光源位置向量可以提前标定求得，光源的强度可以用常量1表示。由此，在人像和相机都不变动的情况下，利用至少3帧OLAT中间图像，建立至少三个光度立体公式组成方程组，即可求解出人像表面每一点处的反照率和法向量。

应理解，由于光源照射物体表面时，有可能会产生阴影，这样三个光源无法同时照亮的区域就会无法求解出结果，所以，本申请实施例选择利用三帧以上OLAT中间图像，例如116帧OLAT中间图像来求解，通过116个发光光源从不同方向分别照亮人像并成像，来解决这个问题。

应理解，如果利用的是三帧OLAT中间图像求解反照率和法向量，则需要三帧OLAT中间图像分别对应的光源的光照方向不共面。

在第二处理阶段中，本申请通过根据多帧OLAT训练图像，利用光度立体公式来求解出相应像素点位置处的反照率和法向量，从而可以构建出表示人像反照率信息的反照率人像训练图像和表示人像法向信息的法向人像训练图像，以便于提供给模型训练阶段进行模型训练。

图5示出了第三处理阶段中的第一子阶段的流程示意图。第三处理阶段，用于基于第一处理阶段得到的图像，以及全景环境图像，为模型训练阶段构造训练图像。该第三处理阶段包括第一子阶段和第二子阶段，第一子阶段用于为模型训练阶段构造待补光合成渲染图像。其中，如图5所示，第一子阶段包括以下S31至S39。

S31、根据多帧OLAT训练图像，确定每帧OLAT训练图像所对应光源的直角坐标。

S32、将该直角坐标进行坐标转换，转换成极坐标。

S33、根据光源对应的极坐标，在全景环境图像上标注所有光源位置，得到全景环境标注图像。

其中，全景环境标注图像标注有所有OLAT训练图像对应的光源的位置。

在本申请中，由于利用打光装置获取多帧OLAT训练图像时，每帧OLAT训练图像仅对应打开一个LED光源，因此，反过来可以通过一帧OLAT训练图像确定对应的LED光源的直角坐标，然后，将其直角坐标转换成全景下的极坐标。那么，基于116帧OLAT训练图像，从而可以确定出116帧OLAT训练图像对应的116个LED光源的极坐标，然后，将116个极坐标标注在全景环境图像上，即可得到标注有116个LED光源位置的全景环境标注图像。

此处，LED光源的直角坐标是以打光装置的中心位置为原点的直角坐标系进行确定的。

在另一实施例中，也可以利用金属球球面反射的原理，将金属球放置在打光装置的中心位置处，代替待拍摄的人像，由此，可以利用相机拍摄得到一张包含116个LED光源的全景图，将该全景图中的LED光源位置映射到全景环境图像上并进行标注，即可得到全景环境标注图像。

S34、根据三角网(delaunay)算法，按照光源的位置对全景环境标注图像进行区域划分。

其中，三角网算法指的是由一系列连续三角形构成的网状的平面控制图像，是三角测量中布设连续三角形的主要扩展形式，同时向各方向扩展而构成网状。

本申请实施例利用三角网算法，以全景环境标注图像上的每个LED光源位置为中心进行三角形划分，从而可以将整个全景环境标注图像划分成116个三角形区域组成的网状结构。

在另一些实施例中，也可以以每个LED光源位置为中心进行四边形、五边形或六边形划分，从而可以将整个全景环境标注图像划分成116个四边形、五边形或六边形区域组成的网状结构。具体划分的形状可以根据需要进行选择和更改，本申请实施例对此不进行任何限制。

应理解，全景环境标注图像中划分的区域与OLAT训练图像一一对应，或者说与OLAT训练图像对应的光源一一对应。

S35、确定每个区域对应的权重。

其中，可将三角形区域中每个像素对应的像素值(RGB)转换成YUV值，其中，Y值表示亮度，通过计算每个三角形区域所有像素对应亮度的平均值，也即平均亮度来作为该区域对应的权重。由此，在本申请实施例中，可以得到116个三角形区域对应的116个权重。

需要说明的是，通过确定每个区域对应的权重，相当于可以确定出利用打光装置中的116个光源合成该全景环境图像所对应的光照情况时，该116个光源所需配置的明暗程度。

S36、将多帧OLAT训练图像分别与精细掩膜人像训练图像相乘，得到多帧OLAT中间图像。

在第二处理阶段中进行了多帧OLAT训练图像分别与精细掩膜人像训练图像相乘的处理，此处，也可以直接从第二处理阶段中直接获取相乘后得到的OLAT中间图像。

S37、根据多帧OLAT中间图像和全景环境标注图像中每个区域对应的权重，进行加权求和，得到待补光人像渲染图像。

应理解，在本申请实施例中，获取每帧OLAT中间图像对应的OLAT训练图像时，仅有一个LED光源照射，那么，每帧OLAT训练图像或者说每帧OLAT中间图像就可以当作对应LED光源的基准光照程度。

而全景环境标注图像中每个三角形区域对应的权重即反应在构建该环境时，如果由该116个LED光源同时打光，每个LED光源的光照所占的比重。由此，可以将该LED光源在全景环境标注图像中所在三角形区域对应的权重，作为该OLAT中间图像对应的权重，以该权重表示该OLAT中间图像在该全景环境标注图像所示的环境中所占的比重。

这样，将所有OLAT中间图像以及对应的权重进行加权求和后，即可得到在全景环境标注图像所示的环境中，由所有呈现不同明暗程度的光源所组成的复杂光照场景下，人像所对应的光影效果。

在此基础上，可选地，还可以将上述待补光人像渲染图像与精细掩膜人像训练图像再相乘一次，以得到细节更丰富的待补光人像渲染图像。

S38、将全景环境图像进行裁切，得到局部环境图像。

此处，局部环境图像的尺寸应与待补光人像渲染图像的尺寸相同。

需要说明的是，通常会设定人像处于全景环境图像横向方向的四分之一位置处，因此，可以在全景环境图像的左侧四分之一位置处或右侧四分之一位置处裁切出与待补光人像渲染图像尺寸相同的局部区域作为局部环境图像。

S39、将待补光人像渲染图像和局部环境图像进行合成，得到待补光合成渲染图像。

应理解，局部环境图像用于表示全景环境图像所示的环境下，相机所拍摄的环境图像。换句话说，相机拍摄得到的画面为全景环境图像的局部。

将待补光人像渲染图像和局部环境图像进行合成，也即将待补光人像渲染图像贴附在局部环境图像中，从而可以表示该环境的光照情况以及处于该环境下的人物的光影效果。

在第三处理阶段的第一子阶段中，本申请通过将OLAT训练图像所对应的光源的直角坐标进行坐标转换后，可以在全景环境图像中标注出所有光源的极坐标位置，得到全景环境标注图像；再从全景环境标注图像中确定出每个光源所在区域对应的权重，将其作为每个光源合成该环境的光照情况中的权重，从而OLAT中间图像可以根据该权重加权求和出在该环境的光照情况下，人物所达到的光影效果，也即得到待补光人像渲染图像；然后，将全景环境图像裁切后与待补光人像渲染图像合成，即可得到表示该环境的光照情况以及处于该环境下的人物的光影效果的待补光合成渲染图像。

图6示出了第三处理阶段中的第二子阶段的流程示意图。如图6所示，第三处理阶段，该第三处理阶段的第二子阶段用于为模型训练阶段构造补光合成渲染图像，该第二子阶段的S41至S49与上述第一子阶段的S31至S39基本相同，仅增加了S40。

下面结合S40，以及S41至S49，对第二子阶段的过程进行详细描述。

S40、获取全景补光图像，将全景补光图像与全景环境图像进行叠加，得到全景补光环境图像。

全景补光图像用于表示某一光源的补光光照情况，也即反应了从该光源位置进行辐射，在被辐射的区域中增加了一定程度的光照。

在本申请实施例中，可以利用金属球球面反射的原理，将金属球放置在发光装置的中心位置处，代替待拍摄的人像，然后，再利用控制器随机控制一个光源照射金属球，以表示补光光照，从而可以通过相机拍摄金属球得到一帧全景补光图像。当开启不同的光源照射金属球时，将可以通过相机拍摄金属球得到多帧不同的全景补光图像。

将该全景补光图像与全景环境图像进行叠加，也即将全景补光图像表示的补光光照情况与已有的全景环境图像表示的光照情况进行叠加，从而可以模拟补光后的环境中的光照情况，得到全景补光环境图像。

当然，补光光源的位置也可以不是打光装置中的116个LED光源的位置，具体可以根据需要进行设置，本申请实施例对此不进行任何限制。

S41、根据多帧OLAT训练图像，确定每帧OLAT训练图像所对应光源的直角坐标。

S42、将该直角坐标进行坐标转换，转换成极坐标。

S43、根据光源对应的极坐标，在全景补光环境图像上标注所有光源位置，得到全景补光环境标注图像。

应理解，S41和S43与S31和S33的过程分别相同，具体可以参考上述描述，在此不再赘述。

S44、根据三角网(delaunay)算法，对全景补光环境标注图像进行区域划分。

应理解，全景补光环境标注图像中划分的区域与OLAT训练图像一一对应，或者说与OLAT训练图像对应的光源一一对应。

S45、确定每个区域对应的权重。

应理解，S44和S45与上述S34和S35的操作相同，但是，由于S44是对补光后的全景环境进行区域划分形成的三角形区域，所以S45确定出的每个区域的权重为补光后的权重，与S35确定出的权重不同。

S46、将多帧OLAT训练图像分别与精细掩膜人像训练图像相乘，得到多帧OLAT中间图像。

S47、根据多帧OLAT中间图像和全景补光环境标注图像中每个区域对应的权重，进行加权求和，得到补光人像渲染图像。

应理解，在本申请实施例中，获取每帧OLAT中间图像对应的OLAT训练图像时，仅有一个LED光源照射，那么，每帧OLAT训练图像或者说每帧OLAT中间图像就可以当作对应LED光源的基准光照程度。

而全景补光环境标注图像中每个三角形区域对应的权重即反应在构建该补光环境时，如果由该116个LED光源同时打光，每个LED光源的光照所占的比重。由此，可以将该LED光源在全景补光环境标注图像中所在三角形区域对应的权重，作为该OLAT中间图像对应的权重，以该权重表示该OLAT中间图像在该全景补光环境标注图像所示的补光环境中所占的比重。

这样，将所有OLAT中间图像以及对应的权重进行加权求和后，即可得到在全景补光环境标注图像所示的补光环境中，由所有呈现不同明暗程度的光源以及补光光源所组成的复杂光照场景下，人像所对应的光影效果。

在此基础上，可选地，还可以将补光人像渲染图像与精细掩膜人像训练图像再相乘一次，以得到细节更丰富的补光人像渲染图像。

S48、将全景补光环境图像进行裁切，得到局部补光环境图像。

此处，局部补光环境图像的尺寸应与补光人像渲染图像的尺寸相同。

需要说明的是，通常会设定人像处于全景补光环境图像横向方向的四分之一位置处，因此，可以在全景补光环境图像的左侧四分之一位置处或右侧四分之一位置处裁切出与补光人像渲染图像尺寸相同的局部区域作为局部补光环境图像。

S49、将补光人像渲染图像和局部补光环境图像进行合成，得到补光合成渲染图像。

应理解，局部补光环境图像用于表示全景补光环境图像所示的补光环境下，相机所拍摄的环境图像。换句换说，相机拍摄得到的画面为全景补光环境图像的局部。

将补光人像渲染图像和局部补光环境图像进行合成，也即将补光人像渲染图像贴附在局部补光环境中，从而可以表示该环境补光后的光照情况，以及处于该补光环境下的人物的光影效果。

在第三处理阶段的第二子阶段中，本申请通过将全景补光图像和全景环境图像进行叠加，可以模拟对环境补光的效果，从而得到全景补光环境图像；再将OLAT训练图像所对应的光源的直角坐标进行坐标转换后，可以在全景补光环境图中标注出所有光源的极坐标位置，得到全景补光环境标注图像；再从全景环境标注图像中确定出每个光源所在区域对应的权重，将其作为每个光源合成该补光环境的光照情况中的权重，从而OLAT中间图像可以根据该权重加权求和出在该补光环境的光照情况下，人物所到到的光影效果，也即得到补光人像渲染图像；然后，将全景补光环境图像裁切后与待补光人像渲染图像合成，即可得到表示该补光后的环境的光照情况以及处于该补光后的环境下的人物的光影效果的补光合成渲染图像。

应理解，第二子阶段与第一子阶段如果是对同一帧全景环境图像和同一组OLAT训练图像进行处理时，第二子阶段所得到的补光合成渲染图像与第一子阶段所到的待补光合成渲染图像即为一组图像对，环境和人物内容均相同，区别仅在于对人像和环境是否补光。

此处，可以结合不同的全景环境图像，根据上述第三处理阶段的步骤，构造出多对待补光合成渲染图和补光合成渲染图，以提供给模型训练阶段进行训练。

图7示出了模型训练阶段中的初始逆渲染子模型的训练流程示意图。如图7所示，该训练流程包括以下S51至S53。

S51、将S39得到的待补光合成渲染图像输入初始逆渲染子模型中，得到第一输出图像、第二输出图像和第三输出图像。

其中，初始逆渲染子模型为编解码结构的模型，例如可以是U-net模型。当然也可以是其他网络模型，本申请实施例对此不进行任何限制。

应理解，初始逆渲染子模型用于将待补光合成渲染图像进行人物和环境进行拆解，以得到单独的环境图像和能表示人物反照率特征的图像和法向特征的图像。

S52、将第一输出图像和S23得到的反照率人像训练图像进行对比，将第二输出图像和S23得到的法向人像训练图像进行对比，将第三输出图像和S38得到的局部环境图像进行对比。

S53、若不相似，则对初始逆渲染子模型中的参数进行调整。

若相似，则将训练后的初始逆渲染子模型作为目标逆渲染子模型。

示例性的，可以预先设定第一相似度阈值，第二相似度阈值和第三相似度阈值，将第一输出图像和反照率人像训练图像进行对比，判断相似度是否大于第一相似度阈值；将第二输出图像和法向人像训练图像进行对比，判断相似度是否大于第二相似度阈值；将第三输出图像和局部环境图像进行对比，判断相似度是否大于第三相似度阈值。若三者均大于各自对应的相似度阈值，则确定相似，可以将训练后的初始逆渲染子模型作为目标逆渲染子模型，否则，则对初始逆渲染子模型中的参数进行调整，继续进行训练，直至达到相似条件。

应理解，通过利用待补光合成渲染图像、反照率人像训练图像、法向人像训练图像和局部环境图像对初始逆渲染子模型进行训练，从而可以得到能从复杂图像中拆解出人像反照率信息、人像法向信息和环境信息的目标逆渲染子模型。

图8示出了初始补光控制子模型的训练流程示意图。如图8所示，该训练流程包括以下S61至S65。

S61、将S23得到的法向人像训练图像和S48得到的局部补光环境图像进行融合，得到光影训练图像。

S62、将S39得到的待补光合成渲染图像和S13得到的精细掩膜人像训练图像相乘，得到待补光合成中间图像。

S63、将S23得到的反照率人像训练图像、光影训练图像，以及待补光合成中间图像输入至初始补光控制子模型中，得到第四输出图像。

其中，初始补光控制子模型例如可以是U-net模型。当然也可以是其他网络模型，本申请实施例对此不进行任何限制。

S64、将第四输出图像与S49得到的补光合成渲染图像进行对比。

S65、若不相似，则对初始补光控制子模型中的参数进行调整。

若相似，则将训练后的初始补光控制子模型作为目标补光控制子模型。

示例性的，可以预先设定第四相似度阈值，将第四输出图像和补光合成渲染图像进行对比，判断相似度是否大于第四相似度阈值，若大于第四相似度阈值，则确定相似，可以将训练后的初始补光控制子模型作为目标补光控制子模型，否则，则对初始补光控制子模型中的参数进行调整，继续进行训练，直至达到相似条件。

应理解，通过利用待补光合成渲染图像、精细掩膜人像训练图像、反照率人像训练图像、法向人像训练图像、局部补光环境图像和补光合成渲染图像对初始补光控制子模型进行训练，即可得到能根据补光环境中的补光信息，利用人像反照率信息、人像法向信息，根据补光信息对人像进行补光的目标补光控制子模型。

应理解，上述举例说明是为了帮助本领域技术人员理解本申请实施例，而非要将本申请实施例限于所例示的具体数值或具体场景。本领域技术人员根据所给出的上述举例说明，显然可以进行各种等价的修改或变化，这样的修改或变化也落入本申请实施例的范围内。

下面结合上述训练成的目标逆渲染子模型和目标补光控制子模型，以及补光位置估计模块，对本申请实施例提供的图像处理方法进行详细说明。

图9为本申请实施例所示的一种图像处理方法2的流程示意图。该图像处理方法2应用于包括摄像头的电子设备。如图9所示，该图像处理方法2包括：S210至S240。

S210、电子设备启动相机，并显示第一界面，第一界面包括第一控件。

其中，第一界面可以为预览界面，第一控件可以为预览界面上的拍摄键。

S220、电子设备检测到用户在第一界面上对第一控件的第一操作。

其中，第一操作可以为用户在预览界面上对拍摄键的点击操作，当然也可以为其他操作，本申请实施例对此不进行任何限制。

S230、响应于第一操作，摄像头采集原始图像。

其中，原始图像为位于RGB域的图像，也可以为位于RAW域的图像，本申请实施例对此不进行任何限制。

应理解，摄像头可以为主摄摄像头、长焦摄像头、超长焦摄像头、广角摄像头、超广角摄像头等，对于摄像头的种类和数量，本申请实施例对此不进行任何限制。

S240、将原始图像输入目标补光模型进行处理，得到拍摄图像。

其中，拍摄图像为位于RGB域的图像。

参考图10和图11，图10为本申请实施例提供的目标补光模型的结构示意图，图11为本申请实施例提供的目标补光模型的处理流程示意图。

如图10所示，本申请实施例提供的目标补光模型包括：目标逆渲染子模型、补光位置估计模块和目标补光控制子模型。

结合图10和图11，上述S240可以包括以下S241至S243。

S241、将原始图像输入目标补光模型中的目标逆渲染子模型中，得到原始图像对应的反照率图像、法向图像和环境图像。

其中，目标逆渲染子模型用于将原始图像中的人物和环境进行拆解，反照率图像用于表现原始图像中人物所对应的反照率特征，法向图像用于表现原始图像中人物所对应的法向特征，环境图像用于表示原始图像中除过人物之外的环境内容。

S242、将原始图像和环境图像输入补光位置估计模块，确定补光位置，并在补光位置处对环境图像进行补光，得到补光环境图像。

应理解，补光位置估计模块可以根据原始图像中人物的姿态，以及已有的光源确定出该环境图像中补光的位置，从而可以在该环境图像中确定出补光位置。

S243、将反照率图像、法向图像、补光环境图像输入目标补光控制子模型，得到拍摄图像。

此处，为了提高拍摄图像的补光效果，还可以将原始图像与反照率图像、法向图像、补光环境图像一起输入目标补光控制子模型中来处理。

本申请实施例提供了一种图像处理方法，通过利用目标补光模型将原始图像的人像和环境信息进行拆解，再对环境进行补光，然后再根据补光环境对人像进行补光，从而可以对人物和环境均实现补光，得到清晰度高、对比度强的拍摄图像。

在一个示例中，图12为电子设备的一种显示界面的示意图。

如图12中的(a)所示，为电子设备的图形用户界面(graphical user interface，GUI)。当电子设备检测到用户点击界面上的相机应用的图标的操作后，可以启动相机应用，显示如图12中的(b)所示的另一GUI，该GUI可以称为预览界面。

该预览界面上可以包括取景窗口10。在预览状态下，该取景窗口10内可以实时显示预览图像。该预览界面还可以包括多种拍摄模式选项以及第一控件，即，拍摄键11。该多种拍摄模式选项例如包括：拍照模式、录像模式等，拍摄键11用于指示当前拍摄模式为拍照模式、录像模式或者为其他模式。其中，相机应用打开时一般默认处于拍照模式。

示例性的，如图12中的(b)所示，当电子设备启动相机应用后，响应于用户的滑动操作，拍摄模式切换为人像模式，电子设备运行本申请实施例提供的图像处理方法对应的程序。然后，响应于用户对拍摄键11的点击操作，电子设备可以调用目标补光模型进行补光处理后，获取并存储补光后的拍摄图像。

例如，待拍摄场景中有一位女士处于强光照射的环境中，在逆光进行拍照时，利用相关技术获取到的拍摄图像通常会出现图像不清晰，部分区域由于光线照不到而产生阴影等问题。但是，通过本申请的图像处理方法可以有效的解决这些问题，通过目标补光模型对人物进行补光，从而可以得到高解析力、高清晰度的拍摄图像。

在另一个示例中，图13为电子设备的另一种显示界面的示意图。

如图13所示，该预览界面上还包括镜头切换键12。响应于用户对镜头切换键12的点击，在预览状态下，该取景窗口10内可以实时显示由电子设备的前置摄像头所拍摄的预览图像。

示例性的，如图13所示，当电子设备启动相机应用后，响应于用户的点击操作，电子设备运行前置摄像头以及图像处理方法对应的程序。然后，响应于用户对拍摄键11的点击操作，电子设备可以调用目标补光模型进行补光处理，获取并存储补光后的拍摄图像。

在一个示例中，本地设备可以从执行设备获取目标补光模型的相关参数，将目标补光模型部署在本地设备上，利用目标补光模型进行图像处理。

在另一个示例中，执行设备上可以直接部署目标补光模型，执行设备通过从本地设备获取原始图像，并根据目标补光模型对原始图像进行图像处理等。

其中，执行设备可以与其它计算设备配合使用，例如：数据存储器、路由器、负载均衡器等设备。执行设备可以布置在一个物理站点上，或者分布在多个物理站点上。执行设备可以使用数据存储系统中的数据，或者调用数据存储系统中的程序代码来实现本申请实施例的图像处理方法。

需要说明的是，上述执行设备也可以称为云端设备，此时执行设备可以部署在云端。

用户可以操作各自的本地设备与执行设备进行交互。每个本地设备可以表示任何计算设备，例如，个人计算机、计算机工作站、智能手机、平板电脑、智能摄像头、智能汽车或其他类型蜂窝电话、媒体消费设备、可穿戴设备、机顶盒、游戏机等。每个用户的本地设备可以通过任何通信机制/通信标准的通信网络与执行设备进行交互，通信网络可以是广域网、局域网、点对点连接等方式，或它们的任意组合。

本申请实施例提供的图像处理方法，通过利用目标补光模型对原始图像进行补光，从而可以得到清晰度高、对比度强的拍摄图像。

上文结合图1至图13，详细描述了本申请实施例的补光模型的训练方法、图像处理方法，下面将结合图14至图17，详细描述本申请适用的电子设备的软件系统、硬件系统、装置以及芯片。应理解，本申请实施例中的软件系统、硬件系统、装置以及芯片可以执行前述本申请实施例的各种补光模型的训练方法、图像处理方法，即以下各种产品的具体工作过程，可以参考前述方法实施例中的对应过程。

图14示出了本申请提供的一种电子设备的结构示意图。电子设备100可用于实现上述方法实施例中描述的图像处理方法。

电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

处理器110可以运行本申请实施例提供的图像处理方法的软件代码，拍摄得到清晰度较高的图像。充电管理模块140用于从充电器接收充电输入。电源管理模块141用于连接电池142，充电管理模块140与处理器110。电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。显示屏194用于显示图像，视频等。显示屏194包括显示面板。

摄像头193用于捕获图像。可以通过应用程序指令触发开启，实现拍照功能，如拍摄获取任意场景的图像。摄像头可以包括成像镜头、滤光片、图像传感器等部件。物体发出或反射的光线进入成像镜头，通过滤光片，最终汇聚在图像传感器上。图像传感器主要是用于对拍照视角中的所有物体(也可称为待拍摄场景、目标场景，也可以理解为用户期待拍摄的场景图像)发出或反射的光汇聚成像；滤光片主要是用于将光线中的多余光波(例如除可见光外的光波，如红外)滤去；图像传感器主要是用于对接收到的光信号进行光电转换，转换成电信号，并输入处理器130进行后续处理。其中，摄像头193可以位于电子设备100的前面，也可以位于电子设备100的背面，摄像头的具体个数以及排布方式可以根据需求设置，本申请不做任何限制。

示例性的，电子设备100包括前置摄像头和后置摄像头。例如，前置摄像头或者后置摄像头，均可以包括1个或多个摄像头。以电子设备100具有1个后置摄像头为例，这样，电子设备100启动启动1个后置摄像头进行拍摄时，可以使用本申请实施例提供的图像处理方法。或者，摄像头设置于电子设备100的外置配件上，该外置配件可旋转的连接于手机的边框，该外置配件与电子设备100的显示屏194之间所形成的角度为0-360度之间的任意角度。比如，当电子设备100自拍时，外置配件带动摄像头旋转到朝向用户的位置。当然，手机具有多个摄像头时，也可以只有部分摄像头设置在外置配件上，剩余的摄像头设置在电子设备100本体上，本申请实施例对此不进行任何限制。

内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。内部存储器121还可以存储本申请实施例提供的图像处理方法的软件代码，当处理器110运行所述软件代码时，执行图像处理方法的流程步骤，得到清晰度较高的图像。内部存储器121还可以存储拍摄得到的图像。

当然，本申请实施例提供的图像处理方法的软件代码也可以存储在外部存储器中，处理器110可以通过外部存储器接口120运行所述软件代码，执行图像处理方法的流程步骤，得到清晰度较高、对比度强的拍摄图像。电子设备100拍摄得到的图像也可以存储在外部存储器中。

应理解，用户可以指定将图像存储在内部存储器121还是外部存储器中。比如，电子设备100当前与外部存储器相连接时，若电子设备100拍摄得到1帧图像时，可以弹出提示信息，以提示用户将图像存储在外部存储器还是内部存储器；当然，还可以有其他指定方式，本申请实施例对此不进行任何限制；或者，电子设备100检测到内部存储器121的内存量小于预设量时，可以自动将图像存储在外部存储器中。

电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

可以理解的是，本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

上文详细描述了电子设备100的硬件系统，下面介绍电子设备100的软件系统。软件系统可以采用分层架构、事件驱动架构、微核架构、微服务架构或云架构，本申请实施例以分层架构为例，示例性地描述电子设备100的软件系统。

如图15所示，采用分层架构的软件系统分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，软件系统可以分为五层，从上至下分别为应用层210、应用框架层220、硬件抽象层230、驱动层240以及硬件层250。

应用层210可以包括相机、图库应用程序，还可以包括日历、通话、地图、导航、WLAN、蓝牙、音乐、视频、短信息等应用程序。

应用框架层220为应用层210的应用程序提供应用程序访问接口和编程框架。

例如，应用框架层220包括相机访问接口，该相机访问接口用于通过相机管理和相机设备来提供相机的拍摄服务。

应用框架层220中的相机管理用于管理相机。相机管理可以获取相机的参数，例如判断相机的工作状态等。

应用框架层220中的相机设备用于提供不用相机设备以及相机管理之间的数据访问接口。

硬件抽象层230用于将硬件抽象化。比如，硬件抽象层230可以包相机硬件抽象层以及其他硬件设备抽象层；相机硬件抽象层中可以包括相机设备1、相机设备2等；相机硬件抽象层可以与相机算法库相连接，相机硬件抽象层可以调用相机算法库中的算法。

驱动层240用于为不同的硬件设备提供驱动。比如，驱动层可以包括相机驱动；数字信号处理器驱动以及图形处理器驱动。

硬件层250可以包括传感器、图像信号处理器、数字信号处理器、图形处理器以及其他硬件设备。其中，传感器可以包括传感器1、传感器2等，还可以包括深度传感器(timeof flight，TOF)和多光谱传感器。

下面结合显示拍照场景，示例性说明电子设备100的软件系统的工作流程。

当用户在触摸传感器180K上进行单击操作时，相机APP被单击操作唤醒后，通过相机访问接口调用相机硬件抽象层的各个相机设备。示例性的，相机硬件抽象层判断出当前变焦倍数处于[0.6，0.9]变焦倍数范围之间，由此，可以通过向相机设备驱动下发调用广角摄像头的指令，同时相机算法库开始加载本申请实施例所利用的目标补光模型中的算法。

当硬件层的传感器被调用后，例如，调用广角摄像头中的传感器1获取原始图像后，将原始图像发送给图像信号处理进行配准等初步处理，处理后经相机设备驱动返回硬件抽象层，再利用加载的相机算法库中的算法进行处理，例如利用目标补光模型，按照本申请实施例提供的相关处理步骤进行处理，得到拍摄图像。其中，目标补光模型可以通过数字信号处理器驱动调用数字信号处理器、图形处理器驱动调用图形处理器进行处理。

将得到的拍摄图像经相机硬件抽象层、相机访问接口发送回相机应用进行显示和存储。

图16是本申请实施例提供的图像处理装置的示意图。

应理解，图像处理装置300可以执行图9所示的图像处理方法；图像处理装置300包括：获取单元310和处理单元320。还应理解，目标补光模型可以部署于图像处理装置300中。

获取单元310，用于检测用户在第一界面上对第一控件的第一操作。

处理单元320，用于响应于第一操作，指示摄像头采集原始图像。

处理单元320，还用于将原始图像输入目标补光模型进行处理，得到拍摄图像。

需要说明的是，上述图像处理装置300以功能单元的形式体现。这里的术语“单元”可以通过软件和/或硬件形式实现，对此不作具体限定。

例如，“单元”可以是实现上述功能的软件程序、硬件电路或二者结合。所述硬件电路可能包括应用特有集成电路(application specific integrated circuit，ASIC)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器等)和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。

因此，在本申请的实施例中描述的各示例的单元，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机指令；当所述计算机可读存储介质在图像处理装置上运行时，使得该图像处理装置执行如图9所示的方法。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriberline，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)，光介质、或者半导体介质(例如固态硬盘(solid statedisk，SSD))等。

本申请实施例还提供了一种包含计算机指令的计算机程序产品，当其在图像处理装置上运行时，使得图像处理装置可以执行图9所示的方法。

图17为本申请实施例提供的一种芯片的结构示意图。图16所示的芯片可以为通用处理器，也可以为专用处理器。该芯片包括处理器401。其中，处理器401用于支持图像处理装置300执行图13所示的技术方案。

可选的，该芯片还包括收发器402，收发器402用于接受处理器401的控制，用于支持图像处理装置300执行图13所示的技术方案。

可选的，图17所示的芯片还可以包括：存储介质403。

需要说明的是，图17所示的芯片可以使用下述电路或者器件来实现：一个或多个现场可编程门阵列(field programmable gate array，FPGA)、可编程逻辑器件(programmable logicdevice，PLD)、控制器、状态机、门逻辑、分立硬件部件、任何其他适合的电路、或者能够执行本申请通篇所描述的各种功能的电路的任意组合。

上述本申请实施例提供的电子设备、图像处理装置、计算机存储介质、计算机程序产品、芯片均用于执行上文所提供的方法，因此，其所能达到的有益效果可参考上文所提供的方法对应的有益效果，在此不再赘述。

应理解，上述只是为了帮助本领域技术人员更好地理解本申请实施例，而非要限制本申请实施例的范围。本领域技术人员根据所给出的上述示例，显然可以进行各种等价的修改或变化，例如，上述检测方法的各个实施例中某些步骤可以是不必须的，或者可以新加入某些步骤等。或者上述任意两种或者任意多种实施例的组合。这样的修改、变化或者组合后的方案也落入本申请实施例的范围内。

还应理解，上文对本申请实施例的描述着重于强调各个实施例之间的不同之处，未提到的相同或相似之处可以互相参考，为了简洁，这里不再赘述。

还应理解，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

还应理解，本申请实施例中，“预先设定”、“预先定义”可以通过在设备(例如，包括电子设备)中预先保存相应的代码、表格或其他可用于指示相关信息的方式来实现，本申请对于其具体的实现方式不做限定。

还应理解，本申请实施例中的方式、情况、类别以及实施例的划分仅是为了描述的方便，不应构成特别的限定，各种方式、类别、情况以及实施例中的特征在不矛盾的情况下可以相结合。

还应理解，在本申请的各个实施例中，如果没有特殊说明以及逻辑冲突，不同的实施例之间的术语和/或描述具有一致性、且可以相互引用，不同的实施例中的技术特征根据其内在的逻辑关系可以组合形成新的实施例。

最后应说明的是：以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (20)

1.一种补光模型的训练方法，其特征在于，包括：

获取多帧初始人像训练图像和全景环境图像；

对所述多帧初始人像训练图像进行第一处理，得到精细掩膜人像训练图像和多帧OLAT(one light at a time)训练图像；

对所述精细掩膜人像训练图像和所述多帧OLAT训练图像进行第二处理，得到反照率人像训练图像和法向人像训练图像；

对所述精细掩膜人像训练图像和所述多帧OLAT训练图像，以及所述全景环境图像进行第三处理，得到待补光合成渲染图像和补光合成渲染图像；

利用所述反照率人像训练图像、所述法向人像训练图像、所述待补光合成渲染图像和所述补光合成渲染图像对初始补光模型进行训练，得到目标补光模型；

其中，所述初始补光模型包括初始逆渲染子模型、补光位置估计模块和初始补光控制子模型；所述目标补光模型包括目标逆渲染子模型、所述补光位置估计模块和目标补光控制子模型。

2.根据权利要求1所述的补光模型的训练方法，其特征在于，对所述多帧初始人像训练图像进行第一处理，得到精细掩膜人像训练图像和多帧OLAT训练图像，包括：

将多帧正常人像训练图像分别与全亮人像训练图像进行配准，得到所述多帧OLAT训练图像，其中，所述多帧初始人像训练图像包括所述多帧正常人像训练图像、全亮人像训练图像、掩膜人像训练图像和空像训练图像；

将所述掩膜人像训练图像与所述全亮人像训练图像进行配准，得到配准后的掩膜人像训练图像；

将所述配准后的掩膜人像训练图像和所述空像训练图像相除，得到所述精细掩膜人像训练图像。

3.根据权利要求1或2所述的补光模型的训练方法，其特征在于，对所述精细掩膜人像训练图像和所述多帧OLAT训练图像进行第二处理，得到反照率人像训练图像和法向人像训练图像，包括：

将所述多帧OLAT训练图像分别与所述精细掩膜人像训练图像相乘，得到多帧OLAT中间图像；

根据所述多帧OLAT中间图像，利用光度立体公式，确定所述反照率人像训练图像和所述法向人像训练图像。

4.根据权利要求1至3中任一项所述的补光模型的训练方法，其特征在于，对所述精细掩膜人像训练图像和所述多帧OLAT训练图像，以及所述全景环境图像进行第三处理，得到待补光合成渲染图像，包括：

根据所述多帧OLAT训练图像和所述全景环境图像，确定全景环境标注图像，所述全景环境标注图像标注有所述多帧OLAT训练图像各自对应的光源的位置；

根据三角网算法，按照光源的位置对所述全景环境标注图像进行区域划分；

确定所述全景环境标注图像中每个区域对应的权重；

根据所述多帧OLAT训练图像和所述全景环境标注图像中每个区域对应的权重，确定所述待补光人像渲染图像；

根据所述全景环境图像和所述待补光人像渲染图像，得到所述待补光合成渲染图像。

5.根据权利要求4所述的补光模型的训练方法，其特征在于，根据所述多帧OLAT训练图像和所述全景环境图像，确定全景环境标注图像，包括：

根据所述多帧OLAT训练图像，确定每帧OLAT训练图像所对应的光源的直角坐标；

将所述光源的直角坐标转换为极坐标；

根据所述光源对应的极坐标，在所述全景环境图像上标注光源的位置，得到所述全景环境标注图像。

6.根据权利要求4或5所述的补光模型的训练方法，其特征在于，根据所述多帧OLAT训练图像和所述全景环境标注图像中每个区域对应的权重，确定所述待补光人像渲染图像，包括：

将所述多帧OLAT训练图像分别与所述精细掩膜人像训练图像相乘，得到所述多帧OLAT中间图像；

利用所述全景环境标注图像中每个区域对应的权重，将所述多帧OLAT中间图像进行加权求和，得到所述待补光人像渲染图像。

7.根据权利要求4至6中任一项所述的补光模型的训练方法，其特征在于，根据所述全景环境图像和所述待补光人像渲染图像，得到所述待补光合成渲染图像，包括：

将所述全景环境图像进行裁切，得到局部环境图像；

将所述待补光人像渲染图像和所述局部环境图像进行合成，得到所述待补光合成渲染图像。

8.根据权利要求1至7中任一项所述的补光模型的训练方法，其特征在于，对所述精细掩膜人像训练图像和所述多帧OLAT训练图像，以及所述全景环境图像进行第三处理，得到补光合成渲染图像，包括：

根据所述全景环境图像，确定全景补光环境图像；

根据所述多帧OLAT训练图像和所述全景补光环境图像，确定全景补光环境标注图像，所述全景补光环境标注图像标注有所述多帧OLAT训练图像各自对应的光源的位置；

根据三角网算法，按照光源的位置对所述全景补光环境标注图像进行区域划分；

确定所述全景补光环境标注图像中每个区域对应的权重；

根据所述多帧OLAT训练图像和所述全景环境标注图像中每个区域对应的权重，确定所述补光人像渲染图像；

根据所述全景补光环境图像和所述补光人像渲染图像，得到所述补光合成渲染图像。

9.根据权利要求8所述的补光模型的训练方法，其特征在于，根据全景环境图像，确定全景补光环境图像，包括：

获取全景补光图像；

将所述全景补光图像和所述全景环境图像进行叠加，得到所述全景补光环境图像。

10.根据权利要求8或9所述的补光模型的训练方法，其特征在于，根据所述多帧OLAT训练图像和所述全景补光环境图像，确定全景补光环境标注图像，包括

根据所述多帧OLAT训练图像，确定每帧OLAT训练图像所对应的光源的直角坐标；

将所述光源的直角坐标转换为极坐标；

根据所述光源对应的极坐标，在所述全景补光环境图像上标注光源的位置，得到所述全景补光环境标注图像。

11.根据权利要求8至10中任一项所述的补光模型的训练方法，其特征在于，根据所述多帧OLAT训练图像和所述全景环境标注图像中每个区域对应的权重，确定所述补光人像渲染图像，包括：

将所述多帧OLAT训练图像分别与所述精细掩膜人像训练图像相乘，得到所述多帧OLAT中间图像；

利用所述全景补光环境标注图像中每个区域对应的权重，将所述多帧OLAT中间图像进行加权求和，得到所述补光人像渲染图像。

12.根据权利要求8至11中任一项所述的补光模型的训练方法，其特征在于，根据所述全景补光环境图像和所述补光人像渲染图像，得到所述补光合成渲染图像，包括：

将所述全景补光环境图像进行裁切，得到局部补光环境图像；

将所述补光人像渲染图像和所述局部补光环境图像进行合成，得到所述补光合成渲染图像。

13.根据权利要求7或12所述的补光模型的训练方法，其特征在于，利用所述反照率人像训练图像、所述法向人像训练图像、所述待补光合成渲染图像和所述补光合成渲染图像对初始补光模型进行训练，得到目标补光模型，包括：

将所述待补光合成渲染图像输入所述初始逆渲染子模型中，得到第一输出图像、第二输出图像和第三输出图像；

将所述第一输出图像和所述反照率人像训练图像对比，将所述第二输出图像和所述法向人像训练图像对比，将所述第三输出图像和所述局部环境图像进行对比；

若相似，则将训练后的初始逆渲染子模型作为目标逆渲染子模型。

14.根据权利要求12或13所述的补光模型的训练方法，其特征在于，所述方法还包括：

将所述反照率人像训练图像、所述法向人像训练图像、所述局部补光环境图像和所述待补光合成渲染图像输入所述初始补光控制子模型，得到第四输出图像；

将所述第四输出图像和所述补光合成渲染图像进行对比；

若相似，则将训练后的初始补光控制子模型作为目标补光控制子模型。

15.根据权利要求14所述的补光模型的训练方法，其特征在于，将所述反照率人像训练图像、所述法向人像训练图像、所述局部补光环境图像和所述待补光合成渲染图像输入所述初始补光控制子模型，得到第四输出图像，包括：

根据所述法向人像训练图像和所述局部补光环境图像，得到光影训练图像；

将所述待补光合成渲染图像和所述精细掩膜人像训练图像相乘，得到待补光合成中间图像；

将所述反照率人像训练图像、所述法向人像训练图像、所述光影训练图像，以及所述待补光合成中间图像输入所述初始补光控制子模型，得到所述第四输出图像。

16.一种图像处理方法，其特征在于，所述方法包括：

显示第一界面，所述第一界面包括第一控件；

检测到对所述第一控件的第一操作；

响应于所述第一操作，获取原始图像；

利用如权利要求1至15中任一项得到的所述目标补光模型，对所述原始图像进行处理，得到拍摄图像。

17.一种电子设备，其特征在于，包括处理器和存储器；

所述存储器，用于存储可在所述处理器上运行的计算机程序；

所述处理器，用于执行如权利要求1至15中任一项所述的补光模型的训练方法，和/或，如权利要求16所述的图像处理方法。

18.一种芯片，其特征在于，包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行如权利要求1至15中任一项所述的补光模型的训练方法，和/或，如权利要求16所述的图像处理方法。

19.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，使所述处理器执行如权利要求1至15中任一项所述的补光模型的训练方法，和/或，如权利要求16所述的图像处理方法。

20.一种计算机程序产品，其特征在于，所述计算机程序产品包括存储了计算机程序的计算机可读存储介质，计算机程序使得计算机执行如权利要求1至15中任一项所述的补光模型的训练方法，和/或，如权利要求16所述的图像处理方法。

Images