CN116245741B - 图像处理方法及其相关设备 - Google Patents

Abstract

本申请提供一种图像处理方法及其相关设备，涉及图像技术领域，该方法包括：显示第一界面，第一界面包括第一控件；检测到对第一控件的第一操作；响应于第一操作，获取原始图像；确定原始图像对应的反照率图像、法向图像和环境图像；对反照率图像进行清晰度增强处理，得到高清反照率图像；根据原始图像、高清反照率图像、法向图像和环境图像，确定目标图像。本申请通过对原始图像中分解出的反照率图像进行清晰度增强处理，从而可以得到高质量的拍摄图像。

Description

图像处理方法及其相关设备

技术领域

本申请涉及图像技术领域，尤其涉及一种图像处理方法及其相关设备。

背景技术

随着电子设备的广泛使用，使用电子设备进行拍照已经成为人们生活中的一种日常行为方式。但是，以手机为例，对于更多地使用手机进行拍摄的普通用户来讲，在待拍摄场景光线条件不好时，不可能为了拍摄照片去搭建专业的外置补光场景，既不现实也没必要。由此，如何打破硬件限制，通过计算方法为手机等电子设备助力，使其能拍摄出媲美专业摄影师、专业拍摄场地的光线效果下拍摄的照片，成为了各大厂商的研究热点。

相关技术中已经提出了很多对暗光图像进行处理的算法，例如清晰度增强的算法、提亮的算法等。但是，这些算法又会引入模糊、伪影、伪纹理等问题，影响图像质量。对此，亟需一种新的方法解决这些问题。

发明内容

本申请提供一种图像处理方法及其相关设备，通过对原始图像中分解出的反照率图像进行清晰度增强处理，从而可以得到高质量的拍摄图像。

为达到上述目的，本申请采用如下技术方案：

第一方面，提供一种图像处理方法，该方法包括：

显示第一界面，所述第一界面包括第一控件；

检测到对所述第一控件的第一操作；

响应于所述第一操作，获取原始图像；

确定所述原始图像对应的反照率图像、法向图像和环境图像；

对所述反照率图像进行清晰度增强处理，得到高清反照率图像；

根据所述原始图像、所述高清反照率图像、所述法向图像和所述环境图像，确定目标图像。

其中，反照率图像用于表现原始图像中人像所对应的反照率特征，法向图像用于表现原始图像中人像所对应的法向特征，环境图像用于表示原始图像中除过人像之外的环境内容。

在本申请的实施例中，通过对原始图像进行拆解，拆分出人像相对应的反照率图像、法向图像和所处环境的环境图像，然后，对反照率图像进行清晰度增强处理，从而可以单独、有效地提高人像的清晰度，进而可以提升后续根据反照率图像、法向图像和环境图像确定出的目标图像中的人像细节，生成更加准确、清晰的图像。相对于现有技术中对整个图像进行增强处理，利用本申请实施例提供的方法生成的图像清晰度更高、对比度更好，质量更好。

在第一方面一种可能的实现方式中，在对所述反照率图像进行清晰度增强处理，得到高清反照率图像之前，所述方法还包括：

确定所述反照率图像是否需要进行清晰度增强处理；

若是，则对所述反照率图像进行清晰度增强处理，得到所述高清反照率图像。

在该实现方式中，通过确定反照率图像是否需要进行清晰度增强处理，相当于反照率图像进行了筛选。这样进行筛选，一方面，仅对部分需要进行清晰度增强处理的反照率图像进行处理，可以提高处理效率，另一方面，避免对不需要进行增强处理的反照率图像进行增强处理后，弄巧成拙，出现伪影等异常情况。

在第一方面一种可能的实现方式中，确定所述反照率图像是否需要进行清晰度增强处理，包括：

确定所述反照率图像对应的NRSS值，并判断所述NRSS值是否大于预设阈值；

若是，则所述反照率图像需要进行清晰度增强处理；

若否，则所述反照率图像不需要进行所述清晰度增强处理。

在该实现方式中，通过确定NRSS值可以对反照率图像的质量进行评价，然后，通过设定预设阈值，基于判断预设阈值与NRSS值的大小，来对反照率图像进行筛选。

在第一方面一种可能的实现方式中，确定所述反照率图像对应的NRSS值，包括：

对所述反照率图像进行滤波处理，得到参考图像；

分别确定所述反照率图像和所述参考图像的梯度信息，生成各自对应的梯度图像；

将每帧梯度图像划分成多个图像块；

确定所述反照率图像对应的梯度图像中每个图像块的方差，并按照方差从大到小的顺序，对所述反照率图像对应的梯度图像中的多个图像块进行排序；

根据所述反照率图像对应的梯度图像中的前N个图像块，确定所述参考图像对应的梯度图像中的前N个图像块，N为大于或等于1的正整数；

根据所述反照率图像对应的梯度图像中的前N个图像块各自的方差，以及所述参考图像对应的梯度图像中的前N个图像块各自的方差，确定所述反照率图像对应的NRSS值。

在该实现方式中，方差越大说明图像块所包含的梯度信息越丰富，细节越多；反之，方差越小说明图像块所包含的梯度信息越少，内容越平滑。由此，按照方差大小将图像块进行排序，即可以将图像块按照细节丰富至细节较少的顺序进行排序。然后，通过根据根据反照率图像对应的梯度图像中的前N个图像块各自的方差，以及参考图像对应的梯度图像中的前个图像块各自的方差，即两张图像中细节相对较多的前N个图像块来确定反照率图像对应的NRSS值。

在第一方面一种可能的实现方式中，对所述反照率图像进行清晰度增强处理，得到高清反照率图像，包括：

利用增强模型对所述反照率图像进行清晰度增强处理，得到所述高清反照率图像，其中，所述增强模型基于Face SR模型生成。

在该实现方式中，Face SR指的是利用低分辨率人脸图像和人脸固有的属性重建高分辨人脸图像的技术，由此，当需要进行清晰度增强时，可以利用基于Face SR模型生成的增强模型对需要进行清晰度增强处理的反照率图像进行处理。

在第一方面一种可能的实现方式中，所述增强模型包括退化去除模块和人像生成模块；

所述利用增强模型对所述反照率图像进行清晰度增强处理，得到所述高清反照率图像，包括：

利用所述退化去除模块，对所述反照率图像中进行降噪；

根据降噪后的反照率图像，利用所述人像生成模块，得到所述高清反照率图像。

在该实现方式中，由于人像生成模块中加入了退化去除模块从反照率图像中提取的最丰富的特征，由此，对降噪后的反照率图像进行处理后，可以得到高清晰反照率图像。

在第一方面一种可能的实现方式中，根据所述原始图像、所述高清反照率图像、所述法向图像和所述环境图像，确定目标图像，包括：

根据所述原始图像和所述环境图像，确定补光位置，并在所述补光位置处对所述环境图像进行补光，得到补光环境图像；

根据所述法向图像和所述补光环境图像，得到补光光影图像；

根据所述补光光影图像和所述高清反照率图像，得到所述目标图像。

在该实现方式中，通过对环境进行补光，根据补光后的环境再对提高了清晰度的人像进行补光，从而可以对人物和环境均实现补光，进而可以得到清晰度高、对比度强的目标图像。

在第一方面一种可能的实现方式中，确定所述原始图像对应的反照率图像、法向图像和环境图像，包括：

利用逆渲染模型，确定所述原始图像对应的所述反照率图像、所述法向图像和所述环境图像。

在该实现方式中，利用逆渲染模型将原始图像中的人像和环境信息进行拆解，拆解出人像对应的反照率图像、法向图像和所处环境的环境图像。

在第一方面一种可能的实现方式中，所述逆渲染模型包括第一子模型、第二子模型和第三子模型，所述第一子模型与所述第二子模型、所述第三子模型均连接，所述第二子模型和所述第三子模型相连接；

所述利用逆渲染模型，确定所述原始图像对应的所述反照率图像、所述法向图像和所述环境图像，包括：

根据所述原始图像，利用所述第一子模型确定所述法向图像；

根据所述原始图像和所述法向图像，利用所述第二子模型确定所述反照率图像；

根据所述原始图像、所述法向图像和所述反照率图像，利用所述第三子模型确定所述环境图像。

在第一方面一种可能的实现方式中，所述第一子模型、所述第二子模型和所述第三子模型为U-Net或Mobile Net。

第二方面，提供了一种图像处理装置，该装置包括用于执行以上第三方面或第三方面的任意可能的实现方式中各个步骤的单元。

第三方面，提供了一种电子设备，包括处理器和存储器；存储器，用于存储可在处理器上运行的计算机程序；处理器，用于执行如第一方面或第一方面的任意可能的实现方式中提供的图像处理方法。

第四方面，提供了一种芯片，包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有芯片的设备执行如第一方面或第一方面的任意可能的实现方式中提供的图像处理方法。

第五方面，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序包括程序指令，程序指令当被处理器执行时，使处理器执行如第一方面或第一方面的任意可能的实现方式中提供的图像处理方法。

第六方面，提供了一种计算机程序产品，计算机程序产品包括存储了计算机程序的计算机可读存储介质，计算机程序使得计算机执行如第一方面或第一方面的任意可能的实现方式中提供的图像处理方法。

本申请实施例提供的图像处理方法及其相关设备，利用逆渲染模型将原始图像中的人像和环境信息进行拆解，拆解出人像对应的反照率图像、法向图像和所处环境的环境图像，然后，通过确定拆解出的反照率图像的NRSS值是否大于预设阈值，来筛选出质量较好的反照率图像，并对该质量较好的反照率图像进行清晰度增强处理，从而可以单独、有效地提高人像的清晰度；同时，本申请还通过对环境进行补光，根据补光后的环境再对提高了清晰度的人像进行补光，从而可以对人物和环境均实现补光，得到清晰度高、对比度强的目标图像。

附图说明

图1为本申请实施例提供的应用场景一的示意图；

图2为本申请实施例提供的应用场景二的示意图；

图3为本申请实施例提供的一种图像处理方法的流程示意图；

图4为本申请实施例提供的另一种图像处理方法的流程示意图；

图5为逆渲染模型的结构示意图；

图6为本申请实施例提供的一种确定NRSS值的流程示意图；

图7为本申请实施例提供的一种Face SR的结构示意图；

图8为本申请实施例提供的另一种Face SR的结构示意图；

图9为本申请实施例提供的逆渲染模型的训练流程示意图；

图10为图9中第一处理阶段的流程示意图；

图11为图9中第二处理阶段的流程示意图；

图12为图9中第三处理阶段的流程示意图；

图13为图9中逆渲染模型对应的模型训练阶段的流程示意图；

图14为第四处理阶段的流程示意图；

图15为补光控制模型对应的模型训练阶段的流程示意图；

图16为本申请实施例提供的电子设备的硬件结构示意图；

图17为本申请实施例提供的电子设备的软件结构示意图；

图18为本申请实施例提供的一种图像处理装置的结构示意图；

图19为本申请实施例提供的一种芯片的结构示意图。

具体实施方式

下面将结合附图，对本申请中的技术方案进行描述。

在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，在本申请实施例的描述中，“多个”是指两个或多于两个。

以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。

首先，对本申请实施例中的部分用语进行解释说明，以便于本领域技术人员理解。

1、RGB(red，green，blue)颜色空间或RGB域，指的是一种与人的视觉系统结构相关的颜色模型。根据人眼睛的结构，将所有颜色都当作是红色、绿色和蓝色的不同组合。

2、像素值，指的是位于RGB颜色空间的彩色图像中每个像素对应的一组颜色分量。例如，每个像素对应一组三基色分量，其中，三基色分量分别为红色分量R、绿色分量G和蓝色分量B。

3、逆光，逆光是一种由于被摄主体恰好处于光源和相机之间的状况。在该状态下，容易造成被摄主体曝光不充分的问题，因此，在一般情况下用户应尽量避免在逆光条件下拍摄物体。

4、高速相机，侧重于相机拍摄动作的迅速，每秒可以达到几十万、甚至几百万的图片的采集。

5、配准(image registration)，指的是在同一区域内以不同成像手段所获得的不同图像的地理坐标的匹配。其中，包括几何纠正、投影变换与统一比例尺三方面的处理。

6、反照率(albedo)，通常指的是地表在太阳辐射的影响下，反射辐射通量与入射辐射通量的比值。它是反演很多地表参数的重要变量，反映了地表对太阳辐射的吸收能力。

在本申请中，反照率指的是人像头部在灯光的照射下，反射辐射通量与入射辐射通量的比值，用于反映人像头部表层例如人脸、头皮对光照辐射的吸收能力。

7、法向，法线的方向。

8、感受野，机器视觉领域的深度神经网络中有一个概念叫做感受野；感受野用于表示网络内部的不同位置的神经元对原图像的感受范围的大小。

以上是对本申请实施例所涉及的名词的简单介绍，以下不再赘述。

随着电子设备的广泛使用，使用电子设备进行拍照已经成为人们生活中的一种日常行为方式。但是，以手机为例，对于更多地使用手机进行拍摄的普通用户来讲，在待拍摄场景光线条件不好时，不可能为了拍摄照片去搭建专业的外置补光场景，既不现实也没必要。由此，如何打破硬件限制，通过计算方法为手机等电子设备助力，使其能拍摄出媲美专业摄影师、专业拍摄场地的光线效果下拍摄的照片，成为了各大厂商的研究热点。

相关技术中已经提出了很多对暗光图像进行处理的算法，例如清晰度增强的算法、提亮的算法等。但是，使用清晰度增强的算法对暗光图像进行处理时，算法将可能会因为错误的判断对错误细节进行增强，导致引入模糊、伪影、伪纹理等问题，影响图像质量，进而影响用户体验。其中，暗光图像指的是在待拍摄场景光线条件不好时拍摄出的图像，伪影指的是进行处理后在图像上增加了非真实存在的内容，伪纹理指的是进行处理后在图像增加了非真实存在的纹理信息。

例如，暗光图像中，人脸的眉毛上方有一个暗影，使用清晰度增强的算法进行增强时，算法错误的将该暗影也当作眉毛进行增强，这样增强后的图像中将会出现两根眉毛，一根是真实存在的眉毛，另一根则是非真实存在的眉毛，该非真实存在的眉毛即可称为伪影，这样生成的图像严重影响了用户体验。

若对暗光图像先利用提亮算法进行提亮，再利用清晰度算法进行清晰度增强的话，由于暗光图像本身信息不足，提亮后虽然图像整体情况可能得到了改善，但是局部区域还是难以得到良好的改善，例如，暗光图像中，人脸的眉毛上方有一个暗影，即使先对该暗光图像进行提亮再进行清晰度增强，该暗影也难以在图像整体提亮时被有效地消除，这样，后续进行增强时，还是可能会出现错误。

有鉴于此，本申请实施例提供了一种图像处理方法，利用对原始图像进行拆解，拆分出人像相对应的反照率图像、法向图像和所处环境的环境图像，然后，对筛选出的质量较好的反照率图像进行清晰度增强处理，从而可以单独、有效地提高人像的清晰度，进而可以提升后续根据反照率图像、法向图像和环境图像确定出的目标图像中的人像细节，生成更加准确、清晰的图像。

下面结合图1对本申请实施例提供的图像处理方法的应用场景进行举例说明。

本申请实施例提供的图像处理方法可以应用于拍摄领域。例如，可以应用于在暗光环境下拍摄图像或者录制视频。

应用场景一：拍照。

图1为本申请实施例提供的应用场景一的示意图。在一个示例中，以电子设备为手机为例进行举例说明。

如图1中的(a)所示，为电子设备的图形用户界面(graphical user interface，GUI)。当电子设备检测到用户点击界面上的相机应用的图标的操作后，可以启动相机应用，显示如图1中的(b)所示的另一GUI，该GUI可以称为预览界面。

该预览界面上可以包括取景窗口10。在预览状态下，该取景窗口10内可以实时显示预览图像。该预览界面还可以包括多种拍摄模式选项以及第一控件，即，拍摄键11。该多种拍摄模式选项例如包括：大光圈模式、夜景模式、人像模式、拍照模式、录像模式等，拍摄键11用于指示当前拍摄模式为拍照模式、录像模式或者为其他模式。其中，相机应用打开时一般默认处于拍照模式。

示例性的，如图1中的(b)所示，当电子设备启动相机应用后，响应于用户的滑动操作，拍摄模式切换为夜景模式，然后，响应于用户对拍摄键11的点击操作，运行本申请实施例提供的图像处理方法对应的程序，获取拍摄图像。

例如，待拍摄场景为月光暗淡的海边，其中一位女士正在昏暗的沙滩散步，当同伴对该处于暗光环境中的女士进行拍照时，利用相关技术获取到的拍摄图像通常会出现图像不清晰，看不清细节，部分区域还会产生模糊、阴影等问题。但是，若通过本申请的图像处理方法进行处理，则可以对人像进行自动补光和清晰度增强，得到高质量的拍摄图像。

应用场景二：录像。

图2为本申请实施例提供的应用场景二的示意图。

如图2中的(a)所示，当电子设备启动相机应用后，响应于用户的滑动操作，拍摄模式切换为录像模式。该预览界面上还包括镜头切换键12，响应于用户对镜头切换键12的点击，在预览状态下，该取景窗口10内可以实时显示由电子设备的前置摄像头所拍摄的预览图像。

示例性的，如图2中的(b)所示，当电子设备启动相机应用后，响应于用户对拍摄键11的点击操作，电子设备运行前置摄像头以及图像处理方法对应的程序，获取视频。

例如，有一个女士在逆光环境中自拍视频时，由于周围光线较强，人像区域则称为暗光区域，看不清细节，若利用相关技术进行处理，获取的视频通常会出现伪影、伪纹理等问题，但是，若通过本申请实施例提供的图像处理方法进行处理，则可以拍摄的图像进行解析，对人像进行自动补光和清晰度增强处理，从而可以得到高质量的视频。

应理解，上述为对应用场景的举例说明，并不对本申请的应用场景作任何限定。

下面结合说明书附图，对本申请实施例提供的图像处理方法进行详细说明。

图1为本申请实施例所示的一种图像处理方法1的流程示意图。如图1所示，该图像处理方法1包括：S10至S60。

S10、电子设备启动相机，并显示第一界面，第一界面包括第一控件。

其中，第一界面可以为预览界面，第一控件可以为预览界面上的拍摄键。

S20、电子设备检测到用户在第一界面上对第一控件的第一操作。

其中，第一操作可以为用户在预览界面上对拍摄键的点击操作，当然也可以为其他操作，本申请实施例对此不进行任何限制。

S30、响应于第一操作，获取原始图像。

其中，原始图像为位于RGB域的图像，也可以为位于RAW域的图像，本申请实施例对此不进行任何限制。

应理解，原始图像可以是利用电子设备自身包括的摄像头采集的或从其他设备获取的，具体可以根据需要进行设置，本申请实施例对此不进行限制。

当利用自身包括的摄像头采集原始图像时，该摄像头可以为主摄像头、长焦摄像头、广角摄像头中的任意一种摄像头，对于摄像头的种类，本申请实施例对此不进行任何限制。

需要说明的是，主摄像头具有进光量大、分辨率高，以及视场角适中的特点。主摄像头一般作为电子设备的默认摄像头。在电子设备响应于用户启动“相机”应用的操作时，可以默认启动主摄像头，然后在预览界面显示主摄像头采集的图像。长焦摄像头的焦距较长，视场角较小，可适用于拍摄距离手机较远的拍摄对象，即远处的物体。广角摄像头的焦距较短，视场角较大，可适用于拍摄距离手机较近的拍摄对象，即近处的物体。

S40、确定原始图像对应的反照率图像、法向图像和环境图像。

反照率图像用于表现原始图像中人像所对应的反照率特征，法向图像用于表现原始图像中人像所对应的法向特征，环境图像用于表示原始图像中除过人像之外的环境内容。

其中，反照率特征指的是物体表面全部被照明的部分向各个方向散射的光流与入射该物体表面的光流之比。例如，针对包括人像的原始图像，反照率特征指的是人像皮肤全部被照明的部分向各个方向散射的光流与入射该人像皮肤的光流之比。

法向特征可以理解为物体凹凸表面的每个点上的法线的方向。例如，在本申请中，法向特征为人像表面每个点上的法线的方向。法向图像可以通过RGB颜色通道来标记法线的方向。

S50、对反照率图像进行清晰度增强处理，得到高清反照率图像。

清晰度增强处理用于对图像的细节进行增强，提高清晰度。在本申请中，由于反照率图像反应的是人像皮肤信息，不会产生不需要的纹理，也没有阴影等其他干扰信息，因此，对反照率图像进行清晰度增强处理后，反照率图像中的细节得以增强，图像质量得以提高。

可选地，在上述S50之前，可以先确定反照率图像是否需要进行清晰度增强处理，若需要，则对反照率图像进行清晰度增强处理，得到高清反照率图像；若不需要，则可以不对反照率图像进行清晰度增强处理。

应理解，通过确定反照率图像是否需要进行清晰度增强处理，相当于反照率图像进行了筛选。这样进行筛选，一方面，仅对部分需要进行清晰度增强处理的反照率图像进行处理，可以提高处理效率，另一方面，避免对不需要进行增强处理的反照率图像进行增强处理后，弄巧成拙，出现伪影等异常情况。

S60、根据原始图像、高清反照率图像、法向图像和环境图像，确定目标图像。

由于高清反照率图像相对于反照率图像，图像中人像的清晰度得到增强，因此，根据高清反照率图像、法向图像和环境图像，确定出的目标图像清晰度、对比度都较好。

本申请实施例提供了一种图像处理方法，通过对原始图像进行拆解，拆分出人像相对应的反照率图像、法向图像和所处环境的环境图像，然后，对反照率图像进行清晰度增强处理，从而可以单独、有效地提高人像的清晰度，进而可以提升后续根据反照率图像、法向图像和环境图像确定出的目标图像中的人像细节，生成更加准确、清晰的图像。相对于现有技术中对整个图像进行增强处理，利用本申请实施例提供的方法生成的图像清晰度更高、对比度更好，质量更好。

图4为本申请实施例提供的另一种图像处理方法2的流程示意图。如图4所示，该图像处理方法2以下包括：S100至S190。

S100、获取原始图像。

其中，针对S100的介绍可以参考上述对S30的描述，在此不再赘述。例如，原始图像为位于RGB域的图像。

获取的原始图像的数量可以为1帧或多帧，本申请实施例对此不进行任何限制，例如，此处以获取1帧原始图像为例进行说明。

S110、将原始图像输入逆渲染模型，确定原始图像对应的反照率图像、法向图像和环境图像。

逆渲染模型用于将原始图像中的人物和环境进行拆解，分成反照率图像、法向图像和环境图像。其中，逆渲染模型可以为U-Net或Mobile Net，当然，也可以为其他模型或者为几种模型的结合，本申请实施例对此不进行任何限制。

参考图5，图5为本申请实施例提供的逆渲染模型的结构示意图。

如图5所示，本申请实施例提供的逆渲染模型包括三个相互连接的子模型，该三个子模型可以称为第一子模型、第二子模型和第三子模型。其中，该三个子模型为U-Net或Mobile Net。例如，该三个子模型均为U-Net，或者，第一子模型和第二子模型为U-Net、第三子模型为Mobile Net。

第一子模型与第二子模型、第三子模型均连接，第二子模型还与第三子模型相连接。

示例性的，第一子模型包括输入端和输出端，第二子模型包括第一输入端、第二输入端和输出端，第三子模型包括第一输入端、第二输入端、第三输入端和输出端。

其中，第一子模型的输入端、第二子模型的第一输入端和第三子模型的第一输入端均作为逆渲染模型的输入端；第一子模型的输出端与第二子模型的第二输入端和第三子模型的第二输入端均连接，第二子模型的输出端与第三子模型的第三输入端相连接；第三子模型的输出端作为逆渲染模型的输出端，第一子模型的输出端和第二子模型的输出端也作为逆渲染模型的输出端。

基于此上述逆渲染模型的结构，在将原始图像输入逆渲染模型时，第一子模型的输入端、第二子模型的第一输入端和第三子模型的第一输入端分别接收原始图像，第一子模型用于确定原始图像对应的法向图像，由此，第一子模型的输出端可以向第二子模型的第二输入端和第三子模型的第二输入端分别提供法向图像；第二子模型用于根据原始图像和法向图像，确定原始图像对应的反照率图像，由此，第二子模型的输出端可以向第三子模型的第三输入端提供反照率图像；第三子模型用于根据原始图像、法向图像和反照率图像，确定原始图像对应的环境图像；然后，第一子模型确定出的原始图像，第二子模型确定出的法向图像，第三子模型确定出的环境图像将全部作为逆渲染模型的输出进行输出。

上述仅为一种逆渲染模型的结构示意图，对此本申请实施例不进行任何限制。

S120、确定反照率图像对应的NRSS值，并判断该NRSS值是否大于预设阈值。

若NRSS值大于预设阈值，则反照率图像需要进行清晰度增强处理。若NRSS值小于或等于预设阈值时，则反照率图像不需要进行清晰度增强处理。

NRSS为一种无参考图像质量评价方法，用于对待评价图像的质量进行评价，NRSS值指的是利用NRSS这种方法所计算出的待评价图像的质量分数，当NRSS值越大时，说明待评价图像的质量越好，越清晰、不模糊；当NRSS值越小时，说明待评价图像的质量越差，越不清晰，也即越模糊。在本申请实施例中，待评价图像指的是反照率图像。

预设阈值的大小可以根据需要进行设置和修改，本申请实施例对此不进行任何限制。

应理解，通过确定NRSS值可以对反照率图像的质量进行评价，然后，通过设定预设阈值，基于判断预设阈值与NRSS值的大小，来对反照率图像进行筛选。

例如，如图4所示，预设阈值可以设定为0.5，当确定出反照率图像对应的NRSS值大于0.5时，说明反照率图像的质量相对较好，此时，可以对其进行清晰度增强处理，使得增强后图像的清晰度得以提升。而当反照率图像对应的NRSS值小于或等于0.5时，说明反照率图像的质量相对不好，此时，不需要对其进行清晰度增强，相反，若对该质量相对不好的反照率图像进行了清晰度增强，则可能像相关技术一样，因为误判导致增强后的图像出现伪影等问题，因此，本申请对这一部分质量较差的图像可以不进行增强。

可选地，如图6所示，上述确定反照率图像对应的NRSS值的过程可以包括以下S121至S126。

S121、对反照率图像进行滤波处理，得到参考图像。

例如，该滤波处理可以为低通滤波处理，当然也可以为其他滤波方法，本申请实施例对此不进行任何限制。

应理解，对反照率图像进行滤波处理，可以去除反照率图像中的高频信息。相当于可以去除反照率图像中的噪声，对反照率图像进行降噪。

S122、分别确定反照率图像和参考图像的梯度信息，生成各自对应的梯度图像。

上述S122指的是：可以确定反照率图像的梯度信息，并生成对应的梯度图像，以及确定参考图像的梯度信息，并生成对应的梯度图像。此处，可以将反照率图像对应的梯度图像称为第一梯度图像，参考图像对应的梯度图像称为第二梯度图像。

示例性的，可以利用索贝尔(sobel)算子，来确定反照率图像和参考图像分别对应的梯度信息。索贝尔算子可以将图像中每个像素的上、下、左、右四邻域的灰度值加权差，根据在边缘处达到极值这一原理进行边缘检测。应理解，由于人眼对水平方向和垂直方向的边缘信息最为敏感，因此，可以使用sobel算子分别提取水平和垂直方向的边缘信息，该边缘信息即为梯度信息。

当然，也可以利用均值滤波、拉普拉斯算子等其他方法来确定反照率图像和参考图像分别对应的梯度信息，本申请实施例对此不进行任何限制。

S123、将每帧梯度图像划分成多个图像块。

可以以图像块包括m×n个像素为例，将每帧梯度图像划分成多个图像块，其中，m≥1，n≥1，m和n均为正整数。m和n的大小可以相同，也可以不同。

此处，以相同的划分方式，可以将第一梯度图像划分成多个第一图像块，将第二梯度图像划分成多个第二图像块，由于反照率图像和参考图像的尺寸相同，所以第一梯度图像和第二梯度图像的尺寸也相同，那么，第一图像块和第二图像块的数量和尺寸均相同。

在此基础上，进行图像块划分时，图像块之间的步长可以小于图像块的宽度，例如，将梯度图像划分成8×8个像素的图像块时，图像块之间的步长可以为4，即相邻两个图像块之间有50％重叠，这样可以表面丢失重要的边缘信息。

S124、确定反照率图像对应的梯度图像中每个图像块的方差，并按照方差从大到小的顺序，对反照率图像对应的梯度图像中的多个图像块进行排序。

确定反照率图像对应的梯度图像中每个图像块的方差指的是：根据每个图像块包括的m×n个像素的像素值，确定方差，该方差即为该图像块对应的方差。

应理解，方差越大说明图像块所包含的梯度信息越丰富，细节越多；反之，方差越小说明图像块所包含的梯度信息越少，内容越平滑。由此，按照方差大小将图像块进行排序，即可以将图像块按照细节丰富至细节较少的顺序进行排序。

S125、根据反照率图像对应的梯度图像中的前N个图像块，确定参考图像对应的梯度图像中的前N个图像块。

由于反照率图像和参考图像对应的梯度图像的划分方式相同，因此，两帧梯度图像中所包括的图像块位置一一对应，那么，根据反照率图像对应的梯度图像中的前N个图像块的位置，即可在参考图像对应的梯度图像中确定出位于相同位置处的N个图像块，该N个图像块即为参考图像对应的梯度图像中的前N个图像块。

或者，作为另一种方式，针对反照率图像对应的第一梯度图像中的多个第一图像块，可以确定每个第一图像块的方差，按照方差从大到小的顺序将多个第一图像块进行排序，选取出的前N个第一图像块即为反照率图像对应的梯度图像中的前N个图像块；同时，针对参考图像对应的第二梯度图像中的多个第二图像块，确定每个第二图像块的方差，也按照方差从大到小的顺序将第二图像块进行排序，选取出的前N个第二图像块即为参考图像对应的梯度图像中的前N个图像块。其中，前N个第一图像块与前N个第二图像块一一对应。

S126、根据反照率图像对应的梯度图像中的前N个图像块各自的方差，以及参考图像对应的梯度图像中的前N个图像块各自的方差，确定反照率图像对应的NRSS值。N为大于或等于1的正整数。

例如，将梯度图像均划分成了20个图像块，然后，可以根据反照率图像对应的第一梯度图像中前10个第一图像块各自对应的方差，以及参考图像对应的第二梯度图像中，前10个第二图像块各自对应的方差，来确定反照率图像对应的NRSS值，此处，N即为10。

结合上述，可以利用以下公式来确定反照率图像对应的NRSS值。

其中，1≤i≤N，x_i用于指示第i个第一图像块对应的方差，y_i用于指示第i个第二图像块对应的方差，SSIM(x_i，y_i)用于指示第i个第一图像块和第i个第二图像块之间的结构相似度。应理解，结构相似度(structural similarity，SSIM)的范围通常为[-1，1]，当两张图像一模一样时，SSIM的值等于1，当两张图像完全不一样时，SSIM的值等于-1。

应理解，上述仅为一种确定反照率图像对应的NRSS值的示例，具体步骤可以根据需要进行调整，本申请对此不进行任何限制。

S130、当反照率图像需要进行清晰度增强处理时，对反照率图像进行清晰度增强处理，得到高清反照率图像。

可选地，作为一种示例，当需要进行清晰度增强时，可以利用增强模型对需要进行清晰度增强处理的反照率图像进行处理。

增强模型可以由端到端的深度学习模型Face SR生成。Face SR指的是利用低分辨率人脸图像和人脸固有的属性重建高分辨人脸图像的技术，Face SR模型指的是用于实现Face SR技术的模型。

其中，图7示出了一种Face SR模型的结构示意图。如图7所示，Face SR模型包括退化去除模块和人像生成模块。

退化去除模块用于剔除噪声、模糊等干扰。人像生成模块用于根据退化去除模块剔除了噪声、模糊等干扰后的特征，生成高分辨率的反照率图像，即高清反照率图像。

图8示出了另一种Face SR模型的结构示意图。

如图8所示，退化去除模块可以包括U-Net模型、多层感知器(multilayerperceptron，MLP)模型和生成式对抗(generative adversarial networks，GAN)模型。U-Net模型、MLP模型与GAN模型依次连接。

其中，U-Net模型可以包括自上而下的多个平行层，在U形的每一平行层进行解码和编码。应理解，平行层的数量可以根据需要进行设置，本申请实施例对此不进行任何限制。在解码阶段，U-Net模型可以将上一层平行层提取的特征信息进行下采样，再输入下一层平行层继续提取特征信息，以便于缩小图像尺寸，增大感受野，获取到更多图像的局部信息。在编码阶段，可以将最下层平行层提取的特征信息通过反卷积进行上采样，再与相邻上一层平行层之前提取的特征信息进行拼接，然后，将拼接后的特征信息继续通过反卷积进行上采样以及拼接，以放大图像尺寸。

MLP模型的输入与U-Net模型中最下层的平行层相连接，输出与GAN模型相连接。MLP模型通常包括输入层、隐层和输出层，MLP模型不同层之间是全连接的，“全连接的”指的是上一层的任何一个神经元与下一层的所有神经元都有连接。应理解，由于在U-Net模型中，最下层的平行层提取出来的特征信息最丰富，或者说该提取出的特征信息包含了最多的语义信息，因此，可以该提取出的特征信息作为MLP模型的输入，以提高MLP模型处理后的质量。其中，MLP模型用于对U-Net模型提取的特征信息进行转换，使其转换后满足GAN模型的输入要求。

GAN模型通常包括生成器和判别器，生成器用于依据随机向量产生内容，判别器用于判别接收的内容是否是真实的。在本申请中，GAN模型是预先训练好的网络模型。在使用过程中，GAN模型用于将MLP模型提供的一维向量，又转换成特征信息。

此处，在使用GAN模型之前训练GAN模型时，可以使用获取的多对人像训练图像对来进行训练。每对人像训练图像对包括1帧高清人像训练图像和1帧低清人像训练图像。其中，高清人像训练图像可以由分辨率较高的专业相机来获取；低清人像训练图像可以由高清人像训练图像退化生成，退化指的是加噪声、加模糊等处理。这样，在进行训练时，可以利用低清人像训练图像模拟增强模型在实际处理时输入的反照率图像，利用高清人像训练图像模拟在实际处理时所需达到的清晰度增强效果。

人像生成模块是一个上采样的网络结构。人像生成模块的上采样的次数与U-Net模型编码阶段上采样的次数相同，这样，人像生成模块在进行上采样的过程中，可以加入U-Net模型同一上采样阶段所得到的特征信息，以及GAN模型得到的特征信息。由于GAN模型提取的特征信息是由U-Net模型提取的最丰富的特征生成的，因此，将U-Net模型上采样阶段所得到的特征信息和GAN模型得到的特征信息进行拼接后，得到的图像清晰度得以增强。

结合上述各部分结构，在利用基于Face SR模型生成的增强模型进行清晰度增强处理时，首先，将反照率图像输入U-Net模型进行解码和编码，再将还原出的图像输入至人像生成模块进行上采样。在解码的过程中，将U-Net模型最下层的平行层提取的特征信息输入至MLP模型进行处理，将MLP模型的输出结果再输入GAN模型中进行处理。

这样，在人像生成模块中进行上采样时，可以在U-Net模型中上采样阶段所提取的特征信息中加入GAN模型输出的特征信息。例如，在人像生成模块中进行第1次上采样时，可以将U-Net模型中第1次上采样所提取的特征信息和GAN模型输出的特征信息进行拼接；在人像生成模块中进行第2次上采样时，可以将U-Net模型中第2次上采样时所提取的特征信息和GAN模型输出的特征信息进行拼接。其他依次类推，在此不再赘述。

基于此，多次上采样之后，人像生成模块输出的图像即为清晰度增强处理后得到的高清反照率图像。

此外，当反照率图像不需要进行清晰度增强处理时，则不进行处理，此时，可以结束本申请所提供的图像处理放大的运行，也可以继续执行，通过后续补光处理，得到补光效果较好的目标图像。

S140、根据原始图像、高清反照率图像、法向图像和环境图像，确定目标图像。

其中，目标图像为位于RGB域的图像。

可选地，结合图4所示，上述S140可以包括以下S141至S143。

S141、根据原始图像和S110分解出的环境图像，确定补光位置，并在该补光位置处对环境图像进行补光，得到补光环境图像。

应理解，可以对原始图像进行人像姿态估计，确定人像姿态。其中，人像姿态指的是人像对应的欧拉角(yaw，roll，pitch)。再结合人像姿态和环境图像中示意出的环境中的光源位置，从而可以在该环境图像中确定出补光位置。

S142、根据将S110分解出的法向图像和补光环境图像，得到补光光影图像。

可以将法向图像和补光环境图像进行渲染，得到补光光影图像。其中，根据补光环境图像中的补光情况以及法向图像中的法向，可以计算出人像在该补光环境中相对应生成的阴影，从而在渲染出的补光光影图像中表现出来。例如，补光在左侧，人像在右侧环境中投射的阴影可以在补光光影图像中表现出来。渲染指的是将三维的光能传递处理转换为一个二维图像的过程。

S143、根据补光光影图像和S130处理后得到的高清反照率图像，得到目标图像。

可以将补光光影图像和高清反照率图像进行渲染，得到目标图像。其中，根据补光光影图像中的补光和阴影情况，可以计算出人像自身在该环境中的光影变化，从而在渲染出的目标图像中表现出来。例如，补光在左侧，人像左侧的亮度将提高，右侧相对较暗，此时可以在目标图像中表现出来。

可选地，可以将法向图像、补光环境图像和高清反照率图像一起输入训练好的补光控制模型，利用补光控制模型将法向图像和补光环境图像进行渲染，生成补光光影图像，然后利用补光控制模型将补光光影图像和高清反照率图像渲染成目标图像并输出。

此处，为了提高补光效果，还可以将原始图像与法向图像、补光环境图像和高清反照率图像一起输入补光控制模型中来处理。补光控制模型可以基于U-Net模型训练而成。

相对于现有技术，本申请实施例在补光时，不需要电子设备以外的补光装置，也不需要在拍照时让用户手动选择补光区域，而且在拍照时和拍照后都可以对图像进行补光处理，具有较高的灵活性。此外，相比传统的外置光源或者手动选择补光区域的方法，本申请是根据人像姿势、场景光照生成的补光信息，依据三点打光法的思路进行设定的，生成的补光结果更加贴合实际场景，补光后的效果更真实。

本申请实施例提供了一种图像处理方法，利用逆渲染模型将原始图像中的人像和环境信息进行拆解，拆解出人像对应的反照率图像、法向图像和所处环境的环境图像，然后，通过确定拆解出的反照率图像的NRSS值是否大于预设阈值，来筛选出质量较好的反照率图像，并对该质量较好的反照率图像进行清晰度增强处理，从而可以单独、有效地提高人像的清晰度；同时，本申请还通过对环境进行补光，根据补光后的环境再对提高了清晰度的人像进行补光，从而可以对人物和环境均实现补光，得到清晰度高、对比度强的目标图像。

应理解，上述举例说明是为了帮助本领域技术人员理解本申请实施例，而非要将本申请实施例限于所例示的具体数值或具体场景。本领域技术人员根据所给出的上述举例说明，显然可以进行各种等价的修改或变化，这样的修改或变化也落入本申请实施例的范围内。

应理解，在上述S110使用逆渲染模型之前，还需训练生成逆渲染模型，下面结合附图对本申请实施例提供的逆渲染模型的训练过程进行详细说明。

参考图9，图9为本申请实施例提供的逆渲染模型的训练方法3的流程图。如图9所示，训练生成逆渲染模型的过程可以分为五个阶段(S210至S250)，分别为获取阶段、第一处理阶段、第二处理阶段、第三处理阶段和模型训练阶段。

S210、获取多帧初始人像训练图像和全景环境图像。

其中，多帧初始人像训练图像包括：多帧正常人像训练图像、全亮人像训练图像、掩膜人像训练图像、空像训练图像。

全亮人像训练图像指的是利用所有光源照射人像时所拍摄到的图像；正常人像训练图像指的是利用部分光源从非人像背面(从人像的正面或侧面)照射人像时所拍摄到的图像，多帧正常人像训练图像中每帧正常人像训练图像所对应的光源位置不同。“正常”与“全亮”是相对应的，当拍摄全亮人像训练图像时所利用的光源数量更改时，全亮人像训练图像将更改，此时，正常人像训练图像也随之更改。

掩膜人像训练图像指的是逆光拍摄灰度板前的人像时所拍摄到的图像。空像训练图像指的是逆光拍摄灰度板时所拍摄到的图像。灰度板可以理解为蒙版，为半透明材质。被灰度板遮挡的区域，光线只有部分透过，也即光照降低。掩膜人像训练图像和空像训练图像也是相对应的，区别仅在于拍摄时有或没有人像。

需要说明的是，为了采集所需的多帧初始人像训练图像，可以构造一个打光装置，该打光装置为类似球体的多面体，例如具有116个顶点，每个顶点位置处安装有一个发光光源对准多面体的中心位置处照射，该中心位置处放置待拍摄物体。其中，该发光光源可以为LED光源，而且该116个LED光源可以发不同颜色的光。

应理解，多面体具有的顶点的个数、以及设置的发光光源的类型和光源颜色，均可以根据需要进行设置，本申请实施例对此不进行任何限制。本申请实施例以116个LED光源，每个光源发白光为例进行说明，后续不再赘述。

此处，由于本申请实施例需要构造包括有人像的图像数据，因此，待拍摄的人物可以坐在打光装置中，使得待拍摄的人物的头部或上半身位于多面体的中心位置处。当然，如果打光装置半径非常大，待拍摄的人物相对于打光装置非常小时，也可以使待拍摄的人物的整个身体位于多面体的中心位置处，本申请实施例对此不进行任何限制。应理解，本申请实施例中的人像指的是待拍摄的人物的头部、上半身或整个身体，以下以待拍摄的人物的头部为例进行说明。

相机正对打光装置的中心位置处，对中心位置处的人像进行拍摄。相机的类型可以选择高速相机。其中，相机的类型、数量和位置均可以根据需要进行配置和更改，本申请实施例对此不进行任何限制，不同位置的高速相机采集图像，不仅可以获得更多的三维信息，还可以有效解决投影(shadow cast)影响。本申请实施例以一个相机为例进行示意，且该相机位于人像正面正对的一侧。

该打光装置还设置有灰度板，灰度板为半透明材质。发光光源照射到灰度板上，可以透过部分光。灰度板设置在人像背面位置，灰度板的尺寸大于人像尺寸。可以理解的是，人像处于灰度板和相机之间，相机对人像进行拍摄时，可以在拍摄到人像的同时，也可以拍摄到人像背后的灰度板。

该打光装置还连接有控制器，控制器用于控制116个发光光源的工作情况，或者说，控制该116个发光光源是否发光以及发光的亮暗程度。

在一些实施例中，该控制器还可以对多面体中心位置处的人像的姿态进行检测，自动调整不同位置处的发光光源的亮度，以避免受到光照的人像的某些区域过曝或欠曝。

结合上述打光装置，全亮人像训练图像，指的是全部发光光源照射打光装置中心位置处的人像时，利用高速相机所采集到的图像。

正常人像训练图像，指的是一个发光光源或几个发光光源(非全部发光光源，且非人像背后的光源)照射打光装置中心位置处的人像时，利用高速相机所采集到的图像。多帧正常人像训练图像各自对应的发光光源位置不同，以模拟不同角度的光照情况。

掩膜人像训练图像，指的是打开灰度板背面的多个发光光源时，例如打开灰度板背面的6个发光光源时，利用高速相机逆光拍摄所采集到的图像。灰度板背面指的是灰度板远离相机的一侧。

空像训练图像，指的是待拍摄的人物离开打光装置，也即去除打光装置中的人像，然后，仅打开灰度板背面的6个发光光源时，利用高速相机逆光拍摄所采集到的图像。

示例性的，在采集正常人像训练图像时，可以每次仅打开一个发光光源，依次将116个发光光源打开，由此，可以对应采集到116帧正常人像训练图像。

还需要说明的是，全景环境图像用于指示能表示360°全方位的环境信息的图像。其中，可以利用金属球球面反射的原理，将金属球放置于不同的场地，以通过相机拍摄金属球来获取全景环境图像。

示例性的，可以将金属球放置于户外的草地上，以反射周围包括蓝天、草地的环境，由此利用相机拍摄金属球可以获取到户外的全景环境图像。

示例性的，可以将金属球放置剧院的中央，以反射周围包括观众席、舞台的环境，由此利用相机拍摄金属球可以获取到剧院室内的全景环境图像。

应理解，本申请通过将不同位置的发光光源去照射人像，从而可以获取到用于表现受到不同角度光照的多帧正常人像训练图像，以便于后续模仿真实处理过程中受到来自不同方向的复杂光照的输入图像。

本申请可以获取多帧全景环境图像，以便于后续模仿真实处理过程中人像所处的不同环境。

S220、对多帧初始人像训练图像进行第一处理，得到精细掩膜人像训练图像和多帧OLAT训练图像。

其中，多帧OLAT训练图像与多帧正常人像训练图像是一一对应的。

S230、对精细掩膜人像训练图像和多帧OLAT训练图像进行第二处理，得到反照率人像训练图像和法向人像训练图像。

其中，反照率人像训练图像用于反映OLAT训练图像中的人像的反照率信息，法向人像训练图像用于反映OLAT训练图像中的人像的法向信息。

S240、对精细掩膜人像训练图像和多帧OLAT训练图像，以及全景环境图像进行第三处理，得到待补光合成渲染图像。

其中，待补光合成渲染图像用于表示人像和所处的环境，本申请利用待补光合成渲染图像模拟在实际处理过程中的原始图像。

S250、利用反照率人像训练图像、法向人像训练图像和待补光合成渲染图像进行训练，生成逆渲染模型。

应理解，可以利用三个U-net模型以图5所示的方式进行连接，组成待训练的初始逆渲染模型，然后，将反照率人像训练图像、法向人像训练图像和待补光合成渲染图像输入该待训练的初始逆渲染模型进行训练，从而可以训练生成逆渲染模型。

图10示出了第一处理阶段的流程示意图。如图10所示，第一处理阶段包括以下S221至S223。

S221、基于全亮人像训练图像，将多帧正常人像训练图像进行配准，得到多帧配准后的正常人像训练图像。

此处，每帧配准后的正常人像训练图像可以称为OLAT训练图像。

S222、基于全亮人像训练图像，将掩膜人像训练图像进行配准，得到配准后的掩膜人像训练图像。

S223、将配准后的掩膜人像训练图像和空像训练图像相除，得到精细掩膜(matte)人像训练图像。

应理解，配准后的掩膜人像训练图像和空像训练图像进行相除指的是，将相同位置处的像素值进行相除。由于配准后的掩膜人像训练图像和空像训练图像之间的区别仅在于图像中有无人像，相除时两者中内容相同的区域的像素值相同，相除后为1，而内容不同的区域的像素值不同，相除则不是1，由此，进行相除操作后，相当于将人像区域与背景区域进行锐化，使得人像和背景区域区分的更加明显。

应理解，精细掩膜人像训练图像为Y图或者说灰度图，精细掩膜人像训练图像相对于配准后的掩膜人像训练图像掩膜的更精细，可以表现出头发丝等细节。

在第一处理阶段中，通过获取掩膜人像训练图像和空像训练图像，以相除得到精细掩膜人像训练图像，以便于后续根据精细掩膜人像训练图像，将人像和背景环境进行更精细地区分处理。

图11示出了第二处理阶段的流程示意图。如图11所示，第二处理阶段用于基于第一处理阶段得到的OLAT训练图像和精细掩膜人像训练图像，为模型训练阶段构造训练数据。该第二处理阶段包括以下S231至S232。

S231、将配准后的多帧正常人像训练图像，或者说多帧OLAT训练图像，分别与精细掩膜人像训练图像相乘，得到多帧OLAT中间图像。

需要说明的是，将配准后的多帧正常人像训练图像，或者说多帧OLAT训练图像，分别与精细掩膜人像训练图像进行相乘，相当于将每帧OLAT训练图像依据精细掩膜人像训练图像中划分的人像和背景环境进行了加权处理，从而使得得到的OLAT中间图像中的人像和背景环境区分更明显，细节更丰富。

S232、根据多帧OLAT中间图像中的至少三帧OLAT中间图像，利用光度立体公式，确定每个像素点位置处的反照率和法向量，生成反照率人像训练图像和法向人像训练图像。

应理解，光度立体公式为一种使用多个光源方向估计表面几何形状的方法。该方法可以重建出物体表面点的法向量，以及物体不同表面点的反照率。本申请实施例利用该方法可以重建出人像表面点的法向量，以及人像不同表面点的反照率。

其中，光度立体公式为：

t＝ρ×(N×L)×I

在上述公式中，t表示像素值，ρ表示物体表面的反照率，N表示三维的表面法向量，L表示三维的单位光源位置向量，I表示光源的强度。

像素值t可以通过OLAT中间图像直接获得，单位光源位置向量可以提前标定求得，光源的强度可以用常量1表示。由此，在人像和相机都不变动的情况下，利用至少3帧OLAT中间图像，建立至少三个光度立体公式组成方程组，即可求解出人像表面每一点处的反照率和法向量。

应理解，由于光源照射物体表面时，有可能会产生阴影，这样三个光源无法同时照亮的区域就会无法求解出结果，所以，本申请实施例选择利用三帧以上OLAT中间图像，例如116帧OLAT中间图像来求解，通过116个发光光源从不同方向分别照亮人像并成像，来解决这个问题。

应理解，如果利用的是三帧OLAT中间图像求解反照率和法向量，则需要三帧OLAT中间图像分别对应的光源的光照方向不共面。

在第二处理阶段中，本申请通过根据多帧OLAT训练图像，利用光度立体公式来求解出相应像素点位置处的反照率和法向量，从而可以构建出表示人像反照率信息的反照率人像训练图像和表示人像法向信息的法向人像训练图像，以便于提供给模型训练阶段进行模型训练。

在本申请实施例中，还可以利用神经网络模型，基于OLAT中间图像来预测对应的法向人像训练图像。

图12示出了第三处理阶段的流程示意图。第三处理阶段，用于基于第一处理阶段得到的图像，以及全景环境图像，为模型训练阶段构造待补光合成渲染图像。其中，如图12所示，第三处理阶段包括以下S241至S249。

S241、根据多帧OLAT训练图像，确定每帧OLAT训练图像所对应光源的直角坐标，并将该直角坐标进行坐标转换，转换成极坐标。

S242、根据光源对应的极坐标，在全景环境图像上标注所有光源位置，得到全景环境标注图像。

其中，全景环境标注图像标注有所有OLAT训练图像对应的光源的位置。

在本申请中，由于利用打光装置获取多帧OLAT训练图像时，每帧OLAT训练图像仅对应打开一个LED光源，因此，反过来可以通过一帧OLAT训练图像确定对应的LED光源的直角坐标，然后，将其直角坐标转换成全景下的极坐标。那么，基于116帧OLAT训练图像，从而可以确定出116帧OLAT训练图像对应的116个LED光源的极坐标，然后，将116个极坐标标注在全景环境图像上，即可得到标注有116个LED光源位置的全景环境标注图像。

此处，LED光源的直角坐标是以打光装置的中心位置为原点的直角坐标系进行确定的。

在另一实施例中，也可以利用金属球球面反射的原理，将金属球放置在打光装置的中心位置处，代替待拍摄的人像，由此，可以利用相机拍摄得到一张包含116个LED光源的全景图，将该全景图中的LED光源位置映射到全景环境图像上并进行标注，即可得到全景环境标注图像。

S243、根据三角网(delaunay)算法，按照光源的位置对全景环境标注图像进行区域划分。

其中，三角网算法指的是由一系列连续三角形构成的网状的平面控制图像，是三角测量中布设连续三角形的主要扩展形式，同时向各方向扩展而构成网状。

本申请实施例利用三角网算法，以全景环境标注图像上的每个LED光源位置为中心进行三角形划分，从而可以将整个全景环境标注图像划分成116个三角形区域组成的网状结构。

在另一些实施例中，也可以以每个LED光源位置为中心进行四边形、五边形或六边形划分，从而可以将整个全景环境标注图像划分成116个四边形、五边形或六边形区域组成的网状结构。具体划分的形状可以根据需要进行选择和更改，本申请实施例对此不进行任何限制。

应理解，全景环境标注图像中划分的区域与OLAT训练图像一一对应，或者说与OLAT训练图像对应的光源一一对应。

S244、确定每个区域对应的权重。

其中，可将三角形区域中每个像素对应的像素值(RGB)转换成YUV值，其中，Y值表示亮度，通过计算每个三角形区域所有像素对应亮度的平均值，也即平均亮度来作为该区域对应的权重。由此，在本申请实施例中，可以得到116个三角形区域对应的116个权重。

需要说明的是，通过确定每个区域对应的权重，相当于可以确定出利用打光装置中的116个光源合成该全景环境图像所对应的光照情况时，该116个光源所需配置的明暗程度。

S245、将多帧OLAT训练图像分别与精细掩膜人像训练图像相乘，得到多帧OLAT中间图像。

在第二处理阶段中进行了多帧OLAT训练图像分别与精细掩膜人像训练图像相乘的处理，此处，也可以直接从第二处理阶段中直接获取相乘后得到的OLAT中间图像。

S246、根据多帧OLAT中间图像和全景环境标注图像中每个区域对应的权重，进行加权求和，得到待补光人像渲染图像。

应理解，在本申请实施例中，获取每帧OLAT中间图像对应的OLAT训练图像时，仅有一个LED光源照射，那么，每帧OLAT训练图像或者说每帧OLAT中间图像就可以当作对应LED光源的基准光照程度。

而全景环境标注图像中每个三角形区域对应的权重即反应在构建该环境时，如果由该116个LED光源同时打光，每个LED光源的光照所占的比重。由此，可以将该LED光源在全景环境标注图像中所在三角形区域对应的权重，作为该OLAT中间图像对应的权重，以该权重表示该OLAT中间图像在该全景环境标注图像所示的环境中所占的比重。

这样，将所有OLAT中间图像以及对应的权重进行加权求和后，即可得到在全景环境标注图像所示的环境中，由所有呈现不同明暗程度的光源所组成的复杂光照场景下，人像所对应的光影效果。

在此基础上，可选地，还可以将上述待补光人像渲染图像与精细掩膜人像训练图像再相乘一次，以得到细节更丰富的待补光人像渲染图像。

在本申请实施例中，当加权求和得到的待补光人像渲染图像的光影感较重时，可以使用三维图形图像软件blender等渲染引擎来生成待补光人像渲染图像。

S247、将全景环境图像进行裁切，得到局部环境图像。

此处，局部环境图像的尺寸应与待补光人像渲染图像的尺寸相同。

需要说明的是，通常会设定人像处于全景环境图像横向方向的四分之一位置处，因此，可以在全景环境图像的左侧四分之一位置处或右侧四分之一位置处裁切出与待补光人像渲染图像尺寸相同的局部区域作为局部环境图像。

S248、将待补光人像渲染图像和局部环境图像进行合成，得到待补光合成渲染图像。

应理解，局部环境图像用于表示全景环境图像所示的环境下，相机所拍摄的环境图像。换句话说，相机拍摄得到的画面为全景环境图像的局部。

将待补光人像渲染图像和局部环境图像进行合成，也即将待补光人像渲染图像贴附在局部环境图像中，从而可以表示该环境的光照情况以及处于该环境下的人物的光影效果。

在第三处理阶段中，本申请通过将OLAT训练图像所对应的光源的直角坐标进行坐标转换后，可以在全景环境图像中标注出所有光源的极坐标位置，得到全景环境标注图像；再从全景环境标注图像中确定出每个光源所在区域对应的权重，将其作为每个光源合成该环境的光照情况中的权重，从而OLAT中间图像可以根据该权重加权求和出在该环境的光照情况下，人物所达到的光影效果，也即得到待补光人像渲染图像；然后，将全景环境图像裁切后与待补光人像渲染图像合成，即可得到表示该环境的光照情况以及处于该环境下的人物的光影效果的待补光合成渲染图像。

图13示出了逆渲染模型的训练流程示意图。如图7所示，该训练过程S250包括以下S251至S253。

S251、将S248得到的待补光合成渲染图像输入初始逆渲染模型中，得到第一输出图像、第二输出图像和第三输出图像。

其中，初始逆渲染模型为编解码结构的模型，例如可以图5所示的三个连接的U-Net模型。当然也可以是其他网络模型，本申请实施例对此不进行任何限制。

应理解，初始逆渲染模型用于将待补光合成渲染图像进行人物和环境进行拆解，以得到单独的环境图像和能表示人物反照率特征的图像和法向特征的图像。

S252、将第一输出图像和S232得到的反照率人像训练图像进行对比，将第二输出图像和S232得到的法向人像训练图像进行对比，将第三输出图像和S247得到的局部环境图像进行对比。

S253、若不相似，则对初始逆渲染模型中的参数进行调整。

若相似，则将训练后的初始逆渲染模型作为逆渲染模型。

示例性的，可以预先设定第一相似度阈值，第二相似度阈值和第三相似度阈值，将第一输出图像和反照率人像训练图像进行对比，判断相似度是否大于第一相似度阈值；将第二输出图像和法向人像训练图像进行对比，判断相似度是否大于第二相似度阈值；将第三输出图像和局部环境图像进行对比，判断相似度是否大于第三相似度阈值。若三者均大于各自对应的相似度阈值，则确定相似，可以将训练后的初始逆渲染模型作为目标逆渲染模型，否则，则对初始逆渲染模型中的参数进行调整，继续进行训练，直至达到相似条件。

应理解，通过利用待补光合成渲染图像、反照率人像训练图像、法向人像训练图像和局部环境图像对初始逆渲染模型进行训练，从而可以得到能从复杂图像中拆解出人像反照率信息、人像法向信息和环境信息的逆渲染模型。

结合图5，基于图13训练好的逆渲染模型，则可以对原始图像进行拆解，得到原始图像对应的法向图像、反照率图像和环境图像。

上述对逆渲染模型的训练过程进行了详细描述，下面对补光控制模型的训练过程进行详细介绍。补光控制模型的训练过程可以分成两个阶段，分别为第四处理阶段和模型训练阶段。其中，第四处理阶段可以部分复用训练逆渲染模型时获取的图像数据，第四处理阶段用于为模型训练阶段构造补光合成渲染图像，模型训练阶段所需的其他数据可以复用上述训练逆渲染模型时构造的数据。

参考图14，图14为本申请实施例提供的第四处理阶段的流程示意图。如图14所示，第四处理阶段可以包括以下S310至S318。

S310、获取全景补光图像，将全景补光图像与全景环境图像进行叠加，得到全景补光环境图像。

全景补光图像用于表示某一光源的补光光照情况，也即反应了从该光源位置进行辐射，在被辐射的区域中增加了一定程度的光照。

在本申请实施例中，可以利用金属球球面反射的原理，将金属球放置在发光装置的中心位置处，代替待拍摄的人像，然后，再利用控制器随机控制一个光源照射金属球，以表示补光光照，从而可以通过相机拍摄金属球得到一帧全景补光图像。当开启不同的光源照射金属球时，将可以通过相机拍摄金属球得到多帧不同的全景补光图像。

将该全景补光图像与全景环境图像进行叠加，也即将全景补光图像表示的补光光照情况与已有的全景环境图像表示的光照情况进行叠加，从而可以模拟补光后的环境中的光照情况，得到全景补光环境图像。

当然，补光光源的位置也可以不是打光装置中的116个LED光源的位置，具体可以根据需要进行设置，本申请实施例对此不进行任何限制。

S311、根据多帧OLAT训练图像，确定每帧OLAT训练图像所对应光源的直角坐标，并将该直角坐标进行坐标转换，转换成极坐标。

S312、根据光源对应的极坐标，在全景补光环境图像上标注所有光源位置，得到全景补光环境标注图像。

应理解，S312与S242的过程分别相同，具体可以参考上述描述，在此不再赘述。

S313、根据三角网(delaunay)算法，对全景补光环境标注图像进行区域划分。

应理解，全景补光环境标注图像中划分的区域与OLAT训练图像一一对应，或者说与OLAT训练图像对应的光源一一对应。

S314、确定每个区域对应的权重。

应理解，S313和S314与上述S243和S244的操作相同，但是，由于S314是对补光后的全景环境进行区域划分形成的三角形区域，所以S314确定出的每个区域的权重为补光后的权重，与S244确定出的权重不同。

S315、将多帧OLAT训练图像分别与精细掩膜人像训练图像相乘，得到多帧OLAT中间图像。

S316、根据多帧OLAT中间图像和全景补光环境标注图像中每个区域对应的权重，进行加权求和，得到补光人像渲染图像。

应理解，在本申请实施例中，获取每帧OLAT中间图像对应的OLAT训练图像时，仅有一个LED光源照射，那么，每帧OLAT训练图像或者说每帧OLAT中间图像就可以当作对应LED光源的基准光照程度。

而全景补光环境标注图像中每个三角形区域对应的权重即反应在构建该补光环境时，如果由该116个LED光源同时打光，每个LED光源的光照所占的比重。由此，可以将该LED光源在全景补光环境标注图像中所在三角形区域对应的权重，作为该OLAT中间图像对应的权重，以该权重表示该OLAT中间图像在该全景补光环境标注图像所示的补光环境中所占的比重。

这样，将所有OLAT中间图像以及对应的权重进行加权求和后，即可得到在全景补光环境标注图像所示的补光环境中，由所有呈现不同明暗程度的光源以及补光光源所组成的复杂光照场景下，人像所对应的光影效果。

在此基础上，可选地，还可以将补光人像渲染图像与精细掩膜人像训练图像再相乘一次，以得到细节更丰富的补光人像渲染图像。

S317、将全景补光环境图像进行裁切，得到局部补光环境图像。

此处，局部补光环境图像的尺寸应与补光人像渲染图像的尺寸相同。

需要说明的是，通常会设定人像处于全景补光环境图像横向方向的四分之一位置处，因此，可以在全景补光环境图像的左侧四分之一位置处或右侧四分之一位置处裁切出与补光人像渲染图像尺寸相同的局部区域作为局部补光环境图像。

S318、将补光人像渲染图像和局部补光环境图像进行合成，得到补光合成渲染图像。

应理解，局部补光环境图像用于表示全景补光环境图像所示的补光环境下，相机所拍摄的环境图像。换句换说，相机拍摄得到的画面为全景补光环境图像的局部。

将补光人像渲染图像和局部补光环境图像进行合成，也即将补光人像渲染图像贴附在局部补光环境中，从而可以表示该环境补光后的光照情况，以及处于该补光环境下的人物的光影效果。

在第四处理阶段中，本申请通过将全景补光图像和全景环境图像进行叠加，可以模拟对环境补光的效果，从而得到全景补光环境图像；再将OLAT训练图像所对应的光源的直角坐标进行坐标转换后，可以在全景补光环境图中标注出所有光源的极坐标位置，得到全景补光环境标注图像；再从全景环境标注图像中确定出每个光源所在区域对应的权重，将其作为每个光源合成该补光环境的光照情况中的权重，从而OLAT中间图像可以根据该权重加权求和出在该补光环境的光照情况下，人物所到到的光影效果，也即得到补光人像渲染图像；然后，将全景补光环境图像裁切后与待补光人像渲染图像合成，即可得到表示该补光后的环境的光照情况以及处于该补光后的环境下的人物的光影效果的补光合成渲染图像。

应理解，第四处理阶段与第三处理阶段如果是对同一帧全景环境图像和同一组OLAT训练图像进行处理时，第四处理阶段所得到的补光合成渲染图像与第三处理阶段所到的待补光合成渲染图像即为一组图像对，环境和人物内容均相同，区别仅在于对人像和环境是否补光。

此处，可以结合不同的全景环境图像，根据上述第三处理阶段和第四处理阶段的步骤，构造出多对待补光合成渲染图和补光合成渲染图，以提供给模型训练阶段进行训练。

图15示出了补光控制模型的训练流程示意图。如图15所示，该训练流程包括以下S321至S325。

S321、将S232得到的法向人像训练图像和S317得到的局部补光环境图像进行渲染，得到光影训练图像。

S322、将S248得到的待补光合成渲染图像和S223得到的精细掩膜人像训练图像相乘，得到待补光合成中间图像。

S323、将S232得到的反照率人像训练图像、光影训练图像，以及待补光合成中间图像输入至初始补光控制模型中，得到第四输出图像。

其中，初始补光控制模型例如可以是U-net模型。当然也可以是其他网络模型，本申请实施例对此不进行任何限制。

S324、将第四输出图像与第四处理阶段得到的补光合成渲染图像进行对比。

S325、若不相似，则对初始补光控制模型中的参数进行调整。

若相似，则将训练后的初始补光控制模型作为补光控制模型。

示例性的，可以预先设定第四相似度阈值，将第四输出图像和补光合成渲染图像进行对比，判断相似度是否大于第四相似度阈值，若大于第四相似度阈值，则确定相似，可以将训练后的初始补光控制模型作为补光控制模型，否则，则对初始补光控制模型中的参数进行调整，继续进行训练，直至达到相似条件。

应理解，通过利用待补光合成渲染图像、精细掩膜人像训练图像、反照率人像训练图像、法向人像训练图像、局部补光环境图像和补光合成渲染图像对初始补光控制模型进行训练，即可得到能根据补光环境中的补光信息，利用人像反照率信息、人像法向信息，根据补光信息对人像进行补光的补光控制模型。

在一个示例中，本地设备可以从执行设备获取逆渲染模型、补光控制模型的相关参数，将逆渲染模型、补光控制模型部署在本地设备上，利用逆渲染模型、补光控制模型进行图像处理。

在另一个示例中，执行设备上可以直接部署逆渲染模型、补光控制模型，执行设备通过从本地设备获取原始图像，并根据逆渲染模型、补光控制模型对原始图像进行图像处理等。

其中，执行设备可以与其它计算设备配合使用，例如：数据存储器、路由器、负载均衡器等设备。执行设备可以布置在一个物理站点上，或者分布在多个物理站点上。执行设备可以使用数据存储系统中的数据，或者调用数据存储系统中的程序代码来实现本申请实施例的图像处理方法。

需要说明的是，上述执行设备也可以称为云端设备，此时执行设备可以部署在云端。

用户可以操作各自的本地设备与执行设备进行交互。每个本地设备可以表示任何计算设备，例如，个人计算机、计算机工作站、智能手机、平板电脑、智能摄像头、智能汽车或其他类型蜂窝电话、媒体消费设备、可穿戴设备、机顶盒、游戏机等。每个用户的本地设备可以通过任何通信机制/通信标准的通信网络与执行设备进行交互，通信网络可以是广域网、局域网、点对点连接等方式，或它们的任意组合。

上文结合图1至图15，详细描述了本申请实施例的图像处理方法、逆渲染模型的训练方法和补光控制模型的训练方法。下面将结合图16至图19，详细描述本申请适用的电子设备的软件系统、硬件系统、装置以及芯片。应理解，本申请实施例中的软件系统、硬件系统、装置以及芯片可以执行前述本申请实施例的各种补光模型的训练方法、图像处理方法，即以下各种产品的具体工作过程，可以参考前述方法实施例中的对应过程。

图16示出了本申请提供的一种电子设备的结构示意图。电子设备100可用于实现上述方法实施例中描述的图像处理方法。

电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

处理器110可以运行本申请实施例提供的图像处理方法的软件代码，拍摄得到清晰度较高的图像。充电管理模块140用于从充电器接收充电输入。电源管理模块141用于连接电池142，充电管理模块140与处理器110。电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。显示屏194用于显示图像，视频等。显示屏194包括显示面板。

摄像头193用于捕获图像。可以通过应用程序指令触发开启，实现拍照功能，如拍摄获取任意场景的图像。摄像头可以包括成像镜头、滤光片、图像传感器等部件。物体发出或反射的光线进入成像镜头，通过滤光片，最终汇聚在图像传感器上。图像传感器主要是用于对拍照视角中的所有物体(也可称为待拍摄场景、目标场景，也可以理解为用户期待拍摄的场景图像)发出或反射的光汇聚成像；滤光片主要是用于将光线中的多余光波(例如除可见光外的光波，如红外)滤去；图像传感器主要是用于对接收到的光信号进行光电转换，转换成电信号，并输入处理器130进行后续处理。其中，摄像头193可以位于电子设备100的前面，也可以位于电子设备100的背面，摄像头的具体个数以及排布方式可以根据需求设置，本申请不做任何限制。

示例性的，电子设备100包括前置摄像头和后置摄像头。例如，前置摄像头或者后置摄像头，均可以包括1个或多个摄像头。以电子设备100具有1个后置摄像头为例，这样，电子设备100启动启动1个后置摄像头进行拍摄时，可以使用本申请实施例提供的图像处理方法。或者，摄像头设置于电子设备100的外置配件上，该外置配件可旋转的连接于手机的边框，该外置配件与电子设备100的显示屏194之间所形成的角度为0-360度之间的任意角度。比如，当电子设备100自拍时，外置配件带动摄像头旋转到朝向用户的位置。当然，手机具有多个摄像头时，也可以只有部分摄像头设置在外置配件上，剩余的摄像头设置在电子设备100本体上，本申请实施例对此不进行任何限制。

内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。内部存储器121还可以存储本申请实施例提供的图像处理方法的软件代码，当处理器110运行所述软件代码时，执行图像处理方法的流程步骤，得到清晰度较高的图像。内部存储器121还可以存储拍摄得到的图像。

当然，本申请实施例提供的图像处理方法的软件代码也可以存储在外部存储器中，处理器110可以通过外部存储器接口120运行所述软件代码，执行图像处理方法的流程步骤，得到清晰度较高、对比度强的目标图像。电子设备100拍摄得到的图像也可以存储在外部存储器中。

应理解，用户可以指定将图像存储在内部存储器121还是外部存储器中。比如，电子设备100当前与外部存储器相连接时，若电子设备100拍摄得到1帧图像时，可以弹出提示信息，以提示用户将图像存储在外部存储器还是内部存储器；当然，还可以有其他指定方式，本申请实施例对此不进行任何限制；或者，电子设备100检测到内部存储器121的内存量小于预设量时，可以自动将图像存储在外部存储器中。

电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

可以理解的是，本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

上文详细描述了电子设备100的硬件系统，下面介绍电子设备100的软件系统。软件系统可以采用分层架构、事件驱动架构、微核架构、微服务架构或云架构，本申请实施例以分层架构为例，示例性地描述电子设备100的软件系统。

如图17所示，采用分层架构的软件系统分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，软件系统可以分为五层，从上至下分别为应用层210、应用框架层220、硬件抽象层230、驱动层240以及硬件层250。

应用层210可以包括相机、图库应用程序，还可以包括日历、通话、地图、导航、WLAN、蓝牙、音乐、视频、短信息等应用程序。

应用框架层220为应用层210的应用程序提供应用程序访问接口和编程框架。

例如，应用框架层220包括相机访问接口，该相机访问接口用于通过相机管理和相机设备来提供相机的拍摄服务。

应用框架层220中的相机管理用于管理相机。相机管理可以获取相机的参数，例如判断相机的工作状态等。

应用框架层220中的相机设备用于提供不用相机设备以及相机管理之间的数据访问接口。

硬件抽象层230用于将硬件抽象化。比如，硬件抽象层230可以包相机硬件抽象层以及其他硬件设备抽象层；相机硬件抽象层中可以包括相机设备1、相机设备2等；相机硬件抽象层可以与相机算法库相连接，相机硬件抽象层可以调用相机算法库中的算法。

驱动层240用于为不同的硬件设备提供驱动。比如，驱动层可以包括相机驱动；数字信号处理器驱动以及图形处理器驱动。

硬件层250可以包括传感器、图像信号处理器、数字信号处理器、图形处理器以及其他硬件设备。其中，传感器可以包括传感器1、传感器2等，还可以包括深度传感器(timeof flight，TOF)和多光谱传感器。

下面结合显示拍照场景，示例性说明电子设备100的软件系统的工作流程。

当用户在触摸传感器180K上进行单击操作时，相机APP被单击操作唤醒后，通过相机访问接口调用相机硬件抽象层的各个相机设备。示例性的，相机硬件抽象层判断出当前变焦倍数处于[0.6，0.9]变焦倍数范围之间，由此，可以通过向相机设备驱动下发调用广角摄像头的指令，同时相机算法库开始加载本申请实施例所利用的算法。

当硬件层的传感器被调用后，例如，调用广角摄像头中的传感器1获取原始图像后，将原始图像发送给图像信号处理进行配准等初步处理，处理后经相机设备驱动返回硬件抽象层，再利用加载的相机算法库中的算法进行处理，例如利用逆渲染模型和补光控制模型，按照本申请实施例提供的相关处理步骤进行处理，得到目标图像。其中，逆渲染模型、补光控制模型可以通过数字信号处理器驱动调用数字信号处理器、图形处理器驱动调用图形处理器进行处理。

将得到的目标图像经相机硬件抽象层、相机访问接口发送回相机应用进行显示和存储。

图18是本申请实施例提供的图像处理装置的示意图。

应理解，图像处理装置300可以执行本申请提供的图像处理方法；图像处理装置300包括：获取单元310和处理单元320。还应理解，逆渲染模型和补光控制模型可以部署于图像处理装置300中。

获取单元310，用于检测用户在第一界面上对第一控件的第一操作。

处理单元320，用于响应于第一操作，指示摄像头采集原始图像。

处理单元320，还用于确定原始图像对应的反照率图像、法向图像和环境图像；对反照率图像进行清晰度增强处理，得到高清反照率图像；根据高清反照率图像、法向图像和环境图像，确定目标图像。

需要说明的是，上述图像处理装置300以功能单元的形式体现。这里的术语“单元”可以通过软件和/或硬件形式实现，对此不作具体限定。

例如，“单元”可以是实现上述功能的软件程序、硬件电路或二者结合。所述硬件电路可能包括应用特有集成电路(application specific integrated circuit，ASIC)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器等)和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。

因此，在本申请的实施例中描述的各示例的单元，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机指令；当所述计算机可读存储介质在图像处理装置上运行时，使得该图像处理装置执行如图3所示的方法。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)，光介质、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。

本申请实施例还提供了一种包含计算机指令的计算机程序产品，当其在图像处理装置上运行时，使得图像处理装置可以执行图3所示的方法。

图19为本申请实施例提供的一种芯片的结构示意图。图19所示的芯片可以为通用处理器，也可以为专用处理器。该芯片包括处理器401。其中，处理器401用于支持图像处理装置300执行图3所示的技术方案。

可选的，该芯片还包括收发器402，收发器402用于接受处理器401的控制，用于支持图像处理装置300执行图3所示的技术方案。

可选的，图19所示的芯片还可以包括：存储介质403。

需要说明的是，图17所示的芯片可以使用下述电路或者器件来实现：一个或多个现场可编程门阵列(field programmable gate array，FPGA)、可编程逻辑器件(programmable logic device，PLD)、控制器、状态机、门逻辑、分立硬件部件、任何其他适合的电路、或者能够执行本申请通篇所描述的各种功能的电路的任意组合。

上述本申请实施例提供的电子设备、图像处理装置、计算机存储介质、计算机程序产品、芯片均用于执行上文所提供的方法，因此，其所能达到的有益效果可参考上文所提供的方法对应的有益效果，在此不再赘述。

应理解，上述只是为了帮助本领域技术人员更好地理解本申请实施例，而非要限制本申请实施例的范围。本领域技术人员根据所给出的上述示例，显然可以进行各种等价的修改或变化，例如，上述检测方法的各个实施例中某些步骤可以是不必须的，或者可以新加入某些步骤等。或者上述任意两种或者任意多种实施例的组合。这样的修改、变化或者组合后的方案也落入本申请实施例的范围内。

还应理解，上文对本申请实施例的描述着重于强调各个实施例之间的不同之处，未提到的相同或相似之处可以互相参考，为了简洁，这里不再赘述。

还应理解，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

还应理解，本申请实施例中，“预先设定”、“预先定义”可以通过在设备(例如，包括电子设备)中预先保存相应的代码、表格或其他可用于指示相关信息的方式来实现，本申请对于其具体的实现方式不做限定。

还应理解，本申请实施例中的方式、情况、类别以及实施例的划分仅是为了描述的方便，不应构成特别的限定，各种方式、类别、情况以及实施例中的特征在不矛盾的情况下可以相结合。

还应理解，在本申请的各个实施例中，如果没有特殊说明以及逻辑冲突，不同的实施例之间的术语和/或描述具有一致性、且可以相互引用，不同的实施例中的技术特征根据其内在的逻辑关系可以组合形成新的实施例。

最后应说明的是：以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (12)

1.一种图像处理方法，其特征在于，包括：

显示第一界面，所述第一界面包括第一控件；

检测到对所述第一控件的第一操作；

响应于所述第一操作，获取原始图像；

确定所述原始图像对应的反照率图像、法向图像和环境图像；

对所述反照率图像进行清晰度增强处理，得到高清反照率图像；

根据所述原始图像和所述环境图像，确定补光位置，并在所述补光位置处对所述环境图像进行补光，得到补光环境图像；

将所述法向图像和所述补光环境图像进行渲染，得到补光光影图像；

将所述补光光影图像和所述高清反照率图像进行渲染，得到目标图像。

2.根据权利要求1所述的图像处理方法，其特征在于，在对所述反照率图像进行清晰度增强处理，得到高清反照率图像之前，所述方法还包括：

确定所述反照率图像是否需要进行清晰度增强处理；

若是，则对所述反照率图像进行清晰度增强处理，得到所述高清反照率图像。

3.根据权利要求2所述的图像处理方法，其特征在于，确定所述反照率图像是否需要进行清晰度增强处理，包括：

确定所述反照率图像对应的无参考结构清晰度(no-reference structuralsharpness，NRSS)值，并判断所述NRSS值是否大于预设阈值；

若是，则所述反照率图像需要进行清晰度增强处理；

若否，则所述反照率图像不需要进行所述清晰度增强处理。

4.根据权利要求3所述的图像处理方法，其特征在于，确定所述反照率图像对应的NRSS值，包括：

对所述反照率图像进行滤波处理，得到参考图像；

分别确定所述反照率图像和所述参考图像的梯度信息，生成各自对应的梯度图像；

将每帧梯度图像划分成多个图像块；

确定所述反照率图像对应的梯度图像中每个图像块的方差，并按照方差从大到小的顺序，对所述反照率图像对应的梯度图像中的多个图像块进行排序；

根据所述反照率图像对应的梯度图像中的前N个图像块，确定所述参考图像对应的梯度图像中的前N个图像块，N为大于或等于1的正整数；

根据所述反照率图像对应的梯度图像中的前N个图像块各自的方差，以及所述参考图像对应的梯度图像中的前N个图像块各自的方差，确定所述反照率图像对应的NRSS值。

5.根据权利要求1至4中任一项所述的图像处理方法，其特征在于，对所述反照率图像进行清晰度增强处理，得到高清反照率图像，包括：

利用增强模型对所述反照率图像进行清晰度增强处理，得到所述高清反照率图像，其中，所述增强模型基于人脸超分辨率(face super resolution，Face SR)模型生成。

6.根据权利要求5所述的图像处理方法，其特征在于，所述增强模型包括退化去除模块和人像生成模块；

所述利用增强模型对所述反照率图像进行清晰度增强处理，得到所述高清反照率图像，包括：

利用所述退化去除模块，对所述反照率图像中进行降噪；

根据降噪后的反照率图像，利用所述人像生成模块，得到所述高清反照率图像。

7.根据权利要求1至4、6中任一项所述的图像处理方法，其特征在于，确定所述原始图像对应的反照率图像、法向图像和环境图像，包括：

利用逆渲染模型，确定所述原始图像对应的所述反照率图像、所述法向图像和所述环境图像。

8.根据权利要求7所述的图像处理方法，其特征在于，所述逆渲染模型包括第一子模型、第二子模型和第三子模型，所述第一子模型与所述第二子模型、所述第三子模型均连接，所述第二子模型和所述第三子模型相连接；

所述利用逆渲染模型，确定所述原始图像对应的所述反照率图像、所述法向图像和所述环境图像，包括：

根据所述原始图像，利用所述第一子模型确定所述法向图像；

根据所述原始图像和所述法向图像，利用所述第二子模型确定所述反照率图像；

根据所述原始图像、所述法向图像和所述反照率图像，利用所述第三子模型确定所述环境图像。

9.根据权利要求8所述的图像处理方法，其特征在于，所述第一子模型、所述第二子模型和所述第三子模型为U-Net或Mobile Net。

10.一种电子设备，其特征在于，包括处理器和存储器；

所述存储器，用于存储可在所述处理器上运行的计算机程序；

所述处理器，用于执行如权利要求1至9中任一项所述的图像处理方法。

11.一种芯片，其特征在于，包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行如权利要求1至9中任一项所述的图像处理方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，使所述处理器执行如权利要求1至9中任一项所述的图像处理方法。