CN117649478B

CN117649478B - 模型训练方法、图像处理方法及电子设备

Info

Publication number: CN117649478B
Application number: CN202410116138.1A
Authority: CN
Inventors: 洪铭
Original assignee: Honor Device Co Ltd
Current assignee: Honor Device Co Ltd
Priority date: 2024-01-29
Filing date: 2024-01-29
Publication date: 2024-05-17
Anticipated expiration: 2044-01-29
Also published as: CN117649478A

Abstract

本申请实施例提供一种模型训练方法、图像处理方法及电子设备，涉及终端技术领域。该方法包括：根据样本图像，生成样本图像的反照率图像以及法线图像。根据法线图像以及样本光源绘制图像，生成样本高光图像以及样本漫反射图像，其中，样本光源绘制图像中包括至少一个绘制区域，每个绘制区域对应一个光源。将反照率图像、样本高光图像以及样本漫反射图像输入至图像处理模型，以得到图像处理模型输出的第一处理图像。根据样本光源绘制图像对应的标定图像以及第一处理图像确定第一损失值，并根据第一损失值更新图像处理模型的模型参数。这样，可以实现针对图像执行灵活丰富的光照调整处理。

Description

模型训练方法、图像处理方法及电子设备

技术领域

本申请涉及终端技术领域，尤其涉及一种模型训练方法、图像处理方法及电子设备。

背景技术

随着图像处理技术的不断发展，目前出现了越来越多的图像调整功能，例如存在一种图像调整功能是调整图像中的光照效果。

目前，相关技术中在调整图像中的光照效果时，通常是在图像处理的应用程序中提供多种光照效果的选项，之后用户通过界面操作选中相应的光照效果，并且可以通过操作调节控件，从而实现对选中的光照效果的强度调整。

然而，这种实现方式只能实现针对图像添加预先设置的固定光照效果，从而会导致光照调整的灵活性较差。

发明内容

本申请实施例提供一种模型训练方法、图像处理方法及电子设备，应用于终端技术领域。以针对图像实现灵活丰富的光照调整处理。

第一方面，本申请实施例提出一种模型训练方法。该方法包括：

根据样本图像，生成所述样本图像的反照率图像以及法线图像；

根据所述法线图像以及样本光源绘制图像，生成样本高光图像以及样本漫反射图像，其中，所述样本光源绘制图像中包括至少一个绘制区域，每个所述绘制区域对应一个光源，所述样本高光图像用于指示至少一个所述光源所对应的高光信息，所述样本漫反射图像用于指示至少一个所述光源所对应的漫反射信息；

将所述反照率图像、所述样本高光图像以及所述样本漫反射图像输入至所述图像处理模型，以得到所述图像处理模型输出的第一处理图像；

根据所述样本光源绘制图像对应的标定图像以及所述第一处理图像确定第一损失值，并根据所述第一损失值更新所述图像处理模型的模型参数，其中，所述标定图像为在所述样本图像的反照率图像的基础上，添加所述至少一个光源的光源效果所得到的图像。

在这种实现方式中，通过将反照率图像输入至图像处理模型，以使得图像处理模型可以在去除了原有的光照效果的反照率图像的基础上进行后续的重光照处理，以保证重光照处理的正确性。以及将样本高光图像以及样本漫反射图像输入至图像处理模型，以使得图像处理模型可以有效的输出包含样本光源绘制图像所指示的光照效果的第一处理图像，之后再基于第一处理图像和包含正确的光照效果的标定图像计算损失，并基于损失更新图像处理模型，从而可以实现对图像处理模型的有效优化。

在一种可能的实现方式中，所述图像处理模型中包括第一编码单元、解码单元以及i个中间单元，任一个所述中间单元中均包括编码层以及解码层，所述i为大于或等于1的整数；

所述将所述反照率图像、所述样本高光图像以及所述样本漫反射图像输入至所述图像处理模型，以得到所述图像处理模型输出的第一处理图像，包括：

将所述反照率图像输入至所述第一编码单元，以得到所述第一编码单元输出的第一特征向量；

确定所述样本高光图像以及所述样本漫反射图像所对应的第二特征向量；

将所述第一特征向量输入至所述中间单元，并将所述第二特征向量输入至所述中间单元中的解码层，以得到所述中间单元输出的中间特征向量；

将所述中间特征向量输入至所述解码单元，以得到所述解码单元输出的所述第一处理图像。

在这种实现方式中，通过在图像处理模型中设置第一编码单元，可以将反照率图像处理为相应的特征向量，以便于图像处理模型进行后续处理。以及通过将第一特征向量和第二特征向量输入至图像处理模型的中间单元，以使得中间单元在编解码的过程中可以将目标光照效果的特征加入到生成的图像中，最终再根据解码单元对中间特征向量进行解码处理，从而可以保证有效的得到包含目标光照效果的第一处理图像。

在一种可能的实现方式中，所述将所述第一特征向量输入至所述中间单元，并将所述第二特征向量输入至所述中间单元中的解码层，以得到所述中间单元输出的中间特征向量，包括：

针对第1个所述中间单元，将所述第一特征向量以及随机噪声输入至所述第1个中间单元中的编码层，以得到第1个所述编码层输出的编码向量；并将所述编码向量以及所述第二特征向量输入至所述第1个中间单元中的解码层，以在第1个所述解码层中对所述编码向量和所述第二特征向量进行相加处理，并得到所述第1个解码层输出的解码向量；

针对第j个所述中间单元，将第j-1个中间单元中的解码层输出的解码向量输入至所述第j个中间单元中的编码层，以得到第j个所述编码层输出的编码向量；并将所述编码向量以及所述第二特征向量输入至所述第j个中间单元中的解码层，以在第j个所述解码层中对所述编码向量和所述第二特征向量进行相加处理，并得到第j个所述解码层输出的解码向量，其中所述j的取值范围为2~i；

将第i个所述解码层输出的解码向量，确定为所述中间单元输出的中间特征向量。

在这种实现方式中，通过设置i个中间单元，以实现对特征向量进行多次迭代的编解码处理，从而逐步学习特征并对反照率图像进行图像还原。同时本实施例中在每个中间单元的解码层中都输入了第二特征向量，以使得每一个中间单元在生成图像的过程中，会参考高光信息和漫反射信息实现将至少一个光源的光照效果加入到图像特征中，从而有效的实现对图像的重光照处理。

在一种可能的实现方式中，所述确定所述样本高光图像以及所述样本漫反射图像所对应的第二特征向量，包括：

将所述样本高光图像以及所述样本漫反射图像进行融合处理，得到融合处理后的融合图像；

将所述融合图像输入至第二编码单元，以得到所述第二编码单元输出的所述第二特征向量；其中，所述第二特征向量包括至少一个第二子特征向量，其中所述至少一个第二子特征向量的特征分辨率各不相同。

在这种实现方式中，通过将高光图像和漫反射图像处理为相应的第二特征向量，以得到图像处理模型能够识别并处理的数据，以及通过得到不同的特征分辨率的第二子特征向量，从而可以将高光和漫反射的全局特征和局部特征都提供给图像处理模型，以为图像处理模型提供更为全面的特征信息，从而提升图像处理模型所进行的重光照处理的正确性。

在一种可能的实现方式中，所述法线图像和所述样本光源绘制图像的尺寸相同；

所述根据所述法线图像以及样本光源绘制图像，生成样本高光图像以及样本漫反射图像，包括：

针对所述法线图像以及所述样本光源绘制图像中的任一个像素点位置，在所述法线图像中确定所述像素点位置对应的法线参数，以及在所述样本光源绘制图像中确定所述像素点位置对应的光源参数；

将所述法线参数以及所述光源参数输入至预设公式，以得到所述像素点位置所对应的高光参数以及漫反射参数；

根据各所述像素点位置各自对应的高光参数，生成所述样本高光图像；以及，根据各所述像素点位置各自对应的漫反射参数，生成所述样本漫反射图像。

在一种可能的实现方式中，所述根据所述法线图像以及样本光源绘制图像，生成样本高光图像以及样本漫反射图像之前，所述方法还包括：

根据坐标转换关系，将所述样本光源绘制图像从直角坐标系转化至球形坐标系下，以得到球形坐标系下的所述样本光源绘制图像。

在这种实现方式中，通过对样本光源绘制图像进行坐标系转换，从而可以得到能够进行光照处理的环境图，也就是球形坐标系下的样本光源绘制图像，以便于实现后续的高光及漫反射的处理。

在一种可能的实现方式中，所述根据样本图像，生成所述样本图像的反照率图像以及法线图像，包括：

将所述样本图像输入至处理网络，以得到所述处理网络输出的所述反照率图像以及法线图像。

在一种可能的实现方式中，所述将所述反照率图像、所述样本高光图像以及所述样本漫反射图像输入至所述图像处理模型，以得到所述图像处理模型输出的第一处理图像之前，所述方法还包括：

将预训练图像输入至所述图像处理模型，以得到所述图像处理模型输出的第二处理图像；

根据所述预训练图像以及所述第二处理图像确定第二损失值，并根据所述第二损失值更新所述图像处理模型的模型参数。

在这种实现方式中，通过对图像处理模型进行预训练，以使得图像处理模型具备生成的输出图像和输入图像尽可能的接近的功能，从而可以实现对反照率图像的有效生成，保证最终生成的第一处理图像的图像效果。

在一种可能的实现方式中，在所述样本光源绘制图像中，所述绘制区域的颜色用于指示对应的光源的颜色，以及所述绘制区域的位置用于指示对应的光源的位置，以及所述绘制区域的面积用于指示对应的光源的强度，以及所述绘制区域的形状用于指示对应的光源的形状。

第二方面，本申请实施例提出一种图像处理方法，应用于终端设备，所述终端设备中包括具备图像处理功能的第一应用，所述第一应用中包括用于实现图像编辑功能的编辑界面，在所述编辑界面显示有待进行图像编辑的待处理图像。该方法包括：

响应作用于所述编辑界面中的绘制操作，确定目标光源绘制图像，其中，所述目标光源绘制图像中包括所述绘制操作所形成的至少一个绘制区域，每个所述绘制区域对应一个光源；

根据所述待处理图像，生成所述待处理图像的反照率图像以及法线图像；

根据所述法线图像以及所述目标光源绘制图像，生成目标高光图像以及目标漫反射图像，其中，所述目标高光图像用于指示至少一个所述光源所对应的高光信息，所述目标漫反射图像用于指示至少一个所述光源所对应的漫反射信息；

将所述反照率图像、所述目标高光图像以及所述目标漫反射图像输入至所述图像处理模型，以得到所述图像处理模型输出的目标图像，其中，所述图像处理模型为根据第一方面所述的方法训练得到的。

在一种可能的实现方式中，所述方法还包括：

将所述目标高光图像以及所述目标漫反射图像进行融合处理，得到融合处理后的融合图像；

将所述融合图像输入至编码单元，以得到所述编码单元输出的所述目标高光图像以及所述目标漫反射图像对应的特征向量；其中，所述特征向量包括至少一个子特征向量，其中所述至少一个子特征向量的特征分辨率各不相同；

所述将所述反照率图像、所述目标高光图像以及所述目标漫反射图像输入至所述图像处理模型，以得到所述图像处理模型输出的目标图像，包括：

将所述反照率图像输入至所述图像处理模型，并将所述目标高光图像以及所述目标漫反射图像对应的特征向量输入至所述图像处理模型中的解码层，以得到所述图像处理模型输出的目标图像。

所述将所述反照率图像输入至图像处理模型，并将所述目标高光图像以及所述目标漫反射图像输入至所述图像处理模型中的解码层，以得到所述图像处理模型输出的目标图像，包括：

确定所述目标高光图像以及所述目标漫反射图像所对应的第二特征向量；

将所述中间特征向量输入至所述解码单元，以得到所述解码单元输出的所述目标图像。

在一种可能的实现方式中，所述法线图像和所述目标光源绘制图像的尺寸相同；

所述根据所述法线图像以及所述目标光源绘制图像，生成目标高光图像以及目标漫反射图像，包括：

针对所述法线图像以及所述目标光源绘制图像中的任一个像素点位置，在所述法线图像中确定所述像素点位置对应的法线参数，以及在所述目标光源绘制图像中确定所述像素点位置对应的光源参数；

根据各所述像素点位置各自对应的高光参数，生成所述目标高光图像；以及，根据各所述像素点位置各自对应的漫反射参数，生成所述目标漫反射图像。

在一种可能的实现方式中，所述根据所述法线图像以及所述目标光源绘制图像，生成目标高光图像以及目标漫反射图像之前，所述方法还包括：

根据坐标转换关系，将所述目标光源绘制图像从直角坐标系转化至球形坐标系，以得到球形坐标系下的所述目标光源绘制图像。

在一种可能的实现方式中，在所述目标光源绘制图像中，所述绘制区域的颜色用于指示对应的光源的颜色，以及所述绘制区域的位置用于指示对应的光源的位置，以及所述绘制区域的面积用于指示对应的光源的强度，以及所述绘制区域的形状用于指示对应的光源的形状。

第三方面，本申请实施例提供一种模型训练装置，该模型训练装置可以是电子设备，也可以是电子设备内的芯片或者芯片系统。该模型训练装置可以包括处理单元。当该模型训练装置是电子设备时，该处理单元可以是处理器。该模型训练装置还可以包括存储单元，该存储单元可以是存储器。该存储单元用于存储指令，该处理单元执行该存储单元所存储的指令，以使该电子设备实现第一方面或第一方面的任意一种可能的实现方式中描述的一种模型训练方法。当该模型训练装置是电子设备内的芯片或者芯片系统时，该处理单元可以是处理器。该处理单元执行存储单元所存储的指令，以使该电子设备实现第一方面或第一方面的任意一种可能的实现方式中描述的一种模型训练方法。该存储单元可以是该芯片内的存储单元（例如，寄存器、缓存等），也可以是该电子设备内的位于该芯片外部的存储单元（例如，只读存储器、随机存取存储器等）。

第四方面，本申请实施例提供一种图像处理装置，该图像处理装置可以是电子设备，也可以是电子设备内的芯片或者芯片系统。该图像处理装置可以包括显示单元和处理单元。当该图像处理装置是电子设备时，该处显示单元可以是显示屏。该显示单元用于执行显示的步骤，以使该电子设备实现第而方面或第二方面的任意一种可能的实现方式中描述的一种图像处理方法。当该图像处理装置是电子设备时，该处理单元可以是处理器。该图像处理装置还可以包括存储单元，该存储单元可以是存储器。该存储单元用于存储指令，该处理单元执行该存储单元所存储的指令，以使该电子设备实现第二方面或第二方面的任意一种可能的实现方式中描述的一种图像处理方法。当该图像处理装置是电子设备内的芯片或者芯片系统时，该处理单元可以是处理器。该处理单元执行存储单元所存储的指令，以使该电子设备实现第二方面或第二方面的任意一种可能的实现方式中描述的一种图像处理方法。该存储单元可以是该芯片内的存储单元（例如，寄存器、缓存等），也可以是该电子设备内的位于该芯片外部的存储单元（例如，只读存储器、随机存取存储器等）。

第五方面，本申请实施例提供一种电子设备，包括处理器和存储器，存储器用于存储代码指令，处理器用于运行代码指令，以执行第一方面及第二方面中描述的方法。

第六方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序或指令，当计算机程序或指令在计算机上运行时，使得计算机执行第一方面及第二方面中描述的方法。

第七方面，本申请实施例提供一种包括计算机程序的计算机程序产品，当计算机程序在计算机上运行时，使得计算机执行第一方面及第二方面中描述的方法。

第八方面，本申请提供一种芯片或者芯片系统，该芯片或者芯片系统包括至少一个处理器和通信接口，通信接口和至少一个处理器通过线路互联，至少一个处理器用于运行计算机程序或指令，以执行第一方面及第二方面中描述的方法。其中，芯片中的通信接口可以为输入/输出接口、管脚或电路等。

在一种可能的实现中，本申请中上述描述的芯片或者芯片系统还包括至少一个存储器，该至少一个存储器中存储有指令。该存储器可以为芯片内部的存储单元，例如，寄存器、缓存等，也可以是该芯片的存储单元（例如，只读存储器、随机存取存储器等）。

应当理解的是，本申请的第二方面至第八方面与本申请的第一方面的技术方案相对应，各方面及对应的可行实施方式所取得的有益效果相似，不再赘述。

附图说明

图1为本申请实施例提供的一种调整光照效果的界面示意图；

图2为本申请实施例提供的一种终端设备的硬件结构示意图；

图3为本申请实施例提供的一种终端设备的软件结构示意图；

图4为本申请实施例提供的编辑界面的实现示意图；

图5为本申请实施例提供的确定确定绘制区域的实现示意图；

图6为本申请实施例提供的图像训练模型的训练过程示意图；

图7为本申请实施例提供的处理网络的实现示意图；

图8为本申请实施例提供的图像处理模型的网络结构示意图；

图9为本申请实施例提供的图像处理模型的预训练过程的示意图；

图10为本申请实施例提供的重光照处理后的目标图像示意图；

图11为本申请实施例提供的电子设备的硬件结构示意图。

具体实施方式

为了便于清楚描述本申请实施例的技术方案，以下，对本申请实施例中所涉及的部分术语和技术进行简单介绍：

1、diffusion模型（扩散模型）

扩散模型是一种用于图像生成的模型，它不仅在图像生成任务上取得了显著的效果，而且在生成图像的质量、多样性、对抗鲁棒性方面也具有显著的优势。

diffusion模型的核心思想是将图像生成过程看作是从噪声向目标图像进行逐渐传播的过程，其中每个传播步骤都由一个随机变量决定，随机变量的分布由目标图像的统计特性决定。diffusion模型的训练过程是通过迭代的方式来学习随机变量的分布，使得生成的图像与目标图像尽可能相似。

diffusion模型在图像生成任务上的应用主要包括以下几个方面：

生成高质量的图像。diffusion模型可以生成高分辨率、高质量的图像，并且在生成图像的多样性方面也具有显著的优势。

生成具有特定属性的图像。diffusion模型可以通过控制随机变量的分布来生成具有特定属性的图像，例如生成特定风格的图像、生成具有特定目标的图像等。

生成对抗鲁棒的图像。diffusion模型可以生成对抗鲁棒的图像，即使在对图像进行微小的扰动后，图像仍然与原始图像具有相同的语义信息。

2、Albedo图：

Albedo（反照率）图是描述物体表面颜色和反射特性的纹理图像，反照率图像可以表征物体表面发射光线的颜色。它通常以RGB（红、绿、蓝）格式存储，每个像素的颜色值表示物体表面在该点处的颜色。Albedo图可以用于模拟物体的漫反射（diffuse reflection），即光线与物体表面交互后均匀地散射出去的现象。在渲染过程中，例如光照会以一定的方式与Albedo图进行计算，从而获得物体表面的颜色和明暗变化。

3、Normal图：

Normal（法线）图是描述物体表面法线方向的纹理图像，法线图像可以表征物体表面法线向量的方向。它通常以RGB格式存储，每个像素的颜色值表示该点处的法线方向。法线方向是垂直于物体表面的方向，它决定了光线与物体表面交互时的反射行为。Normal图可以用于模拟物体的凹凸（bump）效果，使得光照在渲染过程中更真实地反映物体表面的细节。通过在渲染过程中根据Normal图对光线进行调整，可以使物体表面看起来更加立体和有质感。

4、环境图

环境图是指用于模拟物体周围环境光照的一种纹理图像。它通常是一个全景图像，包含了物体所处环境的全景视野。环境图可以是一个室内场景、室外风景、天空等，用于模拟物体周围的光照环境。

在渲染过程中，环境图被用来计算物体的反射和折射。当光线与物体表面交互时，一部分光线会被表面反射，其中的反射光线的颜色和强度受到环境图的影响。通过将环境图与物体的反射属性相结合，可以模拟出物体表面对周围环境光的反射效果，使得渲染结果更加真实。

环境图也可以用于模拟物体的折射效果。当光线通过透明物体（如玻璃）时，光线会发生折射，其中的折射光线的颜色和强度也会受到环境图的影响。通过将环境图与物体的折射属性相结合，可以模拟出物体对周围环境光的折射效果。

5、高光和漫反射

高光（Specular）和漫反射（Diffuse）是计算机图形学中常用的两个光照模型，用于模拟物体表面在光照条件下的反射行为。

高光是指物体表面上由于光线的入射角度和视线方向之间的关系而产生的镜面反射光。漫反射是指物体表面上光线均匀地散射和反射的光。它不像高光那样集中在特定的方向，而是在各个方向上均匀散射。

高光和漫反射是光照模型中的重要组成部分，通过模拟光线与物体表面的相互作用，可以使渲染结果更加真实和逼真。在计算机图形学中，常常使用高光和漫反射来计算物体的光照效果。

6、其他术语

在本申请的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如，第一芯片和第二芯片仅仅是为了区分不同的芯片，并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。

需要说明的是，本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

本申请实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项（个）”或其类似表达，是指的这些项中的任意组合，包括单项（个）或复数项（个）的任意组合。例如，a，b，或c中的至少一项（个），可以表示：a，b，c，a-b，a--c，b-c，或a-b-c，其中a，b，c可以是单个，也可以是多个。

7、电子设备

本申请实施例的电子设备可以包括具有图像处理功能的手持式设备、车载设备等。例如，一些电子设备为：手机（mobile phone）、平板电脑、掌上电脑、笔记本电脑、移动互联网设备（mobile internet device，MID）、可穿戴设备，虚拟现实（virtual reality，VR）设备、增强现实（augmented reality，AR）设备、工业控制（industrial control）中的无线终端、无人驾驶（self driving）中的无线终端、远程手术（remote medical surgery）中的无线终端、智能电网（smart grid）中的无线终端、运输安全（transportation safety）中的无线终端、智慧城市（smart city）中的无线终端、智慧家庭（smart home）中的无线终端、蜂窝电话、无绳电话、会话启动协议（session initiation protocol，SIP）电话、无线本地环路（wireless local loop，WLL）站、个人数字助理（personal digital assistant，PDA）、具有无线通信功能的手持设备、计算设备或连接到无线调制解调器的其它处理设备、车载设备、可穿戴设备，5G网络中的终端设备或者未来演进的公用陆地移动通信网络（publicland mobile network，PLMN）中的终端设备等，本申请实施例对此并不限定。

作为示例而非限定，在本申请实施例中，该电子设备还可以是可穿戴设备。此外，在本申请实施例中，电子设备还可以是物联网（internet of things，IoT）系统中的终端设备，IoT是未来信息技术发展的重要组成部分，其主要技术特点是将物品通过通信技术与网络连接，从而实现人机互连，物物互连的智能化网络。

本申请实施例中的电子设备也可以称为：终端设备、用户设备（user equipment，UE）、移动台（mobile station，MS）、移动终端（mobile terminal，MT）、接入终端、用户单元、用户站、移动站、移动台、远方站、远程终端、移动设备、用户终端、终端、无线通信设备、用户代理或用户装置等。

在本申请实施例中，电子设备或各个网络设备包括硬件层、运行在硬件层之上的操作系统层，以及运行在操作系统层上的应用层。该硬件层包括中央处理器（centralprocessing unit，CPU）、内存管理单元（memory management unit，MMU）和内存（也称为主存）等硬件。该操作系统可以是任意一种或多种通过进程（process）实现业务处理的计算机操作系统，例如，Linux操作系统、Unix操作系统、Android操作系统、iOS操作系统或windows操作系统等。该应用层包含浏览器、通讯录、文字处理软件、即时通信软件等应用。

为了更好的理解本申请的技术方案，下面对本申请所设计的相关技术进行进一步的详细介绍。

例如可以参照图1进行理解，图1为本申请实施例提供的一种调整光照效果的界面示意图。

如图1所示，在操作界面中可以包括至少一种光源的光照效果各自对应的选择控件，例如图1所示的光源1对应的选择控件101，光源2对应的选择控件等等。以及在操作界面中可以包括光照效果所对应的调节控件102，其中调节控件102用于调节被选中的光照效果的强度。

例如，用户可以在图1所示的界面中选择光源1对应的选择控件101，以选中光源1所对应的光照效果，则应用程序可以响应于用户的操作，在界面中所示的图像A中添加默认强度的光源1的光照效果。以及之后用户还可以操作调节控件102，从而调节光源1的光照效果在图像A中所呈现出的强度。

然而在这种实现方式中，只能够预选设置几种固定的光照效果，其中预设的光照效果例如可以包括自然光、摄影棚灯光、聚光灯等等效果。之后在进行光照效果的调节时，只能实现针对图像添加预先设置的固定光照效果，从而会导致光照调整的灵活性较差。

在上述介绍内容的基础上，下面从调整光照效果的实现方式的角度对上述内容进行进一步的详细介绍。在一种实现方式中，以人像图像为例，例如可以通过人像重光照算法，实现对人像图像中的光照效果的调整。

其中，人像重光照算法是指通过改变人像的光照条件，生成具有不同光照效果的人像图像。人像重光照算法可以应用于人像美化、人像编辑、人像合成等领域。目前，人像重光照算法主要有基于深度学习的方法和基于图像处理的方法两类。

基于深度学习的方法是通过训练深度学习模型，学习人像在不同光照条件下的特征，然后根据输入的人像图像和目标光照条件，生成具有目标光照效果的人像图像。

基于图像处理的方法是通过对人像图像进行图像处理，改变人像的光照条件，生成具有不同光照效果的人像图像。

基于上述介绍可以理解的是，目前传统的方案通常都是预先设置几种固定的环境图，一种环境图通常就对应一种光照效果，之后基于用户所选择的光照效果所对应的环境图执行上述介绍的方案，从而得到目标光照效果。因此这种实现方式难以实现对光照效果的精确控制。

针对上述介绍的技术问题，本申请提出了如下技术构思：可以在图像编辑应用中设置涂鸦功能，之后用户可以基于涂鸦功能在待处理图像中手动绘制出想要设置的光源，同时，本申请中可以训练图像处理模型，让图像处理模型基于原始图像以及用户手动绘制的涂鸦图像，生成满足涂鸦图像中所要求的光源效果的重光照图像，从而可以实现能够基于用户的实际需求灵活的调整图像的光照效果。

本申请所提供的技术方案可以应用于终端设备，下面首先对终端设备进行简单介绍。

示例性的，图2为本申请实施例提供的一种终端设备的硬件结构示意图。

终端设备可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线（universal serial bus，USB）接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194以及用户标识模块（subscriber identification module，SIM）卡接口195等。

其中处理器110可以包括一个或多个处理单元。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。处理器110中还可以设置存储器，用于存储指令和数据。

终端设备通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。在一些实施例中，终端设备可以包括1个或N个显示屏194，N为大于1的正整数。

终端设备可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄、录像等相机功能。

摄像头193用于捕获静态图像或视频。在一些实施例中，终端设备可以包括1个或N个摄像头193，N为大于1的正整数。

可以理解的是，本申请实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对终端设备的结构限定。在本申请另一些实施例中，终端设备也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

上述终端设备的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本发明实施例以分层架构的系统为例，示例性说明终端设备的软件结构。

示例性的，图3为本申请实施例提供的一种终端设备的软件结构示意图。

如图3所示，分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过接口通信。在一些实施例中，系统可以包括应用层，应用框架层，系统库，硬件抽象层（hardware abstraction layer，HAL）以及内核层。

需要说明的是，本申请实施例以Android系统举例来说明，在其他操作系统中（例如鸿蒙系统，IOS系统等），只要各个功能模块实现的功能和本申请的实施例类似也能实现本申请的方案。

其中，应用层可以包括一系列应用程序包。如图3所示，应用程序包可以包括相机，图库等应用程序。其中，相机应用程序为用于实现图像拍摄功能的应用程序。以及，在图像拍摄完成之后，用户可以在图库应用程序中查看拍摄得到的图像，并且用户可以在图库应用程序中对图像进行编辑操作。

以及应用层还可以包括日历，电话，地图，导航，邮箱，社交，无线局域网（wirelesslocal area networks，WLAN），蓝牙，音乐，视频，短信息、锁屏应用、设置应用。当然，应用层还可以包括其他应用程序包，例如支付应用、购物应用、银行应用、社交应用等第三方应用，本申请不做限定。

其中，应用框架层为应用层的应用程序提供应用编程接口（applicationprogramming interface，API）和编程框架。例如，如图3所示，应用程序框架层包括一些预先定义的函数。例如可以包括活动管理器、窗口管理器，内容提供器，视图系统，资源管理器，通知管理器和相机服务（camera server）单元等，本申请实施例对此不做任何限制。

以及，系统库可以包括多个功能模块。例如：表面管理器（surface manager），媒体库（media libraries），三维图形处理库（例如：OpenGL ES），2D图形引擎（例如：SGL）等。

以及，硬件抽象层用于将硬件抽象化，实现对Linux内核驱动程序的封装，向上提供接口，屏蔽低层硬件的实现细节。比如，硬件抽象层可以包括图3所示的图像处理模型，其中图像处理模型用于实现本申请中的重光照处理。

以及，内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动、充电驱动等。

在上述介绍内容的基础上，下面对本申请所提供的技术方案进行详细介绍。

本申请的技术方案可以应用于终端设备，在一种实现方式中，终端设备中例如可以设置有具备图像处理功能的第一应用，例如第一应用可以为上述介绍的图库应用，或者第一应用还可以为任意的具备图像处理功能的第三方应用，本实施例对此不做限制。

基于上述介绍可以介绍的是，本申请的技术方案中需要用户手动绘制想要设置的光源，因此在一种实现方式中，第一应用例如可以响应于用户操作，在终端设备中显示用于实现图像编辑功能的编辑界面，之后第一应用响应于用户在编辑界面中的绘制操作，从而确定用户所输入的光源信息。

例如可以结合图4和图5对编辑界面的实现以及用户所进行的绘制操作进行理解，图4为本申请实施例提供的编辑界面的实现示意图，图5为本申请实施例提供的确定确定绘制区域的实现示意图。

如图4所示，例如在第一应用中可以设置有多种图像编辑功能，例如图4中的（a）所示的智能、修剪、调节、滤镜、涂鸦以及马赛克等等功能控件，分别对应不同的图像编辑功能。而在本实施例中，是要为用户提供在图像中进行绘制操作的功能，因此在一种可能的实现方式中，用户例如可以点击“涂鸦”的功能控件401，之后第一应用进入涂鸦功能所对应的操作界面，也就是图4中的（a）所示的界面。

在本实施例中，例如可以将涂鸦功能所对应的操作界面成为编辑界面，如图4中的（a）所示，在编辑界面中可以包括至少一个画笔选项控件，其中不同的画笔选项控件对应不同形状的涂鸦画笔，例如图4中的402指示的就是线条形状的涂鸦画笔的画笔选项控件。以及，在编辑界面中还可以包括粗细调节控件403，其中用户可以通过操作粗细调节控件403从而调整涂鸦画笔的粗细程度。以及，在编辑界面中还可以包括颜色选择控件404。

在一种实现方式中，第一应用可以响应于用户针对颜色选择控件404所进行的用户操作，从而在编辑界面中显示颜色选择面板，也就是图4中的（b）所示的面板405，其中用户可以在颜色选择面板405中选择想要的画笔颜色。

在用户选定画笔的形状、粗细程度以及颜色之后，用户就可以基于选中属性所对应的画笔，在编辑界面中所显示的待进行图像编辑的待处理图像的基础上进行绘制操作，从而形成至少一个绘制区域。

其中，用户所绘制的一个连续的绘制区域可以对应一个光源，因此基于用户在编辑界面中所进行的绘制操作，可以确定用户想要的光源。

例如可以参照图5对绘制区域进行理解，如图5所示，假设图5中的（a）内所示的人像图像为待处理图像，例如用户通过绘制操作，在人像图像的基础上形成了绘制区域501和绘制区域502。其中一个具有闭合边界的范围可以理解为一个绘制区域。

参照图4和图5可以理解的是，当前实例介绍的是用户直接基于涂鸦功能从而在编辑界面中进行绘制操作，那么为了确定用户当前所进行的绘制操作具体是为了调整光源，还是单纯的想要在待处理图像中添加涂鸦，本实施例中进一步可以在编辑界面中设置图5中的（a）所示的光源调整控件503。

在一种实现方式中，如果用户在绘制操作完成之后，点击了光源调整控件503，则表示用户当前是要基于绘制操作调整光源，则之后可以基于用户的绘制操作所形成的至少一个绘制区域，对待处理图像进行后续的重光照处理。

或者，如果用户在完成绘制操作之后，点击了光源调整控件503右侧的保存控件，则表示用户当前是要基于绘制操作在待处理图像中添加涂鸦，则无需执行本申请中介绍的光源处理。

当前介绍的只是触发光源调整的一种操作方式，例如在另外的实现方式中，还可以在第一应用中单独的设置光源调整功能，也就是说与上述图4中的（a）所示意的智能、修剪、调节等等功能并列的光源调整功能。

之后用户在点击光源调整功能的功能控件之后，例如可以进入光源调整功能的编辑界面，在该编辑界面中用户可以基于与上述类似的操作方式选择画笔，并且基于画笔进行绘制操作，之后当用户点击编辑界面中的保存控件或者确定控件之后，第一应用就可以基于用户的绘制操作所形成的至少一个绘制区域，对待处理图像进行后续的重光照处理。

以及参照图5还需要说明的是，在一种可能的实现方式中，本实施例中可以基于仅包含至少一个绘制区域的图像，单独地生成光源绘制图像，例如图5中的（b）所示的图像就可以理解为一张光源绘制图像。其中，光源绘制图像的图像尺寸例如可以和待处理图像的图像尺寸相同。

在一种实现方式中，在光源绘制图像中，绘制区域的颜色用于指示对应的光源的颜色，例如绘制区域是用紫色的画笔绘制的，那么最终实现的光源效果就是紫色。

以及绘制区域的位置用于指示对应的光源的位置，例如在图5的实例中，绘制区域501位于人像的右脸靠下的位置，那么该绘制区域的光照效果也就渲染在人脸的右脸靠下的位置及其周边区域。

以及，绘制区域的面积用于指示对应的光源的强度，例如在图5的实例中，假设绘制区域501的面积小于绘制区域502的面积，那么绘制区域501所指示的光源所对应的强度就小于绘制区域502所指示的光源所对应的强度。

以及，绘制区域的形状用于指示对应的光源的形状，例如在图5的实例中，绘制区域501呈现长条状，那么该绘制区域所对应的光源效果也就是说在人脸区域中的右侧呈现长条状的光照效果。以及绘制区域502的形状更加圆润一些，那么该绘制区域所对应的光源效果也就是说在人脸区域中的左侧呈现更加接近圆形的光照效果。

那么基于此，就可以在基于用户的绘制操作确定光源绘制图像之后，就可以基于光源绘制图像以及原始的待处理图像进行重光照处理，从而得到基于至少一个绘制区域所对应的光源进行重光照处理后的目标图像，进而可以实现灵活丰富的光源效果处理。

上述结合图4和图5介绍了用户手动绘制光源的相关实现方式，在一种可能的实现方式中，本申请中在确定光源绘制图像之后，可以通过图像处理模型对光源绘制图像以及原始的待处理图像进行重光照处理，从而得到重光照处理后的目标图像。为了保证图像处理模型能够具备重光照处理的能力，就要预先对图像处理模型进行训练。

下面结合图6至图7对图像处理模型的训练过程进行说明。首先结合图6进行介绍，图6为本申请实施例提供的图像训练模型的训练过程示意图，图7为本申请实施例提供的处理网络的实现示意图。

如图6所示，图像训练模型的训练过程包括如下步骤：

S601、根据样本图像，生成样本图像的反照率图像以及法线图像。

在模型训练阶段，可以收集样本图像对图像处理模型进行训练，其中样本图像的尺寸、内容以及格式等等均可以根据实际需求进行选择，本实施例对此不做限制。

以任一张样本图像为例，参照图6，本实施例中可以基于样本图像生成样本图像的反照率图像以及法线图像。其中，生成样本图像的反照率图像的目的是为了去除样本图像中原本的光照效果，以消除原有光照效果的影响，从而保证后续能够正确的实现光源绘制图像所指示的光源效果。以及本实施例中生成样本图像的法线图像的目的是为了后续针对光源进行高光以及漫反射的计算，从而可以有效的将光源绘制图像所指示的光源效果展现在最终生成的图像中。

在一种可能的实现方式中，在本实施例中例如可以设置有处理网络，其中处理网络就用于对图像进行处理从而得到相应的反照率图像以及法线图像。

例如可以参照图7对处理网络的一种可能的实现方式进行理解，如图7所示，在处理网络中例如可以包括一个编码单元以及两个解码单元，分别为解码单元1和解码单元2。

参照图7，例如可以将样本图像输入该处理网络，之后处理网络中的编码单元可以对样本图像进行编码处理，从而得到该样本图像对应的特征向量。在一种实现方式中，编码单元可以由一系列的卷积层组成，这些卷积层负责将输入图像（即样本图像）压缩成一个低维的特征表示，也即本实施例中介绍的特征向量。

以及之后再将该样本图像对应的特征向量分别输入至解码单元1和解码单元2。在一种实现方式中，解码单元可以由一系列的反卷积层组成，这些反卷积层可以将特征向量解码成一个高维的输出图像。

参照图7，解码单元1对特征向量进行解码处理之后，可以输出反照率图像。以及解码单元2对特征向量进行解码处理之后，可以输出法线图像。

上述图7介绍的只是处理网络的一种网络结构，在另一种实现方式中，处理网络中例如还可以包括两个编码单元以及两个解码单元，其中一个编码单元和一个解码单元例如用于处理得到反照率图像，以及另一个编码单元和另一个解码单元例如用于处理得到法线图像。

或者，本实施例中还例如可以设置有两个处理网络，这两个处理网络分别用于对样本图像进行处理从而得到反照率图像以及法线图像。本实施例对处理网络的具体网络结构不做特别限制。

以及在一种实现方式中，本实施例中的处理网络例如可以为UNet网络（因为网络结构像个U，所以称为Unet），或者其还可以通过任意可能的网络结构来实现，本实施例对此不做限制。

S602、根据法线图像以及样本光源绘制图像，生成样本高光图像以及样本漫反射图像。

其中，样本光源绘制图像中包括至少一个绘制区域，每个绘制区域对应一个光源，样本高光图像用于指示至少一个光源所对应的高光信息，样本漫反射图像用于指示至少一个光源所对应的漫反射信息。

在本实施例中，样本光源绘制图像可以参照上述介绍的光源图像进行理解，其中样本光源绘制图像可以理解为在模型训练阶段所使用的光源绘制图像。其可以为操作人员手动绘制生成的，或者还可以为基于历史数据收集得到的，本实施例对样本光源绘制图像的具体来源不做限制，只要其满足上述介绍的特性即可。

在一种可能的实现方式中，初始的样本光源图像是位于直角坐标系下的，而为了实现光源的光照效果渲染，通常需要将样本光源图像转化至球形坐标系下，以便于后续模型进行光照效果的处理。

因此本实施例中可以基于直角坐标系和球形坐标系的转换关系，将样本光源图像从直角坐标系转换至球形坐标系下，以得到球形坐标系下的样本光源绘制图像。其中，球形坐标系下的样本光源绘制图像还可以成为环境图。

可以理解的是，下文中所提到的样本光源绘制图像均可以理解为是球形坐标系下的样本光源绘制图像，因此下文中对这一点不再进行特殊说明。

之后，可以根据法线图像以及样本光源绘制图像，生成样本高光图像以及样本漫反射图像，其中样本高光图像就用于指示绘制区域所对应的各个光源的高光信息，以及样本漫反射图像就用于指示绘制区域所对应的各个光源的漫反射信息。基于上述介绍的概念可以理解的是，基于高光和漫反射就可以在图像中渲染得到相应的光照效果，因此本实施例中通过确定样本高光图像以及样本漫反射图像，就可以确定光照效果的渲染依据。

在一种实现方式中，本实施例中法线图像和样本光源绘制图像的尺寸是相同的，因此可以针对法线图像以及样本光源绘制图像中的任一个像素点位置（两张图像中的像素点位置是一一对应的），在法线图像中确定所述像素点位置对应的法线参数，以及在样本光源绘制图像中确定像素点位置对应的光源参数。

之后可以将法线参数以及光源参数输入至预设公式，从而得到像素点位置所对应的高光参数以及漫反射参数。在确定各个像素点位置各自对应的高光参数以及漫反射参数之后，就可以根据各像素点位置各自对应的高光参数，生成样本高光图像；以及，根据各像素点位置各自对应的漫反射参数，生成样本漫反射图像。

例如，可以将像素点位置所对应的高光参数，确定为该像素点位置所对应的像素值，从而生成样本高光图像。以及生成样本漫反射图像的实现方式也类似。

在本实施例中，例如可以使用光照贴图（lightmap）方法计算高光参数和漫反射参数，其中光照贴图是一种在3D计算机图形学中用于模拟间接光照的技术。它通过将光照信息从场景中提取到纹理中，并在渲染时对每个像素进行采样来实现。光照贴图可以用来模拟各种光照效果，包括漫反射以及高光。因此上述介绍的预设公式例如可以为光照贴图方法所对应的计算公式，本实施例对此不做赘述。

S603、将反照率图像、样本高光图像以及样本漫反射图像输入至图像处理模型，以得到图像处理模型输出的第一处理图像。

在得到样本高光图像以及样本漫反射图像之后，参照图7，例如可以将反照率图像、样本高光图像以及样本漫反射图像均输入到图像处理模型中，以使得图像处理模型参照这三部分数据进行重光照处理。

在一种实现方式中，例如可以将反照率图像输入至图像处理模型，并将样本高光图像以及样本漫反射图像对应的特征向量输入至图像处理模型中的解码层，以得到图像处理模型输出的第一处理图像。

其中，因为本实施例中的图像处理模型中可以包括编码层以及解码层，其中编码层用于对图像或者特征进行编码以得到特征向量，以及解码层用户对特征向量进行解码以还原特征或者图像，为了实现将高光和漫反射所指示的光照效果添加在图像中，本实施例中例如可以将样本高光图像以及样本漫反射图像输入至图像处理模型的解码层中。

因此在一种可能的实现方式中，本实施例中例如可以将反照率图像输入至图像处理模型，以使得图像处理模型在去除了原有的光照效果的反照率图像的基础上，添加样本光源绘制图像所指示的光照效果。以及可以在图像处理模型的处理过程中，将样本高光图像以及样本漫反射图像所对应的特征向量输入至图像处理模型中的解码层，以使得图像处理模型输出的图像中可以包含相应的光照效果。

参照图6，图像处理模型在处理完成之后，可以输出第一处理图像，第一处理图像也就是在模型训练阶段，由图像处理模型所输出的进行了重光照处理的图像。

S604、根据样本光源绘制图像对应的标定图像以及第一处理图像确定第一损失值，并根据第一损失值更新图像处理模型的模型参数，其中，标定图像为在样本图像的中添加至少一个光源的光源效果所得到的图像。

其中，第一处理图像是图像处理模型所输出的处理结果，但是在模型训练阶段我们无法保证图像处理模型所输出的图像的正确性，因此为了衡量图像处理模型所输出的第一处理图像的正确性，本实施例中可以预先设置有样本光源绘制图像所对应的标定图像。

本实施例中的标定图像为在样本图像的反照率图像的基础上，添加了至少一个光源的光源效果所得到的图像，此次的添加可以理解为是操作人员手动绘制或者手动处理渲染得到的，因此标定图像中至少一个光源的光源效果是可以保证正确性的。

因此参照图6，本实施例中可以根据标定图像以及第一处理图像来确定第一损失值，之后再根据第一损失值来更新图像处理模型的模型参数，以实现对图像处理模型的优化，以使得图像处理模型所输出的第一处理图像中的光照效果，可以越来越接近样本光源绘制图像中的光源所对应的正确的光照效果，以完成对图像处理模型的训练。

在本实施例中，通过对样本图像进行处理得到反照率图像，之后将反照率图像输入至图像处理模型，以使得图像处理模型可以在去除了原有的光照效果的反照率图像的基础上进行后续的重光照处理，以保证重光照处理的正确性。以及本实施例中会将基于样本法线图像以及样本光源绘制图像所得到的样本高光图像以及样本漫反射图像输入至图像处理模型的解码层，以使得图像处理模型可以有效的输出包含样本光源绘制图像所指示的光照效果的第一处理图像，之后再基于第一处理图像和包含正确的光照效果的标定图像计算损失，并基于损失更新图像处理模型，从而可以实现对图像处理模型的有效优化。

在上述介绍内容的基础上，下面再结合图8对本申请中的图像处理模型的网络结构进行进一步的详细说明。图8为本申请实施例提供的图像处理模型的网络结构示意图。

如图8所示，在图像处理模型中可以包括第一编码单元、解码单元以及i个中间单元，任一个中间单元中均包括编码层以及解码层，其中i为大于或等于1的整数。在一种实现方式中，本实施例中的图像处理模型可以为上述介绍的扩散模型。

基于此，图像处理模型的处理过程可以包括如下步骤：

S801、将反照率图像输入至第一编码单元，以得到第一编码单元输出的第一特征向量。

如图8所示，本实施例中可以将反照率图像输入至图像处理模型中的第一编码单元，其中第一编码单元可以对反照率图像进行编码处理，从而输出反照率图像所对应的第一特征向量。其中，第一编码单元中例如可以包括多个卷积层。

S802、确定样本高光图像以及样本漫反射图像所对应的第二特征向量。

以及本实施例中还可以确定样本高光图像以及样本漫反射图像所对应的第二特征向量。其中，为了提升模型处理效率，本实施例中例如可以对样本高光图像以及样本漫反射图像进行融合处理，例如图8中的符号C就用于表示融合处理。在进行融合处理之后，例如可以得到融合图像。其中融合处理的具体实现例如可以是针对每一个像素点位置的高光参数和漫反射参数进行融合计算处理，从而得到融合参数，之后根据各个像素点位置各自对应的融合参数得到融合图像。

参照图8，本实施例中例如可以将融合图像输入至第二编码单元，从而得到第二编码单元所输出的第二特征向量。其中，第二编码单元同样可以包括多个卷积层。在本实施例中，将样本高光图像以及样本满反射图像共同编码为第二特征向量，可以有效减少模型的处理数据量，以提升模型处理效率。

在一种可能的实现方式中，本实施例中的第二特征向量可以包括至少一个第二子特征向量，其中不同的第二子特征向量所对应的特征分辨率不相同，特征分辨率越高的特征向量，其所表征的特征的细致程度就越高，反之则越低，也就是说分辨率较高的特征向量可以表征更局部和详细的特征，分辨率较低的特征向量可以表征更为全局和概括的特征。其中特征分辨率还可以理解为是特征的维度。

本实施例中设置不同的特征分辨率的第二子特征向量，是为了向图像处理模型提供不同细致程度的特征向量，从而可以将样本高光图像以及样本漫反射图像的全局特征和局部特征都提供给图像处理模型，以为图像处理模型提供更为全面的特征信息，从而提升图像处理模型所进行的重光照处理的正确性。

S803、将第一特征向量输入至中间单元，并将第二特征向量输入至中间单元中的解码层，以得到中间单元输出的中间特征向量。

之后参照图8，在确定第一特征向量和第二特征向量之后，可以将第一特征向量输入至中间单元，以及将第二特征向量输入至中间单元中的解码层，从而得到中间单元输出的中间特征向量。

同时参照图8可以理解的是，本实施例中的图像处理模型包括i个中间单元，其中每一个中间单元都包括一个编码层和一个解码层。例如在图8的示例中，第1个中间单元就包括编码层1和解码层1，以及第2个中间单元就包括编码层2和解码层2，以及第i个中间单元就包括编码层i和解码层i。其中，编码层中例如可以包括多个卷积层，以及解码层中例如可以包括多个反卷积层。

那么就需要明确这i个中间单元具体对第一特征向量和第二特征向量如何进行处理。在一种可能的实现方式中，第1个中间单元的输入和第2~i个中间单元的输入存在一些差异，因此下面针对这两部分中间单元分别进行说明。

首先，针对第1个中间单元，参照图8，可以将第一特征向量以及生成的随机噪声输入至第1个中间单元中的编码层（即编码层1），之后编码层1会输出编码向量，本实施例中将其称为编码向量1。在一种可能的实现方式中，本实施例中的随机噪声例如可以为高斯噪声，其中随机噪声例如也可以为向量的形式。

以及参照图8，之后可以将编码层1所输出的编码向量1以及第二特征向量输入至第1个中间单元中的解码层（即解码层1），以在解码层1中对编码向量1和第二特征向量进行相加处理，以得到反映了光照效果的特征的向量，之后解码层1会基于相加后的特征向量进行解码处理，从而输出解码向量，本实施例中将其称为解码向量1。

其中，中间单元中的编码层的处理，例如可以为基于UNet网络对编码后的第一特征向量进行变换以执行扩散过程，以及中间单元中解码层的处理可以理解为结合变换后的特征（即编码向量）以及第二特征向量（包含了重光照的特征）进行特征解码从而生成用于反映重光照结果的解码向量。

其次，针对第j个中间单元，j的取值范围为2~i，参照图8，可以将第j-1个中间单元的解码层（即解码层j-1，也就是前一个解码层）所输出的解码向量j-1，输入至第j个中间单元中的编码层（即编码层j），之后编码层j会输出编码向量，本实施例中将其称为编码向量j。

以及参照图8，之后可以将编码层j所输出的编码向量j以及第二特征向量输入至第j个中间单元中的解码层（即解码层j），以在解码层j中对编码向量j和第二特征向量进行相加处理，以得到反映了光照效果的特征的向量，之后解码层j会基于相加后的特征向量进行解码处理，从而输出解码向量，本实施例中将其称为解码向量j，其实现方式与上述介绍的类似。

类似的，中间单元中的编码层的处理，例如可以为基于UNet网络对前一个中间单元输出的解码向量向量进行变换以执行扩散过程，以及中间单元中解码层的处理可以理解为结合变换后的特征（即编码向量）以及第二特征向量（包含了重光照的特征）进行特征解码从而生成用于反映重光照结果的解码向量。

参照上述介绍可以理解的是，第1个中间单元的处理过程和第2~i个中间单元的处理过程是类似的，区别在于中间单元的输入数据存在一定的区别。

以及在i个中间单元均执行完上述介绍的过程之后，可以将第i个解码层所输出的解码向量，确定为中间单元所输出的中间特征向量。

S804、将中间特征向量输入至解码单元，以得到解码单元输出的第一处理图像。

在图像处理模型中还包括解码单元，解码单元中可以包括多个反卷积层，因此可以将中间特征向量输入至解码单元，解码单元可以将中间特征向量解码为重光照结果，从而得到图像处理模型所输出的第一处理图像。

基于上述介绍的扩散模型的相关概念可以理解的是，扩散模型可以通过迭代的方式来学习随机变量的分布，使得生成的图像与目标图像尽可能相似。因此在本实施例中，通过设置i个中间单元可以针对特征向量进行多次迭代的编解码处理，以实现逐步学习特征并对反照率图像进行图像还原，其中特征向量每经过一次中间单元的处理，可以理解器被还原的图像特征就越发细致，因此设置i个中间单元可以逐步的实现对反照率图像的还原过程。同时本实施例中在每个中间单元的解码层中都输入了样本高光图像和样本漫反射图像所对应的第二特征向量，以使得每一个中间单元在生成图像的过程中，会参考高光信息和漫反射信息实现将至少一个光源的光照效果加入到图像特征中，从而有效的实现对图像的重光照处理，以保证最终输出的第一处理图像是参照至少一个光源所对应的高光和漫反射进行了重光照处理的结果的。

在上述实施例的基础上，可以理解的是，图像处理模型实际上是要实现两方面的目的，一方面是参照高光和漫反射实现重光照处理，以在反照率图像的基础上增加目标光照效果。另一方面图像处理模型还需要生成图像，并且需要保证生成的图像和输入的反照率图像是尽可能接近的，那么为了提升图像处理模型所输出的第一处理图像的质量以及真实性，本实施例中还可以在执行上述介绍的模型训练之前，首先对图像处理模型进行预训练处理，以使得图像处理模型可以有效的生成与输入图像尽可能接近的输出图像，下面结合图9对图像处理模型的预训练过程进行说明。

图9为本申请实施例提供的图像处理模型的预训练过程的示意图。

如图9所示，可以将预训练图像输入至图像处理模型，以得到图像处理模型输出的第二处理图像。其中图像处理模型中的内部处理细节与上述实施例介绍的类似，此次不再进行赘述。

因为当前对图像处理模型进行预训练的目的，是为了使得图像处理模型所生成的输出图像和输入图像尽可能的接近，因此可以根据输入的预训练图像以及输出的第二处理图像确定第二损失值，并根据第二损失值更新图像处理模型的模型参数，以实现对图像处理模型的预训练，使得图像处理模型可以具备生成与输入图像尽可能相似的输出图像的功能。

上述实施例介绍了图像处理模型的训练过程，在图像处理模型训练完成之后，就可以基于训练完成的图像处理模型执行后续的重光照处理。

其中训练完成的图像处理模型例如可以部署在终端设备中，其中终端设备中可以包括具备图像处理功能的第一应用，第一应用中包括用于实现图像编辑功能的编辑界面，编辑界面的具体实现可以参照上述图4及图5的说明，本实施例对此不做限制。

在本实施例中，可以响应作用于编辑界面中的绘制操作，确定目标光源绘制图像，其中，目标光源绘制图像中包括绘制操作所形成的至少一个绘制区域，每个所述绘制区域对应一个光源。

之后可以根据待处理图像，生成待处理图像的反照率图像以及法线图像，其中生成反照率图像以及法线图像的实现方式与上述介绍的类似，此次不再赘述。

以及之后还可以根据法线图像以及目标光源绘制图像，生成目标高光图像以及目标漫反射图像，其中，目标高光图像用于指示至少一个光源所对应的高光信息，目标漫反射图像用于指示至少一个光源所对应的漫反射信息。在本实施例中，生成目标高光图像以及目标漫反射图像的实现方式，与上述介绍的生成样本高光图像以及样本漫反射图像的实现方式也类似，此处不再赘述。

最后，可以将反照率图像、目标高光图像以及目标漫反射图像输入至图像处理模型，以得到图像处理模型输出的目标图像。更为具体的，例如可以将反照率图像输入至图像处理模型，并将目标高光图像以及目标漫反射图像对应的特征向量输入至图像处理模型中的解码层，以得到图像处理模型输出的目标图像，其中图像处理模型的具体处理过程可以与上述介绍的训练过程中的处理过程类似，不同之处在于本实施例中无需更新图像处理模型的参数。

以及，其中目标高光图像以及目标漫反射图像对应的特征向量的确定方式，也可以参照上述实施例中确定第二特征向量的实现方式进行理解，此处不再进行赘述。

因为本实施例中的图像处理模型是经过了上述实施例介绍的训练过程的，因此可以有效的输出包含目标光源绘制图像中的光源所对应的目标光照效果的目标图像，以实现参照用户手动绘制的目标光源绘制图像完成图像的重光照处理，从而可以实现灵活丰富且较为精细的重光照处理。

在一个具体的示例中，针对图5中的（b）所示意的光源绘制图像，假设其为本实施例中介绍的目标光源绘制图像，则参照这个目标光源绘制图像进行重光照处理后，例如可以得到图10所示的目标图像，图10为本申请实施例提供的重光照处理后的目标图像示意图。

如图10所示，在目标图像中，人像图像中的右脸靠下区域及其周边区域，就渲染有绘制区域501指示的光源所对应的光照效果，图10中采用阴影区域1001表示相应的效果。以及人像图像中的左脸靠上区域及其周边区域，就渲染有绘制区域502指示的光源所对应的光照效果，图10中采用阴影区域1002表示相应的效果。

其中光照效果的颜色和绘制区域的颜色是对应的，以及光照效果的强度和绘制区域的面积是对应的，以及光照效果的位置和绘制区域的位置也是对应的，最后光照效果的形状和绘制区域的形状也是对应的，因此可以实现参照用户手动绘制的光源实现重光照处理。但是需要说明的是，因为光照效果通常都是边缘较为柔和的，并不是具有非常生硬的边界的效果，因此光照效果的形状和绘制区域的形状并不是完全相同，实际上是符合形状的大致走向的即可。

综上所述，本申请的技术方案可以使用画图的方式编辑人像的光源数量及各光源的位置、颜色和强度，在编辑界面可以轻松且精确地调整得到用户想要的光照模式。以及本申请中基于图像处理模型（可以为扩散模型）可以生成更高质量和真实的重打光结果。因此，本申请的技术方案可以在精确控制人像的光源数量及各光源的位置、颜色和强度的同时，得到更高质量和真实的重打光结果。

需要说明的是，本申请实施例所涉及的模块名称均可以定义为其他的名称，能够实现各模块的作用即可，不对模块的名称做具体限制。

需要说明的是，本申请实施例所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。

上面已对本申请实施例的模型训练方法及图像处理方法进行了说明，下面对本申请实施例提供的执行上述方法的装置进行描述。本领域技术人员可以理解，方法和装置可以相互结合和引用，本申请实施例提供的相关装置可以执行上述模型训练方法及图像处理方法中的步骤。

本申请实施例提供的模型训练方法，可以应用在具备数据处理功能的电子设备中，其中电子设备例如可以为服务器、处理器、芯片等等。以及本申请实施例提供的图像处理方法，可以应用在具备图像处理功能的电子设备中。电子设备包括终端设备，终端设备的具体设备形态等可以参照上述相关说明，此处不再赘述。

在一种实现方式中，本申请实施例提供一种电子设备，图11为本申请实施例提供的电子设备的硬件结构示意图。

如图11所示，该电子设备110包括：包括：处理器1101和存储器1102；存储器1102存储计算机执行指令；处理器1101执行存储器1102存储的计算机执行指令，使得电子设备110执行上述方法。

当存储器1102独立设置时，该电子设备还包括总线1103，用于连接所述存储器1102和处理器1101。

本申请实施例提供一种芯片。芯片包括处理器，处理器用于调用存储器中的计算机程序，以执行上述实施例中的技术方案。其实现原理和技术效果与上述相关实施例类似，此处不再赘述。

本申请实施例还提供了一种计算机可读存储介质。计算机可读存储介质存储有计算机程序。计算机程序被处理器执行时实现上述方法。上述实施例中描述的方法可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。如果在软件中实现，则功能可以作为一个或多个指令或代码存储在计算机可读介质上或者在计算机可读介质上传输。计算机可读介质可以包括计算机存储介质和通信介质，还可以包括任何可以将计算机程序从一个地方传送到另一个地方的介质。存储介质可以是可由计算机访问的任何目标介质。

一种可能的实现方式中，计算机可读介质可以包括RAM，ROM，只读光盘（compactdisc read-only memory，CD-ROM）或其它光盘存储器，磁盘存储器或其它磁存储设备，或目标于承载的任何其它介质或以指令或数据结构的形式存储所需的程序代码，并且可由计算机访问。而且，任何连接被适当地称为计算机可读介质。例如，如果使用同轴电缆，光纤电缆，双绞线，数字用户线（Digital Subscriber Line，DSL）或无线技术（如红外，无线电和微波）从网站，服务器或其它远程源传输软件，则同轴电缆，光纤电缆，双绞线，DSL或诸如红外，无线电和微波之类的无线技术包括在介质的定义中。如本文所使用的磁盘和光盘包括光盘，激光盘，光盘，数字通用光盘（Digital Versatile Disc，DVD），软盘和蓝光盘，其中磁盘通常以磁性方式再现数据，而光盘利用激光光学地再现数据。上述的组合也应包括在计算机可读介质的范围内。

本申请实施例提供一种计算机程序产品，计算机程序产品包括计算机程序，当计算机程序被运行时，使得计算机执行上述方法。

本申请实施例是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程设备的处理单元以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理单元执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims

1.一种模型训练方法，其特征在于，包括：

将所述反照率图像、所述样本高光图像以及所述样本漫反射图像输入至图像处理模型，以得到所述图像处理模型输出的第一处理图像；

2.根据权利要求1所述的方法，其特征在于，所述图像处理模型中包括第一编码单元、解码单元以及i个中间单元，任一个所述中间单元中均包括编码层以及解码层，所述i为大于或等于1的整数；

3.根据权利要求2所述的方法，其特征在于，所述将所述第一特征向量输入至所述中间单元，并将所述第二特征向量输入至所述中间单元中的解码层，以得到所述中间单元输出的中间特征向量，包括：

针对第1个所述中间单元，将所述第一特征向量以及随机噪声输入至所述第1个中间单元中的编码层，以得到第1个所述编码层输出的编码向量；并将所述编码向量以及所述第二特征向量输入至所述第1个中间单元中的解码层，以在第1个所述解码层中对所述编码向量和所述第二特征向量进行相加处理，并得到第1个所述解码层输出的解码向量；

4.根据权利要求2所述的方法，其特征在于，所述确定所述样本高光图像以及所述样本漫反射图像所对应的第二特征向量，包括：

5.根据权利要求1-4任一项所述的方法，其特征在于，所述法线图像和所述样本光源绘制图像的尺寸相同；

6.根据权利要求1-4任一项所述的方法，其特征在于，所述根据所述法线图像以及样本光源绘制图像，生成样本高光图像以及样本漫反射图像之前，所述方法还包括：

7.根据权利要求1-4任一项所述的方法，其特征在于，所述根据样本图像，生成所述样本图像的反照率图像以及法线图像，包括：

8.根据权利要求1-4任一项所述的方法，其特征在于，所述将所述反照率图像、所述样本高光图像以及所述样本漫反射图像输入至所述图像处理模型，以得到所述图像处理模型输出的第一处理图像之前，所述方法还包括：

9.根据权利要求1-4任一项所述的方法，其特征在于，在所述样本光源绘制图像中，所述绘制区域的颜色用于指示对应的光源的颜色，以及所述绘制区域的位置用于指示对应的光源的位置，以及所述绘制区域的面积用于指示对应的光源的强度，以及所述绘制区域的形状用于指示对应的光源的形状。

10.一种图像处理方法，其特征在于，应用于终端设备，所述终端设备中包括具备图像处理功能的第一应用，所述第一应用中包括用于实现图像编辑功能的编辑界面，在所述编辑界面显示有待进行图像编辑的待处理图像；

所述方法包括：

将所述反照率图像、所述目标高光图像以及所述目标漫反射图像输入至所述图像处理模型，以得到所述图像处理模型输出的目标图像，其中，所述图像处理模型为根据权利要求1-9任一项所述的方法训练得到的。

11.根据权利要求10所述的方法，其特征在于，所述方法还包括：

12.根据权利要求10-11任一项所述的方法，其特征在于，所述法线图像和所述目标光源绘制图像的尺寸相同；

13.根据权利要求10-11任一项所述的方法，其特征在于，所述根据所述法线图像以及所述目标光源绘制图像，生成目标高光图像以及目标漫反射图像之前，所述方法还包括：

14.根据权利要求10-11任一项所述的方法，其特征在于，在所述目标光源绘制图像中，所述绘制区域的颜色用于指示对应的光源的颜色，以及所述绘制区域的位置用于指示对应的光源的位置，以及所述绘制区域的面积用于指示对应的光源的强度，以及所述绘制区域的形状用于指示对应的光源的形状。

15.一种电子设备，其特征在于，所述电子设备包括：一个或多个处理器和存储器；

所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行如权利要求1至14中任一项所述的方法。

16.一种芯片系统，其特征在于，所述芯片系统应用于电子设备，所述芯片系统包括一个或多个处理器，所述一个或多个处理器用于调用计算机指令以使得所述电子设备执行如权利要求1至14中任一项所述的方法。

17.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行如权利要求1至14中任一项所述的方法。