CN116029912A - 图像处理模型的训练、图像处理方法、装置、设备及介质 - Google Patents

Abstract

本申请公开了一种图像处理模型的训练、图像处理方法、装置、设备及介质，属于人工智能技术领域。该图像处理模型的训练方法包括：获取带光照效果的样本图像和样本图像对应的不带光照效果的标签图像，样本图像通过对被虚拟光源照射的参考对象的虚拟模型进行图像采集得到；利用样本图像和标签图像对初始图像处理模型进行训练，得到目标图像处理模型。此种方式，样本图像的获取成本较低且能够对带光照效果的待处理图像进行较为真实的模拟，对图像处理模型进行训练的效果较好，有利于提高利用训练好的图像处理模型对带光照效果的待处理图像进行去光照处理的可靠性。本申请实施例可应用于云技术、人工智能、智慧交通、辅助驾驶等各种场景。

Description

图像处理模型的训练、图像处理方法、装置、设备及介质

技术领域

本申请实施例涉及人工智能技术领域，特别涉及一种图像处理模型的训练、图像处理方法、装置、设备及介质。

背景技术

随着人工智能技术的发展，利用图像处理模型对一张图像进行处理，得到另外一张图像的应用场景越来越多。例如，利用图像处理模型对带光照效果的待处理图像进行去光照处理，得到一张去光照效果的图像，其中，待处理图像通过对被真实光源照射的参考对象进行图像采集得到。

在利用图像处理模型对带光照效果的待处理图像进行去光照处理之前，需要先训练得到图像处理模型。如何在较低的成本下训练得到一种能够对带光照效果的待处理图像进行较为可靠地去光照处理的图像处理模型，以提高图像处理的质量，是一种亟需解决的问题。

发明内容

本申请实施例提供了一种图像处理模型的训练、图像处理方法、装置、设备及介质，可用于在较低的成本下训练得到一种能够对带光照效果的待处理图像进行较为可靠地去光照处理的图像处理模型，以提高图像处理的质量。所述技术方案如下：

一方面，本申请实施例提供了一种图像处理模型的训练方法，所述方法包括：

获取带光照效果的样本图像和所述样本图像对应的不带光照效果的标签图像，所述样本图像通过对被虚拟光源照射的参考对象的虚拟模型进行图像采集得到，所述虚拟光源通过对真实光源进行物理模拟得到；

利用所述样本图像和所述标签图像对初始图像处理模型进行训练，得到目标图像处理模型，所述目标图像处理模型用于对带光照效果的待处理图像进行去光照处理，所述待处理图像通过对被真实光源照射的所述参考对象进行图像采集得到。

还提供了一种图像处理方法，所述方法包括：

获取带光照效果的待处理图像和目标图像处理模型，所述目标图像处理模型利用带光照效果的样本图像和所述样本图像对应的不带光照效果的标签图像训练得到，所述样本图像通过对被虚拟光源照射的参考对象的虚拟模型进行图像采集得到，所述虚拟光源通过对真实光源进行物理模拟得到，所述待处理图像通过对被真实光源照射的所述参考对象进行图像采集得到；

调用所述目标图像处理模型对所述待处理图像进行去光照处理，得到目标图像。

另一方面，提供了一种图像处理模型的训练装置，所述装置包括：

获取单元，用于获取带光照效果的样本图像和所述样本图像对应的不带光照效果的标签图像，所述样本图像通过对被虚拟光源照射的参考对象的虚拟模型进行图像采集得到，所述虚拟光源通过对真实光源进行物理模拟得到；

训练单元，用于利用所述样本图像和所述标签图像对初始图像处理模型进行训练，得到目标图像处理模型，所述目标图像处理模型用于对带光照效果的待处理图像进行去光照处理，所述待处理图像通过对被真实光源照射的所述参考对象进行图像采集得到。

在一种可能实现方式中，所述获取单元，用于将所述参考对象的虚拟模型加载到虚拟光源环境中，所述虚拟光源环境中设置有虚拟光源；对被所述虚拟光源环境中的虚拟光源照射的所述参考对象的虚拟模型进行图像采集，得到所述样本图像；对未被所述虚拟光源环境中的虚拟光源照射的所述参考对象的虚拟模型进行图像采集，得到所述标签图像。

在一种可能实现方式中，所述训练单元，用于获取所述样本图像对应的第一纹理图像以及所述标签图像对应的第二纹理图像；将所述第一纹理图像输入所述初始图像处理模型进行去光照处理，得到所述初始图像处理模型输出的第三纹理图像；基于所述第三纹理图像和所述第二纹理图像，获取第一损失函数；利用所述第一损失函数对所述初始图像处理模型进行训练。

在一种可能实现方式中，所述初始图像处理模型包括生成器和判别器，所述第三纹理图像通过将所述第一纹理图像输入所述初始图像处理模型中的生成器进行去光照处理得到；所述训练单元，用于将所述第二纹理图像输入所述初始图像处理模型中的判别器进行判别，得到所述初始图像处理模型中的判别器输出的第一判别结果，所述第一判别结果用于指示所述第二纹理图像为所述生成器输出的图像的概率；将所述第三纹理图像输入所述初始图像处理模型中的判别器进行判别，得到所述初始图像处理模型中的判别器输出的第二判别结果，所述第二判别结果用于指示所述第三纹理图像为所述生成器输出的图像的概率；基于所述第一判别结果和所述第二判别结果，获取第一子损失函数；基于所述第一子损失函数，获取所述第一损失函数。

在一种可能实现方式中，所述训练单元，用于确定所述第二纹理图像中的满足可靠条件的第一子图像以及所述第三纹理图像中的满足可靠条件的第二子图像；基于所述第一子图像和所述第二子图像，获取第二子损失函数；基于所述第一子损失函数和所述第二子损失函数，获取所述第一损失函数。

在一种可能实现方式中，所述训练单元，用于确定虚拟模型点在纹理空间中对应的纹理点以及所述虚拟模型点在所述样本图像中对应的映射点，所述虚拟模型点为构成所述参考对象的虚拟模型的点；基于所述映射点在所述样本图像中具有的像素值，确定所述纹理点具有的像素值；基于所述纹理点以及所述纹理点具有的像素值，获取所述第一纹理图像。

在一种可能实现方式中，所述训练单元，用于将所述样本图像输入所述初始图像处理模型进行去光照处理，得到所述初始图像处理模型输出的预测图像；基于所述预测图像和所述标签图像，获取第二损失函数；利用所述第二损失函数对所述初始图像处理模型进行训练。

还提供了一种图像处理装置，所述装置包括：

获取单元，用于获取带光照效果的待处理图像和目标图像处理模型，所述目标图像处理模型利用带光照效果的样本图像和所述样本图像对应的不带光照效果的标签图像训练得到，所述样本图像通过对被虚拟光源照射的参考对象的虚拟模型进行图像采集得到，所述虚拟光源通过对真实光源进行物理模拟得到，所述待处理图像通过对被真实光源照射的所述参考对象进行图像采集得到；

处理单元，用于调用所述目标图像处理模型对所述待处理图像进行去光照处理，得到目标图像。

在一种可能实现方式中，所述处理单元，用于获取所述待处理图像对应的纹理图像；将所述待处理图像对应的纹理图像输入所述目标图像处理模型进行去光照处理，得到所述目标图像处理模型输出的所述目标图像。

在一种可能实现方式中，所述处理单元，用于将所述待处理图像输入所述目标图像处理模型进行去光照处理，得到所述目标图像处理模型输出的所述目标图像。

另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条计算机程序，所述至少一条计算机程序由所述处理器加载并执行，以使所述计算机设备实现上述任一所述的图像处理模型的训练方法或图像处理方法。

另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行，以使计算机实现上述任一所述的图像处理模型的训练方法或图像处理方法。

另一方面，还提供了一种计算机程序产品，所述计算机程序产品包括计算机程序或计算机指令，所述计算机程序或所述计算机指令由处理器加载并执行，以使计算机实现上述任一所述的图像处理模型的训练方法或图像处理方法。

本申请实施例提供的技术方案至少带来如下有益效果：

本申请实施例提供的技术方案，样本图像是通过对被虚拟光源照射的参考对象的虚拟模型进行图像采集得到的，样本图像的获取过程无需真实光源的照射，成本较低。此外，对真实光源进行物理模拟得到的虚拟光源能够对真实光源进行较为真实的模拟，参考对象的虚拟模型能够对参考对象进行较为真实的模拟，所以带光照效果的样本图像能够对带光照效果的待处理图像进行较为真实的模拟，利用此种样本图像和对应的标签图像对图像处理模型进行训练的效果较好，有利于提高利用训练好的图像处理模型对带光照效果的待处理图像进行去光照处理的可靠性，图像处理质量较高。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种实施环境的示意图；

图2是本申请实施例提供的一种图像处理模型的训练方法的流程图；

图3是本申请实施例提供的一种样本图像和标签图像的示意图；

图4是本申请实施例提供的一种样本图像和第一纹理图像的示意图；

图5是本申请实施例提供的一种第一纹理图像和第三纹理图像的示意图；

图6是本申请实施例提供的一种掩膜图像的示意图；

图7是本申请实施例提供的一种图像处理方法的流程图；

图8是本申请实施例提供的一种纹理图像的示意图；

图9是本申请实施例提供的一种图像处理模型的训练装置的示意图；

图10是本申请实施例提供的一种图像处理装置的示意图；

图11是本申请实施例提供的一种服务器的结构示意图；

图12是本申请实施例提供的一种终端的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

在示例性实施例中，本申请实施例提供的图像处理模型的训练方法和图像处理方法可应用于各种场景，包括但不限于云技术、人工智能、智慧交通、辅助驾驶等。

人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，人工智能企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。本申请实施例提供的图像处理模型的训练方法和图像处理方法涉及计算机视觉技术和机器学习技术。

计算机视觉(Computer Vision，CV)技术是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR(Optical Character Recognition，光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D(Three Dimensional，三维)技术、虚拟现实、增强现实、同步定位与地图构建、自动驾驶、智慧交通等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。

随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服、车联网、自动驾驶、智慧交通等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。

图1示出了本申请实施例提供的实施环境的示意图。该实施环境包括：终端11和服务器12。

本申请实施例提供的图像处理模型的训练方法可以由终端11执行，也可以由服务器12执行，还可以由终端11和服务器12共同执行，本申请实施例对此不加以限定。对于本申请实施例提供的图像处理模型的训练方法由终端11和服务器12共同执行的情况，服务器12承担主要计算工作，终端11承担次要计算工作；或者，服务器12承担次要计算工作，终端11承担主要计算工作；或者，服务器12和终端11二者之间采用分布式计算架构进行协同计算。

本申请实施例提供的图像处理方法可以由终端11执行，也可以由服务器12执行，还可以由终端11和服务器12共同执行，本申请实施例对此不加以限定。对于本申请实施例提供的图像处理方法由终端11和服务器12共同执行的情况，服务器12承担主要计算工作，终端11承担次要计算工作；或者，服务器12承担次要计算工作，终端11承担主要计算工作；或者，服务器12和终端11二者之间采用分布式计算架构进行协同计算。

本申请实施例提供的图像处理模型的训练方法和图像处理方法可以由相同的设备执行，也可以由不同的设备执行，本申请实施例对此不加以限定。

在一种可能实现方式中，终端11可以是任何一种可与用户通过键盘、触摸板、触摸屏、遥控器、语音交互或手写设备等一种或多种方式进行人机交互的电子产品，例如PC(Personal Computer，个人计算机)、手机、智能手机、PDA(Personal Digital Assistant，个人数字助手)、可穿戴设备、PPC(Pocket PC，掌上电脑)、平板电脑、智能车机、智能电视、智能音箱、智能语音交互设备、智能家电、车载终端等。服务器12可以是一台服务器，也可以是由多台服务器组成的服务器集群，或者是一个云计算服务中心。终端11与服务器12通过有线或无线网络建立通信连接。

本领域技术人员应能理解上述终端11和服务器12仅为举例，其他现有的或今后可能出现的终端或服务器如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

基于上述图1所示的实施环境，本申请实施例提供一种图像处理模型的训练方法，该图像处理模型的训练方法由计算机设备执行，该计算机设备可以为服务器12，也可以为终端11，本申请实施例对此不加以限定。如图2所示，本申请实施例提供的图像处理模型的训练方法包括如下步骤201和步骤202。

在步骤201中，获取带光照效果的样本图像和样本图像对应的不带光照效果的标签图像，样本图像通过对被虚拟光源照射的参考对象的虚拟模型进行图像采集得到，虚拟光源通过对真实光源进行物理模拟得到。

样本图像为训练图像处理模型所需的图像，样本图像是带光照效果的图像。示例性地，带光照效果的图像是指在光源照射的环境下采集得到的图像。除了获取样本图像外，还获取了样本图像对应的不带光照效果的标签图像，以便于利用标签图像为训练图像处理模型的过程提供监督信号，从而训练得到一种能够去光照效果的图像处理模型。

本申请实施例中，样本图像是通过对被虚拟光源照射的参考对象的虚拟模型进行图像采集得到的，其中，虚拟光源通过对真实光源进行物理模拟得到。真实光源是指真实存在的光源，本申请实施例对真实光源的类型不加以限定，示例性地，真实光源的类型为点光源、面光源、线光源等。通过对真实光源进行物理模拟得到的虚拟光源能够对真实光源的照射情况进行较为真实的模拟。

参考对象的虚拟模型是指对参考对象进行模拟得到的模型，参考对象为一种实体对象，本申请实施例对参考对象的类型不加以限定，示例性地，参考对象的类型为人脸、动物面部、建筑物等。示例性地，参考对象为三维立体的对象，则参考对象的虚拟模型同样为三维立体的模型。

虚拟光源能够对真实光源进行较为真实的模拟，参考对象的虚拟模型能够对参考对象进行较为真实的模拟。基于此，对被虚拟光源照射的参考对象的虚拟模型进行图像采集的过程可视为对被真实光源照射的参考对象进行图像采集的过程的模拟，对被虚拟光源照射的参考对象的虚拟模型进行图像采集得到的样本图像能够对被真实光源照射的参考对象进行图像采集得到的待处理图像进行较为真实的模拟，从而有利于提高对图像处理模型的训练效果。此外，通过对被虚拟光源照射的参考对象的虚拟模型进行图像采集得到样本图像能够避免对真实光源的损耗，成本较低。

在示例性实施例中，参考对象可能是一种可活动的实体对象(如，人脸)，相比于参考对象本身，参考对象的虚拟模型的可控程度更高。因此，本申请实施例能够基于虚拟光源和参考对象的虚拟模型，获取稳定性较高的样本图像，有利于图像处理模型的训练稳定性。

标签图像是样本图像对应的不带光照效果的图像。本申请实施例对标签图像的获取方式不加以限定，示例性地，标签图像由人工对样本图像进行去光照处理得到。示例性地，标签图像通过对未被虚拟光源照射的参考对象的虚拟模型进行图像采集得到。样本图像和对应的标签图像是通过对同一个参考对象的虚拟模型进行图像采集得到的，以保证样本图像和对应的标签图像之间的匹配度。

示例性地，样本图像和标签图像中，参考对象的虚拟模型本身的图像特征是相同的，只是样本图像带有光照效果，标签图像不带有光照效果。示例性地，以参考对象的类型为人脸为例，样本图像如图3中的(1)所示，样本图像对应的标签图像如图3中的(2)所示。

在示例性实施例中，步骤201中的获取样本图像和标签图像的过程可以是指从图像库中提取样本图像和标签图像，也可以是指基于虚拟光源和参考对象的虚拟模型实时获取样本图像和标签图像，还可以是指从图像库中提取或基于虚拟光源和参考对象的虚拟模型实时获取样本图像，然后通过人工对样本图像进行去光照处理得到标签图像等，本申请实施例对此不加以限定。图像库中存储有基于虚拟光源和参考对象的虚拟模型获取的带光照效果的图像-不带光照效果的图像构成的图像对，将图像对中的带光照效果的图像作为样本图像，将图像对中的不带光照效果的图像作为标签图像。

需要说明的是，本申请实施例中的样本图像是指对初始图像处理模型训练一次所需的图像，样本图像的数量可能为一个，也可能为多个，本申请实施例对此不加以限定。对于样本图像的数量为多个的情况，不同的样本图像可能是对不同的参考对象的虚拟模型进行图像采集得到的，也可能是对相同的参考对象的虚拟模型进行图像采集得到的，本申请实施例对此不加以限定。每个样本图像均对应有一个标签图像，一个样本图像和该一个样本图像对应的标签图像是对同一个参考对象的虚拟模型进行图像采集得到的，以保证模型训练效果。本申请实施例以样本图像的数量为一个为例进行说明。

在一种可能实现方式中，样本图像和标签图像的获取过程为：将参考对象的虚拟模型加载到虚拟光源环境中，虚拟光源环境中设置有虚拟光源；对被虚拟光源环境中的虚拟光源照射的参考对象的虚拟模型进行图像采集，得到样本图像；对未被虚拟光源环境中的虚拟光源照射的参考对象的虚拟模型进行图像采集，得到标签图像。

示例性地，在将参考对象的虚拟模型加载到虚拟光源环境中之前，需要先构建虚拟光源环境以及获取参考对象的虚拟模型的数据。

在示例性实施例中，构建虚拟光源环境的方式为：利用虚拟引擎进行虚拟光源的设置，对虚拟光源的位置以及尺寸等进行调整，以模拟真实光源，将调整后的虚拟光源构成的环境作为虚拟光源环境。示例性地，虚拟光源环境是指虚拟引擎中的虚拟光源环境。虚拟引擎是指一种基于物理模拟的虚拟引擎，利用虚拟引擎进行虚拟光源的设置可以是指利用虚拟引擎渲染生成虚拟光源，虚拟光源包括但不限于虚拟点光源、虚拟线光源、虚拟面光源等。

示例性地，本申请实施例中的虚拟引擎是指UE(Unreal Engine，虚拟引擎，一种游戏开发引擎)。通过在UE中设置虚拟光源，能够对真实光源进行较为真实的模拟。示例性地，对虚拟光源的位置以及尺寸等进行调整的过程由专业人员根据经验实现。通过对虚拟光源的位置以及尺寸进行调整，能够实现对真实光源的较为真实的模拟，从而提高后续获取的样本图像的可靠性。

在示例性实施例中，在构建好虚拟光源环境后，可以由专业人员根据经验设置一种或多种照射模式，不同的照射模式下虚拟光源的发光情况不同，能够实现的照射情况也不同。计算机设备能够保存设置好的照射模式，以便于后续根据照射模式自动控制相应的虚拟光源进行照射。

在构建好虚拟光源环境后，获取参考对象的虚拟模型的数据。参考对象的虚拟模型的数据通过对参考对象的虚拟模型进行扫描得到，用于表征参考对象的虚拟模型。在示例性实施例中，参考对象的虚拟模型可以从参考对象的虚拟模型数据库中提取，例如，参考对象的类型为人脸，则参考对象的虚拟模型可以从人脸的三维虚拟模型数据库中提取。人脸的三维虚拟模型数据库中包括多个人脸的三维虚拟模型，示例性地，人脸的三维虚拟模型是通过对人脸图像进行三维重建得到的虚拟模型。示例性地，人脸的三维虚拟模型中除了包括人脸部分的虚拟模型外，还可能包括颈部、头部等部位的虚拟模型。

在获取参考对象的虚拟模型的数据后，在虚拟引擎中加载参考对象的虚拟模型的数据，以实现将参考对象的虚拟模型加载到虚拟光源环境中。在将参考对象的虚拟模型加载到虚拟光源环境中后，参考对象的虚拟模型即置于虚拟引擎构建的虚拟光源环境中。在参考对象的虚拟模型置于虚拟光源环境中后，即可利用虚拟光源环境中的虚拟光源对参考对象的虚拟模型进行照射。示例性地，利用虚拟光源环境中的虚拟光源对参考对象的虚拟模型进行照射的过程通过根据照射模式对虚拟光源进行控制实现。在不同的照射模式下，利用虚拟光源环境中的虚拟光源对参考对象的虚拟模型进行照射的具体情况有所不同。

样本图像是通过对被虚拟光源环境中的虚拟光源照射的参考对象的虚拟模型进行图像采集得到的。需要说明的是，在不同的照射模式下，对被虚拟光源环境中的虚拟光源照射的参考对象的虚拟模型进行图像采集得到的样本图像有所不同，但均能够得到带光照效果的样本图像。

除了可以在不同的照射模式下实现对参考对象的虚拟模型的照射外，还可以不对参考对象的虚拟模型进行照射，本申请实施例中将对未被虚拟光源环境中的虚拟光源照射的参考对象的虚拟模型进行图像采集得到的图像作为标签图像。此种方式下获取的标签图像即可视为样本图像对应的去光照效果的图像。

在示例性实施例中，在将参考对象的虚拟模型加载到虚拟光源环境中后，可以通过在不同的照射模式下被虚拟光源环境中的虚拟光源照射的参考对象的虚拟模型进行图像采集，得到多个带光照效果的图像，该多个带光照效果的图像中的每个图像均能够与通过对未被虚拟光源环境中的虚拟光源照射的参考对象的虚拟模型进行图像采集得到的不带光照效果的图像构成一个图像对存储在图像库中，以便于后续直接从图像库中的提取样本图像和标签图像。

示例性地，对置于虚拟光源环境中的参考对象的虚拟模型进行图像采集的过程可以是指利用虚拟引擎中预先设置的相机对参考对象的虚拟模型进行拍摄的过程。示例性地，计算机设备具有显示屏，置于虚拟光源环境中的参考对象的虚拟模型显示在显示屏中，此种情况下，对置于虚拟光源环境中的参考对象的虚拟模型进行图像采集的过程可以是指对显示在显示屏中的参考对象的虚拟模型进行截图的过程。也就是说，将扫描好的参考对象的虚拟模型放入虚拟光源环境中，就可以通过截图的方式代替拍照，得到高清晰度高质量的图像，从而实现制造训练进行去光照处理的图像处理模型的训练数据的过程。

利用虚拟引擎构建虚拟光源环境，并对置于虚拟光源环境中的参考对象的虚拟模型进行重新打光和渲染，然后截图，以此来模拟在真实光源下的拍照情况。在具有参考对象的虚拟模型的基础上，通过在虚拟引擎中对扫描的参考对象的虚拟模型进行打光和渲染，即可制造出一批成对的(带光照效果的图像，不带光照效果的图像)的训练数据，进而实现对图像处理模型的训练。此种制造训练数据的方式成本较低并且能够有效地模拟真实光源的照射情况。

在步骤202中，利用样本图像和标签图像对初始图像处理模型进行训练，得到目标图像处理模型，目标图像处理模型用于对带光照效果的待处理图像进行去光照处理，待处理图像通过对被真实光源照射的参考对象进行图像采集得到。

在获取样本图像和标签图像之后，利用样本图像和标签图像对初始图像处理模型进行训练，以得到训练好的用于对待光照效果的待处理图像进行去光照处理的目标图像处理模型。待光照效果的待处理图像通过对被真实光源照射的参考对象进行图像采集得到。

初始图像处理模型是指待利用样本图像和标签图像进行训练的图像处理模型。初始图像处理模型是一种能够将一张图像转换为另外一张图像的模型。示例性地，初始图像处理模型是指一种图像翻译模型(或称为图像转换模型)如，pix2pix模型(一种图像翻译模型)、pix2pixHD模型(一种图像翻译模型)等。

本申请实施例对初始图像处理模型的模型结构不加以限定，只要能够具有对输入的图像进行去光照处理的功能即可。示例性地，初始图像处理模型包括生成器和判别器，其中，生成器用于对输入的图像进行去光照处理，以输出另外一张图像；判别器用于判别输入的图像是生成器输出的图像还是真实的图像，本申请实施例对生成器和判别器的结构不加以限定。示例性地，初始图像处理模型本身就是一个生成器。

利用样本图像和标签图像对初始图像处理模型进行训练可以是指直接利用样本图像和标签图像对初始图像处理模型进行训练，也可以是指利用样本图像对应的第一纹理图像以及标签图像对应的第二纹理图像对初始图像处理模型进行训练，本申请实施例对此不加以限定。在不同的情况下，该步骤202的实现方式有所不同。

在一种可能实现方式中，对于利用样本图像和标签图像对初始图像处理模型进行训练是指利用样本图像对应的第一纹理图像以及标签图像对应的第二纹理图像对初始图像处理模型进行训练的情况，该步骤202的实现方式包括步骤2021至步骤2023。

步骤2021：获取样本图像对应的第一纹理图像以及标签图像对应的第二纹理图像。

第一纹理图像用于对获取样本图像所依据的参考对象的虚拟模型的表面纹理进行表征，第二纹理图像用于对获取标签图像所依据的参考对象的虚拟模型的表面纹理进行表征。示例性地，第一纹理图像为带光照效果的纹理图像，第二纹理图像为不带光照效果的纹理图像。第二纹理图像可视为第一纹理图像对应的去光照效果的图像。因此，第一纹理图像和第二纹理图像能够用于训练出一个用于去光照效果的图像处理模型。

示例性地，以参考对象的类型为人脸为例，第一纹理图像用于对被虚拟光源照射的人脸的虚拟模型的皮肤纹理进行表征，第二纹理图像用于对未被虚拟光源照射的人脸的虚拟模型的皮肤纹理进行表征。

在一种可能实现方式中，获取样本图像对应的第一纹理图像的过程是指基于构成参考对象的虚拟模型的虚拟模型点与纹理空间的位置关系，将纹理从样本图像空间转换到纹理空间的过程。示例性地，本申请实施例中提到的纹理图像为UV(纹理空间参照的纹理坐标系的两个坐标轴的名称)纹理图像，纹理空间是指UV空间，则获取样本图像对应的第一纹理图像的过程可视为将样本图像展开成UV纹理图像的过程。

在示例性实施例中，构成参考对象的虚拟模型的虚拟模型点与纹理空间的位置关系由专业人员根据预先设置好的虚拟模型拓扑结构确定，能够指示出构成虚拟模型的各个虚拟模型点分别对应纹理空间中的哪个位置的点，例如，构成虚拟模型的第一虚拟模型点对应纹理空间中处于(0,0)位置的点，构成虚拟模型的第二个虚拟模型点对应纹理空间中处于(0,1)位置的点等。

示例性地，同一类型的参考对象的虚拟模型由相同数量的虚拟模型点构成，构成同一类型的参考对象的虚拟模型的虚拟模型点与纹理空间的位置关系是固定不变的。构成不同类型的参考对象的虚拟模型的虚拟模型点的数量可能相同，也可能不同，本申请实施例对此不加以限定。示例性地，本申请实施例对虚拟模型由哪些虚拟模型点构成不加以限定，可以根据参考对象的类型灵活设置。

示例性地，获取样本图像对应的第一纹理图像的过程为：确定虚拟模型点在纹理空间中对应的纹理点以及虚拟模型点在样本图像中对应的映射点，虚拟模型点为构成参考对象的虚拟模型的点；基于映射点在样本图像中具有的像素值，确定纹理点具有的像素值；基于纹理点以及纹理点具有的像素值，获取第一纹理图像。

虚拟模型点在纹理空间中对应的纹理点基于虚拟模型点与纹理空间中的点的位置关系确定。由于样本图像是对被虚拟光源照射的虚拟模型进行图像采集得到的图像，所以能够将虚拟模型朝着图像采集方向映射到样本图像上，通过映射能够确定虚拟模型点在样本图像中对应的映射点。在确定出纹理点和映射点后，基于映射点在样本图像中具有的像素值，确定纹理点具有的像素值。映射点在样本图像中具有的像素值用于表征虚拟模型点本身的纹理特征，基于映射点在样本图像中具有的像素值确定纹理点具有的像素值，能够实现将纹理特征从样本图像空间转换到纹理空间的过程。

示例性地，构成参考对象的虚拟模型的虚拟模型点的数量为多个，每个虚拟模型点均对应一个纹理点和一个映射点，同一个虚拟模型点对应的纹理点和映射点之间具有对应关系。示例性地，基于映射点在样本图像中具有的像素值，确定纹理点具有的像素值的实现过程为：对于各个映射点中的任一映射点，在各个纹理点中确定该任一映射点对应的纹理点，将该任一映射点在样本图像中具有的像素值作为该任一映射点对应的纹理点具有的像素值。基于此种方式，在遍历全部的映射点后，能够确定出全部的纹理点具有的像素值。

在确定纹理点以及纹理点具有的像素值后，基于纹理点以及纹理点具有的像素值，获取第一纹理图像。示例性地，构成参考对象的虚拟模型的虚拟模型点的数量为多个，每个虚拟模型点均对应一个纹理点以及一个映射点，第一纹理图像是基于全部的纹理点以及全部的纹理点具有的像素值获取的。示例性地，不同的纹理点处于不同的位置，利用纹理点具有的像素值对纹理点之间的区域进行插值处理，即可得到第一纹理图像。示例性地，以参考对象的类型为人脸为例，若样本图像如图4中的(1)所示，则样本图像对应的第一纹理图像如图4中的(2)所示。

示例性地，获取标签图像对应的第二纹理图像的过程为：确定虚拟模型点在纹理空间中对应的纹理点以及虚拟模型点在标签图像中对应的映射点；基于映射点在标签图像中具有的像素值，确定纹理点具有的像素值；基于纹理点以及纹理点具有的像素值，获取第二纹理图像。该过程的实现原理与获取样本图像对应的第一纹理图像的过程的实现原理相同，此处不再赘述。

步骤2022：将第一纹理图像输入初始图像处理模型进行去光照处理，得到初始图像处理模型输出的第三纹理图像。

在获取第一纹理图像后，将第一纹理图像输入初始图像处理模型，由初始图像处理模型对第一纹理图像进行去光照处理，得到初始图像处理模型输出的第三纹理图像。初始图像处理模型对第一纹理图像进行去光照处理的过程为初始图像的内部处理过程，与初始图像处理模型的结构有关，本申请实施例对此不加以限定。第三纹理图像是初始图像处理模型预测得到的第一纹理图像对应的去光照效果的图像，例如，将如图5中的(1)所示的带光照效果的第一纹理图像输入初始图像处理模型进行去光照处理，能够得到如图5中的(2)所示的去光照效果的第三纹理图像。

将第一纹理图像输入初始图像处理模型进行去光照处理的处理过程为初始与初始图像处理模型的结构有关，本申请实施例对此不加以限定。在示例性实施例中，初始图像处理模型包括生成器和判别器，则该步骤2022的实现方式为：将第一纹理图像输入初始图像处理模型中的生成器进行去光照处理，得到初始图像处理模型中的生成器输出的第三纹理图像。在示例性实施例中，初始图像处理模型本身就是一个生成器，则该步骤2022的实现方式为：将第一纹理图像直接输入初始图像处理模型进行去光照处理，得到初始图像处理模型输出的第三纹理图像。

步骤2023：基于第三纹理图像和第二纹理图像，获取第一损失函数；利用第一损失函数对初始图像处理模型进行训练。

第三纹理图像是初始图像处理模型预测得到的第一纹理图像对应的去光照效果的图像，第二纹理图像是第一纹理图像对应的标准的去光照效果的图像，基于第三纹理图像和第二纹理图像，能够获取为初始图像处理模型的训练过程提供监督信号的第一损失函数。

基于第三纹理图像和第二纹理图像，获取第一损失函数的方式与初始图像处理模型的结构有关，本申请实施例对此不加以限定。在一种可能实现方式中，初始图像处理模型包括生成器和判别器，第三纹理图像通过将第一纹理图像输入初始图像处理模型中的生成器进行去光照处理得到。此种情况下，基于第三纹理图像和第二纹理图像，获取第一损失函数的过程包括以下步骤1至步骤3。

步骤1：将第二纹理图像输入初始图像处理模型中的判别器进行判别，得到初始图像处理模型中的判别器输出的第一判别结果，第一判别结果用于指示第二纹理图像为生成器输出的图像的概率；将第三纹理图像输入初始图像处理模型中的判别器进行判别，得到初始图像处理模型中的判别器输出的第二判别结果，第二判别结果用于指示第三纹理图像为生成器输出的图像的概率。

初始图像处理模型中的判别器用于判别输入的图像是生成器输出的图像还是真实图像，将第二纹理图像和第三纹理图像分别输入初始图像处理模型中的判别器后，能够得到初始图像处理模型中的判别器分别输出的第一判别结果和第二判别结果。其中，第一判别结果用于指示第二纹理图像为生成器输出的图像的概率，第二判别结果用于指示第三纹理图像为生成器输出的图像的概率。

本申请实施例对初始图像处理模型中的判别器输出的判别结果的表示形式不加以限定，只要能够指示出输入的图像为生成器输出的图像的概率即可。示例性地，判别结果的表示形式为一个取值范围在0～1内的概率，该概率可以表示为输入的图像为生成器输出的图像的概率，也可以表示输入的图像为真实图像的概率，本申请实施例对此不加以限定。若该概率表示输入的图像为真实图像的概率，则可以将1与该概率的差值作为输入的图像为生成器输出的图像的概率。示例性地，以该概率表示输入的图像为真实图像的概率为例，若判别结果为1，则说明判别器认为输入的图像为真实图像，若判别结果为0，则说明判别器认为输入的图像为生成器输出的图像。示例性地，判别结果的表示形式还可以为一个概率组，该概率组中的一个概率表示输入的图像为真实图像的概率，另外一个概率表示输入的图像为生成器输出的图像的概率。

步骤2：基于第一判别结果和第二判别结果，获取第一子损失函数。

在获取第一判别结果和第二判别结果之后，基于第一判别结果和第二判别结果，获取生成对抗损失函数，将该生成对抗损失函数作为第一子损失函数。示例性地，第一子损失函数基于公式1计算得到：

L_gan＝E_x[log(D(x)]+E_z[log(1-D(G(z)))]   (公式1)

其中，L_gan表示第一子损失函数；x表示第二纹理图像；D(x)表示第一判别结果；z表示第一纹理图像；G(z)表示第三纹理图像；D(G(z))表示第二判别结果；E表示数学期望。示例性地，该公式1中利用的判别结果的表示形式为一个表示输入的图像为真实图像的概率。

步骤3：基于第一子损失函数，获取第一损失函数。

在获取第一子损失函数之后，基于第一子损失函数，获取第一损失函数。在示例性实施例中，对于初始图像处理模型包括生成器和判别器的情况，对初始图像处理模型进行训练的过程为交替训练生成器和判别器的过程。根据当前所处的训练阶段为训练生成器的阶段还是训练判别器的阶段的不同，基于第一子损失函数获取第一损失函数的方式有所不同。

在示例性实施例中，对于当前所处的训练阶段为训练判别器的阶段的情况，基于第一子损失函数获取第一损失函数的方式为：将第一子损失函数作为第一损失函数。

在示例性实施例中，对于当前所处的训练阶段为训练生成器的阶段的情况，基于第一子损失函数获取第一损失函数的方式包括以下步骤a和步骤b。

步骤a：基于第二纹理图像和第三纹理图像，获取第二子损失函数。

在一种可能实现方式中，第二子损失函数直接基于第二纹理图像和第三纹理图像获取得到，例如，将第二纹理图像和第三纹理图像之间的L1损失函数作为第二子损失函数；或者，将第二纹理图像和第三纹理图像之间的交叉熵损失函数作为第二子损失函数。示例性地，第二纹理图像和第三纹理图像的尺寸相同，第二纹理图像和第三纹理图像之间的损失函数通过第二纹理图像中的像素点的像素值以及第三纹理图像中对应位置的像素点的像素值之间的差异计算得到。

例如，对于第二子损失函数是指第二纹理图像和第三纹理图像之间的L1损失函数的情况，第二子损失函数基于公式2计算得到：

L_L1＝|I_gt–I_pred|   (公式2)

其中，L_L1表示第二子损失函数；I_gt表示第二纹理图像；I_pred表示第三纹理图像。

在另一种可能实现方式中，第二子损失函数的获取过程为：确定第二纹理图像中的满足可靠条件的第一子图像以及第三纹理图像中的满足可靠条件的第二子图像；基于第一子图像和第二子图像，获取第二子损失函数。

第一子图像为第二纹理图像中满足可靠条件的部分图像，第二子图像为第三纹理图像中满足可靠条件的部分图像，第一子图像和第二子图像为计算第二子损失函数所依据的图像。满足可靠条件根据经验设置，或者根据应用场景灵活调整，本申请实施例对此不加以限定。示例性地，满足可靠条件是指包括的像素点的像素值在参考取值范围内，参考取值范围根据经验设置，或者根据应用场景灵活调整，本申请实施例对此不加以限定。

在示例性实施例中，满足可靠条件是指所处的位置与掩膜图像中的参考区域在掩膜图像中所处的位置相同。掩膜图像用于辅助确定纹理图像中用于计算损失函数的子图像。掩膜图像包括参考区域，参考区域在掩膜图像中所处的位置用于约束纹理图像中用于计算损失函数的子图像在纹理图像中所处的位置。示例性地，掩膜图像中的参考区域所处的位置根据经验设置，或者根据参考对象的虚拟模型的具体情况灵活调整，本申请实施例对此不加以限定。

在示例性实施例中，掩膜图像根据获取样本图像所依据的参考对象的虚拟模型确定，掩膜图像的尺寸与纹理图像的尺寸相同，掩膜图像中的参考区域是指获取样本图像所依据的参考对象的虚拟模型的正面可视的虚拟模型点在纹理空间中对应的点所在的区域。此种方式下，参考区域在掩膜图像中所处的位置为可信程度较高的位置。示例性地，掩膜图像中的参考区域和其他区域利用不同的颜色标记，以便于快速区分参考区域和其他区域，例如，掩膜图像中的参考区域利用白色标记，其他区域利用黑色标记。例如，掩膜图像如图6所示，图6中的白色区域即为参考区域，黑色区域为其他区域。

在确定出掩膜图像后，将第二纹理图像中所处的位置与参考区域在掩膜图像中所处的位置相同的子图像作为第一子图像，将第三纹理图像中所处的位置与参考区域在掩膜图像中所处的位置相同的子图像作为第二子图像。示例性地，由于第二纹理图像与第三纹理图像的尺寸相同，所以第一子图像与第二子图像的尺寸也相同。

在获取第一子图像和第二子图像后，基于第一子图像和第二子图像，获取第二子损失函数。本申请实施例对基于第一子图像和第二子图像，获取第二子损失函数的方式不加以限定，示例性地，将第一子图像和第二子图像之间的L1损失函数作为第二子损失函数；或者，将第一子图像和第二子图像之间的交叉熵损失函数作为第二子损失函数。

步骤b：基于第一子损失函数和第二子损失函数，获取第一损失函数。

在获取第一子损失函数和第二子损失函数后，计算第一子损失函数与第一权重的乘积，以及第二子损失函数与第二权重的乘积，将两个乘积的和作为第一损失函数。第一权重和第二权重根据经验设置，或者根据应用场景灵活调整，本申请实施例对此不加以限定。示例性地，第一权重为1，第二权重为100。示例性地，基于第一子损失函数和第二子损失函数，获取第一损失函数的过程基于公式3计算得到：

L＝L_L1*w_L1+L_gan*w_gan   (公式3)

其中，L表示第一损失函数；L_L1表示第二子损失函数；L_gan表示第一子损失函数；w_L1表示第二权重；w_gan表示第一权重。

需要说明的是，以上所述仅以初始图像处理模型包括生成器和判别器为例介绍了基于第三纹理图像和第二纹理图像获取第一损失函数的过程。本申请实施例并不局限于此，在示例性实施例中，初始图像处理模型可能本身就是一个生成器，此种情况下，基于第三纹理图像和第二纹理图像获取第一损失函数的过程为：将第三纹理图像和第二纹理图像之间的L1损失函数或者交叉熵损失函数直接作为第一损失函数。

在获取第一损失函数后，利用第一损失函数对初始图像处理模型进行训练。利用第一损失函数对初始图像处理模型进行训练的方式与初始图像处理模型的结构有关。在示例性实施例中，对于初始图像处理模型本身就是一个生成器的情况，利用第一损失函数对初始图像处理模型进行训练的方式为：以最小化第一损失函数为优化目标更新初始图像处理模型的参数。

在示例性实施例中，对于初始图像处理模型包括生成器和判别器的情况，利用第一损失函数对初始图像处理模型进行训练的方式与当前所处的训练阶段有关。示例性地，若当前所处的训练阶段为训练判别器的阶段，则利用第一损失函数对初始图像处理模型进行训练的方式为：保持初始图像处理模型中的生成器的参数不变，以最大化第一损失函数为优化目标更新初始图像处理模型中的判别器的参数；若当前所处的训练阶段为训练生成器的阶段，则利用第一损失函数对初始图像处理模型进行训练的方式为：保持初始图像处理模型中的判别器的参数不变，以最小化第一损失函数为优化目标更新初始图像处理模型中的生成器的参数。

每利用第一损失函数对初始图像处理模型训练一次，判断一次训练过程是否满足终止条件，若不满足终止条件，则基于训练一次后的初始图像处理模型继续获取第一损失函数，并利用第一损失函数对训练一次后的初始图像处理模型训练一次，以此类推，直至训练过程满足终止条件，基于满足终止条件时得到的图像处理模型，获取目标图像处理模型。

示例性地，对于初始图像处理模型本身就是一个生成器的情况，满足终止条件包括但不限于训练次数达到第一次数阈值、第一损失函数收敛、第一损失函数小于第一损失阈值中的任一种。

示例性地，对于初始图像处理模型包括生成器和判别器的情况，满足终止条件包括但不限于交替训练生成器和判别器的次数不小于第二次数阈值、生成对抗损失函数收敛中的至少一种。

在示例性实施例中，先将样本图像和标签图像通过UV展开的方式得到第一纹理图像和第二纹理图像，然后再利用第一纹理图像和第二纹理图像对图像处理模型进行训练，以参考对象的类型为人脸为例，则此种方式能够保证模型生成的是一张能够表征出完整的人脸皮肤的纹理图像，而不是人脸图像。

示例性地，在利用纹理图像对初始图像处理模型进行训练的过程中，输入的是带光照效果的UV纹理图像，输出是无光照的albedo(反射率)UV纹理图像。对于基于纹理图像中所处的位置与掩膜图像中的参考区域所处的位置相同的子图像计算第二子损失函数的情况，由于不同的参考对象的表面纹理缺失的部分不一样，所以经过训练后，图像处理模型可以通过数据学到补全修复纹理图像中缺失的部分的功能，从而能够在一定程度上修复一张不完整的纹理图像。

在一种可能实现方式中，对于利用样本图像和标签图像对初始图像处理模型进行训练是指直接利用样本图像和标签图像对初始图像处理模型进行训练的情况，该步骤202的实现方式包括步骤202A和步骤202B。

步骤202A：将样本图像输入初始图像处理模型进行去光照处理，得到初始图像处理模型输出的预测图像。

将样本图像输入初始图像处理模型进行去光照处理，得到初始图像处理模型输出的预测图像的原理与将第一纹理图像输入初始图像处理模型进行去光照处理，得到初始图像处理模型输出的第三纹理图像的原理相同，该步骤202A的实现方式参见步骤2022，此处不再赘述。

步骤202B：基于预测图像和标签图像，获取第二损失函数；利用第二损失函数对初始图像处理模型进行训练。

基于预测图像和标签图像，获取第二损失函数的原理与基于第三纹理图像和第二纹理图像，获取第一损失函数的原理相同，利用第二损失函数对初始图像处理模型进行训练的原理与利用第一损失函数对初始图像进行训练的原理相同，该步骤202B的实现方式参见步骤2023，此处不再赘述。

在获取目标图像处理模型之后，调用目标图像后处理模型对带光照效果的待处理图像进行去光照处理，该过程的实现方式参见图7所示的实施例，此处暂不赘述。

本申请实施例能够利用低成本的方式获得训练数据，并利用这些训练数据训练得到一个图像处理模型来完成去除人脸高光阴影的工作，使得对于任何一张照片，都可以获得对应人脸不打光时候的模样。

本申请实施例提供的图像处理模型的训练方法，样本图像是通过对被虚拟光源照射的参考对象的虚拟模型进行图像采集得到的，样本图像的获取过程无需真实光源的照射，成本较低。此外，对真实光源进行物理模拟得到的虚拟光源能够对真实光源进行较为真实的模拟，参考对象的虚拟模型能够对参考对象进行较为真实的模拟，所以带光照效果的样本图像能够对带光照效果的待处理图像进行较为真实的模拟，利用此种样本图像和对应的标签图像对图像处理模型进行训练的效果较好，有利于提高利用训练好的图像处理模型对带光照效果的待处理图像进行去光照处理的可靠性，图像处理质量较高。

基于上述图1所示的实施环境，本申请实施例提供一种图像处理方法，该图像处理模型的训练方法由计算机设备执行，该计算机设备可以为服务器12，也可以为终端11，本申请实施例对此不加以限定。如图7所示，本申请实施例提供的图像处理方法包括如下步骤701和步骤702。

在步骤701中，获取带光照效果的待处理图像和目标图像处理模型，目标图像处理模型利用带光照效果的样本图像和样本图像对应的不带光照效果的标签图像训练得到，样本图像通过对被虚拟光源照射的参考对象的虚拟模型进行图像采集得到，虚拟光源通过对真实光源进行物理模拟得到。

其中，待处理图像通过对被真实光源照射的参考对象进行图像采集得到。

真实光源处于真实光源环境中，示例性地，待处理图像为对置于真实光源环境中且被真实光源环境中的真实光源照射的参考对象进行图像采集得到的图像。示例性地，对被真实光源照射的参考对象进行图像采集的方式为利用相机对被真实光源照射的参考对象进行拍照。该步骤701中的获取带光照效果的待处理图像可以是指提取预先获取并存储的待处理图像，也可以是指通过拍照的方式得到待处理图像，本申请实施例对此不加以限定。

目标图像处理模型利用带光照效果的样本图像和样本图像对应的不带光照效果的标签图像训练得到，其中，样本图像通过对被虚拟光源照射的参考对象的虚拟模型进行图像采集得到，虚拟光源通过对真实光源进行物理模拟得到。该步骤701中获取目标图像处理模型可以是指提取预先训练得到并存储的目标图像处理模型，也可以是指实时训练得到目标图像处理模型，本申请实施例对此不加以限定。训练得到目标图像处理模型的过程参见图2所示的实施例，此处不再赘述。

在步骤702中，调用目标图像处理模型对待处理图像进行去光照处理，得到目标图像。

目标图像处理模型具有对带光照效果的图像进行去光照处理的功能，在获取带光照效果的待处理图像以及目标图像处理模型之后，调用目标图像处理模型对待处理图像进行去光照处理，将调用目标图像处理模型对待处理图像进行去光照处理后得到的图像作为目标图像。目标图像为一张去光照效果的图像。

在示例性实施例中，根据训练得到目标图像处理模型的方式的不同，调用目标图像处理模型对待处理图像进行去光照处理，得到目标图像的方式有所不同。

在示例性实施例中，目标图像处理模型是利用样本图像对应的第一纹理图像以及标签图像对应的第二纹理图像对初始图像处理模型进行训练得到的(训练过程详见图2所示的实施例中的步骤2021至步骤2023)，此种情况下，调用目标图像处理模型对待处理图像进行去光照处理，得到目标图像的方式为：获取待处理图像对应的纹理图像；将待处理图像对应的纹理图像输入目标图像处理模型进行去光照处理，得到目标图像处理模型输出的目标图像。此种情况下，得到的目标图像是指纹理图像对应的去光照效果的图像，本质上为一张纹理图像。

示例性地，获取待处理图像对应的纹理图像的方式为：根据待处理图像，重建出参考对象的虚拟模型；确定虚拟模型点在纹理空间中对应的纹理点以及虚拟模型点在待处理图像中对应的映射点，虚拟模型点为构成重建出的参考对象的虚拟模型的点；基于映射点在待处理图像中具有的像素值，确定纹理点具有的像素值；基于纹理点以及纹理点具有的像素值，获取待处理图像对应的纹理图像。待处理图像是通过对参考对象进行图像采集得到的图像，根据待处理图像能够重建出获取待处理图像所依据的参考对象的虚拟模型，进而根据重建出的参考对象的虚拟模型，实现将待处理图像转换成纹理图像的过程。

在示例性实施例中，目标图像处理模型是直接利用样本图像和标签图像对初始图像处理模型进行训练得到的(训练过程详见图2所示的实施例中的步骤202A和步骤202B)，此种情况下，调用目标图像处理模型对待处理图像进行去光照处理，得到目标图像的方式为：将待处理图像输入目标图像处理模型进行去光照处理，得到目标图像处理模型输出的目标图像。此种情况下，得到的目标图像是指待处理图像对应的去光照效果的图像，本质上为参考对象的图像。

示例性地，图像处理的最终目的是得到一张高清而且平整的UV纹理图像。在将待处理图像输入目标图像处理模型进行去光照处理，得到目标图像处理模型输出的目标图像之后，还包括：获取目标图像对应的纹理图像。获取目标图像对应的纹理图像的原理与获取待处理图像对应的纹理图像的原理相同，此处不再赘述。

在示例性实施例中，在得到目标图像对应的纹理图像或者得到本质上就是纹理图像的目标图像之后，还可以对纹理图像进行后处理，以优化纹理图像。后处理后的纹理图像用于表征参考对象具有的表面纹理，利用后处理后的纹理图像能够对待渲染模型进行贴图，以渲染得到具有纹理图像表征的表面纹理的虚拟模型。

本申请实施例提供的图像处理方法可以用于照片美化，人脸纹理计算等。能够实现比相关技术质量更高、成本更低的图像去光照过程。示例性地，以输入目标图像处理模型的图像为纹理图像为例，基于本申请实施例提供的方式可以使得如图8中的(1)所示的充满高光和阴影的纹理图像变成像如图8中的(2)所示的平整的纹理图像，但是人脸特征的五官信息不会丢失。

本申请实施例提供的图像处理方法，目标图像处理模型是利用带光照效果的样本图像和对应的不带光照效果的标签图像训练得到的，其中，样本图像是通过对被虚拟光源照射的参考对象的虚拟模型进行图像采集得到的，样本图像的获取过程无需真实光源的照射，成本较低。此外，对真实光源进行物理模拟得到的虚拟光源能够对真实光源进行较为真实的模拟，参考对象的虚拟模型能够对参考对象进行较为真实的模拟，所以带光照效果的样本图像能够对带光照效果的待处理图像进行较为真实的模拟，利用此种样本图像和对应的标签图像对图像处理模型进行训练的效果较好，利用训练好的目标图像处理模型对带光照效果的待处理图像进行去光照处理的可靠性较高，图像处理质量较高。

参见图9，本申请实施例提供了一种图像处理模型的训练装置，该装置包括：

获取单元901，用于获取带光照效果的样本图像和样本图像对应的不带光照效果的标签图像，样本图像通过对被虚拟光源照射的参考对象的虚拟模型进行图像采集得到，虚拟光源通过对真实光源进行物理模拟得到；

训练单元902，用于利用样本图像和标签图像对初始图像处理模型进行训练，得到目标图像处理模型，目标图像处理模型用于对带光照效果的待处理图像进行去光照处理，待处理图像通过对被真实光源照射的参考对象进行图像采集得到。

在一种可能实现方式中，获取单元901，用于将参考对象的虚拟模型加载到虚拟光源环境中，虚拟光源环境中设置有虚拟光源；对被虚拟光源环境中的虚拟光源照射的参考对象的虚拟模型进行图像采集，得到样本图像；对未被虚拟光源环境中的虚拟光源照射的参考对象的虚拟模型进行图像采集，得到标签图像。

在一种可能实现方式中，训练单元902，用于获取样本图像对应的第一纹理图像以及标签图像对应的第二纹理图像；将第一纹理图像输入初始图像处理模型进行去光照处理，得到初始图像处理模型输出的第三纹理图像；基于第三纹理图像和第二纹理图像，获取第一损失函数；利用第一损失函数对初始图像处理模型进行训练。

在一种可能实现方式中，初始图像处理模型包括生成器和判别器，第三纹理图像通过将第一纹理图像输入初始图像处理模型中的生成器进行去光照处理得到；训练单元902，用于将第二纹理图像输入初始图像处理模型中的判别器进行判别，得到初始图像处理模型中的判别器输出的第一判别结果，第一判别结果用于指示第二纹理图像为生成器输出的图像的概率；将第三纹理图像输入初始图像处理模型中的判别器进行判别，得到初始图像处理模型中的判别器输出的第二判别结果，第二判别结果用于指示第三纹理图像为生成器输出的图像的概率；基于第一判别结果和第二判别结果，获取第一子损失函数；基于第一子损失函数，获取第一损失函数。

在一种可能实现方式中，训练单元902，用于确定第二纹理图像中的满足可靠条件的第一子图像以及第三纹理图像中的满足可靠条件的第二子图像；基于第一子图像和第二子图像，获取第二子损失函数；基于第一子损失函数和第二子损失函数，获取第一损失函数。

在一种可能实现方式中，训练单元902，用于确定虚拟模型点在纹理空间中对应的纹理点以及虚拟模型点在样本图像中对应的映射点，虚拟模型点为构成参考对象的虚拟模型的点；基于映射点在样本图像中具有的像素值，确定纹理点具有的像素值；基于纹理点以及纹理点具有的像素值，获取第一纹理图像。

在一种可能实现方式中，训练单元902，用于将样本图像输入初始图像处理模型进行去光照处理，得到初始图像处理模型输出的预测图像；基于预测图像和标签图像，获取第二损失函数；利用第二损失函数对初始图像处理模型进行训练。

本申请实施例提供的图像处理模型的训练装置，样本图像是通过对被虚拟光源照射的参考对象的虚拟模型进行图像采集得到的，样本图像的获取过程无需真实光源的照射，成本较低。此外，对真实光源进行物理模拟得到的虚拟光源能够对真实光源进行较为真实的模拟，参考对象的虚拟模型能够对参考对象进行较为真实的模拟，所以带光照效果的样本图像能够对带光照效果的待处理图像进行较为真实的模拟，利用此种样本图像和对应的标签图像对图像处理模型进行训练的效果较好，有利于提高利用训练好的图像处理模型对带光照效果的待处理图像进行去光照处理的可靠性，图像处理质量较高。

参见图10，本申请实施例提供了一种图像处理装置，该装置包括：

获取单元1001，用于获取带光照效果的待处理图像和目标图像处理模型，目标图像处理模型利用带光照效果的样本图像和样本图像对应的不带光照效果的标签图像训练得到，样本图像通过对被虚拟光源照射的参考对象的虚拟模型进行图像采集得到，虚拟光源通过对真实光源进行物理模拟得到，待处理图像通过对被真实光源照射的参考对象进行图像采集得到；

处理单元1002，用于调用目标图像处理模型对待处理图像进行去光照处理，得到目标图像。

在一种可能实现方式中，处理单元1002，用于获取待处理图像对应的纹理图像；将待处理图像对应的纹理图像输入目标图像处理模型进行去光照处理，得到目标图像处理模型输出的目标图像。

在一种可能实现方式中，处理单元1002，用于将待处理图像输入目标图像处理模型进行去光照处理，得到目标图像处理模型输出的目标图像。

本申请实施例提供的图像处理装置，目标图像处理模型是利用带光照效果的样本图像和对应的不带光照效果的标签图像训练得到的，其中，样本图像是通过对被虚拟光源照射的参考对象的虚拟模型进行图像采集得到的，样本图像的获取过程无需真实光源的照射，成本较低。此外，对真实光源进行物理模拟得到的虚拟光源能够对真实光源进行较为真实的模拟，参考对象的虚拟模型能够对参考对象进行较为真实的模拟，所以带光照效果的样本图像能够对带光照效果的待处理图像进行较为真实的模拟，利用此种样本图像和对应的标签图像对图像处理模型进行训练的效果较好，利用训练好的目标图像处理模型对带光照效果的待处理图像进行去光照处理的可靠性较高，图像处理质量较高。

需要说明的是，上述实施例提供的装置在实现其功能时，仅以上述各功能单元的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元完成，即将设备的内部结构划分成不同的功能单元，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

在示例性实施例中，还提供了一种计算机设备，该计算机设备包括处理器和存储器，该存储器中存储有至少一条计算机程序。该至少一条计算机程序由一个或者一个以上处理器加载并执行，以使该计算机设备实现上述任一种图像处理模型的训练方法或图像处理方法。该计算机设备可以为服务器，也可以为终端，本申请实施例对此不加以限定。接下来，分别对服务器和终端的结构进行介绍。

图11是本申请实施例提供的一种服务器的结构示意图，该服务器可因配置或性能不同而产生比较大的差异，可以包括一个或多个处理器(Central Processing Units，CPU)1101和一个或多个存储器1102，其中，该一个或多个存储器1102中存储有至少一条计算机程序，该至少一条计算机程序由该一个或多个处理器1101加载并执行，以使该服务器实现上述各个方法实施例提供的图像处理模型的训练方法或图像处理方法。当然，该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器还可以包括其他用于实现设备功能的部件，在此不做赘述。

图12是本申请实施例提供的一种终端的结构示意图。示例性地，该终端可以是：PC、手机、智能手机、PDA、可穿戴设备、PPC、平板电脑、智能车机、智能电视、智能音箱、智能语音交互设备、智能家电、车载终端等。终端还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。

通常，终端包括有：处理器1201和存储器1202。

处理器1201可以包括一个或多个处理核心。处理器1201也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1201可以集成有GPU，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1201还可以包括AI处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器1202可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1202还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1202中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1201所执行，以使该终端实现本申请中方法实施例提供的图像处理模型的训练方法或图像处理方法。

在一些实施例中，终端还可选包括有：外围设备接口1203和至少一个外围设备。处理器1201、存储器1202和外围设备接口1203之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1203相连。具体地，外围设备包括：射频电路1204、显示屏1205、摄像头组件1206、音频电路1207、定位组件1208和电源1209中的至少一种。

外围设备接口1203可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器1201和存储器1202。射频电路1204用于接收和发射RF(RadioFrequency，射频)信号，也称电磁信号。射频电路1204通过电磁信号与通信网络以及其他通信设备进行通信。显示屏1205用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。摄像头组件1206用于采集图像或视频。

音频电路1207可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1201进行处理，或者输入至射频电路1204以实现语音通信。扬声器则用于将来自处理器1201或射频电路1204的电信号转换为声波。定位组件1208用于定位终端的当前地理位置，以实现导航或LBS(Location Based Service，基于位置的服务)。电源1209用于为终端中的各个组件进行供电。电源1209可以是交流电、直流电、一次性电池或可充电电池。

在一些实施例中，终端还包括有一个或多个传感器1210。该一个或多个传感器1210包括但不限于：加速度传感器1211、陀螺仪传感器1212、压力传感器1213、指纹传感器1214、光学传感器1215以及接近传感器1216。

加速度传感器1211可以检测以终端建立的坐标系的三个坐标轴上的加速度大小。陀螺仪传感器1212可以检测终端的机体方向及转动角度，陀螺仪传感器1212可以与加速度传感器1211协同采集用户对终端的3D动作。压力传感器1213可以设置在终端的侧边框和/或显示屏1205的下层。当压力传感器1213设置在终端的侧边框时，可以检测用户对终端的握持信号，由处理器1201根据压力传感器1213采集的握持信号进行左右手识别或快捷操作。当压力传感器1213设置在显示屏1205的下层时，由处理器1201根据用户对显示屏1205的压力操作，实现对UI界面上的可操作性控件进行控制。

指纹传感器1214用于采集用户的指纹，由处理器1201根据指纹传感器1214采集到的指纹识别用户的身份，或者，由指纹传感器1214根据采集到的指纹识别用户的身份。光学传感器1215用于采集环境光强度。接近传感器1216，也称距离传感器，通常设置在终端的前面板。接近传感器1216用于采集用户与终端的正面之间的距离。

本领域技术人员可以理解，图12中示出的结构并不构成对终端的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

在示例性实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有至少一条计算机程序，该至少一条计算机程序由计算机设备的处理器加载并执行，以使计算机实现上述任一种图像处理模型的训练方法或图像处理方法。

在一种可能实现方式中，上述计算机可读存储介质可以是只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、只读光盘(Compact DiscRead-Only Memory，CD-ROM)、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供了一种计算机程序产品，该计算机程序产品包括计算机程序或计算机指令，该计算机程序或计算机指令由处理器加载并执行，以使计算机实现上述任一种图像处理模型的训练方法或图像处理方法。

需要说明的是，本申请中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。本申请示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

以上所述仅为本申请的示例性实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (15)

1.一种图像处理模型的训练方法，其特征在于，所述方法包括：

获取带光照效果的样本图像和所述样本图像对应的不带光照效果的标签图像，所述样本图像通过对被虚拟光源照射的参考对象的虚拟模型进行图像采集得到，所述虚拟光源通过对真实光源进行物理模拟得到；

利用所述样本图像和所述标签图像对初始图像处理模型进行训练，得到目标图像处理模型，所述目标图像处理模型用于对带光照效果的待处理图像进行去光照处理，所述待处理图像通过对被真实光源照射的所述参考对象进行图像采集得到。

2.根据权利要求1所述的方法，其特征在于，所述获取带光照效果的样本图像和所述样本图像对应的不带光照效果的标签图像，包括：

将所述参考对象的虚拟模型加载到虚拟光源环境中，所述虚拟光源环境中设置有虚拟光源；

对被所述虚拟光源环境中的虚拟光源照射的所述参考对象的虚拟模型进行图像采集，得到所述样本图像；对未被所述虚拟光源环境中的虚拟光源照射的所述参考对象的虚拟模型进行图像采集，得到所述标签图像。

3.根据权利要求1或2所述的方法，其特征在于，所述利用所述样本图像和所述标签图像对初始图像处理模型进行训练，包括：

获取所述样本图像对应的第一纹理图像以及所述标签图像对应的第二纹理图像；

将所述第一纹理图像输入所述初始图像处理模型进行去光照处理，得到所述初始图像处理模型输出的第三纹理图像；

基于所述第三纹理图像和所述第二纹理图像，获取第一损失函数；利用所述第一损失函数对所述初始图像处理模型进行训练。

4.根据权利要求3所述的方法，其特征在于，所述初始图像处理模型包括生成器和判别器，所述第三纹理图像通过将所述第一纹理图像输入所述初始图像处理模型中的生成器进行去光照处理得到；所述基于所述第三纹理图像和所述第二纹理图像，获取第一损失函数，包括：

将所述第二纹理图像输入所述初始图像处理模型中的判别器进行判别，得到所述初始图像处理模型中的判别器输出的第一判别结果，所述第一判别结果用于指示所述第二纹理图像为所述生成器输出的图像的概率；

将所述第三纹理图像输入所述初始图像处理模型中的判别器进行判别，得到所述初始图像处理模型中的判别器输出的第二判别结果，所述第二判别结果用于指示所述第三纹理图像为所述生成器输出的图像的概率；

基于所述第一判别结果和所述第二判别结果，获取第一子损失函数；

基于所述第一子损失函数，获取所述第一损失函数。

5.根据权利要求4所述的方法，其特征在于，所述基于所述第一子损失函数，获取所述第一损失函数，包括：

确定所述第二纹理图像中的满足可靠条件的第一子图像以及所述第三纹理图像中的满足可靠条件的第二子图像；

基于所述第一子图像和所述第二子图像，获取第二子损失函数；

基于所述第一子损失函数和所述第二子损失函数，获取所述第一损失函数。

6.根据权利要求3所述的方法，其特征在于，所述获取所述样本图像对应的第一纹理图像，包括：

确定虚拟模型点在纹理空间中对应的纹理点以及所述虚拟模型点在所述样本图像中对应的映射点，所述虚拟模型点为构成所述参考对象的虚拟模型的点；

基于所述映射点在所述样本图像中具有的像素值，确定所述纹理点具有的像素值；

基于所述纹理点以及所述纹理点具有的像素值，获取所述第一纹理图像。

7.根据权利要求1或2所述的方法，其特征在于，所述利用所述样本图像和所述标签图像对初始图像处理模型进行训练，包括：

将所述样本图像输入所述初始图像处理模型进行去光照处理，得到所述初始图像处理模型输出的预测图像；

基于所述预测图像和所述标签图像，获取第二损失函数；利用所述第二损失函数对所述初始图像处理模型进行训练。

8.一种图像处理方法，其特征在于，所述方法包括：

获取带光照效果的待处理图像和目标图像处理模型，所述目标图像处理模型利用带光照效果的样本图像和所述样本图像对应的不带光照效果的标签图像训练得到，所述样本图像通过对被虚拟光源照射的参考对象的虚拟模型进行图像采集得到，所述虚拟光源通过对真实光源进行物理模拟得到，所述待处理图像通过对被真实光源照射的所述参考对象进行图像采集得到；

调用所述目标图像处理模型对所述待处理图像进行去光照处理，得到目标图像。

9.根据权利要求8所述的方法，其特征在于，所述调用所述目标图像处理模型对所述待处理图像进行去光照处理，得到目标图像，包括：

获取所述待处理图像对应的纹理图像；

将所述待处理图像对应的纹理图像输入所述目标图像处理模型进行去光照处理，得到所述目标图像处理模型输出的所述目标图像。

10.根据权利要求8所述的方法，其特征在于，所述调用所述目标图像处理模型对所述待处理图像进行去光照处理，得到目标图像，包括：

将所述待处理图像输入所述目标图像处理模型进行去光照处理，得到所述目标图像处理模型输出的所述目标图像。

11.一种图像处理模型的训练装置，其特征在于，所述装置包括：

获取单元，用于获取带光照效果的样本图像和所述样本图像对应的不带光照效果的标签图像，所述样本图像通过对被虚拟光源照射的参考对象的虚拟模型进行图像采集得到，所述虚拟光源通过对真实光源进行物理模拟得到；

训练单元，用于利用所述样本图像和所述标签图像对初始图像处理模型进行训练，得到目标图像处理模型，所述目标图像处理模型用于对带光照效果的待处理图像进行去光照处理，所述待处理图像通过对被真实光源照射的所述参考对象进行图像采集得到。

12.一种图像处理装置，其特征在于，所述装置包括：

获取单元，用于获取带光照效果的待处理图像和目标图像处理模型，所述目标图像处理模型利用带光照效果的样本图像和所述样本图像对应的不带光照效果的标签图像训练得到，所述样本图像通过对被虚拟光源照射的参考对象的虚拟模型进行图像采集得到，所述虚拟光源通过对真实光源进行物理模拟得到，所述待处理图像通过对被真实光源照射的所述参考对象进行图像采集得到；

处理单元，用于调用所述目标图像处理模型对所述待处理图像进行去光照处理，得到目标图像。

13.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条计算机程序，所述至少一条计算机程序由所述处理器加载并执行，以使所述计算机设备实现如权利要求1至7任一所述的图像处理模型的训练方法，或者如权利要求8至10任一所述的图像处理方法。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行，以使计算机实现如权利要求1至7任一所述的图像处理模型的训练方法，或者如权利要求8至10任一所述的图像处理方法。

15.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序或计算机指令，所述计算机程序或所述计算机指令由处理器加载并执行，以使计算机实现如权利要求1至7任一所述的图像处理模型的训练方法，或者如权利要求8至10任一所述的图像处理方法。

Images