CN112131975A - 基于Retinex分解和生成对抗网络的人脸光照处理方法 - Google Patents

Abstract

基于Retinex分解和生成对抗网络的人脸光照处理方法，框架包含光照分解模块、人脸重构模块、判别器模块和人脸验证模块。光照分解模块由一个卷积神经网络构成，输入一对人脸图像，通过无监督学习将人脸图像分解为反射分量和光照分量；人脸重构模块由一个编解码卷积神经网络构成，其输入包含低光照人脸图像的反射分量、光照分量及目标光照等级标签，该模块可以将低光照图像的光照分量调整到目标光照等级；判别器模块通过对抗学习判别输入人脸图像的真实性并分类光照等级；人脸验证模块包含一个预训练的人脸分类器以保证生成的人脸图像和目标人脸图像具有相同的身份信息。本发明鲁棒性高，人脸重构效果好，可适用于夜间光照昏暗条件下的人脸光照处理。

Description

基于Retinex分解和生成对抗网络的人脸光照处理方法

技术领域

本发明属于图像处理和模式识别领域，涉及基于Retinex分解和生成对抗网络的人脸光照处理方法。

背景技术

人脸识别长期以来一直是计算机领域的热门研究课题之一。近年来该技术被广泛的应用于社交多媒体、公共安全，智能监控等领域。目前的人脸识别算法在实际应用中仍存在一些难点仍需解决，其中光照变化严重的影响着人脸识别的鲁棒性能，特别是在夜间光照昏暗的场景下，现有的算法很难识别出人脸身份。因此人脸光照处理算法具有重要的研究意义和应用价值。

现有的人脸光照处理算法主要可以分为光照预处理算法和光照不变特征提取方法这两大类。光照预处理方法直接采用图像处理相关技术直接移除图片中的光照影响，如采用伽马变换，直方图均衡化等方式。光照不变特征提取方法可以从图像中提取人脸本征特征，如自商图像特征，小波特征和LBP纹理特征等。现在人脸光照处理算法的主要问题包括：

(1)在夜间恶劣光照条件下的表现不佳，对局部阴影的处理效果差，无法完全消除光照影响。

(2)处理后的人脸图像容易出现失真和扭曲变形，人脸细节纹理特征的恢复效果不佳。

(3)处理后的人脸图像丢失部分人脸身份信息，以至于现有的人脸识别算法仍无法识别处理后的人脸图像。

发明内容

针对以上问题，本发明提供基于Retinex分解和生成对抗网络的人脸光照处理方法，该方法提出的模型包含光照分解模块、人脸重构模块、判别器模块和人脸验证模块。其中光照分解模块提取人脸图片的反射分量和光照分量；人脸重构模块调整输入人脸图片的光照等级；判别器模块使用生成对抗学习保证合成人脸图像的真实程度；人脸验证模块保留合成人脸图像的身份信息，本专利提供基于Retinex分解和生成对抗网络的人脸光照处理方法，包括下列步骤：

步骤1：建立人脸光照处理数据集；

步骤2：构建光照分解模块，该模块由一个卷积神经网络构成，用于人脸图像的Retinex光照分解，并输出人脸图像的反射分量和光照分量；

步骤3：构建人脸重构模块，该模块由一个编解码卷积神经网络构成，用于人脸图像光照分量重构，将低光照人脸图像的光照分量调整到目标光照等级；

步骤4：构建判别器模块，判别器模块通过生成对抗学习区分目标人脸图像和合成人脸图像，并分类人脸图像的光照等级，该模块由一个卷积神经网络构成；

步骤5：构建人脸验证模块，该模块由预训练的VGGFace网络组成，以保证合成人脸图像S_rec与输入图像S_in、目标图像S_tar具有相同的人脸验证信息，该模块只用于提取人脸身份特征和传递感知损失，而不进行参数更新；

步骤6：模型训练，使用Pytorch开源库搭建深度集成神经网路模型，使用NVIDIATITAN X GPU，Ubuntu 18.04操作系统下训练人脸光照处理模型；

步骤7：使用训练好的模型测试光照处理结果，给定一张输入人脸图片并给出目标光照等级标签，模型输出光照处理后的合成人脸图片。

作为本发明进一步改进，步骤1建立人脸光照处理数据集使用中国科学院计算研究所公开的CAS-PEAL数据集，该数据集包含10种光照条件下的共1666张人脸图片，其中1498张人脸图片为训练样本包括180个人脸实例，剩余198张人脸图片为测试样本包括20个实例。

作为本发明进一步改进，步骤2构建光照分解模块具体如下；

步骤201：对于给定的输入人脸图像S_in和目标人脸图像S_tar，光照分解模块的输入为图像对{S_in,S_tar}，该模块由6个卷积层组成，其中第一个卷积层使用9×9卷积核学习人脸图像的全局信息，剩余的卷积层采用3×3卷积核和ReLU激活函数，最后，Sigmoid激活函数用于将网络输出的反射分量R和光照分量I的像素值归一化至[0,1]区间，该网络不包含池化层且卷积操作的步长为1，以保证反射分量R，光照分量I的尺寸与输入图像S的尺寸一致，光照分解模块的操作具体表示为：

R_in,I_in,R_tar,I_tar＝Dec(S_in,S_tar) (1)

其中Dec(·)表示光照分解模块，R_in，I_in，R_tar，I_tar为输入人脸图片S_in和目标人脸图片S_tar的Retinex光照分解结果；

步骤202：光照分解模块通过人脸图像对的本征约束进行无监督学习，其目标函数由以下部分组成；

(4)反射分量一致性损失：根据Retinex理论，输入图像和目标图像的反射分量是近似一致的，其主要的差异体现在光照分量上，反射一致性损失用于约束输入图像的反射分量R_in和目标图像的反射分量R_tar之间的距离，其损失函数具体表示为：

其中

表示光照分解模块的反射分量一致性损失，L1范数距离用于衡量R_in和R_tar的相似程度；

(5)像素回归损失：光照分解模块输出的反射分量{R_in,R_tar}和光照分量{I_in,I_tar}通过矩阵元素相乘运算重构输入人脸图像和目标人脸图像，其损失函数具体定义为：

其中

表示光照分解模块的像素回归损失，涉及输入图像、目标图像和交叉重构图像，α_ij衡量不同图像的像素回归损失权重；

(6)平滑损失：全变分模型用于平滑光照分解模块输出的光照分量{I_in,I_tar}并过滤噪声，其损失具体表示为：

其中

表示光照分解模块的平滑损失，具体涉及输入人脸图像和目标人脸图像，▽表示图像的全变分值，λ_g为调整图像平滑程度的权重参数；

光照分解模块的目标损失函数为不同学习任务的损失加权组合，最终的损失函数表示为：

其中

和

分别表示光照分解模块中不同损失的权重参数。

作为本发明进一步改进，步骤3构建人脸重构模块具体如下；

步骤301：人脸重构模块采用类似于U-NET编解码网络模型对人脸光照分量进行重构，其输入包括三个部分：人脸图像反射分量R_in，人脸图像光照分量I_in和目标光照标签l_tar，其中光照标签采用one-hot的编码方式，人脸重构模块的输出为调整后的人脸光照分量I_rec，在编码网络中，3×3卷积核用于提取人脸图像的光照不变信息，解码网络使用反卷积对特征图进行上采样操作，编码网络和解码网络之间采用跳跃连接策略以获取人脸细节信息，人脸重构模块的操作具体表示为：

I_rec＝Rec(R_in,I_in|l_tar) (6)

其中Rec(·)表示人脸重构模块，R_in，I_in和l_tar分别表示分解得到的反射分量和光照分量及目标光照标签，I_rec为重构的人脸光照分量；

步骤302：人脸重构模块结合了像素回归学习和生成对抗学习重构人脸光照分量，其目标函数由以下部分组成；

(2)像素回归损失：人脸重构模块输出的人脸光照分量I_rec与反射分量R_in进行矩阵元素相乘运算即可得到人脸重构图像S_rec，人脸重构图像与目标图像S_tar的L1范数距离即为人脸重构模块的像素回归损失，具体定义为：

其中

表示人脸重构模块的像素回归损失，R_in，I_rec，S_tar分别表示输入图像的反射分量，重构图像的光照分量，及目标图像；

(7)循环一致性损失：人脸重构模块采用闭环结构保留重构图像的内容信息，具体地，经调整后的人脸光照分量I_rec被重新送入人脸重构模块中，在光照标签l_in的引导下将光照分量调整至输入图像的光照等级，其损失函数具体表示为：

其中

表示人脸重构模块的循环一致性损失，I_in，R_in，I_rec分别表示输入图像的光照分量，反射分量，及重构图像的光照分量，l_in表示输入图像的光照标签；

(8)平滑损失：全变分模型也被用于平滑人脸重构模块输出的光照分量，该损失函数具体表示为

其中

表示重构人脸图像的平滑损失，

表示图像的全变分值，λ_g为调整图像平滑程度的权重参数；

(9)对抗损失：人脸重构模块采用了生成对抗学习方法合成人脸图像S_rec，以使得判别器模块无法判断合成人脸图像S_rec的真实性，该损失函数具体表示为：

其中

表示人脸重构模块的对抗损失，S_rec表示合成人脸图像，D(·)表示判别器模块，D_src(·)输出S_rec被判别为真实人脸图像的概率，而最小二乘距离用于提高生成对抗学习的稳定性；

(10)标签分类损失：人脸重构模块以目标光照标签作为引导合成特定光照等级的人脸图像，以使得判别器模块正确的分类光照等级，该损失函数具体定义为：

其中

表示人脸重构模块的标签分类损失，l_tar表示目标光照等级，D_cls表示合成人脸图像S_rec被正确分类为目标光照等级的概率；

(11)感知损失：人脸重构模块输出的合成人脸图像S_rec被送入人脸验证模块以保证合成人脸图像S_rec与输入图像S_in、目标图像S_tar具有相同的人脸身份信息，其损失函数具体定义为：

其中

表示人脸重构模块的感知损失，φ(·)表示人脸验证模块输出的身份特征向量，L2范数距离用于衡量φ(S_rec)，φ(S_in)和φ(S_tar)的相似程度；

人脸重构模块的目标损失函数为不同学习任务的损失加权组合，最终的损失函数表示为：

其中

和

分别表示人脸重构模块中不同损失的权重参数。

作为本发明进一步改进，步骤4中构建判别器模块的目标函数由以下部分组成；

(3)对抗损失：判别器模块同时输入目标人脸图像和合成人脸图像，并判别这一组图像的真实程度，其损失函数具体定义为：

其中

表示判别器模块的对抗损失，S_rec表示合成人脸图像，S_tar表示目标人脸图像；

(4)标签分类损失：判别器模块输入目标人脸图像，并分类光照等级，该损失函数具体定义为：

其中

表示判别器模块的标签分类损失，l_tar表示目标光照等级，D_cls表示目标人脸图像S_tar被正确分类为目标光照等级的概率；

判别器的目标损失函数为不同学习任务的损失加权组合，最终的损失函数表示为：

其中

分别表示判别器模块中不同损失的权重参数。

作为本发明进一步改进，步骤6中模型训练具体步骤如下；

步骤601：单独训练光照分解模块，使得该模块能够将输入人脸图像分解为反射分量和光照分量；

步骤602：训练整个人脸光照处理框架，包含光照分解模块、人脸重构模块、判别器模块和人脸验证模块。

有益效果：

本发明涉及基于Retinex分解和生成对抗网络的人脸光照处理方法，其鲁棒性高，人脸重构效果好，可适用于夜间光照昏暗条件下的人脸光照处理。发明在智能交通和公共安全领域有重要的应用价值。

附图说明

图1是本发明工作流程图；

图2是本发明中人脸光照处理数据集样例图；

图3是本发明中人脸光照处理算法框架示意图；

图4是本发明中光照分解模块Retinex分解结果示意图；

图5是本发明中人脸光照处理示意图。

具体实施方式

下面结合附图与具体实施方式对本发明作进一步详细描述：

本发明提供基于Retinex分解和生成对抗网络的人脸光照处理方法，该方法提出的模型包含光照分解模块、人脸重构模块、判别器模块和人脸验证模块。其中光照分解模块提取人脸图片的反射分量和光照分量；人脸重构模块调整输入人脸图片的光照等级；判别器模块使用生成对抗学习保证合成人脸图像的真实程度；人脸验证模块保留合成人脸图像的身份信息。

具体流程参阅图1所示，本实施例提供基于Retinex分解和生成对抗网络的人脸光照处理方法，具体实施步骤如下：

步骤1：建立人脸光照处理数据集，使用中国科学院计算研究所公开的CAS-PEAL数据集。如图2所示，该数据集包含10种光照条件下的共1666张人脸图片，其中1498张人脸图片(180个人脸实例)为训练样本，剩余198张人脸图片(20个实例)为测试样本。

步骤2：构建光照分解模块。该模块由一个卷积神经网络构成，用于人脸图像的Retinex光照分解，并输出人脸图像的反射分量和光照分量；

步骤201：对于给定的输入人脸图像S_in和目标人脸图像S_tar，光照分解模块的输入为图像对{S_in,S_tar}。该模块由6个卷积层组成，其中第一个卷积层使用9×9卷积核学习人脸图像的全局信息。剩余的卷积层采用3×3卷积核和ReLU激活函数。最后，Sigmoid激活函数用于将网络输出的反射分量R和光照分量I的像素值归一化至[0,1]区间。该网络不包含池化层且卷积操作的步长为1，以保证反射分量R，光照分量I的尺寸与输入图像S的尺寸一致。光照分解模块的操作具体可以表示为：

R_in,I_in,R_tar,I_tar＝Dec(S_in,S_tar) (1)

其中Dec(·)表示光照分解模块，R_in，I_in，R_tar，I_tar为输入人脸图片S_in和目标人脸图片S_tar的Retinex光照分解结果。

步骤202：光照分解模块通过人脸图像对的本征约束进行无监督学习，其目标函数由以下部分组成。

(1)反射分量一致性损失：根据Retinex理论，输入图像和目标图像的反射分量是近似一致的，其主要的差异体现在光照分量上。反射一致性损失用于约束输入图像的反射分量R_in和目标图像的反射分量R_tar之间的距离，其损失函数具体可表示为：

其中

表示光照分解模块的反射分量一致性损失，L1范数距离用于衡量R_in和R_tar的相似程度。

(2)像素回归损失：光照分解模块输出的反射分量{R_in,R_tar}和光照分量{I_in,I_tar}可以通过矩阵元素相乘运算重构输入人脸图像和目标人脸图像，其损失函数具体可定义为：

其中

表示光照分解模块的像素回归损失，涉及输入图像、目标图像和交叉重构图像，α_ij衡量不同图像的像素回归损失权重。

(3)平滑损失：全变分模型可以用于平滑光照分解模块输出的光照分量{I_in,I_tar}并过滤噪声，其损失具体可表示为：

其中

表示光照分解模块的平滑损失，具体涉及输入人脸图像和目标人脸图像，

表示图像的全变分值，λ_g为调整图像平滑程度的权重参数。

光照分解模块的目标损失函数为不同学习任务的损失加权组合，最终的损失函数可表示为：

其中

和

分别表示光照分解模块中不同损失的权重参数。

步骤3：构建人脸重构模块。该模块由一个编解码卷积神经网络构成，用于人脸图像光照分量重构，将低光照人脸图像的光照分量调整到目标光照等级。

步骤301：人脸重构模块采用类似于U-NET编解码网络模型对人脸光照分量进行重构，其输入包括三个部分：人脸图像反射分量R_in，人脸图像光照分量I_in和目标光照标签l_tar，其中光照标签采用one-hot的编码方式。人脸重构模块的输出为调整后的人脸光照分量I_rec。在编码网络中，3×3卷积核用于提取人脸图像的光照不变信息，解码网络使用反卷积对特征图进行上采样操作。编码网络和解码网络之间采用跳跃连接策略以获取人脸细节信息。人脸重构模块的操作具体可表示为：

I_rec＝Rec(R_in,I_in|l_tar) (6)

其中Rec(·)表示人脸重构模块。R_in，I_in和l_tar分别表示分解得到的反射分量和光照分量及目标光照标签，I_rec为重构的人脸光照分量。

步骤302：人脸重构模块结合了像素回归学习和生成对抗学习重构人脸光照分量，其目标函数由以下部分组成。

(1)像素回归损失：人脸重构模块输出的人脸光照分量I_rec与反射分量R_in进行矩阵元素相乘运算即可得到人脸重构图像S_rec。人脸重构图像与目标图像S_tar的L1范数距离即为人脸重构模块的像素回归损失，具体可定义为：

其中

表示人脸重构模块的像素回归损失。R_in，I_rec，S_tar分别表示输入图像的反射分量，重构图像的光照分量，及目标图像。

(2)循环一致性损失：人脸重构模块采用闭环结构保留重构图像的内容信息。具体地，经调整后的人脸光照分量I_rec被重新送入人脸重构模块中，在光照标签l_in的引导下可以将光照分量调整至输入图像的光照等级，其损失函数具体可表示为：

其中

表示人脸重构模块的循环一致性损失。I_in，R_in，I_rec分别表示输入图像的光照分量，反射分量，及重构图像的光照分量。l_in表示输入图像的光照标签。

(3)平滑损失：全变分模型也被用于平滑人脸重构模块输出的光照分量，该损失函数具体可表示为

其中

表示重构人脸图像的平滑损失，

表示图像的全变分值，λ_g为调整图像平滑程度的权重参数。

(4)对抗损失：人脸重构模块采用了生成对抗学习方法合成人脸图像S_rec，以使得判别器模块无法判断合成人脸图像S_rec的真实性，该损失函数具体可表示为：

其中

表示人脸重构模块的对抗损失，S_rec表示合成人脸图像，D(·)表示判别器模块，D_src(·)输出S_rec被判别为真实人脸图像的概率，而最小二乘距离用于提高生成对抗学习的稳定性。

(5)标签分类损失：人脸重构模块以目标光照标签作为引导合成特定光照等级的人脸图像，以使得判别器模块可以正确的分类光照等级，该损失函数具体可定义为：

其中

表示人脸重构模块的标签分类损失，l_tar表示目标光照等级，D_cls表示合成人脸图像S_rec被正确分类为目标光照等级的概率。

(6)感知损失：人脸重构模块输出的合成人脸图像S_rec被送入人脸验证模块以保证合成人脸图像S_rec与输入图像S_in、目标图像S_tar具有相同的人脸身份信息，其损失函数具体可定义为：

其中

表示人脸重构模块的感知损失，φ(·)表示人脸验证模块输出的身份特征向量，L2范数距离用于衡量φ(S_rec)，φ(S_in)和φ(S_tar)的相似程度。

人脸重构模块的目标损失函数为不同学习任务的损失加权组合，最终的损失函数可表示为：

其中

和

分别表示人脸重构模块中不同损失的权重参数。

步骤4：构建判别器模块。判别器模块通过生成对抗学习区分目标人脸图像和合成人脸图像，并分类人脸图像的光照等级。该模块由一个卷积神经网络构成，其目标函数由以下部分组成。

(1)对抗损失：判别器模块同时输入目标人脸图像和合成人脸图像，并判别这一组图像的真实程度，其损失函数具体可定义为：

其中

表示判别器模块的对抗损失，S_rec表示合成人脸图像，S_tar表示目标人脸图像。

(2)标签分类损失：判别器模块输入目标人脸图像，并分类光照等级，该损失函数具体可定义为：

其中

表示判别器模块的标签分类损失，l_tar表示目标光照等级，D_cls表示目标人脸图像S_tar被正确分类为目标光照等级的概率。

判别器的目标损失函数为不同学习任务的损失加权组合，最终的损失函数可表示为：

其中

分别表示判别器模块中不同损失的权重参数。

步骤5：构建人脸验证模块，该模块由预训练的VGGFace网络组成，以保证合成人脸图像S_rec与输入图像S_in、目标图像S_tar具有相同的人脸验证信息。该模块只用于提取人脸身份特征和传递感知损失，而不进行参数更新。

步骤6：模型训练，使用Pytorch开源库搭建深度集成神经网路模型，使用NVIDIATITAN X GPU，Ubuntu 18.04操作系统下训练人脸光照处理模型；

步骤601：单独训练光照分解模块，使得该模块能够将输入人脸图像分解为反射分量和光照分量，如图3所示。

步骤602：训练整个人脸光照处理框架，包含光照分解模块、人脸重构模块、判别器模块和人脸验证模块。该框架的整体示意图如图4所示。

步骤7：使用训练好的模型测试光照处理结果。给定一张输入人脸图片并给出目标光照等级标签，模型输出光照处理后的合成人脸图片，如图5所示。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作任何其他形式的限制，而依据本发明的技术实质所作的任何修改或等同变化，仍属于本发明所要求保护的范围。

Claims (6)

1.基于Retinex分解和生成对抗网络的人脸光照处理方法，其特征在于，包括下列步骤：

步骤1：建立人脸光照处理数据集；

步骤2：构建光照分解模块，该模块由一个卷积神经网络构成，用于人脸图像的Retinex光照分解，并输出人脸图像的反射分量和光照分量；

步骤3：构建人脸重构模块，该模块由一个编解码卷积神经网络构成，用于人脸图像光照分量重构，将低光照人脸图像的光照分量调整到目标光照等级；

步骤4：构建判别器模块，判别器模块通过生成对抗学习区分目标人脸图像和合成人脸图像，并分类人脸图像的光照等级，该模块由一个卷积神经网络构成；

步骤5：构建人脸验证模块，该模块由预训练的VGGFace网络组成，以保证合成人脸图像S_rec与输入图像S_in、目标图像S_tar具有相同的人脸验证信息，该模块只用于提取人脸身份特征和传递感知损失，而不进行参数更新；

步骤6：模型训练，使用Pytorch开源库搭建深度集成神经网路模型，使用NVIDIA TITANX GPU，Ubuntu 18.04操作系统下训练人脸光照处理模型；

步骤7：使用训练好的模型测试光照处理结果，给定一张输入人脸图片并给出目标光照等级标签，模型输出光照处理后的合成人脸图片。

2.根据权利要求1中所述基于Retinex分解和生成对抗网络的人脸光照处理方法，其特征在于；步骤1建立人脸光照处理数据集使用中国科学院计算研究所公开的CAS-PEAL数据集，该数据集包含10种光照条件下的共1666张人脸图片，其中1498张人脸图片为训练样本包括180个人脸实例，剩余198张人脸图片为测试样本包括20个实例。

3.根据权利要求1中所述基于Retinex分解和生成对抗网络的人脸光照处理方法，其特征在于；步骤2构建光照分解模块具体如下；

步骤201：对于给定的输入人脸图像S_in和目标人脸图像S_tar，光照分解模块的输入为图像对{S_in,S_tar}，该模块由6个卷积层组成，其中第一个卷积层使用9×9卷积核学习人脸图像的全局信息，剩余的卷积层采用3×3卷积核和ReLU激活函数，最后，Sigmoid激活函数用于将网络输出的反射分量R和光照分量I的像素值归一化至[0,1]区间，该网络不包含池化层且卷积操作的步长为1，以保证反射分量R，光照分量I的尺寸与输入图像S的尺寸一致，光照分解模块的操作具体表示为：

R_in,I_in,R_tar,I_tar＝Dec(S_in,S_tar) (1)

其中Dec(·)表示光照分解模块，R_in，I_in，R_tar，I_tar为输入人脸图片S_in和目标人脸图片S_tar的Retinex光照分解结果；

步骤202：光照分解模块通过人脸图像对的本征约束进行无监督学习，其目标函数由以下部分组成；

(1)反射分量一致性损失：根据Retinex理论，输入图像和目标图像的反射分量是近似一致的，其主要的差异体现在光照分量上，反射一致性损失用于约束输入图像的反射分量R_in和目标图像的反射分量R_tar之间的距离，其损失函数具体表示为：

其中

表示光照分解模块的反射分量一致性损失，L1范数距离用于衡量R_in和R_tar的相似程度；

(2)像素回归损失：光照分解模块输出的反射分量{R_in,R_tar}和光照分量{I_in,I_tar}通过矩阵元素相乘运算重构输入人脸图像和目标人脸图像，其损失函数具体定义为：

其中

表示光照分解模块的像素回归损失，涉及输入图像、目标图像和交叉重构图像，α_ij衡量不同图像的像素回归损失权重；

(3)平滑损失：全变分模型用于平滑光照分解模块输出的光照分量{I_in,I_tar}并过滤噪声，其损失具体表示为：

其中

表示光照分解模块的平滑损失，具体涉及输入人脸图像和目标人脸图像，

表示图像的全变分值，λ_g为调整图像平滑程度的权重参数；

光照分解模块的目标损失函数为不同学习任务的损失加权组合，最终的损失函数表示为：

其中

和

分别表示光照分解模块中不同损失的权重参数。

4.根据权利要求1中所述基于Retinex分解和生成对抗网络的人脸光照处理方法，其特征在于；步骤3构建人脸重构模块具体如下；

步骤301：人脸重构模块采用类似于U-NET编解码网络模型对人脸光照分量进行重构，其输入包括三个部分：人脸图像反射分量R_in，人脸图像光照分量I_in和目标光照标签l_tar，其中光照标签采用one-hot的编码方式，人脸重构模块的输出为调整后的人脸光照分量I_rec，在编码网络中，3×3卷积核用于提取人脸图像的光照不变信息，解码网络使用反卷积对特征图进行上采样操作，编码网络和解码网络之间采用跳跃连接策略以获取人脸细节信息，人脸重构模块的操作具体表示为：

I_rec＝Rec(R_in,I_in|l_tar) (6)

其中Rec(·)表示人脸重构模块，R_in，I_in和l_tar分别表示分解得到的反射分量和光照分量及目标光照标签，I_rec为重构的人脸光照分量；

步骤302：人脸重构模块结合了像素回归学习和生成对抗学习重构人脸光照分量，其目标函数由以下部分组成；

(1)像素回归损失：人脸重构模块输出的人脸光照分量I_rec与反射分量R_in进行矩阵元素相乘运算即可得到人脸重构图像S_rec，人脸重构图像与目标图像S_tar的L1范数距离即为人脸重构模块的像素回归损失，具体定义为：

其中

表示人脸重构模块的像素回归损失，R_in，I_rec，S_tar分别表示输入图像的反射分量，重构图像的光照分量，及目标图像；

(2)循环一致性损失：人脸重构模块采用闭环结构保留重构图像的内容信息，具体地，经调整后的人脸光照分量I_rec被重新送入人脸重构模块中，在光照标签l_in的引导下将光照分量调整至输入图像的光照等级，其损失函数具体表示为：

其中

表示人脸重构模块的循环一致性损失，I_in，R_in，I_rec分别表示输入图像的光照分量，反射分量，及重构图像的光照分量，l_in表示输入图像的光照标签；

(3)平滑损失：全变分模型也被用于平滑人脸重构模块输出的光照分量，该损失函数具体表示为

其中

表示重构人脸图像的平滑损失，

表示图像的全变分值，λ_g为调整图像平滑程度的权重参数；

(4)对抗损失：人脸重构模块采用了生成对抗学习方法合成人脸图像S_rec，以使得判别器模块无法判断合成人脸图像S_rec的真实性，该损失函数具体表示为：

其中

表示人脸重构模块的对抗损失，S_rec表示合成人脸图像，D(·)表示判别器模块，D_src(·)输出S_rec被判别为真实人脸图像的概率，而最小二乘距离用于提高生成对抗学习的稳定性；

(5)标签分类损失：人脸重构模块以目标光照标签作为引导合成特定光照等级的人脸图像，以使得判别器模块正确的分类光照等级，该损失函数具体定义为：

其中

表示人脸重构模块的标签分类损失，l_tar表示目标光照等级，D_cls表示合成人脸图像S_rec被正确分类为目标光照等级的概率；

(6)感知损失：人脸重构模块输出的合成人脸图像S_rec被送入人脸验证模块以保证合成人脸图像S_rec与输入图像S_in、目标图像S_tar具有相同的人脸身份信息，其损失函数具体定义为：

其中

表示人脸重构模块的感知损失，φ(·)表示人脸验证模块输出的身份特征向量，L2范数距离用于衡量φ(S_rec)，φ(S_in)和φ(S_tar)的相似程度；

人脸重构模块的目标损失函数为不同学习任务的损失加权组合，最终的损失函数表示为：

其中

和

分别表示人脸重构模块中不同损失的权重参数。

5.根据权利要求1中所述基于Retinex分解和生成对抗网络的人脸光照处理方法，其特征在于；步骤4中构建判别器模块的目标函数由以下部分组成；

(1)对抗损失：判别器模块同时输入目标人脸图像和合成人脸图像，并判别这一组图像的真实程度，其损失函数具体定义为：

其中

表示判别器模块的对抗损失，S_rec表示合成人脸图像，S_tar表示目标人脸图像；

(2)标签分类损失：判别器模块输入目标人脸图像，并分类光照等级，该损失函数具体定义为：

其中

表示判别器模块的标签分类损失，l_tar表示目标光照等级，D_cls表示目标人脸图像S_tar被正确分类为目标光照等级的概率；

判别器的目标损失函数为不同学习任务的损失加权组合，最终的损失函数表示为：

其中

分别表示判别器模块中不同损失的权重参数。

6.根据权利要求1中所述基于Retinex分解和生成对抗网络的人脸光照处理方法，其特征在于；步骤6中模型训练具体步骤如下；

步骤601：单独训练光照分解模块，使得该模块能够将输入人脸图像分解为反射分量和光照分量；

步骤602：训练整个人脸光照处理框架，包含光照分解模块、人脸重构模块、判别器模块和人脸验证模块。

Images