CN112131975B - 基于Retinex分解和生成对抗网络的人脸光照处理方法 - Google Patents

基于Retinex分解和生成对抗网络的人脸光照处理方法 Download PDF

Info

Publication number
CN112131975B
CN112131975B CN202010935702.4A CN202010935702A CN112131975B CN 112131975 B CN112131975 B CN 112131975B CN 202010935702 A CN202010935702 A CN 202010935702A CN 112131975 B CN112131975 B CN 112131975B
Authority
CN
China
Prior art keywords
face
illumination
module
image
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010935702.4A
Other languages
English (en)
Other versions
CN112131975A (zh
Inventor
路小波
胡耀聪
陆明琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202010935702.4A priority Critical patent/CN112131975B/zh
Publication of CN112131975A publication Critical patent/CN112131975A/zh
Application granted granted Critical
Publication of CN112131975B publication Critical patent/CN112131975B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

基于Retinex分解和生成对抗网络的人脸光照处理方法，框架包含光照分解模块、人脸重构模块、判别器模块和人脸验证模块。光照分解模块由一个卷积神经网络构成，输入一对人脸图像，通过无监督学习将人脸图像分解为反射分量和光照分量；人脸重构模块由一个编解码卷积神经网络构成，其输入包含低光照人脸图像的反射分量、光照分量及目标光照等级标签，该模块可以将低光照图像的光照分量调整到目标光照等级；判别器模块通过对抗学习判别输入人脸图像的真实性并分类光照等级；人脸验证模块包含一个预训练的人脸分类器以保证生成的人脸图像和目标人脸图像具有相同的身份信息。本发明鲁棒性高，人脸重构效果好，可适用于夜间光照昏暗条件下的人脸光照处理。

Description

基于Retinex分解和生成对抗网络的人脸光照处理方法
技术领域
本发明属于图像处理和模式识别领域，涉及基于Retinex分解和生成对抗网络的人脸光照处理方法。
背景技术
人脸识别长期以来一直是计算机领域的热门研究课题之一。近年来该技术被广泛的应用于社交多媒体、公共安全，智能监控等领域。目前的人脸识别算法在实际应用中仍存在一些难点仍需解决，其中光照变化严重的影响着人脸识别的鲁棒性能，特别是在夜间光照昏暗的场景下，现有的算法很难识别出人脸身份。因此人脸光照处理算法具有重要的研究意义和应用价值。
现有的人脸光照处理算法主要可以分为光照预处理算法和光照不变特征提取方法这两大类。光照预处理方法直接采用图像处理相关技术直接移除图片中的光照影响，如采用伽马变换，直方图均衡化等方式。光照不变特征提取方法可以从图像中提取人脸本征特征，如自商图像特征，小波特征和LBP纹理特征等。现在人脸光照处理算法的主要问题包括：
(1)在夜间恶劣光照条件下的表现不佳，对局部阴影的处理效果差，无法完全消除光照影响。
(2)处理后的人脸图像容易出现失真和扭曲变形，人脸细节纹理特征的恢复效果不佳。
(3)处理后的人脸图像丢失部分人脸身份信息，以至于现有的人脸识别算法仍无法识别处理后的人脸图像。
发明内容
针对以上问题，本发明提供基于Retinex分解和生成对抗网络的人脸光照处理方法，该方法提出的模型包含光照分解模块、人脸重构模块、判别器模块和人脸验证模块。其中光照分解模块提取人脸图片的反射分量和光照分量；人脸重构模块调整输入人脸图片的光照等级；判别器模块使用生成对抗学习保证合成人脸图像的真实程度；人脸验证模块保留合成人脸图像的身份信息，本专利提供基于Retinex分解和生成对抗网络的人脸光照处理方法，包括下列步骤：
步骤1：建立人脸光照处理数据集；
步骤2：构建光照分解模块，该模块由一个卷积神经网络构成，用于人脸图像的Retinex光照分解，并输出人脸图像的反射分量和光照分量；
步骤3：构建人脸重构模块，该模块由一个编解码卷积神经网络构成，用于人脸图像光照分量重构，将低光照人脸图像的光照分量调整到目标光照等级；
步骤4：构建判别器模块，判别器模块通过生成对抗学习区分目标人脸图像和合成人脸图像，并分类人脸图像的光照等级，该模块由一个卷积神经网络构成；
步骤5：构建人脸验证模块，该模块由预训练的VGGFace网络组成，以保证合成人脸图像Srec与输入图像Sin、目标图像Star具有相同的人脸验证信息，该模块只用于提取人脸身份特征和传递感知损失，而不进行参数更新；
步骤6：模型训练，使用Pytorch开源库搭建深度集成神经网路模型，使用NVIDIATITAN X GPU，Ubuntu 18.04操作系统下训练人脸光照处理模型；
步骤7：使用训练好的模型测试光照处理结果，给定一张输入人脸图片并给出目标光照等级标签，模型输出光照处理后的合成人脸图片。
作为本发明进一步改进，步骤1建立人脸光照处理数据集使用中国科学院计算研究所公开的CAS-PEAL数据集，该数据集包含10种光照条件下的共1666张人脸图片，其中1498张人脸图片为训练样本包括180个人脸实例，剩余198张人脸图片为测试样本包括20个实例。
作为本发明进一步改进，步骤2构建光照分解模块具体如下；
步骤201：对于给定的输入人脸图像Sin和目标人脸图像Star，光照分解模块的输入为图像对{Sin,Star}，该模块由6个卷积层组成，其中第一个卷积层使用9×9卷积核学习人脸图像的全局信息，剩余的卷积层采用3×3卷积核和ReLU激活函数，最后，Sigmoid激活函数用于将网络输出的反射分量R和光照分量I的像素值归一化至[0,1]区间，该网络不包含池化层且卷积操作的步长为1，以保证反射分量R，光照分量I的尺寸与输入图像S的尺寸一致，光照分解模块的操作具体表示为：
Rin,Iin,Rtar,Itar＝Dec(Sin,Star) (1)
其中Dec(·)表示光照分解模块，Rin，Iin，Rtar，Itar为输入人脸图片Sin和目标人脸图片Star的Retinex光照分解结果；
步骤202：光照分解模块通过人脸图像对的本征约束进行无监督学习，其目标函数由以下部分组成；
(4)反射分量一致性损失：根据Retinex理论，输入图像和目标图像的反射分量是近似一致的，其主要的差异体现在光照分量上，反射一致性损失用于约束输入图像的反射分量Rin和目标图像的反射分量Rtar之间的距离，其损失函数具体表示为：
Figure BDA0002671832160000021
其中
Figure BDA0002671832160000031
表示光照分解模块的反射分量一致性损失，L1范数距离用于衡量Rin和Rtar的相似程度；
(5)像素回归损失：光照分解模块输出的反射分量{Rin,Rtar}和光照分量{Iin,Itar}通过矩阵元素相乘运算重构输入人脸图像和目标人脸图像，其损失函数具体定义为：
Figure BDA0002671832160000032
其中
Figure BDA0002671832160000033
表示光照分解模块的像素回归损失，涉及输入图像、目标图像和交叉重构图像，αij衡量不同图像的像素回归损失权重；
(6)平滑损失：全变分模型用于平滑光照分解模块输出的光照分量{Iin,Itar}并过滤噪声，其损失具体表示为：
Figure BDA0002671832160000034
其中
Figure BDA0002671832160000035
表示光照分解模块的平滑损失，具体涉及输入人脸图像和目标人脸图像，▽表示图像的全变分值，λg为调整图像平滑程度的权重参数；
光照分解模块的目标损失函数为不同学习任务的损失加权组合，最终的损失函数表示为：
Figure BDA0002671832160000036
其中
Figure BDA0002671832160000037
和
Figure BDA0002671832160000038
分别表示光照分解模块中不同损失的权重参数。
作为本发明进一步改进，步骤3构建人脸重构模块具体如下；
步骤301：人脸重构模块采用类似于U-NET编解码网络模型对人脸光照分量进行重构，其输入包括三个部分：人脸图像反射分量Rin，人脸图像光照分量Iin和目标光照标签ltar，其中光照标签采用one-hot的编码方式，人脸重构模块的输出为调整后的人脸光照分量Irec，在编码网络中，3×3卷积核用于提取人脸图像的光照不变信息，解码网络使用反卷积对特征图进行上采样操作，编码网络和解码网络之间采用跳跃连接策略以获取人脸细节信息，人脸重构模块的操作具体表示为：
Irec＝Rec(Rin,Iin|ltar) (6)
其中Rec(·)表示人脸重构模块，Rin，Iin和ltar分别表示分解得到的反射分量和光照分量及目标光照标签，Irec为重构的人脸光照分量；
步骤302：人脸重构模块结合了像素回归学习和生成对抗学习重构人脸光照分量，其目标函数由以下部分组成；
(2)像素回归损失：人脸重构模块输出的人脸光照分量Irec与反射分量Rin进行矩阵元素相乘运算即可得到人脸重构图像Srec，人脸重构图像与目标图像Star的L1范数距离即为人脸重构模块的像素回归损失，具体定义为：
Figure BDA0002671832160000041
其中
Figure BDA0002671832160000042
表示人脸重构模块的像素回归损失，Rin，Irec，Star分别表示输入图像的反射分量，重构图像的光照分量，及目标图像；
(7)循环一致性损失：人脸重构模块采用闭环结构保留重构图像的内容信息，具体地，经调整后的人脸光照分量Irec被重新送入人脸重构模块中，在光照标签lin的引导下将光照分量调整至输入图像的光照等级，其损失函数具体表示为：
Figure BDA0002671832160000043
其中
Figure BDA0002671832160000044
表示人脸重构模块的循环一致性损失，Iin，Rin，Irec分别表示输入图像的光照分量，反射分量，及重构图像的光照分量，lin表示输入图像的光照标签；
(8)平滑损失：全变分模型也被用于平滑人脸重构模块输出的光照分量，该损失函数具体表示为
Figure BDA0002671832160000045
其中
Figure BDA0002671832160000046
表示重构人脸图像的平滑损失，
Figure BDA0002671832160000047
表示图像的全变分值，λg为调整图像平滑程度的权重参数；
(9)对抗损失：人脸重构模块采用了生成对抗学习方法合成人脸图像Srec，以使得判别器模块无法判断合成人脸图像Srec的真实性，该损失函数具体表示为：
Figure BDA0002671832160000048
其中
Figure BDA0002671832160000049
表示人脸重构模块的对抗损失，Srec表示合成人脸图像，D(·)表示判别器模块，Dsrc(·)输出Srec被判别为真实人脸图像的概率，而最小二乘距离用于提高生成对抗学习的稳定性；
(10)标签分类损失：人脸重构模块以目标光照标签作为引导合成特定光照等级的人脸图像，以使得判别器模块正确的分类光照等级，该损失函数具体定义为：
Figure BDA00026718321600000410
其中
Figure BDA00026718321600000411
表示人脸重构模块的标签分类损失，ltar表示目标光照等级，Dcls表示合成人脸图像Srec被正确分类为目标光照等级的概率；
(11)感知损失：人脸重构模块输出的合成人脸图像Srec被送入人脸验证模块以保证合成人脸图像Srec与输入图像Sin、目标图像Star具有相同的人脸身份信息，其损失函数具体定义为：
Figure BDA0002671832160000051
其中
Figure BDA0002671832160000052
表示人脸重构模块的感知损失，φ(·)表示人脸验证模块输出的身份特征向量，L2范数距离用于衡量φ(Srec)，φ(Sin)和φ(Star)的相似程度；
人脸重构模块的目标损失函数为不同学习任务的损失加权组合，最终的损失函数表示为：
Figure BDA0002671832160000053
其中
Figure BDA0002671832160000054
和
Figure BDA0002671832160000055
分别表示人脸重构模块中不同损失的权重参数。
作为本发明进一步改进，步骤4中构建判别器模块的目标函数由以下部分组成；
(3)对抗损失：判别器模块同时输入目标人脸图像和合成人脸图像，并判别这一组图像的真实程度，其损失函数具体定义为：
Figure BDA0002671832160000056
其中
Figure BDA0002671832160000057
表示判别器模块的对抗损失，Srec表示合成人脸图像，Star表示目标人脸图像；
(4)标签分类损失：判别器模块输入目标人脸图像，并分类光照等级，该损失函数具体定义为：
Figure BDA0002671832160000058
其中
Figure BDA0002671832160000059
表示判别器模块的标签分类损失，ltar表示目标光照等级，Dcls表示目标人脸图像Star被正确分类为目标光照等级的概率；
判别器的目标损失函数为不同学习任务的损失加权组合，最终的损失函数表示为：
Figure BDA00026718321600000510
其中
Figure BDA00026718321600000511
分别表示判别器模块中不同损失的权重参数。
作为本发明进一步改进，步骤6中模型训练具体步骤如下；
步骤601：单独训练光照分解模块，使得该模块能够将输入人脸图像分解为反射分量和光照分量；
步骤602：训练整个人脸光照处理框架，包含光照分解模块、人脸重构模块、判别器模块和人脸验证模块。
有益效果：
本发明涉及基于Retinex分解和生成对抗网络的人脸光照处理方法，其鲁棒性高，人脸重构效果好，可适用于夜间光照昏暗条件下的人脸光照处理。发明在智能交通和公共安全领域有重要的应用价值。
附图说明
图1是本发明工作流程图；
图2是本发明中人脸光照处理数据集样例图；
图3是本发明中人脸光照处理算法框架示意图；
图4是本发明中光照分解模块Retinex分解结果示意图；
图5是本发明中人脸光照处理示意图。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细描述：
本发明提供基于Retinex分解和生成对抗网络的人脸光照处理方法，该方法提出的模型包含光照分解模块、人脸重构模块、判别器模块和人脸验证模块。其中光照分解模块提取人脸图片的反射分量和光照分量；人脸重构模块调整输入人脸图片的光照等级；判别器模块使用生成对抗学习保证合成人脸图像的真实程度；人脸验证模块保留合成人脸图像的身份信息。
具体流程参阅图1所示，本实施例提供基于Retinex分解和生成对抗网络的人脸光照处理方法，具体实施步骤如下：
步骤1：建立人脸光照处理数据集，使用中国科学院计算研究所公开的CAS-PEAL数据集。如图2所示，该数据集包含10种光照条件下的共1666张人脸图片，其中1498张人脸图片(180个人脸实例)为训练样本，剩余198张人脸图片(20个实例)为测试样本。
步骤2：构建光照分解模块。该模块由一个卷积神经网络构成，用于人脸图像的Retinex光照分解，并输出人脸图像的反射分量和光照分量；
步骤201：对于给定的输入人脸图像Sin和目标人脸图像Star，光照分解模块的输入为图像对{Sin,Star}。该模块由6个卷积层组成，其中第一个卷积层使用9×9卷积核学习人脸图像的全局信息。剩余的卷积层采用3×3卷积核和ReLU激活函数。最后，Sigmoid激活函数用于将网络输出的反射分量R和光照分量I的像素值归一化至[0,1]区间。该网络不包含池化层且卷积操作的步长为1，以保证反射分量R，光照分量I的尺寸与输入图像S的尺寸一致。光照分解模块的操作具体可以表示为：
Rin,Iin,Rtar,Itar＝Dec(Sin,Star) (1)
其中Dec(·)表示光照分解模块，Rin，Iin，Rtar，Itar为输入人脸图片Sin和目标人脸图片Star的Retinex光照分解结果。
步骤202：光照分解模块通过人脸图像对的本征约束进行无监督学习，其目标函数由以下部分组成。
(1)反射分量一致性损失：根据Retinex理论，输入图像和目标图像的反射分量是近似一致的，其主要的差异体现在光照分量上。反射一致性损失用于约束输入图像的反射分量Rin和目标图像的反射分量Rtar之间的距离，其损失函数具体可表示为：
Figure BDA0002671832160000071
其中
Figure BDA0002671832160000072
表示光照分解模块的反射分量一致性损失，L1范数距离用于衡量Rin和Rtar的相似程度。
(2)像素回归损失：光照分解模块输出的反射分量{Rin,Rtar}和光照分量{Iin,Itar}可以通过矩阵元素相乘运算重构输入人脸图像和目标人脸图像，其损失函数具体可定义为：
Figure BDA0002671832160000073
其中
Figure BDA0002671832160000074
表示光照分解模块的像素回归损失，涉及输入图像、目标图像和交叉重构图像，αij衡量不同图像的像素回归损失权重。
(3)平滑损失：全变分模型可以用于平滑光照分解模块输出的光照分量{Iin,Itar}并过滤噪声，其损失具体可表示为：
Figure BDA0002671832160000075
其中
Figure BDA0002671832160000076
表示光照分解模块的平滑损失，具体涉及输入人脸图像和目标人脸图像，
Figure BDA0002671832160000077
表示图像的全变分值，λg为调整图像平滑程度的权重参数。
光照分解模块的目标损失函数为不同学习任务的损失加权组合，最终的损失函数可表示为：
Figure BDA0002671832160000078
其中
Figure BDA0002671832160000079
和
Figure BDA00026718321600000710
分别表示光照分解模块中不同损失的权重参数。
步骤3：构建人脸重构模块。该模块由一个编解码卷积神经网络构成，用于人脸图像光照分量重构，将低光照人脸图像的光照分量调整到目标光照等级。
步骤301：人脸重构模块采用类似于U-NET编解码网络模型对人脸光照分量进行重构，其输入包括三个部分：人脸图像反射分量Rin，人脸图像光照分量Iin和目标光照标签ltar，其中光照标签采用one-hot的编码方式。人脸重构模块的输出为调整后的人脸光照分量Irec。在编码网络中，3×3卷积核用于提取人脸图像的光照不变信息，解码网络使用反卷积对特征图进行上采样操作。编码网络和解码网络之间采用跳跃连接策略以获取人脸细节信息。人脸重构模块的操作具体可表示为：
Irec＝Rec(Rin,Iin|ltar) (6)
其中Rec(·)表示人脸重构模块。Rin，Iin和ltar分别表示分解得到的反射分量和光照分量及目标光照标签，Irec为重构的人脸光照分量。
步骤302：人脸重构模块结合了像素回归学习和生成对抗学习重构人脸光照分量，其目标函数由以下部分组成。
(1)像素回归损失：人脸重构模块输出的人脸光照分量Irec与反射分量Rin进行矩阵元素相乘运算即可得到人脸重构图像Srec。人脸重构图像与目标图像Star的L1范数距离即为人脸重构模块的像素回归损失，具体可定义为：
Figure BDA0002671832160000081
其中
Figure BDA0002671832160000082
表示人脸重构模块的像素回归损失。Rin，Irec，Star分别表示输入图像的反射分量，重构图像的光照分量，及目标图像。
(2)循环一致性损失：人脸重构模块采用闭环结构保留重构图像的内容信息。具体地，经调整后的人脸光照分量Irec被重新送入人脸重构模块中，在光照标签lin的引导下可以将光照分量调整至输入图像的光照等级，其损失函数具体可表示为：
Figure BDA0002671832160000083
其中
Figure BDA0002671832160000084
表示人脸重构模块的循环一致性损失。Iin，Rin，Irec分别表示输入图像的光照分量，反射分量，及重构图像的光照分量。lin表示输入图像的光照标签。
(3)平滑损失：全变分模型也被用于平滑人脸重构模块输出的光照分量，该损失函数具体可表示为
Figure BDA0002671832160000085
其中
Figure BDA0002671832160000086
表示重构人脸图像的平滑损失，
Figure BDA0002671832160000087
表示图像的全变分值，λg为调整图像平滑程度的权重参数。
(4)对抗损失：人脸重构模块采用了生成对抗学习方法合成人脸图像Srec，以使得判别器模块无法判断合成人脸图像Srec的真实性，该损失函数具体可表示为：
Figure BDA0002671832160000091
其中
Figure BDA0002671832160000092
表示人脸重构模块的对抗损失，Srec表示合成人脸图像，D(·)表示判别器模块，Dsrc(·)输出Srec被判别为真实人脸图像的概率，而最小二乘距离用于提高生成对抗学习的稳定性。
(5)标签分类损失：人脸重构模块以目标光照标签作为引导合成特定光照等级的人脸图像，以使得判别器模块可以正确的分类光照等级，该损失函数具体可定义为：
Figure BDA0002671832160000093
其中
Figure BDA0002671832160000094
表示人脸重构模块的标签分类损失，ltar表示目标光照等级，Dcls表示合成人脸图像Srec被正确分类为目标光照等级的概率。
(6)感知损失：人脸重构模块输出的合成人脸图像Srec被送入人脸验证模块以保证合成人脸图像Srec与输入图像Sin、目标图像Star具有相同的人脸身份信息，其损失函数具体可定义为：
Figure BDA0002671832160000095
其中
Figure BDA0002671832160000096
表示人脸重构模块的感知损失，φ(·)表示人脸验证模块输出的身份特征向量，L2范数距离用于衡量φ(Srec)，φ(Sin)和φ(Star)的相似程度。
人脸重构模块的目标损失函数为不同学习任务的损失加权组合，最终的损失函数可表示为：
Figure BDA0002671832160000097
其中
Figure BDA0002671832160000098
和
Figure BDA0002671832160000099
分别表示人脸重构模块中不同损失的权重参数。
步骤4：构建判别器模块。判别器模块通过生成对抗学习区分目标人脸图像和合成人脸图像，并分类人脸图像的光照等级。该模块由一个卷积神经网络构成，其目标函数由以下部分组成。
(1)对抗损失：判别器模块同时输入目标人脸图像和合成人脸图像，并判别这一组图像的真实程度，其损失函数具体可定义为：
Figure BDA00026718321600000910
其中
Figure BDA00026718321600000911
表示判别器模块的对抗损失，Srec表示合成人脸图像，Star表示目标人脸图像。
(2)标签分类损失：判别器模块输入目标人脸图像，并分类光照等级，该损失函数具体可定义为：
Figure BDA00026718321600000912
其中
Figure BDA00026718321600000913
表示判别器模块的标签分类损失，ltar表示目标光照等级，Dcls表示目标人脸图像Star被正确分类为目标光照等级的概率。
判别器的目标损失函数为不同学习任务的损失加权组合，最终的损失函数可表示为：
Figure BDA0002671832160000101
其中
Figure BDA0002671832160000102
分别表示判别器模块中不同损失的权重参数。
步骤5：构建人脸验证模块，该模块由预训练的VGGFace网络组成，以保证合成人脸图像Srec与输入图像Sin、目标图像Star具有相同的人脸验证信息。该模块只用于提取人脸身份特征和传递感知损失，而不进行参数更新。
步骤6：模型训练，使用Pytorch开源库搭建深度集成神经网路模型，使用NVIDIATITAN X GPU，Ubuntu 18.04操作系统下训练人脸光照处理模型；
步骤601：单独训练光照分解模块，使得该模块能够将输入人脸图像分解为反射分量和光照分量，如图3所示。
步骤602：训练整个人脸光照处理框架，包含光照分解模块、人脸重构模块、判别器模块和人脸验证模块。该框架的整体示意图如图4所示。
步骤7：使用训练好的模型测试光照处理结果。给定一张输入人脸图片并给出目标光照等级标签，模型输出光照处理后的合成人脸图片，如图5所示。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作任何其他形式的限制，而依据本发明的技术实质所作的任何修改或等同变化，仍属于本发明所要求保护的范围。

Claims (6)

1.基于Retinex分解和生成对抗网络的人脸光照处理方法，其特征在于，包括下列步骤：
步骤1：建立人脸光照处理数据集；
步骤2：构建光照分解模块，该模块由一个卷积神经网络构成，用于人脸图像的Retinex光照分解，并输出人脸图像的反射分量和光照分量；
步骤3：构建人脸重构模块，该模块由一个编解码卷积神经网络构成，用于人脸图像光照分量重构，将低光照人脸图像的光照分量调整到目标光照等级；
步骤4：构建判别器模块，判别器模块通过生成对抗学习区分目标人脸图像和合成人脸图像，并分类人脸图像的光照等级，该模块由一个卷积神经网络构成；
步骤5：构建人脸验证模块，该模块由预训练的VGGFace网络组成，以保证合成人脸图像Srec与输入图像Sin、目标图像Star具有相同的人脸验证信息，该模块只用于提取人脸身份特征和传递感知损失，而不进行参数更新；
步骤6：模型训练，使用Pytorch开源库搭建深度集成神经网路模型，使用NVIDIA TITANX GPU，Ubuntu 18.04操作系统下训练人脸光照处理模型；
步骤7：使用训练好的模型测试光照处理结果，给定一张输入人脸图片并给出目标光照等级标签，模型输出光照处理后的合成人脸图片。
2.根据权利要求1中所述基于Retinex分解和生成对抗网络的人脸光照处理方法，其特征在于；步骤1建立人脸光照处理数据集使用中国科学院计算研究所公开的CAS-PEAL数据集，该数据集包含10种光照条件下的共1666张人脸图片，其中1498张人脸图片为训练样本包括180个人脸实例，剩余198张人脸图片为测试样本包括20个实例。
3.根据权利要求1中所述基于Retinex分解和生成对抗网络的人脸光照处理方法，其特征在于；步骤2构建光照分解模块具体如下；
步骤201：对于给定的输入人脸图像Sin和目标人脸图像Star，光照分解模块的输入为图像对{Sin,Star}，该模块由6个卷积层组成，其中第一个卷积层使用9×9卷积核学习人脸图像的全局信息，剩余的卷积层采用3×3卷积核和ReLU激活函数，最后，Sigmoid激活函数用于将网络输出的反射分量R和光照分量I的像素值归一化至[0,1]区间，该网络不包含池化层且卷积操作的步长为1，以保证反射分量R，光照分量I的尺寸与输入图像S的尺寸一致，光照分解模块的操作具体表示为：
Rin,Iin,Rtar,Itar＝Dec(Sin,Star) (1)
其中Dec(·)表示光照分解模块，Rin，Iin，Rtar，Itar为输入人脸图片Sin和目标人脸图片Star的Retinex光照分解结果；
步骤202：光照分解模块通过人脸图像对的本征约束进行无监督学习，其目标函数由以下部分组成；
(1)反射分量一致性损失：根据Retinex理论，输入图像和目标图像的反射分量是近似一致的，其主要的差异体现在光照分量上，反射一致性损失用于约束输入图像的反射分量Rin和目标图像的反射分量Rtar之间的距离，其损失函数具体表示为：
Figure FDA0002671832150000021
其中
Figure FDA0002671832150000022
表示光照分解模块的反射分量一致性损失，L1范数距离用于衡量Rin和Rtar的相似程度；
(2)像素回归损失：光照分解模块输出的反射分量{Rin,Rtar}和光照分量{Iin,Itar}通过矩阵元素相乘运算重构输入人脸图像和目标人脸图像，其损失函数具体定义为：
Figure FDA0002671832150000023
其中
Figure FDA0002671832150000024
表示光照分解模块的像素回归损失，涉及输入图像、目标图像和交叉重构图像，αij衡量不同图像的像素回归损失权重；
(3)平滑损失：全变分模型用于平滑光照分解模块输出的光照分量{Iin,Itar}并过滤噪声，其损失具体表示为：
Figure FDA0002671832150000025
其中
Figure FDA0002671832150000026
表示光照分解模块的平滑损失，具体涉及输入人脸图像和目标人脸图像，
Figure FDA0002671832150000027
表示图像的全变分值，λg为调整图像平滑程度的权重参数；
光照分解模块的目标损失函数为不同学习任务的损失加权组合，最终的损失函数表示为：
Figure FDA0002671832150000028
其中
Figure FDA0002671832150000029
和
Figure FDA00026718321500000210
分别表示光照分解模块中不同损失的权重参数。
4.根据权利要求1中所述基于Retinex分解和生成对抗网络的人脸光照处理方法，其特征在于；步骤3构建人脸重构模块具体如下；
步骤301：人脸重构模块采用类似于U-NET编解码网络模型对人脸光照分量进行重构，其输入包括三个部分：人脸图像反射分量Rin，人脸图像光照分量Iin和目标光照标签ltar，其中光照标签采用one-hot的编码方式，人脸重构模块的输出为调整后的人脸光照分量Irec，在编码网络中，3×3卷积核用于提取人脸图像的光照不变信息，解码网络使用反卷积对特征图进行上采样操作，编码网络和解码网络之间采用跳跃连接策略以获取人脸细节信息，人脸重构模块的操作具体表示为：
Irec＝Rec(Rin,Iin|ltar) (6)
其中Rec(·)表示人脸重构模块，Rin，Iin和ltar分别表示分解得到的反射分量和光照分量及目标光照标签，Irec为重构的人脸光照分量；
步骤302：人脸重构模块结合了像素回归学习和生成对抗学习重构人脸光照分量，其目标函数由以下部分组成；
(1)像素回归损失：人脸重构模块输出的人脸光照分量Irec与反射分量Rin进行矩阵元素相乘运算即可得到人脸重构图像Srec，人脸重构图像与目标图像Star的L1范数距离即为人脸重构模块的像素回归损失，具体定义为：
Figure FDA0002671832150000031
其中
Figure FDA0002671832150000032
表示人脸重构模块的像素回归损失，Rin，Irec，Star分别表示输入图像的反射分量，重构图像的光照分量，及目标图像；
(2)循环一致性损失：人脸重构模块采用闭环结构保留重构图像的内容信息，具体地，经调整后的人脸光照分量Irec被重新送入人脸重构模块中，在光照标签lin的引导下将光照分量调整至输入图像的光照等级，其损失函数具体表示为：
Figure FDA0002671832150000033
其中
Figure FDA0002671832150000034
表示人脸重构模块的循环一致性损失，Iin，Rin，Irec分别表示输入图像的光照分量，反射分量，及重构图像的光照分量，lin表示输入图像的光照标签；
(3)平滑损失：全变分模型也被用于平滑人脸重构模块输出的光照分量，该损失函数具体表示为
Figure FDA0002671832150000035
其中
Figure FDA0002671832150000036
表示重构人脸图像的平滑损失，
Figure FDA0002671832150000037
表示图像的全变分值，λg为调整图像平滑程度的权重参数；
(4)对抗损失：人脸重构模块采用了生成对抗学习方法合成人脸图像Srec，以使得判别器模块无法判断合成人脸图像Srec的真实性，该损失函数具体表示为：
Figure FDA0002671832150000038
其中
Figure FDA0002671832150000039
表示人脸重构模块的对抗损失，Srec表示合成人脸图像，D(·)表示判别器模块，Dsrc(·)输出Srec被判别为真实人脸图像的概率，而最小二乘距离用于提高生成对抗学习的稳定性；
(5)标签分类损失：人脸重构模块以目标光照标签作为引导合成特定光照等级的人脸图像，以使得判别器模块正确的分类光照等级，该损失函数具体定义为：
Figure FDA0002671832150000041
其中
Figure FDA0002671832150000042
表示人脸重构模块的标签分类损失，ltar表示目标光照等级，Dcls表示合成人脸图像Srec被正确分类为目标光照等级的概率；
(6)感知损失：人脸重构模块输出的合成人脸图像Srec被送入人脸验证模块以保证合成人脸图像Srec与输入图像Sin、目标图像Star具有相同的人脸身份信息，其损失函数具体定义为：
Figure FDA0002671832150000043
其中
Figure FDA0002671832150000044
表示人脸重构模块的感知损失，φ(·)表示人脸验证模块输出的身份特征向量，L2范数距离用于衡量φ(Srec)，φ(Sin)和φ(Star)的相似程度；
人脸重构模块的目标损失函数为不同学习任务的损失加权组合，最终的损失函数表示为：
Figure FDA0002671832150000045
其中
Figure FDA0002671832150000046
和
Figure FDA0002671832150000047
分别表示人脸重构模块中不同损失的权重参数。
5.根据权利要求1中所述基于Retinex分解和生成对抗网络的人脸光照处理方法，其特征在于；步骤4中构建判别器模块的目标函数由以下部分组成；
(1)对抗损失：判别器模块同时输入目标人脸图像和合成人脸图像，并判别这一组图像的真实程度，其损失函数具体定义为：
Figure FDA0002671832150000048
其中
Figure FDA0002671832150000049
表示判别器模块的对抗损失，Srec表示合成人脸图像，Star表示目标人脸图像；
(2)标签分类损失：判别器模块输入目标人脸图像，并分类光照等级，该损失函数具体定义为：
Figure FDA00026718321500000410
其中
Figure FDA00026718321500000411
表示判别器模块的标签分类损失，ltar表示目标光照等级，Dcls表示目标人脸图像Star被正确分类为目标光照等级的概率；
判别器的目标损失函数为不同学习任务的损失加权组合，最终的损失函数表示为：
Figure FDA00026718321500000412
其中
Figure FDA00026718321500000413
分别表示判别器模块中不同损失的权重参数。
6.根据权利要求1中所述基于Retinex分解和生成对抗网络的人脸光照处理方法，其特征在于；步骤6中模型训练具体步骤如下；
步骤601：单独训练光照分解模块，使得该模块能够将输入人脸图像分解为反射分量和光照分量；
步骤602：训练整个人脸光照处理框架，包含光照分解模块、人脸重构模块、判别器模块和人脸验证模块。
CN202010935702.4A 2020-09-08 2020-09-08 基于Retinex分解和生成对抗网络的人脸光照处理方法 Active CN112131975B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010935702.4A CN112131975B (zh) 2020-09-08 2020-09-08 基于Retinex分解和生成对抗网络的人脸光照处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010935702.4A CN112131975B (zh) 2020-09-08 2020-09-08 基于Retinex分解和生成对抗网络的人脸光照处理方法

Publications (2)

Publication Number Publication Date
CN112131975A CN112131975A (zh) 2020-12-25
CN112131975B true CN112131975B (zh) 2022-11-15

Family

ID=73845297

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010935702.4A Active CN112131975B (zh) 2020-09-08 2020-09-08 基于Retinex分解和生成对抗网络的人脸光照处理方法

Country Status (1)

Country Link
CN (1) CN112131975B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112862713B (zh) * 2021-02-02 2022-08-09 山东师范大学 一种基于注意力机制的低光图像增强方法及系统
CN113158784A (zh) * 2021-03-10 2021-07-23 苏州臻迪智能科技有限公司 具有提高的识别精度的人脸识别方法及无人机
CN113034353B (zh) * 2021-04-09 2024-07-12 西安建筑科技大学 一种基于交叉卷积神经网络的本质图像分解方法及系统
CN113192055B (zh) * 2021-05-20 2023-01-17 中国海洋大学 一种合成图像的和谐化方法及模型
US20230290108A1 (en) * 2022-03-10 2023-09-14 Samsung Electronics Co., Ltd. Machine-Learning Models Trained to Modify Image Illumination Without Ground-Truth Images

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109815893B (zh) * 2019-01-23 2021-03-26 中山大学 基于循环生成对抗网络的彩色人脸图像光照域归一化的方法
CN110706152B (zh) * 2019-09-25 2021-09-17 中山大学 基于生成对抗网络的人脸光照迁移方法
CN111428667A (zh) * 2020-03-31 2020-07-17 天津中科智能识别产业技术研究院有限公司 一种基于解耦表达学习生成对抗网络的人脸图像转正方法

Also Published As

Publication number Publication date
CN112131975A (zh) 2020-12-25

Similar Documents

Publication Publication Date Title
CN112131975B (zh) 基于Retinex分解和生成对抗网络的人脸光照处理方法
CN108304788B (zh) 基于深度神经网络的人脸识别方法
Zhang et al. Demeshnet: Blind face inpainting for deep meshface verification
AU2014368997B2 (en) System and method for identifying faces in unconstrained media
CN110084108A (zh) 基于gan神经网络的行人重识别系统及方法
CN113449660B (zh) 基于自注意增强的时空变分自编码网络的异常事件检测方法
CN111582095B (zh) 一种轻量级行人异常行为快速检测方法
CN113221655B (zh) 基于特征空间约束的人脸欺骗检测方法
CN113139591A (zh) 一种基于增强多模态对齐的广义零样本图像分类方法
Frants et al. QCNN-H: Single-image dehazing using quaternion neural networks
CN112766217B (zh) 基于解纠缠和特征级差异学习的跨模态行人重识别方法
CN112069891A (zh) 一种基于光照特征的深度伪造人脸鉴别方法
CN115457568B (zh) 一种基于生成对抗网络的历史文档图像降噪方法及系统
CN114022726A (zh) 一种基于胶囊网络的人员车辆监控方法及系统
CN115995040A (zh) 一种基于多尺度网络的sar图像小样本目标识别方法
CN114937298A (zh) 一种基于特征解耦的微表情识别方法
CN112990340B (zh) 一种基于特征共享的自学习迁移方法
CN114782979A (zh) 一种行人重识别模型的训练方法、装置、存储介质及终端
CN117095471B (zh) 基于多尺度特征的人脸伪造溯源方法
Giap et al. Adaptive multiple layer retinex-enabled color face enhancement for deep learning-based recognition
Zhang et al. A novel DenseNet Generative Adversarial network for Heterogenous low-Light image enhancement
CN117495718A (zh) 一种多尺度自适应的遥感图像去雾方法
Mahmood et al. An investigational FW-MPM-LSTM approach for face recognition using defective data
CN112800979A (zh) 一种基于表征流嵌入网络的动态表情识别方法及系统
Sharma et al. Solving image processing critical problems using machine learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant