CN114049289B - 基于对比学习与StyleGAN2的近红外-可见光人脸图像合成方法 - Google Patents
基于对比学习与StyleGAN2的近红外-可见光人脸图像合成方法 Download PDFInfo
- Publication number
- CN114049289B CN114049289B CN202111324809.6A CN202111324809A CN114049289B CN 114049289 B CN114049289 B CN 114049289B CN 202111324809 A CN202111324809 A CN 202111324809A CN 114049289 B CN114049289 B CN 114049289B
- Authority
- CN
- China
- Prior art keywords
- image
- visible light
- near infrared
- face
- face image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001308 synthesis method Methods 0.000 title claims abstract description 8
- 238000012549 training Methods 0.000 claims abstract description 24
- 230000006870 function Effects 0.000 claims abstract description 14
- 238000000605 extraction Methods 0.000 claims abstract description 8
- 238000005457 optimization Methods 0.000 claims abstract description 8
- 238000001514 detection method Methods 0.000 claims abstract description 7
- 238000010606 normalization Methods 0.000 claims abstract description 7
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 238000000034 method Methods 0.000 claims description 25
- 239000013598 vector Substances 0.000 claims description 15
- 238000013507 mapping Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 230000003042 antagnostic effect Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract description 6
- 230000007246 mechanism Effects 0.000 abstract description 5
- 230000002194 synthesizing effect Effects 0.000 abstract description 3
- 238000012360 testing method Methods 0.000 abstract description 2
- 238000006243 chemical reaction Methods 0.000 description 9
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 3
- 208000032538 Depersonalisation Diseases 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000011840 criminal investigation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于对比学习与StyleGAN2的近红外‑可见光人脸图像合成方法,其步骤包括:1、收集成对的近红外‑可见光人脸图像并进行统一的人脸检测和归一化的预处理,从而获得数据集图像;2、引入对比学习机制,构建包含基于StyleGAN2结构的生成器、判别器、图像多层特征提取块在内的生成网络模型;3、结合适当的损失函数和优化函数,利用训练集图像训练生成网络模型;4、输入待测的近红外人脸图像对生成网络模型进行测试,最终合成相应的可见光人脸图像。本发明能使得合成的可见光图像更加贴近真实图像,能够更好地还原人脸图像的面部边缘细节和肤色信息,从而提高合成图像的视觉效果和跨模态人脸识别的性能。
Description
技术领域
本发明属于计算机视觉技术领域,具体涉及一种基于对比学习与StyleGAN2的近红外-可见光人脸图像合成方法。
背景技术
近红外图像传感器由于可以很好地克服自然光的影响、能在各种光照条件不佳以及夜间场景下工作而受到广泛应用。然而在刑侦安防领域,近红外人脸图像通常不能直接用于人脸检索与识别,因为近红外传感器获取的单通道图像缺失了原始图像的自然色彩,对人眼视觉很不友好。与真实的可见光人脸图像相比,近红外人脸图像的人脸识别性能也较差。因此将近红外人脸图像转化为可见光人脸图像,还原人脸图像的色彩信息,有助于进一步提高人脸图像的主观视觉效果和跨模态识别性能,为构建全天候的视频监控系统提供技术支撑。
目前已有的近红外-可见光人脸图像合成技术可分为针对配对数据集的图像转换方法和非配对数据集的图像转换方法。针对配对数据集的图像转换方法包括Pix2pix GAN与Pix2pixHD等方法可以在生成的图像中保留更多细节,在大样本的成对数据集上能够取得十分优异的性能。然而,人脸的近红外-可见光图像对的采集非常困难,因为像素级匹配的近红外-可见光人脸数据集比未配对的数据集成本更高。所以,非配对的图像转换模型更适合于近红外-可见光人脸图像的转换任务。CycleGAN方法是一种流行的非配对的图像转换方法,它可以同步实现图像到图像的双向转换。在此基础上衍生出了很多改进型网络,能够实现近红外图像和可见光图像之间的相互转换。
然而,近红外人脸图像不同于其他的近红外图像,若人脸轮廓以及面部肤色等细节在图像转换的过程中被扭曲将会很大程度地影响合成的人脸图像的视觉效果与图像质量。
发明内容
本发明为了克服现有技术的不足之处,提出了一种基于对比学习与StyleGAN2的近红外-可见光人脸图像合成方法,以期能使得合成的可见光图像更加贴近真实图像,能够更好地还原人脸图像的面部边缘细节和肤色信息,从而提高合成图像的视觉效果和跨模态人脸识别的性能。
本发明为解决技术问题采用如下技术方案:
本发明一种基于对比学习与StyleGAN2的近红外-可见光人脸图像合成方法的特点在于,包括以下步骤:
步骤1、收集成对的近红外-可见光人脸图像并进行统一的人脸检测和归一化的预处理,从而获得数据集图像;
步骤1.1、用光学相机和近红外相机分别采集M个人的可见光与近红外异构人脸图像并构建数据集;
步骤1.2、利用MTCNN人脸检测方法检测所述数据集中的人脸位置并定位人脸关键点,再以人脸位置为中心对图像进行裁剪,得到尺寸为n×n的人脸图像并作为训练集;
将所述训练集中的近红外人脸图像记为近红外域X,可见光人脸图像记为可见光域Y;
步骤2、构建基于对比学习与StyleGAN2的生成网络模型,包括:基于StyleGAN2网络结构的生成器G、判别器D、图像多层特征提取块T;
步骤2.1、基于StyleGAN2网络结构的生成器G,包含:编码器Genc、特征解纠缠、解码器Gdec;其中,编码器Genc由m个样式块依次串联构成,用于实现下采样操作;所述特征解纠缠由m个全连接层依次串联构成;所述解码器Gdec由m个样式块逆向串联构成,用于实现上采样操作;所述样式块包含调制、卷积、解调与实例归一化操作层;
步骤2.1.1、所述近红外域X中任取一张尺寸为n×n的近红外人脸图像x并输入所述编码器Genc中进行映射处理后,得到潜在空间Z中的潜在向量z,z∈Z;
步骤2.1.2、所述潜在向量z进行归一化后,再通过所述特征解纠缠模块映射为潜在空间W中的潜在向量w,w∈W;
步骤2.1.3、所述解码器Gdec对所述潜在向量w进行合成,得到尺寸为n×n的合成的伪可见光人脸图像G(x);
步骤2.2、所述判别器D为PatchGAN结构,并从近红外人脸图像x中遍历固定尺寸的图像块进行真假的判别,从而得到所有判别结果的矩阵并组成判别矩阵,以所述判别矩阵的均值作为对近红外人脸图像的评价;
步骤2.3、所述图像多层特征提取块T是由编码器Genc′和一个两层MLP网络H构成;所述编码器Genc′与生成器G中的编码器Genc的结构相同;
步骤2.3.1、使用所述编码器Genc′提取近红外人脸图像x中S个固定尺寸的图像块的特征,并选择所述编码器Genc′中的前L个样式块所提取到的图像块的特征输入所述两层MLP网络H中,从而由两层MLP网络将所有图像块的特征投影为近红外特征集并输出,其中,zl表示第l个样式块输出的所有图像块的特征所投影的近红外特征;l∈[1,L],L∈[1,m];
步骤2.3.2、从合成的伪可见光人脸图像G(x)中选取位置s上的图像块记为查询样本,并将近红外人脸图像x中相应位置s上的图像块记为查询样本的正样本,其他位置的图像块记为查询样本的负样本;s∈{1,…,S};
根据特征集将查询样本的正样本在第l个样式块中的特征记为/>负样本的特征记为/>S\s表示除相应位置s上的图像块以外其他图像块的位置;
步骤2.3.3、按照步骤2.3.1的过程,得到合成的伪可见光人脸图像G(x)中所有图像块的特征投影后的可见光特征集其中,/>表示第l个样式块输出的所有图像块所投影的可见光人脸特征;l∈[1,L];
步骤3、结合损失函数和优化函数,利用训练集训练生成网络模型;
步骤3.1、对近红外人脸图像x和合成的伪可见光人脸图像G(x)仅裁剪出面部区域,再利用式(1)构建面部边缘增强损失LFEE:
式(1)中,分别为近红外人脸图像x和合成的伪可见光人脸图像G(x)经裁剪后的面部区域所提取的边缘图像;
步骤3.2、利用式(2)构建多层对比损失LMLC:
步骤3.3、利用式(3)构建同一性损失Lidt:
Lidt(G)=||G(y)-y||1 (3)
式(3)中,y表示所述可见光人脸图像中任意一张可见光人脸图像;G(y)表示可见光人脸图像y输入到所述生成器G所输出的图像;
步骤3.4、利用式(4)在生成器G与判别器D之间构建对抗性损失LGAN:
LGAN(G,D,X,Y)=logD(y)+log(1-D(G(x))) (4)
步骤3.5、利用式(5)构建总的损失函数Ltotal:
Ltotal=λFEELFEE+λMLCLMLC+λidtLidt+λGANLGAN (5)
式(5)中,λFEE、λMLC、λidt、λGAN分别为各损失项的权重参数;
步骤3.6、基于所述训练集,使用Adam优化策略对生成网络模型进行训练,直至总的损失函数Ltotal收敛,得到最优生成网络模型;
步骤4、将待测的近红外人脸图像输入到最优生成网络模型,从而输出合成的可见光人脸图像。
与已有技术相比,本发明有益效果体现在:
1、本发明通过构建基于对比学习与StyleGAN2的生成网络模型,以端到端的方式解决近红外-可见光人脸图像的合成问题,减小了网络复杂度,提高了合成速率。
2、本发明构建了基于StyleGAN2结构的生成器并将其与对比学习机制相结合,通过基于StyleGAN2结构的生成器将人脸图像的潜在特征在潜在空间进行解纠缠变换,提取人脸图像更深层次的特征,同时采用对比学习的方式从图像局部细节出发增强了合成图像的质量。
3、本发明设计了新的面部边缘增强损失,利用从输入图像中提取的面部边缘信息进一步强化了合成的可见光人脸图像中的面部细节、提高了合成人脸图像的视觉效果。
附图说明
图1为本发明的近红外-可见光人脸图像合成方法流程图;
图2为本发明的基于对比学习与StyleGAN2的生成网络示意图。
具体实施方式
本实施例中,一种基于对比学习与StyleGAN2的近红外-可见光人脸图像合成方法,参照图1:先收集来自不同人的近红外-可见光人脸图像,并对数据集进行预处理,从而获得训练集图像;引入对比学习机制,构建包含基于StyleGAN2结构的生成器、判别器、图像多层特征提取块在内的生成网络模型;结合适当的损失函数和优化函数,利用训练集图像训练生成网络模型;输入待测的近红外人脸图像对模型进行测试,最终合成相应的可见光人脸图像。
具体地说,是按如下步骤进行:
步骤1、收集成对的近红外-可见光人脸图像并进行统一的人脸检测和归一化的预处理,从而获得数据集图像;
步骤1.1、用光学相机和近红外相机分别采集M个人的可见光与近红外异构人脸图像并构建数据集;
步骤1.2、利用MTCNN人脸检测方法检测数据集中的人脸位置并定位人脸关键点,再以人脸位置为中心对图像进行裁剪,得到尺寸为n×n的人脸图像并作为训练集;
将训练集中的近红外人脸图像记为近红外域X,可见光人脸图像记为可见光域Y;
本实施例中,n=256,训练集图像和合成的可见光人脸图像尺寸均为256*256;由于近红外相机与普通光学相机的光谱不同,可见光人脸图像y通常有R、G、B三种不同的颜色通道,而近红外人脸图像x只有单一的过饱和灰度通道;y∈Y,x∈X;
步骤2、构建基于对比学习与StyleGAN2的生成网络模型,如图2所示,包括:基于StyleGAN2网络结构的生成器G、判别器D、图像多层特征提取块T;
步骤2.1、基于StyleGAN2网络结构的生成器G,包含:编码器Genc、特征解纠缠、解码器Gdec;其中,编码器Genc由m个样式块依次串联构成,用于实现下采样操作;特征解纠缠由m个全连接层依次串联构成;解码器Gdec由m个样式块逆向串联构成,用于实现上采样操作;样式块为StyleGAN2网络中的基本网络结构,包含调制、卷积、解调与实例归一化操作;
步骤2.1.1、近红外域X中任取一张尺寸为n×n的近红外人脸图像x并输入编码器Genc中进行映射处理后,得到潜在空间Z中的潜在向量z,z∈Z;
步骤2.1.2、潜在向量z进行归一化后,再通过特征解纠缠模块映射为潜在空间W中的潜在向量w,w∈W;
步骤2.1.3、解码器Gdec对潜在向量w进行合成,得到尺寸为n×n的合成的伪可见光人脸图像G(x);
步骤2.2、判别器D为PatchGAN结构,并从近红外人脸图像x中遍历固定尺寸的图像块进行真假的判别,从而得到所有判别结果的矩阵并组成判别矩阵,以判别矩阵的均值作为对近红外人脸图像的评价,迫使生成器G最小化合成的伪可见光人脸图像与真实的可见光人脸图像之间的距离;
步骤2.3、图像多层特征提取块T是由编码器Genc′和一个两层MLP网络H构成;编码器Genc′与生成器G中的编码器Genc的结构相同;
步骤2.3.1、使用编码器Genc′提取近红外人脸图像x中S个固定尺寸的图像块的特征,并选择编码器Genc′中的前L个样式块所提取到的图像块的特征输入两层MLP网络H中,从而由两层MLP网络将所有图像块的特征投影为近红外特征集并输出,其中,zl表示第l个样式块输出的所有图像块的特征所投影的近红外特征;l∈[1,L],L∈[1,m];
步骤2.3.2、从合成的伪可见光人脸图像G(x)中选取位置s上的图像块记为查询样本,并将近红外人脸图像x中相应位置s上的图像块记为查询样本的正样本,其他位置的图像块记为查询样本的负样本;s∈{1,…,S};
根据特征集将查询样本的正样本在第l个样式块中的特征记为/>负样本的特征记为/>S\s表示除相应位置s上的图像块以外其他图像块的位置;
步骤2.3.3、按照步骤2.3.1的过程,得到合成的伪可见光人脸图像G(x)中所有图像块的特征投影后的可见光特征集其中,/>表示第l个样式块输出的所有图像块所投影的可见光人脸特征;l∈[1,L];
本实例中,m=8,L=5,S=64,利用对比学习的机制,通过构造正负样本使得合成的伪可见光人脸图像中对应位置的图像块特征更加贴近原始的近红外人脸图像,从而增强合成图像的视觉质量;
步骤3、结合损失函数和优化函数,利用训练集训练生成网络模型;
步骤3.1、对近红外人脸图像x和合成的伪可见光人脸图像G(x)仅裁剪出面部区域,再利用式(1)构建面部边缘增强损失LFEE:
式(1)中,分别为近红外人脸图像x和合成的伪可见光人脸图像G(x)经裁剪后的面部区域所提取的边缘图像;裁剪后的面部区域在近红外与可见光条件下均可以提取到较为完整的边缘信息,以此指导人脸图像的合成,保证在人脸图像合成的过程中面部边缘不被扭曲;
步骤3.2、利用式(2)构建多层对比损失LMLC:
步骤3.3、利用式(3)构建同一性损失Lidt:
Lidt(G)=||G(y)-y||1 (3)
式(3)中,y表示可见光人脸图像中任意一张可见光人脸图像;G(y)表示可见光人脸图像y输入到生成器G所输出的图像;本实施例中,生成器G负责将输入的近红外人脸图像转换成可见光人脸图像;若将可见光人脸图像输入到生成器G中,理想中G对此时的输入图像应该不做任何的更改而输出,这种情况下真实的输出图像与输入图像之间的L1损失即为式(3)中的同一性损失;通过同一性损失可以纠正生成器的色偏,使生成的图像更加贴近真实的可见光图像;
步骤3.4、利用式(4)在生成器G与判别器D之间构建对抗性损失LGAN:
LGAN(G,D,X,Y)=logD(y)+log(1-D(G(x))) (4)
步骤3.5、利用式(5)构建总的损失函数Ltotal:
Ltotal=λFEELFEE+λMLCLMLC+λidtLidt+λGANLGAN (5)
式(5)中,各损失项的权重参数分别设置为λFEE=1、λMLC=2、λidt=1、λGAN=1;
步骤3.6、基于训练集,使用Adam优化策略对生成网络模型进行训练,直至总的损失函数Ltotal收敛,得到最优生成网络模型;
本实施例中,通过面部边缘增强损失保证人脸图像在转换的过程中面部边缘不被扭曲,强化面部细节的保留;通过多层对比损失引入对比学习的机制,使生成图像的整体质量得到了很好的增强;通过同一性损失和对抗性损失,进一步优化生成器G使合成的图像更加贴近真实的可见光图像;
步骤4、将待测的近红外人脸图像输入到最优生成网络模型,从而输出合成的可见光人脸图像。
Claims (1)
1.一种基于对比学习与StyleGAN2的近红外-可见光人脸图像合成方法,其特征在于,包括以下步骤:
步骤1、收集成对的近红外-可见光人脸图像并进行统一的人脸检测和归一化的预处理,从而获得数据集图像;
步骤1.1、用光学相机和近红外相机分别采集M个人的可见光与近红外异构人脸图像并构建数据集;
步骤1.2、利用MTCNN人脸检测方法检测所述数据集中的人脸位置并定位人脸关键点,再以人脸位置为中心对图像进行裁剪,得到尺寸为n×n的人脸图像并作为训练集;
将所述训练集中的近红外人脸图像记为近红外域X,可见光人脸图像记为可见光域Y;
步骤2、构建基于对比学习与StyleGAN2的生成网络模型,包括:基于StyleGAN2网络结构的生成器G、判别器D、图像多层特征提取块T;
步骤2.1、基于StyleGAN2网络结构的生成器G,包含:编码器Genc、特征解纠缠、解码器Gdec;其中,编码器Genc由m个样式块依次串联构成,用于实现下采样操作;所述特征解纠缠由m个全连接层依次串联构成;所述解码器Gdec由m个样式块逆向串联构成,用于实现上采样操作;所述样式块包含调制、卷积、解调与实例归一化操作层;
步骤2.1.1、所述近红外域X中任取一张尺寸为n×n的近红外人脸图像x并输入所述编码器Genc中进行映射处理后,得到潜在空间Z中的潜在向量z,z∈Z;
步骤2.1.2、所述潜在向量z进行归一化后,再通过所述特征解纠缠模块映射为潜在空间W中的潜在向量w,w∈W;
步骤2.1.3、所述解码器Gdec对所述潜在向量w进行合成,得到尺寸为n×n的合成的伪可见光人脸图像G(x);
步骤2.2、所述判别器D为PatchGAN结构,并从近红外人脸图像x中遍历固定尺寸的图像块进行真假的判别,从而得到所有判别结果的矩阵并组成判别矩阵,以所述判别矩阵的均值作为对近红外人脸图像的评价;
步骤2.3、所述图像多层特征提取块T是由编码器Genc′和一个两层MLP网络H构成;所述编码器Genc′与生成器G中的编码器Genc的结构相同;
步骤2.3.1、使用所述编码器Genc′提取近红外人脸图像x中S个固定尺寸的图像块的特征,并选择所述编码器Genc′中的前L个样式块所提取到的图像块的特征输入所述两层MLP网络H中,从而由两层MLP网络将所有图像块的特征投影为近红外特征集并输出,其中,zl表示第l个样式块输出的所有图像块的特征所投影的近红外特征;l∈[1,L],L∈[1,m];
步骤2.3.2、从合成的伪可见光人脸图像G(x)中选取位置s上的图像块记为查询样本,并将近红外人脸图像x中相应位置s上的图像块记为查询样本的正样本,其他位置的图像块记为查询样本的负样本;s∈{1,…,S};
根据特征集将查询样本的正样本在第l个样式块中的特征记为/>负样本的特征记为/>S\s表示除相应位置s上的图像块以外其他图像块的位置;
步骤2.3.3、按照步骤2.3.1的过程,得到合成的伪可见光人脸图像G(x)中所有图像块的特征投影后的可见光特征集其中,/>表示第l个样式块输出的所有图像块所投影的可见光人脸特征;l∈[1,L];
步骤3、结合损失函数和优化函数,利用训练集训练生成网络模型;
步骤3.1、对近红外人脸图像x和合成的伪可见光人脸图像G(x)仅裁剪出面部区域,再利用式(1)构建面部边缘增强损失LFEE:
式(1)中,分别为近红外人脸图像x和合成的伪可见光人脸图像G(x)经裁剪后的面部区域所提取的边缘图像;
步骤3.2、利用式(2)构建多层对比损失LMLC:
步骤3.3、利用式(3)构建同一性损失Lidt:
Lidt(G)=||G(y)-y||1 (3)
式(3)中,y表示所述可见光人脸图像中任意一张可见光人脸图像;G(y)表示可见光人脸图像y输入到所述生成器G所输出的图像;
步骤3.4、利用式(4)在生成器G与判别器D之间构建对抗性损失LGAN:
LGAN(G,D,X,Y)=logD(y)+log(1-D(G(x))) (4)
步骤3.5、利用式(5)构建总的损失函数Ltotal:
Ltotal=λFEELFEE+λMLCLMLC+λidtLidt+λGANLGAN (5)
式(5)中,λFEE、λMLC、λidt、λGAN分别为各损失项的权重参数;
步骤3.6、基于所述训练集,使用Adam优化策略对生成网络模型进行训练,直至总的损失函数Ltotal收敛,得到最优生成网络模型;
步骤4、将待测的近红外人脸图像输入到最优生成网络模型,从而输出合成的可见光人脸图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111324809.6A CN114049289B (zh) | 2021-11-10 | 2021-11-10 | 基于对比学习与StyleGAN2的近红外-可见光人脸图像合成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111324809.6A CN114049289B (zh) | 2021-11-10 | 2021-11-10 | 基于对比学习与StyleGAN2的近红外-可见光人脸图像合成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114049289A CN114049289A (zh) | 2022-02-15 |
CN114049289B true CN114049289B (zh) | 2024-03-05 |
Family
ID=80208176
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111324809.6A Active CN114049289B (zh) | 2021-11-10 | 2021-11-10 | 基于对比学习与StyleGAN2的近红外-可见光人脸图像合成方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114049289B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114862665B (zh) * | 2022-07-05 | 2022-12-02 | 深圳市爱深盈通信息技术有限公司 | 红外人脸图像的生成方法、生成装置和设备终端 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019024636A1 (zh) * | 2017-08-01 | 2019-02-07 | 广州广电运通金融电子股份有限公司 | 身份认证的方法、系统和装置 |
WO2020253127A1 (zh) * | 2019-06-21 | 2020-12-24 | 深圳壹账通智能科技有限公司 | 脸部特征提取模型训练方法、脸部特征提取方法、装置、设备及存储介质 |
WO2021068322A1 (zh) * | 2019-10-10 | 2021-04-15 | 平安科技(深圳)有限公司 | 活体检测模型的训练方法、装置、计算机设备和存储介质 |
CN112818722A (zh) * | 2019-11-15 | 2021-05-18 | 上海大学 | 模块化动态可配置的活体人脸识别系统 |
CN113076884A (zh) * | 2021-04-08 | 2021-07-06 | 华南理工大学 | 一种从近红外光到可见光的跨模态眼睛状态识别方法 |
-
2021
- 2021-11-10 CN CN202111324809.6A patent/CN114049289B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019024636A1 (zh) * | 2017-08-01 | 2019-02-07 | 广州广电运通金融电子股份有限公司 | 身份认证的方法、系统和装置 |
WO2020253127A1 (zh) * | 2019-06-21 | 2020-12-24 | 深圳壹账通智能科技有限公司 | 脸部特征提取模型训练方法、脸部特征提取方法、装置、设备及存储介质 |
WO2021068322A1 (zh) * | 2019-10-10 | 2021-04-15 | 平安科技(深圳)有限公司 | 活体检测模型的训练方法、装置、计算机设备和存储介质 |
CN112818722A (zh) * | 2019-11-15 | 2021-05-18 | 上海大学 | 模块化动态可配置的活体人脸识别系统 |
CN113076884A (zh) * | 2021-04-08 | 2021-07-06 | 华南理工大学 | 一种从近红外光到可见光的跨模态眼睛状态识别方法 |
Non-Patent Citations (3)
Title |
---|
基于双层生成对抗网络的素描人脸合成方法;李凯旋;曹林;杜康宁;;计算机应用与软件;20191212(12);全文 * |
基于轻量网络的近红外光和可见光融合的异质人脸识别;张典;汪海涛;姜瑛;陈星;;小型微型计算机系统;20200409(04);全文 * |
迁移学习与GAN结合的医学图像融合模型;肖儿良;周莹;简献忠;;小型微型计算机系统;20200904(09);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN114049289A (zh) | 2022-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112949565B (zh) | 基于注意力机制的单样本部分遮挡人脸识别方法及系统 | |
CN110348319B (zh) | 一种基于人脸深度信息和边缘图像融合的人脸防伪方法 | |
CN105976809B (zh) | 基于语音和面部表情的双模态情感融合的识别方法及系统 | |
CN104102913B (zh) | 腕部静脉认证系统 | |
CN111145131A (zh) | 一种基于多尺度生成式对抗网络的红外和可见光图像融合方法 | |
CN112733950A (zh) | 一种基于图像融合与目标检测结合的电力设备故障诊断方法 | |
CN113449727A (zh) | 一种基于深度神经网络的伪装目标检测识别方法 | |
CN110826389B (zh) | 基于注意力3d频率卷积神经网络的步态识别方法 | |
CN101430759A (zh) | 优化的人脸识别预处理方法 | |
CN101551853A (zh) | 复杂静态彩色背景下的人耳检测方法 | |
CN109344688A (zh) | 一种基于卷积神经网络的监控视频中人的自动识别方法 | |
CN113283444B (zh) | 一种基于生成对抗网络的异源图像迁移方法 | |
CN112991345B (zh) | 图像真伪检测方法、装置、计算机设备和存储介质 | |
CN113837147A (zh) | 一种基于transformer的假视频检测方法 | |
CN111126240A (zh) | 一种三通道特征融合人脸识别方法 | |
CN112257741A (zh) | 一种基于复数神经网络的生成性对抗虚假图片的检测方法 | |
CN114049289B (zh) | 基于对比学习与StyleGAN2的近红外-可见光人脸图像合成方法 | |
CN114842524B (zh) | 一种基于不规则显著性像素簇的人脸鉴伪方法 | |
Li et al. | Infrared and visible fusion imaging via double-layer fusion denoising neural network | |
CN116383791A (zh) | 一种客户身份认证方法、装置、电子设备及介质 | |
CN117095471B (zh) | 基于多尺度特征的人脸伪造溯源方法 | |
CN107153807A (zh) | 一种二维主成分分析的非贪婪人脸识别方法 | |
CN112488165A (zh) | 一种基于深度学习模型的红外行人识别方法及系统 | |
CN112330562A (zh) | 一种异构遥感图像变换方法及系统 | |
CN115966006A (zh) | 基于深度学习模型的跨年龄式人脸识别系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |