CN114862665A - 红外人脸图像的生成方法、生成装置和设备终端 - Google Patents

红外人脸图像的生成方法、生成装置和设备终端 Download PDF

Info

Publication number
CN114862665A
CN114862665A CN202210782995.6A CN202210782995A CN114862665A CN 114862665 A CN114862665 A CN 114862665A CN 202210782995 A CN202210782995 A CN 202210782995A CN 114862665 A CN114862665 A CN 114862665A
Authority
CN
China
Prior art keywords
loss
batch
images
initial
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210782995.6A
Other languages
English (en)
Other versions
CN114862665B (zh
Inventor
申啸尘
周有喜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Core Computing Integrated Shenzhen Technology Co ltd
Original Assignee
Shenzhen Aishen Yingtong Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Aishen Yingtong Information Technology Co Ltd filed Critical Shenzhen Aishen Yingtong Information Technology Co Ltd
Priority to CN202210782995.6A priority Critical patent/CN114862665B/zh
Publication of CN114862665A publication Critical patent/CN114862665A/zh
Application granted granted Critical
Publication of CN114862665B publication Critical patent/CN114862665B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及红外人脸图像的生成方法、生成装置、设备终端和可读存储介质，该生成方法通过建立预设训练图像数据集，并从中选取第一批次的真实可见光人脸图像输入到红外图像生成网络以生成对应批次的初始红外人脸图像，然后通过计算初始红外人脸图像的内容损失、对抗损失和风格损失，获取对应的第一初始损失函数值，并建立所述红外图像生成网络对应的生成网络损失函数，根据判别损失，获取对应的第二初始损失函数值，并建立所述图像判别网络对应的判别网络损失函数，最终生成红外人脸图像的生成模型。上述生成方法通过采用生成模型对输入的可见光人脸图像进行转换，能够使得该转换过程保持良好的迁移性。

Description

红外人脸图像的生成方法、生成装置和设备终端
技术领域
本申请涉及图像处理领域，具体涉及一种红外人脸图像的生成方法、生成装置、设备终端和可读存储介质。
背景技术
CycleGan是一种实现图像风格转换功能的GAN网络，主要用来完成风格迁移任务。
然而，上述方法在实现针对可见光人脸图像生成红外人脸图像时，不具有良好的迁移性。
发明内容
鉴于此，本申请提供一种红外人脸图像的生成方法，能够使得可见光人脸同相在转换为红外人脸图像时，生成的人脸特征与输入的可见光人脸图像保持一致，使得转换过程具有良好的迁移性。
该生成方法包括：
步骤S110，从预设训练图像数据集中分别选取第一批次的真实可见光人脸图像和第一批次的真实红外人脸图像；
步骤S120，将第一批次的真实可见光人脸图像输入到红外图像生成网络以生成对应批次的初始红外人脸图像；
步骤S130，将第一批次的真实可见光人脸图像和对应批次的初始红外人脸图像分别输入到预设辅助识别网络，以获得对应批次的初始红外人脸图像的内容损失；
步骤S140，将第一批次的真实红外人脸图像和对应批次的初始红外人脸图像分别输入到图像判别网络，以生成判别损失和对抗损失；
步骤S150，从预设训练图像数据集中选取第二批次的真实红外人脸图像；
步骤S160，根据第二批次的真实红外人脸图像和对应批次的初始红外人脸图像计算对应批次的初始红外人脸图像的风格损失；
步骤S170，根据内容损失、对抗损失和风格损失，获取对应的第一初始损失函数值，并建立所述红外图像生成网络对应的生成网络损失函数；
步骤S180，根据判别损失，获取对应的第二初始损失函数值，并建立所述图像判别网络对应的判别网络损失函数；
步骤S190，循环执行步骤S110至S180，以分别对生成网络损失函数和判别网络损失函数进行权重和偏置更新，直至生成网络损失函数和判别网络损失函数各自收敛以建立红外人脸图像的生成模型。
在一个实施例中，步骤170之前还包括：
确定对应批次的初始红外人脸图像中像素亮度大于预设亮度阈值的初始红外人脸图像；
根据大于预设亮度阈值的初始红外人脸图像，计算对应批次的初始红外人脸图像的亮度损失；
根据内容损失、对抗损失和风格损失，获取对应的第一初始损失函数值，并建立所述红外图像生成网络对应的生成网络损失函数的步骤还包括：
根据内容损失、对抗损失、风格损失和亮度损失，获取对应的第一初始损失函数值，并建立所述红外图像生成网络对应的生成网络损失函数。
在一个实施例中，确定对应批次的初始红外人脸图像中像素亮度大于预设亮度阈值的初始红外人脸图像的步骤包括：
将上述对应批次的初始红外人脸图像均转换为对应批次的灰度图像；
计算对应批次的灰度图像中各个灰度图像的平均像素亮度，并与预设亮度阈值进行比较，以确定对应批次的初始红外人脸图像中像素亮度大于预设亮度阈值的初始红外人脸图像。
在一个实施例中，根据大于预设亮度阈值的初始红外人脸图像，计算对应批次的初始红外人脸图像的亮度损失的步骤中对应的计算公式为：
Figure 617040DEST_PATH_IMAGE001
其中，L1表示对应批次的初始红外人脸图像的亮度损失，Vth表示预设亮度阈值，Vi表示对应批次的灰度图像中第i张灰度图像的平均像素亮度，N表示对应批次的灰度图像中的图像总数，N1表示对应批次的灰度图像中灰度图像的平均像素亮度大于预设亮度阈值的图像个数。
在一个实施例中，生成方法还包括：
采用生成模型对输入的可见光人脸图像进行转换，以生成对应的红外人脸图像，其中，预设辅助识别网络采用轻量级人脸识别模型训练得到。
在一个实施例中，预设训练图像数据集采用以下方法进行训练：
分别采用预设人脸关键点模型进行对齐处理，得到对齐处理后的真实可见光人脸图像和真实红外人脸图像；
将对齐处理后的真实可见光人脸图像和真实红外人脸图像分别转换为对应的灰度图像。
在一个实施例中，步骤S160包括：
结合第二批次的真实红外人脸图像和对应批次的初始红外人脸图像，采用格拉姆矩阵计算对应批次的初始红外人脸图像的风格损失。
此外，还提供一种红外人脸图像的生成装置，包括：
第一图像生成单元，用于从预设训练图像数据集中分别选取第一批次的真实可见光人脸图像和第一批次的真实红外人脸图像；
第二图像生成单元，用于将所述第一批次的真实可见光人脸图像输入到红外图像生成网络以生成对应批次的初始红外人脸图像；
内容损失生成单元，用于将所述第一批次的真实可见光人脸图像和所述对应批次的初始红外人脸图像分别输入到预设辅助识别网络，以获得所述对应批次的初始红外人脸图像的内容损失；
判别和对抗损失单元，用于将所述第一批次的真实红外人脸图像和所述对应批次的初始红外人脸图像分别输入到图像判别网络，以生成判别损失和对抗损失；
风格损失生成单元，用于从所述预设训练图像数据集中选取第二批次的真实红外人脸图像，根据所述第二批次的真实红外人脸图像和所述对应批次的初始红外人脸图像计算所述对应批次的初始红外人脸图像的风格损失；
损失函数生成单元，用于根据所述内容损失、所述对抗损失和所述风格损失，获取对应的第一初始损失函数值，并建立所述红外图像生成网络对应的生成网络损失函数，根据所述判别损失，获取对应的第二初始损失函数值，并建立所述图像判别网络对应的判别网络损失函数；
模型生成单元，用于分别对所述生成网络损失函数和所述判别网络损失函数进行权重和偏置更新，直至所述生成网络损失函数和所述判别网络损失函数各自收敛以建立所述红外人脸图像的生成模型。
此外，还提供一种设备终端，设备终端包括处理器和存储器，存储器用于存储计算机程序，处理器运行计算机程序以使设备终端执行上述的生成方法。
此外，还提供一种可读存储介质，可读存储介质存储有计算机程序，计算机程序在被处理器执行时实施上述生成方法。
上述生成方法包括：步骤S110，从预设训练图像数据集中分别选取第一批次的真实可见光人脸图像和第一批次的真实红外人脸图像；步骤S120，将第一批次的真实可见光人脸图像输入到红外图像生成网络以生成对应批次的初始红外人脸图像；步骤S130，将对应批次的初始红外人脸图像和第一批次的真实可见光人脸图像分别输入到预设辅助识别网络，以获得对应批次的初始红外人脸图像的内容损失；步骤S140，将对应批次的初始红外人脸图像和第一批次的真实红外人脸图像分别输入到图像判别网络，以生成判别损失和对抗损失；步骤S150，从预设训练图像数据集中选取第二批次的真实红外人脸图像，根据第二批次的真实红外人脸图像和对应批次的初始红外人脸图像计算对应批次的初始红外人脸图像的风格损失；步骤S160，根据内容损失、对抗损失和风格损失，获取对应的第一初始损失函数值，并建立所述红外图像生成网络对应的生成网络损失函数；步骤S170，根据判别损失，获取对应的第二初始损失函数值，并建立所述图像判别网络对应的判别网络损失函数；步骤S190，循环执行上述步骤S110至步骤S180，以分别对生成网络损失函数和判别网络损失函数进行权重和偏置更新，直至生成网络损失函数和判别网络损失函数各自收敛以建立红外人脸图像的生成模型，即，上述生成方法通过建立预设训练图像数据集，并从其中选取第一批次的真实可见光人脸图像输入到红外图像生成网络以生成对应批次的初始红外人脸图像，然后通过计算初始红外人脸图像的内容损失、对抗损失和风格损失，获取对应的第一初始损失函数值，并建立所述红外图像生成网络对应的生成网络损失函数，根据判别损失，获取对应的第二初始损失函数值，并建立所述图像判别网络对应的判别网络损失函数，循环执行步骤S110至于S180，以生成红外人脸图像的生成模型，使得在对输入的可见光人脸图像进行转换时，能够利用该生成模型生成目标红外人脸图像，由于该生成模型综合考虑了内容损失、对抗损失和风格损失，使得该目标红外人脸图像中的人物特征与输入的可见光人脸图像保持一致，且使得该转换过程具有良好的迁移性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种红外人脸图像的生成方法的流程示意图；
图2是本申请实施例提供的另一种红外人脸图像的生成方法的流程示意图；
图3是本申请实施例提供的确定对应批次的初始红外人脸图像中像素亮度大于预设亮度阈值的初始红外人脸图像的方法流程示意图；
图4是本申请实施例提供的又一种红外人脸图像的生成方法的流程示意图；
图5是本申请实施例提供的预设训练图像数据集的训练方法的流程示意图；
图6是本申请实施例提供的一种红外人脸图像的生成装置的结构框图。
具体实施方式
下面结合附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而非全部实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。在不冲突的情况下，下述各个实施例及其技术特征可以相互组合。
在实际应用场景中，需要将可见光人脸图像转换为红外人脸图像，如图1所示，提供一种红外人脸图像的生成方法，该生成方法包括：
步骤S110，从预设训练图像数据集中分别选取第一批次的真实可见光人脸图像和第一批次的真实红外人脸图像。
其中，预设训练图像数据集包括第一预设数量的真实可见光人脸图像和第二预设数量的真实红外人脸图像和真实红外人脸图像。
步骤S120，将第一批次的真实可见光人脸图像输入到红外图像生成网络以生成对应批次的初始红外人脸图像。
其中，第一批次的真实可见光人脸图像可包含多张真实可见光人脸图像，红外图像生成网络在对输入的第一批次的真实可见光人脸图像进行处理时，通常都是批量进行处理。
步骤S130，将第一批次的真实可见光人脸图像和对应批次的初始红外人脸图像分别输入到预设辅助识别网络，以获得对应批次的初始红外人脸图像的内容损失。
其中，预设辅助识别网络为人脸识别网络，将第一批次的真实可见光人脸图像和对应批次的初始红外人脸图像分别输入到预设辅助识别网络，能够通过预设辅助识别网络推理得到各自的特征图，以判断第一批次的真实可见光人脸图像和对应批次的初始红外人脸图像的内容是否相同，进而得到对应批次的初始红外人脸图像的内容损失。
步骤S140，将第一批次的真实红外人脸图像和对应批次的初始红外人脸图像分别输入到图像判别网络，以生成判别损失和对抗损失。
其中，图像判别网络在对图像打分时，通常而言，对于输入的真实红外图像，置信度越高越好，对于生成的对应批次的初始红外人脸图像，置信度越低越好，通过图像判别网络，可生成对应的判别损失和对抗损失，其中，图像判别网络对于生成的对应批次的初始红外人脸图像打分越高，则对抗损失越低，反之亦然。
步骤S150，从预设训练图像数据集中选取第二批次的真实红外人脸图像。
其中，在从预设训练图像数据集中选取第二批次的真实红外人脸图像时，第二批次与第一批次相比，数量可相同也可不同。
步骤S160，根据第二批次的真实红外人脸图像和对应批次的初始红外人脸图像计算对应批次的初始红外人脸图像的风格损失。
其中，由于在转换的过程中，生成对应批次的初始红外人脸图像与第二批次的真实红外人脸图像相比，风格差异较大，为保持对应批次的初始红外人脸图像与第二批次的真实红外人脸图像的风格相似，需要根据第二批次的真实红外人脸图像和对应批次的初始红外人脸图像计算对应批次的初始红外人脸图像的风格损失。
步骤S170，根据内容损失、对抗损失和风格损失，获取对应的第一初始损失函数值，并建立红外图像生成网络对应的生成网络损失函数。
其中，通过综合考虑上述内容损失、对抗损失和风格损失，以获取对应的第一初始损失函数值，进而能够建立红外图像生成网络所对应的生成网络损失函数，然后进一步通过后续步骤对该生成网络损失函数的参数进行调整。
步骤S180，根据判别损失，获取对应的第二初始损失函数值，并建立图像判别网络对应的判别网络损失函数。
图像判别网络也需要通过建立判别网络损失函数，以对图像判别网络的参数进行优化，根据判别损失以及获取的第二初始损失函数值，可建立图像判别网络对应的判别网络损失函数。
步骤S190，循环执行步骤S110至S180，以分别对生成网络损失函数和判别网络损失函数进行权重和偏置更新，直至生成网络损失函数和判别网络损失函数各自收敛以建立红外人脸图像的生成模型。
其中，在建立红外人脸图像的生成模型的过程中，需要循环执行上述步骤S110至S180的步骤，此时生成网络损失函数和判别网络损失函数各自的参数，例如权重值和偏置值不断进行更新，直至生成网络损失函数和判别网络损失函数各自收敛。上述生成方法通过建立预设训练图像数据集，并从其中选取第一批次的真实可见光人脸图像输入到红外图像生成网络以生成对应批次的初始红外人脸图像，然后通过计算初始红外人脸图像的内容损失、对抗损失和风格损失，获取对应的第一初始损失函数值，并建立红外图像生成网络对应的生成网络损失函数，根据判别损失，获取对应的第二初始损失函数值，并建立图像判别网络对应的判别网络损失函数，循环执行上述步骤，以生成红外人脸图像的生成模型，使得在对输入的可见光人脸图像进行转换时，能够利用该生成模型生成目标红外人脸图像，由于该生成模型综合考虑了内容损失、对抗损失和风格损失，使得该目标红外人脸图像中的人物特征与输入的可见光人脸图像保持一致，且该转换过程具有良好的迁移性。
在一个实施例中，如图2所示，步骤S170之前还包括：
步骤S200，确定对应批次的初始红外人脸图像中像素亮度大于预设亮度阈值的初始红外人脸图像。
步骤S210，根据大于预设亮度阈值的初始红外人脸图像，计算对应批次的初始红外人脸图像的亮度损失。
其中，步骤S170还包括：根据内容损失、对抗损失、风格损失和亮度损失，获取对应的第一初始损失函数值，并建立红外图像生成网络对应的生成网络损失函数。
其中，循环执行上述步骤S 110至S180的过程中，若某些真实可见光图片的亮度较高，则对应批次的初始红外人脸图像则会过曝，导致初始红外人脸图像中的人脸失真或者特征缺失，在每次循环执行步骤S170之前，此时需要通过进一步执行步骤S200至S210，计算对应批次的初始红外人脸图像的亮度损失，然后执行步骤S170，在考虑内容损失、对抗损失和风格损失的基础上，进一步结合亮度损失建立红外图像生成网络对应的生成网络损失函数，并执行步骤S180以及步骤S190。
本实施例中，在执行步骤通过综合考虑对应批次的初始红外人脸图像中的内容损失、对抗损失、风格损失和亮度损失，能够进一步使得该目标红外人脸图像中的人物特征与输入的可见光人脸图像保持一致，且该转换过程具有良好的迁移性。
在一个实施例中，如图3所示，步骤S200包括：
步骤S202，将上述对应批次的初始红外人脸图像均转换为对应批次的灰度图像。
步骤S204，计算对应批次的灰度图像中各个灰度图像的平均像素亮度，并与预设亮度阈值进行比较，以确定对应批次的初始红外人脸图像中像素亮度大于预设亮度阈值的初始红外人脸图像。
其中，在确定对应批次的初始红外人脸图像中像素亮度大于预设亮度阈值的初始红外人脸图像时，通常需要先将对应批次的初始红外人脸图像均转换为对应批次的灰度图像，然后进一步计算对应批次的灰度图像中各个灰度图像的平均像素亮度，并与预设亮度阈值进行比较。
本实施例中，通过将对应批次的初始红外人脸图像均转换为对应批次的灰度图像，能够有效的比较各个图像的亮度，进而确定对应批次的初始红外人脸图像中像素亮度大于预设亮度阈值的初始红外人脸图像。
在一个实施例中，步骤S210中对应的计算公式为：
Figure 215512DEST_PATH_IMAGE002
其中，L1表示对应批次的初始红外人脸图像的亮度损失，Vth表示预设亮度阈值，Vi表示对应批次的灰度图像中第i张灰度图像的平均像素亮度，N表示对应批次的灰度图像中的图像总数，N1表示对应批次的灰度图像中灰度图像的平均像素亮度大于预设亮度阈值的图像个数。
在一个实施例中，如图4所示，上述生成方法还包括：
步骤S220，采用生成模型对输入的可见光人脸图像进行转换，以生成对应的红外人脸图像，其中，预设辅助识别网络采用轻量级人脸识别模型训练得到。
本实施例中，预设辅助识别网络通过采用轻量级人脸识别模型训练得到，例如可采用mobilefacenet，预设训练图像数据集采用真实可见光人脸图像和真实红外人脸图像数据，使得预设辅助识别网络mobilefacenet能够更好的评估生成的对应批次的初始红外人脸图像是否与真实可见光人脸图像具有同样的人脸生物特征。
如图5所示，预设训练图像数据集采用以下方法进行训练：
步骤S230，分别采用预设人脸关键点模型进行对齐处理，得到对齐处理后的真实可见光人脸图像和真实红外人脸图像。
步骤S240，将对齐处理后的真实可见光人脸图像和真实红外人脸图像分别转换为对应的灰度图像。
本实施例中，通过采用预设人脸关键点模型进行对齐处理，得到包含对齐处理后的真实可见光人脸图像和真实红外人脸图像的预设训练图像数据集，能够使得不同的人脸图像关键点更趋于同一位置，从而为后续的人脸特征提取奠定基础。
本实施例中，通过将对齐处理后的真实可见光人脸图像和真实红外人脸图像分别转换为对应的灰度图像，有利于对生成的对应批次的初始红外人脸图像与第一批次的真实可见光人脸图像之间的特征进行比较，以判断红外图像生成网络是否对真实可见光人脸图像进行了有效变换。
在一个实施例中，步骤S170包括：结合第二批次的真实红外人脸图像和对应批次的初始红外人脸图像，采用格拉姆矩阵计算对应批次的初始红外人脸图像的风格损失。
此外，如图6所示，还提供一种红外人脸图像的生成装置300，包括：
第一图像生成单元310，用于从预设训练图像数据集中分别选取第一批次的真实可见光人脸图像和第一批次的真实红外人脸图像；
第二图像生成单元320，用于将第一批次的真实可见光人脸图像输入到红外图像生成网络以生成对应批次的初始红外人脸图像；
内容损失生成单元330，用于将第一批次的真实可见光人脸图像和对应批次的初始红外人脸图像分别输入到预设辅助识别网络，以获得对应批次的初始红外人脸图像的内容损失；
判别和对抗损失单元340，用于将第一批次的真实红外人脸图像和对应批次的初始红外人脸图像分别输入到图像判别网络，以生成判别损失和对抗损失；
风格损失生成单元350，用于从预设训练图像数据集中选取第二批次的真实红外人脸图像，根据第二批次的真实红外人脸图像和对应批次的初始红外人脸图像计算对应批次的初始红外人脸图像的风格损失；
损失函数生成单元360，用于根据内容损失、对抗损失和风格损失，获取对应的第一初始损失函数值，并建立红外图像生成网络对应的生成网络损失函数，根据判别损失，获取对应的第二初始损失函数值，并建立图像判别网络对应的判别网络损失函数；
模型生成单元370，用于分别对生成网络损失函数和判别网络损失函数进行权重和偏置更新，直至生成网络损失函数和判别网络损失函数各自收敛以建立红外人脸图像的生成模型。
此外，还提供一种设备终端，设备终端包括处理器和存储器，存储器用于存储计算机程序，处理器运行计算机程序以使设备终端执行上述的生成方法。
此外，还提供一种可读存储介质，可读存储介质存储有计算机程序，计算机程序在被处理器执行时实施上述生成方法。
上述生成装置300中各个单元的划分仅用于举例说明，在其他实施例中，可将上述生成装置300按照需要划分为不同的单元，以完成上述生成装置的全部或部分功能。关于的上述生成装置300具体限定可以参见上文中对于方法的限定，在此不再赘述。
即，以上仅为本申请的实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，例如各实施例之间技术特征的相互结合，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
另外，对于特性相同或相似的结构元件，本申请可采用相同或者不相同的标号进行标识。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本申请中，“例如”一词是用来表示“用作例子、例证或说明”。本申请中被描述为“例如”的任何一个实施例不一定被解释为比其它实施例更加优选或更加具优势。为了使本领域任何技术人员能够实现和使用本申请，本申请给出了以上描述。在以上描述中，为了解释的目的而列出了各个细节。
应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本申请。在其它实施例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本申请的描述变得晦涩。因此，本申请并非旨在限于所示的实施例，而是与符合本申请所公开的原理和特征的最广范围相一致。

Claims (10)

1.一种红外人脸图像的生成方法，其特征在于，包括：
步骤S110，从预设训练图像数据集中分别选取第一批次的真实可见光人脸图像和第一批次的真实红外人脸图像；
步骤S120，将所述第一批次的真实可见光人脸图像输入到红外图像生成网络以生成对应批次的初始红外人脸图像；
步骤S130，将所述第一批次的真实可见光人脸图像和所述对应批次的初始红外人脸图像分别输入到预设辅助识别网络，以获得所述对应批次的初始红外人脸图像的内容损失；
步骤S140，将所述第一批次的真实红外人脸图像和所述对应批次的初始红外人脸图像分别输入到图像判别网络，以生成判别损失和对抗损失；
步骤S150，从所述预设训练图像数据集中选取第二批次的真实红外人脸图像；
步骤S160，根据所述第二批次的真实红外人脸图像和所述对应批次的初始红外人脸图像计算所述对应批次的初始红外人脸图像的风格损失；
步骤S170，根据所述内容损失、所述对抗损失和所述风格损失，获取对应的第一初始损失函数值，并建立所述红外图像生成网络对应的生成网络损失函数；
步骤S180，根据所述判别损失，获取对应的第二初始损失函数值，并建立所述图像判别网络对应的判别网络损失函数；
步骤S190，循环执行所述步骤S110至S180，以分别对所述生成网络损失函数和所述判别网络损失函数进行权重和偏置更新，直至所述生成网络损失函数和所述判别网络损失函数各自收敛以建立所述红外人脸图像的生成模型。
2.根据权利要求1所述的生成方法，其特征在于，所述步骤S170之前还包括：
确定所述对应批次的初始红外人脸图像中像素亮度大于预设亮度阈值的初始红外人脸图像；
根据所述大于预设亮度阈值的初始红外人脸图像，计算所述对应批次的初始红外人脸图像的亮度损失；
所述根据所述内容损失、所述对抗损失和所述风格损失，获取对应的第一初始损失函数值，并建立所述红外图像生成网络对应的生成网络损失函数的步骤还包括：
根据所述内容损失、所述对抗损失、所述风格损失和所述亮度损失，获取对应的第一初始损失函数值，并建立所述红外图像生成网络对应的生成网络损失函数。
3.根据权利要求2所述的生成方法，其特征在于，所述确定所述对应批次的初始红外人脸图像中像素亮度大于预设亮度阈值的初始红外人脸图像的步骤包括：
将所述对应批次的初始红外人脸图像均转换为对应批次的灰度图像；
计算所述对应批次的灰度图像中各个灰度图像的平均像素亮度，并与所述预设亮度阈值进行比较，以确定所述对应批次的初始红外人脸图像中像素亮度大于预设亮度阈值的初始红外人脸图像。
4.根据权利要求3所述的生成方法，其特征在于，所述根据所述大于预设亮度阈值的初始红外人脸图像，计算所述对应批次的初始红外人脸图像的亮度损失的步骤中对应的计算公式为：
Figure 357292DEST_PATH_IMAGE001
其中，L1表示所述对应批次的初始红外人脸图像的亮度损失，Vth表示预设亮度阈值，Vi表示所述对应批次的灰度图像中第i张灰度图像的平均像素亮度，N表示所述对应批次的灰度图像中的图像总数，N1表示所述对应批次的灰度图像中灰度图像的平均像素亮度大于所述预设亮度阈值的图像个数。
5.根据权利要求1所述的生成方法，其特征在于，所述生成方法还包括：
采用所述生成模型对输入的可见光人脸图像进行转换，以生成对应的红外人脸图像，其中，所述预设辅助识别网络采用轻量级人脸识别模型训练得到。
6.根据权利要求1所述的生成方法，其特征在于，所述预设训练图像数据集采用以下方法进行训练：
将各个真实可见光人脸图像和真实红外人脸图像分别采用预设人脸关键点模型进行对齐处理，得到对齐处理后的真实可见光人脸图像和真实红外人脸图像；
将所述对齐处理后的真实可见光人脸图像和真实红外人脸图像分别转换为对应的灰度图像。
7.根据权利要求1所述的生成方法，其特征在于，所述步骤S160包括：
结合所述第二批次的真实红外人脸图像和所述对应批次的初始红外人脸图像，采用格拉姆矩阵计算所述对应批次的初始红外人脸图像的风格损失。
8.一种红外人脸图像的生成装置，其特征在于，包括：
第一图像生成单元，用于从预设训练图像数据集中分别选取第一批次的真实可见光人脸图像和第一批次的真实红外人脸图像；
第二图像生成单元，用于将所述第一批次的真实可见光人脸图像输入到红外图像生成网络以生成对应批次的初始红外人脸图像；
内容损失生成单元，用于将所述第一批次的真实可见光人脸图像和所述对应批次的初始红外人脸图像分别输入到预设辅助识别网络，以获得所述对应批次的初始红外人脸图像的内容损失；
判别和对抗损失单元，用于将所述第一批次的真实红外人脸图像和所述对应批次的初始红外人脸图像分别输入到图像判别网络，以生成判别损失和对抗损失；
风格损失生成单元，用于从所述预设训练图像数据集中选取第二批次的真实红外人脸图像，根据所述第二批次的真实红外人脸图像和所述对应批次的初始红外人脸图像计算所述对应批次的初始红外人脸图像的风格损失；
损失函数生成单元，用于根据所述内容损失、所述对抗损失和所述风格损失，获取对应的第一初始损失函数值，并建立所述红外图像生成网络对应的生成网络损失函数，根据所述判别损失，获取对应的第二初始损失函数值，并建立所述图像判别网络对应的判别网络损失函数；
模型生成单元，用于分别对所述生成网络损失函数和所述判别网络损失函数进行权重和偏置更新，直至所述生成网络损失函数和所述判别网络损失函数各自收敛以建立所述红外人脸图像的生成模型。
9.一种设备终端，其特征在于，所述设备终端包括处理器和存储器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述设备终端执行权利要求1至7中任一项所述的生成方法。
10.一种可读存储介质，其特征在于，所述可读存储介质存储有计算机程序，所述计算机程序在被处理器执行时实施权利要求1至7中任一项所述的生成方法。
CN202210782995.6A 2022-07-05 2022-07-05 红外人脸图像的生成方法、生成装置和设备终端 Active CN114862665B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210782995.6A CN114862665B (zh) 2022-07-05 2022-07-05 红外人脸图像的生成方法、生成装置和设备终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210782995.6A CN114862665B (zh) 2022-07-05 2022-07-05 红外人脸图像的生成方法、生成装置和设备终端

Publications (2)

Publication Number Publication Date
CN114862665A true CN114862665A (zh) 2022-08-05
CN114862665B CN114862665B (zh) 2022-12-02

Family

ID=82626754

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210782995.6A Active CN114862665B (zh) 2022-07-05 2022-07-05 红外人脸图像的生成方法、生成装置和设备终端

Country Status (1)

Country Link
CN (1) CN114862665B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003023695A1 (en) * 2001-09-13 2003-03-20 Honeywell International Inc. Near-infrared method and system for use in face detection
US20060102843A1 (en) * 2004-11-12 2006-05-18 Bazakos Michael E Infrared and visible fusion face recognition system
US20100208105A1 (en) * 2009-02-17 2010-08-19 Canon Kabushiki Kaisha Image sensing apparatus and image processing method
CN108520220A (zh) * 2018-03-30 2018-09-11 百度在线网络技术（北京）有限公司 模型生成方法和装置
CN109377448A (zh) * 2018-05-20 2019-02-22 北京工业大学 一种基于生成对抗网络的人脸图像修复方法
CN110119685A (zh) * 2019-04-12 2019-08-13 天津大学 一种基于dcgan的红外人脸图像转化方法
WO2020078243A1 (zh) * 2018-10-19 2020-04-23 阿里巴巴集团控股有限公司 一种图像处理和人脸图像识别方法、装置及设备
CN111967291A (zh) * 2019-05-20 2020-11-20 天津科技大学 一种红外人脸图像到可见光人脸图像的转换方法
CN112528949A (zh) * 2020-12-24 2021-03-19 杭州慧芯达科技有限公司 一种基于多波段光的双目人脸识别方法和系统
CN113191495A (zh) * 2021-03-26 2021-07-30 网易（杭州）网络有限公司 超分模型的训练及人脸识别方法、装置、介质及电子设备
CN114049289A (zh) * 2021-11-10 2022-02-15 合肥工业大学 基于对比学习与StyleGAN2的近红外-可见光人脸图像合成方法
CN114067187A (zh) * 2021-11-17 2022-02-18 安徽建筑大学 一种基于对抗生成网络的红外偏振可见光人脸翻译方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003023695A1 (en) * 2001-09-13 2003-03-20 Honeywell International Inc. Near-infrared method and system for use in face detection
US20060102843A1 (en) * 2004-11-12 2006-05-18 Bazakos Michael E Infrared and visible fusion face recognition system
US20100208105A1 (en) * 2009-02-17 2010-08-19 Canon Kabushiki Kaisha Image sensing apparatus and image processing method
CN108520220A (zh) * 2018-03-30 2018-09-11 百度在线网络技术（北京）有限公司 模型生成方法和装置
CN109377448A (zh) * 2018-05-20 2019-02-22 北京工业大学 一种基于生成对抗网络的人脸图像修复方法
WO2020078243A1 (zh) * 2018-10-19 2020-04-23 阿里巴巴集团控股有限公司 一种图像处理和人脸图像识别方法、装置及设备
CN110119685A (zh) * 2019-04-12 2019-08-13 天津大学 一种基于dcgan的红外人脸图像转化方法
CN111967291A (zh) * 2019-05-20 2020-11-20 天津科技大学 一种红外人脸图像到可见光人脸图像的转换方法
CN112528949A (zh) * 2020-12-24 2021-03-19 杭州慧芯达科技有限公司 一种基于多波段光的双目人脸识别方法和系统
CN113191495A (zh) * 2021-03-26 2021-07-30 网易（杭州）网络有限公司 超分模型的训练及人脸识别方法、装置、介质及电子设备
CN114049289A (zh) * 2021-11-10 2022-02-15 合肥工业大学 基于对比学习与StyleGAN2的近红外-可见光人脸图像合成方法
CN114067187A (zh) * 2021-11-17 2022-02-18 安徽建筑大学 一种基于对抗生成网络的红外偏振可见光人脸翻译方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ZHANG K等: "Joint face detection and alignment using multitask cascaded convolutional networks", 《IEEE SIGNAL PROCESSING LETTERS》 *
张典等: "基于轻量网络的近红外光和可见光融合的异质人脸识别", 《小型微型计算机系统》 *
郭静: "混合光照视觉干扰下的可见光图像追踪识别", 《激光杂志》 *

Also Published As

Publication number Publication date
CN114862665B (zh) 2022-12-02

Similar Documents

Publication Publication Date Title
CN110163235B (zh) 图像增强模型的训练、图像增强方法、装置和存储介质
KR102385463B1 (ko) 얼굴 특징 추출 모델 학습 방법, 얼굴 특징 추출 방법, 장치, 디바이스 및 저장 매체
CN113657397B (zh) 循环生成网络模型的训练方法、建立字库的方法和装置
CN110363183A (zh) 基于生成式对抗网络的服务机器人视觉图片隐私保护方法
CN112651389B (zh) 非正视虹膜图像的矫正模型训练、矫正、识别方法及装置
CN113792851B (zh) 字体生成模型训练方法、字库建立方法、装置及设备
CN110288513B (zh) 用于改变人脸属性的方法、装置、设备和存储介质
CN113792850B (zh) 字体生成模型训练方法、字库建立方法、装置及设备
CN108171241B (zh) 基于IFCS/Otsu的IOFR火焰识别方法
CN113449704B (zh) 人脸识别模型训练方法、装置、电子设备及存储介质
CN111553838A (zh) 模型参数的更新方法、装置、设备及存储介质
CN111144566A (zh) 神经网络权重参数的训练方法、特征分类方法及对应装置
CN111382791B (zh) 深度学习任务处理方法、图像识别任务处理方法和装置
CN111582155A (zh) 活体检测方法、装置、计算机设备和存储介质
CN110942067A (zh) 文本识别方法、装置、计算机设备和存储介质
CN116758379B (zh) 一种图像处理方法、装置、设备及存储介质
CN114862665B (zh) 红外人脸图像的生成方法、生成装置和设备终端
CN111368989A (zh) 神经网络模型的训练方法、装置、设备及可读存储介质
US20230104345A1 (en) Image attack detection method and apparatus, and image attack detection model training method and apparatus
CN115795355A (zh) 一种分类模型训练方法、装置及设备
JP2020181402A (ja) 画像処理装置、画像処理方法、およびプログラム
CN113379593B (zh) 一种图像生成方法、系统及相关设备
CN111461207B (zh) 一种图片识别模型训练系统及方法
CN110189272B (zh) 用于处理图像的方法、装置、设备和存储介质
CN114694222B (zh) 图像处理方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230712

Address after: 13C-18, Caihong Building, Caihong Xindu, No. 3002, Caitian South Road, Gangsha Community, Futian Street, Futian District, Shenzhen, Guangdong 518033

Patentee after: Core Computing Integrated (Shenzhen) Technology Co.,Ltd.

Address before: 518000 1001, building G3, TCL International e city, Shuguang community, Xili street, Nanshan District, Shenzhen City, Guangdong Province

Patentee before: Shenzhen Aishen Yingtong Information Technology Co.,Ltd.