CN112258592A - 一种人脸可见光图的生成方法及相关装置 - Google Patents

一种人脸可见光图的生成方法及相关装置 Download PDF

Info

Publication number
CN112258592A
CN112258592A CN202010978666.XA CN202010978666A CN112258592A CN 112258592 A CN112258592 A CN 112258592A CN 202010978666 A CN202010978666 A CN 202010978666A CN 112258592 A CN112258592 A CN 112258592A
Authority
CN
China
Prior art keywords
visible light
map
training
target
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010978666.XA
Other languages
English (en)
Inventor
唐健
潘国峰
陶昆
祝严刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Jieshun Science and Technology Industry Co Ltd
Original Assignee
Shenzhen Jieshun Science and Technology Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Jieshun Science and Technology Industry Co Ltd filed Critical Shenzhen Jieshun Science and Technology Industry Co Ltd
Priority to CN202010978666.XA priority Critical patent/CN112258592A/zh
Publication of CN112258592A publication Critical patent/CN112258592A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种人脸可见光图的生成方法及相关装置，该方法使得在亮度异常的情况下获取到的人脸可见光图，能够更简单的提取关键点信息，使得识别效果提高。本申请实施例方法包括：获取同一人脸在光照异常场景下的红外图与可见光图；根据所述红外图与所述可见光图分别生成红外亮度图与可见光色度图；将所述红外亮度图与所述可见光色度图通过目标生成模型生成目标色度图，使得生成的所述目标色度图包含所述可见光色度图的色度与所述红外亮度图的内容特征；根据所述红外亮度图与所述目标色度图生成目标可见光图。

Description

一种人脸可见光图的生成方法及相关装置
技术领域
本申请实施例涉及数据处理领域，尤其涉及一种人脸可见光图的生成方法及相关装置。
背景技术
随着人们安全意识的提高，人脸识别系统被广泛应用到人们生活中的各个场景，例如考勤、公司出入口、安全监控等。
人脸识别系统进行人脸识别的基本方式是通过现场获取到待识别人脸图，提取待识别人脸图的关键点数据，通过关键点数据将待识别人脸图与人脸图库进行对比。当前主要的人脸识别方式为获取到的待识别人脸图为人脸的可见光图，提取可见光图的关键点数据，通过关键点数据与系统中的人脸可见光图图库进行比对。
然而，在光照异常(逆光、背光或强光)的情况下，获取到人脸的可见光图的成像效果差，人脸识别系统对此类亮度异常的可见光图进行关键点数据的采集非常困难，导致识别效果下降。
发明内容
本申请实施例提供了一种人脸可见光图的生成方法及相关装置，使得人脸戴口罩的图像的获取变得简单。
本申请实施例第一方面提供了一种人脸可见光图的生成方法，包括：
获取同一人脸在光照异常场景下的红外图与可见光图；
根据所述红外图与所述可见光图分别生成红外亮度图与可见光色度图；
将所述红外亮度图与所述可见光色度图通过目标生成模型生成目标色度图，使得生成的所述目标色度图包含所述可见光色度图的色度与所述红外亮度图的内容特征；
根据所述红外亮度图与所述目标色度图生成目标可见光图。
可选地，在所述获取人脸红外图与亮度异常的异常人脸可见光图之前，所述生成方法还包括：
获取初始样本集，所述初始样本集中每一组初始样本包括目标人脸在光照异常场景下的训练红外图和训练可见光图；
根据所述训练红外图和所述训练可见光图分别生成训练红外亮度图和训练可见光色度图；
将所述训练红外亮度图和所述训练可见光色度图标记为一组目标样本以获取目标样本集；
通过对抗网络模型对所述目标样本集训练并更新初始生成模型和初始判别模型，所述对抗网络模型包括所述初始生成模型和所述初始判别模型，所述初始生成模型与所述初始判别模型为基于神经网络所建立的模型；
当所述对抗网络模型训练完成时，确定更新后的初始生成模型为目标生成模型。
可选地，所述通过对抗网络模型对所述目标样本集训练并更新初始生成模型和初始判别模型，包括：
从所述目标样本集中选取一组目标样本；
将所述目标样本中输入初始生成模型；
获取通过所述初始生成模型并根据所述目标样本生成风格迁移图，所述风格迁移图包含有所述训练红外亮度图的内容特征与所述训练可见光色度图的风格特征；
将所述风格迁移图与所述训练可见光色度图输入初始判别模型；
通过所述初始判别模型生成判别数据，所述判别数据用于计算初始生成模型的总损失值；
根据所述风格迁移图与所述训练可见光色度图更新所述初始判别模型的参数；
根据所述风格迁移图、所述训练可见光色度图与所述判别数据计算总损失值；
生成输入次数值，所述输入次数值表示所述真实样本输入所述初始生成模型的次数；
判断所述总损失值是否小于预设值，若否，则根据总损失值更新所述初始生成模型的参数，并将所述生成模型样本重新输入更新参数后的初始生成模型，重新执行总损失值的计算步骤以及判断总损失值是否小于预设值的步骤；
若是，判断所述输入次数值是否等于1，若是，则确认所述对抗网络模型的训练完成。
可选地，在所述判断所述输入次数值是否等于1之后，所述生成方法还包括：
若否，则根据总损失值更新所述初始生成模型的参数，选取另一组目标样本，重新执行总损失值的计算步骤以及判断总损失值是否小于预设值的步骤。
可选地，所述根据根据所述风格迁移图与所述训练可见光色度图更新所述初始判别模型的参数，包括：
对所述风格迁移图与所述训练可见光色度图进行逻辑回归判断；
若判断所述风格迁移图为真时，则使用所述训练可见光色度图更新所述初始判别模型的参数；
若判断所述风格迁移图为假时，则使用所述风格迁移图更新所述初始判别模型的参数。
可选地，所述根据所述风格迁移图、所述训练可见光色度图与所述判别数据计算总损失值，包括：
计算所述风格迁移图与所述训练可见光色度图的第一损失值；
计算第二损失值；
根据所述判别数据计算第三损失值；
根据所述第一损失值、所述第二损失值和所述第三损失值进行权重计算，从而得出总损失值。
可选地，其特征在于，所述根据所述红外图与所述可见光图分别生成红外亮度图与可见光色度图，包括：
将所述可见光图通过色彩空间的色度通道分离成可见光色度图；
将所述红外图通过色彩空间的亮度通道分离成红外亮度图。
可选地，所述根据所述红外亮度图与所述目标色度图生成目标可见光图，包括：
将所述红外亮度图输入所述亮度通道；
将所述目标色度图输入所述色度通道；
将所述亮度通道与所述色度通道融合以生成目标人脸可见光图。
本申请实施例第二方面提供了一种人脸可见光图的生成装置，包括：
第一获取单元，用于获取同一人脸在光照异常场景下的红外图与可见光图；
第一生成单元，用于根据所述红外图与所述可见光图分别生成红外亮度图与可见光色度图；
第二生成单元，用于将所述红外亮度图与所述可见光色度图通过目标生成模型生成目标色度图，使得生成的所述目标色度图包含所述可见光色度图的色度与所述红外亮度图的内容特征；
第三生成单元，用于根据所述红外亮度图与所述目标色度图生成目标可见光图。
可选地，所述装置还包括：
第二获取单元，用于获取初始样本集，所述初始样本集中每一组初始样本包括目标人脸在光照异常场景下的训练红外图和训练可见光图；
第四生成单元，用于根据所述训练红外图和所述训练可见光图分别生成训练红外亮度图和训练可见光色度图；
第三获取单元，用于将所述训练红外亮度图和所述训练可见光色度图标记为一组目标样本以获取目标样本集；
训练单元，用于通过对抗网络模型对所述目标样本集训练并更新初始生成模型和初始判别模型，所述对抗网络模型包括所述初始生成模型和所述初始判别模型，所述初始生成模型与所述初始判别模型为基于神经网络所建立的模型；
第一确定单元，用于当所述对抗网络模型训练完成时，确定更新后的初始生成模型为目标生成模型。
可选地，所述训练单元，包括：
选取模块，用于从所述目标样本集中选取一组目标样本；
第一输入模块，用于将所述目标样本中输入初始生成模型；
第四获取模块，用于获取通过所述初始生成模型并根据所述目标样本生成风格迁移图，所述风格迁移图包含有所述训练红外亮度图的内容特征与所述训练可见光色度图的风格特征；
第二输入模块，用于将所述风格迁移图与所述训练可见光色度图输入初始判别模型；
第五生成模块，用于通过所述初始判别模型生成判别数据，所述判别数据用于计算初始生成模型的总损失值；
第一更新模块，用于根据所述风格迁移图与所述训练可见光色度图更新所述初始判别模型的参数；
计算模块，用于根据所述风格迁移图、所述训练可见光色度图与所述判别数据计算总损失值；
第六生成模块，用于所述输入次数值表示所述真实样本输入所述初始生成模型的次数；
第一判断模块，用于判断所述总损失值是否小于预设值；
第二更新模块，用于当所述第一判断模块确认所述总损失值不小于预设值时，根据总损失值更新所述初始生成模型的参数，并将所述生成模型样本重新输入更新参数后的初始生成模型，重新执行总损失值的计算步骤以及判断总损失值是否小于预设值的步骤；
第二判断模块，用于当所述第一判断模块确认所述总损失值小于预设值时，用于判断所述输入次数值是否等于1；
第二确定模块，用于当所述第二判断模块确认所述输入次数值等于1时，确认所述对抗网络模型的训练完成。
可选地，所述生成装置还包括：
第三更新模块，用于当所述第二判断模块确认所述输入次数值不等于1时，根据总损失值更新所述初始生成模型的参数，选取另一组训练样本，重新执行总损失值的计算步骤以及判断总损失值是否小于预设值的步骤。
可选地，所述第一更新模块，具体为：
对所述风格迁移图与所述训练可见光色度图进行逻辑回归判断；
若判断所述风格迁移图为真时，则使用所述训练可见光色度图更新所述初始判别模型的参数；
若判断所述风格迁移图为假时，则使用所述风格迁移图更新所述初始判别模型的参数。
可选地，所述计算模块，具体为：
计算所述风格迁移图与所述训练可见光色度图的第一损失值；
计算第二损失值；
根据所述判别数据计算第三损失值；
根据所述第一损失值、所述第二损失值和所述第三损失值进行权重计算，从而得出总损失值。
可选地，所述第一生成单元，包括：
第七生成模块，用于将所述可见光图通过色彩空间的色度通道分离成可见光色度图；
第八生成模块，用于将所述红外图通过色彩空间的亮度通道分离成红外亮度图。
可选地，所第三生成单元，包括：
第三输入模块，用于将所述红外亮度图输入所述亮度通道；
第四输入模块，用于将所述目标色度图输入所述色度通道；
合成模块，用于将所述亮度通道与所述色度通道融合以生成目标人脸可见光图。
本申请实施例第三方面提供了一种人脸可见光图的生成装置，包括：
处理器、存储器、输入输出单元、总线；
所述处理器与所述存储器、所述输入输出单元以及所述总线相连；
所述处理器具体执行如下操作：
获取同一人脸在光照异常场景下的红外图与可见光图；
根据所述红外图与所述可见光图分别生成红外亮度图与可见光色度图；
将所述红外亮度图与所述可见光色度图通过目标生成模型生成目标色度图，使得生成的所述目标色度图包含所述可见光色度图的色度与所述红外亮度图的内容特征；
根据所述红外亮度图与所述目标色度图生成目标可见光图。
可选的，所述处理器还用于执行第一方面中的任意可选方案的操作。
一种计算机可读存储介质，所述计算机可读存储介质上保存有程序，所述程序在计算机上执行时执行如前述第一方面以及第一方面的任意可选的方法。
从以上技术方案可以看出，本申请实施例具有以下优点：
本发明中，通过将亮度异常的可见光图与红外图处理成可见光色度图像与红外亮度图像，通过目标生成模型使得红外亮度图像学习可见光色度图的色度信息，生成正常的目标色度图，再将目标色度图与红外亮度图融合成亮度正常的目标人脸可见光图。在亮度异常的条件下，将获取到的异常图像转换为亮度的正常图像，使得在亮度异常的情况下获取到的人脸可见光图，能够更简单的提取关键点信息，使得识别效果提高。
附图说明
图1为本申请实施例中人脸可见光图的生成方法一个实施例流程示意图；
图2-1和图2-2为本申请实施例中人脸可见光图的生成方法另一个实施例流程示意图；
图3为本申请实施例中人脸可见光图的生成装置一个实施例结构示意图；
图4为本申请实施例中人脸可见光图的生成装置另一个实施例结构示意图；
图5为本申请实施例中人脸可见光图的生成装置另一个实施例结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的阐述，显然阐述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应当属于本发明保护范围。
本申请实施例提供了一种人脸可见光图的生成方法及相关装置，该方法使得在亮度异常的情况下获取到的人脸可见光图，能够更简单的提取关键点信息，使得识别效果提高。
在本实施例中，人脸可见光图的生成方法可在系统实现，可以在服务器实现，也可以在终端实现，具体不做明确限定。为方便描述，本申请实施例使用服务器为执行主体举例描述。
请参阅图1，本申请实施例中人脸可见光图的生成方法的一个实施例包括：
101、服务器获取同一人脸在光照异常场景下的红外图与可见光图；
服务器获取同一人脸在光照异常场景下的红外图像与可见光图像，目的是用于将红外图通过图像处理，得到可见光图像的信息，使得生成的最终图像可以被用来进行人脸识别。可选地，本实施例中，只有当获取到的可见光图像为光照异常的图像时(服务器无法识别该图像的关键点特征)，才需要进一步获取红外图像进行风格迁移的操作。
红外图与可见光图是该实施例的重要处理素材，可通过摄像头等拥有拍摄功能的仪器得到，此处不做限定。
红外图为正脸红外图，无论是在光照异常或是光照正常的情况下丢不会对红外图产生影响。
可见光图为正脸可见光图，在光照异常情况下，获取到的可见光图得关键点信息被覆盖，导致仪器无法识别该可见光图像。
光照异常的可见光图可以是逆光环境下的可见光图，也可以是背光环境下的可见光图，还可以是强环境下的可见光图，此处不做限定。
102、服务器根据所述红外图与所述可见光图分别生成红外亮度图与可见光色度图；
服务器将红外图分离成红外色度图，将可见光图分离成可见光色度图。具体的分离方法为把红外图与可见光图的亮度和色度分离，红外图分离出红外色度图与红外亮度图，可见光图会分离出可见光色度图与可见光亮度图。在本实施例中，只需要用到红外亮度图与可见光色度图进行相应的合成，不需要红外色度图与可见光亮度图。
本实施例的亮度，是指灰阶值，是指除去光线图像剩余的部分；色度是指颜色信息，作用是描述影响色彩和饱和度，用于指定像素的颜色。例如：本实施例中的图像主要以照片为主，照片中存在色度图与亮度图，亮度图可理解为为黑白照片，只包含亮度，缺少了颜色信息(色度)，当黑白照片加上色度，即成为彩色照片，光照主要影响彩色照片的色度，而不会影响亮度，所以在强光、背光，逆光情况下，红外图像不会受到影响，红外图像中亮度比色度多。
103、服务器将所述红外亮度图与所述可见光色度图通过目标生成模型生成目标色度图，使得生成的所述目标色度图包含所述可见光色度图的色度与所述红外亮度图的内容特征；
服务器将红外亮度图与可见光色度图输入目标生成模型中，该目标生成模型是一种风格迁移网络模型，已经被训练完成，可以使得红外亮度图学习可见光色度图的光照信息，使得红外亮度图增加色度，生成光照正常的目标色度图。
人脸识别技术一般通过人脸的可见光图来识别，但是当光照情况异常后，如强光状态下，获得的可见光图可识别的关键点被覆盖，导致识别效果变差。使用红外图进行人脸识别，在关键点信息上会缺失，识别效果不如可见光图像。本实施例集合红外图与可见光图的特性，将可见光图分离成可见光亮度图与可见光色度图，取用可见光色度图，让红外亮度图来学习可见光色度图，通过让红外亮度图学习可见光色度图的光照信息，来去除强光、背光和逆光带来的信息量不足的问题，也让关键点信息得以补充。
本申请请实施例中，将红外图以及可见光图输入到目标生成模型，在具体实现时，目标模型可以是基于VGG-19主干网络的神经网络架构的模型，目的在于将可见光色度图的光照信息融入至红外亮度图中，从而生成目标色度图。例如：服务器将红外图分离成红外色度图，将可见光图分离成可见光色度图。将红外亮度图与光照信息丰富的可见光色度图输入目标生成模型中，生成具有可见光色度图的光照信息的目标色度图。
104、服务器根据所述红外亮度图与所述目标色度图生成目标可见光图。
服务器将目标色度图与红外亮度图相融合，即可合成出可使用的彩色照片。经过正常的处理后，目标色度图在内容上是与红外亮度图一致，所以可以通过合成得到彩色图像，该彩色图像可用于人脸识别系统上。
在获取到逆光情况下人脸的可见光图时，会同时获取红外图，通过分离可见光图与红外图得到对应的可见光色度图与红外亮度图，再将可见光色度图与红外亮度图输入训练完成的目标生成模型，目标生成模型生成包含关键点信息与光照信息的目标色度图，最后将目标色度图与红外亮度图融合生成可被使用的人脸的可见光图像。
只需要得到在光照异常状态下的可见光图片与红外图，即可得到人脸目标可见光图像，为仪器在光照异常的状态下也能识别图像，进行人脸识别。该方法使得在亮度异常的情况下获取到的人脸可见光图，能够更简单的提取关键点信息，使得识别效果提高。
上述实施例中人脸可见光图生成方法需要依赖目标生产模型来进行生成具有光照信息的目标色度图，可选的，在执行上述实施例之前，还进行了模型训练从而得到上述的目标生成模型。下面对包含了模型训练过程以及人脸可见光图生成的过程进行说明
请参阅图2，本申请实施例中人脸可见光图的生成方法的另一个实施例包括：
201、服务器获取初始样本集，所述初始样本集中每一组初始样本包括目标人脸在光照异常场景下的训练红外图和训练可见光图；
服务器获取包含多组初始样本的初始样本集，初始样本集包括了训练红外图和训练可见光图。同一人脸同一场景下上述类型的图像，组成一组初始样本。
其中训练红外图和训练可见光图包含在逆光情况下拍摄的，也包含在正常个情况下拍摄的，目的是为了让生成模型得到过多场景下的训练样本，加强鲁棒性。
上述初始样本的提取方式可以有多种，可以是摄像头拍摄，也可以是相机拍摄，还可以是视频中解码得到，此处不做限定。可选地，本实施例中使用摄像头的相机获取初始样本。
获取上述样本目的是为了对模型训练获取训练基础，在获取之后还需要对训练样本中所有的图像进行预处理，调整图像的大小、尺寸等，达到统一的规格才可进行下一步的处理。
202、服务器根据所述训练红外图和所述训练可见光图分别生成训练红外亮度图和训练可见光色度图；
服务器将所述训练红外图和所述训练可见光图进行YUV彩色空间分离，通过YUV彩色看见的色度通道(Y通道)与亮度通道(UV通道)将所述训练红外图和所述训练可见光图分离，得到训练红外亮度图、训练红外色度图、训练可见光色度图，训练可见光亮度图。
可选地，本实施例中，需要将红外图像进行色彩空间转换(即将红外图转换成可见光图)，需要将红外图像和可见光图像分别转换成亮度Y和UV通道分离的表示空间(即进行Y通道与UV通道的分离)，将红外图像的Y通道学习可见光图像的UV通道，即学习对应可见光图像的色度信息。
本实施例中，需要的训练的样本有训练红外亮度图和训练可见光色度图，只需提取出这两种类型的图像。
203、将所述训练红外亮度图和所述训练可见光色度图标记为一组目标样本以获取目标样本集；
本实施例中，需要的训练的样本有训练红外亮度图、训练可见光色度图，只需提取出这两个类型的图像。
服务器将对应的训练红外亮度图、训练可见光色度图设置成一组目标样本，所有的目标样本就成为了目标样本集。
204、服务器从所述目标样本集中选取一组目标样本；
服务器选取一组目标样本，该目标样本需要投入对抗网络模型中进行训练，直到目标样本训练结束才会放入已训练样本堆中。
205、服务器将所述目标样本中输入初始生成模型；
服务器将训练红外亮度图和训练可见光色度图输入初始生成模型，初始生成模型就会让训练红外亮度图学习训练可见光色度图的色度信息。
本实施例中，初始生成模型采用全卷积网络为基础，是一种类似沙漏形状的全卷积神经网络模型，网络中间部分采用残差网络结构单元，使得网络的收敛速度更加趋于稳定；该初始生成模型的集中卷积层后面连接着BatchNorm层和Relu激活层。
可选地，本实施例中，初始生成模型由一般卷积层、残差网络单元、反卷积组成，且引入了BatchNorm层和ReLu层。初始生成模型目的是为了将训练红外亮度图与训练可见光色度图进行风格迁移。本实施例通过上述结构，使得训练红外亮度图可以更好的学习到训练可见光色度图的亮度特征。
一般卷积层的目的就是提取网络特征；残差网络单元的目的是防止网络加深进而出现梯度消失问题；反卷积的目的特征解码，输出特征变大。在图像语义分割任务中，通过反卷积将特征转换为可视化输出特征；本实施例的视觉任务是将可将光图像转换成可见光图像，与图像语义分割任务类似。BatchNorm为网络标准归一化层，对特征进行归一化处理；ReLu层为网络激活层，使得特征层之间非线性激活。
206、服务器获取通过所述初始生成模型并根据所述目标样本生成风格迁移图，所述风格迁移图包含有所述训练红外亮度图的内容特征与所述训练可见光色度图的风格特征；
初始生成模型在输入了训练红外亮度图与训练可见光色度图后，生成风格迁移图。
初始生成模型会根据目标样本(训练红外亮度图与训练可见光色度图)，生成第一代的中间图像(风格迁移图像)，在训练过程中，中间图像是网络损失对比的依据，训练过程的收敛会通过中间图像体现出来。
每一代的风格迁移图会通过模型的运用达到更新模型的作用，进而产生下一代风格迁移图。
207、服务器将所述风格迁移图与所述训练可见光色度图输入初始判别模型；
服务器将生成图像与真实图像(所述风格迁移图与所述训练可见光色度图)输入初始判别模型，初始判别网络判断生成无需是否为真(逻辑回归判断)，根据判断结果产生相应的操作。
本实施例中，判别网络由resnet18网络结构组成。
初始生成网络模型与初始判别网络模型组成对抗模型，初始生成模型需要让生成的风格迁移图接近真实照片，才能达到被使用的级别，但初始判别网络需要判断生成的风格迁移图为假，以此使得生成模型不断更新参数，继续训练样本，两者组成的对抗网络模型使得生成模型的参数逐渐完整。
208、服务器通过所述初始判别模型生成判别数据，所述判别数据用于计算初始生成模型的总损失值；
服务器将输入的风格迁移图与训练可见光色度图进行判别并生成判别数据，判别数据作为初始生成模型更新参数的一环，是主要的参数。该判别数据包括根据风格迁移图生成的数据与根据训练可见光色度图生成的数据以及初始判别网络根据两者生成的判别值。
209、服务器对所述风格迁移图与所述训练可见光色度图进行逻辑回归判断；
判别网络会为生成的风格迁移图生成一个该列表值，该概率值指风格迁移图为真实图片的概率，当概率达到百分之五十时，判别网络无法确认该生成图片的真假，普遍以百分之五十作为预设值。
在服务器判断该概率值是否大于预设值后，从而作出预设的更新判断。本实施例中，若判断所述风格迁移图像为真时，执行步骤210，若判断所述风格迁移图像为假时，执行步骤211。
210、若判断所述风格迁移图为真时，服务器使用所述训练可见光色度图更新所述初始判别模型的参数；
当服务器判断所述风格迁移图像为真时，即判别网络判断错误，使用真实图像(训练可见光色度图)更新初始判别模型，以使得初始判别网络拥有更高的判别效果来区别生成图像与真实图像。
211、若判断所述风格迁移图为假时，服务器使用所述风格迁移图更新所述初始判别模型的参数；
当服务器判断所述风格迁移图像为假时，即判别网络判断正确，使用生成图像(风格迁移图)更新初始判别模型，以使得初始判别网络拥有更低的判别效果来区别生成图像于真实图像。
212、服务器计算所述风格迁移图与所述训练可见光色度图的第一损失值；
服务器计算风格迁移图与所述训练可见光色度图的损失值。本实施例中，逐像素计算均方风格迁移图与所述训练可见光色度图误差损失。
213、服务器计算第二损失值；
服务器根据风格迁移图计算全变分损失值(第二损失值)。
可选地，本实施例中，为了提升对抗网络模型的综合性能，选取了具有代表性的损失函数，且添加了全变分模型，引入带阶次的Total Variation(TV)损失函数。此处连续域的全变分就变成了如下公式(1)定义：
Figure BDA0002686711590000141
该公式采用TV全变分去噪模型作为损失值，其目的是为了去除红外图像的噪声信息，使得模型对噪声具有一定的鲁棒性。
TV是常用的一种正则项，在色彩信息复原过程中，图像上的一点点噪声就可能会对复原的结果产生非常大的影响。在最优化问题的模型中添加一些正则项来保持图像的光滑性；在极端情况下，抓拍的照片往往存在一定的噪声。
I为像素值，i,j为像素的该公式(Rvβ)可描述为每一个像素(Ii,j)和横向下一个像素(Ii,j+1)的差的平方，加上纵向下一个像素(Ii+1,j)的差的平方；然后开β/2次根。β可以控制图像的清晰度。β>1,图像更加平滑，β设置成3，测试效果较好。本实施例中，此处将β设置为3。
考虑本实施例解决逆光或强光条件下可见光成像较差的问题，且在光照异常的条件下，红外图和可见光图均存在一定的噪声，引入该模型作为损失函数，使得最终的模型对噪声具有一定的适应性，即对噪声鲁棒性提升。
214、服务器根据所述判别数据计算第三损失值；
服务器计算判别数据计算出对抗损失值(第三损失值)，对抗损失值为通过判别网络生成的数据计算得出的损失值。
215、服务器根据所述第一损失值、所述第二损失值和所述第三损失值进行权重计算，从而得出总损失值；
最终的总损失函数定义如公式(2)下：
L＝λcreLcre+λadvLadv+λtvLTV (2)
其中Lcre为像素级语义损失，采用多残差网络结构的形式来提取更精确的像素级信息，λcre为像素级语义损失对应的权重；Ladv为对抗损失，通过该损失能够较好地学习红外场景与到可见光场景的空间转换分布，λadv为对抗损失权重；LTV为全变分去噪损失，能够较清晰地学习底层特征，避免模糊效应的产生，λtv为全变分去噪损失权重。
216、服务器生成输入次数值，所述输入次数值表示所述训练红外亮度图输入所述初始生成模型的次数；
服务器生成一个输入次数值，输入次数值代表的是当前所进行训练的目标样本，重复输入初始生成模型训练的次数，每一组目标样本训练完，重新选取下一组目标样本后，这时的生成输入次数就会重置。
217、服务器判断所述总损失值是否小于预设值；若否，则执行步骤218；若是则执行步骤219；
服务器判断总损失值是否达到了预设值，即预设的目标期望。在实际的训练过程中，此步骤是作为初始生成模型基于目前的样本是否收敛的判断，如果目标样本的训练使得初始生成模型收敛(总损失值小于预设值)，证明这组目标样本的训练可以结束，进而进行下一步骤。如果初始模型未收敛(总损失值大于或等于预设值)，说明这份目标样本还需要进行再一次的训练(重新输入初始生成模型，重新训练)。
218、当所述总损失值不小于预设值，服务器根据总损失值更新所述初始生成模型的参数，并将所述生成模型样本重新输入更新参数后的初始生成模型，重新执行总损失值的计算步骤以及判断总损失值是否小于预设值的步骤；
如果初始生成模型未收敛(总损失值大于或等于预设值)，则需要根据总损失值更新初始生成模型的参数，下一步执行步骤205，重新输入当前训练的目标样本，重复训练过程。
219、当所述总损失值小于预设值，服务器判断所述输入次数值是否等于1；若是，则执行步骤220；若否，则执行步骤221；
服务器通过训练的目标样本对应的输入次数值来判断是否结束训练，当存在一组目标样本首次输入初始生成模型后(输入次数值对于1)，总损失值就小于预设值(初始模型达到收敛)，即确定训练过程收敛，并结束训练，得到训练完成的对抗网络模型。
220、当所述输入次数值等于1时，服务器确认所述对抗网络模型的训练完成；
服务器确认当前目标样本首次输入初始生成模型后(输入次数值对于1)，总损失值就小于预设值(初始模型达到收敛)，确认所述对抗网络模型的训练完成，跳出循环。
221、当所述输入次数值不等于1时，服务器根据总损失值更新所述初始生成模型的参数，选取另一组目标样本，重新执行总损失值的计算步骤以及判断总损失值是否小于预设值的步骤；
当输入次数值是不等于1，即为没有达到预期的训练目标，服务器需要更新初始模型的参数，重新选取一组目标样本，并重新执行总损失值的计算步骤以及判断总损失值是否小于预设值的步骤。
222、当所述对抗网络模型训练完成时，服务器确定所述初始生成模型为目标生成模型；
服务器确认所述对抗网络模型训练完成之后，即可将初始生成模型确定为目标生成模型，作为目标可见光图的制作模型。
223、服务器获取同一人脸在光照异常场景下的红外图与可见光图；
本实施例中的步骤224与前述实施例中步骤101类似，此处不再赘述。
224、将所述可见光图通过色彩空间的色度通道分离成可见光色度图；
服务器将可见光图分离成可见光色度图与可见光亮度图。在本实施例中，只需要用到可见光色度图，不需要可见光亮度图。
225、服务器将所述红外图通过色彩空间的亮度通道分离成红外亮度图；
服务器将红外图分离成红外色度图与红外亮度图。在本实施例中，只需要用到红外亮度图，不需要红外色度图。
226、服务器将所述红外亮度图与所述可见光色度图通过目标生成模型生成目标色度图，使得生成的所述目标色度图包含所述可见光色度图的色度与所述红外亮度图的内容特征；
本实施例中的步骤227与前述实施例中步骤103类似，此处不再赘述。
227、服务器将所述红外亮度图输入所述亮度通道；
服务器将红外亮度图输入所述亮度通道，为了与目标色度图融合成可使用的人脸可见光图像。
228、服务器将所述目标色度图输入所述色度通道；
服务器将目标色度输入所述色度通道，为了与红外亮度图融合成可使用的人脸可见光图像。
229、服务器将所述亮度通道与所述色度通道融合以生成目标人脸可见光图。
服务器将亮度通道与色度通道融合，使得目标色度图与红外亮度图可以融合成目标人脸可见光图，该目标人脸可见光图具有与真实可见光图相似的关键点特征，可以被使用。
在获取到逆光情况下人脸的可见光图时，会同时获取红外图，通过分离可见光图与红外图得到对应的可见光色度图与红外亮度图，再将可见光色度图与红外亮度图输入训练完成的目标生成模型，目标生成模型生成包含关键点信息与光照信息的目标色度图，最后将目标色度图与红外亮度图融合生成可被使用的人脸的可见光图像。
只需要得到在光照异常状态下的可见光图片与红外图，即可得到人脸目标可见光图像，为仪器在光照异常的状态下也能识别图像，进行人脸识别。该方法使得在亮度异常的情况下获取到的人脸可见光图，能够更简单的提取关键点信息，使得识别效果提高。
其次，若是通过提前训练初始生成模型，在实际的生成目标人脸可见光图的过程中，只需要向目标生成模型输红外亮度图与可见光色度图即可快速生成目标人脸可见光图，而不是通过初始生成网络模型来生成。使用目标生成模型会更快得到目标人脸可见光图。
上面对本申请实施例中的人脸可见光图的生成方法进行了描述，下面将结合附图对本申请实施例中的人脸可见光图的生成装置进行详细描述：
请参阅图3，本申请实施例中人脸可见光图的生成装置一个实施例包括：
第一获取单元301，用于获取同一人脸在光照异常场景下的红外图与可见光图；
第一生成单元302，用于根据所述红外图与所述可见光图分别生成红外亮度图与可见光色度图；
第二生成单元303，用于将所述红外亮度图与所述可见光色度图通过目标生成模型生成目标色度图，使得生成的所述目标色度图包含所述可见光色度图的色度与所述红外亮度图的内容特征；
第三生成单元304，用于根据所述红外亮度图与所述目标色度图生成目标可见光图。
本实施例中，人脸可见光图的生成装置的各单元功能与前述图1所示实施例中的步骤对应，此处不再赘述。
第一获取单元301获取到获取同一人脸在光照异常场景下的红外图与可见光图后，需要处理红外图与可见光图。第一生成单元302将红外图与可见光图分别生成红外亮度图与可见光色度图。第三生成单元304将红外亮度图与可见光色度图输入训练完成的目标生成网络中，并且得到目标色度图。第三生成单元304将红外亮度图与目标色度图融合成为目标人脸可见光图。
请参阅图4，本申请实施例中人脸可见光图的生成装置另一个实施例包括：
第二获取单元401，用于获取初始样本集，所述初始样本集中每一组初始样本包括目标人脸在光照异常场景下的训练红外图和训练可见光图；
第四生成单元402，用于根据所述训练红外图和所述训练可见光图分别生成训练红外亮度图和训练可见光色度图；
第三获取单元403，用于将所述训练红外亮度图和所述训练可见光色度图标记为一组目标样本以获取目标样本集；
训练单元404，用于通过对抗网络模型对所述目标样本集训练并更新初始生成模型和初始判别模型，所述对抗网络模型包括所述初始生成模型和所述初始判别模型，所述初始生成模型与所述初始判别模型为基于神经网络所建立的模型；
本实施例中，训练单元404包括选取模块4041、第一输入模块4042、第四获取模块4043、第二输入模块4044、第五生成模块4045、第一更新模块4046、计算模块4047、第六生成模块4048、第一判断模块4049、第二更新模块40410、第二判断模块40411、第二确定模块40412、第二更新模块40413。
选取模块4041，用于从所述目标样本集中选取一组目标样本；
第一输入模块4042，用于将所述目标样本中输入初始生成模型；
第四获取模块4043，用于获取通过所述初始生成模型并根据所述目标样本生成风格迁移图，所述风格迁移图包含有所述训练红外亮度图的内容特征与所述训练可见光色度图的风格特征；
第二输入模块4044，用于将所述风格迁移图与所述训练可见光色度图输入初始判别模型；
第五生成模块4045，用于通过所述初始判别模型生成判别数据，所述判别数据用于计算初始生成模型的总损失值；
第一更新模块4046，用于根据所述风格迁移图与所述训练可见光色度图更新所述初始判别模型的参数；
本实施例中，第一更新模块4046具体为：
对所述风格迁移图与所述训练可见光色度图进行逻辑回归判断；
若判断所述风格迁移图为真时，则使用所述训练可见光色度图更新所述初始判别模型的参数；
若判断所述风格迁移图为假时，则使用所述风格迁移图更新所述初始判别模型的参数。
计算模块4047，用于根据所述训练可见光色度图、所述风格特征图与所述判别数据计算总损失值；
本实施例中，计算模块4047具体为：
计算所述风格迁移图与所述训练可见光色度图的第一损失值；
计算第二损失值；
根据所述判别数据计算第三损失值；
根据所述第一损失值、所述第二损失值和所述第三损失值进行权重计算，从而得出总损失值。
第六生成模块4048，用于生成输入次数值，所述输入次数值表示所述训练红外亮度图输入所述初始生成模型的次数；
第一判断模块4049，用于判断所述总损失值是否小于预设值；
第二更新模块40410，用于当所述第一判断模块4049确认所述总损失值不小于预设值时，根据总损失值更新所述初始生成模型的参数，并将所述生成模型样本重新输入更新参数后的初始生成模型，重新执行总损失值的计算步骤以及判断总损失值是否小于预设值的步骤；
第二判断模块40411，用于当所述第一判断模块4049确认所述总损失值小于预设值时，用于判断所述输入次数值是否等于1；
第二确定模块40412，用于当所述第二判断模块40411确认所述输入次数值等于1时，确认所述对抗网络模型的训练完成；
第二更新模块40413，用于当所述第二判断模块40411确认所述输入次数值不等于1时，根据总损失值更新所述初始生成模型的参数，选取另一组训练样本，重新执行总损失值的计算步骤以及判断总损失值是否小于预设值的步骤；
第一确定单元405，用于当所述对抗网络模型训练完成时，确定所述初始生成模型为目标生成模型；
第一获取单元406，用于获取同一人脸在光照异常场景下的红外图与可见光图；
第一生成单元407，用于根据所述红外图与所述可见光图分别生成红外亮度图与可见光色度图；
本实施例中，第一生成单元407包括第六生成模块4071、第七生成模块4072。
第七生成模块4071，用于将所述可见光图通过色彩空间的色度通道分离成可见光色度图；
第八生成模块4072，用于将所述红外图通过色彩空间的亮度通道分离成红外亮度图；
第二生成单元408，用于将所述红外亮度图与所述可见光色度图通过目标生成模型生成目标色度图，使得生成的所述目标色度图包含所述可见光色度图的色度与所述红外亮度图的内容特征；
第三生成单元409，用于根据所述红外亮度图与所述目标色度图生成目标可见光图；
本实施例中，第三生成单元409包括第一输入模块4091、第二输入模块4092、合成模块4093。
第一输入模块4091，用于将所述红外亮度图输入所述亮度通道；
第二输入模块4092，用于将所述目标色度图输入所述色度通道；
合成模块4093，用于将所述亮度通道与所述色度通道融合以生成目标人脸可见光图。
下面对本申请实施例中的服务器进行详细描述，请参阅图5，本申请实施例中生成装置另一实施例包括：
处理器501、存储器502、输入输出单元503、总线504；
处理器501与存储器502、输入输出单元503以及总线504相连；
处理器501具体执行如下操作：
获取同一人脸在光照异常场景下的红外图与可见光图；
根据所述红外图与所述可见光图分别生成红外亮度图与可见光色度图；
将所述红外亮度图与所述可见光色度图通过目标生成模型生成目标色度图，使得生成的所述目标色度图包含所述可见光色度图的色度与所述红外亮度图的内容特征；
根据所述红外亮度图与所述目标色度图生成目标可见光图。
本实施例中，处理器501的功能与前述图1至图2所示实施例中的步骤对应，此处不做赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，read-onlymemory)、随机存取存储器(RAM，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种人脸可见光图的生成方法，其特征在于，包括：
获取同一人脸在光照异常场景下的红外图与可见光图；
根据所述红外图与所述可见光图分别生成红外亮度图与可见光色度图；
将所述红外亮度图与所述可见光色度图通过目标生成模型生成目标色度图，使得生成的所述目标色度图包含所述可见光色度图的色度与所述红外亮度图的内容特征；
根据所述红外亮度图与所述目标色度图生成目标可见光图。
2.根据权利要求1所述的生成方法，其特征在于，在所述获取人脸红外图与亮度异常的异常人脸可见光图之前，所述生成方法还包括：
获取初始样本集，所述初始样本集中每一组初始样本包括目标人脸在光照异常场景下的训练红外图和训练可见光图；
根据所述训练红外图和所述训练可见光图分别生成训练红外亮度图和训练可见光色度图；
将所述训练红外亮度图和所述训练可见光色度图标记为一组目标样本以获取目标样本集；
通过对抗网络模型对所述目标样本集训练并更新初始生成模型和初始判别模型，所述对抗网络模型包括所述初始生成模型和所述初始判别模型，所述初始生成模型与所述初始判别模型为基于神经网络所建立的模型；
当所述对抗网络模型训练完成时，确定更新后的初始生成模型为目标生成模型。
3.根据权利要求2所述的生成方法，其特征在于，所述通过对抗网络模型对所述目标样本集训练并更新初始生成模型和初始判别模型，包括：
从所述目标样本集中选取一组目标样本；
将所述目标样本中输入初始生成模型；
获取通过所述初始生成模型并根据所述目标样本生成风格迁移图，所述风格迁移图包含有所述训练红外亮度图的内容特征与所述训练可见光色度图的风格特征；
将所述风格迁移图与所述训练可见光色度图输入初始判别模型；
通过所述初始判别模型生成判别数据，所述判别数据用于计算初始生成模型的总损失值；
根据所述风格迁移图与所述训练可见光色度图更新所述初始判别模型的参数；
根据所述风格迁移图、所述训练可见光色度图与所述判别数据计算总损失值；
生成输入次数值，所述输入次数值表示所述真实样本输入所述初始生成模型的次数；
判断所述总损失值是否小于预设值，若否，则根据总损失值更新所述初始生成模型的参数，并将所述生成模型样本重新输入更新参数后的初始生成模型，重新执行总损失值的计算步骤以及判断总损失值是否小于预设值的步骤；
若是，判断所述输入次数值是否等于1，若是，则确认所述对抗网络模型的训练完成。
4.根据权利要求3所述的生成方法，其特征在于，在所述判断所述输入次数值是否等于1之后，所述生成方法还包括：
若否，则根据总损失值更新所述初始生成模型的参数，选取另一组目标样本，重新执行总损失值的计算步骤以及判断总损失值是否小于预设值的步骤。
5.根据权利要求3所述的生成方法，其特征在于，所述根据根据所述风格迁移图与所述训练可见光色度图更新所述初始判别模型的参数，包括：
对所述风格迁移图与所述训练可见光色度图进行逻辑回归判断；
若判断所述风格迁移图为真时，则使用所述训练可见光色度图更新所述初始判别模型的参数；
若判断所述风格迁移图为假时，则使用所述风格迁移图更新所述初始判别模型的参数。
6.根据权利要求3所述的生成方法，其特征在于，所述根据所述风格迁移图、所述训练可见光色度图与所述判别数据计算总损失值，包括：
计算所述风格迁移图与所述训练可见光色度图的第一损失值；
计算第二损失值；
根据所述判别数据计算第三损失值；
根据所述第一损失值、所述第二损失值和所述第三损失值进行权重计算，从而得出总损失值。
7.根据权利要求1至6中所述的任一项所述的生成方法，其特征在于，所述根据所述红外图与所述可见光图分别生成红外亮度图与可见光色度图，包括：
将所述可见光图通过色彩空间的色度通道分离成可见光色度图；
将所述红外图通过色彩空间的亮度通道分离成红外亮度图。
8.根据权利要求7所述的生成方法，其特征在于，所述根据所述红外亮度图与所述目标色度图生成目标可见光图，包括：
将所述红外亮度图输入所述亮度通道；
将所述目标色度图输入所述色度通道；
将所述亮度通道与所述色度通道融合以生成目标人脸可见光图。
9.一种人脸可见光图的生成装置，其特征在于，包括：
第一获取单元，用于获取同一人脸在光照异常场景下的红外图与可见光图；
第一生成单元，用于根据所述红外图与所述可见光图分别生成红外亮度图与可见光色度图；
第二生成单元，用于将所述红外亮度图与所述可见光色度图通过目标生成模型生成目标色度图，使得生成的所述目标色度图包含所述可见光色度图的色度与所述红外亮度图的内容特征；
第三生成单元，用于根据所述红外亮度图与所述目标色度图生成目标可见光图。
10.根据权利要求9中所述的装置，其特征在于，所述装置还包括：
第二获取单元，用于获取初始样本集，所述初始样本集中每一组初始样本包括目标人脸在光照异常场景下的训练红外图和训练可见光图；
第四生成单元，用于根据所述训练红外图和所述训练可见光图分别生成训练红外亮度图和训练可见光色度图；
第三获取单元，用于将所述训练红外亮度图和所述训练可见光色度图标记为一组目标样本以获取目标样本集；
训练单元，用于通过对抗网络模型对所述目标样本集训练并更新初始生成模型和初始判别模型，所述对抗网络模型包括所述初始生成模型和所述初始判别模型，所述初始生成模型与所述初始判别模型为基于神经网络所建立的模型；
第一确定单元，用于当所述对抗网络模型训练完成时，确定更新后的初始生成模型为目标生成模型。
CN202010978666.XA 2020-09-17 2020-09-17 一种人脸可见光图的生成方法及相关装置 Pending CN112258592A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010978666.XA CN112258592A (zh) 2020-09-17 2020-09-17 一种人脸可见光图的生成方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010978666.XA CN112258592A (zh) 2020-09-17 2020-09-17 一种人脸可见光图的生成方法及相关装置

Publications (1)

Publication Number Publication Date
CN112258592A true CN112258592A (zh) 2021-01-22

Family

ID=74232460

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010978666.XA Pending CN112258592A (zh) 2020-09-17 2020-09-17 一种人脸可见光图的生成方法及相关装置

Country Status (1)

Country Link
CN (1) CN112258592A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113112580A (zh) * 2021-04-20 2021-07-13 北京字跳网络技术有限公司 一种虚拟形象的生成方法、装置、设备及介质
CN113674230A (zh) * 2021-08-10 2021-11-19 深圳市捷顺科技实业股份有限公司 一种室内逆光人脸关键点的检测方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622589A (zh) * 2012-03-13 2012-08-01 辉路科技（北京）有限公司 一种基于gpu的多光谱人脸检测方法
CN108416326A (zh) * 2018-03-27 2018-08-17 百度在线网络技术（北京）有限公司 人脸识别方法和装置
CN108520220A (zh) * 2018-03-30 2018-09-11 百度在线网络技术（北京）有限公司 模型生成方法和装置
CN108921100A (zh) * 2018-07-04 2018-11-30 武汉高德智感科技有限公司 一种基于可见光图像与红外图像融合的人脸识别方法及系统
CN110557527A (zh) * 2018-06-04 2019-12-10 杭州海康威视数字技术股份有限公司 一种摄像机及抓拍图片融合方法
CN111507930A (zh) * 2020-06-18 2020-08-07 杭州海康威视数字技术股份有限公司 图像融合方法、装置、存储介质和计算机设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622589A (zh) * 2012-03-13 2012-08-01 辉路科技（北京）有限公司 一种基于gpu的多光谱人脸检测方法
CN108416326A (zh) * 2018-03-27 2018-08-17 百度在线网络技术（北京）有限公司 人脸识别方法和装置
CN108520220A (zh) * 2018-03-30 2018-09-11 百度在线网络技术（北京）有限公司 模型生成方法和装置
CN110557527A (zh) * 2018-06-04 2019-12-10 杭州海康威视数字技术股份有限公司 一种摄像机及抓拍图片融合方法
CN108921100A (zh) * 2018-07-04 2018-11-30 武汉高德智感科技有限公司 一种基于可见光图像与红外图像融合的人脸识别方法及系统
CN111507930A (zh) * 2020-06-18 2020-08-07 杭州海康威视数字技术股份有限公司 图像融合方法、装置、存储介质和计算机设备

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
DIEGO A. SOCOLINSKY ET.AL: "Face recognition with visible and thermal infrared imagery", 《FACE RECOGNITION WITH VISIBLE AND THERMAL INFRARED IMAGERY》, vol. 91, no. 02, 31 August 2003 (2003-08-31) *
REZA SHOJA GHIASS ET.AL: "Infrared face recognition: A comprehensive review of methodologies and databases", 《PATTERN RECOGNITION》, vol. 47, no. 09, 30 September 2014 (2014-09-30) *
夏晗: "基于深度学习的红外和可见光图像融合方法研究", 《中国优秀硕士学位论文全文数据库》, no. 02, 15 February 2022 (2022-02-15) *
梁正发: "视觉感知增强关键技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 02, 15 February 2020 (2020-02-15) *
胡麟苗等: "基于内容特征提取的短波红外-可见光人脸识别", 《光学精密工程 》, vol. 29, no. 01, 15 January 2021 (2021-01-15) *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113112580A (zh) * 2021-04-20 2021-07-13 北京字跳网络技术有限公司 一种虚拟形象的生成方法、装置、设备及介质
US12002160B2 (en) 2021-04-20 2024-06-04 Beijing Zitiao Network Technology Co., Ltd. Avatar generation method, apparatus and device, and medium
CN113674230A (zh) * 2021-08-10 2021-11-19 深圳市捷顺科技实业股份有限公司 一种室内逆光人脸关键点的检测方法及装置
CN113674230B (zh) * 2021-08-10 2023-12-19 深圳市捷顺科技实业股份有限公司 一种室内逆光人脸关键点的检测方法及装置

Similar Documents

Publication Publication Date Title
CN110163810B (zh) 一种图像处理方法、装置以及终端
CN101350883B (zh) 自动白平衡校正值计算装置、方法以及摄像装置
CN110889312B (zh) 活体检测方法和装置、电子设备、计算机可读存储介质
CN108389224B (zh) 图像处理方法及装置、电子设备和存储介质
CN112818732B (zh) 一种图像处理方法、装置、计算机设备和存储介质
CN113792827B (zh) 目标对象识别方法、电子设备和计算机可读存储介质
CN112258592A (zh) 一种人脸可见光图的生成方法及相关装置
US20230059499A1 (en) Image processing system, image processing method, and non-transitory computer readable medium
CN112836625A (zh) 人脸活体检测方法、装置、电子设备
CN115330623A (zh) 一种基于生成对抗网络的图像去雾模型的构建方法和系统
CN113553954A (zh) 行为识别模型的训练方法及装置、设备、介质和程序产品
CN112633221A (zh) 一种人脸方向的检测方法及相关装置
CN112949453A (zh) 烟火检测模型的训练方法、烟火检测方法及设备
CN115171199A (zh) 图像处理方法、装置及计算机设备、存储介质
CN111428730B (zh) 弱监督细粒度物体分类方法
CN113450297A (zh) 红外图像和可见光图像的融合模型构建方法及系统
CN114677722A (zh) 一种融合多尺度特征的多监督人脸活体检测方法
CN114359626A (zh) 基于条件生成对抗网络的可见光-热红外显著目标检测方法
CN112633103A (zh) 图像处理方法、装置和电子设备
CN116258653B (zh) 一种基于深度学习的微光图像增强方法和系统
JP2009038737A (ja) 画像処理装置
JP3962517B2 (ja) 顔面検出方法及びその装置、コンピュータ可読媒体
CN113674230B (zh) 一种室内逆光人脸关键点的检测方法及装置
CN110930343A (zh) 基于sr-mdcnn的遥感图像融合方法
CN114449362B (zh) 视频封面的选取方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination