CN110738153B - 异质人脸图像转换方法、装置、电子设备及存储介质 - Google Patents

异质人脸图像转换方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN110738153B
CN110738153B CN201910944165.7A CN201910944165A CN110738153B CN 110738153 B CN110738153 B CN 110738153B CN 201910944165 A CN201910944165 A CN 201910944165A CN 110738153 B CN110738153 B CN 110738153B
Authority
CN
China
Prior art keywords
face image
image
style
preset
feature vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910944165.7A
Other languages
English (en)
Other versions
CN110738153A (zh
Inventor
姚栖
彭菲
黄磊
张健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hanwang Technology Co Ltd
Original Assignee
Hanwang Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hanwang Technology Co Ltd filed Critical Hanwang Technology Co Ltd
Priority to CN201910944165.7A priority Critical patent/CN110738153B/zh
Publication of CN110738153A publication Critical patent/CN110738153A/zh
Application granted granted Critical
Publication of CN110738153B publication Critical patent/CN110738153B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种异质人脸图像转换装置，属于图像处理技术领域，有助于缓解转换得到的图像的失真现象，提升转换得到的图像质量。本申请公开的异质人脸图像转换装置，包括由第一生成器和第一判别器构成的GAN网络、与所述第一判别器的输出连接的第二生成器，以及，转换判断模块和第二判别器，通过对GAN网络转换得到的输入图像的异质图像进行逆运算，并确定逆运算还原得到的图像与输入图像之间的差异，从而判断出是否能够正确还原输入图像，若能够正确还原输入图像，则说明生成的异质图像为高质量图，可以使用生成的异质图像，从而避免了由于GAN网络生成能力太强，导致生成结果失真，图像质量不可控的问题。

Description

异质人脸图像转换方法、装置、电子设备及存储介质
技术领域
本申请涉及图像处理技术领域，特别是涉及一种异质人脸图像转换方法、装置、电子设备及计算机可读存储介质。
背景技术
人脸识别技术是基于一定光照条件下采集的人脸图像，进行人脸识别，因此，光照对于人脸识别技术来说是一个重要的影响因素。实际环境中不同的光照条件使得人脸识别模型的鲁棒性很低。为了避免光照对于人脸识别技术的影响，通常采用近红外图像作为人脸识别模型的输入，但是在现实生活中，获取到的人脸图像大多是可见光人脸图像，因此就带来了异质人脸识别问题。所谓异质人脸图像，其实就是不同方式、不同来源获得的不同质量的人脸图像。例如，将可见光人脸图像转换为红外光人脸图像，然后基于转换得到的红外光人脸图像进行人脸识别。
现有技术中有基于GAN网络进行异质人脸图像转换的方法，发明人经过多次对现有技术进行测试发现，现有技术中基于GAN网络进行异质人脸图像转换的方法至少存在以下缺陷：GAN网络生成能力太强，会产生图像失真问题，使生成的图像并非是我们预先期望的图像，比如我们期望得到的是女士红外光人脸图像，但是生成的图像却是男士红外光人脸图像，存在失真的现象。
可见，现有技术中的异质人脸图像转换的方法仍需要改进。
发明内容
本申请提供一种异质人脸图像转换装置，有助于缓解转换得到的图像的失真现象，提升转换得到的图像质量。
为了解决上述问题，第一方面，本申请实施例提供了一种异质人脸图像转换装置，包括：由第一生成器和第一判别器构成的GAN网络、与所述第一判别器的输出连接的第二生成器，以及，转换判断模块和第二判别器，其中，
所述第一生成器，用于将输入的第一人脸图像转换成第二人脸图像，所述第二人脸图像和所述第一人脸图像为不同风格的图像；
所述第一判别器，用于识别所述第一生成器生成的所述第二人脸图像是否保留了所述第一人脸图像的预设内容特征；
所述第二生成器，用于在确定所述第二人脸图像保留了所述第一人脸图像的预设内容特征的情况下，将所述第二人脸图像转换成第三人脸图像；
所述转换判断模块，用于计算所述第一人脸图像和所述第三人脸图像之间的差异，并在所述差异满足预设差异条件时，确定所述第一生成器生成的所述第二人脸图像有效；
所述第二判别器，用于在确定所述第一生成器生成的所述第二人脸图像有效的情况下，识别所述第二人脸图像的风格特征与所述预设风格的图像的风格特征是否一致，并在识别所述风格特征一致的情况下确定所述第二人脸图像为所述第一人脸图像的异质图像。
可选的，所述装置还包括：
滤波模块，用于在确定所述第二人脸图像保留了所述第一人脸图像的预设内容特征的情况下，对所述第二人脸图像进行滤波处理；
所述第二生成器，用于将滤波处理后的所述第二人脸图像转换成第三人脸图像。
可选的，所述第二人脸图像转换成第三人脸图像执行的运算为所述第一人脸图像转换成第二人脸图像的逆运算。
可选的，所述第一生成器进一步包括：
编码子模块，用于通过对所述第一人脸图像进行卷积运算和池化处理，将所述第一人脸图像压缩成预设维度的特征向量；
对等注册特征转换子模块，用于基于所述预设维度的特征向量进行图像风格重构，确定重构后的特征向量；
译码子模块，用于对所述重构后的特征向量进行反卷积运算，生成所述第二人脸图像。
可选的，所述基于所述预设维度的特征向量进行图像风格重构，确定重构后的特征向量的步骤，包括：
通过深层神经网络对所述预设维度的特征向量进行处理，确定所述第一人脸图像中的内容特征向量；
基于所述内容特征向量和所述预设风格的图像的风格特征向量进行图像风格重构，确定重构后的特征向量。
可选的，所述第一人脸图像为可见光人脸图像，所述预设风格的图像为红外光图像；或者，所述第一人脸图像为红外光人脸图像，所述预设风格的图像为可见光图像。
第二方面，本申请实施例提供了一种异质人脸图像转换方法，应用于本申请实施例中所述的异质人脸图像转换装置，所述方法包括：
将输入的第一人脸图像转换成第二人脸图像，所述第二人脸图像和所述第一人脸图像为不同风格的图像；
识别所述第二人脸图像是否保留了所述第一人脸图像的预设内容特征；
在确定所述第二人脸图像保留了所述第一人脸图像的预设内容特征的情况下，将所述第二人脸图像转换成第三人脸图像；
计算所述第一人脸图像和所述第三人脸图像之间的差异，并在所述差异满足预设差异条件时，确定所述第二人脸图像有效；
在确定所述第二人脸图像有效的情况下，识别所述第二人脸图像的风格特征与所述预设风格的图像的风格特征是否一致，并在识别所述风格特征一致的情况下确定所述第二人脸图像为所述第一人脸图像的异质图像。
可选的，所述将所述第二人脸图像转换成第三人脸图像的步骤之前，还包括：
对所述第二人脸图像进行滤波处理；
所述将所述第二人脸图像转换成第三人脸图像的步骤，进一步包括：
将滤波处理后的所述第二人脸图像转换成第三人脸图像。
可选的，所述第二人脸图像转换成第三人脸图像执行的运算为所述第一人脸图像转换成第二人脸图像的逆运算。
可选的，所述将输入的第一人脸图像转换成第二人脸图像，所述第二人脸图像和所述第一人脸图像为不同风格的图像的步骤，包括：
通过对所述第一人脸图像进行卷积运算和池化处理，将所述第一人脸图像压缩成预设维度的特征向量；
基于所述预设维度的特征向量进行图像风格重构，确定重构后的特征向量；
对所述重构后的特征向量进行反卷积运算，生成所述第二人脸图像。
可选的，所述基于所述预设维度的特征向量进行图像风格重构，确定重构后的特征向量的步骤，包括：
通过深层神经网络对所述预设维度的特征向量进行处理，确定所述第一人脸图像中的内容特征向量；
基于所述内容特征向量和所述预设风格的图像的风格特征向量进行图像风格重构，确定重构后的特征向量。
可选的，所述第一人脸图像为可见光人脸图像，所述预设风格的图像为红外光图像；或者，所述第一人脸图像为红外光人脸图像，所述预设风格的图像为可见光图像。
第三方面，本申请实施例还公开了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本申请实施例所述的异质人脸图像转换方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时本申请实施例公开的异质人脸图像转换方法的步骤。
本申请实施例公开的异质人脸图像转换装置，包括由第一生成器和第一判别器构成的GAN网络、与所述第一判别器的输出连接的第二生成器，以及，转换判断模块和第二判别器，其中，所述第一生成器，用于将输入的第一人脸图像转换成第二人脸图像，所述第二人脸图像和所述第一人脸图像为不同风格的图像；所述第一判别器，用于识别所述第一生成器生成的所述第二人脸图像是否保留了所述第一人脸图像的预设内容特征；所述第二生成器，用于在确定所述第二人脸图像保留了所述第一人脸图像的预设内容特征的情况下，将所述第二人脸图像转换成第三人脸图像，所述第二人脸图像转换成第三人脸图像执行的运算为所述第一人脸图像转换成第二人脸图像的逆运算；所述转换判断模块，用于计算所述第一人脸图像和所述第三人脸图像之间的差异，并在所述差异满足预设差异条件时，确定所述第一生成器生成的所述第二人脸图像有效；所述第二判别器，用于在确定所述第一生成器生成的所述第二人脸图像有效的情况下，识别所述第二人脸图像的风格特征与所述预设风格的图像的风格特征是否一致，并在识别所述风格特征一致的情况下确定所述第二人脸图像为所述第一人脸图像的异质图像。
本申请实施例公开的上述异质人脸图像转换装置，通过对GAN网络转换得到的输入图像的异质图像进行逆运算，并确定逆运算还原得到的图像与输入图像之间的均方误差，从而判断出是否能够正确还原输入图像，若能够正确还原输入图像，则说明生成的异质图像为高质量图，从而避免了由于GAN网络生成能力太强，导致生成结果失真，图像质量不可控的问题。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例一的异质人脸图像转换装置结构示意图；
图2是本申请实施例一的异质人脸图像转换装置中一个模块的结构示意图；
图3是本申请实施例二异质人脸图像转换装置结构示意图；
图4是本申请实施例三的异质人脸图像转换方法流程图；
图5是本申请实施例四的异质人脸图像转换方法流程图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
实施例一
本申请实施例公开的一种异质人脸图像转换装置，如图1所示，所述装置包括：由第一生成器10和第一判别器11构成的GAN网络、与所述第一判别器11的输出连接的第二生成器12，以及，转换判断模块13和第二判别器14。下面，结合图1分别介绍各模块的具体实施方式。
所述第一生成器10，用于将输入的第一人脸图像转换成第二人脸图像，所述第二人脸图像和所述第一人脸图像为不同风格的图像；所述第二人脸图像为预设风格的图像。
本申请实施例中所述的异质图像是指通过不同方式或不同来源获得的人脸图像。例如，用户的可见光人脸图像和红外光人脸图像互为异质图像；对某一场景图像在白天拍摄的图像和在夜间拍摄的图像互为异质图像。本申请实施例中，所述第一人脸图像为可见光人脸图像，所述预设风格的图像为红外光图像；或者，所述第一人脸图像为红外光人脸图像，所述预设风格的图像为可见光图像。
本实施例中，为了便于读者理解发明的技术方案，以所述第一人脸图像为可见光人脸图像、所述预设风格为红外光图像风格，则所述第二人脸图像为红外光人脸图像举例说明图像的转换装置。在本申请的另一些实施例中，所述第一人脸图像还可以为红外光图像，相应的，所述预设风格为可见光图像风格，则所述第二人脸图像为可见光人脸图像。
本申请的一些实施例中，所述第一生成器10通过对输入的第一人脸图像进行运算处理，将所述第一人脸图像转换成与所述第一人脸图像风格不同的第二人脸图像，即所述第一人脸图像的异质图像。例如，所述第一生成器10通过对输入的可见光人脸图像进行卷积运算，提取其中的风格特征和内容特征；然后，对所述风格特征进行转换，得到红外光图像风格的风格特征；最后，根据转换得到的红外光图像风格的风格特征和提取的内容特征进行图像重构，得到第二人脸图像。则重构得到的第二人脸图像为红外光人脸图像。
本申请的另一些实施例中，还可以采用其他方式对第一人脸图像的内容特征和风格特征进行提取，并根据风格特征之间的差异进行风格转换。本申请实施例不再一一例举。
本申请的一些实施例中，所述内容特征是指表达图像包含的语义的特征，例如人脸图像中，人脸的轮廓的特点，五官的大小和位置等属于内容特征。通俗理解，人脸图像中的内容特征指人的样子。
本申请的一些实施例中，风格特征是指图像类别方面的特征，尤其是指不同光源带来的特征差异，比如红外光图像中图像的颜色分布，分辨率，光源波长等特征。
所述第一判别器11，用于识别所述第一生成器10生成的所述第二人脸图像是否保留了所述第一人脸图像的预设内容特征。
本申请实施例中的第一生成器10可以采用GAN网络中的生成模型，所述第一判别器11可以采用GAN网络中的判别模型。
为了便于理解，对GAN网络进行简单介绍。GAN网络(GAN,Generative AdversarialNetworks，生成式对抗网络)是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。GAN网络框架中至少包括两个模型：生成模型和判别模型，生成模型和判别模型通过互相博弈学习，提升生成模型的输出质量。以通过GAN网络生成图像举例，GAN网络框架中包括生成模型G和判别模型D,生成模型G是一个生成图片的网络，它接收一个随机的噪声z，通过这个噪声生成图片，记做G(z)；判别模型D是一个判别网络，判别一张图片是不是“真实的”。它的输入参数是x，x代表一张图片，输出D(x)代表x为真实图片的概率，如果为1，就代表100％是真实的图片，而输出为0，就代表不可能是真实的图片。在训练过程中，生成模型G的目标就是尽量生成真实的图片去欺骗判别模型D。而判别模型D的目标就是尽量把生成模型G生成的图片和真实的图片分别开来。这样，生成模型G和判别模型D构成了一个动态的“博弈过程”。模型训练的最终结果是，得到了一个生成模型G，它可以用来生成图片。
本申请实施例中的所述第一判别器11通过识别所述第一生成器10生成的所述第二人脸图像是否保留了所述第一人脸图像的预设内容特征(如人脸的轮廓的特点、五官位置)，确定所述第一生成器10生成的所述第二人脸图像是否可以作为所述第一人脸图像的真实异质图像。
本申请的一些实施例中所述第一判别器11通过对所述第一人脸图像中的内容特征与所述第一生成器10生成的所述第二人脸图像的内容特征进行比较，确定所述第二人脸图像中保留了所述第一人脸图像中的预设内容特征。当所述第二人脸图像中保留了所述第一人脸图像中的预设内容特征，则所述第一判别器11将识别所述第二人脸图像为所述第一人脸图像的真实异质图像。
当所述第二人脸图像中没有保留所述第一人脸图像中的预设内容特征，则所述第一判别器11将识别所述第二人脸图像不是所述第一人脸图像的真实异质图像。在后续应用过程中，如果所述第一判别器11识别出所述第二人脸图像不是所述第一人脸图像的真实异质图像，则放弃使用所述第二人脸图像，不再对所述第二人脸图像进行后续的判断处理。例如，当第一人脸图像P1为可见光人脸图像时，如果所述第一判别器11识别所述第一生成器10生成的红外光人脸图像P2中保留了第一人脸图像P1中的人脸轮廓、五官位置特征，则识别红外光人脸图像P2为“真”，即认为红外光人脸图像P2为第一人脸图像P1的异质人脸图像。
所述第二生成器12，用于在确定所述第二人脸图像保留了所述第一人脸图像的预设内容特征的情况下，将所述第二人脸图像转换成第三人脸图像。其中，所述第二人脸图像转换成第三人脸图像执行的运算为所述第一人脸图像转换成第二人脸图像的逆运算。
在所述第一判别器11将识别所述第二人脸图像为所述第一人脸图像的真实异质图像的情况下，即所述第一判别器11识别所述第二人脸图像为“真”的情况下，所述第二生成器12将所述第二人脸图像转换成第三人脸图像。例如，当所述第一判别器11识别所述第一生成器10生成的红外光人脸图像P2为可见光人脸图像P1的异质人脸图像时，所述第二生成器12通过对红外光人脸图像P2进行指定图像运算，将红外光人脸图像P2转换成可见光人脸图像P3。其中，所述指定图像运算为所述第一生成器10将可见光人脸图像P1转换成红外光人脸图像P2时执行的图像运算的逆运算。
所述转换判断模块13，用于计算所述第一人脸图像和所述第三人脸图像之间的差异，并在所述差异满足预设差异条件时，确定所述第一生成器10生成的所述第二人脸图像有效。
例如，本申请的一些实施例中通过计算可见光人脸图像P3和可见光人脸图像P1之间的差异，确定所述第一生成器10生成的红外光人脸图像P2是否保存了原始可见光人脸图像P1中的预设内容特征，这些预设内容特征将直接影响后续基于生成的红外光人脸图像P2进行人脸识别等应用的准确度和可靠性。本申请的一些实施例中，可以通过计算所述第一人脸图像和所述第三人脸图像之间的均方误差确定可见光人脸图像P3是否还原了可见光人脸图像P1。如果可见光人脸图像P3还原了可见光人脸图像P1，说明红外光人脸图像P2中保留了可见光人脸图像P1的内容特征，即红外光人脸图像P2是有效的，可以进行后续的判断处理。
所述第二判别器14，用于在确定所述第一生成器10生成的所述第二人脸图像有效的情况下，识别所述第二人脸图像的风格特征与所述预设风格的图像的风格特征是否一致，并在识别所述风格特征一致的情况下确定所述第二人脸图像为所述第一人脸图像的异质图像。
例如，在确定所述第一生成器10生成的红外光人脸图像P2有效的情况下，所述第二判别器14进一步计算预设风格图库中的红外光图像风格的风格图像P4和红外光人脸图像P2(即所述第一生成器10生成的所述第二人脸图像)的风格特征的相似度，并在风格特征的相似度满足预设相似度条件的情况下确定红外光人脸图像P2和风格图像P4的风格一致，则确定红外光人脸图像P2(即所述第一生成器10生成的所述第二人脸图像)为可见光人脸图像P1(即所述第一人脸图像)的异质图像。
本申请实施例公开的异质人脸图像转换装置，包括由第一生成器和第一判别器构成的GAN网络、与所述第一判别器的输出连接的第二生成器，以及，转换判断模块和第二判别器，其中，所述第一生成器，用于将输入的第一人脸图像转换成第二人脸图像，所述第二人脸图像和所述第一人脸图像为不同风格的图像；所述第一判别器，用于识别所述第一生成器生成的所述第二人脸图像是否保留了所述第一人脸图像的预设内容特征；所述第二生成器，用于在确定所述第二人脸图像保留了所述第一人脸图像的预设内容特征的情况下，将所述第二人脸图像转换成第三人脸图像，所述第二人脸图像转换成第三人脸图像执行的运算为所述第一人脸图像转换成第二人脸图像的逆运算；所述转换判断模块，用于计算所述第一人脸图像和所述第三人脸图像之间的差异，并在所述差异满足预设差异条件时，确定所述第一生成器生成的所述第二人脸图像有效；所述第二判别器，用于在确定所述第一生成器生成的所述第二人脸图像有效的情况下，识别所述第二人脸图像的风格特征与所述预设风格的图像的风格特征是否一致，并在识别所述风格特征一致的情况下确定所述第二人脸图像为所述第一人脸图像的异质图像。本申请实施例公开的上述异质人脸图像转换装置，通过对GAN网络转换得到的输入图像的异质图像进行逆运算，并确定逆运算还原得到的图像与输入图像之间的均方误差，从而判断出是否能够正确还原输入图像，若能够正确还原输入图像，则说明生成的异质图像为高质量图，从而避免了由于GAN网络生成能力太强，导致生成结果失真，图像质量不可控的问题。
实施例二
基于实施例一，本申请另一实施例中公开了一种优选的异质人脸图像转换装置，如图2所示，所述装置还包括：滤波模块15。所述滤波模块15设置在第一生成器10和第二生成器12之间。
所述滤波模块15，用于在确定所述第二人脸图像保留了所述第一人脸图像的预设内容特征的情况下，对所述第二人脸图像进行滤波处理。
发明人通过对现有技术中的GAN网络进行图像转换的方法进行研究后发现，在进行图像转换的过程中，输入图像中的某些特征被网络转换成了肉眼看不到的低振幅高频信号，这样，在后续基于转换得到的图像进行各种应用(如人脸识别)的过程中，就会出现识别不准确的问题。因此，本申请的一些实施例中，对于第一生成器10生成的第二人脸图像进一步执行滤波处理，以协助判断第一生成器10在生成第二人脸图像的过程中，是否将输入图像中的某些特征转换成了肉眼看不到的低振幅高频信号。本申请的一些实施例中，可以通过低频滤波函数对第一生成器10生成的第二人脸图像(如实施例一中的红外光人脸图像P2)进行滤波处理，本实施例中，将经过所述滤波模块15进行滤波处理后得到图像记为红外光人脸图像P5。
相应的，所述第二生成器12，用于将滤波处理后的所述第二人脸图像转换成第三人脸图像，所述将滤波处理后的第二人脸图像转换成第三人脸图像执行的运算为所述第一人脸图像转换成第二人脸图像的逆运算。例如，所述第二生成器12将滤波处理后得到的红外光人脸图像P5转换成可见光人脸图像P3。将红外光人脸图像P5转换成可见光人脸图像P3的运算与将红外光人脸图像P2转换成可见光人脸图像P3的运算相同，均为可见光人脸图像P1转换成红外光人脸图像P2的逆运算。
之后，转换判断模块13计算可见光人脸图像P1和可见光人脸图像P3之间的差异，并在所述差异满足预设差异条件时，确定所述第一生成器10生成的所述第二人脸图像有效。
如果第一生成器10在生成第二人脸图像的过程中，将输入图像中的某些特征转换成了肉眼看不到的低振幅高频信号，经过所述滤波模块15进行过滤之后，所述第二生成器12将基于红外光人脸图像P5还原的可见光人脸图像P3将与可见光人脸图像P1存在较大差异。因此，如果所述差异不满足预设差异条件(如大于预设差异阈值)时，确定所述第一生成器10生成的所述第二人脸图像中写入了低振幅高频信号，第二人脸图像不能用于后续应用，确定第二人脸图像是无效的。如果所述差异满足预设差异条件，则确定所述第一生成器10生成的所述第二人脸图像中没有写入低振幅高频信号，第二人脸图像可以用于后续应用，确定第二人脸图像是有效的。
由上述描述可见，通过设置滤波模块15对第一生成器10生成的异质人脸图像进行滤波处理，结合后续的图像还原判断，可以识别出第一生成器10转化得到的异质人脸图像是否有效，进一步提升图像转换的准确率。
另一方面，现有技术中，GAN网络中生成网络需要使用训练好的预训练模型，对人脸图像的鲁棒性差，对于图像采集环境略差的图像，转换后得到的图像识别准确率较低。本申请的一些实施例中，提出了生成网络的改进结构，如图3所示，所述第一生成器10进一步包括：
编码子模块101，用于通过对所述第一人脸图像进行卷积运算和池化处理，将所述第一人脸图像压缩成预设维度的特征向量；
对等注册特征转换子模块102，用于基于所述预设维度的特征向量进行图像风格重构，确定重构后的特征向量；
译码子模块103，用于对所述重构后的特征向量进行反卷积运算，生成所述第二人脸图像。
具体实施时，所述编码子模块101是一个残差网络，由卷积层、残差块组成，通过卷积神经网络来提取图像特征，将所述第一人脸图像压缩成一定数量的特征向量。
本申请的一些实施例中，所述基于所述预设维度的特征向量进行图像风格重构，确定重构后的特征向量的步骤，包括：通过深层神经网络对所述预设维度的特征向量进行处理，确定所述第一人脸图像中的内容特征向量；基于所述内容特征向量和所述预设风格的图像的风格特征向量进行图像风格重构，确定重构后的特征向量。
本申请的一些实施例中的对等注册特征转换子模块102包括两部分，第一部分为：基于深度神经网络(即VGG网络)的风格转换网络部分；第二部分为：感知损失计算部分。VGG是一个卷积神经网络，可以对数据集中图像进行训练，它能够检测图像中的高级特征。VGG网络的这种“编码性质”是神经风格迁移的关键。本申请实施例中，通过VGG网络确定第一人脸图像中的内容特征和风格特征。例如，将对所述第一人脸图像进行压缩处理后得到的预设维度的特征向量输入至VGG网络，则可以输出其中的内容特征向量和风格特征向量。
以第一生成器输出的预设维度的特征向量维度为768个为例，其中256个特征向量维度的特征是原图的内容特征，512个特征向量维度的特征是风格特征。风格特征中又被分为两部分，其中前256个维度特征保持不变，后256个维度特征将通过VGG网络映射为大小为11的全局风格特征，这些全局风格特征包含样式的全局信息。
本申请的一些实施例中，基于所述内容特征向量和所述预设风格的图像的风格特征向量进行图像风格重构，确定重构后的特征向量的步骤，包括：初始化重构图像；通过最小化所述重构图像的内容与所述第一人脸图像的内容的损失，以及最小化所述重构图像的风格与所述预设风格的损失，进行图像重构；确定满足损失最小化的所述重构图像的风格对应的风格特征向量和所述第一人脸图像中的内容特征向量构成重构后的特征向量。
例如，首先，初始化一个噪声图像，它将成为输出的重构图像。然后，计算该图像与VGG网络中特定层的内容和风格图像的相似程度。由于我们希望输出的重构图像应该具有第一人脸图像的内容和风格图像的风格，因此VGG网络计算生成的重构图像分别与第一人脸图像和风格图像的损失，即计算重构图像的内容与第一人脸图像的内容损失，以及，重构图像的风格与风格图像的风格损失，并最小化内容损失和风格损失。
具体实施时，所述译码子模块103由卷积层和残差块组成，利用反卷积层，从重构后得到的特征向量中还原出低级特征，最后根据还原出的低级特征生成所述第二人脸图像。
本申请实施例中所述的编码子模块101和译码子模块103不限于卷积神经网络结构。在申请的另一些实施例中，还可以通过特征运算函数实现对所述第一人脸图像中特征的编码和解码，本申请实施例中不再对各种实现方案一一例举。
本申请实施例公开的异质人脸图像转换，通过在第一生成器中采用编码子模块、对等注册特征转换子模块和译码子模块的结构，通过自定义图形卷积层在潜在空间中重构风格，以分离图像的风格和内容，不需要任何预先训练的网络来计算感知损失，不受训练样本采集光照条件的影响，提升了转换装置对图像采集环境光照条件的鲁棒性。并且，由于不需要预先训练GAN网络的生成模型，可以提升异质人脸图像的生成效率。
实施例三
本实施例公开的一种异质人脸图像转换方法，应用于实施例一或实施例二所述的异质人脸图像转换装置，如图1所示，所述装置包括：由第一生成器10和第一判别器11构成的GAN网络、与所述第一判别器10的输出连接的第二生成器12，以及，转换判断模块13和第二判别器14。如图4所示，所述方法包括：步骤410至步骤450。
步骤410，将输入的第一人脸图像转换成第二人脸图像，所述第二人脸图像和所述第一人脸图像为不同风格的图像。
本申请实施例中，所述第二人脸图像为预设风格的图像；所述第一人脸图像为可见光人脸图像，所述预设风格的图像为红外光图像；或者，所述第一人脸图像为红外光人脸图像，所述预设风格的图像为可见光图像。
本实施例中，为了便于读者理解发明的技术方案，以所述第一人脸图像为可见光人脸图像、所述预设风格为红外光图像风格，则所述第二人脸图像为红外光人脸图像举例说明图像的转换方法。在本申请的另一些实施例中，所述第一人脸图像还可以为红外光图像，相应的，所述预设风格为可见光图像风格，则所述第二人脸图像为可见光人脸图像。
本申请的一些实施例中，所述第一生成器10通过对输入的第一人脸图像进行运算处理，将所述第一人脸图像转换成与所述第一人脸图像风格不同的第二人脸图像，即所述第一人脸图像的异质图像。例如，所述第一生成器10通过对输入的可见光人脸图像进行卷积运算，提取其中的风格特征和内容特征；然后，对所述风格特征进行转换，得到红外光图像风格的风格特征；最后，根据转换得到的红外光图像风格的风格特征和提取的内容特征进行图像重构，得到第二人脸图像。则重构得到的第二人脸图像为红外光人脸图像。
本申请的另一些实施例中，还可以采用其他方式对第一人脸图像的内容特征和风格特征进行提取，并根据风格特征之间的差异进行风格转换。本申请实施例不再一一例举。
本申请的一些实施例中，所述内容特征是指表达图像包含的语义的特征，例如人脸图像中，人脸的轮廓的特点，五官的大小和位置等属于内容特征。通俗理解，人脸图像中的内容特征指人的样子；风格特征是指图像款式方面的特征，尤其是指不同光源带来的特征差异，比如红外光图像中图像的颜色分布，分辨率，光源波长等特征。
步骤420，识别所述第二人脸图像是否保留了所述第一人脸图像的预设内容特征。
本申请实施例中的所述第一判别器11通过识别所述第一生成器10生成的所述第二人脸图像是否保留了所述第一人脸图像的预设内容特征(如人脸的轮廓的特点、五官位置)，确定所述第一生成器10生成的所述第二人脸图像是否可以作为所述第一人脸图像的真实异质图像。
本申请的一些实施例中所述第一判别器11通过对所述第一人脸图像中的内容特征与所述第一生成器10生成的所述第二人脸图像的内容特征进行比较(例如，计算两幅图像中的内容特征的欧氏距离，以确定两幅图像中的内容特征的相似度)，确定所述第二人脸图像中保留了所述第一人脸图像中的预设内容特征。当所述第二人脸图像中保留了所述第一人脸图像中的预设内容特征，则所述第一判别器11将识别所述第二人脸图像为所述第一人脸图像的真实异质图像。
当所述第二人脸图像中没有保留所述第一人脸图像中的预设内容特征，则所述第一判别器11将识别所述第二人脸图像不是所述第一人脸图像的真实异质图像。在后续应用过程中，如果所述第一判别器11识别所述第二人脸图像不是所述第一人脸图像的真实异质图像，则放弃使用所述第二人脸图像，不再对所述第二人脸图像进行后续的判断处理。例如，当第一人脸图像P1为可见光人脸图像时，如果所述第一判别器11识别所述第一生成器10生成的红外光人脸图像P2中保留了第一人脸图像P1中的人脸轮廓、五官位置等内容特征，则识别红外光人脸图像P2为“真”，即认为红外光人脸图像P2为第一人脸图像P1的异质人脸图像。
步骤430，在确定所述第二人脸图像保留了所述第一人脸图像的预设内容特征的情况下，将所述第二人脸图像转换成第三人脸图像。
其中，所述第二人脸图像转换成第三人脸图像执行的运算为所述第一人脸图像转换成第二人脸图像的逆运算。
在所述第一判别器11将识别所述第二人脸图像为所述第一人脸图像的真实异质图像的情况下，即所述第一判别器11识别所述第二人脸图像为“真”的情况下，所述第二生成器12将所述第二人脸图像转换成第三人脸图像。例如，当所述第一判别器11识别所述第一生成器10生成的红外光人脸图像P2为可见光人脸图像P1的异质人脸图像时，所述第二生成器12通过对红外光人脸图像P2进行指定图像运算，将红外光人脸图像P2转换成可见光人脸图像P3。其中，所述指定图像运算为所述第一生成器10将可见光人脸图像P1转换成红外光人脸图像P2时执行的图像运算的逆运算。
步骤440，计算所述第一人脸图像和所述第三人脸图像之间的差异，并在所述差异满足预设差异条件时，确定所述第二人脸图像有效。
然后，通过所述转换判断模块13计算所述第一人脸图像和所述第三人脸图像之间的差异，并在所述差异满足预设差异条件时，确定所述第一生成器10生成的所述第二人脸图像有效。
例如，本申请的一些实施例中通过计算可见光人脸图像P3和可见光人脸图像P1之间的差异，确定所述第一生成器10生成的红外光人脸图像P2是否保存了原始可见光人脸图像P1中的预设内容特征，这些预设内容特征将直接影响后续基于生成的红外光人脸图像P2进行人脸识别等应用的准确度和可靠性。本申请的一些实施例中，可以通过计算所述第一人脸图像和所述第三人脸图像之间的均方误差确定可见光人脸图像P3是否还原了可见光人脸图像P1。如果可见光人脸图像P3还原了可见光人脸图像P1，说明红外光人脸图像P2中保留了可见光人脸图像P1的内容特征，即红外光人脸图像P2是有效的，可以进行后续的判断处理。
步骤450，在确定所述第二人脸图像有效的情况下，识别所述第二人脸图像的风格特征与所述预设风格的图像的风格特征是否一致，并在识别所述风格特征一致的情况下确定所述第二人脸图像为所述第一人脸图像的异质图像。
在确定所述第一生成器10生成的所述第二人脸图像有效的情况下，接下来通过所述第二判别器14识别所述第二人脸图像的风格特征与所述预设风格的图像的风格特征是否一致，并在识别所述风格特征一致的情况下确定所述第二人脸图像为所述第一人脸图像的异质图像。
例如，在确定所述第一生成器10生成的红外光人脸图像P2有效的情况下，所述第二判别器14进一步计算预设风格图库中的红外光图像风格的风格图像P4和红外光人脸图像P2(即所述第一生成器10生成的所述第二人脸图像)的风格特征的相似度，并在风格特征的相似度满足预设相似度条件的情况下确定红外光人脸图像P2和风格图像P4的风格一致，则确定红外光人脸图像P2(即所述第一生成器10生成的所述第二人脸图像)为可见光人脸图像P1(即所述第一人脸图像)的异质图像。
本申请实施例公开的异质人脸图像转换方法，通过将输入的第一人脸图像转换成第二人脸图像，所述第二人脸图像和所述第一人脸图像为不同风格的图像；识别所述第二人脸图像是否保留了所述第一人脸图像的预设内容特征；在确定所述第二人脸图像保留了所述第一人脸图像的预设内容特征的情况下，将所述第二人脸图像转换成第三人脸图像，所述第二人脸图像转换成第三人脸图像执行的运算为所述第一人脸图像转换成第二人脸图像的逆运算；计算所述第一人脸图像和所述第三人脸图像之间的差异，并在所述差异满足预设差异条件时，确定所述第二人脸图像的内容特征有效；识别所述第二人脸图像的风格特征与所述预设风格的图像的风格特征是否一致，并在识别所述风格特征一致的情况下确定所述第二人脸图像为所述第一人脸图像的异质图像，有助于缓解转换得到的图像的失真现象，提升转换的得到的图像质量。本申请实施例公开的上述异质人脸图像转换方法，通过对GAN网络转换得到的输入图像的异质图像进行逆运算，并确定逆运算还原得到的图像与输入图像之间的均方误差，从而判断出是否能够正确还原输入图像，若能够正确还原输入图像，则说明生成的异质图像为高质量图，从而避免了由于GAN网络生成能力太强，导致生成结果失真，图像质量不可控的问题。
实施例四
基于实施例三，本实施例公开的一种异质人脸图像转换方法，应用于实施例二所述的异质人脸图像转换装置，所述异质人脸图像转换装置包括滤波模块15。如图5所示，所述步骤430之前，还包括：
步骤425，对所述第二人脸图像进行滤波处理。
具体实施时，所述将所述第二人脸图像转换成第三人脸图像之前，还包括：对所述第二人脸图像进行滤波处理。
本申请的一些实施例中，对于第一生成器10生成的第二人脸图像进一步执行滤波处理，以协助判断第一生成器10在生成第二人脸图像的过程中，是否将输入图像中的某些特征转换成了肉眼看不到的低振幅高频信号。本申请的一些实施例中，可以通过低频滤波函数对第一生成器10生成的第二人脸图像(如实施例一中的红外光人脸图像P2)进行滤波处理，本实施例中，将经过所述滤波模块15进行滤波处理后得到图像记为红外光人脸图像P5。
相应的，所述将所述第二人脸图像转换成第三人脸图像的步骤，进一步包括：将滤波处理后的所述第二人脸图像转换成第三人脸图像。
即所述第二生成器12将滤波处理后的所述第二人脸图像转换成第三人脸图像，所述第二人脸图像转换成第三人脸图像执行的运算为所述第一人脸图像转换成第二人脸图像的逆运算。例如，所述第二生成器12将滤波处理后得到的红外光人脸图像P5转换成可见光人脸图像P3。将红外光人脸图像P5转换成可见光人脸图像P3的运算与将红外光人脸图像P2转换成可见光人脸图像P3的运算相同，均为可见光人脸图像P1转换成红外光人脸图像P2的逆运算。
之后，转换判断模块13计算可见光人脸图像P1和可见光人脸图像P3之间的差异，并在所述差异满足预设差异条件时，确定所述第一生成器10生成的所述第二人脸图像有效。
如果第一生成器10在生成第二人脸图像的过程中，将输入图像中的某些特征转换成了肉眼看不到的低振幅高频信号，经过所述滤波模块15进行过滤之后，所述第二生成器12将基于红外光人脸图像P5还原的可见光人脸图像P3将与可见光人脸图像P1存在较大差异。因此，如果所述差异不满足预设差异条件(如大于预设差异阈值)时，确定所述第一生成器10生成的所述第二人脸图像中写入了低振幅高频信号，第二人脸图像不能用于后续应用，确定第二人脸图像是无效的。如果所述差异满足预设差异条件，则确定所述第一生成器10生成的所述第二人脸图像中没有写入低振幅高频信号，第二人脸图像可以用于后续应用，确定第二人脸图像是有效的。
由上述描述可见，通过对第一生成器10生成的异质人脸图像进行滤波处理，结合后续的图像还原判断，可以识别出第一生成器10转化得到的异质人脸图像是否有效，进一步提升图像转换的准确率。
本申请的一些实施例中，所述将输入的第一人脸图像转换成第二人脸图像，所述第二人脸图像和所述第一人脸图像为不同风格的图像的步骤，包括：通过对所述第一人脸图像进行卷积运算和池化处理，将所述第一人脸图像压缩成预设维度的特征向量；基于所述预设维度的特征向量进行图像风格重构，确定重构后的特征向量；对所述重构后的特征向量进行反卷积运算，生成所述第二人脸图像。
参见图3，所述第一生成器10进一步包括编码子模块101、对等注册特征转换子模块102和译码子模块103，进一步的，所述基于所述预设维度的特征向量进行图像风格重构，确定重构后的特征向量的步骤，包括：通过深层神经网络对所述预设维度的特征向量进行处理，确定所述第一人脸图像中的内容特征向量；基于所述内容特征向量和所述预设风格的图像的风格特征向量进行图像风格重构，确定重构后的特征向量。
所述编码子模块101是一个残差网络，由卷积层、残差块组成，首先可以通过卷积神经网络来提取图像特征，将所述第一人脸图像压缩成一定数量的特征向量。
然后，由对等注册特征转换子模块102进行特征分离和风格重构。以第一生成器输出的预设维度的特征向量维度为768个为例，其中256个特征向量维度的特征原图的内容特征，512个特征向量维度的特征是风格特征。通过对等注册特征转换子模块102中的深度神经网络，可以从第一生成器10输出的预设维度的特征向量维度中提取出内容特征和风格特征。进一步的，风格特征中又被分为两部分，其中前256个维度特征保持不变，后256个维度特征将通过所述深度神经网络映射为大小为11的全局风格特征，这些全局风格特征包含样式的全局信息。
本申请的一些实施例中，基于所述内容特征向量和所述预设风格的图像的风格特征向量进行图像风格重构，确定重构后的特征向量的步骤，包括：初始化重构图像；通过最小化所述重构图像的内容与所述第一人脸图像的内容的损失，以及最小化所述重构图像的风格与所述预设风格的损失，进行图像重构；确定满足损失最小化的所述重构图像的风格对应的风格特征向量和所述第一人脸图像中的内容特征向量构成重构后的特征向量。
例如，首先，初始化一个噪声图像，它将成为输出的重构图像。然后，计算该图像与VGG网络中特定层的内容和风格图像的相似程度。由于我们希望输出的重构图像应该具有第一人脸图像的内容和风格图像的风格，因此VGG网络计算生成的重构图像分别与第一人脸图像和风格图像的损失，即计算重构图像的内容与第一人脸图像的内容损失，以及，重构图像的风格与风格图像的风格损失，并最小化内容损失和风格损失。
所述译码子模块103由卷积层和残差块组成。对于对等注册特征转换子模块102输出的内容特征和风格特征重构后的特征向量，通过所述译码子模块103的卷积层和残差块进行反卷积运算，从重构后得到的特征向量中还原出低级特征，最后根据还原出的低级特征生成所述第二人脸图像。
本申请实施例中所述的编码子模块101和译码子模块103不限于卷积神经网络结构。在申请的另一些实施例中，还可以通过特征运算函数实现对所述第一人脸图像中特征的编码和解码，本申请实施例中不再对各种实现方案一一例举。
本申请实施例公开的异质人脸图像转换方法，通过自定义图形卷积层在潜在空间中重构风格，以分离图像的风格和内容，不需要任何预先训练的网络来计算感知损失，不受训练样本采集光照条件的影响，提升了转换装置对图像采集环境光照条件的鲁棒性。并且，由于不需要预先训练GAN网络的生成模型，可以提升异质人脸图像的生成效率。
相应的，本申请还公开了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请实施例三或实施例四所述的异质人脸图像转换方法。所述电子设备可以为PC机、移动终端、个人数字助理、平板电脑等。
本申请还公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请实施例三或实施例四所述的异质人脸图像转换方法的步骤。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上对本申请提供的一种异质人脸图像转换方法及装置进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

Claims (8)

1.一种异质人脸图像转换装置，其特征在于，包括由第一生成器和第一判别器构成的GAN网络、与所述第一判别器的输出连接的第二生成器，以及，滤波模块、转换判断模块和第二判别器，其中，
所述第一生成器，用于将输入的第一人脸图像转换成第二人脸图像，所述第二人脸图像和所述第一人脸图像为不同风格的图像，其中，所述第一人脸图像为可见光人脸图像，预设风格的图像为红外光图像；或者，所述第一人脸图像为红外光人脸图像，所述预设风格的图像为可见光图像；
所述第一判别器，用于识别所述第一生成器生成的所述第二人脸图像是否保留了所述第一人脸图像的预设内容特征；
所述滤波模块，用于在确定所述第二人脸图像保留了所述第一人脸图像的预设内容特征的情况下，对所述第二人脸图像进行滤波处理；
所述第二生成器，用于在确定所述第二人脸图像保留了所述第一人脸图像的预设内容特征的情况下，将滤波处理后的所述第二人脸图像转换成第三人脸图像，其中，所述滤波处理后的第二人脸图像转换成第三人脸图像执行的运算为所述第一人脸图像转换成第二人脸图像的逆运算；
所述转换判断模块，用于计算所述第一人脸图像和所述第三人脸图像之间的差异，并在所述差异满足预设差异条件时，确定所述第一生成器生成的所述第二人脸图像有效；
所述第二判别器，用于在确定所述第一生成器生成的所述第二人脸图像有效的情况下，识别所述第二人脸图像的风格特征与所述预设风格的图像的风格特征是否一致，并在识别所述风格特征一致的情况下确定所述第二人脸图像为所述第一人脸图像的异质图像。
2.根据权利要求1所述的装置，其特征在于，所述第一生成器进一步包括：
编码子模块，用于通过对所述第一人脸图像进行卷积运算和池化处理，将所述第一人脸图像压缩成预设维度的特征向量；
对等注册特征转换子模块，用于基于所述预设维度的特征向量进行图像风格重构，确定重构后的特征向量；
译码子模块，用于对所述重构后的特征向量进行反卷积运算，生成所述第二人脸图像。
3.根据权利要求2所述的装置，其特征在于，所述基于所述预设维度的特征向量进行图像风格重构，确定重构后的特征向量的步骤，包括：
通过深层神经网络对所述预设维度的特征向量进行处理，确定所述第一人脸图像中的内容特征向量；
基于所述内容特征向量和所述预设风格的图像的风格特征向量进行图像风格重构，确定重构后的特征向量。
4.一种异质人脸图像转换方法，应用于权利要求1至3任一项所述的异质人脸图像转换装置，其特征在于，所述方法包括：
将输入的第一人脸图像转换成第二人脸图像，所述第二人脸图像和所述第一人脸图像为不同风格的图像，其中，所述第一人脸图像为可见光人脸图像，预设风格的图像为红外光图像；或者，所述第一人脸图像为红外光人脸图像，所述预设风格的图像为可见光图像；
识别所述第二人脸图像是否保留了所述第一人脸图像的预设内容特征；
在确定所述第二人脸图像保留了所述第一人脸图像的预设内容特征的情况下，对所述第二人脸图像进行滤波处理；
将所述滤波处理后的所述第二人脸图像转换成第三人脸图像，其中，所述滤波处理后的第二人脸图像转换成第三人脸图像执行的运算为所述第一人脸图像转换成第二人脸图像的逆运算；
计算所述第一人脸图像和所述第三人脸图像之间的差异，并在所述差异满足预设差异条件时，确定所述第二人脸图像有效；
在确定所述第二人脸图像有效的情况下，识别所述第二人脸图像的风格特征与所述预设风格的图像的风格特征是否一致，并在识别所述风格特征一致的情况下确定所述第二人脸图像为所述第一人脸图像的异质图像。
5.根据权利要求4所述的方法，其特征在于，所述将输入的第一人脸图像转换成第二人脸图像，所述第二人脸图像和所述第一人脸图像为不同风格的图像的步骤，包括：
通过对所述第一人脸图像进行卷积运算和池化处理，将所述第一人脸图像压缩成预设维度的特征向量；
基于所述预设维度的特征向量进行图像风格重构，确定重构后的特征向量；
对所述重构后的特征向量进行反卷积运算，生成所述第二人脸图像。
6.根据权利要求5所述的方法，其特征在于，所述基于所述预设维度的特征向量进行图像风格重构，确定重构后的特征向量的步骤，包括：
通过深层神经网络对所述预设维度的特征向量进行处理，确定所述第一人脸图像中的内容特征向量；
基于所述内容特征向量和所述预设风格的图像的风格特征向量进行图像风格重构，确定重构后的特征向量。
7.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求4至6任意一项所述的异质人脸图像转换方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求4至6任意一项所述的异质人脸图像转换方法的步骤。
CN201910944165.7A 2019-09-30 2019-09-30 异质人脸图像转换方法、装置、电子设备及存储介质 Active CN110738153B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910944165.7A CN110738153B (zh) 2019-09-30 2019-09-30 异质人脸图像转换方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910944165.7A CN110738153B (zh) 2019-09-30 2019-09-30 异质人脸图像转换方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN110738153A CN110738153A (zh) 2020-01-31
CN110738153B true CN110738153B (zh) 2022-08-05

Family

ID=69268506

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910944165.7A Active CN110738153B (zh) 2019-09-30 2019-09-30 异质人脸图像转换方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN110738153B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111539255B (zh) * 2020-03-27 2023-04-18 中国矿业大学 基于多模态图像风格转换的跨模态行人重识别方法
CN113689527B (zh) * 2020-05-15 2024-02-20 武汉Tcl集团工业研究院有限公司 一种人脸转换模型的训练方法、人脸图像转换方法
CN112967180B (zh) * 2021-03-17 2023-12-22 福建库克智能科技有限公司 一种生成对抗网络的训练方法、图像风格转换方法和装置
CN113378923A (zh) * 2021-06-09 2021-09-10 烟台艾睿光电科技有限公司 图像生成装置获取方法及图像生成装置
CN114255502B (zh) * 2021-12-23 2024-03-29 中国电信股份有限公司 人脸图像生成方法及装置、人脸识别方法、设备、介质
CN114266946A (zh) * 2021-12-31 2022-04-01 智慧眼科技股份有限公司 遮挡条件下的特征识别方法、装置、计算机设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110119685A (zh) * 2019-04-12 2019-08-13 天津大学 一种基于dcgan的红外人脸图像转化方法
CN110135574A (zh) * 2018-02-09 2019-08-16 北京世纪好未来教育科技有限公司 神经网络训练方法、图像生成方法及计算机存储介质
CN110135349A (zh) * 2019-05-16 2019-08-16 北京小米智能科技有限公司 识别方法、装置、设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10803347B2 (en) * 2017-12-01 2020-10-13 The University Of Chicago Image transformation with a hybrid autoencoder and generative adversarial network machine learning architecture

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110135574A (zh) * 2018-02-09 2019-08-16 北京世纪好未来教育科技有限公司 神经网络训练方法、图像生成方法及计算机存储介质
CN110119685A (zh) * 2019-04-12 2019-08-13 天津大学 一种基于dcgan的红外人脸图像转化方法
CN110135349A (zh) * 2019-05-16 2019-08-16 北京小米智能科技有限公司 识别方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度学习的实例感知型图像风格转换研究;黄鑫;《中国优秀硕博士学位论文全文数据库（硕士）信息科技辑》;20190915;第4.2.1节，第4.2.2节 *

Also Published As

Publication number Publication date
CN110738153A (zh) 2020-01-31

Similar Documents

Publication Publication Date Title
CN110738153B (zh) 异质人脸图像转换方法、装置、电子设备及存储介质
CN108520503B (zh) 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法
CN111753595A (zh) 活体检测方法和装置、设备和存储介质
CN111160264B (zh) 一种基于生成对抗网络的漫画人物身份识别方法
CN112507617B (zh) 一种SRFlow超分辨率模型的训练方法及人脸识别方法
CN113705290A (zh) 图像处理方法、装置、计算机设备和存储介质
Baek et al. Generative adversarial ensemble learning for face forensics
Zhao et al. Detecting deepfake video by learning two-level features with two-stream convolutional neural network
CN117095471B (zh) 基于多尺度特征的人脸伪造溯源方法
CN114202460A (zh) 面对不同损伤图像的超分辨率高清重建方法和系统及设备
CN111967331B (zh) 基于融合特征和字典学习的人脸表示攻击检测方法及系统
CN111695507A (zh) 一种基于改进VGGNet网络和PCA的静态手势识别方法
Teng et al. Unimodal face classification with multimodal training
CN109165551B (zh) 一种自适应加权融合显著性结构张量和lbp特征的表情识别方法
Reddy et al. Robust subject-invariant feature learning for ocular biometrics in visible spectrum
CN112990123B (zh) 图像处理方法、装置、计算机设备和介质
JP2023027782A (ja) 画像遷移方法及び画像遷移モデルの訓練方法、装置、電子機器、記憶媒体及びコンピュータプログラム
Nguyen et al. LAWNet: A lightweight attention-based deep learning model for wrist vein verification in smartphones using RGB images
CN113052132A (zh) 基于面部关键点轨迹特征图的视频情感识别方法
CN112258428A (zh) 一种基于CycleGAN的指静脉增强方法及装置
Gong et al. Image inpainting based on interactive separation network and progressive reconstruction algorithm
Pai et al. Recognizing human faces under varying degree of Illumination: A comprehensive survey
Korshunov et al. Vulnerability of Automatic Identity Recognition to Audio-Visual Deepfakes
KR101040182B1 (ko) 특징 되먹임을 이용한 얼굴 인식 방법
Dang Nguyen Discrimination of computer generated versus natural human faces

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant