CN108229348B - 遮挡人脸图像的识别装置 - Google Patents

遮挡人脸图像的识别装置 Download PDF

Info

Publication number
CN108229348B
CN108229348B CN201711391445.7A CN201711391445A CN108229348B CN 108229348 B CN108229348 B CN 108229348B CN 201711391445 A CN201711391445 A CN 201711391445A CN 108229348 B CN108229348 B CN 108229348B
Authority
CN
China
Prior art keywords
face image
image
occlusion
network module
clear
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711391445.7A
Other languages
English (en)
Other versions
CN108229348A (zh
Inventor
赫然
孙哲南
胡一博
李志航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN201711391445.7A priority Critical patent/CN108229348B/zh
Publication of CN108229348A publication Critical patent/CN108229348A/zh
Application granted granted Critical
Publication of CN108229348B publication Critical patent/CN108229348B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像处理技术领域，具体提供了一种遮挡人脸图像识别装置，旨在解决如何提高遮挡人脸图像的识别准确性的技术问题。为此目的，本发明中图像识别装置的生成对抗网络模型包括解耦网络模块、融合网络模块和优化训练模块。解耦网络模块可以依据遮挡人脸图像，预测清晰人脸图像和遮挡图像。融合网络模块可以为依据预测的清晰人脸图像和遮挡图像，重建新的遮挡人脸图像；以及，依据清晰人脸图像和遮挡图像，预测遮挡人脸图像。基于此，解耦网络模块还可以依据预测的遮挡人脸图像，重建新的清晰人脸图像和遮挡图像。通过上述解耦网络模块与融合网络模块构成的对抗网络，能够得到清晰的人脸图像，进而提高遮挡人脸图像的识别准确性。

Description

遮挡人脸图像的识别装置
技术领域
本发明涉及图像处理技术领域，具体涉及一种遮挡人脸图像的识别装置。
背景技术
人脸识别技术是指利用分析比较的计算机技术识别人脸，其已被广泛应用于安检和考勤等应用场景中。但是，当前人脸识别技术主要针对受控条件下的人脸图像，并适用于非受控条件下的人脸图像识别。例如，遮挡人脸图像往往缺少人脸五官等关键信息，同时也没有对应的清晰人脸图像，这将极大地影响人脸识别的准确性。
发明内容
为了解决现有技术中的上述问题，即为了解决如何提高缺少五官等关键信息的遮挡人脸图像的识别准确性的技术问题，本发明提供了一种遮挡人脸图像的识别装置。
本发明中的遮挡人脸图像的识别装置包括生成对抗网络模型，其配置为获取遮挡人脸图像，并对所获取的遮挡人脸图像进行人脸识别；所述生成对抗网络模型包括解耦网络模块、融合网络模块和优化训练模块；
所述解耦网络模块，配置为依据所述生成对抗网络模型所获取的遮挡人脸图像，预测清晰人脸图像和遮挡图像，其中，所述遮挡图像为所述遮挡人脸图像中遮挡图形所在的区域，且该区域未包含人脸信息；
所述融合网络模块，配置为依据所述解耦网络模块所预测的清晰人脸图像和遮挡图像，重建新的遮挡人脸图像；以及，依据所述生成对抗网络模型获取的清晰人脸图像和遮挡图像，预测遮挡人脸图像；所述解耦网络模块，进一步配置为依据所述融合网络模块所预测的遮挡人脸图像，重建新的清晰人脸图像和遮挡图像；
所述优化训练模块，配置为依据预设训练集，并按照下式所示的损失函数L对所述生成对抗网络模型进行网络训练，得到优化后的生成对抗网络模型：
L＝Lgan+λLcyc
其中，所述Lgan为对抗损失函数，所述Lcyc为循环一致性损失函数，所述λ为预设的权重参数；
所述对抗损失函数Lgan＝LGAN1+LGAN2，所述LGAN1为预设训练集中遮挡人脸图像与所述融合网络模块所预测的遮挡人脸图像之间的对抗损失函数，所述LGAN2为所述预设训练集中清晰人脸图像与所述解耦网络模块所预测的清晰人脸图像之间，以及所述预设训练集中遮挡图像与所述解耦网络模块所预测的遮挡图像之间的对抗损失函数；
所述循环一致性损失函数Lcyc＝LCYC1+LCYC2，所述LCY1C为预设训练集中遮挡人脸图像与所述融合网络模块所重建的遮挡人脸图像之间的一致性损失函数，所述LCYC2为所述预设训练集中清晰人脸图像与所述解耦网络模块所预测的清晰人脸图像之间，以及所述预设训练集中遮挡图像与所述解耦网络模块所预测的遮挡图像之间的一致性损失函数。
进一步地，本发明提供的一个优选技术方案为：
所述对抗损失函数LGAN1如下式所示：
Figure BDA0001517635570000021
其中，所述x、y与z分别为所述预设训练集中的遮挡人脸图像、清晰人脸图像与遮挡图像；所述Pdata(x)、Pdata(y)与Pdata(z)分别为所述图像x、y与z的分布；所述DX表示所述生成对抗网络模型中预设的遮挡人脸图像域判别器，所述E表示期望。
进一步地，本发明提供的一个优选技术方案为：
所述对抗损失函数LGAN2如下式所示：
Figure BDA0001517635570000031
其中，所述
Figure BDA0001517635570000032
与
Figure BDA0001517635570000033
分别为所述解耦网络模块所重建的清晰人脸图像和遮挡图像；所述DY表示所述生成对抗网络模型中预设的清晰人脸图像域判别器，所述DZ表示所述生成对抗网络模型中预设的遮挡图像域判别器。
进一步地，本发明提供的一个优选技术方案为：
所述一致性损失函数LCYC1如下式所示：
Figure BDA0001517635570000034
其中，所述x为所述预设训练集中的遮挡人脸图像，所述Pdata(x)为所述图像x的分布；所述G表示解耦网络模块，所述F表示融合网络模块，所述G(x)为解耦网络模块所预测的清晰人脸图像和遮挡图像，所述F(G(x))为融合网络模块所重建的遮挡人脸图像；所述|| ||1表示L1范数，所述E表示期望。
进一步地，本发明提供的一个优选技术方案为：
所述一致性损失函数LCYC2如下式所示：
Figure BDA0001517635570000035
其中，所述y与z分别为所述预设训练集中的清晰人脸图像与遮挡图像；所述Pdata(y)与Pdata(z)分别为所述图像y与z的分布；所述F(y,)z为融合网络模块所预测的遮挡人脸图像，所述G(F(y,z))为解耦网络模块所重建的清晰人脸图像和遮挡图像。
与最接近的现有技术相比，上述技术方案至少具有以下有益效果：
1、本发明中的生成对抗网络模型包括解耦网络模块和融合网络模块。解耦网络模块可以依据遮挡人脸图像，预测清晰人脸图像和遮挡图像。融合网络模块可以为依据解耦网络模块所预测的清晰人脸图像和遮挡图像，重建新的遮挡人脸图像；以及，依据清晰人脸图像和遮挡图像，预测遮挡人脸图像。基于此，解耦网络模块还可以依据融合网络模块所预测的遮挡人脸图像，重建新的清晰人脸图像和遮挡图像。通过上述解耦网络模块与融合网络模块构成的对抗网络，能够得到清晰的人脸图像，进而提高遮挡人脸图像的识别准确性。
2、本发明中的优化训练模块可以按照预设的目标损失函数对生成对抗网络模型进行网络训练，其中，预设的目标损失函数主要包括两部分损失函数，具体为：第一部分损失函数包括两个损失函数，第一个为预设训练集中遮挡人脸图像与融合网络模块所预测的遮挡人脸图像之间的对抗损失函数，第二个为预设训练集中清晰人脸图像与解耦网络模块所预测的清晰人脸图像之间，以及预设训练集中遮挡图像与解耦网络模块所预测的遮挡图像之间的对抗损失函数。第二部分损失函数也包括两个损失函数，第一个为预设训练集中遮挡人脸图像与融合网络模块所重建的遮挡人脸图像之间的一致性损失函数，第二个为预设训练集中清晰人脸图像与解耦网络模块所预测的清晰人脸图像之间，以及预设训练集中遮挡图像与解耦网络模块所预测的遮挡图像之间的一致性损失函数。
附图说明
图1是本发明实施例中生成对抗网络模型的主要结构示意图；
图2是本发明实施例中遮挡人脸图像、清晰人脸图像与遮挡图像的示意图。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
在人脸受到遮挡的情况下，人脸图像中的遮挡部分将会极大地影响人脸识别的准确性。基于此，本发明提供了一种遮挡人脸图像识别装置，该装置基于生成对抗网络，可以从遮挡人脸图像中恢复出清晰的人脸图像，进而根据所恢复的清晰人脸图像进行人脸识别。
下面结合附图，对本发明实施例中的遮挡人脸图像识别装置进行说明。具体地，本实施例中遮挡人脸图像识别装置包括生成对抗网络模型，该生成对抗网络模型可以配置为获取遮挡人脸图像，并对所获取的遮挡人脸图像进行人脸识别。
参阅附图1，图1示例性示出了本实施例中一种生成对抗网络模型的主要结构。如图1所示，本实施例中生成对抗网络模型可以包括解耦网络模块、融合网络模块、遮挡人脸图像域判别器、清晰人脸图像域判别器、遮挡图像域判别器和优化训练模块。
继续参阅附图2，图2示例性示出了本实施例中的遮挡人脸图像、清晰人脸图像与遮挡图像，其中，左侧图像为清晰人脸图像，中间图像为该清晰人脸图像对应的遮挡人脸图像，右侧图像为遮挡人脸图像对应的遮挡图像。
具体地，本实施例中解耦网络模块可以配置为依据生成对抗网络模型所获取的遮挡人脸图像，预测清晰人脸图像和遮挡图像，其中，遮挡图像为遮挡人脸图像中遮挡图形所在的区域，且该区域未包含人脸信息。融合网络模块可以配置为依据解耦网络模块所预测的清晰人脸图像和遮挡图像，重建新的遮挡人脸图像；以及，依据生成对抗网络模型获取的清晰人脸图像和遮挡图像，预测遮挡人脸图像。基于此，解耦网络模块进一步配置为依据融合网络模块所预测的遮挡人脸图像，重建新的清晰人脸图像和遮挡图像。在本实施例的一个优选实施方案中，解耦网络模块与融合网络模块均为全卷积结构，以保持输入输出图像的大小相同。
如图1所示，本实施例中将遮挡人脸图像输入至解耦网络模块可以预测得到清晰人脸图像与遮挡图像，将所预测得到的清晰人脸图像与遮挡图像输入至融合网络模块可以重建得到遮挡人脸图像。同时，将清晰人脸图像与遮挡图像输入至融合网络模块可以预测得到遮挡人脸图像，将所预测得到的遮挡人脸图像输入至解耦网络模块可以重建得到清晰人脸图像与遮挡图像。
本实施例中优化训练模块可以按照预设的目标损失函数对生成对抗网络模型进行网络训练，其中，预设的目标损失函数主要包括两部分损失函数，具体为：第一部分损失函数包括两个损失函数，第一个为预设训练集中遮挡人脸图像与融合网络模块所预测的遮挡人脸图像之间的对抗损失函数，第二个为预设训练集中清晰人脸图像与解耦网络模块所预测的清晰人脸图像之间，以及预设训练集中遮挡图像与解耦网络模块所预测的遮挡图像之间的对抗损失函数。第二部分损失函数也包括两个损失函数，第一个为预设训练集中遮挡人脸图像与融合网络模块所重建的遮挡人脸图像之间的一致性损失函数，第二个为预设训练集中清晰人脸图像与解耦网络模块所预测的清晰人脸图像之间，以及预设训练集中遮挡图像与解耦网络模块所预测的遮挡图像之间的一致性损失函数。
进一步地，本实施例中优化训练模块可以配置为依据预设训练集，并按照下式(1)所示的损失函数L对生成对抗网络模型进行网络训练，得到优化后的生成对抗网络模型：
L＝Lgan+λLcyc (1)
公式(1)中各参数含义为：Lgan为对抗损失函数，Lcyc为循环一致性损失函数，λ为预设的权重参数。
下面对各损失函数进行具体说明。
1、对抗损失函数Lgan
本实施例中对抗损失函数如下式(2)所示：
Lgan＝LGAN1+LGAN2 (2)
公式(2)中各参数含义为：
LGAN1为预设训练集中遮挡人脸图像与融合网络模块所预测的遮挡人脸图像之间的对抗损失函数，LGAN2为预设训练集中清晰人脸图像与解耦网络模块所预测的清晰人脸图像之间，以及预设训练集中遮挡图像与解耦网络模块所预测的遮挡图像之间的对抗损失函数。
具体地，本实施例中对抗损失函数LGAN1如下式(3)所示：
Figure BDA0001517635570000071
公式(3)中各参数含义为：
x、y与z分别为预设训练集中的遮挡人脸图像、清晰人脸图像与遮挡图像；Pdata(x)、Pdata(y)与Pdata(z)分别为图像x、y与z的分布；DX表示生成对抗网络模型中预设的遮挡人脸图像域判别器，E表示期望。
本实施例中对抗损失函数LGAN2如下式(4)所示：
Figure BDA0001517635570000072
公式(3)中各参数含义为：
Figure BDA0001517635570000073
与
Figure BDA0001517635570000074
分别为所述解耦网络模块所重建的清晰人脸图像和遮挡图像；Pdata(x)、Pdata(y)与Pdata(z)分别为图像x、y与z的分布；DY表示生成对抗网络模型中预设的清晰人脸图像域判别器，DZ表示生成对抗网络模型中预设的遮挡图像域判别器，E表示期望。
2、循环一致性损失函数Lcyc
本实施例中循环一致性损失函数如下式(5)所示：
Lcyc＝LCYC1+LCYC2 (5)
公式(5)中各参数含义为：
LCYC1为预设训练集中遮挡人脸图像与融合网络模块所重建的遮挡人脸图像之间的一致性损失函数，LCYC2为预设训练集中清晰人脸图像与解耦网络模块所预测的清晰人脸图像之间，以及预设训练集中遮挡图像与解耦网络模块所预测的遮挡图像之间的一致性损失函数。
具体地，本实施例中一致性损失函数LCYC1如下式(6)所示：
Figure BDA0001517635570000081
公式(6)中各参数含义为：
x为预设训练集中的遮挡人脸图像，Pdata(x)为图像x的分布；G表示解耦网络模块，F表示融合网络模块，G(x)为解耦网络模块所预测的清晰人脸图像和遮挡图像，F(G(x))为融合网络模块所重建的遮挡人脸图像；|| ||1表示L1范数，E表示期望。
本实施例中一致性损失函数LCYC2如下式(7)所示：
Figure BDA0001517635570000082
公式(7)中各参数含义为：
y与z分别为预设训练集中的清晰人脸图像与遮挡图像；Pdata(y)与Pdata(z)分别为图像y与z的分布；F(y,z)为融合网络模块所预测的遮挡人脸图像，G(F(y,z))为解耦网络模块所重建的清晰人脸图像和遮挡图像。
基于上述(1)～(7)所示的各损失函数，本实施例中可以按照下述步骤对生成对抗网络模型进行网络训练：
步骤S101：对生成对抗网络模型进行初始化。
具体地，本实施例中对生成对抗网络模型中所有节点的权重参数进行初始化。
步骤S102：计算生成对抗网络模型的前向传播输出结果。
具体地，本实施例中采用无放回地的方式在预设训练集中随机抽取一定数量的图像，并根据当前生成对抗网络模型的权重参数，计算前向传播输出结果。
步骤S103：计算生成对抗网络模型的反向传播的梯度。
具体地，本实施例中根据步骤S102的计算结果，并采用链式求导算法，计算前述计算结果的偏导数。
步骤S104：采用神经网络优化算法(ADAptive Moment estimation，ADAM)，并根据步骤S103的计算结果，对生成对抗网络模型中所有节点的权重参数进行更新。
步骤S105：重复执行步骤S102～步骤S104，直至完成网络训练。本实施例中在重复执行步骤S102时，若预设训练集中的图像已经被抽样完毕，则将所有图像放回预设训练集后重新执行无放回的随机抽取。
本实施例中可以采用MultiPIE数据库中的遮挡人脸图像及其清晰人脸图像与遮挡图像作为训练集和测试集，并按照上述步骤S101～步骤S105对生成对抗网络模型进行网络训练。根据上述测试集对训练好的生成对抗网络模型进行测试，可以得到如下表1所示的测试结果：
表1
Figure BDA0001517635570000101
表1中TPR为真正类率，FRR为错误拒绝率。同时，表1中第一行表示采用常规人脸识别装置对遮挡人脸图像进行识别得到的准确率，第二行表示采用常规人脸识别装置对清晰人脸图像进行识别得到的准确率，第三行表示采用本发明公开的人脸识别装置对遮挡人脸图像进行去遮挡后，并依据去遮挡得到的清晰人脸图像进行识别得到的准确率。通过表1可以得到，本发明公开的人脸识别装置能够对遮挡人脸图像进行有效地人脸识别。
本领域技术人员可以理解，上述遮挡人脸图像识别装置还包括一些其他公知结构，例如处理器、控制器、存储器等，其中，存储器包括但不限于随机存储器、闪存、只读存储器、可编程只读存储器、易失性存储器、非易失性存储器、串行存储器、并行存储器或寄存器等，处理器包括但不限于CPLD/FPGA、DSP、ARM处理器、MIPS处理器等，为了不必要地模糊本公开的实施例，这些公知的结构未在图1中示出。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在本发明的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包括”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的PC来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (5)

1.一种遮挡人脸图像的识别装置，其特征在于，所述装置包括生成对抗网络模型，其配置为获取遮挡人脸图像，并对所获取的遮挡人脸图像进行人脸识别；所述生成对抗网络模型包括解耦网络模块、融合网络模块和优化训练模块；
所述解耦网络模块，配置为依据所述生成对抗网络模型所获取的遮挡人脸图像，预测清晰人脸图像和遮挡图像，其中，所述遮挡图像为所述遮挡人脸图像中遮挡图形所在的区域，且该区域未包含人脸信息；
所述融合网络模块，配置为依据所述解耦网络模块所预测的清晰人脸图像和遮挡图像，重建新的遮挡人脸图像；以及，依据所述生成对抗网络模型获取的清晰人脸图像和遮挡图像，预测遮挡人脸图像；所述解耦网络模块，进一步配置为依据所述融合网络模块所预测的遮挡人脸图像，重建新的清晰人脸图像和遮挡图像；
所述优化训练模块，配置为依据预设训练集，并按照下式所示的损失函数L对所述生成对抗网络模型进行网络训练，得到优化后的生成对抗网络模型：
L＝Lgan+λLcyc
其中，所述Lgan为对抗损失函数，所述Lcyc为循环一致性损失函数，所述λ为预设的权重参数；
所述对抗损失函数Lgan＝LGAN1+LGAN2，所述LGAN1为预设训练集中遮挡人脸图像与所述融合网络模块所预测的遮挡人脸图像之间的对抗损失函数，所述LGAN2为所述预设训练集中清晰人脸图像与所述解耦网络模块所预测的清晰人脸图像之间，以及所述预设训练集中遮挡图像与所述解耦网络模块所预测的遮挡图像之间的对抗损失函数；
所述循环一致性损失函数Lcyc＝LCYC1+LCYC2，所述LCYC1为预设训练集中遮挡人脸图像与所述融合网络模块所重建的遮挡人脸图像之间的一致性损失函数，所述LCYC2为所述预设训练集中清晰人脸图像与所述解耦网络模块所预测的清晰人脸图像之间，以及所述预设训练集中遮挡图像与所述解耦网络模块所预测的遮挡图像之间的一致性损失函数。
2.根据权利要求1所述的装置，其特征在于，
所述对抗损失函数LGAN1如下式所示：
Figure FDA0002397687650000021
其中，所述x、y与z分别为所述预设训练集中的遮挡人脸图像、清晰人脸图像与遮挡图像；所述Pdata(x)、Pdata(y)与Pdata(z)分别为所述图像x、y与z的分布；所述DX表示所述生成对抗网络模型中预设的遮挡人脸图像域判别器，所述E表示期望，所述F(y,z)为融合网络模块所预测的遮挡人脸图像。
3.根据权利要求2所述的装置，其特征在于，
所述对抗损失函数LGAN2如下式所示：
Figure FDA0002397687650000022
其中，所述
Figure FDA0002397687650000023
与
Figure FDA0002397687650000024
分别为所述解耦网络模块所重建的清晰人脸图像和遮挡图像；所述DY表示所述生成对抗网络模型中预设的清晰人脸图像域判别器，所述DZ表示所述生成对抗网络模型中预设的遮挡图像域判别器。
4.根据权利要求1所述的装置，其特征在于，
所述一致性损失函数LCYC1如下式所示：
Figure FDA0002397687650000031
其中，所述x为所述预设训练集中的遮挡人脸图像，所述Pdata(x)为所述图像x的分布；所述G表示解耦网络模块，所述F表示融合网络模块，所述G(x)为解耦网络模块所预测的清晰人脸图像和遮挡图像，所述F(G(x))为融合网络模块所重建的遮挡人脸图像；所述|| ||1表示L1范数，所述E表示期望。
5.根据权利要求4所述的装置，其特征在于，
所述一致性损失函数LCYC2如下式所示：
Figure FDA0002397687650000032
其中，所述y与z分别为所述预设训练集中的清晰人脸图像与遮挡图像；所述Pdata(y)与Pdata(z)分别为所述图像y与z的分布；所述F(y,z)为融合网络模块所预测的遮挡人脸图像，所述G(F(y,z))为解耦网络模块所重建的清晰人脸图像和遮挡图像。
CN201711391445.7A 2017-12-21 2017-12-21 遮挡人脸图像的识别装置 Active CN108229348B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711391445.7A CN108229348B (zh) 2017-12-21 2017-12-21 遮挡人脸图像的识别装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711391445.7A CN108229348B (zh) 2017-12-21 2017-12-21 遮挡人脸图像的识别装置

Publications (2)

Publication Number Publication Date
CN108229348A CN108229348A (zh) 2018-06-29
CN108229348B true CN108229348B (zh) 2020-04-28

Family

ID=62647618

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711391445.7A Active CN108229348B (zh) 2017-12-21 2017-12-21 遮挡人脸图像的识别装置

Country Status (1)

Country Link
CN (1) CN108229348B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109147010B (zh) * 2018-08-22 2023-07-25 广东工业大学 带属性人脸图像生成方法、装置、系统及可读存储介质
CN110059465B (zh) * 2019-04-24 2023-07-25 腾讯科技（深圳）有限公司 身份验证方法、装置及设备
CN110443174B (zh) * 2019-07-26 2021-08-10 浙江大学 一种基于解耦自适应判别性特征学习的行人重识别方法
CN110728628B (zh) * 2019-08-30 2022-06-17 南京航空航天大学 一种基于条件生成对抗网络的人脸去遮挡方法
CN110334698A (zh) * 2019-08-30 2019-10-15 上海聚虹光电科技有限公司 眼镜检测系统及方法
CN111077523B (zh) * 2019-12-13 2021-12-21 南京航空航天大学 一种基于生成对抗网络的逆合成孔径雷达成像方法
CN111914628B (zh) * 2020-06-19 2023-06-20 北京百度网讯科技有限公司 人脸识别模型的训练方法和装置
CN112507982B (zh) * 2021-02-02 2021-05-07 成都东方天呈智能科技有限公司 一种人脸特征码的跨模型转换系统及方法
CN113205035B (zh) * 2021-04-27 2023-06-30 安徽中科晶格技术有限公司 一种身份识别方法、装置、设备及存储介质
CN113435365B (zh) * 2021-06-30 2022-08-16 平安科技（深圳）有限公司 人脸图像迁移方法及装置
CN113592696A (zh) * 2021-08-12 2021-11-02 支付宝(杭州)信息技术有限公司 加密模型训练、图像加密和加密人脸图像识别方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107154023A (zh) * 2017-05-17 2017-09-12 电子科技大学 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006020658A1 (en) * 2004-08-09 2006-02-23 Johnny Yau Method and apparatus for ad hoc mesh routing

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107154023A (zh) * 2017-05-17 2017-09-12 电子科技大学 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Generative Adversarial Networks:Introduction and Outlook;Kunfeng Wang等;《IEEE/CAA JOURNAL OF AUTOMATICA SINICA》;20171015;第588-598页 *
生成式对抗网络GAN的研究进展与展望;王坤峰等;《自动化学报》;20170315;第321-332页 *

Also Published As

Publication number Publication date
CN108229348A (zh) 2018-06-29

Similar Documents

Publication Publication Date Title
CN108229348B (zh) 遮挡人脸图像的识别装置
CN108229349B (zh) 网纹人脸图像识别装置
WO2020169043A1 (zh) 一种密集人群计数的方法、装置、设备以及存储介质
Liu et al. Attribute-aware face aging with wavelet-based generative adversarial networks
CN111738351B (zh) 模型训练方法、装置、存储介质及电子设备
Etemad et al. An ant-inspired algorithm for detection of image edge features
Dodge et al. Human and DNN classification performance on images with quality distortions: A comparative study
CN112686385B (zh) 面向多站点三维影像的联邦深度学习方法及系统
CN111739115B (zh) 基于循环一致性的无监督人体姿态迁移方法、系统及装置
CN111291817B (zh) 图像识别方法、装置、电子设备和计算机可读介质
CN114117311B (zh) 数据访问风险检测方法、装置、计算机设备及存储介质
CN103559205A (zh) 基于MapReduce的并行特征选择方法
Leznik et al. Multivariate time series synthesis using generative adversarial networks
CN111667459A (zh) 一种基于3d可变卷积和时序特征融合的医学征象检测方法、系统、终端及存储介质
Fewster et al. Trace-contrast models for capture–recapture without capture histories
CN110135508B (zh) 模型训练方法、装置、电子设备及计算机可读存储介质
KR20160087740A (ko) 동영상에 포함된 객체의 운동 유형을 결정하기 위한 방법 및 장치
Muttenthaler et al. Improving neural network representations using human similarity judgments
Deka et al. SVD and PCA features for ANN based detection of diabetes using retinopathy
CN112966547A (zh) 一种基于神经网络的燃气现场异常行为识别预警方法、系统、终端及存储介质
CN104680118B (zh) 一种人脸属性检测模型生成方法及系统
CN111507455B (zh) 神经网络系统生成方法和装置、图像处理方法和电子设备
Aunali et al. Bayesian approach in control charts techniques
CN110211063B (zh) 一种图像处理方法、装置、电子设备和系统
CN110853012B (zh) 获得心脏参数的方法、装置及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant