CN108205659A - 人脸遮挡物去除及其模型构建的方法、设备及介质 - Google Patents
人脸遮挡物去除及其模型构建的方法、设备及介质 Download PDFInfo
- Publication number
- CN108205659A CN108205659A CN201711244466.6A CN201711244466A CN108205659A CN 108205659 A CN108205659 A CN 108205659A CN 201711244466 A CN201711244466 A CN 201711244466A CN 108205659 A CN108205659 A CN 108205659A
- Authority
- CN
- China
- Prior art keywords
- face
- network
- facial image
- occluder
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010276 construction Methods 0.000 title claims abstract description 31
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000001815 facial effect Effects 0.000 claims abstract description 104
- 238000012549 training Methods 0.000 claims abstract description 42
- 238000005516 engineering process Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 abstract description 17
- 238000000605 extraction Methods 0.000 abstract description 10
- 230000002349 favourable effect Effects 0.000 abstract description 8
- 230000000153 supplemental effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 9
- 210000002569 neuron Anatomy 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
Abstract
本发明公开了一种人脸遮挡物去除及其模型构建的方法、设备及介质，该人脸遮挡物去除模型的构建方法包括：获取训练数据集，训练数据集包括多张真实无遮挡人脸图像与被遮挡人脸图像；将真实无遮挡人脸图像与被遮挡人脸图像进行预处理；将经过预处理的被遮挡人脸图像输入生成网络，以得到对应于被遮挡人脸图像的仿真无遮挡人脸图像；将仿真无遮挡人脸图像与经过预处理的真实无遮挡人脸图像共同输入对抗网络进行区别分类，并更新生成网络和对抗网络的参数数值；重复第三和第四步骤，直至达到预定目标后记录参数数据。本发明不需要人工设计特征提取方式，图像的特征表示为人工神经网络的自动学习，扩展性好，模型可扩展用于任何类型的人脸遮挡物。
Description
技术领域
本发明涉及人工神经网络领域，特别是涉及一种人脸遮挡物去除及其模型构建的方法、设备及介质。
背景技术
人脸遮挡物主要指对人脸造成遮挡，影响人脸身份认定的日常佩戴物，如口罩和墨镜等。人脸遮挡物去除方法就是通过图像分析处理方式，将图像中的人脸遮挡物去除，生成五官清晰可见的人脸图像，并保留人脸原有的身份信息。现有技术的去除人脸遮挡物的方法，一方面是通过人工观察图像，并通过想象,近似描绘出被遮挡人脸的五官信息；另一方面是基于传统机器学习的方法来实现，即人工构造相应的人脸特征,并利用传统的机器学习方法，如稀疏表达和字典学习等，来重建人脸被遮挡的区域。
现有技术的缺点是：人工方法耗时耗力，并且受工作人员自身经验的影响很大。基于传统机器学习的方法将特征提取和模型学习分为两个独立的阶段，但是这两个过程无法进行统一优化，使得最终结果无法达到最优。另外，人工构造的特征提取方式依赖于人的经验，无法从海量数据中挖掘更加有效的特征。传统机器学习模型总的来说比较简单，难以有效学习高维数据之间高度复杂的变换关系。
发明内容
本发明实施例主要提供一种人脸遮挡物去除及其模型构建的方法、设备及介质，以解决现有技术在去除人脸遮挡物中，人工方法耗时耗力，而传统机器学习的方法又难以有效学习高维数据之间高度复杂的变换关系，导致去除人脸遮挡物耗时耗力并且处理过程比较复杂的问题。
为解决上述技术问题，本发明实施例采用的一技术方案如下：
一种人脸遮挡物去除模型的构建方法，其特征在于，该构建方法基于生成对抗网络所形成，所述生成对抗网络包括生成网络及对所述生成网络进行调优的对抗网络，该构建方法包括以下步骤：
1)获取训练数据集，所述训练数据集包括多张真实无遮挡人脸图像与被遮挡人脸图像；2)将所述真实无遮挡人脸图像与所述被遮挡人脸图像进行预处理；3)将经过预处理的所述被遮挡人脸图像输入所述生成网络，以得到对应于所述被遮挡人脸图像的仿真无遮挡人脸图像；4)将所述仿真无遮挡人脸图像与经过预处理的所述真实无遮挡人脸图像共同输入所述对抗网络，以让所述对抗网络对其进行区别分类，并更新生成网络和对抗网络的参数数值；5)重复第3)和第4)两个步骤，直至达到预定目标后，记录并保存此时的所述生成网络的网络结构与参数数值，并将其作为所述人脸遮挡物去除模型的网络结构与参数数值。
为解决上述技术问题，本发明实施例采用的另一技术方案如下：
一种人脸遮挡物的去除方法，其基于上述的人脸遮挡物去除模型的构建方法所构建的人脸遮挡物去除模型来实现，其包括以下步骤：
接收待去除遮挡物的人脸遮挡物图像的处理信号，并对所述人脸遮挡物图像进行预处理；读取预先保存的所述人脸遮挡物去除模型的网络结构与参数数值，以恢复生成对所述人脸遮挡物图像的处理信号进行处理的目标生成网络；将所述人脸遮挡物图像输入所述目标生成网络进行处理，以输出无遮挡物且保留所述人脸遮挡物图像原有脸部信息的人脸图像。
为解决上述技术问题，本发明实施例采用的又一技术方案如下：
一种终端设备，其包括处理器、存储器及存储于所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述的人脸遮挡物去除模型的构建方法，或实现实现如上述的人脸遮挡物的去除方法。
为解决上述技术问题，本发明实施例采用的再一技术方案如下：
一种存储介质，其上存储有计算机程序，所述计算机程序被执行时实现如上述的人脸遮挡物去除模型的构建方法，或实现实现如上述的人脸遮挡物的去除方法。
本发明实施例的有益效果是：区别于现有技术的情况，本发明实施例通过使用训练数据训练预先设计的生成对抗网络来形成模型文件，通过读取预先保存的模型文件中的网络结构与参数数值，以生成目标生成网络，然后将所述人脸遮挡物图像输入所述目标生成网络进行处理，以输出无遮挡物且保留所述人脸遮挡物图像原有脸部信息的人脸图像，不需要人工设计特征提取方式，图像的特征表示为人工神经网络的自动学习，扩展性好，在获得充分训练数据的情况下，模型可以扩展用于任何类型的人脸遮挡物。
附图说明
图1是本发明实施例一的人脸遮挡物去除模型的构建方法一实施方式的实施流程图；
图2是本发明实施例二的人脸遮挡物的去除方法一实施方式的实施流程图；
图3是本发明实施例的人脸样本图像或待去除遮挡物的人脸遮挡物图像的预处理应用流程示意图；
图4是本发明实施例的使用训练数据训练生成对抗网络的应用示意图；
图5是本发明实施例的将待去除人脸遮挡物输入目标生成网络并输入无遮挡人脸遮挡物的应用流程示意图；
图6是本发明实施例的一种终端设备一实施方式的部分框架示意图；
图7是本发明实施例的一种存储介质一实施方式的部分框架示意图。
具体实施方式
实施例一
图1是本发明实施例一的人脸遮挡物去除模型的构建方法一实施方式的实施流程图，结合图1可以得出，本发明实施例的一种人脸遮挡物去除模型的构建方法，其基于预先设计好的生成对抗网络所形成，生成对抗网络为人工神经网络的一种，其分为两个子网络，第一个子网络为生成网络，用于生成符合某种特性X的图像，第二个子网络为对抗网络，用于区分生成的图像与符合特性X的真实图像，即所述生成对抗网络包括生成网络及对所述生成网络进行调优的对抗网络，该构建方法包括以下步骤：
步骤S101：获取训练数据集，所述训练数据集包括多张真实无遮挡人脸图像与被遮挡人脸图像。
具体的，本方法需要事先构造训练数据集来训练人工神经网络。训练数据集构造方法如下：1)人工收集大量包含人脸的图像，每张图像包含且仅包含一张人脸图像；2)将收集的人脸图像进行标注，如人脸未被遮挡，则标注为0，否则标注为1；3)数据平衡：调整数据集中被遮挡人脸图像和未被遮挡人脸图像的数目，使得两类图像数目大致相当。
整个训练数据集记为S，其中，未被遮挡人脸图像子集记为S0,被遮挡人脸图像子集记为S1。
其中，模型构建过程是采用上述收集到的训练数据集来训练预先设计好的人工神经网络。人工神经网络分为网络结构和参数数值两部分。网络结构定义了人工神经网络中人工神经元的类型、数目以及相互连接方式，每个神经元都由特定数量的参数来表示，当网络结构设计好后，整个人工神经网络的参数数目就不再发生变化。参数数值指的是上述人工神经网络参数的具体取值，只有这些参数取值满足一定条件时，才能使得人工神经网络完成某种特定的功能，如：将输入的遮挡人脸图像转换为无遮挡的人脸图像。参数数值的确定通过模型训练来完成。
步骤S102：将所述真实无遮挡人脸图像S0与所述被遮挡人脸图像S1进行预处理。
在本步骤中，所述预处理的方式具体包括：
第一步，估计每个所述人脸样本图像的人脸关键点在图像中的位置，所述人脸关键点包括人脸的左眼、右眼与嘴巴。
第二步，根据人脸关键点估计的结果，将每个所述人脸样本图像进行仿射变换，并移动所述人脸关键点至目标位置。这个标准位置可通过人工定义，也可以通过统计大量人脸图像数据的平均值得到。通过图像预处理，所有的人脸样本图像都归一化到同一个大小，且人脸在图像中的位置保持一致。
如图3所示，图3是本发明实施例的人脸样本图像的预处理应用流程示意图，左边的框图为待预处理的人脸样本图像11，中间的框图为估计好人脸关键点之后人脸样本图像12，右边为人脸关键点移动到图像中的标准位置后的人脸样本图像13。
步骤S103：将经过预处理的所述被遮挡人脸图像输入所述生成网络，以得到对应于所述被遮挡人脸图像的仿真无遮挡人脸图像。
步骤S104：将所述仿真无遮挡人脸图像与经过预处理的所述真实无遮挡人脸图像共同输入所述对抗网络，以让所述对抗网络对其进行区别分类，并更新生成网络和对抗网络的参数数值。
图4是本发明实施例的使用训练数据训练生成对抗网络的应用示意图，步骤S103和步骤S104的训练过程如图4所示。
本实施例将最终能完成“遮挡人脸图像向无遮挡人脸图像转换”功能的人工神经网络记为生成网络G2，其参数集合记为W1。本实施例采用的训练图像子集S0和S1之间并不需要任何配对关系，因此大大减小了训练数据准备的难度。
基于非配对图像子集S0和S1训练生成网络G2，还依赖于一个额外的人工神经网络，即对抗网络D5，其参数集合记为W2。生成网络G2和对抗网络D5结合即构成了生成对抗网络。如图4所示，训练过程中，生成网络G2的输入为被遮挡人脸图像1(来自于训练数据子集S1)，模型构建的目标是通过优化调整W1的数值，使得生成网络G2的输出为对应于输入被遮挡人脸图像1的无遮挡人脸图像3。对抗网络D5的输入包括两部分，一部分是真实无遮挡人脸图像4(来自于训练数据子集S0)，另一部分是由生成网络G2输出的仿真无遮挡人脸图像3。对抗网络D5的训练目标是通过优化调整W2的数值，使得对抗网络D5能够将真实无遮挡人脸图像4和由生成网络G2输出的仿真无遮挡人脸图像3区分开(即进行二分类)。生成网络G2和对抗网络D5同时进行训练，相互影响、相互促进。
详细的训练过程如下：
1)从训练图像子集S1中随机采样一张被遮挡人脸图像x，并输入生成网络G，得到输出图像y1＝G(x)；
2)从训练图像子集S0中随机采样一张真实无遮挡人脸图像y2，并分别将y1和y2输入对抗网络D，得到判断两个图像为真实无遮挡人脸图像的概率：P1＝D(y1)＝D(G(x))，P2＝D(y2)；
3)采用如下公式更新对抗网络D参数集合W2的数值：
maxW2V(W1，W2)＝logD(y)+log(1-D(G(x)))；
4)采用如下公式更新对抗网络G的参数数值：
minW1V(W1，W2)＝-log(D(G(x))；
重复步骤1)到步骤4)，直到参数集合W1和W2的数值都不再发生明显的变化后，将生成网络G的网络结构和参数集合W1的数值保存下来，形成模型文件。
步骤S105：重复步骤S103和步骤S104两个步骤，直至达到预定目标后，记录并保存此时的所述生成网络的网络结构与参数数值，并将其作为所述人脸遮挡物去除模型的网络结构与参数数值。其中，步骤S101～S104为对生成网络和对抗网络进行的一次训练。
在本实施例中，可选地，将所述仿真无遮挡人脸图像与经过预处理的所述真实无遮挡人脸图像共同输入所述对抗网络，以让所述对抗网络对其进行区别分类，具体包括：
第一步，将所述仿真无遮挡人脸图像与经过预处理的所述真实无遮挡人脸图像同时输入所述对抗网络。
第二步，判断所述对抗网络是否能够将所述仿真无遮挡人脸图像与所述真实无遮挡人脸图像区别分类。
第三步，若不是，则停止上述训练，并保存此时的所述生成网络的网络结构与参数数值，将其作为所述人脸遮挡物去除模型的网络结构与参数数值。
在本实施例中，可选地，若所述对抗网络能将所述仿真无遮挡人脸图像与所述真实无遮挡人脸图像区别分类，则还包括：
继续使用所述训练数据集训练所述生成网络与所述对抗网络，直至所述对抗网络不能够将所述仿真无遮挡人脸图像与所述真实无遮挡人脸图像区别分类。
在本实施例中，可选地，判断所述对抗网络是否能够将所述仿真无遮挡人脸图像与所述真实无遮挡人脸图像区别分类，具体包括：
第一步，判断所述对抗网络是否能够识别出所述仿真无遮挡人脸图像是经由所述被遮挡人脸图像通过所述生成网络后输出的生成图像；
第二步，若是，则判定所述对抗网络能够将所述仿真无遮挡人脸图像与所述真实无遮挡人脸图像区别分类，否则判定所述对抗网络不能够将所述仿真无遮挡人脸图像与所述真实无遮挡人脸图像区别分类。
在本实施例中，可选地，所述真实无遮挡人脸图像与所述被遮挡人脸图像为非配对人脸图像。
本发明实施例通过使用训练数据训练预先设计的生成对抗网络来形成模型文件，不需要人工设计特征提取方式，图像的特征表示为人工神经网络的自动学习，扩展性好，在获得充分训练数据的情况下，模型可以扩展用于任何类型的人脸遮挡物。
实施例二
图2是本发明实施例二的人脸遮挡物的去除方法一实施方式的实施流程图，结合参阅图可以得出，本发明实施例的一种人脸遮挡物的去除方法，其基于实施例一所述的人脸遮挡物去除模型的构建方法所构建的人脸遮挡物去除模型来实现，去除人脸遮挡物的过程即人脸遮挡物去除模型的应用过程：其包括以下步骤：
步骤S201：接收待去除遮挡物的人脸遮挡物图像的处理信号，并对所述人脸遮挡物图像进行预处理。
步骤S202：读取预先保存的所述人脸遮挡物去除模型的网络结构与参数数值，以恢复生成对所述人脸遮挡物图像的处理信号进行处理的目标生成网络。
步骤S203：将所述人脸遮挡物图像输入所述目标生成网络进行处理，经过网络计算处理，以输出无遮挡物且保留所述人脸遮挡物图像原有脸部信息的人脸图像。
去除人脸遮挡物的过程即模型应用的过程：1)从保存的模型文件中读取网络结构和参数数值W1，恢复出生成网络；2)将预处理之后的被遮挡人脸图像输入生成网络，经过网络计算处理，输出即为无遮挡的人脸图像。
在本实施例中，可选地，对所述待去除遮挡物的人脸遮挡物图像预处理的方式和对所述训练数据集预处理的方式相同。
在本实施例中，可选地，所述预处理的方式具体包括：
第一步，估计每个所述人脸样本图像的人脸关键点在图像中的位置，所述人脸关键点包括人脸的左眼、右眼与嘴巴；
第二步，将每个所述人脸样本图像进行仿射变换，并移动所述人脸关键点至目标位置。
本发明实施例通过使用训练数据训练预先设计的生成对抗网络来形成模型文件，通过读取预先保存的模型文件中的网络结构与参数数值，以生成目标生成网络，然后将所述人脸遮挡物图像输入所述目标生成网络进行处理，以输出无遮挡物且保留所述人脸遮挡物图像原有脸部信息的人脸图像，不需要人工设计特征提取方式，图像的特征表示为人工神经网络的自动学习，扩展性好，在获得充分训练数据的情况下，模型可以扩展用于任何类型的人脸遮挡物。
实施例三
请参阅图6，参考图6可以看到，本发明实施例的一种终端设备20，其包括处理器21、存储器22及存储于所述存储器22上并可在所述处理器21上运行的计算机程序221，所述处理器21执行所述计算机程序221时实现如实施例一或实施例二所述的人脸遮挡物的去除方法。由于该人脸遮挡物的去除方法已经在实施例一和实施例二进行了详细的说明，在此不再重复说明。
本发明实施例实现的人脸遮挡物去除模型的构建方法，通过使用训练数据训练预先设计的生成对抗网络来形成模型文件，不需要人工设计特征提取方式，图像的特征表示为人工神经网络的自动学习，扩展性好，在获得充分训练数据的情况下，模型可以扩展用于任何类型的人脸遮挡物。本发明实施例实现的人脸遮挡物的去除方法，通过读取预先保存的模型文件中的网络结构与参数数值，以生成目标生成网络，然后将所述人脸遮挡物图像输入所述目标生成网络进行处理，以输出无遮挡物且保留所述人脸遮挡物图像原有脸部信息的人脸图像，不需要人工设计特征提取方式，图像的特征表示为人工神经网络的自动学习，扩展性好。
实施例四
请参阅图7，参考图7可以看到，本发明实施例的一种存储介质30，所述的存储介质30，如：ROM/RAM、磁碟、光盘等，其上存储有计算机程序31，所述计算机程序31被执行时实现如实施例一或实施例二所述的人脸遮挡物的去除方法。由于该人脸遮挡物的去除方法已经在实施例一和实施例二进行了详细的说明，在此不再重复说明。
本发明实施例实现的人脸遮挡物去除模型的构建方法，通过使用训练数据训练预先设计的生成对抗网络来形成模型文件，不需要人工设计特征提取方式，图像的特征表示为人工神经网络的自动学习，扩展性好，在获得充分训练数据的情况下，模型可以扩展用于任何类型的人脸遮挡物。本发明实施例实现的人脸遮挡物的去除方法，通过读取预先保存的模型文件中的网络结构与参数数值，以生成目标生成网络，然后将所述人脸遮挡物图像输入所述目标生成网络进行处理，以输出无遮挡物且保留所述人脸遮挡物图像原有脸部信息的人脸图像，不需要人工设计特征提取方式，图像的特征表示为人工神经网络的自动学习，扩展性好。
以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种人脸遮挡物去除模型的构建方法，其特征在于，该构建方法基于生成对抗网络所形成，所述生成对抗网络包括生成网络及对所述生成网络进行调优的对抗网络，该构建方法包括以下步骤：
1)获取训练数据集，所述训练数据集包括多张真实无遮挡人脸图像与被遮挡人脸图像；
2)将所述真实无遮挡人脸图像与所述被遮挡人脸图像进行预处理；
3)将经过预处理的所述被遮挡人脸图像输入所述生成网络，以得到对应于所述被遮挡人脸图像的仿真无遮挡人脸图像；
4)将所述仿真无遮挡人脸图像与经过预处理的所述真实无遮挡人脸图像共同输入所述对抗网络，以让所述对抗网络对其进行区别分类，并更新生成网络和对抗网络的参数数值；
5)重复第3)和第4)两个步骤，直至达到预定目标后，记录并保存此时的所述生成网络的网络结构与参数数值，并将其作为所述人脸遮挡物去除模型的网络结构与参数数值。
2.根据权利要求1所述的人脸遮挡物去除模型的构建方法，其特征在于，将所述仿真无遮挡人脸图像与经过预处理的所述真实无遮挡人脸图像共同输入所述对抗网络，以让所述对抗网络对其进行区别分类，具体包括：
将所述仿真无遮挡人脸图像与经过预处理的所述真实无遮挡人脸图像同时输入所述对抗网络；
判断所述对抗网络是否能够将所述仿真无遮挡人脸图像与所述真实无遮挡人脸图像区别分类；
若不是，则停止上述训练，并保存此时的所述生成网络的网络结构与参数数值，将其作为所述人脸遮挡物去除模型的网络结构与参数数值。
3.根据权利要求2所述的人脸遮挡物去除模型的构建方法，其特征在于，若所述对抗网络能将所述仿真无遮挡人脸图像与所述真实无遮挡人脸图像区别分类，则还包括：
继续使用所述训练数据集训练所述生成网络与所述对抗网络，直至所述对抗网络不能够将所述仿真无遮挡人脸图像与所述真实无遮挡人脸图像区别分类。
4.根据权利要求2或3所述的人脸遮挡物去除模型的构建方法，其特征在于，判断所述对抗网络是否能够将所述仿真无遮挡人脸图像与所述真实无遮挡人脸图像区别分类，具体包括：
判断所述对抗网络是否能够识别出所述仿真无遮挡人脸图像是经由所述被遮挡人脸图像通过所述生成网络后输出的生成图像；
若是，则判定所述对抗网络能够将所述仿真无遮挡人脸图像与所述真实无遮挡人脸图像区别分类。
5.根据权利要求1所述的人脸遮挡物去除模型的构建方法，其特征在于，所述真实无遮挡人脸图像与所述被遮挡人脸图像为非配对人脸图像。
6.一种人脸遮挡物的去除方法，其特征在于，其基于权利要求1～5任一项所述的人脸遮挡物去除模型的构建方法所构建的人脸遮挡物去除模型来实现，其包括以下步骤：
接收待去除遮挡物的人脸遮挡物图像的处理信号，并对所述人脸遮挡物图像进行预处理；
读取预先保存的所述人脸遮挡物去除模型的网络结构与参数数值，以恢复生成对所述人脸遮挡物图像的处理信号进行处理的目标生成网络；
将所述人脸遮挡物图像输入所述目标生成网络进行处理，以输出无遮挡物且保留所述人脸遮挡物图像原有脸部信息的人脸图像。
7.根据权利要求6所述的人脸遮挡物的去除方法，其特征在于，对所述待去除遮挡物的人脸遮挡物图像预处理的方式和对所述训练数据集预处理的方式相同。
8.根据权利要求7所述的人脸遮挡物的去除方法，其特征在于，所述预处理的方式具体包括：
估计每个所述人脸样本图像的人脸关键点在图像中的位置，所述人脸关键点包括人脸的左眼、右眼与嘴巴；
将每个所述人脸样本图像进行仿射变换，并移动所述人脸关键点至目标位置。
9.一种终端设备，其特征在于，其包括处理器、存储器及存储于所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1～5所述的人脸遮挡物去除模型的构建方法，或实现如权利要求6～8所述的人脸遮挡物的去除方法。
10.一种存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被执行时实现如权利要求1～5所述的人脸遮挡物去除模型的构建方法，或实现如权利要求6～8所述的人脸遮挡物的去除方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711244466.6A CN108205659A (zh) | 2017-11-30 | 2017-11-30 | 人脸遮挡物去除及其模型构建的方法、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711244466.6A CN108205659A (zh) | 2017-11-30 | 2017-11-30 | 人脸遮挡物去除及其模型构建的方法、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108205659A true CN108205659A (zh) | 2018-06-26 |
Family
ID=62603852
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711244466.6A Pending CN108205659A (zh) | 2017-11-30 | 2017-11-30 | 人脸遮挡物去除及其模型构建的方法、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108205659A (zh) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109117736A (zh) * | 2018-07-19 | 2019-01-01 | 厦门美图之家科技有限公司 | 一种判定人脸点可见性的方法及计算设备 |
| CN109635774A (zh) * | 2018-12-21 | 2019-04-16 | 中山大学 | 一种基于生成对抗网络的人脸合成方法 |
| CN109951635A (zh) * | 2019-03-18 | 2019-06-28 | Oppo广东移动通信有限公司 | 拍照处理方法、装置、移动终端以及存储介质 |
| CN110135305A (zh) * | 2019-04-30 | 2019-08-16 | 百度在线网络技术（北京）有限公司 | 用于疲劳度检测的方法、装置、设备和介质 |
| CN110659566A (zh) * | 2019-08-15 | 2020-01-07 | 重庆特斯联智慧科技股份有限公司 | 一种遮挡状态下的目标跟踪方法及系统 |
| CN110689479A (zh) * | 2019-09-26 | 2020-01-14 | 北京达佳互联信息技术有限公司 | 一种人脸上妆方法、装置、设备及介质 |
| CN110728628A (zh) * | 2019-08-30 | 2020-01-24 | 南京航空航天大学 | 一种基于条件生成对抗网络的人脸去遮挡方法 |
| CN111126402A (zh) * | 2019-11-04 | 2020-05-08 | 北京海益同展信息科技有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
| CN111275651A (zh) * | 2020-02-25 | 2020-06-12 | 东南大学 | 一种基于对抗神经网络的人脸有光去除方法 |
| CN111353069A (zh) * | 2020-02-04 | 2020-06-30 | 清华珠三角研究院 | 一种人物场景视频生成方法、系统、装置及存储介质 |
| CN111382601A (zh) * | 2018-12-28 | 2020-07-07 | 河南中原大数据研究院有限公司 | 生成对抗网络模型的光照人脸图像识别预处理系统及方法 |
| CN111612798A (zh) * | 2020-05-15 | 2020-09-01 | 中南大学 | 面向人脸数据对完整的人脸网纹修复方法、系统及介质 |
| CN111738092A (zh) * | 2020-05-28 | 2020-10-02 | 华南理工大学 | 一种基于深度学习的恢复被遮挡人体姿态序列方法 |
| CN112257627A (zh) * | 2020-10-29 | 2021-01-22 | 上海交通大学 | 一种水上图像数据集扩展方法 |
| CN112766208A (zh) * | 2021-01-28 | 2021-05-07 | 北京三快在线科技有限公司 | 一种模型训练的方法及装置 |
| WO2021218238A1 (zh) * | 2020-04-29 | 2021-11-04 | 华为技术有限公司 | 图像处理方法和图像处理装置 |
| KR20230018316A (ko) * | 2021-07-29 | 2023-02-07 | 이광희 | 신경망 모델을 이용한 마스크 착용 얼굴 이미지 복원 방법 |
| WO2023008811A3 (ko) * | 2021-07-29 | 2023-03-23 | 이광희 | 신경망 모델을 이용한 마스크 착용 얼굴 이미지 복원 방법 |
| CN116311568A (zh) * | 2023-05-16 | 2023-06-23 | 广州铭创通讯科技有限公司 | 一种基于etc的停车场人脸识别快速扣费方法及装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106022221A (zh) * | 2016-05-09 | 2016-10-12 | 腾讯科技（深圳）有限公司 | 一种图像处理方法及处理系统 |
| CN106910176A (zh) * | 2017-03-02 | 2017-06-30 | 中科视拓（北京）科技有限公司 | 一种基于深度学习的人脸图像去遮挡方法 |
| CN107016406A (zh) * | 2017-02-24 | 2017-08-04 | 中国科学院合肥物质科学研究院 | 基于生成式对抗网络的病虫害图像生成方法 |
| CN107016370A (zh) * | 2017-04-10 | 2017-08-04 | 电子科技大学 | 一种基于数据增强的部分遮挡人脸识别方法 |
| CN107293289A (zh) * | 2017-06-13 | 2017-10-24 | 南京医科大学 | 一种基于深度卷积生成对抗网络的语音生成方法 |
| AU2017101166A4 (en) * | 2017-08-25 | 2017-11-02 | Lai, Haodong MR | A Method For Real-Time Image Style Transfer Based On Conditional Generative Adversarial Networks |
| CN107392118A (zh) * | 2017-07-04 | 2017-11-24 | 竹间智能科技（上海）有限公司 | 基于多任务对抗生成网络的强化人脸属性识别方法及系统 |
-
2017
- 2017-11-30 CN CN201711244466.6A patent/CN108205659A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106022221A (zh) * | 2016-05-09 | 2016-10-12 | 腾讯科技（深圳）有限公司 | 一种图像处理方法及处理系统 |
| CN107016406A (zh) * | 2017-02-24 | 2017-08-04 | 中国科学院合肥物质科学研究院 | 基于生成式对抗网络的病虫害图像生成方法 |
| CN106910176A (zh) * | 2017-03-02 | 2017-06-30 | 中科视拓（北京）科技有限公司 | 一种基于深度学习的人脸图像去遮挡方法 |
| CN107016370A (zh) * | 2017-04-10 | 2017-08-04 | 电子科技大学 | 一种基于数据增强的部分遮挡人脸识别方法 |
| CN107293289A (zh) * | 2017-06-13 | 2017-10-24 | 南京医科大学 | 一种基于深度卷积生成对抗网络的语音生成方法 |
| CN107392118A (zh) * | 2017-07-04 | 2017-11-24 | 竹间智能科技（上海）有限公司 | 基于多任务对抗生成网络的强化人脸属性识别方法及系统 |
| AU2017101166A4 (en) * | 2017-08-25 | 2017-11-02 | Lai, Haodong MR | A Method For Real-Time Image Style Transfer Based On Conditional Generative Adversarial Networks |
Non-Patent Citations (3)
| Title |
|---|
| CHAO GOU: "Learning-by-Synthesis for Accurate Eye Detection", 《2016 23RD INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION (ICPR)》 * |
| 王坤峰等: "生成式对抗网络GAN的研究进展与展望", 《自动化学报》 * |
| 陈宗海主编: "《系统仿真技术及其应用 第18卷》", 31 August 2017 * |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109117736A (zh) * | 2018-07-19 | 2019-01-01 | 厦门美图之家科技有限公司 | 一种判定人脸点可见性的方法及计算设备 |
| CN109635774A (zh) * | 2018-12-21 | 2019-04-16 | 中山大学 | 一种基于生成对抗网络的人脸合成方法 |
| CN109635774B (zh) * | 2018-12-21 | 2022-09-13 | 中山大学 | 一种基于生成对抗网络的人脸合成方法 |
| CN111382601A (zh) * | 2018-12-28 | 2020-07-07 | 河南中原大数据研究院有限公司 | 生成对抗网络模型的光照人脸图像识别预处理系统及方法 |
| CN109951635A (zh) * | 2019-03-18 | 2019-06-28 | Oppo广东移动通信有限公司 | 拍照处理方法、装置、移动终端以及存储介质 |
| CN110135305A (zh) * | 2019-04-30 | 2019-08-16 | 百度在线网络技术（北京）有限公司 | 用于疲劳度检测的方法、装置、设备和介质 |
| CN110659566A (zh) * | 2019-08-15 | 2020-01-07 | 重庆特斯联智慧科技股份有限公司 | 一种遮挡状态下的目标跟踪方法及系统 |
| CN110728628A (zh) * | 2019-08-30 | 2020-01-24 | 南京航空航天大学 | 一种基于条件生成对抗网络的人脸去遮挡方法 |
| CN110689479A (zh) * | 2019-09-26 | 2020-01-14 | 北京达佳互联信息技术有限公司 | 一种人脸上妆方法、装置、设备及介质 |
| CN110689479B (zh) * | 2019-09-26 | 2023-05-30 | 北京达佳互联信息技术有限公司 | 一种人脸上妆方法、装置、设备及介质 |
| CN111126402A (zh) * | 2019-11-04 | 2020-05-08 | 北京海益同展信息科技有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
| CN111126402B (zh) * | 2019-11-04 | 2023-11-03 | 京东科技信息技术有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
| WO2021088729A1 (zh) * | 2019-11-04 | 2021-05-14 | 京东数科海益信息科技有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
| CN111353069A (zh) * | 2020-02-04 | 2020-06-30 | 清华珠三角研究院 | 一种人物场景视频生成方法、系统、装置及存储介质 |
| CN111275651A (zh) * | 2020-02-25 | 2020-06-12 | 东南大学 | 一种基于对抗神经网络的人脸有光去除方法 |
| WO2021218238A1 (zh) * | 2020-04-29 | 2021-11-04 | 华为技术有限公司 | 图像处理方法和图像处理装置 |
| CN111612798A (zh) * | 2020-05-15 | 2020-09-01 | 中南大学 | 面向人脸数据对完整的人脸网纹修复方法、系统及介质 |
| CN111738092A (zh) * | 2020-05-28 | 2020-10-02 | 华南理工大学 | 一种基于深度学习的恢复被遮挡人体姿态序列方法 |
| CN111738092B (zh) * | 2020-05-28 | 2024-03-29 | 华南理工大学 | 一种基于深度学习的恢复被遮挡人体姿态序列方法 |
| CN112257627B (zh) * | 2020-10-29 | 2022-10-25 | 上海交通大学 | 一种水上图像数据集扩展方法 |
| CN112257627A (zh) * | 2020-10-29 | 2021-01-22 | 上海交通大学 | 一种水上图像数据集扩展方法 |
| CN112766208A (zh) * | 2021-01-28 | 2021-05-07 | 北京三快在线科技有限公司 | 一种模型训练的方法及装置 |
| KR20230018316A (ko) * | 2021-07-29 | 2023-02-07 | 이광희 | 신경망 모델을 이용한 마스크 착용 얼굴 이미지 복원 방법 |
| WO2023008811A3 (ko) * | 2021-07-29 | 2023-03-23 | 이광희 | 신경망 모델을 이용한 마스크 착용 얼굴 이미지 복원 방법 |
| KR102547630B1 (ko) * | 2021-07-29 | 2023-06-26 | 이광희 | 신경망 모델을 이용한 마스크 착용 얼굴 이미지 복원 방법 |
| CN116311568A (zh) * | 2023-05-16 | 2023-06-23 | 广州铭创通讯科技有限公司 | 一种基于etc的停车场人脸识别快速扣费方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108205659A (zh) | 人脸遮挡物去除及其模型构建的方法、设备及介质 | |
| CN108520503B (zh) | 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法 | |
| CN109886167A (zh) | 一种遮挡人脸识别方法及装置 | |
| CN108388876A (zh) | 一种图像识别方法、装置以及相关设备 | |
| CN109508644B (zh) | 基于深度视频数据分析的面瘫等级评估系统 | |
| CN109934197A (zh) | 人脸识别模型的训练方法、装置和计算机可读存储介质 | |
| CN107545245A (zh) | 一种年龄估计方法及设备 | |
| CN107016406A (zh) | 基于生成式对抗网络的病虫害图像生成方法 | |
| CN106909938B (zh) | 基于深度学习网络的视角无关性行为识别方法 | |
| CN113724880A (zh) | 一种异常脑连接预测系统、方法、装置及可读存储介质 | |
| CN108182409A (zh) | 活体检测方法、装置、设备及存储介质 | |
| CN102136024B (zh) | 生物特征识别性能测评和诊断优化系统 | |
| CN111652827A (zh) | 一种基于生成对抗网络的正面人脸合成方法及系统 | |
| CN109711283A (zh) | 一种联合双字典和误差矩阵的遮挡表情识别算法 | |
| CN112131908A (zh) | 基于双流网络的动作识别方法、装置、存储介质及设备 | |
| CN108053398A (zh) | 一种半监督特征学习的黑色素瘤自动检测方法 | |
| CN107993221A (zh) | 心血管光学相干断层oct图像易损斑块自动识别方法 | |
| CN108009481A (zh) | 一种cnn模型的训练方法及装置、人脸识别方法及装置 | |
| CN112836602B (zh) | 基于时空特征融合的行为识别方法、装置、设备及介质 | |
| Sun et al. | A GAN-based domain adaptation method for glaucoma diagnosis | |
| CN107944366A (zh) | 一种基于属性学习的手指静脉识别方法及装置 | |
| Shamkuwar et al. | An expert system for plant disease diagnosis by using neural network | |
| CN116912253A (zh) | 基于多尺度混合神经网络的肺癌病理图像分类方法 | |
| CN111612739A (zh) | 一种基于深度学习的脑梗死分类方法 | |
| CN110992320A (zh) | 一种基于双重交错的医学图像分割网络 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20220920 |
|
| AD01 | Patent right deemed abandoned |