CN110399764A - 人脸识别方法、装置及计算机可读介质 - Google Patents
人脸识别方法、装置及计算机可读介质 Download PDFInfo
- Publication number
- CN110399764A CN110399764A CN201810377370.5A CN201810377370A CN110399764A CN 110399764 A CN110399764 A CN 110399764A CN 201810377370 A CN201810377370 A CN 201810377370A CN 110399764 A CN110399764 A CN 110399764A
- Authority
- CN
- China
- Prior art keywords
- image
- network
- face
- training sample
- mentioned
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000012549 training Methods 0.000 claims abstract description 154
- 230000001815 facial effect Effects 0.000 claims abstract description 116
- 230000006870 function Effects 0.000 claims description 47
- 238000004590 computer program Methods 0.000 claims description 14
- 230000009466 transformation Effects 0.000 claims description 12
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 11
- 239000012141 concentrate Substances 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 6
- 241000208340 Araliaceae Species 0.000 claims description 5
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 5
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 5
- 238000012512 characterization method Methods 0.000 claims description 5
- 235000008434 ginseng Nutrition 0.000 claims description 5
- 239000000203 mixture Substances 0.000 claims description 2
- 235000013399 edible fruits Nutrition 0.000 claims 2
- 239000000523 sample Substances 0.000 description 80
- 238000010586 diagram Methods 0.000 description 12
- 239000013074 reference sample Substances 0.000 description 11
- 238000012795 verification Methods 0.000 description 9
- 239000011521 glass Substances 0.000 description 8
- 238000013507 mapping Methods 0.000 description 8
- 230000002093 peripheral effect Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种人脸识别方法、装置及计算机可读介质，该方法包括：获得待识别的人脸图像；将所述待识别的人脸图像输入到训练得到的图像重构网络进行重构，得到未戴配件的人脸重构图像；利用人脸识别网络对所述人脸重构图像进行人脸识别，得到识别结果；其中，所述图像重构网络为训练后的第一网络，所述人脸识别网络为训练后的第二网络，所述第一网络的输出为所述第二网络的输入，所述第二网络输出的识别结果与实际结果之间的差异用于更新所述第一网络中的权重参数以及所述第二网络中的权重参数。实施本发明实施例可以对戴配件的人脸图像和未戴配件的人脸图像进行人脸识别，操作简单、准确率高。
Description
技术领域
本发明涉及人脸识别技术领域，尤其涉及一种人脸识别方法、装置及计算机可读介质。
背景技术
人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。人脸识别产品已广泛应用于金融、司法、军队、公安、边检、政府、航天、电力、工厂、教育、医疗及众多企事业单位等领域。随着技术的进一步成熟和社会认同度的提高，人脸识别技术将应用在更多的领域。
目前大多数的人脸识别技术对于人脸图像的要求较高，且对于戴配件的人脸图像的识别准确率较差，例如佩戴眼镜、帽子、口罩等对部分人脸进行遮挡。然而，对于一些特定领域，例如司法、军队、公安、边检等等，对于戴配件的人脸图像识别往往有较高的准确性要求，而目前对于此类识别准确性很差。随着日常生活中人们配戴配件的比例越来越高，配件的遮挡成为人脸识别中亟需解决的一个问题。目前，人脸识别方法大多基于传统计算机视觉处理方法。当前采用的一种人脸识别方法是检测出人脸图像中的配件区域，利用配件区域的位置以及配件周边的像素对配件区域进行插值处理来去除配件，得到去除配件后的人脸图像；依据去除配件后的人脸图像进行人脸识别。
采用上述技术方案需要使用配件周边像素对配件区域进行插值，对于图像的质量要求较高，当图像中存在较大光照变化或人脸存在姿态变化(如侧脸)时，该类插值法效果很差。
发明内容
本申请提供一种人脸识别方法，可对戴配件的人脸图像以及未戴配件的人脸图像进行人脸识别，操作简单、准确率高。
第一方面，本申请提供一种人脸识别方法，该方法包括：
获得待识别的人脸图像；
将所述待识别的人脸图像输入到训练得到的图像重构网络进行重构，得到未戴配件的人脸重构图像；
利用人脸识别网络对所述人脸重构图像进行人脸识别，得到识别结果；其中，所述图像重构网络为训练后的第一网络，所述人脸识别网络为训练后的第二网络，所述第一网络的输出为所述第二网络的输入，所述第二网络输出的识别结果与实际结果之间的差异用于更新所述第一网络中的权重参数以及所述第二网络中的权重参数。
本申请的执行主体是人脸识别装置。所述人脸识别装置可以是手机、监控设备、电脑、服务器、可穿戴设备等。所述待识别的人脸图像可以是戴配件的人脸图像，也可以是未戴配件的人脸图像。所述获得待识别的人脸图像可以是接收服务器或终端设备发送的所述待识别的人脸图像；也可以是通过图像采集装置，例如照相机、摄像机等，采用所述待识别的人脸图像；还可以是获取预先存储在人脸识别装置的所述待识别的人脸图像。
所述图像重构网络和所述人脸识别网络为预先训练得到的网络。所述图像重构网络和所述人脸识别网络构成一个去配件人脸识别网络，所述图像重构网络的输出为所述人脸识别网络的输入。所述图像重构网络可以将戴配件的人脸图像重构为未戴配件的人脸图像，也可以将未戴配件的人脸图像重构为未戴配件的人脸图像。所述去配件人脸识别网络可以对戴配件的人脸图像进行人脸识别，也可以对未戴配件的人脸图像进行人脸识别。所述人脸识别网络可以是任意类型的人脸识别网络，本申请不作限定。所述第二网络输出的识别结果可以是所述第二网络识别所述第一网络重构后的图像得到的人脸标签。所述实际结果是指所述第一网络重构前的图像对应的未戴配件的实际人脸图像的人脸标签。人脸标签对应人脸图像的身份。
本申请中，人脸识别装置获得待识别的人脸图像；将该待识别的人脸图像输入到训练得到的图像重构网络进行重构，并对重构得到的未戴配件的人脸图像进行人脸识别；可以对戴配件的人脸图像和未戴配件的人脸图像进行人脸识别，操作简单、准确率高。
在一种可选的实现方式中，提供了一种训练图像重构网络和人脸识别网络的方法，具体如下：所述方法还包括：
构建目标网络；所述目标网络包括所述第一网络和所述第二网络；所述第一网络用于将输入的图像重构为未戴配件的人脸图像；所述第二网络用于对所述第一网络输出的人脸图像进行人脸识别；
将训练样本输入到所述目标网络进行训练，得到所述图像重构网络和所述人脸识别网络。
所述将训练样本输入到所述目标网络进行训练可以将全部的训练样本输入到所述目标网络进行训练；也可以是将部分训练样本输入到所述目标网络进行训练。所述第一网络可以为全卷积神经网络。例如，第一网络为包括3个卷积下采样层以及2个反卷积上采样层的全卷积神经网络。在第一网络训练的过程中，随着输入的人脸图像经过全卷积网络的各个中间层，该第一网络的感受野逐渐增大，因此该第一网络可以自动利用人脸图像的局部信息和人脸图像的全局信息对配件区域进行自适应插值，恢复出精准的不戴配件的人脸图像。配件区域是指配件图像在人脸图像中占据的区域。所述配件可以是眼镜、口罩以及帽子等。
所述第一网络用于将输入的图像重构为未戴配件的人脸图像可以是将输入的戴配件的人脸图像重构为未戴配件的人脸图像，也可以是将输入的未戴配件的人脸图像重构为未戴配件的人脸图像。所述训练样本可以既包括戴配件的人脸图像，又包括未戴配件的人脸图像。所述训练样本包含的戴配件的人脸图像可以是虚拟的人脸图像，即由未戴配件的人脸图像和配件模块合成的虚拟图像。其中，所述配件模板可以是从戴配件的人脸图像中提取的。本申请中，既利用戴配件的人脸图像训练所述目标网络，又利用未戴配件的人脸图像训练所述目标网络。因此，所述目标网络既可以对未戴配件的人脸图像进行人脸识别，也可以对戴配件的人脸图像进行人脸识别。
本申请中，将图像重构网络和人脸识别网络作为一个网络进行训练，可以提高训练网络的效率以及人脸识别的准确率。
在一种可选的实现方式中，提供了另一种训练图像重构网络和人脸识别网络的方法，具体如下：所述方法还包括：
将训练样本输入到所述第一网络进行重构，得到所述训练样本对应的重构图像；
计算第一损失值；所述第一损失值表征所述训练样本对应的重构图像和参考图像之间的差异；所述参考图像为所述训练样本对应的未戴配件的实际人脸图像；
将所述训练样本对应的重构图像输入到所述第二网络，得到所述训练样本对应的重构图像的识别结果；
计算第二损失值；所述第二损失值表征识别所述重构图像得到的识别结果和实际结果之间的差异；
利用所述第一损失值更新所述第一网络中的权重参数，利用所述第二损失值更新所述第一网络中的权重参数以及所述第二网络中的权重参数。
所述实际结果是指所述第一网络重构前的图像对应的未戴配件的实际人脸图像的人脸标签。可选的，采用以下公式计算所述第一损失值：
其中，m是所述重构图像的个数，n是一个重构图像包含的像素的个数，PVj是所述参考图像的一个像素值，是所述重构图像的一个像素值，和PVj对应的像素位置相同。
假设人脸重构的参数为w1，输入的像素值为Vj(图像V中某一位置像素值)，该网络可表示为即重构的像素值。其中，w1表示所述第一网络的权重参数。在实际应用中，第一网络可重构输入的人脸图像中每个像素的像素值，得到重构后的图像。
可选的，采用以下公式计算所述第二损失值：
其中，k是所述重构图像的个数，t是所述训练样本对应的标签类别的个数，yi是第i个重构图像对应的标签类别，是所述第二网络正确识别所述重构图像的概率，exp(zs)表示输出的标签类别为s的概率，S’表示实际结果对应的标签类别。exp是取指数计算。zs是所述人脸识别网络的输出结果，即输出的标签类别为s。一个标签类别对应一个人。举例来说，训练样本中包含5个人的10幅人脸图像，则该训练样本对应的标签类别的个数为5，即t为5，k为10。所述第二网络的参数为w2，输入的重构图像为该网络可表示为当yi＝S′时，即第i个重构图像对应的标签类别为S’时1(yi＝S′)等于1，否则等于0。从公式(2)可以看出，t个人的k幅图像用于训练。
本申请中，将第一网络和第二网络作为一个网络进行训练，可以提高训练的速率以及人脸识别的准确率。
在一种可选的实现方式中，提供了另一种训练图像重构网络和人脸识别网络的方法，具体如下：所述方法还包括：
将训练样本输入到所述第一网络进行重构，得到所述训练样本对应的重构图像；
将所述训练样本对应的重构图像输入到所述第二网络，得到所述训练样本对应的重构图像的识别结果；
利用第三损失函数相对于第一网络权重参数的梯度值，更新所述第一网络中的权重参数，所述第三损失函数用于计算第三损失值，所述第三损失值为第一损失值和第二损失值的加权和，所述第一损失值利用第一损失函数计算得到，用于表征所述训练样本对应的重构图像和参考图像之间的差异，所述参考图像为所述训练样本对应的未戴配件的实际人脸图像，所述第二损失值利用第二损失函数计算得到，用于表征识别所述重构图像的识别结果和实际结果之间的差异；
利用第三损失函数相对于第二网络权重参数的梯度值，更新所述第二网络中的权重参数。
可选的，所述第三损失函数为：loss＝α*l1+β*l2(3)。
其中，l1为所述第一损失函数，l2为所述第二损失函数，α和β为常数。α和β为经验值，可以是开发人员根据经验设置的数值。
所述第一网络和所述第二网络的训练目标为通过最小化所述第三损失函数的数值。
本申请中，通过构建合理地损失函数可以提高训练网络的效率，并保证人脸识别的准确性。
在一种可选的实现方式中，提供了一种生成训练样本的方法，具体如下：所述将训练样本输入到所述目标网络进行训练之前，所述方法还包括：
获得第一图像集和第二图像集；所述第一图像集为未戴配件的图像集，所述第二图像集为戴配件的图像集；
生成第三图像集；所述第三图像集中的图像为将所述第一图像集中的图像和所述第二图像集中的图像包含的配件模板相叠加得到的图像；
获得训练样本，所述训练样本包含所述第一图像集中的图像和所述第三图像集中的图像。
所述第三图像集中的图像为虚拟的戴配件的人脸图像。可选的，按目标比例混合所述第一图像集的图像和所述第三图像集中的图像，得到所述训练样本。所述目标比例可以是1:1、2:1、1:2、1:3、1:4、1:5、4:1、3:1等。假定目标比例为1:2，第一图像集包含20个图像，第三图像集包含100个图像，则将该第一图像集的全部图像以及该第三图像集中的40个图像放置到第四图像集。可选的，提取出所述训练样本中的各图像的人脸区域。具体的，通过人脸检测器(所用的人脸检测器不是一个特定的检测器，可以用各种不同的人脸检测器)以获得所述训练样本中每一张图像中的人脸位置，人脸位置的信息为：左上角坐标以及右下角坐标；利用左上角以及右下角坐标所形成的矩形区域裁剪出人脸图像。人脸识别器可以对检测到的人脸进行人脸定位。因此，通过人脸检测器可以确定图像中的人脸位置。所述训练样本既包括虚拟的戴配件的人脸图像，也包括未戴配件的实际人脸图像。所述配件模板是指戴配件的人脸图像中配件的图像，即配件占用的区域的图像。
本申请中，可以快速地生成包括虚拟的戴配件的人脸图像以及未戴配件的实际人脸图像的训练样本。
在一种可选的实现方式中，所述第一图像集包括所述参考图像。
在一种可选的实现方式中，提供了一种生成虚拟的戴配件的人脸图像的方法，具体如下：所述生成第三图像集包括：
选择所述第二图像集中与目标图像的人脸姿态接近的至少一个图像；所述目标图像包含于所述第一图像集；
获取所述至少一个图像中的配件模板，得到至少一个配件模板；
将所述至少一个配件模板叠加到所述目标图像，得到所述目标图像对应的虚拟戴配件图像；所述虚拟戴配件图像包含于所述第三图像集。
所述目标图像可以为所述第一图像集包含的任意一个图像。人脸姿态估计是当前常用的一种技术，可以采用多种方式估计人脸图像对应的人脸姿态。举例来说，人脸识别装置选择第二图像集中与目标图像的人脸姿态最接近的5到10个图像。所述获取所述至少一个图像中的配件模板，得到至少一个配件模板可以是从所述至少一个图像中获取出所述配件模板占用的图像区域。可选的，采用纹理映射的方式将所述至少一个配件模板叠加到所述目标图像，得到所述目标图像对应的虚拟戴配件图像。纹理映射(Texture Mapping)是将纹理空间中的纹理像素映射到屏幕空间中的像素的过程。纹理映射的具体方法为：对于标注的配件模板，采用边缘检测算法如canny边缘检测算法检测出配件模板的单像素边缘，并将像素分为3类：(1)配件模板的边缘像素，(2)边缘像素的邻域像素，(3)配件模板上的其他像素。针对这3类像素，分别选取不同的系数，与目标图像中对应位置的像素值进行加权求和，该目标图像中非对应位置的像素值保持不变。
本申请中，通过纹理映射的方法将目标图像和与该目标图像的人脸姿态较接近的图像包含的配件模板合成虚拟的戴配件图像；实现简单，可以得到与真实的戴眼镜图像较相似的图像。
在一种可选的实现方式中，所述选择所述第二图像集中与目标图像的人脸姿态接近的至少一个图像之前，所述方法还包括：
检测所述第一图像集中各图像的人脸关键点以及所述第二图像集中各图像的人脸关键点；
所述选择所述第二图像集中与目标图像的人脸姿态较接近的至少一个图像包括：
依据所述目标图像的人脸关键点和所述第二图像集中各图像的人脸关键点之间的仿射变换结果，选择所述第二图像集中与所述目标图像的人脸姿态较接近的所述至少一个图像。
人脸识别装置可以采用人工标识或者机器标注的方式标注出所述第一图像集中各图像的人脸关键点以及所述第二图像集中各图像的人脸关键点。人脸关键点是指人脸图像中的特征点。所述人脸识别装置可以根据用户输入的标识指令标注出所述第一图像集中各图像的人脸关键点以及所述第二图像集中各图像的人脸关键点，并检测这些人脸关键点；也可以采用人脸检测算法以及特征点定位算法，定位出所述第一图像集中各图像的人脸关键点以及所述第二图像集中各图像的人脸关键点。仿射变换(Affine Transformation或Affine Map)，又称仿射映射，是指在几何中，一个向量空间进行一次线性变换并接上一个平移，变换为另一个向量空间的过程。仿射变换代表的是两幅图之间的一种映射关系。因此，依据所述目标图像的人脸关键点和所述第二图像集中各图像的人脸关键点之间的仿射变换结果可以选择所述第二图像集中与所述目标图像的人脸姿态较接近的所述至少一个图像。
本申请中，通过特征点放射变换可以搜索出与目标图像的人脸姿态较接近的图像，操作简单。
在一种可选的实现方式中，提供了一种生成参考样本的方法，具体如下：所述将训练样本输入到所述目标网络进行训练之前，所述方法还包括：
获得参考样本，所述参考样本包含所述参考图像。
可选的，所述参考样本包含所述训练样本对应的未带配件的实际人脸图像。
本申请中，可以快速地生成包括未戴配件的实际人脸图像的参考样本。
第二方面，本申请提供了一种人脸识别装置，该人脸识别装置包括用于执行上述第一方面的方法的单元。
第三方面，本发明实施例提供了另一种人脸识别装置，包括处理器和存储器，所述处理器和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述第一方面的方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述第一方面的方法。
附图说明
下面将对本申请实施例中所需要使用的附图进行说明。
图1为本申请提供的一种系统架构示意图；
图2为本申请提供的一种人脸识别方法流程示意图；
图3为本申请提供的一种训练得到图像重构网络和人脸识别网络的方法流程示意图；
图4为本申请提供的一种生成戴眼镜虚拟样本的流程示意图；
图5为本申请提供的一种训练目标网络的流程示意图；
图6为本申请提供的一种人脸识别装置的结构示意图；
图7为本申请提供的另一种人脸识别装置的结构示意图；
图8为本申请提供的又一种人脸识别装置的结构示意图。
具体实施方式
本申请的系统架构如图1所示，可以包括数据层、应用服务层、应用层和显示层四部分。其中，数据层用于利用训练样本生成图像重构网络和人脸识别网络；应用服务器用于利用该图像重构网络和该人脸识别网络进行人脸识别；应用层用于实现人脸解锁、人脸识别、人脸分类等需要进行人脸识别的功能；显示层用于显示应用层的输出结果。上述应用服务器为上述应用层提供支持。在实际应用中，云端以及终端实现人脸解锁、人脸识别、人脸分类、监控等需要进行人脸识别的功能，这些功能由应用服务层提供人脸识别功能。
本申请提供了一种人脸识别方法，如图2所示，该方法可包括：
201、获得待识别的人脸图像。
上述待识别的人脸图像可以是戴配件的人脸图像，也可以是未戴配件的人脸图像。上述获得待识别的人脸图像可以是人脸识别装置接收服务器或终端设备发送的人脸图像；也可以是通过图像采集装置，例如照相机、摄像机等，采集的人脸图像；还可以是获取预先存储在上述人脸识别装置中的上述待识别的人脸图像。
202、将上述待识别的人脸图像输入到训练得到的图像重构网络进行重构，得到未戴配件的人脸重构图像。
上述图像重构网络和上述人脸识别网络构成一个去配件人脸识别网络，上述图像重构网络的输出为上述人脸识别网络的输入。上述图像重构网络可以将戴配件的人脸图像重构为未戴配件的人脸图像，也可以将未戴配件的人脸图像重构为未戴配件的人脸图像。可以理解，上述去配件人脸识别网络可以对戴配件的人脸图像进行人脸识别，也可以对未戴配件的人脸图像进行人脸识别。
203、利用人脸识别网络对上述人脸重构图像进行人脸识别，得到识别结果；其中，上述图像重构网络为训练后的第一网络，上述人脸识别网络为训练后的第二网络，上述第一网络的输出为上述第二网络的输入，上述第二网络输出的识别结果与实际结果之间的差异用于更新上述第一网络中的权重参数以及上述第二网络中的权重参数。
上述人脸识别网络可以是任意类型的人脸识别网络，本申请不作限定。
本申请中，人脸识别装置获得待识别的人脸图像；将该待识别的人脸图像输入到训练得到的图像重构网络进行重构，并对重构得到的未戴配件的人脸图像进行人脸识别；可以对戴配件的人脸图像和未戴配件的人脸图像进行人脸识别，操作简单、准确率高。
上述图像重构网络和上述人脸识别网络为预先训练得到的网络。下面介绍本申请提供的一种训练得到图像重构网络和人脸识别网络的方法，如图3所示，该方法包括：
301、人脸识别装置生成戴配件虚拟样本。
下面介绍一个生成戴配件虚拟样本的具体举例：
步骤一、人脸识别装置获得第一图像集和第二图像集。
上述第一图像集为未戴配件的图像集，上述第二图像集为戴配件的图像集。
步骤二、人工标注出上述第一图像集中各图像的人脸关键点以及上述第二图像集中各图像的人脸关键点。
人脸关键点是指图像中的特征点。上述第二图像集中各图像的人脸关键点可包含配件模板对应的关键点。
步骤三、依据目标图像的人脸关键点和上述第二图像集中各图像的人脸关键点之间的仿射变换结果，选择上述第二图像集中与上述目标图像的人脸姿态接近的至少一个图像。
上述目标图像包含于上述第一图像集。上述目标图像可以包括一个图像，也可以包括多个图像。
步骤四、获取上述至少一个图像中的配件模板，得到至少一个配件模板。
上述配件模板是指戴配件的人脸图像中的配件图像，例如图像中包含的眼镜图像。
步骤五、通过纹理映射的方法将上述至少一个配件模板叠加到上述目标图像，得到上述目标图像对应的虚拟戴配件图像。
上述目标图像对应的虚拟戴配件图像包含于上述戴配件虚拟样本。上述戴配件虚拟样本中的图像为将上述第一图像集中的图像和上述第二图像集中的图像包含的配件模板叠加得到的图像。在实际应用中，对于第一图像集中的每一张图像，人脸识别装置可以通过特征点仿射变换搜索出与该图像的人脸姿态最接近的5～10张图像，并将从这5～10张图像获取的配件模板通过纹理映射的方法叠加到该图像上，生成该图像对应的戴配件虚拟样本集合。
图4为本申请提供的一种生成戴眼镜虚拟样本的流程示意图。如图4所示，401表示佩戴眼镜图像B，402表示在佩戴眼镜图像B中标注出的眼镜模板，403表示无佩戴眼镜图像A，404表示标注出人脸关键点的图像B，404相比于401增加的点为图像B中的人脸关键点，405表示标注出人脸关键点的图像A，405相比于403增加的点为图像A中的人脸关键点，406表示图像A和图像B中的眼镜模板叠加得到的佩戴眼镜图像A’。图4给出了生成戴眼镜虚拟样本的流程示意图。眼镜属于配件的一种。本申请中，可以采用相同的方式生成除眼镜之外的其他配件的虚拟样本，例如戴口罩虚拟样本。
302、按目标比例混合上述戴配件虚拟样本中的图像和第一图像集中的图像，得到第四图像集。
上述目标比例可以是1:1、2:1、1:2、1:3、1:4、1:5、4:1、3:1等。
303、提取出上述第四图像集中的各图像的人脸区域，得到训练样本。
上述训练样本包含未戴配件的图像以及虚拟的戴配件图像。上述训练样本包含的图像均为人脸图像。上述提取出上述第四图像集中的各图像的人脸区域可以是通过人脸检测器获得上述第四图像集中每一张图像中的人脸位置，人脸位置的信息为：左上角坐标以及右下角坐标；利用左上角以及右下角坐标所形成的矩形区域裁剪出人脸图像，最终得到上述训练样本。可选的，上述人脸区域为包含整个人脸图像的最小矩形区域。
304、构建目标网络。
上述目标网络包括第一网络和第二网络；上述第一网络的输出为上述第二网络的输入；上述第一网络用于将输入的图像重构为未戴配件的人脸图像；上述第二网络用于对上述第一网络输出的人脸图像进行人脸识别。
305、获得上述训练样本对应的参考样本。
上述获得上述训练样本对应的参考样本可以是获得第五图像集，上述第五图像集包含上述训练样本对应的未戴配件的人脸图像；提取出上述第五图像集中各图像的人脸区域，得到上述参考样本。上述参考样本包括参考图像。上述第五图像集中图像包含于上述第一图像集。
306、利用上述训练样本以及上述参考样本训练上述目标网络，得到图像重构网络和人脸识别网络。
利用上述训练样本以及上述参考样本训练上述目标网络可以是利用目标训练样本以及上述目标训练样本训练上述目标网络；上述目标训练样本为上述训练样本中的一部分。
本申请中，将图像重构网络和人脸识别网络作为一个网络进行训练，可以提高训练网络的效率以及人脸识别的准确率。
基于上述实施例，为得到图像重构网络和人脸识别网络，本申请提供了一种训练图像重构网络和人脸识别网络的方法，该方法可包括：
步骤一、人脸识别装置将训练样本输入到第一网络进行重构，得到上述训练样本对应的重构图像。
步骤二、计算第一损失值。
上述第一损失值表征上述训练样本对应的重构图像和参考图像之间的差异；上述参考图像为上述训练样本对应的未戴配件的实际人脸图像。上述计算上述第一损失值可以是将上述训练样本对应的重构图像和上述训练样本对应的参数信息输入到上述第一损失函数进行计算。具体的，可利用上述公式(1)计算上述第一损失值。
步骤三、将上述训练样本对应的重构图像输入到第二网络进行人脸识别，得到上述训练样本对应的重构图像的识别结果。
步骤四、计算第二损失值。
上述第二损失值表征识别上述重构图像得到的识别结果和实际结果之间的差异。实际结果为正确的识别结果。上述计算上述第二损失值可以是将上述识别结果和实际结果对应的参数信息输入到上述第二损失函数进行计算。具体的，可利用上述公式(2)计算上述第二损失值。
图5为本申请提供的一种训练目标网络的流程示意图。如图5所示，501表示第一网络，502表示第二网络，503表示输入图像，504表示该第一网络输出的重构图像，505表示参考图像，506表示第二网络输出的识别结果，507表示实际结果。其中，参考图像为输入图像对应的未戴配件的实际人脸图像。实际结果为参考图像的正确的识别结果，也是输入图像正确的识别结果。停止训练后，该第一网络成为图像重构网络，可将输入的图像重构为未戴配件的图像。该第一网络为全卷积神经网络，从图5可以看出，该第一网络包括3个卷积下采样层以及2个反卷积上采样层。停止训练后，该第二网络成为人脸识别网络，可对图像重构网络重构的图像进行人脸识别。从图5可以看出，输入图像包括戴配件的图像以及未戴配件的图像，第一网络的输出为第二网络的输入，利用重构图像和参考图像之间的差异计算第一损失值，利用实际结果和第二网络输出的识别结果计算第二损失值。从图5可以看出，第一网络和第二网络作为一个整体进行训练，即联合训练该第一网络和该第二网络。该第一网络和该第二网络的训练相互促进，可以提高训练速度以及人脸识别的准确率。
步骤五、利用上述第一损失值更新上述第一网络中的权重参数，利用上述第二损失值更新上述第一网络中的权重参数以及上述第二网络中的权重参数。
上述第一网络的权重更新的公式可以为：以及其中，w1表示更新前的上述第一网络的权重参数，w′1表示利用上述第一损失值更新w1得到的权重参数，表示上述第一损失函数对w1的导数；w″1表示利用上述第二损失值更新w′1得到的权重参数。上述第二网络的权重更新的公式可以为：其中，w2表示更新前的上述第二网络的权重参数，w′2表示w2更新后的权重参数，表示上述第二损失函数对w2的导数。其中，l1为上述第一损失函数，l2为上述第二损失函数。
可选的，上述步骤五可由以下操作取代：利用第三损失函数相对于第一网络权重参数的梯度值，更新上述第一网络中的权重参数；利用第三损失函数相对于第二网络权重参数的梯度值，更新上述第二网络中的权重参数。
上述第三损失函数用于计算第三损失值，上述第三损失值为第一损失值和第二损失值的加权和，上述第一损失值利用第一损失函数计算得到，用于表征上述训练样本对应的重构图像和参考图像之间的差异。
上述第一网络的权重更新的公式可以为：其中，w1表示更新前的上述第一网络的权重参数，w′1表示w1更新后的权重参数，表示上述第三损失函数对w1的导数。上述第二网络的权重更新的公式可以为：其中，w2表示更新前的上述第一网络的权重参数，w＇2表示w2更新后的权重参数，表示上述第三损失函数对w2的导数。loss为上述第三损失函数。
采用梯度下降的方式更新网络的权重参数，可以提高训练网络的效率，实现简单。
本申请中，将图像重构网络和人脸识别网络作为一个网络进行训练，可以提高训练网络的效率以及人脸识别的准确率。
基于上述实施例，为保证人脸识别的准确率，在使用图像重构网络和人脸识别网络进行人脸识别之前，本申请还可以执行如下操作：
步骤一、将校验图像集中的图像输入到图像重构网络进行重构，得到校验重构图像。
上述校验图像集包含的图像为上述训练样本中未参与训练的样本。上述校验重构图像为上述图像重构网络重构上述校验图像集中的图像得到的未戴配件的人脸图像。可以理解，人脸识别装置生成的训练样本分为两部分，一部分用于上述训练上述图像重构网络和上述人脸识别网络，另一部分用于检验上述图像重构网络重构图像的效果以及上述人脸识别网络进行人脸识别的效果。
步骤二、利用人脸识别网络对上述校验重构图像进行人脸识别，得到识别结果。
步骤三、计算第四损失值以及第五损失值。
上述第四损失值表征上述校验重构图像和校验参考图像之间的差异。上述校验参考图像为上述校验重构图像对应的未戴配件的实际人脸图像。上述第五损失值表征上述校验重构图像的识别结果和上述校验参考图像的实际结果之间的差异。
步骤四、若上述第四损失值小于第一阈值和/或上述第五损失值小于第二阈值，则确定上述图像重构网络和上述人脸识别网络不需要继续训练；否则，执行步骤五。
上述第一阈值和上述第二阈值可以为预先设置的。可以理解，在停止训练后，利用未参与训练的未戴配件图像以及虚拟的戴配件图像检验训练得到的图像重构网络以及人脸识别网路的性能；在确定训练得到的图像重构网络以及人脸识别网路的性能未达到要求后，继续训练；可以保证人脸识别的准确率。
步骤五、继续训练上述图像重构网络和上述人脸识别网络。
本申请中，在使用图像重构网络和人脸识别网络进行人脸识别之前，检验这两个网络进行人脸识别的效果，可以有效避免人脸识别准确率差的问题。
本申请提供了一种人脸识别装置，如图6所示，该人脸识别装置可包括：
获取单元601，用于获得待识别的人脸图像；
图像重构单元602，用于将上述待识别的人脸图像输入到训练得到的图像重构网络进行重构，得到未戴配件的人脸重构图像；
人脸识别单元603，用于利用人脸识别网络对上述人脸重构图像进行人脸识别，得到识别结果；其中，上述图像重构网络为训练后的第一网络，上述人脸识别网络为训练后的第二网络，上述第一网络的输出为上述第二网络的输入，上述第二网络输出的识别结果与实际结果之间的差异用于更新上述第一网络中的权重参数以及上述第二网络中的权重参数。
具体的实现方法与图2中的方法相同，这里不再详述。
在一种可选的实现方式中，上述人脸识别装置还包括：
第一输入单元604，用于将上述训练样本输入到上述第一网络；
上述图像重构单元602，还用于对上述训练样本进行重构，得到上述训练样本对应的重构图像；
计算单元605，用于计算第一损失值；上述第一损失值表征上述训练样本对应的重构图像和参考图像之间的差异；上述参考图像为上述训练样本对应的未戴配件的实际人脸图像；
上述第一输入单元604，还用于将上述训练样本对应的重构图像输入到上述第二网络；
上述人脸识别单元603，还用于对上述训练样本对应的重构图像进行人脸识别，得到上述训练样本对应的重构图像的识别结果；
上述计算单元605，还用于计算第二损失值；上述第二损失值表征识别上述重构图像得到的识别结果和实际结果之间的差异；
第一更新单元606，用于利用上述第一损失值更新上述第一网络中的权重参数，利用上述第二损失值更新上述第一网络中的权重参数以及上述第二网络中的权重参数。
本申请中，将图像重构网络和人脸识别网络作为一个网络进行训练，可以提高训练网络的效率以及人脸识别的准确率。
在一种可选的实现方式中，上述人脸识别装置还包括：
第二输入单元607，用于将上述训练样本输入到上述第一网络；
上述图像重构单元602，还用于对上述训练样本进行重构，得到上述训练样本对应的重构图像；
上述第二输入单元607，还用于将上述训练样本对应的重构图像输入到上述第二网络；
上述人脸识别单元603，还用于对上述训练样本对应的重构图像进行人脸识别，得到上述训练样本对应的重构图像的识别结果；
第二更新单元608，用于利用第三损失函数相对于第一网络权重参数的梯度值，更新上述第一网络中的权重参数，上述第三损失函数用于计算第三损失值，上述第三损失值为第一损失值和第二损失值的加权和，上述第一损失值利用第一损失函数计算得到，用于表征上述训练样本对应的重构图像和参考图像之间的差异，上述参考图像为上述训练样本对应的未戴配件的实际人脸图像，上述第二损失值利用第二损失函数计算得到，用于表征识别上述重构图像的识别结果和实际结果之间的差异；
上述第二更新单元608，还用于利用第三损失函数相对于第二网络权重参数的梯度值，更新上述第二网络中的权重参数。
上述第二输入单元607可以是上述第一输入单元604。上述第二更新单元608可以是上述第一更新单元606。
在一种可选的实现方式中，上述人脸识别装置还包括：
上述获取单元601，还用于获得第一图像集和第二图像集；上述第一图像集为未戴配件的图像集，上述第二图像集为戴配件的图像集；上述人脸识别装置还包括：
生成单元609，用于生成第三图像集；上述第三图像集中的图像为将上述第一图像集中的图像和上述第二图像集中的图像包含的配件模板叠加得到的图像；
上述获取单元601，用于获得训练样本，上述训练样本包含上述第一图像集中的图像和上述第三图像集中的图像。
在一种可选的实现方式中，上述第一图像集包括上述参考图像。
在一种可选的实现方式中，上述生成单元609包括选择子单元6091和合并子单元6092；
上述选择子单元6091，用于选择上述第二图像集中与目标图像的人脸姿态接近的至少一个图像；上述目标图像包含于上述第一图像集；
上述合并子单元6092，具体用于获取上述至少一个图像中的配件模板，得到至少一个配件模板；将上述至少一个配件模板与叠加到上述目标图像，得到上述目标图像对应的虚拟戴配件图像；上述虚拟戴配件图像包含于上述第三图像集。
在一种可选的实现方式中，上述人脸识别装置还包括：
检测单元610，用于检测上述第一图像集中各图像的人脸关键点以及上述第二图像集中各图像的人脸关键点；
上述选择子单元6091，具体用于依据上述目标图像的人脸关键点和上述第二图像集中各图像的人脸关键点之间的仿射变换结果，选择上述第二图像集中与上述目标图像的人脸姿态较接近的上述至少一个图像。
参见图7，是本发明另一实施例提供的一种人脸识别装置的示意框图。如图7所示，本实施例中的人脸识别装置可以包括：一个或多个处理器701，一个或多个输入设备702，一个或多个输出设备703和存储器704。上述处理器701、输入设备702、输出设备703和存储器704通过总线705连接。存储器702用于存储计算机程序，上述计算机程序包括程序指令，处理器701用于执行存储器702存储的程序指令。其中，处理器701被配置用于调用上述程序指令执行：获得待识别的人脸图像；将上述待识别的人脸图像输入到训练得到的图像重构网络进行重构，得到未戴配件的人脸重构图像；利用人脸识别网络对上述人脸重构图像进行人脸识别，得到识别结果；其中，上述图像重构网络为训练后的第一网络，上述人脸识别网络为训练后的第二网络，上述第一网络的输出为上述第二网络的输入，上述第二网络输出的识别结果与实际结果之间的差异用于更新上述第一网络中的权重参数以及上述第二网络中的权重参数。
应当理解，在本发明实施例中，所称处理器701可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。上述处理器701可以实现如图6所示的图像重构单元602、人脸识别单元603、计算单元605、第一更新单元606、第二更新单元608、生成单元609以及检测单元610的功能。
该存储器703包括但不限于是随机存储记忆体(Random Access Memory，RAM)、只读存储器(Read-Only Memory，ROM)、可擦除可编程只读存储器(Erasable ProgrammableRead Only Memory，EPROM)、或便携式只读存储器(Compact Disc Read-Only Memory，CD-ROM)，该存储器可以用于存储相关指令及数据。
具体实现中，本发明实施例中所描述的处理器701、输入设备702、输出设备703以及存储器704可执行本发明实施例提供的人脸识别方法所描述的实现方式，也可执行本发明实施例所描述的人脸识别装置的实现方式，在此不再赘述。输入设备702可实现图6中获取单元601、第一输入单元604以及第二输入单元607的功能。
应理解，根据本发明实施例的人脸识别装置可对应于本发明实施例中图2所示的实现人脸识别的设备，并可以对应于执行本发明实施例中实现人脸识别方法的相应主体，并且人脸识别装置中的各个单元的功能分别为了实现图2中的各个方法的相应流程，为了简洁，在此不再赘述。
本申请中，人脸识别装置获得待识别的人脸图像；将该待识别的人脸图像输入到训练得到的图像重构网络进行重构，并对重构得到的未戴配件的人脸图像进行人脸识别；可以对戴配件的人脸图像和未戴配件的人脸图像进行人脸识别，操作简单、准确率高。
在本发明的另一实施例中提供一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序包括程序指令，上述程序指令被处理器执行时实现：获得待识别的人脸图像；将上述待识别的人脸图像输入到训练得到的图像重构网络进行重构，得到未戴配件的人脸重构图像；利用人脸识别网络对上述人脸重构图像进行人脸识别，得到识别结果；其中，上述图像重构网络为训练后的第一网络，上述人脸识别网络为训练后的第二网络，上述第一网络的输出为上述第二网络的输入，上述第二网络输出的识别结果与实际结果之间的差异用于更新上述第一网络中的权重参数以及上述第二网络中的权重参数。
上述实施例，可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。上述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行上述计算机程序指令时，全部或部分地产生按照本发明实施例上述的流程或功能。上述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。上述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，上述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。上述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。上述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质。半导体介质可以是固态硬盘(solid state Drive，SSD)。
图8是本申请提供的一种人脸识别装置的结构示意图。该人脸识别装置可以是前述实施例中的人脸识别方法。如图8所示，人脸识别装置200可包括：基带芯片210、存储器215(一个或多个计算机可读存储介质)、射频(RF)模块216、外围系统217。这些部件可在一个或多个通信总线214上通信。
外围系统217主要用于实现人脸识别装置210和用户/外部环境之间的交互功能，主要包括人脸识别装置200的输入输出装置。具体实现中，外围系统217可包括：触摸屏控制器218、摄像头控制器219、音频控制器220以及传感器管理模块221。其中，各个控制器可与各自对应的外围设备(如触摸屏223、摄像头224、音频电路225以及传感器226)耦合。需要说明的，外围系统217还可以包括其他I/O外设。
基带芯片210可集成包括：一个或多个处理器211、时钟模块222以及电源管理模块213。集成于基带芯片210中的时钟模块222主要用于为处理器211产生数据传输和时序控制所需要的时钟。集成于基带芯片210中的电源管理模块213主要用于为处理器211、射频模块216以及外围系统提供稳定的、高精确度的电压。
射频(RF)模块216用于接收和发送射频信号，主要集成了人脸识别装置200的接收器和发射器。射频(RF)模块216通过射频信号与通信网络和其他通信设备通信。具体实现中，射频(RF)模块216可包括但不限于：天线系统、RF收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、CODEC芯片、SIM卡和存储介质等。在一些实施例中，可在单独的芯片上实现射频(RF)模块216。
存储器215与处理器211耦合，用于存储各种软件程序和/或多组指令。具体实现中，存储器215可包括高速随机存取的存储器，并且也可包括非易失性存储器，例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备。存储器215可以存储操作系统(下述简称系统)，例如ANDROID，IOS，WINDOWS，或者LINUX等嵌入式操作系统。存储器215还可以存储网络通信程序，该网络通信程序可用于与一个或多个附加设备，一个或多个终端设备，一个或多个网络设备进行通信。存储器215还可以存储用户接口程序，该用户接口程序可以通过图形化的操作界面将应用程序的内容形象逼真的显示出来，并通过菜单、对话框以及按键等输入控件接收用户对应用程序的控制操作。
存储器215还可以存储一个或多个应用程序。如图8所示，这些应用程序可包括：社交应用程序(例如Facebook)，图像管理应用程序(例如人脸识别程序、人脸解锁程序)，地图类应用程序(例如谷歌地图)，浏览器(例如Safari，Google Chrome)等等。
本申请中，处理器211可用于读取和执行计算机可读指令。具体的，处理器211可用于调用存储于存储器215中的程序，并执行该程序包含的指令。
应当理解，人脸识别装置200仅为本发明实施例提供的一个例子，并且，人脸识别装置200可具有比示出的部件更多或更少的部件，可以组合两个或更多个部件，或者可具有部件的不同配置实现。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (16)
1.一种人脸识别方法，其特征在于，包括：
获得待识别的人脸图像；
将所述待识别的人脸图像输入到训练得到的图像重构网络进行重构，得到未戴配件的人脸重构图像；
利用人脸识别网络对所述人脸重构图像进行人脸识别，得到识别结果；其中，所述图像重构网络为训练后的第一网络，所述人脸识别网络为训练后的第二网络，所述第一网络的输出为所述第二网络的输入，所述第二网络输出的识别结果与实际结果之间的差异用于更新所述第一网络中的权重参数以及所述第二网络中的权重参数。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将训练样本输入到所述第一网络进行重构，得到所述训练样本对应的重构图像；
计算第一损失值；所述第一损失值表征所述训练样本对应的重构图像和参考图像之间的差异；所述参考图像为所述训练样本对应的未戴配件的实际人脸图像；
将所述训练样本对应的重构图像输入到所述第二网络，得到所述训练样本对应的重构图像的识别结果；
计算第二损失值；所述第二损失值表征识别所述重构图像得到的识别结果和实际结果之间的差异；
利用所述第一损失值更新所述第一网络中的权重参数，利用所述第二损失值更新所述第一网络中的权重参数以及所述第二网络中的权重参数。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将训练样本输入到所述第一网络进行重构，得到所述训练样本对应的重构图像；
将所述训练样本对应的重构图像输入到所述第二网络，得到所述训练样本对应的重构图像的识别结果；
利用第三损失函数相对于第一网络权重参数的梯度值，更新所述第一网络中的权重参数，所述第三损失函数用于计算第三损失值，所述第三损失值为第一损失值和第二损失值的加权和，所述第一损失值利用第一损失函数计算得到，用于表征所述训练样本对应的重构图像和参考图像之间的差异，所述参考图像为所述训练样本对应的未戴配件的实际人脸图像，所述第二损失值利用第二损失函数计算得到，用于表征识别所述重构图像的识别结果和实际结果之间的差异；
利用第三损失函数相对于第二网络权重参数的梯度值，更新所述第二网络中的权重参数。
4.根据权利要求2或3所述的方法，其特征在于，所述将训练样本输入到所述第一网络进行重构之前，所述方法还包括：
获得第一图像集和第二图像集；所述第一图像集为未戴配件的图像集，所述第二图像集为戴配件的图像集；
生成第三图像集，所述第三图像集中的图像为将所述第一图像集中的图像和所述第二图像集中的图像包含的配件模板叠加得到的图像；
获得训练样本，所述训练样本包含所述第一图像集中的图像和所述第三图像集中的图像。
5.根据权利要求4所述的方法，其特征在于，所述第一图像集包括所述参考图像。
6.根据权利要求4或5所述的方法，其特征在于，所述生成第三图像集包括：
选择所述第二图像集中与目标图像的人脸姿态接近的至少一个图像；所述目标图像包含于所述第一图像集；
获取所述至少一个图像中的配件模板，得到至少一个配件模板；
将所述至少一个配件模板叠加到所述目标图像，得到所述目标图像对应的虚拟戴配件图像；所述虚拟戴配件图像包含于所述第三图像集。
7.根据权利要求6所述的方法，其特征在于，所述选择所述第二图像集中与目标图像的人脸姿态接近的至少一个图像之前，所述方法还包括：
检测所述第一图像集中各图像的人脸关键点以及所述第二图像集中各图像的人脸关键点；
所述选择所述第二图像集中与目标图像的人脸姿态接近的至少一个图像包括：
依据所述目标图像的人脸关键点和所述第二图像集中各图像的人脸关键点之间的仿射变换结果，选择所述第二图像集中与所述目标图像的人脸姿态较接近的所述至少一个图像。
8.一种人脸识别装置，其特征在于，包括：
获取单元，用于获得待识别的人脸图像；
图像重构单元，用于将所述待识别的人脸图像输入到训练得到的图像重构网络进行重构，得到未戴配件的人脸重构图像；
人脸识别单元，用于利用人脸识别网络对所述人脸重构图像进行人脸识别，得到识别结果；其中，所述图像重构网络为训练后的第一网络，所述人脸识别网络为训练后的第二网络，所述第一网络的输出为所述第二网络的输入，所述第二网络输出的识别结果与实际结果之间的差异用于更新所述第一网络中的权重参数以及所述第二网络中的权重参数。
9.根据权利要求8所述的人脸识别装置，其特征在于，所述人脸识别装置还包括：
第一输入单元，用于将所述训练样本输入到所述第一网络；
所述图像重构单元，还用于对所述训练样本进行重构，得到所述训练样本对应的重构图像；
计算单元，用于计算第一损失值；所述第一损失值表征所述训练样本对应的重构图像和参考图像之间的差异；所述参考图像为所述训练样本对应的未戴配件的实际人脸图像；
所述第一输入单元，还用于将所述训练样本对应的重构图像输入到所述第二网络；
所述人脸识别单元，还用于对所述训练样本对应的重构图像进行人脸识别，得到所述训练样本对应的重构图像的识别结果；
所述计算单元，还用于计算第二损失值；所述第二损失值表征识别所述重构图像得到的识别结果和实际结果之间的差异；
第一更新单元，用于利用所述第一损失值更新所述第一网络中的权重参数，利用所述第二损失值更新所述第一网络中的权重参数以及所述第二网络中的权重参数。
10.根据权利要求8所述的人脸识别装置，其特征在于，所述人脸识别装置还包括：
第二输入单元，用于将所述训练样本输入到所述第一网络；
所述图像重构单元，还用于对所述训练样本进行重构，得到所述训练样本对应的重构图像；
所述第二输入单元，还用于将所述训练样本对应的重构图像输入到所述第二网络；
所述人脸识别单元，还用于对所述训练样本对应的重构图像进行人脸识别，得到所述训练样本对应的重构图像的识别结果；
第二更新单元，用于利用第三损失函数相对于第一网络权重参数的梯度值，更新所述第一网络中的权重参数，所述第三损失函数用于计算第三损失值，所述第三损失值为第一损失值和第二损失值的加权和，所述第一损失值利用第一损失函数计算得到，用于表征所述训练样本对应的重构图像和参考图像之间的差异，所述参考图像为所述训练样本对应的未戴配件的实际人脸图像，所述第二损失值利用第二损失函数计算得到，用于表征识别所述重构图像的识别结果和实际结果之间的差异；
所述第二更新单元，还用于利用第三损失函数相对于第二网络权重参数的梯度值，更新所述第二网络中的权重参数。
11.根据权利要求9至10任意一项所述的人脸识别装置，其特征在于，所述人脸识别装置还包括：
所述获取单元，还用于获得第一图像集和第二图像集；所述第一图像集为未戴配件的图像集，所述第二图像集为戴配件的图像集；所述人脸识别装置还包括：
生成单元，用于生成第三图像集；所述第三图像集中的图像为将所述第一图像集中的图像和所述第二图像集中的图像包含的配件模板叠加得到的图像；
所述获取单元，用于获得训练样本，所述训练样本包含所述第一图像集中的图像和所述第三图像集中的图像。
12.根据权利要求11所述的人脸识别装置，其特征在于，所述第一图像集包括所述参考图像。
13.根据权利要求11或12所述的人脸识别装置，其特征在于，所述生成单元包括选择子单元和合并子单元；
所述选择子单元，用于选择所述第二图像集中与目标图像的人脸姿态接近的至少一个图像；所述目标图像包含于所述第一图像集；
所述合并子单元，具体用于获取所述至少一个图像中的配件模板，得到至少一个配件模板；将所述至少一个配件模板与叠加到所述目标图像，得到所述目标图像对应的虚拟戴配件图像；所述虚拟戴配件图像包含于所述第三图像集。
14.根据权利要求13所述的人脸识别装置，其特征在于，所述人脸识别装置还包括：
检测单元，用于检测所述第一图像集中各图像的人脸关键点以及所述第二图像集中各图像的人脸关键点；
所述选择子单元，具体用于依据所述目标图像的人脸关键点和所述第二图像集中各图像的人脸关键点之间的仿射变换结果，选择所述第二图像集中与所述目标图像的人脸姿态较接近的所述至少一个图像。
15.一种人脸识别装置，其特征在于，包括处理器和存储器，所述处理器和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1-7任一项所述的方法。
16.一种计算机可读存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810377370.5A CN110399764A (zh) | 2018-04-24 | 2018-04-24 | 人脸识别方法、装置及计算机可读介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810377370.5A CN110399764A (zh) | 2018-04-24 | 2018-04-24 | 人脸识别方法、装置及计算机可读介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110399764A true CN110399764A (zh) | 2019-11-01 |
Family
ID=68322020
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810377370.5A Pending CN110399764A (zh) | 2018-04-24 | 2018-04-24 | 人脸识别方法、装置及计算机可读介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110399764A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110969139A (zh) * | 2019-12-11 | 2020-04-07 | 深圳市捷顺科技实业股份有限公司 | 人脸识别模型训练方法及相关装置、人脸识别方法及相关装置 |
| CN111680599A (zh) * | 2020-05-29 | 2020-09-18 | 北京百度网讯科技有限公司 | 人脸识别模型处理方法、装置、设备和存储介质 |
| CN111695431A (zh) * | 2020-05-19 | 2020-09-22 | 深圳禾思众成科技有限公司 | 一种人脸识别方法、装置、终端设备及存储介质 |
| CN112001372A (zh) * | 2020-09-30 | 2020-11-27 | 苏州科达科技股份有限公司 | 人脸识别模型生成和人脸识别方法、系统、设备及介质 |
| CN112052789A (zh) * | 2020-09-03 | 2020-12-08 | 腾讯科技（深圳）有限公司 | 人脸识别方法、装置、电子设备及存储介质 |
| CN112115803A (zh) * | 2020-08-26 | 2020-12-22 | 深圳市优必选科技股份有限公司 | 口罩状态提醒方法、装置及移动终端 |
| CN113435226A (zh) * | 2020-03-23 | 2021-09-24 | 北京百度网讯科技有限公司 | 信息处理方法和装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106023068A (zh) * | 2016-05-18 | 2016-10-12 | 广东工业大学 | 一种眼镜框试戴方法、装置及系统 |
| CN106372603A (zh) * | 2016-08-31 | 2017-02-01 | 重庆大学 | 遮挡人脸识别方法及装置 |
| CN107463989A (zh) * | 2017-07-25 | 2017-12-12 | 福建帝视信息科技有限公司 | 一种基于深度学习的图像去压缩伪影方法 |
| CN107609481A (zh) * | 2017-08-14 | 2018-01-19 | 百度在线网络技术（北京）有限公司 | 为人脸识别生成训练数据的方法、装置和计算机存储介质 |
| CN107845062A (zh) * | 2017-11-14 | 2018-03-27 | 北京小米移动软件有限公司 | 图像生成方法及装置 |
| CN107886559A (zh) * | 2017-11-29 | 2018-04-06 | 北京百度网讯科技有限公司 | 用于生成图片的方法和装置 |
-
2018
- 2018-04-24 CN CN201810377370.5A patent/CN110399764A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106023068A (zh) * | 2016-05-18 | 2016-10-12 | 广东工业大学 | 一种眼镜框试戴方法、装置及系统 |
| CN106372603A (zh) * | 2016-08-31 | 2017-02-01 | 重庆大学 | 遮挡人脸识别方法及装置 |
| CN107463989A (zh) * | 2017-07-25 | 2017-12-12 | 福建帝视信息科技有限公司 | 一种基于深度学习的图像去压缩伪影方法 |
| CN107609481A (zh) * | 2017-08-14 | 2018-01-19 | 百度在线网络技术（北京）有限公司 | 为人脸识别生成训练数据的方法、装置和计算机存储介质 |
| CN107845062A (zh) * | 2017-11-14 | 2018-03-27 | 北京小米移动软件有限公司 | 图像生成方法及装置 |
| CN107886559A (zh) * | 2017-11-29 | 2018-04-06 | 北京百度网讯科技有限公司 | 用于生成图片的方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| FANG ZHAO等: "Robust LSTM-Autoencoders for Face De-Occlusion in the Wild", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110969139A (zh) * | 2019-12-11 | 2020-04-07 | 深圳市捷顺科技实业股份有限公司 | 人脸识别模型训练方法及相关装置、人脸识别方法及相关装置 |
| CN113435226A (zh) * | 2020-03-23 | 2021-09-24 | 北京百度网讯科技有限公司 | 信息处理方法和装置 |
| CN113435226B (zh) * | 2020-03-23 | 2022-09-16 | 北京百度网讯科技有限公司 | 信息处理方法和装置 |
| CN111695431A (zh) * | 2020-05-19 | 2020-09-22 | 深圳禾思众成科技有限公司 | 一种人脸识别方法、装置、终端设备及存储介质 |
| CN111680599A (zh) * | 2020-05-29 | 2020-09-18 | 北京百度网讯科技有限公司 | 人脸识别模型处理方法、装置、设备和存储介质 |
| CN111680599B (zh) * | 2020-05-29 | 2023-08-08 | 北京百度网讯科技有限公司 | 人脸识别模型处理方法、装置、设备和存储介质 |
| CN112115803A (zh) * | 2020-08-26 | 2020-12-22 | 深圳市优必选科技股份有限公司 | 口罩状态提醒方法、装置及移动终端 |
| CN112115803B (zh) * | 2020-08-26 | 2023-10-13 | 深圳市优必选科技股份有限公司 | 口罩状态提醒方法、装置及移动终端 |
| CN112052789A (zh) * | 2020-09-03 | 2020-12-08 | 腾讯科技（深圳）有限公司 | 人脸识别方法、装置、电子设备及存储介质 |
| CN112052789B (zh) * | 2020-09-03 | 2024-05-14 | 腾讯科技（深圳）有限公司 | 人脸识别方法、装置、电子设备及存储介质 |
| CN112001372A (zh) * | 2020-09-30 | 2020-11-27 | 苏州科达科技股份有限公司 | 人脸识别模型生成和人脸识别方法、系统、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110399764A (zh) | 人脸识别方法、装置及计算机可读介质 | |
| JP7085062B2 (ja) | 画像セグメンテーション方法、装置、コンピュータ機器およびコンピュータプログラム | |
| CN104200480B (zh) | 一种应用于智能终端的图像模糊度评价方法及系统 | |
| CN104169965B (zh) | 用于多拍摄装置系统中图像变形参数的运行时调整的系统、方法和计算机程序产品 | |
| CN110874594A (zh) | 基于语义分割网络的人体外表损伤检测方法及相关设备 | |
| US20200234444A1 (en) | Systems and methods for the analysis of skin conditions | |
| CN111914812B (zh) | 图像处理模型训练方法、装置、设备及存储介质 | |
| CN106874826A (zh) | 人脸关键点跟踪方法和装置 | |
| EP3015057B1 (en) | Estimating physiological parameters | |
| CN109063695A (zh) | 一种人脸关键点检测方法、装置及其计算机存储介质 | |
| CN109034095A (zh) | 一种人脸对齐检测方法、装置和存储介质 | |
| CN111401318B (zh) | 动作识别方法及装置 | |
| CN110032964A (zh) | 图像处理方法、识别视角的方法、装置、设备和存储介质 | |
| CN111476783A (zh) | 基于人工智能的图像处理方法、装置、设备及存储介质 | |
| CN108027884A (zh) | 优化对象检测 | |
| Porzi et al. | Learning contours for automatic annotations of mountains pictures on a smartphone | |
| CN110910445B (zh) | 一种物件尺寸检测方法、装置、检测设备及存储介质 | |
| CN108960145A (zh) | 人脸图像检测方法、装置、存储介质和电子设备 | |
| CN108986137A (zh) | 人体跟踪方法、装置及设备 | |
| JP6347155B2 (ja) | 画像処理装置、画像判断方法、及びプログラム | |
| CN111984803B (zh) | 多媒体资源处理方法、装置、计算机设备及存储介质 | |
| CN110427849A (zh) | 人脸姿态确定方法、装置、存储介质和电子设备 | |
| CN108717520A (zh) | 一种行人重识别方法及装置 | |
| CN110991412A (zh) | 人脸识别的方法、装置、存储介质及电子设备 | |
| US20240037769A1 (en) | Body Measurement Prediction from Depth Images and Associated Methods and Systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191101 |