CN111241998B - 人脸识别的方法、装置、电子设备和存储介质 - Google Patents
人脸识别的方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN111241998B CN111241998B CN202010022884.6A CN202010022884A CN111241998B CN 111241998 B CN111241998 B CN 111241998B CN 202010022884 A CN202010022884 A CN 202010022884A CN 111241998 B CN111241998 B CN 111241998B
- Authority
- CN
- China
- Prior art keywords
- branch network
- face
- convolutional
- network
- face image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 57
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 54
- 238000001514 detection method Methods 0.000 claims abstract description 23
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 29
- 238000012549 training Methods 0.000 claims description 21
- 238000011176 pooling Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 15
- 230000009466 transformation Effects 0.000 claims description 14
- 238000013507 mapping Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 2
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 10
- 238000000605 extraction Methods 0.000 description 7
- 238000010606 normalization Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例涉及人工智能领域，公开了一种人脸识别的方法、装置、电子设备和存储介质。本发明中，将待识别的人脸图像输入到预先训练的卷积神经网络模型中，得到卷积神经网络模型输出的识别结果；其中，卷积神经网络包括仿射估计分支网络和卷积分支网络，仿射估计分支网络用于人脸检测和人脸对齐，卷积分支网络用于对人脸图像进行身份识别，通过在卷积神经网络模型中添加一个仿射估计分支网络，用于实现人脸检测和人脸对齐，进一步在一个卷积神经网络模型的中同时完成人脸检测、人脸对齐和人脸识别，从而实现端到端的人脸识别。
Description
技术领域
本发明实施例涉及人工智能领域，特别涉及计算机视觉领域。
背景技术
传统的人脸识别技术基本上可以归结为三类，即：基于几何特征的方法、基于模板的方法和基于模型的方法，在过去的几年中，卷积神经网络(CNN)的引入大大提高了现有计算机视觉任务的性能，使之逐渐成为主流的方法，包括面部识别和验证。代替传统的通过手工标记特征来构建分类模型，深度学习通过数据驱动成功提高了面部特征的鲁棒性。因此，受过良好训练的CNN网络能够较好的处理人脸图像的姿势、遮挡和光照变化。
然而，现实生活场景中的大姿态变化仍然是人脸识别系统在实际应用中面临的主要挑战。现有技术一般采用两种方法来处理这个问题：一种方法是建立姿势感知或基于部分的模型来处理特定姿势的人脸图像。另一种更常用的方法是在人脸识别的特征提取前引入一个明确的面部对齐过程。现有技术典型的人脸识别过程通常包括四个阶段：(1)从图像中检测人脸，(2)特征点定位和通过二维或三维几何变换对齐检测人脸，(3)特征提取，(4)基于可能的特征模板识别个人身份。
发明人发现现有技术中至少存在如下问题：在人脸特征提取之前，需要根据人脸结构的先验知识进行人脸检测然后对人脸区域进行对齐，导致了端到端的人脸识别模型的训练和设计十分困难，因为人脸检测，人脸对齐和人脸识别是分开独立执行的。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定。
图1是根据本发明第一实施方式的人脸识别方法的流程图；
图2是根据本发明第一实施方式的使用仿射估计分支网络进行人脸对齐的结果示意图；
图3是根据本发明第二实施方式的人脸识别方法的流程图；
图4是根据本发明第二实施方式的人脸识别方法中卷积神经网络模型的整体框架图；
图5是根据本发明第三实施方式的人脸识别装置的结构方框图；
图6是根据本发明第四实施方式的电子设备的结构方框图。
发明内容
本发明实施方式的目的在于提供一种人脸识别的方法、装置、电子设备和存储介质，，使得人脸识别过程中不需要根据先验知识进行人脸检测和人脸对齐，在一个卷积神经网络模型中同时完成人脸检测、人脸对齐和人脸识别，从而实现了端到端的人脸识别。
为解决上述技术问题，本发明的实施方式提供了一种人脸识别方法，包括以下步骤：获取待处理的人脸图像；将所述人脸图像输入到预先训练的卷积神经网络模型中，得到所述卷积神经网络模型输出的识别结果；其中，所述卷积神经网络包括仿射估计分支网络和卷积分支网络，所述仿射估计分支网络用于人脸检测和人脸对齐，所述卷积分支网络用于对人脸图像进行身份识别。
本发明的实施方式还提供了一种人脸识别装置，包括：获取模块，用于获取待处理的人脸图像；输出模块，用于将所述人脸图像输入到预先训练的卷积神经网络模型中，得到所述卷积神经网络模型输出的识别结果；其中，所述卷积神经网络包括仿射估计分支网络和卷积分支网络，所述仿射估计分支网络用于人脸检测和人脸对齐，所述卷积分支网络用于对人脸图像进行身份识别。
本发明的实施方式还提供了一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行时实现上述人脸识别方法。
本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述人脸识别方法。
本发明实施方式相对于现有技术而言，将待识别的人脸图像输入到预先训练的卷积神经网络模型中，得到卷积神经网络模型输出的识别结果；其中，卷积神经网络包括仿射估计分支网络和卷积分支网络，仿射估计分支网络用于人脸检测和人脸对齐，卷积分支网络用于对人脸图像进行身份识别，通过在卷积神经网络模型中添加一个仿射估计分支网络，用于实现人脸检测和人脸对齐，进一步在一个卷积神经网络模型的中同时完成人脸检测、人脸对齐和人脸识别，从而实现端到端的人脸识别。
另外，所述仿射估计分支网络包括一个网格网络和一个双线性采样器，所述网格网络用于对所述人脸图像进行重定位，所述双线性采样器用于对所述重定位后的人脸图像进行像素填充。通过设计一个网格网络和一个双线性采样器使得仿射估计分支网络能够预测人脸的位置并进行相应的空间变化，并在人脸部分缺失的时候进行填充。
另外，所述仿射估计分支网络的输入为两个经过不同程度特征提取的所述人脸图像，输出为对齐后的所述人脸图像，在所述卷积神经网络模型的训练过程中，将所述两个经过不同程度特征提取的所述人脸图像中高程度特征提取的所述人脸图像通过所述网格网络回归一组6维度的变换参数θ，并将所述变换参数θ用于从所述低程度特征提取的所述人脸图像到所述对齐后的人脸图像的映射，具体映射关系如下：
其中，
为所述对齐后的人脸图像的坐标，
为所述低特征提取的所述人脸图像的坐标，θ11、θ12、θ21和θ22是对齐后人脸图像的大小和角度的变换参数，θ13和θ23是对齐后人脸图像补偿的变换参数。提供了仿射估计分支网络的工作原理。
另外，所述卷积分支网络包括第一卷积分支网络和第二卷积分支网络，所述第一卷积分支网络用于识别未进行对齐的所述人脸图像的身份和编码并保存所述人脸图像，所述第二卷积分支网络用于识别对齐后的所述人脸图像的身份。所述卷积分支网络的身份识别结果是由所述第一卷积分支模型的身份识别结果和所述第二卷积分支模型的身份识别结果结合得到的。使用两个卷积分支网路分别对原始人脸图像和对齐后的人脸图像进行识别得出识别结果，提高了人脸识别的准确率。
另外，所述第一卷积分支网络包括M个残差块，一个平均池化层和至少一个全连接层；所述第二卷积分支网络包括N个所述残差块，一个所述平均池化层，M和N为大于等于2的自然数且M大于N。提供了一种卷积分支网络的具体结构。
另外，所述第一卷积分支网络和所述第二卷积分支网络共用N个所述残差块和一个所述平均池化层。通过第一卷积分支网络和第二卷积分支网络共用N个残差块和一个平均池化层，提升了代码复用率，节省了存储空间。
另外，所述卷积神经网络模型的训练过程中，所述仿射估计分支网络、所述第一卷积分支网络和所述第二卷积分支网络共同完成一轮训练，其中，所述第一分支网络的第k个残差块的输出和所述第一分支网络的第j个残差块的输出作为所述仿射估计分支网络的输入，所述仿射估计分支网络的输出作为所述第二分支网络的输入，其中，k和j为不相等的自然数且k和j均小于等于M。仿射估计分支网络和卷积分支网络共同完成卷积神经模型的训练，并在训练过程中相互作用并实现联合优化，提升算法的准确率。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应对本发明的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。
本发明的第一实施方式涉及一种人脸识别方法。在本实施方式中，获取待处理的人脸图像；将所述人脸图像输入到预先训练的卷积神经网络模型中，得到所述卷积神经网络模型输出的识别结果；其中，所述卷积神经网络包括仿射估计分支网络和卷积分支网络，所述仿射估计分支网络用于人脸检测和人脸对齐，所述卷积分支网络用于对人脸图像进行身份识别。
下面对本实施方式的一种人脸识别方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。
本实施方式中的一种人脸识别方法如流程图1所示。具体包括以下步骤：
步骤101：获取待处理的人脸图像。
步骤102：将人脸图像输入到预设的卷积神经网络模型中并得到识别结果。
具体地说，仿射估计分支网络包括一个网格网络和一个双线性采样器，网格网络用于对人脸图像进行重定位，双线性采样器用于对重定位后的人脸图像进行像素填充。
具体地说，仿射估计分支网络的输入为两个经过不同程度特征提取的人脸图像(大幅减少运行时间和更好得到模型的参数)，输出为对齐后的人脸图像，在卷积神经网络模型的训练过程中，将两个经过不同程度特征提取的人脸图像中高程度特征提取的人脸图像通过网格网络回归一组6维度的变换参数θ，并将变换参数θ用于从低程度特征提取的人脸图像到对齐后的人脸图像的映射，具体映射关系如下：
其中，
为所述对齐后的人脸图像的坐标，
为所述低特征提取的所述人脸图像的坐标，θ11、θ12、θ21和θ22是对齐后所述人脸图像的大小和角度的变换参数，θ13和θ23是对齐后所述人脸图像的补偿的变换参数。
在一个具体的例子中，定义坐标(-1,-1)为位于图像左上的像素，而(1,1)为右下的像素。此时根据上述映射关系对输入的低程度特征提取的人脸图像(下称输入图像)进行对齐后，再使用一个双线性采样器来弥补对齐后的图像丢失的像素，并分配0在输入图像的位置上。此时，根据从输入图像到输出图像中获得一个映射函数，具体如下：
其中，
为在通道c的位置(m,n)的输出对齐后的人脸图像，
为在通道c的(xs,ys)位置的输入图像，m和n为大于等于-1且小于等于1的任意常数。若(xt,yt)接近于(m,n)，则根据双线性采样在(xs,ys)位置添加像素。
在一个具体的例子中，使用完成训练的仿射估计分支网络对输入的人脸图片的对齐结果如图2所示。
具体地说，预设的卷积神经网络包括仿射估计分支网络和卷积分支网络，仿射估计分支网络用于人脸检测和人脸对齐，卷积分支网络用于对人脸图像进行身份识别。
值得一提的是，相对于利用卷积神经网络模型直接进行人脸检测，人脸对齐之后进行人脸识别具有较高的应用价值，学习转化以及通过仿射估计分支网络得到的对齐后的面部图像可以很容易地用于其他目的。
本发明实施方式相对于现有技术而言，将待识别的人脸图像输入到预先训练的卷积神经网络模型中，得到卷积神经网络模型输出的识别结果；其中，卷积神经网络包括仿射估计分支网络和卷积分支网络，仿射估计分支网络用于人脸检测和人脸对齐，卷积分支网络用于对人脸图像进行身份识别，通过在卷积神经网络模型中添加一个仿射估计分支网络，用于实现人脸检测和人脸对齐，进一步在一个卷积神经网络模型的中同时完成人脸检测、人脸对齐和人脸识别，从而实现端到端的人脸识别。
本发明的第二实施方式涉及一种人脸识别的方法。在本实施方式中，获取待处理的人脸图像；将所述人脸图像输入到预先训练的卷积神经网络模型中，得到所述卷积神经网络模型输出的识别结果，卷积分支网络包括第一卷积分支网络和第二卷积分支网络，所述第一卷积分支网络用于识别未进行对齐的所述人脸图像的身份和编码并保存所述人脸图像，所述第二卷积分支网络用于识别对齐后的所述人脸图像的身份。本实施方式中的一种人脸识别方法如流程图3所示，具体步骤包括以下步骤：
步骤201：获取待识别的人脸图像。
步骤202：将人脸图像输入到第一卷积分支网络。
具体地说，所述第一卷积分支网络用于识别未进行对齐的所述人脸图像的身份和编码并保存所述人脸图像。第一卷积分支网络是用于预测输入图像身份的分类网络，对于输入图像，第一卷积分支网络不仅识别他的身份，而且编码图像并提供空间位置信息。
具体地说，所述第一卷积分支网络包括M个残差块，一个平均池化层和至少一个全连接层，每个残差块定义多个带有批量归一化函数batch normalization、激活函数ReLU和最大池化层optionally max pooling的卷积层，M为大于等于2的自然数。
步骤203：从第一卷积分支网络获取到经过特征提取的人脸图像。
步骤204：将经过特征提取的人脸图像输入到仿射估计分支网络，得到对齐后的人脸图像。
具体地说，将所述第一卷积分支网络的第k个残差块的输出和所述第一卷积分支网络的第j个残差块的输出作为所述仿射估计分支网络的输入，k和j为不相等的自然数且k和j均小于第一卷积分支网络的残差块总数，利用第一卷积分支网络完成浅层特征提取得到的图像作为仿射估计分支网络的输入图像，有利于降低计算负荷，减少模型运行时间，同时使第一卷积分支网络和仿射估计分支网络在训练中产生关联。
步骤205：将对齐后的人脸图像输入到第二卷积分支网络；
具体地说，所述第二卷积分支网络用于识别对齐后的所述人脸图像的身份，即处理由仿射估计分支网络输出的人脸图像。
具体地说，所述第二卷积分支网络包括N个所述残差块，每个残差块定义多个带有批量归一化函数batch normalization、激活函数ReLU和最大池化层optionally maxpooling的卷积层，一个所述平均池化层，N为大于等于2的自然数且N小于M。
在一个具体的例子中，所述第一卷积分支网络和所述第二卷积分支网络共用N个所述残差块和一个所述平均池化层。
步骤206：根据第一卷积分支网络和第二卷积分支网络的输出确定识别结果；
具体地说，在卷积神经网络模型的训练过程中，假设使用的一个有K个身份的训练集训练该卷积神经网络模型，则对于给定的输入图像x，p(k|x)定义给定图像x属于类别k(k∈K)时的概率，正式地说，
其中，zi为从神经卷积网络输出的概率值；
使用W1和W2分别定义两个卷积分支函数的参数，则对于第一卷积分支网络的交叉熵损失函数lbase(W1,x,y)和第二卷积分支网络的交叉熵损失函数lalign(W2,xa,y)分别是：
其中，xa定义为进行对齐后的人脸图像(仿射估计分支网络的输出)，可以从原始的输入图像求得xa＝T(x)。给定标签y(label y)，真实的分布q(y|x)＝1和q(y|x)＝0对于所有k≠y。若丢弃上式中的0，则losses等于：
lbase(W1x，y)＝-log(p(y|x))
lalign(W2，xa，y)＝-log(p(y|xa))
因此，在每次迭代中，最小化总共的熵，就等价于最大化正确预测的概率。
在一个具体的例子中，使用CASIA-Webface训练集作为本实施方式中卷积神经网络的训练集，此时训练集中有K＝10575个身份，增加一个全连接层把卷积神经网络模型的默认大小映射成10575非归一化概率。
在一个具体的例子中，使用ResNet-50模型作为基础模型，此时第一卷积分支网络使用的残差块数量为5，分别是Res_1、Res_2、Res_3、Res_4和Res_5，其中，第二卷积分支网络与第一卷积分支网络共享Res_3、Res_4和Res_5，此时使用第一卷积分支网络的第二个残差块输出量56*56*256和第四个残差块输出量14*14*1024作为仿射估计分支网络的输入，整个卷积神经网络模型的框架如图4所示。
值得一提的是，在本实施例中，人脸定位，人脸对齐和人脸特征提取三个步骤可以共同训练，在训练过程中任务之间可以实现相互作用，从而在识别任务中实现联合优化，提高算法的准确率。
本实施方式相对于现有技术而言，获取待处理的人脸图像；将所述人脸图像输入到预先训练的卷积神经网络模型中，得到所述卷积神经网络模型输出的识别结果，卷积分支网络包括第一卷积分支网络和第二卷积分支网络，所述第一卷积分支网络用于识别未进行对齐的所述人脸图像的身份和编码并保存所述人脸图像，所述第二卷积分支网络用于识别对齐后的所述人脸图像的身份。使用两个卷积分支网路分别对原始人脸图像和对齐后的人脸图像进行识别得出识别结果，提高了人脸识别的准确率。
本发明第三实施方式涉及一种人脸识别装置，包括：获取模块301和识别模块302，具体结构如图5所示：
获取模块301，用于获取待处理的人脸图像；
识别模块302，用于将所述人脸图像输入到预先训练的卷积神经网络模型中，得到所述卷积神经网络模型输出的识别结果；其中，所述卷积神经网络包括仿射估计分支网络和卷积分支网络，所述仿射估计分支网络用于人脸检测和人脸对齐，所述卷积分支网络用于对人脸图像进行身份识别。
在一个具体的例子中，所述仿射估计分支网络包括一个网格网络和一个双线性采样器，所述网格网络用于对所述人脸图像进行重定位，所述双线性采样器用于对所述重定位后的人脸图像进行像素填充。
在一个具体的例子中，所述卷积分支网络包括第一卷积分支网络和第二卷积分支网络，所述第一卷积分支网络用于识别未进行对齐的所述人脸图像的身份和编码并保存所述人脸图像，所述第二卷积分支网络用于识别对齐后的所述人脸图像的身份。
在一个具体的例子中，所述第一卷积分支网络包括M个残差块，一个平均池化层和至少一个全连接层；所述第二卷积分支网络包括N个所述残差块，一个所述平均池化层，M和N为大于等于2的自然数且M大于N。
在一个具体的例子中，所述第一卷积分支网络和所述第二卷积分支网络共用N个所述残差块和一个所述平均池化层。
在一个具体的例子中，所述卷积神经网络模型的训练过程中，所述仿射估计分支网络、所述第一卷积分支网络和所述第二卷积分支网络共同完成一轮训练，其中，所述第一分支网络的第k个残差块的输出和所述第一分支网络的第j个残差块的输出作为所述仿射估计分支网络的输入，所述放射估计分支网络的输出作为所述第二分支网络的输入，其中，k和j为不相等的自然数且k和j均小于等于M。
不难发现，本实施方式为与第一实施方式相对应的装置实施例，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。
值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。
本发明第四实施方式涉及一种电子设备，如图6所示，该电子设备包括至少一个处理器401；以及，与至少一个处理器401通信连接的存储器402；以及，与人脸识别装置通信连接的通信组件403，通信组件403在处理器401的控制下接收和发送数据；其中，存储器402存储有可被至少一个处理器401执行的指令，指令被至少一个处理器401执行以实现上述人脸识别方法实施例。
具体地，该终端包括：一个或多个处理器401以及存储器402，图6中以一个处理器401为例。处理器401、存储器402可以通过总线或者其他方式连接，图6中以通过总线连接为例。存储器402作为一种计算机可读存储介质，可用于存储计算机软件程序、计算机可执行程序以及模块。处理器401通过运行存储在存储器402中的计算机软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述人脸识别方法。
存储器402可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储选项列表等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施方式中，存储器402可选包括相对于处理器401远程设置的存储器，这些远程存储器可以通过网络连接至外接设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个模块存储在存储器402中，当被一个或者多个处理器401执行时，执行上述任意方法实施方式中的人脸识别方法。
上述产品可执行本申请实施方式所提供的方法，具备执行方法相应的功能模块和有益效果，未在本实施方式中详尽描述的技术细节，可参见本申请实施方式所提供的方法。
其中，存储器和处理器采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器和存储器的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器。
处理器负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。
本发明第五实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述人脸识别方法实施例。
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。
Claims (8)
1.一种人脸识别方法，其特征在于，包括：
获取待处理的人脸图像；
将所述人脸图像输入到预先训练的卷积神经网络模型中，得到所述卷积神经网络模型输出的识别结果；
其中，所述卷积神经网络包括仿射估计分支网络和卷积分支网络，所述仿射估计分支网络用于对所述人脸图像进行人脸检测和人脸对齐，所述卷积分支网络用于对所述人脸图像进行身份识别；
所述卷积分支网络包括第一卷积分支网络和第二卷积分支网络，所述第一卷积分支网络用于识别未进行对齐的所述人脸图像的身份和编码并保存所述人脸图像，所述第二卷积分支网络用于识别对齐后的所述人脸图像的身份，所述卷积分支网络的身份识别结果是由所述第一卷积分支网络的身份识别结果和所述第二卷积分支网络的身份识别结果结合得到的；
所述第一卷积分支网络包括M个残差块；所述卷积神经网络模型的训练过程中，所述仿射估计分支网络、所述第一卷积分支网络和所述第二卷积分支网络共同完成一轮训练，其中，所述第一卷积分支网络的第k个残差块的输出和所述第一卷积分支网络的第j个残差块的输出作为所述仿射估计分支网络的输入，所述仿射估计分支网络的输出作为所述第二卷积分支网络的输入，其中，k和j为不相等的自然数且k和j均小于等于M。
2.根据权利要求1所述的人脸识别方法，其特征在于，所述仿射估计分支网络包括一个网格网络和一个双线性采样器，所述网格网络用于对所述人脸图像进行重定位，所述双线性采样器用于对所述重定位后的人脸图像进行像素填充。
3.根据权利要求2所述的人脸识别方法，其特征在于，所述仿射估计分支网络的输入为两个经过不同程度特征提取的所述人脸图像，输出为对齐后的所述人脸图像，在所述卷积神经网络模型的训练过程中，将所述两个经过不同程度特征提取的人脸图像中高程度特征提取的所述人脸图像通过所述网格网络回归一组6维度的变换参数θ，并将所述变换参数θ用于从低程度特征提取的所述人脸图像到所述对齐后的人脸图像的映射，具体映射关系如下：
其中，为所述对齐后的人脸图像的坐标，为所述低程度特征提取的所述人脸图像的坐标，、、和是对齐后所述人脸图像的大小和角度的变换参数，和是对齐后所述人脸图像的补偿的变换参数。
4.根据权利要求1所述的人脸识别方法，其特征在于，所述第一卷积分支网络还包括一个平均池化层和至少一个全连接层；所述第二卷积分支网络包括N个所述残差块和一个所述平均池化层，M和N为大于等于2的自然数且M大于N。
5.根据权利要求4所述的人脸识别方法，其特征在于，所述第一卷积分支网络和所述第二卷积分支网络共用N个所述残差块和一个所述平均池化层。
6.一种人脸识别装置，其特征在于，包括：
获取模块，用于获取待处理的人脸图像；
识别模块，用于将所述人脸图像输入到预先训练的卷积神经网络模型中，得到所述卷积神经网络模型输出的识别结果；
其中，所述卷积神经网络包括仿射估计分支网络和卷积分支网络，所述仿射估计分支网络用于人脸检测和人脸对齐，所述卷积分支网络用于对人脸图像进行身份识别；所述卷积分支网络包括第一卷积分支网络和第二卷积分支网络，所述第一卷积分支网络用于识别未进行对齐的所述人脸图像的身份和编码并保存所述人脸图像，所述第二卷积分支网络用于识别对齐后的所述人脸图像的身份，所述卷积分支网络的身份识别结果是由所述第一卷积分支网络的身份识别结果和所述第二卷积分支网络的身份识别结果结合得到的；所述第一卷积分支网络包括M个残差块；所述卷积神经网络模型的训练过程中，所述仿射估计分支网络、所述第一卷积分支网络和所述第二卷积分支网络共同完成一轮训练，其中，所述第一卷积分支网络的第k个残差块的输出和所述第一卷积分支网络的第j个残差块的输出作为所述仿射估计分支网络的输入，所述仿射估计分支网络的输出作为所述第二卷积分支网络的输入，其中，k和j为不相等的自然数且k和j均小于等于M。
7.一种电子设备，其特征在于，包括：
至少一个处理器；
以及，与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至5中任一项所述的人脸识别方法。
8.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的人脸识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010022884.6A CN111241998B (zh) | 2020-01-09 | 2020-01-09 | 人脸识别的方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010022884.6A CN111241998B (zh) | 2020-01-09 | 2020-01-09 | 人脸识别的方法、装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111241998A CN111241998A (zh) | 2020-06-05 |
| CN111241998B true CN111241998B (zh) | 2023-04-28 |
Family
ID=70875966
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010022884.6A Active CN111241998B (zh) | 2020-01-09 | 2020-01-09 | 人脸识别的方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111241998B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112016480B (zh) * | 2020-08-31 | 2024-05-28 | 中移（杭州）信息技术有限公司 | 人脸特征表示方法、系统、电子设备和存储介质 |
| CN114119923B (zh) * | 2021-11-29 | 2022-07-19 | 浙江大学 | 三维人脸重建方法、装置以及电子设备 |
| CN115993365B (zh) * | 2023-03-23 | 2023-06-13 | 山东省科学院激光研究所 | 一种基于深度学习的皮带缺陷检测方法及系统 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105678248A (zh) * | 2015-12-31 | 2016-06-15 | 上海科技大学 | 基于深度学习的人脸关键点对齐算法 |
| CN107066941A (zh) * | 2017-03-01 | 2017-08-18 | 桂林电子科技大学 | 一种人脸识别方法和系统 |
| CN107194341A (zh) * | 2017-05-16 | 2017-09-22 | 西安电子科技大学 | Maxout多卷积神经网络融合人脸识别方法和系统 |
| CN107545243A (zh) * | 2017-08-07 | 2018-01-05 | 南京信息工程大学 | 基于深度卷积模型的黄种人脸识别方法 |
| CN108038474A (zh) * | 2017-12-28 | 2018-05-15 | 深圳云天励飞技术有限公司 | 人脸检测方法、卷积神经网络参数的训练方法、装置及介质 |
| CN108182384A (zh) * | 2017-12-07 | 2018-06-19 | 浙江大华技术股份有限公司 | 一种人脸特征点定位方法及装置 |
| CN109101869A (zh) * | 2018-06-14 | 2018-12-28 | 深圳市博威创盛科技有限公司 | 多任务学习深度网络的测试方法、设备及存储介质 |
| CN109344693A (zh) * | 2018-08-13 | 2019-02-15 | 华南理工大学 | 一种基于深度学习的人脸多区域融合表情识别方法 |
| CN109583379A (zh) * | 2018-11-30 | 2019-04-05 | 常州大学 | 一种基于随机擦除行人对齐网络的行人重识别方法 |
| CN110263768A (zh) * | 2019-07-19 | 2019-09-20 | 深圳市科葩信息技术有限公司 | 一种基于深度残差网络的人脸识别方法 |
| CN110543815A (zh) * | 2019-07-22 | 2019-12-06 | 平安科技（深圳）有限公司 | 人脸识别模型的训练方法、人脸识别方法、装置、设备及存储介质 |
-
2020
- 2020-01-09 CN CN202010022884.6A patent/CN111241998B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105678248A (zh) * | 2015-12-31 | 2016-06-15 | 上海科技大学 | 基于深度学习的人脸关键点对齐算法 |
| CN107066941A (zh) * | 2017-03-01 | 2017-08-18 | 桂林电子科技大学 | 一种人脸识别方法和系统 |
| CN107194341A (zh) * | 2017-05-16 | 2017-09-22 | 西安电子科技大学 | Maxout多卷积神经网络融合人脸识别方法和系统 |
| CN107545243A (zh) * | 2017-08-07 | 2018-01-05 | 南京信息工程大学 | 基于深度卷积模型的黄种人脸识别方法 |
| CN108182384A (zh) * | 2017-12-07 | 2018-06-19 | 浙江大华技术股份有限公司 | 一种人脸特征点定位方法及装置 |
| CN108038474A (zh) * | 2017-12-28 | 2018-05-15 | 深圳云天励飞技术有限公司 | 人脸检测方法、卷积神经网络参数的训练方法、装置及介质 |
| WO2019128646A1 (zh) * | 2017-12-28 | 2019-07-04 | 深圳励飞科技有限公司 | 人脸检测方法、卷积神经网络参数的训练方法、装置及介质 |
| CN109101869A (zh) * | 2018-06-14 | 2018-12-28 | 深圳市博威创盛科技有限公司 | 多任务学习深度网络的测试方法、设备及存储介质 |
| CN109344693A (zh) * | 2018-08-13 | 2019-02-15 | 华南理工大学 | 一种基于深度学习的人脸多区域融合表情识别方法 |
| CN109583379A (zh) * | 2018-11-30 | 2019-04-05 | 常州大学 | 一种基于随机擦除行人对齐网络的行人重识别方法 |
| CN110263768A (zh) * | 2019-07-19 | 2019-09-20 | 深圳市科葩信息技术有限公司 | 一种基于深度残差网络的人脸识别方法 |
| CN110543815A (zh) * | 2019-07-22 | 2019-12-06 | 平安科技（深圳）有限公司 | 人脸识别模型的训练方法、人脸识别方法、装置、设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 卢宏涛 ; 张秦川 ; .深度卷积神经网络在计算机视觉中的应用研究综述.数据采集与处理.2016,(第01期),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111241998A (zh) | 2020-06-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111241998B (zh) | 人脸识别的方法、装置、电子设备和存储介质 | |
| CN110532897B (zh) | 零部件图像识别的方法和装置 | |
| CN111091075B (zh) | 人脸识别方法、装置、电子设备及存储介质 | |
| CN111833372B (zh) | 一种前景目标提取方法及装置 | |
| CN111210382B (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| KR20180004898A (ko) | 딥러닝 기반의 이미지 처리 기술 및 그 방법 | |
| CN112200057B (zh) | 人脸活体检测方法、装置、电子设备及存储介质 | |
| CN110991298B (zh) | 图像的处理方法和装置、存储介质及电子装置 | |
| CN110378250B (zh) | 用于场景认知的神经网络的训练方法、装置及终端设备 | |
| CN112580567A (zh) | 一种模型获取方法、模型获取装置及智能设备 | |
| CN118154565B (zh) | 一种绝缘子缺陷检测方法 | |
| CN111091560A (zh) | 鼻咽癌原发肿瘤图像识别方法及系统 | |
| CN114120413A (zh) | 模型训练方法、图像合成方法、装置、设备及程序产品 | |
| CN114241444A (zh) | 车道线的识别方法和装置、存储介质及电子装置 | |
| CN109583584B (zh) | 可使具有全连接层的cnn接受不定形状输入的方法及系统 | |
| CN116959113A (zh) | 步态识别方法及装置 | |
| CN114494782B (zh) | 图像处理方法、模型训练方法、相关装置及电子设备 | |
| CN115866229A (zh) | 多视角图像的视角转换方法、装置、设备和介质 | |
| CN113283423B (zh) | 基于生成网络的自然场景扭曲文本图像矫正方法及系统 | |
| CN114445629A (zh) | 模型生成、图像分割方法、系统、电子设备及存储介质 | |
| CN114595814A (zh) | 模型训练方法、处理芯片以及边缘终端 | |
| Fan et al. | PT-ResNet: Perspective transformation-based residual network for semantic road image segmentation | |
| CN113887382A (zh) | 基于rgb-d跨模态行人再识别方法、存储介质、设备 | |
| CN112950652A (zh) | 机器人及其手部图像分割方法和装置 | |
| CN114548355A (zh) | Cnn训练方法、电子设备和计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |