CN110032912A - 人脸验证方法和装置及计算机存储介质 - Google Patents
人脸验证方法和装置及计算机存储介质 Download PDFInfo
- Publication number
- CN110032912A CN110032912A CN201810027146.3A CN201810027146A CN110032912A CN 110032912 A CN110032912 A CN 110032912A CN 201810027146 A CN201810027146 A CN 201810027146A CN 110032912 A CN110032912 A CN 110032912A
- Authority
- CN
- China
- Prior art keywords
- face
- image
- reservation
- facial image
- make
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 78
- 238000012795 verification Methods 0.000 title claims abstract description 61
- 230000001815 facial effect Effects 0.000 claims abstract description 103
- 238000013528 artificial neural network Methods 0.000 claims abstract description 82
- 238000012549 training Methods 0.000 claims abstract description 58
- 230000011218 segmentation Effects 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims description 23
- 230000000306 recurrent effect Effects 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 4
- 230000001052 transient effect Effects 0.000 claims description 3
- 230000000903 blocking effect Effects 0.000 abstract description 6
- 230000006866 deterioration Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000006854 communication Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及人脸验证方法和装置及计算机存储介质。一种人脸验证方法，包括：对待验证图像进行人脸检测和对齐；在得到的人脸图像上划分预定多个面部图像块；利用预先训练的预定多个人脸识别神经网络对人脸图像进行处理，得到所述人脸图像的预定多个面部图像块的预定多个特征；利用预先训练的人脸暴露区域分割神经网络对人脸图像进行分析，基于分析的结果和人脸图像的预定多个面部图像块得到人脸图像的预定多个面部图像块的遮挡区域；基于遮挡区域确定人脸图像的预定多个面部图像块各自的权重；以及根据预定多个特征和对应的权重进行人脸验证。根据本发明的人脸验证方法和装置可以降低由于遮挡引起的人脸验证性能的恶化。
Description
技术领域
本发明涉及图像处理领域，更具体地涉及一种人脸验证方法和装置及计算机存储介质。
背景技术
近年来，人脸识别被广泛地研究，因为其可以在大量真实世界应用中使用，例如生物统计学。在不受控制的环境中，由于太阳镜、帽子、口罩和胡须等引起的遮挡问题可能使得人脸识别系统的性能显著下降。
因此，需要一种在真实世界的场景里，在存在部分遮挡的情况下进行人脸验证的方法和装置。
发明内容
在下文中给出关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。
本发明的一个主要目的在于，提供了一种人脸验证方法，包括：对待验证图像进行人脸检测和对齐；在得到的人脸图像上划分预定多个面部图像块；利用预先训练的预定多个人脸识别神经网络对人脸图像进行处理，得到人脸图像的预定多个面部图像块的预定多个特征；利用预先训练的人脸暴露区域分割神经网络对人脸图像进行分析，基于分析的结果和人脸图像的预定多个面部图像块得到人脸图像的预定多个面部图像块的遮挡区域；基于遮挡区域确定人脸图像的预定多个面部图像块各自的权重；以及根据预定多个特征和对应的权重进行人脸验证。
根据本发明的一个方面，提供一种人脸验证装置，包括：预处理单元，被配置为对待验证图像进行人脸检测和对齐；划分单元，被配置为在得到的人脸图像上划分预定多个面部图像块；特征获取单元，被配置为利用预先训练的预定多个人脸识别神经网络对人脸图像进行处理，得到人脸图像的预定多个面部图像块的预定多个特征；遮挡确定单元，被配置为利用预先训练的人脸暴露区域分割神经网络对人脸图像进行分析，基于分析的结果和人脸图像的预定多个面部图像块得到人脸图像的预定多个面部图像块的遮挡区域；权重设定单元，被配置为基于遮挡区域确定人脸图像的预定多个面部图像块各自的权重；以及人脸验证单元，被配置为根据预定多个特征和对应的权重进行人脸验证。
另外，本发明的实施例还提供了用于实现上述方法的计算机程序。
此外，本发明的实施例还提供了至少非暂态计算机可读存储介质形式的计算机程序产品，其上记录有用于实现上述方法的计算机程序代码。
通过以下结合附图对本发明的最佳实施例的详细说明，本发明的这些以及其他优点将更加明显。
附图说明
参照下面结合附图对本发明实施例的说明，会更加容易地理解本发明的以上和其它目的、特点和优点。附图中的部件只是为了示出本发明的原理。在附图中，相同的或类似的技术特征或部件将采用相同或类似的附图标记来表示。
图1示出了三种神经网络的训练方法的示意图。
图2示出了根据本发明的人脸验证方法进行验证的示意图。
图3示出了根据本发明的一个实施例的人脸验证方法300的示例性过程的流程图。
图4是示出根据本发明的另一个实施例的人脸验证装置400的示例性配置的框图。
图5是示出可以用于实施本发明的人脸验证方法和装置的计算设备的示例性结构图。
具体实施方式
在下文中将结合附图对本发明的示范性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。
在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的设备结构和/或处理步骤，而省略了与本发明关系不大的其他细节。
本发明提出了一种在有遮挡的情况进行人脸验证的方法。在该系统中，输入是人脸图像，而输出是最佳匹配(即验证结果)。在根据本发明的人脸验证方法的处理过程中可能会应用到多个神经网络(NN)模型，包括人脸识别神经网络、人脸暴露区域分割神经网络和权重回归神经网络。
下面结合附图详细说明根据本发明的实施例的人脸验证方法和装置。下文中的描述按如下顺序进行：
1.人脸验证方法
2.人脸验证装置
3.用以实施本申请的方法和装置的计算设备
1.人脸验证方法
图1示出了根据本发明的人脸验证方法中可能用到的三种神经网络的训练方法的示意图。
其中，人脸识别神经网络包括基于人脸划分的N个面部图像块训练得到的N个人脸识别神经网络，基于面部图像块的人脸识别神经网络的训练与整体脸部识别神经网络的方法类似，但是训练集是脸部区域的特定部分，例如左眼、右眼、鼻子、嘴巴等。
在训练人脸暴露区域分割神经网络时，首先要对训练集中的数据进行数据扩充处理，即随机地在每个图像上添加随机形状和面积的遮挡。然后，利用经过数据扩充处理的图像来训练人脸暴露区域分割神经网络。
权重回归神经网络是基于每个人脸图像的N个特征、各个特征对应的遮挡区域以及每个人脸在训练集中的标识来训练。
图2示出了根据本发明的人脸验证方法进行验证的示意图。
如图2所示，首先利用N个人脸识别神经网络得到N个特征f1…fm1,fm2…fN利用人脸暴露区域分割神经网络得到N个面部图像块的遮挡区域，然后确定各个面部图像块的权重，W1…Wm1,Wm2…WN最后基于N个特征和对应权重，与人脸数据库中的数据进行匹配，得到最佳匹配，即验证结果。
图3示出了根据本发明的一个实施例的人脸验证方法300的示例性过程的流程图。下面将结合图3具体说明人脸验证方法300的过程。
首先，在步骤S302中，对待验证图像进行人脸检测和对齐。
通过对待验证图像进行人脸检测和对齐，可以得到统一尺寸的、对齐好的人脸图像。
在一个示例中，进行人脸检测包括检测人脸关键点用于对齐，人脸关键点可以包括左眼、右眼、鼻尖、左嘴角和右嘴角这五个人脸关键点。
具体的检测和对齐方法可以采用本领域现有技术中常用的一些方法，本发明对此不做限制。
接着，在步骤S304中，在得到的人脸图像上划分预定多个面部图像块。
即，根据得到的对齐好的人脸图像(包括人脸关键点的坐标)，可以划分N个面部图像块(固定区域)。
接着，在步骤S306中，利用预先训练的预定多个人脸识别神经网络对人脸图像进行处理，得到人脸图像的预定多个面部图像块的预定多个特征。
在一个示例中，可以通过以下步骤来训练人脸识别神经网络。
首先，对训练集中的每个图像进行人脸检测和对齐。
其次，在得到的人脸图像上划分预定多个面部图像块。
最后，针对预定多个面部图像块，对应地训练预定多个人脸识别神经网络。
训练得到的预定多个人脸识别神经网络的网络结构都相同。
接着，在步骤S308中，利用预先训练的人脸暴露区域分割神经网络对人脸图像进行分析，基于分析的结果和人脸图像的预定多个面部图像块得到人脸图像的预定多个面部图像块的遮挡区域。
在一个示例中，可以通过以下步骤来训练人脸暴露区域分割神经网络。
首先，对训练集中的每个图像进行数据扩充处理，数据扩充处理包括随机地在每个图像上添加随机形状和面积的遮挡。
然后，利用经过数据扩充处理的图像来训练人脸暴露区域分割神经网络。
在一个示例中，可以使用FCN模型来训练人脸暴露区域分割神经网络，本文中对此不做赘述。
通过人脸暴露区域分割神经网络，可以对人脸图像进行分析，得到人脸图像的遮挡区域和无遮挡区域。
接着，在步骤S310中，基于遮挡区域确定人脸图像的预定多个面部图像块各自的权重。
在一个示例中，当人脸图像的一个面部图像块被遮挡的越多，则将其权重设定得越低；当人脸图像的一个面部图像块被完全遮挡，则将其权重设定为零，即，使得人脸验证不考虑该面部图像块的特征。
在一个示例中，还可以利用预先训练的权重回归神经网络来确定人脸图像的预定多个面部图像块各自的权重。
可以通过以下步骤来训练权重回归神经网络。
首先，利用预先训练的预定多个人脸识别神经网络提取训练集中的每个人脸图像的预定多个特征。
其次，利用预先训练的人脸暴露区域分割神经网络得到训练集中的每个人脸图像的预定多个面部图像块的遮挡区域。
最后，使用每个人脸图像的预定多个特征、对应的预定多个面部图像块的遮挡区域和训练集中的人脸图像的标识来训练人脸图像的预定多个面部图像块的权重的权重回归神经网络。
最后，在确定了人脸图像的预定多个特征和对应的权重之后，在步骤S312中，根据预定多个特征和对应的权重进行人脸验证。
2.人脸验证装置
图4是示出根据本发明的另一个实施例的人脸验证装置400的示例性配置的框图。
如图4所示，人脸验证装置400包括预处理单元402、划分单元404、特征获取单元406、遮挡确定单元408、权重确定单元410和人脸验证单元412。
预处理单元402被配置为对待验证图像进行人脸检测和对齐。
划分单元404被配置为在得到的人脸图像上划分预定多个面部图像块。
特征获取单元406被配置为利用预先训练的预定多个人脸识别神经网络对人脸图像进行处理，得到人脸图像的预定多个面部图像块的预定多个特征。
遮挡确定单元408被配置为利用预先训练的人脸暴露区域分割神经网络对人脸图像进行分析，基于分析的结果和人脸图像的预定多个面部图像块得到人脸图像的预定多个面部图像块的遮挡区域；
权重确定单元410被配置为基于遮挡区域确定人脸图像的预定多个面部图像块各自的权重。
人脸验证单元412被配置为根据预定多个特征和对应的权重进行人脸验证。
在一个示例中，人脸识别神经网络通过以下过程训练得到：
对训练集中的每个图像进行人脸检测和对齐；
在得到的人脸图像上划分预定多个面部图像块；以及
针对预定多个面部图像块，对应地训练预定多个人脸识别神经网络。
在一个示例中，人脸暴露区域分割神经网络通过以下过程训练得到：
对训练集中的每个图像进行数据扩充处理，数据扩充处理包括随机地在每个图像上添加随机形状和面积的遮挡；以及
利用经过数据扩充处理的图像来训练人脸暴露区域分割神经网络。
其中，遮挡确定单元408被配置为：得到人脸图像的遮挡区域和无遮挡区域。
其中，预处理单元402进一步被配置为：检测人脸关键点用于对齐，人脸关键点包括左眼、右眼、鼻尖、左嘴角和右嘴角。
其中，权重确定单元410进一步被配置为：当人脸图像的一个面部图像块被遮挡的越多，则其权重被设定得越低；以及当人脸图像的一个面部图像块被完全遮挡，则其权重被设定为零，使得人脸验证不考虑该面部图像块的特征。
其中，权重确定单元410进一步被配置为：利用预先训练的权重回归神经网络来确定人脸图像的预定多个面部图像块各自的权重。
其中，权重回归神经网络通过以下过程训练得到：利用预先训练的预定多个人脸识别神经网络提取训练集中的每个人脸图像的预定多个特征；利用预先训练的人脸暴露区域分割神经网络得到训练集中的每个人脸图像的预定多个面部图像块的遮挡区域；使用每个人脸图像的预定多个特征、对应的预定多个面部图像块的遮挡区域和训练集中的人脸图像的标识来训练人脸图像的预定多个面部图像块的权重的权重回归神经网络。
关于人脸验证装置400的各个部分的操作和功能的细节可以参照结合图1-3描述的本发明的人脸验证方法的实施例，这里不再详细描述。
在此需要说明的是，图4所示的人脸验证装置400及其组成单元的结构仅仅是示例性的，本领域技术人员可以根据需要对图4所示的结构框图进行修改。
本发明提出了一种在存在部分遮挡的情况下进行人脸验证的方法和装置。根据本发明的人脸验证方法和装置与传统的人脸验证方法相比具有以下优势：
对于有遮挡的情况具有鲁棒性，因为根据本发明的人脸验证方法是基于未遮挡和部分遮挡的区域的特征，因此可以降低由于遮挡引起的人脸验证性能的恶化。
根据本发明的人脸验证方法对于不受控制的环境中的人脸验证更加理想。
根据本发明的人脸验证方法能够发送反馈以将遮挡信息发送给验证主体。
[3.用以实施本申请的方法和装置的计算设备]
以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。
因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。
在通过软件和/或固件实现本发明的实施例的情况下，从存储介质或网络向具有专用硬件结构的计算机，例如图5所示的通用计算机500安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各种功能等等。
在图5中，中央处理单元(CPU)501根据只读存储器(ROM)502中存储的程序或从存储部分508加载到随机存取存储器(RAM)503的程序执行各种处理。在RAM 503中，也根据需要存储当CPU 501执行各种处理等等时所需的数据。CPU 501、ROM 502和RAM 503经由总线504彼此链路。输入/输出接口505也链路到总线504。
下述部件链路到输入/输出接口505：输入部分506(包括键盘、鼠标等等)、输出部分507(包括显示器，比如阴极射线管(CRT)、液晶显示器(LCD)等，和扬声器等)、存储部分508(包括硬盘等)、通信部分509(包括网络接口卡比如LAN卡、调制解调器等)。通信部分509经由网络比如因特网执行通信处理。根据需要，驱动器510也可链路到输入/输出接口505。可拆卸介质511比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器510上，使得从中读出的计算机程序根据需要被安装到存储部分508中。
在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介质比如可拆卸介质511安装构成软件的程序。
本领域的技术人员应当理解，这种存储介质不局限于图5所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质511。可拆卸介质511的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM502、存储部分508中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。
本发明还提出一种存储有机器可读取的指令代码的程序产品。指令代码由机器读取并执行时，可执行上述根据本发明实施例的方法。
相应地，用于承载上述存储有机器可读取的指令代码的程序产品的存储介质也包括在本发明的公开中。存储介质包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等。
本领域的普通技术人员应理解，在此所例举的是示例性的，本发明并不局限于此。
在本说明书中，“第一”、“第二”以及“第N个”等表述是为了将所描述的特征在文字上区分开，以清楚地描述本发明。因此，不应将其视为具有任何限定性的含义。
作为一个示例，上述方法的各个步骤以及上述设备的各个组成模块和/或单元可以实施为软件、固件、硬件或其组合，并作为相应设备中的一部分。上述装置中各个组成模块、单元通过软件、固件、硬件或其组合的方式进行配置时可使用的具体手段或方式为本领域技术人员所熟知，在此不再赘述。
作为一个示例，在通过软件或固件实现的情况下，可以从存储介质或网络向具有专用硬件结构的计算机(例如图5所示的通用计算机500)安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各种功能等。
在上面对本发明具体实施例的描述中，针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其他实施方式中使用，与其他实施方式中的特征相组合，或替代其他实施方式中的特征。
应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其他特征、要素、步骤或组件的存在或附加。
此外，本发明的方法不限于按照说明书中描述的时间顺序来执行，也可以按照其他的时间顺序地、并行地或独立地执行。因此，本说明书中描述的方法的执行顺序不对本发明的技术范围构成限制。
本发明及其优点，但是应当理解在不超出由所附的权利要求所限定的本发明的精神和范围的情况下可以进行各种改变、替代和变换。而且，本发明的范围不仅限于说明书所描述的过程、设备、手段、方法和步骤的具体实施例。本领域内的普通技术人员从本发明的公开内容将容易理解，根据本发明可以使用执行与在此的相应实施例基本相同的功能或者获得与其基本相同的结果的、现有和将来要被开发的过程、设备、手段、方法或者步骤。因此，所附的权利要求旨在在它们的范围内包括这样的过程、设备、手段、方法或者步骤。
基于以上的说明，可知公开至少公开了以下技术方案：
附记1、一种人脸验证方法，包括：
对待验证图像进行人脸检测和对齐；
在得到的人脸图像上划分预定多个面部图像块；
利用预先训练的预定多个人脸识别神经网络对所述人脸图像进行处理，得到所述人脸图像的预定多个面部图像块的预定多个特征；
利用预先训练的人脸暴露区域分割神经网络对所述人脸图像进行分析，基于所述分析的结果和所述人脸图像的预定多个面部图像块得到所述人脸图像的预定多个面部图像块的遮挡区域；
基于所述遮挡区域确定所述人脸图像的预定多个面部图像块各自的权重；以及
根据所述预定多个特征和对应的权重进行人脸验证。
2、根据附记1所述的方法，其中，所述人脸识别神经网络通过以下步骤进行训练：
对训练集中的每个图像进行人脸检测和对齐；
在得到的人脸图像上划分预定多个面部图像块；以及
针对所述预定多个面部图像块，对应地训练预定多个人脸识别神经网络。
3、根据附记1所述的方法，其中，所述人脸暴露区域分割神经网络通过以下步骤进行训练：
对训练集中的每个图像进行数据扩充处理，所述数据扩充处理包括随机地在所述每个图像上添加随机形状和面积的遮挡；以及
利用经过数据扩充处理的图像来训练所述人脸暴露区域分割神经网络。
4、根据附记1所述的方法，其中，使用所述人脸暴露区域分割神经网络对所述人脸图像进行分析包括：得到所述人脸图像的遮挡区域和无遮挡区域。
5、根据权利要求1所述的方法，其中，对待验证图像进行人脸检测和对齐包括：检测人脸关键点用于对齐，所述人脸关键点包括左眼、右眼、鼻尖、左嘴角和右嘴角。
6、根据附记1所述的方法，其中，基于所述遮挡区域设定所述人脸图像的预定多个面部图像块各自的权重包括：
当所述人脸图像的一个面部图像块被遮挡的越多，则将其权重设定得越低；以及
当所述人脸图像的一个面部图像块被完全遮挡，则将其权重设定为零，使得所述人脸验证不考虑该面部图像块的特征。
7、根据附记1所述的方法，其中，基于所述遮挡区域确定所述人脸图像的预定多个面部图像块各自的权重包括：利用预先训练的权重回归神经网络来确定所述人脸图像的预定多个面部图像块各自的权重。
8、根据附记7所述的方法，其中，所述权重回归神经网络通过以下步骤进行训练：
利用预先训练的预定多个人脸识别神经网络提取训练集中的每个人脸图像的预定多个特征；
利用预先训练的人脸暴露区域分割神经网络得到训练集中的每个人脸图像的预定多个面部图像块的遮挡区域；
使用每个人脸图像的预定多个特征、对应的预定多个面部图像块的遮挡区域和训练集中的人脸图像的标识来训练人脸图像的预定多个面部图像块的权重的权重回归神经网络。
9、一种人脸验证装置，包括：
预处理单元，被配置为对待验证图像进行人脸检测和对齐；
划分单元，被配置为在得到的人脸图像上划分预定多个面部图像块；
特征获取单元，被配置为利用预先训练的预定多个人脸识别神经网络对所述人脸图像进行处理，得到所述人脸图像的预定多个面部图像块的预定多个特征；
遮挡确定单元，被配置为利用预先训练的人脸暴露区域分割神经网络对所述人脸图像进行分析，基于所述分析的结果和所述人脸图像的预定多个面部图像块得到所述人脸图像的预定多个面部图像块的遮挡区域；
权重确定单元，被配置为基于所述遮挡区域确定所述人脸图像的预定多个面部图像块各自的权重；以及
人脸验证单元，被配置为根据所述预定多个特征和对应的权重进行人脸验证。
10、根据附记9所述的装置，其中，所述人脸识别神经网络通过以下过程训练得到：
对训练集中的每个图像进行人脸检测和对齐；
在得到的人脸图像上划分预定多个面部图像块；以及
针对所述预定多个面部图像块，对应地训练预定多个人脸识别神经网络。
11、根据附记9所述的装置，其中，所述人脸暴露区域分割神经网络通过以下过程训练得到：
对训练集中的每个图像进行数据扩充处理，所述数据扩充处理包括随机地在所述每个图像上添加随机形状和面积的遮挡；以及
利用经过数据扩充处理的图像来训练所述人脸暴露区域分割神经网络。
12、根据附记9所述的装置，其中，所述遮挡确定单元被配置为：得到所述人脸图像的遮挡区域和无遮挡区域。
13、根据附记9所述的装置，其中，所述预处理单元进一步被配置为：检测人脸关键点用于对齐，所述人脸关键点包括左眼、右眼、鼻尖、左嘴角和右嘴角。
14、根据附记9所述的装置，其中，所述权重确定单元进一步被配置为：
当所述人脸图像的一个面部图像块被遮挡的越多，则其权重被设定得越低；以及
当所述人脸图像的一个面部图像块被完全遮挡，则其权重被设定为零，使得所述人脸验证不考虑该面部图像块的特征。
15、根据附记9所述的装置，其中，所述权重确定单元进一步被配置为：
利用预先训练的权重回归神经网络来确定所述人脸图像的预定多个面部图像块各自的权重。
16、根据附记15所述的装置，其中，所述权重回归神经网络通过以下过程训练得到：
利用预先训练的预定多个人脸识别神经网络提取训练集中的每个人脸图像的预定多个特征；
利用预先训练的人脸暴露区域分割神经网络得到训练集中的每个人脸图像的预定多个面部图像块的遮挡区域；
使用每个人脸图像的预定多个特征、对应的预定多个面部图像块的遮挡区域和训练集中的人脸图像的标识来训练人脸图像的预定多个面部图像块的权重的权重回归神经网络。
17、一种非暂态计算机可读存储介质，其中存储有程序，当所述程序由计算机执行时，使得所述计算机执行根据附记1-8中任意一项所述的方法。
Claims (10)
1.一种人脸验证方法，包括：
对待验证图像进行人脸检测和对齐；
在得到的人脸图像上划分预定多个面部图像块；
利用预先训练的预定多个人脸识别神经网络对所述人脸图像进行处理，得到所述人脸图像的预定多个面部图像块的预定多个特征；
利用预先训练的人脸暴露区域分割神经网络对所述人脸图像进行分析，基于所述分析的结果和所述人脸图像的预定多个面部图像块得到所述人脸图像的预定多个面部图像块的遮挡区域；
基于所述遮挡区域确定所述人脸图像的预定多个面部图像块各自的权重；以及
根据所述预定多个特征和对应的权重进行人脸验证。
2.根据权利要求1所述的方法，其中，所述人脸识别神经网络通过以下步骤进行训练：
对训练集中的每个图像进行人脸检测和对齐；
在得到的人脸图像上划分预定多个面部图像块；以及
针对所述预定多个面部图像块，对应地训练预定多个人脸识别神经网络。
3.根据权利要求1所述的方法，其中，所述人脸暴露区域分割神经网络通过以下步骤进行训练：
对训练集中的每个图像进行数据扩充处理，所述数据扩充处理包括随机地在所述每个图像上添加随机形状和面积的遮挡；以及
利用经过数据扩充处理的图像来训练所述人脸暴露区域分割神经网络。
4.根据权利要求1所述的方法，其中，使用所述人脸暴露区域分割神经网络对所述人脸图像进行分析包括：得到所述人脸图像的遮挡区域和无遮挡区域。
5.根据权利要求1所述的方法，其中，对待验证图像进行人脸检测和对齐包括：检测人脸关键点用于对齐，所述人脸关键点包括左眼、右眼、鼻尖、左嘴角和右嘴角。
6.根据权利要求1所述的方法，其中，基于所述遮挡区域设定所述人脸图像的预定多个面部图像块各自的权重包括：
当所述人脸图像的一个面部图像块被遮挡的越多，则将其权重设定得越低；以及
当所述人脸图像的一个面部图像块被完全遮挡，则将其权重设定为零，使得所述人脸验证不考虑该面部图像块的特征。
7.根据权利要求1所述的方法，其中，基于所述遮挡区域确定所述人脸图像的预定多个面部图像块各自的权重包括：利用预先训练的权重回归神经网络来确定所述人脸图像的预定多个面部图像块各自的权重。
8.根据权利要求7所述的方法，其中，所述权重回归神经网络通过以下步骤进行训练：
利用预先训练的预定多个人脸识别神经网络提取训练集中的每个人脸图像的预定多个特征；
利用预先训练的人脸暴露区域分割神经网络得到训练集中的每个人脸图像的预定多个面部图像块的遮挡区域；
使用每个人脸图像的预定多个特征、对应的预定多个面部图像块的遮挡区域和训练集中的人脸图像的标识来训练人脸图像的预定多个面部图像块的权重的权重回归神经网络。
9.一种人脸验证装置，包括：
预处理单元，被配置为对待验证图像进行人脸检测和对齐；
划分单元，被配置为在得到的人脸图像上划分预定多个面部图像块；
特征获取单元，被配置为利用预先训练的预定多个人脸识别神经网络对所述人脸图像进行处理，得到所述人脸图像的预定多个面部图像块的预定多个特征；
遮挡确定单元，被配置为利用预先训练的人脸暴露区域分割神经网络对所述人脸图像进行分析，基于所述分析的结果和所述人脸图像的预定多个面部图像块得到所述人脸图像的预定多个面部图像块的遮挡区域；
权重设定单元，被配置为基于所述遮挡区域确定所述人脸图像的预定多个面部图像块各自的权重；以及
人脸验证单元，被配置为根据所述预定多个特征和对应的权重进行人脸验证。
10.一种非暂态计算机可读存储介质，其中存储有程序，当所述程序由计算机执行时，使得所述计算机执行根据权利要求1-8中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810027146.3A CN110032912A (zh) | 2018-01-11 | 2018-01-11 | 人脸验证方法和装置及计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810027146.3A CN110032912A (zh) | 2018-01-11 | 2018-01-11 | 人脸验证方法和装置及计算机存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110032912A true CN110032912A (zh) | 2019-07-19 |
Family
ID=67234741
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810027146.3A Pending CN110032912A (zh) | 2018-01-11 | 2018-01-11 | 人脸验证方法和装置及计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110032912A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110689479A (zh) * | 2019-09-26 | 2020-01-14 | 北京达佳互联信息技术有限公司 | 一种人脸上妆方法、装置、设备及介质 |
| CN110837781A (zh) * | 2019-10-16 | 2020-02-25 | 平安科技（深圳）有限公司 | 一种人脸识别方法、人脸识别装置及电子设备 |
| CN112200109A (zh) * | 2020-10-16 | 2021-01-08 | 北京澎思科技有限公司 | 面部属性识别方法、电子设备以及计算机可读存储介质 |
| CN114549921A (zh) * | 2021-12-30 | 2022-05-27 | 浙江大华技术股份有限公司 | 目标识别方法、电子设备及计算机可读存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103902961A (zh) * | 2012-12-28 | 2014-07-02 | 汉王科技股份有限公司 | 一种人脸识别方法及装置 |
| CN103903004A (zh) * | 2012-12-28 | 2014-07-02 | 汉王科技股份有限公司 | 一种人脸识别多特征权值融合方法与装置 |
| CN105631439A (zh) * | 2016-02-18 | 2016-06-01 | 北京旷视科技有限公司 | 人脸图像处理方法和装置 |
| WO2017107957A1 (zh) * | 2015-12-22 | 2017-06-29 | 中兴通讯股份有限公司 | 人脸图像的检索方法及装置 |
| CN107292287A (zh) * | 2017-07-14 | 2017-10-24 | 深圳云天励飞技术有限公司 | 人脸识别方法、装置、电子设备及存储介质 |
-
2018
- 2018-01-11 CN CN201810027146.3A patent/CN110032912A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103902961A (zh) * | 2012-12-28 | 2014-07-02 | 汉王科技股份有限公司 | 一种人脸识别方法及装置 |
| CN103903004A (zh) * | 2012-12-28 | 2014-07-02 | 汉王科技股份有限公司 | 一种人脸识别多特征权值融合方法与装置 |
| WO2017107957A1 (zh) * | 2015-12-22 | 2017-06-29 | 中兴通讯股份有限公司 | 人脸图像的检索方法及装置 |
| CN106909870A (zh) * | 2015-12-22 | 2017-06-30 | 中兴通讯股份有限公司 | 人脸图像的检索方法及装置 |
| CN105631439A (zh) * | 2016-02-18 | 2016-06-01 | 北京旷视科技有限公司 | 人脸图像处理方法和装置 |
| CN107292287A (zh) * | 2017-07-14 | 2017-10-24 | 深圳云天励飞技术有限公司 | 人脸识别方法、装置、电子设备及存储介质 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110689479A (zh) * | 2019-09-26 | 2020-01-14 | 北京达佳互联信息技术有限公司 | 一种人脸上妆方法、装置、设备及介质 |
| CN110689479B (zh) * | 2019-09-26 | 2023-05-30 | 北京达佳互联信息技术有限公司 | 一种人脸上妆方法、装置、设备及介质 |
| CN110837781A (zh) * | 2019-10-16 | 2020-02-25 | 平安科技（深圳）有限公司 | 一种人脸识别方法、人脸识别装置及电子设备 |
| CN110837781B (zh) * | 2019-10-16 | 2024-03-15 | 平安科技（深圳）有限公司 | 一种人脸识别方法、人脸识别装置及电子设备 |
| CN112200109A (zh) * | 2020-10-16 | 2021-01-08 | 北京澎思科技有限公司 | 面部属性识别方法、电子设备以及计算机可读存储介质 |
| CN114549921A (zh) * | 2021-12-30 | 2022-05-27 | 浙江大华技术股份有限公司 | 目标识别方法、电子设备及计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110032912A (zh) | 人脸验证方法和装置及计算机存储介质 | |
| CN104239858B (zh) | 一种人脸特征验证的方法和装置 | |
| CN108229499A (zh) | 证件识别方法及装置、电子设备和存储介质 | |
| CN110992167A (zh) | 银行客户业务意图识别方法及装置 | |
| CN109376766B (zh) | 一种画像预测分类方法、装置及设备 | |
| JP2020135859A (ja) | 分類モデルの訓練装置及び方法、並びに分類モデルを用いる分類装置 | |
| CN111681091A (zh) | 基于时间域信息的金融风险预测方法、装置及存储介质 | |
| CN110288007A (zh) | 数据标注的方法、装置及电子设备 | |
| CN111966875A (zh) | 一种敏感信息识别方法和装置 | |
| CN107368526A (zh) | 一种数据处理方法及装置 | |
| Hunt et al. | Transfer learning for education data | |
| CN111353689B (zh) | 一种风险评估方法及装置 | |
| CN115984930A (zh) | 微表情识别方法、装置、微表情识别模型的训练方法 | |
| CN110197140A (zh) | 基于文字识别的材料审核方法及设备 | |
| CN109344747A (zh) | 一种篡改图的识别方法、存储介质和服务器 | |
| CN115456766A (zh) | 信用风险预测方法及装置 | |
| CN112101192B (zh) | 基于人工智能的伪装检测方法、装置、设备及介质 | |
| CN108388913A (zh) | 一种基于约束投影的多决策树信用卡欺诈检测方法及系统 | |
| CN113657808A (zh) | 一种人员评定方法、装置、设备及存储介质 | |
| CN113850557A (zh) | 域名持有者实名审核方法及装置 | |
| CN112347990A (zh) | 基于多模态智能审稿系统及方法 | |
| CN110457877A (zh) | 用户认证方法和装置、电子设备、计算机可读存储介质 | |
| CN115565227B (zh) | 智能网联汽车数据合规评估方法及装置 | |
| Shiranthika et al. | SplitFed resilience to packet loss: Where to split, that is the question | |
| CN109558449A (zh) | 数据处理平台及数据处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190719 |
|
| WD01 | Invention patent application deemed withdrawn after publication |