CN114120386A - 人脸识别方法、装置、设备及存储介质 - Google Patents
人脸识别方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN114120386A CN114120386A CN202010893781.7A CN202010893781A CN114120386A CN 114120386 A CN114120386 A CN 114120386A CN 202010893781 A CN202010893781 A CN 202010893781A CN 114120386 A CN114120386 A CN 114120386A
- Authority
- CN
- China
- Prior art keywords
- face
- detected
- local
- feature
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 79
- 238000003860 storage Methods 0.000 title claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 59
- 238000000605 extraction Methods 0.000 claims abstract description 47
- 239000002131 composite material Substances 0.000 claims abstract description 24
- 239000013598 vector Substances 0.000 claims description 54
- 238000001514 detection method Methods 0.000 claims description 21
- 238000013473 artificial intelligence Methods 0.000 abstract description 21
- 210000000887 face Anatomy 0.000 description 31
- 238000005516 engineering process Methods 0.000 description 27
- 238000010586 diagram Methods 0.000 description 23
- 210000001508 eye Anatomy 0.000 description 20
- 230000008569 process Effects 0.000 description 17
- 241000282414 Homo sapiens Species 0.000 description 12
- 238000013527 convolutional neural network Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 230000001815 facial effect Effects 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 6
- 238000010606 normalization Methods 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000003062 neural network model Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000003321 amplification Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 230000036961 partial effect Effects 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001680 brushing effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000000720 eyelash Anatomy 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Collating Specific Patterns (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种人脸识别方法、装置、设备及存储介质，属于人工智能技术领域。所述方法包括：获取待检测人脸的人脸图像；对待检测人脸的人脸图像进行复合特征提取处理，得到待检测人脸的整体特征和至少一种局部微特征；基于待检测人脸的整体特征和至少一种局部微特征，识别待检测人脸的身份信息。本申请实施例提供的技术方案中，通过从人脸图像能够提取待检测人脸的复合特征，基于复合特征中整体特征与局部微特征的独特性，从多个维度辨识待检测人脸的身份，增加非法分子攻击成本，提升人脸识别的准确性与安全性。
Description
技术领域
本申请涉及人工智能技术领域，特别涉及一种人脸识别方法、装置、设备及存储介质。
背景技术
随着人工智能技术的研究和进步，人工智能技术在多个领域展开应用。
人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术，是人工智能技术中重要的一环。在人脸识别技术的实际应用过程中，不法分子可以通过制作人脸面具来破解传统的人脸识别技术。
相关的人脸识别技术对上述人脸面具的识别度差，安全性较低。
发明内容
本申请实施例提供了一种人脸识别方法、装置、设备及存储介质，能够提升人脸识别的准确性与安全性。所述技术方案如下：
根据本申请实施例的一个方面，提供了一种人脸识别方法，所述方法包括：
获取待检测人脸的人脸图像；
对所述待检测人脸的人脸图像进行复合特征提取处理，得到所述待检测人脸的整体特征和至少一种局部微特征；其中，所述整体特征是用于反映所述待检测人脸的整体脸部区域的特征信息，所述局部微特征是用于反映所述待检测人脸的局部脸部区域的特征信息；
基于所述待检测人脸的整体特征和至少一种局部微特征，识别所述待检测人脸的身份信息。
根据本申请实施例的一个方面，提供了一种人脸识别方法，所述方法包括：
显示人脸图像的采集界面，所述采集界面中包括用于调整人脸识别的提示信息；
获取待检测人脸的人脸图像；
基于所述待检测人脸的人脸图像，确定所述待检测人脸的身份信息；其中，所述身份信息基于所述待检测人脸的整体特征和至少一种局部微特征进行识别确定，所述整体特征是用于反映所述待检测人脸的整体脸部区域的特征信息，所述局部微特征是用于反映所述待检测人脸的局部脸部区域的特征信息；
显示所述待检测人脸的身份信息。
根据本申请实施例的一个方面，提供了一种人脸识别装置，所述装置包括：
人脸获取模块，用于获取待检测人脸的人脸图像；
特征提取模块，用于对所述待检测人脸的人脸图像进行复合特征提取处理，得到所述待检测人脸的整体特征和至少一种局部微特征；其中，所述整体特征是用于反映所述待检测人脸的整体脸部区域的特征信息，所述局部微特征是用于反映所述待检测人脸的局部脸部区域的特征信息；
身份确定模块，用于基于所述待检测人脸的整体特征和至少一种局部微特征，识别所述待检测人脸的身份信息。
可选地，所述特征提取模块包括：特征点检测单元、区域确定单元、整特征提取单元以及微特征提取单元；
所述特征点检测单元，用于对所述人脸图像进行特征点检测处理，得到所述人脸图像的特征点；
所述区域确定单元，用于基于所述特征点确定所述人脸图像中整体脸部区域，以及至少一个局部脸部区域；
所述整特征提取单元，用于基于所述整体脸部区域提取所述人脸图像的整体特征；微特征提取单元，用于基于所述至少一个局部脸部区域，提取对应的局部微特征。
可选地，所述特征点检测单元用于：
对所述人脸图像进行特征点粗定位处理，得到所述人脸图像的粗定位特征点；
基于所述粗定位特征点的位置，提取所述人脸图像中的多个局部图像，所述局部图像中包括所述粗定位特征点；
对所述多个局部图像进行特征点精定位处理，得到所述人脸图像的精定位特征点。
可选地，所述特征点包括整体特征点和局部特征点，所述区域确定单元用于：基于所述整体特征点的位置，确定所述人脸图像中包含所述整体特征点的第一人脸框，所述第一人脸框是包含所述整体特征点的最小矩形框；
对所述第一人脸框进行放大处理，得到所述整体脸部区域；
基于所述局部特征点的位置，确定所述人脸图像中包含所述局部特征点的第二人脸框，所述第二人脸框是包含所述局部特征点的矩形框；对所述第二人脸框进行放大处理，得到所述局部脸部区域。
可选地，所述整特征提取单元用于：对所述整体脸部区域进行特征提取处理，得到所述整体脸部区域的特征向量；
对所述整体脸部区域的特征向量进行归一化处理，得到所述整体脸部区域归一化后的特征向量；
其中，所述人脸图像的整体特征包括所述整体脸部区域归一化后的特征向量。
可选地，所述微特征提取单元用于：
对所述局部脸部区域进行特征提取处理，得到所述局部脸部区域的特征向量；
对所述局部脸部区域的特征向量进行归一化处理，得到所述局部脸部区域归一化后的特征向量；
其中，所述局部脸部区域对应的局部微特征包括所述局部脸部区域归一化后的特征向量。
可选地，所述身份确定模块用于：
将所述待检测人脸的整体特征与已注册人脸的整体特征进行比较，确定所述已注册人脸中与所述待检测人脸匹配的第一目标人脸，所述第一目标人脸的整体特征与所述待检测人脸的整体特征的相似度符合第一预设条件；
若所述第一目标人脸的数量为1，则确定所述待检测人脸的身份信息为所述第一目标人脸的身份信息；
若所述第一目标人脸的数量大于1，则获取所述第一目标人脸的局部微特征；
对所述待检测人脸的局部微特征与所述第一目标人脸的局部微特征进行对比处理，确定所述第一目标人脸中与所述待检测人脸匹配的第二目标人脸，所述第二目标人脸的局部微特征与所述待检测人脸的局部微特征的相似度符合第二预设条件；
确定所述待检测人脸的身份信息为所述第二目标人脸的身份信息。
根据本申请实施例的一个方面，提供了一种人脸识别装置，所述装置包括：
界面显示模块，用于显示人脸图像的采集界面，所述采集界面中包括用于调整人脸识别的提示信息；
人脸获取模块，用于获取待检测人脸的人脸图像；
身份确定模块，用于基于所述待检测人脸的人脸图像，确定所述待检测人脸的身份信息；其中，所述身份信息基于所述待检测人脸的整体特征和至少一种局部微特征进行识别确定，所述整体特征是用于反映所述待检测人脸的整体脸部区域的特征信息，所述局部微特征是用于反映所述待检测人脸的局部脸部区域的特征信息；
身份显示模块，用于显示所述待检测人脸的身份信息。
可选地，所述待检测人脸的整体特征和至少一种局部微特征从一张所述人脸图像中提取；
或者，
所述人脸图像包括第一人脸图像和第二人脸图像，所述待检测人脸的整体特征从所述第一人脸图像中提取，所述待检测人脸的至少一种局部微特征从所述第二人脸图像中提取。
可选地，所述人脸图像是所述待检测人脸在微笑表情下的人脸图像，所述局部微特征包括眼纹特征、牙齿特征中至少一种。
可选地，所述装置还包括信息显示模块，用于：
在所述第一采集界面中显示所述第一人脸图像的情况下，显示第一提示信息，所述第一提示信息是用于调整所述待检测人脸的位置的信息；
在所述第二采集界面中显示所述第二人脸图像的情况下，显示第二提示信息，所述第二提示信息是用于调整所述待检测人脸的表情的信息。
根据本申请实施例的一个方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述人脸识别方法。
根据本申请实施例的一个方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述人脸识别方法。
根据本申请实施例的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述人脸识别方法。
本申请实施例提供的技术方案可以带来如下有益效果：
通过从人脸图像能够提取待检测人脸的复合特征，基于复合特征中整体特征与局部微特征的独特性，从多个维度辨识待检测人脸的身份，增加非法分子攻击成本，提升人脸识别的准确性与安全性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个实施例提供的应用程序运行环境的示意图；
图2是本申请一个实施例提供的人脸识别方法的流程图；
图3是本申请另一个实施例提供的人脸识别方法的流程图；
图4示例性示出了一种基于DCNN模型的特征点检测模型的示意图；
图5示例性示出了一种包含粗定位特征点的局部图像的示意图；
图6示例性示出了一种确定整体脸部区域过程的示意图；
图7示例性示出了一种特征提取模型的训练过程的示意图；
图8示例性示出了一种ZFNet结构的示意图；
图9示例性示出了一种人脸识别方法流程的示意图；
图10示例性示出了一种引导用户使用流程的示意图；
图11是本申请一个实施例提供的人脸识别方法的流程图；
图12示例性示出了一种显示人脸图像界面的示意图；
图13是本申请一个实施例提供的人脸识别装置的框图；
图14是本申请另一个实施例提供的人脸识别装置的框图；
图15是本申请一个实施例提供的人脸识别装置的框图；
图16是本申请一个实施例提供的人脸识别装置的框图；
图17是本申请一个实施例提供的计算机设备的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
请参考图1，其示出了本申请一个实施例提供的方案实施环境的示意图。该方案实施环境可以实现成为一个人脸识别系统。该方案实施环境可以包括：终端10和服务器20。
终端10可以是诸如手机、平板电脑、多媒体播放设备、可穿戴设备、PC(PersonalComputer)、人脸支付终端、人脸签到终端、智能摄像机等电子设备。终端10可以配置或者连接摄像头，通过该摄像头采集人脸视频数据。终端10中可以安装运行有应用程序的客户端，该应用程序可以包含有人脸识别功能。在本申请实施例中，对该应用程序的类型不作限定，如其可以是社交类应用程序、支付类应用程序、监控类应用程序、即时通信类应用程序、视频类应用程序、新闻资讯类应用程序、音乐类应用程序、购物类应用程序等。
服务器20可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。服务器20可以是上述应用程序的后台服务器，用于为该应用程序提供后台服务。
终端10和服务器20之间可以通过网络进行通信，本申请在此不做限制。
本申请实施例提供的人脸识别方法，各步骤的执行主体可以是服务器20，也可以是终端10(如终端10中运行的应用程序的客户端)，还可以是由终端10和服务器20交互配合执行。为了便于说明，在下述方法实施例中，仅以各步骤的执行主体为计算机设备进行介绍说明，但对此不构成限定。
在一个示例中，以刷脸支付作为典型应用举例说明，刷脸支付的应用场景包括但不限于自助终端支付场景、移动终端支付场景以及无人零售商店场景。在自助终端支付场景中，上述方法可应用于设置安装在大型商业综合体、超市、加油站、医院、自助售货机、校园等场所的收银设备中。在移动终端支付场景下，上述方法可应用于智能手机、可穿戴设备等移动终端中。在无人零售商店场景下，上述方法应该应用于无人零售商店的终端上，可通过在买单流程中增加人脸支付渠道，用户刷脸即可完成支付，节约了排队结账的时间，大幅提升用户体验。
本申请技术方案涉及人工智能技术领域和云技术领域，下面对此进行介绍说明。
AI(Artificial Intelligence，人工智能)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision，CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR(Optical Character Recognition，光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
ML(Machine Learning，机器学习)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
随着人工智能技术的研究和进步，人工智能技术和云技术在多个领域展开研究和应用，上述人脸识别环境中的终端，如刷脸支付终端可以通过网络与云平台相连。终端中还设置有基于AI技术训练的人脸识别模块，可以执行本申请提供的人脸识别方法，达到准确识别人脸并有效对抗人脸面具的效果。
请参考图2，其示出了本申请一个实施例提供的人脸识别方法的流程图。该方法可以包括以下几个步骤(210～230)：
步骤210，获取待检测人脸的人脸图像。
待检测人脸是视频图像中需要经过检测以确定其真实性的人脸。待检测人脸有可能是真实人脸，也有可能是虚假人脸。上述人脸图像是指包含人脸的人脸图像。
上述虚假人脸是通过某种技术手段模仿真实人脸而伪造的虚假人脸，用于欺骗人脸防伪识别技术，从而通过人脸防伪识别认证。可选地，上述虚假人脸是人脸面具，上述人脸面具是根据真实人脸伪造的虚假人脸，例如，不法分子根据真实人脸图像制作人脸面具，通过佩戴人脸面具或者其他方式欺骗人脸识别技术以通过人脸识别认证。
上述真实人脸是真实用户的人脸，待检测人脸的主体与实际进行检测的用户一致。
可选地，上述人脸图像可从人脸视频流中获取，上述人脸视频流中的一个图像帧对应一张人脸图像。可选地，人脸图像是人脸视频流中的一个图像帧，或者人脸图像是图像帧中包含人脸的一部分图像区域。可选地，人脸视频流可以通过计算机设备自身进行采集得到。可选地，计算机设备可通过结构光摄像机或者红外摄像机等类型的摄像机采集人脸图像。可选地，人脸图像是红外图像或者深度图像。
可选地，上述人脸图像是高清人脸图像，通过提升人脸图像的分辨率以准确获取待检测人脸中的细节特征。
步骤220，对待检测人脸的人脸图像进行复合特征提取处理，得到待检测人脸的整体特征和至少一种局部微特征。
上述复合特征提取处理是指计算机设备提取图像中至少一种能够反映人脸多种特征的处理方法。可选地，复合特征是反映待检测人脸的多种特征的复合。可选地，复合特征是待检测人脸的整体特征和至少一种局部微特征之间的任意组合。
上述整体特征是用于反映待检测人脸的整体脸部区域的特征信息，局部微特征是用于反映待检测人脸的局部脸部区域的特征信息。
可选地，上述整体特征是基于人脸轮廓，人脸五官形状，关键点位置等提取的人脸特征，在整体层次上反映待检测人脸的特点。
可选地，上述局部微特征是基于人脸细节特征，比如眼睛特征，牙齿特征等提取的人脸特征，在细节层次上反映待检测人脸的特点。眼睛特征是指待检测人脸眼睛所具有的特征。可选地，眼睛特征包括但不限于眼纹特征、眼角特征、眼睑特征以及睫毛特征。上述眼纹特征是指位于眼白上的可见静脉图案的特征。牙齿特征是指待检测人脸牙齿所具有的特征。可选地，牙齿特征包括牙齿形态特征，上述牙齿形态特征是指牙齿的排列与形状的特征。
步骤230，基于待检测人脸的整体特征和至少一种局部微特征，识别待检测人脸的身份信息。
上述待检测人脸的整体特征和至少一种局部微特征应是独特的，因此，可根据待检测人脸的整体特征和至少一种局部微特征进而确定待检测人脸的身份信息。可选地，身份信息包括但不限于用户帐号、用户身份证号等能够对应唯一的人的信息。
综上所述，本申请实施例提供的技术方案，通过从人脸图像能够提取待检测人脸的复合特征，基于复合特征中整体特征与局部微特征的独特性，从多个维度辨识待检测人脸的身份，增加非法分子攻击成本，提升人脸识别的准确性与安全性。
请参考图3，其示出了本申请另一个实施例提供的人脸识别方法的流程图。该方法可以包括以下几个步骤(310～335)。
步骤310，获取待检测人脸的人脸图像。
步骤311，对人脸图像进行特征点检测处理，得到人脸图像的特征点。
上述特征点是指图像中能够反映关键特征信息的点。上述人脸图像的特征点是指在人脸中位于重要位置的并可反映人脸特征的关键点，例如将瞳孔中心、眼角、鼻尖或者嘴角等关键位置作为人脸的特征点，来反映人的特征。
上述检测处理是指计算机设备根据图像数据从图像中检测出特征点的处理方法。可选地，特征点检测处理包括人脸特征点检测处理。
可选地，通过特征点检测模型对人脸图像进行特征点检测处理。上述特征点检测模型是指执行特征点检测算法的神经网络模型。可选地，特征点检测模型是深度卷积神经网络(Deep Convolutional Neural Network，DCNN)模型。
在示例性实施例中，上述步骤311包括如下子步骤。
步骤311a，对人脸图像进行特征点粗定位处理，得到人脸图像的粗定位特征点。
上述粗定位是指对人脸图像中的特征点进行初步定位的处理，粗定位特征点是通过粗定位处理后对选定特征点的位置进行预测得到的特征点，例如将鼻尖作为人脸图像的特征点，鼻尖的粗定位特征点就是经粗定位处理后在人脸图像中预测的鼻尖的位置。
因人脸图像较大，若后续需要更加精准的识别结果或者某些特征点对定位要求极高，可对特征点再进行一次定位，即下述步骤中提及的精定位，相关介绍在下文进行说明，此处暂不引出。
步骤311b，基于粗定位特征点的位置，提取人脸图像中的多个局部图像。
上述局部图像中包括粗定位特征点。可选地，提取人脸图像中以粗定位特征点为中心的矩形框中的图像。可选地，不同特征点对应的矩形框的可以不同，也可以相同，可根据实际情况对矩形框的大小进行设置，本申请实施例对此不作限定。
步骤311c，对多个局部图像进行特征点精定位处理，得到人脸图像的精定位特征点。
上述精定位处理是指对人脸图像中的特征点进行精确定位的处理，精定位特征点是通过精定位处理后对选定特征点的位置进行高精度检测得到的特征点。
在一个示例中，如图4所示，其示例性示出了一种基于DCNN模型的特征点检测模型的示意图。这里以图4中DCNN模型为例，对上述步骤311a至311c进行示例性的解释说明。基于DCNN模型的特征点检测模型包括三层网络模型。在将人脸图像输入至第一层网络之前，先通过人脸检测器裁剪出人脸图片，得到整张人脸图片、眼睛和鼻子区域图片以及鼻子和嘴巴区域图片，然后将裁剪出来的人脸图片作为第一层网络模型的输入。
第一层网络模型包括3个卷积神经网络(Convolutional Neural Networks，CNN)。这三个卷积神经网络分别命名为：F1、EN1以及NM1。其中，F1网络的输入为一整张人脸图片，EN1网络的输入为眼睛和鼻子区域图片，NM1网络的输入为鼻子和嘴巴区域图片。F1、EN1以及NM1的区别在于输入的图片区域不同。F1网络的输出是一个10维的特征向量，代表左眼瞳孔中心、右眼瞳孔中心、鼻尖、左嘴角、右嘴角5个特征点的位置坐标。EN1网络的输出是一个6维的特征向量，代表左眼角、右眼角、鼻尖3个特征点的位置坐标。NM1网络的输出是一个6维的特征向量，代表鼻尖、左嘴角、右嘴角3个特征点的位置坐标。最终通过平均的方法，计算F1、EN1以及NM1重复预测的特征点的坐标的平均值，得到左眼瞳孔中心、右眼瞳孔中心、鼻尖、左嘴角以及右嘴角的粗定位特征点的位置。
第二层网络模型包括10个卷积神经网络，分别用于预测5个特征点，每个特征点用了两个卷积神经网络，然后两个CNN对预测的结果进行平均，预测得到新的特征点。首先以第一层网络模型输出的粗定位特征点为中心，裁剪出包含粗定位特征点的多个局部图像，如图5所示，其示例性示出了一种包含粗定位特征点的局部图像的示意图，其示出了包含鼻尖粗定位特征点的局部图像50，包含左眼瞳孔中心粗定位特征点的局部图像51，包含右眼瞳孔中心粗定位特征点的局部图像52，包含左嘴角粗定位特征点的局部图像53，包含右嘴角粗定位特征点的局部图像54。然后再对包含粗定位特征点的多个局部图像进行检测，得到新的特征点。
第三层网络模型是在第二层网络模型的基础上，以第二层网络模型输出的新的特征点为中心，重新裁剪出包含新的特征点的多个局部图像，然后对重新裁剪得到的多个局部图像进行检测，得到人脸图像的精定位特征点。
步骤312，基于特征点确定人脸图像中整体脸部区域，以及至少一个局部脸部区域。
上述整体脸部区域是指整体脸部在人脸图像中所占的部分区域。可选地，整体脸部区域是包含人脸轮廓的最小矩形区域。上述局部脸部区域是指局部脸部在人脸图像中所占的部分区域，例如眼睛在人脸图像中所占的区域。
在示例性实施例中，上述步骤312包括如下子步骤。
步骤312a，基于整体特征点的位置，确定人脸图像中包含整体特征点的第一人脸框。
可选地，第一人脸框是包含整体特征点的最小矩形框。通过得到的整体特征点的位置坐标，确定包含整体特征点的最小矩形框作为第一人脸框。
步骤312b，对第一人脸框进行放大处理，得到整体脸部区域。
可选地，以第一人脸框的中心点作为人脸中心，按照预设倍数或者预设宽高对第一人脸框进行放大，得到整体脸部区域。其中预设倍数可通过经验设定，这里不作限定。在一个示例中，如图6所示，其示例性示出了一种确定整体脸部区域过程的示意图，首先基于5个整体特征点61确定出第一人脸框62，然后对第一人脸框进行放大得到整体脸部区域63，并且可根据整体特征点61确定出眼部区域64和嘴部区域65。
步骤312c，基于局部特征点的位置，确定人脸图像中包含局部特征点的第二人脸框。
其中，第二人脸框是包含局部特征点的矩形框。可选地，基于反映同一局部微特征的多个局部特征点的位置，确定人脸图像中包含上述局部特征点的第二人脸框。可选地，第二人脸框的数量可以是一个，也可以是多个。
步骤312d，对第二人脸框进行放大处理，得到局部脸部区域。
上述对第二人脸框进行放大处理得到局部脸部区域的过程可参照步骤312b中对第一人脸框进行放大处理得到整体脸部区域的过程，区别仅是人脸框的不同，或者预设倍数以及预设宽高不同。
可选地，局部脸部区域是眼睛在人脸图像中所在的局部脸部区域。可选地，局部脸部区域是牙齿在人脸图像中所在的局部脸部区域。
步骤313，基于整体脸部区域提取人脸图像的整体特征。
在示例性实施例中，上述步骤313包括如下子步骤。
步骤313a，对整体脸部区域进行特征提取处理，得到整体脸部区域的特征向量。
上述特征提取处理是指计算机设备提取图像中至少一种能够反映人脸特征的处理方法。
上述整体脸部区域的特征向量是指反映整体脸部区域的特征的向量。上述整体脸部区域的特征向量的维度可根据实际情况来确定。
可选地，将整体脸部区域输入至整体特征提取模型中，通过整体特征模型输出整体脸部区域的特征向量。可选地，整体特征提取模型是基于可视化卷积网络(Zeiler andFergus Net，ZFNet)的神经网络模型。
步骤313b，对整体脸部区域的特征向量进行归一化处理，得到整体脸部区域归一化后的特征向量。
上述归一化处理是指将上述特征向量映射到一个超球面的处理，可由如下公式实现：
‖f(x)‖2＝1
其中，f(x)是特征向量。上述超球面，也称n维球面，是普通的球面在任意维度的推广。它是(n+1)维空间内的n维流形。特别地，0维球面就是直线上的两个点，1维球面是平面上的圆，2维球面是三维空间内的普通球面。高于2维的球面称为超球面。
可选地，人脸图像的整体特征包括整体脸部区域归一化后的特征向量，通过整体脸部区域归一化后的特征向量反映人脸图像的整体特征。
在一个示例中，如图7所示，其示例性示出了一种特征提取模型的训练过程的示意图。其中，输入的人脸样本图像70是经过人脸检测找到人脸并裁剪到固定尺寸(例如160x160)的图片样本。将人脸图像样本70输入至深度学习架构71，比如可视化卷积网络模型。通过深度学习架构71输出人脸样本图像70的特征向量，将特征向量输入至归一化处理层72，得到归一化后的特征向量73。最后，通过Triplet Loss损失函数74计算三张样本图像的损失值，进而对特征提取模型进行约束，使得特征提取模型学习特征间的可分性，实现相同身份的人脸图像之间的特征距离要尽可能的小，不同身份的人脸图像之间的特征距离要尽可能的大。
在一个示例中，如图8所示，其示例性示出了一种ZFNet结构的示意图。其中，示出了8层卷积网络模型的体系结构。像素大小为224x 224的图像作为模型的输入，与7×7的卷积核(filter)进行卷积，步长(stride)为2。然后，将生成的特征图进行池化处理，在第2、3、4、5层中重复类似的操作。然后通过两层全连接层，将卷积处理后的层的特征图作为矢量形式输入。最后一层是归一化指数函数(softmax函数)，C是类数。网络中所有的卷积核和特征图均为正方形。
步骤314，基于至少一个局部脸部区域，提取对应的局部微特征。
在示例性实施例中，上述步骤314包括如下子步骤。
步骤314a，对局部脸部区域进行特征提取处理，得到局部脸部区域的特征向量。
上述局部脸部区域的特征向量是指反映局部脸部区域的特征的向量。上述局部脸部区域的特征向量的维度可根据实际情况来确定。
可选地，将局部脸部区域输入至局部微特征提取模型中，通过局部微特征模型输出局部脸部区域的特征向量。可选地，局部微特征提取模型是基于可视化卷积网络(Zeilerand Fergus Net，ZFNet)的神经网络模型。可选地，上述整体特征模型与局部微特征模型的模型结构相同，但因输入不同，识别特征不同，两个模型之间的差异仅是参数上的不同，模型参数是通过训练样本确定的。
可选地，对与每一个局部脸部区域均进行特征提取处理，得到每一个局部脸部区域对应的特征向量。
步骤314b，对局部脸部区域的特征向量进行归一化处理，得到局部脸部区域归一化后的特征向量。
有关归一化处理的介绍可以参见上文中对步骤313b中对归一化处理的介绍，这里不再赘述。
可选地，局部脸部区域对应的局部微特征包括局部脸部区域归一化后的特征向量。
步骤331，将待检测人脸的整体特征与已注册人脸的整体特征进行比较，确定已注册人脸中与待检测人脸匹配的第一目标人脸。
上述已注册人脸是指用户的已录入的人脸图像，其特征可作为识别用户身份的参考依据。
计算待检测人脸的整体特征与已注册人脸的整体特征之间的相似度，根据两者的相似度确定已注册人脸中与待检测人脸匹配的第一目标人脸。其中，第一目标人脸的整体特征与待检测人脸的整体特征的相似度符合第一预设条件。上述第一预设条件是用于判定两整体特征之间相似的条件。可选地，上述相似度符合第一预设条件是指相似度高于第一阈值，第一阈值是针对第一预设条件设置的预设值。
可选地，将待检测人脸的整体特征与已注册人脸的整体特征之间的欧式距离作为两者的相似度，这里的欧式距离是指在m维空间中两个向量之间的距离，计算公式如下：
其中，d12表示两个n维向量a(x11，x12，…，x1n)与b(x21，x22，…，x2n)间的欧式距离，k表示向量中各个值的下标。
可选地，d12也可由如下公式计算：
其中，T表示转置。
步骤332，若第一目标人脸的数量为1，则确定待检测人脸的身份信息为第一目标人脸的身份信息。
在第一目标人脸的数量为1的情况下，可说明根据待检测人脸的整体特征突出，可根据整体特征直接确定待检测人脸的身份，此时，第一目标人脸就是待检测人脸所属用户预先录入的人脸图像。
步骤333，若第一目标人脸的数量大于1，则获取第一目标人脸的局部微特征。
在第一目标人脸的数量大于1的情况下，则获取全部的第一目标人脸并获取第一目标人脸的局部微特征。此时，第一目标人脸的数量为至少两个。
若第一目标人脸的数量为0，则确定待检测人脸所属用户的身份信息不存在，进入用户注册流程。在用户同意注册的情况下，存储用户的人脸图像的整体特征以及局部微特征，作为后续使用过程中的对比依据。
步骤334，对待检测人脸的局部微特征与第一目标人脸的局部微特征进行对比处理，确定第一目标人脸中与待检测人脸匹配的第二目标人脸。
计算待检测人脸的局部微特征与第一目标人脸的局部微特征之间的相似度，根据两者的相似度确定第一目标人脸中与待检测人脸匹配的第二目标人脸。其中，第二目标人脸的局部微特征与待检测人脸的局部微特征的相似度符合第二预设条件。上述第二预设条件是用于判定两局部微特征之间相似的条件。可选地，上述相似度符合第二预设条件是指相似度高于第二阈值，第二阈值是针对第二预设条件设置的预设值。
可选地，将待检测人脸的局部微特征与已注册人脸的局部微特征之间的欧式距离作为两者的相似度。
若第二目标人脸的数量为0，则确定待检测人脸所属用户的身份信息不存在，进入用户注册流程。在用户同意注册的情况下，存储用户的人脸图像的整体特征以及局部微特征，作为后续使用过程中的对比依据。
步骤335，确定待检测人脸的身份信息为第二目标人脸的身份信息。
可选地，第二目标人脸的数量只有一个。
在一个示例中，如图9所示，其示例性示出了一种人脸识别方法流程的示意图。首先，采集高分辨率人脸正常照片以及露出牙齿照片，并通过训练好的深度神经网络模型生成采集到的人脸的整体特征以及局部微特征，再通过先后进行整体特征、局部微特征的对比识别出用户的身份信息，完成人脸识别。
在一个示例中，如图10所示，其示例性示出了一种引导用户使用流程的示意图，首选引导用户配合，进而采集用户的人脸图像，再通过上述方法识别当前用户是否为新用户。在当前用户是新用户的情况下，进行特征计算以及特征存储。在当前用户是老用户的情况下，进行特征对比。
综上所述，本申请实施例提供的技术方案，通过对人脸图像进行特征点检测，来确定人脸图像中的整体脸部区域以及局部脸部区域，再对确定的整体脸部区域以及局部脸部区域进行特征提取处理，分别提取出待检测人脸的整体特征以及局部微特征，进而通过与已注册人脸特征进行对比，确定用户身份，保证人脸识别的准确性。
请参考图11，其示出了本申请一个实施例提供的人脸识别方法的流程图。该方法可应用于终端中，如各步骤的执行主体可以是图1所示的应用程序运行环境中的终端10，也可以是安装于终端10中的客户端。该方法可以包括以下几个步骤(1110～1140)。
步骤1110，显示人脸图像的采集界面。
上述采集界面是采集人脸图像时向用户显示的界面。采集界面中包括用于调整人脸识别的提示信息，通过提示信息可使用户更好地配合人脸识别，比如调整人脸姿态。上述人脸姿态包括人脸位置、人脸表情、人脸角度、人脸遮挡等。比如，提示用户面向摄像头，调整人脸角度，或者提示用户面向摄像头微笑，以获取人脸的局部微特征。
步骤1120，获取待检测人脸的人脸图像。
可选地，人脸图像是待检测人脸在微笑表情下的人脸图像。通常人在微笑时会露出牙齿，通过获取待检测人脸在微笑表情下的人脸图像可以获取到待检测人脸的局部微特征中的牙齿特征。
步骤1130，基于待检测人脸的人脸图像，确定待检测人脸的身份信息。
其中，身份信息基于待检测人脸的整体特征和至少一种局部微特征进行识别确定，整体特征是用于反映待检测人脸的整体脸部区域的特征信息，局部微特征是用于反映待检测人脸的局部脸部区域的特征信息。
可选地，局部微特征包括眼纹特征、牙齿特征中的至少一种。
对上述内容的介绍可参见上文实施例中有关内容的介绍，这里不再赘述。
可选地，待检测人脸的整体特征和至少一种局部微特征从一张人脸图像中提取。通过从一张图片中同时提取整体特征和至少一种局部微特征有利于减少计算量与数据传输量，同时需要用户进行配合。
可选地，人脸图像包括第一人脸图像和第二人脸图像，待检测人脸的整体特征从第一人脸图像中提取，待检测人脸的至少一种局部微特征从第二人脸图像中提取。
步骤1140，显示待检测人脸的身份信息。
在示例性实施例中，上述步骤1120之后还包括如下步骤。
步骤1150，在第一采集界面中显示第一人脸图像的情况下，显示以及第一提示信息。
第一提示信息是用于调整待检测人脸的位置的信息。
步骤1160，在第二采集界面中显示第二人脸图像的情况下，显示以及第二提示信息。
第二提示信息是用于调整待检测人脸的表情的信息。
在一个示例中，请参考图12，其示例性示出了一种显示人脸图像界面的示意图。其中，在第一采集界面1210中显示第一人脸图像1211以及第一提示信息1212，在第二采集界面1220中显示第二人脸图像1221以及第二提示信息1222。
综上所述，本申请实施例提供的技术方案，通过显示用户采集界面采集人脸图像，从人脸图像中提取待检测人脸的复合特征，基于复合特征中整体特征与局部微特征的独特性，从多个维度辨识待检测人脸的身份并显示身份信息，增加非法分子攻击成本，提升人脸识别的准确性与安全性。
另外，通过显示提示信息提示用户调整人脸姿态，以得到更好的人脸图像，降低从人脸图像中获取局部微特征的复杂性，提升人脸识别的准确性，并能对用户进行有效的引导。
下述为本申请装置实施例，可用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
请参考图13，其示出了本申请一个实施例提供的装置的框图。该装置具有实现上述方法的功能。该装置1300可以包括：人脸获取模块1310、特征提取模块1320以及身份确定模块1330。
人脸获取模块1310，用于获取待检测人脸的人脸图像。
特征提取模块1320，用于对所述待检测人脸的人脸图像进行复合特征提取处理，得到所述待检测人脸的整体特征和至少一种局部微特征；其中，所述整体特征是用于反映所述待检测人脸的整体脸部区域的特征信息，所述局部微特征是用于反映所述待检测人脸的局部脸部区域的特征信息。
身份确定模块1330，用于基于所述待检测人脸的整体特征和至少一种局部微特征，识别所述待检测人脸的身份信息。
在示例性实施例中，请参考图14，所述特征提取模块1320包括：特征点检测单元1321、区域确定单元1322、整特征提取单元1323以及微特征提取单元1324。
特征点检测单元1321，用于对所述人脸图像进行特征点检测处理，得到所述人脸图像的特征点。
区域确定单元1322，用于基于所述特征点确定所述人脸图像中整体脸部区域，以及至少一个局部脸部区域。
整特征提取单元1323，用于基于所述整体脸部区域提取所述人脸图像的整体特征。
微特征提取单元1324，用于基于所述至少一个局部脸部区域，提取对应的局部微特征。
在示例性实施例中，所述特征点检测单元1321用于：
对所述人脸图像进行特征点粗定位处理，得到所述人脸图像的粗定位特征点；
基于所述粗定位特征点的位置，提取所述人脸图像中的多个局部图像，所述局部图像中包括所述粗定位特征点；
对所述多个局部图像进行特征点精定位处理，得到所述人脸图像的精定位特征点。
在示例性实施例中，所述特征点包括整体特征点和局部特征点，所述区域确定单元1322，用于：
基于所述整体特征点的位置，确定所述人脸图像中包含所述整体特征点的第一人脸框，所述第一人脸框是包含所述整体特征点的最小矩形框；
对所述第一人脸框进行放大处理，得到所述整体脸部区域；
基于所述局部特征点的位置，确定所述人脸图像中包含所述局部特征点的第二人脸框，所述第二人脸框是包含所述局部特征点的矩形框；
对所述第二人脸框进行放大处理，得到所述局部脸部区域。
在示例性实施例中，所述整特征提取单元1323用于：
对所述整体脸部区域进行特征提取处理，得到所述整体脸部区域的特征向量；
对所述整体脸部区域的特征向量进行归一化处理，得到所述整体脸部区域归一化后的特征向量；
其中，所述人脸图像的整体特征包括所述整体脸部区域归一化后的特征向量。
在示例性实施例中，所述微特征提取单元1324用于：
对所述局部脸部区域进行特征提取处理，得到所述局部脸部区域的特征向量；
对所述局部脸部区域的特征向量进行归一化处理，得到所述局部脸部区域归一化后的特征向量；
其中，所述局部脸部区域对应的局部微特征包括所述局部脸部区域归一化后的特征向量。
在示例性实施例中，所述身份确定模块1330用于：
将所述待检测人脸的整体特征与已注册人脸的整体特征进行比较，确定所述已注册人脸中与所述待检测人脸匹配的第一目标人脸，所述第一目标人脸的整体特征与所述待检测人脸的整体特征的相似度符合第一预设条件；
若所述第一目标人脸的数量为1，则确定所述待检测人脸的身份信息为所述第一目标人脸的身份信息；
若所述第一目标人脸的数量大于1，则获取所述第一目标人脸的局部微特征；
对所述待检测人脸的局部微特征与所述第一目标人脸的局部微特征进行对比处理，确定所述第一目标人脸中与所述待检测人脸匹配的第二目标人脸，所述第二目标人脸的局部微特征与所述待检测人脸的局部微特征的相似度符合第二预设条件；
确定所述待检测人脸的身份信息为所述第二目标人脸的身份信息。
综上所述，本申请实施例提供的技术方案，通过从人脸图像能够提取待检测人脸的复合特征，基于复合特征中整体特征与局部微特征的独特性，从多个维度辨识待检测人脸的身份，增加非法分子攻击成本，提升人脸识别的准确性与安全性。
另外，通过对人脸图像进行特征点检测，来确定人脸图像中的整体脸部区域以及局部脸部区域，再对确定的整体脸部区域以及局部脸部区域进行特征提取处理，分别提取出待检测人脸的整体特征以及局部微特征，进而通过与已注册人脸特征进行对比，确定用户身份，保证人脸识别的准确性。
请参考图15，其示出了本申请一个实施例提供的装置的框图。该装置具有实现上述方法的功能。该装置1500可以包括：界面显示模块1510、人脸获取模块1520、身份确定模块1530以及身份显示模块1540。
界面显示模块1510，用于显示人脸图像的采集界面，所述采集界面中包括用于调整人脸识别的提示信息。
人脸获取模块1520，用于获取待检测人脸的人脸图像。
身份确定模块1530，用于基于所述待检测人脸的人脸图像，确定所述待检测人脸的身份信息；其中，所述身份信息基于所述待检测人脸的整体特征和至少一种局部微特征进行识别确定，所述整体特征是用于反映所述待检测人脸的整体脸部区域的特征信息，所述局部微特征是用于反映所述待检测人脸的局部脸部区域的特征信息。
身份显示模块1540，用于显示所述待检测人脸的身份信息。
在示例性实施例中，所述待检测人脸的整体特征和至少一种局部微特征从一张所述人脸图像中提取；或者，所述人脸图像包括第一人脸图像和第二人脸图像，所述待检测人脸的整体特征从所述第一人脸图像中提取，所述待检测人脸的至少一种局部微特征从所述第二人脸图像中提取。
在示例性实施例中，所述人脸图像是所述待检测人脸在微笑表情下的人脸图像，所述局部微特征包括眼纹特征、牙齿特征中至少一种。
在示例性实施例中，请参考图16，所述装置还包括信息显示模块1550，用于：
在所述第一采集界面中显示所述第一人脸图像的情况下，显示第一提示信息，所述第一提示信息是用于调整所述待检测人脸的位置的信息；
在所述第二采集界面中显示所述第二人脸图像的情况下，显示第二提示信息，所述第二提示信息是用于调整所述待检测人脸的表情的信息。
综上所述，本申请实施例提供的技术方案，通过显示用户采集界面采集人脸图像，从人脸图像中提取待检测人脸的复合特征，基于复合特征中整体特征与局部微特征的独特性，从多个维度辨识待检测人脸的身份并显示身份信息，增加非法分子攻击成本，提升人脸识别的准确性与安全性。
另外，通过显示提示信息提示用户调整人脸姿态，以得到更好的人脸图像，降低从人脸图像中获取局部微特征的复杂性，提升人脸识别的准确性，并能对用户进行有效的引导。
请参考图17，其示出了本申请一个实施例提供的计算机设备1700的结构框图。该计算机设备1700可以是诸如手机、平板电脑、多媒体播放设备、可穿戴设备、PC(PersonalComputer)、人脸支付终端、人脸签到终端、智能摄像机等电子设备。该终端用于实施上述实施例中提供的方法。该计算机设备可以是图1所示应用程序运行环境中的终端10或者服务器20。
通常，计算机设备1700包括有：处理器1701和存储器1702。
处理器1701可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1701可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(FieldProgrammable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1701也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1701可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1701还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器1702可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1702还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1702中的非暂态的计算机可读存储介质用于存储至少一个指令，至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集，且经配置以由一个或者一个以上处理器执行，以实现上述人脸识别方法。
在一些实施例中，计算机设备1700还可选包括有：外围设备接口1703和至少一个外围设备。处理器1701、存储器1702和外围设备接口1703之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1703相连。具体地，外围设备包括：射频电路1704、显示屏1705、摄像头组件1706、音频电路1707、定位组件1708和电源1709中的至少一种。
本领域技术人员可以理解，图17中示出的结构并不构成对计算机设备1700的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
在示例性实施例中，还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或所述指令集在被处理器执行时以实现上述人脸识别方法。
可选地，该计算机可读存储介质可以包括：ROM(Read Only Memory，只读存储器)、RAM(Random Access Memory，随机存取记忆体)、SSD(Solid State Drives，固态硬盘)或光盘等。其中，随机存取记忆体可以包括ReRAM(Resistance Random Access Memory,电阻式随机存取记忆体)和DRAM(Dynamic Random Access Memory，动态随机存取存储器)。
在示例性实施例中，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述人脸识别方法。
应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。另外，本文中描述的步骤编号，仅示例性示出了步骤间的一种可能的执行先后顺序，在一些其它实施例中，上述步骤也可以不按照编号顺序来执行，如两个不同编号的步骤同时执行，或者两个不同编号的步骤按照与图示相反的顺序执行，本申请实施例对此不作限定。
以上所述仅为本申请的示例性实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (15)
1.一种人脸识别方法，其特征在于，所述方法包括：
获取待检测人脸的人脸图像；
对所述待检测人脸的人脸图像进行复合特征提取处理，得到所述待检测人脸的整体特征和至少一种局部微特征；其中，所述整体特征是用于反映所述待检测人脸的整体脸部区域的特征信息，所述局部微特征是用于反映所述待检测人脸的局部脸部区域的特征信息；
基于所述待检测人脸的整体特征和至少一种局部微特征，识别所述待检测人脸的身份信息。
2.根据权利要求1所述的方法，其特征在于，所述对所述待检测人脸的人脸图像进行复合特征提取处理，得到所述待检测人脸的整体特征和至少一种局部微特征，包括：
对所述人脸图像进行特征点检测处理，得到所述人脸图像的特征点；
基于所述特征点确定所述人脸图像中整体脸部区域，以及至少一个局部脸部区域；
基于所述整体脸部区域提取所述人脸图像的整体特征；
基于所述至少一个局部脸部区域，提取对应的局部微特征。
3.根据权利要求2所述的方法，其特征在于，所述对所述人脸图像进行特征点检测处理，得到所述人脸图像的特征点，包括：
对所述人脸图像进行特征点粗定位处理，得到所述人脸图像的粗定位特征点；
基于所述粗定位特征点的位置，提取所述人脸图像中的多个局部图像，所述局部图像中包括所述粗定位特征点；
对所述多个局部图像进行特征点精定位处理，得到所述人脸图像的精定位特征点。
4.根据权利要求2所述的方法，其特征在于，所述特征点包括整体特征点和局部特征点，所述基于所述特征点确定所述人脸图像中整体脸部区域，以及至少一个局部脸部区域，包括：
基于所述整体特征点的位置，确定所述人脸图像中包含所述整体特征点的第一人脸框，所述第一人脸框是包含所述整体特征点的最小矩形框；
对所述第一人脸框进行放大处理，得到所述整体脸部区域；
基于所述局部特征点的位置，确定所述人脸图像中包含所述局部特征点的第二人脸框，所述第二人脸框是包含所述局部特征点的矩形框；
对所述第二人脸框进行放大处理，得到所述局部脸部区域。
5.根据权利要求2所述的方法，其特征在于，所述基于所述整体脸部区域提取所述人脸图像的整体特征，包括：
对所述整体脸部区域进行特征提取处理，得到所述整体脸部区域的特征向量；
对所述整体脸部区域的特征向量进行归一化处理，得到所述整体脸部区域归一化后的特征向量；
其中，所述人脸图像的整体特征包括所述整体脸部区域归一化后的特征向量。
6.根据权利要求2所述的方法，其特征在于，所述基于所述至少一个局部脸部区域，提取对应的局部微特征，包括：
对所述局部脸部区域进行特征提取处理，得到所述局部脸部区域的特征向量；
对所述局部脸部区域的特征向量进行归一化处理，得到所述局部脸部区域归一化后的特征向量；
其中，所述局部脸部区域对应的局部微特征包括所述局部脸部区域归一化后的特征向量。
7.根据权利要求1至6任一项所述的方法，其特征在于，所述基于所述整体特征和所述局部微特征，识别所述待检测人脸的身份信息，包括：
将所述待检测人脸的整体特征与已注册人脸的整体特征进行比较，确定所述已注册人脸中与所述待检测人脸匹配的第一目标人脸，所述第一目标人脸的整体特征与所述待检测人脸的整体特征的相似度符合第一预设条件；
若所述第一目标人脸的数量为1，则确定所述待检测人脸的身份信息为所述第一目标人脸的身份信息；
若所述第一目标人脸的数量大于1，则获取所述第一目标人脸的局部微特征；
对所述待检测人脸的局部微特征与所述第一目标人脸的局部微特征进行对比处理，确定所述第一目标人脸中与所述待检测人脸匹配的第二目标人脸，所述第二目标人脸的局部微特征与所述待检测人脸的局部微特征的相似度符合第二预设条件；
确定所述待检测人脸的身份信息为所述第二目标人脸的身份信息。
8.一种人脸识别方法，其特征在于，所述方法包括：
显示人脸图像的采集界面，所述采集界面中包括用于调整人脸识别的提示信息；
获取待检测人脸的人脸图像；
基于所述待检测人脸的人脸图像，确定所述待检测人脸的身份信息；其中，所述身份信息基于所述待检测人脸的整体特征和至少一种局部微特征进行识别确定，所述整体特征是用于反映所述待检测人脸的整体脸部区域的特征信息，所述局部微特征是用于反映所述待检测人脸的局部脸部区域的特征信息；
显示所述待检测人脸的身份信息。
9.根据权利要求8所述的方法，其特征在于，
所述待检测人脸的整体特征和至少一种局部微特征从一张所述人脸图像中提取；
或者，
所述人脸图像包括第一人脸图像和第二人脸图像，所述待检测人脸的整体特征从所述第一人脸图像中提取，所述待检测人脸的至少一种局部微特征从所述第二人脸图像中提取。
10.根据权利要求8所述的方法，其特征在于，所述人脸图像是所述待检测人脸在微笑表情下的人脸图像，所述局部微特征包括眼纹特征、牙齿特征中的至少一种。
11.根据权利要求8至10任一项所述的方法，其特征在于，所述获取待检测人脸的人脸图像之后，还包括：
在所述第一采集界面中显示所述第一人脸图像的情况下，显示第一提示信息，所述第一提示信息是用于调整所述待检测人脸的位置的信息；
在所述第二采集界面中显示所述第二人脸图像的情况下，显示第二提示信息，所述第二提示信息是用于调整所述待检测人脸的表情的信息。
12.一种人脸识别装置，其特征在于，所述装置包括：
人脸获取模块，用于获取待检测人脸的人脸图像；
特征提取模块，用于对所述待检测人脸的人脸图像进行复合特征提取处理，得到所述待检测人脸的整体特征和至少一种局部微特征；其中，所述整体特征是用于反映所述待检测人脸的整体脸部区域的特征信息，所述局部微特征是用于反映所述待检测人脸的局部脸部区域的特征信息；
身份确定模块，用于基于所述待检测人脸的整体特征和至少一种局部微特征，识别所述待检测人脸的身份信息。
13.一种人脸识别装置，其特征在于，所述装置包括：
界面显示模块，用于显示人脸图像的采集界面，所述采集界面中包括用于调整人脸识别的提示信息；
人脸获取模块，用于获取待检测人脸的人脸图像；
身份确定模块，用于基于所述待检测人脸的人脸图像，确定所述待检测人脸的身份信息；其中，所述身份信息基于所述待检测人脸的整体特征和至少一种局部微特征进行识别确定，所述整体特征是用于反映所述待检测人脸的整体脸部区域的特征信息，所述局部微特征是用于反映所述待检测人脸的局部脸部区域的特征信息；
身份显示模块，用于显示所述待检测人脸的身份信息。
14.一种计算机设备，其特征在于，所述终端包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至7任一项所述的人脸识别方法，或者实现如权利要求8至11任一项所述的人脸识别方法。
15.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至7任一项所述的人脸识别方法，或者实现如权利要求8至11任一项所述的人脸识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010893781.7A CN114120386A (zh) | 2020-08-31 | 2020-08-31 | 人脸识别方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010893781.7A CN114120386A (zh) | 2020-08-31 | 2020-08-31 | 人脸识别方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114120386A true CN114120386A (zh) | 2022-03-01 |
Family
ID=80359546
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010893781.7A Pending CN114120386A (zh) | 2020-08-31 | 2020-08-31 | 人脸识别方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114120386A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118365401A (zh) * | 2024-03-07 | 2024-07-19 | 连云港沛元智能科技有限公司 | 一种基于物联网的智能零售解决方法 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1687956A (zh) * | 2005-04-28 | 2005-10-26 | 上海电力学院 | 基于超声波测距的自主式人脸图像采集系统 |
| CN102385703A (zh) * | 2010-08-27 | 2012-03-21 | 北京中星微电子有限公司 | 一种基于人脸的身份认证方法及系统 |
| CN102902959A (zh) * | 2012-04-28 | 2013-01-30 | 王浩 | 基于二代身份证存储证件照的人脸识别方法及系统 |
| CN202815870U (zh) * | 2012-04-28 | 2013-03-20 | 王浩 | 一种证件照片与人脸自动识别系统 |
| CN104091162A (zh) * | 2014-07-17 | 2014-10-08 | 东南大学 | 基于特征点的三维人脸识别方法 |
| CN105654033A (zh) * | 2015-12-21 | 2016-06-08 | 小米科技有限责任公司 | 人脸图像验证方法和装置 |
| CN106203387A (zh) * | 2016-07-21 | 2016-12-07 | 乐视控股（北京）有限公司 | 人脸验证方法及系统 |
| CN106295566A (zh) * | 2016-08-10 | 2017-01-04 | 北京小米移动软件有限公司 | 人脸表情识别方法及装置 |
| CN107622240A (zh) * | 2017-09-21 | 2018-01-23 | 百度在线网络技术（北京）有限公司 | 人脸检测方法和装置 |
| CN108491773A (zh) * | 2018-03-12 | 2018-09-04 | 中国工商银行股份有限公司 | 一种识别方法及系统 |
| CN108829900A (zh) * | 2018-07-31 | 2018-11-16 | 成都视观天下科技有限公司 | 一种基于深度学习的人脸图像检索方法、装置及终端 |
| CN109543629A (zh) * | 2018-11-26 | 2019-03-29 | 平安科技（深圳）有限公司 | 一种眨眼识别方法、装置、设备及可读存储介质 |
| CN109583348A (zh) * | 2018-11-22 | 2019-04-05 | 阿里巴巴集团控股有限公司 | 一种人脸识别方法、装置、设备及系统 |
| CN110046597A (zh) * | 2019-04-19 | 2019-07-23 | 努比亚技术有限公司 | 人脸识别方法、移动终端及计算机可读存储介质 |
| CN111291737A (zh) * | 2020-05-09 | 2020-06-16 | 支付宝(杭州)信息技术有限公司 | 一种人脸图像采集方法、装置和电子设备 |
-
2020
- 2020-08-31 CN CN202010893781.7A patent/CN114120386A/zh active Pending
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1687956A (zh) * | 2005-04-28 | 2005-10-26 | 上海电力学院 | 基于超声波测距的自主式人脸图像采集系统 |
| CN102385703A (zh) * | 2010-08-27 | 2012-03-21 | 北京中星微电子有限公司 | 一种基于人脸的身份认证方法及系统 |
| CN102902959A (zh) * | 2012-04-28 | 2013-01-30 | 王浩 | 基于二代身份证存储证件照的人脸识别方法及系统 |
| CN202815870U (zh) * | 2012-04-28 | 2013-03-20 | 王浩 | 一种证件照片与人脸自动识别系统 |
| CN104091162A (zh) * | 2014-07-17 | 2014-10-08 | 东南大学 | 基于特征点的三维人脸识别方法 |
| CN105654033A (zh) * | 2015-12-21 | 2016-06-08 | 小米科技有限责任公司 | 人脸图像验证方法和装置 |
| CN106203387A (zh) * | 2016-07-21 | 2016-12-07 | 乐视控股（北京）有限公司 | 人脸验证方法及系统 |
| CN106295566A (zh) * | 2016-08-10 | 2017-01-04 | 北京小米移动软件有限公司 | 人脸表情识别方法及装置 |
| CN107622240A (zh) * | 2017-09-21 | 2018-01-23 | 百度在线网络技术（北京）有限公司 | 人脸检测方法和装置 |
| CN108491773A (zh) * | 2018-03-12 | 2018-09-04 | 中国工商银行股份有限公司 | 一种识别方法及系统 |
| CN108829900A (zh) * | 2018-07-31 | 2018-11-16 | 成都视观天下科技有限公司 | 一种基于深度学习的人脸图像检索方法、装置及终端 |
| CN109583348A (zh) * | 2018-11-22 | 2019-04-05 | 阿里巴巴集团控股有限公司 | 一种人脸识别方法、装置、设备及系统 |
| CN109543629A (zh) * | 2018-11-26 | 2019-03-29 | 平安科技（深圳）有限公司 | 一种眨眼识别方法、装置、设备及可读存储介质 |
| CN110046597A (zh) * | 2019-04-19 | 2019-07-23 | 努比亚技术有限公司 | 人脸识别方法、移动终端及计算机可读存储介质 |
| CN111291737A (zh) * | 2020-05-09 | 2020-06-16 | 支付宝(杭州)信息技术有限公司 | 一种人脸图像采集方法、装置和电子设备 |
Non-Patent Citations (3)
| Title |
|---|
| YI SUN 等: "Deep Convolutional Network Cascade for Facial Point Detection", 《IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》, 31 December 2013 (2013-12-31), pages 3 * |
| 李永恒: "基于头部运动分析的考场内异常行为检测", 《中国优秀硕士学位论文全文数据库 信息科技辑》, vol. 2019, no. 1, 15 January 2019 (2019-01-15), pages 3 * |
| 郭克友 等: "基于DCNN的人脸特征点检测及面部朝向计算", 《计算机工程与应用》, vol. 56, no. 4, 25 February 2020 (2020-02-25), pages 2 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118365401A (zh) * | 2024-03-07 | 2024-07-19 | 连云港沛元智能科技有限公司 | 一种基于物联网的智能零售解决方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yang et al. | MTD-Net: Learning to detect deepfakes images by multi-scale texture difference | |
| CN111709409B (zh) | 人脸活体检测方法、装置、设备及介质 | |
| WO2020207189A1 (zh) | 身份验证方法、装置、存储介质和计算机设备 | |
| WO2020103700A1 (zh) | 一种基于微表情的图像识别方法、装置以及相关设备 | |
| WO2021139324A1 (zh) | 图像识别方法、装置、计算机可读存储介质及电子设备 | |
| CN111144348A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN107545241A (zh) | 神经网络模型训练及活体检测方法、装置及存储介质 | |
| US20230095182A1 (en) | Method and apparatus for extracting biological features, device, medium, and program product | |
| CN114758362B (zh) | 基于语义感知注意力和视觉屏蔽的换衣行人重识别方法 | |
| CN115565238B (zh) | 换脸模型的训练方法、装置、设备、存储介质和程序产品 | |
| CN113537027B (zh) | 基于面部划分的人脸深度伪造检测方法及系统 | |
| CN111598051B (zh) | 一种脸部验证方法、装置、设备及可读存储介质 | |
| CN111274946B (zh) | 一种人脸识别方法和系统及设备 | |
| Jiang et al. | Application of a fast RCNN based on upper and lower layers in face recognition | |
| CN114677730A (zh) | 活体检测方法、装置、电子设备及存储介质 | |
| CN116958637A (zh) | 图像检测模型的训练方法、装置、设备及存储介质 | |
| RU2316051C2 (ru) | Способ и система автоматической проверки присутствия лица живого человека в биометрических системах безопасности | |
| CN114120386A (zh) | 人脸识别方法、装置、设备及存储介质 | |
| Ke et al. | SRN: Side-output residual network for object reflection symmetry detection and beyond | |
| CN111325173A (zh) | 毛发类型识别方法、装置、电子设备及存储介质 | |
| CN114373098B (zh) | 一种图像分类方法、装置、计算机设备及存储介质 | |
| CN116959123A (zh) | 一种人脸活体检测方法、装置、设备及存储介质 | |
| CN116188956A (zh) | 一种深度伪造人脸图像检测的方法及相关设备 | |
| CN115795394A (zh) | 层级多模态和高级增量学习的生物特征融合身份识别方法 | |
| CN115708135A (zh) | 人脸识别模型的处理方法、人脸识别方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |