CN115171175A - 人脸识别方法、装置、设备及可读存储介质 - Google Patents

Abstract

本申请公开了一种人脸识别方法、装置、设备及可读存储介质，涉及人脸识别领域。该方法包括：获取人脸识别视频流和音频内容，其中，人脸识别视频流和音频内容基于指定显示内容采集得到，显示位置是从至少两个候选显示位置中确定的；从人脸识别视频流中截取人脸局部区域；将人脸局部区域与指定显示内容进行匹配，得到第一匹配结果；将音频内容与指定显示内容进行匹配，得到第二匹配结果；基于第一匹配结果和第二匹配结果确定人脸识别结果。在人脸变化情况和发声内容两个层面进行活体检测，确保了人脸识别过程中的参与用户为活体用户，而并非图像、视频等平面素材，提高了人脸识别的准确率，提高了通过人脸识别功能进行保护的功能的安全系数。

Description

人脸识别方法、装置、设备及可读存储介质

技术领域

本申请实施例涉及人脸识别领域，特别涉及一种人脸识别方法、装置、设备及可读存储介质。

背景技术

人脸识别是一种应用效率较高的身份验证方式，以用户手持终端完成人脸识别为例，通常由终端摄像头对用户人脸图像进行采集，并将采集得到的人脸图像与人脸图像库中的人脸图像进行匹配，从而完成人脸识别的验证过程。在一些情况中，为了避免用户通过静态照片的方式完成人脸识别验证，还需要对人脸识别过程进行活体检测。

相关技术中，在进行活体检测时，通常是通过带有深度信息的摄像头进行人脸图像的采集，如：红外摄像头、深度摄像头等，在采集人脸图像的同时，通过附加深度信息，能够有效拦截诸如照片攻击、视频翻拍等对应的行为。

然而，通过上述方式实现人脸识别时，需要终端配备有指定的摄像头硬件，而在较多终端配备普通摄像头的场景却无法实现活体检测，无法阻挡在人脸识别过程中通过照片、视频等方式进行识别的攻击行为，人脸识别结果的准确率较低，安全性较差。

发明内容

本申请实施例提供了一种人脸识别方法、装置、设备及可读存储介质，能够提高人脸识别结果的准确率和安全性。所述技术方案如下：

一方面，提供了一种人脸识别方法，所述方法包括：

响应于人脸识别过程开始，获取人脸识别视频流和音频内容，其中，所述人脸识别视频流和所述音频内容为基于指定显示内容采集得到的内容，所述指定显示内容的显示位置是从至少两个候选显示位置中确定的；

从所述人脸识别视频流中截取人脸局部区域，其中，所述人脸局部区域是对所述指定显示内容进行语音表达时存在表现的五官对应的区域；

将所述人脸局部区域与所述指定显示内容进行匹配，得到第一匹配结果；

将所述音频内容与所述指定显示内容进行匹配，得到第二匹配结果；

基于所述第一匹配结果和所述第二匹配结果确定人脸识别结果。

另一方面，提供了一种人脸识别方法，所述方法包括：

显示人脸识别界面，所述人脸识别界面中包括人脸采集图像；

在所述人脸识别界面中显示指定显示内容，所述指定显示内容的显示位置是从至少两个候选显示位置中确定的；

在所述人脸识别界面中显示语音提示信息，所述语音提示信息用于指示对所述指定显示内容进行对应的语音表达；

基于所述人脸采集图像和所述语音提示信息在所述人脸识别界面中显示人脸识别结果。

另一方面，提供了一种人脸识别装置，所述装置包括：

获取模块，用于响应于人脸识别过程开始，获取人脸识别视频流和音频内容，其中，所述人脸识别视频流和所述音频内容为基于指定显示内容采集得到的内容，所述指定显示内容的显示位置是从至少两个候选显示位置中确定的；

所述获取模块，还用于从所述人脸识别视频流中截取人脸局部区域，其中，所述人脸局部区域是对所述指定显示内容进行语音表达时存在表现的五官对应的区域；

匹配模块，用于将所述人脸局部区域与所述指定显示内容进行匹配，得到第一匹配结果；

所述匹配模块，还用于将所述音频内容与所述指定显示内容进行匹配，得到第二匹配结果；

确定模块，用于基于所述第一匹配结果和所述第二匹配结果确定人脸识别结果。

另一方面，提供了一种人脸识别装置，所述装置包括：

显示模块，用于显示人脸识别界面，所述人脸识别界面中包括人脸采集图像；

所述显示模块，还用于在所述人脸识别界面中显示指定显示内容，所述指定显示内容的显示位置是从至少两个候选显示位置中确定的；

所述显示模块，还用于在所述人脸识别界面中显示语音提示信息，所述语音提示信息用于指示对所述指定显示内容进行对应的语音表达；

所述显示模块，还用于基于所述人脸采集图像和所述语音提示信息在所述人脸识别界面中显示人脸识别结果。

另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一段程序，所述至少一段程序由所述处理器加载并执行以实现如上述本申请实施例中任一所述的人脸识别方法。

另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述本申请实施例中任一所述的人脸识别方法。

另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中任一所述的人脸识别方法。

本申请实施例提供的技术方案带来的有益效果至少包括：

通过人脸局部区域与指定显示内容的匹配，对人脸局部在语音表达过程中的变化情况进行确认，通过音频内容与指定显示内容的匹配，对用户发声内容进行确认，从而在人脸变化情况和发声内容两个层面进行活体检测，确保了人脸识别过程中的参与用户为活体用户，而并非图像、视频等平面素材，提高了人脸识别的准确率，提高了通过人脸识别功能进行保护的功能的安全系数。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一个示例性实施例提供的人脸识别的整体过程示意图；

图2是本申请一个示例性实施例提供的人脸识别方法的实施环境示意图；

图3是本申请一个示例性实施例提供的人脸识别方法的流程图；

图4是本申请另一个示例性实施例提供的人脸识别方法流程图；

图5是基于图4示出的实施例提供的人脸识别过程中图像序列的采集过程示意图；

图6是本申请一个示例性实施例提供的人脸识别过程的整体流程示意图；

图7是本申请一个示例性实施例提供的人脸识别方法的流程图；

图8是基于图7示出的实施例提供的人脸识别界面的示意图；

图9是本申请一个示例性实施例提供的人脸识别装置的结构框图；

图10是本申请另一个示例性实施例提供的人脸识别装置的结构框图；

图11是本申请一个示例性实施例提供的计算机设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

首先，针对本申请实施例中涉及的名词进行简单介绍：

人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。

计算机视觉技术(Computer Vision,CV)：是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、光学字符识别(Optical Character Recognition，OCR)、视频处理、视频语义理解、视频内容/行为识别等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

人脸识别：是指对人脸图像中的人脸进行身份信息识别的功能，可选地，在人脸识别的过程中，对待识别的人脸区域进行特征提取，将提取得到的特征与预设人脸特征库中的特征进行比对后，确定该人脸区域中人脸的身份信息。通常，人脸识别应用于终端解锁、考勤打卡、资源支付等场景中。示意性的，本申请实施例中以资源支付场景为例进行说明，则用户在进行资源支付的过程中，通过支付设备扫描人脸图像，从而将人脸图像与预设人脸库中的人脸图像进行匹配，从而完成资源的支付。为了避免用户采用照片或者视频的形式进行资源支付而导致资源安全性较差的问题，在进行人脸识别的过程中，还需要进行人脸活体检测，确保是用户本人在进行人脸图像的采集，而并非通过照片或者视频的形式完成人脸图像的采集。

相关技术中，在进行活体检测时，通常包括如下方式中的任意一种：1、向用户发出眨眼、抬头等指令，检测用户是否做出指定动作；2、通过红外摄像头或者深度摄像头采集深度信息，从而避免照片、视频等平面内容的攻击。然而上述第一种方式中，当通过提前录制动作视频进行动作活体检测即可简单规避活体检测过程；第二种方式中需要终端配备有指定的摄像头硬件，而在较多终端配备普通摄像头的场景却无法实现活体检测。

本申请实施例中，通过在显示屏的随机位置处显示指定显示内容，并由用户对指定显示内容进行语音表达，从而从脸部表达特征以及语音表达内容上对活体进行检测，仅当用户在语音表达上对指定显示内容进行正确表达，且在脸部特征上能与指定显示内容的显示位置以及内容准确对应时，确定活体检测成功。

示意性的，以指定显示内容实现为个位数字为例进行说明，在显示屏的随机位置依次显示随机的个位数字，用户根据显示的数字进行语音表达，在进行活体检测时，需要针对用户语音表达内容的准确性、用户唇部体现出的唇语与显示数字的匹配性，以及用户视线与数字显示位置的匹配性确定是否是活体在进行人脸识别。

图1是本申请一个示例性实施例提供的人脸识别的整体过程示意图，如图1所示，终端侧界面100中依次显示数字3(左上角)、6(右下角)、8(左下角)、1(右上角)。用户根据终端界面依次对显示的数字进行语音表达，也即依次说出数字3、6、8、1，同时采集人脸识别视频流110和音频流120。在人脸识别的过程中，对音频流中说“3”的部分进行确认，并在人脸识别视频流110中定位出对应的说“3”时的视频图像帧，从视频图像帧中裁剪得到嘴部区域和眼部区域，判断嘴部区域的口型与“3”之间的关联度，以及确定眼部区域的视线方向与左上角之间的关联度，针对“6”、“8”、“1”进行同样的检测，最终得到活体检测结果。

本申请实施例提供的人脸识别方法，可以由终端执行实现，可以由服务器实现，也可以由终端和服务器配合执行实现。

当人脸识别方法由终端实现时，终端随机从内容库中选择指定显示内容在随机位置处进行显示，并采集人脸识别视频流和音频流，基于指定显示内容的显示方式，与人脸识别视频流和音频流进行匹配，从而得到活体检测结果，以及将人脸识别视频流中的人脸图像与预设图像库进行匹配，从而得到人脸识别结果。

本实施例中，以终端和服务器配合执行实现人脸识别方法为例进行说明。图2是本申请一个示例性实施例提供的人脸识别方法的实施环境示意图，如图2所示，该实施环境中包括：终端210和服务器220，其中，终端210与服务器220之间通过通信网络230连接。

终端210中安装有包括身份验证功能的应用程序，用户在对该应用程序进行应用时，当需要进行身份验证时，终端210向服务器220发送身份验证请求，从而服务器220向终端210反馈指定显示内容的显示方案。终端210在人脸识别界面中的根据显示方案显示指定显示内容，通过摄像头采集人脸识别视频流，以及通过麦克风采集音频流。

终端210将采集的人脸识别视频流和音频流通过通信网络230发送至服务器220，服务器220将接收到的音频流和人脸识别视频流与发送至终端210的指定显示内容的显示方案进行匹配，从而对活体检测结果进行确认。在一些实施例中，服务器220首先确定人脸识别结果，并当人脸识别结果正确时确定活体检测结果，或者服务器220根据活体检测结果得到人脸识别结果。

服务器220在得到人脸识别结果并确定活体检测成功后，将人脸识别结果反馈至终端210，终端210根据人脸识别结果进行下一步操作。

值得注意的是，上述通信网络230可以实现为有线网络，也可以实现为无线网络，且通信网络230可以实现为局域网、城域网或广域网中的任意一种，本申请实施例对此不加以限定。

上述服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。

终端可以是智能手机、平板电脑、资源支付设备、考勤设备、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。

结合上述名词简介和实施环境，对本申请实施例提供的人脸识别方法进行说明，以该方法应用于如图2所示的服务器中为例进行说明，如图3所示，该方法包括：

步骤301，响应于人脸识别过程开始，获取人脸识别视频流和音频内容。

其中，人脸识别视频流和音频内容是基于指定显示内容采集得到的内容。指定显示内容的显示位置是从至少两个候选显示位置中确定的。

在一些实施例中，当终端存在人脸识别需求时，向服务器发送人脸识别请求，从而服务器确定人脸识别过程开始。当服务器确定人脸识别过程开始时，向终端发送指定显示内容的显示方案，其中，显示方案中包括指定显示内容的内容数据，以及指定显示内容在终端显示屏上的显示位置。从而终端基于显示方案将指定显示内容显示在显示屏上的显示位置处。

在一些实施例中，指定显示内容为服务器从预设内容库中随机确定的内容；显示位置为服务器从至少两个预先设定的候选显示位置中随机确定的位置。示意性的，预设内容库中包括0到9十个数字，服务器从预设内容库中随机确定出四个数字，可以重复或者不可以重复。服务器随机确定出四个数字分别显示的位置，并将四个数字和显示位置发送至终端作为按序显示的指定显示内容。

终端开启摄像头进行人脸识别视频流的采集，并开启麦克风进行音频内容的采集。同时，终端在人脸识别界面中显示上述服务器指定的指定显示内容。在一些实施例中，终端的人脸识别界面中还显示有语音提示信息，该语音提示信息用于指示对指定显示内容进行对应的语音表达。也即，终端显示指定显示内容时，用户对人脸识别界面中显示的指定显示内容进行语音表达，从而摄像头对语音表达的过程进行人脸视频流的采集，麦克风对语音表达的过程进行音频内容的采集。

值得注意的是，上述过程中以服务器获取人脸识别视频流和音频内容的过程为例进行说明，在一些实施例中，当人脸识别方法由终端实现时包括如下过程：当用户在应用程序中对需要进行人脸识别验证的功能进行选择时，触发人脸识别功能，从而终端确定人脸识别过程开始。首先终端从预设内容库中随机确定处指定显示内容，并从至少两个预设的候选显示位置中确定出指定显示内容的显示位置，从而在界面中的显示位置处显示指定显示内容。在一些实施例中，终端的人脸识别界面中还显示有语音提示信息，该语音提示信息用于指示对指定显示内容进行对应的语音表达。也即，终端显示指定显示内容时，用户对人脸识别界面中显示的指定显示内容进行语音表达。同时，终端通过摄像头对语音表达的过程进行人脸视频流的采集，通过麦克风对语音表达的过程进行音频内容的采集。

值得注意的是，上述预设内容库中，以0到9十个数字为例进行说明，在一些实施例中，预设内容库中还可以包括文字内容、静态图像内容、动态图像内容等，本申请实施例对此不加以限定。示意性的，预设内容库中包括动物图片，在显示动物图片时，指示用户对图片中的动物进行语音表达。

上述至少两个显示位置包括如下情况中的任意一种：1、在显示屏中指定指定的至少两个显示位置，如：指定左上角、左下角、右上角、右下角四个位置作为候选显示位置，通过该四个位置对用户视线进行较为明显的区分；2、在显示屏中划分网格，将n个网格作为显示屏中的至少两个候选显示位置，n为正整数。本申请实施例对候选显示位置的确定方式不加以限定。

步骤302，从人脸识别视频流中截取人脸局部区域。

人脸局部区域是对指定显示内容进行语音表达时存在表现的五官对应的区域。

在一些实施例中，当用户对指定显示内容进行语音表达时，嘴部需要进行语言表达，故，嘴部存在表现；另外，由于指定显示内容在显示屏中的显示位置为至少两个候选显示位置中确定的，也即不同的指定显示内容之间存在显示位置上的差异，故用户的眼部视线也存在表现。

在一些实施例中，人脸局部区域中包括人脸嘴部区域，也即，从人脸识别视频流中截取出人脸嘴部区域进行口型识别，得到唇语识别结果，也即得到嘴部区域识别得到的发声内容。

在另一些实施例中，人脸局部区域中包括人脸眼部区域，也即，从人脸识别视频流中截取出人脸眼部区域进行视线识别，得到视线识别结果，其中，视线识别结果表示眼部区域的视线方向。

在一些实施例中，在截取人脸局部区域之前，首先对人脸识别视频进行分段，将用户进行语音表达时的视频片段截取出，从而基于视频片段进行人脸局部区域的截取。示意性的，提取音频内容的音频特征，并基于音频特征确定对指定显示内容进行语音表达的时间段，从而从人脸识别视频流中定位与时间段对应的图像序列，也即上述视频片段。从而从图像序列中的图像帧中截取出人脸局部区域。其中，针对图像序列中的所有图像帧依次进行人脸局部区域的提取；或者，针对图像序列中的指定图像帧进行人脸局部区域的提取。

步骤303，将人脸局部区域与指定显示内容进行匹配，得到第一匹配结果。

针对人脸局部区域的不同情况，第一匹配结果包括如下情况中的至少一种：

第一，当人脸局部区域中包括人脸嘴部区域时，人脸嘴部区域为对表达指定显示内容的嘴部进行截取得到的区域，第一匹配结果中包括嘴部匹配结果。

即，对人脸嘴部区域进行口型识别，得到唇语识别结果，唇语识别结果用于表示识别得到的嘴部的发声内容；将唇语识别结果与指定显示内容进行匹配，得到嘴部匹配结果，嘴部匹配结果用于表示唇语识别结果与指定显示内容之间关联度。其中，唇语识别结果以拼音的形式实现；或者，唇语识别结果以实际内容的形式实现。在得到唇语识别结果后，确定唇语识别结果与指定显示内容之间的相似度。

示意性的，指定显示内容为数字“3”，对人脸嘴部区域进行口型识别，得到唇语识别结果为“san”，则唇语识别结果与指定显示内容匹配，得到唇语识别结果与指定显示内容之间的相似度为95％。

第二，当人脸局部区域中包括人脸眼部区域时，人脸眼部区域为对观察指定显示内容的眼部进行截取得到的区域，第一匹配结果中包括眼部匹配结果。

即，对人脸眼部区域进行视线识别，得到视线识别结果，视线识别结果用于表示识别得到的眼部的实现方向；将视线识别结果与指定显示内容的显示位置进行匹配，得到眼部匹配结果，眼部匹配结果用于表示实现识别结果与指定显示内容之间的关联度。其中，视线识别结果以方向的形式实现；或者，视线识别结果以在终端显示屏上的落点位置的形式实现。在得到视线识别结果后，确定视线识别结果与指定显示内容的显示位置之间的相似度。

示意性的，指定显示内容“3”显示在显示屏的左上方(5，5)位置处，对人脸眼部区域进行视线识别，得到视线识别结果为在显示屏上的落点位置(7，6)，从而根据坐标(5，5)和坐标(8，9)确定两个坐标之间的距离为5，根据显示屏对角线总长度50得到两个坐标之间的相似度为90％。

步骤304，将音频内容与指定显示内容进行匹配，得到第二匹配结果。

在一些实施例中，对音频内容进行特征提取，得到音频特征，从而基于音频特征进行语音识别。

可选地，通过预先训练得到的神经网络模型对音频内容进行语音识别，也即，将音频特征或者音频内容输入至神经网络模型中，通过神经网络模型对音频内容进行语音识别后，输出得到语音识别结果。将语音识别结果与指定显示内容进行匹配后，得到第二匹配结果。

其中，神经网络模型可以是通过监督训练得到的，也可以是通过无监督训练得到的。以通过监督训练对神经网络模型进行训练为例，将标注有参考结果的样本音频输入至神经网络模型中，输出得到预测结果，根据预测结果与参考结果之间的差异对神经网络模型中的模型参数进行调整。

在一些实施例中，第二匹配结果表示语音识别结果与指定显示内容之间的相似度。示意性的，指定显示内容为“3”，语音识别结果为“3”，则语音识别结果与指定显示内容之间的相似度为100％。

步骤305，基于第一匹配结果和第二匹配结果确定人脸识别结果。

在一些实施例中，将第一匹配结果和第二匹配结果进行加权求和，从而得到一个置信度数值。基于置信度数值与预设阈值之间的关系，确定活体检测结果，以及确定人脸识别结果。其中，首先确定活体检测结果为活体，从而确定人脸识别结果；或者，首先确定人脸识别结果符合人脸识别库中的人脸，从而确定活体检测结果。

综上所述，本申请实施例提供的人脸识别方法，通过人脸局部区域与指定显示内容的匹配，对人脸局部在语音表达过程中的变化情况进行确认，通过音频内容与指定显示内容的匹配，对用户发声内容进行确认，从而在人脸变化情况和发声内容两个层面进行活体检测，确保了人脸识别过程中的参与用户为活体用户，而并非图像、视频等平面素材，提高了人脸识别的准确率，提高了通过人脸识别功能进行保护的功能的安全系数。

在一些实施例中，人脸局部区域是基于指定显示内容的显示时间段截取得到的，或者人脸局部区域的截取和音频内容的识别都是基于音频特征实现的，图4是本申请另一个示例性实施例提供的人脸识别方法的流程图，以该方法应用于服务器中为例进行说明，如图4所示，该方法包括：

步骤401，响应于人脸识别过程开始，获取人脸识别视频流和音频内容。

其中，人脸识别视频流和音频内容是基于指定显示内容采集得到的内容。指定显示内容的显示位置是从至少两个候选显示位置中确定的。

可选地，指定显示内容的显示位置是从至少两个候选显示位置中随机得到的，指定显示内容是从预设内容库中随机确定得到的。

在一些实施例中，当终端存在人脸识别需求时，向服务器发送人脸识别请求，从而服务器确定人脸识别过程开始。当服务器确定人脸识别过程开始时，向终端发送指定显示内容的显示方案，其中，显示方案中包括指定显示内容的内容数据，以及指定显示内容在终端显示屏上的显示位置。从而终端基于显示方案将指定显示内容显示在显示屏上的显示位置处。

步骤402，从人脸识别视频流中定位指定显示内容显示时对应的图像序列。

在一些实施例中，提取音频内容的音频特征，并基于音频特征确定对指定显示内容进行语音表达的时间段，从而从人脸识别视频流中定位处与时间段内对应的图像序列。

其中，通过预先训练得到的特征提取模型对音频内容进行特征提取，得到音频特征，从而基于音频特征预测得到用户进行语音表达在音频内容中对应的时间段。

示意性的，提取得到音频内容对应的音频特征后，预测得到用户语音表达对应的时间段为00:05至00:08，从而从人脸识别视频流中定位出00:05至00:08时间段对应的图像序列。

在一些实施例中，人脸识别过程中包括至少两个依次显示的指定显示内容，则在对人脸识别视频流将进行图像序列的定位时，需要定位出至少两个指定显示内容分别对应的图像序列。即，基于音频特征确定对第i个指定显示内容进行语音表达的第i个时间段，i为正整数，从而从人脸识别视频流中定位与第i个时间段对应的第i组图像序列。

示意性的，请参考图5，人脸识别过程中人脸识别界面500内包括依次显示的四个随机数字3、6、8、1，其中，提取得到音频内容510对应的音频特征后，预测得到用户对数字“3”进行语音表达的时间段为00:05至00:08，则从人脸识别视频流中定位出00:05至00:08时间段的图像序列521与“3”对应；预测得到用户对数字“6”进行语音表达的时间段为00:08至00:10，则从人脸识别视频流中定位出00:08至00:10时间段的图像序列522与“6”对应；预测得到用户对数字“8”进行语音表达的时间段为00:10至00:13，则从人脸识别视频流中定位出00:10至00:13时间段的图像序列523与“8”对应；预测得到用户对数字“1”进行语音表达的时间段为00:13至00:15，则从人脸识别视频流中定位出00:13至00:15时间段的图像序列524与“1”对应。

步骤403，对图像序列中的图像帧进行区域截取，得到人脸局部区域。

在一些实施例中，当人脸识别过程中包括至少两个依次显示的指定显示内容时，针对每个图像序列分别进行区域截取，得到每个图像序列分别对应的人脸局部区域。

示意性的，当人脸局部区域包括人脸嘴部区域和人脸眼部区域时，以3个指定显示内容为例，则针对显示内容A，提取显示内容A对应的图像序列a中的人脸嘴部区域1和人脸眼部区域1；针对显示内容B，提取显示内容B对应的图像序列b中的人脸嘴部区域2和人脸眼部区域2；针对显示内容C，提取显示内容C对应的图像序列c中的人脸嘴部区域3和人脸眼部区域3。

步骤404，将人脸局部区域与指定显示内容进行匹配，得到第一匹配结果。

在一些实施例中，当人脸识别过程中包括至少两个依次显示的指定显示内容时，则将第i个图像序列中截取得到的人脸局部区域，与第i个指定显示内容进行匹配，得到第i个匹配子结果。综合至少两个指定显示内容对应的匹配子结果，得到第一匹配结果。示意性的，以n个指定显示内容为例，则对n个匹配子结果取加权平均数，得到第一匹配结果。

或者，获取n个指定显示内容对应的人脸局部区域的内容识别结果，并得到n个内容识别结果连成的识别结果序列，将识别结果序列与n个指定显示内容连成的基准序列进行比对，得到第一匹配结果，n为正整数。示意性的，以人脸嘴部区域为例，则对人脸嘴部区域进行口型识别，得到发声内容，将n个发声内容连成的识别结果序列与n个指定显示内容连成的基准序列进行匹配，计算识别结果序列与基准序列之间的相似度，作为第一匹配结果。以人脸眼部区域为例，则对人脸眼部区域进行视线识别，得到视线方向，将n个视线方向连成的识别结果序列与n个指定显示内容的显示位置连成的基准序列进行匹配，计算识别结果序列与基准序列之间的相似度，作为第一匹配结果。

步骤405，将音频内容与指定显示内容进行匹配，得到第二匹配结果。

在一些实施例中，在上述步骤402中提取音频内容的音频特征后，基于音频特征对音频内容进行语音识别，得到语音识别结果；将语音识别结果与指定显示内容进行匹配，得到第二匹配结果，其中，第二匹配结果用于表示识别结果和指定显示内容之间的关联度。

在一些实施例中，人脸识别过程中包括至少两个依次显示的指定显示内容，语音识别结果中包括语音识别序列，语音识别序列中包括至少两个按序排列的识别子结果。则将语音识别序列中的识别子结果与至少两个指定显示内容进行内容匹配，得到内容匹配结果。根据内容识别结果得到上述第二匹配结果。

在一些实施例中，还可以将语音识别序列中的识别子结果与至少两个指定显示内容进行顺序匹配，得到顺序匹配结果，并基于内容匹配结果和顺序匹配结果得到第二匹配结果。

其中，语音识别序列中的至少两个识别子结果中，第m个识别子结果对应第m个指定显示内容，m为正整数。

示意性的，语音识别序列中包括顺序排列的识别子结果“3、6、8、7”，而指定显示内容的序列为“3、6、8、1”，则得到第二匹配结果为：相似度75％。

值得注意的是，上述实施例中，以依次显示指定显示内容为例进行说明，在一些实施例中，也可以在人脸识别界面中同时在不同的显示位置显示多个不同的指定显示内容，根据用户语音识别序列、视线变化序列、口型变化序列以及指定显示内容的显示位置对语音识别序列、视线变化序列、口型变化序列进行对应的顺序和内容的匹配。

步骤406，基于第一匹配结果和第二匹配结果确定人脸识别结果。

在一些实施例中，将第一匹配结果与第二匹配结果进行加权求和，得到活体检测概率，活体检测概率用于表示人脸识别过程由活体完成的概率；基于活体检测概率确定人脸识别结果。

在一些实施例中，当第一匹配结果中包括由人脸嘴部区域识别得到的人脸嘴部匹配结果，以及由人脸眼部区域识别得到的人脸眼部匹配结果时，对人脸嘴部匹配结果、人脸眼部匹配结果和第二匹配结果进行加权求和，并基于加权求和结果确定活体检测概率。

示意性的，人脸嘴部匹配结果为0.7，人脸眼部匹配结果为0.75，第二匹配结果为1，且人脸嘴部匹配结果对应第一权值0.3，人脸眼部匹配结果对应第二权值0.4，第二匹配结果对应第三权值0.3；最终得到的活体检测概率为0.81。

在一些实施例中，将活体检测概率与概率阈值进行比对，从而确定当前人脸识别过程是否是由活体完成的过程。

在一些实施例中，当活体检测概率达到概率阈值时，确定人脸识别过程的活体检测通过，并基于活体检测通过得到人脸识别的结果，人脸识别是由人脸识别模型完成的。其中，人脸识别过程和活体检测过程可以是由一个模型中的两个部分完成的，也可以是由两个独立的模型完成的，本申请实施例对此不加以限定。

综上所述，本申请实施例提供的人脸识别方法，通过人脸局部区域与指定显示内容的匹配，对人脸局部在语音表达过程中的变化情况进行确认，通过音频内容与指定显示内容的匹配，对用户发声内容进行确认，从而在人脸变化情况和发声内容两个层面进行活体检测，确保了人脸识别过程中的参与用户为活体用户，而并非图像、视频等平面素材，提高了人脸识别的准确率，提高了通过人脸识别功能进行保护的功能的安全系数。

本实施例提供的方法，通过人脸嘴部区域对用户口型所表达的发声内容进行识别，从而根据发声内容与指定显示内容之间的匹配关系确定活体检测的结果，避免嘴部发声口型与实际语音中表达的发声内容不对应的问题。

本实施例提供的方法，通过人脸眼部区域对用户视线方向进行识别，并根据用户的视线方向与指定显示内容的实际显示位置进行匹配，从而避免用户的视线并未看向指定显示内容，而实际语音中表达的发声内容与指定显示内容一致的攻击问题。

示意性的，图6是本申请一个示例性实施例提供的人脸识别过程的整体流程示意图，以在界面中显示随机数字为例进行说明，如图6所示，该过程中包括如下步骤：

步骤601，进入活体检测界面。

也即，当用户在终端触发人脸识别功能时，进入人脸识别界面，在人脸识别界面中还需要进行活体检测。活体检测界面中依次显示有随机数字，且随机数字的显示位置为随机确定的。

步骤602，提示用户朗读数字串。

在一些实施例中，在终端界面中显示语音提示信息，以提示用户对界面中显示的指定显示内容进行对应的语音表达。

步骤603，麦克风获取音频流。

通过终端麦克风进行音频流的采集，录制得到用户针对指定显示内容的语音表达。

步骤604，摄像头获取视频流。

通过终端摄像头进行视频流的采集，录制得到用户在针对指定显示内容的语音表达时，面部对应的五官表现。

步骤605，提取声纹特征。

对音频流进行声纹特征的提取。其中，通过预先训练得到的神经网络模型对音频流进行声纹特征的提取。

步骤606，载入神经网络，获取语音识别序列。

将声纹特征载入预先训练好的神经网络模型中，识别得到语音识别序列。语音识别序列中包括识别得到的语音表达中的语音内容，如：识别得到用户依次通过语音表达的数字。

步骤607，获取语音识别结果与真值之间的第一距离。

真值是指界面实际上显示的指定显示内容，也即，将语音识别序列与指定显示内容中的内容序列进行匹配，得到语音识别序列与指定显示内容中的内容序列之间的第一相似度。

步骤608，定位单个数字朗读区间的图像序列。

基于上述声纹特征定位单个数字朗读的时间段，并从视频流中定位与时间段对应的图像序列。

步骤609，获取嘴部子图序列。

嘴部为在语音表达过程中存在动态变化的区域，故，获取嘴部子图序列进行嘴部口型的判断。

步骤610，利用神经网络获得唇语识别序列。

将嘴部子图序列输入至预先训练得到的神经网络模型中，得到唇语识别序列，也即根据嘴部子图序列识别得到用户嘴部口型对应发出的唇语内容。

步骤611，获取唇语识别结果与真值的第二距离。

真值是指界面实际上显示的指定显示内容，也即，将唇语识别序列与指定显示内容中的内容序列进行匹配，得到唇语识别序列与指定显示内容中的内容序列之间的第二相似度。

步骤612，获取眼部子图序列。

由于随机数字在界面中的随机位置显示，故眼部为在语音表达过程中对随机数字进行观察而存在动态变化的区域，故，获取眼部子图序列进行眼部视线的判断。

步骤613，回归视线方位，获取视线变化序列。

将眼部子图序列输入至预先训练得到的神经网络模型中，得到视线识别序列，也即根据眼部子图序列识别得到用户眼睛视线对应显示屏的方位。

步骤614，获取视线变化结果与真值第三距离。

真值是指界面上指定显示内容实际显示位置，也即，将视线变化结果与实际显示位置进行匹配，得到视线变化结果与实际显示位置之间的第三相似度。

步骤615，决策层融合。

将上述第一相似度、第二相似度和第三相似度通过预设的决策层进行加权融合，得到融合结果，也即活体检测概率，表示当前人脸识别过程由活体完成的概率。

其中，融合过程中的权值为模型训练得到的，或者直接预先设定。

步骤616，判断是否大于置信分数。

置信分数为预先设置的，当活体检测概率大于置信分数，即当前人脸识别有活体完成的概率较大，当活体检测概率未达到置信分数，即当前人脸识别有活体完成的概率较小。

步骤617，当大于置信分数时，验证成功。

步骤618，当不大于置信分数时，验证失败。

综上所述，本申请实施例提供的人脸识别方法，通过人脸局部区域与指定显示内容的匹配，对人脸局部在语音表达过程中的变化情况进行确认，通过音频内容与指定显示内容的匹配，对用户发声内容进行确认，从而在人脸变化情况和发声内容两个层面进行活体检测，确保了人脸识别过程中的参与用户为活体用户，而并非图像、视频等平面素材，提高了人脸识别的准确率，提高了通过人脸识别功能进行保护的功能的安全系数。

在一些实施例中，终端侧在人脸识别过程中存在对应的界面表现。图7是本申请一个示例性实施例提供的人脸识别方法的流程图，以该方法应用于终端中为例进行说明，如图7所示，该方法包括：

步骤701，显示人脸识别界面。

人脸识别界面中包括人脸采集图像，其中，人脸采集图像是指终端摄像头实时采集的图像。在一些实施例中，人脸识别界面中还包括人脸基准框，用于指示用户在人脸基准框的范围内进行人脸图像的采集。

步骤702，在人脸识别界面中显示指定显示内容。

指定显示内容的显示位置是从至少两个候选显示位置中确定的。

示意性的，候选位置包括人脸识别界面的左上角、左下角、右上角和右下角。则在显示指定显示内容时，在左上角、左下角、右上角和右下角中随机确定位置进行显示。

在一些实施例中，在人脸识别界面中基于预设切换条件对至少两个指定显示内容进行依次切换显示，其中，预设切换条件包括间隔切换条件和语音识别切换条件中的任意一种。间隔切换条件标识相邻两个指定显示内容之间的显示时间间隔。语音识别切换条件用于表示识别到对第k个指定显示内容的语音表达时，切换至显示第k+1个指定显示内容，n为正整数。

步骤703，在人脸识别界面中显示语音提示信息。

语音提示信息用于指示对指定显示内容进行对应的语音表达。

示意性的，请参考图8，其示出了本申请一个示例性实施例提供的人脸识别界面的示意图，如图8所示，在人脸识别界面800中显示有指定显示内容810，即数字“3”，以及显示有语音提示信息820，语音提示信息820的内容为“请读出屏幕中显示的数字”。

步骤704，基于人脸采集图像和语音提示信息在人脸识别界面中显示人脸识别结果。

在一些实施例中，当活体检测通过时，基于人脸识别匹配确定人脸识别结果；当活体检测未通过时，直接确定人脸识别未通过。

综上所述，本申请实施例提供的人脸识别方法，通过人脸局部区域与指定显示内容的匹配，对人脸局部在语音表达过程中的变化情况进行确认，通过音频内容与指定显示内容的匹配，对用户发声内容进行确认，从而在人脸变化情况和发声内容两个层面进行活体检测，确保了人脸识别过程中的参与用户为活体用户，而并非图像、视频等平面素材，提高了人脸识别的准确率，提高了通过人脸识别功能进行保护的功能的安全系数。

图9是本申请一个示例性实施例提供的人脸识别装置的结构框图，如图9所示，该装置包括：

获取模块910，用于响应于人脸识别过程开始，获取人脸识别视频流和音频内容，其中，所述人脸识别视频流和所述音频内容为基于指定显示内容采集得到的内容，所述指定显示内容的显示位置是从至少两个候选显示位置中确定的；

所述获取模块910，还用于从所述人脸识别视频流中截取人脸局部区域，其中，所述人脸局部区域是对所述指定显示内容进行语音表达时存在表现的五官对应的区域；

匹配模块920，用于将所述人脸局部区域与所述指定显示内容进行匹配，得到第一匹配结果；

所述匹配模块920，还用于将所述音频内容与所述指定显示内容进行匹配，得到第二匹配结果；

确定模块930，用于基于所述第一匹配结果和所述第二匹配结果确定人脸识别结果。

在一个可选的实施例中，如图10所示，所述获取模块910，包括：

定位单元911，用于从所述人脸识别视频流中定位所述指定显示内容显示时对应的图像序列；

截取单元912，用于对所述图像序列中的图像帧进行区域截取，得到所述人脸局部区域。

在一个可选的实施例中，所述定位单元911，还用于提取所述音频内容的音频特征；基于所述音频特征确定对所述指定显示内容进行语音表达的时间段；从所述人脸识别视频流中定位与所述时间段对应的所述图像序列。

在一个可选的实施例中，所述人脸识别过程中包括至少两个依次显示的指定显示内容；

所述定位单元911，还用于基于所述音频特征确定对第i个指定显示内容进行语音表达的第i个时间段，i为正整数；从所述人脸识别视频流中定位与第i个时间段对应的第i组图像序列。

在一个可选的实施例中，所述人脸局部区域中包括人脸嘴部区域，所述人脸嘴部区域为对表达所述指定显示内容的嘴部进行截取得到的区域，所述第一匹配结果中包括嘴部匹配结果；

所述匹配模块920，包括：

识别单元921，用于对所述人脸嘴部区域进行口型识别，得到唇语识别结果，所述唇语识别结果用于表示识别得到的所述嘴部的发声内容；

匹配单元922，用于将所述唇语识别结果与所述指定显示内容进行匹配，得到所述嘴部匹配结果，所述嘴部匹配结果用于表示所述唇语识别结果与所述指定显示内容之间的关联度。

在一个可选的实施例中，所述人脸局部区域中包括人脸眼部区域，所述人脸眼部区域为对观察所述指定显示内容的眼部进行截取得到的区域，所述第一匹配结果中包括眼部匹配结果；

所述匹配模块920，包括：

识别单元921，用于对所述人脸眼部区域进行视线识别，得到视线识别结果，所述视线识别结果用于表示识别得到的所述眼部的视线方向；

匹配单元922，用于将所述视线识别结果与所述指定显示内容的显示位置进行匹配，得到所述眼部匹配结果，所述眼部匹配结果用于表示所述视线识别结果与所述指定显示内容之间的关联度。

在一个可选的实施例中，所述匹配模块920，包括：

识别单元921，用于对所述音频内容进行语音识别，得到语音识别结果；

匹配单元922，用于将所述语音识别结果与所述指定显示内容进行匹配，得到所述第二匹配结果，所述第二匹配结果用于表示所述语音识别结果和所述指定显示内容之间的关联度。

在一个可选的实施例中，所述人脸识别过程中包括至少两个依次显示的指定显示内容，所述语音识别结果中包括语音识别序列，所述语音识别序列中包括至少两个按序排列的识别子结果；

所述匹配单元922，还用于将所述语音识别序列中的所述识别子结果与所述至少两个指定显示内容进行内容匹配，得到内容匹配结果；将所述语音识别序列中的所述识别子结果与所述至少两个指定显示内容进行顺序匹配，得到顺序匹配结果；基于所述内容匹配结果和所述顺序匹配结果得到所述第二匹配结果。

在一个可选的实施例中，所述确定模块930，还用于将所述第一匹配结果与所述第二匹配结果进行加权求和，得到活体检测概率，所述活体检测概率用于表示所述人脸识别过程由活体完成的概率；基于所述活体检测概率确定所述人脸识别结果。

在一个可选的实施例中，所述指定显示内容的显示位置是从至少两个候选显示位置中随机确定得到的；

所述指定显示内容是从预设内容库中随机确定得到的。

在一个可选的实施例中，本申请还提供了一种人脸识别装置，该装置包括：

显示模块，用于显示人脸识别界面，所述人脸识别界面中包括人脸采集图像；

所述显示模块，还用于在所述人脸识别界面中显示指定显示内容，所述指定显示内容的显示位置是从至少两个候选显示位置中确定的；

所述显示模块，还用于在所述人脸识别界面中显示语音提示信息，所述语音提示信息用于指示对所述指定显示内容进行对应的语音表达；

所述显示模块，还用于基于所述人脸采集图像和所述语音提示信息在所述人脸识别界面中显示人脸识别结果。

在一个可选的实施例中，所述显示模块，还用于在所述人脸识别界面中基于预设切换条件对至少两个所述指定显示内容进行依次切换显示；

所述预设切换条件包括间隔切换条件和语音识别切换条件；

所述间隔切换条件表示相邻两个指定显示内容之间的显示时间间隔；所述语音识别切换条件表示识别到对第k个指定显示内容的语音表达时，切换至显示第k+1个指定显示内容，k为正整数。

综上所述，本申请实施例提供的人脸识别装置，通过人脸局部区域与指定显示内容的匹配，对人脸局部在语音表达过程中的变化情况进行确认，通过音频内容与指定显示内容的匹配，对用户发声内容进行确认，从而在人脸变化情况和发声内容两个层面进行活体检测，确保了人脸识别过程中的参与用户为活体用户，而并非图像、视频等平面素材，提高了人脸识别的准确率，提高了通过人脸识别功能进行保护的功能的安全系数。

需要说明的是：上述实施例提供的人脸识别装置，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的人脸识别装置，与人脸识别方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图11示出了本申请一个示例性实施例提供的电子设备1100的结构框图。该电子设备1100可以是便携式移动终端，比如：智能手机、平板电脑、MP3播放器(Moving PictureExperts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(MovingPicture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。电子设备1100还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。

通常，电子设备1100包括有：处理器1101和存储器1102。

处理器1101可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1101可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1101也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1101可以集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1101还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器1102可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1102还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1102中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1101所执行以实现本申请中方法实施例提供的人脸识别方法。

在一些实施例中，电子设备1100还可选包括有：外围设备接口1103和至少一个外围设备。处理器1101、存储器1102和外围设备接口1103之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1103相连。具体地，外围设备包括：射频电路1104、显示屏1105、摄像头组件1106、音频电路1107、定位组件1108和电源1109中的至少一种。

外围设备接口1103可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器1101和存储器1102。在一些实施例中，处理器1101、存储器1102和外围设备接口1103被集成在同一芯片或电路板上；在一些其他实施例中，处理器1101、存储器1102和外围设备接口1103中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路1104用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路1104通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1104将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1104包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1104可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路1104还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。

显示屏1105用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1105是触摸显示屏时，显示屏1105还具有采集在显示屏1105的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1101进行处理。此时，显示屏1105还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1105可以为一个，设置在电子设备1100的前面板；在另一些实施例中，显示屏1105可以为至少两个，分别设置在电子设备1100的不同表面或呈折叠设计；在另一些实施例中，显示屏1105可以是柔性显示屏，设置在电子设备1100的弯曲表面上或折叠面上。甚至，显示屏1105还可以设置成非矩形的不规则图形，也即异形屏。显示屏1105可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode，有机发光二极管)等材质制备。

摄像头组件1106用于采集图像或视频。可选地，摄像头组件1106包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1106还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路1107可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1101进行处理，或者输入至射频电路1104以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在电子设备1100的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1101或射频电路1104的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1107还可以包括耳机插孔。

定位组件1108用于定位电子设备1100的当前地理位置，以实现导航或LBS(Location Based Service，基于位置的服务)。定位组件1108可以是基于美国的GPS(Global Positioning System，全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。

电源1109用于为电子设备1100中的各个组件进行供电。电源1109可以是交流电、直流电、一次性电池或可充电电池。当电源1109包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。

在一些实施例中，电子设备1100还包括有一个或多个传感器1110。该一个或多个传感器1110包括但不限于：加速度传感器1111、陀螺仪传感器1112、压力传感器1113、指纹传感器1114、光学传感器1115以及接近传感器1116。

加速度传感器1111可以检测以电子设备1100建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1111可以用于检测重力加速度在三个坐标轴上的分量。处理器1101可以根据加速度传感器1111采集的重力加速度信号，控制显示屏1105以横向视图或纵向视图进行用户界面的显示。加速度传感器1111还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器1112可以检测电子设备1100的机体方向及转动角度，陀螺仪传感器1112可以与加速度传感器1111协同采集用户对电子设备1100的3D动作。处理器1101根据陀螺仪传感器1112采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器1113可以设置在电子设备1100的侧边框和/或显示屏1105的下层。当压力传感器1113设置在电子设备1100的侧边框时，可以检测用户对电子设备1100的握持信号，由处理器1101根据压力传感器1113采集的握持信号进行左右手识别或快捷操作。当压力传感器1113设置在显示屏1105的下层时，由处理器1101根据用户对显示屏1105的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器1114用于采集用户的指纹，由处理器1101根据指纹传感器1114采集到的指纹识别用户的身份，或者，由指纹传感器1114根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器1101授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1114可以被设置在电子设备1100的正面、背面或侧面。当电子设备1100上设置有物理按键或厂商Logo时，指纹传感器1114可以与物理按键或厂商Logo集成在一起。

光学传感器1115用于采集环境光强度。在一个实施例中，处理器1101可以根据光学传感器1115采集的环境光强度，控制显示屏1105的显示亮度。具体地，当环境光强度较高时，调高显示屏1105的显示亮度；当环境光强度较低时，调低显示屏1105的显示亮度。在另一个实施例中，处理器1101还可以根据光学传感器1115采集的环境光强度，动态调整摄像头组件1106的拍摄参数。

接近传感器1116，也称距离传感器，通常设置在电子设备1100的前面板。接近传感器1116用于采集用户与电子设备1100的正面之间的距离。在一个实施例中，当接近传感器1116检测到用户与电子设备1100的正面之间的距离逐渐变小时，由处理器1101控制显示屏1105从亮屏状态切换为息屏状态；当接近传感器1116检测到用户与电子设备1100的正面之间的距离逐渐变大时，由处理器1101控制显示屏1105从息屏状态切换为亮屏状态。

本领域技术人员可以理解，图11中示出的结构并不构成对电子设备1100的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

本申请的实施例还提供了一种计算机设备，该计算机设备包括处理器和存储器，该存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述各方法实施例提供的人脸识别方法。

本申请的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行，以实现上述各方法实施例提供的人脸识别方法。

本申请的实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中任一所述的人脸识别方法。

可选地，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、固态硬盘(SSD，Solid State Drives)或光盘等。其中，随机存取记忆体可以包括电阻式随机存取记忆体(ReRAM,Resistance RandomAccess Memory)和动态随机存取存储器(DRAM，Dynamic Random Access Memory)。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (16)

1.一种人脸识别方法，其特征在于，所述方法包括：

响应于人脸识别过程开始，获取人脸识别视频流和音频内容，其中，所述人脸识别视频流和所述音频内容为基于指定显示内容采集得到的内容，所述指定显示内容的显示位置是从至少两个候选显示位置中确定的；

从所述人脸识别视频流中截取人脸局部区域，其中，所述人脸局部区域是对所述指定显示内容进行语音表达时存在表现的五官对应的区域；

将所述人脸局部区域与所述指定显示内容进行匹配，得到第一匹配结果；

将所述音频内容与所述指定显示内容进行匹配，得到第二匹配结果；

基于所述第一匹配结果和所述第二匹配结果确定人脸识别结果。

2.根据权利要求1所述的方法，其特征在于，所述从所述人脸识别视频流中截取人脸局部区域，包括：

从所述人脸识别视频流中定位所述指定显示内容显示时对应的图像序列；

对所述图像序列中的图像帧进行区域截取，得到所述人脸局部区域。

3.根据权利要求2所述的方法，其特征在于，所述从所述人脸识别视频流中定位所述指定显示内容显示时对应的图像序列，包括：

提取所述音频内容的音频特征；

基于所述音频特征确定对所述指定显示内容进行语音表达的时间段；

从所述人脸识别视频流中定位与所述时间段对应的所述图像序列。

4.根据权利要求3所述的方法，其特征在于，所述人脸识别过程中包括至少两个依次显示的指定显示内容；

所述基于所述音频特征确定对所述指定显示内容进行语音表达的时间段，包括：

基于所述音频特征确定对第i个指定显示内容进行语音表达的第i个时间段，i为正整数；

所述从所述人脸识别视频流中定位与所述时间段对应的所述图像序列，包括：

从所述人脸识别视频流中定位与第i个时间段对应的第i组图像序列。

5.根据权利要求1至4任一所述的方法，其特征在于，所述人脸局部区域中包括人脸嘴部区域，所述人脸嘴部区域为对表达所述指定显示内容的嘴部进行截取得到的区域，所述第一匹配结果中包括嘴部匹配结果；

所述将所述人脸局部区域与所述指定显示内容进行匹配，得到第一匹配结果，包括：

对所述人脸嘴部区域进行口型识别，得到唇语识别结果，所述唇语识别结果用于表示识别得到的所述嘴部的发声内容；

将所述唇语识别结果与所述指定显示内容进行匹配，得到所述嘴部匹配结果，所述嘴部匹配结果用于表示所述唇语识别结果与所述指定显示内容之间的关联度。

6.根据权利要求1至4任一所述的方法，其特征在于，所述人脸局部区域中包括人脸眼部区域，所述人脸眼部区域为对观察所述指定显示内容的眼部进行截取得到的区域，所述第一匹配结果中包括眼部匹配结果；

所述将所述人脸局部区域与所述指定显示内容进行匹配，得到第一匹配结果，包括：

对所述人脸眼部区域进行视线识别，得到视线识别结果，所述视线识别结果用于表示识别得到的所述眼部的视线方向；

将所述视线识别结果与所述指定显示内容的显示位置进行匹配，得到所述眼部匹配结果，所述眼部匹配结果用于表示所述视线识别结果与所述指定显示内容之间的关联度。

7.根据权利要求1至4任一所述的方法，其特征在于，所述将所述音频内容与所述指定显示内容进行匹配，得到第二匹配结果，包括：

对所述音频内容进行语音识别，得到语音识别结果；

将所述语音识别结果与所述指定显示内容进行匹配，得到所述第二匹配结果，所述第二匹配结果用于表示所述语音识别结果和所述指定显示内容之间的关联度。

8.根据权利要求7所述的方法，其特征在于，所述人脸识别过程中包括至少两个依次显示的指定显示内容，所述语音识别结果中包括语音识别序列，所述语音识别序列中包括至少两个按序排列的识别子结果；

所述将所述语音识别结果与所述指定显示内容进行匹配，得到所述第二匹配结果，包括：

将所述语音识别序列中的所述识别子结果与所述至少两个指定显示内容进行内容匹配，得到内容匹配结果；

将所述语音识别序列中的所述识别子结果与所述至少两个指定显示内容进行顺序匹配，得到顺序匹配结果；

基于所述内容匹配结果和所述顺序匹配结果得到所述第二匹配结果。

9.根据权利要求1至4任一所述的方法，其特征在于，所述基于所述第一匹配结果和所述第二匹配结果确定人脸识别结果，包括：

将所述第一匹配结果与所述第二匹配结果进行加权求和，得到活体检测概率，所述活体检测概率用于表示所述人脸识别过程由活体完成的概率；

基于所述活体检测概率确定所述人脸识别结果。

10.根据权利要求1至4任一所述的方法，其特征在于，

所述指定显示内容的显示位置是从至少两个候选显示位置中随机确定得到的；

所述指定显示内容是从预设内容库中随机确定得到的。

11.一种人脸识别方法，其特征在于，所述方法包括：

显示人脸识别界面，所述人脸识别界面中包括人脸采集图像；

在所述人脸识别界面中显示指定显示内容，所述指定显示内容的显示位置是从至少两个候选显示位置中确定的；

在所述人脸识别界面中显示语音提示信息，所述语音提示信息用于指示对所述指定显示内容进行对应的语音表达；

基于所述人脸采集图像和所述语音提示信息在所述人脸识别界面中显示人脸识别结果。

12.根据权利要求11所述的方法，其特征在于，所述在所述人脸识别界面中显示指定显示内容，包括：

在所述人脸识别界面中基于预设切换条件对至少两个所述指定显示内容进行依次切换显示；

所述预设切换条件包括间隔切换条件和语音识别切换条件；

所述间隔切换条件表示相邻两个指定显示内容之间的显示时间间隔；所述语音识别切换条件表示识别到对第k个指定显示内容的语音表达时，切换至显示第k+1个指定显示内容，k为正整数。

13.一种人脸识别装置，其特征在于，所述装置包括：

获取模块，用于响应于人脸识别过程开始，获取人脸识别视频流和音频内容，其中，所述人脸识别视频流和所述音频内容为基于指定显示内容采集得到的内容，所述指定显示内容的显示位置是从至少两个候选显示位置中确定的；

所述获取模块，还用于从所述人脸识别视频流中截取人脸局部区域，其中，所述人脸局部区域是对所述指定显示内容进行语音表达时存在表现的五官对应的区域；

匹配模块，用于将所述人脸局部区域与所述指定显示内容进行匹配，得到第一匹配结果；

所述匹配模块，还用于将所述音频内容与所述指定显示内容进行匹配，得到第二匹配结果；

确定模块，用于基于所述第一匹配结果和所述第二匹配结果确定人脸识别结果。

14.一种人脸识别装置，其特征在于，所述装置包括：

显示模块，用于显示人脸识别界面，所述人脸识别界面中包括人脸采集图像；

所述显示模块，还用于在所述人脸识别界面中显示指定显示内容，所述指定显示内容的显示位置是从至少两个候选显示位置中确定的；

所述显示模块，还用于在所述人脸识别界面中显示语音提示信息，所述语音提示信息用于指示对所述指定显示内容进行对应的语音表达；

所述显示模块，还用于基于所述人脸采集图像和所述语音提示信息在所述人脸识别界面中显示人脸识别结果。

15.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至12任一所述的人脸识别方法。

16.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至12任一所述的人脸识别方法。

Images