CN111582144A - 人脸数据的安全处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请实施例公开了一种人脸数据的安全处理方法、装置、电子设备及存储介质。上述方法包括：接收应用程序发送的人脸处理请求；根据所述人脸处理请求控制图像传感器采集人脸数据，并在可信执行环境中将所述人脸数据存储到共享缓存区中，所述共享缓存区为可信执行环境与虚拟机共享的缓存区；通过所述虚拟机从所述共享缓存区中读取所述人脸数据；在所述虚拟机中，基于所述人脸处理请求对读取的人脸数据进行处理，并向所述应用程序返回处理结果。上述人脸数据的安全处理方法、装置、电子设备及存储介质，能够保证人脸数据的安全性。

Description

人脸数据的安全处理方法、装置、电子设备及存储介质

技术领域

本申请涉及数据安全技术领域，特别是涉及一种人脸数据的安全处理方法、装置、电子设备及存储介质。

背景技术

随着人脸识别技术的快速发展，人脸识别已越来越多地应用在各种终端的使用场景中，例如通过人脸识别进行手机解锁、利用人脸进行支付等。在各种人脸的应用场景中，应用程序直接调用摄像头，并获取摄像头采集的人脸数据进行人脸识别等处理，其获取的人脸数据及进行的处理通常处于不安全的运行环境中，安全性差。

发明内容

本申请实施例公开了一种人脸数据的安全处理方法、装置、电子设备及存储介质，能够保证人脸数据的安全性。

本申请实施例公开一种人脸数据的安全处理方法，包括：接收应用程序发送的人脸处理请求；根据所述人脸处理请求控制图像传感器采集人脸数据，并在可信执行环境中将所述人脸数据存储到共享缓存区中，所述共享缓存区为可信执行环境与虚拟机共享的缓存区；通过所述虚拟机从所述共享缓存区中读取所述人脸数据；在所述虚拟机中，基于所述人脸处理请求对读取的人脸数据进行处理，并向所述应用程序返回处理结果。

本申请实施例公开一种人脸数据的安全处理装置，包括：请求接收模块，用于接收应用程序发送的人脸处理请求；缓存模块，用于根据所述人脸处理请求控制图像传感器采集人脸数据，并在可信执行环境中将所述人脸数据存储到共享缓存区中，所述共享缓存区为可信执行环境与虚拟机共享的缓存区；读取模块，用于通过所述虚拟机从所述共享缓存区中读取所述人脸数据；处理模块，用于在所述虚拟机中，基于所述人脸处理请求对读取的人脸数据进行处理，并向所述应用程序返回处理结果。

本申请实施例提供一种电子设备，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现如上所述的方法。

本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法。

本申请实施例公开的人脸数据的安全处理方法、装置、电子设备及存储介质，接收应用程序发送的人脸处理请求，根据人脸处理请求控制图像传感器采集人脸数据，并在可信执行环境中将人脸数据存储到可信执行环境与虚拟机的共享缓存区中，通过虚拟机从共享缓存区中读取人脸数据，在虚拟机中，基于人脸处理请求对读取的人脸数据进行处理，并向应用程序返回处理结果，人脸数据从采集到处理的整个流程都是在安全环境中，能够保证人脸数据的安全性，且在虚拟机中对人脸数据进行处理，在保障了人脸数据安全性的同时，还提高了数据处理效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中人脸数据的安全处理方法的系统架构图；

图2为一个实施例中人脸数据的安全处理方法的流程图；

图3为另一个实施例中人脸数据的安全处理方法的流程图；

图4为另一个实施例中人脸数据的安全处理方法的系统架构图；

图5为一个实施例中在虚拟机中对人脸数据进行处理的流程图；

图6为另一个实施例中在虚拟机中对人脸数据进行处理的流程图；

图7为一个实施例中人脸数据的安全处理装置的框图；

图8为一个实施例中电子设备的结构框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

图1为一个实施例中人脸数据的安全处理方法的系统架构图。如图1所示，电子设备上安装的应用程序110可接收用户的操作，当根据用户的操作确定需要进行人脸数据的处理时，可生成人脸处理请求，并向后台运行的人脸服务程序120发送该人脸处理请求。人脸服务程序120接收应用程序110发送的人脸处理请求，可根据该人脸处理请求控制图像传感器130采集人脸数据。图像传感器130采集人脸数据后，在可信执行环境(TEE，TrustExecution Environment)中将人脸数据存储到共享缓存区140，该共享缓存区140为可信执行环境与虚拟机150共享的缓存区，仅供运行在可信执行环境及虚拟机150的程序访问。虚拟机150可从共享缓存区140中读取图像传感器130采集的人脸数据，并基于人脸处理请求对读取的人脸数据进行处理。虚拟机150可将处理结果通过人脸服务程序120发送给应用程序110。

如图2所示，在一个实施例中，提供一种人脸数据的安全处理方法，该人脸数据的安全处理方法可适用于手机、智能穿戴设备、平板电脑、数码相机等电子设备，本申请实施例不做限定。其中，上述的电子设备的操作系统可包括但不限于Android(安卓)操作系统、Linux操作系统、IOS操作系统、Symbian(塞班)操作系统、Windows操作系统等，本申请实施例不做限定。

该方法包括以下步骤：

步骤210，接收应用程序发送的人脸处理请求。

电子设备可安装有一个或多个应用程序，每个应用程序所属的应用种类及实现的功能可不相同，例如，可安装有通信应用(例如短信应用、聊天应用等)、金融管理应用(例如银行应用、信用卡应用等)、购物应用等。在应用程序的使用过程中，可能需要进行人脸数据处理，则可生成相应的人脸处理请求。其中，人脸数据处理可包括但不限于人脸数据录入、人脸解锁、人脸支付等。

在一个实施例中，电子设备可在后台运行有人脸服务程序，并通过在后台运行的人脸服务程序响应前台运行的应用程序的人脸处理请求。运行在前台的应用程序可接收用户的操作(例如解锁操作、支付操作、录入操作等)，在根据用户的操作确定需要进行人脸数据处理时，可生成人脸处理请求。可选地，针对不同的用户操作，可生成不同的人脸处理请求，例如，用户的操作为解锁操作，则对应的人脸处理请求可以为人脸比对请求，用户的操作为录入操作，则对应的人脸处理请求可以为人脸录入请求等。应用程序可将生成的人脸处理请求发送至后台的人脸服务程序，通过人脸服务程序完成人脸数据的处理。

在一些实施方式中，生成人脸处理请求的应用程序也可以为后台运行的应用程序，例如，电子设备处理待机状态时，后台运行的解锁应用检测到用户需要通过人脸对电子设备进行解锁及唤醒时，则可生成人脸比对请求，并将人脸比对请求发送至人脸服务程序，以调用人脸服务程序完成人脸数据的比对，从而可根据比对结果判断是否进行解锁。

步骤220，根据人脸处理请求控制图像传感器采集人脸数据，并在可信执行环境中将人脸数据存储到共享缓存区中，共享缓存区为可信执行环境与虚拟机共享的缓存区。

TEE(可信执行环境)可以是与电子设备上的主操作系统的并行运行环境，并且可为该主操作系统提供安全服务，它拥有自身的执行空间，比主操作系统可拥有更高的安全级别。电子设备的主操作系统通常处于一个开放的环境，使得在主操作系统中处理和存储的隐私数据容易受到第三方的攻击和窃取，无法保障安全性。

在传统的方式中，当应用程序需要对人脸数据进行处理时，通常由运行在主操作系统的应用程序直接调用摄像头，通过摄像头采集人脸图像，由运行在主操作系统的人脸识别算法对人脸图像进行处理，例如，人脸检测、识别检测等，其整个流程均运行在安全性较低的主操作系统中，安全性差。

还有的做法是由运行在主操作系统的应用程序调用摄像头后，由运行在主操作系统的人脸识别算法对人脸图像进行预处理，再将处理后的图像传入TEE中，由TEE中的程序进行人脸比对，无法保障人脸数据整个过程的安全性。若是将整个人脸识别算法(包括图像预处理、人脸比对等)都植入TEE中，由于TEE不支持C++和openMP等一些程序语言的库，无法满足人脸算法的编译和运行。且TEE都是单线程运行，影响了人脸数据的处理效率。

在本申请实施例中，电子设备安装的应用程序发起人脸处理请求后，可根据该人脸处理请求在TEE中控制图像传感器采集人脸数据。在一些实施方式中，电子设备中可设置有运行在TEE中的摄像头应用。人脸服务程序接收应用程序发送的人脸处理请求后，可根据人脸处理请求向摄像头应用发送采集指令，以通过摄像头应用控制图像传感器采集人脸数据，其中，人脸数据可指的是包含有人脸的图像数据。

摄像头应用运行在安全可信任的TEE中，在摄像头应用接收到采集指令后，可控制摄像头进行图像采集，通过摄像头的透镜及图像传感器等对人脸进行拍摄，采集得到人脸数据。可选地，图像传感器可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器可获取每个成像像素捕捉的光强度和波长信息，并提供可由ISP(Image Signal Processing，图像信号处理)处理器处理的一组原始图像数据。摄像头应用可在TEE中将图像传感器采集的人脸数据存储在TEE与虚拟机的共享缓存区，该存储到共享缓存区的人脸数据可以是图像传感器采集的原始图像数据，也可以为经过ISP处理器处理后的图像数据。

在一些实施方式中，电子设备可搭建有hypervisor，hypervisor又称为虚拟机监视器(virtual machine monitor，VMM)，是一种运行在基础物理层和操作系统之间的中间软件层，可在hypervisor中运行虚拟机客户端，hypervisor可为加载的各个虚拟机分配适量的内存、CPU(central processing unit，中央处理器)、网络和磁盘等资源。可预先在存储器中申请一块缓存区作为TEE和hypervisor中的虚拟机之间的共享缓存区，该共享缓存区仅供在TEE中运行的程序以及hypervisor中的虚拟机访问，其它运行环境中的程序不具有该共享缓存区的访问权限，无法从该共享缓存区中获取存储的人脸数据，例如，运行在电子设备的主操作系统中(如Android系统)的程序无法访问该共享缓存区。

运行在TEE的摄像头应用可将图像传感器采集的人脸数据传输到上述共享缓存区中进行存储，以保证采集的人脸数据一直处理安全的环境中。作为一种可选的实施方式，该摄像头应用可从图像传感器获取采集的人脸数据，并将人脸数据传输至共享缓存区。作为另一种可选的实施方式，摄像头应用可控制图像传感器将采集的人脸数据通过ISP处理器传输至共享缓存区，该ISP可以为锁定在TEE中的ISP处理器，即该ISP处理器仅可向运行在TEE中的程序传输图像数据，而无法向远行在其它环境中的程序传输图像数据。

步骤230，通过虚拟机从共享缓存区中读取人脸数据。

在电子设备搭建的hypervisor中可运行有虚拟机，虚拟机可指的是通过软件模拟的具有完整硬件系统功能且运行在一个完全隔离环境中的计算机系统，hypervisor可为加载的虚拟机分配硬盘、内存等资源，以方便虚拟机进行正常运行。hypervisor中的虚拟机可从上述共享缓存区中读取图像传感器采集的人脸数据，并对该人脸数据进行处理。

在一些实施方式中，人脸服务程序在接收到应用程序发送的人脸处理请求后，可将人脸处理请求转发至虚拟机。虚拟机在接收到人脸服务程序发送的人脸处理请求后，可调用人脸识别进程，该人脸识别进程可运行有人脸识别算法，可对人脸数据进行处理。虚拟机上的人脸识别进程可从上述的共享缓存区中读取人脸数据。作为一种具体实施方式，可设置有读取时间间隔，在虚拟机接收到人脸处理请求后，可记录接收时刻，调用的人脸识别进程可在当前时刻距离该接收时刻达到上述的读取时间间隔后，再从共享缓存区中读取人脸数据，以保证图像传感器采集的人脸数据已存储在共享缓存区中。读取时间间隔可根据实际需求进行设置，例如，30毫秒、20毫秒等。

在一些实施方式中，当图像传感器传输至共享缓存区的人脸数据较多时，虚拟机可仅读取存储时刻最早的预设数量的人脸数据，也可仅读取存储时刻最晚的预设数量的人脸数据，或是从存储的人脸数据中间隔读取预设数量的人脸数据等。例如，本次图像传感器传输至共享缓存区的人脸数据包括10帧人脸图像，则虚拟机可读取最晚存储的3帧人脸图像，也可读取最早存储的3帧人脸图像，或是按照每间隔2帧的方式，读取第1帧、第4帧及第7帧人脸图像。

步骤240，在虚拟机中，基于人脸处理请求对读取的人脸数据进行处理，并向应用程序返回处理结果。

虚拟机从共享缓存区中读取人脸数据后，可对人脸数据进行处理。作为一种实施方式，运行在虚拟机中的人脸识别进程可对人脸数据进行预处理，并提取预处理后的人脸数据的人脸特征，该预处理可包括降噪处理、白平衡处理、人脸检测等，以提高人脸数据的数据质量。人脸特征可指的用于描述人脸的特征点，可包括但不限于人脸的轮廓特征、人脸的五官特征等，利用人脸特征可对人脸数据中包含的人脸进行身份识别。人脸识别进程可先对人脸数据进行人脸检测处理，检测人脸数据的图像是否包含有人脸，若包含人脸，则可确定人脸所处的图像区域，再从人脸所处的图像区域中提取人脸特征。

在一些实施例中，人脸识别进程可基于人脸处理请求对人脸特征作进一步处理，人脸处理请求不同，可进行不同的人脸数据处理。例如，人脸处理请求为人脸录入请求，则可对提取的人脸特征进行加密后，得到录入的人脸模板，再对人脸模板进行存储，人脸处理请求为人脸比对，则可将提取的人脸特征与预先存储的人脸模板进行比对等，但不限于此。

在一些实施方式中，虚拟机中的人脸识别进程还可对人脸数据进行活体检测，根据提取的人脸特征判断人脸数据中包含的人脸是否为活体人脸数据，活体检测可用于检测采集的人脸属于真实的生命体，而非来自照片、雕塑、模型等非生命体，可提高人脸识别的准确性。

由于图像传感器采集的人脸数据先是从TEE传输到共享缓存区中，再由独立运行的虚拟机从共享缓存区中读取人脸数据进行运行，可以保证人脸数据从采集到处理的整个过程都处于安全环境中。且虚拟机支持多核多线程过算，支持各种程序语言的编译，提高了人脸数据的数据处理效率。

在虚拟机对人脸数据处理完成后，可向应用程序返回处理结果，作为一种实施方式中，虚拟机可将处理结果发送给人脸服务程序，人脸服务程序接收该处理结果后，再转发给应用程序。应用程序接收该处理结果后，可根据处理结果执行相应的操作，例如，应用程序进行人脸解锁，若返回的处理结果是比对成功，则可进行解锁操作。进一步地，应用程序还可对处理结果进行提示，例如，应用程序进行人脸支付，若返回的处理结果是比对不成功，则可提示人脸匹配错误，支付失败等信息。

在一些实施例中，共享缓存区可对人脸数据进行短暂性存储，在人脸数据在共享缓存区中的存储时长达到预设时长时，可对存储时长达到预设时长的人脸数据进行清除，以保证共享缓存区的空间。在另一个实施例中，也可在应用程序接收到处理结果后，向人脸服务程序发送清除指令，人脸服务程序可将该清除指令转发至运行在TEE的摄像头应用，以通过摄像头应用清除共享缓存区中存储的人脸数据，也可转发至虚拟机，以通过虚拟机清除共享缓存区中存储的人脸数据。可以理解地，共享缓存区清除人脸数据的方式并不仅限于上述几种，也可采用其它方式。

在本申请实施例中，接收应用程序发送的人脸处理请求，根据人脸处理请求控制图像传感器采集人脸数据，并在可信执行环境中将人脸数据存储到可信执行环境与虚拟机的共享缓存区中，通过虚拟机从共享缓存区中读取人脸数据，在虚拟机中，基于人脸处理请求对读取的人脸数据进行处理，并向应用程序返回处理结果，人脸数据从采集到处理的整个流程都是在安全环境中，能够保证人脸数据的安全性，且在虚拟机中对人脸数据进行处理，在保障了人脸数据安全性的同时，还提高了数据处理效率。

如图3所示，在一个实施例中，提供另一种人脸数据的安全处理方法，可应用于上述的电子设备，该方法可包括以下步骤：

步骤302，接收应用程序发送的人脸处理请求。

步骤302可参照上述各实施例中的相关描述，在此不再赘述。

步骤304，根据人脸处理请求调用安全摄像头接口，并通过安全摄像头接口向运行在可信执行环境的摄像头应用发送采集指令，采集指令用于指示摄像头应用控制图像传感器采集人脸数据，并通过锁定在可信执行环境中的图像处理器，将图像传感器采集的人脸数据传输至共享缓存区中存储。

在一些实施方式中，电子设备可定义有四种安全等级EL0-EL3模式，其中，EL0的安全等级最低，通常对应于用户应用模式，EL1可为系统相关功能特权模式，EL2为hypervisor虚拟功能模式，EL3中的Monitor(监视器)则用于切换安全(Secure)模式及非安全(Non-Secure)模式。电子设备可先加载EL3的Monitor及TEE，并校验和加载EL2的hypervisor，通过hypervisor中的虚拟机进行人脸识别等处理。

在一些实施方式中，运行在后台的人脸服务程序接收人脸处理请求后，可根据人脸处理请求调用安全摄像头接口，该安全摄像头接口可运行在主操作系统中，并与运行在TEE的摄像头应用进行通信。可选地，安全摄像头接口可与摄像头应用采用IPC(Inter-Process Communication，进程间通信)进行通信。

作为一种具体实施方式，人脸服务程序可通过人脸接口调用安全摄像头接口，通过人脸接口向安全摄像头接口发送开启指令，以控制摄像头开启。人脸服务程序还可通过人脸接口向安全摄像头接口发送采集指令，安全摄像头接口可将该采集指令转发给运行在TEE的摄像头应用。运行在TEE的摄像头应用在接收到采集指令后，可根据采集指令控制图像传感器采集人脸数据，并控制图像传感器将采集的人脸数据通过锁定在TEE中的ISP处理器传输至上述的共享缓存区中。

在一个实施例中，运行在后台的人脸服务程序接收人脸处理请求后，可确定人脸处理请求对应的安全等级，该安全等级可用于表示人脸处理请求所需的安全性，安全等级越高，则说明人脸处理请求所需的安全性越高。人脸服务程序可判断人脸处理请求对应的安全等级是否大于等级阈值，若大于等级阈值，可说时该人脸处理请求所需的安全性高，则可调用安全摄像头接口，通过安全摄像头接口与运行在TEE的摄像头应用进行通信，利用摄像头应用控制图像传感器采集人脸图像并存储在TEE与虚拟机共享的缓存区中。若人脸处理请求对应的安全等级不大于等级阈值，可说明该人脸处理请求所需的安全性较低，在通过安全摄像头接口控制摄像头开启后，可直接获取图像传感器采集的人脸数据，并对该人脸数据进行处理。

举例说明，应用程序为美化图像的应用，人脸处理请求为人脸美化处理，其对应的安全等级为1，低于预设的等级阈值2，人脸服务程序可直接获取图像传感器采集的人脸数据，并对人脸数据进行人脸识别、人脸美化等处理。仅在安全等级大于等级阈值时采用本申请实施例提供的人脸数据的安全处理方法，可以节约资源，并提高数据处理效率。可以理解地，上述人脸处理请求对应的安全等级可根据实际需求进行设置，上述所举例子仅用于说明本申请实施例，并不对本申请实施例造成限定。

步骤306，当人脸接口接收到安全摄像头接口发送的缓存状态时，通过人脸接口控制虚拟机从共享缓存区读取人脸数据。

在一个实施例中，运行在TEE的摄像头应用可在将图像传感器采集的人脸数据通过锁定在TEE的ISP处理器传输到上述的共享缓存区后，通过安全摄像头接口向人脸接口发送反馈信息，该反馈信息可包括缓存状态，缓存状态可用于表征图像传感器采集的人脸数据已存储在共享缓存区中。人脸接口接收安全摄像头接口发送的反馈信息，可对反馈信息进行解析，并将解析得到的缓存状态发送到hypervisor的虚拟机中。可选地，人脸接口与hypervisor的虚拟机也可通过IPC进行通信。

hypervisor的虚拟机接收到缓存状态后，可调用人脸识别进程，人脸识别进程可从共享缓存区中读取图像传感器采集的人脸数据，并对人脸数据进行处理。

步骤308，在虚拟机中，基于人脸处理请求对读取的人脸数据进行处理，并向应用程序返回处理结果。

在一些实施方式中，虚拟机中的人脸识别进程对人脸数据处理完成后，可通过人脸接口将处理结果返回给人脸服务程序，再由人脸服务程序发送给应用程序，从而可保证人脸数据从采集到处理的整个流程均是在安全环境中运行中，主操作系统中的程序无法直接与TEE的摄像头应用及hypervisor的虚拟机进行通信，保障了人脸数据的安全性。

图4为另一个实施例中人脸数据的安全处理方法的系统架构图。如图4所示，电子设备上安装的应用程序402生成人脸处理请求后，可通过人脸框架(Face framework)404向后台运行的人脸服务程序(Face service)406发送该人脸处理请求。人脸服务程序406接收人脸处理请求，可根据该人脸处理请求通过人脸接口(Face HIDL)408向安全摄像头接口(Secure camera HIDL)410发送开启指令，以用于控制摄像头开启。人脸接口408还可向安全摄像头接口410发送采集指令，安全摄像头接口410可向运行在TEE中的摄像头应用412转发该采集指令。摄像头应用412可控制处于硬件层的图像传感器414采集人脸数据，并通过锁定在TEE的ISP处理器将采集的人脸数据传输至共享缓存区416。共享缓存区416为TEE与hypervisor共享的缓存区，在图像传感器414将人脸数据存储至共享缓存区416后，摄像头应用412可通过安全摄像头接口410向人脸接口408发送反馈信息。人脸接口408接收该反馈信息，可获取反馈信息中包含的缓存状态，并将缓存状态发送至hypervisor的虚拟机418。虚拟机418接收缓存状态后，可从共享缓存区416中读取人脸数据，并基于人脸处理请求对读取的人脸数据进行处理。虚拟机418可将处理结果通过人脸接口408发送给人脸服务程序406，人脸服务程序4006再通过人脸框架404将处理结果发送给应用程序402。

如图5所示，在一个实施例中，步骤308可包括以下步骤：

步骤502，在虚拟机中，根据人脸录入请求对读取的人脸数据进行人脸预处理，并提取预处理后的人脸数据的人脸特征。

人脸处理请求可包括人脸录入请求，人脸录入请求用于录入人脸数据，并将录入的人脸数据作为标准数据，以方便后续进行人脸解锁、人脸支付等需要人脸比对的处理。在一些实施例中，若接收的人脸处理请求为人脸录入请求，虚拟机运行的人脸识别进程从共享缓存区中读取人脸数据后，可对人脸数据进行预处理，该预处理可包括但不限于人脸检测、降噪处理等。在进行预处理后，可提取预处理后的人脸数据的人脸特征。

步骤504，在虚拟机中，根据人脸特征生成人脸模板信息。

虚拟机运行的人脸识别进程提取人脸特征后，可根据人脸特征生成人脸模板信息，该人脸模板信息可用于进行后续的人脸比对处理。在一些实施例中，人脸模板信息还可具有对应的用户信息，例如与人脸特征对应的用户姓名、身份证号、手机号码等，用户可通过应用程序录入用户信息，应用程序在接收到录入的用户信息后，发送人脸录入请求，可将用户信息传输至虚拟机中，虚拟机在根据人脸特征生成人脸模板信息后，可将人脸模板信息与用户信息进行绑定。

在一些实施例中，虚拟机的人脸识别进程根据人脸特征生成人脸模板信息后，还可对生成的人脸模板信息进行加密。虚拟机可从存储器中具有安全特性的存储分区中读取加密密钥，例如，可从RPMB(Replay Protected Memory Block，重放保护内存块)中读取加密密钥。具有安全特性的存储分区中通常用于存储一些有防止非法篡改需求的数据，例如移动支付中的根证书、用户名密码等。可预先将用于加密人脸模板信息的加密密钥存储在具有安全特性的存储分区中，在虚拟机生成人脸模板信息后，可根据从具有安全特性的存储分区中读取的加密密钥对人脸模板信息进行加密。加密的算法在本申请实施例中不作限定，比如，可以是对称加密算法、非对称加密算法等，但不限于此。如图4所示，hypervisor的虚拟机418可从RPMB420中读取加密密钥，并根据该加密密钥对生成的人脸模板信息进行加密。利用存储在具有安全特性的存储分区的加密密钥对人脸模板信息进行加密，可以防止人脸模板信息被非法窃取、篡改等，保障了人脸数据的安全性。

步骤506，通过虚拟机对人脸模板信息进行存储，并向应用程序返回录入成功的信息。

虚拟机生成人脸模板信息后，可对人脸模板信息进行存储。在一些实施例中，可将人脸模板信息存储在TEE中，例如，可存储在TEE的SFS(Secure file system，安全文件系统)中，当运行在主操作系统的应用程序需要读取人脸模板信息时，均需在TEE中发起调用，由运行在TEE中的程序控制人脸模板信息的读取。

在一些实施例中，虚拟机根据从具有安全特性的存储分区中读取的加密密钥对人脸模板信息进行加密后，可加密后的人脸模板信息存储在TEE中，当运行在TEE中的程序需要读取人脸模板信息时，可访问具有安全特性的存储分区，获取解密密钥对人脸模板信息进行解密。可以进一步保证人脸数据的安全性。

如图6所示，在一个实施例中，步骤308可包括以下步骤：

步骤602，在虚拟机中，根据人脸比对请求提取读取的人脸数据中包含的人脸特征。

人脸处理请求可包括人脸比对请求，在应用程序进行人脸解锁、人脸支付等需要进行人脸验证的操作时，可生成人脸比对请求，以通过人脸数据对当前的用户的身份进行验证。在一些实施例中，若接收的人脸处理请求为人脸比对请求，虚拟机运行的人脸识别进程从共享缓存区中读取人脸数据后，可提取人脸数据的人脸特征，并根据人脸特征进行身份验证。可选地，在提取人脸特征之前，虚拟机也可先对人脸数据进行预处理，再提取预处理后的人脸数据的人脸特征。

步骤604，在虚拟机中，将人脸特征与存储的人脸模板信息中的人脸特征进行比对，并将比对结果返回至应用程序。

在一些实施方式中，在虚拟机的人脸识别进程提取人脸特征后，可先根据人脸特征判断人脸数据是否为活体人脸数据。可将读取的人脸数据的人脸特征与预设的活体特征进行比对，作为一种实施方式，该活体特征可根据实际需求统一进行设置，也可以在虚拟机生成人脸模板信息时，从提取的用于生成人脸模板信息的人脸特征中获取。活体特征可指的是用于表征人脸属于生命体的特征，例如，活体特征可包括人脸的纹理特征，活体的人脸的纹理特征比非活体(例如照片等)的纹理特征更为丰富，也可包括相邻帧人脸图像之间变化特征，活体的人脸在相邻帧的变化会比非活体的人脸的变化大等，在此不作限定。

在一些实施方式中，活体特征还可包括温度特征，该温度特征可以为活体对应的预设温度阈值，例如23度以上等。图像传感器也可采集人脸的红外图像，并将该红外图像传输至上述的共享缓存区中存储。虚拟机的人脸识别进程可从共享缓存区中获取包含该红外图像的人脸数据，并根据红外图像判断人脸数据是否为活体人脸数据。作为一种具体实施方式，可根据红外图像检测图像中的人脸对应的温度值，当温度值大于预设温度阈值时，则可确定人脸数据为活体人脸数据。可以理解地，进行活体检测的方式可为多种，并不仅限于上述几种方案，在此不作限定。

若人脸特征与活体特征比对不成功，则虚拟机的人脸识别进程可确定人脸数据为非活体人脸数据，可向应用程序返回比对失败的信息。若人脸特征与活体特征比对成功，则可确定人脸数据为活体人脸数据，可进一步验证读取的人脸数据所属的身份。在一些实施方式中，虚拟机中的人脸识别进程可通过人脸接口访问TEE，并从TEE中获取存储的人脸模板信息。可将读取的人脸数据的人脸特征与存储的人脸模板信息中的人脸特征进行比对，若读取的人脸数据的人脸特征与存储的人脸模板信息中的人脸特征匹配，则验证通过，可向应用程序返回比对成功的信息，若不匹配，则验证失败，可向应用程序返回比对失败的信息。虚拟机向应用程序返回比对成功、比对失败等处理结果的方式可参与上述各实施例中的描述，在此不再赘述。先进行活体检测，在活体检测通过后再进行人脸匹配，可以加快人脸识别速度，提高识别效率。

可以理解地，虚拟机也可先进行人脸比对，人脸比对成功后，再进行活体验证，也可二者同时进行，在此不作限定。

在一些实施方式中，虚拟机还可对处理结果进行加密，其加密算法在此不作限定，例如，可以是对称加密、非对称加密、数字签名加密等，但不限于此。虚拟机可将加密后的处理结果返回至应用程序，具体地，可将加密后的处理结果通过人脸接口发送给人脸服务程序，人脸服务程序再将加密后的处理结果通过人脸框架发送给应用程序，可以提高处理结果的安全性，进一步保证人脸数据的安全性。

在一些实施方式中，虚拟机除了进行人脸录入及人脸比对以外，还可进行其它与人脸数据相关的处理，例如，虚拟机可根据人脸比对结果进行支付操作，在人脸比对成功后，可根据运行的支付进程读取存储的支付数字证书，并根据该支付数字证书完成支付操作，最后可向应用程序返回支付成功的处理结果等。虚拟机所做的处理并不仅限于上述各实施例描述的几种，也可以是其它处理。

在本申请实施例中，人脸数据从采集到处理的整个流程都是在安全环境中，能够保证人脸数据的安全性，且在虚拟机中对人脸数据进行处理，在保障了人脸数据安全性的同时，还提高了数据处理效率。

如图7所示，在一个实施例中，提供一种人脸数据的安全处理装置700，可应用于上述的电子设备。人脸数据的安全处理装置700，可包括请求接收模块710、缓存模块720、读取模块730及处理模块740。

请求接收模块710，用于接收应用程序发送的人脸处理请求。

缓存模块720，用于根据人脸处理请求控制图像传感器采集人脸数据，并在可信执行环境中将人脸数据存储到共享缓存区中，共享缓存区为可信执行环境与虚拟机共享的缓存区。

读取模块730，用于通过虚拟机从共享缓存区中读取人脸数据。

处理模块740，用于在虚拟机中，基于人脸处理请求对读取的人脸数据进行处理，并向应用程序返回处理结果。

在本申请实施例中，接收应用程序发送的人脸处理请求，根据人脸处理请求控制图像传感器采集人脸数据，并在可信执行环境中将人脸数据存储到可信执行环境与虚拟机的共享缓存区中，通过虚拟机从共享缓存区中读取人脸数据，在虚拟机中，基于人脸处理请求对读取的人脸数据进行处理，并向应用程序返回处理结果，人脸数据从采集到处理的整个流程都是在安全环境中，能够保证人脸数据的安全性，且在虚拟机中对人脸数据进行处理，在保障了人脸数据安全性的同时，还提高了数据处理效率。

在一个实施例中，上述人脸数据的安全处理装置700，除了包括请求接收模块710、缓存模块720、读取模块730及处理模块740，还包括等级确定模块。

等级确定模块，用于确定人脸处理请求对应的安全等级。

缓存模块720，还用于当安全等级大于等级阈值时，根据人脸处理请求控制图像传感器采集人脸数据，并在可信执行环境中将人脸数据存储到共享缓存区中。

在一个实施例中，缓存模块720，还用于根据人脸处理请求调用安全摄像头接口，并通过安全摄像头接口向运行在可信执行环境的摄像头应用发送采集指令，采集指令用于指示摄像头应用控制图像传感器采集人脸数据，并通过锁定在可信执行环境中的图像处理器，将图像传感器采集的人脸数据传输至共享缓存区中存储。

读取模块730，还用于当人脸接口接收到安全摄像头接口发送的缓存状态时，通过人脸接口控制虚拟机从共享缓存区读取人脸数据，其中，缓存状态用于表征图像传感器采集的人脸数据已存储在共享缓存区中。

在一个实施例中，人脸处理请求包括人脸录入请求。

处理模块740，包括提取单元、模板生成单元及存储单元。

提取单元，用于在虚拟机中，根据人脸录入请求对读取的人脸数据进行人脸预处理，并提取预处理后的人脸数据的人脸特征。

模板生成单元，用于在虚拟机中，根据人脸特征生成人脸模板信息。

存储单元，用于通过虚拟机对人脸模板信息进行存储，并向应用程序返回录入成功的信息。

在一个实施例中，处理模块740，除了包括提取单元、模板生成单元及存储单元，还包括密钥读取单元及加密单元。

密钥读取单元，用于通过虚拟机从存储器中具有安全特性的存储分区中读取加密密钥。

加密单元，用于在虚拟机中，根据加密密钥对人脸模板信息进行加密。

存储单元，还用于通过虚拟机对加密后的人脸模板信息进行存储。

在一个实施例中，人脸处理请求包括人脸比对请求。处理模块740，除了包括提取单元、模板生成单元、存储单元、密钥读取单元及加密单元，还包括比对单元。

提取单元，还用于在虚拟机中，根据人脸比对请求提取读取的人脸数据中包含的人脸特征。

比对单元，用于在虚拟机中，将人脸特征与存储的人脸模板信息中的人脸特征进行比对，并将比对结果返回至应用程序。

在一个实施例中，比对单元包括活体比对子单元及人脸比对子单元。

活体比对子单元，用于将读取的人脸数据的人脸特征与预设的活体特征进行比对，若与活体特征比对不成功，则确定人脸数据为非活体人脸数据，向应用程序返回比对失败的信息。

人脸比对子单元，用于若与活体特征比对成功，则确定人脸数据为活体人脸数据，并将人脸特征与存储的人脸模板信息中的人脸特征进行比对，若读取的人脸数据的人脸特征与人脸模板信息中的人脸特征匹配，则向应用程序返回比对成功的信息，若读取的人脸数据的人脸特征与人脸模板信息中的人脸特征不匹配，则向应用程序返回比对失败的信息。

在一个实施例中，处理模块740还用于对处理结果进行加密，并将加密后的处理结果返回至应用程序。

在本申请实施例中，人脸数据从采集到处理的整个流程都是在安全环境中，能够保证人脸数据的安全性，且在虚拟机中对人脸数据进行处理，在保障了人脸数据安全性的同时，还提高了数据处理效率。

图8为一个实施例中电子设备的结构框图。如图8所示，电子设备800可以包括一个或多个如下部件：处理器810、与处理器810耦合的存储器820，其中存储器820可存储有一个或多个应用程序，一个或多个应用程序可以被配置为由一个或多个处理器810执行，一个或多个程序配置用于执行如上述实施例描述的方法。

处理器810可以包括一个或者多个处理核。处理器810利用各种接口和线路连接整个电子设备800内的各个部分，通过运行或执行存储在存储器820内的指令、程序、代码集或指令集，以及调用存储在存储器820内的数据，执行电子设备800的各种功能和处理数据。可选地，处理器810可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器810可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器810中，单独通过一块通信芯片进行实现。

存储器820可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器820可用于存储指令、程序、代码、代码集或指令集。存储器820可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等。存储数据区还可以存储电子设备800在使用中所创建的数据等。

可以理解地，电子设备800可包括比上述结构框图中更多或更少的结构元件，例如，包括电源、输入按键、摄像头、扬声器、屏幕、RF(Radio Frequency，射频)电路、Wi-Fi(Wireless Fidelity，无线保真)模块、蓝牙模块、传感器等，还可在此不进行限定。

本申请实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序被处理器执行时实现如上述实施例描述的方法。

本申请实施例公开一种计算机程序产品，该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，且该计算机程序可被处理器执行时实现如上述实施例描述的方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等。

如此处所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在本申请的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物单元，即可位于一个地方，或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本申请各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行本申请的各个实施例上述方法的部分或全部步骤。

以上对本申请实施例公开的一种人脸数据的安全处理方法、装置、电子设备及存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (12)

1.一种人脸数据的安全处理方法，其特征在于，包括：

接收应用程序发送的人脸处理请求；

根据所述人脸处理请求控制图像传感器采集人脸数据，并在可信执行环境中将所述人脸数据存储到共享缓存区中，所述共享缓存区为可信执行环境与虚拟机共享的缓存区；

通过所述虚拟机从所述共享缓存区中读取所述人脸数据；

在所述虚拟机中，基于所述人脸处理请求对读取的人脸数据进行处理，并向所述应用程序返回处理结果。

2.根据权利要求1所述的方法，其特征在于，所述根据所述人脸处理请求控制图像传感器采集人脸数据，并在可信执行环境中将所述人脸数据存储到共享缓存区中，包括：

根据所述人脸处理请求调用安全摄像头接口，并通过所述安全摄像头接口向运行在可信执行环境的摄像头应用发送采集指令，所述采集指令用于指示所述摄像头应用控制图像传感器采集人脸数据，并通过锁定在所述可信执行环境中的图像处理器，将所述图像传感器采集的人脸数据传输至共享缓存区中存储。

3.根据权利要求2所述的方法，其特征在于，所述通过所述虚拟机从所述共享缓存区中读取所述人脸数据，包括：

当人脸接口接收到所述安全摄像头接口发送的缓存状态时，通过所述人脸接口控制所述虚拟机从所述共享缓存区读取所述人脸数据，其中，所述缓存状态用于表征所述图像传感器采集的人脸数据已存储在所述共享缓存区中。

4.根据权利要求1至3任一所述的方法，其特征在于，在所述接收应用程序发送的人脸处理请求之后，所述方法还包括：

确定所述人脸处理请求对应的安全等级；

所述根据所述人脸处理请求控制图像传感器采集人脸数据，并在可信执行环境中将所述人脸数据存储到共享缓存区中，包括：

当所述安全等级大于等级阈值时，根据所述人脸处理请求控制图像传感器采集人脸数据，并在可信执行环境中将所述人脸数据存储到共享缓存区中。

5.根据权利要求1所述的方法，其特征在于，所述人脸处理请求包括人脸录入请求；

所述在所述虚拟机中，基于所述人脸数据处理请求对读取的人脸数据进行处理，并向所述应用程序返回处理结果，包括：

在所述虚拟机中，根据所述人脸录入请求对读取的人脸数据进行人脸预处理，并提取预处理后的人脸数据的人脸特征；

在所述虚拟机中，根据所述人脸特征生成人脸模板信息；

通过所述虚拟机对所述人脸模板信息进行存储，并向所述应用程序返回录入成功的信息。

6.根据权利要求5所述的方法，其特征在于，在所述根据所述人脸特征生成人脸模板信息之后，所述方法还包括：

通过所述虚拟机从存储器中具有安全特性的存储分区中读取加密密钥；

在所述虚拟机中，根据所述加密密钥对所述人脸模板信息进行加密；

所述通过所述虚拟机对所述人脸模板信息进行存储，包括：

通过所述虚拟机对加密后的人脸模板信息进行存储。

7.根据权利要求1所述的方法，其特征在于，所述人脸处理请求包括人脸比对请求；

所述在所述虚拟机中，基于所述人脸数据处理请求对读取的人脸数据进行处理，并向所述应用程序返回处理结果，包括：

在所述虚拟机中，根据所述人脸比对请求提取读取的人脸数据中包含的人脸特征；

在所述虚拟机中，将所述人脸特征与存储的人脸模板信息中的人脸特征进行比对，并将比对结果返回至所述应用程序。

8.根据权利要求7所述的方法，其特征在于，将所述人脸特征与存储的人脸模板信息中的人脸特征进行比对，并将比对结果返回至所述应用程序包括：

将所述读取的人脸数据的人脸特征与预设的活体特征进行比对；

若与所述活体特征比对不成功，则确定所述人脸数据为非活体人脸数据，向所述应用程序返回比对失败的信息；

若与所述活体特征比对成功，则确定所述人脸数据为活体人脸数据，并将所述人脸特征与存储的人脸模板信息中的人脸特征进行比对；

若所述读取的人脸数据的人脸特征与所述人脸模板信息中的人脸特征匹配，则向所述应用程序返回比对成功的信息；

若所述读取的人脸数据的人脸特征与所述人脸模板信息中的人脸特征不匹配，则向所述应用程序返回比对失败的信息。

9.根据权利要求5至8任一所述的方法，其特征在于，所述向所述应用程序返回处理结果，包括：

对处理结果进行加密，并将加密后的处理结果返回至所述应用程序。

10.一种人脸数据的安全处理装置，其特征在于，包括：

请求接收模块，用于接收应用程序发送的人脸处理请求；

缓存模块，用于根据所述人脸处理请求控制图像传感器采集人脸数据，并在可信执行环境中将所述人脸数据存储到共享缓存区中，所述共享缓存区为可信执行环境与虚拟机共享的缓存区；

读取模块，用于通过所述虚拟机从所述共享缓存区中读取所述人脸数据；

处理模块，用于在所述虚拟机中，基于所述人脸处理请求对读取的人脸数据进行处理，并向所述应用程序返回处理结果。

11.一种电子设备，其特征在于，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现如权利要求1至9任一所述的方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至9任一所述的方法。

Images