CN111241514B - 一种基于人脸验证系统的安全人脸验证方法 - Google Patents

Abstract

本发明公开了一种基于人脸验证系统的安全人脸验证方法，属于人脸识别技术领域。所述人脸验证系统包括：客户端、数据服务器与验证服务器。注册阶段，客户端将用户ID和加密后的人脸图像保存在数据服务器上；验证阶段，客户端再次获取该用户ID和人脸图像后，将ID和加密的人脸图像发送给数据服务器；数据服务器根据ID查询其对应的加密人脸图像，并与客户端传过来的加密人脸图像进行欧式距离计算；数据服务器与验证服务器进行安全两方计算，数据服务器将验证结果返回给客户端。该安全人脸验证方法保护了人脸的隐私性，也降低了空间复杂度，提高工作效率。

Description

一种基于人脸验证系统的安全人脸验证方法

技术领域

本发明属于人脸识别技术领域，具体地涉及一种基于人脸验证系统的安全人脸验证方法。

背景技术

人脸验证是一种通过人的特征性面部外观来确定其身份的技术。人脸验证做的是1:1的比对，即判断两张图片的人是否为同一个人。如，给定一个用户的ID和人脸图像，将其与数据库中ID相同的人脸图像进行距离计算，如果距离小于阈值，那么是同一个人，反之则不是。由于人脸验证稳定性高且错误率小，因此在公安、安检、医疗等众多方面有着广泛的应用。

云计算是一种新型的基于互联网的计算机技术。用户终端可以通过远程连接，获取云端的存储、计算、数据库等计算资源，云端按需部署计算资源。因此越来越多的用户选择将自己的数据上传到云端进行运算，既可以享受云端强大的计算能力所带来的便利，也不用费心维护。目前，云计算主要采用身份验证和访问控制策略来确保数据机密性和数据传输中的安全性。但是这些安全措施均是用于防止外部攻击，无法消除潜在的云平台内部威胁。

在云端实现人脸验证主要涉及的问题是：用户人脸的隐私性。由于云端可以对用户上传的数据进行任意访问，因此人脸数据的隐私性和安全性将无法保证。在公安、安检、公司等地方，若用户的ID和对应的人脸图像丢失或被窃取，那么犯罪分子就可能利用这些敏感信息做一些违法操作。因此，将存放在云端的人脸数据进行加密是非常有必要的，然而普通的加密算法并不支持对密文的计算。

而全同态加密技术是一种新型的加密方法，它支持密文之间的运算，而且解密结果与明文运算结果相同。目前大部分采用同态加密技术的安全人脸验证系统都需要拥有私钥的客户端辅助云服务器解密，因为云服务器无法对密文计算结果作出判定，而客户端通常是存放在公共场合，由它来保存私钥很不安全。

发明内容

针对现有技术存在的问题，本发明提供了一种基于人脸验证系统的安全人脸验证方法。该方法安全多方计算能够让互相不信任的各个参与方在均不泄露本身私有信息的前提下，通过合作计算来完成对整体数据的分析，以得到准确的结果。客户端将经过一个深度神经网络特征提取器得到的人脸特征向量并加密成一个密文，将该用户的ID和加密的人脸特征向量发送给数据服务器，在数据服务器进行同态计算得到结果，将该结果加上随机向量r传给验证服务器，最后数据服务器与验证服务器进行安全两方计算，得到验证结果并反馈给客户端。本发明解决其技术问题所采用的技术方案是：一种基于人脸验证系统的安全人脸验证方法，其特征在于，所述人脸验证系统包括：客户端、数据服务器与验证服务器，所述安全人脸验证方法具体包括以下步骤：

(1)在注册阶段，客户端获取用户的ID和人脸图像，将人脸图像通过特征提取器提取n维注册人脸特征向量m，并将注册人脸特征向量m用单指令多数据流方法编码并加密成注册人脸密文E(m)，客户端将用户的ID和相应的注册人脸密文E(m)发送到数据服务器中并保存。

其中，y_j表示注册人脸特征向量m中的每一个元素。

(2)在验证阶段，该用户的人脸图像再次通过特征提取器提取n维查询人脸特征向量m*，并用单指令多数据流方法编码加密成查询人脸密文E(m*)，客户端再次将该用户ID和查询人脸密文E(m*)发送给数据服务器。

其中，x_j表示查询人脸特征向量m*中的每一个元素。

(3)数据服务器根据该用户ID找到相应的注册人脸密文E(m)，将它与查询人脸密文E(m*)进行欧式距离计算，获得欧式距离E(sqrt)：

(4)数据服务器与验证服务器进行安全两方计算，获得验证结果，具体包括如下步骤：

(4.1)将欧式距离E(sqrt)加上一个随机向量r，得到随机密文E(sqrt+r)，并将E(sqrt+r)发送给验证服务器；

(4.2)验证服务器将随机密文E(sqrt+r)用私钥sk解密之后得到sqrt+r；

(4.3)数据服务器输入为r，验证服务器输入为sqrt+r，比较sqrt与阈值t之间的大小关系：若sqrt＜t，则表示验证结果为同一个人，否则表示验证结果不是同一个人。

(5)数据服务器将验证结果返回给客户端。

步骤3包括以下子步骤：

(3.1)计算E＝E(m)-E(m*)的值，并将E求平方，得到平方密文E²；

(3.2)将E²中每个元素的值相加，得到求和密文E(sum)，包括以下步骤：

(3.2.1)将平方密文E²通过旋转操作进行向左旋转，得到旋转密文E² _i，每次旋转操作的列数t_i为t_i＝pow(2,i)，其中i为旋转次数且i≤log(n)/log(2)，设置i的初始值为0；

(3.2.2)将每一次旋转操作后的旋转密文E² _i与未旋转操作的平方密文E²相加，得到一个更新后的平方密文E²；并将i+1赋值给i；

(3.2.3)重复步骤(3.2.1)-(3.2.2)，直到i＞log(n)/log(2)，输出求和密文E(sum)。

(3.3)对求和密文E(sum)求平方根，具体步骤如下：

(3.3.1)E(sum)除以明文值λ²，将E(sum)映射到0～1范围内，记a₀＝E(sum)，b₀＝E(sum)-1；

(3.3.2)根据以下公式循环操作d次，得到a_d和b_d，

(3.3.3)再将a_d乘以λ，即得到欧式距离E(sqrt)。

与现有技术相比，本发明的有益效果是：1)本发明公开的基于云计算的安全人脸验证系统，可以在不泄露用户人脸图像即客户端隐私数据的情况下，将图像发送给服务器，它保护了客户端数据的安全性，也减轻了客户端的计算量。2)采用两服务器模型，在数据服务器进行同态运算，并与验证服务器进行两方计算。计算过程中，数据服务器没有用户私钥，不能解密人脸数据；验证服务器不能获取加密的人脸数据，也不能解密人脸数据。3)采用了单指令多数据流技术，该技术仅需一次加密、一次同态运算就可以实现多个密文的同态运算。

附图说明

图1为本发明注册阶段的流程图；

图2为本发明验证阶段的流程图。

具体实施方式

为了让本发明的特征和优点更加明显，下面结合本发明附图对本发明进行详细、完整的说明。

本发明的人脸验证系统包括：客户端、数据服务器与验证服务器，该安全人脸验证方法包括以下步骤：

(1)在注册阶段，客户端获取用户的ID和人脸图像，将所述人脸图像通过深度神经网络特征提取器(如Facenet)提取n维注册人脸特征向量m，并将注册人脸特征向量m用单指令多数据流方法编码并加密成注册人脸密文E(m)，客户端将用户的ID和相应的注册人脸密文E(m)发送到数据服务器中并保存。将用户的ID和加密的注册人脸密文E(m)先保存在数据服务器中，是为了在以后查询及验证。该过程如图1所示。

其中，y_j表示注册人脸特征向量m中的每一个元素。

如图2为本发明验证阶段的流程图，具体为：

(2)在验证阶段，该用户的人脸图像再次通过特征提取器提取n维查询人脸特征向量m*，并用单指令多数据流方法加密成查询人脸密文E(m*)，客户端再次将该用户的ID和查询人脸密文E(m*)发送给数据服务器。再次采集得到查询人脸密文E(m*)的目的是为了与步骤(1)采集的注册人脸密文E(m)进行计算，来比较相似性。

其中，x_j表示查询人脸特征向量m*中的每一个元素。

(3)数据服务器根据该用户ID找到相应的注册人脸密文E(m)，将它与查询人脸密文E(m*)进行欧式距离计算，获得欧式距离E(sqrt)：

用欧式距离来计算注册人脸密文E(m)和查询人脸密文E(m*)的相似度，原因在于通过Facenet提取出来的人脸特征向量之间是可以进行欧氏距离比较的，距离相近表示是一个人，距离相远表示不是一个人。

在步骤(3)的过程中，采用的是在数据服务器进行同态运算，由于数据服务器没有私钥，因此即使数据服务器本身是恶意的也无法获得加密的人脸特征向量，安全性更高。

该过程具体包括以下子步骤：

(3.1)计算E＝E(m)-E(m*)的值，由于采用的是SEAL库，不支持减法操作，因此需要先将E(m*)取负，再加上E(m)的操作实现减法操作。并将E求平方，得到平方密文E²；

(3.2)将E²中每个元素的值相加，得到求和密文E(sum)，包括以下步骤：

(3.2.1)将平方密文E²通过旋转操作按列旋转，得到旋转密文E² _i，每次旋转操作的列数t_i为t_i＝pow(2,i)，其中i为旋转次数且i≤log(n)/log(2)，设置i的初始值为0；

(3.2.2)将每一次旋转操作后的旋转密文E² _i与未旋转操作的平方密文E²相加，得到一个更新后的平方密文E²；并将i+1赋值给i；

(3.2.3)重复步骤(3.2.1)-(3.2.2)，直到i＞log(n)/log(2)，输出求和密文E(sum)。

(3.3)对求和密文E(sum)求平方根，具体步骤如下：

(3.3.1)E(sum)除以明文值λ²，将E(sum)映射到0～1范围内，记a₀＝E(sum)，b₀＝E(sum)-1；

(3.3.2)根据以下公式循环操作d次，得到a_d和b_d，

(3.3.3)再将a_d乘以λ，即得到欧式距离E(sqrt)。

(4)数据服务器与验证服务器进行两方计算，获得验证结果，两方计算能够让互不信任的数据服务器与验证服务器在不泄露本身数据的前提下，通过合作计算完成对整体数据的分析，达到验证的目的。数据服务器拥有加密的人脸图像特征向量，没有私钥，因此无法获取加密的人脸图像特征向量；而验证服务器拥有私钥，且传过来的向量是加上了随机向量r，即使用私钥解密，也无法获取人脸特征向量的真实数据，这样保护了两个服务器的数据，使安全性更高。具体包括如下步骤：

(4.1)将欧式距离E(sqrt)加上一个随机向量r，得到随机密文E(sqrt+r)，并将E(sqrt+r)发送给验证服务器；

(4.2)验证服务器将随机密文E(sqrt+r)用私钥sk解密之后得到sqrt+r；

(4.3)数据服务器输入为r，验证服务器输入为sqrt+r，比较sqrt与阈值t之间的大小关系：若sqrt＜t，则表示验证结果为同一个人，否则表示验证结果不是同一个人。

(5)数据服务器将验证结果返回给客户端。

本发明方案在Ubuntu 16.04操作系统，结合同态加密SEAL库和两方计算ABY库实现。实验表明其针对人脸验证的密文计算结果和明文计算结果相一致，确保了该发明的正确性。本发明公开的保护隐私的安全人脸验证系统，可以在不泄露人脸图像数据的情况下，将人脸验证外包给云服务器，它保护了客户端数据的安全，减轻了客户端的计算量；同时将人脸特征向量编码成一个密文来进行运算，既保护了人脸的隐私性，也降低了空间复杂度，达到提高效率的目的。

Claims (1)

1.一种基于人脸验证系统的安全人脸验证方法，其特征在于，所述人脸验证系统包括：客户端、数据服务器与验证服务器，所述安全人脸验证方法具体包括以下步骤：

(1)在注册阶段，客户端获取用户的ID和人脸图像，将人脸图像通过特征提取器提取n维注册人脸特征向量m，并将注册人脸特征向量m用单指令多数据流方法编码并加密成注册人脸密文E(m)，客户端将用户的ID和相应的注册人脸密文E(m)发送到数据服务器中并保存；

其中，y_j表示注册人脸特征向量m中的每一个元素；

(2)在验证阶段，该用户的人脸图像再次通过特征提取器提取n维查询人脸特征向量m*，并用单指令多数据流方法编码加密成查询人脸密文E(m*)，客户端再次将该用户ID和查询人脸密文E(m*)发送给数据服务器；

其中，x_j表示查询人脸特征向量m*中的每一个元素；

(3)数据服务器根据该用户ID找到相应的注册人脸密文E(m_i)，将它与查询人脸密文E(m*)进行欧式距离计算，获得欧式距离E(sqrt)：

步骤(3)包括以下子步骤：

(3.1)计算E＝E(m)-E(m*)的值，并将E求平方，得到平方密文E²；

(3.2)将E²中每个元素的值相加，得到求和密文E(sum)，包括以下步骤：

(3.2.1)将平方密文E²通过旋转操作进行向左旋转，得到旋转密文E² _i，每次旋转操作的列数t_i为t_i＝pow(2,i)，其中i为旋转次数且i≤log(n)/log(2)，设置i的初始值为0；

(3.2.2)将每一次旋转操作后的旋转密文E² _i与未旋转操作的平方密文E²相加，得到一个更新后的平方密文E²；并将i+1赋值给i；

(3.2.3)重复步骤(3.2.1)-(3.2.2)，直到i＞log(n)/log(2)，输出求和密文E(sum)；

(3.3)对求和密文E(sum)求平方根，具体步骤如下：

(3.3.1)E(sum)除以明文值λ²，将E(sum)映射到0～1范围内，记a₀＝E(sum)，b₀＝E(sum)-1；

(3.3.2)根据以下公式循环操作d次，得到a_d和b_d，

(3.3.3)再将a_d乘以λ，即得到欧式距离E(sqrt)；

(4)数据服务器与验证服务器进行安全两方计算，获得验证结果，具体包括如下步骤：

(4.1)将欧式距离E(sqrt)加上一个随机向量r，得到随机密文E(sqrt+r)，并将E(sqrt+r)发送给验证服务器；

(4.2)验证服务器将随机密文E(sqrt+r)用私钥sk解密之后得到sqrt+r；

(4.3)数据服务器输入为r，验证服务器输入为sqrt+r，比较sqrt与阈值t之间的大小关系：若sqrt＜t，则表示验证结果为同一个人，否则表示验证结果不是同一个人；

(5)数据服务器将验证结果返回给客户端。

Images