CN106096548A - 一种基于云环境的多智能终端共享人脸隐秘识别方法 - Google Patents

Abstract

本发明提出的基于云的多智能终端共享人脸隐秘识别方法，能够在一个安全的协议下进行，与此同时可以同时保护用户图像数据的隐私和第三方人脸检测器的隐私。本发明首次将安全内积算法应用到云环境下的安全人脸检测当中，这不仅实现了用户图像的密文存储，提供了在密文状态下查询所需图像的功能，也保证了第三方的人脸检测器不被泄露。此外，由于用户图像存储的形式是以标准加密算法进行加密的，可以保证数据安全的可靠性，而每次查询时使用的是安全内积算法，算法复杂度与选择的加密矩阵维度相关，算法复杂度低且可以依据计算能力、安全需求灵活配置。本地计算计算量小，将大量的运算依托于计算能力强大的云来处理，有效缩短了检测时间。并且该加密方法很容易通过软件实现，本发明可广泛应用推广到云计算、人脸识别等中。

Description

一种基于云环境的多智能终端共享人脸隐秘识别方法

技术领域

本发明属于密码学、计算机视觉领域，特别是隐秘人脸检测与识别的方法，具体地说是一种基于云环境的多智能终端共享人脸隐秘识别方法。

背景技术

在移动互联网时代，激增的移动用户备份他们的照片至云端服务器。当庞大数量的图像存储在云端服务器上时，用户的隐私成为一个不可忽视的问题，例如，家庭成员的面貌信息，可能的人物关系，拍摄照片的地理位置，家庭住址，工作单位，学校，等等都将曝露给未知的危险人物，威胁人身和财产安全。所以图像应以密文而非明文的形式进行存储。同时，云端服务器提供的人脸图像检索服务所用到的人脸检测器也是由第三方训练提供的，该算法及参数的隐私也要受到保护。

安全人脸识别计算系统是为了安全人脸识别而开发的。这个系统使用两种加密工具(同态加密和不经意传输)对两个二进制向量实现隐私保护的汉明距离计算。近来，许多研究人员着眼于隐私保护的计算机视觉问题，他们大多利用的密码学工具都不是高效的。安全内积算法是一种由加密数据库的安全kNN(k-nearest neighbor)方案发展的非对称加密算法，提供了一种隐秘计算两个向量内积而不泄露原始向量信息的方法。在云环境下，这种方法可以有效地保护数据的隐私。

发明内容

本发明要解决技术问题为：克服现有技术的不足，提供一种基于云环境的多智能终端共享人脸隐秘识别方法，该方法能够以密文形式将用户图像存储在云端，并在密文状态下完成图像检索功能，同时保护用户图像隐私和第三方检测器的隐私。

本发明采用的技术方案为：一种基于云环境的多智能终端共享人脸隐秘识别方法，如图1所示，实现步骤如下：

(1)第三方提供加密的人脸检测器和内积密钥；

(2)客户端的用户使用步骤(1)中的内积密钥加密图像，然后上传加密图像到云端；

(3)在云端上对加密的图像和加密的检测器使用安全人脸检测协议，检测到的人脸窗口将返还给客户端的用户；

(4)用户调用本地的人脸识别算法来生成标记向量；

(5)所有共享图像的用户的所有图像都被加密后和加密的标记向量一起上传至云存储空间；

(6)检索图像时，用户对查询图像重复第(1)(2)(3)(4)步，得到查询图像的标记向量，并将标记向量加密后上传至云端，和第(5)步中所有的标记向量使用安全人脸匹配协议进行检测；

(7)将匹配的加密图像返回用户，用户解密图像后获得明文图像。

所述步骤(1)所述加密的人脸检测器和内积密钥采取以下步骤：

a)第三方随机生成内积密钥SK(M₁，M₂，S)，并将密钥发送给用户，其中，M₁，M₂是随机矩阵，S是随机序列；

b)使用该密钥加密人脸检测器，并将加密后的人脸检测器发送给云端。

所述步骤(2)中，加密图像采取以下方法：为了检测一个窗口是否为人脸，用户使用密钥SK(M₁，M₂，S)加密检测窗然后上传至云端,(M₁,M₂)是随机矩阵，S是随机序列。

所述步骤(3)中，安全人脸检测协议采取以下步骤：

a)云端对加密的人脸检测器的分类器和安全检测窗使用安全内积算法，得到每一步的结果，并与阈值进行比较；

b)使用Viola-Jones人脸检测算法，经过一系列的迭代后，云端输出检测结果：返回检测到的人脸。

所述步骤(4)中，本地人脸识别算法采取以下步骤:

a)用户在本地调用基于稀疏表示的人脸识别算法，识别该人脸对应于某位成员；

b)为每张图像生成人脸标记向量L_i∈{0,1}^t，第j位为1表示第j个成员包含在这张图像中。

所述步骤(5)中，图像和标记加密采取以下步骤:

a)用户生成私钥PrK(N₁,N₂,t)，并用该私钥加密每个图像的标记向量，其中，N₁,N₂是随机矩阵，t是随机序列；

b)用户选择标准加密算法对图像进行加密；

c)用户将所有图像都被加密后和加密的标记向量一起上传至云端。

所述步骤(6)中，检索图像采取以下步骤:

a)用户使用密钥SK(M₁，M₂，S)加密查询图像检测窗后上传至云端；

b)云端运行步骤(3)的安全人脸检测协议检测查询图像中的人脸，并将结果返回给用户；

c)用户运行步骤(4)的本地人脸识别算法，识别该人脸属于某位成员，并生成相应的标记向量；

d)用户使用私钥PrK(N₁,N₂,t)加密查询图像的标记向量，上传至云端；

e)云端运行安全人脸匹配协议，将加密的查询图像的标记向量与所有标记向量进行匹配查找，得到符合阈值要求的匹配结果。

所述步骤(7)中，解密图像采取以下步骤：

a)云端将符合阈值要求的结果返回给用户；

b)用户使用步骤(5)中标准加密算法的密钥解密图像，获得明文图像。

本发明与现有的技术相比，其优势在于：

(1)用户图像数据和第三方检测器在云端以密文方式进行存储，保护了图像数据不会以明文的方式被不可信第三方获取；

(2)利用云端隐秘内积算法实现用户图像在云端密文状态下的检索，保护了数据在查询过程中的安全性；

(3)本发明流程结构简单，算法复杂度低，易于实现。

附图说明

图1是本发明方案流程图；

图2是本发明步骤流程图。

具体实施方式：

下面结合附图和具体实施方式对本发明作进一步详细的说明。

人脸检测器拥有如下形式的强分类器：

$H\left(x\right)=sign\left({\mathrm{\Σ}}_{n=0}^{N-1}{h}_n\right(x\left)\right)---\left(1\right)$

h_n(x)是如下类型的阈值函数

其中，y_n∈F^L是阈值函数h_n(x)的超平面。h_n(x)的参数α_n∈F，β_n∈F，θ_n∈F在训练时确定；N是弱分类器的数量,n∈(0,N-1)。

隐秘内积算法由公式(3)，公式(4)和公式(5)描述：

对于向量集Y＝y₁,…y_n，第三方将每个向量y_i，i∈(1,n)，按以下原则分解为两个向量{y′_i,y″_i}：对于每个y_i,j∈y_i，若s_j∈S,s_j＝1,则y′_i,j＝y″_i,j＝y_i,j；否则，其中，r∈R是一个随机数。然后，用(M₁,M₂)加密{y′_i,y′_A}为输出为：

$EY={\{M_1^T{y}_i^{\′},M_2^T{y}_i^{\′\′}\}}_{i=1,...n}---\left(3\right)$

其中，M₁,M₂∈R^m×m是随机可逆矩阵，S∈{0,1}^m是随机向量

对于向量w，按以下原则分解为两个向量{w′,w″}：对于每个w_j∈w，若s_j∈S,s_j＝0,则w′_j＝w″_j＝w_j；否则，其中，r′∈R也是一个随机数。然后，用(M₁,M₂)加密{w′,w″}为输出为

$EW=\{M_1^{-1}{w}^{\′},M_2^{-1}{w}^{\′\′}\}---\left(4\right)$

其中，M₁,M₂∈R^m×m是与(1)相同的随机可逆矩阵，S∈{0,1}^m是与(1)相同的随机向量。

$t_i=M_1^T{y}_i^{\′}\·M_1^{-1}{w}^{\′}+M_2^T{y}_i^{\′\′}\·M_2^{-1}{w}^{\′\′}=y_i^T\·w---\left(5\right)$

其中，t_i就是两原始向量y_i和w的内积

参阅图2步骤流程图，本发明备份过程可以分为以下五个步骤：

(1)加密的人脸检测器和内积密钥

给定一个参数m是人脸检测器中分类器的最大长度，输出内积密钥SK(M₁，M₂，S)，其中M₁,M₂∈R^m×m是随机可逆矩阵，S∈{0,1}^m是随机向量。然后，第三方通过安全信道将内积密钥发送给用户。

第三方通过内积密钥将人脸检测器中的分类器按公式(3)中方法进行加密，然后将它上传至云端。

(2)使用内积密钥加密图像

为了检测图像中的人脸，人脸检测器需要迭代计算不同的检测窗口。用户在本地将检测窗按公式(4)中的方法使用SK(M₁，M₂，S)进行加密，然后上传至云端。

(3)进行安全人脸检测

在云上对第(1)步和第(2)步上传的数据按公式(5)中的方法进行解密，得到两原始向量的内积，再根据公式(1)和公式(2)进行判决和迭代，最终输出检测结果。

(4)人脸识别算法和生成标记向量

用户在本地运行基于稀疏表示的人脸识别算法，并为每张图像生成人脸标记向量L_i∈{0,1}^t，它描述了某个成员是否在这张图像中。用户将标记向量集{L_i}作为图像集的索引。

(5)上传加密图像和索引

用户在本地使用标准加密算法，如AES，使用私钥SK将图像数据进行加密。

用户在本地生成私钥PrK(N₁,N₂,t)，其中，N₁,N₂∈R^t×t是随机可逆矩阵，T∈{0,1}^t是随机向量。为了加密标记向量集中的向量L_i，用户将每个L_i按如下原则分解为两个向量{L′_i,L″_i}：对于每个L_i,j∈L_i，若t_j∈T,t＝1，则L′_i,j＝L″_i,j＝L_i,j，否则，其中，u∈R是一个随机数。然后，用(N₁,N₂)加密{L′_i,L″_i}为输出为

$EL={\{N_1^T{L}_i^{\′},N_2^T{L}_i^{\′\′}\}}_{i=1...t}---\left(6\right)$

然后，用户将加密后的图像和加密后的索引EL上传至云端。

参阅图2步骤流程图，本发明查询过程可以分为以下四个步骤：

(6)识别查询图像中的人脸

选定了待查询的图像后，用户在本地运行基于稀疏表示的人脸识别算法，生成标记向量Q＝{0,1}^t，Q_i＝1表示某个人脸是第i个成员的。

(7)加密查询图像的索引

将向量Q按以下原则分解为两个向量{Q′,Q″}：对于每个Q_j∈Q，若t_j∈T,t_j＝0,则Q′_j＝Q″_j＝Q_j；否则，其中，v∈R也是一个随机数。然后，用(N,N₂)加密{Q′,Q″}为输出为

$EW=\{N_1^{-1}{Q}^{\′},N_2^{-1}{Q}^{\′\′}\}---\left(7\right)$

然后，用户将加密后的图像索引上传至云端。

(8)安全人脸匹配

在云端接收到第(5)步的加密图像和索引集和第(7)步的查询图像索引后，进行安全人脸匹配查询：

${\mathrm{ret}}_i=N_1^T{L}_i^{\′}\·N_1^{-1}{Q}^{\′}+N_2^T{L}_i^{\′\′}\·N_2^{-1}{Q}^{\′\′}---\left(8\right)$

如果ret_i＝λ，云端将标记L_i对应的第i张图像作为一个匹配结果，其中λ表示查询图像中人脸的数量。

(9)返回查询结果和解密

完成第(8)步的匹配查询后，云端返回查询到的加密图像至客户端，用户使用私钥SK将密文图像解密，得到最终的明文图像。

总之，本发明中提出的基于云的多智能终端共享人脸隐秘识别方法能够在一个安全的协议下进行，与此同时可以同时保护用户图像数据的隐私和第三方人脸检测器的隐私。本发明首次将安全内积算法应用到云环境下的安全人脸检测当中，这不仅实现了用户图像的密文存储，提供了在密文状态下查询所需图像的功能，也保证了第三方的人脸检测器不被泄露。此外，由于用户图像存储的形式是以标准加密算法进行加密的，可以保证数据安全的可靠性，而每次查询时使用的是安全内积算法，算法复杂度与选择的加密矩阵维度相关，算法复杂度低且可以依据计算能力、安全需求灵活配置。本地计算计算量小，将大量的运算依托于计算能力强大的云来处理，有效缩短了检测时间。并且该加密方法很容易通过软件实现，本发明可广泛应用推广到云计算、人脸识别等中。

以上所述仅为本发明的一些基本说明，依据本发明的技术方案所做的任何等效变换，均应属于本发明的保护范围。

Claims (8)

1.一种基于云环境的多智能终端共享人脸隐秘识别方法，其特征在于实现步骤：

(1)第三方提供加密的人脸检测器和内积密钥；

(2)客户端的用户使用步骤(1)中的内积密钥加密图像，然后上传加密图像到云端；

(3)在云端上对加密的图像和加密的检测器使用安全人脸检测协议，检测到的人脸窗口将返还给客户端的用户；

(4)用户调用本地的人脸识别算法来生成标记向量；

(5)所有共享图像的用户的所有图像都被加密后和加密的标记向量一起上传至云存储空间；

(6)检索图像时，用户对查询图像重复第(1)(2)(3)(4)步，得到查询图像的标记向量，并将标记向量加密后上传至云端，和第(5)步中所有的标记向量使用安全人脸匹配协议进行检测；

(7)将匹配的加密图像返回用户，用户解密图像后获得明文图像。

2.根据权利要求1所述的一种基于云环境的多智能终端共享人脸隐秘识别方法，其特征在于：所述步骤(1)所述加密的人脸检测器和内积密钥采取以下步骤：

a)第三方随机生成内积密钥SK(M₁，M₂，S)，并将密钥发送给用户，其中，M₁，M₂是随机矩阵，S是随机序列；

b)使用该密钥加密人脸检测器，并将加密后的人脸检测器发送给云端。

3.根据权利要求1所述的一种基于云环境的多智能终端共享人脸隐秘识别方法，其特征在于：所述步骤(2)中，加密图像采取以下方法：为了检测一个窗口是否为人脸，用户使用密钥SK(M₁，M₂，S)加密检测窗然后上传至云端，(M₁,M₂)是随机矩阵，S是随机序列。

4.根据权利要求1所述的一种基于云环境的多智能终端共享人脸隐秘识别方法，其特征在于：所述步骤(3)中，安全人脸检测协议采取以下步骤：

a)云端对加密的人脸检测器的分类器和安全检测窗使用安全内积算法，得到每一步的结果，并与阈值进行比较；

b)使用人脸检测算法，经过一系列的迭代后，云端输出检测结果：返回检测到的人脸。

5.根据权利要求1所述的一种基于云环境的多智能终端共享人脸隐秘识别方法，其特征在于：所述步骤(4)中，本地人脸识别算法采取以下步骤:

a)用户在本地调用基于稀疏表示的人脸识别算法，识别该人脸对应于某位成员；

b)为每张图像生成人脸标记向量L_i∈{0,1}^t，第j位为1表示第j个成员包含在这张图像中。

6.根据权利要求1所述的一种基于云环境的多智能终端共享人脸隐秘识别方法，其特征在于：所述步骤(5)中，图像和标记加密采取以下步骤:

a)用户生成私钥PrK(N₁,N₂,t)，并用该私钥加密每个图像的标记向量，其中，N₁,N₂是随机矩阵，t是随机序列；

b)用户选择标准加密算法对图像进行加密；

c)用户将所有图像都被加密后和加密的标记向量一起上传至云端。

7.根据权利要求1所述的一种基于云环境的多智能终端共享人脸隐秘识别方法，其特征在于：所述步骤(6)中，检索图像采取以下步骤:

a)用户使用密钥SK(M₁，M₂，S)加密查询图像检测窗后上传至云端；

b)云端运行步骤(3)的安全人脸检测协议检测查询图像中的人脸，并将结果返回给用户；

c)用户运行步骤(4)的本地人脸识别算法，识别该人脸属于某位成员，并生成相应的标记向量；

d)用户使用私钥PrK(N₁,N₂,t)加密查询图像的标记向量，上传至云端；

e)云端运行安全人脸匹配协议，将加密的查询图像的标记向量与所有标记向量进行匹配查找，得到符合阈值要求的匹配结果。

8.根据权利要求1所述的一种基于云环境的多智能终端共享人脸隐秘识别方法，其特征在于：所述步骤(7)中，解密图像采取以下步骤：

a)云端将符合阈值要求的结果返回给用户；

b)用户使用步骤(5)中标准加密算法的密钥解密图像，获得明文图像。