CN112200133A - 保护隐私的人脸识别方法及装置 - Google Patents

保护隐私的人脸识别方法及装置 Download PDF

Info

Publication number
CN112200133A
CN112200133A CN202011173842.9A CN202011173842A CN112200133A CN 112200133 A CN112200133 A CN 112200133A CN 202011173842 A CN202011173842 A CN 202011173842A CN 112200133 A CN112200133 A CN 112200133A
Authority
CN
China
Prior art keywords
node
nsw
layer
target
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011173842.9A
Other languages
English (en)
Other versions
CN112200133B (zh
Inventor
周启贤
张君涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202011173842.9A priority Critical patent/CN112200133B/zh
Publication of CN112200133A publication Critical patent/CN112200133A/zh
Application granted granted Critical
Publication of CN112200133B publication Critical patent/CN112200133B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Bioethics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Security & Cryptography (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本说明书实施例提供一种保护隐私的人脸识别方法及装置，在人脸识别方法中，获取分层可导航小世界HNSW图。获取待识别人脸图像的目标特征，并对其进行所述第一降维处理，得到降维特征。采用第一公钥，对降维特征进行同态加密，得到第一目标密文向量。以及，采用第二公钥，对目标特征进行同态加密，得到第二目标密文向量。从多层NSW的最上层NSW开始，按照从上到下的顺序对各层NSW进行层搜索，直至在最下层NSW中，从N个节点中搜索到第一目标密文向量的k个近邻节点。从经加密的第二人脸特征库中，获取k个近邻节点所代表的k幅人脸图像各自的第二密文向量。将第二目标密文向量与k幅人脸图像各自的第二密文向量进行比对，以确定待识别人脸图像的比对结果。

Description

保护隐私的人脸识别方法及装置
技术领域
本说明书一个或多个实施例涉及计算机技术领域，尤其涉及一种保护隐私的人脸识别方法及装置。
背景技术
近年来，人脸识别技术迅速发展，快速落地，已经在各个场景有了广泛的应用，例如：认证核验，人脸门禁，自助柜机，人脸支付等等。
目前的人脸识别技术大都是先在终端上进行人脸图像采集，然后在云服务器上针对采集的人脸图像提取特征，并将提取的特征与特征库中的各人脸特征进行比对，以完成人脸识别。然而，在一些离线场景或者弱网环境下，由于无法访问云服务器，从而无法基于目前的人脸识别方法完成人脸识别。
发明内容
本说明书一个或多个实施例描述了一种保护隐私的人脸识别方法及装置，可以在离线场景或者弱网环境下实现人脸识别，且可以确保用户隐私数据的安全性。
第一方面，提供了一种保护隐私的人脸识别方法，包括：
获取分层可导航小世界HNSW图，所述HNSW图包括从上到下排列且节点数依次增多的多层NSW；其中的最下层NSW包含N个节点；其中的每个节点代表一幅人脸图像并对应于第一密文向量；所述第一密文向量通过对对应人脸图像的特征进行第一降维处理，再采用第一公钥，对降维后的特征进行同态加密而得到；
获取待识别人脸图像的目标特征，并对其进行所述第一降维处理，得到降维特征；
采用所述第一公钥，对所述降维特征进行同态加密，得到第一目标密文向量；以及，采用第二公钥，对所述目标特征进行同态加密，得到第二目标密文向量；
从所述多层NSW的最上层NSW开始，按照从上到下的顺序对各层NSW进行层搜索，直至在所述最下层NSW中，从所述N个节点中搜索到所述第一目标密文向量的k个近邻节点；
从经加密的第二人脸特征库中，获取所述k个近邻节点所代表的k幅人脸图像各自的第二密文向量；其中的每幅人脸图像的第二密文向量，通过采用所述第二公钥，对该幅人脸图像的特征进行同态加密而得到；
将所述第二目标密文向量与所述k幅人脸图像各自的第二密文向量进行比对，以确定所述待识别人脸图像的比对结果。
第二方面，提供了一种保护隐私的人脸识别装置，包括：
获取单元，用于获取分层可导航小世界HNSW图，所述HNSW图包括从上到下排列且节点数依次增多的多层NSW；其中的最下层NSW包含N个节点；其中的每个节点代表一幅人脸图像并对应于第一密文向量；所述第一密文向量通过对对应人脸图像的特征进行第一降维处理，再采用第一公钥，对降维后的特征进行同态加密而得到；
降维处理单元，用于获取待识别人脸图像的目标特征，并对其进行所述第一降维处理，得到降维特征；
加密单元，用于采用所述第一公钥，对所述降维特征进行同态加密，得到第一目标密文向量；以及，采用第二公钥，对所述目标特征进行同态加密，得到第二目标密文向量；
搜索单元，用于从所述多层NSW的最上层NSW开始，按照从上到下的顺序对各层NSW进行层搜索，直至在所述最下层NSW中，从所述N个节点中搜索到所述第一目标密文向量的k个近邻节点；
所述获取单元，还用于从经加密的第二人脸特征库中，获取所述k个近邻节点所代表的k幅人脸图像各自的第二密文向量；其中的每幅人脸图像的第二密文向量，通过采用所述第二公钥，对该幅人脸图像的特征进行同态加密而得到；
比对单元，用于将所述第二目标密文向量与所述k幅人脸图像各自的第二密文向量进行比对，以确定所述待识别人脸图像的比对结果。
第三方面，提供了一种计算机存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面的方法。
第四方面，提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面的方法。
本说明书一个或多个实施例提供的保护隐私的人脸识别方法及装置，在针对待识别人脸图像进行识别时，先从基于若干幅人脸图像的降维特征的密文向量构建的HNSW图中，查找待识别人脸图像的降维特征的密文向量的k个近邻节点，即k个降维特征的密文向量。之后，将该待识别人脸图像的原始特征的密文向量，与k个降维特征的密文向量对应的k个原始特征的密文向量进行比对，以确定待识别人脸图像的比对结果。也即本方案中，先在低维向量空间中搜索k个近邻节点，再在高维向量空间中进行k次比对，相比于直接与所有的原始特征的密文向量进行比对，能够降低搜索量和计算量，进而可以提升人脸识别的效率。此外，由于本方案是基于密文实现的，由此可以确保用户隐私数据的安全性。总而言之，本方案可以在确保用户隐私数据的安全的情况下，进行高效的人脸识别。
附图说明
为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本说明书提供的保护隐私的人脸识别方法示意图；
图2为本说明书提供的HNSW图的构建方法流程图；
图3为本说明书提供的NSW图示意图；
图4为本说明书提供的HNSW图示意图；
图5为本说明书一个实施例提供的保护隐私的人脸识别方法流程图；
图6为本说明书一个实施例提供的保护隐私的人脸识别装置示意图。
具体实施方式
下面结合附图，对本说明书提供的方案进行描述。
在描述本说明书提供的方案之前，先对本方案的发明构思作以下说明：
如前所述，目前的人脸识别方法通常无法适用于离线场景或者弱网环境。为提高人脸识别方法的普遍适用性，本申请的发明人提出由终端独自执行完整的人脸识别方案。也即在终端上采集人脸图像后，由终端针对采集的人脸图像提取特征，并将提取的特征与人脸特征库中各幅人脸图像的特征(以下称人脸特征)进行比对。这里的终端例如可以为手机、平板电脑、个人电脑、可穿戴设备等。
应理解，若要在终端上实现与各人脸特征的比对，就需要在终端上维护人脸特征库。然而人脸特征库中的各人脸特征通常为用户的隐私数据，不能被泄露。因此，为确保人脸特征库中各人脸特征的安全性，本申请将针对人脸特征库中的各人脸特征进行同态加密。比如，可以由云服务器对人脸特征库中的各人脸特征进行同态加密，以得到经加密的人脸特征库。之后云服务器将该经加密的人脸特征库下发至终端。最后通过执行人脸特征的密文向量之间的比对，实现人脸识别。
此外，本申请的发明人还考虑到，人脸特征库中的各人脸特征的维度通常比较高，比如，通常为100维以上。因此，如若直接执行高维的人脸特征(以下称原始特征)的密文向量之间的比对，通常会影响人脸识别的效率。为此，本申请将先针对人脸特征库中的各人脸特征进行降维处理，并针对各降维后的人脸特征(简称降维特征，通常为64维以下)进行同态加密，以得到各降维特征的密文向量，以及基于各降维特征的密文向量构建分层可导航小世界(Hierarchical Navigable Small World，HNSW)图。最后，将该HNSW图以及经加密的人脸特征库(即各原始特征的密文向量)同时下发至终端。
需要说明的是，降维特征的密文向量与原始特征的密文向量是一一对应的，它们共同代表同一幅人脸图像。
在终端同时维护基于各降维特征的密文向量构建的HNSW图以及各原始特征的密文向量时，终端的人脸识别过程可以如下：先获取待识别人脸图像的目标特征。对获取的目标特征执行如下两种操作：第一，对获取的目标特征进行降维处理并进行同态加密，得到降维特征的第一目标密文向量。第二，对获取的目标特征进行同态加密，得到目标特征的第二目标密文向量。在执行如上两种操作之后，从HNSW图中查找第一目标密文向量的k个近邻节点(即k个降维特征的密文向量)。之后，将第二目标密文向量与k个降维特征的密文向量对应的k个原始特征的密文向量进行比对，以确定待识别人脸图像的比对结果。
需要说明的是，本方案中，先在低维向量空间中查找k个近邻节点，再在高维向量空间中进行k次比对，相比于直接与所有的原始特征的密文向量进行比对，能够降低搜索量和计算量，进而可以提升人脸识别的效率。此外，由于本方案是基于密文实现的，由此可以确保用户隐私数据的安全性。总而言之，本方案可以在确保用户隐私数据的安全的情况下，进行高效的人脸识别。
此外，还需要说明的是，本方案中，采用第一公钥，对人脸特征库中各降维后的人脸特征进行同态加密；也即采用第一公钥，对各降维特征进行同态加密。以及，针对待识别人脸图像的降维后的目标特征，也采用第一公钥进行同态加密。由于同态加密具有如下特点：对经过同态加密的数据进行处理得到一个输出，将这一输出进行解密，其结果与用同一方法处理未加密的原始数据得到的输出结果是一样的。因此，上述同态加密的方式，可以确保查找的k个降维特征的密文向量对应的k个明文降维特征，距离待识别人脸图像的降维后的目标特征最近。
再者，采用第二公钥，对人脸特征库中的各幅人脸图像的特征进行同态加密；也即采用第二公钥，对各原始特征进行同态加密。以及，针对待识别人脸图像的目标特征，也采用第二公钥进行同态加密。由此可以确保原始特征的密文向量之间的比对结果与明文原始特征之间比对结果相一致。
以上就是本说明书提供的发明构思，基于该发明构思就可以得到本方案，以下对本方案进行详细阐述。
图1为本说明书提供的保护隐私的人脸识别方法示意图。图1中，该方法主要包括如下两个步骤：初始化和比对。其中，初始化的步骤可以由云服务器执行，比对的步骤可以由终端执行。具体地，初始化的步骤可以包括：对人脸特征库中的各原始特征进行降维处理，并采用第一公钥，对降维后的各特征(即降维特征)进行同态加密，得到各降维特征的第一密文向量。基于各降维特征的第一密文向量，构建HNSW图。采用第二公钥，直接对人脸特征库中的各原始特征进行同态加密，得到各原始特征的第二密文向量。最后，向终端下发第一公钥、第二公钥、HNSW图以及各原始特征的第二密文向量。
此外，上述比对的步骤可以包括：先获取待识别人脸图像的目标特征。对获取的目标特征执行如下两种操作：第一，对获取的目标特征进行与原始特征相同的降维处理和同态加密，得到降维特征的第一目标密文向量。第二，采用第二公钥，对获取的目标特征进行同态加密，得到目标特征的第二目标密文向量。在执行如上两种操作之后，从HNSW图中查找第一目标密文向量的k个近邻节点(即k个降维特征的第一密文向量)。之后，将第二目标密文向量与k个降维特征的第一密文向量对应的k个原始特征的第二密文向量进行比对，以确定待识别人脸图像的比对结果。
由以上描述可知，本说明书实施例提供的保护隐私的人脸识别方法基于HNSW图实施，因此，在描述本说明书提供的方案之前，先对HNSW图的构建过程进行说明。
图2为本说明书提供的HNSW图的构建方法流程图。该方法的执行主体可以为云服务器。如图2所示，所述方法可以包括：
步骤202，从经加密的第一人脸特征库中，获取各幅人脸图像各自的第一密文向量。
需要说明的是，传统的人脸识别方案中，云服务器端通常会维护有原始的人脸特征库。该原始的人脸特征库用于记录各幅人脸图像的特征。
在一个例子中，原始的人脸特征库可以表示为：Data＝{x1，x2，…xm}，其中，xi为第i幅人脸图像的特征，其维度为n。这里的n为正整数，一般取值100以上。m为人脸特征库中人脸图像的总数目。i为正整数，且1≤i≤m。
在本说明书实施例中，当由终端独自执行完整的人脸识别方案时，云服务器可以针对原始的人脸特征库执行如下两种操作：
第一种操作，云服务器通过原始的人脸特征库中各幅人脸图像的特征(也称原始特征)进行第一降维处理，再采用第一公钥，对各降维后的特征(也称降维特征)进行同态加密，进而得到经加密的第一人脸特征库。
需要说明的是，在针对原始的人脸特征库中任意的第一人脸图像的特征，在执行上述第一降维处理和同态加密后，可以得到对应于该人脸图像的第一密文向量。从而，上述经加密的第一人脸特征库可以理解为是用于存储各幅人脸图像的第一密文向量。
在一个例子中，经加密的第一人脸特征库可以表示为：EncData＝{c1，c2，…cm}，其中，ci为第i幅人脸图像的第一密文向量，其维度与第一公钥以及所使用的同态加密算法相关。
上述第一降维处理的方法可以包括但不限于以下任一种：主成分分析(PrincipalComponent Analysis，PCA)、最小绝对收缩和选择算子(Least absolute shrinkage andselection operator，LASSO)方法、线性判别(Linear Discriminant Analysis，LDA)方法、小波分析方法以及T分布和随机近邻嵌入(Stochastic neighbour Embedding，TSNE)方法。
以PCA方法为例来说，上述第一降维处理可以包括：基于原始的人脸特征库中各幅人脸图像的特征形成m×n的矩阵X。其中，m和n的定义同上所述。接着，将矩阵的每一行进行零均值化，即减去这一行的均值，并求出协方差矩阵。以及求出协方差矩阵的特征值以及对应的特征向量。最后，将特征向量按对应特征值大小从上到下按行排列成矩阵，取前d行组成矩阵P。Y＝PX即为降维到d维后的数据。或者说，矩阵Y中的每一行代表一幅人脸图像的降维特征。该降维特征的维度为d。在实际应用中，d一般不超过64。
此外，上述同态加密的算法可以包括但不限于以下任一种：Paillier算法、RSA算法、Elgamal算法以及Centry算法等。
第二种操作，云服务器采用第二公钥，对原始的人脸特征库中各幅人脸图像的特征进行同态加密，得到经加密的第二人脸特征库。
需要说明的是，在采用第二公钥，对原始的人脸特征库中任意的第一人脸图像的特征，执行同态加密后，可以得到对应于该人脸图像的第二密文向量。从而，上述经加密的第二人脸特征库可以理解为是用于存储各幅人脸图像的第二密文向量。
应理解，经加密的第一人脸特征库中的各第一密文向量与经加密的第二人脸特征库中的各第二密文向量是一一对应的，相对应的第一密文向量和第二密文向量共同对应于同一幅人脸图像。
步骤204，基于各幅人脸图像各自的第一密文向量形成数据集，并基于形成的数据集，采用HNSW算法，构建HNSW图。
这里的HNSW算法为NSW算法(一种近似最近邻算法(Approximate nearestneighbor，ANN)，用于向量召回)的优化版本。基于NSW算法可以构建得到NSW图。
在一个示例中，基于NSW算法所构建的NSW图可以如图3所示。该NSW算法的构图思路如下：向图中逐个插入节点。并且每插入一个全新节点时，通过启发式搜索算法查找这个新插入节点的邻居节点，连接新插入节点与邻居节点。这里的邻居节点的个数一般不超过q个。在节点集合中的各节点均插入图中之后，就可以得到NSW图。其中，q为正整数。
图3中，实线是相邻的两个节点的连接，虚线就是“高速公路机制”。假设从节点21进入搜索，搜索与节点22距离最近的节点时，就可以通过虚线连线“高速公路机制”快速搜索到目标结果。一个节点，越早插入就越容易形成阈值相关的“高速公路”连接，越晚查找就越难形成阈值相关的“高速公路”连接。
HNSW算法的构图思路是：对于数据集中的任一数据，将其作为一个待插入的节点。之后确定该待插入的节点可以落入到第几层，并在该层及其以下各层的每层图中，插入该节点，并在每层图中通过启发式搜索算法查找该节点的q个邻居节点并连接。
可以理解的是，在将数据集中的各数据均作为节点插入到图中之后，就可以形成从上到下排列的多层NSW。也就是说，基于HNSW算法所构建的HNSW图可以包括从上到下排列的多层NSW。
以下结合HNSW算法的构图思路对步骤204进行详细阐述。
先进行初始参数的设定，包括但不限于参数q、f以及距离类型的设定等。其中的距离类型可以包括但不限于余弦距离、欧氏距离、曼哈顿距离以及皮尔逊相关系数等。之后进行节点的添加，即迭代地执行以下步骤a-步骤c，直至满足迭代结束条件。这里的迭代结束条件例如可以为数据集中的最后一个密文向量选取完成。
步骤a，从数据集中读取当前密文向量，并根据预定公式，计算当前密文向量所落入的目标层级。
这里的当前密文向量可以表示为ci。此外，在一个例子中，这里的预定公式例如可以为：
Figure BDA0002748139460000101
公式中，random()为随机数生成函数，int()为取整函数，level为目标层级。
步骤b，对于从最上层NSW开始至目标层级的上一层NSW的各层NSW，根据当前层NSW所包含的节点的连接关系，从当前层NSW所包含的节点中，搜索距离当前密文向量最近的第二节点，经由该第二节点进入下一层NSW。
上述步骤b也可以概括为：对于目标层级的NSW以上的各层NSW(不包括目标层级的NSW)，即最上层NSW至第level-1层，在每层NSW中只查找与ci最近的第二节点(表示为ep)，不执行节点的插入操作。需要说明的是，在最上层NSW中，以任意选择的节点为开始节点来查找节点ep。而在其它层NSW中，则以进入该层NSW的节点为开始节点来查找节点ep。
步骤c,对于从目标层级的NSW开始至最下层NSW的各层NSW，将当前密文向量作为插入节点插入到当前层NSW，并根据当前层NSW所包含的节点的连接关系，从当前层NSW所包含的节点中，先搜索出插入节点的f个初始的邻居节点。再采用启发式搜索算法从中选取出q个邻居节点，并将该q个邻居节点与插入节点相连接。经由f个邻居节点中距离插入节点最近的节点进入下一层NSW。
其中，搜索出插入节点的q个邻居节点具体可以包括：将进入当前层NSW的节点作为当前层NSW的开始节点。从当前层NSW的开始节点开始，从当前层NSW的开始节点以及开始节点的各阶邻居节点中，搜索出插入节点的f个初始的邻居节点。
上述步骤c也可以概括为：对于目标层级的NSW以下的各层NSW(包括目标层级的NSW)，即第level层至第1层，执行节点ci的插入操作以及与q邻居节点的连接操作。需要说明的是，上述启发式搜索算法的使用能够从f个初始的邻居节点中筛选出能够便于形成上述“高速公路”连接的最优的q个节点，该q个节点不一定为与节点ci最近的节点。
上述在构建HNSW图的过程中，距离的判断是通过计算密文向量之间的欧式距离、余弦距离等实现的。
在一个示例中，基于上述数据集所构建的HNSW图可以如图4所示。图4中，HNSW图包括从上到下排列且节点数依次增多的3层NSW。其中，A为第1层NSW，也称最下层NSW，其中包含了节点1-节点8，该8个节点为数据集中各幅人脸图像的第一密文向量各自所对应的节点，或者说，第1层NSW包含了所有的节点。B为第2层NSW，其中包含了节点1，节点2、节点6和节点8。相比于第1层NSW，减少了4个节点。C为第3层NSW，也称最上层NSW，其中包含了节点1和节点6。相比于第2层NSW，减少了两个节点。
另外，还需要说明的是，在图4的每层NSW中，每个节点与不超过q(如，4)个邻居节点相连接。以第1层NSW中的节点1为例来说，其分别与节点3，节点4和节点8相连接。也即在第1层NSW中，节点1与3个邻居节点相连接。该3个直接相连的邻居节点称为节点1的一阶邻居节点。在本说明书后续层搜索的过程中，不仅考虑节点1的一阶邻居节点。还考虑邻居节点的邻居节点，也就是节点1的二阶邻居节点，甚至更高阶邻居节点。比如，还考虑节点2，其为节点1的邻居节点4的邻居节点，也即为节点1的二阶邻居节点。
再以第2层NSW中的节点1为例来说，其分别与节点2和节点8相连接。也即在第2层NSW中，节点1与两个邻居节点相连接。从而节点1存在两个一阶邻居节点：节点2和节点8。此外，在第2层NSW中，节点2或者节点8还存在邻居节点：节点6。因此，在第2层NSW中，节点1还存在一个二阶邻居节点：节点6。
应理解，上述图4只是一种示例性说明，在实际应用中，每层NSW可以形成如图3所示的复杂的关系网络。
此外，从上述图4可以看出，在HNSW图中位于上层的NSW相比于位于下层的NSW，其所包含的节点数目少，且节点之间的距离较远。因此，在按照从上到下的顺序，查找目标节点(如，k个近邻节点)时，可以先对目标节点进行粗定位，之后在粗定位的范围内进行精细查找，由此，可以避免陷入局部最优的问题。此外，最上层NSW所包含节点之间的连接关系通常对应于上述“高速公路”，因此，本申请按照从上到下的顺序查找目标节点，可以加快目标节点的查找，从而可以降低搜索量。
需要说明的是，在步骤202-步骤204执行完成之后，云服务器可以将构建得到的HNSW图、经加密的第二人脸特征库以及第一公钥和第二公钥下发至终端。从而终端可以执行保护隐私的人脸识别方案。以下对由终端执行的人脸识别方法进行详细说明。
图5为本说明书一个实施例提供的保护隐私的人脸识别方法流程图。所述方法的执行主体可以为上述终端。如图5所示，所述方法具体可以包括：
步骤502，获取分层可导航小世界HNSW图。
这里所获取的HNSW图可以包括从上到下排列且节点数依次增多的多层NSW。其中的最下层NSW(即第1层)包含N个节点，其中的每个节点代表一幅人脸图像并对应于第一密文向量。该第一密文向量通过对对应人脸图像的特征进行第一降维处理，再采用第一公钥，对降维后的特征进行同态加密而得到。其中，N为正整数。
在一个例子中，上述获取的HNSW图可以如图4所示。
步骤504，获取待识别人脸图像的目标特征，并对其进行上述第一降维处理，得到降维特征。
具体地，可以采用神经网络算法，获取待识别人脸图像的目标特征。这里的神经网络算法可以包括但不限于以下任一种：FaceNet算法、MoblieFaceNet算法、SphereFace算法以及CosFace算法等。
应理解，这里所采用的神经网络算法，与针对原始的人脸特征库中各幅人脸图像，获取各自对应的特征时所采用的神经网络算法相同。此外，这里所采用的第一降维处理的方法也与步骤202中的第一降维处理方法相同，在此不复赘述。
上述获取的目标特征可以表示为xd，其维度与原始的人脸特征库中各幅人脸图像的特征相同，如，均为n维。在对目标特征进行第一降维处理后，得到的降维特征的维度也与原始的人脸特征库中各幅人脸图像的降维特征相同，如均为d维。
步骤506，采用第一公钥，对目标特征的降维特征进行同态加密，得到第一目标密文向量，以及采用第二公钥，对目标特征进行同态加密，得到第二目标密文向量。
需要说明的是，这里对目标特征的降维特征进行同态加密所采用的算法，与对原始的人脸特征库中各幅人脸图像的降维特征进行同态加密所采用的算法相同。且对应的第一公钥由云服务器下发至终端。对目标特征进行同态加密所采用的算法，与对原始的人脸特征库中各幅人脸图像的特征进行同态加密所采用的算法相同。且对应的第二公钥也由云服务器下发至终端。
步骤508，从多层NSW的最上层NSW开始，按照从上到下的顺序对各层NSW进行层搜索，直至在最下层NSW中，从N个节点中搜索到第一目标密文向量的k个近邻节点。
这里的k为正整数，且1≤k≤N。
上述层搜索具体可以包括：以当前层NSW的开始节点为初始的当前节点，从当前节点和与当前节点具有连接关系的邻居节点中，搜索出距离第一目标密文向量最近的节点作为更新的当前节点，将达到搜索结束条件时的当前节点确定为第一节点，经由该第一节点进入下一层NSW。且确定的第一节点用于作为下一层NSW的开始节点。
需要说明的是，在当前层NSW为最上层NSW时，上述开始节点可以为任意选择的节点。此外，上述搜索结束条件可以包括：开始节点的p阶邻居节点全部搜索完成，其中，p>＝1。或者，当前节点与第一目标密文向量的距离小于当前节点的邻居节点与第一目标密文向量的距离。
这里的计算的距离类型与在构建HNSW图时设定的距离类型相同，如，可以为欧氏距离。
如前所述，HNSW图中的每个节点对应于一个第一密文向量，从而上述搜索距离第一目标密文向量最近的节点，也可以理解是计算两个密文向量之间的距离的过程。比如，在将第一目标密文向量表示为cx时，那么可以为是在{c1，c2，…，cm}中搜索距离cx最近的节点cj，其中，1≤j≤m。
具体地，可以依次计算distx,j＝EncDist(cx,cj),cj∈{c1，c2，…cm}，之后得到距离集合：dist＝{distx,1，distx,2，…，distx,m}，在对dist集合中各距离排序后，找到最小距离disti,j，并将其对应的节点作为上述节点cj。
需要说明的是，由于上述第一目标密文向量以及第一密文向量均是对降维特征进行同态加密而得到，从而这里计算降维特征的密文向量之间的距离，相比于直接计算高维的原始特征的密文向量之间的距离，可以减少计算量。此外，如前所述，在基于HNSW图查找目标节点时，具有可以加快目标节点的查找效率的优点，从而本说明书实施例基于HNSW图搜索第一目标密文向量的k个近邻节点时，可以减少搜索量。
步骤510，从经加密的第二人脸特征库中，获取k个近邻节点所代表的k幅人脸图像各自的第二密文向量。
如前所述，经加密的第二人脸特征库用于记录各幅人脸图像的第二密文向量。且其中的每幅人脸图像的第二密文向量，通过采用第二公钥，对该幅人脸图像的特征进行同态加密而得到。
另外，上述获取k个近邻节点所代表的k幅人脸图像各自的第二密文向量，也可以理解为是获取k个第一密文向量对应的k个第二密文向量。
步骤512，将第二目标密文向量与k幅人脸图像各自的第二密文向量进行比对，以确定待识别人脸图像的比对结果。
具体地，可以计算第二目标密文向量与k幅人脸图像各自的第二密文向量之间的距离，得到对应于k幅人脸图像的k个距离。若k个距离中最小距离小于距离阈值，则确定待识别人脸图像与对应于最小距离的人脸图像比对一致。
此外，由于上述第二目标密文向量以及第二密文向量均是对原始特征进行同态加密而得到，从而这里可以理解为是计算高维特征的密文向量之间的距离。这里的高维特征的密文向量之间的距离的计算，同上述降维特征的密文向量之间的距离的计算类似，在此不复赘述。
综上，本说明书实施例先在低维向量空间中查找k个近邻节点，再在高维向量空间中进行k次比对，相比于直接与所有的原始特征的密文向量进行比对，能够降低搜索量和计算量，进而可以提升人脸识别的效率。此外，由于本方案是基于密文实现的，由此可以确保用户隐私数据的安全性。总而言之，本方案可以在确保用户隐私数据的安全的情况下，进行高效的人脸识别。
此外，由于本说明书实施例提供的人脸识别方法可以由终端独自执行，从可以适用于离线场景或弱网环境下的人脸识别。也即本说明书实施例提供的方案适用性更广。
最后需要说明的是，本说明书实施例提供的人脸识别方法同样可以适用于其它生物特征的识别，如，指纹识别或虹膜识别等。其它生物特征的识别与人脸识别总体上相类似，只需将人脸识别方法中的人脸图像的特征替换为其它生物特征(如，指纹特征)即可，本说明书在此不复赘述。
与上述保护隐私的人脸识别方法对应地，本说明书一个实施例还提供的一种保护隐私的人脸识别装置，如图6所示，该装置可以包括：
获取单元602，用于获取分层可导航小世界HNSW图，该HNSW图包括从上到下排列且节点数依次增多的多层NSW。其中的最下层NSW包含N个节点，其中的每个节点代表一幅人脸图像并对应于第一密文向量。第一密文向量通过对对应人脸图像的特征进行第一降维处理，再采用第一公钥，对降维后的特征进行同态加密而得到。
其中，第一降维处理的方法可以包括以下任一种：主成分分析PCA方法、最小绝对收缩和选择算子LASSO方法、线性判别式分析LDA方法、小波分析方法以及T分布和随机近邻嵌入TSNE方法。
降维处理单元604，用于获取待识别人脸图像的目标特征，并对其进行第一降维处理，得到降维特征。
加密单元606，用于采用第一公钥，对降维特征进行同态加密，得到第一目标密文向量。以及，采用第二公钥，对目标特征进行同态加密，得到第二目标密文向量。
搜索单元608，用于从多层NSW的最上层NSW开始，按照从上到下的顺序对各层NSW进行层搜索，直至在最下层NSW中，从N个节点中搜索到第一目标密文向量的k个近邻节点。
搜索单元608具体可以用于：
以当前层NSW的开始节点为初始的当前节点，从当前节点和与当前节点具有连接关系的邻居节点中，搜索出距离第一目标密文向量最近的节点作为更新的当前节点，将达到搜索结束条件时的当前节点确定为第一节点，经由该第一节点进入下一层NSW，且第一节点用于作为下一层NSW的开始节点。
其中，若当前层NSW为最上层NSW，则开始节点为任意选择的节点。此外，上述搜索结束条件包括：开始节点的p阶邻居节点全部搜索完成，其中，p>＝1。或者，当前节点与第一目标密文向量的距离小于当前节点的邻居节点与第一目标密文向量的距离。
获取单元602，还用于从经加密的第二人脸特征库中，获取k个近邻节点所代表的k幅人脸图像各自的第二密文向量。其中的每幅人脸图像的第二密文向量，通过采用第二公钥，对该幅人脸图像的特征进行同态加密而得到。
比对单元610，用于将第二目标密文向量与k幅人脸图像各自的第二密文向量进行比对，以确定待识别人脸图像的比对结果。
比对单元610具体可以用于：
计算第二目标密文向量与k幅人脸图像各自的第二密文向量之间的距离，得到对应于k幅人脸图像的k个距离。
若k个距离中最小距离小于距离阈值，则确定待识别人脸图像与对应于最小距离的人脸图像比对一致。
可选地，该装置还包括：构建单元612。
获取单元602，还用于从经加密的第一人脸特征库中，获取各幅人脸图像各自的第一密文向量，其中的每幅人脸图像的第一密文向量，通过对该幅人脸图像的特征进行所述第一降维处理，再采用第一公钥，对降维后的特征进行同态加密而得到。
构建单元612，用于基于各幅人脸图像各自的第一密文向量形成数据集，并基于数据集，采用HNSW算法，构建HNSW图。
构建单元612具体可以用于：
从数据集中读取当前密文向量，并根据预定公式，计算当前密文向量所落入的目标层级。
对于从最上层NSW开始至目标层级的上一层NSW的各层NSW，根据当前层NSW所包含的节点的连接关系，从当前层NSW所包含的节点中，搜索距离当前密文向量最近的第二节点，经由该第二节点进入下一层NSW。
对于从目标层级的NSW开始至最下层NSW的各层NSW，将当前密文向量作为插入节点插入到当前层NSW，并根据当前层NSW所包含的节点的连接关系，从当前层NSW所包含的节点中，先搜索出插入节点的f个初始的邻居节点。再采用启发式搜索算法从中选取出q个邻居节点，并将该q个邻居节点与插入节点相连接。经由f个邻居节点中距离插入节点最近的节点进入下一层NSW。
构建单元612还具体可以用于：
将进入当前层NSW的节点作为当前层NSW的开始节点。
从当前层NSW的开始节点开始，从当前层NSW的开始节点以及开始节点的各阶邻居节点中，搜索出插入节点的f个初始的邻居节点。
本说明书上述实施例装置的各功能模块的功能，可以通过上述方法实施例的各步骤来实现，因此，本说明书一个实施例提供的装置的具体工作过程，在此不复赘述。
本说明书一个实施例提供的保护隐私的人脸识别装置，可以在确保用户隐私数据的安全的情况下，进行高效的人脸识别。
根据另一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合图2或图5所描述的方法。
根据再一方面的实施例，还提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现结合图2或图5所述的方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
结合本说明书公开内容所描述的方法或者算法的步骤可以硬件的方式来实现，也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动硬盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于服务器中。当然，处理器和存储介质也可以作为分立组件存在于服务器中。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
以上所述的具体实施方式，对本说明书的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本说明书的具体实施方式而已，并不用于限定本说明书的保护范围，凡在本说明书的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本说明书的保护范围之内。

Claims (20)

1.一种保护隐私的人脸识别方法，通过第一终端执行，包括：
获取分层可导航小世界HNSW图，所述HNSW图包括从上到下排列且节点数依次增多的多层NSW；其中的最下层NSW包含N个节点；其中的每个节点代表一幅人脸图像并对应于第一密文向量；所述第一密文向量通过对对应人脸图像的特征进行第一降维处理，再采用第一公钥，对降维后的特征进行同态加密而得到；
获取待识别人脸图像的目标特征，并对其进行所述第一降维处理，得到降维特征；
采用所述第一公钥，对所述降维特征进行同态加密，得到第一目标密文向量；以及，采用第二公钥，对所述目标特征进行同态加密，得到第二目标密文向量；
从所述多层NSW的最上层NSW开始，按照从上到下的顺序对各层NSW进行层搜索，直至在所述最下层NSW中，从所述N个节点中搜索到所述第一目标密文向量的k个近邻节点；
从经加密的第二人脸特征库中，获取所述k个近邻节点所代表的k幅人脸图像各自的第二密文向量；其中的每幅人脸图像的第二密文向量，通过采用所述第二公钥，对该幅人脸图像的特征进行同态加密而得到；
将所述第二目标密文向量与所述k幅人脸图像各自的第二密文向量进行比对，以确定所述待识别人脸图像的比对结果。
2.根据权利要求1所述的方法，所述层搜索包括：
以当前层NSW的开始节点为初始的当前节点，从当前节点和与当前节点具有连接关系的邻居节点中，搜索出距离所述第一目标密文向量最近的节点作为更新的当前节点，将达到搜索结束条件时的当前节点确定为第一节点，经由该第一节点进入下一层NSW；且所述第一节点用于作为下一层NSW的开始节点。
3.根据权利要求2所述的方法，所述当前层NSW为最上层NSW，所述开始节点为任意选择的节点。
4.根据权利要求2所述的方法，所述搜索结束条件包括：所述开始节点的p阶邻居节点全部搜索完成，其中，p>＝1；或者，当前节点与所述第一目标密文向量的距离小于所述当前节点的邻居节点与所述第一目标密文向量的距离。
5.根据权利要求1所述的方法，所述HNSW图通过以下步骤构建得到：
从经加密的第一人脸特征库中，获取各幅人脸图像各自的第一密文向量，其中的每幅人脸图像的第一密文向量，通过对该幅人脸图像的特征进行所述第一降维处理，再采用所述第一公钥，对降维后的特征进行同态加密而得到；
基于所述各幅人脸图像各自的第一密文向量形成数据集，并基于所述数据集，采用HNSW算法，构建所述HNSW图。
6.根据权利要求5所述的方法，所述基于所述数据集，采用HNSW算法，构建所述HNSW图，包括：
从所述数据集中读取当前密文向量，并根据预定公式，计算当前密文向量所落入的目标层级；
对于从所述最上层NSW开始至目标层级的上一层NSW的各层NSW，根据当前层NSW所包含的节点的连接关系，从当前层NSW所包含的节点中，搜索距离当前密文向量最近的第二节点，经由该第二节点进入下一层NSW；
对于从目标层级的NSW开始至最下层NSW的各层NSW，将当前密文向量作为插入节点插入到当前层NSW；并根据当前层NSW所包含的节点的连接关系，从当前层NSW所包含的节点中，先搜索出所述插入节点的f个初始的邻居节点；再采用启发式搜索算法从中选取出q个邻居节点，并将该q个邻居节点与所述插入节点相连接；经由所述f个邻居节点中距离所述插入节点最近的节点进入下一层NSW。
7.根据权利要求6所述的方法，所述搜索出所述插入节点的f个初始的邻居节点，包括：
将进入当前层NSW的节点作为当前层NSW的开始节点；
从当前层NSW的开始节点开始，从当前层NSW的开始节点以及所述开始节点的各阶邻居节点中，搜索出所述插入节点的f个初始的邻居节点。
8.根据权利要求1所述的方法，所述第一降维处理的方法包括以下任一种：主成分分析PCA方法、最小绝对收缩和选择算子LASSO方法、线性判别式分析LDA方法、小波分析方法以及T分布和随机近邻嵌入TSNE方法。
9.根据权利要求1所述的方法，所述将所述第二目标密文向量与所述k幅人脸图像各自的第二密文向量进行比对，以确定所述待识别人脸图像的比对结果，包括：
计算所述第二目标密文向量与所述k幅人脸图像各自的第二密文向量之间的距离，得到对应于所述k幅人脸图像的k个距离；
若所述k个距离中最小距离小于距离阈值，则确定所述待识别人脸图像与对应于所述最小距离的人脸图像比对一致。
10.一种保护隐私的人脸识别装置，设置于第一终端，包括：
获取单元，用于获取分层可导航小世界HNSW图，所述HNSW图包括从上到下排列且节点数依次增多的多层NSW；其中的最下层NSW包含N个节点；其中的每个节点代表一幅人脸图像并对应于第一密文向量；所述第一密文向量通过对对应人脸图像的特征进行第一降维处理，再采用第一公钥，对降维后的特征进行同态加密而得到；
降维处理单元，用于获取待识别人脸图像的目标特征，并对其进行所述第一降维处理，得到降维特征；
加密单元，用于采用所述第一公钥，对所述降维特征进行同态加密，得到第一目标密文向量；以及，采用第二公钥，对所述目标特征进行同态加密，得到第二目标密文向量；
搜索单元，用于从所述多层NSW的最上层NSW开始，按照从上到下的顺序对各层NSW进行层搜索，直至在所述最下层NSW中，从所述N个节点中搜索到所述第一目标密文向量的k个近邻节点；
所述获取单元，还用于从经加密的第二人脸特征库中，获取所述k个近邻节点所代表的k幅人脸图像各自的第二密文向量；其中的每幅人脸图像的第二密文向量，通过采用所述第二公钥，对该幅人脸图像的特征进行同态加密而得到；
比对单元，用于将所述第二目标密文向量与所述k幅人脸图像各自的第二密文向量进行比对，以确定所述待识别人脸图像的比对结果。
11.根据权利要求10所述的装置，所述搜索单元具体用于：
以当前层NSW的开始节点为初始的当前节点，从当前节点和与当前节点具有连接关系的邻居节点中，搜索出距离所述第一目标密文向量最近的节点作为更新的当前节点，将达到搜索结束条件时的当前节点确定为第一节点，经由该第一节点进入下一层NSW；且所述第一节点用于作为下一层NSW的开始节点。
12.根据权利要求11所述的装置，所述当前层NSW为最上层NSW，所述开始节点为任意选择的节点。
13.根据权利要求11所述的装置，所述搜索结束条件包括：所述开始节点的p阶邻居节点全部搜索完成，其中，p>＝1；或者，当前节点与所述第一目标密文向量的距离小于所述当前节点的邻居节点与所述第一目标密文向量的距离。
14.根据权利要求10所述的装置，还包括：构建单元；
所述获取单元，还用于从经加密的第一人脸特征库中，获取各幅人脸图像各自的第一密文向量，其中的每幅人脸图像的第一密文向量，通过对该幅人脸图像的特征进行所述第一降维处理，再采用所述第一公钥，对降维后的特征进行同态加密而得到；
所述构建单元，用于基于所述各幅人脸图像各自的第一密文向量形成数据集，并基于所述数据集，采用HNSW算法，构建所述HNSW图。
15.根据权利要求14所述的装置，所述构建单元具体用于：
从所述数据集中读取当前密文向量，并根据预定公式，计算当前密文向量所落入的目标层级；
对于从所述最上层NSW开始至目标层级的上一层NSW的各层NSW，根据当前层NSW所包含的节点的连接关系，从当前层NSW所包含的节点中，搜索距离当前密文向量最近的第二节点，经由该第二节点进入下一层NSW；
对于从目标层级的NSW开始至最下层NSW的各层NSW，将当前密文向量作为插入节点插入到当前层NSW；并根据当前层NSW所包含的节点的连接关系，从当前层NSW所包含的节点中，先搜索出所述插入节点的f个初始的邻居节点；再采用启发式搜索算法从中选取出q个邻居节点，并将该q个邻居节点与所述插入节点相连接；经由所述f个邻居节点中距离所述插入节点最近的节点进入下一层NSW。
16.根据权利要求15所述的装置，所述构建单元还具体用于：
将进入当前层NSW的节点作为当前层NSW的开始节点；
从当前层NSW的开始节点开始，从当前层NSW的开始节点以及所述开始节点的各阶邻居节点中，搜索出所述插入节点的f个初始的邻居节点。
17.根据权利要求10所述的装置，所述第一降维处理的方法包括以下任一种：主成分分析PCA方法、最小绝对收缩和选择算子LASSO方法、线性判别式分析LDA方法、小波分析方法以及T分布和随机近邻嵌入TSNE方法。
18.根据权利要求10所述的装置，所述比对单元具体用于：
计算所述第二目标密文向量与所述k幅人脸图像各自的第二密文向量之间的距离，得到对应于所述k幅人脸图像的k个距离；
若所述k个距离中最小距离小于距离阈值，则确定所述待识别人脸图像与对应于所述最小距离的人脸图像比对一致。
19.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-9中任一项所述的方法。
20.一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-9中任一项所述的方法。
CN202011173842.9A 2020-10-28 2020-10-28 保护隐私的人脸识别方法及装置 Active CN112200133B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011173842.9A CN112200133B (zh) 2020-10-28 2020-10-28 保护隐私的人脸识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011173842.9A CN112200133B (zh) 2020-10-28 2020-10-28 保护隐私的人脸识别方法及装置

Publications (2)

Publication Number Publication Date
CN112200133A true CN112200133A (zh) 2021-01-08
CN112200133B CN112200133B (zh) 2022-05-17

Family

ID=74011115

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011173842.9A Active CN112200133B (zh) 2020-10-28 2020-10-28 保护隐私的人脸识别方法及装置

Country Status (1)

Country Link
CN (1) CN112200133B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114117386A (zh) * 2021-11-26 2022-03-01 京东方科技集团股份有限公司 会议管理方法及装置、计算机可读存储介质、电子设备
CN114758388A (zh) * 2022-03-31 2022-07-15 北京瑞莱智慧科技有限公司 一种人脸识别方法、相关装置及存储介质
CN114821751A (zh) * 2022-06-27 2022-07-29 北京瑞莱智慧科技有限公司 图像识别方法、装置、系统及存储介质
CN114973351A (zh) * 2022-03-31 2022-08-30 北京瑞莱智慧科技有限公司 人脸识别方法、装置、设备及存储介质
CN114978623A (zh) * 2022-05-06 2022-08-30 支付宝(杭州)信息技术有限公司 一种基于隐私保护的人脸比对方法及装置
US11496288B1 (en) * 2022-04-08 2022-11-08 Verkada Inc. Enhanced encryption for face-related data
WO2023040335A1 (zh) * 2021-09-14 2023-03-23 超聚变数字技术有限公司 一种人脸识别方法、设备及系统
WO2023065696A1 (zh) * 2021-10-21 2023-04-27 深圳云天励飞技术股份有限公司 一种最近邻搜索方法、装置、终端和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110008256A (zh) * 2019-04-09 2019-07-12 杭州电子科技大学 一种基于分层可导航小世界图的近似最近邻搜索方法
CN110134804A (zh) * 2019-05-20 2019-08-16 北京达佳互联信息技术有限公司 图像检索方法、装置及存储介质
CN111008620A (zh) * 2020-03-05 2020-04-14 支付宝(杭州)信息技术有限公司 目标用户识别方法、装置及存储介质、电子设备
CN111461753A (zh) * 2020-04-17 2020-07-28 支付宝(杭州)信息技术有限公司 智能客服场景中的知识点召回方法及装置
US20200285687A1 (en) * 2019-03-07 2020-09-10 Microsoft Technology Licensing, Llc Intent Encoder Trained Using Search Logs
US20200304622A1 (en) * 2019-03-21 2020-09-24 Capital One Services, Llc Methods and systems for automatic discovery of fraudulent calls using speaker recognition
CN111738238A (zh) * 2020-08-14 2020-10-02 支付宝(杭州)信息技术有限公司 人脸识别方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200285687A1 (en) * 2019-03-07 2020-09-10 Microsoft Technology Licensing, Llc Intent Encoder Trained Using Search Logs
US20200304622A1 (en) * 2019-03-21 2020-09-24 Capital One Services, Llc Methods and systems for automatic discovery of fraudulent calls using speaker recognition
CN110008256A (zh) * 2019-04-09 2019-07-12 杭州电子科技大学 一种基于分层可导航小世界图的近似最近邻搜索方法
CN110134804A (zh) * 2019-05-20 2019-08-16 北京达佳互联信息技术有限公司 图像检索方法、装置及存储介质
CN111008620A (zh) * 2020-03-05 2020-04-14 支付宝(杭州)信息技术有限公司 目标用户识别方法、装置及存储介质、电子设备
CN111461753A (zh) * 2020-04-17 2020-07-28 支付宝(杭州)信息技术有限公司 智能客服场景中的知识点召回方法及装置
CN111738238A (zh) * 2020-08-14 2020-10-02 支付宝(杭州)信息技术有限公司 人脸识别方法和装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023040335A1 (zh) * 2021-09-14 2023-03-23 超聚变数字技术有限公司 一种人脸识别方法、设备及系统
WO2023065696A1 (zh) * 2021-10-21 2023-04-27 深圳云天励飞技术股份有限公司 一种最近邻搜索方法、装置、终端和存储介质
CN114117386A (zh) * 2021-11-26 2022-03-01 京东方科技集团股份有限公司 会议管理方法及装置、计算机可读存储介质、电子设备
CN114758388A (zh) * 2022-03-31 2022-07-15 北京瑞莱智慧科技有限公司 一种人脸识别方法、相关装置及存储介质
CN114973351A (zh) * 2022-03-31 2022-08-30 北京瑞莱智慧科技有限公司 人脸识别方法、装置、设备及存储介质
US11496288B1 (en) * 2022-04-08 2022-11-08 Verkada Inc. Enhanced encryption for face-related data
US12015692B2 (en) 2022-04-08 2024-06-18 Verkada Inc. Enhanced encryption for face-related data
CN114978623A (zh) * 2022-05-06 2022-08-30 支付宝(杭州)信息技术有限公司 一种基于隐私保护的人脸比对方法及装置
CN114978623B (zh) * 2022-05-06 2023-11-17 支付宝(杭州)信息技术有限公司 一种基于隐私保护的人脸比对方法及装置
CN114821751A (zh) * 2022-06-27 2022-07-29 北京瑞莱智慧科技有限公司 图像识别方法、装置、系统及存储介质

Also Published As

Publication number Publication date
CN112200133B (zh) 2022-05-17

Similar Documents

Publication Publication Date Title
CN112200133B (zh) 保护隐私的人脸识别方法及装置
Li et al. Face x-ray for more general face forgery detection
Manisha et al. Cancelable biometrics: a comprehensive survey
AU2018266602B2 (en) System and method for biometric identification
US8165352B1 (en) Reconstruction of biometric image templates using match scores
Sarveniazi An actual survey of dimensionality reduction
Vignolo et al. Feature selection for face recognition based on multi-objective evolutionary wrappers
Martinel et al. Person reidentification in a distributed camera network framework
Sandhya et al. Securing fingerprint templates using fused structures
Gomez-Barrero et al. Efficient software attack to multimodal biometric systems and its application to face and iris fusion
Ross et al. Augmenting ridge curves with minutiae triplets for fingerprint indexing
AU2019200711A1 (en) Biometric verification
Jindal et al. Securing face templates using deep convolutional neural network and random projection
Kumar et al. RP-LPP: a random permutation based locality preserving projection for cancelable biometric recognition
Wang et al. A Hadamard transform-based method for the design of cancellable fingerprint templates
Jin et al. A two‐dimensional random projected minutiae vicinity decomposition‐based cancellable fingerprint template
Pandey et al. Secure face template generation via local region hashing
Mohanty et al. From scores to face templates: A model-based approach
Kim et al. A performance driven methodology for cancelable face templates generation
Dash et al. Efficient private key generation from iris data for privacy and security applications
Al-Assam et al. A lightweight approach for biometric template protection
Jassim et al. Improving performance and security of biometrics using efficient and stable random projection techniques
Sahbi et al. Robust face recognition using dynamic space warping
Hu et al. Exploiting stable and discriminative iris weight map for iris recognition under less constrained environment
Kimura et al. Quality-dependent score-level fusion of face, gait, and the height biometrics

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40044674

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant