CN114943090A - 一种基于同态加密大规模人脸库隐匿查询的方法 - Google Patents

一种基于同态加密大规模人脸库隐匿查询的方法 Download PDF

Info

Publication number
CN114943090A
CN114943090A CN202210865227.7A CN202210865227A CN114943090A CN 114943090 A CN114943090 A CN 114943090A CN 202210865227 A CN202210865227 A CN 202210865227A CN 114943090 A CN114943090 A CN 114943090A
Authority
CN
China
Prior art keywords
face
data
ciphertext
cloud server
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210865227.7A
Other languages
English (en)
Other versions
CN114943090B (zh
Inventor
龙利民
李强
丁阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tuling Artificial Intelligence Institute Nanjing Co ltd
Original Assignee
Tuling Artificial Intelligence Institute Nanjing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tuling Artificial Intelligence Institute Nanjing Co ltd filed Critical Tuling Artificial Intelligence Institute Nanjing Co ltd
Priority to CN202210865227.7A priority Critical patent/CN114943090B/zh
Publication of CN114943090A publication Critical patent/CN114943090A/zh
Application granted granted Critical
Publication of CN114943090B publication Critical patent/CN114943090B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245Protecting personal data, e.g. for financial or medical purposes
    • G06F21/6254Protecting personal data, e.g. for financial or medical purposes by anonymising data, e.g. decorrelating personal data from the owner's identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/602Providing cryptographic facilities or services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/008Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols involving homomorphic encryption
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明提供一种基于同态加密大规模人脸库隐匿查询的方法,包括根据获取的人脸图片在设备端生成用于表征人脸图片的高维人脸特征;采用局部敏感哈希算法基于设备端对高维人脸特征进行哈希数据集合计算;设备端计算得到当前高维人脸特征临近哈希值的过滤ID的数据集合;设备端使用同态加密的公钥对包含低维人脸特征的低维映射内容进行计算得到低维人脸特征的密文特征。本发明通过将人脸特征进行局部敏感哈希值的存储,并通过低维数值的运算计算得到汉明距离的方式,使得只要比较前两个数据的相似性,就可以通过哈希值就反向计算出原始数据,充分利用局部敏感哈希的特性,达到缩短服务器进行密文计算的耗时以及减少网络传输内容的优点。

Description

一种基于同态加密大规模人脸库隐匿查询的方法
技术领域
本发明涉及数据隐私安全计算技术领域,具体为一种基于同态加密大规模人脸库隐匿查询的方法。
背景技术
随着大数据、人工智能等互联网新技术的广泛使用,个人隐私的信息安全问题日益突出。
由于人脸特征的易获取和便利性,人脸识别系统的被广泛使用,而基于人脸系统的使用,是需要充分考虑其安全性,为防止人脸特征的泄露的,即,人脸数据不能以明文形式存储。
现阶段,提出隐私计算保护人脸特征不以明文存储是解决上述问题的有效手段,其原理是,将人脸特征转换为密文,使得数据在密文状态下进行运算,并计算出正确的结果,实现人脸特征的可用不可见,有效防止特征的泄露,保护了人脸特征的安全。同时,
结合人脸特征的密文存储,在人脸识别的场景中,由于是需要设备终端获取人脸特征转换为密文数据,除密文特征外不包含其他数据,起到了隐匿查询的效果。与此同时,服务器端是不知道查询方的内容。
现阶段将密文存储和密文查询的结合方式,是可以很好起到隐私保护效果的一种技术手段。
从理论上来讲当服务器端的数据体量较小时,上述方案确实能很好的做到用户体验和数据安全间的平衡。然而当服务端的数据体量一旦增大到一定规模,此时服务器端的计算耗时和网络通信开销是难以接受,尤其是在人脸密文特征比对阶段,因为只有人脸密文特征,需要和数据库中全量数据进行密文计算,而随着人脸密文在注册阶段的增加,会导致数据库中的数据增加,增大计算开销以及通信成本。
发明内容
针对现有技术存在的不足,本发明目的是提供一种基于同态加密大规模人脸库隐匿查询的方法,通过在同态加密注册过程,增加将人脸特征进行局部敏感哈希值的存储的方式以及在人脸特征的查询阶段通过局部敏感哈希算法,在不泄漏隐私数据情况下,限定其ID查询范围,达到缩短服务器进行密文计算的耗时以及减少网络传输内容的优点。以解决上述背景技术中提出的问题。
为了实现上述目的,本发明是通过如下的技术方案来实现:一种基于同态加密大规模人脸库隐匿查询的方法,包括以下步骤:
第一步,根据获取的人脸图片在设备端生成用于表征人脸图片的高维人脸特征;
第二步,采用局部敏感哈希算法基于设备端对高维人脸特征进行哈希数据集合计算,获得更新后的高维人脸特征局部敏感哈希库,并发送至云端服务器进行存储后,返回设备端,计算得到当前高维人脸特征临近哈希值的过滤ID的数据集合,以限定云端服务器的ID查询范围,缩短云端服务器进行密文计算的耗时,其中,所述哈希值为在设备端更新后的局部敏感哈希库中的高维人脸特征的低维映射内容;
第三步,设备端使用同态加密的公钥对包含低维人脸特征的低维映射内容进行计算得到低维人脸特征的密文特征;
第四步,云端服务器根据获取的过滤ID的数据集合和低维人脸特征的密文特征逐个计算其密文,得到每个低维人脸特征密文的汉明距离后,形成密文结果返回设备端;
第五步,设备端使用同态加密的私钥解密密文结果后,遍历所述密文结果,判断是否存在所述汉明距离范围内的密文结果:若存在,则基于设备端输出说明人脸比对成功,反之,失败,结束。
作为对本发明中所述一种基于同态加密大规模人脸库隐匿查询的方法的改进,第一步中,获取高维人脸特征的具体步骤为:
S1-1,设备端搭载图像采集设备,上电后获取人脸图片;
S1-2,基于神经网络算法从人脸图片中提取得到表征人脸图片的高维人脸特征,用于减小外部因素对人脸图片的影响,以促使人脸图片进行精准配准。
作为对本发明中所述一种基于同态加密大规模人脸库隐匿查询的方法的改进,第二步中,采用局部敏感哈希算法,实现更新后的高维人脸特征局部敏感哈希库在云端服务器存储的具体步骤为:
S2-1,在云端服务器随机分配N组M个数的位置点集合P,并将点集合P的数据落盘存储;
S2-2,设备端将基于第一步获取的高维人脸特征转换为密文数据后,进行特征提取,提取出长度为M一维数组F,并发送至云端服务器;
S2-3,云端服务器基于接收到的高维人脸特征数据,位置点集合P与人脸特征数组F进行向量内积计算,得到N个哈希值集合H;
S2-4,根据获取的N个哈希值集合H与云端服务器端历史数据集合进行数据预处理:
依次判断新增的N个哈希值集合H是否分别存在:若存在,则,云端服务器进行高维人脸特征数据更新操作;反之,
对高维人脸特征数据进行插入操作:云端服务器将所述密文数据插入到人脸密文特征表中,并向设备端返回人脸密文特征表的自增ID数据集合;
S2-5,返回设备端完成状态:
S2-51,设备端更新高维人脸特征局部敏感哈希库,并同步得到高维人脸特征的低维映射内容,其中,所述低维映射内容包含{哈希值(人脸特征,自增ID数据集合)};
S2-52,云端服务器接收所述低维映射内容,并将其存储为哈希数据集合{哈希值:(min,max,ID集合)},其中,min表示为哈希值集合H最小数值,max表示为哈希值集合H最大数值,ID集合表示为自增ID数据集合。
作为对本发明中所述一种基于同态加密大规模人脸库隐匿查询的方法的改进,在云端服务器完成哈希数据集合存储之后,且在得到当前高维人脸特征临近哈希值的过滤ID的数据集合之前,还需要重新在设备端生成用于表征人脸图片的高维人脸特征;当设备端生成高维人脸特征后,
设备端才可以计算当前高维人脸特征临近哈希数据集合中哈希值的过滤ID的数据集合,以限定云端服务器向设备端交互获取密文数据的查询范围,减少云端服务器在进行密文数据比较时的数据量,降低计算功耗以及数据传输时延。
作为对本发明中所述一种基于同态加密大规模人脸库隐匿查询的方法的改进,第五步中,基于设备端使用同态加密的私钥解密密文结果,判断人脸是否比对成功的方式为:
S5-1,云端服务器将位置点集合P下发至设备端;
S5-2,设备端基于位置点集合P生成全同态使用的公钥、私钥信息后,在设备端输入人脸图片提取其人脸特征,并使用同态加密算法加密;
S5-3,设备端使用云端服务器下发的位置点集合P计算其位置敏感哈希值,并将人脸特征的密文数据和哈希值数据发送至云端服务器;
S5-4,云端服务器基于接收到的哈希值数据和人脸特征的密文数据进行预处理:
首先,进行哈希值数据的查找;
其次,判断设备端的哈希值数据在云端服务器的数据库中是否存在:若,不存在,则输出人脸识别失败;反之,云端服务器依据查找到的哈希值数据所对应的人脸特征和设备端上报的人脸密文特征,进行明密文混合的全同态汉明计算,获取密文结果,
最后,返回设备端;
S5-5,设备端对返回的密文结果进行结果,遍历密文结果判断是否符合阈值要求,如不满足,输出人脸识别失败;如满足,输出人脸识别成功。
与现有技术相比,本发明的有益效果:
1、为解决在人脸密文特征比对阶段,因只有人脸密文特征,需要和数据库中全量数据进行密文的汉明距离计算时,随人脸密文在注册阶段的增加,而导致数据库中的数据增加,密文的比对耗时增加的问题,本发明,通过在区别于现有技术中的同态加密注册过程中,将人脸特征进行局部敏感哈希值的存储,同时将高维数据映射到低维数值中,并通过低维数值的运算计算得到汉明距离的方式,使得只要比较前两个数据的相似性,就可以通过哈希值就反向计算出原始数据,充分利用局部敏感哈希的特性,达到缩短服务器进行密文计算的耗时以及减少网络传输内容的优点;
2、同时,通过神经网络算法提取得到高维人脸特征的方式,减小了外部因素对人脸图片的影响,使得人脸图片更好的精准配准。
附图说明
参照附图来说明本发明的公开内容。应当了解,附图仅仅用于说明目的,而并非意在对本发明的保护范围构成限制,在附图中,相同的附图标记用于指代相同的部件。其中:
图1为本发明一实施例中所提出的在人脸特征注册阶段中云端服务器的存储哈希数据集合时的时序步骤流程示意图;
图2为本发明一实施例中所提出的在人脸特征比对阶段中限定云端服务器ID查询信息后,基于云端服务器的过滤ID的数据集合查询条件,获取设备端密文结果的时序步骤流程图;
图3本发明一实施例中所提出的人脸特征的注册阶段中设备端与云端服务器交互流程示意图;
图4本发明一实施例中所提出的人脸密文特征比对查询阶段中设备端与云端服务器交互获取密文数据的流程示意图。
具体实施方式
容易理解,根据本发明的技术方案,在不变更本发明实质精神下,本领域的一般技术人员可以提出可相互替换的多种结构方式以及实现方式。因此,以下具体实施方式以及附图仅是对本发明的技术方案的示例性说明,而不应当视为本发明的全部或者视为对本发明技术方案的限定或限制。
以下结合附图对本发明作近一步详细说明,但不作为对本发明的限定。
作为对本发明技术构思以及实现原理的理解,在使用同态加密算法对人脸密文特征比对的技术方案中,本发明技术构思是分为两阶段进行,第一阶段如图3所示,是人脸特征的注册阶段:即,
人脸图像转换为密文的阶段:其转换的顺序步骤包括:首先,基于设备端,通过摄像头获取人脸图片;通过神经网络算法从人脸图片从提取人脸特征数据;使用同态加密的公钥将人脸特征转换为密文数据。其次,当上述步骤完成后,设备端需要将获取的密文数据上传至云端服务器,此时,云端服务器会在其数据库中新增刚上传的人脸密文数据(密文数据),并在云端数据库中以一条新增记录信息的形式体现。再次,云端服务器将其处理状态返回设备端。完成第一阶段中人脸图像转换为密文数据。
而第二阶段如图4所示,是人脸密文特征比对阶段,即,采用与上述第一阶段相同的密文数据获取方式,在获取密文数据上传至云端服务器后,云端服务器依据其现有数据库(第一阶段中新增刚上传的人脸密文数据的数据库)中已经注册的密文数据(人脸特征数据的密文)的集合逐个计算其密文,得到每个人脸特征数据密文的汉明距离(密文),形成密文结果集合后。将密文结果结合返回至设备端。再由设备端使用同态加密的私钥解密密文结果,然后遍历密文结果集(密文结果集合),再判断汉明距离范围内的密文结果是否存在(存在,说明人脸比对成功,反之,说明比对失败)。
基于上述技术构思,可以理解的是,在人脸密文特征比对阶段(前叙的第二阶段),中,因为只有人脸密文特征,因此,此时只需要和(云端服务器)数据库中全量数据进行密文的汉明距离计算,(当前的数据量是可控未超出一定范围的)。而,
随着人脸密文在注册阶段的增加,就会导致(云端服务器)数据库中的密文数据增加,对应的密文的比对耗时也会随之增加。即,比对完成的密文结果集(密文结果集合)和数据量(在第一注册阶段,由人脸特征转换的密文数据)成正相关,人脸特征数据在密文状态下,会比明文大至少十倍以上,故而会导致整个网络的开销和耗时同步增加。
为此,为解决现有的技术方案只能应用在数据体量不大的场景,而当数据量超过一定范围,其计算开销和通信成本难以应用到实际的应用中的问题。
如图1-2,作为本发明的一实施例,提出一种基于同态加密大规模人脸库隐匿查询的方法,通过在同态加密注册过程,增加将人脸特征进行局部敏感哈希值的存储的方式以及在人脸特征的查询阶段通过局部敏感哈希算法,在不泄漏隐私数据情况下,限定其ID查询范围,达到缩短云端服务器进行密文计算的耗时以及减少网络传输内容的优点。需要说明的是,其具体包括以下步骤:
(注册阶段的)第一步,根据获取的人脸图片在设备端生成用于表征人脸图片的高维人脸特征。
基于上述技术构思,需要说明的是,第一步中,获取高维人脸特征的具体步骤为:
S1-1,设备端搭载图像采集设备,上电后获取人脸图片;
由于图像采集设备误差的存在,就会导致理论误差与实际误差存在一定的差别,为此,本发明提出:S1-2,基于神经网络算法从人脸图片中提取得到表征人脸图片的高维人脸特征,用于减小外部因素对人脸图片的影响,以促使人脸图片进行精准配准。
在设备端获取了高维人脸特征后,需要将高维人脸特征进行局部敏感哈希值的存储,以减少下一阶段中上传至云端服务器的密文数据比较数据量,可以理解的是,本发明通过引入(位置)敏感哈希算法,(位置)敏感哈希算法运用将高维数据的近似查找特性,例如在对人脸特征比对判断相似性时,可通过特征数据的汉明距离计算其相似性。由于在同态加密的人脸密文数据比对下,在计算过程时对结果是无法解密,因此,就会对全量数据的遍历计算和遍历后密文结果的返回,导致就存在数据体量大、计算开销大的问题。为此,本发明提出:通过(位置)敏感哈希算法的相似性特性,不再全量进行数据比对,仅比对相似性数据:即提出:
(注册阶段的)第二步,采用局部敏感哈希算法基于设备端对高维人脸特征进行哈希数据集合计算,获得更新后的高维人脸特征局部敏感哈希库,并发送至云端服务器进行存储后,返回设备端。
基于上述技术构思,可以理解的是,实现更新后的高维人脸特征局部敏感哈希库在云端服务器存储的具体步骤为:
S2-1,在云端服务器随机分配N组M个数的位置点集合P,并将点集合P的数据落盘存储;
S2-2,设备端将基于第一步获取的高维人脸特征转换为密文数据后,进行特征提取,提取出长度为M一维数组F,并发送至云端服务器;
S2-3,云端服务器基于接收到的高维人脸特征数据,位置点集合P与人脸特征数组F进行向量内积计算,得到N个哈希值集合H;
S2-4,根据获取的N个哈希值集合H与云端服务器端历史数据集合进行数据预处理:
依次判断新增的N个哈希值集合H是否分别存在:若存在,则,云端服务器进行高维人脸特征数据更新操作;反之,
对高维人脸特征数据进行插入操作:云端服务器将密文数据插入到人脸密文特征表中,并向设备端返回人脸密文特征表的自增ID数据集合;
S2-5,返回设备端完成状态:S2-51,设备端更新高维人脸特征局部敏感哈希库,并同步得到高维人脸特征的低维映射内容,其中,低维映射内容包含{哈希值(人脸特征,自增ID数据集合)};S2-52,云端服务器接收低维映射内容,并将其存储为哈希数据集合{哈希值:(min,max,ID集合)},其中,min表示为哈希值集合H最小数值,max表示为哈希值集合H最大数值,ID集合表示为自增ID数据集合。
在云端服务器完成哈希数据集合存储之后,且,在得到当前高维人脸特征临近哈希值的过滤ID的数据集合之前,还需要重新在设备端生成用于表征人脸图片的高维人脸特征;而当设备端生成高维人脸特征后,
设备端才计算得到当前高维人脸特征临近哈希值的过滤ID的数据集合,以限定云端服务器向设备端交互获取密文数据的查询范围,减少云端服务器在进行密文数据比较时的数据量,降低计算功耗以及数据传输时延。
基于上述技术构思,需要说明的是,本发明的第一步和第二步均为人脸特征同态加密注册过程(注册阶段),在这注册过程中,本发明增加的局部敏感哈希目的是将将高维数据映射到低维数值中,通过低维数值的运算计算得到汉明距离,以此来比较两个数据间相似性,再基于哈希值反向计算出原始数据。
可以理解的是,在上述的注册阶段中,认为设备端是可信的,而云端服务器的数据库需以密文或者非敏感数据来存储,为此,以基于局部敏感哈希的特性以及其数据结构,举例说明云端服务器的数据库存储上述非敏感数据的数据核心是用于下一查询阶段(人脸密文特征比对阶段):
首先,局部敏感哈希的特性的理解为:哈希值中的特征有一定的顺序关系,可以通过转换将敏感哈希值转换为非敏感数据,同时哈希值中的特征还具有可比较的特性。在具体实施时,对数组中的数据取头部和尾部,再加上一定范围内的随机数,模糊掉真实特征值。此时鉴定去哈希值长度为16,为2的16次方。而哈希映值总值为65536,鉴定人脸数据总量为1亿规模,平均每个哈希值映射到人脸特征数为1526。通过取最小、最大值,以及加上噪音,就可以转换为非敏感信息。转换为非敏感信息如下所示:
{'1111000':[
{'feature':[0.028, 0.009, 0.00, 0.028],'id':1},
{'feature':[0.029, 0.089, 0.01, 0.027],'id':2},
{'feature':[0.030, 0.089, 0.01, 0.027],'id':3}],
'1111001':[
{'feature':[0.031, 0.009, 0.00, 0.028],'id':4},
{'feature':[0.032, 0.089, 0.01, 0.027],'id':5}]},可以理解的是:'feature':[0.028, 0.009, 0.00, 0.028]表示为人脸特征。
在基于第二步中得到当前高维人脸特征临近哈希值的过滤ID的数据集合后,接下来需要通过第一阶段(包含第一步和第二步的注册阶段)计算得到的ID数据集合限定在云端服务器中数据库的ID查询信息,而计算得到的ID数据集合是来源于在查询前获取到注册阶段的哈希数据集合。为此,本发明提出:
第三步,设备端使用同态加密的公钥对包含低维人脸特征的低维映射内容进行计算得到低维人脸特征的密文特征。
第四步,云端服务器根据获取的过滤ID的数据集合和低维人脸特征的密文特征逐个计算其密文,得到每个低维人脸特征密文的汉明距离后,形成密文结果返回设备端。
第五步,设备端使用同态加密的私钥解密密文结果后,遍历密文结果,判断是否存在汉明距离范围内的密文结果:若存在,则基于设备端输出说明人脸比对成功,反之,失败,结束。
基于第三步至第五步的技术构思,需要说明的是,当设备端使用同态加密的私钥解密密文结果后,判断人脸是否比对成功的方式为:
S5-1,云端服务器将位置点集合P下发至设备端;
S5-2,设备端基于位置点集合P生成全同态使用的公钥、私钥信息后,在设备端输入人脸图片提取其人脸特征,并使用同态加密算法加密;
S5-3,设备端使用云端服务器下发的位置点集合P计算其位置敏感哈希值,并将人脸特征的密文数据和哈希值数据发送至云端服务器;
S5-4,云端服务器基于接收到的哈希值数据和人脸特征的密文数据进行预处理:
首先,进行哈希值数据的查找;
其次,判断设备端的哈希值数据在云端服务器的数据库中是否存在:若,不存在,则输出人脸识别失败;反之,云端服务器依据查找到的哈希值数据所对应的人脸特征和设备端上报的人脸密文特征,进行明密文混合的全同态汉明计算,获取密文结果,
最后,返回设备端;
S5-5,设备端对返回的密文结果进行结果,遍历密文结果判断是否符合阈值要求,如不满足,输出人脸识别失败;如满足,输出人脸识别成功。
基于上述技术构思,可以理解的是,查询阶段(包含第三步、第四步以及第五步的人脸密文特征比对阶段)获取人脸特征与注册阶段一致,但其通过设定局部敏感哈希算法,在不泄漏隐私数据情况下,限定了ID查询范围,缩短了云端服务器进行密文计算的耗时,同时也减少了网络传输内容。故而,
当本发明通过使用同态加密、局部敏感哈希、极少明文特征模糊化的方式时,可以有效提升人脸特征数据在密文状态下的数据规模,即,在自设定局部敏感哈希的长度为16,人脸数据库数据为1亿人脸的状态下,本发明中云端服务器的计算消耗只有现有技术方案的1/65536倍,通信传输量开销也只有1/65536倍,而,若在服务器端采用100个线程并发计算,密文下的计算耗时可以控制在1s左右,密文结果集在1M左右,其总计算耗时可以控制在2s以内,满足通过同态加密来实现密文的数据使用场景。
本发明的技术范围不仅仅局限于上述说明中的内容,本领域技术人员可以在不脱离本发明技术思想的前提下,对上述实施例进行多种变形和修改,而这些变形和修改均应当属于本发明的保护范围内。

Claims (5)

1.一种基于同态加密大规模人脸库隐匿查询的方法,其特征在于:包括以下步骤:
第一步,根据获取的人脸图片在设备端生成用于表征人脸图片的高维人脸特征;
第二步,采用局部敏感哈希算法基于设备端对高维人脸特征进行哈希数据集合计算,在获得更新后的高维人脸特征局部敏感哈希库,并发送至云端服务器进行存储后,返回设备端;
设备端计算得到当前高维人脸特征临近哈希值的过滤ID的数据集合,以限定云端服务器的ID查询范围,缩短云端服务器进行密文计算的耗时,其中,所述哈希值为在设备端更新后的局部敏感哈希库中的高维人脸特征的低维映射内容;
第三步,设备端使用同态加密的公钥对包含低维人脸特征的低维映射内容进行计算得到低维人脸特征的密文特征;
第四步,云端服务器根据获取的过滤ID的数据集合和低维人脸特征的密文特征逐个计算其密文,得到每个低维人脸特征密文的汉明距离后,形成密文结果返回设备端;
第五步,设备端使用同态加密的私钥解密密文结果后,遍历所述密文结果,判断是否存在所述汉明距离范围内的密文结果:若存在,则基于设备端输出说明人脸比对成功,反之,失败,结束。
2.根据权利要求1所述的一种基于同态加密大规模人脸库隐匿查询的方法,其特征在于:第一步中,获取高维人脸特征的具体步骤为:
S1-1,设备端搭载图像采集设备,上电后获取人脸图片;
S1-2,基于神经网络算法从人脸图片中提取得到表征人脸图片的高维人脸特征,用于减小外部因素对人脸图片的影响,以促使人脸图片进行精准配准。
3.根据权利要求1所述的一种基于同态加密大规模人脸库隐匿查询的方法,其特征在于:第二步中,采用局部敏感哈希算法,实现更新后的高维人脸特征局部敏感哈希库在云端服务器存储的具体步骤为:
S2-1,在云端服务器随机分配N组M个数的位置点集合P,并将点集合P的数据落盘存储;
S2-2,设备端将基于第一步获取的高维人脸特征转换为密文数据后,进行特征提取,提取出长度为M一维数组F,并发送至云端服务器;
S2-3,云端服务器基于接收到的高维人脸特征数据,位置点集合P与人脸特征数组F进行向量内积计算,得到N个哈希值集合H;
S2-4,根据获取的N个哈希值集合H与云端服务器端历史数据集合进行数据预处理:
依次判断新增的N个哈希值集合H是否分别存在:若存在,则,云端服务器进行高维人脸特征数据更新操作;反之,
对高维人脸特征数据进行插入操作:云端服务器将所述密文数据插入到人脸密文特征表中,并向设备端返回人脸密文特征表的自增ID数据集合;
S2-5,返回设备端完成状态:
S2-51,设备端更新高维人脸特征局部敏感哈希库,并同步得到高维人脸特征的低维映射内容,其中,所述低维映射内容包含{哈希值(人脸特征,自增ID数据集合)};
S2-52,云端服务器接收所述低维映射内容,并将其存储为哈希数据集合{哈希值:(min,max,ID集合)},其中,min表示为哈希值集合H最小数值,max表示为哈希值集合H最大数值,ID集合表示为自增ID数据集合。
4.根据权利要求1或3所述的一种基于同态加密大规模人脸库隐匿查询的方法,其特征在于:在云端服务器完成哈希数据集合存储之后,且在得到当前高维人脸特征临近哈希值的过滤ID的数据集合之前,还需要重新在设备端生成用于表征人脸图片的高维人脸特征;当设备端生成高维人脸特征后,
设备端才可以计算当前高维人脸特征临近哈希数据集合中哈希值的过滤ID的数据集合,以限定云端服务器向设备端交互获取密文数据的查询范围,减少云端服务器在进行密文数据比较时的数据量,降低计算功耗以及数据传输时延。
5.根据权利要求1所述的一种基于同态加密大规模人脸库隐匿查询的方法,其特征在于:第五步中,基于设备端使用同态加密的私钥解密密文结果,判断人脸是否比对成功的方式为:
S5-1,云端服务器将位置点集合P下发至设备端;
S5-2,设备端基于位置点集合P生成全同态使用的公钥、私钥信息后,在设备端输入人脸图片提取其人脸特征,并使用同态加密算法加密;
S5-3,设备端使用云端服务器下发的位置点集合P计算其位置敏感哈希值,并将人脸特征的密文数据和哈希值数据发送至云端服务器;
S5-4,云端服务器基于接收到的哈希值数据和人脸特征的密文数据进行预处理:
首先,进行哈希值数据的查找;
其次,判断设备端的哈希值数据在云端服务器的数据库中是否存在:若,不存在,则输出人脸识别失败;反之,云端服务器依据查找到的哈希值数据所对应的人脸特征和设备端上报的人脸密文特征,进行明密文混合的全同态汉明计算,获取密文结果,
最后,返回设备端;
S5-5,设备端对返回的密文结果进行结果,遍历密文结果判断是否符合阈值要求,如不满足,输出人脸识别失败;如满足,输出人脸识别成功。
CN202210865227.7A 2022-07-22 2022-07-22 一种基于同态加密大规模人脸库隐匿查询的方法 Active CN114943090B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210865227.7A CN114943090B (zh) 2022-07-22 2022-07-22 一种基于同态加密大规模人脸库隐匿查询的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210865227.7A CN114943090B (zh) 2022-07-22 2022-07-22 一种基于同态加密大规模人脸库隐匿查询的方法

Publications (2)

Publication Number Publication Date
CN114943090A true CN114943090A (zh) 2022-08-26
CN114943090B CN114943090B (zh) 2022-11-22

Family

ID=82910176

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210865227.7A Active CN114943090B (zh) 2022-07-22 2022-07-22 一种基于同态加密大规模人脸库隐匿查询的方法

Country Status (1)

Country Link
CN (1) CN114943090B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115544552A (zh) * 2022-11-29 2022-12-30 蓝象智联(杭州)科技有限公司 一种不暴露明文数据的相似性检测方法、装置及存储介质
CN115600177A (zh) * 2022-10-09 2023-01-13 北京金和网络股份有限公司(Cn) 一种身份认证的方法、装置、存储介质及电子设备
CN115688167A (zh) * 2022-10-13 2023-02-03 北京沃东天骏信息技术有限公司 匿踪查询方法、装置和系统及存储介质
CN115880789A (zh) * 2023-02-08 2023-03-31 中昊芯英(杭州)科技有限公司 基于加密的人脸识别方法、相关装置和存储介质
CN117786644A (zh) * 2024-02-28 2024-03-29 青岛山科智汇信息科技有限公司 一种人脸自身特征参与加解密的安全人脸识别系统
CN117786644B (zh) * 2024-02-28 2024-05-14 青岛山科智汇信息科技有限公司 一种人脸自身特征参与加解密的安全人脸识别系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609441A (zh) * 2011-12-27 2012-07-25 中国科学院计算技术研究所 基于分布熵的局部敏感哈希高维索引方法
CN105095435A (zh) * 2015-07-23 2015-11-25 北京京东尚科信息技术有限公司 一种图像高维特征的相似比较方法及装置
CN110609916A (zh) * 2019-09-25 2019-12-24 四川东方网力科技有限公司 视频图像数据检索方法、装置、设备和存储介质
CN112215165A (zh) * 2020-10-13 2021-01-12 中山大学 一种同态加密下基于小波降维的人脸识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609441A (zh) * 2011-12-27 2012-07-25 中国科学院计算技术研究所 基于分布熵的局部敏感哈希高维索引方法
CN105095435A (zh) * 2015-07-23 2015-11-25 北京京东尚科信息技术有限公司 一种图像高维特征的相似比较方法及装置
CN110609916A (zh) * 2019-09-25 2019-12-24 四川东方网力科技有限公司 视频图像数据检索方法、装置、设备和存储介质
CN112215165A (zh) * 2020-10-13 2021-01-12 中山大学 一种同态加密下基于小波降维的人脸识别方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115600177A (zh) * 2022-10-09 2023-01-13 北京金和网络股份有限公司(Cn) 一种身份认证的方法、装置、存储介质及电子设备
CN115600177B (zh) * 2022-10-09 2024-04-16 北京金和网络股份有限公司 一种身份认证的方法、装置、存储介质及电子设备
CN115688167A (zh) * 2022-10-13 2023-02-03 北京沃东天骏信息技术有限公司 匿踪查询方法、装置和系统及存储介质
CN115688167B (zh) * 2022-10-13 2023-09-26 北京沃东天骏信息技术有限公司 匿踪查询方法、装置和系统及存储介质
CN115544552A (zh) * 2022-11-29 2022-12-30 蓝象智联(杭州)科技有限公司 一种不暴露明文数据的相似性检测方法、装置及存储介质
CN115880789A (zh) * 2023-02-08 2023-03-31 中昊芯英(杭州)科技有限公司 基于加密的人脸识别方法、相关装置和存储介质
CN117786644A (zh) * 2024-02-28 2024-03-29 青岛山科智汇信息科技有限公司 一种人脸自身特征参与加解密的安全人脸识别系统
CN117786644B (zh) * 2024-02-28 2024-05-14 青岛山科智汇信息科技有限公司 一种人脸自身特征参与加解密的安全人脸识别系统

Also Published As

Publication number Publication date
CN114943090B (zh) 2022-11-22

Similar Documents

Publication Publication Date Title
CN114943090B (zh) 一种基于同态加密大规模人脸库隐匿查询的方法
CN108632032B (zh) 无密钥托管的安全多关键词排序检索系统
Ma et al. A secure face-verification scheme based on homomorphic encryption and deep neural networks
CN108156138A (zh) 一种用于雾计算的细粒度可搜索加密方法
CN111143471B (zh) 一种基于区块链的密文检索方法
CN112836222B (zh) 面向智能推荐场景的安全搜索方法及装置
CN107315812B (zh) 一种云环境下基于词袋模型的图像安全检索方法
CN106612320A (zh) 云存储中一种加密数据的去重方法
CN102132288A (zh) 生物体认证系统及其方法
CN109361644B (zh) 一种支持快速搜索和解密的模糊属性基加密方法
CN108959567A (zh) 一种云环境下适用于大规模图像的安全检索方法
CN110166466A (zh) 一种可高效更新权限的多用户可搜索加密方法和系统
Li et al. SPFM: Scalable and privacy-preserving friend matching in mobile cloud
CN106059761A (zh) 一种云存储环境下支持群组共享及密钥更新的加密图像搜索方法
CN106302336A (zh) 一种基于云计算实现用户指纹安全的方法、系统和设备
CN102710417A (zh) 一种基于指纹特征与密钥交换协议的模糊金库方法
Li et al. New secret sharing scheme based on faster R-CNNs image retrieval
CN110298363A (zh) 一种加密图像上的隐私保护lbp特征提取方法
CN113992397A (zh) 一种高效的支持差异化等式测试的公钥加密方法
CN113468440A (zh) 一种基于sf-盲过滤协议的位置隐私保护的匿名查询方法
CN108197491A (zh) 一种基于密文的子图检索方法
CN107454059A (zh) 一种云储存环境下基于序列密码的搜索加密方法
CN109409111B (zh) 一种面向加密图像的模糊搜索方法
CN106203579A (zh) 一种安全的rfid标签随机数自动更新方法
CN108632023A (zh) 一种支持非单调访问结构的密文长度固定的属性基可搜索加密方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant