CN111723395A - 一种人像生物特征隐私保护与解密方法 - Google Patents

一种人像生物特征隐私保护与解密方法 Download PDF

Info

Publication number
CN111723395A
CN111723395A CN202010391145.4A CN202010391145A CN111723395A CN 111723395 A CN111723395 A CN 111723395A CN 202010391145 A CN202010391145 A CN 202010391145A CN 111723395 A CN111723395 A CN 111723395A
Authority
CN
China
Prior art keywords
portrait
network
key
encrypted
identity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010391145.4A
Other languages
English (en)
Other versions
CN111723395B (zh
Inventor
谢巍
余孝源
张浪文
余锦伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202010391145.4A priority Critical patent/CN111723395B/zh
Publication of CN111723395A publication Critical patent/CN111723395A/zh
Application granted granted Critical
Publication of CN111723395B publication Critical patent/CN111723395B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245Protecting personal data, e.g. for financial or medical purposes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/602Providing cryptographic facilities or services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation

Abstract

本发明公开了一种人像生物特征隐私保护与解密方法,包括:人像加密与密钥生成网络模型的构建与训练,根据人脸数据库标注信息,提取人像及其对应的身份信息,作为网络模型的输入,并利用所构建数据对所设计的网络进行训练,最终获得网络模型权重;实际人像加密与密匙存储,利用网络模型对实际采集的人像进行加密与密钥生成,并对加密人像与密钥分离存储;加密人像解密,云端服务器根据用户端的解密需求,协同处理用户的解密任务。本发明将深度学习网络技术应用到人像加密,用于生成具有相似视觉效果的加密人像;将加密人像与密钥分开存储,并利用云端协同处理方式,协助用户进行人像解码,能够降低信息泄露的可能性,实现用户快速解密。

Description

一种人像生物特征隐私保护与解密方法
技术领域
本发明涉及深度学习应用技术领域,具体涉及一种人像生物特征隐私保护与解密方法。
背景技术
生物特征识别凭借其安全性和便捷性在身份认证领域取得了越来越广泛的应用。基于生物特征的身份识别能够解决传统身份识别存在的不安全和不方便等问题。在指纹、人像、掌纹、虹膜、视网膜、声音、步态等生物特征中,人像因其较高的通用性、唯一性、永久性、可获得性、可接受性成为用于身份识别最广泛的生物特征之一。近年来,人像识别取得了非常显著的研究成果,识别率和识别速度均有大幅度的提高。
新一代人工智能的崛起,在给人类带来惊喜和更高生产力的同时,也引发了一些如何避免人工智能挑战人类安全或社会伦理道德的担忧。其中不乏互联网巨头出现严重数据泄露导致用户隐私泄露的问题,给企业的数据管理和使用敲响了警钟,对数据的隐私保护重视成为大势所趋。在我国,人工智能已经渗透到日常生活、工作的方方面面,不论是个人还是企业,都是当中的参与者,面对AI应用所带来的一系列安全与隐私保护问题,值得每个人的重视并获得更好的解决方案。近年来,嵌入式技术的发展突飞猛进,各式各样的嵌入式产品在工业控制、国防安全、数字通讯中发挥着重要的作用。嵌入式处理器的性能越来越高,成本越来越低,应用开发部署越来越快速,这个发展趋势越来越明显。
关于个人隐私的案例大量出现,这些行为引发了大量的愤怒、诉讼抗议。实际上,人像识别技术所创造的价值是巨大的,如果因为个人隐私问题就直接禁用,那么只能是一种短视或者短期行为。享受人工智能带来的“红利”的同时,面临隐私被非法使用的困境。对于人脸识别技术的使用需要平衡,仅仅靠规范人像识别技术企业和使用这些技术的机构是不够的。针对上述的人脸识别技术的隐私保护问题,关键是如何设计相应的加密算法,对具有人像生物特征的图像进行保护,并且设计合理的数据存储形式,使到加密人像与密钥的分开存储,降低信息泄露风险。
发明内容
本发明针对当前行业中存在的人像加密与解密技术的缺陷,提出一种人像生物特征隐私保护与解密方法,首先,利用深度学习网络框架,设计并训练一种用于人像加密与密钥生成的网络模型,实现对具有生物特征的人像的加密工作;接着,利用加密人像与密钥分离存储的方式,实现加密人像及其密匙的分离保护;最后,提供加密人像的解密方法,利用云端服务器协同处理的方式,实现用户的快速解密。
本发明的目的通过以下的技术方案实现:
一种人像生物特征隐私保护与解密方法,所述的方法包括以下步骤:
S1、构建与训练人像加密与密钥生成网络模型步骤,首先利用现有的人脸数据库的标注信息,提取人像及其对应的身份信息,构建训练数据集;设计人像加密与密钥生成网络模型,该网络模型包括三个子网络,分别是用于提取身份特征的人像身份特征提取子网络、用于提取人像重点区域的注意力机制子网络,以及用于生成加密人像与密钥的人像加密与密钥生成子网络;最后,利用构建的训练数据集,对所设计的人像加密与密钥生成网络模型进行训练,通过优化网络参数,实现网络模型的收敛;
S2、实际人像加密与密匙存储步骤,针对实际采集的人像图像,利用训练完毕的人像加密与密钥生成网络模型,对人像进行加密与密钥生成,以获得的加密人像及其密钥作为存储对象,分别将加密人像上传到云端服务器,将与之对应的唯一密匙保存在本地服务器,本地服务器拥有密匙的读取权限;
S3、加密人像的解密步骤,针对用户端的加密人像的解密需求,云端服务器协同处理用户端与本地服务器之间的任务响应,实现用户对加密人像的解密,首先,用户调入加密人像,向云端服务器进行人像解密申请;接着,云端服务器核实用户申请后,协同处理任务需求,控制本地服务器调入相应的人像密钥;最后,用户获得密钥后,对加密人像进行解密。
进一步地,所述的步骤S1中构建训练数据集过程如下:
提取人像身份特征构建第一网络训练数据集,利用VGG-face数据集中的人像身份特征标注信息,构建具有同一身份信息的人像数据
Figure BDA0002485797750000031
Figure BDA00024857977500000311
其中
Figure BDA0002485797750000032
表示具有身份信息mi的第j张人像,并以此作为人像身份特征提取子网络的输入图像,对应的身份信息mi则作为人像身份特征提取子网络的优化目标;
通过人像数据分组与标准化构建第二网络训练数据集,将VGG-face数据集中已经构建的具有同一身份信息的人像数据
Figure BDA0002485797750000033
分为两组,即
Figure BDA0002485797750000034
Figure BDA0002485797750000035
其中
Figure BDA0002485797750000036
表示具有身份信息mi的第1张人像数据,
Figure BDA0002485797750000037
表示具有身份信息mi的c-1张人像数据;利用人脸定位算法MTCNN对人像数据
Figure BDA0002485797750000038
进行标准化处理,获得大小为160×160的标准人像Ist,并以此作为网络模型优化的目标,而具有相同身份信息的其他人像数据
Figure BDA0002485797750000039
作为网络模型的输入图像。
进一步地,所述的人像身份特征提取子网络的构建过程如下:首先,设计基于残差网络的人脸分类网络Gf,用于生成人像数据的分类归一化向量;接着,利用人像数据
Figure BDA00024857977500000310
对人脸分类网络进行训练,直到人脸分类网络收敛;最后,在人像分类网络训练完毕后,舍去该网络的最后一层全连接层,以剩余的网络结构以及网络参数作为人像身份特征提取子网络
Figure BDA0002485797750000043
用于提取输入人像的身份特征向量;
所述的注意力机制子网络,其输入为人像数据X,包括16个残差卷积模块,通过对输入人像进行特征编译,获得图像掩模mask,并利用组合的方式,输出重点人像区域Ix=mask⊙X,其中⊙表示矩阵的逐元素相乘的操作;
所述的人像加密与密钥生成子网络,其输入为人像重点区域Ix以及人像身份特征
Figure BDA0002485797750000041
该人像加密与密钥生成子网络包括编码器网络Gencode、特征融合器E、解码器网络Gdecode,其中编码器网络Gencode结合重点人像区域Ix提取人像的潜在特征,特征融合器E利用向量元素串联的形式,将人像潜在特征与人像身份特征进行特征融合,获得融合特征;解码器网络Gdecode利用融合特征生成加密人像及其密钥。
进一步地,所述的人像加密与密钥生成网络模型的工作流程如下:
首先,将输入人像数据X输入到人像身份特征提取子网络进行人像身份特征Fid提取,同时,将输入人像数据X输入到注意力机制子网络GM中,生成对应人像掩模mask,并与输入人像数据X进行组合操作,获得重点人像区域Ix
接着,将重点人像区域Ix输入到编码器网络Gencode,提取人像的图像潜在特征Fmap
特征融合器E利用以下的向量元素串联的形式,再将人像潜在特征与人像身份特征进行融合,获得融合特征:
Figure BDA0002485797750000042
其中Tan(·)表示向量的元素串联操作;
融合特征输入到解码器网络Gdecode中,进行高维度特征表征信息Fh生成;
最后,高维度特征表征信息Fh分别经过两个不同核大小的卷积层操作后,获得加密人像Z及其密匙M:
Figure BDA0002485797750000051
其中conv3×3(·)与conv1×1(·)分别表示核大小为3×3和1×1的卷积层操作。
进一步地,所述的步骤S1中对人像加密与密钥生成网络模型进行训练是通过优化损失函数,实现模型的收敛,其中,所述的损失函数设计过程如下:
优化身份特征提取子网络中人像分类的差异,设置分类损失函数如下所示:
Figure BDA0002485797750000052
其中
Figure BDA0002485797750000053
y′i表示身份特征提取子网络对第i类人像的提取结果,y′l表示身份特征提取子网络对第l类人像的提取结果,n表示训练数据集中人像总类别数,mi表示第i类人像的身份信息的向量化表示;e表示自然常数;
优化加密人像Z与输入人像数据X之间的神似程度,设计人像神似程度的损失函数,即加密人像Z与输入人像数据X之间的具有类似的视觉效果,人像神似程度的损失函数表述式如下:
Figure BDA0002485797750000054
其中H与W分别是输出的图像大小;
优化加密人像Z的身份特征差异,以人像身份特征提取子网络进行人像特征提取,并以标准人像Ist为中间比对值,其身份特征差异的损失函数表达式如下
Figure BDA0002485797750000055
其中
Figure BDA0002485797750000056
Zi表示第i类输入人像的加密结果,
Figure BDA0002485797750000057
表示第i类输入人像所对应的标准人像;k表示训练数据集中人像类别总数,
Figure BDA0002485797750000058
表示人像身份特征提取子网络对加密人像Z处理的结果;
Figure BDA0002485797750000059
表示人像身份特征提取子网络对标准人像
Figure BDA00024857977500000510
处理的结果;
整个人像加密与密钥生成网络模型的训练损失函数如下:
L=Lid+Lface+LidF
通过优化该损失函数,实现模型的收敛,生成加密人像及其密匙。
进一步地,所述的步骤S2中,人像数据采集是针对具有人脸图像的视频流或者监控画面,当针对公共安全问题时,人像数据采集所需的摄像头布置在人员流动性大的各个重点区域,包括交通路口摄像头、火车站流动点;当针对户口管理问题时,人像数据采集所需的摄像头布置在人口登记办公室区域。
进一步地,所述的步骤S2的过程如下:
首先,利用人脸定位算法MTCNN,获取实际图像中的人像区域;
接着,利用训练完毕的人像加密与密钥生成网络的结构及参数对实际人像进行加密,并生成加密人像及其密钥;
最后,在获得加密人像及其密钥后,将加密人像上传至云端服务器,而与之对应的唯一性密匙则保存在本地服务器,实现加密人像与密匙的分离存储,本地服务器保留密匙的读取权限。
进一步地,所述的步骤S3的过程如下:
首先,当用户需要对加密人像进行解密时,用户需向服务器云端提出申请;
接着,云端服务器根据用户申请内容与加密人像信息,定位至对应的本地服务器;
再次,云端服务器根据协同处理的原则与本地服务器进行通信后,本地服务器将对应的密匙授权于用户;
最后,用户在获得密钥后,对加密人像进行解密。
本发明相对于现有技术具有如下的优点及效果:
本发明将深度学习网络技术应用到人像生物特征隐私保护与解密中,对具有生物特征的人像图像进行准确加密,能够在保证加密人像与输入人像之间具有视觉效果相似性的同时,两者之间的身份特征存在较大差异,进而使到加密人像能够混淆人像识别算法,达到人像特征隐私保护的目的;用加密人像与密钥分离存储的方式,实现加密人像、密匙分离保护;并且,所提供的图像解密方法,能够利用云端服务器的协同处理方式,实现用户的快速图像解密。
附图说明
图1是本发明中人像生物特征隐私保护与解密方法的整体架构图;
图2是本发明中网络模型的训练流程图;
图3是本发明中基于编码解码框架与注意力机制的人像特征加密方法流程图;
图4是本发明中注意力机制网络基本结构图;
图5是本发明中人像身份特征提取子网络基本结构图;
图6是本发明中编码器基本结构图;
图7是本发明中解码器基本结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例
本实施例在网络架构设计的技术主要涉及如下几类技术:1)人像加密与密匙生成方法:利用注意力机制以及编码解码器网络对人像图像精准加密,同时,对输入人像数据所提取的人像身份特征向量对所加密的结果进行身份特征的限定,使到所加密的人像与输入的人像数据具有相似的视觉效果;2)加密人像与密匙存储方式:根据谁上传谁有权的原则,对实际采集的人脸图像进行加密后,加密人像上传到云端服务器,而与之对应的唯一性密匙则保存在本地服务器,本地保留密匙的读取权限;3)人像解密方式:云端服务器采用协同处理的方式,处理用户申请与本地服务器密钥授权,实现用户的快速、安全解密。
本发明的网络架构设计基于TensorFlow框架和Pycharm开发环境:TensorFlow框架是基于python语言的开发架构,能够方便快捷地搭建合理的深度学习网络,同时具有很好的跨平台交互能力。TensorFlow提供深度学习架构中的众多封装函数和各类图像处理函数的接口,包括OpenCV相关的图像处理函数。TensorFlow框架同时能够使用GPU对模型进行训练和验证,提高了计算的效率。
在Windows平台或者Linux平台下的Pycharm开发环境成开发环境(IDE),是目前深度学习网路设计与开发的首选之一。Pycharm为客户提供了新的模板、设计工具以及测试和调试工具,同时能够为客户提供直接调用远程服务器的接口。
下面结合实施例及附图对本实施例作进一步详细的描述,但本发明的实施方式不限于此。
本实施例中提供的一种人像生物特征隐私保护与解密方法,步骤包括构建与训练人像加密与密钥生成网络模型、实际人像加密与密钥存储以及加密人像的解密。
在构建与训练人像加密与密钥生成网络模型步骤中,首先,对现有的人脸数据库进行处理,通过利用数据库的标注信息,提取人像及其对应的身份信息构建训练模型的数据集;接着,设计人像加密与密钥生成网络模型,该网络模型包括三个子网络,分别是用于提取身份特征的人像身份特征提取子网络、用于提取人像重点区域的注意力机制子网络,以及用于生成加密人像与密钥的人像加密与密钥生成子网络;最后,利用构建的数据集对所设计的人像加密与密钥生成网络模型进行训练,优化网络参数,直到网络模型的收敛,获得人像加密与密钥生成网络的结构与权重。
在实际人像加密与存储步骤中,首先,以实际采集的人像作为输入,利用训练完毕的人像加密与密钥生成网络对其进行加密,接着,将所获得的加密人像及其密钥作为存储对象,分别将加密人像上传到云端服务器,与之对应的唯一性密匙则保存在本地服务器,并且本地服务器保留密匙的读取权限。
在加密人像解密步骤中:首先,调入加密人像后,用户需要向云端服务器进行图像解密申请;然后,云端服务器核实用户申请后,协同本地服务器调入相应的密钥;最后,用户获得密钥后,对加密人像进行解密,并可以将解密结果运用于人像识别等实际应用。
如图1是本实施例公开的一种人像生物特征隐私保护与解密方法的整体架构图。具体的步骤如下:
步骤S1、构建与训练人像加密与密钥生成网络模型。该部分主要分为人像身份特征提取子网络训练、人像加密与密匙生成网络整体训练。首先,需要对人像身份特征提取子网络进行训练,主要过程如下:a)利用人像身份标注信息,对人脸数据库VGG-face进行人像数据整合;b)利用上述数据对人像身份特征提取子网络进行训练后,获得子网络结构以及权重。接着,在人像加密与密匙生成网络整体训练中,主要过程如下:a)数据库VGG-face的数据按人像身份信息进行分组,选择同一组内一张人像,进行标准化处理,获得标准人像,并作为网络优化目标;组内其余人像作为人像加密与密匙生成网络的输入;b)在获得上述数据后,对人像加密与密匙生成网络进行训练,其中人像身份特征提取子网络的权重不更新,最终获得人像加密与密匙生成网络的结构与权重。具体如图2所示,图2为网络训练的流程图。
具体的,人像加密与密匙生成网络的整体流程图如附图3所示。整个网络模型主要包含有三个子网络,分别对应用于提取身份特征的人像身份特征提取子网络、用于提取重点人像区域的注意力机制子网络,以及用于生成加密人像与密钥的人像加密与密钥生成子网络。附图4为人像身份特征提取子网络结构,附图5为注意力机制子网络结构。
主要的参数如下:
A、人像身份特征提取子网络结构主要包括1个卷积核大小为7卷积层、1个步长为2的池化层以及16个具有不同卷积核大小的残差模块,最后通过1个核大小为7步长为5的全局池化层,获得2048×1维的特征向量。其中,每个残差模块包含1个卷积核大小为1的卷积层、1个整流线性单元以及1个卷积核大小为3的卷积层。此外,3R代表3个残差模块进行级联,以此类推。具体如图4所示,附图4为人像身份特征提取子网络结构。
B、注意力机制子网络结构由多个卷积、反卷积层构成,包括4个卷积层、1个全局平均池化层和5个反卷积层,所有卷积层的卷积核大小为5步长为1,全局平局池化层是对通道进行平均,最后生成1通道的注意力掩摸。具体如图5所示,附图5为注意力机制子网络结构。
C、人像加密与密钥生成子网络包含有编码器、特征融合器以及解码器三个部分。具体如下:
编码器具体结构是包括3个卷积层以及6个残差模块,每个残差模块包含2个卷积层和1个整流线性单元;所有的卷积层的卷积核大小为3,步长为2;其中第2个残差模块的输出特征,与后端的解码器进行跳跃连接,提高网络的稳定性;具体如图6所示,附图6为编码器具体结构。
特征融合器是用于融合编码器输出的人像潜在特征以及人像身份提取子网络所提取的人像身份特征,并将融合结果输入到解码器中。
解码器具体结构是包括3个卷积层,5个残差模块,3个反卷积层以及1个级联操作层;每个残差模块包含2个卷积层和1个整流线性单元;级联操作层是将编码器输出的潜在特征与第2个反卷积的结果在通道上进行级联;除了最后的加密图像和密匙生成所需的卷积层外,所有的卷积层的卷积核大小为3,步长为2;而生成加密图像所需的卷积层的卷积核大小为3,步长为2,生成通道数为3的加密图像;生成密匙所需的卷积层的卷积核大小为1,步长为2,生成通道数为1的密匙。具体如图7所示,附图7位解码器具体结构。
模型的训练是在高性能的GPU上进行的,具体的训练参数设计如下:可以使用Adam优化器,其参数设置为0.9/0.999;学习率的设置为0.0001;训练的epoch设置为500;训练的batch设置依据数据的训练样本而定。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。

Claims (8)

1.一种人像生物特征隐私保护与解密方法,其特征在于,所述的方法包括以下步骤:
S1、构建与训练人像加密与密钥生成网络模型步骤,首先利用现有的人脸数据库的标注信息,提取人像及其对应的身份信息,构建训练数据集;设计人像加密与密钥生成网络模型,该网络模型包括三个子网络,分别是用于提取身份特征的人像身份特征提取子网络、用于提取人像重点区域的注意力机制子网络,以及用于生成加密人像与密钥的人像加密与密钥生成子网络;最后,利用构建的训练数据集,对所设计的人像加密与密钥生成网络模型进行训练,通过优化网络参数,实现网络模型的收敛;
S2、实际人像加密与密匙存储步骤,针对实际采集的人像图像,利用训练完毕的人像加密与密钥生成网络模型,对人像进行加密与密钥生成,以获得的加密人像及其密钥作为存储对象,分别将加密人像上传到云端服务器,将与之对应的唯一密匙保存在本地服务器,本地服务器拥有密匙的读取权限;
S3、加密人像的解密步骤,针对用户端的加密人像的解密需求,云端服务器协同处理用户端与本地服务器之间的任务响应,实现用户对加密人像的解密,首先,用户调入加密人像,向云端服务器进行人像解密申请;接着,云端服务器核实用户申请后,协同处理任务需求,控制本地服务器调入相应的人像密钥;最后,用户获得密钥后,对加密人像进行解密。
2.根据权利要求1所述的一种人像生物特征隐私保护与解密方法,其特征在于,所述的步骤S1中构建训练数据集过程如下:
提取人像身份特征构建第一网络训练数据集,利用VGG-face数据集中的人像身份特征标注信息,构建具有同一身份信息的人像数据
Figure FDA0002485797740000011
Figure FDA0002485797740000021
其中
Figure FDA0002485797740000022
表示具有身份信息mi的第j张人像,并以此作为人像身份特征提取子网络的输入图像,对应的身份信息mi则作为人像身份特征提取子网络的优化目标;
通过人像数据分组与标准化构建第二网络训练数据集,将VGG-face数据集中已经构建的具有同一身份信息的人像数据
Figure FDA0002485797740000023
分为两组,即
Figure FDA0002485797740000024
Figure FDA0002485797740000025
其中
Figure FDA0002485797740000026
表示具有身份信息mi的第1张人像数据,
Figure FDA0002485797740000027
表示具有身份信息mi的c-1张人像数据;利用人脸定位算法MTCNN对人像数据
Figure FDA0002485797740000028
进行标准化处理,获得大小为160×160的标准人像Ist,并以此作为网络模型优化的目标,而具有相同身份信息的其他人像数据
Figure FDA00024857977400000211
作为网络模型的输入图像。
3.根据权利要求1所述的一种人像生物特征隐私保护与解密方法,其特征在于,
所述的人像身份特征提取子网络的构建过程如下:首先,设计基于残差网络的人脸分类网络Gf,用于生成人像数据的分类归一化向量;接着,利用人像数据
Figure FDA0002485797740000029
对人脸分类网络进行训练,直到人脸分类网络收敛;最后,在人像分类网络训练完毕后,舍去该网络的最后一层全连接层,以剩余的网络结构以及网络参数作为人像身份特征提取子网络
Figure FDA00024857977400000212
用于提取输入人像的身份特征向量;
所述的注意力机制子网络,其输入为人像数据X,包括16个残差卷积模块,通过对输入人像进行特征编译,获得图像掩模mask,并利用组合的方式,输出重点人像区域Ix=mask⊙X,其中⊙表示矩阵的逐元素相乘的操作;
所述的人像加密与密钥生成子网络,其输入为人像重点区域Ix以及人像身份特征
Figure FDA00024857977400000210
该人像加密与密钥生成子网络包括编码器网络Gencode、特征融合器E、解码器网络Gdecode,其中编码器网络Gencode结合重点人像区域Ix提取人像的潜在特征,特征融合器E利用向量元素串联的形式,将人像潜在特征与人像身份特征进行特征融合,获得融合特征;解码器网络Gdecode利用融合特征生成加密人像及其密钥。
4.根据权利要求3所述的一种人像生物特征隐私保护与解密方法,其特征在于,所述的人像加密与密钥生成网络模型的工作流程如下:
首先,将输入人像数据X输入到人像身份特征提取子网络进行人像身份特征Fid提取,同时,将输入人像数据X输入到注意力机制子网络GM中,生成对应人像掩模mask,并与输入人像数据X进行组合操作,获得重点人像区域Ix
接着,将重点人像区域Ix输入到编码器网络Gencode,提取人像的图像潜在特征Fmap
特征融合器E利用以下的向量元素串联的形式,再将人像潜在特征与人像身份特征进行融合,获得融合特征:
Figure FDA0002485797740000031
其中Tan(·)表示向量的元素串联操作;
融合特征输入到解码器网络Gdecode中,进行高维度特征表征信息Fh生成;
最后,高维度特征表征信息Fh分别经过两个不同核大小的卷积层操作后,获得加密人像Z及其密匙M:
Figure FDA0002485797740000032
其中conv3×3(·)与conv1×1(·)分别表示核大小为3×3和1×1的卷积层操作。
5.根据权利要求4所述的一种人像生物特征隐私保护与解密方法,其特征在于,所述的步骤S1中对人像加密与密钥生成网络模型进行训练是通过优化损失函数,实现模型的收敛,其中,所述的损失函数设计过程如下:
优化身份特征提取子网络中人像分类的差异,设置分类损失函数如下所示:
Figure FDA0002485797740000041
其中
Figure FDA0002485797740000042
y′i表示身份特征提取子网络对第i类人像的提取结果,y′l表示身份特征提取子网络对第l类人像的提取结果,n表示训练数据集中人像总类别数,mi表示第i类人像的身份信息的向量化表示;e表示自然常数;
优化加密人像Z与输入人像数据X之间的神似程度,设计人像神似程度的损失函数,即加密人像Z与输入人像数据X之间的具有类似的视觉效果,人像神似程度的损失函数表述式如下:
Figure FDA0002485797740000043
其中H与W分别是输出的图像大小;
优化加密人像Z的身份特征差异,以人像身份特征提取子网络进行人像特征提取,并以标准人像Ist为中间比对值,其身份特征差异的损失函数表达式如下
Figure FDA0002485797740000044
其中
Figure FDA0002485797740000045
Zi表示第i类输入人像的加密结果,
Figure FDA0002485797740000046
表示第i类输入人像所对应的标准人像;k表示训练数据集中人像类别总数,
Figure FDA0002485797740000047
表示人像身份特征提取子网络对加密人像Z处理的结果;
Figure FDA0002485797740000048
表示人像身份特征提取子网络对标准人像
Figure FDA0002485797740000049
处理的结果;
整个人像加密与密钥生成网络模型的训练损失函数如下:
L=Lid+Lface+LidF
通过优化该损失函数,实现模型的收敛,生成加密人像及其密匙。
6.根据权利要求1所述的一种人像生物特征隐私保护与解密方法,其特征在于,所述的步骤S2中,人像数据采集是针对具有人脸图像的视频流或者监控画面,当针对公共安全问题时,人像数据采集所需的摄像头布置在人员流动性大的各个重点区域,包括交通路口摄像头、火车站流动点;当针对户口管理问题时,人像数据采集所需的摄像头布置在人口登记办公室区域。
7.根据权利要求1所述的一种人像生物特征隐私保护与解密方法,其特征在于,所述的步骤S2的过程如下:
首先,利用人脸定位算法MTCNN,获取实际图像中的人像区域;
接着,利用训练完毕的人像加密与密钥生成网络的结构及参数对实际人像进行加密,并生成加密人像及其密钥;
最后,在获得加密人像及其密钥后,将加密人像上传至云端服务器,而与之对应的唯一性密匙则保存在本地服务器,实现加密人像与密匙的分离存储,本地服务器保留密匙的读取权限。
8.根据权利要求1所述的一种人像生物特征隐私保护与解密方法,其特征在于,所述的步骤S3的过程如下:
首先,当用户需要对加密人像进行解密时,用户需向服务器云端提出申请;
接着,云端服务器根据用户申请内容与加密人像信息,定位至对应的本地服务器;
再次,云端服务器根据协同处理的原则与本地服务器进行通信后,本地服务器将对应的密匙授权于用户;
最后,用户在获得密钥后,对加密人像进行解密。
CN202010391145.4A 2020-05-11 2020-05-11 一种人像生物特征隐私保护与解密方法 Active CN111723395B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010391145.4A CN111723395B (zh) 2020-05-11 2020-05-11 一种人像生物特征隐私保护与解密方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010391145.4A CN111723395B (zh) 2020-05-11 2020-05-11 一种人像生物特征隐私保护与解密方法

Publications (2)

Publication Number Publication Date
CN111723395A true CN111723395A (zh) 2020-09-29
CN111723395B CN111723395B (zh) 2022-11-18

Family

ID=72564822

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010391145.4A Active CN111723395B (zh) 2020-05-11 2020-05-11 一种人像生物特征隐私保护与解密方法

Country Status (1)

Country Link
CN (1) CN111723395B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112580011A (zh) * 2020-12-25 2021-03-30 华南理工大学 一种面向生物特征隐私保护的人像加解密系统
CN112800454A (zh) * 2021-03-22 2021-05-14 北京焦点新干线信息技术有限公司 案场数据的处理方法、相关装置及计算机可读介质
CN113190858A (zh) * 2021-04-20 2021-07-30 中国人民大学 一种基于隐私保护的图像处理方法、系统、介质和设备
CN113923315A (zh) * 2021-12-13 2022-01-11 湖南菠萝互娱网络信息有限公司 一种图像云存储防泄露的加密系统及方法
CN113992810A (zh) * 2021-10-21 2022-01-28 浙江工商大学 一种基于深度学习的敏捷图像加密方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103886235A (zh) * 2014-03-03 2014-06-25 杭州电子科技大学 一种正面人脸图像生物密钥生成方法
CN108989603A (zh) * 2018-07-18 2018-12-11 上海理工大学 基于自编码器结合关联成像的图像加密方法
CN109995520A (zh) * 2019-03-06 2019-07-09 西北大学 基于深度卷积神经网络的密钥传输方法、图像处理平台
WO2019173562A1 (en) * 2018-03-07 2019-09-12 Open Inference Holdings LLC Systems and methods for privacy-enabled biometric processing

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103886235A (zh) * 2014-03-03 2014-06-25 杭州电子科技大学 一种正面人脸图像生物密钥生成方法
WO2019173562A1 (en) * 2018-03-07 2019-09-12 Open Inference Holdings LLC Systems and methods for privacy-enabled biometric processing
CN108989603A (zh) * 2018-07-18 2018-12-11 上海理工大学 基于自编码器结合关联成像的图像加密方法
CN109995520A (zh) * 2019-03-06 2019-07-09 西北大学 基于深度卷积神经网络的密钥传输方法、图像处理平台

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
林青等: "基于正交基函数神经网络的图像加密算法仿真", 《计算机仿真》 *
章坚武等: "基于生物特征和混沌映射的多服务器身份认证方案", 《电信科学》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112580011A (zh) * 2020-12-25 2021-03-30 华南理工大学 一种面向生物特征隐私保护的人像加解密系统
CN112580011B (zh) * 2020-12-25 2022-05-24 华南理工大学 一种面向生物特征隐私保护的人像加解密系统
CN112800454A (zh) * 2021-03-22 2021-05-14 北京焦点新干线信息技术有限公司 案场数据的处理方法、相关装置及计算机可读介质
CN112800454B (zh) * 2021-03-22 2021-08-13 北京焦点新干线信息技术有限公司 案场数据的处理方法、相关装置及计算机可读介质
CN113190858A (zh) * 2021-04-20 2021-07-30 中国人民大学 一种基于隐私保护的图像处理方法、系统、介质和设备
CN113190858B (zh) * 2021-04-20 2024-02-02 中国人民大学 一种基于隐私保护的图像处理方法、系统、介质和设备
CN113992810A (zh) * 2021-10-21 2022-01-28 浙江工商大学 一种基于深度学习的敏捷图像加密方法
CN113923315A (zh) * 2021-12-13 2022-01-11 湖南菠萝互娱网络信息有限公司 一种图像云存储防泄露的加密系统及方法
CN113923315B (zh) * 2021-12-13 2022-03-29 湖南菠萝互娱网络信息有限公司 一种图像云存储防泄露的加密系统

Also Published As

Publication number Publication date
CN111723395B (zh) 2022-11-18

Similar Documents

Publication Publication Date Title
CN111723395B (zh) 一种人像生物特征隐私保护与解密方法
CN109934116B (zh) 一种基于生成对抗机制与注意力机制的标准人脸生成方法
Del Rio et al. Automated border control e-gates and facial recognition systems
Yin et al. Deep learning-aided OCR techniques for Chinese uppercase characters in the application of Internet of Things
CN112766422B (zh) 一种基于轻量级人脸识别模型的隐私保护方法
CN112801054A (zh) 人脸识别模型的处理方法、人脸识别方法及装置
Sheng et al. Template-free biometric-key generation by means of fuzzy genetic clustering
US11182466B2 (en) User authentication apparatus and recording media
Moradi et al. A real-time biometric encryption scheme based on fuzzy logic for IoT
Ramakrishnan et al. An efficient automatic attendance system using fingerprint reconstruction technique
Martin et al. A biometric encryption system for the self-exclusion scenario of face recognition
CN112580011B (zh) 一种面向生物特征隐私保护的人像加解密系统
CN112800452B (zh) 用户身份图像处理和识别的方法及装置
CN113537516B (zh) 分布式机器学习模型的训练方法、装置、设备和介质
Kennedy Okokpujie et al. A secured automated bimodal biometric electronic voting system
Malviya E-voting system using cloud in Indian scenario
CN115708135A (zh) 人脸识别模型的处理方法、人脸识别方法及装置
Opris et al. Biometric multi-factor authentication scheme in cloud computing
Ataliya et al. Web based access card generation using face recognition: a technical review
El Khoury Iris biometric model for secured network access
Ma Face recognition technology and privacy protection methods based on deep learning
Uddin et al. Data Repossession by Optimized Blow Fish Algorithm In Ml and Multistage Authentication in Cloud
WO2024007095A1 (zh) 一种门禁系统人脸数据的安全加密方法和系统
Al-Ayed Zero-Trust Model of Cybersecurity: A Significant Challenge in the Future
Jain et al. Enhancing database security for facial recognition using Fernet encryption approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant