CN112580011A - 一种面向生物特征隐私保护的人像加解密系统 - Google Patents

一种面向生物特征隐私保护的人像加解密系统 Download PDF

Info

Publication number
CN112580011A
CN112580011A CN202011564745.2A CN202011564745A CN112580011A CN 112580011 A CN112580011 A CN 112580011A CN 202011564745 A CN202011564745 A CN 202011564745A CN 112580011 A CN112580011 A CN 112580011A
Authority
CN
China
Prior art keywords
portrait
network
encryption
image
identity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011564745.2A
Other languages
English (en)
Other versions
CN112580011B (zh
Inventor
谢巍
余孝源
张浪文
余锦伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202011564745.2A priority Critical patent/CN112580011B/zh
Publication of CN112580011A publication Critical patent/CN112580011A/zh
Application granted granted Critical
Publication of CN112580011B publication Critical patent/CN112580011B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/04Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/001Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols using chaotic signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0861Generation of secret information including derivation or calculation of cryptographic keys or passwords
    • H04L9/0866Generation of secret information including derivation or calculation of cryptographic keys or passwords involving user or device identifiers, e.g. serial number, physical or biometrical information, DNA, hand-signature or measurable physical characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/44Secrecy systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Computer Hardware Design (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Facsimile Transmission Control (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明属于数字图像处理技术领域,涉及一种面向生物特征隐私保护的人像加解密系统,包括:人像数据采集系统、人像特征提取系统、基于数据传输能力的网络传输能力判断系统、基于编码解码框架与身份特征的人像图像加解密系统、基于混沌系统的人像特征向量加解密系统。基于数据传输能力的网络传输能力判断系统主要依据传输网络的宽带传输能力和前端一体机所连接服务器类型的不同,选择基于编码解码框架与身份特征的人像图像加解密系统或基于混沌系统的人像特征向量加解密系统。本发明通过二种加密系统的协同配合,实现了人像生物特征的实时加密,减少数据泄露的可能性,同时在服务器端对加密数据进行解码,进而保证人像识别的准确性。

Description

一种面向生物特征隐私保护的人像加解密系统
技术领域
本发明属于数字图像处理技术领域,涉及一种面向生物特征隐私保护的人像加解密系统。
背景技术
生物特征识别凭借其安全性和便捷性在身份认证领域取得越来越广泛地应用。基于生物特征的身份识别能够解决传统身份识别存在的不安全和不方便等问题。在指纹、人脸、掌纹、虹膜、视网膜、声音、步态等生物特征中,人脸因其较高的通用性、唯一性、永久性、可获得性、可接受性成为用于身份识别最广泛的生物特征之一。近年来,人脸识别取得了非常显著的研究成果,识别率和识别速度均有大幅度的提高。
然而,现有人脸识别系统存在数据传输安全性不高、加密方式单一及加密程度不够等问题。
发明内容
本发明针对现存人脸识别系统中数据传输安全性不高、加密方式单一以及加密程度不够问题,提供一种面向生物特征隐私保护的人像加解密系统。
本发明采用如下技术方案实现:
一种面向生物特征隐私保护的人像加解密系统,包括:人像数据采集系统、人像特征提取系统、基于数据传输能力的网络传输能力判断系统、基于编码解码框架与身份特征的人像图像加解密系统、基于混沌系统的人像特征向量加解密系统,其中:
基于编码解码框架与身份特征的人像图像加解密系统使在实现人像加密的同时,能够保证人像身份信息的一致性,并能够利用密钥实现对加密人像的解密处理;包括:部署在前端一体机上的基于编码解码框架与身份特征的人像图像加密网络和部署在公共云端的对称式的人像图像解密网络及人脸识别系统。
基于混沌系统的人像特征向量加解密系统包括:部署在前端一体机上的基于混沌系统的人像特征向量加密网络和部署在本地服务器的人像特征向量解密网络及基于特征匹配的人脸识别系统。
优选地,基于数据传输能力的网络传输能力判断系统主要依据传输网络的宽带传输能力和前端一体机所连接服务器类型的不同,选择基于编码解码框架与身份特征的人像图像加解密系统或基于混沌系统的人像特征向量加解密系统。
前端一体机所连接服务器类型包括:本地服务器和公共云端,其中本地服务器是指具有较小存储空间以及低算力的本地服务器,公共云端是指具有大存储空间以及高算力的公共云端集群。
传输网络的宽带传输能力的判别指标包括:传输速率、数据吞吐量、网络利用率。假如标准传输速率为Tv0、标准数据吞吐量为Dt0、标准网络利用率为Nu0。当一个传输网络的传输速率、数据吞吐量和网络利用率分别为Tv、Dt和Nu时,传输网络的传输能力按以下公式计算:
Figure BDA0002860283430000021
其中:λ1、λ2和λ3为权重参数,取值为0到1之间。若Score的得分大于1.5,则表示网络的传输速率、数据吞吐量以及网络利用率指标较高,因此,所传输的内容采用加密图像,选择基于编码解码框架与身份特征的人像图像加解密系统;若Score的得分小于1.5,则系统传输内容为加密特征向量,选择基于混沌系统的人像特征向量加解密系统。
优选地,基于混沌系统的人像特征向量加密系统构建过程包括:构建人像特征提取网络的训练数据集、人像身份特征提取网络的构建与训练、构建多项混沌函数组、人像特征向量的加密。其中:
构建人像特征提取网络的训练数据集主要是利用现有的人脸数据库的标注信息,提取人像及其对应的身份信息,构建人像身份训练数据。
优选地,人像身份特征提取网络的训练数据集是利用VGG-face数据集中的人像身份特征标注信息,构建具有同一身份信息的人像数据
Figure BDA0002860283430000031
i=1,2,...,n,j=1,2,...,c,其中
Figure BDA0002860283430000032
表示第i类人像的第j张人像图,并以此作为人像身份特征提取网络的输入图像,mi为第i类人像的向量表示,作为人像身份特征提取网络的优化目标。
人像身份特征提取网络的构建与训练主要指设计人像身份特征提取网络,用于寻找人像的身份特征,并利用构建的人像身份训练数据集对人像身份特征提取网络进行训练,获得人像身份特征提取子网络模型与参数。
优选地,人像身份特征提取网络的构建与训练,主要过程包括:
首先,设计基于残差网络的人像分类网络Gf,对人脸数据进行分类;
接着,利用人像数据
Figure BDA0002860283430000033
对人像分类网络Gf进行训练,直到人像分类网络Gf收敛;其训练优化损失函数设置如下所示:
Figure BDA0002860283430000034
其中:
Figure BDA0002860283430000035
yi'表示人像分类网络Gf对第i类人像的提取结果,y'k表示人像分类网络Gf对第k类人像的提取结果,mi表示第i类人像的向量表示,e表示自然常数。
最后,在人像分类网络Gf训练完毕后,舍去人像分类网络Gf的最后一层全连接层,以剩余的网络结构以及网络参数作为人像身份特征提取子网络
Figure BDA0002860283430000041
用于提取输入人像的身份特征向量。
需要说明的是,无论是在人像特征提取或者人像图像加密网络中,人像特征提取网络的参数在训练完毕后,将不再改变。
优选地,构建的多项混沌函数组包括四种函数:
(1)正弦映射函数:
Mj+1=α|sin(πMj)|,
s.t.Mj∈(0,1),α∈(-1.4,1.4)
其中:Mj表示初始设置的密钥数字M0在正弦映射函数中经过j次迭代后的结果,α为混沌映射控制变量(在加密前预先设置)。
(2)Baker混沌映射函数:
bj+1=(a·bj)mod1,s.t.bj+1∈(0,1)
其中:bj表示b0在Baker混沌映射函数中第j次迭代处理的结果,b0为Baker混沌映射函数的初始输入数值(来自正弦映射函数迭代结果);a为混沌控制变量(在加密前预先设置),取值范围为1.8<a<2.1。
(3)分段线性混沌映射函数:
Figure BDA0002860283430000042
其中:Dj表示D0在分段线性混沌映射函数的第j次迭代结果,D0表示分段线性混沌映射函数的初始输入数值(来自Baker混沌映射函数迭代结果),D0的取值范围为0<D0<1,p为混沌函数的控制变量(在加密前预先设置),其取值范围为0<p<0.5。
(4)数据标准化函数:
Figure BDA0002860283430000051
其中:DK和EK表示两个不同输入所对应的分段线性混沌映射函数迭代计算的结果,p为混沌函数的控制变量,其含义与分段线性混沌映射函数中相同;F()表示分段线性混沌映射函数。
人像特征向量的加密指利用训练后的人像身份特征提取子网络
Figure BDA00028602834300000512
获取的人像身份特征,并利用构建的多项混沌函数组生成加密的人像特征。
优选地,人像特征向量的加密过程包括:首先,设置对应的密钥,将其代入正弦映射函数后,获得密钥流;接着,将密钥流代入Baker混沌映射函数迭代获得密钥序列对;其次,将密钥序列对分别带入分段线性混沌映射函数,并将结果带入数据标准化函数进行数据标准化,获得标准化数据;最后,结合人像特征向量以及标准化数据,通过对每个向量元素与标准化数据元素进行线性组合,并做取模运算后,获得最终的人像特征向量密文。
优选地,在加密开始前,需要设置两组加密密钥
Figure BDA0002860283430000052
Figure BDA0002860283430000053
其中
Figure BDA0002860283430000054
Figure BDA0002860283430000055
表示两个不同的初始密钥数字,α1和α2表示不同数值的正弦映射函数的混沌映射控制变量,a1和a2表示不同数值的Baker混沌映射函数的混沌控制变量,p1和p2表示不同数值的分段线性混沌映射函数的混沌函数控制变量。此外,需要调用人像身份特征提取子网络
Figure BDA0002860283430000056
的权重对输入人像X进行身份特征提取,获得2048×1维的人像身份特征
Figure BDA0002860283430000057
首先,将密钥
Figure BDA0002860283430000058
Figure BDA0002860283430000059
分别代入正弦映射函数,并迭代1×104次,获得两个初始密码
Figure BDA00028602834300000510
Figure BDA00028602834300000511
接着,将加密密钥对
Figure BDA0002860283430000061
Figure BDA0002860283430000062
分别带入Baker混沌映射函数中,并迭代2048次,可以获得两组序列
Figure BDA0002860283430000063
Figure BDA0002860283430000064
其中i=2048;
其次,将上述两组序列
Figure BDA0002860283430000065
Figure BDA0002860283430000066
分别代入分段线性混沌映射函数中,获得不同的两组新序列
Figure BDA0002860283430000067
Figure BDA0002860283430000068
并将这两组新序列
Figure BDA0002860283430000069
Figure BDA00028602834300000610
代入数据标准化函数中进行离散化后,获得一组标准化数值序列{K0,K1,...,K2048};
最终,将人像特征向量序列{Fe0,Fe1,...,Fe2048}与标准化数值序列{K0,K1,...,K2048},通过线性组合与取模函数Zei=(Fei+Ki)mod256(i=0,1,...,2048)进行计算,最终获得加密后的特征向量Ze
优选地,人像特征向量解密系统的解密过程为人像特征向量的加密过程的逆运算,通过对应的密钥以及逆运算处理,可以恢复出对应的人像特征向量序列。
基于编码解码框架与身份特征的人像图像加解密系统的构建过程包括:构建人像图像加密网络的训练数据集、构建基于编码解码框架与身份特征的人像图像加密网络、构建对称式的人像图像解密网络、网络训练。
优选地,构建人像图像加密网络的训练数据集包括:利用人脸定位算法MTCNN对人像相关数据集CelebA进行人像定位,并对数据集中的人像进行标准化,获得大小为160×160的标准脸{Ist},构建输入人像图像与标准脸的数据对{x,Ist}。
基于编码解码框架与身份特征的人像图像加密网络主要在编码解码器框架中加入人像身份特征提取子网络
Figure BDA00028602834300000611
所提取的人像身份信息,用于生成加密的人像图像以及对应的密钥。过程包括:假设输入人像图像为X,并且利用人像特征提取子网络
Figure BDA00028602834300000612
提取人像图像X所对应的人像身份特征
Figure BDA00028602834300000613
则基于编码解码器的人像图像加密网络包括第一编码器
Figure BDA0002860283430000071
第一解码器
Figure BDA0002860283430000072
其中第一编码器
Figure BDA0002860283430000073
利用多级残差模块提取人像的图像特征;第一解码器
Figure BDA0002860283430000074
以人像的图像特征与人像身份特征的融合特征结果作为输入,利用融合特征生成对应的加密人像图像及其密钥。
基于编码解码框架与身份特征的人像图像加密网络的工作流程包括:
首先,将输入人像图像X输入到人像身份特征提取子网络
Figure BDA0002860283430000075
进行人像身份特征Fid提取;同时,将人像图像X输入到第一编码器
Figure BDA0002860283430000076
利用五个残差模块获得人像的图像特征信息
Figure BDA0002860283430000077
接着,将人像身份特征Fid与人像的图像特征信息按以下的方式进行融合,获得融合特征:
Ffuse=cat(Fid;Fmap),其中
Figure BDA0002860283430000078
cat()表示特征级联的计算;
最后,融合特征输入到第一解码器
Figure BDA0002860283430000079
中,生成高维度特征表征信息Fh后,再分别进行核大小为3×3和核大小为1×1的卷积层操作,分别获得加密图像Z及其密匙M。
Figure BDA00028602834300000710
其中:con3×3表示核大小为3×3的卷积层操作,con1×1表示核大小为1×1的卷积层操作。
构建对称式的人像解密网络主要设计对称式的人像解密网络框架,利用加密图像与密钥,生成解密人脸图像。
对称式的加密人像解密网络是以基于编码解码器的人像图像加密网络进行对称式设计的,其设计过程包括:输入加密图像Z及其密匙M,则对称式的加密人像解密网络包括第二编码器
Figure BDA00028602834300000711
第二解码器
Figure BDA00028602834300000712
及第三密钥编码器(第三编码器)
Figure BDA0002860283430000081
其中:第三密钥编码器
Figure BDA0002860283430000082
用于获得密钥编码特征;第二编码器
Figure BDA0002860283430000083
利用多级残差模块提取加密人像的深层图像特征;第二解码器
Figure BDA0002860283430000084
以加密人像图像的深层图像特征与密钥编码特征的清洗特征结果作为输入,利用清洗特征生成对应的解密人脸图像。
优选地,对称式的加密人像解密网络的工作流程包括:
首先,将密匙M输入到第三密钥编码器
Figure BDA0002860283430000085
中进行密钥特征编码,获得密钥编码特征FM;同时,将加密图像Z输入到第二编码器
Figure BDA0002860283430000086
利用五个残差模块获得加密图像Z的深层特征信息
Figure BDA0002860283430000087
接着,将加密人像Z的深层特征信息Fin与密钥编码特征FM按级联的方式进行特征清洗,获得清洗特征:
Fcat=cat(FM;Fin),其中
Figure BDA0002860283430000088
cat()表示特征级联的计算;
最后,清洗特征输入到第二解码器
Figure BDA0002860283430000089
中,获得高维特征,然后再经过一层核大小为3×3的卷积层操作,生成对应的解密图像R:
Figure BDA00028602834300000810
R=con3×3(FT)
其中:con3×3表示核大小为3×3的卷积层操作。
具体地,网络训练是将基于编码解码框架与身份特征的人像图像加密网络、及对称式的人像图像解密网络进行联合训练的,训练过程中遵循以下的损失函数设计:
1)优化加密图像Z、解密图像R与输入图像X三者之间的神似程度:设计图像神似程度的损失函数,即加密图像Z、解密图像R与输入图像X三者之间的像素点差异应该小,因此,图像神似程度的损失函数Lface设计为:
Figure BDA00028602834300000811
其中H与W分别是输出图像的高度和宽度;
2)优化加密图像Z的身份特征差异:在图像神似程度的损失函数基础上,还应加上加密图像Z与标准人像之间的身份特征,身份特征应存在较大差异,能够使加密图像Z能够混淆人像识别算法,达到人像特征隐私保护的目的。因此,以标准人脸Ist为中间比对值,身份特征差异的损失函数LidF设计为:
Figure BDA0002860283430000091
其中:
Figure BDA0002860283430000092
表示人像身份特征提取子网络。
3)优化加密图像Z、解密结果R和输入图像X三者之间身份特征的差异:利用三元组损失,使到加密图像Z与输入图像X、解密结果R之间的身份特征都具有较大差异,输入图像X和解密结果R之间的身份特征差异较小。因此,身份信息三元组损失函数Ltri设计为:
Figure BDA0002860283430000093
其中:
Figure BDA0002860283430000094
Figure BDA0002860283430000095
为各个人像图像所对应的身份特征,Fi X表示输入图像的身份特征的第i个分量,dis表示向量FX与FR之间欧式距离与向量FX与FZ之间欧式距离的一个最小间距,[gg]+是取正操作,当gg小于零时,函数[gg]+的值为零,当gg大于零时,函数[gg]+的值不操作。
因此,整个网络的训练损失函数如下:
L=Lface+LidF+Ltri
通过优化该损失函数,实现模型的收敛,获得基于编码解码框架与身份特征的人像图像加密网络和对称式的加密人像解密网络的模型参数。
本发明相对于现有技术具有如下的优点及效果:
(1)在不同传输能力下对不同类型数据进行加密,实现对人像生物特征的实时加密,减少数据泄露的可能性,同时保证人像识别的准确性。
(2)提出基于编码解码框架与身份特征的人像图像加解密系统和基于混沌系统的人像特征向量加解密系统的协同配合,实现了人像生物特征的实时加密,减少数据泄露的可能性,同时在服务器端对加密数据进行解码,进而保证人像识别的准确性。
(3)基于编码解码器的人像图像加密网络通过对人脸图像进行直接加解密,在保证人像视觉加密安全性的同时,能够保证人像图像视觉的准确性;基于混沌系统的人像特征向量加解密系统直接对所提取的人像身份特征向量进行加解密,在保证加密安全性的同时,减少加解密所需的存储空间。
(4)本发明提出根据不同服务器类型与数据传输能力,选择性地对人脸图像或者人像特征向量进行加密传输,然后对应的服务器对所上传的加密文件进行解密与人脸识别,并将识别结果反馈到前端一体机,提高了人脸识别的安全性、准确性与识别效率。
附图说明
图1为本发明一个实施例中面向生物特征隐私保护的人像加解密系统的整体架构;
图2为本发明一个实施例中前端一体机中实现人像生物特征加密的基本流程;
图3为本发明一个实施例中人像身份特征提取网络的基本结构;
图4为本发明一个实施例中基于多项混沌函数的人像特征向量加密流程;
图5为本发明一个实施例中基于编码解码框架与身份特征的人像图像加密解密网络结构;
图6为本发明一个实施例中第一编码器和第二编码器的基本结构;
图7为本发明一个实施例中第一解码器的基本结构;
图8为本发明一个实施例中第二解码器的基本结构;
图9为本发明一个实施例中第三密钥编码器的基本结构。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
一种面向生物特征隐私保护的人像加解密系统部署在前端一体机、本地服务器和公共云端。前端一体机包括人像数据采集系统、人像特征提取系统、基于数据传输能力的网络传输能力判断系统、基于编码解码框架与身份特征的人像图像加密网络(简称“人像图像加密网络”)及基于混沌系统的人像特征向量加密网络;本地服务器是一种存储量较小的服务器,包括人像特征向量解密网络及基于特征匹配的人脸识别系统;公共云端是一种大型服务器集群,包括对称式的人像图像解密网络及人脸识别系统。
一种面向生物特征隐私保护的人像加解密系统工作原理包括:在前端一体机上部署加密网络,包括基于混沌系统的人像特征向量加密网络及基于编码解码框架与身份特征的人像图像加密网络;在对应的服务器上部署解密网络,包括人像特征向量解密网络以及对称式的人像解密网络。首先,针对实际采集的人像图像,前端一体机根据所连接的公共云端类型以及数据传输通道的传输能力,选择加密系统,进行加密,生成加密文件;然后,在将加密文件传输到公共云端或本地服务器后,公共云端或本地服务器根据所接受的加密文件调用解密密钥以及解密网络,进行文件解密,并与公共云端或本地服务器的数据库进行人脸匹配识别,获得识别结果;最后公共云端或本地服务器将识别的人像身份ID信息反馈到前端一体机。解密是加密的逆运算,只有正确的密钥才能得到正确的恢复图像。
实施例
一种面向生物特征隐私保护的人像加解密系统使用的技术主要涉及如下几类技术:1)基于数据传输能力的多种人脸数据加密以及传输系统;2)基于编码解码框架与身份特征的人像图像加解密系统;3)基于多项混沌系统的人像特征向量加解密系统。
本发明的网络系统设计基于TensorFlow框架和Pycharm开发环境:TensorFlow框架是基于python语言的开发系统,能够方便快捷地搭建合理的深度学习网络,同时具有很好的跨平台交互能力。TensorFlow提供深度学习系统中的众多封装函数和各类图像处理函数的接口,包括OpenCV相关的图像处理函数。TensorFlow框架同时能够使用GPU对模型进行训练和验证,提高了计算的效率。
在Windows平台或者Linux平台下的Pycharm集成开发环境(IDE),是目前深度学习网络设计与开发的首选之一。Pycharm为客户提供了新的模板、设计工具以及测试和调试工具,同时能够为客户提供直接调用远程服务器的接口。
如图1所示,本发明面向生物特征隐私保护的人像加解密系统包括前端一体机、本地服务器和公共云端。
前端一体机是指利用摄像机采集人像图片后,将图像传输到人像特征提取系统中,生成对应的人像特征;根据所连接的服务器类型以及网络的宽带传输能力,选择合适的加密方式,将人像图像或者人像特征向量送入基于编码解码框架与身份特征的人像图像加密网络或者基于多项混沌系统的人像特征向量加密网络中,实现对所传输的人像数据的加密,减少隐私泄露的可能性。
本地服务器和公共云端是分别代表具有小带宽传输能力与具有大带宽传输能力的服务器,分别接受加密人像特征向量与加密人像图像;将所接受的加密文件存储至服务器后,根据所接受的加密文件类型,利用人像特征向量加密算法的逆运算对加密人像特征向量进行解密或者利用对称式的人像解密网络对加密人像图像进行相应的解密,并进行数据库的人脸识别,再将所识别的人脸身份ID信息反馈到前端一体机。
如图2所示,前端一体机中实现人像生物特征加密的整体流程主要包括:人像特征提取网络(人像身份特征向量提取网络)训练、人像图像加密解密网络训练以及选择性的人像数据加密。首先,需要对人像特征提取网络进行训练,主要过程如下:a)对人脸数据库VGG-face进行数据对整合;b)利用上述数据对对人像分类网络进行训练;c)对分类网络结构中的全连接层进行舍弃,获得人像特征提取网络的结构与模型。接着,在人像图像加密网络训练中,主要过程如下:a)获取人脸数据库CelebA后,利用人脸定位算法MTCNN对数据库中人脸进行定位提取,并进行标准化;b)在获得上述数据后,调用已经训练好的人像特征提取网络,结合到所设计的人像图像加密解密网络之中;c)对上述网络模型进行训练,获得模型结构与权重。其次,将人像图像加密网络部署到前端一体机用于人像加密,将人像图像解密网络部署到公共云端,用于人像解密;最后,选择性的人像数据加密方式是根据网络的宽带传输能力以及所连接的服务器类型,选择性地调用上述已训练完毕的人像图像加密网络,实现对人像数据的加密,并传输。
具体的,人像身份特征向量提取网络(人像身份特征提取网络)的结构如图3所示,主要的参数如下:人像身份特征提取网络结构主要包括4级残差网络,主要包括1个卷积核大小为7×7的卷积、1个步长为2的池化层以及16个具有不同卷积核大小的残差模块,最后通过1个核大小为7×7步长为5的全局池化层,获得2048×1维的特征向量。其中,每个残差模块包含1个卷积核大小为1×1的卷积层、1个整流线性单元以及1个卷积核大小为3×3的卷积层。此外,3R代表3个残差模块进行级联,以此类推。
基于多项混沌函数的人像特征向量加密流程如图4所示。首先,设置对应的密钥,将其代入正弦映射函数后,获得密钥流;接着,将密钥流代入Baker混沌映射函数迭代2048次后,获得密钥序列对;其次,将密钥序列对分别带入分段线性混沌映射函数,并将结果带入数据标准化函数进行数据标准化,获得标准化数据;最后,结合人像特征向量以及标准化数据,通过对每个向量元素与标准化数据元素进行线性组合,并做取模运算后,获得最终的人像特征向量密文。
人像图像加密解密网络的整体系统如图5所示。在获得具有人像特征的图像后,对图像中的人像生物特征进行加密处理。本发明在编码解码器框架的基础上,加入人像身份特征,实现对人像图像信息的加密处理,并保持人像身份的一致性。在编码器与解码器之间,进行潜在特征连接,能够很好保留人像图像信息,使到输入人像与加密人像视觉上的一致性。同时,利用对称式设计的方式,设计相应的加密人像解密网络,将密匙进行深层特征提取后,将深层特征送入网络中进行特征清洗,进而获得可用于人像识别的解密结果。第一编码器和第二编码器的结构相同,图6为第一编码器和第二编码器的具体结构,图7为第一解码器的具体结构,图8为第二解码器的具体结构,图9为第三密钥编码器的具体结构。其具体的参数如下:
A、第一编码器和第二编码器的具体结构是包含3个卷积层以及4个残差模块,每个残差模块包含2个卷积层和1个整流线性单元;所有的卷积层的卷积核大小为3×3,步长为2;其中第二个残差模块的输出作为潜在特征与后端的解码器进行连接。
B、第一解码器具体结构包括3个卷积层、3个残差模块、3个反卷积层以及1个级联操作层;每个残差模块包含2个卷积层和1个整流线性单元;级联操作层是将编码器输出的潜在特征与第2个反卷积的结果在通道上进行级联;除了最后的加密图像和密匙生成所需的卷积层外,所有的卷积层的卷积核大小为3×3,步长为2;而生成加密图像所需的卷积层的卷积核大小为3×3,步长为2,生成通道数为3的加密图像;生成密匙所需的卷积层的卷积核大小为1×1,步长为2,生成通道数为1的密匙。
C、第二解码器具体结构包括3个卷积层、3个残差模块、3个反卷积层以及1个级联操作层;每个残差模块包含2个卷积层和1个整流线性单元;级联操作层是将编码器输出的潜在特征与第2个反卷积的结果在通道上进行级联;所有的卷积层的卷积核大小为3×3,步长为2,最后一层卷积网络用于生成解密结果,其卷积核大小为3×3,步长为1。
D、第三密钥编码器的具体结构包含3个卷积层以及4个残差模块,每个残差模块包含2个卷积层和1个整流线性单元;所有的卷积层的卷积核大小为3×3,步长为2;最后生成的密钥编码特征长度与第二解码器生成的加密人像特征的长度相同。
模型的训练在高性能的GPU上进行,具体的训练参数设计如下:可以使用Adam优化器,其参数设置为0.9/0.999;学习率的设置为0.0001;训练的epoch设置为100;训练的batch设置依据数据的训练样本而定。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。

Claims (10)

1.一种面向生物特征隐私保护的人像加解密系统,其特征在于,包括:人像数据采集系统、人像特征提取系统、基于数据传输能力的网络传输能力判断系统、基于编码解码框架与身份特征的人像图像加解密系统、基于混沌系统的人像特征向量加解密系统,其中:
基于编码解码框架与身份特征的人像图像加解密系统使在实现人像加密的同时,能够保证人像身份信息的一致性,并能够利用密钥实现对加密人像的解密处理;包括:部署在前端一体机上的基于编码解码框架与身份特征的人像图像加密网络和部署在公共云端的对称式的人像图像解密网络及人脸识别系统;
基于混沌系统的人像特征向量加解密系统包括:部署在前端一体机上的基于混沌系统的人像特征向量加密网络和部署在本地服务器的人像特征向量解密网络及基于特征匹配的人脸识别系统。
2.根据权利要求1所述的人像加解密系统,其特征在于,基于数据传输能力的网络传输能力判断系统主要依据传输网络的宽带传输能力和前端一体机所连接服务器类型的不同,选择基于编码解码框架与身份特征的人像图像加解密系统或基于混沌系统的人像特征向量加解密系统。
3.根据权利要求2所述的人像加解密系统,其特征在于,前端一体机所连接服务器类型包括:本地服务器和公共云端,其中本地服务器是指具有较小存储空间以及低算力的本地服务器,公共云端是指具有大存储空间以及高算力的公共云端集群;
传输网络的宽带传输能力的判别指标包括:传输速率、数据吞吐量、网络利用率;假如标准传输速率为Tv0、标准数据吞吐量为Dt0、标准网络利用率为Nu0,当一个传输网络的传输速率、数据吞吐量和网络利用率分别为Tv、Dt和Nu时,传输网络的传输能力按以下公式计算:
Figure FDA0002860283420000021
其中:λ1、λ2和λ3为权重参数,取值为0到1之间;若Score的得分大于1.5,则表示网络的传输速率、数据吞吐量以及网络利用率指标较高,则选择基于编码解码框架与身份特征的人像图像加解密系统;若Score的得分小于1.5,则选择基于混沌系统的人像特征向量加解密系统。
4.根据权利要求1所述的人像加解密系统,其特征在于,基于混沌系统的人像特征向量加密系统构建过程包括:构建人像特征提取网络的训练数据集、人像身份特征提取网络的构建与训练、构建多项混沌函数组、人像特征向量的加密;其中:
构建人像特征提取网络的训练数据集主要是利用现有的人脸数据库的标注信息,提取人像及其对应的身份信息,构建人像身份训练数据;
人像身份特征提取网络的构建与训练主要指设计人像身份特征提取网络,用于寻找人像的身份特征,并利用构建的人像身份训练数据集对人像身份特征提取网络进行训练,获得人像身份特征提取子网络模型与参数;
人像特征向量的加密指利用训练后的人像身份特征提取子网络获取的人像身份特征,并利用构建的多项混沌函数组生成加密的人像特征。
5.根据权利要求4所述的人像加解密系统,其特征在于,人像身份特征提取网络的构建与训练,主要过程包括:
首先,设计基于残差网络的人像分类网络Gf,对人脸数据进行分类;
接着,利用人像数据
Figure FDA0002860283420000022
对人像分类网络Gf进行训练,直到人像分类网络Gf收敛;其训练优化损失函数设置如下所示:
Figure FDA0002860283420000023
其中:
Figure FDA0002860283420000031
yi'表示人像分类网络Gf对第i类人像的提取结果,y'k表示人像分类网络Gf对第k类人像的提取结果,mi表示第i类人像的向量表示,e表示自然常数;
最后,在人像分类网络Gf训练完毕后,舍去人像分类网络Gf的最后一层全连接层,以剩余的网络结构以及网络参数作为人像身份特征提取子网络Gf -,Gf -用于提取输入人像的身份特征向量。
6.根据权利要求4所述的人像加解密系统,其特征在于,构建的多项混沌函数组包括四种函数:正弦映射函数、Baker混沌映射函数、分段线性混沌映射函数和数据标准化函数。
7.根据权利要求6所述的人像加解密系统,其特征在于,人像特征向量的加密过程包括:首先,设置对应的密钥,将其代入正弦映射函数后,获得密钥流;接着,将密钥流代入Baker混沌映射函数迭代获得密钥序列对;其次,将密钥序列对分别带入分段线性混沌映射函数,并将结果带入数据标准化函数进行数据标准化,获得标准化数据;最后,结合人像特征向量以及标准化数据,通过对每个向量元素与标准化数据元素进行线性组合,并做取模运算后,获得最终的人像特征向量密文。
8.根据权利要求1所述的人像加解密系统,其特征在于,基于编码解码框架与身份特征的人像图像加解密系统的构建过程包括:构建人像图像加密网络的训练数据集、构建基于编码解码框架与身份特征的人像图像加密网络、构建对称式的人像图像解密网络、网络训练。
9.根据权利要求8所述的人像加解密系统,其特征在于,基于编码解码框架与身份特征的人像图像加密网络主要在编码解码器框架中加入人像身份特征提取子网络
Figure FDA0002860283420000041
所提取的人像身份信息,用于生成加密的人像图像以及对应的密钥;过程包括:假设输入人像图像为X,并且利用人像特征提取子网络
Figure FDA0002860283420000042
提取人像图像X所对应的人像身份特征
Figure FDA0002860283420000043
则基于编码解码器的人像图像加密网络包括第一编码器
Figure FDA0002860283420000044
第一解码器
Figure FDA0002860283420000045
其中第一编码器
Figure FDA0002860283420000046
利用多级残差模块提取人像的图像特征;第一解码器
Figure FDA0002860283420000047
以人像的图像特征与人像身份特征的融合特征结果作为输入,利用融合特征生成对应的加密人像图像及其密钥。
10.根据权利要求9所述的人像加解密系统,其特征在于,对称式的加密人像解密网络是以基于编码解码器的人像图像加密网络进行对称式设计的,其设计过程包括:输入加密图像Z及其密匙M,则对称式的加密人像解密网络包括第二编码器
Figure FDA0002860283420000048
第二解码器
Figure FDA0002860283420000049
及第三密钥编码器
Figure FDA00028602834200000410
其中:第三密钥编码器
Figure FDA00028602834200000411
用于获得密钥编码特征;第二编码器
Figure FDA00028602834200000412
利用多级残差模块提取加密人像的深层图像特征;第二解码器
Figure FDA00028602834200000413
以加密人像图像的深层图像特征与密钥编码特征的清洗特征结果作为输入,利用清洗特征生成对应的解密人脸图像。
CN202011564745.2A 2020-12-25 2020-12-25 一种面向生物特征隐私保护的人像加解密系统 Active CN112580011B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011564745.2A CN112580011B (zh) 2020-12-25 2020-12-25 一种面向生物特征隐私保护的人像加解密系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011564745.2A CN112580011B (zh) 2020-12-25 2020-12-25 一种面向生物特征隐私保护的人像加解密系统

Publications (2)

Publication Number Publication Date
CN112580011A true CN112580011A (zh) 2021-03-30
CN112580011B CN112580011B (zh) 2022-05-24

Family

ID=75140603

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011564745.2A Active CN112580011B (zh) 2020-12-25 2020-12-25 一种面向生物特征隐私保护的人像加解密系统

Country Status (1)

Country Link
CN (1) CN112580011B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113923315A (zh) * 2021-12-13 2022-01-11 湖南菠萝互娱网络信息有限公司 一种图像云存储防泄露的加密系统及方法
CN115766965A (zh) * 2022-11-29 2023-03-07 广东职业技术学院 一种试卷图像文件处理方法及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002338467A1 (en) * 2001-04-18 2002-11-05 Ipass, Inc. Method and system for securely authenticating network access credentials for users
CN103731271A (zh) * 2013-12-30 2014-04-16 北京工业大学 一种基于同态加密和混沌置乱的在线人脸身份认证方法
CN109934116A (zh) * 2019-02-19 2019-06-25 华南理工大学 一种基于生成对抗机制与注意力机制的标准人脸生成方法
WO2019128367A1 (zh) * 2017-12-26 2019-07-04 广州广电运通金融电子股份有限公司 基于Triplet Loss的人脸认证方法、装置、计算机设备和存储介质
CN111723395A (zh) * 2020-05-11 2020-09-29 华南理工大学 一种人像生物特征隐私保护与解密方法
CN111737706A (zh) * 2020-05-11 2020-10-02 华南理工大学 一种生物特征隐私保护的前端人像加密与识别方法
WO2020207189A1 (zh) * 2019-04-08 2020-10-15 腾讯科技(深圳)有限公司 身份验证方法、装置、存储介质和计算机设备
WO2020246010A1 (ja) * 2019-06-06 2020-12-10 日本電信電話株式会社 画像認識システム、画像認識サーバ、及び画像認識方法
CN212160688U (zh) * 2020-05-11 2020-12-15 华南理工大学 一种生物特征隐私保护的人脸识别一体化前端装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002338467A1 (en) * 2001-04-18 2002-11-05 Ipass, Inc. Method and system for securely authenticating network access credentials for users
CN103731271A (zh) * 2013-12-30 2014-04-16 北京工业大学 一种基于同态加密和混沌置乱的在线人脸身份认证方法
WO2019128367A1 (zh) * 2017-12-26 2019-07-04 广州广电运通金融电子股份有限公司 基于Triplet Loss的人脸认证方法、装置、计算机设备和存储介质
CN109934116A (zh) * 2019-02-19 2019-06-25 华南理工大学 一种基于生成对抗机制与注意力机制的标准人脸生成方法
WO2020207189A1 (zh) * 2019-04-08 2020-10-15 腾讯科技(深圳)有限公司 身份验证方法、装置、存储介质和计算机设备
WO2020246010A1 (ja) * 2019-06-06 2020-12-10 日本電信電話株式会社 画像認識システム、画像認識サーバ、及び画像認識方法
CN111723395A (zh) * 2020-05-11 2020-09-29 华南理工大学 一种人像生物特征隐私保护与解密方法
CN111737706A (zh) * 2020-05-11 2020-10-02 华南理工大学 一种生物特征隐私保护的前端人像加密与识别方法
CN212160688U (zh) * 2020-05-11 2020-12-15 华南理工大学 一种生物特征隐私保护的人脸识别一体化前端装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
范艺等: "混沌加密与常规加密复合的图像保密通信系统", 《计算机工程》 *
陈宁等: "基于混沌离散序列的图像加密算法研究", 《上海交通大学学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113923315A (zh) * 2021-12-13 2022-01-11 湖南菠萝互娱网络信息有限公司 一种图像云存储防泄露的加密系统及方法
CN113923315B (zh) * 2021-12-13 2022-03-29 湖南菠萝互娱网络信息有限公司 一种图像云存储防泄露的加密系统
CN115766965A (zh) * 2022-11-29 2023-03-07 广东职业技术学院 一种试卷图像文件处理方法及存储介质

Also Published As

Publication number Publication date
CN112580011B (zh) 2022-05-24

Similar Documents

Publication Publication Date Title
US10375066B2 (en) Authentication method and system by garbled circuit
CN112580011B (zh) 一种面向生物特征隐私保护的人像加解密系统
CN111723395B (zh) 一种人像生物特征隐私保护与解密方法
CN108681698A (zh) 一种具有隐私保护功能的大规模虹膜识别方法
Panchal et al. Comparable features and same cryptography key generation using biometric fingerprint image
CN114257428A (zh) 一种基于深度学习的加密网络流量识别及分类方法
CN113987255B (zh) 基于联邦学习与秘密分享的多源密文图像检索方法
CN114189351B (zh) 一种基于cnn和签密技术的密态图像检索方法及系统
Moradi et al. A real‐time biometric encryption scheme based on fuzzy logic for IoT
CN110535630B (zh) 密钥生成方法、装置及存储介质
CN116383470B (zh) 一种具有隐私保护的图像搜索方法
Wingarz et al. Privacy-Preserving Convolutional Neural Networks Using Homomorphic Encryption
CN113190858B (zh) 一种基于隐私保护的图像处理方法、系统、介质和设备
CN113537516B (zh) 分布式机器学习模型的训练方法、装置、设备和介质
Jin et al. Efficient blind face recognition in the cloud
Dahake et al. Hybrid cryptosystem for maintaining image integrity using biometric fingerprint
CN112507366A (zh) 一种智能电网中多维数据高效数据聚合的方法和系统
Lin et al. A Privacy-Preserving Gait Recognition Scheme Under Homomorphic Encryption
WO2024032277A1 (zh) 基于深度神经网络编码的个人化人脸生物密钥生成方法
CN116484412B (zh) 一种无源电磁触控屏手写签批加密算法、媒介及存储设备
CN117036910B (zh) 一种基于多视图及信息瓶颈的医学图像训练方法
Uddin et al. Data Repossession by Optimized Blow Fish Algorithm In Ml and Multistage Authentication in Cloud
CN116663064B (zh) 一种隐私保护神经网络预测方法及系统
CN115134176B (zh) 一种基于不完全监督的暗网加密流量分类方法
CN116684061A (zh) 一种基于密钥扩展的改进型aes算法的隐私图片加密方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant