CN107045627A - 一种基于密文域的加密人脸识别方法 - Google Patents

Abstract

本发明公开了一种基于密文域的加密人脸识别技术，属于多媒体信号处理领域。本发明的步骤是：首先利用Logistic Map的性质在频域对人脸图像进行加密；再通过对加密图像进行DFT变换提取人脸特征向量。对待测人脸在变换域进行进行加密，在DFT变换域提取加密人脸特征向量，再通过计算特征向量之间的相似度来进行人脸识别。本发明是基于密文域的加密人脸识别技术，并有较好的抗常规攻击、几何攻击和遮挡、光照等攻击能力。

Description

一种基于密文域的加密人脸识别方法

技术领域

本发明涉及一种基于密文域的加密人脸识别方法，属于多媒体信号处理领域。

技术背景

人脸识别技术作为一种有效的生物特征识别技术，由于其巨大的应用价值及市场潜力已经成为图像工程和模式识别领域的研究热点，近些年来逐渐被各个领域广泛应用，比如娱乐、犯罪调查、门禁系统、军事等方面。

随着网络越来越发达，信息安全、隐私保护已经成为当今的主流话题之一。信息传送给第三方保存，如何让信息不被泄露成为研究的重点。目前大部分人脸识别都是在明文域中进行检索以及识别，因此如何解决在云环境密文域中的人脸识别方法意义重大。将人脸进行加密上传至不完全可信的第三方，对加密的图像进行比对识别。

人脸图像的特征向量是区别人脸的最基本的属性，目前对于在云环境下基于DFT变换及混沌映射(Logistic Map)的加密图像人脸识别方法研究较少，且加密图像所提取的特征向量具有可抗常规、几何、光照、遮挡攻击的研究也较少。因此研究基于DFT密文域的加密图像人脸识别方法有较大的意义。

发明内容

本发明的目的是提出一种云环境下基于密文域的加密图像人脸识别方法。该方法通过将人脸图像的特征向量和加密技术结合起来，实现受到不同攻击后依然可以准确进行人脸图像识别，解决现有技术的不足，提供高安全性、高鲁棒性的人脸识别技术。

本发明的基本原理是：首先对人脸图像进行加密，对加密后的人脸图像进行DFT变换，在DFT变换系数中提取可以抗不同种常规、几何、光照或遮挡等攻击的的特征向量；将该特征向量作为人脸图像识别的“关键字”；再将该特征向量与保存在云端的加密人脸图像的特征向量进行相似度匹配，利用相关系数最大值，实现人脸的识别。

本发明所采用的方法包括人脸图像的频域加密和提取加密图像的特征向量两大部分。

现对本发明的方法进行详细说明如下：

首先随机选择一张人脸图像作为原始数据，表示为：F＝{F(i,j)|F(i,j)∈[0,255]；1≤i≤M,1≤j≤N}。其中，F(i,j)分别表示原始人脸图像的像素灰度值，图像的大小为MxN。

第一部分：人脸图像的变换域加密

1)对人脸图像F(i,j)进行全局DFT变换，得到复数系数矩阵FD(i,j)。

FD(i,j)＝DFT2(F(i,j))

2)通过Logistic Map生成混沌序列；

由初始值x₀通过Logistic Map混沌系统生成混沌序列bl(j)。

3)构造二值序列；

利用混沌序列bl(j)，通过定义一个阈值函数Sign而得到一个符号序列，再按人脸图像的大小构成一个二值矩阵S(i,j)，1≤i≤M,1≤j≤N。

4)将系数矩阵与二值矩阵进行点乘，得到L(i,j)。

L(i,j)＝FD(i,j).*S(i,j)

5)对L(i,j)进行DFT逆变换，得到加密后的人脸图像E(i,j)。

E(i,j)＝IDFT2(I(i,j))

第二部分：提取加密人脸图像的特征向量。

6)通过对加密人脸图像进行全局DFT变换，得到DFT复数系数矩阵ED(i,j)；

7)取出前k×k个低中频系数值，得到复数矩阵ED'(i,j)(1≤i≤k，1≤j≤k)，将一个复数看成实部、虚部(虚部只看系数)两个系数，得到实数矩阵ED"(i,j)(1≤i≤2k,1≤j≤k)，对符号运算得到该人脸图像的特征向量EV(i,j)，本文k＝4；

ED"(i,j)＝(real(ED'(k,k)),imag(ED'(i,j)))；

本发明与现有的人脸识别技术比较有以下优点：

首先：目前人脸识别技术已经有了广泛的应用领域，该人脸图像识别研究是基于DFT变换以及Logistic Map混沌序列的，通过实验以及数据分析证实，使用该加密方法得到的加密图像有较强的抗常规攻击、几何攻击、光照攻击和遮挡攻击能力。而且针对云环境下密文域的人脸识别研究很少见，对攻击后的人脸图像进行频域同态加密，防止其信息被泄露或篡改，再上传给第三方云平台，保证了信息安全。

以下从理论基础和实验数据说明：

1)离散傅里叶变换

假设有一张M×N的人脸图像，可以用如下公式对其进行DFT变换：

M×N的人脸图像的离散傅里叶反变换(IDFT)公式如下：

其中，f(x,y)为人脸图像空间域采样点(x,y)的采样值，f(u,v)为人脸图像频域采样点(u,v)的采样值。数字图像常用像素矩阵表示。

2)Logistic Map

混沌是一种貌似无规则的运动，指在确定性系统中出现的类似随机的过程。因此，有了它的初始值和参数，我们就能够生成这个混沌系统。Logistic Map是最著名的一种混沌系统，它是由以下公式给出的非线性映射：

x_k+1＝μx_k(1-x_k)

其中，0≤μ≤4为增长参数，x_k∈(0,1)为系统变量，k是迭代次数。混沌动力系统的研究工作指出，当增长参数3.569945≤μ≤4时，Logistic Map工作于混沌状态。可以看到初始值有一个微小的变化将会导致混沌序列的显著差异。因此，以上序列是一个理想的密钥序列。本文中设定μ＝4，混沌序列由不同的初始值x₀产生。

3)加密人脸图像的特征向量选取方法

目前大部分人脸识别算法对遮挡、光照、表情变化等抗攻击能力较差的原因是当这些攻击实施在空间域下，像素值发生了较大变化；所以能否找到可以抗常规、几何、光照、遮挡等攻击的特征向量意义重大。如果能够找到反映人脸图像几何特点的特征向量，当人脸图像发生小的不同种变换或光照遮挡变化时，该特征向量不会发生明显的突变。研究表明，对图像特征而言，相位比幅度更加重要；只要图像是相似的，其相位不会有较大的差异。通过对大量图像的DFT系数(低中频)观察发现，当对图像进行常见的不同种变换或光照遮挡变化时，DFT低中频部分系数的值可能会发生变化，但其系数的实部和虚部的符号基本保持不变。根据人的视觉特性(HVS)，低中频信号对人的视觉影响较大，代表着图像的主要特征，因此我们选取人脸图像的低中频系数符号作为特征向量。

因此，选取一些常规攻击、几何攻击、遮挡攻击和光照攻击的实验数据见表1所示。表1中用作测试的原始图像是图1，是ORL人脸数据库的第一幅人脸，由剑桥大学AT&T实验室创建；图2是加密后的人脸图像。表1中“第1列”显示的是人脸识别算法受到的攻击类型，主要包括常规攻击、几何攻击、光照攻击和遮挡攻击。表1的“第2列”表示的是经过常规攻击后的加密人脸图像的峰值信噪比(PSNR)；表1的“第3列”到“第6列”，是DFT变换复数系数矩阵中取的F(1,1)‐F(1,4)四个低中频复数系数。表1的“第7列”是用于特征提取的符号序列。通过该表的数据我们发现，对于常规攻击，这些低中频系数F(1,1)‐F(1,4)的符号基本保持不变，且与原加密人脸图像的DFT系数值近似相等；对于几何攻击，部分系数值有较大变化，但可以发现，受到几何攻击后的加密人脸图像，虽然大部分DFT低中频系数的大小发生了变化，但其符号基本没有发生变化；对于光照、遮挡等攻击，这些DFT变换域的低频值可能发生一些变换，但其系数符号仍然不变。对DFT复数系数(这里复数看成实部和虚部两个系数值)进行符号运算，即将正的系数用“1”表示(含值为零的系数)，负的DFT系数用“0”表示，那么对于原始人脸数据来说，DFT系数矩阵中的F(1,1)‐F(1,4)系数，对应的系数符号序列为：“1110 0001”，见表1的“第7列”，观察该列可以发现，无论常规攻击、几何攻击、光照攻击还是遮挡攻击，其符号序列和原始人脸图像的保持相似，并且与原始人脸图像的归一化相关系数都较大，见表1“第8列”，结果显示的相关系数基本均大于0.5。

表1加密人脸图像DFT变换低中频部分系数及受不同攻击后的变化值

*DFT数单位1.0e+004

为了进一步证明按上述方法提取的特征向量是该加密人脸图像的一个重要特征，我们又把不同的人脸(见图3至图12)进行加密(见图13至图22)，然后再进行DFT变换，求出对应的DFT系数F(1,1)‐F(1,4)从统计学角度，这里取了前16个DFT复数系数(这里复数看成实部和虚部两个系数值)，得到32位符号序列。并且求出相互之间的相关系数，计算结果如表2所示。

从表2可以看出，首先，同一加密人脸图像自身之间的相关系数为1.00；其次，不同人脸的加密图像的特征向量的相关系数都不大于0.5；这与我们人眼实际观察到的相符合。按照该特征向量的提取方法，加密前，两个人脸的相关系数越大，加密后这两个人脸的相关系数也较大，加密前后有较好的同态特性。

表2.10个不同加密人脸图像特征向量之间的相关系数(向量长度32bit)

综上所述，我们通过分析加密人脸图像的全局DFT系数，利用DFT低中频系数的符号序列得到一种取得加密人脸图像的特征向量的方法。

附图说明

图1是原始人脸图像。

图2是加密后的人脸图像。

图3 ORL人脸数据库中的第1个人的人脸图像。

图4 ORL人脸数据库中的第2个人的人脸图像。

图5 ORL人脸数据库中的第3个人的人脸图像。

图6 ORL人脸数据库中的第4个人的人脸图像。

图7 ORL人脸数据库中的第5个人的人脸图像。

图8 ORL人脸数据库中的第6个人的人脸图像。

图9 ORL人脸数据库中的第7个人的人脸图像。

图10 ORL人脸数据库中的第8个人的人脸图像。

图11 ORL人脸数据库中的第9个人的人脸图像。

图12 ORL人脸数据库中的第10个人的人脸图像。

图13 ORL人脸数据库中的第1个人的加密人脸图像。

图14 ORL人脸数据库中的第2个人的加密人脸图像。

图15 ORL人脸数据库中的第3个人的加密人脸图像。

图16 ORL人脸数据库中的第4个人的加密人脸图像。

图17 ORL人脸数据库中的第5个人的加密人脸图像。

图18 ORL人脸数据库中的第6个人的加密人脸图像。

图19 ORL人脸数据库中的第7个人的加密人脸图像。

图20 ORL人脸数据库中的第8个人的加密人脸图像。

图21 ORL人脸数据库中的第9个人的加密人脸图像。

图22 ORL人脸数据库中的第10个人的加密人脸图像。

图23高斯噪声强度为2％的人脸图像。

图24加密后的高斯噪声强度为2％的人脸图像。

图25高斯噪声强度为20％的人脸图像。

图26加密后的高斯噪声强度为20％的人脸图像。

图27压缩质量为5％的人脸图像。

图28加密后的压缩质量为5％的人脸图像。

图29压缩质量为30％的人脸图像。

图30加密后的压缩质量为30％的人脸图像。

图31中值滤波参数为[7x7]，滤波重复次数为10的人脸图像。

图32加密后的中值滤波参数为[7x7]，滤波重复次数为10的人脸图像。

图33中值滤波参数为[5x5]，滤波重复次数为10的人脸图像。

图34加密后的中值滤波参数为[5x5]，滤波重复次数为10的人脸图像。

图35顺时针旋转2°的人脸图像。

图36加密后的顺时针旋转2°的人脸图像。

图37逆时针旋转2°的人脸图像。

图38加密后的逆时针旋转2°的人脸图像。

图39缩放因子为0.3的人脸图像。

图40加密后的缩放人脸图像(缩放因子为0.3)。

图41缩放因子为2的人脸图像。

图42加密后的缩放人脸图像(缩放因子为2)。

图43水平左移2°的人脸图像。

图44加密后的水平左移2°的人脸图像。

图45垂直上移4°的人脸图像。

图46加密后的垂直上移4°的人脸图像。

图47 Y方向剪切量为2％的人脸图像。

图48加密后的Y方向剪切量为2％的人脸图像。

图49 Y方向剪切量为5％的人脸图像。

图50加密后的Y方向剪切量为5％的人脸图像。

图51光照强度为‐60％的人脸图像。

图52加密后的光照强度为‐60％的人脸图像。

图53光照强度为20％的人脸图像。

图54加密后的光照强度为20％的人脸图像。

图55口罩遮挡大小为S的人脸图像。

图56加密后的口罩遮挡大小为S的人脸图像。

图57眼镜遮挡大小为S的待测人脸图像。

图58加密后的眼镜遮挡大小为S的人脸图像。

图59帽子遮挡大小为S的待测人脸图像。

图60加密后的帽子遮挡大小为S的人脸图像。

具体实施方式

下面结合附图对本发明做进一步说明，仿真平台为Matlab2010a，随机选择一张人脸图像，记为F＝{F(i,j)|F(i,j)∈[0,255]；1≤i≤M,1≤j≤N}，图像的大小为92x112，见图1，加密后的人脸图像见图2，表示为E(i,j)，对应的DFT复数系数矩阵为ED(i,j)。考虑到鲁棒性和时间复杂度，我们选取4x4＝16个DFT复数矩阵(这里把一个复数看成实部和虚部两个系数)，得到32位二值序列作为特征向量。通过计算归一化相关系数NC(NormalizedCross Correlation)，来检测特征向量的鲁棒性。

下面我们通过具体实验来判断该DFT密文域人脸图像的特征向量的抗常规攻击、抗几何攻击以及抗光照和遮挡等能力。

先测试由该算法得到的加密图像特征向量抗常规攻击的能力。

(1)高斯噪声

使用imnoise()函数在人脸图像中加入高斯噪声后，再进行加密。

图23是高斯噪声强度为2％的人脸图像；

图24是加密后的高斯噪声强度为2％的人脸图像；

图25是高斯噪声强度为20％的人脸图像，在视觉上与原始的人脸图像已有明显差别；

图26是加密后的高斯噪声强度为20％的人脸图像，NC＝0.59。

表3是对抗高斯噪声干扰的人脸图像进行加密后的实验数据。从中可以看到，当高斯噪声强度高达20％时，加密后的高斯干扰人脸图像的PSNR降至11.97dB，这时提取的特征向量的相关系数NC＝0.59，仍能进行人脸图像识别。这说明采用该发明有较好的抗高斯噪声能力。

表3高斯噪声干扰的人脸图像加密后的实验数据

噪声强度(％)	2	5	8	10	20
						PSNR(dB)	14.81	14.54	12.50	12.83	11.97
NC	0.72	0.77	0.68	0.86	0.59

(2)JPEG压缩处理

图27是压缩质量为5％的人脸图像；

图28是加密后的压缩质量为5％的人脸图像；

图29是压缩质量为30％的人脸图像；

图30是加密后的压缩质量为30％的人脸图像。

采用图像压缩质量百分数作为参数对人脸图像进行JPEG压缩；表4为对JPEG压缩的人脸图像进行加密后的实验数据。当压缩质量仅为2％，这时压缩质量较低，进行加密后，NC＝0.49；但当压缩质量为5％进行加密后，NC＝0.72，能进行密文域下的人脸图像识别，这说明采用该发明有较好的抗JPEG压缩能力。

表4 JPEG压缩的人脸图像加密后的实验数据

压缩质量(％)	2	5	8	10	20	30
							PSNR(dB)	22.07	26.07	27.14	27.08	30.90	32.27
NC	0.49	0.72	1	0.91	1	0.91

(3)中值滤波处理

图31是中值滤波参数为[7x7]，滤波重复次数为10的人脸图像；

图32是加密后的中值滤波参数为[7x7]，滤波重复次数为10的人脸图像；

图33是中值滤波参数为[5x5]，滤波重复次数为10的人脸图像；

图34是加密后的中值滤波参数为[5x5]，滤波重复次数为10的人脸图像，此时NC＝0.91；能进行密文域下的人脸图像识别，这说明采用该发明有较好的抗中值滤波能力。表5为对中值滤波的人脸图像进行加密后的实验数据，从表中可以看得，有较好的抗中值滤波攻击能力。

表5中值滤波的人脸图像加密后的实验数据

抗几何攻击能力

(1)旋转变换

图35是顺时针旋转2°的人脸图像；

图36是加密后的顺时针旋转2°的人脸图像；

图37是逆时针旋转2°的人脸图像；

图38是加密后的逆时针旋转2°的人脸图像，NC＝0.86。

表6旋转攻击的人脸图像加密后的实验数据

表6为对旋转攻击的人脸图像进行加密后的实验数据。从表中可以看到当人脸图像逆时针旋转10°再加密后，NC＝0.81，可以较为准确地进行密文域下的人脸图像识别；但人脸图像顺时针旋转10°再加密后，NC＝0.26，此时进行人脸图像识别有一些困难，说明顺时针效果比逆时针效果差一些。但其他情况下仍能进行密文域下的人脸图像识别，这说明采用该发明有较好的抗旋转变换的能力。

(2)缩放变换

图39是缩放因子为0.3的人脸图像；

图40是加密后的缩放人脸图像(缩放因子为0.3)；

图41是缩放因子为2的人脸图像；

图42是加密后的缩放人脸图像(缩放因子为2)。

表7为对缩放攻击的人脸图像进行加密后的实验数据，从表7可以看到人脸图像缩放因子小至0.3再进行加密，相关系数NC＝0.77，具有较大的相似性，可以较为准确地进行进行密文域下的人脸图像识别，这说明采用该发明有较好的抗缩放变换的能力。

表7缩放攻击的人脸图像加密后的实验数据

缩放程度	0.3	0.5	2
				NC	0.77	0.79	0.81

(3)平移变换

图43是水平左移2°的人脸图像；

图44是加密后的水平左移2°的人脸图像；

图45是垂直上移4°的人脸图像；

图46是加密后的垂直上移4°的人脸图像，NC＝0.95；

表8是对平移变换的人脸图像进行加密后的实验数据。从表中得知当人脸图像水平左移或垂直上移移动4％后进行加密，NC值都高于0.7，可以准确地进行密文域下的人脸图像识别，这说明采用该发明有较好的抗平移变换的能力。

表8平移变换的人脸图像加密后的实验数据

(4)剪切攻击

图47是Y方向剪切量为2％的人脸图像；

图48是加密后的Y方向剪切量为2％的人脸图像；

图49是Y方向剪切量为5％的人脸图像；

图50是加密后的Y方向剪切量为5％的人脸图像。

表9为对剪切攻击的人脸图像进行加密后的实验数据，从表中可以看到，当对人脸图像进行Y方向剪切，剪切量为5％再进行加密，NC＝0.72，此时可以较准确地进行密文域下的人脸图像识别，说明采用该发明有较好的抗剪切攻击能力。

表9剪切攻击的人脸图像加密后的实验数据

上面主要对常规和几何攻击进行了实验，下面对光照、遮挡等攻击进行测试；

(1)光照攻击

图51是光照强度为‐60％的人脸图像；

图52是加密后的光照强度为‐60％的人脸图像；

图53是光照强度为20％的人脸图像；

图54是加密后的光照强度为20％的人脸图像，NC＝0.91。

表10为对光照攻击的人脸图像进行加密后的实验数据。从表中可以看到当人脸图像光照强度为‐100％时再进行加密，NC＝0.72，可以较为准确地进行密文域的人脸图像识别；人脸图像光照强度为60％时进行加密，NC＝0.77，仍可以较为准确地进行密文域的人脸图像识别，说明采用该发明有较好的抗光照攻击能力。

表10旋转攻击的人脸图像加密后的实验数据

(2)遮挡攻击

图55是口罩遮挡大小为S的人脸图像；

图56是加密后的口罩遮挡大小为S的人脸图像，PSNR为20.79dB；

图57是眼镜遮挡大小为S的人脸图像，这时已有一定的遮挡效果；

图58是加密后的眼镜遮挡大小为S的人脸图像，PSNR为19.92dB；

图59是帽子遮挡大小为S的人脸图像；；

图60是加密后的帽子遮挡大小为S的人脸图像，PSNR为13.87dB；

遮挡是人脸识别过程中较难解决的问题，表11为对遮挡攻击的人脸图像进行加密后的实验数据，包括眼镜遮挡，口罩遮挡和帽子遮挡；表中，S，M，L分别表示遮挡的面积的相对大小。从表中可以看到，当口罩遮挡大小为L时进行加密，PSNR＝18.66dB，NC＝0.57；当眼镜遮挡大小为L时进行加密，PSNR＝16.37dB，NC＝0.51；当帽子遮挡面积较大为L时进行加密，这时信噪比较低为PSNR＝12.64dB，NC＝0.51，仍可以进行密文域的人脸图像识别，说明采用该发明有较好的抗遮挡攻击能力。

表11遮挡攻击的人脸图像加密后的实验数据

Claims (1)

1.一种基于密文域的加密人脸识别方法其特征在于：将人脸图像的特征向量和加密技术结合起来，以保护人脸图像信息，同时可以实现抗常规、几何、光照或遮挡等攻击，该方法共分两个部分，共计七个步骤：

第一部分：人脸图像的频域加密；

对频域的人脸图像利用Logistic Map的性质对图像进行混沌加密，得到加密的图像E(i,j)；

1)对人脸图像F(i,j)进行全局DFT变换，得到复数系数矩阵FD(i,j)；

2)由初始值x₀通过Logistic Map混沌系统生成混沌序列bl(j)；

3)利用混沌序列bl(j)，通过定义得到一个符号序列，再按人脸图像的大小构成一个二值加密矩阵S(i,j)；

4)将系数矩阵与二值矩阵进行点乘，得到L(i,j)；

5)对L(i,j)进行DFT逆变换，得到加密后的人脸图像E(i,j)；

第二部分：特征向量的提取；

根据人的视觉特性(HVS)，选取人脸图像的特征向量；

6)对加密的原始人脸图像E(i,j)进行全局DFT变换，在变换系数中，利用低中频系数的符号序列来得到该图的抗某种攻击的特征向量EV(i,j)；

7)对待测人脸图像进行全局DFT；在变换系数中，根据低中频系数的符号序列提取出待测图像的视觉特征向量EV’(i,j)；

最终将EV(i,j)和EV’(i,j)进行归一化相关系数计算，通过计算相关系数来比较并进行人脸识别。