CN106503655A - 一种基于人脸识别技术的电子签名方法和验签方法 - Google Patents

Abstract

本发明公开了一种基于人脸识别技术的电子签名方法和验签方法。本发明的签名方法为：1)采集登录用户的人脸图像，然后定位人脸关键点位置；2)对于每个人脸关键点位置，提取包含该人脸关键点的设定区域内的特征数据；3)将各人脸关键点位置的特征数据转换为二进制编码形式，并串联成一个一维特征向量；4)利用该用户的二进制密码信息对该一维特征向量进行加密；5)对该用户的电子印章图数据进行DCT变换，得到DCT变换系数；然后根据量化表对该DCT变换系数进行量化；然后将加密后的特征数据嵌入到量化后的该DCT变换系数中；6)对处理后的DCT变换系数进行熵编码并写入到待签名的图像。本发明便于实现且安全性高。

Description

一种基于人脸识别技术的电子签名方法和验签方法

技术领域

本发明涉及一种基于人脸识别技术的电子签名方法和验签方法，属于计算机网络技术领域。

背景技术

信息时代办公自动化(OA)已经成为趋势，各个单位都有自己的流程审批系统。很多流程需要领导审批，传统方式是领导用账号登录系统，用自己的身份审批通过。对于不重要的流程，这个问题不大，对于非常核心的流程，尤其是涉及到资金的审批流程，关系重大，需要确定是领导的本意，而不是别人攻入系统或者知道审批者的密码，假装以领导身份代批工单。解决这个问题就需要有一个领导签名的机制，保证这个审批必须来自审批者本人，保证别的人审批不了，且最好有追溯的记录，记录上有审批人的痕迹，做到事后的有迹可查。同时，本发明在签名图像生成过程中，加入数字水印技术，防止图像被篡改。

人脸识别技术近些年随着数据和计算资源的增加，方兴未艾。目前主要用于认证(Authentication)领域，人脸是和指纹、虹膜等生物特征一样，是用户身份的天然代表，但是他比指纹、虹膜优势的地方在于，采集成本更低、更方便，指纹、虹膜等需要专用的采集设备，而人脸只要摄像头即可，而且人脸的采集方式是非侵入式的，更加友好。将人脸信息嵌入到审批凭证中，可以作为用户本身意图的一种表达方式。

发明内容

针对现有技术中存在的审批问题，本发明的目的在于提供一种基于人脸关键点特征提取的电子签名方法和验签方法。本发明将签名信息以数字图像水印隐藏技术保存在电子印章中；集成数字水印技术防止篡改，生成电子印章，具有可视化效果；签名过程记录视觉日志，更加具有可读性，比普通的文本日志包含更丰富的信息；使用方便，只要是本人即可，不需要携带特殊设备，也不需要输入密码等额外信息；对天然带有摄像头的设备尤其是手机使用起来很方便同时提高了安全性。

本发明基于人脸关键点特征签名的电子印章生成方法，包含以下步骤：

一、电子印章生成过程：

1)训练四个眼角、鼻尖和两个嘴角共7个点的人脸关键点定位模型SDM(Supervised Descent Method)；

2)用户登录系统加载SDM模型，启动摄像头，用SDM定位人脸关键点位置；

3)根据活体检测关键信息位置做活体检测，活体检测成功后，每个关键点附近的32x32大小的区域内(图像如果比较小，patch size的可以调小些，比如16x16)，提取LBP(Local Binary Patterns)特征描述子(目前来看，最好的人脸特征是基于深度学习的特征表达，但是考虑深度学习计算复杂，模型占用空间大，不利于移动设备的应用，所以选择相对简单、计算量小的LBP特征，判别能力虽然稍弱，但是如果辅助RGB三个通道的信息再加上比较严格的阈值限制，能够满足人脸的验证，例如可以在R、G、B三个通道上分别提取LBP特征，再将这些特征合并到一起，通过验证数据，可以在验证集上选择一个误识率低的阈值，当然会降低一些接受率，用户体验稍差些，但是提高了安全性)，特征形式如下：

F＝(f₁₁,f₁₂,…,f_1n,f₂₁,f₂₂,…,f_m1,f_m2,…f_mn)

f_mn为第m个关键点的第n个特征值，每一关键点对应一n为特征向量。

5)用户提前有一张准备好的签章图片，推荐用自己的印章图片，当然用户也可以选择，自己的签名图片，总之能具有签章的描述性；

4)将F按行串联成01值的长向量，然后变成MxN的二值图像，这样本发明就可以用基于改进DCT域的加密嵌入水印算法，嵌入本发明的签名信息。

二、电子印章验证过程：

1)用户登录系统，启动摄像头；

2)加载SDM模型，定位人脸关键点位置，并开始做活体检测；

3)活体检测成功后，在每个关键点附近的32x32大小的区域内(图像如果比较小，patch size的可以调小些，比如16x16)，提取LBP(Local Binary Patterns)特征描述子：

4)从电子印章中用DCT算法，提取出图片中的水印签名信息，将其中的二值化的信息变成每8位变成一个正整数。二值化的信息是为了便于隐藏，为了算法的鲁棒性和降低维数，对提取出来的信息，对于每个patch，要做一个直方图统计和局部的归一化，以此来作为特征向量，生成特征记录：

5)计算拍照用户的人脸特征和隐藏在电子印章中人脸特征的相似度，此处本发明可以选用最简单的Cosine距离，如果相似度大于指定的阈值，本发明认为此电子印章有效，没有被篡改过，否则，认为电子印章属于无效印章，不具有应有的效力。

与现有技术相比，本发明的优点：

由于采用了以上的方案，可实现以下优点：1)用户在电子办公中可以有一种安全可靠的电子印章凭证，可用于文件审批。2)电子印章本身具有自证真伪的功能，可以防止篡改。3)将人脸信息自然的嵌入隐藏到电子印章中，不需要额外的信息即可使用。4)在移动办公上更加安全和自然，移动环境网络复杂，对安全性要求更高，同时移动端自然的携带摄像头，调用方便自然。

附图说明

图1为LBP特征图；

图2为签名算法流程图；

图3为验签算法流程图；

图4为特征数据加密方法示意图。

具体实施方式

下面结合具体实施例对本发明进行进一步描述。

本实施例人脸签名流程如图2所示。核心是根据关键点信息生成人脸签名水印：

实施一：电子印章生成过程参看图2：

1)训练7个点的人脸关键点定位模型SDM(Supervised Descent Method)，定位人脸关键点，关键点位置如图2所示，SDM的本质是用有监督的机器学习方法，解决如下的回归问题：

一旦本发明找到初始化的x0，即可以通过不断迭代的方式取得Δx，最终定位到关键点(眼角、鼻尖和嘴角)的位置，模型线下预训练，训练好后，存在系统中。

2)用户登录系统加载SDM模型，启动摄像头，用SDM定位人脸关键点位置；

3)定位到人脸后，开始做活体检测，因为有了关键点信息，可以对用户做一些姿势的估计，因此可以让用户做相应的姿势动作，指令可以随机，防止用户录好视频作弊；

4)完成活体检测后，开始生成人脸特征的签名记录，在每个关键点附近的32x32大小的区域内(图像如果比较小，patch size的可以调小些，比如16x16)，提取LBP(LocalBinary Patterns)特征描述子。目前来看，最好的人脸特征是基于深度学习的特征表达，但是考虑深度学习计算复杂，模型占用空间大，既不利于移动设备的应用，也不方便做信息隐藏，所以提取LBP特征，此特征向量可以方便的转换为01值，如图1所示，在隐藏的时候方便操作。本特征提取人脸在关键点附件的纹理信息：特征表示为：F₁＝(f₁₁,f₁₂,…,f_1n)，其中n为特征维数(此处n＝128)，对所有的特征串联成一个大向量：

F＝(f₁₁,f₁₂,…,f_1n,f₂₁,f₂₂,…,f_m1,f_m2,…f_mn)

其中m为关键点数(此处m＝7)，F即是此图像的签名记录。

5)用户提前有一张准备好的签章图片，推荐用自己的印章图片，当然用户也可以选择，自己的签名图片，总之能具有签章的描述性，本发明称其为电子印章图，可参考图2的签名图片；

6)图像签名F隐藏到签章图片的过程：

因为LBP特征本身就是01值(参看图1)，把所有点的特征串联起来成为一个大的01向量，然后变成MxN的二值图像，这样本发明就可以用基于DCT域的加水印算法，嵌入本发明的签名信息，具体流程如下：

a)对用户的电子印章图数据进行DCT变换，得到原始DCT变换系数；

b)对DCT变换系数根据量化表进行量化，将MxN的二值图像分块嵌入到变换系数中；

c)和其他隐藏的信息不同，人脸特征信息是一种生物特征，具有身份的描述性且不能修改，为了防止用户在电子印章图中提取这些信息，在隐藏之前对信息数据做了混淆加密处理：用用户的二进制密码信息对特征数据(即二值图像中的像素值)作异或操作(XOR)得到加密后的特征数据，可以从头做，也可以由算法指定一个OffSet(参看图4)开始进行异或操作，将加密后的特征数据(即加密后的二值图像)再嵌入到DCT变换系数中；

d)将修改后的DCT变换系数进行熵编码并写入到最终的签名图像中。

实施二：电子印章验证过程参考图3：

电子印章的验证过程，用户自己用自己的人脸信息和印章中隐藏的水印的签名信息的校对过程，具体如下：

1)用户登录系统，启动摄像头；

2)加载SDM模型，定位人脸关键点位置，并开始做活体检测；

3)活体检测成功后，在每个关键点附近的32x32大小的区域内(图像如果比较小，patch size的可以调小些，比如16x16)，提取LBP(Local Binary Patterns)特征描述子：

F₁＝(f₁₁,f₁₂,…,f_1n,f₂₁,f₂₂,…,f_m1,f_m2,…f_mn)

4)用DCT算法提取出签名图像中的加密水印签名信息，对提取后的数据和用户的秘钥数据作异或操作(XOR)，将其中的二值化的信息每8位变成一个正整数后，对转换后的整数特征，分Bin计算每个Patch的梯度直方图，变成新的特征记录向量：

F₂＝(h₁,h₂,…,h_K)

5)计算F₁和F₂的相似度，此处本发明可以选用最简单的Cosine相似度，如果相似度大于指定的阈值，本发明认为此电子印章有效，没有被篡改过，否则，认为电子印章属于无效印章，不具有应有的效力。

Claims (10)

1.一种基于人脸识别技术的电子签名方法，其步骤为：

1)采集登录用户的人脸图像，然后定位人脸关键点位置；

2)对于每个人脸关键点位置，提取包含该人脸关键点的设定区域内的特征数据；

3)将各人脸关键点位置的特征数据转换为二进制编码形式，并串联成一个一维特征向量；

4)利用该用户的二进制密码信息对该一维特征向量进行加密，得到加密后的特征数据；

5)对该用户的电子印章图数据进行DCT变换，得到DCT变换系数；然后根据量化表对该DCT变换系数进行量化；然后将加密后的特征数据嵌入到量化后的该DCT变换系数中；

6)对步骤5)处理后的DCT变换系数进行熵编码并写入到待签名的图像。

2.如权利要求1所述的方法，其特征在于，步骤4)中，首先将该一维特征向量转换为一二值图像；然后利用该用户的二进制密码信息对该二值图像进行异或操作，得到加密后的二值图像，即加密后的特征数据；然后二值图像分块嵌入到变换系数中。

3.如权利要求1或2所述的方法，其特征在于，步骤1)中，定位到该用户的人脸后，首先进行做活体检测，检测通过后定位人脸关键点位置；然后发出提示指令并采集人脸图像，然后根据获取的人脸关键点位置信息和该提示指令对采集的该人脸图像进行验证，如果验证通过，则进行步骤2)；其中，该提示指令为做出设定姿势或表情。

4.如权利要求1或2所述的方法，其特征在于，所述人脸关键点包括四个眼角、鼻尖和两个嘴角。

5.如权利要求1或2所述的方法，其特征在于，用人脸关键点定位模型SDM定位人脸关键点位置；步骤2)中，所述特征数据为LBP特征。

6.如权利要求1所述的方法，其特征在于，所述加密为利用该用户的二进制密码信息对该一维特征向量进行异或操作。

7.一种基于人脸识别技术的电子签名的验签方法，其步骤为：

1)采集登录用户的人脸图像，然后定位人脸关键点位置；

2)对于每个人脸关键点位置，提取包含该人脸关键点的设定区域内的特征数据；

3)将各人脸关键点位置的特征数据转换为二进制编码形式，并串联成一个一维特征向量F1；

4)从签名图像中提取出的加密水印签名信息，然后利用该用户的秘钥对提取后的数据进行解密；然后将二值化的解密数据信息每8位变成一个正整数后，计算每个Patch的梯度直方图，得到新的特征记录F2；

5)计算F₁和F₂的相似度，如果相似度大于指定的阈值，则验证通过。

8.如权利要求7所述的方法，其特征在于，所述解密方法为：将提取后的数据和该用户的秘钥数据进行异或操作。

9.如权利要求7或8所述的方法，其特征在于，步骤1)中，定位到该用户的人脸后，首先进行做活体检测，检测通过后定位人脸关键点位置；然后发出提示指令并采集人脸图像，然后根据获取的人脸关键点位置信息和该提示指令对采集的该人脸图像进行验证，如果验证通过，则进行步骤2)；其中，该提示指令为做出设定姿势或表情。

10.如权利要求9所述的方法，其特征在于，用人脸关键点定位模型SDM定位人脸关键点位置。