CN107507286A - 一种基于人脸和手写签名的双模态生物特征签到系统 - Google Patents

Abstract

本发明公开了一种基于人脸和手写签名的双模态生物特征签到系统，通过身份信息采集检测模块、信息预处理模块、卷积神经网络模块、特征归一化融合模块和识别模块依次连接来对人脸和手写签名进行图像采集、预处理、提取融合特征和识别判断，达到人脸和手写签名双模态特征身份认证的效果，克服了单模态生物特征认证的不稳定因素，使身份验证的可靠性、实用性和安全性得到进一步提高；另外，运用于签到考勤系统中，能够很好地杜绝代打卡考勤签到的情况发生。

Description

一种基于人脸和手写签名的双模态生物特征签到系统

技术领域

本发明涉及生物特征认证和模式识别技术领域，特别是一种基于人脸和手写签名的双模态生物特征签到系统。

背景技术

目前，随着网络通信技术的不断发展，信息共享应用日益广泛与深入，给人们的日常生活带来了便捷，但同时网络安全隐患问题也日渐突出并且情况越趋复杂，使得网络安全问题受到前所未有的挑战，因此实时高效和高安全性个人身份认证显得极为重要。

目前，身份认证方式主要分为三大类：第一类，根据密码(口令)对用户进行身份认证；第二类，根据身份标志物如证件、钥匙、IC卡等进行身份认证；第三类，根据可测量的身体或行为等生物特征进行身份认证。生物特征识别是一种通过计算机利用人体所固有的身体特征或行为特征来进行个人身份鉴定的新技术。其中身体特征包括：脸型、指纹、掌型、视网膜、虹膜、人体气味、手的血管和DNA等；行为特征包括：签名、语音、行走步态等。与传统身份认证方法(密码、标志物等)相比，生物特征的认证方法是以人体唯一、可靠、稳定的生物特征作为依据,采用计算机的强大功能和网络技术进行图像处理和模式识别，因此生物特征认证方法具有很好的随身性、安全性、唯一性、稳定性、广泛性、方便性、可采集性以及可接受性。

对于指纹验证，人脸验证消除了指纹接触使用的尴尬情况，这种非接触、直观、友好、安全方式，适用性非常广泛。随着技术不断成熟和成本不断降低，人脸验证逐步展露出取代指纹验证的趋势。另一方面，手写签名识别是通过计算机把手写签名图像、笔顺、速度和压力等信息与真实签名样本进行比对，以鉴别手写签名真伪的技术，该技术在国际上被公认为最容易被大众接受的身份认证方式，也是目前计算机身份识别领域前沿课题。单模态生物特征认证是利用一种生物特征进行身份识别；多模态生物特征认证则是利用两种或以上生物特征进行身份识别，克服了单模态生物特征认证过程中因用户健康状况、光照变化、传感器条件等带来的识别率不理想的限制，具有更高的可靠性，而且使得对生物特征伪造和复制变得更加困难和复杂，大大提高了系统的安全级别。多模态生物特征识别技术关键在于，如何更有效利用多种生物特征信息，实现高效率优质身份识别系统。另外，将近年在图像处理领域上获得广泛应用的卷积神经网络技术应用至特征构造与识别上，利用其局部连接性和权值共享性生成更具代表性、更抽象的特征，能够实现高效率、安全系数高的双模态生物特征身份识别系统。

目前，社会上大多数的考勤签到系统都是基于指纹或者IC卡的身份认证，如果能够将人脸和手写签名相结合的双模态生物特征应用至考勤签到系统，那么身份验证会变得更加方便安全，很好地杜绝了代打卡考勤的发生。

发明内容

为解决上述问题，本发明的目的在于提供一种能方便安全的身份认证签到系统，在生产时能简化工序实现自动化生产的一种基于人脸和手写签名的双模态生物特征签到系统。

本发明解决其问题所采用的技术方案是：

一种基于人脸和手写签名的双模态生物特征签到系统，其特征在于：包括身份信息采集检测模块、用于提取信息特征的卷积神经网络模块、用于融合双模态生物特征的特征归一化融合模块和用于验证身份信息真伪的识别模块；所述身份信息采集检测模块、卷积神经网络模块、特征归一化融合模块和识别模块依次连接；所述身份信息采集检测模块对人脸和电子手写签名图像信息进行采集，并传送至卷积神经网络模块，所述卷积神经网络模块从接收到的图像信息中提取人脸和电子手写签名特征，再发送至特征归一化融合模块，所述特征归一化融合模块将人脸和电子手写签名两种特征归一化并融合得到双模态融合特征并发送至识别模块，所述识别模块对双模态融合特征进行识别验证。所述身份信息采集检测模块能够采集检测到人脸图像信息和电子手写签名图像信息并发送至卷积神经网络模块，所述卷积神经网络模块从接收到的图像信息中提取出人脸和电子手写签名特征，并发送至特征归一化融合模块，所述特征归一化融合模块把人脸和电子手写签名双模态特征进行融合处理，得到双模态融合特征并发送至识别模块，所述识别模块会对双模态融合特征的身份信息进行验证，判断真伪。

进一步而言，上述方案中还包括信息预处理模块；所述身份信息采集检测模块和卷积神经网络模块通过信息预处理模块连接。所述信息预处理模块会对身份信息采集检测模块采集到的图像信息进行一系列预处理，得到预处理后的图像信息并发送至卷积神经网络模块。

进一步而言，上述方案中所述信息预处理模块包括用于对人脸图像信息进行预处理的人脸信息预处理模块；所述人脸信息预处理模块的输入端连接身份信息采集检测模块，所述人脸信息预处理模块的输出端输出对齐人脸图像信息至卷积神经网络模块。所述人脸信息预处理模块会对接收到的人脸图像信息进行一系列预处理，通过仿射变换获取到对齐后的人脸图像；同时还对人脸图像的尺度和光线强度等客观条件调整到一致，建立一个统一的标准即人脸归一化过程，最后将预处理后的已对齐的人脸图像信息发送至卷积神经网络模块。

进一步而言，上述方案中所述信息预处理模块包括用于对电子手写签名图像信息进行预处理的电子手写签名信息预处理模块；所述电子手写签名信息预处理模块的输入端连接身份信息采集检测模块，所述电子手写签名信息预处理模块的输出端输出规范化的电子手写签名图像信息至卷积神经网络模块。所述电子手写签名信息预处理模块对接收到的电子手写签名图像信息进行预处理，其中包括起笔处理、剔除虚假抬笔、平滑、规范化，并将预处理后的规范化电子手写签名图像信息传送至卷积神经网络模块。

进一步而言，上述方案中所述身份信息采集检测模块包括用于采集检测人体脸部图像信息的人脸信息采集检测模块；所述人脸信息采集检测模块输出人脸图像信息至卷积神经网络模块。所述人脸信息采集检测模块会对拍摄捕捉到的图像信息进行采集，并根据Adaboost人脸检测算法和ASM模型相融合得到的adaboost-ASM人脸检测算法高效、鲁棒检测到人脸并将人脸图像信息，并发送至卷积神经网络模块。

进一步而言，上述方案中所述身份信息采集检测模块包括用于采集电子手写签名信息的电子手写签名信息采集检测模块；所述电子手写签名信息采集检测模块输出电子手写签名图像信息至卷积神经网络模块。所述电子手写签名信息采集检测模块会对电子手写签名图像信息进行采集检测处理，得出电子手写签名图像信息并发送至卷积神经网络模块。

进一步而言，上述方案中所述卷积神经网络模块包括针对人脸信息特征提取的第一卷积神经网络模块；所述第一卷积神经网络模块输入端连接至身份信息采集检测模块，所述第一卷积神经网络模块输出端输出人脸特征至特征归一化融合模块。所述第一卷积神经网络模块从接收到的人脸图像信息中提取出人脸特征并发送至特征归一化融合模块。

进一步而言，上述方案中所述第一卷积神经网络模块包括第一卷积层、第一池化层和第一全连接层；所述第一卷积层、第一池化层和第一全连接层依次连接，所述第一卷积层输入端连接至身份信息采集检测模块，所述第一全连接层输出端输出人脸特征至特征归一化融合模块。所述第一卷积层对接收到的人脸图像信息进行卷积运算，使图像的特征信号增强并降噪，并传送至第一池化层，所述第一池化层对图像进行子采样处理，并传送至第一全连接层，所述第一全连接层经过运算得到人脸特征并发送至特征归一化融合模块。

进一步而言，上述方案中所述卷积神经网络模块包括针对电子手写签名信息特征提取的第二卷积神经网络模块；所述第二卷积神经网络模块输入端连接至身份信息采集检测模块，所述第二卷积神经网络模块输出端输出电子手写签名特征至特征归一化融合模块。所述第二卷积神经网络模块从接收到的电子手写签名图像信息中提取出电子手写签名特征并发送至特征归一化融合模块。

进一步而言，上述方案中所述第二卷积神经网络模块包括第二卷积层、第二池化层和第二全连接层；所述第二卷积层、第二池化层和第二全连接层依次连接，所述第二卷积层输入端连接至身份信息采集检测模块，所述第二全连接层输出端输出电子手写签名特征至特征归一化融合模块。所述第二卷积层对接收到的电子手写签名图像信息进行卷积运算，使图像的特征信号增强并降噪，并传送至第二池化层，所述第二池化层对图像进行子采样处理，并传送至第二全连接层，所述第二全连接层经过运算得到电子手写签名特征并发送至特征归一化融合模块。

进一步而言，上述方案中所述特征归一化融合模块包括人脸特征归一化模块、电子手写签名特征归一化模块和用于双模态特征融合的特征融合模块；所述特征融合模块的输入端分别连接人脸特征归一化模块和电子手写签名特征归一化模块，所述人脸特征归一化模块的输入端连接卷积神经网络模块，所述电子手写签名特征归一化模块的输入端连接卷积神经网络模块，所述特征融合模块的输出端输出双模态融合特征至识别模块。所述人脸特征归一化模块将接收到的人脸特征进行归一化处理，得到归一化后的人脸特征，并发送至特征融合模块；所述电子手写签名特征归一化模块将接收到的电子手写签名特征进行归一化处理，得到归一化后的电子手写签名特征，并发送至特征融合模块；所述特征融合模块把接收到的归一化后的人脸特征和归一化后的电子手写签名特征进行特征融合，得到双模态融合特征并发送至识别模块。

进一步而言，上述方案中所述识别模块包括基于高维空间复杂几何形体覆盖识别方法的仿生模式识别模块；所述仿生模式识别模块的输入端连接至特征归一化融合模块。所述仿生模式识别模块对接收到的双模态融合特征进行识别，进而对身份信息的真伪进行验证，并将验证结果发送至服务器。

进一步而言，上述方案中所述识别模块包括基于划分识别方法的SVM算法识别模块；所述SVM算法识别模块的输入端连接至特征归一化融合模块。所述SVM算法识别模块对接收到的双模态融合特征进行识别，进而对身份信息的真伪进行验证，并将验证结果发送至服务器。

本发明的有益效果是：本发明采用的一种基于人脸和手写签名的双模态生物特征签到系统，该签到系统设置了人脸识别和电子手写签名识别相结合的双重验证方式，不仅克服了单模态生物特征认证的不稳定因素，提高了身份验证的可靠性，而且还提升了身份验证的安全系数，具有很好的实用性。另外，相比大多数的基于指纹验证或IC卡验证的签到系统，本发明采用的人脸和电子手写签名均难以被复制，因此能很好地杜绝了代打卡考勤签到的情况发生。

附图说明

下面结合附图和实例对本发明作进一步说明。

图1是本发明一种基于人脸和手写签名的双模态生物特征签到系统的总体模块原理框图；

图2是本发明一种基于人脸和手写签名的双模态生物特征签到系统的身份验证流程图；

图3是本发明一种基于人脸和手写签名的双模态生物特征签到系统的具体模块原理框图；

图4是本发明一种基于人脸和手写签名的双模态生物特征签到系统的识别模块第一实施例的模块原理框图；

图5是本发明一种基于人脸和手写签名的双模态生物特征签到系统的识别模块第二实施例的模块原理框图；

图6是本发明一种基于人脸和手写签名的双模态生物特征签到系统的仿生模式识别流程图。

具体实施方式

本发明一种基于人脸和手写签名的双模态生物特征签到系统,具有对人脸和手写签名双重特征进行身份验证的功能，为实现该验证功能，本发明的一种基于人脸和手写签名的双模态生物特征签到系统包括多种功能模块，具体如下所述：

参照图1，本发明的一种基于人脸和手写签名的双模态生物特征签到系统包括身份信息采集检测模块100、信息预处理模块200、用于提取信息特征的卷积神经网络模块300、用于融合双模态生物特征的特征归一化融合模块400和用于验证身份信息真伪的识别模块500；所述身份信息采集检测模块100、信息预处理模块200、卷积神经网络模块300、特征归一化融合模块400和识别模块500依次连接。

所述身份信息采集检测模块100对人体脸部图像信息和电子手写签名图像信息进行采集检测，并传送至信息预处理模块200，所述信息预处理模块200会对接收到的图像信息进行预处理，得到对齐人脸的图像信息和规范化的电子手写签名图像信息，并传送至卷积神经网络模块300，所述卷积神经网络模块300能够根据自身的局部连接性和权值共享性从接收到的图像信息中高效快速地提取到人脸特征和电子手写签名特征，再发送至特征归一化融合模块400，所述特征归一化融合模块400能够将人脸和电子手写签名两种特征归一化后级联到同一个范围，并融合得到双模态融合特征用于作为签到人员的个人身份特征，再发送至识别模块500，所述识别模块500能够对双模态融合特征进行识别验证，判断签到人员身份信息的真伪。

本发明一种基于人脸和手写签名的双模态生物特征签到系统,具体的身份验证流程图如下：

参照图2，本发明一种基于人脸和手写签名的双模态生物特征签到系统的身份认证流程具体步骤如下：

步骤S1：签到系统运行；

步骤S2：系统对人脸和电子手写签名图像信息进行采集并处理；

步骤S3：系统会从采集处理后的人脸和电子手写签名图像信息中提取到人脸和电子手写签名特征；

步骤S4：系统将人脸和电子手写签名特征进行融合得到双模态融合特征；

步骤S5：系统会基于人脸和电子手写签名的双模态融合特征进行身份认证；

步骤S6：系统会判断身份是否认证成功；若认证成功执行步骤S7；否则返回执行步骤S2。

步骤S7：系统签到成功。

所述身份信息采集检测模块100包括用于采集检测人体脸部图像信息的人脸信息采集检测模块110；所述身份信息采集检测模块100包括用于采集电子手写签名信息的电子手写签名信息采集检测模块120；

所述信息预处理模块200包括用于对人脸图像信息进行预处理的人脸信息预处理模块210；所述信息预处理模块200包括用于对电子手写签名图像信息进行预处理的电子手写签名信息预处理模块220；

所述卷积神经网络模块300包括针对人脸信息特征提取的第一卷积神经网络模块310；所述第一卷积神经网络模块310包括第一卷积层311、第一池化层312和第一全连接层313；所述卷积神经网络模块300包括针对电子手写签名信息特征提取的第二卷积神经网络模块320；所述第二卷积神经网络模块320包括第二卷积层321、第二池化层322和第二全连接层323；

所述特征归一化融合模块400包括人脸特征归一化模块410、电子手写签名特征归一化模块420和用于双模态特征融合的特征融合模块430；

针对于人脸图像信息的采集处理分析方面，所述人脸信息采集检测模块110、人脸信息预处理模块210、第一卷积层311、第一池化层312和第一全连接层313、人脸特征归一化模块410和特征融合模块430依次连接并实现其功能。

针对于电子手写签名图像信息的采集处理分析方面，电子手写签名信息采集检测模块120、电子手写签名信息预处理模块220、第二卷积层321、第二池化层322和第二全连接层323、电子手写签名特征归一化模块420和特征融合模块430依次连接并实现其功能。

参照图3，本发明的一种基于人脸和手写签名的双模态生物特征签到系统主要是通过人脸和电子手写签名两种模态进行采集提取分析。

对于人脸验证具体实施方法如下：所述人脸信息采集检测模块110能够拍摄捕捉到图像信息，并利用Adaboost人脸检测算法和ASM模型相融合得到的Adaboost-ASM人脸检测算法可以高效、鲁棒检测到人脸并将人脸图像信息传送至人脸信息预处理模块210。所述Adaboost算法是一种提升分类器性能学习的算法，是一种迭代算法，其核心思想是针对同一个训练集训练不同的弱分类器，然后把这些分类器联合起来构成一个最终的强分类器。所述的ASM模型是一个基于统计学的模型，能够对统计学模型的特征点提取，形状由点的集合表示。利用两者相融合的Adaboost-ASM人脸检测算法能够在Adaboost级联分类器检测人脸图像的基础上利用ASM算法实现精确定位，能够使检测得到的人脸图像具有较强的鲁棒性。

所述人脸信息预处理模块210能够对接收到的人脸图像信息进行一系列预处理，包括利用人脸图像关键点和模板标记关键点进行仿射变换，得到仿射矩阵，获取到对齐后的人脸图像，由于实际情况中存在人脸与拍摄装置的距离、角度和光线的差异情况会对识别效果产生影响，因此预处理还包括在识别之前建立一个统一的标准，使人脸图像的尺度和光线强度等客观条件保持一致，即人脸归一化过程，最后人脸信息预处理模块210将预处理后的对齐人脸图像信息发送至用于提取人脸特征的第一卷积神经网络模块310。所述仿射变换是一种二维坐标到二维坐标之间的线性变换，包括旋转、倾斜、平移和缩放，保持了二维图形的“平直性”和“平行性”；所述“平直性”是指直线经过仿射变换后仍然是直线，圆弧经过仿射变换后仍是圆弧；所述“平行性”是指保持二维图形间的相对位置关系不变。

所述第一卷积神经网络模块310接收到对齐人脸图像信息后，利用其caffe训练好的卷积神经网络模型提取人脸特征并传送至人脸特征归一化模块410。所述第一卷积神经网络模块310包括第一卷积层311、第一池化层312和第一全连接层313，所述第一卷积层311对对齐人脸图像信息进行卷积运算，使图像的特征信号增强并降噪，并传送至第一池化层312，所述第一池化层312对图像进行子采样，减少系统的计算量，并传送至第一全连接层313，所述第一全连接层313经过softmax运算得到激活值，即人脸特征并发送至人脸特征归一化模块410。

卷积神经网络结构包括：卷积层，池化层，全连接层。每一层有多个特征图，每个特征图通过一种卷积滤波器提取输入的一种特征，每个特征图有多个神经元。(1)卷积层：作用是通过卷积计算使原信号特征增强，并且降低噪音。所述卷积计算指对图像(不同的数据窗口数据)和滤波矩阵(一组固定的权重：因为每个神经元的权重固定，所以也看作一个恒定的滤波器)做内积(逐个元素相乘再求和)的操作。图像上的卷积是指输入是一定区域大小的数据，和滤波器做内积后等到新的二维数据。(2)池化层：作用是简化卷积层的输出，根据图像局部相关性的原理，对图像进行子采样可以减少计算量，同时保持图像旋转不变性，通常有均值子采样和最大值子采样两种形式。(3)全连接层：采用softmax全连接得到各种类别的概率，得到激活值，即卷积神经网络提取到的图片特征。

所述人脸特征归一化模块410将接收到的人脸特征进行归一化后发送至特征融合模块430，目的是为了使人脸特征和电子手写签名特征的尺度控制在相同范围内，满足特征融合要求。具体地，将代表人脸的d维向量F_f按照最大最小原则将F_f归一化特征向量F′_f，即：

其中，F_f＝{F_f1，F_f2，…，F_fx}。

对于电子手写签名验证具体实施方法如下：所述电子手写签名信息采集检测模块120能够采集检测到签到人员的电子手写签名图像信息，并发送至电子手写签名信息预处理模块220，所述电子手写签名信息预处理模块220能够对电子手写签名图像信息进行预处理，其中包括起笔处理、剔除虚假抬笔、平滑、规范化等，并将预处理后的规范化电子手写签名图像信息传送至用于提取电子手写签名特征的第二卷积神经网络模块320。所述第二卷积神经网络模块320包括第二卷积层321、第二池化层322和第二全连接层323，所述第二卷积神经网络模块320通过卷积运算采样分析提取到电子手写签名特征，并发送至电子手写签名特征归一化模块420。

利用卷积神经网络模型提取签名特征，之所以采用卷积神经网络进行特征提取，原因如下：(1)由于卷积和池化计算的性质，使得图像中的平移部分对于最后特征向量是没有影响的。从这一角度说，提取到的特征更不容易过拟合。而且由于平移不变性，所以平移字符进行变造是无意义的，省去了再对样本进行变造的过程；(2)卷积神经网络抽取出的特征要比简单的投影、方向，重心都要更科学。不会让特征提取成为最后提高准确率的瓶颈；(3)可以利用不同的卷积、池化和最后输出的特征向量的大小控制整体模型的拟合能力。在过拟合时可以降低特征向量的维数，在欠拟合时可以提高卷积层的输出维数。相比于其他特征提取方法更加灵活。

所述电子手写签名特征归一化模块420将接收到的电子手写签名特征进行归一化后发送至特征融合模块430，目的是为了使电子手写签名特征和人脸特征的尺度控制在相同范围内，满足特征融合要求。具体地，将代表手写笔迹特征的x维向量F_w按照最大最小原则将F_w归一化特征向量F_w'，即：

其中，F_w＝{F_w1,F_w2,...F_wd}。

所述特征融合模块430将接收到的归一化的人脸和电子手写签名两种特征进行加权级联融合，得到新特征融合向量F并发送至识别模块500，该特征F会作为判断身份特征的依据。

其中，w₁和w₂为权值，通过训练获取，且w₁+w₂＝1。

所述识别模块500将所得到的双模态融合特征进行识别判断，对签到人员的身份信息进行验证，判断身份的真伪。

本发明一种基于人脸和手写签名的双模态生物特征签到系统包含用于进行身份验证的仿生模式识别模块500，所述识别模块500的第一实施例如下所述：

参照图4和图6，所述识别模块500包括基于高维空间复杂几何形体覆盖识别方法的仿生模式识别模块510；所述仿生模式识别模块510的输入端连接至特征归一化融合模块400。所述仿生模式识别模块510对接收到的双模态融合特征进行识别，进而对身份信息的真伪进行验证，并将验证结果发送至服务器。

所述仿生模式识别的“认识事物”的实现过程就是利用多权值高阶神经元网络，建立高维空间封闭超曲面完成对“事物”的最佳覆盖的过程。直观上说，这个高维几何形体可以看作是超球沿着某个一维流形所指定的轨迹滚动而经过的区域的总和，为实现方便，这个一维流形可以用一条由若干段首尾相连的折线组成的链来近似，令某个超球的球心沿着其中一段线段滚动，可以得到一类类似于香肠的高维几何基本形状单元，称为超香肠神经元，将所述相邻的每两个神经元彼此连接，可以构成一条超香肠链。通过判断待识别样本点是否在某个超香肠链内来进行识别，计算出待识别样本点到某个超香肠链的最短距离与神经元半径r的对比来对身份进行验证。

具体计算过程如下：一个多权值神经元性能Y通用表达式为：

Y＝f[Φ(W₁,W₂,...W_m,X)-θ]

式中W₁,W₂,...W_m为m个权值矢量；X是输入矢量；Φ为由多权值矢量神经元决定的计算函数(多个矢量输入，一个标量输出)；θ为多权值神经元的激活阈值；f为非线性转移函数。

设特征空间是n维实数空间Rⁿ，即X∈Rⁿ，则矢量函数方程:

Φ(W₁,W₂,...,W_m,X)＝θ

可视为有W₁,W₂,...W_m等m个权值矢量所决定的在特征空间Rⁿ中X矢量的一种轨迹，此轨迹为Rⁿ空间中(n-1)维超曲面(或超平面)，它把Rⁿ分成两个部分，如果公式Φ(W₁,W₂,...,W_m,X)＝θ是一个封闭的超曲面，则就在特征空间中形成了一个有限覆盖区域。

仿生模式的识别过程为：先计算待识别样本点X到各类别的各个超香肠神经元A_iA_j的覆盖区域的距离d_ij：

d_ij＝||X-A_iA_j||

其中i＝1,2,...N；j＝1,2,...,M,k为第i类超香肠的个数。取最小距离作为该待识别样本到第i类样本覆盖区域的距离d_i，即:

最后对待识别样本进行判断时，考虑拒绝识别未知样本，含拒识模式判断过程：若待识别样本到第i类样本的覆盖区域的距离d_i小于神经元半径r，则认为待识别样本点在第i类样本的覆盖范围内，将待识别样本识别为第i个网络所代表类别。若待识别样本没有落入任何网络的覆盖区域，则该样本不属于任何网络所属的类别，可直接拒识。

本发明一种基于人脸和手写签名的双模态生物特征签到系统包含用于进行身份验证的仿生模式识别模块500，所述识别模块500的第二实施例如下所述：

参照图5，所述识别模块500包括基于划分识别方法的SVM算法识别模块520；所述SVM算法识别模块520的输入端连接至特征归一化融合模块400。所述SVM算法识别模块520对接收到的双模态融合特征进行识别，进而对身份信息的真伪进行验证，并将验证结果发送至服务器。

在待测特征和样本特征之间SVM(支持向量机)的机理是寻找一个满足分类要求的优分类超平面，使得该超平面在保证分类精度的同时，能够使超平面两侧的空白区域最大化。计算待测样本和标准样本的距离，若计算出距离小于某一阈值，则该与会人员签到信息为真实，否则为伪签。

利用SVM算法寻找最佳超平面，本发明涉及二分类问题，给定训练样本集（x_i，y_i)，i＝1，2，…l，x∈Rⁿ，y∈{±1}。超平面记作(w·x+b＝0)，其中w为权值向量，b为偏置；为使分类面对所有样本正确分类并且具备分类间隔，就要求它满足如下约束：

y_i(w·x+b)≥1，i＝1，2，…l

可以计算出分类间隔为2/||w||，因此构造优超平面的问题就转化为在约束式下求特征空间的变换Φ：

为了解决该个约束优化问题，引入Lagrange函数：

式中α_i＞0为Lagrange乘数。约束优化问题的解由Lagrange函数的鞍点决定，并且优化问题的解在鞍点处满足对w和b的偏导为0，将该QP问题转化为相应的对偶问题即：

s.t ∑a_jy_j＝0 j＝1，2，...l a_j≥0

解得优解计算优权值向量w^*和优偏置b^*，分别为：

式中下标因此得到优分类超平面w^*·x+b^*＝0，而优分类函数为：

对于线性不可分情况，SVM的主要思想是将输人向量映射到一个高维的特征向量空间，并在该特征空间中构造优分类面。将x做从输入空间Rⁿ到特征空间的变换Φ，得：

x→Φ(x)＝(Φ₁(x)，Φ₂(x)，…，(Φ_l(x))^T

以特征向量Φ(x)代替输入向量x，则可以得到优分类函数为：

f（x）＝sgn（w·Φ(x)+b）＝∑a_iy_iΦ(x_i)·Φ(x)+b)

对于仿生模式识别和基于SVM算法的传统模式识别，在基本出发点方面：仿生模式识别是基于一类类样本的认识，基于SVM算法的传统模式识别是基于多类样本的区分；在理论基础方面：仿生模式识别是基于同源连续性规律，基于SVM算法的传统模式识别是基于所有可用的信息都包含在训练集中；在数学工具方面：仿生模式识别是基于拓扑学，基于SVM算法的传统模式识别是基于统计学；在学习方法方面：仿生模式识别是基于高维空间的复杂几何形体覆盖，基于SVM算法的传统模式识别是基于高维空间的空间划分。

相对于基于SVM算法的传统模式识别，仿生模式识别具有以下优势：1、对于没有训练过的样本，不会将其错误归为已训练样本中的某一类，而是能够将其正确拒识，实际应用中误识率非常低；2、可以不断学习新事物(类别)，并且学习某类时不需要负样本(非此类或他类样本)参加训练，学习新类时不需要重新学习已知类，即不会影响原有已经学习好的知识；3、在低训练样本数量情况下仍能获得较高的正确识别率，这得益于引入了“同源连续性规律“的先验知识，因而有效的信息不再局限于训练样本，低训练样本数、高识别率的特点，更适合一些不易获取大量训练样本的特殊场合下的识别任务。

因此，优选地本发明选用仿生模式识别方式。

以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，都应属于本发明的保护范围。

Claims (10)

1.一种基于人脸和手写签名的双模态生物特征签到系统,其特征在于：包括身份信息采集检测模块(100)、用于提取信息特征的卷积神经网络模块(300)、用于融合双模态生物特征的特征归一化融合模块(400)和用于验证身份信息真伪的识别模块(500)；所述身份信息采集检测模块(100)、卷积神经网络模块(300)、特征归一化融合模块(400)和识别模块(500)依次连接；所述身份信息采集检测模块(100)对人脸和电子手写签名图像信息进行采集，并传送至卷积神经网络模块(300)，所述卷积神经网络模块(300)从接收到的图像信息中提取人脸和电子手写签名特征，再发送至特征归一化融合模块(400)，所述特征归一化融合模块(400)将人脸和电子手写签名两种特征归一化并融合得到双模态融合特征并发送至识别模块(500)，所述识别模块(500)对双模态融合特征进行识别验证。

2.根据权利要求1所述的一种基于人脸和手写签名的双模态生物特征签到系统，其特征在于：还包括信息预处理模块(200)；所述身份信息采集检测模块(100)和卷积神经网络模块(300)通过信息预处理模块(200)连接。

3.根据权利要求1所述的一种基于人脸和手写签名的双模态生物特征签到系统，其特征在于：所述身份信息采集检测模块(100)包括用于采集检测人体脸部图像信息的人脸信息采集检测模块(110)；所述人脸信息采集检测模块(110)输出人脸图像信息至卷积神经网络模块(300)。

4.根据权利要求1所述的一种基于人脸和手写签名的双模态生物特征签到系统，其特征在于：所述身份信息采集检测模块(100)包括用于采集电子手写签名信息的电子手写签名信息采集检测模块(120)；所述电子手写签名信息采集检测模块(120)输出电子手写签名图像信息至卷积神经网络模块(300)。

5.根据权利要求1所述的一种基于人脸和手写签名的双模态生物特征签到系统，其特征在于：所述卷积神经网络模块(300)包括针对人脸信息特征提取的第一卷积神经网络模块(310)；所述第一卷积神经网络模块(310)输入端连接至身份信息采集检测模块(100)，所述第一卷积神经网络模块(310)输出端输出人脸特征至特征归一化融合模块(400)。

6.根据权利要求5所述的一种基于人脸和手写签名的双模态生物特征签到系统，其特征在于：所述第一卷积神经网络模块(310)包括第一卷积层(311)、第一池化层(312)和第一全连接层(313)；所述第一卷积层(311)、第一池化层(312)和第一全连接层(313)依次连接，所述第一卷积层(311)输入端连接至身份信息采集检测模块(100)，所述第一全连接层(313)输出端输出人脸特征至特征归一化融合模块(400)。

7.根据权利要求1所述的一种基于人脸和手写签名的双模态生物特征签到系统，其特征在于：所述卷积神经网络模块(300)包括针对电子手写签名信息特征提取的第二卷积神经网络模块(320)；所述第二卷积神经网络模块(320)输入端连接至身份信息采集检测模块(100)，所述第二卷积神经网络模块(320)输出端输出电子手写签名特征至特征归一化融合模块(400)。

8.根据权利要求7所述的一种基于人脸和手写签名的双模态生物特征签到系统，其特征在于：所述第二卷积神经网络模块(320)包括第二卷积层(321)、第二池化层(322)和第二全连接层(323)；所述第二卷积层(321)、第二池化层(322)和第二全连接层(323)依次连接，所述第二卷积层(321)输入端连接至身份信息采集检测模块(100)，所述第二全连接层(323)输出端输出电子手写签名特征至特征归一化融合模块(400)。

9.根据权利要求1所述的一种基于人脸和手写签名的双模态生物特征签到系统，其特征在于：所述特征归一化融合模块(400)包括人脸特征归一化模块(410)、电子手写签名特征归一化模块(420)和用于双模态特征融合的特征融合模块(430)；所述特征融合模块(430)的输入端分别连接人脸特征归一化模块(410)和电子手写签名特征归一化模块(420)，所述人脸特征归一化模块(410)的输入端连接卷积神经网络模块(300)，所述电子手写签名特征归一化模块(420)的输入端连接卷积神经网络模块(300)，所述特征融合模块(430)的输出端输出双模态融合特征至识别模块(500)。

10.根据权利要求1所述的一种基于人脸和手写签名的双模态生物特征签到系统，其特征在于：所述识别模块(500)包括基于高维空间复杂几何形体覆盖识别方法的仿生模式识别模块(510)；所述仿生模式识别模块(510)的输入端连接至特征归一化融合模块(400)。