CN104123537B - 一种基于手形和掌纹识别的快速身份验证方法 - Google Patents

Abstract

本发明一种基于手形和掌纹识别的快速身份验证方法，采集手部图像并从中分离出手形和掌纹特征，将提取的注册用户的手形特征和掌纹特征作为模板连同用户的个人标识存储到注册模板库中；设定阈值将拍摄的手部图像提取的手形特征与注册模板库中的手形特征进行比对；然后确认标识名是否相同，如相同，则确认为合法用户；如不相同，则需要使用掌纹识别来确认，设定阈值将拍摄的手部图像提取的掌纹特征与注册模板库中的掌纹特征进行比对，如掌纹特征比对成功，并确认标识名是否相同，标识名相同则确认为合法用户，否则为假冒用户，予以拒绝。本发明解决了现有手部多特征融合识别技术识别速度慢、识别率低的问题，识别速度快、验证效果准确，实用性好。

Description

一种基于手形和掌纹识别的快速身份验证方法

技术领域

本发明属于生物特征身份识别技术领域，具体涉及一种基于手形和掌纹识别的快速身份验证方法。

背景技术

安全、稳定、方便和高效的身份验证是避免和抑制公共安全事件发生的一个重要环节。身份验证广泛应用在银行、公安、海关、电子商务、网络安全以及考勤、门禁系统等所有需要验证个人身份的场合。

传统的身份识别技术常常是利用与人相关的实物或者依靠记忆相关的指令进行确认，而这些身份识别方法往往存在丢失、损坏、伪造、遗忘、被盗用和不便携带等缺点。生物特征身份识别是根据人的生理特征(如语音、指纹、手形、掌纹、面部特征、虹膜等)或行为特征(如步态、签名、击键特征等)来验证或辨识一个人身份的，能够克服以上问题。在我国《2006-2020年国家中长期科学和技术发展纲要》中，生物特征识别技术分别被列为重点领域、优先主题和前沿技术中的一个重要研究内容。

手是人与外界接触最频繁、最方便的人体部分，用手作为身份识别非常方便，也容易被用户接受。用手作为生物识别的生物特征包括指纹、指节纹、手形、掌纹、手掌静脉与手指静脉等。基于手掌单一特征的生物识别系统已经在一定特点的或具体的领域得到了实际应用，其中尤以指纹识别的应用最早、最广泛、也最为成熟。但在实际应用中这些单一生物特征识别由于现有的技术条件或生物特征固有的性质缺陷，使得单一生物特征识别技术的优缺点共存，同时会造成手掌其他信息的浪费，因此需要采用多特征融合的方法解决上述问题。

最新的手部多特征融合方法研究表明，目前对手形和掌纹这两种生物特征串联融合均采用双层筛选的方法，即首先利用手形特征对训练库中的模板进行一次粗匹配，再利用掌纹特征对选出来的模板进行一次细匹配。在利用手形特征进行粗匹配时，可以把那些差异性较大的模板在第一次进行搜索时就给排除掉，从而使得进行细匹配时的搜索空间减少，节省时间，也可以将掌纹相似但手形差异性较大的那些模板给去除掉，从而在提升识别速度的同时，也能达到较好的识别效果。但通过实验发现随着训练样本集的改变，粗匹配阈值和细匹配阀值也有可能需要发生改变，当粗匹配阈值和细匹配阀值的取值对一个训练样本集来说是最佳时，并不意味着它们同样对另一个训练样本集也是最佳的选择，严重影响识别率；此外在识别速度上也存在明显的不足之处。

发明内容

本发明的目的在于提供一种基于手形和掌纹识别的快速身份验证方法，解决了现有手部多特征融合识别技术识别速度慢、识别率低的问题。

本发明所采用的技术方案是：一种基于手形和掌纹识别的快速身份验证方法，采集手部图像并从中分离出手形和掌纹特征，将提取的注册用户的手形特征和掌纹特征作为模板连同用户的个人标识存储到注册模板库中；设定阈值将拍摄的手部图像提取的手形特征与注册模板库中的手形特征进行比对；然后确认标识名是否相同，如相同，则确认为合法用户；如不相同，则需要使用掌纹识别来确认，设定阈值将拍摄的手部图像提取的掌纹特征与注册模板库中的掌纹特征进行比对，如掌纹特征比对成功，并确认标识名是否相同，标识名相同则确认为合法用户，否则为假冒用户，予以拒绝。

本发明的特点还在于，

具体包括以下步骤：

步骤1：人手图像采集

将手自然张开，放在数码照相机前，利用数码照相机获取手部图像，并对其进行标识命名；

步骤2：人手图像共享预处理

对步骤1获取的手部图像进行预处理，包括灰度化、高斯滤波、二值化、轮廓提取，得到手形轮廓线；

步骤3：手部关键点定位

对步骤2获得的手形轮廓线除大拇指以外的其余四个手指的指尖及指根点定位，通过扫描线定位指尖点的方法定位指尖点，得到食指、中指、无名指和小指的四个指尖点A1、A2、A3、A4；通过手形顶点缺陷定位指根点及圆模板定位法定位指根点，得到食指、中指、无名指和小指之间的三个内侧指根点B2、B3、B4以及食指、小拇指的外侧指根点B1、B5；

步骤4：选择操作步骤

如果用户已注册，则直接执行步骤6；如果没有注册则先执行步骤5，再执行步骤6；

步骤5：注册

步骤5.1：手形特征点提取，根据步骤3定位出的手形指尖点和指根点，计算出四个手指的绝对长度和平均宽度，以四个手指的绝对长度和平均宽度构成手形的特征矢量；

步骤5.2：对掌纹图像进行旋转矫正、提取感兴趣区域、下采样后期处理，然后进行掌纹特征提取；

步骤5.3：将提取的手形特征和掌纹特征作为模板连同用户的个人标识存储到注册模板库中，得到包括手形和掌纹的用户注册手部图像信息；

步骤6：验证

步骤6.1：按照步骤5.1的方法对拍摄的手部图像进行手形特征点提取；

步骤6.2：将拍摄的手部图像提取的手形特征点与手形注册模板库中的特征进行比对，其特征比是通过最近邻分类法中的欧式距离法进行的，

设特征向量Y₁＝{y₁,y₂,...,y_n}，Y₂＝{y′₁,y′₂,...,y′_n}，n为特征向量维数，则欧氏距离为：

欧式距离设置阈值F₁越小则相似度越高，F₁小于等于设定值时，表示两个特征比对成功，进行步骤6.3；否则为假冒用户，予以拒绝；

步骤6.3：确认手形已比对成功的用户的标识名是否相同，如相同，则确认为合法用户；如不相同，则需要通过掌纹识别来确认，进行步骤6.4；

步骤6.4：按照步骤5.2的方法对掌纹图像进行旋转矫正、提取感兴趣区域、下采样、掌纹特征提取；

步骤6.5：将拍摄的手部图像提取的掌纹特征点与掌纹模板库中的特征进行比对，其特征比是通过步骤6.2中的最近邻分类法中的欧式距离法进行的，欧式距离越小则相似度越高，将阈值F₂与设定值进行比较，若阈值F₂小于等于设定值时，则比对成功，并确认标识名是否相同，相同则确认为合法用户，否则为假冒用户，予以拒绝。

步骤1中数码照相机与单一黑色背景板构成简单非接触式采集装置，数码照相机与背景板之间的距离为70-80mm，且中间无遮挡物，图片格式设置为24位BMP彩色图，图像分辨率640×480；手与数码相机镜头表面平行。

步骤2具体为：

步骤2.1：灰度化

将从数码照相机得到的手部图像转换为灰度图，灰度值的计算使用加权公式：

Y＝0.212671*R+0.715160*G+0.072169*B

式中，Y为灰度值；R为红色分量值，G为绿色分量值，B为蓝色分量值；

步骤2.2：高斯滤波

对步骤2.1灰度化后的图像进行卷积核为(3×3)的高斯滤波，得到高斯滤波后的手部图像；

步骤2.3：二值化

在步骤2.2得到的高斯滤波后的手部图像的灰度值中采用峰谷阈值法确定灰度阈值，扫描图像中每一个像素的灰度值并将它与确定的灰度阈值相比较，当图像中像素的灰度值大于选取的阈值时，将此像素的灰度值设置为255，小于选取的阈值时，设置为0，经二值化处理后的图像g(x,y)定义为：

式中，f(x,y)表示的是输入图像，而0和1在此处只是一个抽象的表示，并不是实际的像素值，标记为1的像素对应于目标，标记为0的像素对应于背景；T表示灰度阈值；

步骤2.4：轮廓提取

对步骤2.3得到的二值化后的手部图像进行判定，若该点的四周都是黑色则设置该点为白色，得到手形轮廓线。

步骤3具体为：

步骤3.1：扫描线定位指尖点

步骤3.1.1：按照图像从左到右、从上到下的顺序，扫描图像每列边界点个数，首先让计数器pro置0，求的值，当梯度差值为1时，计数器加1；当计数器的值为1时，记录该列的坐标d₀＝j，继续向右扫描，以此类推，当计数器的值分别为3、5和7时，记录该列的坐标d₁＝j₁、d₂＝j₂、d₃＝j₃，同时停止扫描；

步骤3.1.2：初始化数组c＝zero(8,1)，从上到下顺序，扫描图像的第d₀列，将该列边界点的横纵坐标存储到数组c中；

步骤3.1.3：初始化数组b＝zero(8,1)，从上到下扫描d₁列，将得到边界点的纵坐标存储到数组b中，通过比较数组b中的数，把3个交点中与其余交点纵坐标距离相差均大于60的点的横、纵坐标存储到数组c中，得到该点为一个指尖点；

依此类推，从上到下扫描d₂、d₃列，将得到边界点的纵坐标存储到数组b中，通过比较数组b中的数可以得到其中一个坐标是指尖点的纵坐标，再把此点的横纵坐标存储到数组c中；通过以上三步得到四个手指的指尖点均存储在数组c中，通过比较四个指尖点纵坐标的大小，按照从小到大将四个指尖点重新排序得到指尖点A1、A2、A3、A4并存储到数组c中；

步骤3.2：手形顶点缺陷定位指根点

步骤3.2.1：采用人手轮廓的顶点缺陷来检测内侧指根点，人手轮廓的顶点缺陷是人手凸包和人手外轮廓的差，利用OPENCV中自带的缺陷处理函数对步骤2得到的手形轮廓线进行缺陷处理，得到手形的凸包和缺陷点，从而得到一系列凸点和凹点的具体位置，将凸点和凹点按原始轮廓的顺序排列成向量，这样就得到了描述人手轮廓外接多边形的每个点，再根据人手在采集时放置的位置去除掉得到的点集中的干扰点，再比较剩下点的纵坐标，按从小到大排序分别为食指与中指的指根点B2、中指与无名指的指根点B3和无名指与小拇指的指根点B4；

步骤3.2.2：确定食指、小拇指的外侧指根点，利用圆模板定位法，以小拇指的指尖点为圆心，以此圆心点到无名指与小拇指的指根点的距离为半径画圆，与小拇指轮廓线的交点为小拇指的外侧指根点B5；同理在定位食指的外侧指根点时，是以食指的指尖点为圆心，而半径是食指指尖点到食指与中指的指根点的距离，与食指轮廓线的交点为食指的外侧指根点B1。

步骤5.1的具体方法为：确定的指尖点从食指、中指、无名指到小拇指分别为A1、A2、A3、A4，指根点从食指的外侧指根点到小拇指的外侧指根点分别为B1、B2、B3、B4、B5，C1、C2、C3、C4分别为B1B2、B2B3、B3B4、B4B5的中点，连接A1C1、A2C2、A3C3、A4C4，求取四条线段的绝对长度和斜率，得到四个手指的绝对长度；对A1C1、A2C2、A3C3、A4C4四条线段分别进行三等分，分别过等分点作该条线段的垂线，连接该垂线与手指两侧相交的交点，从而得到此点处手指的绝对宽度，分别对得到的每段手指的2个绝对宽度取平均值，得到四个手指的平均宽度。

步骤5.2具体为：

步骤5.2.1：旋转矫正

通过指根点定位获得食指与中指的指根点B2、无名指与小拇指的指根点B4，计算这两点的连线B2B4与垂直轴的夹角：

B2(x₁,y₁)，B4(x₂,y₂)；

B2和B4的中点为原点O(x₀,y₀)，

以过O点的垂直轴作为Y轴，以过O点的水平轴作为X轴，建立直角坐标系，根据计算的夹角大小对掌纹图像进行旋转：当夹角为锐角时，对掌纹图像进行π/2-Angle度的顺时针旋转，当夹角为钝角时，对掌纹图像进行π/2-Angle度的逆时针旋转，B2和B4经过旋转后所对应的点分别为C₁₂和C₃₂；

步骤5.2.2：提取感兴趣区域

根据旋转矫正后图像中的点C₁₂、C₃₂及中点O₂，就可以提取出感兴趣区域，以C₁₂C₃₂所在直线作为Y轴，以过O₂点且垂直于Y轴的直线作为X轴，建立直角坐标系，以O₂点开始分别向右移60个点、向上移70个点作为起始点来提取大小为128×128的感兴趣区域；

步骤5.2.3：下采样

利用二层小波变换提取感兴趣区域的低频部分，将掌纹感兴趣区域图像由128×128变为32×32；

步骤5.2.4：掌纹特征提取

采用主成分分析PCA方法进行提取，具体方法为：

假设M张大小为m×n像素的图像作为训练样本，将每张图像按列展成(m×n)×1维的列向量x_j(j＝1,2,...,M)，M张图像的均值向量为：

差像向量X为：j＝1,...,M

由图像的列向量组成新的矩阵A，图像大小为(m×n)×M，协方差矩阵为：

则G的前k(k≤M)个最大特征值对应的特征向量，记为u₁,u₂,...,u_k，即为“特征掌”，每一幅掌纹样本图像都可以用这组特征掌的线性组合表示为：

其中U_pca为列向量u_i(i＝1,2,...,k)组成的矩阵，可表示为U_pca＝[u₁,u₂,...,u_k]，即f_j(j＝1,2,...M)为x_j(j＝1,2,...,M)的k维PCA变换特征矢量。

本发明的有益效果是：本发明一种基于手形和掌纹识别的快速身份验证方法，分别提取手形特征和掌纹特征并存入特征信息库中，身份验证时利用手形识别速度快及掌纹识别率高的特点，手形特征和掌纹特征均作为识别身份的作用，即手形识别正确后不再进行掌纹识别，只有当手形识别错误时，才进行后续的掌纹识别，解决了现有手部多特征融合识别技术识别速度慢、识别率低的问题，具有识别速度快、验证效果准确，实用性好等优点。

附图说明

图1是本发明基于手形和掌纹识别的快速身份验证方法的流程图；

图2是人手图像共享预处理后得到的手形轮廓线；

图3是扫描线定位指尖点为1个交点定位图；

图4是扫描线定位指尖点为3个交点定位图；

图5是扫描线定位指尖点为5个交点定位图；

图6是扫描线定位指尖点为7个交点定位图；

图7是指尖点定位效果图；

图8是人手轮廓的顶点缺陷示意图；

图9是人手内侧指根点定位效果示意图；

图10是人手外侧指根点定位效果示意图；

图11是手形特征点定位结果示意图；

图12是手形特征提取示意图；

图13是掌纹图像后期处理旋转前手部图像示意图；

图14是掌纹图像后期处理旋转后手部图像及特征提取示意图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明一种基于手形和掌纹识别的快速身份验证方法，如图1所示，具体包括以下步骤：

步骤1：人手图像采集

采用CCD数码照相机，数码照相机与单一黑色背景板构成简单非接触式采集装置，数码照相机与背景板之间的距离为70-80mm，且中间无遮挡物，图片格式设置为24位BMP彩色图，图像分辨率640×480，将手自然张开，放在数码照相机前，与镜头表面平行，利用数码照相机获取手部图像，并对其进行标识命名(如ID号等)；

步骤2：人手图像共享预处理

对步骤1获取的手部图像进行预处理，包括灰度化、高斯滤波、二值化、轮廓提取，得到手形轮廓线；

步骤2具体为：

步骤2.1：灰度化

将从数码照相机得到的手部图像转换为灰度图，灰度值的计算使用加权公式：

Y＝0.212671*R+0.715160*G+0.072169*B

式中，Y为灰度值；R为红色分量值，G为绿色分量值，B为蓝色分量值；

步骤2.2：高斯滤波

对步骤2.1灰度化后的图像进行卷积核为(3×3)的高斯滤波，得到高斯滤波后的手部图像；

步骤2.3：二值化

在步骤2.2得到的高斯滤波后的手部图像的灰度值中采用峰谷阈值法确定合适的灰度阈值，该灰度阈值是通过对注册库中的手部图像均进行直方图分析，选择两峰之间的谷底值再求取各谷底值的平均值，即为二值化时的合适阈值；扫描图像中每一个像素的灰度值并将它与选取的阈值相比较，当图像中像素的灰度值大于选取的阈值时，将此像素的灰度值设置为255，小于选取的阈值时，设置为0，经二值化处理后的图像g(x,y)定义为：

式中，f(x,y)表示的是输入图像，而0和1在此处只是一个抽象的表示，并不是实际的像素值，标记为1的像素对应于目标，标记为0的像素对应于背景；T表示灰度阈值；本实例设置80作为数码照相机采集图像二值化的最佳阈值；

步骤2.4：轮廓提取

对步骤2.3得到的二值化后的手部图像进行判定，若该点的四周都是黑色则设置该点为白色，得到如图2所示的手形轮廓线；

步骤3：手部关键点定位

对步骤2获得的手形轮廓线除大拇指以外的其余四个手指的指尖及指根点定位，通过扫描线定位指尖点的方法定位指尖点，得到食指、中指、无名指和小指的四个指尖点A1、A2、A3、A4；通过手形顶点缺陷定位指根点的方法定位指根点，得到食指、中指、无名指和小指之间的三个内侧指根点B2、B3、B4以及食指、小拇指的外侧指根点B1、B5；

步骤3.1：扫描线定位指尖点

其原理为：首先确定与手指有奇数交点的坐标，从步骤2得到的手形轮廓线指尖指向的一侧开始对图像进行从上到下的扫描，分别确定扫描线与手指有1个交点的列、3个交点的列、5个交点的列、7个交点的列，求取交点的坐标；然后根据交点与手指上下侧坐标点的关系，对交点进行选取：如图3所示，当有1个交点时，此交点被认为是其中一个手指的指尖点；如图4所示，当有3个交点时，比较3个交点的纵坐标，3个交点中有1个交点是剩余3个手指中一个手指的指尖点，而另外的2个交点是与上一步确定的那个手指的交点，因此这两个交点的纵坐标距离要近一点且与上一个确定的手指的纵坐标也要近一点(本实例中把3个交点纵坐标距离，将与其余交点纵坐标距离相差均大于60的点的纵坐标记录到数组中)；如图5所示，当有5个交点时，比较5个交点的纵坐标，采用同样的方法确定出5个交点中有1个交点为剩余2个手指中一个手指的指尖点，而另外4个交点是与前面两步中已确定的两个手指的交点；图6为7个交点，依照此方法可以得到剩余手指的指尖点；最后将得到的4个指尖点的纵坐标从小到大排序，从而分别得到食指、中指、无名指和小指的指尖点，如图7所示；

步骤3.1.1：按照图像从左到右、从上到下的顺序，扫描图像每列边界点个数，首先让计数器pro置0，求的值，当梯度差值为1时，计数器加1；当计数器的值为1时，记录该列的坐标d₀＝j，继续向右扫描，以此类推，当计数器的值分别为3、5和7时，记录该列的坐标d₁＝j₁、d₂＝j₂、d₃＝j₃，同时停止扫描；

步骤3.1.2：初始化数组c＝zero(8,1)，zero(8，1)表示该数组为8行1列的数组，从上到下顺序，扫描图像的第d₀列，将该列边界点的横纵坐标存储到数组c中；

步骤3.1.3：初始化数组b＝zero(8,1)，zero(8，1)表示该数组为8行1列的数组，从上到下扫描d₁列，将得到边界点的纵坐标存储到数组b中，通过比较数组b中的数(边界点的纵坐标)，把3个交点中与其余交点纵坐标距离相差均大于60的点的横、纵坐标存储到数组c中，得到该点为一个指尖点；

依此类推，从上到下扫描d₂、d₃列，将得到边界点的纵坐标存储到数组b中，通过比较数组b中的数可以得到其中一个坐标是指尖点的纵坐标，再把此点的横纵坐标存储到数组c中；通过以上三步得到四个手指的指尖点均存储在数组c中，通过比较四个指尖点纵坐标的大小，按照从小到大将四个指尖点重新排序得到指尖点A1、A2、A3、A4并存储到数组c中；

步骤3.2：手形顶点缺陷定位指根点

采用人手轮廓的顶点缺陷来检测内侧指根点，人手轮廓的顶点缺陷是人手凸包和人手外轮廓的差，如图8所示，围绕着手的线条描绘出了凸包，双向箭头表示的是缺陷中凸形与最远轮廓点(谷底)的距离，而A-G所指的区域是手的轮廓相对于凸包的凸缺陷；

步骤3.2.1：利用OPENCV中自带的缺陷处理函数对步骤2得到的手形轮廓线进行缺陷处理，把缺陷中距离凸形最远的轮廓点(谷底)且点与点之间横坐标大于30或者纵坐标大于20的点存储在数组中，得到手形的凸包和缺陷点，从而得到一系列凸点和凹点的具体位置，将凸点和凹点按原始轮廓的顺序排列成向量，这样就得到了描述人手轮廓外接多边形的每个点，再根据人手在采集时放置的大致位置，即人手的指根点会出现在一个大致的范围内从而去除掉得到的点集中的干扰点，再比较剩下点的纵坐标，按从小到大排序分别为食指与中指的指根点B2、中指与无名指的指根点B3和无名指与小拇指的指根点B4，具体如图9所示；

步骤3.2.2：确定食指、小拇指的外侧指根点，利用已有的圆模板定位法，以小拇指的指尖点为圆心，以此圆心点到无名指与小拇指的指根点的距离为半径画圆，与小拇指轮廓线的交点为小拇指的外侧指根点B5；同理在定位食指的外侧指根点时，是以食指的指尖点为圆心，而半径是食指指尖点到食指与中指的指根点的距离，与食指轮廓线的交点为食指的外侧指根点B1，具体如图10所示；

步骤4：选择操作步骤

一个生物验证系统包括注册、身份验证二种操作模式，其中注册是在进行验证之前，用户需要首先将自己的身份注册到生物识别系统中，身份验证是“一对一”的匹配，目标是判定是否为合法用户，如果用户已注册，则直接执行步骤6；如果没有注册则先执行步骤5，再执行步骤6；

步骤5：注册

步骤5.1：手形特征点提取，根据步骤3定位出的手形指尖点A1、A2、A3、A4和指根点B1、B2、B3、B4、B5，计算出四个手指的绝对长度和平均宽度，以四个手指的绝对长度和平均宽度构成手形的特征矢量；

步骤5.1的具体方法为：如图11所示，确定的指尖点从食指、中指、无名指到小拇指分别为A1、A2、A3、A4，指根点从食指的外侧指根点到小拇指的外侧指根点分别为B1、B2、B3、B4、B5，如图12所示，C1、C2、C3、C4分别为B1B2、B2B3、B3B4、B4B5的中点，连接A1C1、A2C2、A3C3、A4C4，求取四条线段的绝对长度和斜率，得到四个手指的绝对长度；对A1C1、A2C2、A3C3、A4C4四条线段分别进行三等分，分别过等分点作该条线段的垂线，连接该垂线与手指两侧相交的交点，从而得到此点处手指的绝对宽度，分别对得到的每段手指的2个绝对宽度取平均值，得到四个手指的平均宽度；

步骤5.2：对掌纹图像进行旋转矫正、提取感兴趣区域、下采样后期处理，然后进行掌纹特征提取；

步骤5.2具体为：

步骤5.2.1：旋转矫正

如图13所示，通过指根点定位获得食指与中指的指根点B2、无名指与小拇指的指根点B4，计算这两点的连线B2B4与垂直轴的夹角：

B2(x₁,y₁)，B4(x₂,y₂)；

B2和B4的中点为原点O(x₀,y₀)，

以过O点的垂直轴作为Y轴，以过O点的水平轴作为X轴，建立直角坐标系，根据计算的夹角大小对掌纹图像进行旋转：当夹角为锐角时，对掌纹图像进行π/2-Angle度的顺时针旋转，当夹角为钝角时，对掌纹图像进行π/2-Angle度的逆时针旋转，B2和B4经过旋转后所对应的点分别为C₁₂和C₃₂；旋转后的图像如图14所示；

步骤5.2.2：提取感兴趣区域

根据如图14所示旋转矫正后图像中的点C₁₂、C₃₂及中点O₂，就可以提取出感兴趣区域，以C₁₂C₃₂所在直线作为Y轴，以过O₂点且垂直于Y轴的直线作为X轴，建立直角坐标系，以O₂点开始分别向右移60个点、向上移70个点作为起始点来提取大小为128×128的感兴趣区域；

步骤5.2.3：下采样

利用二层小波变换提取感兴趣区域的低频部分，将掌纹感兴趣区域图像由128×128变为32×32；

步骤5.2.4：掌纹特征提取

采用主成分分析PCA方法进行提取，具体方法为：

假设M张大小为m×n像素的图像作为训练样本，将每张图像按列展成(m×n)×1维的列向量x_j(j＝1,2,...,M)，M张图像的均值向量为：

平均值代表了这M张图像所共有的特征成分，为了突显这些图像彼此不同的部分，必须将共有的成分减去，得到差像向量X为：

由图像的列向量组成新的矩阵A，图像大小为(m×n)×M，当图像的维数很高时，这样A的行维数就会很高，直接求特征值和特征向量就会很困难，此时就需要借助协方差来求取，协方差矩阵为：

则G的前k(k≤M)个最大特征值对应的特征向量，记为u₁,u₂,...,u_k，即为“特征掌”，每一幅掌纹样本图像都可以用这组特征掌的线性组合表示为：

其中U_pca为列向量u_i(i＝1,2,...,k)组成的矩阵，可表示为U_pca＝[u₁,u₂,...,u_k]，即f_j(j＝1,2,...M)为x_j(j＝1,2,...,M)的k维PCA变换特征矢量，它其实就是原来的图像在进行线性变换时相对应的系数向量，也可以认为它是表示其到底是处于空间中的什么地方的坐标向量，也正是因为任意一幅可以提取掌纹特征的图像都可以通过上面的计算方法得到一组当它被投影到子空间中时的坐标向量，即f_j，而这组坐标向量其实就是此图像处在子空间中的一个位置，因此可以用它来区分不同的掌纹；

步骤5.3：将提取的手形特征和掌纹特征作为模板连同用户的个人标识存储到注册模板库中，其中注册时设定采集和特征提取每个人的手部图像可以为3张，但不局限于3张，以便完成手部特征信息的录入，得到包括手形和掌纹的用户注册手部图像信息；

步骤6：验证

步骤6.1：按照步骤5.1的方法对拍摄的手部图像进行手形特征点提取；

步骤6.2：将拍摄的手部图像提取的手形特征点与手形注册模板库中的特征进行比对，其特征比是通过最近邻分类法中的欧式距离法进行的，

设特征向量Y₁＝{y₁,y₂,...,y_n}，Y₂＝{y′₁,y′₂,...,y′_n}，n为特征向量维数，则欧氏距离为：

欧式距离设置阈值F₁越小则相似度越高，F₁小于等于200时，表示两个特征比对成功，进行步骤6.3；否则为假冒用户，予以拒绝；

步骤6.3：身份验证是“一对一”的匹配，为了消除误判，必须确认手形已比对成功的用户的标识名是否相同，如相同，则确认为合法用户；如不相同，则需要通过掌纹识别来确认，进行步骤6.4；

步骤6.4：按照步骤5.2.1-5.2.4的方法对掌纹图像进行旋转矫正、提取感兴趣区域、下采样、掌纹特征提取；

步骤6.5：将拍摄的手部图像提取的掌纹特征点与掌纹模板库中的特征进行比对，其特征比是通过步骤6.2的最近邻分类法中的欧式距离法进行的，欧式距离越小则相似度越高，将阈值F₂与设定值进行比较，若阈值F₂小于等于1700，则比对成功，并确认标识名是否相同，相同则确认为合法用户，否则为假冒用户，予以拒绝。

本发明一种基于手形和掌纹识别的快速身份验证方法，通过充分利用拍摄的手部图像信息，同时保留手形和掌纹特征信息，采用基于手形和掌纹的共享预处理的多个子过程，以及手形和掌纹串联融合识别中加入用户标识验证的方法，实现一对一的匹配识别，在保证系统高识别率的同时提高了识别速度，具有识别速度快、验证效果准确，实用性好等优点。

实施例

采用型号为Panasonic DMC-TZ3的数码照相机，建立的手部图像库为采集50个人的右手手部图像，每个人采集6次，共采集了50×6＝300幅图像用于进行实验，图像格式是24位JPEG彩色图，图像的大小是640×480。

本实施例的测试机器处理器为Intel(R)Core(TM)2 Duo CPU T6600@2.20GHz2.19GHz，系统内存为2GB。在Microsoft windows XP Professional系统下完成的，系统版本为2002 Service Pack 2。实验系统是在Visual C++6.0的开发平台下，以OpenCV为辅助工具来完成测试系统的设计与算法的实现。采用不同的样本数来对其进行测试，主要有以下三种方式：

本实施例通过利用数码相机采集建立的手部图像库中图像，采用不同的样本数来对其进行识别率测试，主要有以下三种方式：

样本数为3：将手部图像库中每个人的6幅图像均分，分别用3幅图像作为训练图像，3幅图像作为测试图像，也就是说300幅的图像中将有一半作为训练样本集，一半作为测试样本集；

样本数为2：减少训练样本集中的图像，将方式一中用于作为训练样本集的150幅图像减少为100幅图像，也就是说将训练样本集中每个人的3幅图像减少为每个人2幅图像，而测试样本集中的每个人3幅图像增加为每个人4幅图像；

样本数为1：再一次减少训练样本集中的图像，让训练样本集中每个人都只有一副图像，而测试样本集中每个人有5幅图像，这样训练样本集就变为50幅图像，而测试样本集就为250幅图像。

根据3种方式在不同训练样本数下求取出最后的平均识别结果如表1所示：

表1不同方式、识别方法的对比分析

从表1中的实验数据可以发现，不管是什么方法只要是训练样本数减少，对应的识别率均会降低，但是手形识别、掌纹识别及本发明方法识别它们的训练样本数从3降到1时，它们的识别率分别下降了19.4％、11.04％和8.6％，可以发现采用本发明方法识别方法时，当样本数降低时识别率要比其它方法下降的少，甚至当样本数只有一个时，本发明方法的识别率仍然可以达到88.4％，说明该方法具有较好的鲁棒性。此外我们还可以发现采用本发明方法识别时，在识别时间上也有了较大程度的提升。

本实施例将本发明定位方法和利用直线拟合定位特征点的方法，分别用数码相机采集到的300幅手部图像进行了测试对比，结果见表2所示：

表2两种定位方法对比结果

通过比较表1中的数据可以发现，利用直线拟合定位特征点的方法没有本发明特征点定位方法好，且利用直线拟合定位特征点方法的计算量要比本发明定位方法的计算量大，因此所需的处理时间也比它长，所以本发明的特征点定位方法不论是在定位效果方面还是在处理速度上均比直线拟合定位特征点的方法要好。

本发明实施例中将本发明方法与桑海峰，赵云，苑玮琦等发表的名为《基于人手自然张开的多生物特征识别》(详见2011年11期《仪器仪表学报》杂志P2549-2556，该方法同时申请专利为《非接触式快速人手多模态信息融合识别方法》(申请号：201010533446.2，公开号：CN102073843A，公开日：2011.05.25)中提出的双层筛选方法，即“首先利用手形识别过滤掉一些不满足条件的样本，然后将候选样本作为掌纹识别的对象，从而得到最终的识别结果”，进行对比测试，测试结果如下：

从手部图像库中的每个人的6幅图像中随机选取3幅图像作为训练样本集，而剩下的另外3幅图像作为测试样本，上述两种方法按照本发明的方法得到的测试结果如表3所示。测试时阈值设置为：在双层筛选方法中阈值F₁和F₂分别设置为300和0.6；在本发明中阈值F₁和F₂分别设置为200和1700。

表3两种方法的对比分析

方法	训练样本数为3时识别率	识别时间
			双层筛选	93.33％	90ms
本发明	97.33％	78ms

比较表3中的测试数据可以发现，本发明的方法不论是在识别率方面还是在识别时间方面均优于双层筛选方法。

此外本发明方法测试实施例的拒真率(FRR)和认假率(FAR)均为1.335％，即在等误率(ERR)情况下，正确识别率也能达到97.33％，具有很好的实用性。

Claims (5)

1.一种基于手形和掌纹识别的快速身份验证方法，其特征在于，采集手部图像并从中分离出手形和掌纹特征，将提取的注册用户的手形特征和掌纹特征作为模板连同用户的个人标识存储到注册模板库中；设定阈值将拍摄的手部图像提取的手形特征与注册模板库中的手形特征进行比对；然后确认标识名是否相同，如相同，则确认为合法用户；如不相同，则需要使用掌纹识别来确认，设定阈值将拍摄的手部图像提取的掌纹特征与注册模板库中的掌纹特征进行比对，如掌纹特征比对成功，并确认标识名是否相同，标识名相同则确认为合法用户，否则为假冒用户，予以拒绝，具体包括以下步骤：

步骤1：人手图像采集

将手自然张开，放在数码照相机前，利用数码照相机获取手部图像，并对其进行标识命名；

步骤2：人手图像共享预处理

对所述步骤1获取的手部图像进行预处理，包括灰度化、高斯滤波、二值化、轮廓提取，得到手形轮廓线；

步骤3：手部关键点定位

对所述步骤2获得的手形轮廓线除大拇指以外的其余四个手指的指尖及指根点定位，通过扫描线定位指尖点的方法定位指尖点，得到食指、中指、无名指和小指的四个指尖点A1、A2、A3、A4；通过手形顶点缺陷定位指根点及圆模板定位法定位指根点，得到食指、中指、无名指和小指之间的三个内侧指根点B2、B3、B4以及食指、小拇指的外侧指根点B1、B5；具体按照以下步骤实施：

步骤3.1：扫描线定位指尖点

步骤3.1.1：按照图像从左到右、从上到下的顺序，扫描图像每列边界点个数，首先让计数器pro置0，求▽f＝f(i+1,j)-f(i,j)的值，当梯度差值▽f为1时，计数器加1；当计数器的值为1时，记录该列的坐标d₀＝j，继续向右扫描，以此类推，当计数器的值分别为3、5和7时，记录该列的坐标d₁＝j₁、d₂＝j₂、d₃＝j₃，同时停止扫描；

步骤3.1.2：初始化数组c＝zero(8,1)，zero(8，1)表示该数组为8行1列的数组，从上到下顺序，扫描图像的第d₀列，将该列边界点的横纵坐标存储到数组c中；

步骤3.1.3：初始化数组b＝zero(8,1)，从上到下扫描d₁列，将得到边界点的纵坐标存储到数组b中，通过比较数组b中的数，把3个交点中唯一的1个与其余2个交点纵坐标距离相差均大于60个像素的点的横、纵坐标存储到数组c中，该横、纵坐标所代表的点为第二个指尖点；初始化数组b＝zero(8,1)，从上到下扫描d₂列，将得到边界点的纵坐标存储到数组b中，通过比较数组b中的数，把5个交点中唯一的1个与其余4个交点纵坐标距离相差均大于60个像素的点的横、纵坐标存储到数组c中，该横、纵坐标所代表的点为第三个指尖点；初始化数组b＝zero(8,1)，从上到下扫描d₃列，将得到边界点的纵坐标存储到数组b中，通过比较数组b中的数，把7个交点中唯一的1个与其余6个交点纵坐标距离相差均大于60个像素的点的横、纵坐标存储到数组c中，该横、纵坐标所代表的点为第四个指尖点；通过步骤3.1.2得到的存储在数组c中的点及在以上三次初始化数组b＝zero(8,1)扫描所得到的三个手指的指尖点均存储在数组c中，通过比较这四个点纵坐标的大小，按照从小到大将四个点重新排序得到指尖点A1、A2、A3、A4并存储到数组c中；

步骤3.2：手形顶点缺陷定位指根点

步骤3.2.1：采用人手轮廓的顶点缺陷来检测内侧指根点，人手轮廓的顶点缺陷是人手凸包和人手外轮廓的差，利用OPENCV中自带的缺陷处理函数对所述步骤2得到的手形轮廓线进行缺陷处理，得到手形的凸包和缺陷点，从而得到一系列凸点和凹点的具体位置，将凸点和凹点按原始轮廓的顺序排列成向量，这样就得到了描述人手轮廓外接多边形的每个点，再根据人手在采集时放置的位置去除掉得到的点集中的干扰点，再比较剩下点的纵坐标，按从小到大排序分别为食指与中指的指根点B2、中指与无名指的指根点B3和无名指与小拇指的指根点B4；

步骤3.2.2：确定食指、小拇指的外侧指根点，利用圆模板定位法，以小拇指的指尖点为圆心，以此圆心点到无名指与小拇指的指根点的距离为半径画圆，与小拇指轮廓线的交点为小拇指的外侧指根点B5；同理在定位食指的外侧指根点时，是以食指的指尖点为圆心，而半径是食指指尖点到食指与中指的指根点的距离，与食指轮廓线的交点为食指的外侧指根点B1；

步骤4：选择操作步骤

如果用户已注册，则直接执行步骤6；如果没有注册则先执行步骤5，再执行步骤6；

步骤5：注册

步骤5.1：手形特征点提取，根据所述步骤3定位出的手形指尖点和指根点，计算出四个手指的绝对长度和平均宽度，以四个手指的绝对长度和平均宽度构成手形的特征矢量；

步骤5.2：对掌纹图像进行旋转矫正、提取感兴趣区域、下采样后期处理，然后进行掌纹特征提取；

步骤5.3：将提取的手形特征和掌纹特征作为模板连同用户的个人标识存储到注册模板库中，得到包括手形和掌纹的用户注册手部图像信息；

步骤6：验证

步骤6.1：按照步骤5.1所述的方法对拍摄的手部图像进行手形特征点提取；

步骤6.2：将拍摄的手部图像提取的手形特征点与手形注册模板库中的特征进行比对，其特征比是通过最近邻分类法中的欧式距离法进行的，

设特征向量Y₁＝{y₁,y₂,...,y_n}，Y₂＝{y′₁,y₂′,...,y_n′}，n为特征向量维数，则欧氏距离为：

$d(Y_1,Y_2)=\sqrt{\underset{i=1}{\overset{n}{\Σ}}{(y_i-y_i^{\′})}^2}$

欧式距离设置阈值F₁越小则相似度越高，F₁小于等于设定值时，表示两个特征比对成功，进行步骤6.3；否则为假冒用户，予以拒绝；

步骤6.3：确认手形已比对成功的用户的标识名是否相同，如相同，则确认为合法用户；如不相同，则需要通过掌纹识别来确认，进行步骤6.4；

步骤6.4：按照步骤5.2所述的方法对掌纹图像进行旋转矫正、提取感兴趣区域、下采样、掌纹特征提取；

步骤6.5：将拍摄的手部图像提取的掌纹特征点与掌纹模板库中的特征进行比对，其特征比是通过所述步骤6.2中的最近邻分类法中的欧式距离法进行的，欧式距离越小则相似度越高，将阈值F₂与设定值进行比较，若阈值F₂小于等于设定值时，则比对成功，并确认标识名是否相同，相同则确认为合法用户，否则为假冒用户，予以拒绝。

2.如权利要求1所述的一种基于手形和掌纹识别的快速身份验证方法，其特征在于，所述步骤1中数码照相机与单一黑色背景板构成简单非接触式采集装置，数码照相机与背景板之间的距离为70-80mm，且中间无遮挡物，图片格式设置为24位BMP彩色图，图像分辨率640×480像素；手与数码相机镜头表面平行。

3.如权利要求1所述的一种基于手形和掌纹识别的快速身份验证方法，其特征在于，所述步骤2具体为：

步骤2.1：灰度化

将从数码照相机得到的手部图像转换为灰度图，灰度值的计算使用加权公式：

Y＝0.212671*R+0.715160*G+0.072169*B

式中，Y为灰度值；R为红色分量值，G为绿色分量值，B为蓝色分量值；

步骤2.2：高斯滤波

对所述步骤2.1灰度化后的图像进行卷积核为(3×3)的高斯滤波，得到高斯滤波后的手部图像；

步骤2.3：二值化

在所述步骤2.2得到的高斯滤波后的手部图像的灰度值中采用峰谷阈值法确定灰度阈值，扫描图像中每一个像素的灰度值并将它与确定的灰度阈值相比较，当图像中像素的灰度值大于选取的阈值时，将此像素的灰度值设置为255，小于选取的阈值时，设置为0，经二值化处理后的图像g(x,y)定义为：

$g(x,y)=\left\{\begin{array}{cc}0& f(x,y)\≤T\\ 1& f(x,y)>T\end{array}\right.$

式中，f(x,y)表示的是输入图像，而0和1在此处只是一个抽象的表示，并不是实际的像素值，标记为1的像素对应于目标，标记为0的像素对应于背景；T表示灰度阈值；

步骤2.4：轮廓提取

对所述步骤2.3得到的二值化后的手部图像进行判定，若该点的四周都是黑色则设置该点为白色，得到手形轮廓线。

4.如权利要求1所述的一种基于手形和掌纹识别的快速身份验证方法，其特征在于，所述步骤5.1的具体方法为：确定的指尖点从食指、中指、无名指到小拇指分别为A1、A2、A3、A4，指根点从食指的外侧指根点到小拇指的外侧指根点分别为B1、B2、B3、B4、B5，C1、C2、C3、C4分别为B1B2、B2B3、B3B4、B4B5的中点，连接A1C1、A2C2、A3C3、A4C4，求取四条线段的绝对长度和斜率，得到四个手指的绝对长度；对A1C1、A2C2、A3C3、A4C4四条线段分别进行三等分，分别过等分点作该条线段的垂线，连接该垂线与手指两侧相交的交点，从而得到此点处手指的绝对宽度，分别对得到的每段手指的2个绝对宽度取平均值，得到四个手指的平均宽度。

5.如权利要求1所述的一种基于手形和掌纹识别的快速身份验证方法，其特征在于，所述步骤5.2具体为：

步骤5.2.1：旋转矫正

通过指根点定位获得食指与中指的指根点B2、无名指与小拇指的指根点B4，计算这两点的连线B2B4与垂直轴的夹角：

B2(x₁,y₁)，B4(x₂,y₂)；

B2和B4的中点为原点O(x₀,y₀)，

以过O点的垂直轴作为Y轴，以过O点的水平轴作为X轴，建立直角坐标系，根据计算的夹角大小对掌纹图像进行旋转：当夹角为锐角时，对掌纹图像进行π/2-Angle度的顺时针旋转，当夹角为钝角时，对掌纹图像进行π/2-Angle度的逆时针旋转，B2和B4经过旋转后所对应的点分别为C₁₂和C₃₂；

步骤5.2.2：提取感兴趣区域

根据旋转矫正后图像中的点C₁₂、C₃₂及中点O₂，就可以提取出感兴趣区域，以C₁₂C₃₂所在直线作为Y轴，以过O₂点且垂直于Y轴的直线作为X轴，建立直角坐标系，以O₂点开始分别向右移60个像素点、向上移70个像素点作为起始点来提取大小为128×128像素的感兴趣区域；

步骤5.2.3：下采样

利用二层小波变换提取感兴趣区域的低频部分，将掌纹感兴趣区域图像由128×128像素变为32×32像素；

步骤5.2.4：掌纹特征提取

采用主成分分析PCA方法进行提取，具体方法为：

假设M张大小为m×n像素的图像作为训练样本，将每张图像按列展成(m×n)×1维的列向量x_j(j＝1,2,...,M)，M张图像的均值向量为：

$\stackrel{\‾}{x}=\frac{1}{M}\underset{j=1}{\overset{M}{\Σ}}{x}_j$

差像向量X为：

由图像的列向量组成新的矩阵A，图像大小为(m×n)×M，协方差矩阵为：

$G=\frac{1}{M}{\mathrm{XX}}^T$

则G的前k(k≤M)个最大特征值对应的特征向量，记为u₁,u₂,...,u_k，即为“特征掌”，每一幅掌纹样本图像都可以用这组特征掌的线性组合表示为：

$f_j=U_{pca}^T(x_j-\stackrel{\‾}{x}),j=1,2,...,M$

其中U_pca为列向量u_i(i＝1,2,...,k)组成的矩阵，可表示为U_pca＝[u₁,u₂,...,u_k]，即f_j(j＝1,2,...M)为x_j(j＝1,2,...,M)的k维PCA变换特征矢量。