CN107122700A

CN107122700A - 一种基于视频的掌纹掌脉联合注册和识别方法

Info

Publication number: CN107122700A
Application number: CN201710120955.4A
Authority: CN
Inventors: 康文雄; 王浩; 谢宇康; 李宇健; 陈晓鹏
Original assignee: South China University of Technology SCUT
Current assignee: South China University of Technology SCUT
Priority date: 2017-03-02
Filing date: 2017-03-02
Publication date: 2017-09-01

Abstract

本发明提供了一种基于视频的掌纹掌脉联合注册和识别方法。该方法包括注册方法和识别方法；注册方法是指从注册掌脉视频和注册掌纹视频中提取图像，获取注册掌脉模板特征、注册掌脉LBP特征和注册掌纹局部不变特征并存入注册数据库中；识别方法是指从识别掌脉视频和识别掌纹视频中提取图像，获取识别掌脉模板特征、识别掌脉LBP特征和识别掌纹局部不变特征并进行匹配，以识别该用户是否已注册。该方法可实现运动视频的手掌识别，有效增强了识别亲和性；提出了将手掌旋转视频和手掌横扫视频进行融合注册的新策略，提升了注册特征的丰富性和完整性，增强了对不同识别姿态的鲁棒性；提出了一种级联融合策略，可大幅提升已注册用户的识别速度。

Description

一种基于视频的掌纹掌脉联合注册和识别方法

技术领域

本发明涉及图像处理与分析技术领域，更具体地说，涉及一种基于视频的掌纹掌脉联合注册和识别方法。

背景技术

在网络信息技术高速发展的今天，基于生物特征的身份识别技术开始得到广泛关注和应用，其中基于手部的生物特征因其所包含信息的丰富性以及采集的便捷性更是受到研究人员的关注，包括指纹识别、指静脉识别、指横纹识别、指形识别、掌纹识别、掌静脉识别和手背静脉识别等。而研究发现采用多模态或多种生物特征融合技术可以获得比单一的生物特征识别技术更好的识别性能和可靠性，并可以增加伪造的难度和复杂性，从而提高系统的安全性。因此，基于多模态或多特征融合的手部生物识别技术目前已成为生物识别领域的热点研究内容，如掌纹掌脉的融合、手形与掌纹的融合等。

目前手部生物识别主要都是针对单张图像进行分析和处理，这在很大程度上限制了所能获取的生物特征数量。相对单张图像而言，视频数据或连续多帧序列图像数据中包含了更为丰富的信息源，从而有利于特征的提取。基于视频的识别方法能够充分利用采集和认证期间的各种信息。

基于多模态或多特征融合的手部生物识别技术以及基于视频的识别方法，能够有效增加信息的丰富性，并且能够更有效的提升系统的综合性能。但目前将基于视频识别和掌纹掌脉识别结合的方法仍处于空白，因此需要设计出一种基于视频的掌纹掌脉联合注册和识别方法，使得生物识别系统能够更加稳定有效。

发明内容

本发明的目的在于克服现有技术中的缺点与不足，提供一种基于视频的掌纹掌脉联合注册和识别方法。该方法可实现运动视频的手掌识别，有效地增强了识别的亲和性；提出了将手掌旋转视频和手掌横扫视频进行融合注册的新策略，从而提升了注册特征的丰富性和完整性，增强了对不同识别姿态的鲁棒性；提出了一种级联融合策略，可大幅提升已注册用户的识别速度。

为了达到上述目的，本发明通过下述技术方案予以实现：一种基于视频的掌纹掌脉联合注册和识别方法，其特征在于：包括注册方法和识别方法；

所述注册方法包括以下步骤：

A1步，采用掌纹掌脉拍摄装置录制待注册用户手掌旋转和手掌横扫动作，以获得注册掌纹视频和注册掌脉视频；在注册掌脉视频中提取k帧图像作为注册掌脉图像，并在注册掌纹视频中提取各帧注册掌脉图像相应时刻的图像作为k帧注册掌纹图像；

A2步，截取各帧注册掌脉图像的注册掌脉ROI区域；选取任一帧注册掌脉图像的注册掌脉ROI区域进行角度和尺度归一化处理，之后采用最大主曲率算法进行纹理增强，并采用K-means算法进行二值化处理，生成注册掌脉模板特征T1；

A3步，在任一帧注册掌脉图像的注册掌脉ROI区域上，采用LBP方法生成LBP code图，将生成LBP code图作为注册掌脉LBP特征T2；

A4步，将各帧注册掌脉ROI区域分别对应到相应时刻的注册掌纹图像上以截取各帧注册掌纹图像的注册掌纹ROI区域；将各个注册掌纹ROI区域进行角度和尺度归一化处理，并进行网格约束生成带有n个子区域的注册掌纹网格ROI图像；采用局部不变特征FRDOH描述子分别对各帧注册掌纹网格ROI图像进行描述得到特征向量集其中，n为第i帧注册掌纹网格ROI图像中的特征点数量，i∈{1,2，…，k}；

A5步，将各帧注册掌纹网格ROI图像的特征向量集进行特征融合，得到特征向量集合x_final＝{x_p,p＝1,...,m}作为注册掌纹局部不变特征T3，m≥n；

A6步，将注册掌脉模板特征T1、注册掌脉LBP特征T2和注册掌纹局部不变特征T3分别存储到注册数据库中；

所述识别方法包括以下步骤：

B1步，采用所述掌纹掌脉拍摄装置录制待识别用户手掌横扫动作，以获得识别掌纹视频和识别掌脉视频；在识别掌脉视频中提取任一帧带有完整手掌的图像作为识别掌脉图像，并在识别掌纹视频中提取相应时刻的图像作为识别掌纹图像；

B2步，截取识别掌脉图像的识别掌脉ROI区域，进行角度和尺度归一化处理，之后采用最大主曲率算法进行纹理增强，并采用K-means算法进行二值化处理，生成识别掌脉模板特征T1’；判断识别掌脉模板特征T1’是否与注册数据库中任一个注册掌脉模板特征T1匹配：若匹配，则判定待识别用户为已注册用户，结束识别；否则跳至B3步；

B3步，在识别掌脉ROI区域上，采用LBP方法生成LBP code图，将生成LBP code图作为识别掌脉LBP特征T2’；判断识别掌脉LBP特征T2’是否与注册数据库中任一个注册掌脉LBP特征T2匹配：若匹配，则判定待识别用户为已注册用户，结束识别；否则跳至B4步；

B4步，将识别掌脉ROI区域对应到识别掌纹图像上截取识别掌纹图像的识别掌纹ROI区域；进行角度和尺度归一化处理，并进行网格约束生成带有m个子区域的识别掌纹网格ROI图像；采用局部不变特征FRDOH描述子对识别掌纹网格ROI图像进行描述得到特征向量集q＝{q_j,j＝1,...,n}，特征向量集q＝{q_j,j＝1,...,n}为识别掌纹局部不变特征T3’；判断识别掌纹局部不变特征T3’是否与注册数据库中任一个注册掌纹局部不变特征T3匹配：若匹配，则判定待识别用户为已注册用户；否则判定待识别用户为陌生人。

优选地，所述A1步中，在注册掌脉视频中提取k帧图像作为注册掌脉图像，并在注册掌纹视频中提取各帧注册掌脉图像相应时刻的图像作为k帧注册掌纹图像是指：

在待注册用户手掌旋转的注册掌脉视频中提取第一帧图像作为第一帧注册掌脉图像；将第一帧图像外的待注册用户手掌旋转的注册掌脉视频平均分为k-2部分，在每个部分随机抽取一帧图像作为第二帧到第k-1帧注册掌脉图像；在待注册用户手掌横扫的注册掌脉视频中提取中间一帧图像作为第k帧注册掌脉图像；在注册掌纹视频中提取各帧注册掌脉图像相应时刻的图像作为k帧注册掌纹图像。

优选地，所述A5步，将各帧注册掌纹网格ROI图像的特征向量集进行特征融合，得到特征向量集合x_final＝{x_p,p＝1,...,m}作为注册掌纹局部不变特征T3是指,包括如下步骤：

A5.1，采用第一帧注册掌纹网格ROI图像的特征向量集x₁来构建和初始化融合特征向量集x_fusion：x_fusion＝x₁；设定z＝2；

A5.2，将第z帧注册掌纹网格ROI图像的特征向量集x_z中的每个特征向量分别与融合特征向量集x_fusion中的各个特征向量逐一进行相似度判断：若相似度＞预设相似度阈值，则表示该特征向量与融合特征向量集x_fusi_on中的各个特征向量均不相似，并予以标注，否则不予标注；将予以标注的特征向量添加到融合特征向量集x_fusion中形成新的融合特征向量集x_fusion；

A5.3，判断z的大小：若z＜k，则z自加1，并跳至步骤A5.2；否则，将融合特征向量集x_fusion生成特征向量集合x_final＝{x_p,p＝1,...,m}作为注册掌纹局部不变特征T3，m≥n。

优选地，所述B1步中，在识别掌脉视频中提取任一帧带有完整手掌的图像作为识别掌脉图像是指：在识别掌脉视频中提取任一帧图像并判断提取的图像是否带有完整手掌：若带有完整手掌，则设定该帧图像为识别掌脉图像；否则提取下一帧图像并判断提取的图像是否带有完整手掌，直至提取的图像带有完整手掌；

所述判断提取的图像是否带有完整手掌是指：对提取的图像进行前景和背景分割来获取最大前景连通区域，计算最大前景连通区域的面积并判断大小：若最大前景连通区域的面积＞预设面积阈值，则判定提取的图像带有完整手掌，否则判定提取的图像不带有完整手掌。

优选地，所述B2步中，判断识别掌脉模板特征T1’是否与注册数据库中任一个注册掌脉模板特征T1匹配是指：判断识别掌脉模板特征T1’是否与注册数据库中任一个注册掌脉模板特征T1相等；

所述B3步中，判断识别掌脉LBP特征T2’是否与注册数据库中任一个注册掌脉LBP特征T2匹配是指：在注册数据库中逐一提取注册掌脉LBP特征T2并进行匹配判断：匹配注册掌脉LBP特征T2和识别掌脉LBP特征T2’的LBP code图，得到两幅LBP code图的最大相似区域；分别对两幅LBP code图的最大相似区域进行LBP直方图统计，并通过LBP直方图相交获取匹配分数；通过判断匹配分数是否大于预设分数阈值来判断识别掌脉LBP特征T2’是否与提取的注册掌脉LBP特征相匹配；

所述B4步中，判断识别掌纹局部不变特征T3’是否与注册数据库中任一个注册掌纹局部不变特征T3匹配是指：在注册数据库中逐一提取注册掌纹局部不变特征T3并进行匹配判断：将该注册掌纹局部不变特征T3的特征向量集合x_final中各个特征向量x_p分别与特征向量集q＝{q_j,j＝1,...,n}中的各个特征向量q_j逐一进行欧式距离计算，获得各个特征向量x_p的最小欧式距离值；比较各个最小欧式距离值与预设距离阈值的大小，并进行数量统计和判断：若小于预设距离阈值的最小欧式距离值的数量＞预设数量阈值，则判定该特征向量集合x_final与特征向量集q＝{q_j,j＝1,...,n}匹配；否则判定该特征向量集合x_final与特征向量集q＝{q_j,j＝1,...,n}不匹配；若任一特征向量集合x_final与特征向量集q＝{q_j,j＝1,...,n}匹配，则判定为识别掌纹局部不变特征T3’与注册数据库中任一个注册掌纹局部不变特征T3匹配；否则判定为识别掌纹局部不变特征T3’与注册数据库中所有注册掌纹局部不变特征T3均不匹配。

优选地，所述掌纹掌脉拍摄装置包括LED光源阵列、双通道摄像头和均光板。

与现有技术相比，本发明具有如下优点与有益效果：

1、本发明方法通过采集手掌的运动视频来代替传统的停留式单帧图像，接着从中筛选理想的视频帧进行特征提取；在注册阶段，这种方式能够有效解决单帧图像采集模式带来的注册特征偏少的问题，并在很大程度上减少了现有系统对手掌摆放位置的约束；在识别阶段，这种方式使得用户无需在意系统何时进行识别操作，只需将手掌从采集平台上端横扫而过之后等待系统返回识别结果即可，提高了识别系统的亲和性；

2、本发明方法采用将手掌旋转视频和手掌横扫视频融合注册的策略；在注册阶段将分别以旋转方式和横扫方式采集运动视频，然后从两段视频中提取特征进行融合注册，从而使得注册特征集能够有效克服运动模糊以及姿态变化带来的不利影响；

3、本发明方法针对实际应用系统，引入了一种决策层级联融合策略；在完成对掌脉模板特征、掌脉LBP特征、掌纹局部不变特征的特征提取和匹配之后，利用这三种特征的相关性对它们进行了决策层的级联融合；与传统的加权融合相比，这种融合方式能够在基本不影响识别等误率的基础上大幅提高已注册用户的识别速度，有效提升系统的亲和性。

附图说明

图1是本发明方法的流程图；

图2是本发明方法中掌纹掌脉拍摄装置的结构示意图；

图3是本发明方法中待注册用户手掌旋转的注册掌脉视频筛选得到的一个图像集合示例；

图4是本发明方法中注册掌脉模板特征T1的生成步骤示意图；

图5是本发明方法中对注册掌纹ROI区域进行特征点检测的示例图；

图6是本发明方法中识别方法提取的图像进行前景和背景分割来获取最大前景连通区域的示例图；

图7是本发明方法中注册掌脉LBP特征T2和识别掌脉LBP特征T2’的生成和匹配步骤示意图；

图8(a)是采用加权求和/SVM融合策略的流程图；

图8(b)是本发明方法采用级联融合策略的流程图；

图9是本发明方法与其它融合方式的效果对比图。

具体实施方式

下面结合附图与具体实施方式对本发明作进一步详细的描述。

实施例

如图1所示，本实施例基于视频的掌纹掌脉联合注册和识别方法，包括注册方法和识别方法。

所述注册方法包括以下步骤：

A1步，采用掌纹掌脉拍摄装置录制待注册用户手掌旋转和手掌横扫动作，以获得注册掌纹视频和注册掌脉视频；在注册掌脉视频中提取k帧图像作为注册掌脉图像，并在注册掌纹视频中提取各帧注册掌脉图像相应时刻的图像作为k帧注册掌纹图像。

如图2所示，掌纹掌脉拍摄装置包括LED光源阵列、双通道摄像头和均光板。其中LED光源阵列包括20×14的近红外光LED阵列(940nm)和20×14的可见光LED阵列(500nm)，两种LED光源交错排列，在LED光源阵列上方覆盖一层均光板，从而使得LED光源阵列排列紧凑而且能够在被采集手掌表面形成均匀的光照。当系统处于正常工作状态时，LED光源阵列透过均光板在手掌表面产生均匀的漫反射效果，然后双通道摄像头的可见光通道和近红外光通道将分别采集可见光图像和近红外光图像，从而形成对应的注册掌纹视频和注册掌脉视频。掌纹掌脉拍摄装置也用在本发明方法的识别阶段，可形成识别掌纹视频和识别掌脉视频。

在注册阶段，由于双通道摄像头的可见光通道和近红外通道是同步的，而且相对于注册掌纹图像而言，注册掌脉图像中前景与背景的可区分性更强，因此先基于注册掌脉视频获取目标帧的序列号，然后再获取注册掌纹视频中的对应帧。该原理同样适用于识别阶段。

在注册阶段，用户的手掌水平摆放在掌纹掌脉拍摄装置的正上方并以掌心为中心，以某一角度顺时针进行类似俯仰和翻滚的旋转运动，即手掌以一定角度依次从左往右，从前往后倾斜，然后采集一段时间内的手掌旋转视频。

优选地，在注册掌脉视频中提取k帧图像作为注册掌脉图像，并在注册掌纹视频中提取各帧注册掌脉图像相应时刻的图像作为k帧注册掌纹图像是指：

由于在待注册用户手掌旋转的注册掌脉视频中第一帧图像为现有掌纹识别系统所要求的标准手掌摆放姿态，因此将其作为基准图像。在此基础上，选取另外k-2帧图像作为辅助图像以增加注册掌纹局部不变特征T3的完备性和稳定性。一般来说，对于k-2帧辅助图像的选择应该尽量保证它们之间的姿态存在较大差距，但在实际应用中考虑到时间消耗的因素，结合手掌运动一般是匀速的运动这一先验条件，因此将第一帧图像外的待注册用户手掌旋转的注册掌脉视频平均分为k-2部分，在每个部分随机抽取一帧图像作为第二帧到第k-1帧注册掌脉图像。这种筛选原则虽然比较简单且具有一定的随机性，但是耗时基本可以忽略，而且实验显示该方法基本能够获取较为理想的图像集合。图3给出了待注册用户手掌旋转的注册掌脉视频筛选得到的一个图像集合示例。

A2步，截取各帧注册掌脉图像的注册掌脉ROI区域，注册掌脉ROI区域截取可采用现有技术；选取任一帧注册掌脉图像的注册掌脉ROI区域进行角度和尺度归一化处理，之后采用具备较强鲁棒性的最大主曲率算法进行纹理增强，并采用K-means算法进行二值化处理，生成注册掌脉模板特征T1。

由于双通道摄像头是同步采集注册掌纹视频和注册掌脉视频，因此两种光谱图像中手掌区域的位置是重合的，考虑到注册掌脉图像背景更加单一，同时前景和背景的对比度更高，因此首先在注册掌脉图像上提取注册掌脉ROI区域，然后截取注册掌纹图像中对应的注册掌纹ROI区域。图4展示了注册掌脉模板特征T1的生成步骤。

A3步，在任一帧注册掌脉图像的注册掌脉ROI区域上，采用LBP方法生成LBP code图，将生成LBP code图作为注册掌脉LBP特征T2。采用LBP方法时，采样点p可设定为8，半径r可设定为7。

A4步，将各帧注册掌脉ROI区域分别对应到相应时刻的注册掌纹图像上以截取各帧注册掌纹图像的注册掌纹ROI区域；将各个注册掌纹ROI区域进行角度和尺度归一化处理，并进行网格约束生成带有n个子区域的注册掌纹网格ROI图像；采用局部不变特征FRDOH描述子分别对各帧注册掌纹网格ROI图像进行描述得到特征向量集其中，n为第i帧注册掌纹网格ROI图像中的特征点数量，i∈{1,2，…，k}。

采用网格约束处理基于以下两点考虑：第一，通过前述处理方法可以截取到较为稳定的注册掌纹ROI区域，因而对于同一手掌的不同样本而言，检测到的特征点可重复性较强；第二，即使注册掌纹ROI区域纹理部分存在轻微的偏移，网格分布下相邻的特征点也能够匹配成功，即鲁棒性强。图5展示了本发明方法对注册掌纹ROI区域进行特征点检测的示例图。为了提高易用性和友好性，本发明方法不对用户的注册姿态做过多约束，因此注册和识别时用户手掌摆放姿态及运动速度都相对比较随意，从而使得采集到的图像都存在不同程度的旋转变换和模糊，因此本发明采用局部不变特征FRDOH描述子对检测到的特征点进行描述。局部不变特征FRDOH描述子在中国发明专利《基于双方向图的快速局部不变特征描述子的构造方法》(公开号：104156696A)中公开。

A5步，将各帧注册掌纹网格ROI图像的特征向量集进行特征融合，得到特征向量集合x_final＝{x_p,p＝1,...,m}作为注册掌纹局部不变特征T3，m≥n。

优选地，A5步，将各帧注册掌纹网格ROI图像的特征向量集进行特征融合，得到特征向量集合x_final＝{x_p,p＝1,...,m}作为注册掌纹局部不变特征T3是指,包括如下步骤：

A5.2，将第z帧注册掌纹网格ROI图像的特征向量集x_z中的每个特征向量分别与融合特征向量集x_fusi_on中的各个特征向量逐一进行相似度判断：若相似度＞预设相似度阈值，则表示该特征向量与融合特征向量集x_fusi_on中的各个特征向量均不相似，并予以标注，否则不予标注；将予以标注的特征向量添加到融合特征向量集x_fusion中形成新的融合特征向量集x_fusion；

A5.3，判断z的大小：若z＜k，则z自加1，并跳至步骤A5.2；否则，将融合特征向量集x_fusion生成特征向量集合x_final＝{x_p,p＝1,...,m}作为注册掌纹局部不变特征T3，m≥n。特征融合处理充分利用了注册掌纹视频中的多帧图像信息。

A6步，将注册掌脉模板特征T1、注册掌脉LBP特征T2和注册掌纹局部不变特征T3分别存储到注册数据库中。

识别方法包括以下步骤：

B1步，采用掌纹掌脉拍摄装置录制待识别用户手掌横扫动作，以获得识别掌纹视频和识别掌脉视频；在识别掌脉视频中提取任一帧带有完整手掌的图像作为识别掌脉图像，并在识别掌纹视频中提取相应时刻的图像作为识别掌纹图像。

优选地，在识别掌脉视频中提取任一帧带有完整手掌的图像作为识别掌脉图像是指：在识别掌脉视频中提取任一帧图像并判断提取的图像是否带有完整手掌：若带有完整手掌，则设定该帧图像为识别掌脉图像；否则提取下一帧图像并判断提取的图像是否带有完整手掌，直至提取的图像带有完整手掌；

判断提取的图像是否带有完整手掌是指：对提取的图像进行前景和背景分割来获取最大前景连通区域，如图6所示，计算最大前景连通区域的面积并判断大小：若最大前景连通区域的面积＞预设面积阈值，则判定提取的图像带有完整手掌，否则判定提取的图像不带有完整手掌。

B2步，截取识别掌脉图像的识别掌脉ROI区域，进行角度和尺度归一化处理，之后采用最大主曲率算法进行纹理增强，并采用K-means算法进行二值化处理，生成识别掌脉模板特征T1’；判断识别掌脉模板特征T1’是否与注册数据库中任一个注册掌脉模板特征T1匹配：若匹配，则判定待识别用户为已注册用户，结束识别；否则跳至B3步。

B3步，在识别掌脉ROI区域上，采用LBP方法生成LBP code图，将生成LBP code图作为识别掌脉LBP特征T2’；采用LBP方法时，采样点p可设定为8，半径r可设定为7。判断识别掌脉LBP特征T2’是否与注册数据库中任一个注册掌脉LBP特征T2匹配：若匹配，则判定待识别用户为已注册用户，结束识别；否则跳至B4步；。

优选地，B2步中，判断识别掌脉模板特征T1’是否与注册数据库中任一个注册掌脉模板特征T1匹配是指：判断识别掌脉模板特征T1’是否与注册数据库中任一个注册掌脉模板特征T1相等；

B3步中，判断识别掌脉LBP特征T2’是否与注册数据库中任一个注册掌脉LBP特征T2匹配是指：在注册数据库中逐一提取注册掌脉LBP特征T2并进行匹配判断：匹配注册掌脉LBP特征T2和识别掌脉LBP特征T2’的LBP code图，得到两幅LBP code图的最大相似区域；分别对两幅LBP code图的最大相似区域进行LBP直方图统计，并通过LBP直方图相交获取匹配分数；通过判断匹配分数是否大于预设分数阈值来判断识别掌脉LBP特征T2’是否与提取的注册掌脉LBP特征相匹配；如图7所示；

B4步中，判断识别掌纹局部不变特征T3’是否与注册数据库中任一个注册掌纹局部不变特征T3匹配是指：在注册数据库中逐一提取注册掌纹局部不变特征T3并进行匹配判断：将该注册掌纹局部不变特征T3的特征向量集合x_final中各个特征向量x_p分别与特征向量集q＝{q_j,j＝1,...,n}中的各个特征向量q_j逐一进行欧式距离计算，获得各个特征向量x_p的最小欧式距离值；比较各个最小欧式距离值与预设距离阈值的大小，并进行数量统计和判断：若小于预设距离阈值的最小欧式距离值的数量＞预设数量阈值，则判定该特征向量集合x_final与特征向量集q＝{q_j,j＝1,...,n}匹配；否则判定该特征向量集合x_final与特征向量集q＝{q_j,j＝1,...,n}不匹配；若任一特征向量集合x_final与特征向量集q＝{q_j,j＝1,...,n}匹配，则判定为识别掌纹局部不变特征T3’与注册数据库中任一个注册掌纹局部不变特征T3匹配；否则判定为识别掌纹局部不变特征T3’与注册数据库中所有注册掌纹局部不变特征T3均不匹配。

识别掌脉模板特征T1’、识别掌脉LBP特征T2’以及识别掌纹局部不变特征T3’,这三种特征具有一定的互补性，一般系统常采用基于加权求和或是基于SVM的分数层融合策略，其流程如图8(a)所示。这两种策略在仿真实验和理论分析都能够取得不错的性能，但在实际应用中则存在一个问题，即无论待识别的对象是已注册的用户还是陌生人，这两种策略都无差别地对三种特征实施提取及匹配操作，使得系统的整体耗时相对较长。因此，本发明从综合性能和实用性的角度出发，提出了一种新的级联融合策略，其流程如图8(b)所示。采用该策略后，对于大部分已注册的用户而言，可以在识别掌脉模板特征T1’匹配或识别掌脉LBP特征T2’匹配中匹配成功从而直接完成识别，无需后续识别掌纹局部不变特征T3’的特征提取及匹配步骤，这能大大提高已注册用户的识别速度，而对于陌生人来说则仍然需要经过全部三种特征的提取和匹配操作，从而使得整个系统更加方便于已注册用户的使用，这恰与实际系统在应用中提高已注册用户的使用体验目的相吻合。

与现有技术相比，本发明具有如下优点与有益效果：

为验证本发明方法的有效性和发明，下面进行两组实验：

实验一为旋转视频与横扫视频融合注册；本发明在掌纹识别阶段中采用了局部不变特征方法，为了进一步提高掌纹识别性能，本发明提出的“旋转视频+横扫视频”的新型融合注册方式以增加注册环节中掌纹局部不变特征的丰富性。因本系统构建的数据库中每个对象均包含1段旋转视频和3段横扫视频，分别记为Rot以及Swp1、Swp2和Swp3，因此新型融合注册方式形成的注册特征集总共有“Rot+Swp1”、“Rot+Swp2”以及“Rot+Swp3”三种组合方式。另外，为了更好地验证本发明提出的新型融合注册方式的有效性，我们还将单旋转视频以及单横扫视频也分别作为一种注册特征集，并进行比较实验，实验结果如表1所示。

表1多帧特征融合下识别等误率的对比

从上表可以发现，与单独使用旋转视频或横扫视频作为注册特征集相比，本发明方法提出的新型融合注册方式使得最终的识别等误率极大地降低。

实验二为决策层级联融合对比实验；

表2不同融合方法的耗时对比

图9为本发明方法与其它融合方式的效果对比图；在级联融合方式中，对于已注册用户而言，其识别过程的期望耗时相比加权融合以及SVM融合减少了59.3％，从而使得识别系统整体侧重于提高已注册用户的识别速度。综上所述，SVM融合方式具有最佳的识别效果，然而其认证速度远低于级联融合方式，并且其需要预先训练模型，增加了系统的复杂度。而对于加权融合方式，尽管其识别性能要稍稍优于级联融合策略，考虑到实际系统中，对已注册用户的认证速度是影响系统友好性一个重要因素，因此本发明方法所提出的级联融合策略能够在识别性能差别不大的情况下大幅提高系统的响应速度，因此具有最好的亲和性。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims

1.一种基于视频的掌纹掌脉联合注册和识别方法，其特征在于：包括注册方法和识别方法；

所述注册方法包括以下步骤：

所述识别方法包括以下步骤：

2.根据权利要求1所述的基于视频的掌纹掌脉联合注册和识别方法，其特征在于：所述A1步中，在注册掌脉视频中提取k帧图像作为注册掌脉图像，并在注册掌纹视频中提取各帧注册掌脉图像相应时刻的图像作为k帧注册掌纹图像是指：

3.根据权利要求1所述的基于视频的掌纹掌脉联合注册和识别方法，其特征在于：所述A5步，将各帧注册掌纹网格ROI图像的特征向量集进行特征融合，得到特征向量集合x_final＝{x_p,p＝1,...,m}作为注册掌纹局部不变特征T3是指,包括如下步骤：

A5.2，将第z帧注册掌纹网格ROI图像的特征向量集x_z中的每个特征向量分别与融合特征向量集x_fusion中的各个特征向量逐一进行相似度判断：若相似度＞预设相似度阈值，则表示该特征向量与融合特征向量集x_fusion中的各个特征向量均不相似，并予以标注，否则不予标注；将予以标注的特征向量添加到融合特征向量集x_fusion中形成新的融合特征向量集x_fusion；

4.根据权利要求1所述的基于视频的掌纹掌脉联合注册和识别方法，其特征在于：所述B1步中，在识别掌脉视频中提取任一帧带有完整手掌的图像作为识别掌脉图像是指：在识别掌脉视频中提取任一帧图像并判断提取的图像是否带有完整手掌：若带有完整手掌，则设定该帧图像为识别掌脉图像；否则提取下一帧图像并判断提取的图像是否带有完整手掌，直至提取的图像带有完整手掌；

5.根据权利要求1所述的基于视频的掌纹掌脉联合注册和识别方法，其特征在于：所述B2步中，判断识别掌脉模板特征T1’是否与注册数据库中任一个注册掌脉模板特征T1匹配是指：判断识别掌脉模板特征T1’是否与注册数据库中任一个注册掌脉模板特征T1相等；

6.根据权利要求1所述的基于视频的掌纹掌脉联合注册和识别方法，其特征在于：所述掌纹掌脉拍摄装置包括LED光源阵列、双通道摄像头和均光板。