CN105701513B - 快速提取掌纹感兴趣区域的方法 - Google Patents

Abstract

本发明公开了一种快速定位掌纹感兴趣区域的方法，包括五个过程：标记训练样本的指间谷点，训练用于检测低分辨掌纹指间谷点的卷积神经网络，提取低分辨掌纹指间关键点并据此在高分辨掌纹中获取以关键点为中心的子图，针对子图快速提取指间精确谷点，根据谷点定位掌纹感兴趣区域。其中训练卷积神经网络的过程，训练样本经扩增后分批多次输入到网络，训练中学习率随批次增加逐渐降低以提升训练速度；提取过程首先定位低分辨掌纹中的指间关键点，然后通过映射从高分辨掌纹中获取以关键点为中心的子图，并在子图中使用卷积神经网络或切线法进行局部搜索以快速提取指间谷点，最终以这些点准确定位掌纹感兴趣区域。

Description

快速提取掌纹感兴趣区域的方法

技术领域

本发明涉及生物识别技术领域中的掌纹识别，具体涉及一种提取掌纹感兴趣区域的方法。

背景技术

人体生物特征是人类所固有的各种生理特征和行为特征的总称，这些特征唯一性和不变性强，和传统的身份认证方法相比，生物特征更安全更方便。生理特征多为先天性特征，不随外在条件和主观意愿发生改变，如指纹、掌纹、静脉；行为特征则是人们后天养成的行为习惯，如笔迹、步态。

其中掌纹识别是近几年较为热门的生物特征识别方向之一，和发展较为成熟的指纹识别相比，掌纹的有效区域大并且具有更丰富的纹理特征，因此能够提供更为有效可靠的识别信息。在实际的掌纹识别过程中首先需要对掌纹图像进行预处理，以保证识别系统能够从手掌图像中准确高效地提取到感兴趣区域，达到系统的实用性和高效性。

掌纹感兴趣区域的提取主要是指通过图像调整和关键点定位，从掌纹图像中有效的选择分割出手掌中心特征较为丰富的区域。中心区域的提取过程希望，同一手掌不同掌纹图像的感兴趣区域基本相同，不同大小掌纹能够在提取过程中自动进行区域和相关位置参数上的优化，以适应差异化掌纹图像对感兴趣区域的提取要求。

掌纹感兴趣区域提取作为掌纹预处理阶段的重要一环，在掌纹识别过程中非常重要。它的目的在于提取掌纹图像的核心特征区并进行归一化的处理，以便进行之后的特征提取与特征选择。

现有的掌纹感兴趣区域的提取方法，主要通过局部切线切圆或测量特定距离的方式得到指间谷点，以此提取有效区域。这些方法为了保证得到较好的提取效果，需要在指间关键点筛查及切线切圆逼近参数上进行较长时间的优化调整。人为调整参数的过程较为繁琐，需要依据总体提取效果进行调整，这直接导致参数的自调节能力低、调整过程费时费力，提取掌纹有效区域的速度有待提高。这些问题正是已有算法在提取感兴趣区域过程中亟待解决的问题。

发明内容

本发明的主要目的在于提出一种快速准确提取高分辨掌纹图像感兴趣区域的方法，以解决现有方法通过设定距离及切线切圆参数提取所带来的：提取速度慢，调参复杂度高、算法鲁棒性低的问题，从而能够快速准确的提取到掌纹感兴趣区域。

本发明提供的提取掌纹感兴趣区域的技术方案如下：

一种掌纹有效区域的提取方法，所述方法包括五个过程：标记训练样本的指间谷点、训练用于检测低分辨掌纹指间谷点的卷积神经网络，提取低分辨掌纹指间关键点并据此在高分辨掌纹中获取以关键点为中心的子图、针对子图精确提取指间谷点、根据精确谷点定位掌纹感兴趣区域。

优选地：

所述训练卷积神经网络的过程，训练样本经扩增后分批多次输入到网络，训练中学习率随批次增加逐渐降低以提升训练速度；所述掌纹有效区域提取过程为了能够快速定位掌纹感兴趣区域，提取过程首先定位低分辨掌纹的指间谷点，然后通过映射从高分辨掌纹中获取以关键点为中心的子图，并在子图中使用卷积神经网络或局部切线法精确提取指间谷点，最终以这些点准确定位掌纹感兴趣区域。

标记训练集中低分辨掌纹图像指间谷点的目的在于提供给后续的卷积神经网络以训练样本。掌纹指间谷点的标记过程首先需要缩小原始掌纹图像来获得低分辨的较小掌纹图像，然后在低分辨率掌纹图像中提取手掌边界轮廓，以切线逼近的方式寻找谷点，从而构成卷积神经网络的训练样本。

卷积神经网络的训练过程中，训练集为标记过指间谷点的低分辨掌纹图像，这些掌纹已标记了三个指间谷点。卷积神经网络，通过引入卷积层，使用局部联结、权值共享和池化的方式有效提高了整个网络的描述力和表达力。训练适用于在低分辨掌纹中检测关键点的网络主要分为三个过程：使用无监督学习对每一层网络中的掌纹图像进行预训练；每次用无监督学习只训练一层，并将其输出的掌纹特征结果作为更高一层的输入；然后再用有监督的学习方法调整所有层的权值系数，在权值调整过程中使用梯度下降法逼近全局最优值，每一次的权值调整代表着一次逼近。在构建卷积神经网络时，首先可以创建三个卷积层和两个全连接层相连的卷积神经网络，其中三个卷积层每一层之后连接一个最大池化层，每个池化层之后连接一个丢弃层以提高其网络性能，第一个全连接层之后也需要连接一个丢弃层，然后对这四个丢弃层分别指定其丢弃概率。初始卷积层有多个滤波器，之后的每个卷积层会把滤波器的数量翻倍，输出层将包含六个节点用于输出三个指间谷点的位置信息。创建卷积神经网络的过程可以使用深度学习工具实现，每一层参数可以进行相应的设定，神经网络的权重初始化为选定区间的均匀分布值，通过上面这些结构参数的设定就能够构建完整的卷积神经网络。

在网络训练过程中，每一批图像训练完成后均会更新神经网络的权重，更新过程使用梯度下降法，设定合适的步长更新权重，就可以保证参数较快的收敛到全局最优值。同时为了使用大的训练集来提升网络性能，该掌纹训练样本可以选择下面的方式输入网络进行训练：分批多次输入网络，每一批次选择多张掌纹图像，这些图像以一定概率进行水平翻转。这样的训练方式能够扩增训练集并增加其信息量，使卷积网络取得更好的训练结果。同时为了提高整个网络的训练速度，可以先选取一个较大的学习率，在每一批次训练完成之后调用更新函数线性减小学习率，从而加速网络训练过程。

掌纹有效区域的快速定位过程核心在于使用卷积神经网络快速精准提取指间谷点，而为了提高定位高分辨掌纹图像指间谷点的速度，整个发明将这个过程分为三个阶段：第一阶段是标记训练集中低分辨掌纹图像的关键点，用它们训练一个卷积神经网络并进行提取测试；第二阶段是将提取到的低分辨掌纹关键点映射至对应的高分辨掌纹图像，依据它们的对应关系建立映射矩阵，然后以映射后的矩形像素块为中心提取掌纹子图；三是在掌纹子图中进行局部搜索以快速提取到指间谷点，提取过程使用两种方法：局部切线法和卷积神经网络提取法。局部切线在子图这样的局部小图中逼近寻找时能够快速找到谷点，同时能够保证谷点精度；使用卷积神经网络提取的方法，需要构建、训练并优化新网络，进而实现从子图中快速精确的提取关键点的目的，该卷积神经网络的结构与用来提取低分辨掌纹谷点的网络基本相同，只需要降低其输入层和全连接层的维数，该方法同时能够明显提升谷点精度。

在使用卷积神经网络精确提取到掌纹指间谷点之后，可以依据这些谷点来确定掌纹感兴趣区域。定位过程首先需要使用谷点建立坐标轴，本发明中建立坐标轴的方式有两种：一种针对相邻谷点间距离较大的手掌即伸展程度较大或手型较大的手掌，该方式使用食指与中指、无名指与小拇指间的两个谷点连线作为横轴，连线中垂线作为纵轴来建立坐标系；另一种针对相邻谷点间距离较小的手掌即伸展程度较小或手型较小的手掌，该方式将食指与中指、中指与无名指间的两个谷点的连线作为横轴，连线中垂线作为纵轴来建立坐标系。在提取到三个指间谷点并选择其中两个谷点建立坐标系之后，首先初始化感兴趣区域的固定大小，而后使用三个谷点内相邻点间的距离对其大小进行微调，在微调完成后对提取到的感兴趣区域做归一化处理，以方便之后的特征提取与匹配。

本发明提出了一种使用深度学习中的卷积神经网络快速提取高分辨掌纹图像感兴趣区域的方法，解决了现有技术中感兴趣区域提取速度慢，调参复杂度高、算法鲁棒性低的问题，最终能够快速并准确提取到掌纹感兴趣区域。这种方法对于掌纹图像预处理操作及整个掌纹识别过程而言有着重要的价值。

附图说明

图1是本发明中使用卷积神经网络提取掌纹感兴趣区域的具体流程图。

图2是本发明构建用于提取低分辨率指间谷点的卷积神经网络的结构示意图。

图3是本发明对图2中的卷积神经网络进行具体优化操作的流程示意图。

图4是本发明使用两种方法在掌纹子图中快速精确定位指间谷点的流程示意图。

具体实施方式

下面对照附图并结合优选的实施方式对本发明作进一步说明。

本发明具体实施示例提供了一个搭建卷积神经网络并提取掌纹感兴趣区域的详细过程，如图1所示，包括以下步骤：标记训练样本的指间谷点，训练用于提取低分辨掌纹图像指间谷点的卷积神经网络，提取关键点并映射至高分辨掌纹从中提取以关键点为中心的子图，选择二次提取方法，当标识选择为1时训练新的卷积神经网络快速提取子图指间谷点，当标识选择为0时使用局部切线法快速提取子图指间谷点，最后利用子图谷点准确定位高分辨率掌纹感兴趣区域。其中：

所述标记训练集样本的具体过程：首先将高分辨掌纹图像缩小N倍获取低分辨掌纹图像，对低分辨率手掌图像进行二值化处理并从中检测得到手掌边界点，然后使用局部切线逼近法对手掌边界点进行逐点检测，根据最小距离原则，即分别计算手掌轮廓各点到手掌中心的欧式距离最小的轮廓点，进而聚类提取到除大拇指外其他四指间的3个谷点，在图像中进行标记以构成卷积神经网络的训练集。

所述构建用于检测较低分辨掌纹指间谷点的过程，首先需要构建用于提取较低分辨掌纹图像指间谷点的卷积神经网络，其结构如图2所示包含：输入层、三个卷积层、三个池化层、两个全连接隐层、四个丢弃层和最终的输出层。输入层输入低分辨的掌纹图像，第一卷积层包含32个不同卷积核，第二、第三卷积层卷积核数量依次翻倍，分别为64个和128个，两个全连接隐层各包含1000个节点，每个卷积层和第一个全连接层之后均连接一个丢弃层，丢弃概率由初始值依固定步长依次增大，如以0.1为初始值以0.1为步长依次增大，输出层为6个节点，用于输出指间的3个谷点，提取掌纹指间谷点的卷积神经网络细节参数设定可依据具体使用的掌纹数据库进行微调。

本发明所述的训练卷积神经网络的过程，使用已标记指间谷点的低分辨掌纹图像作为训练集，针对训练过程中数据集、学习率、迭代次数及丢弃方式依次采用了如图3所示的方式来提升训练得到的卷积神经网络的性能：

1)扩充数据集

扩充掌纹数据集对于提升卷积神经网络的性能极为有效，直接在数据库内将所有掌纹图像水平翻转的方式可以将数据库的大小增加为原来的2倍，但这种方式意味着在数据读取时内存损耗需增大为原来的2倍，此时将整个数据库完整输入到网络中进行训练，GPU在单次迭代训练时的运算量也需增加为原来的2倍。

针对以上方式内存损耗较大的问题，本发明采用了如下的扩充数据集的方案：数据集分批多次输入到卷积神经网络中进行训练，每批输入的掌纹图像为100张，首先将整个数据集读取到内存中，然后针对每批选定的100张掌纹图像，以50％的概率进行随机的水平翻转，这种方式在读取数据库时内存占用的大小没有增加，同时由于每批次训练随机选定100张掌纹图像进行随机翻转，所以能够产生足够多批次的训练样本，从而能够更好的提升网络性能。

2)更新学习率

采用固定的数值进行网络训练与学习的方式，由于没有结合迭代次数实时调整学习率与学习势会造成网络收敛速度较慢，训练时间较长的问题。本发明采用了如下的方式更新学习率：开始训练时选取一个较高的学习率，较低的学习势，随着迭代次数的增加，线性减小学习率增加学习势。从而能够在距离最优参数较远时较快修正参数，在距离近时进行最优参数的细致筛选。学习率的更新函数如下所示，其中alpha_n表示第n迭代时的学习率，N是总的迭代次数，alpha_max，alpha_min是预设的最大和最小学习率：

学习势的更新函数如下所示，其中beta_n表示第n迭代时的学习率，N是总的迭代次数，beta_max，beta_min是预设的最大和最小学习率：

在每一批掌纹图像输入网络并训练完成后，调用更新函数使学习率随迭代次数线性减小、学习势线性增大直至达到停止界线。

3)增加迭代次数

由于每一批图像输入网络后及时更新学习率的方式能够较大的提升网络训练速度，而且每次训练时可以使用数据扩充得到足够多批的掌纹训练样本，所以可以将之前每次训练时设定的迭代次数增倍，通过迭代次数与验证集错误率间的关系曲线找到最佳迭代次数和最佳网络模型，即寻找验证集错误率随迭代次数变化曲线中先增加后减小时的拐点，它所指示的迭代次数为该条件下的最优次数，此时训练得到的模型为需要的最优网络模型。

4)使用丢弃技巧

丢弃技巧能够有效解决网络过拟合的问题，引入5个丢弃层，丢弃概率由初始值依固定步长依次增大，例如以0.1为初始值以0.1为步长依次增大，可以较大的提升网络训练速度。

所述映射低分辨率掌纹指间关键点以获取高分辨率掌纹中以关键点为中心的子图的过程中，假定右上角为图像坐标原点，得到的低分辨掌纹图像的三个谷点位置分别为P₁(x₁,y₁),P₂(x₂,y₂),P₃(x₃,y₃)，其中P₂(x₂,y₂)位于其他两点中间。高分辨掌纹图像大小为低分辨率掌纹图像的N倍，所以由已得的三个谷点P₁(x₁,y₁),P₂(x₂,y₂),P₃(x₃,y₃)，可以得到它们各自在高分辨掌纹中对应的N*N的像素块区域R₁(x₁₁,y₁₁；x₁₄,y₁₄),R₂(x₂₁,y₂₁；x₂₄,y₂₄),R₃(x₃₁,y₃₁；x₃₄,y₃₄)，其中每个小方块像素区域以左上与右下两点表示，区域R_i与谷点P_i间的变换关系如下所示：

确定较高分辨掌纹中三个方正的像素块之后，以这三个像素块为中心提取出较小的M*M的子图，该子图中包含了所要定位的精确谷点信息。

本发明针对子图快速并准确提取其指间谷点提出了两种方案，如下所述：

1)切线逼近法

提取到的三个掌纹子图，均是包含一个谷点的凹形曲线竖图，使用局部切线逼近的方式能够在子图中有效寻找到谷点。流程如图4所示，具体而言首先对子图I_S1进行二值化，然后使用边界检测函数获得手掌边界点集Q{x_i,y_i}，针对该点集进行局部切线逼近。其中初始切线方向k垂直于M*M子图中心同手掌底部中心点连线的方向，初始时Q{x_i,y_i}所有点均满足y_i-kx_i+b≥0或y_i-kx_i+b≤0，直线逼近即逐渐递增或递减b的过程中，当直线同曲线相切时，即Q{x_i,y_i}中一些点满足y_i-kx_i+b＝0时，以微小步长调整斜率k值大小，可找到临近的多个类似切点，依据这些点同手掌底部中心点的距离筛排聚类可得到子图I_S1中精确的谷点P_S1，使用类似方法可以得到其他两个子图I_S2和I_S3中的精确谷点P_S2、P_S3。

2)卷积神经网络提取法

训练完全类似于图2的卷积神经网络，将其输入层设定为子图大小，训练集是利用切线法标记过的一系列子图，同时进行类似图3卷积神经网的训练过程，其中全连接层节点数目及网络训练次数可进行相应的减少，使用修改过的新网络即可在掌纹子图中快速提取到精确的指间谷点。

所述依据精确谷点提取掌纹有效区域的过程，首先需要使用关键点建立坐标轴，选用的两种坐标轴的建立方式如前所述，针对手掌伸展程度较大或手型较大的掌纹选用食指与中指、无名指与小拇指间的两个谷点连线作为横轴，连线中垂线作为纵轴来建立坐标系，针对手掌伸展程度较小或手型较小的掌纹选用食指与中指、中指与无名指间的两个谷点连线作为横轴，连线中垂线作为纵轴来建立坐标系，然后依据相邻谷点间距离微调矩形定位框的大小并提取掌纹有效矩形区，该矩形区就是希望提取的掌纹感兴趣区域，至此完成了整个掌纹感兴趣区域的提取工作。

本发明提出的使用卷积神经网络提取掌纹感兴趣区域的方法，能够快速准确的提取掌纹感兴趣区域。该方法利用深度学习所具备的高性能和强鲁棒性，通过构建和使用新的卷积神经网络有效解决了现有方法通过设定距离及切线切圆参数提取掌纹感兴趣区域所带来的：提取速度慢，调参复杂度高、算法鲁棒性低的关键问题，同时能够更准确的提取到高分辨掌纹图像的感兴趣区域，这对于掌纹图像预处理操作及整个掌纹识别过程都有着重要的价值。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (9)

1.一种快速定位掌纹感兴趣区域的方法，其特征在于包含以下步骤：先将高分辨掌纹图像降分辨获取低分辨掌纹图像，在低分辨掌纹图像中标记用于训练样本的指间谷点，训练用于检测低分辨掌纹指间谷点的卷积神经网络，然后基于卷积神经网络提取低分辨掌纹指间关键点，并据此在高分辨掌纹中获取以关键点为中心的子图，针对子图快速提取指间精准谷点，根据指间精准谷点定位掌纹感兴趣区域。

2.根据权利要求1所述的快速定位掌纹感兴趣区域的方法，其特征在于：训练用于检测低分辨掌纹指间谷点的卷积神经网络的方法包括如步骤：建立包含多卷积层、池化层、丢弃层和全连接层的用于掌纹指间谷点提取的卷积神经网络。

3.根据权利要求2所述的快速定位掌纹感兴趣区域的方法，其特征在于：训练用于检测低分辨掌纹指间谷点的卷积神经网络的方法还包括如下步骤：通过扩充数据集、更新学习率、适度增加迭代次数和使用丢弃技巧这四种方式逐步优化卷积神经网络以提升网络性能；

所述扩充数据集通过在图像批次化输入过程中对每一批输入的掌纹图像以一定概率水平翻转来增大数据集；所述更新学习率，在每一批次训练完成后线性减小学习率以提高网络训练速度；所述适度增加迭代次数和使用丢弃技巧，基于以上两步优化效果进一步提升网络性能。

4.根据权利要求1所述的快速定位掌纹感兴趣区域的方法，其特征在于：提取低分辨掌纹指间关键点并据此在高分辨掌纹中获取以关键点为中心的子图的方法包括如下步骤：使用卷积神经网络快速提取低分辨掌纹的指间谷点，然后基于高低分辨掌纹图像间的换算关系，建立低分辨掌纹关键点与高分辨掌纹像素块间的坐标变换方程。

5.根据权利要求4所述的快速定位掌纹感兴趣区域的方法，其特征在于：提取低分辨掌纹指间关键点并据此在高分辨掌纹中获取以关键点为中心的子图的方法还包括如下步骤：通过映射在高分辨掌纹获取对应像素块后，以它为中心提取包含高分辨掌纹谷点的子图。

6.根据权利要求1所述的快速定位掌纹感兴趣区域的方法，其特征在于：针对子图精确提取指间谷点的方法包括如下步骤：通过局部区域搜索来提高定位速度确保搜索效果，在子图中分别使用局部切线法或卷积神经网络提取法来快速准确定位指间谷点。

7.根据权利要求1所述的快速定位掌纹感兴趣区域的方法，其特征在于：根据精确谷点定位掌纹感兴趣区域的方法包括如下步骤：依据掌纹三个谷点相邻点间距离大小选择其中两点建立坐标系并微调掌纹感兴趣区域的大小。

8.根据权利要求6所述的快速定位掌纹感兴趣区域的方法，其特征在于：在局部切线法中，切线以关键点同掌纹底部中心点连线的垂直方向为初始方向在子图内逼近寻找指间谷点，微调斜率以寻找多个潜在点，聚类筛排这些潜在点以得到精确谷点。

9.根据权利要求6所述的快速定位掌纹感兴趣区域的方法，其特征在于：在卷积神经网络提取法中，根据较为简单的子图对网络结构进行调整：减小输入层和全连接层维度，增加丢弃层丢弃概率。