CN108427942A

CN108427942A - 一种基于深度学习的手掌检测与关键点定位方法

Info

Publication number: CN108427942A
Application number: CN201810363952.8A
Authority: CN
Inventors: 谢清禄; 余孟春; 邹向群; 王显飞
Original assignee: Guangzhou Shizhen Information Technology Co Ltd
Current assignee: Guangzhou Shizhen Information Technology Co Ltd
Priority date: 2018-04-22
Filing date: 2018-04-22
Publication date: 2018-08-21

Abstract

本发明公开了一种基于深度学习的手掌检测与关键点定位方法，该基于深度学习的手掌检测与关键点定位方法具体步骤如下：S1、采集训练样本；S2、构建网络模型：构建CNN特征提取网络、RPN候选区域提取网络和判别网络；S3、训练网络模型：初始化CNN特征提取网络、RPN候选区域提取网络和判别网络；S4、构建检测模型：将CNN特征提取网络模型、RPN候选区域提取模型和判别网络组合成一个Faster R‑CNN检测网络；S5、手掌检测与关键点定位。利用了目前性能和准确度最佳的检测框架Faster R‑CNN，相比Fast R‑CNN，它使用RPN网络替换了Selective Search的方法提取候选区域，RPN网络完全嵌入到整个目标检测框架中，在加快候选区域提取速度的同时提高了检测的准确率。

Description

一种基于深度学习的手掌检测与关键点定位方法

技术领域

本发明属于手掌静脉识别技术领域，尤其涉及一种基于深度学习的手掌检测与关键点定位方法。

背景技术

在生物特征识别技术上，一般通过图像处理技术对生物特征图像进行采集，预处理，兴趣区域的定位和特征提取，再进行匹配识别。在图像的处理和特征提取的技术细节上，会有多种技术方案，目的都是为了提高识别的速度和精度。

掌纹、掌静脉识别均需要对采集的手掌图像进行兴趣区域(Region of Interest，ROI)提取，以得到稳定的ROI作为识别区域。对ROI进行提取需要对手掌的轮廓进行识别并定位关键点，根据多个关键点进行ROI的提取。ROI提取的质量，即所包含清晰而丰富的掌纹、掌静脉特征信息量，直接关系到后续的特征提取和匹配的精确率。ROI的提取方法一般有：基于手掌轮廓特征点进行定位，建立关键点并进行矩形的ROI提取的方法；基于手掌轮廓特征点进行掌部最大内切圆区域定位，作为ROI的提取方法。对于特征点的选取，关键点的定位，各种方法上大同小异。

在中国发明专利授权公告说明书CN102163282B中公开了一种掌纹图像兴趣区域的获取方法，其中对关键点的定位采用基于轮廓特征点和边缘信息的方法；在发明专利申请公开说明书CN107016323A中公开了一种手掌兴趣区域的定位方法，通过N个标注真实关键点位置的手掌图像样本进行训练，获得一个级联回归器，进而根据级联回归器对待识别的手掌图像进行目标关键点位置定位的方法；公开说明书CN106991380A中公开了一种基于掌静脉图像的预处理方法，其利用Canny算法提取二值化图像的轮廓作为掌静脉图像轮廓，再结合掌静脉图像轮廓根据根查找法找出手指间的指根点作为关键点的方法。

上述方法在手掌图像的轮廓提取和关键点定位上，速率和精确度上都存在不足。为解决上述问题，本发明提供了一种基于深度学习的手掌检测与关键点定位方法，利用更快速的区域卷积神经网络(Faster Region-Based Convolutional Neural Networks，简称Faster R-CNN)的方法，实现手掌区域快速检测，并对手掌关键点进行快速、精确的定位，有利于ROI的快速提取和获得高质量的识别区域。

发明内容

本发明的目的在于提供一种基于深度学习的手掌检测与关键点定位方法，该基于深度学习的手掌检测与关键点定位方法具体步骤如下：

S1、采集训练样本：通过手掌图像采集设备采集人体手掌图像，将手掌图像进行标记，并对手掌图像作预处理，使手掌图像符合格式要求，构建训练样本集；

S2、构建网络模型：构建CNN特征提取网络、RPN候选区域提取网络和判别网络，其中CNN特征提取网络由卷积层、激励函数层和池化层构成，RPN候选区域提取网络由卷积层、Soft max层，bbox层构成，判别网络由兴趣区域池化层、全连接层、激励函数层、Softmax层和bbox层构成；

S3、训练网络模型：初始化CNN特征提取网络、RPN候选区域提取网络和判别网络，通过输入带标记的手掌图像对CNN特征提取网络进行训练，得到CNN特征提取网络模型；RPN候选区域提取网络利用CNN特征提取网络输出的特征图进行训练，得到RPN候选区域提取网络模型；判别网络根据CNN特征提取网络提供的特征图和RPN候选区域提取网络提供的候选区域进行训练，得到判别网络模型；

S4、构建检测模型：将CNN特征提取网络模型、RPN候选区域提取模型和判别网络组合成一个Faster R-CNN检测网络，利用手掌图像训练数据对Faster R-CNN网络进行训练，得到手掌检测与关键点定位网络模型；

S5、手掌检测与关键点定位：利用得到的Faster R-CNN手掌检测与关键点定位网络模型对待检测的手掌图像进行手掌轮廓检测与关键点定位，得到手掌图像候选框与定位到手掌关键点图像，调整候选框阈值，对候选框进行非极大值抑制，得到最终候选框选取出来的具备关键点定位的手掌图像。

优选的，步骤S1中的手掌图像预处理是采用基于空域法的图像增强，可以描述为：

g(x,y)＝f(x,y)-αf(x,y)*h(x,y)

其中，f(x,y)是处理前的图像，g(x,y)表示处理后的图像，h(x,y)为空间微分算子，它是作用在f(x,y)上的一个算子，α为增强系数。

优选的，步骤S2中的CNN特征提取网络由5个卷积层和2个池化层构成；RPN候选区域提取网络由3个卷积层、1个Softmax层构成、1个bbox层和1个Proposal层构成；判别网络则包含1个兴趣区域池化层、4个全连接层、1个Softmax层和1个bbox层。

优选的，步骤S5中的关键点是从勾勒出手掌轮廓的基础上构建手掌基准框，并在基准框上标识出的5根手指间根部的4个间隙点，从大拇指根部间隙点开始至无名指与尾指的之间的根部间隙点，分别以GapA、GapB、GapC与GapD表示，4个间隙点将作为手掌的关键点进行定位。

与现有技术相比，本发明的有益效果是：本发明的技术方案，利用了目前性能和准确度最佳的检测框架Faster R-CNN，相比Fast R-CNN，它使用RPN网络替换了SelectiveSearch的方法提取候选区域，RPN网络完全嵌入到整个目标检测框架中，在加快候选区域提取速度的同时提高了检测的准确率，结合CNN特征提取网络和判别网络，能够实现高效、准确的手掌检测和关键点定位。

附图说明

图1是基准框与关键点标记的手掌图；

图2是RPN网络结构图；

图3是本发明技术方案的网络架构图；

图4是本发明技术方案的基本流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，以掌静脉识别的手掌检测与关键点定位对本发明的技术实施方案作进一步的详细说明。

掌静脉识别是通过波长在700-1000nm近红外光照射在手掌上，并利用近红外光成像摄像头拍摄获取掌静脉图像进行识别的技术，采集得到的掌静脉图像，需要经过预处理和ROI的提取。

掌静脉识别的手掌红外图像需要对ROI进行提取，本发明采用基于深度学习的算法网络对手掌红外图像进行快速检测并准确定位关键点，为ROI的快速提取，获得高质量的识别区域提供更优化的方案。

一种基于深度学习的手掌检测与关键点定位方法，该基于深度学习的手掌检测与关键点定位方法具体步骤如下：

步骤1、采集手掌红外图像，进行预处理并对其进行基准框勾勒和标记指根间隙点作为识别的关键点，标记好的手掌红外图像将作为训练样本；

具体地，对手掌红外图像进行预处理，采用空域法进行图像增强，其描述为：

g(x,y)＝f(x,y)-αf(x,y)*h(x,y)

其中，f(x,y)是处理前的图像，g(x,y)表示处理后的图像，h(x,y)为空间微分算子，它是作用在f(x,y)上的一个算子，α为增强系数；

所述的基准框勾勒即对手掌红外图像的轮廓边沿位置进行勾勒，手掌轮廓勾勒后将根据基准框，对手指根部间隙点的位置进行标记，从大拇指根部间隙点开始至无名指与尾指的之间的根部间隙点，分别以GapA、GapB、GapC与GapD表示，4个间隙点将作为手掌的关键点进行定位，如图1所示，为经过基准框勾勒和关键点标记的手掌图像，作为深度学习算法网络的训练样本图像。

步骤2、构建Faster R-CNN手掌检测与关键点定位网络模型；

具体地，Faster R-CNN网络由CNN特征提取网络、RPN候选区域提取网络和判别网络组成，其中CNN特征提取网络由卷积层、激励函数层和池化层构成，RPN候选区域提取网络由卷积层、Soft max层，bbox层构成，判别网络由兴趣区域池化层、全连接层、激励函数层、Softmax层和bbox层构成；

所述的CNN特征提取网络由5个卷积层和2个池化层构成；所述的RPN候选区域提取网络由3个卷积层、1个Softmax层、1个bbox层和1个Proposal层构成；所述的判别网络则包含1个兴趣区域池化层、4个全连接层、1个Softmax层和1个bbox层；

具体地，RPN候选区域提取网络，相比传统的检测框生成方法具有巨大的优势，Faster R-CNN抛弃了传统的滑动窗口和Selective Search方法，直接应用RPN网络生成检测框，能够极大地提升检测框的生成速度；

如图2所示为RPN网络结构图，其输入的特征图是经过CNN网络进行特征提取后输出的手掌红外图像，RPN候选区域提取网络包含3个卷积层，其最终输出包含关键点位置的候选区域。

步骤3、初始化CNN特征提取网络、RPN候选区域提取网络和判别网络，对以上3个网络模型进行训练；

具体地，步骤1所标记好的手掌红外图像将作为样本图像输入CNN特征提取网络进行训练，得到训练好的CNN特征提取网络模型；经CNN特征提取网络训练后的手掌特征图像将作为RPN候选区域提取网络的输入特征图，对RPN网络进行训练，得到RPN候选区域提取网络模型，并输出包含关键点位置的候选区域；判别网络根据CNN特征提取网络输出的特征图和RPN候选区域提取网络输出的候选区域进行训练，得到判别网络模型；

如图3本发明技术方案的网络架构图所示，CNN特征提取网络包含5个卷积层C1-C5，2个池化层P1和P2，C5卷积层输出的手掌特征图，将作为RPN候选区域提取网络和判别网络的输入特征图；

RPN候选区域提取网络包含3个卷积层C6-C8,1个Softmax层、1个bbox层和1个Proposal层，输入特征图由C5卷积层提供，输出包含关键点目标定位的候选区域，通过共享卷积层，计算候选框对检测网络的计算带来的消耗是很小的，在测试中生成候选框的有效时间仅需10ms；

判别网络与RPN候选区域提取网络共享C5卷积层的特征图，其包含1个兴趣区域池化层(ROI Pooling)、4个全连接层FC1-FC4、1个Softmax层和1个bbox层，经过判别网络最终可得到候选框选取出来的具备关键点定位的掌静脉图像。

步骤4、构建掌静脉图像检测与关键点定位网络模型；

具体地，将CNN特征提取网络模型、RPN候选区域提取模型和判别网络组合成一个Faster R-CNN检测网络，利用手掌图像训练数据对Faster R-CNN网络进行训练，得到手掌检测与关键点定位网络模型，如图4所示，为本发明技术方案的基本流程图。

步骤5、输入待检测的手掌红外图像，进行手掌检测与关键点定位，并输出经候选框选取出来的具备关键点定位的掌静脉图像；

具体地，利用步骤4构建的掌静脉图像检测与关键点定位网络模型，对输入的待检测手掌红外图像，进行手掌轮廓检测与关键点定位，得到手掌图像候选框与定位到手掌关键点图像，调整候选框阈值，对候选框进行非极大值抑制，得到最终候选框选取出来的具备关键点定位的掌静脉图像。

上述实施例所公开的一种基于深度学习的手掌检测与关键点定位方法，利用Faster R-CNN网络能够在对手掌检测和关键点目标定位时获得高准确度和速度，并为ROI的提取提供快速准确的关键点定位，从而能够获得高质量的掌纹、掌静脉识别区域。

基于上述的技术实施说明，在图像处理和计算机视觉技术领域的专业人员能够实现。在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于深度学习的手掌检测与关键点定位方法，其特征在于，该基于深度学习的手掌检测与关键点定位方法具体步骤如下：

S2、构建网络模型：构建CNN特征提取网络、RPN候选区域提取网络和判别网络，其中CNN特征提取网络由卷积层、激励函数层和池化层构成，RPN候选区域提取网络由卷积层、Softmax层，bbox层构成，判别网络由兴趣区域池化层、全连接层、激励函数层、Softmax层和bbox层构成；

2.根据权利要求1所述的一种基于深度学习的手掌检测与关键点定位方法，其特征在于，步骤S1中的手掌图像预处理是采用基于空域法的图像增强，可以描述为：

g(x,y)＝f(x,y)-αf(x,y)*h(x,y)

3.根据权利要求1所述的一种基于深度学习的手掌检测与关键点定位方法，其特征在于，步骤S2中的CNN特征提取网络由5个卷积层和2个池化层构成；RPN候选区域提取网络由3个卷积层、1个Softmax层构成、1个bbox层和1个Proposal层构成；判别网络则包含1个兴趣区域池化层、4个全连接层、1个Softmax层和1个bbox层。

4.根据权利要求1所述的一种基于深度学习的手掌检测与关键点定位方法，其特征在于，步骤S5中的关键点是从勾勒出手掌轮廓的基础上构建手掌基准框，并在基准框上标识出的5根手指间根部的4个间隙点，从大拇指根部间隙点开始至无名指与尾指的之间的根部间隙点，分别以GapA、GapB、GapC与GapD表示，4个间隙点将作为手掌的关键点进行定位。