CN113936307A - 一种基于薄膜传感器的静脉图像识别方法及装置 - Google Patents

Abstract

本发明公开了一种基于薄膜传感器的静脉图像识别方法及装置，该方法包括以下步骤：1）基于薄膜传感器获取掌静脉图像；2）对掌静脉图像进行二值化处理，得到掌静脉二值图；3）构建掌静脉二值图中各边缘点对于手掌中心点的夹角‑距离曲线图；4）在夹角‑距离曲线图中寻找五根手指的位置信息；5）获取食指与中指指缝坐标、中指与无名指指缝坐标，并与手掌中心点坐标组成一个三角形，计算三角形中心点与手掌中心点连线的方向与水平轴的夹角，基于该夹角矫正手掌方向；6）对掌静脉二值图进行ROI区域截取；7）基于ROI区域对掌静脉图像进行特征提取；8）基于提取到的特征判断是否进行解锁操作。本发明能够避免手掌矫正错误，进而提高识别率。

Description

一种基于薄膜传感器的静脉图像识别方法及装置

技术领域

本发明涉及图像识别及处理技术领域，尤其涉及一种基于薄膜传感器的静脉图像识别方法及装置。

背景技术

近年来，随着信息技术的发展，静脉识别技术取得了很大的进展，相对于人脸识别技术来讲，静脉识别具有体内特征、不可复制、安全级别高、个体差异大等优点。目前，静脉识别技术已用于金融、军工等领域，给人们的生活带来了极大的便利，其中，掌静脉识别就是静脉识别中较为常见的一种。

掌静脉识别方法如中国专利CN112036383B公开的基于手静脉的身份识别方法及装置，该方法包括以下步骤：1）采集五指张开的手部图像；2）将手部静脉图像分割出来；3）计算手部边缘轮廓上各个点曲率，找出五个手指的指尖和四个两指间的凹点；4）确定手的朝向并矫正，对手部静脉图像进行裁剪；5）对手部静脉图像进行扩充增强，对识别模型进行训练；6）注册阶段，将经过处理的图像输入识别模型中，提取图像特征，将其存入数据库；7）识别阶段，将经过处理的图像输入到识别模型中，提取图像特征，与注册的图像特征进行比对，完成识别。其中，确定手的朝向并矫正的具体步骤为：将中指与无名指指缝点与中心点的方向作为矫正方向。

然而，当手掌放置时中指、无名指倾斜较大的情况下，中指与无名指指缝点产生偏移，中指与无名指指缝点与中心点的方向并不是手掌的方向，造成错误矫正。

发明内容

本发明的目的在于提供一种基于薄膜传感器的静脉图像识别方法及装置，以解决掌静脉识别过程中手掌矫正容易出错，进而影响识别成功率的问题。

为了达到目的，本发明提供的技术方案为：

本发明涉及一种基于薄膜传感器的静脉图像识别方法，其包括以下步骤：

1）基于安装有薄膜传感器的电子设备获取待识别用户的掌静脉图像；

2）对掌静脉图像进行二值化处理，得到掌静脉二值图；

3）构建掌静脉二值图中各边缘点对于手掌中心点的夹角-距离曲线图；

4）基于波峰算法在夹角-距离曲线图中寻找五根手指指尖的位置信息；

5）将获取的食指指尖坐标、无名指指尖坐标与手掌中心点坐标组成一个三角形，计算三角形中心点与手掌中心点连线的方向与水平轴的夹角，基于该夹角矫正手掌方向；

6）对矫正后的掌静脉二值图进行ROI区域截取；

7）基于ROI区域对掌静脉图像进行特征提取；

8）若所述提取的掌静脉特征与预存的掌静脉特征模板相匹配，则识别通过。

优选地，所述步骤3）的具体步骤包括：

3.1）将所述的掌静脉二值图进行图像分割，截取出掌部静脉二值图；

3.2）采用Canny边缘检测算法获取掌静脉二值图的多个边缘点坐标及掌部静脉二值图的多个边界点坐标；

3.3）基于掌部静脉二值图的多个边界坐标计算手掌中心点坐标（X _cen ，Y _cen ）；

3.4）计算各边缘点到手掌中心点的距离；

3.5）计算边缘点与中心点的连线与水平轴之间的夹角；

3.6）以夹角为横坐标，在该夹角下边缘点到中心点的距离为纵坐标，构建夹角-距离曲线图。

优选地，所述的计算各边缘点到手掌中心点的距离的计算公式为：

公式中，

表示第i个边缘点到手掌中心点的距离，x _i 表示第i个边缘点的横坐标，y _i 表示第i个边缘点的纵坐标。

优选地，所述步骤4）的具体步骤包括：

4.1）采用遍历的方式寻找5个点，该5个点到手掌中心点的距离大于与该点相邻的左右四个点到手掌中心点的距离，得到的五个点即为五根手指指尖的位置信息；

4.2）基于5个点的坐标，计算5个坐标点的平均夹角以及5个坐标点与平均夹角差的绝对值，其中坐标点与平均夹角差的绝对值最大的点对应大拇指，其余四个点中，按与大拇指对应的角度大小分别为小指、无名指、中指和食指。

优选地，所述步骤4.1）中寻找的5个点满足以下条件：

a）该点的纵坐标大于左右四个点的纵坐标，即

且

b）该点的纵坐标与左右八个点的纵坐标的平均值之差大于阈值a，即

公式中，

表示各边缘点的纵坐标，a的取值为15。

优选地，所述步骤4.2）中计算5个坐标点的平均夹角以及5个坐标点与平均夹角差的绝对值的计算公式为：

公式中，

表示遍历找到的5个坐标点中的其中一个坐标点的横坐标，

表示遍历找到的5个坐标点的平均夹角，

表示其中一个坐标点与平均夹角差的绝对值。

优选地，所述步骤5）的具体步骤包括：

5.1）将获取的食指指尖坐标（x _a ，y _a ）、无名指指尖坐标（x _b ，y _b ），并结合手掌中心点坐标（X _cen ，Y _cen ）组成三角形，求取三角形的中心位置坐标，计算公式为：

公式中，

和

分别表示三角形的中心点的横坐标和纵坐标；

5.2）计算手掌中心点指向三角形中心点的方向与水平轴的夹角，计算公式为：

公式中，

表示手掌中心点指向三角形中心点的方向与水平轴的夹角；

5.3）基于手掌中心点指向三角形中心点的方向与水平轴的夹角矫正掌静脉二值图，使得手掌中心点指向三角形中心点的方向与水平轴的夹角为90度。

优选地，所述步骤2）采用大津法阈值分割方法对掌静脉图像进行二值化处理。

本发明还涉及一种基于薄膜传感器的静脉图像识别装置，其包括：

1）采集模块，所述采集模块为电子设备，所述的电子设备安装有薄膜传感器，用于获取待识别用户的掌静脉图像；

2）二值化处理模块，用于对掌静脉图像进行二值化处理，得到掌静脉二值图；

3）曲线图构建模块，用于构建掌静脉二值图中各边缘点对于手掌中心点的夹角-距离曲线图；

4）手指定位模块，基于波峰算法在夹角-距离曲线图中寻找五根手指指尖的位置信息；

5）矫正模块，根据获取的食指指尖坐标、无名指指尖坐标，并与手掌中心点坐标组成一个三角形，基于该三角形矫正手掌方向；

6）ROI区域截取模块，用于对矫正后的掌静脉二值图进行ROI区域截取；

7）特征提取模块，基于ROI区域对掌静脉图像进行特征提取；

8）识别模块，将提取的掌静脉特征与预存的掌静脉特征模板进行识别比对，若提取的掌静脉特征与预存的掌静脉特征模板相匹配，则识别通过。

采用本发明提供的技术方案，与现有技术相比，具有如下有益效果：

本发明涉及的基于薄膜传感器的静脉图像识别方法及装置通过食指指尖、无名指指尖，与手掌中心点坐标组成一个三角形，计算三角形中心点与手掌中心点连线的方向与水平轴的夹角，基于该夹角矫正手掌方向，然后截取手掌ROI区域提取特征并完成静脉识别，通过三角形中心点与手掌中心点连线对手掌图像进行角度矫正，避免因中指和无名指倾斜较大时，中指和无名指指缝点产生偏移，中指和无名指指缝点与中心点的方向不是手掌的方向，造成错误矫正的问题，使得校正结果更加准确，以提高识别率。

附图说明

图1是本发明涉及的基于薄膜传感器的静脉图像识别方法的流程图；

图2是本发明涉及的夹角-距离曲线示意图；

图3是本发明涉及的基于薄膜传感器的静脉图像识别装置的框架图。

具体实施方式

为进一步了解本发明的内容，结合实施例对本发明作详细描述，以下实施例用于说明本发明，但不用来限制本发明的范围。

实施例1

参照附图1所示，本发明涉及一种基于薄膜传感器的静脉图像识别方法，其包括以下步骤：

1）基于安装有薄膜传感器的电子设备获取待识别用户的掌静脉图像，即在电子设备表层或者内层设有一层薄膜传感器，将待识别部位（手掌）放在设备上，触发近红外光源发射红外光，近红外光照射手部，手部的静脉血管吸收近红外光形成具有位差的矩阵信息，薄膜传感器接收上述变化并将其转换为掌静脉图像；同时本发明中获取的掌静脉图像为手指张开的掌静脉图像，若获取的掌静脉图像为手指闭合的图像，则直接判定为不合格，重新采集；

2）采用大津法阈值分割方法对掌静脉图像进行二值化处理，得到掌静脉二值图；

3）构建掌静脉二值图中各边缘点对于手掌中心点的夹角-距离曲线图，其具体步骤包括：

3.1）将所述的掌静脉二值图进行图像分割，截取出掌部静脉二值图；

3.2）采用Canny边缘检测算法分别获取掌部静脉二值图的多个边缘点坐标及掌部静脉二值图的多个边界点坐标，即先对图像进行高斯滤波，通过高斯滤波可以滤除大部分干扰；然后对图像进行八邻域搜索算法并计算连通域的面积，利用小根堆法来计算最优双阈值，通过双阈值算法对图像进行阈值处理；

3.3）基于掌部静脉二值图的多个边界坐标计算手掌中心点坐标（

），计算公式为：

公式中，a _i 表示掌部静脉二值图各边界点的横坐标，b _i 表示掌部静脉二值图各边界点的纵坐标，m表示掌部静脉二值图边界点的个数，X _cen 表示手掌中心点的横坐标，Y _cen 表示手掌中心点的横坐标；

本发明中采用掌部静脉二值图计算手掌中心点，而不采用掌静脉二值图，可以避免采集到的掌静脉图像为手指闭合图像时，手掌中心点向上偏移而导致中心点计算错误的情况。因掌部掌部静脉二值图为掌静脉二值图的一部分，在本发明中由掌部静脉二值图计算出的手掌中心点同时定义为掌部静脉二值图的手掌中心点；在同一坐标系中，掌部静脉二值图和掌静脉二值图中手掌中心点坐标相同。

3.4）计算各边缘点到手掌中心点的距离，计算公式为：

公式中，

表示各边缘点到手掌中心点的距离，x _i 表示第i个边缘点的横坐标，y _i 表示第i个边缘点的纵坐标。

3.5）计算边缘点与中心点的连线与水平轴之间的夹角；本发明中采用反正切函数进行计算，反正切函数是指函数y=tanx的反函数，即y=arctanx。

3.6）以夹角为横坐标，在该夹角下边缘点到中心点的距离为纵坐标，构建夹角-距离曲线图，见图2所示，一个夹角下可能会有数个边缘点，本发明中，纵坐标为该夹角下到中心点的最远距离的边缘点到中心点的距离。

4）在上述的夹角-距离曲线图中，因手指相对于手掌较长，因此手指指尖到中心点的距离为波峰，手指到中心点的距离大于相邻的点到中心点的距离，且手指指尖与相邻点的距离差满足一定的条件，故本发明基于波峰算法在夹角-距离曲线图中寻找五根手指指尖的位置信息，其具体步骤为：

4.1）采用遍历的方式寻找5个点，该5个点到手掌中心点的距离大于与该点相邻的左右四个点到手掌中心点的距离，得到的五个点即为五根手指的信息；

寻找上述5个点应满足以下条件：

a）该5个点到手掌中心点的距离大于与该点相邻的左右四个点到手掌中心点的距离，即该点的纵坐标大于左右四个点的纵坐标，即

且

b）因为手指较为陡峭，因此相邻像素点之间的位置差异较大，即坐标差较大。当采集到的掌静脉图像存在毛刺或者脏污等噪音时，会出现小波峰现象，即图2中箭头指向的位置，此时仅有条件a），则有可能出现判断错误。本发明中以相邻像素点的纵坐标之差对手指指尖点进行进一步限制，即该点的纵坐标与左右八个点的纵坐标的平均值之差大于一定的阈值a，即

公式中，

表示各边缘点的纵坐标，本发明中a的取值为15；

通过上述波峰算法可获得5个坐标点，5个坐标点的坐标为（

，

），其中i的取值为1、2、3、4、5。

4.2）基于5个点的坐标，计算5个坐标点的平均夹角以及5个坐标点与平均夹角差的绝对值，其中坐标点与平均夹角差的绝对值最大的点对应大拇指，其余四个点中，按与大拇指对应的角度大小分别为食指、中指、无名指和小指，计算5个坐标点的平均夹角以及5个坐标点与平均夹角差的绝对值的计算公式为：

公式中，

表示遍历找到的5个坐标点中的其中一个坐标点的横坐标，

表示遍历找到的5个坐标点的平均夹角，

表示其中一个坐标点与平均夹角差的绝对值。

5）根据获取的食指指尖坐标、无名指指尖坐标，并与手掌中心点坐标组成一个三角形，计算三角形中心点与手掌中心点连线的方向与水平轴的夹角，基于该夹角矫正手掌方向，其具体步骤为：

5.1）将获取的食指指尖坐标（x _a ，y _a ）、无名指指尖坐标（x _b ，y _b ），结合手掌中心点坐标（X _cen ，Y _cen ）组成三角形，求取三角形的中心位置坐标，计算公式为：

公式中，

和

分别表示三角形的中心点的横坐标和纵坐标；

5.2）计算手掌中心点指向三角形中心点的方向与水平轴的夹角，计算公式为：

公式中，

表示手掌中心点指向三角形中心点的方向与水平轴的夹角；

5.3）基于手掌中心点指向三角形中心点的方向与水平轴的夹角矫正掌静脉二值图，使得手掌中心点指向三角形中心点的方向与水平轴的夹角为90度。

6）对矫正后的掌静脉二值图进行ROI区域截取；

7）基于ROI区域对掌静脉图像进行特征提取；

8）基于提取到的特征识别静脉图像以实现静脉识别。

实施例2

参照附图3所示，本发明还涉及一种基于薄膜传感器的静脉图像识别装置，其包括：

1）采集模块，所述采集模块为电子设备，所述的电子设备安装有薄膜传感器，可以获取待识别用户的掌静脉图像；采集模块用于实现实施例1中步骤1）的功能。

2）二值化处理模块，用于对掌静脉图像进行二值化处理，得到掌静脉二值图；二值化处理模块用于实现实施例1中步骤2）的功能。

3）曲线图构建模块，用于构建掌静脉二值图中各边缘点对于手掌中心点的夹角-距离曲线图；曲线图构建模块用于实现实施例1中步骤3）的功能。

4）手指定位模块，基于波峰算法在夹角-距离曲线图中寻找五根手指的位置信息；手指定位模块用于实现实施例1中步骤4）的功能。

5）矫正模块，根据获取的食指指尖坐标、无名指指尖坐标，并与手掌中心点坐标组成一个三角形，基于该三角形矫正手掌方向；矫正模块用于实现实施例1中步骤5）的功能。

6）ROI区域截取模块，用于对矫正后的掌静脉二值图进行ROI区域截取；ROI区域截取模块用于实现实施例1中步骤6）的功能。

7）特征提取模块，基于ROI区域对掌静脉图像进行特征提取；特征提取模块用于实现实施例1中步骤7）的功能。

8）识别模块，将提取的掌静脉特征与预存的掌静脉特征模板进行识别比对，若相匹配，则识别通过；识别模块用于实现实施例1中步骤8）的功能。

以上结合实施例对本发明进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等，均应仍属于本发明的专利涵盖范围之内。

Claims (9)

1.一种基于薄膜传感器的静脉图像识别方法，其特征在于：其包括以下步骤：

1）基于安装有薄膜传感器的电子设备获取待识别用户的掌静脉图像；

2）对掌静脉图像进行二值化处理，得到掌静脉二值图；

3）构建掌静脉二值图中各边缘点对于手掌中心点的夹角-距离曲线图；

4）基于波峰算法在夹角-距离曲线图中寻找五根手指指尖的位置信息；

5）将获取的食指指尖坐标、无名指指尖坐标与手掌中心点坐标组成一个三角形，计算三角形中心点与手掌中心点连线的方向与水平轴的夹角，基于该夹角矫正手掌方向；

6）对矫正后的掌静脉二值图进行ROI区域截取；

7）基于ROI区域对掌静脉图像进行特征提取；

8）若所述提取的掌静脉特征与预存的掌静脉特征模板相匹配，则识别通过。

2.根据权利要求1所述的基于薄膜传感器的静脉图像识别方法，其特征在于：所述步骤3）的具体步骤包括：

3.1）将所述的掌静脉二值图进行图像分割，截取出掌部静脉二值图；

3.2）采用Canny边缘检测算法分别获取掌静脉二值图的多个边缘点坐标及掌部静脉二值图的多个边界点坐标；

3.3）基于掌部静脉二值图的多个边界坐标计算手掌中心点坐标（X _cen ，Y _cen ）；

3.4）计算各边缘点到手掌中心点的距离；

3.5）计算边缘点与中心点的连线与水平轴之间的夹角；

3.6）以夹角为横坐标，在该夹角下边缘点到中心点的距离为纵坐标，构建夹角-距离曲线图。

3.根据权利要求2所述的基于薄膜传感器的静脉图像识别方法，其特征在于：所述的计算各边缘点到手掌中心点的距离的计算公式为：

公式中，

表示第i个边缘点到手掌中心点的距离，x _i 表示第i个边缘点的横坐标，y _i 表示第i个边缘点的纵坐标。

4.根据权利要求1所述的基于薄膜传感器的静脉图像识别方法，其特征在于：所述步骤4）的具体步骤包括：

4.1）采用遍历的方式寻找5个点，该5个点到手掌中心点的距离大于与该点相邻的左右四个点到手掌中心点的距离，得到的五个点即为五根手指指尖的位置信息；

4.2）基于5个点的坐标，计算5个坐标点的平均夹角以及5个坐标点与平均夹角差的绝对值，其中坐标点与平均夹角差的绝对值最大的点对应大拇指，其余四个点中，按与大拇指对应的角度大小分别为小指、无名指、中指和食指。

5.根据权利要求4所述的基于薄膜传感器的静脉图像识别方法，其特征在于：所述步骤4.1）中寻找的5个点满足以下条件：

a）该点的纵坐标大于左右四个点的纵坐标，即

且

b）该点的纵坐标与左右八个点的纵坐标的平均值之差大于阈值a，即

公式中，

表示各边缘点的纵坐标，a的取值为15。

6.根据权利要求4所述的基于薄膜传感器的静脉图像识别方法，其特征在于：所述步骤4.2）中计算5个坐标点的平均夹角以及5个坐标点与平均夹角差的绝对值的计算公式为：

公式中，

表示遍历找到的5个坐标点中的其中一个坐标点的横坐标，

表示遍历找到的5个坐标点的平均夹角，

表示其中一个坐标点与平均夹角差的绝对值。

7.根据权利要求2所述的基于薄膜传感器的静脉图像识别方法，其特征在于：所述步骤5）的具体步骤包括：

5.1）将获取的食指指尖坐标（x _a ，y _a ）、无名指指尖坐标（x _b ，y _b ），结合手掌中心点坐标（X _cen ，Y _cen ）组成三角形，求取三角形的中心位置坐标，计算公式为：

公式中，

和

分别表示三角形的中心点的横坐标和纵坐标；

5.2）计算手掌中心点指向三角形中心点的方向与水平轴的夹角，计算公式为：

公式中，

表示手掌中心点指向三角形中心点的方向与水平轴的夹角；

5.3）基于手掌中心点指向三角形中心点的方向与水平轴的夹角矫正掌静脉二值图，使得手掌中心点指向三角形中心点的方向与水平轴的夹角为90度。

8.根据权利要求1所述的基于薄膜传感器的静脉图像识别方法，其特征在于：所述步骤2）采用大津法阈值分割方法对掌静脉图像进行二值化处理。

9.一种基于薄膜传感器的静脉图像识别装置，其特征在于：其包括：

1）采集模块，所述采集模块为电子设备，所述的电子设备安装有薄膜传感器，用于获取待识别用户的掌静脉图像；

2）二值化处理模块，用于对掌静脉图像进行二值化处理，得到掌静脉二值图；

3）曲线图构建模块，用于构建掌静脉二值图中各边缘点对于手掌中心点的夹角-距离曲线图；

4）手指定位模块，基于波峰算法在夹角-距离曲线图中寻找五根手指指尖的位置信息；

5）矫正模块，根据获取的食指指尖坐标、无名指指尖坐标，并与手掌中心点坐标组成一个三角形，基于该三角形矫正手掌方向；

6）ROI区域截取模块，用于对矫正后的掌静脉二值图进行ROI区域截取；

7）特征提取模块，基于ROI区域对掌静脉图像进行特征提取；

8）识别模块，将提取的掌静脉特征与预存的掌静脉特征模板进行识别比对，若提取的掌静脉特征与预存的掌静脉特征模板相匹配，则识别通过。

Images