CN115641615A

CN115641615A - 复杂背景下闭合手掌感兴趣区域提取方法

Info

Publication number: CN115641615A
Application number: CN202211486624.XA
Authority: CN
Inventors: 周开军; 曾祺; 周鲜成; 史长发; 覃业梅; 王栋
Original assignee: Hunan University of Technology
Current assignee: Hunan University of Technology
Priority date: 2022-11-25
Filing date: 2022-11-25
Publication date: 2023-01-24

Abstract

本发明公开了复杂背景下闭合手掌感兴趣区域提取方法，属于生物信息与图像处理的交叉领域，通过运用双目摄像头测量手掌距离，提取特定的点进行透视变换，对手掌图像进行矫正；利用DeepLabv3+语义神经网络建立基于手掌图像粗分割模型，再结合高斯肤色模型提高分割精度，生成二值化图像；对二值化图像进行最大连通域分析；获得完整的手掌二值化图像后，对闭合手掌进行凸包检测；用Canny算子对手掌图像进行边缘检测，并用水平算子获取水平边缘，再获取每个边缘端点，作为候选点，通过候选点到质心的距离以及候选点到L1、L2的距离等条件进行筛选，获得最终的两个关键点，来提取手掌感兴趣区域。

Description

复杂背景下闭合手掌感兴趣区域提取方法

技术领域

本发明属于生物信息与图像处理的交叉领域，具体是复杂背景下闭合手掌感兴趣区域提取方法。

背景技术

随着生物特征识别技术的不断发展加上卫生防疫需要，生物特征识别技术已经开始从接触式识别逐步过渡到非接触式识别，在过渡的过程中，也自然而然地产生了很多关于手掌旋转、倾斜、扭曲等导致识别出错问题，相对于接触式掌纹识别，非接触式掌纹识别除了要克服手掌姿态问题外，还需要克服复杂背景的干扰，以及光照的影响。

手掌的旋转会导致所提取的ROI（Region of Interest，感兴趣区域）特征信息方向不一致，而倾斜则会导致手部轮廓直接发生变换，导致ROI区域提取位置发生偏差；现阶段大多数针对手掌感兴趣区域提取方法都是基于手部特定姿势（手指张开）的情况下进行的，而当手掌闭合时，则很难将手掌感兴趣区域提取出来。

发明内容

本发明的目的在于提供复杂背景下闭合手掌感兴趣区域提取方法，以解决现有技术中非接触式掌纹识别难以在复杂背景下提取闭合手掌的手掌感兴趣区域的问题。

提供复杂背景下闭合手掌感兴趣区域提取方法，包括如下步骤：

S1：获取手掌外接矩形框的生物信息，凭借矩形的特殊性，对特定的点进行透视变换，将倾斜手掌矫正；

S2：利用DeepLabv3+语义神经网络建立基于手掌轮廓的分割模型，将矫正后的手掌从复杂背景下分离出来，再结合高斯肤色模型提高分割精度，生成二值化图像；

S3：对二值化图像进行最大连通域分析，进一步消除手掌图像分割过程的误差，再进行形态学操作，消除手掌区域的孔洞；

S4：获得完整的手掌二值化图像后，对闭合手掌进行凸包检测，得到手指指尖间的凹陷点，通过形态学和几何学得到两条经过食指与中指以及无名指与小指指缝的线L1、L2；

S5：用Canny算子对手掌图像进行边缘检测，并用水平算子获取水平边缘，再获取每个边缘端点作为候选点，通过候选点到质心的距离以及候选点到L1、L2的距离等条件进行筛选，获得最终的两个关键点，来提取手掌感兴趣区域。

作为本发明进一步的方案：所述S1中通过双目摄像头和骨架点检测技术获取手掌P1、P2、P3、P4、P5的三维坐标，利用这5个离散点拟合平面，利用P3作为参考点，做P1对于P3的对称点P6，并得到P6三维坐标，通过以下三个条件得到P7点：

A）P7到P3的距离应与P6到P3的距离相等；

B）P7、P3的向量应与P6、P3的向量互相垂直；

C）P7应在拟合平面上；

得出P7后，做P7的对称点P8；

重复上述步骤，假设并得到A点，并通过对称性分别得到点B、点C、点D，以得到手掌平面的矩形四个关键点坐标，得到在手掌平面上的矩形区域，且此区域已将整个手部囊括进去；将得到的A、B、C、D四个点作为参数传入透视变换函数中，使四个点在图像坐标系下构成一个标准的矩形，完成倾斜手掌的矫正。

得到P6的具体方程为：

。

作为本发明进一步的方案：利用P1、P2、P3、P4和P5这5个离散点拟合平面，已知一个三维平面可以用

来表示，所以由离散点拟合平面，实质是求解超定方程，从而得到拟合的平面系数Ω(a,b,c)，所述超定方程的公式如下：

；

其中，x、y、z是空间域像素的位置坐标，a、b、c为平面方程系数，

假设P7的三维坐标为(X7,Y7,Z7)，得到P7点的三个条件方程为：

；

其中，X3、Y3、Z3、X6、Y6、Z6、X7、Y7、Z7为相关坐标点的三维坐标信息，a、b、c为平面方程系数，所述透视变换方程为；

；

其中u、v、w为原始图像坐标，对应得到变换后的图像齐次坐标为x

、y

、w

，a ₁₁~a ₃₃为变换矩阵；

得到变换后的齐次坐标后，获取变换后的图像坐标，其公式为：

；

；

其中x，y为变换后的图像坐标。

作为本发明进一步的方案：所述S2中首先采用DeepLabv3+语义分割对手掌进行第一次分割；为了使分割模型更加稳定有效，在训练模型时，针对不同手部姿态、不同光照环境以及不同背景均加入了训练样本；得到DeepLabv3+语义分割出来的二值化图像后，选择连通域最大的二值化区域作为手掌区域，对二值化区域进行适度膨胀操作，并与手掌原图进行‘与’操作，使得将除手掌外的绝大多数背景区域均被屏蔽；将‘与’操作之后的图像采用基于高斯肤色模型的传统方法进行分割；在屏蔽了绝大多数背景后，在复杂背景干扰较小的情况下，图像分割的传统方法拥有比神经网络语义分割更好的精度和稳定性。

作为本发明进一步的方案：所述S3中对分割获得的二值化图像进行连通域分析，采用中值滤波器对二值化的轮廓进行平滑处理，并采用形态学中的膨胀腐蚀操作清除手掌内部的孔洞。

作为本发明进一步的方案：所述S4中通过调整参数以适应手掌形态，利用凸包检测技术得到闭合手掌上一组凹陷点的信息，并利用Opencv函数获取二值化图像的质心坐标信息以及手掌轮廓点信息；

通过凹陷点信息，利用凹陷点的深度即可得出深度最大的点为拇指食指凹陷点记作Q1；

将剩余凹陷点一一与质心比较距离，得到距离最远的点即为中指指尖点T1；

连接T1、质心点C1并延长交于手掌轮廓，交点记作D1，点D1处于手掌手腕处；

遍历凹陷点信息，计算各个凹陷点到点D1的距离，从而得到食指中指间、无名指小指间以及食指指尖点为距离最远的三个凹陷点，并通过三个点之间的距离，筛选出食指与中指间、无名指与小指间凹陷点；

通过比对与点Q1的距离，确定食指与中指凹陷点为Q2，无名指与小指凹陷点为Q3；

做Q1、Q2之间连线的垂线，Q1绕着Q2 旋转14°~16°得到V1，角度由经验阈值所得，使得Q2、V1的连线方向顺应指缝方向，并将Q2、Q3顺着指缝方向映射到该垂线，得到候选点V2、V3，这里将Q2与V2 连线（即食指与中指指缝）称作L1，Q3与V3连线（即无名指与小指指缝）称作L2。

作为本发明进一步的方案：所述S5中手掌方向矫正后，采用拉普拉斯算子对手掌进行图像增强，将增强的图像灰度化，然后采用Canny算子提取图像的边缘，并设置一个阈值，将提取出来的连通量进行一个筛选，只保留大的连通量；将手掌的轮廓区域整体进行膨胀，并构建水平方向的边缘检测算子对轮廓图像进行检测，获得水平方向的轮廓；将提取出来的水平方向的轮廓进行腐蚀操作，然后利用这些二值化区域做一个骨架线提取，重新做一次阈值筛选，删除细小的边缘；采用八邻域扫描算法得到留下来的边缘的端点，保存这些端点坐标信息；对这些关键点进行筛选，计算出每一个候选点到质心的距离以及每一个候选点到连线L1和L2的距离；首先筛选掉不在三个指窝的候选点，具体约束条件如下：

；

；

；

此时筛选出来的关键点均在指窝处，然后再这些点中通过筛选，得到两点距离最长的两个点，即为食指中指指窝点和无名指小指指窝点作为最终的关键点；在候选点集中，计算两两距离最大的两个点作为手掌谷点的具体公式为：

。

与现有技术相比，本发明的有益效果在于：

1、针对手掌倾斜问题，通过双目摄像头得到手掌上点的空间坐标信息，然后通过构建手掌平面方程系数，得出平面上的矩形，并通过透视变换将该矩形转化为图像坐标系下的矩形，从而也将手掌图像进行倾斜矫正，得到最终适合分割的图像。

2、通过搭建DeepLabv3+网络结构来进行图像分割，DeepLabV3+网络的特征提取网络选择MobileNetV2网络模型来处理手掌图像，通过对大量的已标注的手掌图像进行训练来确定模型参数，能很好的解决复杂背景、光照不均等难点情况下的手掌分割问题，再结合传统高斯肤色模型进行再分割，保证分割在不被复杂背景干扰下的高精度和稳定性。

3、提出了一种利用形态学和数学几何的方法，充分利用手掌间各个点之间的联系，成功将手掌掌心区域的特征信息提取出来，使得能够在手掌闭合时提取手掌感兴趣区域。

附图说明

为了便于本领域技术人员理解，下面结合附图对本发明作进一步的说明。

图1为复杂背景下闭合手掌感兴趣区域提取方法的总体框架图；

图2为复杂背景下闭合手掌感兴趣区域提取方法的总体流程图；

图3为本发明提供的倾斜矫正特征点信息图；

图4为本发明提供的感兴趣区域提取特征点信息图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明；应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，即所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例；通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例；基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

请参阅图1、图2和图3所示，本实施例针对手掌图像倾斜校正的处理，其处理的流程包括以下步骤：

步骤一：使用双目摄像头，利用摄像头支持的手势识别模型来标记手掌骨架点信息，得出手掌区域内的P1、P2、P3、P4、P5这几个标记点坐标深度信息；

步骤二：利用这些点的深度信息，拟合成一个三位平面，该平面应与手掌对应；

步骤三：在该平面上（即手掌位置）通过P1、P3为参考点，构建该平面的矩形，但该矩形在相机坐标系下并不是一个矩形；

步骤四：对得到的矩形进行扩大，将整个手掌区域囊括进去，获得手掌外接矩形区域，避免校正时手部信息出现失真以及信息缺失；

步骤五：将获得的最终手掌外接矩形区域的四个关键点作为透视变换的坐标点，进行透视变换，成功校正倾斜手掌图像。

步骤二中通过双目摄像头和骨架点检测技术获取手掌P1、P2、P3、P4、P5的三维坐标，利用这5个离散点拟合平面，已知一个三维平面可以用

来表示，所以由离散点拟合平面，实质就是求解超定方程，超定方程的公式如下：

；

其中，x、y、z是空间域像素的位置坐标，a、b、c为平面方程系数，从而得到拟合的平面系数Ω(a,b,c)。

步骤三中，构建平面矩形包括以下步骤：

利用P3作为参考点，做P1对于P3的对称点P6，得到P6三维坐标，具体方程为：

；

其中，x、y、z为点的三维坐标信息；为了得出手掌平面的矩形四个关键点坐标，假设P7的三维坐标(X7,Y7,Z7)，则P7应符合以下三个条件：

A）P7到P3的距离应与P6到P3的距离相等；

B）P7、P3的向量应与P6、P3的向量互相垂直；

C）P7应在拟合平面上。

设P3的三维坐标为(X3,Y3,Z3)，P6的三维坐标为(X6,Y6,Z6)，则得出以下方程组：

其中，X3、Y3、Z3、X6、Y6、Z6、X7、Y7、Z7为相关坐标点的三维坐标信息，a、b、c为平面方程系数；解出三元方程组后，得到P7三维坐标，并以P3为参考点，做P7的对称点P8。

步骤四中，得到手掌外接矩形区域包括以下步骤：

重复上述步骤三，假设并得到A点，并通过对称性分别得到点B、点C、点D，此时已得到在手掌平面上的矩形区域，且此区域已将整个手部囊括进去。

步骤五中，透视变换的具体公式为：

；

其中u、v、w为原始图像坐标，对应得到变换后的图像其次坐标为x

、y

、w

，a ₁₁~a ₃₃为变换矩阵。

；

；

其中x，y为变换后的图像坐标。

实施例2

请参阅图1和图2所示，本实施例针对复杂背景下手掌分割的处理，其包括以下步骤：

步骤一：通过约6000张不同背景下的手掌训练样本，利用DeepLabv3+语义神经网络训练得到可靠的手掌图像粗分割模型；

步骤二：在获取到手掌掩膜后，对掩膜进行一个细微膨胀处理，使该掩膜略大于手掌；

步骤三：将处理后的掩膜与手掌图像进行‘与’操作，得到一张背景区域均为黑色、只剩手掌区域的图像，即屏蔽大多数复杂背景，从而消除绝大多数手掌复杂背景的干扰；

步骤四：对该图像使用高斯肤色模型进行分割，降低了神经网络分割带来的不稳定性，提高分割精度。

步骤二中，对手掌图像进行背景分离时，首先采用DeepLabv3+语义神经网络分割对手掌进行第一次分割；为了使分割模型更加稳定有效，在训练模型时，针对不同手部姿态、不同光照环境以及不同背景均加入了训练样本。

步骤四中，在得到手掌与背景分离的图像之后，对获得的二值化图像进行连通域分析，采用中值滤波器对二值化的轮廓进行平滑处理，尽可能还原手掌真实轮廓；采用形态学中的膨胀腐蚀操作清除手掌内部的孔洞。

实施例3

请参阅图1、图2和图4所示，本实施实例针对闭合手掌感兴趣区域提取方法的处理，处理的流程如下步骤进行：

步骤一：首先利用Opencv函数获得手掌区域质心点信息，记作C1，并利用凸包检测技术，得到手掌上的各个凹陷点；因为在闭合手掌中，拇指与食指凹陷点的深度最大，利用这一特点，可以定位得到拇指食指凹陷点，记作Q1；

步骤二：将凸包检测获得的剩余凹陷点与质心C1进行距离比对，得到里质心最远的中指指尖点，记作T1；

步骤三：连接中指指尖点T1、质心点C1，并延长交于手腕处，记作D1；

步骤四：遍历凹陷点信息，计算各个凹陷点到点D1的距离，从而得到食指与中指间、无名指与小指间以及中指指尖点为距离最远的三个凹陷点，并通过三个点之间的距离，选出两两距离最大的两个点，即食指与中指间、无名指与小指间凹陷点；并通过比对与点Q1的距离，确定食指与中指间凹陷点为Q2，无名指与小指间凹陷点为Q3。

步骤五：做Q1、Q2之间连线的垂线，Q1绕着Q2 旋转14°~16°得到V1，角度由经验阈值所得，使得Q2、V1的连线方向顺应指缝方向，并将Q2、Q3 顺着指缝方向映射到该垂线，得到候选点V2、V3，这里将Q2与V2 连线（即食指与中指指缝）称作 L1，Q3与V3连线（即无名指与小指指缝）称作L2。

步骤六：对图像进行增强、灰度化以及水平方向边缘提取，获取到手掌水平边缘的端点信息，并通过筛选获取到最终的指窝关键点，从而划出手掌感兴趣区域。

步骤五中，利用得到的指缝线L1和L2，对手掌进行一个旋转矫正，通过Q2和Q3的坐标比对来确定左右手，从而进行不同方向的旋转，最终统一手掌水平朝右。

步骤六中，手掌图像增强采用的是拉普拉斯算子，边缘提取采用的是Canny算子，并设置一个阈值将提取出来的连通量进行一个筛选，只保留大的连通量。

此时已获得手掌整体的轮廓区域，然后将轮廓整体进行膨胀，并构建水平方向的边缘检测算子对轮廓图像进行检测，获得水平方向的轮廓。

将提取出来的水平方向的轮廓进行腐蚀操作，然后利用这些二值化区域做一个骨架线提取，重新做一次阈值筛选，删除细小的边缘，再得到这些骨架线的端点。

其中筛选得到最终的指窝关键点的具体方法为：采用八邻域扫描算法得到留下来的边缘的端点，保存这些端点坐标信息；对这些关键点进行筛选，计算出每一个候选点到质心的距离以及每一个候选点到连线L1和L2的距离；首先筛选掉不在三个指窝的候选点，具体约束条件如下：

；

；

；

此时筛选出来的关键点均在指窝处，然后在这些点中通过筛选，得到两点距离最长的两个点，即为食指与中指指窝点和无名指与小指指窝点作为最终的关键点；在候选点集中，计算两两距离最大的两个点作为手掌谷点的具体公式为：

。

以上内容仅仅是对本发明结构所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims

1.复杂背景下闭合手掌感兴趣区域提取方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的复杂背景下闭合手掌感兴趣区域提取方法，其特征在于，所述S1中通过双目摄像头和骨架点检测技术获取手掌P1、P2、P3、P4、P5的三维坐标，利用这5个离散点拟合平面，利用P3作为参考点，做P1对于P3的对称点P6，并得到P6三维坐标，通过以下三个条件得到P7点：

P7到P3的距离应与P6到P3的距离相等；

P7、P3的向量应与P6、P3的向量互相垂直；

P7应在拟合平面上；

得出P7后，做P7的对称点P8；

重复上述步骤，假设并得到A点，并通过对称性分别得到点B、点C、点D，得到在手掌平面上的矩形区域，且此区域已将整个手部囊括进去；将得到的A、B、C、D四个点作为参数传入透视变换函数中，使四个点在图像坐标系下构成一个标准的矩形，完成倾斜手掌的矫正。

3.根据权利要求2所述的复杂背景下闭合手掌感兴趣区域提取方法，其特征在于，利用P1、P2、P3、P4和P5这5个离散点拟合平面，实质是求解超定方程，从而得到拟合的平面系数Ω(a,b,c)，所述超定方程的公式如下：

；

假设P7的三维坐标为(X7,Y7,Z7)，得到P7点的三个条件方程为：

；

其中，X3、Y3、Z3、X7、Y7、Z7为相关坐标点的三维坐标信息，a、b、c为平面方程系数，所述透视变换方程为；

；

、y

、w

，a ₁₁ ~a ₃₃为变换矩阵；

；

；

其中x，y为变换后的图像坐标。

4.根据权利要求1所述的复杂背景下闭合手掌感兴趣区域提取方法，其特征在于，所述S2中首先采用DeepLabv3+语义分割对手掌进行第一次分割，得到DeepLabv3+语义分割出来的二值化图像后，选择连通域最大的二值化区域作为手掌区域，对二值化区域进行适度膨胀操作，并与手掌原图进行‘与’操作，使得将除手掌外的复杂背景区域均被屏蔽；将‘与’操作之后的图像采用基于高斯肤色模型的传统方法进行分割。

5.根据权利要求1所述的复杂背景下闭合手掌感兴趣区域提取方法，其特征在于，所述S3中对分割获得的二值化图像进行连通域分析，采用中值滤波器对二值化的轮廓进行平滑处理，并采用形态学中的膨胀腐蚀操作清除手掌内部的孔洞。

6.根据权利要求1所述的复杂背景下闭合手掌感兴趣区域提取方法，其特征在于，所述S4中利用凸包检测技术得到闭合手掌上一组凹陷点的信息，并利用Opencv函数获取二值化图像的质心坐标信息以及手掌轮廓点信息；

利用凹陷点的深度即可得出深度最大的点为拇指与食指的凹陷点记作Q1；

将剩余凹陷点分别与质心比较距离，得到距离最远的点即为中指指尖点T1；

连接T1、质心点C1并延长交于手掌轮廓，交点记作D1；

遍历凹陷点信息，计算各个凹陷点到点D1的距离，从而得到食指与中指间、无名指与小指间以及中指指尖点为距离最远的三个凹陷点，确定食指与中指凹陷点为Q2，无名指与小指凹陷点为Q3；

做Q1、Q2之间连线的垂线，Q1绕着Q2旋转14°~16°得到V1，使得Q2、V1的连线方向顺应指缝方向，并将Q2、Q3顺着指缝方向映射到该垂线，得到候选点V2、V3，Q2与V2 连线为L1，Q3与V3连线为L2。

7.根据权利要求1所述的复杂背景下闭合手掌感兴趣区域提取方法，其特征在于，所述S5中采用拉普拉斯算子对手掌进行图像增强，将增强的图像灰度化，然后采用Canny算子提取图像的边缘，并设置一个阈值，将提取出来的连通量进行一个筛选，只保留大的连通量；将手掌的轮廓区域整体进行膨胀，并构建水平方向的边缘检测算子对轮廓图像进行检测，获得水平方向的轮廓；将提取出来的水平方向的轮廓进行腐蚀操作，然后利用这些二值化区域做一个骨架线提取，重新做一次阈值筛选，删除细小的边缘；采用八邻域扫描算法得到留下来的边缘的端点，保存这些端点坐标信息；对这些关键点进行筛选，计算出每一个候选点到质心的距离以及每一个候选点到连线L1和L2的距离，首先筛选掉不在三个指窝的候选点，具体约束条件如下：

；

；

；

经筛选得到两点距离最长的两个点，即为食指中指指窝点和无名指小指指窝点作为最终的关键点。