CN117218686A - 一种开放场景下的掌静脉roi提取方法及系统 - Google Patents
一种开放场景下的掌静脉roi提取方法及系统 Download PDFInfo
- Publication number
- CN117218686A CN117218686A CN202311362340.4A CN202311362340A CN117218686A CN 117218686 A CN117218686 A CN 117218686A CN 202311362340 A CN202311362340 A CN 202311362340A CN 117218686 A CN117218686 A CN 117218686A
- Authority
- CN
- China
- Prior art keywords
- palm vein
- key point
- hand key
- coordinate
- hand
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000003462 vein Anatomy 0.000 title claims abstract description 140
- 238000000605 extraction Methods 0.000 title claims abstract description 73
- 238000001514 detection method Methods 0.000 claims abstract description 64
- 239000013598 vector Substances 0.000 claims abstract description 52
- 238000013507 mapping Methods 0.000 claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 17
- 238000007781 pre-processing Methods 0.000 claims abstract description 12
- 238000004891 communication Methods 0.000 claims description 21
- 238000000034 method Methods 0.000 claims description 17
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 238000012805 post-processing Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 102000001554 Hemoglobins Human genes 0.000 description 1
- 108010054147 Hemoglobins Proteins 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 206010033675 panniculitis Diseases 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 210000004304 subcutaneous tissue Anatomy 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Collating Specific Patterns (AREA)
Abstract
本发明提出一种开放场景下的掌静脉ROI提取方法及系统，涉及计算机视觉的技术领域，获取掌静脉图像；对获取的掌静脉图像进行预处理，得到预处理后的掌静脉图像；将预处理后的掌静脉图像输入至预设的轻量化手部关键点检测模型，利用所述轻量化手部关键点检测模型进行手部关键点提取，输出手部关键点的特征向量；利用输出的手部关键点的特征向量进行坐标映射处理，得到手部关键点的坐标信息；根据手部关键点的坐标信息进行开放场景下的掌静脉ROI提取，得到用于用于特征提取和身份认证的掌静脉ROI图像。本发明能够在开放场景下稳定准确检测到手部区域，并进行手部关键点检测和掌静脉ROI区域提取。
Description
技术领域
本发明涉及计算机视觉的技术领域，特别涉及一种开放场景下的掌静脉ROI提取方法及系统。
背景技术
生物特征作为生物体具有独特性的特征信息，在身份认证技术中体现出了其强大的安全性能，生物特征识别技术是根据一组具有唯一性的个体特征来识别和验证一个人的身份信息，利用生物特征进行身份认证的方式以安全以及便利的特点逐渐成为主流。掌静脉是手掌皮肤自主下的结构，掌静脉的成像原理是将近红外光照射到手掌上，近红外光有较强的穿透能力，能够穿透到手掌皮下组织后反射回来，其中，部分近红外光会被静脉血管中的血红蛋白吸收，造成成像阴影，由此得到手掌的静脉图像，掌静脉识别除了具备其它生物特征所具有的稳定性和唯一性，还具备了静脉特征的非显性，只有使用特殊的设备才能采集到手指的静脉图像信息。
为了能够对掌静脉提取特征，需要对采集到的原始掌静脉图片进行处理，将身份无关的背景区域等去除，留下与身份信息有关的手掌区域，这一步称为感兴趣区域（ROI）提取。传统ROI区域提取主要包括手掌边缘轮廓提取、手掌关键点定位、ROI 提取等步骤，但传统ROI截取对于手掌背景要求尽可能干净，否则在手掌边缘轮廓提取和关键点定位的过程中会出现定位错误的问题，进而导致最终影响掌静脉识别的性能，因此传统ROI截取在面对开放场景、强光照、背景复杂等情况下无法有效提取掌静脉ROI区域，如现有技术公开了一种手指静脉图像ROI提取方法，读入手指静脉初始图像，边缘检测，去除虚假边缘和噪声，计算手指偏转角度；提取手指图像，对手指图像旋转校正，计算手指图像中心处并提取其ROI图像，但如前述所言，通过掌静脉识别身份依赖于是否能够稳定准确定位掌静脉ROI区域。
可见，掌静脉ROI提取是生物特征识别技术的重要组成部分，如何在开放场景下实现稳定准确定位掌静脉ROI区域，是极其重要的待解决的技术问题。
发明内容
为解决如何在开放场景下实现稳定准确定位掌静脉ROI区域的问题，本发明提出一种开放场景下的掌静脉ROI提取方法及系统，能够在开放场景下稳定准确检测到手部区域，并进行手部关键点检测和掌静脉ROI区域提取。
为了达到上述技术效果，本发明的技术方案如下：
一种开放场景下的掌静脉ROI提取方法，包括以下步骤：
S1.获取掌静脉图像；
S2.对获取的掌静脉图像进行预处理，得到预处理后的掌静脉图像；
S3.将预处理后的掌静脉图像输入至预设的轻量化手部关键点检测模型，利用所述轻量化手部关键点检测模型进行手部关键点提取，输出手部关键点的特征向量；
S4.利用输出的手部关键点的特征向量进行坐标映射处理，得到手部关键点的坐标信息；
S5.根据手部关键点的坐标信息进行开放场景下的掌静脉ROI提取，得到用于用于特征提取和身份认证的掌静脉ROI图像。
优选地，所述对获取的掌静脉图像进行预处理，具体预处理过程为：
S21.将获取的掌静脉图像进行统一缩放操作，得到统一尺寸的掌静脉图像，组成掌静脉关键点数据集；
S22.计算掌静脉关键点数据集中的掌静脉图像对应像素位置的均值和方差；
S23.对计算得出的均值和方差进行归一化，将归一化后的图像以预设大小的形式输入轻量化手部关键点检测模型。
优选地，所述轻量化手部关键点检测模型包括主干网络层、卷积层、全连接层、注意力层、用于关键点水平坐标分类任务的水平坐标分类器、用于关键点垂直坐标分类任务的垂直坐标分类器和预测层，主干网络层的输出端连接卷积层的输入端，卷积层的输出端连接全连接层的输入端，全连接层的输出端连接注意力层的输入端，注意力层的输出端分别连接水平坐标分类器和垂直坐标分类器的输入端，水平坐标分类器和垂直坐标分类器的输出端共同连接预测层。
优选地，所述利用所述轻量化手部关键点检测模型进行手部关键点提取，具体包括：主干网络层对输入的掌静脉图像的进行特征提取，输出基础特征至卷积层卷积层对基础特征进行进一步特征提取，并通过全连接层和注意力层输出n个关键点的特征表示，水平坐标分类器预测n个关键点的水平坐标，垂直坐标分类器预测n个关键点的垂直坐标，再通过预测层Sort对每个关键点的水平和垂直两个预测向量统计，得到水平坐标输出向量概率值最大的位置索引，以及垂直坐标输出向量概率值最大的位置索引，组合得到对于关键点在特征图层面的坐标，最后通过坐标映射得到手部关键点的特征向量的预测结果。
优选地，所述手部关键点的特征向量为手部关键点的x坐标信息和y坐标信息；利用输出的手部关键点的特征向量进行坐标映射处理，具体坐标映射处理过程包括：
S41.根据若干个关键点特征表示中的每一个关键点特征表示的维度，分别将所述手部关键点的特征向量进行分段，得到若干段特征向量；
S42.统计若干段特征向量中的每段特征向量的预测概率最大值；
S43.基于统计出的预测概率最大值，绘制热图，根据绘制的热图映射得到掌静脉图像的手部关键点对应的x坐标信息和y坐标信息。
优选地，所述掌静脉图像的手部关键点对应的x坐标信息和y坐标信息是根据绘制的热图中的高亮点映射得到。
优选地，所述轻量化手部关键点检测模型通过使用神经网络前向计算框架部署到嵌入式设备端，所述神经网络前向计算框架为TensorFlow Lite前向推理框架。
优选地，所述轻量化手部关键点检测模型在TensorFlow框架下搭建。
本发明还提出了一种开放场景下的掌静脉ROI提取系统，所述系统包括：
获取模块，用于获取掌静脉图像；
预处理模块，用于对获取的掌静脉图像进行预处理，得到预处理后的掌静脉图像；
第一提取模块，用于将预处理后的掌静脉图像输入至预设的轻量化手部关键点检测模型，利用所述轻量化手部关键点检测模型进行手部关键点提取，输出手部关键点的特征向量；
坐标映射模块，用于利用输出的手部关键点的特征向量进行坐标映射处理，得到手部关键点的坐标信息；
第二提取模块，用于根据手部关键点的坐标信息进行开放场景下的掌静脉ROI提取，得到用于用于特征提取和身份认证的掌静脉ROI图像。
本发明还提出了一种计算机设备，其特征在于，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行所述的开放场景下的掌静脉ROI提取方法的操作。
与现有技术相比，本发明技术方案的有益效果是：
本发明提出一种开放场景下的掌静脉ROI提取方法及系统，首先本发明采用全新的掌静脉ROI区域提取思路，即不通过传统ROI提取方法进行手掌边缘轮廓提取、手掌关键点定位等操作，而是通过目标检测中的手部关键点检测，通过轻量化手部关键点检测模型定位关键点，后进行掌静脉ROI区域提取，为本领域提供一条新的研究思路和一种新的实现方案；其次，本发明能够在开放场景下稳定准确提取到掌静脉ROI区域，通过实时轻量化手部关键点检测模型以及快速的后处理，大大提高了在开放环境下进行掌静脉ROI区域提取的准确性和稳定性。
附图说明
图1表示本发明实施例中提出的一种开放场景下的掌静脉ROI提取方法的流程示意图；
图2表示本发明实施例中提出的一种开放场景下的掌静脉ROI提取方法的又一流程示意图；
图3表示本发明实施例中提出的轻量化手部关键点检测模型的结构原理图；
图4表示本发明实施例中提出的一种开放场景下的掌静脉ROI提取系统的结构示意图；
图5表示本发明实施例中提出的一种计算机设备的结构示意图；
4.掌静脉ROI提取系统；410.获取模块；420.预处理模块；430.第一提取模块；440.坐标映射模块；450.第二提取模块；501.处理器；502.存储器；503.通信接口；504.通信总线；505.可执行指令。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好地说明本实施例，附图某些部位会有省略、放大或缩小，并不代表实际尺寸，“上”“下”等部位方向的描述非对本专利的限制；
对于本领域技术人员来说，附图中某些公知内容说明可能省略是可以理解的；
附图中描述位置关系的用于仅用于示例性说明，不能理解为对本专利的限制；
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
参见图1及图2，本发明提出了一种开放场景下的掌静脉ROI提取方法，包括以下步骤：
S1.获取掌静脉图像；
S2.对获取的掌静脉图像进行预处理，得到预处理后的掌静脉图像；
在步骤S2中，所述对获取的掌静脉图像进行预处理，具体预处理过程为：
S21.将获取的掌静脉图像进行统一缩放操作，得到统一尺寸的掌静脉图像，组成掌静脉关键点数据集；
S22.计算掌静脉关键点数据集中的掌静脉图像对应像素位置的均值和方差；
S23.对计算得出的均值和方差进行归一化，将归一化后的图像以512512预设大小的形式输入轻量化手部关键点检测模型。
S3.将预处理后的掌静脉图像输入至预设的轻量化手部关键点检测模型，利用所述轻量化手部关键点检测模型进行手部关键点提取，输出手部关键点的特征向量；
在步骤S3中，参见图3，所述轻量化手部关键点检测模型Keypoint Model包括主干网络层Backbone、卷积层Conv、全连接层FC、注意力层GAU、用于关键点水平坐标分类任务的水平坐标分类器Horizontal CoordinateClassifier、用于关键点垂直坐标分类任务的垂直坐标分类器Vertical CoordinateClassifier和用于对两个方向的输出向量进行元素排序的预测层Sort，主干网络层的输出端连接卷积层的输入端，卷积层的输出端连接全连接层的输入端，全连接层的输出端连接注意力层的输入端，注意力层的输出端分别连接水平坐标分类器和垂直坐标分类器的输入端，水平坐标分类器和垂直坐标分类器的输出端共同连接预测层；所述利用所述轻量化手部关键点检测模型进行手部关键点提取，具体包括：主干网络层对输入的掌静脉图像的进行特征提取，输出基础特征至卷积层，卷积层对基础特征进行进一步特征提取，并通过全连接层和注意力层输出n个关键点的特征表示（k1，k2，……，kn-1、kn），水平坐标分类器预测n个关键点的水平坐标，垂直坐标分类器预测n个关键点的垂直坐标，再通过预测层Sort对每个关键点的水平和垂直两个预测向量统计，得到水平坐标输出向量概率值最大的位置索引，以及垂直坐标输出向量概率值最大的位置索引，组合得到对于关键点在特征图层面的坐标，最后通过坐标映射得到真实的关键点坐标，即所述手部关键点的特征向量，手部关键点的特征向量为手部关键点的x坐标信息和y坐标信息；轻量化手部关键点检测模型仅仅需要两个分类器，即水平坐标分类器和垂直坐标分类器进行坐标分类，轻量化手部关键点检测模型将手部关键点检测视为水平和垂直坐标的两个分类任务，独立执行垂直和水平坐标的坐标分类来生成最终预测，即手部关键点的x坐标信息和y坐标信息；
S4.利用输出的手部关键点的特征向量进行坐标映射处理，得到手部关键点的坐标信息；
在步骤S4中，所述手部关键点的特征向量为手部关键点的x坐标信息和y坐标信息；利用输出的手部关键点的特征向量进行坐标映射处理，具体坐标映射处理过程包括：
S41.根据若干个关键点特征表示中的每一个关键点特征表示的维度，分别将所述手部关键点的特征向量进行分段，得到若干段特征向量；
S42.统计若干段特征向量中的每段特征向量的预测概率最大值；
S43.基于统计出的预测概率最大值，绘制热图，根据绘制的热图映射得到掌静脉图像的手部关键点对应的x坐标信息和y坐标信息。
在步骤S43中，所述掌静脉图像的手部关键点对应的x坐标信息和y坐标信息是根据绘制的热图中的高亮点映射得到，具体过程为：
参见图2，对于x方向上设共有21个关键点的一维输出向量，组合得到的向量图，在向量图上沿着/>即每个关键点的一维输出向量方向，按照概率大小绘制热图，概率最大值处为红色，概率小则趋近于蓝色，以此类推得到x方向上的热图；对于y方向上设共有21个关键点的一维输出向量/>，组合得到/>的向量图，在向量图上沿着/>即每个关键点的一维输出向量方向，按照概率大小绘制热图，概率最大值处为红色，概率小则趋近于蓝色，以此类推得到y方向上的热图；
S5.根据手部关键点的坐标信息进行开放场景下的掌静脉ROI提取，得到用于用于特征提取和身份认证的掌静脉ROI图像。
其中，依赖于轻量高效的轻量化手部关键点检测模型可实现实时开放环境或复杂背景下的手掌区域检测和关键点检测。本实施例提出的轻量化手部关键点检测模型通过使用神经网络前向计算框架部署到嵌入式设备端，所述神经网络前向计算框架为TensorFlowLite前向推理框，TensorFlow Lite是一个用于移动设备和嵌入式设备的轻量级机器学习框架，采用TensorFlow Lite前向推理框可以在嵌入式设备上有效地运行本实施例提出的轻量化手部关键点检测模型，使其更适应资源有限的环境，并且能够支持各种应用，如物体检测、图像分类、语音识别等；所述轻量化手部关键点检测模型在TensorFlow框架下搭建，TensorFlow是一个广泛使用的机器学习框架，用于训练和构建深度学习模型，将TensorFlow框架下搭建的轻量化手部关键点检测模型转换为onnx格式的等和设备无关的（Intermediate Representation，IR）中间表达模型，或者将轻量化手部关键点检测模型转换成onnx格式的模型，onnx格式的模型是一个通用的模型表示格式，可供多个框架和设备使用，转换为适用于特定推理后端（如GPU、CPU、专用加速器）的模型格式，意味着将转换成onnx格式的模型换为与特定硬件或平台兼容的模型表示，以获取更好的推理性能和效果，两者相结合可以实现从TensorFlow框架下搭建的轻量化手部关键点检测模型到特定推理后端模型的端到端转换，通过使用ONNX格式作为中间表示，可以在不同的设备和框架之间轻松迁移和部署模型，同时进行进一步的转换，以适应特定硬件或平台的要求，以获得更高的性能和效率，这样，模型可以灵活地在训练端和生产端之间切换，实现一键式部署和嵌入式设备端的实时开放场景下的掌静脉ROI提取。
在本实施例中，首先本实施例采用全新的掌静脉ROI区域提取思路，即不通过传统ROI提取方法进行手掌边缘轮廓提取、手掌关键点定位等操作，而是通过目标检测中的手部关键点检测，通过轻量化手部关键点检测模型定位关键点，后进行掌静脉ROI区域提取，为本领域提供一条新的研究思路和一种新的实现方案；其次，本实施例能够在开放场景下稳定准确提取到掌静脉ROI区域，通过实时轻量化手部关键点检测模型以及快速的后处理，大大提高了在开放环境下进行掌静脉ROI区域提取的准确性和稳定性；进一步，本实施例凭借轻量化手部关键点检测模型可以实现嵌入式设备端的实时推理，从而使得在嵌入式设备端的部署更具实时性和鲁棒性。
实施例2
参见图4，本实施例提出了一种开放场景下的掌静脉ROI提取系统，所述系统包括：
获取模块，用于获取掌静脉图像；
预处理模块，用于对获取的掌静脉图像进行预处理，得到预处理后的掌静脉图像；
第一提取模块，用于将预处理后的掌静脉图像输入至预设的轻量化手部关键点检测模型，利用所述轻量化手部关键点检测模型进行手部关键点提取，输出手部关键点的特征向量；
坐标映射模块，用于利用输出的手部关键点的特征向量进行坐标映射处理，得到手部关键点的坐标信息；
第二提取模块，用于根据手部关键点的坐标信息进行开放场景下的掌静脉ROI提取，得到用于用于特征提取和身份认证的掌静脉ROI图像。
在本实施例中，所述轻量化手部关键点检测模型通过使用神经网络前向计算框架部署到嵌入式设备端，所述神经网络前向计算框架为TensorFlow Lite前向推理框架；所述轻量化手部关键点检测模型在TensorFlow框架下搭建；本实施例采用全新的掌静脉ROI区域提取思路，即不通过传统ROI提取方法进行手掌边缘轮廓提取、手掌关键点定位等操作，而是通过目标检测中的手部关键点检测，通过轻量化手部关键点检测模型定位关键点，后进行掌静脉ROI区域提取，为本领域提供一条新的研究思路和一种新的实现方案；本实施例还能够在开放场景下稳定准确提取到掌静脉ROI区域，通过实时轻量化手部关键点检测模型以及快速的后处理，大大提高了在开放环境下进行掌静脉ROI区域提取的准确性和稳定性。
实施例3
本实施例还提出了一种计算机设备，参见图5，包括：处理器501、存储器502、通信接口503和通信总线504，所述处理器501、所述存储器502和所述通信接口503通过所述通信总线504完成相互间的通信；
其中：处理器501、存储器502以及通信接口503通过通信总线504完成相互间的通信。通信接口503，用于与其它设备比如客户端或其它服务器等的网元通信。处理器501，用于执行可执行指令505，具体可以执行上述开放场景下的掌静脉ROI提取方法实施例1中的相关步骤。
具体地，可执行指令505可以包括程序代码。处理器501可能是中央处理器CPU，或者是特定集成电路ASIC（Application Specific Integrated Circuit），或者是被配置成实施本发明实施例的一个或多个集成电路。计算机设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器502，用于存放可执行指令505。存储器502可能包含高速RAM存储器，也可能还包括非易失性存储器（non-volatile memory），例如至少一个磁盘存储器。
可执行指令505具体可以被处理器501调用使计算机设备执行以下操作：
S1.获取掌静脉图像；
S2.对获取的掌静脉图像进行预处理，得到预处理后的掌静脉图像；
S3.将预处理后的掌静脉图像输入至预设的轻量化手部关键点检测模型，利用所述轻量化手部关键点检测模型进行手部关键点提取，输出手部关键点的特征向量；
S4.利用输出的手部关键点的特征向量进行坐标映射处理，得到手部关键点的坐标信息；
S5.根据手部关键点的坐标信息进行开放场景下的掌静脉ROI提取，得到用于用于特征提取和身份认证的掌静脉ROI图像。
在本实施例中，所述轻量化手部关键点检测模型通过使用神经网络前向计算框架部署到嵌入式设备端，所述神经网络前向计算框架为TensorFlow Lite前向推理框架；所述轻量化手部关键点检测模型在TensorFlow框架下搭建；本实施例采用全新的掌静脉ROI区域提取思路，即不通过传统ROI提取方法进行手掌边缘轮廓提取、手掌关键点定位等操作，而是通过目标检测中的手部关键点检测，通过轻量化手部关键点检测模型定位关键点，后进行掌静脉ROI区域提取，为本领域提供一条新的研究思路和一种新的实现方案；本实施例还能够在开放场景下稳定准确提取到掌静脉ROI区域，通过实时轻量化手部关键点检测模型以及快速的后处理，大大提高了在开放环境下进行掌静脉ROI区域提取的准确性和稳定性。
显然，本发明的上述实施例仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.一种开放场景下的掌静脉ROI提取方法，其特征在于，包括以下步骤：
S1.获取掌静脉图像；
S2.对获取的掌静脉图像进行预处理，得到预处理后的掌静脉图像；
S3.将预处理后的掌静脉图像输入至预设的轻量化手部关键点检测模型，利用所述轻量化手部关键点检测模型进行手部关键点提取，输出手部关键点的特征向量；
S4.利用输出的手部关键点的特征向量进行坐标映射处理，得到手部关键点的坐标信息；
S5.根据手部关键点的坐标信息进行开放场景下的掌静脉ROI提取，得到用于用于特征提取和身份认证的掌静脉ROI图像。
2.根据权利要求1所述的开放场景下的掌静脉ROI提取方法，其特征在于，所述对获取的掌静脉图像进行预处理，具体预处理过程为：
S21.将获取的掌静脉图像进行统一缩放操作，得到统一尺寸的掌静脉图像，组成掌静脉关键点数据集；
S22.计算掌静脉关键点数据集中的掌静脉图像对应像素位置的均值和方差；
S23.对计算得出的均值和方差进行归一化，将归一化后的图像以预设大小的形式输入轻量化手部关键点检测模型。
3.根据权利要求2所述的开放场景下的掌静脉ROI提取方法，其特征在于，所述轻量化手部关键点检测模型包括主干网络层、卷积层、全连接层、注意力层、用于关键点水平坐标分类任务的水平坐标分类器、用于关键点垂直坐标分类任务的垂直坐标分类器和预测层，主干网络层的输出端连接卷积层的输入端，卷积层的输出端连接全连接层的输入端，全连接层的输出端连接注意力层的输入端，注意力层的输出端分别连接水平坐标分类器和垂直坐标分类器的输入端，水平坐标分类器和垂直坐标分类器的输出端共同连接预测层。
4.根据权利要求3所述的开放场景下的掌静脉ROI提取方法，其特征在于，所述利用所述轻量化手部关键点检测模型进行手部关键点提取，具体包括：主干网络层对输入的掌静脉图像的进行特征提取，输出基础特征至卷积层卷积层对基础特征进行进一步特征提取，并通过全连接层和注意力层输出n个关键点的特征表示，水平坐标分类器预测n个关键点的水平坐标，垂直坐标分类器预测n个关键点的垂直坐标，再通过预测层Sort对每个关键点的水平和垂直两个预测向量统计，得到水平坐标输出向量概率值最大的位置索引，以及垂直坐标输出向量概率值最大的位置索引，组合得到对于关键点在特征图层面的坐标，最后通过坐标映射得到手部关键点的特征向量的预测结果。
5.根据权利要求4所述的开放场景下的掌静脉ROI提取方法，其特征在于，所述手部关键点的特征向量为手部关键点的x坐标信息和y坐标信息；利用输出的手部关键点的特征向量进行坐标映射处理，具体坐标映射处理过程包括：
S41.根据若干个关键点特征表示中的每一个关键点特征表示的维度，分别将所述手部关键点的特征向量进行分段，得到若干段特征向量；
S42.统计若干段特征向量中的每段特征向量的预测概率最大值；
S43.基于统计出的预测概率最大值，绘制热图，根据绘制的热图映射得到掌静脉图像的手部关键点对应的x坐标信息和y坐标信息。
6.根据权利要求5所述的开放场景下的掌静脉ROI提取方法，其特征在于，所述掌静脉图像的手部关键点对应的x坐标信息和y坐标信息是根据绘制的热图中的高亮点映射得到。
7.根据权利要求1所述的开放场景下的掌静脉ROI提取方法，其特征在于，所述轻量化手部关键点检测模型通过使用神经网络前向计算框架部署到嵌入式设备端，所述神经网络前向计算框架为TensorFlow Lite前向推理框架。
8.根据权利要求1所述的开放场景下的掌静脉ROI提取方法，其特征在于，所述轻量化手部关键点检测模型在TensorFlow框架下搭建。
9.一种开放场景下的掌静脉ROI提取系统，其特征在于，所述系统包括：
获取模块，用于获取掌静脉图像；
预处理模块，用于对获取的掌静脉图像进行预处理，得到预处理后的掌静脉图像；
第一提取模块，用于将预处理后的掌静脉图像输入至预设的轻量化手部关键点检测模型，利用所述轻量化手部关键点检测模型进行手部关键点提取，输出手部关键点的特征向量；
坐标映射模块，用于利用输出的手部关键点的特征向量进行坐标映射处理，得到手部关键点的坐标信息；
第二提取模块，用于根据手部关键点的坐标信息进行开放场景下的掌静脉ROI提取，得到用于用于特征提取和身份认证的掌静脉ROI图像。
10.一种计算机设备，其特征在于，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-8任意一项所述的开放场景下的掌静脉ROI提取方法的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311362340.4A CN117218686B (zh) | 2023-10-20 | 2023-10-20 | 一种开放场景下的掌静脉roi提取方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311362340.4A CN117218686B (zh) | 2023-10-20 | 2023-10-20 | 一种开放场景下的掌静脉roi提取方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117218686A true CN117218686A (zh) | 2023-12-12 |
| CN117218686B CN117218686B (zh) | 2024-03-29 |
Family
ID=89035486
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311362340.4A Active CN117218686B (zh) | 2023-10-20 | 2023-10-20 | 一种开放场景下的掌静脉roi提取方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117218686B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110304720A1 (en) * | 2010-06-10 | 2011-12-15 | The Hong Kong Polytechnic University | Method and apparatus for personal identification using finger imaging |
| US20210241109A1 (en) * | 2019-03-26 | 2021-08-05 | Tencent Technology (Shenzhen) Company Limited | Method for training image classification model, image processing method, and apparatuses |
| WO2021243926A1 (zh) * | 2020-06-05 | 2021-12-09 | 华南理工大学 | 指静脉识别与防伪一体化方法、装置、存储介质和设备 |
| CN114586078A (zh) * | 2019-11-20 | 2022-06-03 | Oppo广东移动通信有限公司 | 手部姿态估计方法、装置、设备以及计算机存储介质 |
| CN114821682A (zh) * | 2022-06-30 | 2022-07-29 | 广州脉泽科技有限公司 | 一种基于深度学习算法的多样本混合掌静脉识别方法 |
| CN115083019A (zh) * | 2022-07-04 | 2022-09-20 | 江苏音律未来乐器科技有限公司 | 一种人体动作智能识别方法及装置 |
| CN115620316A (zh) * | 2022-09-23 | 2023-01-17 | 深圳大学 | 基于无线联邦学习的图像识别方法、装置、设备及介质 |
| CN116524549A (zh) * | 2023-04-25 | 2023-08-01 | 广州方向智能科技有限公司 | 基于改进UNet的手背或手掌静脉图像关键点与ROI定位方法 |
| CN116645705A (zh) * | 2023-05-29 | 2023-08-25 | 广州方向智能科技有限公司 | 基于轻量化网络的近红外掌静脉roi提取方法及系统 |
| CN116758600A (zh) * | 2022-12-30 | 2023-09-15 | 佳都科技集团股份有限公司 | 一种掌静脉识别方法、装置、设备及存储介质 |
-
2023
- 2023-10-20 CN CN202311362340.4A patent/CN117218686B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110304720A1 (en) * | 2010-06-10 | 2011-12-15 | The Hong Kong Polytechnic University | Method and apparatus for personal identification using finger imaging |
| US20210241109A1 (en) * | 2019-03-26 | 2021-08-05 | Tencent Technology (Shenzhen) Company Limited | Method for training image classification model, image processing method, and apparatuses |
| CN114586078A (zh) * | 2019-11-20 | 2022-06-03 | Oppo广东移动通信有限公司 | 手部姿态估计方法、装置、设备以及计算机存储介质 |
| WO2021243926A1 (zh) * | 2020-06-05 | 2021-12-09 | 华南理工大学 | 指静脉识别与防伪一体化方法、装置、存储介质和设备 |
| CN114821682A (zh) * | 2022-06-30 | 2022-07-29 | 广州脉泽科技有限公司 | 一种基于深度学习算法的多样本混合掌静脉识别方法 |
| CN115083019A (zh) * | 2022-07-04 | 2022-09-20 | 江苏音律未来乐器科技有限公司 | 一种人体动作智能识别方法及装置 |
| CN115620316A (zh) * | 2022-09-23 | 2023-01-17 | 深圳大学 | 基于无线联邦学习的图像识别方法、装置、设备及介质 |
| CN116758600A (zh) * | 2022-12-30 | 2023-09-15 | 佳都科技集团股份有限公司 | 一种掌静脉识别方法、装置、设备及存储介质 |
| CN116524549A (zh) * | 2023-04-25 | 2023-08-01 | 广州方向智能科技有限公司 | 基于改进UNet的手背或手掌静脉图像关键点与ROI定位方法 |
| CN116645705A (zh) * | 2023-05-29 | 2023-08-25 | 广州方向智能科技有限公司 | 基于轻量化网络的近红外掌静脉roi提取方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| SHI-JINN HORNG等: "Recognizing Palm Vein in Smartphones Using RGB Images", 《IEEE TRANSACTIONS ON INDUSTRIAL INFORMATICS》, vol. 18, no. 9, 13 December 2021 (2021-12-13), pages 5992 - 6002 * |
| 杨柯楠: "基于深度学习的指静脉识别研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, 15 May 2021 (2021-05-15), pages 138 - 1176 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117218686B (zh) | 2024-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021036059A1 (zh) | 图像转换模型训练方法、异质人脸识别方法、装置及设备 | |
| JP5121506B2 (ja) | 画像処理装置、画像処理方法、プログラム及び記憶媒体 | |
| JP5451302B2 (ja) | 画像処理装置及び方法、プログラム及び記憶媒体 | |
| US20140355843A1 (en) | 3d face recognition method based on intermediate frequency information in geometric image | |
| WO2020134818A1 (zh) | 图像处理方法及相关产品 | |
| JP2010176380A (ja) | 情報処理装置および方法、プログラム、並びに記録媒体 | |
| Boutellaa et al. | On the use of Kinect depth data for identity, gender and ethnicity classification from facial images | |
| CN112883896B (zh) | 一种基于bert网络的微表情检测方法 | |
| US20220262093A1 (en) | Object detection method and system, and non-transitory computer-readable medium | |
| CN111160291A (zh) | 基于深度信息与cnn的人眼检测方法 | |
| JP2017211938A (ja) | 生体情報処理装置、生体情報処理方法および生体情報処理プログラム | |
| CN112287865B (zh) | 一种人体姿态识别的方法及装置 | |
| CN111666813B (zh) | 基于非局部信息的三维卷积神经网络的皮下汗腺提取方法 | |
| JP2013037539A (ja) | 画像特徴量抽出装置およびそのプログラム | |
| Mali et al. | Indian sign language recognition using SVM classifier | |
| CN111199198A (zh) | 一种图像目标定位方法、图像目标定位装置及移动机器人 | |
| Nguyen et al. | Combined YOLOv5 and HRNet for high accuracy 2D keypoint and human pose estimation | |
| Gheitasi et al. | Estimation of hand skeletal postures by using deep convolutional neural networks | |
| Rohit et al. | Image recognition based smart aid for visually challenged people | |
| CN112131950B (zh) | 一种基于Android手机的步态识别方法 | |
| Rady et al. | Smart gesture-based control in human computer interaction applications for special-need people | |
| CN117218686B (zh) | 一种开放场景下的掌静脉roi提取方法及系统 | |
| CN112084840A (zh) | 一种基于三维nmi的指静脉识别方法 | |
| CN111428609A (zh) | 一种基于深度学习的人体姿态识别方法及系统 | |
| EP3702958B1 (en) | Method for verifying the identity of a user by identifying an object within an image that has a biometric characteristic of the user and separating a portion of the image comprising the biometric characteristic from other portions of the image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |