CN107341473B - 手掌特征识别方法、手掌特征识别设备、及存储介质 - Google Patents

手掌特征识别方法、手掌特征识别设备、及存储介质 Download PDF

Info

Publication number
CN107341473B
CN107341473B CN201710541298.0A CN201710541298A CN107341473B CN 107341473 B CN107341473 B CN 107341473B CN 201710541298 A CN201710541298 A CN 201710541298A CN 107341473 B CN107341473 B CN 107341473B
Authority
CN
China
Prior art keywords
palm
image
point
characteristic
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710541298.0A
Other languages
English (en)
Other versions
CN107341473A (zh
Inventor
张大鹏
梁旭
卢光明
骆南
刘旸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhong Zhi Intelligent Technology Co., Ltd.
Original Assignee
Shenzhen Lizhong Mdt Infotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Lizhong Mdt Infotech Ltd filed Critical Shenzhen Lizhong Mdt Infotech Ltd
Priority to CN201710541298.0A priority Critical patent/CN107341473B/zh
Publication of CN107341473A publication Critical patent/CN107341473A/zh
Application granted granted Critical
Publication of CN107341473B publication Critical patent/CN107341473B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/13Sensors therefor
    • G06V40/1318Sensors therefor using electro-optical elements or layers, e.g. electroluminescent sensing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/1347Preprocessing; Feature extraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/1365Matching; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50Maintenance of biometric data or enrolment thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14Vascular patterns

Abstract

本发明提出一种手掌特征识别方法、手掌特征识别设备、及存储介质,在接收到图像采集指令后,实时采集手掌的第一图像信息,并根据所述第一图像信息获取手掌的二值化图像,然后根据第一图像信息和二值化图像,获取手掌的移动速度、相对于手掌特征识别设备的倾斜角度和距离,并在满足可识别条件时,采集所述手掌的第二图像信息,通过对所述第二图像信息进行预处理后,提出所述手掌的掌型特征、掌纹特征和掌静脉特征,最后将所述掌型特征、掌纹特征和掌静脉特征与数据库录入的注册模板进行识别比对,避免了手掌移动、倾斜带来的识别等误率和错误拒绝率偏高的问题,增加了识别的稳定性、鲁棒性和精度。

Description

手掌特征识别方法、手掌特征识别设备、及存储介质
技术领域
本发明涉及生物特征识别技术领域,尤其涉及一种手掌特征识别方法、手掌特征识别设备、及存储介质。
背景技术
当前生物特征主要分为人脸、虹膜、指纹、掌纹、掌静脉、指静脉等大类。由掌纹特征和掌静脉特征组成的手掌特征基于精度高、心理排斥低的特点,获得了越来越多的关注。现有的手掌识别设备分为接触式和非接触式两种:接触式手掌识别设备受限于定位立柱和较大的体积,用户体验较差、安装和系统的集成难度较大、应用场景受到了极大的限制;而非接触式手掌识别设备基于构成简单、体积小、易于集成安装的特点,广泛应用于人流量较大的场景中。
现有的非接触式手掌识别设备分为两种:一种同时具有掌纹和掌静脉识别功能;另一类仅通过掌静脉信息进行识别,极大地简化了系统,并且由于掌静脉属于粗粒度特征,使用较低的分辨率就能够很好地保证掌静脉信息,但也相应地限制了掌静脉识别的精度,此外,掌静脉成像质量受光源、手掌距离和姿态的影响较大,容易采集到不稳定的图像。
现有的非接触式手掌识别设备,减少了定位立柱和密闭成像环境的限制,设备体积小、用户自由度高,但也导致了用户自由度过大、鲁棒性较差、识别周期较长等缺点。
综上,现有的非接触式识别设备主要存在以下缺点:
1)精度不高,环境光影响大;
2)稳定性不够,系统鲁棒性差;
3)图像采集时机不明确,无法应对手掌倾斜的情况;
4)UI交互能力较差。
发明内容
本发明的主要目的在于提供一种手掌特征识别方法,旨在提高现有手掌特征识别设备的精度、稳定性和鲁棒性。
为实现上述目的,本发明提出的手掌特征识别方法,应用于非接触式手掌特征识别设备,包括以下步骤:
在接收到图像采集指令后,实时采集目标对象手掌的第一图像信息,并根据所述第一图像信息获取手掌的二值化图像;
根据所述第一图像信息和二值化图像,获取所述手掌相对于手掌特征识别设备的倾斜角度和距离,并根据所述第一图像信息中的手掌面积、所述二值化图像的帧差值及所述距离获取所述手掌的移动速度;
当所述手掌的移动速度、相对于手掌特征识别设备的倾斜角度和距离均满足可识别条件时,采集所述手掌的第二图像信息;
对所述第二图像信息进行预处理后,提取所述手掌的掌型特征、掌纹特征和掌静脉特征;
将所述掌型特征、掌纹特征和掌静脉特征与数据库录入的注册模板进行识别比对。
进一步地,所述在接收到图像采集指令后,实时采集目标对象手掌的第一图像信息,并根据所述第一图像信息获取手掌的二值化图像的步骤之前,还包括以下步骤:
当检测到目标对象手掌接近时,唤醒手掌特征识别设备,并生成图像采集指令。
进一步地,在执行所有步骤之前,还执行以下步骤:
获取目标对象手掌在可识别条件下的多组手掌特征,并处理成注册模板录入数据库。
进一步地,所述获取目标对象手掌在可识别条件下的多组手掌特征,并处理成注册模板录入数据库的步骤,具体包括:
A、在手掌与手掌特征识别设备之间的预设间距内设置由远及近的螺旋状目标点序列;
B、实时定位手掌ROI及其中心点P,提示目标对象将中心点P靠近显示于手掌特征识别设备的显示单元的目标点P’;
C、在所述中心点P移至目标点P’区域,且所述手掌的移动速度小于第一阈值、所述手掌相对于手掌特征识别设备的倾斜角度在目标范围时,控制手掌特征识别设备采集手掌的深度图像、近红外图像和可见光图像;
D、将所述深度图像、近红外图像和可见光图像,处理成包括掌型特征、掌纹特征和掌静脉特征的注册模板录入数据库;
E、调整目标点P’至目标点序列的下一位置,重复执行步骤C和D,直至整个目标点序列均执行完毕。
进一步地,所述在接收到图像采集指令后,实时采集目标对象手掌的第一图像信息,并根据所述第一图像信息获取手掌的二值化图像的步骤,具体包括:
在接收到图像采集指令后,控制手掌特征识别设备实时采集目标对象手掌的第一深度图像、第一近红外图像和第一可见光图像;
根据所述第一深度图像中的距离信息,剔除手掌放置范围之外的像素区域,并计算第一深度图像剩余像素区域的中心;
以所述第一深度图像剩余像素区域的中心为中心作预设区域,根据预设区域内第一近红外图像的亮度分布获取第一近红外图像的二值化阈值;
根据所述二值化阈值对所述第一近红外图像进行二值化处理,得到手掌的二值化图像。
进一步地,根据所述第一图像信息和二值化图像,获取所述手掌相对于手掌特征识别设备的倾斜角度和距离的步骤,具体包括:
根据所述第一图像信息中的第一深度图像和第一近红外图像对手掌进行实时定位,并将所述二值化图像显示于手掌特征识别设备的显示单元;
根据所述第一深度图像计算手掌与手掌特征识别设备之间的间距,并根据所述间距在所述显示单元显示手掌相对于手掌特征识别设备的距离;
根据所述第一深度图像计算手掌平面的法向量,并根据所述法向量与目标方向的夹角计算手掌相对于手掌特征识别设备的倾斜角度。
进一步地,所述根据所述第一图像信息中的手掌面积、所述二值化图像的帧差值及所述距离获取所述手掌的移动速度的步骤,具体包括:
根据输入的每秒预设帧数的二值化图像序列,获取当前帧与上一帧的差值delta;
根据所述第一图像信息获取当前手掌的面积s、手掌与手掌特征识别设备之间的距离d;
根据所述delta、s、d计算当前手掌图像的变化量,并根据所述变化量获取手掌当前的移动速度v。
进一步地,当连续n帧的移动速度v小于第一阈值时,判定当前手掌处于稳定状态。
进一步地,所述当所述手掌的移动速度、相对于手掌特征识别设备的倾斜角度和距离均满足可识别条件时,采集所述手掌的第二图像信息的步骤,具体包括:
检测手掌与手掌特征识别设备之间的间距;
当所述间距处于目标区间时,检测手掌的移动速度;
当所述移动速度小于第一阈值时,检测手掌相对于手掌特征识别设备的倾斜角度;
当所述倾斜角度在目标范围时,控制手掌特征识别设备采集手掌的第二深度图像、第二近红外图像和第二可见光图像。
进一步地,所述对所述第二图像信息进行预处理后,提取所述手掌的掌纹特征和掌静脉特征的步骤,具体包括:
根据所述第二图像信息获取当前手掌的二值化图像和第二深度图像对应的距离信息;
根据所述距离信息对所述二值化图像进行细化处理,得到手掌区域;
根据所述距离信息计算手掌区域ROI的等效三维平面,并在所述三维平面上截取ROI;
在三维平面ROI内部等间隔生成采样点阵列,经过所述采样点阵列作手掌平面的垂线,以获得三维手掌表面的交点阵列;
将所述交点阵列分别投影回第二可见光图像和第二近红外图像,以获取最终的掌纹ROI和掌静脉ROI;
根据所述掌纹ROI和掌静脉ROI获取手掌的掌纹特征和掌静脉特征。
进一步地,所述对所述第二图像信息进行预处理后,提取所述手掌的掌型特征的步骤,具体包括:
根据所述第二图像信息获取当前手掌的二值化图像和第二深度图像对应的距离信息;
根据所述距离信息对所述二值化图像进行细化处理,得到手掌区域;
在所述手掌区域内设置手掌的特征点,并根据所述特征点之间的连线计算手掌的长度和宽度;
根据所述距离信息对手掌的长度和宽度进行归一化处理后,提取掌型特征。
进一步地,所述手掌特征识别方法还包括对目标范围内的倾斜手掌图像进行倾斜畸变校正,具体为:
根据所述倾斜手掌图像获取手掌的二值化图像及其感兴趣区域ROI_0;
从所述二值化图像中定位食指和中指边缘谷点s1、小指和无名指边缘谷点s2、及感兴趣区域ROI_0的四个顶点r1~r4,以n1为采样步长在感兴趣区域 ROI_0内生成等间隔的平面点阵列A;
根据所述倾斜手掌图像的深度信息计算s1、s2及平面点阵列A对应的三维坐标q1、q2、空间点阵列B、及q1、q2的中点q;
根据空间点阵列B中相邻行和相邻列的点创建三角子平面,并根据各个子平面的法向量计算空间点阵列B的等效平面的主方向F;
建立法向量为F、且经过点q的第一平面,计算空间点阵列B的所有点到第一平面的平均距离L,并建立法向量为F、平行于第一平面、且与第一平面之间的距离为L的第二平面;
获取点q在第二平面的垂足q3,过点q3以向量的方向为参照在第二平面中创建感兴趣区域ROI_1,以n2为采样步长在感兴趣区域ROI_1中生成等间隔的点阵列C;
将点阵列C中的三维点坐标分别投影至倾斜手掌的可见光图像和近红外图像,得到非倾斜的掌纹特征和掌静脉特征;
根据所述二值化图像定位出掌型识别所需的关键点序列Que_1,并根据深度信息计算Que_1对应的三维点序列Que_2;
获取Que_2在第二平面的垂足点序列Que_3,并根据所述Que_3获取校正后的掌型特征。
本发明的另一目的在于提出一种手掌特征识别设备,所述手掌特征识别设备包括深度摄像机、存储器、处理器及存储于所述存储器并在所述处理器上运行的手掌特征识别程序,其中:
所述深度摄像机,用于采集手掌的深度图像和近红外图像;
所述手掌特征识别程序被所述处理器执行时实现如上所述的手掌特征识别方法的步骤。
进一步地,所述手掌特征识别设备还包括:
红外接近传感器,在检测到目标对象手掌接近时,唤醒所述手掌特征识别设备。
本发明还提出一种存储介质,该存储介质存储有手掌特征识别程序,所述手掌特征识别程序被处理器执行时实现如上所述的手掌特征识别方法的步骤。
本发明的手掌特征识别方法,用于非接触式手掌特征识别设备,在接收到图像采集指令后,实时采集手掌的第一图像信息,并根据所述第一图像信息获取手掌的二值化图像,然后根据第一图像信息和二值化图像,获取手掌的移动速度、相对于手掌特征识别设备的倾斜角度和距离,并在满足可识别条件时,采集所述手掌的第二图像信息,通过对所述第二图像信息进行预处理后,提出所述手掌的掌型特征、掌纹特征和掌静脉特征,最后将所述掌型特征、掌纹特征和掌静脉特征与数据库录入的注册模板进行识别比对。该手掌特征识别方法,通过手掌的图像信息和二值化图像获取手掌的移动速度、相对于手掌特征识别设备的倾斜角度和距离,并在满足可识别条件时,采集手掌的第二图像信息,再依据第二图像信息提取手掌特征与注册模板进行识别比对,避免了手掌移动、倾斜带来的识别等误率和错误拒绝率偏高的问题,增加了识别的稳定性、鲁棒性和精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图示出的结构获得其他的附图。
图1为本发明手掌特征识别方法一实施例的流程图;
图2为图1中步骤S10的具体流程图;
图3为图1中步骤S30的具体流程图;
图4为图1中步骤S40的第一实施例的流程图;
图5为图1中步骤S40的第二实施例的流程图;
图6为图1中步骤S50的具体流程图;
图7为图1中步骤S60的第一实施例的流程图;
图8为图1中步骤S60的第二实施例的流程图;
图9为本发明的螺旋状目标点序列的示意图;
图10为本发明的二值化图像的显示界面示意图;
图11为本发明的倾斜畸变校正流程示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明提出一种手掌特征识别方法,应用于非接触式手掌特征识别设备。
参照图1,图1为本发明的手掌特征识别方法一实施例的流程图。
在本实施例中,该手掌特征识别方法包括以下步骤:
S10:获取目标对象手掌在可识别条件下的多组手掌特征,并处理成注册模板录入数据库;
S20:当检测到目标对象手掌接近时,唤醒手掌特征识别设备,并生成图像采集指令;
S30:在接收到图像采集指令后,实时采集目标对象手掌的第一图像信息,并根据所述第一图像信息获取手掌的二值化图像;
S40:根据所述第一图像信息和二值化图像,获取所述手掌相对于手掌特征识别设备的倾斜角度和距离,并根据所述第一图像信息中的手掌面积、所述二值化图像的帧差值及所述距离获取所述手掌的移动速度;
S50:当所述手掌的移动速度、相对于手掌特征识别设备的倾斜角度和距离均满足可识别条件时,采集所述手掌的第二图像信息;
S60:对所述第二图像信息进行预处理后,提取所述手掌的掌型特征、掌纹特征和掌静脉特征;
S70:将所述掌型特征、掌纹特征和掌静脉特征与数据库录入的注册模板进行识别比对。
本实施例的手掌特征识别方法,主要用于非接触式手掌特征识别设备,所述手掌特征识别设备包括深度摄像机和可见光摄像机,用于获取手掌的深度图像、近红外图像和可见光图像,深度图像中的每个像素点记录该点距离摄像机镜头的距离信息,一般而言深度摄像机包括激光发射器和激光图像接收摄像头,但不局限于此,凡是能够生成深度图像的摄像机都符合本发明所述的深度摄像机。所述近红外图像可以使用单独的红外摄像头配合相应的近红外光光源获得,也即所述手掌特征识别设备还可以包括近红外摄像机,也可以直接使用深度摄像机直接生成近红外图像,如果是另行采用红外摄像头,则需要通过标定技术,在获取相机的相关参数后,将该近红外图像于深度摄像头的红外图像进行对齐,所谓对齐也即通过映射,获取每个像素点在对齐图像上的纹理信息。
为了使手掌特征识别设备在实际应用时的鲁棒性能更好,在手掌特征的注册阶段应该尽可能地采集多种情况下的样本,也即获取目标对象手掌满足可识别条件的情况下,采集不同距离、不同倾斜角度和不同移动速度的多组手掌特征,处理成注册模板录入手掌特征识别设备的后台运行系统数据库。
由于手掌特征识别设备集成有功耗较大的光源和其他元器件,而且在检测到手掌后,会实时获取并显示手掌的距离、位置和倾斜姿态信息,功耗较大,为了减少手掌特征识别设备的功耗,本实施例的手掌特征识别设备设置有红外接近传感器,使手掌特征识别设备在非工作状态下保持待机状态,只要在检测到目标对象手掌接近时,才唤醒所述手掌特征识别设备,在所述手掌特征识别设备唤醒之后,根据预置程序生成图像采集指令,以采集目标对象手掌的图像信息。
在接收到图像采集指令后,所述手掌特征识别设备通过深度摄像机和可见光摄像机实时采集目标对象手掌的第一深度图像、第一近红外图像和第一可见光图像,并将采集到的第一深度图像、第一近红外图像和第一可见光图像实时处理成手掌的二值化图像,并将所述二值化图像显示于手掌特征识别设备的显示单元,以增加用户与UI显示界面之间的交互。通过所述第一图像信息和二值化图像可以获取手掌的深度信息、移动信息和倾斜畸变信息,也即第一图像信息中的第一深度图像代表了手掌与手掌特征识别设备之间的间距,也即手掌相对于手掌特征识别设备的距离,所述距离信息实时显示于所述显示单元,以便用户根据所述距离信息调整手掌的放置位置,所述二值化图像包含了手掌的运动信息,也即可以通过所述二值化图像和深度信息计算手掌的移动速度和倾斜角度。
所述手掌特征识别设备实时连续采集手掌的图像信息,并对所述手掌的第一深度图像、第一近红外图像和第一可见光图像进行分析后进行取舍,丢掉不符合识别条件的图像信息,如丢弃移动速度大于第一阈值的图像、丢掉倾斜角度超出目标范围的图像、以及丢掉距离大于目标区间的图像,也即,手掌特征识别设备只收录手掌的移动速度、相对于手掌特征识别设备的倾斜角度和距离均满足可识别条件的第二图像信息。
在采集到可识别条件下的第二图像信息后,需要对第二图像信息中的第二深度图像、第二近红外图像和第二可见光图像进行降噪预处理,然后通过竞争编码方式提取掌纹信息,并对提取的掌纹信息编码用角度相似性评价相似度,对第二近红外图像中的静脉血管结构采用多尺度高斯匹配滤波器提取,并在计算相似度时,统计血管重叠的百分比,在第二可见光图像中设置特征点提取手掌的掌型特征,最后将提取到的掌型特征、掌纹特征和掌静脉特征与于注册阶段录入数据库的注册模板进行识别比对,输出比对结果,并生成相应的指令控制与所述手掌特征识别设备连接的门禁或闸机系统放行或报警。
本发明的手掌特征识别方法,用于手掌特征识别设备,在接收到图像采集指令后,实时采集手掌的第一图像信息,并根据所述第一图像信息获取手掌的二值化图像,然后根据第一图像信息和二值化图像,获取手掌的移动速度、相对于手掌特征识别设备的倾斜角度和距离,并在满足可识别条件时,采集所述手掌的第二图像信息,通过对所述第二图像信息进行预处理后,提出所述手掌的掌型特征、掌纹特征和掌静脉特征,最后将所述掌型特征、掌纹特征和掌静脉特征与数据库录入的注册模板进行识别比对,该手掌特征识别方法,通过手掌的图像信息和二值化图像获取手掌的移动速度、相对于手掌特征识别设备的倾斜角度和距离,并在满足可识别条件时,采集手掌的第二图像信息,再依据第二图像信息提取手掌特征与注册模板进行识别比对,避免了手掌移动、倾斜带来的识别等误率和错误拒绝率偏高的问题,增加了识别的稳定性、鲁棒性和精度。
进一步地,参照图2,基于上述实施例的手掌特征识别方法,步骤S10,具体包括:
S11:在手掌与手掌特征识别设备之间的预设间距内设置由远及近的螺旋状目标点序列;
S12:实时定位手掌ROI及其中心点P,提示目标对象将中心点P靠近显示于手掌特征识别设备的显示单元的目标点P’;
S13:在所述中心点P移至目标点P’区域,且所述手掌的移动速度小于第一阈值、所述手掌相对于手掌特征识别设备的倾斜角度在目标范围时,控制手掌特征识别设备采集手掌的深度图像、近红外图像和可见光图像;
S14:将所述深度图像、近红外图像和可见光图像,处理成包括掌型特征、掌纹特征和掌静脉特征的注册模板录入数据库;
S15:调整目标点P’至目标点序列的下一位置,重复执行步骤S13和S14,直至整个目标点序列均执行完毕。
本实施例的手掌特征识别方法,为了降低识别设备的拒绝率,提高识别的稳定性和精度,在手掌特征注册时,在手掌和手掌识别设备之间的预设间距内设置由远及近的螺旋状目标点序列,如图9所示,目标点序列邻域范围区间为合理区间,所述合理区间即为手掌与手掌特征识别设备之间的预设间距,手掌在所述预设间距中时,在移动速度和倾斜角度满足可识别条件时进行不同位置、不同距离、不同旋转状态下的样本采集,从而丰富注册样本,具体为根据手掌的二值化图像,实时定位手掌ROI区域,在手掌特征识别设备的显示单元突出显示ROI的中心点P,并在所述显示单元显示目标点序列中的目标点P’,提示目标对象或用户将手掌中心点P向所述目标点P’移动,当用户手掌达到目标点P’区域内,保持手掌稳定在合理速度区间、保持手掌姿态在合理方向范围内时,也即当手掌的移动速度小于第一阈值、所述手掌相对于手掌特征识别设备的倾斜角度在目标范围时,控制手掌特征识别设备采集手掌的深度图像、近红外图像和可见光图像,然后将所述深度图像、近红外图像和可见光图像,处理成掌型特征、掌纹特征和掌静脉特征三者组合的注册模板录入数据库,接着调整目标点P’至目标点序列的下一位置,重复执行步骤S13和S14,直至整个目标点序列的手掌图像均采集完毕。
进一步地,参照图3,基于上述实施例的手掌特征识别方法,步骤S30,具体包括:
S31:在接收到图像采集指令后,控制手掌特征识别设备实时采集目标对象手掌的第一深度图像、第一近红外图像和第一可见光图像;
S32:根据所述第一深度图像中的距离信息,剔除手掌放置范围之外的像素区域,并计算第一深度图像剩余像素区域的中心;
S33:以所述第一深度图像剩余像素区域的中心为中心作预设区域,根据预设区域内第一近红外图像的亮度分布获取第一近红外图像的二值化阈值;
S34:根据所述二值化阈值对所述第一近红外图像进行二值化处理,得到手掌的二值化图像。
在本实施例中,手掌特征识别设备在接收到图像采集指令后,控制深度摄像机采集目标对象手掌的第一深度图像和第二近红外图像,控制可见光摄像机采集目标对象的第一可见光图像,由于测距原理的限制,深度摄像机在出厂时已经确定了其工作区间,即被测物体必须处于该段距离内才能够成功获取距离信息,而适用于手掌特征识别的深度摄像机的工作区间为 5cm~100cm,而本实施例为了更精确地获取手掌的距离信息,采用的深度摄像机的工作区间为15cm~20cm,也即本实施例的手掌特征识别设备只收录与其间距为15cm~20cm之间的深度图像信息,在所述第一深度图像中凡是距手掌特征识别设备15cm~20cm之外的像素点,其深度信息值均为0,也即剔除距手掌特征识别设备15cm~20cm之外的像素区域,从而进一步去除近处用户身体成像和远处环境成像对手掌分割造成的影响,并计算第一深度图像剩余像素区域的中心(cx,cy),以(cx,cy)为中心作len为边长的矩形区域,统计获取第一近红外图像中对应该区域的灰度均值Gmean,将a*Gmean作为第一近红外图像的二值化阈值,也即根据预设区域内第一近红外图像的亮度分布获取第一近红外图像的二值化阈值,最后根据图像处理中的形态学、连通域等算法对所述第一近红外图像进行二值化处理,检测二值图像中的连通区域,并通过预设的面积阈值剔除干扰区域,保留最大的连通域为最终的手掌区域,进而得到最终的手掌二值化图像。本方法结合深度距离信息,很好地削弱和降低了背景杂物和用户身体对手掌分割的影响。
进一步地,参照图4,基于上述实施例的手掌特征识别方法,步骤S40 的第一实施例,具体包括:
S41:根据所述第一图像信息中的第一深度图像和第一近红外图像对手掌进行实时定位,并将所述二值化图像显示于手掌特征识别设备的显示单元;
S42:根据所述第一深度图像计算手掌与手掌特征识别设备之间的间距,并根据所述间距在所述显示单元显示手掌相对于手掌特征识别设备的距离;
S43:根据所述第一深度图像计算手掌平面的法向量,并根据所述法向量与目标方向的夹角计算手掌相对于手掌特征识别设备的倾斜角度。
本实施例的手掌特征识别方法基于深度图像和近红外图像对手掌进行实时定位,也即根据第一图像信息中第一深度图像和第一近红外图像对手掌进行实时定位,并在手掌特征识别设备的显示单元显示手掌的二值化图像,如图10所示,根据所述第一深度图像计算手掌与手掌特征识别设备之间的间距作为手掌到手掌特征识别设备的距离,并在所述显示单元内用进度条的形式反映当前手掌与手掌特征识别设备之间的距离,并用红色标记凸显目标距离区间,同时根据第一深度图像计算手掌平面的法向量,并在手掌的手心处显示圆形平面,圆形的半径与距离有关,在圆心处绘制手掌近似平面的法向量,并根据所述法向量与目标方向的夹角计算手掌相对于手掌特征识别设备的倾斜角度,当用户手掌处于目标区间时,开启可见光光源,当用户手掌离开目标区间时,关闭可见光光源,以节省能耗。
进一步地,参照图5,基于上述实施例的手掌特征识别方法,步骤S40 的第二实施例,具体包括:
S45:根据输入的每秒预设帧数的二值化图像序列,获取当前帧与上一帧的差值delta;
S46:根据所述第一图像信息获取当前手掌的面积s、手掌与手掌特征识别设备之间的距离d;
S47:根据所述delta、s、d计算当前手掌图像的变化量,并根据所述变化量获取手掌当前的移动速度v。
在本实施例中,利用二值化图像计算手掌的移动速度时,首先输入每秒预设帧数的二值化图像序列,如输入每秒24帧二值化手掌图像序列,采用帧差法,将当前帧减去上一帧得到图像变化值delta,并根据第一图像信息中的第一深度图像和第一可见光图像获取当前手掌的面积s、手掌与手掌特征识别设备之间的距离d,最后根据所述delta、s和d计算当前手掌图像的变化量,变化量反映了手掌的前后和上下左右运动,根据所述变化量计算手掌当前的移动速度v,此外,还可以将手掌的移动速度v存储到循环队列,根据移动速度v队列的变化判断当前手掌的运动状态,如,当连续n帧的移动速度v小于第一阈值时,则判定当前手掌处于稳定状态,就可以开始对手掌图像进行采集录入了,避免了图像采集时产生的运动模糊,从而大大增加了系统工作的稳定性。
进一步地,参照图6,基于上述实施例的手掌特征识别方法,步骤S50,具体包括:
S51:检测手掌与手掌特征识别设备之间的间距;
S52:当所述间距处于目标区间时,检测手掌的移动速度;
S53:当所述移动速度小于第一阈值时,检测手掌相对于手掌特征识别设备的倾斜角度;
S54:当所述倾斜角度在目标范围时,控制手掌特征识别设备采集手掌的第二深度图像、第二近红外图像和第二可见光图像。
在本实施例中,识别系统只针对满足可识别条件的手掌特征进行注册模板的识别比对,也即在手掌特征识别设备实时采集手掌图像的过程中,只针对满足可识别条件的第二深度图像、第二近红外图像和第二可见光图像,提取相应的掌型特征、掌纹特征和掌静脉特征,送至处理器进行识别比对,对不满足可识别条件的第一深度图像、第一近红外图像和第一可见光图像在分析利用之后,直接予以舍弃或丢掉,不进行后续的比对操作,也即通过采集的第一深度图像中的深度信息检测手掌与手掌特征识别设备之间的间距,判断其是否处于目标区间,当所述间距处于目标区间时,检测手掌的移动速度,因为手掌特征识别设备的深度摄像机和可见光摄像机一直采集连续帧数的手掌图像,当所述间距处于目标区间之外时则继续检测下一帧时的间距,直到所述间距处于目标区间时,也即手掌移动至目标区间内时,检测手掌的移动速度,由于手掌的移动会在图像采集时产生运动模糊,为了提高识别精度和系统稳定性,设定能够采集的最大移动速度,即第一阈值,在所述移动速度小于第一阈值时,检测手掌相对于手掌特征识别设备的倾斜角度,在所述移动速度大于等于第一阈值时,提示用户稳定地放置手掌,采集新的一帧手掌图像进行分析,在对手掌的倾斜角度进行判断时也需要将其与预设的可识别目标范围进行比对,只有在所述倾斜角度处于目标范围时,控制手掌特征识别设备采集手掌的第二深度图像、第二近红外图像和第二可见光图像,否则提示用户平行于识别设备放置手掌,以降低识别设备的拒绝率,提高识别的稳定性和鲁棒性。
进一步地,参照图7,基于上述实施例的手掌特征识别方法,步骤S60 的第一实施例,具体包括:
S61:根据所述第二图像信息获取当前手掌的二值化图像和第二深度图像对应的距离信息;
S62:根据所述距离信息对所述二值化图像进行细化处理,得到手掌区域;
S63:根据所述距离信息计算手掌区域ROI的等效三维平面,并在所述三维平面上截取ROI;
S64:在三维平面ROI内部等间隔生成采样点阵列,经过所述采样点阵列作手掌平面的垂线,以获得三维手掌表面的交点阵列;
S65:将所述交点阵列分别投影回第二可见光图像和第二近红外图像,以获取最终的掌纹ROI和掌静脉ROI;
S66:根据所述掌纹ROI和掌静脉ROI获取手掌的掌纹特征和掌静脉特征。
在本实施例中,对所述第二图像信息中的第二深度图像、第二近红外图像和第二可见光图像进行处理,得到手掌的掌型特征时,主要根据第二深度图像和第二近红外图像获取当前手掌的二值化图像和深度信息,然后根据所述距离信息对所述二值化图像进行关键点提出、形态学、连通域等细化处理,最终保留下来的像素区域即为手掌区域,接着利用第二图像信息中的三维信息计算手掌区域ROI的等效三维平面,结合手指指根关键点在该三维平面上截取ROI,从而得到平行的ROI,之后在三维平面ROI内部等间隔地生成采样点阵列,经过这些点作本平面的垂线,所处垂线与三角划分后的三维手掌平面相交,三维数据经过滤波、除噪 和插值处理,得到三维手掌表面的交点阵列,最后将所述交点阵列分别投影至第二可见光图像和第二近红外图像,以获取最终的掌纹ROI和掌静脉ROI,进而获取手掌的掌纹特征和掌静脉特征。由于三维平面上的ROI平行于手掌平面,并且是等间隔采样,所以可以达到去除倾斜畸变的目的,此外,在实际应用中,识别系统对图像质量具有一定的要求,因而必须限定用户手掌只能在目标范围内发生倾斜,否则提示用户重新放置手掌。
进一步地,参照图8,基于上述实施例的手掌特征识别方法,步骤S60 的第二实施例,具体包括:
S61:根据所述第二图像信息获取当前手掌的二值化图像和第二深度图像对应的距离信息;
S62:根据所述距离信息对所述二值化图像进行细化处理,得到手掌区域;
S67:在所述手掌区域内设置手掌的特征点,并根据所述特征点之间的连线计算手掌的长度和宽度;
S68:根据所述距离信息对手掌的长度和宽度进行归一化处理后,提取掌型特征。
在本实施例中,对所述第二图像信息中的第二深度图像、第二近红外图像和第二可见光图像进行处理,得到手掌的掌型特征时,主要根据第二深度图像和第二近红外图像获取当前手掌的二值化图像和深度信息,然后根据所述距离信息对所述二值化图像进行关键点提出、形态学、连通域等细化处理,最终保留下来的像素区域即为手掌区域,接着在所述手掌区域设置手掌的特征点,由于本申请使用的掌型特征包括手掌面积、手掌宽度、手指相对长度、手指相对宽度,所以在手掌起始点、结束点、指尖点、指根点、指关节纹线同边缘的交点、起始点结束点连线的中点、相邻指根点连线的中点,以及平行于指根点连线的直线序列同手掌边缘的交点均为手掌的特征点,然后将所述特征点进行连线求取手掌的长度和宽度,对于手掌大小和手掌宽度,应首先根据所述深度信息进行归一化处理,从而削弱成像过程中的近大远小影响,使得 同一个人的手掌掌型检测结果在不同距离保持稳定,最后按照传统的掌型特征提取方法进行掌型特征提取。
进一步地,所述手掌特征识别方法还包括对目标范围内的倾斜手掌图像进行倾斜畸变校正,具体为:
根据所述倾斜手掌图像获取手掌的二值化图像及其感兴趣区域ROI_0;
从所述二值化图像中定位食指和中指边缘谷点s1、小指和无名指边缘谷点s2、及感兴趣区域ROI_0的四个顶点r1~r4,以n1为采样步长在感兴趣区域 ROI_0内生成等间隔的平面点阵列A;
根据所述倾斜手掌图像的深度信息计算s1、s2及平面点阵列A对应的三维坐标q1、q2、空间点阵列B、及q1、q2的中点q;
根据空间点阵列B中相邻行和相邻列的点创建三角子平面,并根据各个子平面的法向量计算空间点阵列B的等效平面的主方向F;
建立法向量为F、且经过点q的第一平面,计算空间点阵列B的所有点到第一平面的平均距离L,并建立法向量为F、平行于第一平面、且与第一平面之间的距离为L的第二平面;
获取点q在第二平面的垂足q3,过点q3以向量的方向为参照在第二平面中创建感兴趣区域ROI_1,以n2为采样步长在感兴趣区域ROI_1中生成等间隔的点阵列C;
将点阵列C中的三维点坐标分别投影至倾斜手掌的可见光图像和近红外图像,得到非倾斜的掌纹特征和掌静脉特征;
根据所述二值化图像定位出掌型识别所需的关键点序列Que_1,并根据深度信息计算Que_1对应的三维点序列Que_2;
获取Que_2在第二平面的垂足点序列Que_3,并根据所述Que_3获取校正后的掌型特征。
本实施例提供一种目标范围内倾斜手掌图像的校正方法,参照图11,针对深度摄像机采集的当前近红外图像和深度图像,通过形态学、异常点提出、二值化等操作得到分割后的当前手掌的二值化图像,获取所述二值化图像的感兴趣区域ROI_0,然后从所述二值化图像中定位食指和中指边缘谷点s1、小指和无名指边缘谷点s2、及感兴趣区域ROI_0的四个顶点r1~r4,以n1为采样步长等间隔地对r1~r4进行采样,在感兴趣区域ROI_0内生成等间隔的平面点阵列A;根据所述倾斜手掌图像的深度信息计算s1、s2及平面点阵列A对应的三维坐标q1、q2、空间点阵列B、及q1、q2的中点q;利用空间点阵列B 中相邻行和相邻列的点创建三角子平面,并通过各个子平面的法向量计算空间点阵列B的等效平面的主方向F;建立法向量为F、且经过点q的第一平面 Plane_0,计算空间点阵列B的所有点到第一平面Plane_0的平均距离L,以法向量F、平行于第一平面Plane_0创建第二平面Plane_1,第一平面Plane_0与第二平面Plane_1之间的距离为L;
获取点q在第二平面Plane_1的垂足q3,过点q3以向量的方向为参照朝向手掌在第二平面Plane_1中创建感兴趣区域ROI_1,以n2为采样步长等间隔地在感兴趣区域ROI_1中确定采样点,进而生成等间隔的点阵列C;将点阵列C中的三维点坐标分别投影至倾斜手掌的可见光图像和近红外图像,通过亚像素差值和归一化得到非倾斜的掌纹ROI图像和掌静脉ROI图像,进而得到非倾斜的掌纹特征和掌静脉特征;在所述二值化图像中检测手掌边缘,定位出掌型识别所需的关键点序列Que_1,结合深度信息计算Que_1对应的三维坐标,进而计算三维点序列Que_2;以这些三维点为起点向第二平面 Plane_1做垂线,获取Que_2在第二平面Plane_1的垂足点序列Que_3,并根据所述Que_3获取校正后的掌型特征。
本发明进一步提出一种手掌特征识别设备,具体为一种非接触式的手掌特征识别设备,所述手掌特征识别设备包括深度摄像机、存储器、处理器及存储于所述存储器并在所述处理器上运行的手掌特征识别程序,其中,
所述深度摄像机,用于采集手掌的深度图像和近红外图像;
所述手掌特征识别程序被所述处理器执行时实现如下操作:
在接收到图像采集指令后,实时采集目标对象手掌的第一图像信息,并根据所述第一图像信息获取手掌的二值化图像;
根据所述第一图像信息和二值化图像,获取所述手掌相对于手掌特征识别设备的倾斜角度和距离,并根据所述第一图像信息中的手掌面积、所述二值化图像的帧差值及所述距离获取所述手掌的移动速度;
当所述手掌的移动速度、相对于手掌特征识别设备的倾斜角度和距离均满足可识别条件时,采集所述手掌的第二图像信息;
对所述第二图像信息进行预处理后,提取所述手掌的掌型特征、掌纹特征和掌静脉特征;
将所述掌型特征、掌纹特征和掌静脉特征与数据库录入的注册模板进行识别比对。
进一步地,所述手掌特征识别设备还包括红外接近传感器,所述手掌特征识别程序被所述处理器执行时还实现如下操作:
当检测到目标对象手掌接近时,唤醒手掌特征识别设备,并生成图像采集指令。
进一步地,所述手掌特征识别程序被所述处理器执行时还实现如下操作:
获取目标对象手掌在可识别条件下的多组手掌特征,并处理成注册模板录入数据库。
进一步地,所述手掌特征识别程序被所述处理器执行时还实现如下操作:
A、在手掌与手掌特征识别设备之间的预设间距内设置由远及近的螺旋状目标点序列;
B、实时定位手掌ROI及其中心点P,提示目标对象将中心点P靠近显示于手掌特征识别设备的显示单元的目标点P’;
C、在所述中心点P移至目标点P’区域,且所述手掌的移动速度小于第一阈值、所述手掌相对于手掌特征识别设备的倾斜角度在目标范围时,控制手掌特征识别设备采集手掌的深度图像、近红外图像和可见光图像;
D、将所述深度图像、近红外图像和可见光图像,处理成包括掌型特征、掌纹特征和掌静脉特征的注册模板录入数据库;
E、调整目标点P’至目标点序列的下一位置,重复执行步骤C和D,直至整个目标点序列均执行完毕。
进一步地,所述手掌特征识别程序被所述处理器执行时还实现如下操作:
在接收到图像采集指令后,控制手掌特征识别设备实时采集目标对象手掌的第一深度图像、第一近红外图像和第一可见光图像;
根据所述第一深度图像中的距离信息,剔除手掌放置范围之外的像素区域,并计算第一深度图像剩余像素区域的中心;
以所述第一深度图像剩余像素区域的中心为中心作预设区域,根据预设区域内第一近红外图像的亮度分布获取第一近红外图像的二值化阈值;
根据所述二值化阈值对所述第一近红外图像进行二值化处理,得到手掌的二值化图像。
进一步地,所述手掌特征识别程序被所述处理器执行时还实现如下操作:
根据所述第一图像信息中的第一深度图像和第一近红外图像对手掌进行实时定位,并将所述二值化图像显示于手掌特征识别设备的显示单元;
根据所述第一深度图像计算手掌与手掌特征识别设备之间的间距,并根据所述间距在所述显示单元显示手掌相对于手掌特征识别设备的距离;
根据所述第一深度图像计算手掌平面的法向量,并根据所述法向量与目标方向的夹角计算手掌相对于手掌特征识别设备的倾斜角度。
进一步地,所述手掌特征识别程序被所述处理器执行时还实现如下操作:
根据输入的每秒预设帧数的二值化图像序列,获取当前帧与上一帧的差值delta;
根据所述第一图像信息获取当前手掌的面积s、手掌与手掌特征识别设备之间的距离d;
根据所述delta、s、d计算当前手掌图像的变化量,并根据所述变化量获取手掌当前的移动速度v。
进一步地,所述手掌特征识别程序被所述处理器执行时还实现如下操作:
当连续n帧的移动速度v小于第一阈值时,判定当前手掌处于稳定状态。
进一步地,所述手掌特征识别程序被所述处理器执行时还实现如下操作:
检测手掌与手掌特征识别设备之间的间距;
当所述间距处于目标区间时,检测手掌的移动速度;
当所述移动速度小于第一阈值时,检测手掌相对于手掌特征识别设备的倾斜角度;
当所述倾斜角度在目标范围时,控制手掌特征识别设备采集手掌的第二深度图像、第二近红外图像和第二可见光图像。
进一步地,所述手掌特征识别程序被所述处理器执行时还实现如下操作:
根据所述第二图像信息获取当前手掌的二值化图像和第二深度图像对应的距离信息;
根据所述距离信息对所述二值化图像进行细化处理,得到手掌区域;
根据所述距离信息计算手掌区域ROI的等效三维平面,并在所述三维平面上截取ROI;
在三维平面ROI内部等间隔生成采样点阵列,经过所述采样点阵列作手掌平面的垂线,以获得三维手掌表面的交点阵列;
将所述交点阵列分别投影回第二可见光图像和第二近红外图像,以获取最终的掌纹ROI和掌静脉ROI;
根据所述掌纹ROI和掌静脉ROI获取手掌的掌纹特征和掌静脉特征。
进一步地,所述手掌特征识别程序被所述处理器执行时还实现如下操作:
根据所述第二图像信息获取当前手掌的二值化图像和第二深度图像对应的距离信息;
根据所述距离信息对所述二值化图像进行细化处理,得到手掌区域;
在所述手掌区域内设置手掌的特征点,并根据所述特征点之间的连线计算手掌的长度和宽度;
根据所述距离信息对手掌的长度和宽度进行归一化处理后,提取掌型特征。
进一步地,所述手掌特征识别程序被所述处理器执行时还实现如下操作:
根据所述倾斜手掌图像获取手掌的二值化图像及其感兴趣区域ROI_0;
从所述二值化图像中定位食指和中指边缘谷点s1、小指和无名指边缘谷点s2、及感兴趣区域ROI_0的四个顶点r1~r4,以n1为采样步长在感兴趣区域 ROI_0内生成等间隔的平面点阵列A;
根据所述倾斜手掌图像的深度信息计算s1、s2及平面点阵列A对应的三维坐标q1、q2、空间点阵列B、及q1、q2的中点q;
根据空间点阵列B中相邻行和相邻列的点创建三角子平面,并根据各个子平面的法向量计算空间点阵列B的等效平面的主方向F;
建立法向量为F、且经过点q的第一平面,计算空间点阵列B的所有点到第一平面的平均距离L,并建立法向量为F、平行于第一平面、且与第一平面之间的距离为L的第二平面;
获取点q在第二平面的垂足q3,过点q3以向量的方向为参照在第二平面中创建感兴趣区域ROI_1,以n2为采样步长在感兴趣区域ROI_1中生成等间隔的点阵列C;
将点阵列C中的三维点坐标分别投影至倾斜手掌的可见光图像和近红外图像,得到非倾斜的掌纹特征和掌静脉特征;
根据所述二值化图像定位出掌型识别所需的关键点序列Que_1,并根据深度信息计算Que_1对应的三维点序列Que_2;
获取Que_2在第二平面的垂足点序列Que_3,并根据所述Que_3获取校正后的掌型特征。
本实施例的手掌特征识别设备为非接触式手掌特征识别设备,通过手掌的图像信息和二值化图像获取手掌的移动速度、相对于手掌特征识别设备的倾斜角度和距离,并在满足可识别条件时,采集手掌的第二图像信息,再依据第二图像信息提取手掌特征与注册模板进行识别比对,避免了手掌移动、倾斜带来的识别等误率和错误拒绝率偏高的问题,增加了识别的稳定性、鲁棒性和精度。
此外,本发明实施例还提出一种存储介质,该存储介质存储有手掌特征识别程序,所述手掌特征识别程序被处理器执行时实现如上所述的手掌特征识别方法的步骤。
其中,手掌特征识别程序被执行时所实现的方法可参照本发明手掌特征识别方法的各个实施例,此处不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (15)

1.一种手掌特征识别方法,应用于非接触式手掌特征识别设备,其特征在于,该手掌特征识别方法包括以下步骤:
在接收到图像采集指令后,实时采集目标对象手掌的第一图像信息,并根据所述第一图像信息获取手掌的二值化图像;
根据所述第一图像信息和二值化图像,获取所述手掌相对于手掌特征识别设备的倾斜角度和距离,并根据所述第一图像信息中的手掌面积、所述二值化图像的帧差值及所述距离获取所述手掌的移动速度;
当所述手掌的移动速度、相对于手掌特征识别设备的倾斜角度和距离均满足可识别条件时,采集所述手掌的第二图像信息;
对所述第二图像信息进行预处理后,提取所述手掌的掌型特征、掌纹特征和掌静脉特征;
将所述掌型特征、掌纹特征和掌静脉特征与数据库录入的注册模板进行识别比对。
2.根据权利要求1所述的手掌特征识别方法,其特征在于,所述在接收到图像采集指令后,实时采集目标对象手掌的第一图像信息,并根据所述第一图像信息获取手掌的二值化图像的步骤之前,还包括以下步骤:
当检测到目标对象手掌接近时,唤醒手掌特征识别设备,并生成图像采集指令。
3.根据权利要求1或2所述的手掌特征识别方法,其特征在于,在执行所有步骤之前,还执行以下步骤:
获取目标对象手掌在可识别条件下的多组手掌特征,并处理成注册模板录入数据库。
4.根据权利要求3所述的手掌特征识别方法,其特征在于,所述获取目标对象手掌在可识别条件下的多组手掌特征,并处理成注册模板录入数据库的步骤,具体包括:
A、在手掌与手掌特征识别设备之间的预设间距内设置由远及近的螺旋状目标点序列;
B、实时定位手掌ROI及其中心点P,提示目标对象将中心点P靠近显示于手掌特征识别设备的显示单元的目标点P’;
C、在所述中心点P移至目标点P’区域,且所述手掌的移动速度小于第一阈值、所述手掌相对于手掌特征识别设备的倾斜角度在目标范围时,控制手掌特征识别设备采集手掌的深度图像、近红外图像和可见光图像;
D、将所述深度图像、近红外图像和可见光图像,处理成包括掌型特征、掌纹特征和掌静脉特征的注册模板录入数据库;
E、调整目标点P’至目标点序列的下一位置,重复执行步骤C和D,直至整个目标点序列均执行完毕。
5.根据权利要求3所述的手掌特征识别方法,其特征在于,所述在接收到图像采集指令后,实时采集目标对象手掌的第一图像信息,并根据所述第一图像信息获取手掌的二值化图像的步骤,具体包括:
在接收到图像采集指令后,控制手掌特征识别设备实时采集目标对象手掌的第一深度图像、第一近红外图像和第一可见光图像;
根据所述第一深度图像中的距离信息,剔除手掌放置范围之外的像素区域,并计算第一深度图像剩余像素区域的中心;
以所述第一深度图像剩余像素区域的中心为中心作预设区域,根据预设区域内第一近红外图像的亮度分布获取第一近红外图像的二值化阈值;
根据所述二值化阈值对所述第一近红外图像进行二值化处理,得到手掌的二值化图像。
6.根据权利要求3所述的手掌特征识别方法,其特征在于,根据所述第一图像信息和二值化图像,获取所述手掌相对于手掌特征识别设备的倾斜角度和距离的步骤,具体包括:
根据所述第一图像信息中的第一深度图像和第一近红外图像对手掌进行实时定位,并将所述二值化图像显示于手掌特征识别设备的显示单元;
根据所述第一深度图像计算手掌与手掌特征识别设备之间的间距,并根据所述间距在所述显示单元显示手掌相对于手掌特征识别设备的距离;
根据所述第一深度图像计算手掌平面的法向量,并根据所述法向量与目标方向的夹角计算手掌相对于手掌特征识别设备的倾斜角度。
7.根据权利要求6所述的手掌特征识别方法,其特征在于,根据所述第一图像信息中的手掌面积、所述二值化图像的帧差值及所述距离获取所述手掌的移动速度的步骤,具体包括:
根据输入的每秒预设帧数的二值化图像序列,获取当前帧与上一帧的差值delta;
根据所述第一图像信息获取当前手掌的面积s、手掌与手掌特征识别设备之间的距离d;
根据所述delta、s、d计算当前手掌图像的变化量,并根据所述变化量获取手掌当前的移动速度v。
8.根据权利要求7所述的手掌特征识别方法,其特征在于,当连续n帧的移动速度v小于第一阈值时,判定当前手掌处于稳定状态。
9.根据权利要求6所述的手掌特征识别方法,其特征在于,所述当所述手掌的移动速度、相对于手掌特征识别设备的倾斜角度和距离均满足可识别条件时,采集所述手掌的第二图像信息的步骤,具体包括:
检测手掌与手掌特征识别设备之间的间距;
当所述间距处于目标区间时,检测手掌的移动速度;
当所述移动速度小于第一阈值时,检测手掌相对于手掌特征识别设备的倾斜角度;
当所述倾斜角度在目标范围时,控制手掌特征识别设备采集手掌的第二深度图像、第二近红外图像和第二可见光图像。
10.根据权利要求3所述的手掌特征识别方法,其特征在于,所述对所述第二图像信息进行预处理后,提取所述手掌的掌纹特征和掌静脉特征的步骤,具体包括:
根据所述第二图像信息获取当前手掌的二值化图像和第二深度图像对应的距离信息;
根据所述距离信息对所述二值化图像进行细化处理,得到手掌区域;
根据所述距离信息计算手掌区域ROI的等效三维平面,并在所述三维平面上截取ROI;
在三维平面ROI内部等间隔生成采样点阵列,经过所述采样点阵列作手掌平面的垂线,以获得三维手掌表面的交点阵列;
将所述交点阵列分别投影回第二可见光图像和第二近红外图像,以获取最终的掌纹ROI和掌静脉ROI;
根据所述掌纹ROI和掌静脉ROI获取手掌的掌纹特征和掌静脉特征。
11.根据权利要求3所述的手掌特征识别方法,其特征在于,所述对所述第二图像信息进行预处理后,提取所述手掌的掌型特征的步骤,具体包括:
根据所述第二图像信息获取当前手掌的二值化图像和第二深度图像对应的距离信息;
根据所述距离信息对所述二值化图像进行细化处理,得到手掌区域;
在所述手掌区域内设置手掌的特征点,并根据所述特征点之间的连线计算手掌的长度和宽度;
根据所述距离信息对手掌的长度和宽度进行归一化处理后,提取掌型特征。
12.根据权利要求3所述的手掌特征识别方法,其特征在于,所述手掌特征识别方法还包括对目标范围内的倾斜手掌图像进行倾斜畸变校正,具体为:
根据所述倾斜手掌图像获取手掌的二值化图像及其感兴趣区域ROI_0;
从所述二值化图像中定位食指和中指边缘谷点s1、小指和无名指边缘谷点s2、及感兴趣区域ROI_0的四个顶点r1~r4,以n1为采样步长在感兴趣区域ROI_0内生成等间隔的平面点阵列A;
根据所述倾斜手掌图像的深度信息计算s1、s2及平面点阵列A对应的三维坐标q1、q2、空间点阵列B、及q1、q2的中点q;
根据空间点阵列B中相邻行和相邻列的点创建三角子平面,并根据各个子平面的法向量计算空间点阵列B的等效平面的主方向F;
建立法向量为F、且经过点q的第一平面,计算空间点阵列B的所有点到第一平面的平均距离L,并建立法向量为F、平行于第一平面、且与第一平面之间的距离为L的第二平面;
获取点q在第二平面的垂足q3,过点q3以向量的方向为参照在第二平面中创建感兴趣区域ROI_1,以n2为采样步长在感兴趣区域ROI_1中生成等间隔的点阵列C;
将点阵列C中的三维点坐标分别投影至倾斜手掌的可见光图像和近红外图像,得到非倾斜的掌纹特征和掌静脉特征;
根据所述二值化图像定位出掌型识别所需的关键点序列Que_1,并根据深度信息计算Que_1对应的三维点序列Que_2;
获取Que_2在第二平面的垂足点序列Que_3,并根据所述Que_3获取校正后的掌型特征。
13.一种手掌特征识别设备,其特征在于,所述手掌特征识别设备包括深度摄像机、存储器、处理器及存储于所述存储器并在所述处理器上运行的手掌特征识别程序,其中:
所述深度摄像机,用于采集手掌的深度图像和近红外图像;
所述手掌特征识别程序被所述处理器执行时实现如权利要求1-12任一项所述的手掌特征识别方法的步骤。
14.根据权利要求13所述的手掌特征识别设备,其特征在于,所述手掌特征识别设备还包括:
红外接近传感器,在检测到目标对象手掌接近时,唤醒所述手掌特征识别设备。
15.一种存储介质,其特征在于,该存储介质存储有手掌特征识别程序,所述手掌特征识别程序被处理器执行时实现如权利要求1-12任一项所述的手掌特征识别方法的步骤。
CN201710541298.0A 2017-07-04 2017-07-04 手掌特征识别方法、手掌特征识别设备、及存储介质 Expired - Fee Related CN107341473B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710541298.0A CN107341473B (zh) 2017-07-04 2017-07-04 手掌特征识别方法、手掌特征识别设备、及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710541298.0A CN107341473B (zh) 2017-07-04 2017-07-04 手掌特征识别方法、手掌特征识别设备、及存储介质

Publications (2)

Publication Number Publication Date
CN107341473A CN107341473A (zh) 2017-11-10
CN107341473B true CN107341473B (zh) 2018-07-06

Family

ID=60219378

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710541298.0A Expired - Fee Related CN107341473B (zh) 2017-07-04 2017-07-04 手掌特征识别方法、手掌特征识别设备、及存储介质

Country Status (1)

Country Link
CN (1) CN107341473B (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107968888A (zh) * 2017-11-30 2018-04-27 努比亚技术有限公司 一种移动终端控制方法、移动终端及计算机可读存储介质
CN108158804B (zh) * 2017-12-15 2021-09-14 苏州科灵医疗科技有限公司 一种基于体表静脉特征实现目标定位的体表静脉模具及制作方法
CN109243009B (zh) * 2018-04-20 2020-12-01 湖州达立智能设备制造有限公司 指纹锁指纹角度校正系统
CN114817895A (zh) 2018-05-29 2022-07-29 Oppo广东移动通信有限公司 验证模板的生成方法和生成系统、终端和计算机设备
CN110555348A (zh) * 2018-06-01 2019-12-10 中兴通讯股份有限公司 一种指纹识别方法、设备及计算机可读存储介质
CN108509945A (zh) * 2018-06-29 2018-09-07 张维先 通过人脸属性识别提升掌静脉识别系统性能的方法
CN109033981A (zh) * 2018-06-29 2018-12-18 张维先 基于超声波测距降低掌静脉识别系统功耗的方法
CN109117746A (zh) * 2018-07-23 2019-01-01 北京华捷艾米科技有限公司 手部检测方法及机器可读存储介质
CN109145803B (zh) 2018-08-14 2022-07-22 京东方科技集团股份有限公司 手势识别方法及装置、电子设备、计算机可读存储介质
CN109299595A (zh) * 2018-09-08 2019-02-01 太若科技(北京)有限公司 基于手部皮肤纹理信息解锁ar设备的方法、装置及ar设备
CN109512436A (zh) * 2018-11-28 2019-03-26 范俊杰 一种电磁波手掌生物识别装置及方法
CN109683710B (zh) * 2018-12-20 2019-11-08 北京字节跳动网络技术有限公司 一种手掌法向量确定方法、装置、设备及存储介质
CN109839827B (zh) * 2018-12-26 2021-11-30 哈尔滨拓博科技有限公司 一种基于全空间位置信息的手势识别智能家居控制系统
CN111666792B (zh) * 2019-03-07 2023-04-28 阿里巴巴集团控股有限公司 图像识别方法、图像采集和识别方法以及商品识别方法
CN110298233A (zh) * 2019-05-15 2019-10-01 平安科技(深圳)有限公司 掌纹识别方法、装置、计算机设备及存储介质
CN110443146A (zh) * 2019-07-09 2019-11-12 一脉通(深圳)智能科技有限公司 基于生物识别的身份验证方法、装置、设备及可读介质
US11682239B2 (en) 2019-08-13 2023-06-20 Lg Electronics Inc. Mobile terminal
CN110851048A (zh) * 2019-09-30 2020-02-28 华为技术有限公司 一种调整控件的方法和电子设备
CN111160247B (zh) * 2019-12-28 2023-05-12 智冠一掌通科技(深圳)有限公司 一种扫描掌静脉进行立体三维建模、识别的方法
CN111310699A (zh) * 2020-02-27 2020-06-19 浙江光珀智能科技有限公司 一种基于手掌特征的身份认证方法及系统
CN113515987B (zh) * 2020-07-09 2023-08-08 腾讯科技(深圳)有限公司 掌纹识别方法、装置、计算机设备及存储介质
CN112132099A (zh) * 2020-09-30 2020-12-25 腾讯科技(深圳)有限公司 身份识别方法、掌纹关键点检测模型训练方法和装置
CN112581426B (zh) * 2020-11-06 2023-01-17 上海达适医疗科技有限公司 一种红外热成像图像的左右腿识别方法
CN112528836A (zh) * 2020-12-08 2021-03-19 熵基科技股份有限公司 一种掌静脉信息采集方法、装置、设备及存储介质
CN113111723B (zh) * 2021-03-18 2023-10-13 深圳市人工智能与机器人研究院 图像处理方法、装置、智能终端及计算机可读存储介质
CN113033429A (zh) * 2021-03-30 2021-06-25 聂为清 手掌掌型掌脉特征提取及识别方法
CN113420700B (zh) * 2021-07-02 2022-10-25 支付宝(杭州)信息技术有限公司 手掌生物特征采集装置及方法
CN113673477A (zh) * 2021-09-02 2021-11-19 青岛奥美克生物信息科技有限公司 掌静脉非接触式三维建模方法、装置及认证方法
CN114533040A (zh) * 2022-01-12 2022-05-27 北京京仪仪器仪表研究总院有限公司 一种固定空间内人员特定活跃度的监测方法
CN114612941B (zh) * 2022-05-11 2022-08-30 四川圣点世纪科技有限公司 一种基于掌静脉特征的多模式身份认证方法、装置及系统
CN115063421B (zh) * 2022-08-16 2022-10-28 成都数联云算科技有限公司 极片区域检测方法及系统及装置及介质及缺陷检测方法
CN115376167B (zh) * 2022-10-26 2023-02-24 山东圣点世纪科技有限公司 一种复杂背景下的手掌检测方法及系统
CN116620219B (zh) * 2023-07-21 2023-10-20 宁波芯然科技有限公司 一种低功耗车载掌静脉解锁方法
CN117292413A (zh) * 2023-11-27 2023-12-26 江苏圣点世纪科技有限公司 一种静脉图像旋转识别方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100458832C (zh) * 2007-06-21 2009-02-04 中国科学院合肥物质科学研究院 基于方向特征的掌纹识别方法
CN101281600B (zh) * 2008-06-03 2010-12-01 北京大学 一种掌纹特征获取方法及相应的基于掌纹的身份识别方法
CN102073843B (zh) * 2010-11-05 2013-03-20 沈阳工业大学 非接触式快速人手多模态信息融合识别方法
WO2015015843A1 (ja) * 2013-08-02 2015-02-05 三菱電機株式会社 ジェスチャー判定装置及び方法、並びにジェスチャー操作装置、並びにプログラム及び記録媒体
CN103793692A (zh) * 2014-01-29 2014-05-14 五邑大学 低分辨率多光谱掌纹、掌静脉实时身份识别方法与系统
CN105787419A (zh) * 2014-12-23 2016-07-20 阿里巴巴集团控股有限公司 手掌图像的手掌检测方法及系统
CN105474234B (zh) * 2015-11-24 2019-03-29 厦门中控智慧信息技术有限公司 一种掌静脉识别的方法和掌静脉识别装置
CN105488460A (zh) * 2015-11-24 2016-04-13 成都四象联创科技有限公司 基于生理特征的图像处理方法
CN106022218B (zh) * 2016-05-06 2019-07-05 浙江工业大学 一种基于小波变换和Gabor滤波器的掌纹掌静脉图像层融合方法
CN106372611A (zh) * 2016-09-09 2017-02-01 康佳集团股份有限公司 基于手掌静脉特征的身份识别方法、系统及图像采集装置

Also Published As

Publication number Publication date
CN107341473A (zh) 2017-11-10

Similar Documents

Publication Publication Date Title
CN107341473B (zh) 手掌特征识别方法、手掌特征识别设备、及存储介质
CN107609383B (zh) 3d人脸身份认证方法与装置
CN107748869B (zh) 3d人脸身份认证方法与装置
CN107633165B (zh) 3d人脸身份认证方法与装置
JP5010905B2 (ja) 顔認証装置
CN104123543B (zh) 一种基于人脸识别的眼球运动识别方法
CN102542281B (zh) 非接触式生物特征识别方法和系统
CN109829437A (zh) 图像处理方法、文本识别方法、装置和电子系统
CN103902978B (zh) 人脸检测及识别方法
CN108230383A (zh) 手部三维数据确定方法、装置及电子设备
WO1999027845A1 (en) Method of measuring the focus of close-up images of eyes
WO2017206914A1 (zh) 指纹识别方法、指纹识别系统、及电子设备
CN106971130A (zh) 一种以人脸为参照的手势识别方法
CN107729820A (zh) 一种基于多尺度hog的手指静脉识别方法
CN110569731A (zh) 一种人脸识别方法、装置及电子设备
CN107480586B (zh) 基于人脸特征点位移的生物识别照片仿冒攻击检测方法
CN106446779A (zh) 身份识别方法和装置
US20080181466A1 (en) Registration device, collation device, extraction method, and program
CN109086724A (zh) 一种加速的人脸检测方法及存储介质
CN110458235B (zh) 一种视频中运动姿势相似度比对方法
CN111046825A (zh) 人体姿态识别方法、装置、系统及计算机可读存储介质
CN109190460A (zh) 基于累积匹配和等错误率的手形手臂静脉融合识别方法
CN116071790A (zh) 掌静脉图像质量评估方法、装置、设备及存储介质
CN106156739B (zh) 一种基于脸部轮廓分析的证件照耳朵检测与提取方法
CN110222647A (zh) 一种基于卷积神经网络的人脸活体检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20180822

Address after: 518000 Guangdong Shenzhen Nanshan District Taoyuan street, Xili University Town, cloud Valley two phase 4 4 Story 3 floors.

Patentee after: Shenzhen Zhong Zhi Intelligent Technology Co., Ltd.

Address before: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.)

Patentee before: Shenzhen Lizhong Mdt InfoTech Ltd

TR01 Transfer of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180706

Termination date: 20190704

CF01 Termination of patent right due to non-payment of annual fee