CN111339932A - 一种掌纹图像预处理方法和系统 - Google Patents

一种掌纹图像预处理方法和系统 Download PDF

Info

Publication number
CN111339932A
CN111339932A CN202010116097.8A CN202010116097A CN111339932A CN 111339932 A CN111339932 A CN 111339932A CN 202010116097 A CN202010116097 A CN 202010116097A CN 111339932 A CN111339932 A CN 111339932A
Authority
CN
China
Prior art keywords
finger
image
pit
palm print
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010116097.8A
Other languages
English (en)
Other versions
CN111339932B (zh
Inventor
冷璐
周子博
曾接贤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang Hangkong University
Original Assignee
Nanchang Hangkong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang Hangkong University filed Critical Nanchang Hangkong University
Priority to CN202010116097.8A priority Critical patent/CN111339932B/zh
Publication of CN111339932A publication Critical patent/CN111339932A/zh
Application granted granted Critical
Publication of CN111339932B publication Critical patent/CN111339932B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/1347Preprocessing; Feature extraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供的一种掌纹图像预处理方法和系统,通过采用指窝区域检测神经网络模型和筛选准则,可以在无需辅助条件准确得到有效的所需指窝区域。通过指窝区域分割神经网络模型和边缘提取,获得所需指窝边缘分割图像,并采用指间根点定位算法,准确定位得到掌纹感兴趣区域,进而能够对掌纹感兴趣区域的掌纹特征进行精确提取,以在提高掌纹特征提取精确度的同时提高掌纹提取效率。本发明所提供的掌纹图像预处理方法和系统能够不使用任何辅助定位方法自动定位掌纹感兴趣区域,提高了用户在掌纹认证过程中的自由度、舒适度以及掌纹认证的精确度,并且结合筛选准则避免不合格样本导致的误注册。

Description

一种掌纹图像预处理方法和系统
技术领域
本发明涉及掌纹识别技术领域,特别是涉及一种掌纹图像预处理方法和系统。
背景技术
信息泄露导致的不良事件频有发生,互联网、金融交易、公共安全等领域对信息安全的需求逐年增长,对个人身份的准确鉴定、个人信息安全的保护有着重大的社会意义和经济意义。因此,现有先进技术中经常采用生物特征认证来对个人身份进行核实。
生物特征认证的优点在于,用户不需要记住也不会遗失他们的生物特征数据。
在生物特征认证技术领域中,掌纹相比其他生物特征,具有侵犯性低、稳定性好、鉴别信息丰富、限制条件少、成本低、泄露困难等优势。因此掌纹认证技术在政府、银行、安防等领域得到了很好的应用。
掌纹认证根据采集方式的不同可以简单地分为接触模式和非接触模式。目前,基于接触式的掌纹认证模式在实际应用中常常存在采集灵活性不足、交叉传染、表面磨损及污染、某些国家和地区传统保守文化抵御、易留下痕迹泄露掌纹生物特征等问题。在使用非接触系统时,因为避免了与设备表面直接进行接触,所以解决了接触式设备所带来的问题。
现有非接触式掌纹认证技术中,大多通过在掌纹采集屏幕上绘制手指之间的轮廓,辅助用户摆放手掌,并使用肤色、形状等模型检测是否存在手掌。但这种使用辅助线或者辅助点的方式约束了用户手掌的摆放,降低了采集的灵活性和舒适度。
准确高效的预处理是提取掌纹特征以进行快速有效认证的关键。然而由于复杂背景、差异光照、不同手掌摆放位置和姿态等因素的影响,掌纹认证算法的性能难以达到预期效果。
因此,提供一种准确高效的掌纹图像预处理方式,准确检测关键区域、定位关键点和感兴趣区域,使非辅助掌纹认证达到预期效果,是本领域亟待解决的一个技术难题。
发明内容
本发明的目的是提供一种掌纹图像预处理方法和系统,在没有辅助拍摄要求的条件下,准确自动检测关键区域、定位关键点和感兴趣区域。
为实现上述目的,本发明提供了如下方案:
一种掌纹图像预处理方法,包括:
获取指窝区域检测神经网络模型;所述指窝区域检测神经网络模型为以手部图像为输入,以手指之间指窝图像为输出的神经网络模型;
获取手部图像;
利用所述指窝区域检测神经网络模型,根据所述手部图像,得到指窝图像;
获取指窝区域分割神经网络模型;所述指窝区域分割神经网络模型为以指窝图像为输入,以指窝区域分割图像为输出的神经网络模型;
利用所述指窝区域分割神经网络模型,根据所述指窝图像,得到指窝区域分割图像;
将所述指窝区域分割图像进行边缘提取得到指窝边缘分割图像,并根据所述指窝边缘分割图像,采用指间根点定位算法,确定得到掌纹感兴趣区域;
提取所述掌纹感兴趣区域中的掌纹特征。
可选的,所述将所述指窝区域分割图像进行边缘提取得到指窝边缘分割图像,并根据所述指窝边缘分割图像,采用指间根点定位算法,确定得到掌纹感兴趣区域包括:
判断所述指窝边缘分割图像的两侧边缘是否能够拟合为两条直线;若能,则采用指间根点定位算法,根据所述指窝边缘分割图像,检测到指间根点作为关键点,定位得到掌纹感兴趣区域;反之,则采用二次肤色自适应分割算法得到所述指窝区域分割图像,再对指窝区域分割图像进行边缘检测,从而实现指窝边缘分割图像的更新,并采用指间根点定位算法,根据更新后的指窝边缘分割图像,检测到指间根点作为关键点,并进一步定位得到掌纹感兴趣区域。
可选的,所述指窝图像包括:食指与中指间的指窝图像、无名指与小拇指间的指窝图像。
可选的,所述方法还包括:
采用公式
Figure BDA0002391537180000031
从所述指窝图像中筛选得到食指与中指间的指窝图像以及无名指与小拇指间的指窝图像;
其中a、b表示配对的两个候选指窝图像,当Pa,b=1表示两个配对的候选指窝图像为所需指窝图像,当Pa,b=0表示两个候选指窝图像不是所需指窝图像,Wa和Wb分别表示两个候选指窝图像的宽度,Da,b表示两个候选指窝图像中心点之间的直线距离,DYa,b表示两个候选指窝图像中心点之间的竖直距离。
可选的,所述获取指窝区域检测神经网络模型,之前还包括:
获取手部样本图像;
选取所述手部样本图像中符合预设条件的图片进行标定采样,构成第一训练样本集;
采用所述第一训练样本集,对所述指窝区域检测神经网络模型进行训练,获得指窝区域检测神经网络模型。
可选的,所述获取指窝区域分割神经网络模型,之前还包括:
获取指窝样本图像;
选取所述指窝样本图像中符合预设条件的图片进行标定采样,构成第二训练样本集;
采用所述第二训练样本集,对所述指窝区域分割神经网络模型进行训练,获取指窝区域分割神经网络模型。
一种掌纹特征提取系统,包括:
指窝区域检测神经网络模型获取模块,用于获取指窝区域检测神经网络模型;所述指窝区域检测神经网络模型为以手部图像为输入,以手指之间指窝图像为输出的神经网络模型;
手部图像获取模块,用于获取手部图像;
指窝图像确定模块,用于利用所述指窝区域检测神经网络模型,根据所述手部图像,得到指窝图像;
指窝区域分割神经网络模型获取模块,用于获取指窝区域分割神经网络模型;所述指窝区域分割神经网络模型为以指窝图像为输入,以指窝区域分割图像为输出的神经网络模型;
指窝区域分割图像确定模块,用于利用所述指窝区域分割神经网络模型,根据所述指窝图像,得到指窝区域分割图像;
掌纹感兴趣区域确定模块,用于将所述指窝区域分割图像进行边缘提取得到指窝边缘分割图像,并根据所述指窝边缘分割图像,采用指间根点定位算法,确定得到掌纹感兴趣区域;
掌纹特征提取模块,用于提取所述掌纹感兴趣区域中的掌纹特征。
可选的,所述掌纹感兴趣区域确定模块包括:
判断单元,用于判断所述指窝边缘分割图像的两侧边缘是否能够拟合为两条直线;若能,则采用指间根点定位算法,根据所述指窝边缘分割图像,检测到指间根点作为关键点,定位得到掌纹感兴趣区域;反之,则采用二次肤色自适应分割算法得到所述指窝区域分割图像,再对指窝区域分割图像进行边缘检测,从而实现指窝边缘分割图像的更新,并采用指间根点定位算法,根据更新后的指窝边缘分割图像,检测到指间根点作为关键点,并进一步定位得到掌纹感兴趣区域。
可选的,所述系统还包括:
筛选模块,采用公式
Figure BDA0002391537180000051
从所述指窝图像中筛选得到食指与中指间的指窝图像以及无名指与小拇指间的指窝图像;
其中a、b表示配对的两个候选指窝图像,当Pa,b=1表示两个配对的候选指窝图像为所需指窝图像,当Pa,b=0表示两个候选指窝图像不是所需指窝图像,Wa和Wb分别表示两个候选指窝图像的宽度,Da,b表示两个候选指窝图像中心点之间的直线距离,DYa,b表示两个候选指窝图像中心点之间的竖直距离。
可选的,所述系统还包括:
手部样本图像获取模块,用于获取手部样本图像;
第一标定采样模块,用于选取所述手部样本图像中符合预设条件的图片进行标定采样,构成第一训练样本集;
第一训练模块,用于采用所述第一训练样本集,对所述指窝区域检测神经网络模型进行训练,获得指窝区域检测神经网络模型;
指窝样本图像获取模块,用于获取指窝样本图像;
第二标定采样模块,用于选取所述指窝样本图像中符合预设条件的图片进行标定采样,构成第二训练样本集;
第二训练模块,用于采用所述第二训练样本集,对所述指窝区域分割神经网络模型进行训练,获取指窝区域分割神经网络模型。
根据本发明提供的具体实施例,本发明公开了以下技术效果:本发明提供的掌纹图像预处理方法和系统,通过采用指窝区域检测神经网络模型和指窝区域分割神经网络模型,根据筛选准则,从候选指窝图像选出所需指窝图像,将操作限定在所需指窝图像内进行,快速获得所需指窝区域分割图像,然后,提取所需指窝边缘图像,并采用指间根点定位算法,检测到指间根点作为关键点,进一步定位得到掌纹感兴趣区域,进而能够对掌纹感兴趣区域的掌纹特征进行精确提取和识别,以在提高掌纹特征提取精确度的同时,提高掌纹图像预处理的效率。并且,本发明所提供的掌纹图像预处理方法和系统,在不使用任何辅助定位方法的情况下,能够自动定位掌纹感兴趣区域,进一步能够提高用户在掌纹认证过程中的舒适度以及掌纹认证的精确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例所提供的掌纹图像预处理方法的流程图;
图2a为本发明实施例所提供的使用凸包法的结果图;
图2b为本发明实施例所提供的指窝有效边界点示意图;
图2c为本发明实施例所提供的指间根点示意图;
图3为本发明实施例所提供的掌纹特征提取系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的目的是提供一种掌纹图像预处理方法和系统,能够在提高掌纹特征提取精确度的同时,提高掌纹提取效率。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明实施例所提供的掌纹图像预处理方法的流程图,如图1所示,一种掌纹图像预处理方法,包括:
S100、获取指窝区域检测神经网络模型;所述指窝区域检测神经网络模型为以手部图像为输入,以手指之间指窝图像为输出的神经网络模型;
S101、获取手部图像;
S102、利用所述指窝区域检测神经网络模型,根据所述手部图像,得到指窝图像;
S103、获取指窝区域分割神经网络模型;所述指窝区域分割神经网络模型为以指窝图像为输入,以指窝区域分割图像为输出的神经网络模型;
S104、利用所述指窝区域分割神经网络模型,根据所述指窝图像,得到指窝区域分割图像;
S105、将所述指窝区域分割图像进行边缘提取得到指窝边缘分割图像,并根据所述指窝边缘分割图像,采用指间根点定位算法,确定得到掌纹感兴趣区域;
S106、提取所述掌纹感兴趣区域中的掌纹特征。
在S102中利用所述指窝区域检测神经网络模型,根据所述手部图像,得到指窝图像,具体包括:
将采集的手部图像作为输入图片输入所述指窝区域检测神经网络模型中,手部图像经过主干网络VGG16提取特征后生成整个手部的特征图。
将该特征图送入区域生成网络(RPN,Region Proposal Network)中,RPN网络把特征图分割成多个小区域,对其进行裁剪过滤后通过Softmax二分类函数判断这些小区域属于前景或者后景。另一分支边框回归修正小区域的回归框,形成较精确的建议区域(proposal),获取建议区域中候选指窝区域的大致坐标。
将特征图输入ROI池化(Pooling)层,得到固定大小的proposal特征图。
将ROI Pooling层形成的固定大小的proposal特征图进行全连接操作,利用Softmax进行分类,同时利用L1损失函数完成边框回归操作,获得指窝区域的精准位置坐标。
根据精准位置坐标裁剪出所有的候选指窝区域,得到候选指窝图像。其中,所得到的候选指窝图像包括:五指之间的指窝图像和一些误检图像。
为了提高检测效率,在本发明所提供的技术方案中,选用食指与中指间的指窝图像以及无名指与小拇指间的指窝图像作为所需指窝图像,来确定得到关键点和定位掌纹感兴趣区域。
而在实际处理过程中,一般可以检测到除拇指外的其他四指之间的三个指窝图像。但由于特征相似、特征不明显等情况,检测网络输出的指窝图像也存在少于三个或多于三个等情况。
所有可能的检测结果为:
少于2个检测结果时,没有同时检测出两个所需指窝图像,此时,需要调整手部姿势,自然张开五指,重新采集手部图像。
当检测结果候选指窝图像个数等于2个时,需要判断是否为两个所需指窝图像。当检测结果候选指窝图像个数大于2个时,需要筛选出两个所需指窝图像。
当检测结果指窝区域个数大于等于2个时,采用公式
Figure BDA0002391537180000081
从所述指窝图像中筛选得到食指与中指间的指窝图像以及无名指与小拇指间的指窝图像;
其中a、b表示配对的两个候选指窝图像,当Pa,b=1表示两个配对的候选指窝图像为所需指窝图像,当Pa,b=0表示两个候选指窝图像不是所需指窝图像,Wa和Wb分别表示两个候选指窝图像的宽度,Da,b表示两个候选指窝图像中心点之间的直线距离,DYa,b表示两个候选指窝图像中心点之间的竖直距离。
在筛选的过程中,当输出区域个数为2个或大于2个时,对所有候选指窝区域,每两个分为一组配对,如果这一组配对的两个候选指窝区域满足上述公式,那么这两个就是所需指窝区域。应该是待判断的两个候选区域中心点的直线距离需要大于两个区域宽总和的1.2倍,且需同时满足两个指窝中心点竖直方向的距离小于两个区域宽的总和。
然后将筛选得到的所需指窝图像,输入至训练好的指窝区域检测神经网络模型中,获得所需指窝区域分割图像。该操作过程具体包括:
对所需指窝图像进行第一次卷积、池化操作后,原图尺度缩小为原图像的1/2。尺度表示是一维的,这里这样说明是为了避免歧义,面积缩小为了1/4。
之后对缩小的图像进行第二次卷积、池化操作后图像尺度缩小为原图像的1/4。
接着进行第三次卷积、池化操作,此时图像尺度缩小为原图像的1/8,保留第三次池化后的特征图。
接着进行第四次卷积、池化操作后图像尺度缩小为原图像的1/16,保留第四次池化后的特征图;再进行第五次卷积、池化操作,图像尺度缩小为1/32,保留第五次池化后的特征图;之后经过原卷积神经网络全连接层变成的卷积层6和卷积层7,此时图像的尺度是原指窝图像尺度的1/32。
结合1/32、1/16、1/8尺度的特征图,采用了多级融合的方式进行上采样,以弥补图像精度的损失,具体包括:
对1/32尺度的特征图进行2倍的上采样,并与1/16尺度的特征图进行融合。
对刚融合的特征图进行2倍的上采样后再与1/8尺度的特征图进行融合。
对第二次融合的特征图进行8倍上采样,得到与原图相同尺度的所需指窝区域分割结果图像。
而在S105中提取指窝边缘图像,并采用指间根点定位算法,检测到指间根点作为关键点,进一步定位得到掌纹感兴趣区域,包括:
判断所述所需指窝边缘分割图像的两侧边缘是否能够拟合为两条直线。若能,则采用指间根点定位算法,根据所述所需指窝边缘分割图像,确定得到掌纹感兴趣区域;反之,则采用二次肤色自适应分割算法对所述所需指窝区域分割图像进行更新,并对更新的所需指窝区域分割图像进行边缘提取,以更新得到所需指窝边缘分割图像,再采用指间根点定位算法,根据更新后的所需指窝边缘分割图像,定位得到掌纹感兴趣区域。
其中,为了增加掌纹图像预处理方法的鲁棒性,在指窝区域分割网络失效时,可以使用二次肤色自适应算法来进行二次分割,以对所述所需指窝区域分割图像进行更新。该操作过程具体包括:
将所需指窝图像转换至YCbCr色彩空间中。肤色的聚类特性比较好,Cb和Cr分量近似呈二维高斯分布,因此可以通过二维高斯模型拟合肤色的概率分布。
建立第一次自适应高斯肤色模型。利用先验知识选取指窝图像下方1/4面积区域的肤色样本,建立适用于本张图像的高斯肤色模型。
根据肤色似然度公式计算所有像素点的肤色概率,得到概率似然图,最后设定阈值并得到二值图,即第一次指窝分割结果图。
由于指窝区域图像各个区域的肤色存在一定差异,且第一次建立肤色模型只利用了底部部分肤色区域,该区域样本多样性较低,构造的肤色模型鲁棒性较差,导致得到的肤色模型分割并不理想。所以,利用第一次指窝分割结果图中得到的肤色区域作为肤色样本,重复第一次建立肤色模型方法,构建第二次肤色模型,得到最终指窝分割结果图像。
而根据肤色似然度公式计算所有像素点的肤色概率,得到概率似然图时,所采用的肤色似然度公式为:
P(cb,cr)=exp[-0.5(x-m)TC-1(x-m)]
其中,m为均值向量,
Figure BDA0002391537180000101
m=(cbm,crm),cbi、cri分别表示训练样本中第i个像素点的cb、cr分量,cbm、crm分别为cb、cr两个分量的均值,L为训练样本中像素点的个数,C为肤色模型中的协方差矩阵,C=E(x-m)(x-m)T,x=(cb,cr)T
进一步,在S105中,是对所需指窝区域分割提取指窝边缘,并输入指间根点定位算法中,采用指间根点定位算法,检测到指间根点作为关键点,进一步定位得到掌纹感兴趣区域。
其中,获得两个所需指窝区域的指间根点的具体过程为:
对所需指窝区域分割图像上方的U型区域使用凸包法,得到一个完整的U型指窝区域轮廓。如图2(a)所示,设置指窝分割图片上半部分1/6和1/3高度范围,当此范围内单侧指窝边缘点有效像素个数大于5时,根据图2(b)所示有效指窝边界点,拟合形成两条直线,如图2(c)所示,取两条直线的角平分线与指窝边缘的交点作为所求的指间根点。
对所述掌纹感兴趣区域内的掌纹特征进行提取时,可以使用空间Gabor滤波器来提取掌纹感兴趣区域的掌纹纹理特征信息。
而为了进一步提高掌纹提取的准确性,上述掌纹提取方法在所述S100之前还包括:
获取手部样本图像。
选取所述手部样本图像中符合预设条件的图片进行标定采样,构成第一训练样本集。
采用所述第一训练样本集,对所述指窝区域检测神经网络模型进行训练,获得指窝区域检测神经网络模型。
在S103之前还包括:
获取指窝样本图像。
选取所述指窝样本图像中符合预设条件的图片进行标定采样,构成第二训练样本集。
采用所述第二训练样本集,对所述指窝边缘分割神经网络模型进行训练,获取指窝边缘分割神经网络模型。
此外,对应于本发明所提供的掌纹图像预处理方法,还对应提供了一种掌纹图像预处理系统,如图3所示,该系统包括:指窝区域检测神经网络模型获取模块1、手部图像获取模块2、指窝图像确定模块3、指窝区域分割神经网络模型获取模块4、指窝区域分割图像确定模块5、掌纹感兴趣区域确定模块6和掌纹特征提取模块7。
其中,指窝区域检测神经网络模型获取模块1用于获取指窝区域检测神经网络模型;所述指窝区域检测神经网络模型为以手部图像为输入,以手指之间指窝图像为输出的神经网络模型。
手部图像获取模块2用于获取手部图像。
指窝图像确定模块3用于利用所述指窝区域检测神经网络模型,根据所述手部图像,得到指窝图像。
指窝区域分割神经网络模型获取模块4用于获取指窝区域分割神经网络模型;所述指窝区域分割神经网络模型为以指窝图像为输入,以指窝区域分割图像为输出的神经网络模型。
指窝区域分割图像确定模块5用于利用所述指窝区域分割神经网络模型,根据所述指窝图像,得到指窝区域分割图像。
掌纹感兴趣区域确定模块6用于将所述指窝区域分割图像进行边缘提取得到指窝边缘分割图像,并根据所述指窝边缘分割图像,采用指间根点定位算法,确定得到掌纹感兴趣区域。
掌纹特征提取模块7用于提取所述掌纹感兴趣区域中的掌纹特征。
所述掌纹感兴趣区域确定模块6包括:判断单元。
其中,判断单元用于判断所述指窝边缘分割图像的两侧边缘是否能够拟合为两条直线;若能,则采用指间根点定位算法,根据所述指窝边缘分割图像,检测到指间根点作为关键点,定位得到掌纹感兴趣区域;反之,则采用二次肤色自适应分割算法得到所述指窝区域分割图像,再对指窝区域分割图像进行边缘检测,从而实现指窝边缘分割图像的更新,并采用指间根点定位算法,根据更新后的指窝边缘分割图像,检测到指间根点作为关键点,并进一步定位得到掌纹感兴趣区域。
而为了进一步提高提取效率该系统还可以包括:筛选模块。
筛选模块采用公式
Figure BDA0002391537180000131
从所述指窝图像中筛选得到食指与中指间的指窝图像以及无名指与小拇指间的指窝图像;
其中a、b表示配对的两个候选指窝图像,当Pa,b=1表示两个配对的候选指窝图像为所需指窝图像,当Pa,b=0表示两个候选指窝图像不是所需指窝图像,Wa和Wb分别表示两个候选指窝图像的宽度,Da,b表示两个候选指窝图像中心点之间的直线距离,DYa,b表示两个候选指窝图像中心点之间的竖直距离。
为了提高提取的精确度,该系统进一步还可以包括:手部样本图像获取模块、第一标定采样模块、第一训练模块、指窝样本图像获取模块、第二标定采样模块和第二训练模块。
手部样本图像获取模块用于获取手部样本图像。
第一标定采样模块用于选取所述手部样本图像中符合预设条件的图片进行标定采样,构成第一训练样本集。
第一训练模块用于采用所述第一训练样本集,对所述指窝区域检测神经网络模型进行训练,获得指窝区域检测神经网络模型。
指窝样本图像获取模块用于获取指窝样本图像。
第二标定采样模块用于选取所述指窝样本图像中符合预设条件的图片进行标定采样,构成第二训练样本集。
第二训练模块用于采用所述第二训练样本集,对所述指窝区域分割神经网络模型进行训练,获取指窝区域分割神经网络模型。
相对于现有技术而言,本发明所提供的掌纹图像预处理方法和系统,还具有以下特点和有益效果:
1、本发明在掌纹采集阶段只需用户自然伸展张开五指,不再添加其他约束,从而提高了用户的舒适度和自由度。
2、本发明通过使用指窝区域检测网络来提取指窝图像,并进行了所需指窝图像的筛选准则,后续处理均限制在所需指窝图像内部进行,降低了复杂度并提高了实时性,使用了指窝区域分割神经网络模型准确分割出所需指窝区域,提高了复杂场景(复杂背景、差异光照等干扰下)感兴趣区域定位的正确率。
3、本发明使用了二次验证的二次肤色自适应算法,对指窝区域分割网络结果中区域分割不理想的图片进行二次处理,进一步提高了关键点和感兴趣区域定位的准确性。
4、本发明的标定采样模块提高了训练样本的准确性,通过设计判断准则,筛选出所需指窝区域,除去不符合掌纹认证要求的不合格样本和非所需指窝区域图像,降低了误注册率和预处理的错误率。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种掌纹图像预处理方法,其特征在于,包括:
获取指窝区域检测神经网络模型;所述指窝区域检测神经网络模型为以手部图像为输入,以手指之间指窝图像为输出的神经网络模型;
获取手部图像;
利用所述指窝区域检测神经网络模型,根据所述手部图像,得到指窝图像;
获取指窝区域分割神经网络模型;所述指窝区域分割神经网络模型为以指窝图像为输入,以指窝区域分割图像为输出的神经网络模型;
利用所述指窝区域分割神经网络模型,根据所述指窝图像,得到指窝区域分割图像;
将所述指窝区域分割图像进行边缘提取得到指窝边缘分割图像,并根据所述指窝边缘分割图像,采用指间根点定位算法,确定得到掌纹感兴趣区域;
提取所述掌纹感兴趣区域中的掌纹特征。
2.根据权利要求1所述的一种掌纹图像预处理方法,其特征在于,所述将所述指窝区域分割图像进行边缘提取得到指窝边缘分割图像,并根据所述指窝边缘分割图像,采用指间根点定位算法,确定得到掌纹感兴趣区域,包括:
判断所述指窝边缘分割图像的两侧边缘是否能够拟合为两条直线;若能,则采用指间根点定位算法,根据所述指窝边缘分割图像,检测到指间根点作为关键点,定位得到掌纹感兴趣区域;反之,则采用二次肤色自适应分割算法得到所述指窝区域分割图像,再对指窝区域分割图像进行边缘检测,从而实现指窝边缘分割图像的更新,并采用指间根点定位算法,根据更新后的指窝边缘分割图像,检测到指间根点作为关键点,并进一步定位得到掌纹感兴趣区域。
3.根据权利要求1所述的一种掌纹图像预处理方法,其特征在于,所述指窝图像包括:食指与中指间的指窝图像、无名指与小拇指间的指窝图像。
4.根据权利要求3所述的一种掌纹图像预处理方法,其特征在于,所述方法还包括:
采用公式
Figure FDA0002391537170000021
从所述指窝图像中筛选得到食指与中指间的指窝图像以及无名指与小拇指间的指窝图像;
其中a、b表示配对的两个候选指窝图像,当Pa,b=1表示两个配对的候选指窝图像为所需指窝图像,当Pa,b=0表示两个候选指窝图像不是所需指窝图像,Wa和Wb分别表示两个候选指窝图像的宽度,Da,b表示两个候选指窝图像中心点之间的直线距离,DYa,b表示两个候选指窝图像中心点之间的竖直距离。
5.根据权利要求1所述的一种掌纹图像预处理方法,其特征在于,所述获取指窝区域检测神经网络模型,之前还包括:
获取手部样本图像;
选取所述手部样本图像中符合预设条件的图片进行标定采样,构成第一训练样本集;
采用所述第一训练样本集,对所述指窝区域检测神经网络模型进行训练,获得指窝区域检测神经网络模型。
6.根据权利要求1所述的一种掌纹图像预处理方法,其特征在于,所述获取指窝区域分割神经网络模型,之前还包括:
获取指窝样本图像;
选取所述指窝样本图像中符合预设条件的图片进行标定采样,构成第二训练样本集;
采用所述第二训练样本集,对所述指窝区域分割神经网络模型进行训练,获取指窝区域分割神经网络模型。
7.一种掌纹特征提取系统,其特征在于,包括:
指窝区域检测神经网络模型获取模块,用于获取指窝区域检测神经网络模型;所述指窝区域检测神经网络模型为以手部图像为输入,以手指之间指窝图像为输出的神经网络模型;
手部图像获取模块,用于获取手部图像;
指窝图像确定模块,用于利用所述指窝区域检测神经网络模型,根据所述手部图像,得到指窝图像;
指窝区域分割神经网络模型获取模块,用于获取指窝区域分割神经网络模型;所述指窝区域分割神经网络模型为以指窝图像为输入,以指窝区域分割图像为输出的神经网络模型;
指窝区域分割图像确定模块,用于利用所述指窝区域分割神经网络模型,根据所述指窝图像,得到指窝区域分割图像;
掌纹感兴趣区域确定模块,用于将所述指窝区域分割图像进行边缘提取得到指窝边缘分割图像,并根据所述指窝边缘分割图像,采用指间根点定位算法,确定得到掌纹感兴趣区域;
掌纹特征提取模块,用于提取所述掌纹感兴趣区域中的掌纹特征。
8.根据权利要求7所述的一种掌纹特征提取系统,其特征在于,所述掌纹感兴趣区域确定模块包括:
判断单元,用于判断所述指窝边缘分割图像的两侧边缘是否能够拟合为两条直线;若能,则采用指间根点定位算法,根据所述指窝边缘分割图像,检测到指间根点作为关键点,定位得到掌纹感兴趣区域;反之,则采用二次肤色自适应分割算法得到所述指窝区域分割图像,再对指窝区域分割图像进行边缘检测,从而实现指窝边缘分割图像的更新,并采用指间根点定位算法,根据更新后的指窝边缘分割图像,检测到指间根点作为关键点,并进一步定位得到掌纹感兴趣区域。
9.根据权利要求7所述的一种掌纹特征提取系统,其特征在于,所述系统还包括:
筛选模块,用于采用公式
Figure FDA0002391537170000041
从所述指窝图像中筛选得到食指与中指间的指窝图像以及无名指与小拇指间的指窝图像;
其中a、b表示配对的两个候选指窝图像,当Pa,b=1表示两个配对的候选指窝图像为所需指窝图像,当Pa,b=0表示两个候选指窝图像不是所需指窝图像,Wa和Wb分别表示两个候选指窝图像的宽度,Da,b表示两个候选指窝图像中心点之间的直线距离,DYa,b表示两个候选指窝图像中心点之间的竖直距离。
10.根据权利要求1所述的一种掌纹特征提取方法,其特征在于,所述系统还包括:
手部样本图像获取模块,用于获取手部样本图像;
第一标定采样模块,用于选取所述手部样本图像中符合预设条件的图片进行标定采样,构成第一训练样本集;
第一训练模块,用于采用所述第一训练样本集,对所述指窝区域检测神经网络模型进行训练,获得指窝区域检测神经网络模型;
指窝样本图像获取模块,用于获取指窝样本图像;
第二标定采样模块,用于选取所述指窝样本图像中符合预设条件的图片进行标定采样,构成第二训练样本集;
第二训练模块,用于采用所述第二训练样本集,对所述指窝区域分割神经网络模型进行训练,获取指窝区域分割神经网络模型。
CN202010116097.8A 2020-02-25 2020-02-25 一种掌纹图像预处理方法和系统 Active CN111339932B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010116097.8A CN111339932B (zh) 2020-02-25 2020-02-25 一种掌纹图像预处理方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010116097.8A CN111339932B (zh) 2020-02-25 2020-02-25 一种掌纹图像预处理方法和系统

Publications (2)

Publication Number Publication Date
CN111339932A true CN111339932A (zh) 2020-06-26
CN111339932B CN111339932B (zh) 2022-10-14

Family

ID=71183632

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010116097.8A Active CN111339932B (zh) 2020-02-25 2020-02-25 一种掌纹图像预处理方法和系统

Country Status (1)

Country Link
CN (1) CN111339932B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112036261A (zh) * 2020-08-11 2020-12-04 海尔优家智能科技(北京)有限公司 手势识别方法、装置、存储介质、电子装置
CN112200183A (zh) * 2020-09-30 2021-01-08 北京字节跳动网络技术有限公司 图像处理的方法、装置、设备和计算机可读介质
CN112734840A (zh) * 2020-12-31 2021-04-30 广东电网有限责任公司中山供电局 一种输电线安全距离测量方法

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102368292A (zh) * 2011-09-07 2012-03-07 常州蓝城信息科技有限公司 老龄用户多生物特征提取方法
CN103268483A (zh) * 2013-05-31 2013-08-28 沈阳工业大学 开放式环境非接触采集下的掌纹识别方法
CN103955674A (zh) * 2014-04-30 2014-07-30 广东瑞德智能科技股份有限公司 掌纹图像采集装置及掌纹图像定位与分割方法
CN104182724A (zh) * 2013-05-24 2014-12-03 汉王科技股份有限公司 一种掌纹关键点定位方法和装置
CN104866804A (zh) * 2014-02-20 2015-08-26 阿里巴巴集团控股有限公司 一种掌纹信息识别的方法和设备
US9361507B1 (en) * 2015-02-06 2016-06-07 Hoyos Labs Ip Ltd. Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices
CN105701513A (zh) * 2016-01-14 2016-06-22 深圳市未来媒体技术研究院 快速提取掌纹感兴趣区域的方法
US20160232401A1 (en) * 2015-02-06 2016-08-11 Hoyos Labs Ip Ltd. Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices
CN105938549A (zh) * 2016-06-08 2016-09-14 大连民族大学 掌纹识别中的掌纹roi分割方法
CN106845388A (zh) * 2017-01-18 2017-06-13 北京交通大学 基于复杂场景的移动终端掌纹感兴趣区域的提取方法
CN107229928A (zh) * 2017-08-04 2017-10-03 上海市数字证书认证中心有限公司 一种辅助定位的移动终端掌纹采集方法及系统
CN107609499A (zh) * 2017-09-04 2018-01-19 南京航空航天大学 一种复杂环境下非接触式掌纹感兴趣区提取方法
CN107657239A (zh) * 2017-09-30 2018-02-02 清华大学深圳研究生院 掌纹图像性别分类方法及装置、计算机装置及可读存储介质
US20180165508A1 (en) * 2016-12-08 2018-06-14 Veridium Ip Limited Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices
CN108427942A (zh) * 2018-04-22 2018-08-21 广州麦仑信息科技有限公司 一种基于深度学习的手掌检测与关键点定位方法
CN108537203A (zh) * 2018-04-22 2018-09-14 广州麦仑信息科技有限公司 一种基于卷积神经网络的手掌关键点定位方法
CN109784241A (zh) * 2018-12-29 2019-05-21 西安交通大学 一种稳定的掌纹图像特征富集区域提取方法
CN110163062A (zh) * 2018-11-20 2019-08-23 腾讯科技(深圳)有限公司 掌纹主线提取方法、装置、计算机设备及存储介质
CN110287772A (zh) * 2019-05-10 2019-09-27 平安科技(深圳)有限公司 平面手掌掌心区域提取方法及装置
CN110728232A (zh) * 2019-10-10 2020-01-24 清华大学深圳国际研究生院 一种手部感兴趣区域的获取方法及手纹识别方法

Patent Citations (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102368292A (zh) * 2011-09-07 2012-03-07 常州蓝城信息科技有限公司 老龄用户多生物特征提取方法
CN104182724A (zh) * 2013-05-24 2014-12-03 汉王科技股份有限公司 一种掌纹关键点定位方法和装置
CN103268483A (zh) * 2013-05-31 2013-08-28 沈阳工业大学 开放式环境非接触采集下的掌纹识别方法
CN104866804A (zh) * 2014-02-20 2015-08-26 阿里巴巴集团控股有限公司 一种掌纹信息识别的方法和设备
CN103955674A (zh) * 2014-04-30 2014-07-30 广东瑞德智能科技股份有限公司 掌纹图像采集装置及掌纹图像定位与分割方法
US20160321496A1 (en) * 2015-02-06 2016-11-03 Hoyos Labs Ip Ltd. Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices
US9361507B1 (en) * 2015-02-06 2016-06-07 Hoyos Labs Ip Ltd. Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices
US20160232401A1 (en) * 2015-02-06 2016-08-11 Hoyos Labs Ip Ltd. Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices
US20180018501A1 (en) * 2015-02-06 2018-01-18 Veridium Ip Limited Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices
CN105701513A (zh) * 2016-01-14 2016-06-22 深圳市未来媒体技术研究院 快速提取掌纹感兴趣区域的方法
CN109376708A (zh) * 2016-06-08 2019-02-22 大连民族大学 提取roi的方法
CN105938549A (zh) * 2016-06-08 2016-09-14 大连民族大学 掌纹识别中的掌纹roi分割方法
CN109460746A (zh) * 2016-06-08 2019-03-12 大连民族大学 掌纹roi的分隔方法
US20180165508A1 (en) * 2016-12-08 2018-06-14 Veridium Ip Limited Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices
CN106845388A (zh) * 2017-01-18 2017-06-13 北京交通大学 基于复杂场景的移动终端掌纹感兴趣区域的提取方法
CN107229928A (zh) * 2017-08-04 2017-10-03 上海市数字证书认证中心有限公司 一种辅助定位的移动终端掌纹采集方法及系统
CN107609499A (zh) * 2017-09-04 2018-01-19 南京航空航天大学 一种复杂环境下非接触式掌纹感兴趣区提取方法
CN107657239A (zh) * 2017-09-30 2018-02-02 清华大学深圳研究生院 掌纹图像性别分类方法及装置、计算机装置及可读存储介质
CN108537203A (zh) * 2018-04-22 2018-09-14 广州麦仑信息科技有限公司 一种基于卷积神经网络的手掌关键点定位方法
CN108427942A (zh) * 2018-04-22 2018-08-21 广州麦仑信息科技有限公司 一种基于深度学习的手掌检测与关键点定位方法
CN110163062A (zh) * 2018-11-20 2019-08-23 腾讯科技(深圳)有限公司 掌纹主线提取方法、装置、计算机设备及存储介质
CN109784241A (zh) * 2018-12-29 2019-05-21 西安交通大学 一种稳定的掌纹图像特征富集区域提取方法
CN110287772A (zh) * 2019-05-10 2019-09-27 平安科技(深圳)有限公司 平面手掌掌心区域提取方法及装置
CN110728232A (zh) * 2019-10-10 2020-01-24 清华大学深圳国际研究生院 一种手部感兴趣区域的获取方法及手纹识别方法

Non-Patent Citations (9)

* Cited by examiner, † Cited by third party
Title
FUMENG GAO 等: ""Palmprint recognition system with double-assistant-point on iOS mobile devices"", 《29TH BRIT. MACH. VIS. CONF.(BMVC)》 *
ZIBO ZHOU 等: ""Key Point Localization Based on Intersecting Circle for Palmprint Preprocessing in Public Security"", 《JOURNAL OF DEFENSE ACQUISITION AND TECHNOLOGY》 *
刘金浩等: "一种基于移动平台的掌纹ROI定位算法", 《电子设计工程》 *
卢星如: "BP神经网络在掌纹图像识别中的运用", 《科技经济导刊》 *
尚丽等: "一种新的掌纹ROI图像定位方法", 《激光与红外》 *
桑海峰等: "开放式环境非接触低分辨率采集下的掌纹识别", 《仪器仪表学报》 *
陈智等: "基于ICA和BP神经网络相结合的掌纹识别", 《北京航空航天大学学报》 *
陈琪等: "基于指根边缘夹角平分线拟合的掌纹定位方法", 《微电子学与计算机》 *
高亚男等: "基于移动摄像头的掌纹识别研究", 《北京信息科技大学学报(自然科学版)》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112036261A (zh) * 2020-08-11 2020-12-04 海尔优家智能科技(北京)有限公司 手势识别方法、装置、存储介质、电子装置
CN112200183A (zh) * 2020-09-30 2021-01-08 北京字节跳动网络技术有限公司 图像处理的方法、装置、设备和计算机可读介质
CN112734840A (zh) * 2020-12-31 2021-04-30 广东电网有限责任公司中山供电局 一种输电线安全距离测量方法

Also Published As

Publication number Publication date
CN111339932B (zh) 2022-10-14

Similar Documents

Publication Publication Date Title
CN111325203B (zh) 一种基于图像校正的美式车牌识别方法及系统
CN110443143B (zh) 多分支卷积神经网络融合的遥感图像场景分类方法
CN110348319B (zh) 一种基于人脸深度信息和边缘图像融合的人脸防伪方法
Prabhakar et al. Learning fingerprint minutiae location and type
CN106599854B (zh) 基于多特征融合的人脸表情自动识别方法
CN111339932B (zh) 一种掌纹图像预处理方法和系统
CN104951940B (zh) 一种基于掌纹识别的移动支付验证方法
CN107103317A (zh) 基于图像融合和盲反卷积的模糊车牌图像识别算法
CN106096538A (zh) 基于定序神经网络模型的人脸识别方法及装置
CN106529532A (zh) 一种基于积分特征通道与灰度投影的车牌识别系统
CN104809481A (zh) 一种基于自适应色彩聚类的自然场景文本检测的方法
CN110458158B (zh) 一种针对盲人辅助阅读的文本检测与识别方法
CN111274915B (zh) 一种指静脉图像的深度局部聚合描述子提取方法及系统
CN104504383B (zh) 一种基于肤色和Adaboost算法的人脸检测方法
CN110543906B (zh) 基于Mask R-CNN模型的肤质自动识别方法
CN110020692A (zh) 一种基于印刷体模板的手写体分离与定位方法
CN112906550B (zh) 一种基于分水岭变换的静态手势识别方法
CN104573685A (zh) 一种基于线性结构提取的自然场景文本检测方法
CN110032932B (zh) 一种基于视频处理和决策树设定阈值的人体姿态识别方法
CN109635726B (zh) 一种基于对称式深度网络结合多尺度池化的滑坡识别方法
CN106372624A (zh) 人脸识别方法及系统
CN108564040A (zh) 一种基于深度卷积特征的指纹活性检测方法
CN115661872A (zh) 一种自然场景下鲁棒的手掌感兴趣区域定位方法
CN114387592B (zh) 一种复杂背景下字符定位和识别方法
CN111950556A (zh) 一种基于深度学习的号牌印刷质量检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant