CN113313627B - 一种指纹图像重构方法、指纹图像特征提取方法及装置 - Google Patents
一种指纹图像重构方法、指纹图像特征提取方法及装置 Download PDFInfo
- Publication number
- CN113313627B CN113313627B CN202110636041.XA CN202110636041A CN113313627B CN 113313627 B CN113313627 B CN 113313627B CN 202110636041 A CN202110636041 A CN 202110636041A CN 113313627 B CN113313627 B CN 113313627B
- Authority
- CN
- China
- Prior art keywords
- fingerprint image
- minutiae
- reconstruction
- reconstructed
- fingerprint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 96
- 238000000605 extraction Methods 0.000 title claims abstract description 68
- 238000012545 processing Methods 0.000 claims abstract description 60
- 238000012937 correction Methods 0.000 claims abstract description 38
- 238000001914 filtration Methods 0.000 claims abstract description 27
- 238000010586 diagram Methods 0.000 claims description 38
- 230000008569 process Effects 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000005457 optimization Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 4
- 230000006835 compression Effects 0.000 description 14
- 238000007906 compression Methods 0.000 description 14
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000012549 training Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000035508 accumulation Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000007670 refining Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000011840 criminal investigation Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005669 field effect Effects 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
- G06T3/047—Fisheye or wide-angle transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Collating Specific Patterns (AREA)
Abstract
本发明公开了一种指纹图像重构方法、指纹图像特征提取方法及装置,包括:获取粗重构特征和细重构特征,细重构特征包括纹线频率特征、奇异点特征和细节点特征;基于粗重构特征,进行粗重构处理,得到粗重构指纹图像;根据奇异点特征和细节点特征,进行方向场重构,得到重构方向场;基于重构方向场和纹线频率特征,对粗重构指纹图像进行滤波处理,得到滤波指纹图像;根据细节点特征,对滤波指纹图像进行细节修正处理,得到细重构指纹图像;对细重构指纹图像进行灰度重建,得到重构指纹图像。根据本发明的技术方案,通过粗重构特征和细重构特征进行分步建模,可以实现基于上述特征能够同时满足指纹识别任务和指纹图像重构任务的需要。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种指纹图像重构方法、指纹图像特征提取方法及装置。
背景技术
生物特征被广泛用于解决身份认证的问题。常见的生物特征包括:指纹、掌纹、人脸、虹膜、DNA、签名、步态等。相比于其他生物特征,指纹在普遍性、唯一性、恒久性和可采集性方面有很高的性能优势。因此,指纹被广泛的应用于身份认证、安全检查、刑事侦查、法庭科学、金融支付等领域。
指纹特征是指纹图像信息的一种压缩表示,以一定大小的特征空间表达针对特定任务有效的指纹图像信息,并且不同的指纹任务对特征空间有不同的要求,指纹识别任务是计算特征空间的相似性从而判别两幅指纹图像是否为同一枚指纹,所以该任务要求特征空间具有稳定性和可区分性。指纹重构任务的目标是从指纹特征空间重构出原始指纹图像,该任务要求特征空间的信息完备性。目前在实际应用中,用于指纹识别任务的识别特征和用于指纹图像重构任务的重构特征是分别存储并且互不相关的。识别特征一般可以控制在1000字节以下。较小的特征空间便于存储和传输,但无法完成指纹图像重构任务,如需恢复指纹图像则需要另外存储特征空间较大的重构特征。现有的指纹图像重构特征是指低倍压缩的指纹图像,在实际应用中以十倍左右的压缩倍率为主。不同的图像压缩算法有所差异,但过高的压缩倍数会导致重构图像的模糊和识别特征的错提、漏提以及类型错误,所以普遍采用十倍左右的压缩系数。以640*640尺寸的指纹图像为例,十倍压缩得到的重构特征空间大小在40KB左右,这导致重构特征空间过于庞大,只适合存储在远端数据服务器上,不利于本地存储和网络传输。对于存储容量有限的设备,如:二代身份证、银行卡等,只能存储识别特征而无法实现重构特征的本地存储。若要重构原始指纹图像则需要在线实时访问远端服务器,获取服务器存储的重构特征。这样不仅会带来服务器数据存储、查询以及网络传输的压力,而且无法实现离线指纹图像重构,一旦出现网络故障或服务器故障,将无法进行指纹图像重构任务。
发明内容
本发明的目的是提供一种指纹图像重构方法、指纹图像特征提取方法及装置,通过粗重构特征和细重构特征进行分步建模,可以实现指纹图像的重构任务,由于细重构特征中细节点特征可以满足指纹识别任务,从而实现粗重构特征和细重构特征能够同时满足指纹识别任务和指纹图像重构任务的需要;其次,由于仅需存储粗重构特征和细重构特征即可完成重构任务,且粗重构特征和细重构特征满足储存容量受限的应用场景,能够摆脱指纹图像重构任务对网络和远端指纹数据服务器的依赖,能够使得智能卡等小容量设备可以离线进行指纹识别和指纹图像重构;再者,通过分步重构的方式,既保证了重构后指纹图像细节点信息的准确性,也同时使得重构指纹图像近似真实。
为实现上述目的,本发明提供了如下方案:
一种指纹图像重构方法,所述方法包括:
获取粗重构特征和细重构特征,所述细重构特征包括纹线频率特征、奇异点特征和细节点特征;
基于所述粗重构特征,进行粗重构处理,得到粗重构指纹图像;
根据所述奇异点特征,进行方向场重构,得到重构方向场;或根据所述奇异点特征和所述细节点特征,进行方向场重构,得到重构方向场;
基于所述重构方向场和所述纹线频率特征,对所述粗重构指纹图像进行滤波处理,得到滤波指纹图像;
根据所述细节点特征,对所述滤波指纹图像进行细节修正处理,得到细重构指纹图像;
基于所述粗重构指纹图像,对所述细重构指纹图像进行灰度重建,得到重构指纹图像。
可选的,所述基于所述粗重构特征,进行粗重构处理,得到粗重构指纹图像,包括:
获取特征处理策略;
基于所述特征处理策略以及所述粗重构特征,进行粗重构处理,得到所述粗重构指纹图像。
可选的,所述根据所述奇异点特征和所述细节点特征,进行方向场重构,得到重构方向场,包括:
基于所述奇异点特征,确定指纹类型;
基于所述指纹类型和所述细节点特征,构建优化模型;
基于所述优化模型,得到方向场重构模型中的优化参数集合;
基于所述奇异点特征和所述优化参数集合,建立所述方向场重构模型;
基于所述方向场重构模型,得到重构方向场。
可选的,所述指纹类型包括弓型指纹、斗型指纹和箕型指纹,所述基于所述奇异点特征,确定指纹类型,包括:
在所述奇异点特征中不存在奇异点的情况下,确定所述指纹类型为弓型指纹;
在所述奇异点特征中存在奇异点的情况下,确定所述指纹类型为斗型指纹或箕型指纹。
可选的,所述基于所述重构方向场和所述纹线频率特征,对所述粗重构指纹图像进行滤波处理,得到滤波指纹图像,包括:
基于所述重构方向场和所述纹线频率特征,得到每个像素所用的二维Gabor滤波算子;
基于所述二维Gabor滤波算子,对所述粗重构指纹图像进行Gabor滤波,得到所述滤波指纹图像。
可选的,基于所述细节点特征,对所述滤波指纹图像进行细节修正处理,得到细重构指纹图像,包括:
对所述滤波指纹图像进行细节点特征提取,得到待比对细节点特征,所述待比对细节点特征包括第二细节点对应的第二位置和第二细节点类型;
基于所述第一位置和所述第一细节点类型、所述第二位置和所述第二细节点类型进行修正,确定所述滤波指纹图像中的待修正细节点的第三位置及所述待修正细节点对应的错误类型;
基于所述待修正细节点的第三位置和所述错误类型,对所述滤波指纹图像进行修正,得到所述细重构指纹图像。
可选的,所述基于所述第一位置和所述第一细节点类型、所述第二位置和所述第二细节点类型进行修正,确定所述滤波指纹图像中的待修正细节点的第三位置及所述待修正细节点对应的错误类型之后,还包括:
以所述滤波指纹图像的几何中心为原点,将所述滤波指纹图像旋转目标角度以使所述待修正细节点方向为垂直向上,并采用最近邻插值法填充由旋转所产生的空洞像素点;
所述基于所述待修正细节点的第三位置和所述错误类型,对所述滤波指纹图像进行修正,得到所述细重构指纹图像,包括:
基于所述待修正细节点的第三位置和所述错误类型,进行细节修正,得到目标图像;
将所述目标图像反向旋转所述目标角度以使所述目标图像还原至初始位置,并返回至所述以所述滤波指纹图像的几何中心为原点,将所述滤波指纹图像旋转目标角度以使所述待修正细节点方向为垂直向上,并采用最近邻插值法填充由旋转所产生的空洞像素点的步骤,直至所有待修正细节点修正完毕,对修复完毕的指纹图像进行3*3均值滤波,得到细重构指纹图像。
可选的,所述基于所述待修正细节点的第三位置和所述错误类型,对所述滤波指纹图像进行修正,包括:
在待修正细节点的类型为错提的情况下,在所述滤波指纹图像中以类型为错提型的待修正细节点的位置作为起点,沿着待修正细节点方向相对应的反方向取预设尺寸的方向矩形,将所述方向矩形内的所有像素赋值为0;
在待修正细节点的类型为漏提的情况下,在所述滤波指纹图像中以类型为漏提型的待修正细节点的位置作为起点,沿着待修正细节点方向和反方向分别取预设尺寸的方向矩形,将所述方向矩形内的所有像素赋值为255;
在待修正细节点的类型为类型错误的情况下,确定修正类型,所述修正类型包括原始端点变为分叉点和原始分叉点变为端点;
在修正类型为原始端点变为分叉点的情况下,在所述滤波指纹图像中以所述修正类型为原始端点变为分叉点的待修正细节点的位置作为起点,沿着待修正细节点反方向取预设尺寸的方向矩形,将所述方向矩形内所有像素赋值为255;
在修正类型为原始分叉点变为端点的情况下,在所述滤波指纹图像中以所述修正类型为原始分叉点变为端点的待修正细节点的位置作为起点,沿着待修正细节点反方向取预设尺寸的方向矩形,将所述方向矩形内所有像素赋值为0。
可选的,所述细节点特征用于与待识别指纹图像的细节点位置及方向进行比对,以实现指纹识别。
另一方面,本发明还提供了一种指纹图像特征提取方法,所述方法包括:
获取原始指纹图像和特征提取策略;
基于所述特征提取策略,对所述原始指纹图像进行基本特征提取处理,生成所述原始指纹图像的粗重构特征;
对所述原始指纹图像进行方向场计算,得到所述原始指纹图像的指纹方向场;
基于所述原始指纹图像和所述指纹方向场,得到所述原始指纹图像中每个像素对应的局部纹线频率;
对所述局部纹线频率进行均值处理,生成纹线频率特征;
基于所述原始指纹图像和所述指纹方向场,确定所述原始指纹图像的奇异点的位置和类型,并将所述奇异点的位置和类型作为奇异点特征;
基于所述原始指纹图像,得到指纹图像骨架图;
对所述指纹图像骨架图进行细节点特征提取,得到细节点特征,所述细节点特征包括第一细节点对应的第一位置、方向和第一细节点类型。
另一方面,本发明还提供了一种指纹图像重构装置,所述装置包括:
特征获取模块,用于获取粗重构特征和细重构特征,所述细重构特征包括纹线频率特征、奇异点特征和细节点特征;
粗重构指纹图像获取模块,用于基于所述粗重构特征,进行粗重构处理,得到粗重构指纹图像;
重构方向场获取模块,用于根据所述奇异点特征,进行方向场重构,得到重构方向场;或根据所述奇异点特征和所述细节点特征,进行方向场重构,得到重构方向场;
滤波指纹图像获取模块,用于基于所述重构方向场和所述纹线频率特征,对所述粗重构指纹图像进行滤波处理,得到滤波指纹图像;
细重构指纹图像获取模块,用于根据所述细节点特征,对所述滤波指纹图像进行细节修正处理,得到细重构指纹图像;
重构指纹图像获取模块,用于基于所述粗重构指纹图像,对所述细重构指纹图像进行灰度重建,得到重构指纹图像。
另一方面,本申请还提供了一种指纹图像特征提取装置,所述装置包括:
原始指纹图像及特征获取模块,用于获取原始指纹图像和特征提取策略;
粗重构特征生成模块,用于基于所述特征提取策略,对所述原始指纹图像进行基本特征提取处理,生成所述原始指纹图像的粗重构特征;
指纹方向场生成模块,用于对所述原始指纹图像进行方向场计算,得到所述原始指纹图像的指纹方向场;
局部纹线频率获取模块,用于基于所述原始指纹图像和所述指纹方向场,得到所述原始指纹图像中每个像素对应的局部纹线频率;
纹线频率特征生成模块,用于对所述局部纹线频率进行均值处理,生成纹线频率特征;
奇异点特征获取模块,用于基于所述原始指纹图像和所述指纹方向场,确定所述原始指纹图像的奇异点的位置和类型,并将所述奇异点的位置和类型作为奇异点特征;
骨架图获取模块,用于基于所述原始指纹图像,得到指纹图像骨架图;
细节点特征生成模块,用于对所述指纹图像骨架图进行细节点特征提取,得到细节点特征,所述细节点特征包括第一细节点对应的第一位置、方向和第一细节点类型。
根据本申请的另一方面,提供了一种电子设备,包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器被配置为执行上述指纹图像重构方法或执行上述指纹图像特征提取方法。
根据本申请的另一方面,提供了一种非易失性计算机可读存储介质,其上存储有计算机程序指令,其中,所述计算机程序指令被处理器执行时实现上述指纹图像重构方法或实现上述指纹图像特征提取方法。
本发明提供的一种指纹图像重构方法、装置、电子设备及存储介质,通过粗重构特征和细重构特征进行分步建模,可以实现指纹图像的重构任务,由于细重构特征中细节点特征可以满足指纹识别任务,从而实现粗重构特征和细重构特征能够同时满足指纹识别任务和指纹图像重构任务的需要;其次,由于仅需存储粗重构特征和细重构特征即可完成重构任务,且粗重构特征和细重构特征满足储存容量受限的应用场景,能够摆脱指纹图像重构任务对网络和远端指纹数据服务器的依赖,能够使得智能卡等小容量设备可以离线进行指纹识别和指纹图像重构;再者,通过分步重构的方式,既保证了重构后指纹图像细节点信息的准确性,也同时使得重构指纹图像近似真实。
附图说明
为了更清楚地说明本发明的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还能够根据这些附图获得其它附图。
图1为本发明实施例提供的一种指纹图像重构方法的流程图。
图2是本发明实施例提供的基于梯度法计算指纹图像方向场效果示意图。
图3(a)是本发明实施例提供的一种提取奇异点特征中奇异点类型为斗型的示意图。
图3(b)是本发明实施例提供的一种提取奇异点特征中奇异点类型为箕型的示意图。
图3(c)是本发明实施例提供的一种提取奇异点特征中奇异点类型为三角点的示意图。
图4是本发明实施例提供的指纹图像八个邻域标号顺序示意图。
图5(a)是本发明实施例提供的细节点为端点时的端点方向示意图。
图5(b)是本发明实施例提供的细节点为分叉点时的分叉点方向示意图。
图6为本发明实施例提供的一种根据奇异点特征和细节点特征,进行方向场重构,得到重构方向场的方法流程图。
图7为本发明实施例提供的一种基于奇异点特征,确定指纹类型的方法流程图。
图8为本发明实施例提供的一种基于重构方向场和纹线频率特征,对粗重构指纹图像进行滤波处理,得到滤波指纹图像的方法流程图。
图9(a)、(b)为本发明实施例提供的粗重构指纹图像。
图10(a)、(b)为本发明实施例提供的滤波指纹图像。
图11为本发明实施例提供的一种基于细节点特征,对滤波指纹图像进行细节修正处理,得到细重构指纹图像的方法流程图。
图12为本发明实施例提供的一种基于第一位置和第一细节点类型、第二位置和第二细节点类型进行修正,确定滤波指纹图像中的待修正细节点的第三位置及待修正细节点对应的错误类型之后的方法流程图。
图13为本发明实施例提供的一种基于待修正细节点的第三位置和错误类型,进行细节修正的方法流程图。
图14(a)、(b)为本发明实施例提供的细重构前后指纹图像对比示意图。
图15为本发明实施例提供的一种指纹图像特征提取方法的流程图。
图16为本发明实施例提供的一种指纹图像重构装置的结构框图。
图17(a)、(b)为本发明实施例提供的重构指纹图像与原始指纹图像对比示意图。
图18(a)、(b)为本发明实施例提供的另一重构指纹图像与原始指纹图像对比示意图。
图19为本发明实施例提供的一种指纹图像特征提取装置的结构框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
以下介绍本发明的指纹图像重构方法的实施例,图1是本发明实施例提供的一种指纹图像重构方法的流程图。本说明书提供了如实施例或流程图所述的方法操作步骤,但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的系统产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。如图1所示,本实施例提供了一种指纹图像重构方法,该方法包括:
S101.获取粗重构特征和细重构特征,细重构特征包括纹线频率特征、奇异点特征和细节点特征;
其中,粗重构特征可以用于恢复和重构原始指纹图像基本轮廓、基本纹线以及基本灰度分布,粗重构特征可以包括原始指纹图像的基本轮廓信息、基本纹线信息和基本灰度分布信息,粗重构特征是从原始指纹图像中提取出来的,具体的提取方法可以是高倍指纹图像压缩方法,也可以是训练自编码模型提取,在此不做限定。细重构特征可以用于对由粗重构特征恢复得到的粗重构指纹图像在细节上进行修正和重构,细重构特征可以包括原始指纹图像的纹线频率特征、奇异点特征和细节点特征,细重构特征也是从原始指纹图像中提取的。粗重构特征和细重构特征可以是预先存储于存储器中,步骤S101可以通过向存储器中获取得到。
S102.基于粗重构特征,进行粗重构处理,得到粗重构指纹图像;
其中,粗重构指纹图像可以是指具有原始指纹的基本轮廓、基本纹线以及基本灰度分布的图像。
在一种可能的实现方式中,步骤S102可以通过下述步骤实现,该S102可以包括:
S1021.获取特征处理策略;
S1022.基于特征处理策略以及粗重构特征,进行粗重构处理,得到粗重构指纹图像。
其中,特征处理策略可以用于表征粗重构特征的提取方法,特征处理策略可以包括高倍指纹图像压缩方法和训练自编码模型提取方法。根据粗重构特征提取方法的不同,粗重构过程需要采取相对应的重构方法,根据特征处理策略,进行粗重构指纹图像的重构。在实际应用中,采用高倍指纹图像压缩方法提取的原始指纹图像的粗重构特征,选择采用相应的解压缩算法得到粗重构指纹图像;如果是训练自编码模型提取的粗重构特征,则相应的粗重构过程为解码器解码过程。在本实施例中,由于粗重构特征提取的特征处理策略为高倍指纹图像压缩方法,故粗重构处理采用的方法可以是相应的JPEG2000一百倍解压缩算法粗重构指纹图像。记粗重构指纹图像为Ir,效果如图9(a)(b)所示。
S103.根据所述奇异点特征,进行方向场重构,得到重构方向场;或根据所述奇异点特征和所述细节点特征,进行方向场重构,得到重构方向场;
其中,重构方向场可以是重构的指纹图像的方向场,方向场是指纹图像的一种固有属性,反映了指纹图像场的中心、圆形纹线趋势场、斜角度直纹线趋势场、水平纹线趋势场及混合趋势场等。指纹的中心点和三角点是描述指纹的关键特征点,一般称为指纹的奇异点,奇异点特征可以是用于表征指纹图像的关键特征点的属性特征,奇异点特征可以包括奇异点的位置和奇异点对应的类型,奇异点的类型可以包括斗型中心、箕型中心和三角点。纹线频率特征可以用于表征指纹图像的纹线疏密程度。细节点特征可以是用于指纹识别的关键特征,细节点特征可以包括细节点的位置以及细节点对应的方向和类型,细节点的类型可以包括纹线端点和纹线分叉点。
具体地,对奇异点特征进行建模可以逼近原始指纹图像的方向场。在实际应用中,可以是根据奇异点特征进行方向场重构得到重构方向场,也可以是根据奇异点特征和细节点特征进行方向场重构得到重构方向场。
具体地,可以利用细节点特征与待识别的指纹图像的细节点的位置、类型和方向进行比对以实现指纹识别,本公开对此不作限定。
S104.基于重构方向场和纹线频率特征,对粗重构指纹图像进行滤波处理,得到滤波指纹图像;
其中,滤波指纹图像可以是经过滤波处理后所得到的纹线结构清晰的指纹图像。在实际应用中,通过利用奇异点特征建模得到的重构方向场以及纹线频率特征,可以构造出合适的方向滤波器,从而可以对从粗重构特征重构得到的粗重构指纹图像进行滤波增强。
S105.根据细节点特征,对滤波指纹图像进行细节修正处理,得到细重构指纹图像;
其中,细重构指纹图像为具有清晰的纹线结构但丢失了原始指纹图像的灰度信息的指纹图像,通过根据粗重构指纹图像对细重构指纹图像进行灰度重建,得到的重构指纹图像,能够在保证重构指纹图像准确定的前提下恢复出原始指纹图像的灰度信息。由于粗重构过程对图像细节信息的损失,滤波重构的指纹图像(即滤波指纹图像)可能发生细节点特征的错提、漏提和细节点类型的改变,对滤波指纹图像中发生上述错误的响应位置进行修正,得到细重构指纹图像。
S106.基于粗重构指纹图像,对细重构指纹图像进行灰度重建,得到重构指纹图像。
其中,重构指纹图像可以是重构出的包含有原始指纹图像的细节特征且近似真实的指纹图像。
在实际应用中,经过滤波重构的指纹图像丢失原始指纹图像的灰度信息,但使得纹线更加清晰,且更便于细重构过程。粗重构指纹图像虽然纹线结构比较模糊,但是保留原始指纹图像的基本灰度信息。为了使重构指纹图像能够尽可能的真实,还需要对细重构指纹图像进行灰度重建,具体过程可以是采用如下方式实现:
计算粗重构指纹图像Ir的灰度均值m0和标准差v0,并计算细重构指纹图像Im的灰度均值m和标准差v。将Im的灰度分布正则化为Ir的灰度分布,使得重构指纹图像在视觉上更接近真实指纹图像,具体有如下公式:
其中In即是得到的灰度重构(最终重构)指纹图像。图17(a)(b)、图18(a)、(b)是两对原始指纹图像和重构指纹图像的对比图。
本发明分别以640*640,512*512,256*360三种常用尺寸的指纹数据库为实验对象,经过统计计算得到三种数据库中原始指纹特征(含比对特征和重构特征)的平均大小分别41300.9、26618、9389.7字节,而根据本发明所提出的联合特征(即粗重构特征和细重构特征)平均大小分别为4538.9、3053.9、1235.9字节,比原始特征空间分别缩小9.1、8.7、7.6倍,极大的节省了特征空间,在满足指纹识别和指纹图像重构双重任务需要的同时,有利于实现小容量设备对指纹特征的本地存储,摆脱指纹图像重构任务对网络和远端指纹数据服务器的依赖,从而实现指纹图像重构任务的离线化。
通过粗重构特征和细重构特征进行分步建模,可以实现指纹图像的重构任务,由于细重构特征中细节点特征可以满足指纹识别任务,从而实现粗重构特征和细重构特征能够同时满足指纹识别任务和指纹图像重构任务的需要;其次,由于仅需存储粗重构特征和细重构特征即可完成重构任务,且粗重构特征和细重构特征满足储存容量受限的应用场景,能够摆脱指纹图像重构任务对网络和远端指纹数据服务器的依赖,能够使得智能卡等小容量设备可以离线进行指纹识别和指纹图像重构;再者,通过分步重构的方式,既保证了重构后指纹图像细节点信息的准确性,也同时使得重构指纹图像近似真实。
图6为本发明实施例提供的一种根据奇异点特征和细节点特征,进行方向场重构,得到重构方向场的方法流程图。在一种可能的实现方式中,所述根据奇异点特征和细节点特征,进行方向场重构,得到重构方向场,包括:
S501.基于奇异点特征,确定指纹类型;
其中,指纹类型包括弓型指纹、斗型指纹和箕型指纹,图7为本发明实施例提供的一种基于奇异点特征,确定指纹类型的方法流程图,上述S503步骤基于奇异点特征,确定指纹类型,可以通过下述步骤S601-S602实现:
S601.在奇异点特征中不存在奇异点的情况下,确定指纹类型为弓型指纹;
其中,原始指纹图像可能存在没有奇异点的情况,在原始指纹图像没有奇异点时,其对应的奇异点特征也将不存在奇异点,而原始指纹图像没有奇异点时即原始指纹图像为弓型指纹。
S602.在奇异点特征中存在奇异点的情况下,确定指纹类型为斗型指纹或箕型指纹。
其中,在原始指纹图像中存在奇异点时,即原始指纹图像可以为斗型指纹或箕型指纹。
S502.基于指纹类型和细节点特征,构建优化模型;
其中,优化模型可以用于求解得到方向场重构模型中的参数。在本实施例中,以最小化细节点位置方向场重构模型所得方向φ与细节点特征中细节点方向的平均误差为优化目标,构建优化模型具体有如下表示:
其中n表示细节点特征中细节点的个数,θi表示细节点特征中第i个细节点的方向,是方向场重构模型该细节点处的方向,P代表方向场重构模型中的优化参数集合。
具体地,根据奇异点数量ns的不同,可优化求解的参数集P有如下表示:
其中,us、vs为可优化的偏移量,s∈{l1,l2,d1,d2},ns≤2。
S502.基于优化模型,得到方向场重构模型中的优化参数集合;
在实际应用中,优化参数集合可以通过Nelder-Mead单纯形法求得最优。
S504.基于奇异点特征和优化参数集合,建立方向场重构模型;
其中,方向场重构模型可以用于求解得到重构指纹图像对应的重构方向场。
在实际应用中,可以根据奇异点的数量不同对方向场重构模型进行建模:
若原始指纹图像没有奇异点,则认为原始指纹为弓型指纹,则构建如下方向场重构模型:
上式中表示模型估计的(xi,yi)处方向。H、W表示图像的宽高,根据具体图像大小确定。karch为待估计的参数。
若原始指纹图像有奇异点,则以零极点模型为基础,构建复平面方向场重构模型,具体有如下表示:
上式中lj、dj和z分别是联合特征中第j个中心点坐标、三角点坐标和当前点坐标(x,y)的复数表示。一幅完整的自然指纹图像中心点与三角点的数量相同且最多由两对,以s表示其中任意一个奇异点,ns表示奇异点的对数,则s∈{l1,l2,d1,d2},ns≤2。arg(z)为z的辐角主值,gs(α)有如下定义:
其中是分段线性函数,根据s的类型和q的取值可查下表得到具体定义:
其中,us、vs为可优化的偏移量。
S505.基于方向场重构模型,得到重构方向场。
其中,在建立了方向场重构模型的基础上,可以通过方向场重构模型得到重构指纹图像各个像素所对应的重构方向场,并记为Iro。
图8为本发明实施例提供的一种基于重构方向场和纹线频率特征,对粗重构指纹图像进行滤波处理,得到滤波指纹图像的方法流程图。在一种可能的实现方式中,所述基于重构方向场和纹线频率特征,对粗重构指纹图像进行滤波处理,得到滤波指纹图像,包括:
S701.基于重构方向场和纹线频率特征,得到每个像素所用的二维Gabor滤波算子;
图像处理算子是对图像进行处理时所需要用到的算子,包括全局特征描述算子和局部特征描述算子。其中,Gabor(加博尔)滤波器是基于Gabor变换的原理和实际需要进行构建的,Gabor滤波器在图像处理中的特征提取、纹理分析和立体视差估计等方面有许多应用。在本实施例中,每个像素所用的二维Gabor滤波算子g(x,y:θ,f)为:
其中σx、σy取固定值4。θ是Gabor滤波器的方向,取值为重构方向场在(x,y)处的方向,f取纹线频率特征的频率特征值。xθ,yθ有如下定义:
S702.基于二维Gabor滤波算子,对粗重构指纹图像进行Gabor滤波,得到滤波指纹图像。
其中,滤波过程可以是:
Ie(x,y)=g(x,y:θ,f)*Ir(x,y)
其中*为卷积计算,g(x,y:θ,f)为(x,y)位置所用的二维Gabor滤波算子。在此实施方式中,滤波核大小设为29*29。其中,粗重构指纹图像如图9(a)、(b)所示,滤波指纹图像Ie如图10(a)、(b)所示,图9(a)、(b)和图10(a)、(b)分别是基于不同的原始指纹图像重构得到的。
指纹的细节点的位置和方向具有很强的稳定性,但对于粗重构指纹图像中纹线频率较高和背景相对复杂的区域,在滤波重构过程中容易导致细节点类型的改变。因此,以下将根据细节点特征对细节点类型被改变的细节点进行矫正。
图11为本发明实施例提供的一种基于细节点特征,对滤波指纹图像进行细节修正处理,得到细重构指纹图像的方法流程图。在一种可能的实现方式中,所述基于细节点特征,对滤波指纹图像进行细节修正处理,得到细重构指纹图像,包括:
S801.对所述滤波指纹图像进行细节点特征提取,得到待比对细节点特征,待比对细节点特征包括第二细节点对应的第二位置和第二细节点类型;
使用细节点特征提取方法对滤波指纹图像进行细节点特征提取,得到的待比对细节点特征可以包括类型正确的细节点和类型被改变的细节点,其中类型被改变的细节点即为待修正细节点。细节点特征提取方法可以是,基于滤波指纹图像得到滤波指纹图像的骨架图,然后对滤波指纹图像的骨架图进行细节点特征提取,具体的细节点特征提取方法可以参照步骤S1507-S1508中的细节点特征提取,也可以是采用其他的细节点特征提取方法,在此不做限定。
S802.基于第一位置和第一细节点类型、第二位置和第二细节点类型进行修正,确定滤波指纹图像中的待修正细节点的第三位置及待修正细节点对应的错误类型;
其中,待修正细节点的错误类型可以用于确定对该待修正细节点的具体修正方法,错误类型可以包括细节点错提、漏提和类型错误。
S803.基于待修正细节点的第三位置和错误类型,对滤波指纹图像进行修正,得到细重构指纹图像。
图12为本发明实施例提供的一种基于第一位置和第一细节点类型、第二位置和第二细节点类型进行修正,确定滤波指纹图像中的待修正细节点的第三位置及待修正细节点对应的错误类型之后的方法流程图。在一种可能的实现方式中,所述基于第一位置和第一细节点类型、第二位置和第二细节点类型进行修正,确定滤波指纹图像中的待修正细节点的第三位置及待修正细节点对应的错误类型之后,还包括:
S901.以滤波指纹图像的几何中心为原点,将滤波指纹图像旋转目标角度以使待修正细节点方向为垂直向上,并采用最近邻插值法填充由旋转所产生的空洞像素点;
其中,步骤S803基于待修正细节点的第三位置和错误类型,对滤波指纹图像进行修正,得到细重构指纹图像,包括:
S902.基于待修正细节点的第三位置和错误类型,进行细节修正,得到目标图像;
S903.将目标图像反向旋转目标角度以使目标图像还原至初始位置,并返回至以滤波指纹图像的几何中心为原点,将滤波指纹图像旋转目标角度以使待修正细节点方向为垂直向上,并采用最近邻插值法填充由旋转所产生的空洞像素点的步骤,直至所有待修正细节点修正完毕,对修复完毕的指纹图像进行3*3均值滤波,得到细重构指纹图像。
其中,对最终修复得到的指纹图像进行3*3均值滤波,以平滑上述旋转过程中最近邻插值所引入的噪声,即可得到最终的细重构指纹图像,记为Im。通过上述图像几何变换的方式,可以在细重构过程中引入指纹脊线轮廓的变化效果,以模拟自然采集的指纹图像脊线的形态。
图13为本发明实施例提供的一种基于待修正细节点的第三位置和错误类型,进行细节修正的方法流程图。在一种可能的实现方式中,所述基于待修正细节点的第三位置和错误类型,进行细节修正,包括:
S1001.在待修正细节点的类型为错提的情况下,在滤波指纹图像中以类型为错提型的待修正细节点的位置作为起点,沿着待修正细节点方向相对应的反方向取预设尺寸的方向矩形,将方向矩形内的所有像素赋值为0;
在实际应用中,发生细节点错提的情况,即原始指纹图像不存在的细节点,在重构指纹图像过程中发生错误提取的情况,这是由于原本连续的脊线在重构过程中被错误断开导致的,对此在滤波指纹图像中,从错误提取的细节点位置开始,沿待修正细节点反方向将5*11的方向矩形区域内所有像素赋值为0,即可修补错误断开的脊线。
S1002.在待修正细节点的类型为漏提的情况下,在滤波指纹图像中以类型为漏提型的待修正细节点的位置作为起点,沿着待修正细节点方向和反方向分别取预设尺寸的方向矩形,将方向矩形内的所有像素赋值为255;
在实际应用中,细节点漏提的情况,即原始指纹图像中存在细节点,在重构指纹图像中丢失的现象,这是由于原本断开的脊线在重构过程中被错误连接导致的,对此在滤波指纹图像中,以漏提的细节点位置为中心,沿着待修正细节点方向和反方向将5*11的方向矩形内所有像素赋值为255,即可断开错误连接的脊线。
S1003.在待修正细节点的类型为类型错误的情况下,确定修正类型,修正类型包括原始端点变为分叉点和原始分叉点变为端点;
S1004.在修正类型为原始端点变为分叉点的情况下,在滤波指纹图像中以修正类型为原始端点变为分叉点的待修正细节点的位置作为起点,沿着待修正细节点反方向取预设尺寸的方向矩形,将方向矩形内所有像素赋值为255;
S1005.在修正类型为原始分叉点变为端点的情况下,在滤波指纹图像中以修正类型为原始分叉点变为端点的待修正细节点的位置作为起点,沿着待修正细节点反方向取预设尺寸的方向矩形,将方向矩形内所有像素赋值为0。
在实际应用中,细节点类型发生改变的情况,可以分为原始端点变为分叉点的情况和原始分叉点变为端点的情况,在滤波指纹图像中以细节点位置为起始,沿着细节点反方向取5*11的方向矩形,前者将此矩形内所有像素赋值为255,后者将此矩形内所有像素赋值为0,即可修正细节点的类型。另外需要说明的是,在本实施例中,是以白色为背景色即像素值为0,在其他实施例中若背景色为黑色,则上述方法中像素赋值需要进行相应的调整。图14(a)、(b)为本发明实施例提供的细重构前后指纹图像对比示意图。另一方面,以下为本发明的指纹图像特征提取方法的实施例,图15是本发明实施例提供的一种指纹图像特征提取方法的流程图。本实施例提供了一种指纹图像特征提取方法,该方法包括:
S1501.获取原始指纹图像和特征提取策略;
其中,原始指纹图像可以是待重构出的真实的指纹图像,原始指纹图像可以是通过指纹采集设备采集得到的指纹图像。特征提取策略可以是预先存储于存储器的,特征提取策略可以从存储器中获取得到。
S1502.基于特征提取策略,对原始指纹图像进行基本特征提取处理,生成原始指纹图像的粗重构特征。
其中,特征处理策略可以包括高倍指纹图像压缩方法和训练自编码模型提取方法。在实际应用中,在综合考虑特征空间大小和特征完备性情况下,本实施例中可以采用JPEG2000(基于小波变换的图像压缩标准)的图像压缩算法,可以采用将图像压缩系数设置为100倍的方法生成粗重构特征。不同应用场景采集得到的指纹大小不同,以指纹图像常见的大小(640*640,512*512,256*360)为例,所提取的粗重构特征的平均大小分别为4041.9、2556.9、898.9字节,联合特征大小平均分别为4538.9、3053.9、1235.9字节,所提取的粗重构特征的大小不超过4KB。为方便表述,所提取的粗重构特征记为Fr。
S1503.对原始指纹图像进行方向场计算,得到原始指纹图像的指纹方向场;
其中,指纹方向场计算是纹线频率特征和奇异点特征提取的基础,方向场求取的方法可以是利用梯度场,方向角可以是以(x,y)为中心的与(x,y)处梯度相位角正交所获得的角度。具体的计算过程为:
首先使用水平和垂直方向的Sobel(索伯)算子对Ia做卷积运算分别得到指纹图像水平和垂直方向的梯度,其中,Sobel算子是图像处理中的算子之一,在在影像处理及计算机视觉领域中常被用来做边缘检测。设当前点坐标是(x,y),水平和垂直方向的Sobel算子为Sx,Sy。具体有如下定义:
以*表示卷积运算,指纹图像在(x,y)处水平梯度和垂直梯度/>计算过程有如下表示:
考虑到单点像素的梯度稳定性较差,本发明以(x,y)为中心取17*17局部邻域窗口,利用窗口内的梯度信息计算(x,y)处的方向θ(x,y)。具体有如下公式:
其中,θ(x,y)∈[0,π)。Gxy,Gxx,Gyy的有如下定义:
所得指纹图像的方向场如图2所示,将方向场绘制于原始指纹图像中,可以清晰比对方向场流向与指纹纹线流向基本吻合。
S1504.基于原始指纹图像和指纹方向场,得到原始指纹图像中每个像素对应的局部纹线频率;
其中,局部纹线频率可以是指纹图像中局部方向窗口内长边方向上灰度峰值的平均间隔。具体地局部纹线频率获取过程可以为:设当前点为(x,y),根据重构方向场得到的方向角度θ(x,y),在Ia的前景区内以(x,y)为中心取15*50的矩形方向窗口,矩形的长边与θ(x,y)垂直。将方向窗口内所有像素在θ(x,y)方向上做灰度值的累加,统计灰度累加和峰值出现的平均间隔作为局部纹线频率f。
S1505.对局部纹线频率进行均值处理,得到纹线频率特征。
在实际应用中,考虑到细重构特征的空间成本,本实施例将局部纹线频率f取平均值作为Ia整体的纹线频率特征Ff,并将Ff作为细重构特征的一部分,能够降低细重构特征的空间成本。
S1506.基于原始指纹图像和指纹方向场,确定原始指纹图像的奇异点的位置和类型,并将奇异点的位置和类型作为奇异点特征;
在本实施例中,可以采用庞加莱指数的原理确定原始指纹图像的奇异点的位置和类型,在其他实施例中,还可以采用其他能够有效获取奇异点的位置和类型的方法,在此不做限定。
上述采用庞加莱指数的原理确定原始指纹图像奇异点的位置和类型的具体方法为:如图3(a)(b)(c)所示,设当前点为(x,y),根据上述得到的重构方向场,以(x,y)为中心计算8个邻域位置的方向角度差累积之和。具体计算公式有如下表示:
其中dk代表第k个邻域点的方向角度。当PG,C(x,y)等于0°、360°、-180°、180°时分别代表(x,y)处可能是非奇异点、斗型(whorl)中心点、箕型(loop)中心点和三角点(delta),即:
将奇异点的类型和位置作为奇异点特征记为Fs,并作为细重构特征的组成部分。
S1507.基于原始指纹图像,得到指纹图像骨架图;
其中,指纹图像骨架图可以是指纹图像中脊线宽度为单像素宽的脊线图。在本实施例中,指纹图像骨架图可以是采用Hilditch细化算法(希尔迪奇细化算法)得到,在其他实施例中也可以采用其他方法得到指纹图像骨架图,在此不做限定。
具体地,指纹图像骨架图的获取方法为:
首先将Ia作二值化处理,目的是将指纹脊线标记为1,谷线和背景点标记为0。设当前点为(x,y),以(x,y)为中心取16*16的邻域窗口计算邻域窗口内的平均值作为(x,y)的分割阈值。若(x,y)灰度值小于阈值则标记为1,否则标记为0,所得二值化图像记为Ib。然后对二值化图Ib采用Hilditch细化算法做进一步细化处理,得到单像素宽的脊线图,即是骨架图It。Hilditch细化算法是图像处理领域的常用算法,这里不做展开叙述。
S1508.对指纹图像骨架图进行细节点特征提取,得到细节点特征,细节点特征包括第一细节点对应的第一位置、方向和第一细节点类型。
其中,可以采用邻域模板遍历的方式提取第一细节点的第一位置、第一细节点类型和方向,也可以是采用其他方式从骨架图中提取第一细节点,可以理解的是,第一细节点可以是一个,也可以是多个,在此不做限定。第一细节点类型可以包括纹线端点和纹线分叉点。
具体地,从指纹图像骨架图中进行细节点特征提取,得到细节点特征的过程可以为:
对与It中值为1的位置,对3*3邻域位置进行标号。设当前点为x,3*3邻域标号顺序如图4所示,计算当前点x的交叉数cn(x),具体公式如下:
其中val(x)表示It中x点的取值(0或1)。本发明以交叉数判断细节点的类型和位置,其中cn(x)=1表示x是端点,cn(x)=2表示x不是细节点,cn(x)=3表示x是分叉点。在此实施方式中,需在5*5的邻域范围内确定细节点的方向,本发明定义纹线端点的方向为脊线的方向,分叉点的方向为距离较近的两条分支的中心线方向。具体如图5(a)(b)所示,白色代表脊线,黑色代表背景。将提取的第一细节点的第一位置、第一类型和方向记为细节点特征Fm,作为细重构特征的重要组成部分。
在实际应用中,可以由细重构特征(即纹波频率特征、细节点特征、奇异点特征)和粗重构特征组成联合特征,记为F。联合特征的构成可以表示为下式:
其中,表示特征拼接。联合特征构造框架可以同时满足指纹识别和指纹图像重构任务的需要:联合特征结构中的细节点特征可以满足指纹识别任务;利用粗重构特征、频率特征、奇异点特征和细节点特征进行分步建模,可以实现指纹图像重构任务。联合特征可以满足存储容量受限的应用场景,摆脱指纹图像重构任务对网络和远端指纹数据服务器的依赖。联合特征结构使得智能卡等小容量设备可以离线进行指纹识别和指纹图像重构。
图16为本发明实施例提供的一种指纹图像重构装置的结构框图,图17(a)、(b)为本发明实施例提供的重构指纹图像与原始指纹图像对比示意图,图18(a)、(b)为本发明实施例提供的另一重构指纹图像与原始指纹图像对比示意图。本实施例还提供了一种指纹图像重构装置,所述装置包括:
特征获取模块10,用于获取粗重构特征和细重构特征,细重构特征包括纹线频率特征、奇异点特征和细节点特征;
粗重构指纹图像获取模块20,用于基于粗重构特征,进行粗重构处理,得到粗重构指纹图像;
重构方向场获取模块30,用于根据奇异点特征,进行方向场重构,得到重构方向场;或根据奇异点特征和细节点特征,进行方向场重构,得到重构方向场;
滤波指纹图像获取模块40,用于基于重构方向场和纹线频率特征,对粗重构指纹图像进行滤波处理,得到滤波指纹图像;
细重构指纹图像获取模块50,用于根据细节点特征,对滤波指纹图像进行细节修正处理,得到细重构指纹图像;
重构指纹图像获取模块60,用于基于粗重构指纹图像,对细重构指纹图像进行灰度重建,得到重构指纹图像。
图19为本发明实施例提供的一种指纹图像特征提取装置的结构框图。本实施例还提供了一种指纹图像特征提取装置,所述装置包括:
原始指纹图像及特征获取模块100,用于获取原始指纹图像和特征提取策略;
粗重构特征生成模块200,用于基于所述特征提取策略,对所述原始指纹图像进行基本特征提取处理,生成所述原始指纹图像的粗重构特征;
指纹方向场生成模块300,用于对所述原始指纹图像进行方向场计算,得到所述原始指纹图像的指纹方向场;
局部纹线频率获取模块400,用于基于所述原始指纹图像和所述指纹方向场,得到所述原始指纹图像中每个像素对应的局部纹线频率;
纹线频率特征生成模块500,用于对所述局部纹线频率进行均值处理,生成纹线频率特征;
奇异点特征获取模块600,用于基于所述原始指纹图像和所述指纹方向场,确定所述原始指纹图像的奇异点的位置和类型,并将所述奇异点的位置和类型作为奇异点特征;
骨架图获取模块700,用于基于所述原始指纹图像,得到指纹图像骨架图;
细节点特征生成模块800,用于对所述指纹图像骨架图进行细节点特征提取,得到细节点特征,所述细节点特征包括第一细节点对应的第一位置、方向和第一细节点类型。
在本实施例中,还提供了一种电子设备,包括:处理器;用于存储该处理器可执行指令的存储器;其中,该处理器被配置为执行该指令,以实现如本申请实施例中的指纹图像重构方法或指纹图像特征提取方法。
在本实施例中,还提供了一种存储介质,当该存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行本申请实施例中的指纹图像重构方法或指纹图像特征提取方法。本发明提供的实施例具有以下有益效果:
1)本发明提供了一种指纹图像重构方法、指纹图像特征提取方法及装置,通过粗重构特征和细重构特征进行分步建模,可以实现指纹图像的重构任务,由于细重构特征中细节点特征可以满足指纹识别任务,从而实现粗重构特征和细重构特征能够同时满足指纹识别任务和指纹图像重构任务的需要;
2)由于仅需存储粗重构特征和细重构特征即可完成重构任务,且粗重构特征和细重构特征满足储存容量受限的应用场景,能够摆脱指纹图像重构任务对网络和远端指纹数据服务器的依赖,能够使得智能卡等小容量设备可以离线进行指纹识别和指纹图像重构;
3)通过分步重构的方式,既保证了重构后指纹图像细节点信息的准确性,也同时使得重构指纹图像近似真实。
要说明的是,对于前述的各方法实施例,为了简便描述,将其都表述为二系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其它顺序或者同时进行。同样地,上述指纹图像重构方法或指纹图像特征提取方法的各模块是指计算机程序或者程序段,用于执行某一项或多项特定的功能,此外,上述各模块的区分并不代表实际的程序代码也必须是分开的。此外,还可对上述实施例进行任意组合,得到其他的实施例。
在上述实施例中,对各实施例的描述都各有侧重,某各实施例中没有详述的部分,可以参见其它实施例的相关描述。本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块(illustrative logical block),单元,和步骤可以通过电子硬件、电脑软件,或两者的结合进行实现。为清楚展示硬件和软件的可替换性(interchangeability),上述的各种说明性部件(illustrative components),单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用,可以使用各种方法实现所述的功能,但这种实现不应被理解为超出本发明实施例保护的范围。
上述说明已经充分揭露了本发明的具体实施方式。需要指出的是,熟悉该领域的技术人员对本发明的具体实施方式所做的任何改动均不脱离本发明的权利要求书的范围。相应地,本发明的权利要求的范围也并不仅仅局限于前述具体实施方式。
Claims (11)
1.一种指纹图像重构方法,其特征在于,所述方法包括:
获取粗重构特征和细重构特征,所述细重构特征包括纹线频率特征、奇异点特征和细节点特征;
基于所述粗重构特征,进行粗重构处理,得到粗重构指纹图像;
根据所述奇异点特征,进行方向场重构,得到重构方向场;或根据所述奇异点特征和所述细节点特征,进行方向场重构,得到重构方向场;
基于所述重构方向场和所述纹线频率特征,对所述粗重构指纹图像进行滤波处理,得到滤波指纹图像;
根据所述细节点特征,对所述滤波指纹图像进行细节修正处理,得到细重构指纹图像;
基于所述粗重构指纹图像,对所述细重构指纹图像进行灰度重建,得到重构指纹图像;
其中,所述细节点特征包括第一细节点对应的第一细节点类型和所述第一细节点对应的第一位置;所述根据所述细节点特征,对所述滤波指纹图像进行细节修正处理,得到细重构指纹图像,包括:对所述滤波指纹图像进行细节点特征提取,得到待比对细节点特征,所述待比对细节点特征包括第二细节点对应的第二位置和第二细节点类型;基于所述第一位置和所述第一细节点类型、所述第二位置和所述第二细节点类型进行修正,确定所述滤波指纹图像中的待修正细节点的第三位置及所述待修正细节点对应的错误类型;基于所述待修正细节点的第三位置和所述错误类型,对所述滤波指纹图像进行修正,得到所述细重构指纹图像;
所述基于所述第一位置和所述第一细节点类型、所述第二位置和所述第二细节点类型进行修正,确定所述滤波指纹图像中的待修正细节点的第三位置及所述待修正细节点对应的错误类型之后,还包括:以所述滤波指纹图像的几何中心为原点,将所述滤波指纹图像旋转目标角度以使所述待修正细节点的方向为垂直向上,并采用最近邻插值法填充由旋转所产生的空洞像素点;
所述基于所述待修正细节点的第三位置和所述错误类型,对所述滤波指纹图像进行修正,得到所述细重构指纹图像,包括:基于所述待修正细节点的第三位置和所述错误类型,进行细节修正,得到目标图像;将所述目标图像反向旋转所述目标角度以使所述目标图像还原至初始位置,并返回至所述以所述滤波指纹图像的几何中心为原点,将所述滤波指纹图像旋转目标角度以使所述待修正细节点的方向为垂直向上,并采用最近邻插值法填充由旋转所产生的空洞像素点的步骤,直至所有待修正细节点修正完毕,对修复完毕的指纹图像进行3*3均值滤波,得到细重构指纹图像;
所述基于所述待修正细节点的第三位置和所述错误类型,对所述滤波指纹图像进行修正,得到所述细重构指纹图像,包括:在待修正细节点的类型为错提的情况下,在所述滤波指纹图像中以类型为错提型的待修正细节点的位置作为起点,沿着待修正细节点方向相对应的反方向取预设尺寸的方向矩形,将所述方向矩形内的所有像素赋值为0;在待修正细节点的类型为漏提的情况下,在所述滤波指纹图像中以类型为漏提型的待修正细节点的位置作为起点,沿着待修正细节点方向和反方向分别取预设尺寸的方向矩形,将所述方向矩形内的所有像素赋值为255;在待修正细节点的类型为类型错误的情况下,确定修正类型,所述修正类型包括原始端点变为分叉点和原始分叉点变为端点;在修正类型为原始端点变为分叉点的情况下,在所述滤波指纹图像中以所述修正类型为原始端点变为分叉点的待修正细节点的位置作为起点,沿着待修正细节点反方向取预设尺寸的方向矩形,将所述方向矩形内所有像素赋值为255;
在修正类型为原始分叉点变为端点的情况下,在所述滤波指纹图像中以所述修正类型为原始分叉点变为端点的待修正细节点的位置作为起点,沿着待修正细节点反方向取预设尺寸的方向矩形,将所述方向矩形内所有像素赋值为0。
2.根据权利要求1所述的方法,其特征在于,所述基于所述粗重构特征,进行粗重构处理,得到粗重构指纹图像,包括:
获取特征处理策略;
基于所述特征处理策略以及所述粗重构特征,进行粗重构处理,得到所述粗重构指纹图像。
3.根据权利要求1所述的方法,其特征在于,所述根据所述奇异点特征和所述细节点特征,进行方向场重构,得到重构方向场,包括:
基于所述奇异点特征,确定指纹类型;
基于所述指纹类型和所述细节点特征,构建优化模型;
基于所述优化模型,得到方向场重构模型中的优化参数集合;
基于所述奇异点特征和所述优化参数集合,建立所述方向场重构模型;
基于所述方向场重构模型,得到重构方向场。
4.根据权利要求3所述的方法,其特征在于,所述指纹类型包括弓型指纹、斗型指纹和箕型指纹,所述基于所述奇异点特征,确定指纹类型,包括:
在所述奇异点特征中不存在奇异点的情况下,确定所述指纹类型为弓型指纹;
在所述奇异点特征中存在奇异点的情况下,确定所述指纹类型为斗型指纹或箕型指纹。
5.根据权利要求1所述的方法,其特征在于,所述基于所述重构方向场和所述纹线频率特征,对所述粗重构指纹图像进行滤波处理,得到滤波指纹图像,包括:
基于所述重构方向场和所述纹线频率特征,得到每个像素所用的二维Gabor滤波算子;
基于所述二维Gabor滤波算子,对所述粗重构指纹图像进行Gabor滤波,得到所述滤波指纹图像。
6.根据权利要求1所述的方法,其特征在于,所述细节点特征用于与待识别指纹图像的细节点位置及方向进行比对,以实现指纹识别。
7.一种指纹图像特征提取方法,其特征在于,所述方法包括:
获取原始指纹图像和特征提取策略;
基于所述特征提取策略,对所述原始指纹图像进行基本特征提取处理,生成所述原始指纹图像的粗重构特征;
对所述原始指纹图像进行方向场计算,得到所述原始指纹图像的指纹方向场;
基于所述原始指纹图像和所述指纹方向场,得到所述原始指纹图像中每个像素对应的局部纹线频率;
对所述局部纹线频率进行均值处理,生成纹线频率特征;
基于所述原始指纹图像和所述指纹方向场,确定所述原始指纹图像的奇异点的位置和类型,并将所述奇异点的位置和类型作为奇异点特征;
基于所述原始指纹图像,得到指纹图像骨架图;
对所述指纹图像骨架图进行细节点特征提取,得到细节点特征,所述细节点特征包括第一细节点对应的第一位置、方向和第一细节点类型,所述第一位置表征所述第一细节点在所述原始指纹图像中的位置,所述第一细节点类型包括纹线端点和纹线分叉点。
8.一种实施如权利要求1所述的指纹图像重构方法的装置,其特征在于,所述装置包括:
特征获取模块,用于获取粗重构特征和细重构特征,所述细重构特征包括纹线频率特征、奇异点特征和细节点特征;
粗重构指纹图像获取模块,用于基于所述粗重构特征,进行粗重构处理,得到粗重构指纹图像;
重构方向场获取模块,用于根据所述奇异点特征,进行方向场重构,得到重构方向场;或根据所述奇异点特征和所述细节点特征,进行方向场重构,得到重构方向场;
滤波指纹图像获取模块,用于基于所述重构方向场和所述纹线频率特征,对所述粗重构指纹图像进行滤波处理,得到滤波指纹图像;
细重构指纹图像获取模块,用于根据所述细节点特征,对所述滤波指纹图像进行细节修正处理,得到细重构指纹图像;
重构指纹图像获取模块,用于基于所述粗重构指纹图像,对所述细重构指纹图像进行灰度重建,得到重构指纹图像。
9.一种实施如权利要求7所述的指纹图像特征提取方法的装置,其特征在于,所述装置包括:
原始指纹图像及特征获取模块,用于获取原始指纹图像和特征提取策略;
粗重构特征生成模块,用于基于所述特征提取策略,对所述原始指纹图像进行基本特征提取处理,生成所述原始指纹图像的粗重构特征;
指纹方向场生成模块,用于对所述原始指纹图像进行方向场计算,得到所述原始指纹图像的指纹方向场;
局部纹线频率获取模块,用于基于所述原始指纹图像和所述指纹方向场,得到所述原始指纹图像中每个像素对应的局部纹线频率;
纹线频率特征生成模块,用于对所述局部纹线频率进行均值处理,生成纹线频率特征;
奇异点特征获取模块,用于基于所述原始指纹图像和所述指纹方向场,确定所述原始指纹图像的奇异点的位置和类型,并将所述奇异点的位置和类型作为奇异点特征;
骨架图获取模块,用于基于所述原始指纹图像,得到指纹图像骨架图;
细节点特征生成模块,用于对所述指纹图像骨架图进行细节点特征提取,得到细节点特征,所述细节点特征包括第一细节点对应的第一位置、方向和第一细节点类型;所述第一位置表征所述第一细节点在所述原始指纹图像中的位置,所述第一细节点类型包括纹线端点和纹线分叉点。
10.一种电子设备,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述可执行指令以实现权利要求1至6中任意一项所述的指纹图像重构方法或实现权利要求7所述的指纹图像特征提取方法。
11.一种非易失性计算机可读存储介质,其上存储有计算机程序指令,其特征在于,所述计算机程序指令被处理器执行时实现权利要求1至6中任意一项所述的指纹图像重构方法或实现权利要求7所述的指纹图像特征提取方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110636041.XA CN113313627B (zh) | 2021-06-08 | 2021-06-08 | 一种指纹图像重构方法、指纹图像特征提取方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110636041.XA CN113313627B (zh) | 2021-06-08 | 2021-06-08 | 一种指纹图像重构方法、指纹图像特征提取方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113313627A CN113313627A (zh) | 2021-08-27 |
CN113313627B true CN113313627B (zh) | 2023-10-20 |
Family
ID=77378115
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110636041.XA Active CN113313627B (zh) | 2021-06-08 | 2021-06-08 | 一种指纹图像重构方法、指纹图像特征提取方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113313627B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113011284B (zh) * | 2021-03-01 | 2023-05-26 | 杭州景联文科技有限公司 | 一种签名指印的识别方法 |
CN114913555A (zh) * | 2022-05-30 | 2022-08-16 | 深圳芯启航科技有限公司 | 指纹特征点获取方法、装置、电子设备及存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008165445A (ja) * | 2006-12-27 | 2008-07-17 | Beyondlsi Inc | 指紋照合システム |
CN102799876A (zh) * | 2012-08-02 | 2012-11-28 | 北京海和鑫生信息科学研究所有限公司 | 重叠指纹图像的分离方法 |
CN107273877A (zh) * | 2017-07-24 | 2017-10-20 | 云南大学 | 加权的多尺度复合窗指纹方向场建立方法及分级平滑算法 |
CN107451549A (zh) * | 2017-07-24 | 2017-12-08 | 云南大学 | 非接触式指纹增强方法及曲率驱动的自适应滤波器 |
CN107679494A (zh) * | 2017-09-30 | 2018-02-09 | 西安电子科技大学 | 基于选择性延展的指纹图像匹配方法 |
EP3413235A1 (en) * | 2017-06-08 | 2018-12-12 | Moqi Inc. | System and method for fingerprint recognition |
CN112115848A (zh) * | 2020-09-16 | 2020-12-22 | 哈尔滨理工大学 | 低质量指纹图像的残缺区域处理方法 |
-
2021
- 2021-06-08 CN CN202110636041.XA patent/CN113313627B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008165445A (ja) * | 2006-12-27 | 2008-07-17 | Beyondlsi Inc | 指紋照合システム |
CN102799876A (zh) * | 2012-08-02 | 2012-11-28 | 北京海和鑫生信息科学研究所有限公司 | 重叠指纹图像的分离方法 |
EP3413235A1 (en) * | 2017-06-08 | 2018-12-12 | Moqi Inc. | System and method for fingerprint recognition |
CN107273877A (zh) * | 2017-07-24 | 2017-10-20 | 云南大学 | 加权的多尺度复合窗指纹方向场建立方法及分级平滑算法 |
CN107451549A (zh) * | 2017-07-24 | 2017-12-08 | 云南大学 | 非接触式指纹增强方法及曲率驱动的自适应滤波器 |
CN107679494A (zh) * | 2017-09-30 | 2018-02-09 | 西安电子科技大学 | 基于选择性延展的指纹图像匹配方法 |
CN112115848A (zh) * | 2020-09-16 | 2020-12-22 | 哈尔滨理工大学 | 低质量指纹图像的残缺区域处理方法 |
Non-Patent Citations (1)
Title |
---|
双水印模型在医疗信息管理中的应用;王远朋;陈健美;;计算机应用与软件(第01期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113313627A (zh) | 2021-08-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhao et al. | Discrete cosine transform network for guided depth map super-resolution | |
Yang et al. | Fast image super-resolution based on in-place example regression | |
CN113313627B (zh) | 一种指纹图像重构方法、指纹图像特征提取方法及装置 | |
Steger | Subpixel-precise extraction of lines and edges | |
US20110044514A1 (en) | Automatic identification of fingerprint inpainting target areas | |
Prakash et al. | Human recognition using 3D ear images | |
CN111199197B (zh) | 一种人脸识别的图像提取方法及处理设备 | |
CN103020898A (zh) | 序列虹膜图像超分辨率重建方法 | |
CN113723309A (zh) | 身份识别方法、身份识别装置、设备及存储介质 | |
CN105608689A (zh) | 一种全景拼接消除图像特征误匹配方法及装置 | |
CN105678720A (zh) | 一种全景拼接判断图像匹配方法及装置 | |
KR20210082624A (ko) | 지문 향상 방법 | |
Alonso-Fernandez et al. | Iris super-resolution using iterative neighbor embedding | |
CN110147809B (zh) | 图像处理方法及装置、存储介质及图像设备 | |
CN113516096B (zh) | 指静脉roi区域提取方法及装置 | |
Hu et al. | Patch-based face recognition from video | |
Phogat et al. | Different image registration methods—an overview | |
CN111753722A (zh) | 一种基于特征点类型的指纹识别方法及装置 | |
CN113436215A (zh) | 前景目标的检测方法和装置、存储介质、电子装置 | |
KR20100009451A (ko) | 영상의 그라운드 라인 결정 방법 | |
Yue et al. | Sift-based image super-resolution | |
Meng et al. | Progressive high-frequency reconstruction for pan-sharpening with implicit neural representation | |
Zhang et al. | Fingerprint orientation field interpolation based on the constrained delaunay triangulation | |
Tan et al. | An improved criminisi inpainting algorithm based on sketch image | |
Brown et al. | Improved fingercode alignment for accurate and compact fingerprint recognition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |