CN112906567A - 指纹感测装置与指纹识别方法 - Google Patents

指纹感测装置与指纹识别方法 Download PDF

Info

Publication number
CN112906567A
CN112906567A CN202110191961.5A CN202110191961A CN112906567A CN 112906567 A CN112906567 A CN 112906567A CN 202110191961 A CN202110191961 A CN 202110191961A CN 112906567 A CN112906567 A CN 112906567A
Authority
CN
China
Prior art keywords
fingerprint
image
block
neural network
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110191961.5A
Other languages
English (en)
Other versions
CN112906567B (zh
Inventor
张永清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Egis Technology Inc
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to US17/219,906 priority Critical patent/US11270092B2/en
Publication of CN112906567A publication Critical patent/CN112906567A/zh
Application granted granted Critical
Publication of CN112906567B publication Critical patent/CN112906567B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1365—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1335—Combining adjacent partial images (e.g. slices) to create a composite input or reference pattern; Tracking a sweeping finger movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1347—Preprocessing; Feature extraction
    • G06V40/1359—Extracting features related to ridge properties; Determining the fingerprint type, e.g. whorl or loop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种指纹感测装置与指纹识别方法。透过指纹传感器获取原始指纹图像。撷取位于原始指纹图像的边缘上的图像边缘区块。将图像边缘区块输入至类神经网络模型，以产生预测拓展区块。经由合并预测拓展区块与原始指纹图像来产生经拓展指纹图像。依据经拓展指纹图像执行指纹应用程序。

Description

指纹感测装置与指纹识别方法
技术领域
本揭露涉及一种指纹辨识技术，且特别是有关于一种指纹感测装置与指纹识别方法。
背景技术
近年来，指纹辨识技术已被广泛地单独或结合应用于各式电子装置或产品之中，以提供身分验证功能，其中至少包括有电容式、光学式、超音波式等等各种指纹辨识技术正在陆续地被持续研发与改进中。可知的，当指纹传感器的感测范围因为各种考虑而受到限制时，指纹传感器进行感测所产生的指纹图像的图像尺寸也相对较小。当依据小面积指纹图像提供的局部指纹信息进行指纹辨识时，有可能因为指纹特征量太少或不同人的手指局部相似而发生误判的情形。可知的，指纹图像的图像尺寸越大，其所能够提供的指纹特征量越多。此外，当依据小面积指纹图像提供的局部指纹信息来拼接多次按压而产生的多张小面积指纹图像时，小面积指纹图像之间可能不存在对应至相同指纹部位的相似图像区块，因而发生无法进行图像拼接的情况。
因此，目前已有人提出一些方案来解决上述小面积指纹图像带来的问题。像是，透过直接将小面积指纹图像放大后再进行指纹验证，以增加指纹图像的图像尺寸而尝试提升特征点数量，但此法实际上并未提升指纹图像的指纹信息量。此外，也有人提出将多张小面积指纹图像拼接为较完整的指纹图像。然而，如同前述，当指纹传感器的感测范围很小时，即便使用者多次按压指纹传感器，小面积指纹图像之间可能不存在对应至相同指纹部位的相似图像区块，因而发生无法进行图像拼接的情况。
揭露内容
有鉴于此，本揭露提供一种指纹感测装置与指纹识别方法，其可提升指纹辨识的准确度与匹配成功率。
本发明实施例提出一种指纹感测装置，其包括指纹传感器、存储装置，以及处理器。指纹传感器产生原始指纹图像。处理器耦接指纹传感器与存储装置，并经配置以执行下列步骤。撷取位于原始指纹图像的边缘上的图像边缘区块。将图像边缘区块输入至类神经网络(Neural Network)模型，以产生预测拓展区块。经由合并预测拓展区块与原始指纹图像来产生经拓展指纹图像。依据经拓展指纹图像执行指纹应用程序。
本发明实施例提出一种指纹识别方法，适用于一指纹感测装置。所述方法包括下列步骤。透过指纹传感器获取原始指纹图像。撷取位于原始指纹图像的边缘上的图像边缘区块。将图像边缘区块输入至类神经网络(Neural Network)模型，以产生预测拓展区块。经由合并预测拓展区块与原始指纹图像来产生经拓展指纹图像。依据经拓展指纹图像执行指纹应用程序。
基于上述，于本发明的实施例中，类神经网络模型经训练而用以依据原始指纹图像的图像边缘区块产生预测拓展区块。预测拓展区块可与原始指纹图像合并而产生经拓展指纹图像，此经拓展指纹图像相较于原始指纹图像具备更多的指纹特征量。借此，可提升指纹辨识的比对成功率与准确度。
为让本揭露的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图式作详细说明如下。
附图说明
图1是依照本发明一实施例的指纹感测装置的方块图；
图2是依照本发明一实施例的指纹识别方法的流程图；
图3A是依照本发明一实施例的指纹识别方法的示意图；
图3B是依照本发明一实施例的指纹识别方法的示意图；
图4是依照本发明一实施例的产生预测拓展区块的示意图；
图5是依照本发明一实施例的产生预测拓展区块的示意图；
图5是依照本发明一实施例的产生预测拓展区块的示意图；
图6A是依照本发明一实施例的利用类神经网络模型产生预测拓展区块的预测拓展像素的示意图；
图6B是依照本发明一实施例的利用类神经网络模型产生预测拓展区块的预测拓展像素的示意图；
图7是依据本发明一实施例的产生经拓展指纹图像的示意图。
附图标记说明
100:指纹感测装置；
110:指纹传感器；
130:处理器；
120:存储装置；
Img_ori:原始指纹图像；
EB1,EB2,EB3,EB4,EB5,EB6,EB7,EB8:图像边缘区块；
PB1,PB2,PB3,PB4,PB5,PB6,PB7,PB8:预测拓展区块；
PB3_1:第一部份区块；
PB3_2:第二部份区块；
Img_e1,Img_e2,Img_e3,Img_e4,Img_e5:经拓展指纹图像；
Img_te:暂时拓展指纹图像；
ZP_1,ZP_2,ZP_3,ZP_4:填充区块；
S210～S250：步骤。
具体实施方式
现将详细地参考本揭露的示范性实施例，示范性实施例的实例说明于附图中。只要有可能，相同组件符号在图式和描述中用来表示相同或相似部分。
应当理解，当组件被称为“直接在另一组件上”或“直接连接到”另一组件时，不存在中间组件。如本文所使用的，“连接”可以指物理及/或电性连接。再者，“电性连接”或“耦合”可以是二组件间存在其它组件。
请参照图1，图1是依照本发明一实施例的指纹感测装置的方块图。指纹辨识装置110可包括指纹传感器110、存储装置120，以及处理器130。指纹感测装置100例如是笔记本电脑、智能型手机(smart phone)、平板(panel)、游戏机或其他具有指纹辨识功能的电子装置或电器设备等等，本发明对此不限制。
处理器130可耦接存储装置120与指纹传感器110。处理器130可包括中央处理单元(Central Processing Unit，CPU)、应用处理器(Application Processor，AP)，或是其他可程序化之一般用途或特殊用途的微处理器(Microprocessor)、数字信号处理器(DigitalSignal Processor，DSP)、可程序化控制器、特殊应用集成电路(Application SpecificIntegrated Circuits，ASIC)、可程序化逻辑设备(Programmable Logic Device，PLD)或这些装置的组合。换言之，处理器130可由一颗或多颗集成电路(integrated circuit，IC)实现，发明对此并不限制。举例而言，处理器113可包括应用处理器以及感测驱动IC。
存储装置120用以存储数据、软件模块、程序代码，其可以例如是任意型式的固定式或可移动式随机存取内存(random access memory，RAM)、只读存储器(read-onlymemory，ROM)、闪存(flash memory)、硬盘或其他类似装置、集成电路及其组合。在一实施例中，处理器130可加载存储装置120中所记录的程序代码或模块以执行本发明实施例提出的指纹识别方法。
指纹传感器110可进行指纹感测而产生原始指纹图像。本发明对于指纹传感器110的感测方式并不限制，其可以是光学式指纹传感器、超声波指纹传感器或电容式指纹传感器。于一实施例中，指纹传感器110具有较小的指纹感测范围，因而依据局部指纹来产生小面积的原始指纹图像。
于一实施例中，处理器130可利用训练完成的类神经网络模型来准确地预测未被指纹传感器110感测到的指纹信息，并将预测结果与原始指纹图像合并以产生经拓展指纹图像。经拓展指纹图像将用以进行后续的指纹应用程序。借此，可提升小面积的原始指纹图像的指纹匹配成功率，也可改善无法顺利进行影像拼接的问题。
图2是依照本发明一实施例的指纹识别方法的流程图。图3A是依照本发明一实施例的指纹识别方法的示意图。请参图1、图2与图3A，本实施例的方法适用于上述实施例中的指纹感测装置100，以下即搭配屏下指纹感测装置100中的各项组件与图3A的实施范例说明本实施例方法的详细步骤。
于步骤S210，透过指纹传感器110获取原始指纹图像。当使用者将手指置放于指纹传感器110上方时，指纹传感器110可依据指纹传感器110中各个感测单元输出的感测数据产生原始指纹图像Img_ori。于图3A的实施范例中，指纹传感器110可产生图像尺寸为N*P的原始指纹图像Img_ori，亦即，原始指纹图像Img_ori包括N*P个像素点。
于步骤S220，处理器130撷取位于原始指纹图像的边缘上的图像边缘区块。于此，图像边缘区块为自原始指纹图像的某一边缘向内延伸的图像区块。本发明对于图像边缘区块的尺寸并不限制，其可是实际需求而设置。图3A是以处理器130撷取位于原始指纹图像Img_ori的下边缘的图像边缘区块EB1为例，但处理器130可撷取位于原始指纹图像Img_ori的任意边缘(例如上边缘、下边缘、左边缘或右边缘)上的图像边缘区块，本发明对此不限制。于图3A的实施范例中，图像边缘区块EB1的尺寸为N*Q，其中Q小于P。亦即，图像边缘区块EB1包括N*Q个像素点。
于步骤S230，处理器130将图像边缘区块输入至类神经网络模型，以产生预测拓展区块。亦即，类神经网络模型将依据作为模型输入的图像边缘区块而产生作为模型输出的预测拓展区块。于一实施例中，类神经网络模型经训练而用以预测未被实际撷取的指纹信息。于一实施例中，类神经网络模型可为一卷积神经网络(CNN)模型。于此，作为模型输出的预测拓展区块的尺寸小于作为模型输入的图像边缘区块，但实际尺寸可视实际需求而设计，本发明对此不限制。于图3A的实施范例中，处理器130将图像边缘区块EB1输入至类神经网络模型，以产生预测拓展区块PB1。预测拓展区块PB1的尺寸为N*M，其中M小于Q。亦即，预测拓展区块PB1包括N*M个预测拓展像素。
于步骤S240，处理器130经由合并预测拓展区块与原始指纹图像来产生经拓展指纹图像。基于作为模型输入的图像边缘区块是位于原始指纹图像的某一边缘上，处理器130会将预测拓展区块连接至原始指纹图像的此边缘上。于一实施例中，预测拓展区块可包括多个预测拓展像素。根据图像边缘区块所在的边缘，处理器130可将这些预测拓展像素合并至原始指纹图像的垂直边缘或水平边缘上，使这些预测拓展像素成为经拓展指纹图像的像素。于图3A的实施范例中，在将预测拓展区块PB1连接至原始指纹图像Img_ori的下边缘(即水平边缘)之后，处理器130可产生图像尺寸为N*(P+M)的经拓展指纹图像Img_e1。
值得一提的是，基于类神经网络模型是依据真实指纹图像进行训练而产生，因此可准确地预测未被指纹传感器所感测到的指纹信息。相较于单纯延伸原始指纹图像上的指纹，本发明实施例的类神经网络模型可更准确地预测出指纹的分叉、转折、螺旋或其他特殊走向。
于步骤S250，处理器130依据经拓展指纹图像执行指纹应用程序。指纹应用程序可包括指纹注册程序、指纹验证程序或其他需要用到指纹图像的相关程序。于一实施例中，于指纹验证程序中，处理器130可对经拓展指纹图像进行指纹特征点撷取操作，而从经拓展指纹图像获取多个指纹特征点。于是，处理器130可判断上述多个指纹特征点与注册模板特征点是否匹配，以获取指纹验证结果。于一实施例中，于指纹注册程序中，处理器130可对经拓展指纹图像进行指纹特征点撷取操作，从而获取注册模板特征点并将其记录下来。于一实施例中，使用者可以手指不同部位按压于指纹传感器110上方，处理器130可重复执行步骤S210～步骤S240而产生多张经拓展指纹图像。依据这些拓展指纹图像之间的重迭区域，处理器130可对多张经拓展指纹图像进行影像拼接(image stitching)处理，从而生成一张完整指纹图像。上述完整指纹图像同样可用于进行指纹验证程序或指纹注册程序。
需说明的是，图3A是以从原始指纹图像Img_ori的水平边缘撷取图像边缘区块EB1并将预测拓展区块PB1合并至原始指纹图像Img_ori的水平边缘上为例，但本发明不限制于此。于一实施例中，处理器130可自原始指纹图像的垂直边缘撷取图像拓展区块，并将对应的预测拓展区块合并至原始指纹图像的垂直边缘上。
举例而言，图3B是依照本发明一实施例的指纹识别方法的示意图。指纹传感器110可产生图像尺寸为N*P的原始指纹图像Img_ori。处理器130撷取位于原始指纹图像Img_ori的左边缘上的图像边缘区块EB2。于此，图像边缘区块EB2的尺寸为Q*P，其中Q小于N。亦即，图像边缘区块EB2包括Q*P个像素点。处理器130可将图像边缘区块EB2输入至类神经网络模型，使类神经网络模型输出预测拓展区块PB2。于此，预测拓展区块PB2的尺寸为M*P，其中M小于Q。亦即，预测拓展区块PB2可包括M*P个预测拓展像素。在将预测拓展区块PB2合并至原始指纹图像Img_ori的左边缘之后，处理器130可产生图像尺寸为(N+M)*P的经拓展指纹图像Img_e2。
应理解，图3A与图3B是以从原始指纹图像Img_ori的某一边缘撷取图像边缘区块EB1、EB2与对应产生一个预测拓展区块PB1、PB2为实施范例进行说明，但本发明不限制于此。基于相同的原理与流程，处理器130可从原始指纹图像的多个边缘撷取多个图像边缘区块与对应产生多个预测拓展区块。
于一实施例中，处理器130可将图像边缘区块输入至类神经网络模型，使类神经网络模型直接输出预测拓展区块的每一个预测拓展像素。也就是说，处理器130可依据原始指纹图像的一个图像边缘区块直接预测对应的一个预测拓展区块。举例而言，图3A与图3B的实施范例中，类神经网络模型可直接输出一个完整的预测拓展区块PB1、PB2。
于一实施例中，处理器130可将图像边缘区块输入至类神经网络模型，使类神经网络模型输出部份的预测拓展区块。接着，处理器130合并图像边缘区块与部份的预测拓展区块而产生另一图像边缘区块，并将另一图像边缘区块输入至类神经网络模型，使类神经网络模型输出另一部份的预测拓展区块。也就是说，处理器130可先使用类神经网络模型依据原始指纹图像的一个图像边缘区块产生预测拓展区块的部份预测拓展像素，接在再次使用类神经网络模型依据部份的图像边缘区块与部份的预测拓展区块产生预测拓展区块的另一部份预测拓展像素。
举例而言，图4是依照本发明一实施例的产生预测拓展区块的示意图。请参照图4，假设指纹传感器110可产生图像尺寸为N*P的原始指纹图像Img_ori。处理器130可使用类神经网络模型而依据原始指纹图像Img_ori的图像边缘区块EB3产生预测拓展区块的第一部份区块PB3_1。接着，处理器130合并图像边缘区块EB3与第一部份区块PB3_1而产生另一图像边缘区块EB4。于此，图像边缘区块EB4包括部份的图像边缘区块EB3与第一部份区块PB3_1。之后，处理器130将另一图像边缘区块EB4输入至类神经网络模型，使类神经网络模型输出预测拓展区块的第二部份区块PB3_2，以最终获取完整的预测拓展区块。于是，处理器130可依序将预测拓展区块的第一部份区块PB3_1与第二部份区块PB3_2合并至原始指纹图像Img_ori而产生经拓展指纹图像Img_e3。可知的，图4是以使用类神经网络模型进行两次预测而获取完整的预测拓展区块PB3为范例进行说明，但本发明不限制于此。于其他实施例中，基于相似的原理与流程，处理器130可使用类神经网络模型进行更多次预测而获取完整的预测拓展区块。
于一实施例中，处理器130可合并预测延伸拓展区块与原始指纹图像而产生暂时拓展指纹图像。处理器撷取位于暂时拓展指纹图像的边缘上的另一图像边缘区块。处理器将另一图像边缘区块输入至类神经网络模型，以产生另一预测拓展区块，处理器130合并另一预测拓展区块与暂时拓展指纹图像而产生经拓展指纹图像。于此，处理器130将预测拓展区块合并于原始指纹图像的第一方向边缘上，并将另一预测拓展区块合并于暂时拓展指纹图像的第二方向边缘上。第一方向边缘是沿第一方向延伸，第二方向边缘是沿第二方向延伸，第一方向相异于第二方向。亦即，第一方向边缘与第二方向边缘分别为水平边缘与垂直边缘。
详细而言，当处理器130要分于原始指纹图像的左右两侧与上下两侧添加预测拓展区块时，处理器130可依据上下两侧的预测拓展区块的部份预侧拓展区块与原始指纹图像中位于垂直边缘上的图像边缘区块来预测原始指纹图像左右两侧的预测拓展区块。或者，当处理器130要分于原始指纹图像的左右两侧与上下两侧添加预测拓展区块时，处理器130可依据左右两侧的预测拓展区块的部份预侧拓展区块与原始指纹图像中位水平边缘上的图像边缘区块来预测原始指纹图像左右两侧的预测拓展区块。
举例而言，图5是依照本发明一实施例的产生预测拓展区块的示意图。请参照图5，假设指纹传感器110可产生图像尺寸为N*P的原始指纹图像Img_ori。处理器130可使用类神经网络模型而依据原始指纹图像Img_ori的图像边缘区块EB5产生预测拓展区块PB4。接着，处理器130合并原始指纹图像Img_ori与预测拓展区块PB4而产生暂时拓展指纹图像Img_te。处理器130撷取位于暂时拓展指纹图像Img_te的边缘上的另一图像边缘区块EB6。处理器将另一图像边缘区块EB6输入至类神经网络模型，以产生另一预测拓展区块PB5，处理器130合并另一预测拓展区块PB5与暂时拓展指纹图像Img_te而产生经拓展指纹图像Img_e4。可知的，图5是以使用类神经网络模型先产生水平边缘上的预测拓展区块再产生垂直边缘上的预测拓展区块为范例进行说明，但本发明不限制于此。
于一实施例中，类神经网络模型包括多个卷积层。本发明对于卷积层的层数并不加以限制，其可视实际需求而设置。每一层卷积层各自依据一或多个卷积核(convolutionkernel)进行卷积运算。类神经网络模型中的第一层卷积层接收图像边缘区块，而类神经网络模型中的最后一层卷积层依据一个卷积核进行卷积操作而输出预测拓展区块的部份或全部预测拓展像素。需说明的是，于一实施例中，处理器130可依据预设输入参数添加填充区块于图像边缘区块的相对两侧，并将图像边缘区块与填充区块输入至卷积层中的第一层卷积层。填充区块的尺寸是依据默认输入参数与图像边缘区块的尺寸而决定。于此，类神经网络模型的默认输入参数是依据原始指纹图像的图像高度与图像宽度其中较大者来决定。于一实施例中，类神经网络模型的默认输入参数包括类神经网络模型的输入图像宽度。
详细而言，卷积运算会导致卷积层输出数据的尺寸小于卷积层输入数据。因此，于一实施例中，为了使类神经网络模型的输出图像宽度等于原始指纹图像或暂时拓展指纹图像的像素列数或像素行数，处理器130会添加填充区块于图像边缘区块的两侧。基于依据预设输入参数增加填充区块的操作，因为类神经网络模型的默认输入参数是依据原始指纹图像的图像高度与图像宽度其中较大者来决定，所以处理器130可使用单一套类神经网络模型分别针对原始指纹图像的垂直边缘与水平边缘产生尺寸不同的两种预测拓展区块。
以下将进一步说明利用类神经网络模型产生预测拓展区块的实施范例。
图6A是依照本发明一实施例的利用类神经网络模型产生预测拓展区块的预测拓展像素的示意图。请参照图6A，类神经网络模型610可包括五层卷积层L1～L5，卷积层L1～L5各自依据一或多个卷积核进行卷积运算。于本实施范例中，是以类神经网络模型610的输入图像高度为7且类神经网络模型610的输出图像高度为3为范例，但本发明不限制于此。
于图6A的范例中，假设原始指纹图像的尺寸为N*P且图像宽度N大于图像高度P，则处理器130可决定类神经网络模型610的默认输入参数等于图像宽度N加上常数参数(于此以常数参数等于4为范例)。亦即，类神经网络模型610的默认输入参数经配置等于N+4。于一实施例中，常数参数可依据类神经网络模型610的输入图像高度与输出图像高度而决定。例如，于图6A的范例中，因为类神经网络模型610的输入图像高度为7且类神经网络模型610的输出图像高度为3，在确保类神经网络模型610的输出图像宽度等于原始指纹图像或暂时拓展指纹图像的像素列数或像素行数的条件下，处理器130可决定常数参数可为大于等于4的偶数。
于本实施范例中，在类神经网络模型610的默认输入参数等于N+4的条件下，当将N*7的图像边缘区块EB7输入至类神经网络模型610时，处理器130可决定用于添加于图像边缘区块EB7两侧的填充区块ZP1、ZP2的尺寸为2*7。此外，类神经网络模型610的模型参数可例如表1所示。
操作 卷积核尺寸 卷积核数目 零填充(padding)
卷积层L1 卷积运算 3*3 4 same
卷积层L2 卷积运算 3*3 8 valid
卷积层L3 卷积运算 3*3 12 same
卷积层L4 卷积运算 3*3 16 valid
卷积层L5 卷积运算 3*3 1 same
表1
此外，图6A与表1所示的类神经网络模型610之各卷积层L1～L5是以步幅等于1(stride＝1)进行卷积运算，但本发明不限制于此。然而，表1所示的模型参数仅为示范性说明，以清楚说明本发明实施例内容，而非用以限定本发明。类神经网络模型之各卷积层L1～L5所使用的卷积核尺寸、卷积核数目、零填充方式以及步幅可视实际需求而配置。
需特别说明的是，类神经网络模型610同样可用以针对垂直边缘上的边缘图像区块产生预测拓展区块。举例而言，图6B是依照本发明一实施例的利用类神经网络模型产生预测拓展区块的预测拓展像素的示意图。请参照图6B，假设原始指纹图像的尺寸为N*P且图像宽度N大于图像高度P。在类神经网络模型610的默认输入参数等于N+4的条件下，当将7*P的图像边缘区块EB8输入至类神经网络模型610时，处理器130可先对7*P的图像边缘区块EB8进行旋转处理而产生P*7的图像边缘区块EB8。接着，处理器130可决定用于添加于图像边缘区块EB8两侧的填充区块ZP3、ZP4的尺寸为(N+4-P)/2*7。经过卷积层L1～L5的卷积运算后，处理器130可自类神经网络模型610的模型输出撷取出P*3的预测拓展区块PB6。处理器130可先对P*3的预测拓展区块PB6进行旋转处理而产生3*P的预测拓展区块PB6，以于后续操作中将3*P的预测拓展区块PB6合并至N*P的原始指纹图像的垂直边缘上。基于图6A与图6B的说明可知，于一实施例中，同一套训练完成的类神经网络模型可用以产生不同尺寸的预测拓展区块。
值得一提的是，于一实施例中，类神经网络模型所输出的预测拓展区块可包括一预测指纹脊线或一预测指纹谷线。此预测指纹脊线未与原始指纹图像中的任一指纹脊线相连。此预测指纹谷线未与原始指纹图像中的任一指纹谷线相连。亦即，预测拓展区块可包括并非延伸自原始指纹图像中的指纹脊线或指纹谷线的预测指纹纹路。详细而言，本发明实施例的类神经网络模型可依据各种类型的指纹走向进行训练而建立，因而本发明实施例的类神经网络模型可更准确地预测出指纹的分叉、转折、螺旋或其他特殊走向，而非单纯地延伸指纹图像中的指纹脊线或指纹谷线。
图7是依据本发明一实施例的产生经拓展指纹图像的示意图。请参照图7，原始指纹图像Img_ori是具有螺旋纹路指纹的小面积指纹图像。于本实施范例中，分别取位于原始指纹图像Img_ori上边缘与下边缘的两个图像边缘区块作为类神经网络模型的输入数据。类神经网络模型将分别输出对应的两个预测拓展区块PB7、PB8。经由合并预测拓展区块PB7、PB8与原始指纹图像Img_ori可产生经拓展指纹图像Img_e5。于图7的范例中，类神经网络模型可准确地预测出指纹的螺旋走向，以产生可信度高的经拓展指纹图像Img_e5。更具体而言，预测拓展区块PB8包括并非延伸自原始指纹图像Img_ori中的指纹脊线与指纹谷线的预测指纹纹路。
综上所述，于本发明实施例中，类神经网络模型经训练而用以依据原始指纹图像的图像边缘区块产生预测拓展区块。预测拓展区块可与原始指纹图像合并而产生经拓展指纹图像，此经拓展指纹图像相较于原始指纹图像具备更多的指纹特征量。借此，可提升指纹辨识的匹配成功率与准确度，也可避免多张指纹图像无法顺利拼接的情况。除此之外，基于类神经网络模型是依据真实指纹图像进行训练而产生，因此可准确地预测未被指纹传感器所感测到的指纹信息，使经拓展指纹图像具备一定的可靠度。
最后应说明的是：以上各实施例仅用以说明本揭露的技术方案，而非对其限制；尽管参照前述各实施例对本揭露进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本揭露各实施例技术方案的范围。

Claims (16)

1.一种指纹感测装置，其特征在于，包括：
指纹传感器，产生原始指纹图像；
存储装置；以及
处理器，耦接所述指纹传感器与所述存储装置，经配置以：
撷取位于所述原始指纹图像的边缘上的图像边缘区块；
将所述图像边缘区块输入至类神经网络模型，以产生预测拓展区块；
经由合并所述预测拓展区块与所述原始指纹图像来产生经拓展指纹图像；以及
依据所述经拓展指纹图像执行指纹应用程序。
2.根据权利要求1所述的指纹感测装置，其特征在于，所述预测拓展区块包括多个预测拓展像素，所述处理器将所述图像边缘区块输入至所述类神经网络模型，使所述类神经网络模型直接输出所述预测拓展区块的每一所述些预测拓展像素。
3.根据权利要求1所述的指纹感测装置，其特征在于，所述处理器将所述图像边缘区块输入至所述类神经网络模型，使所述类神经网络模型输出部份的所述预测拓展区块，所述处理器合并所述图像边缘区块与部份的所述预测拓展区块而产生另一图像边缘区块，并将所述另一图像边缘区块输入至所述类神经网络模型，使所述类神经网络模型输出另一部份的所述预测拓展区块。
4.根据权利要求1所述的指纹感测装置，其特征在于，所述预测拓展区块包括多个预测拓展像素，所述处理器将所述些预测拓展像素合并至所述原始指纹图像的垂直边缘或水平边缘上。
5.根据权利要求1所述的指纹感测装置，其特征在于，所述处理器合并所述预测拓展区块与所述原始指纹图像而产生暂时拓展指纹图像，所述处理器撷取位于所述暂时拓展指纹图像的边缘上的另一图像边缘区块，所述处理器将所述另一图像边缘区块输入至所述类神经网络模型，以产生另一预测拓展区块，所述处理器合并所述另一预测拓展区块与所述暂时拓展指纹图像而产生所述经拓展指纹图像。
6.根据权利要求1所述的指纹感测装置，其特征在于，所述指纹应用程序包括指纹注册程序或指纹验证程序。
7.根据权利要求1所述的指纹感测装置，其特征在于，所述类神经网络模型包括多个卷积层，所述处理器依据预设输入参数添加填充区块于所述图像边缘区块的相对两侧，并将所述图像边缘区块与所述填充区块输入至所述些卷积层中的第一层卷积层，其中所述填充区块的尺寸是依据所述预设输入参数与所述图像边缘区块的尺寸而决定，且所述预设输入参数是依据所述原始指纹图像的图像高度与图像宽度其中较大者而决定。
8.根据权利要求1所述的指纹感测装置，其特征在于，所述预测拓展区块包括预测指纹脊线或预测指纹谷线，所述预测指纹脊线未与所述原始指纹图像中的任一指纹脊线相连，所述预测指纹谷线未与所述原始指纹图像中的任一指纹谷线相连。
9.一种指纹识别方法，适用于指纹感测装置，其特征在于，包括：
透过指纹传感器获取原始指纹图像；
撷取位于所述原始指纹图像的边缘上的图像边缘区块；
将所述图像边缘区块输入至类神经网络模型，以产生预测拓展区块；
经由合并所述预测拓展区块与所述原始指纹图像来产生经拓展指纹图像；以及
依据所述经拓展指纹图像执行指纹应用程序。
10.根据权利要求9所述的指纹识别方法，其特征在于，所述预测拓展区块包括多个预测拓展像素，而将所述图像边缘区块输入至所述类神经网络模型，以产生所述预测拓展区块的步骤包括：
将所述图像边缘区块输入至所述类神经网络模型，使所述类神经网络模型直接输出所述预测拓展区块的每一所述些预测拓展像素。
11.根据权利要求9所述的指纹识别方法，其特征在于，将所述图像边缘区块输入至所述类神经网络模型，以产生所述预测拓展区块的步骤包括：
将所述图像边缘区块输入至所述类神经网络模型，使所述类神经网络模型输出部份的所述预测拓展区块；
合并所述图像边缘区块与部份的所述预测拓展区块而产生另一图像边缘区块；以及
将所述另一图像边缘区块输入至所述类神经网络模型，使所述类神经网络模型输出另一部份的所述预测拓展区块。
12.根据权利要求9所述的指纹识别方法，其特征在于，所述预测拓展区块包括多个预测拓展像素，而经由合并所述预测拓展区块与所述原始指纹图像来产生所述经拓展指纹图像的步骤包括：
将所述些预测拓展像素合并至所述原始指纹图像的垂直边缘或水平边缘上。
13.根据权利要求9所述的指纹识别方法，其特征在于，经由合并所述预测拓展区块与所述原始指纹图像来产生所述经拓展指纹图像的步骤包括：
合并所述预测拓展区块与所述原始指纹图像而产生暂时拓展指纹图像；
撷取位于所述暂时拓展指纹图像的边缘上的另一图像边缘区块；
将所述另一图像边缘区块输入至所述类神经网络模型，以产生另一预测拓展区块；以及
合并所述另一预测拓展区块与所述暂时拓展指纹图像而产生所述经拓展指纹图像。
14.根据权利要求9所述的指纹识别方法，其特征在于，所述指纹应用程序包括指纹注册程序或指纹验证程序。
15.根据权利要求9所述的指纹识别方法，其特征在于，所述类神经网络模型包括多个卷积层，所述处理器依据预设输入参数添加填充区块于所述图像边缘区块的相对两侧，并将所述图像边缘区块与所述填充区块输入至所述些卷积层中的第一层卷积层，其中所述填充区块的尺寸是依据所述预设输入参数与所述图像边缘区块的尺寸而决定，且所述预设输入参数是依据所述原始指纹图像的图像高度与图像宽度其中较大者而决定。
16.根据权利要求9所述的指纹识别方法，其特征在于，所述预测拓展区块包括预测指纹脊线或预测指纹谷线，所述预测指纹脊线未与所述原始指纹图像中的任一指纹脊线相连，所述预测指纹谷线未与所述原始指纹图像中的任一指纹谷线相连。
CN202110191961.5A 2020-05-05 2021-02-19 指纹感测装置与指纹识别方法 Active CN112906567B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/219,906 US11270092B2 (en) 2020-05-05 2021-04-01 Fingerprint sensing apparatus and fingerprint identification method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202063020030P 2020-05-05 2020-05-05
US63/020,030 2020-05-05
US202063029729P 2020-05-26 2020-05-26
US63/029,729 2020-05-26

Publications (2)

Publication Number Publication Date
CN112906567A true CN112906567A (zh) 2021-06-04
CN112906567B CN112906567B (zh) 2024-06-28

Family

ID=

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115035640A (zh) * 2022-08-10 2022-09-09 湖南朗国视觉识别研究院有限公司 一种基于人体特征识别的智能门锁解锁方法及门锁系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001024103A1 (en) * 1999-09-30 2001-04-05 Catalano John F System and method for capturing, enrolling and verifying a fingerprint
JP2011138427A (ja) * 2009-12-29 2011-07-14 Oki Semiconductor Co Ltd ノイズ除去装置、ノイズ除去方法、及びノイズ除去プログラム
US20120076370A1 (en) * 2010-09-29 2012-03-29 Lei Chih-Chi Sectional image recognition method and zonal recognition device thereof
CN107038403A (zh) * 2015-10-07 2017-08-11 韩国科泰高科株式会社 用于提高指纹注册及认证速度的指纹信息处理方法及装置
CN109426795A (zh) * 2017-09-05 2019-03-05 比亚迪股份有限公司 指纹识别方法和装置
CN109598182A (zh) * 2017-09-30 2019-04-09 比亚迪股份有限公司 指纹比对方法和装置
CN109815772A (zh) * 2017-11-20 2019-05-28 方正国际软件(北京)有限公司 指纹图像增强、识别方法、装置及指纹图像增强识别系统
CN111047522A (zh) * 2019-11-07 2020-04-21 北京科技大学 一种基于边缘生成的图像修复方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001024103A1 (en) * 1999-09-30 2001-04-05 Catalano John F System and method for capturing, enrolling and verifying a fingerprint
JP2011138427A (ja) * 2009-12-29 2011-07-14 Oki Semiconductor Co Ltd ノイズ除去装置、ノイズ除去方法、及びノイズ除去プログラム
US20120076370A1 (en) * 2010-09-29 2012-03-29 Lei Chih-Chi Sectional image recognition method and zonal recognition device thereof
CN107038403A (zh) * 2015-10-07 2017-08-11 韩国科泰高科株式会社 用于提高指纹注册及认证速度的指纹信息处理方法及装置
CN109426795A (zh) * 2017-09-05 2019-03-05 比亚迪股份有限公司 指纹识别方法和装置
CN109598182A (zh) * 2017-09-30 2019-04-09 比亚迪股份有限公司 指纹比对方法和装置
CN109815772A (zh) * 2017-11-20 2019-05-28 方正国际软件(北京)有限公司 指纹图像增强、识别方法、装置及指纹图像增强识别系统
CN111047522A (zh) * 2019-11-07 2020-04-21 北京科技大学 一种基于边缘生成的图像修复方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
宗凯;王星;: "指纹图像特征点提取算法研究", 信息技术, no. 05 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115035640A (zh) * 2022-08-10 2022-09-09 湖南朗国视觉识别研究院有限公司 一种基于人体特征识别的智能门锁解锁方法及门锁系统
CN115035640B (zh) * 2022-08-10 2022-12-06 湖南朗国视觉识别研究院有限公司 一种基于人体特征识别的智能门锁解锁方法及门锁系统

Also Published As

Publication number Publication date
US11270092B2 (en) 2022-03-08
TW202143098A (zh) 2021-11-16
US20210350108A1 (en) 2021-11-11
TWI761077B (zh) 2022-04-11

Similar Documents

Publication Publication Date Title
US10325137B2 (en) Fingerprint preview quality and segmentation
Noh et al. Finger-vein recognition based on densely connected convolutional network using score-level fusion with shape and texture images
JP3742279B2 (ja) 画像照合装置、画像照合方法及び画像照合プログラムを記録した記録媒体
CN105956448A (zh) 一种指纹解锁方法、装置及用户终端
TW201629849A (zh) 指紋識別方法和裝置
CN106326830A (zh) 指纹识别方法和设备
JP3994930B2 (ja) 画像照合装置、および画像照合方法
CN111009001A (zh) 一种图像配准方法、装置、设备及存储介质
TWI761077B (zh) 指紋感測裝置與指紋識別方法
CN112906567B (zh) 指纹感测装置与指纹识别方法
TWI758001B (zh) 指紋識別的方法及指紋識別裝置
US7451430B2 (en) Apparatus and method for generating transistor model
JPH0757092A (ja) 指紋照合装置
JP3742313B2 (ja) 画像照合装置、画像照合方法、プログラム及び記録媒体
US10990787B2 (en) Enrolment of a fingerprint template
JP2788804B2 (ja) 素子領域抽出方法
TWI630560B (zh) 指紋影像的合併方法與電子裝置
WO2019125270A1 (en) Method and device for classifying fingerprint
Miyaki et al. Imagery creation based on autonomic system for finite element by using fully convolutional network
CN112633041A (zh) 指纹感测装置与方法
JPH02257381A (ja) 画像分類方法、画像内文字の分類方法並びに識別装置、及び画像細線化方法
JPH0757084A (ja) 指紋照合装置
US20080101703A1 (en) Systems and methods for recognizing shapes in an image
CN111968126A (zh) 页面焦点识别方法、装置、计算机设备和存储介质
JPH0757085A (ja) 指紋照合装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20221207

Address after: 1 / F, 30 / F, 118 Ciyun Road, East District, Hsinchu, Taiwan, China

Applicant after: Egis Technology Inc.

Address before: 5th floor, 12 Lane 11, Lane 69, Jingxin street, Zhonghe District, Xinbei City, Taiwan, China

Applicant before: Wang Jianhua

GR01 Patent grant