CN110443217B - 一种基于多光谱的指纹防伪方法及系统 - Google Patents

一种基于多光谱的指纹防伪方法及系统 Download PDF

Info

Publication number
CN110443217B
CN110443217B CN201910744638.9A CN201910744638A CN110443217B CN 110443217 B CN110443217 B CN 110443217B CN 201910744638 A CN201910744638 A CN 201910744638A CN 110443217 B CN110443217 B CN 110443217B
Authority
CN
China
Prior art keywords
fingerprint
image
confidence
data
multispectral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910744638.9A
Other languages
English (en)
Other versions
CN110443217A (zh
Inventor
刘凤
刘国杰
沈才雄
沈琳琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201910744638.9A priority Critical patent/CN110443217B/zh
Publication of CN110443217A publication Critical patent/CN110443217A/zh
Application granted granted Critical
Publication of CN110443217B publication Critical patent/CN110443217B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1382—Detecting the live character of the finger, i.e. distinguishing from a fake or cadaver finger
    • G06V40/1388—Detecting the live character of the finger, i.e. distinguishing from a fake or cadaver finger using image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14—Vascular patterns

Abstract

本发明提供一种基于多光谱的指纹防伪方法及系统，所述基于多光谱的指纹防伪方法包括以下步骤：步骤S1，利用多光谱设备采集指纹图像；步骤S2，对采集的指纹图像数据集进行图像重建以及预处理；步骤S3，利用近红外光波段预处理图像结果，并进行特征提取与计算；步骤S4，融合可见光波段和近红外光波段预处理段图像结果，并将其输入到分类模型中计算；步骤S5，计算样品指纹图像在不同波长情况下的折射率，并计算第三置信度分数；步骤S6，根据计算结果判断采集的指纹图像数据是否为真实指纹。本发明能够有效的解决了人造指纹的攻击问题，有效避免了人工伪造指纹膜欺骗自动指纹识别系统，解决了多种类型人造指纹膜防伪问题，准确且高效。

Description

一种基于多光谱的指纹防伪方法及系统
技术领域
本发明涉及一种指纹防伪方法，尤其涉及一种基于多光谱的指纹防伪方法，并涉及采用了该基于多光谱的指纹防伪方法的指纹防伪系统。
背景技术
生物特征识别技术是一种常见且可靠的身份认证方式，在目前的信息时代里具有重要的意义。生物特征识别技术是基于人们身体或者行为特征统计和分析的，其中指纹、人脸、DNA、虹膜、掌纹以及声音等是目前研究比较深入的生物特征，而指纹是这些生物特征中应用最广泛的。
自动指纹识别系统已经在日常生活中被广泛应用。但是目前被应用的最广泛为基于传统光学的自动指纹识别系统，针对这些系统，人工伪造的指纹能够对其进行攻击与破解。人工伪造的指纹即通过一个人的指纹作为模板，使用硅胶等塑性材料进行定性，以此制作可以破解基于传统光学采集仪器的自动指纹识别系统。因此使用这些人造指纹能够欺骗自动指纹识别系统，实现和其他人共享身份。
因为面对自动指纹识别系统容易被破解并且其已经应用在各种日常场合的现状，采用新型采集技术如多光谱多波段采集技术，并且提出有效的防伪方法与流程在保护着个人的隐私以及财产方面至关重要。
发明内容
本发明所要解决的技术问题是需要提供一种能够解决人工伪造指纹膜欺骗自动指纹识别系统的基于多光谱的指纹防伪方法，并进一步提供采用了该基于多光谱的指纹防伪方法的指纹防伪系统。
对此，本发明提供一种基于多光谱的指纹防伪方法，包括以下步骤：
步骤S1，利用多光谱设备采集指纹图像；
步骤S2，对采集的指纹图像数据集进行图像重建以及预处理；
步骤S3，利用近红外光波段预处理图像结果，并进行特征提取与计算；
步骤S4，融合可见光波段和近红外光波段预处理段图像结果，并将其输入到分类模型中计算；
步骤S5，计算样品指纹图像在不同波长情况下的折射率，并计算第三置信度分数；
步骤S6，根据计算结果判断采集的指纹图像数据是否为真实指纹。
本发明的进一步改进在于，所述步骤S2包括以下子步骤：
步骤S21，对采集的指纹图像数据集进行多光谱图像重建，对所述指纹图像数据集中遥感数据顺序读取其宽度数据和高度数据，并且将读取的宽度数据和高度数据的二进制数据直接转化为16比特非符号十进制整数，转化后的宽度数据和高度数据即为重建的多光谱图像的图像宽度和图像高度；
步骤S22，通过固定窗口和/或滑动窗口对所述多光谱图像进行感兴趣区域提取；
步骤S23，对已进行感兴趣区域提取的多光谱图像进行降噪。
本发明的进一步改进在于，所述步骤S3包括以下子步骤：
步骤S31，选择近红外光波段的指纹图像；
步骤S32，对指纹图像进行指静脉纹理特征提取；
步骤S33，统计与计算所述指静脉纹理特征的第一置信度分数；
其中，步骤S33中，通过公式
Figure GDA0003745655670000021
统计与计算所述指静脉纹理特征的第一置信度分数SS3置信度，其中，Num细节点为提取了所述指静脉纹理特征后指纹图像中的指静脉分叉细节点和静脉末端细节点的细节点个数，Threshold为离线学习细节点个数阈值，SSIM(I输入图像,I数据库图像)为所述指纹图像与离线数据库模板图像的图像结构相似度。
本发明的进一步改进在于，所述步骤S4包括以下子步骤：
步骤S41，选择所有波段的指纹图像；
步骤S42，将可见光波段的指纹图像与近红外光波段的指纹图像进行像素级融合与分析；
步骤S43，将所述步骤S42得到的融合结果输入到经过训练的防伪分类模型进行计算，并且得到第二置信度分数SS4置信度。
本发明的进一步改进在于，所述步骤S42中，先对可见光波段的指纹图像与近红外光波段的指纹图像进行数据增强预处理，所述数据增强预处理包括对图像进行-15°～15°的旋转、平移以及0.5倍～2倍缩放；然后对数据增强预处理后每个波段的图像对应位置的像素值进行加权求和。
本发明的进一步改进在于，所述步骤S43中，计算所述第二置信度分数SS4置信度的过程为使用Sigmoid函数对防伪分类模型的输出结果进行归一化得到0到1范围内的置信度，具体计算方式为
Figure GDA0003745655670000031
其中x为防伪分类模型的输出结果。
本发明的进一步改进在于，所述步骤S5包括以下子步骤：
步骤S51，计算样品指纹图像在不同波长光源情况下的折射率均值；
步骤S52，计算将所述样品指纹图像的折射率均值与真手指图样预设的折射率阈值之间的差值，最后将所述差值的倒数作为第三置信度分数SS5置信度实现输出。
本发明的进一步改进在于，所述步骤S6包括以下子步骤：
步骤S61，通过公式S置信度＝α*SS3置信度+β*SS4置信度+γ*SS5置信度计算得到总的置信度分数S置信度，其中，α为第一置信度分数系数，β为第二置信度分数系数，γ为第三置信度分数系数；第一置信度分数系数α取值为0.1至0.4，第二置信度分数系数β取值为0.1至0.4，第三置信度分数系数γ取值为0.3至0.5；
步骤S62，将所述总的置信度分数S置信度与预设的融合置信度分数阈值相比较，进而判断采集的指纹图像数据是否为真实指纹。
本发明的进一步改进在于，所述步骤S1中，所述多光谱设备通过发射450nm～950nm波长的光源，进而采集样本组织的指纹图像以及不同波段下样本组织的指纹图像的折射率。
本发明还提供一种基于多光谱的指纹防伪系统，采用了如上所述的基于多光谱的指纹防伪方法，并包括：
采集模块，用于利用多光谱设备采集指纹图像；
预处理模块，用于对采集的指纹图像数据集进行图像重建以及预处理；
分类模块，用于将采集到的指纹数据输入得到三种置信度分数，所述三种置信度分数包括指静脉纹理特征的第一置信度分数、融合了可见光波段与近红外光波段的第二置信度分数以及用于反映所述样品指纹图像与真手指图像之间的折射率分布差异的第三置信度分数；
手指判断模块，用于根据融合后总的置信度分数判断采集的指纹图像数据是否为真实指纹。
与现有技术相比，本发明的有益效果在于：通过对采集的指纹图像数据集进行预处理，并实现分类求取不同的置信度分数，然后再通过融合后总的置信度分数判断采集的指纹图像数据是否为真实指纹，进而有效的解决了人造指纹的攻击问题，有效避免了人工伪造指纹膜欺骗自动指纹识别系统，进而得以解决了多种类型人造指纹膜防伪问题，防伪判断准确且高效。
附图说明
图1是本发明一种实施例的工作流程示意图；
图2是本发明一种实施例采集伪造指纹图像及真实手指的样品指纹图像的示意图。
具体实施方式
下面结合附图，对本发明的较优的实施例作进一步的详细说明。
如图1所示，本例提供一种基于多光谱的指纹防伪方法，包括以下步骤：
步骤S1，利用多光谱设备采集指纹图像；
步骤S2，对采集的指纹图像数据集进行图像重建以及预处理；
步骤S3，利用近红外光波段预处理图像结果，并进行特征提取与计算；
步骤S4，融合可见光波段和近红外光波段预处理段图像结果，并将其输入到分类模型中计算；
步骤S5，计算样品指纹图像在不同波长情况下的折射率，并计算第三置信度分数；
步骤S6，根据计算结果判断采集的指纹图像数据是否为真实指纹。
本例所述步骤S1中，所述多光谱设备通过发射450nm～950nm波长的光源，进而在450nm～950nm波长中采集样本组织的指纹图像以及不同波段下样本组织的指纹图像的折射率。
本例所述步骤S2包括以下子步骤：
步骤S21，对采集的指纹图像数据集进行多光谱图像重建，对所述指纹图像数据集中遥感数据顺序读取其宽度数据和高度数据，并且将读取的宽度数据和高度数据的二进制数据直接转化为16比特非符号十进制整数，转化后的宽度数据和高度数据即为重建的多光谱图像的图像宽度和图像高度；
步骤S22，通过固定窗口和/或滑动窗口对所述多光谱图像进行感兴趣区域提取；
步骤S23，对已进行感兴趣区域提取的多光谱图像进行降噪。
更为具体的，所述步骤S2用于对采集的指纹图像进行图像预处理；在对指纹图像进行预处理过程中，包括对指纹图像做以下处理：步骤S21，对采集的指纹数据进行多光谱图像重建，利用采集得到的多光谱遥感BSQ遥感数据，使用多频带读取方法进行过多波段的多光谱图像重建。详细过程为：对采集的多光谱BSQ遥感数据中每个波段的指纹图像按照每行排列进行顺序保存，因此多频带读取方式为读取BSQ遥感数据的图像宽度和图像高度，并且根据宽度数据和高度数据按照2字节顺序读取BSQ遥感数据，然后将读取的2字节的宽度数据和高度数据转化为非符号整数，这种读取数据的方式实际上就是构建多光谱图像的过程。其中，BSQ为Band sequential，BSQ遥感数据是一种按波段顺序依次排列的遥感影像数据。
所述步骤S22，对采集的多光谱图像进行感兴趣区域(Region Of Interest，ROI)提取，感兴趣区域的提取通过固定窗口以及滑动窗口两种方法来实现。所述固定窗口的实施方案为定义固定值的矩形窗口进行图像分割提取，所述固定值为预先设置的可调整的窗口值；所述滑动窗口提取方法具体实施为通过枚举不同长宽比的矩形窗口对图像进行分割提取，优选的，枚举的长宽从10像素开始，长宽比可以根据需要进行设置和调整；所述S23，对已进行感兴趣区域提取的图像进行降噪，减少噪声对图像影响，降噪的具体实施方案为使用均值滤波降噪或者使用消除散斑噪声的降噪方法，这个降噪过程通过现有的滤波方式即可实现。
经过以上步骤S21至步骤S23处理之后的结果，作为预处理结果输出。
本例所述步骤S3包括以下子步骤：
步骤S31，选择近红外光波段的指纹图像；
步骤S32，对指纹图像进行指静脉纹理特征提取；
步骤S33，统计与计算所述指静脉纹理特征的第一置信度分数；
其中，步骤S33中，通过公式
Figure GDA0003745655670000051
统计与计算所述指静脉纹理特征的第一置信度分数SS3置信度，其中，Num细节点为提取了所述指静脉纹理特征后指纹图像中的指静脉分叉细节点和静脉末端细节点的细节点个数，Threshold为离线学习细节点个数阈值，SSIM(I输入图像,I数据库图像)为所述指纹图像与离线数据库模板图像的图像结构相似度，其中SSIM为传统计算图像结构相似性方法，其计算公式为
Figure GDA0003745655670000052
该公式中，ux为图像x的像素值均值，uy为图像y的像素值均值；c1为常数，δxy为图像x和y的协方差；c2为常数；
Figure GDA0003745655670000053
为图像x像素值方差，
Figure GDA0003745655670000054
为图像y像素值方差；其中，c1常数根据图像x的像素值动态范围乘以0.01得到；c2常数根据图像y的像素值动态范围乘以0.03得到；当然，这属于c1常数和c2常数的优选取值范围，在实际工作中，也可以根据实际需要进行预定义设置和调整。
更为具体的，所述步骤S3利用近红外光波段预处理图像结果进行特征提取与计算；本步骤将步骤S2采集的图像作为输入进行以下处理：使用多频带重建BSQ遥感数据直接得到不同波段的重建结果，因此在步骤S31中直接选择近红外光波段的采集图像；步骤S32，对图像进行指静脉纹理特征提取，所述指静脉提取步骤包括对指纹图像进行锐化、二值化以及使用细化形态学算子进行指静脉纹理特征提取，这一过程，也是利用现有技术的指静脉纹理特征提取方法即可实现。
所述步骤S33用于统计与计算步骤S32提取特征的置信度分数，计算置信度分数方法为首先统计步骤S32提取特征后图像中指静脉分叉细节点以及静脉末端细节点等细节点个数Num细节点，计算细化后图像与离线数据库模板图像的图像结构相似度SSIM(I输入图像,I数据库图像)，然后计算细节点个数与离线学习细节点个数阈值的比值
Figure GDA0003745655670000061
并加上图像结构相似度SSIM(I输入图像,I数据库图像)作为第一置信度分数SS3置信度实现输出；其中离线学习细节点个数阈值Threshold为预先设置的指静脉细节点个数的阈值，可以根据实际情况进行修改或调整所述离线学习细节点个数阈值Threshold的优选取值为40至50。
本例所述步骤S4包括以下子步骤：
步骤S41，选择所有波段的指纹图像；
步骤S42，将可见光波段的指纹图像与近红外光波段的指纹图像进行像素级融合与分析；
步骤S43，将所述步骤S42得到的融合结果输入到经过训练的防伪分类模型进行计算，并且得到第二置信度分数SS4置信度。
本例所述步骤S4用于融合多个波段预处理段图像结果并输入到分类模型中计算；本步骤将步骤S2采集的图像作为输入进行以下处理，所述步骤S41选择所有波段的采集图像。
本例所述步骤S42将可见光波段的采集图像与近红外光波段的采集图像进行像素级融合与分析，像素级融合步骤为对图像亮度增强，图像像素级求和融合，具体计算方式每个波段的图像对应位置的像素值进行加权求和；即，所述步骤S42中，先对可见光波段的指纹图像与近红外光波段的指纹图像进行数据增强预处理，所述数据增强预处理包括对图像进行-15°～15°的旋转、平移以及0.5倍～2倍缩放，平移的原则为将使得图像完整及可见；然后对数据增强预处理后每个波段的图像对应位置的像素值进行加权求和。
本例所述步骤S43中，将步骤S42得到的融合结果输入到经过训练的防伪分类模型进行计算，并且得到第二置信度分数SS4置信度。所述经过训练的防伪分类模型是深度卷积神经网络结构，由多个卷积层，批正则化层以及激活层堆叠而成，所述网络结构还包括卷积层之间残差模块。防伪分类模型使用经过数据增强的离线多光谱数据库进行100次数据迭代，以此进行网络结构参数学习。所述离线多光谱数据库包括真实手指数据以及伪造指纹数据。
本例所述步骤S43中，计算所述第二置信度分数SS4置信度的过程为使用Sigmoid函数对防伪分类模型的输出结果进行归一化得到0到1范围内的置信度，具体计算方式为
Figure GDA0003745655670000071
其中x为防伪分类模型的输出结果。
本例所述步骤S5包括以下子步骤：
步骤S51，计算样品指纹图像在不同波长光源情况下的折射率均值；
步骤S52，计算将所述样品指纹图像的折射率均值与真手指图样预设的折射率阈值之间的差值，最后将所述差值的倒数作为第三置信度分数SS5置信度实现输出。
本例所述步骤S5，计算样品在不同波长情况下的折射率并且计算第三置信度分数SS5置信度，本步骤将步骤S2采集的图像作为输入进行以下处理：步骤S51、计算样品指纹图像在不同波长光源情况下的均值折射率，具体的计算方式为首先计算输入图像像素强度的均值，然后将得到的均值除以波长以此得到与样本及折射率相关的系数；步骤S52、统计与比较样本指纹图像与真手指折射率分布，并且根据差异计算置信度分数，具体实施为计算离线数据库中真实手指样本及折射率相关系数的阈值，该阈值为所述真手指图样预设的折射率阈值，可以根据实际情况进行自定义设置和调整；然后计算所述样品指纹图像的折射率均值与真手指图样预设的折射率阈值之间的差值，最后将差值的倒数作为第三置信度分数SS5置信度实现输出。
本例所述步骤S6包括以下子步骤：
步骤S61，通过公式S置信度＝α*SS3置信度+β*SS4置信度+γ*SS5置信度计算得到总的置信度分数S置信度，其中，α为第一置信度分数系数，β为第二置信度分数系数，γ为第三置信度分数系数；第一置信度分数系数α取值优选为0.1至0.4，取值为0.3时效果更优；第二置信度分数系数β取值优选为0.1至0.4，取值为0.3时效果更优；第三置信度分数系数γ取值优选为0.3至0.5，取值为0.4时效果更优；
步骤S62，将所述总的置信度分数S置信度与预设的融合置信度分数阈值相比较，进而判断采集的指纹图像数据是否为真实指纹。
本例所述步骤S6用于根据步骤S3、步骤S4以及步骤S5的计算结果判断采集数据为真实指纹或假指纹，当所述总的置信度分数S置信度大于预设的融合置信度分数阈值时，判断采集的指纹图像数据为真实指纹，否则，则判断为伪造指纹。所述融合置信度分数阈值为预先设置的总的置信度分数的阈值，可以根据实际情况进行自定义设置和调整。
本例还提供一种基于多光谱的指纹防伪系统，采用了如上所述的基于多光谱的指纹防伪方法，并包括：
采集模块，用于利用多光谱设备采集指纹图像；
预处理模块，用于对采集的指纹图像数据集进行图像重建以及预处理；
分类模块，用于将采集到的指纹数据输入得到三种置信度分数，所述三种置信度分数包括指静脉纹理特征的第一置信度分数、融合了可见光波段与近红外光波段的第二置信度分数以及用于反映所述样品指纹图像与真手指图像之间的折射率分布差异的第三置信度分数；
手指判断模块，用于根据融合后总的置信度分数判断采集的指纹图像数据是否为真实指纹。
本例所述预处理模块中还包括：
重建单元，用于对采集数据的图像重建；利用采集得到的多光谱遥感BSQ遥感数据，使用多频带读取方法进行过多波段的多光谱图像重建；
去噪单元，用于对采集的指纹图像进行消除噪声处理；使用均值滤波降噪或者使用消除散斑噪声的降噪方法；
选图单元，用于根据指纹区域对图像进行区域划分选取图像；感兴趣区域的选择通过固定窗口以及滑动窗口两种方法进行提取。
本例所述分类模块中还包括：
近红外波段判断单元，用于近红外波段数据进行判断和计算第一置信度分数SS3置信度；
全波段判断单元，用于可见光波段和近红外波段数据进行判断和计算第二置信度分数SS4置信度；
折射率判断单元，用于样品折射率数据进行判断和计算第三置信度分数SS5置信度；
置信度分数融合单元，用于计算得到的置信度分数进行加权融合，得到融合的总的置信度分数S置信度。
本例所述近红外波段判断单元中还包括：
近红外数据选取子模块，用于选取采集数据中近红外波段的数据；通过判断多波段重建结果的波长，选择大于760nm波长图像；
指静脉特征提取子模块，用于提取选取的数据指静脉纹理特征；提取指静脉纹理特征包括图像锐化，二值化以及使用形态学细化算子；
置信度分数计算子模块，用于根据提取指静脉纹理特征计算置信度分数。
本例所述全波段判断判断单元中还包括：
全波段数据选取子模块，用于选取采集数据中全波段的指纹图像；
指纹图像融合子模块，用于融合近红外波段图像和可见光波段指纹图像；像素级融合步骤为对图像亮度增强，图像像素级求和融合；
防伪分类模型子模块，用于根据融合的指纹图像进行防伪分类并且计算出置信度分数；所述经过训练的防伪分类模型为有多个卷积层，批正则化层以及激活层组成的深度卷积神经网络结构，所述网络结构还还包括卷积层之间残差模块。
本例所述折射率判断判断单元中还包括：
折射率计算子模块，用于计算出样品在不同波长光源下的折射率；
置信度分数计算子模块，用于根据样品折射率计算置信度分数；
所述多光谱多波段设备，通过发射450nm～950nm波长的光源采集样本组织的图像，并且分析不同波段样本的折射率相关系数。
综上所述，本例通过对采集的指纹图像数据集进行预处理，并实现分类求取不同的置信度分数，然后再通过融合后总的置信度分数判断采集的指纹图像数据是否为真实指纹，进而有效的解决了人造指纹的攻击问题，有效避免了人工伪造指纹膜欺骗自动指纹识别系统，进而得以解决了多种类型人造指纹膜防伪问题，防伪判断准确且高效。
如图2所示，为了测试本例的效果，本例的自动防伪以及活体检测测试了包括真手指28、第一硅胶指纹膜21、第二硅胶指纹膜22、第三硅胶指纹膜23、第四硅胶指纹膜24、第五硅胶指纹膜25、第六硅胶指纹膜26以及树脂指纹膜27；各种指纹膜使用真手指指纹模板制作。通过测试结构可知，本例自动防伪测试的结果为能够100％判断硅胶指纹膜(包括第一硅胶指纹膜21、第二硅胶指纹膜22、第三硅胶指纹膜23、第四硅胶指纹膜24、第五硅胶指纹膜25和第六硅胶指纹膜26)和树脂指纹膜(树脂指纹膜27)为伪造。活体检测测试的结果为能够100％判断硅胶指纹膜和树脂指纹膜并非活体。自动防伪和活体检测能够正确判断真手指并非伪造与真手指为活体。也就是说，本例很好地解决了人工伪造指纹膜欺骗自动指纹识别系统的问题。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (8)

1.一种基于多光谱的指纹防伪方法，其特征在于，包括以下步骤：
步骤S1，利用多光谱设备采集指纹图像；
步骤S2，对采集的指纹图像数据集进行图像重建以及预处理；
步骤S3，利用近红外光波段预处理图像结果，并进行特征提取与计算；
所述步骤S3包括以下子步骤：
步骤S31，选择近红外光波段的指纹图像；
步骤S32，对指纹图像进行指静脉纹理特征提取；
步骤S33，统计与计算所述指静脉纹理特征的第一置信度分数；
其中，步骤S33中，通过公式
Figure FDA0003745655660000011
统计与计算所述指静脉纹理特征的第一置信度分数SS3置信度，其中，Num细节点为提取了所述指静脉纹理特征后指纹图像中的指静脉分叉细节点和静脉末端细节点的细节点个数，Threshold为离线学习细节点个数阈值，SSIM(I输入图像,I数据库图像)为所述指纹图像与离线数据库模板图像的图像结构相似度；
步骤S4，融合可见光波段和近红外光波段预处理段图像结果，并将其输入到分类模型中计算；
步骤S5，计算样品指纹图像在不同波长情况下的折射率，并计算第三置信度分数；
所述步骤S5包括以下子步骤：
步骤S51，计算样品指纹图像在不同波长光源情况下的折射率均值；
步骤S52，计算将所述样品指纹图像的折射率均值与真手指图样预设的折射率阈值之间的差值，最后将所述差值的倒数作为第三置信度分数SS5置信度实现输出；
步骤S6，根据步骤S3、步骤S4以及步骤S5的计算结果判断采集的指纹图像数据是否为真实指纹。
2.根据权利要求1所述的基于多光谱的指纹防伪方法，其特征在于，所述步骤S2包括以下子步骤：
步骤S21，对采集的指纹图像数据集进行多光谱图像重建，对所述指纹图像数据集中遥感数据顺序读取其宽度数据和高度数据，并且将读取的宽度数据和高度数据的二进制数据直接转化为16比特非符号十进制整数，转化后的宽度数据和高度数据即为重建的多光谱图像的图像宽度和图像高度；
步骤S22，通过固定窗口和/或滑动窗口对所述多光谱图像进行感兴趣区域提取；
步骤S23，对已进行感兴趣区域提取的多光谱图像进行降噪。
3.根据权利要求1或2所述的基于多光谱的指纹防伪方法，其特征在于，所述步骤S4包括以下子步骤：
步骤S41，选择所有波段的指纹图像；
步骤S42，将可见光波段的指纹图像与近红外光波段的指纹图像进行像素级融合与分析；
步骤S43，将所述步骤S42得到的融合结果输入到经过训练的防伪分类模型进行计算，并且得到第二置信度分数SS4置信度。
4.根据权利要求3所述的基于多光谱的指纹防伪方法，其特征在于，所述步骤S42中，先对可见光波段的指纹图像与近红外光波段的指纹图像进行数据增强预处理，所述数据增强预处理包括对图像进行-15°～15°的旋转、平移以及0.5倍～2倍缩放；然后对数据增强预处理后每个波段的图像对应位置的像素值进行加权求和。
5.根据权利要求3所述的基于多光谱的指纹防伪方法，其特征在于，所述步骤S43中，计算所述第二置信度分数SS4置信度的过程为使用Sigmoid函数对防伪分类模型的输出结果进行归一化得到0到1范围内的置信度，具体计算方式为
Figure FDA0003745655660000021
其中x为防伪分类模型的输出结果。
6.根据权利要求5所述的基于多光谱的指纹防伪方法，其特征在于，所述步骤S6包括以下子步骤：
步骤S61，通过公式S置信度＝α*SS3置信度+β*SS4置信度+γ*SS5置信度计算得到总的置信度分数S置信度，其中，α为第一置信度分数系数，β为第二置信度分数系数，γ为第三置信度分数系数；第一置信度分数系数α取值为0.1至0.4，第二置信度分数系数β取值为0.1至0.4，第三置信度分数系数γ取值为0.3至0.5；
步骤S62，将所述总的置信度分数S置信度与预设的融合置信度分数阈值相比较，进而判断采集的指纹图像数据是否为真实指纹。
7.根据权利要求1或2所述的基于多光谱的指纹防伪方法，其特征在于，所述步骤S1中，所述多光谱设备通过发射450nm～950nm波长的光源，进而采集样本组织的指纹图像以及不同波段下样本组织的指纹图像的折射率。
8.一种基于多光谱的指纹防伪系统，其特征在于，采用了如权利要求1至7任意一项所述的基于多光谱的指纹防伪方法，并包括：
采集模块，用于利用多光谱设备采集指纹图像；
预处理模块，用于对采集的指纹图像数据集进行图像重建以及预处理；
分类模块，用于将采集到的指纹数据输入得到三种置信度分数，所述三种置信度分数包括指静脉纹理特征的第一置信度分数、融合了可见光波段与近红外光波段的第二置信度分数以及用于反映所述样品指纹图像与真手指图像之间的折射率分布差异的第三置信度分数；
手指判断模块，用于根据融合后总的置信度分数判断采集的指纹图像数据是否为真实指纹。
CN201910744638.9A 2019-08-13 2019-08-13 一种基于多光谱的指纹防伪方法及系统 Active CN110443217B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910744638.9A CN110443217B (zh) 2019-08-13 2019-08-13 一种基于多光谱的指纹防伪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910744638.9A CN110443217B (zh) 2019-08-13 2019-08-13 一种基于多光谱的指纹防伪方法及系统

Publications (2)

Publication Number Publication Date
CN110443217A CN110443217A (zh) 2019-11-12
CN110443217B true CN110443217B (zh) 2022-09-02

Family

ID=68435112

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910744638.9A Active CN110443217B (zh) 2019-08-13 2019-08-13 一种基于多光谱的指纹防伪方法及系统

Country Status (1)

Country Link
CN (1) CN110443217B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111597895A (zh) * 2020-04-15 2020-08-28 浙江工业大学 一种基于resnet50的OCT指纹防伪方法
TWI757053B (zh) * 2020-08-17 2022-03-01 友達光電股份有限公司 生物特徵辨識的系統及其方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6987868B1 (en) * 1998-11-27 2006-01-17 Nittetsu Mining Co., Ltd. Genuine/counterfeit discriminating method, genuine/counterfeit discrimination object, and genuine/counterfeit discriminating device
CN101211410A (zh) * 2007-12-25 2008-07-02 哈尔滨工业大学 一种多光谱掌纹身份认证方法及其专用采集仪
CN101982826A (zh) * 2010-11-10 2011-03-02 中国船舶重工集团公司第七一○研究所 一种光源亮度自动调整的手指静脉采集识别方法
CN105138996A (zh) * 2015-09-01 2015-12-09 北京上古视觉科技有限公司 一种具有活体检测功能的虹膜识别系统
CN106663203A (zh) * 2016-11-04 2017-05-10 深圳市汇顶科技股份有限公司 活体指纹识别方法及装置
CN107423703A (zh) * 2017-07-21 2017-12-01 山东大学 基于人脸、指纹和指静脉特征的多模态识别装置及方法
CN107832718A (zh) * 2017-11-13 2018-03-23 重庆工商大学 基于自编码器的手指静脉防伪鉴别方法及系统
CN108108708A (zh) * 2017-12-29 2018-06-01 徐鹤菲 支持多光谱生物特征的复合成像系统及移动终端
CN108596136A (zh) * 2018-05-02 2018-09-28 苏州大学 指纹及静脉双重生物特征提取光学成像系统
CN108776786A (zh) * 2018-06-04 2018-11-09 北京京东金融科技控股有限公司 用于生成用户真伪识别模型的方法和装置
CN109190554A (zh) * 2018-08-30 2019-01-11 深圳大学 一种基于指纹和指静脉的3d识别系统及方法
CN109871729A (zh) * 2017-12-04 2019-06-11 上海箩箕技术有限公司 身份识别方法和身份识别系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8406487B2 (en) * 2009-09-16 2013-03-26 General Electric Company Method and system for contactless fingerprint detection and verification

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6987868B1 (en) * 1998-11-27 2006-01-17 Nittetsu Mining Co., Ltd. Genuine/counterfeit discriminating method, genuine/counterfeit discrimination object, and genuine/counterfeit discriminating device
CN101211410A (zh) * 2007-12-25 2008-07-02 哈尔滨工业大学 一种多光谱掌纹身份认证方法及其专用采集仪
CN101982826A (zh) * 2010-11-10 2011-03-02 中国船舶重工集团公司第七一○研究所 一种光源亮度自动调整的手指静脉采集识别方法
CN105138996A (zh) * 2015-09-01 2015-12-09 北京上古视觉科技有限公司 一种具有活体检测功能的虹膜识别系统
CN106663203A (zh) * 2016-11-04 2017-05-10 深圳市汇顶科技股份有限公司 活体指纹识别方法及装置
CN107423703A (zh) * 2017-07-21 2017-12-01 山东大学 基于人脸、指纹和指静脉特征的多模态识别装置及方法
CN107832718A (zh) * 2017-11-13 2018-03-23 重庆工商大学 基于自编码器的手指静脉防伪鉴别方法及系统
CN109871729A (zh) * 2017-12-04 2019-06-11 上海箩箕技术有限公司 身份识别方法和身份识别系统
CN108108708A (zh) * 2017-12-29 2018-06-01 徐鹤菲 支持多光谱生物特征的复合成像系统及移动终端
CN108596136A (zh) * 2018-05-02 2018-09-28 苏州大学 指纹及静脉双重生物特征提取光学成像系统
CN108776786A (zh) * 2018-06-04 2018-11-09 北京京东金融科技控股有限公司 用于生成用户真伪识别模型的方法和装置
CN109190554A (zh) * 2018-08-30 2019-01-11 深圳大学 一种基于指纹和指静脉的3d识别系统及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A real-time image selection algorithm: fingerprint recognition using mobile devices with embedded camera;Dongjae Lee et al;《 Fourth IEEE Workshop on Automatic Identification Advanced Technologies (AutoID"05)》;20051205;第1-5页 *
光谱指纹防伪纤维的制备方法及其防伪原理;张技术等;《纺织学报》;20130522;第32卷(第6期);第7-11页 *
基于光学相干层析成像与光学微血管造影的指纹防伪方法;陈朋等;《光子学报》;20190415;第48卷(第6期);第1-10页 *

Also Published As

Publication number Publication date
CN110443217A (zh) 2019-11-12

Similar Documents

Publication Publication Date Title
CN108009520B (zh) 基于卷积变分自编码器网络的手指静脉识别方法及系统
Gottschlich Curved-region-based ridge frequency estimation and curved Gabor filters for fingerprint image enhancement
Hosseini et al. Pigment melanin: Pattern for iris recognition
CN102663393B (zh) 基于旋转校正的手指静脉图像感兴趣区域提取方法
WO2018023884A1 (zh) 一种身份识别装置及方法
TWI434220B (zh) 利用手掌靜脈之生物特徵辨識使用者之方法
Abhyankar et al. Iris quality assessment and bi-orthogonal wavelet based encoding for recognition
Sagayam et al. Authentication of biometric system using fingerprint recognition with euclidean distance and neural network classifier
CN108681722B (zh) 一种基于纹理的手指静脉特征匹配方法
Tome et al. Palm vein database and experimental framework for reproducible research
CN110443217B (zh) 一种基于多光谱的指纹防伪方法及系统
CN104809450B (zh) 基于在线极限学习机的腕部静脉认证系统
CN112597812A (zh) 一种基于卷积神经网络和sift算法的手指静脉识别方法及系统
Raja et al. Cross-spectral periocular recognition by cascaded spectral image transformation
Tazim et al. Biometric authentication using CNN features of dorsal vein pattern extracted from NIR image
Gayathri et al. Low cost hand vein authentication system on embedded linux platform
KR101174103B1 (ko) 근골격 구조에 기초한 수학적 패턴 분석의 얼굴인식 방법
Lee et al. Fingerprint recognition using principal Gabor basis function
Du et al. A one-dimensional approach for iris identification
Jose et al. Towards building a better biometric system based on vein patterns in human beings
Khoirunnisaa et al. The biometrics system based on iris image processing: a review
Das et al. Person identification through IRIS recognition
Kumar et al. Finger vein based human identification and recognition using gabor filter
Al-Tamimi H. A survey on the vein biometric recognition systems: Trends and challenges
DR et al. Fingerprint verification based on fusion of minutiae and ridges using strength factors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant