CN110472518A - 一种基于全卷积网络的指纹图像质量判断方法 - Google Patents

Abstract

一种基于全卷积网络的指纹图像质量判断方法，其步骤如下：(1)挑选指纹样本并标注：挑选大量的用不同传感器采集的不同质量的指纹图像作为指纹样本，为每张图像标注标签；(2)指纹图像质量判断模型训练：将指纹样本的大小进行调整并转换成深度学习框架训练所需的数据格式，得到训练样本，将训练样本输入到全卷积网络进行深度学习训练，得到指纹图像质量判断模型；(3)指纹图像质量判断模型转换：将得到的指纹图像质量判断模型用ncnn转换工具转换成ncnn框架支持的模型，并进行量化和加密；(4)指纹图像质量判断：读取转换后的模型，将待预测的指纹图像传入模型，逐层读取模型的参数进行前向传播，最终得到质量判断结果。

Description

一种基于全卷积网络的指纹图像质量判断方法

技术领域

本发明属于指纹识别技术领域，涉及一种基于全卷积网络的指纹图像质量判断方法。

背景技术

指纹识别技术因其唯一性和稳定性，在我们的生活中得到了广泛应用，如指纹考勤、指纹门锁、手机指纹登陆和手机指纹支付等，其应用随处可见。随着指纹识别技术的进一步广泛应用，市场对指纹识别技术的速度和性能提出了更高的要求。在传感器所采集指纹图像面积越来越小的情况下，现有的指纹识别模块，由于平台限制，其识别速度与性能越来越不能满足实际需求。对指纹图像质量的判断水平在很大程度上影响了整个指纹识别模块的水平。可见，一种快速有效地判断指纹图像质量方法的提出，对提高整个指纹识别模块的速度和性能有很大的实际意义。

与此同时，深度学习技术正飞速发展，特别是卷积神经网络(CNN),从LeNet、AlexNet、VGGNet、GoogLeNet、ResNet到MobileNet,各种不同的卷积网络层出不穷。目前深度学习已广泛应用在人脸识别、物体检测、车牌识别和无人驾驶等领域，有巨大的发展潜力。相较于传统的机器学习方法，深度学习不需要手动提取特征，不需要对数据做额外的处理，也不需要花费过多时间调整超参数，却能得到更好的性能，具有更好的泛化能力和鲁棒性，具有天然优势。但在指纹识别领域，深度学习技术的应用还很少。如何将深度学习应用于指纹识别技术领域，在保证指纹图像质量判断准确率的同时，又要尽可能地提升速度，是我们需要思考的一个问题。

在指纹识别模块中，由于不对指纹图像质量或图像块质量进行判断，或者进行了错误的判断，导致质量很差的图像或图像块也参与注册、特征提取和比对等环节，很容易降低整个模块的识别性能。在指纹识别模块中，现有方案存在以下缺点：

1)随着指纹识别技术的不断发展，现有方案耗时较长，占用空间大，越来越不适合应用在Android和嵌入式平台等条件受限领域；

2)对整幅指纹图像的质量判断不够准确，且不能判断指纹图像局部区域的质量，限制了整个指纹识别模块性能的提升。在传感器采集指纹图像面积越来越小的情况下，这个问题变得越来越突出。

发明内容

为了克服现有技术中存在的不足，本发明在于提供了一种可以快速有效地判断指纹图像质量、不仅可以提高整个模块的识别性能，也可满足条件受限平台对实时性要求的基于全卷积网络的指纹图像质量判断方法。

本发明采用的技术方案是：

一种基于全卷积网络的指纹图像质量判断方法，其步骤如下：

(1)挑选指纹样本并标注：挑选大量的用不同传感器采集的不同质量的指纹图像作为指纹样本，为每张图像标注标签，对质量较好的图像标注为0，对质量较差的图像标注为1；

(2)指纹图像质量判断模型训练：将指纹样本的大小进行调整并转换成深度学习框架训练所需的数据格式，得到训练样本，将训练样本输入到全卷积网络进行深度学习训练，得到指纹图像质量判断模型；

(3)指纹图像质量判断模型转换：将得到的指纹图像质量判断模型用ncnn转换工具转换成ncnn框架支持的模型，并进行量化和加密；

(4)指纹图像质量判断：读取转换后的模型，将待预测的指纹图像传入模型，逐层读取模型的参数进行前向传播，最终得到质量判断结果。本发明将深度学习应用于指纹图像质量判断，采用自己设计的轻量型全卷积网络来训练指纹图像质量判断模型，该模型不仅鲁棒性好，而且所需参数少，占用空间小，前向传播速度快；将质量判断模型转换成ncnn框架支持的模型，并将模型进行量化和加密，借助ncnn框架的特性，可以轻松地将模型运行在Android和嵌入式平台。

进一步，步骤(1)中的指纹样本包括：不同传感器采集的不同面积的图像、干手指采集的图像、正常手指采集的图像和湿手指采集的图像。每类的指纹图像样本的数量应相差不多，且应尽量覆盖更多的情况，否则容易导致过拟合和模型泛化能力差等问题。

进一步，步骤(2)中的全卷积网络包括5个卷积层和最后1个用于分类的softmax层，所述卷积层与softmax层之间采用flatten层连接。本发明的全卷积网络并未使用需要大量参数的全连接层，而是用flatten层代替全连接层，大大降低了参数量。

进一步，所述卷积层中前4个卷积层采用的卷积核大小为3*3，填充方式为valid，步长为2；最后一个卷积层采用的卷积核大小为3*3，填充方式为valid，步长为1。

进一步，步骤(2)中指纹图像质量判断模型训练时，在全卷积网络中选择一个合适的优化器，设定合适的学习率，并制定合适的损失函数计算方式，不断调整卷积层的权值和偏置值参数，让损失函数不断下降；当损失函数不再下降时，停止训练，得到可用于指纹图像质量判断的模型。

进一步，步骤(3)中对转换后的模型进行量化是将参数储存类型直接由float32变成int8，不仅大大减小了模型大小，而且提高了模型前向传播的速度。量化后，模型更适合应用在Android和嵌入式平台。

进一步，步骤(4)中的图像质量判断结果是通过全卷积网络的softmax层计算得到的。

进一步，步骤(4)中待预测的指纹图像为任意大小，可以得到多个分类结果，每个分类结果对应原始图像中某一块图像的质量，然后统计质量好的图像块的块数，当块数大于某一阈值时(例如总图像块数的60％)，判定该图像为质量好的图像，否则为质量差的图像。通过这种方式不仅可以判断整幅图像的质量，而且可以精确地知道图像中某块图像的质量。

本发明的有益效果：

1)将深度学习应用于指纹图像质量判断，采用自己设计的轻量型全卷积网络来训练指纹图像质量判断模型，该模型不仅鲁棒性好，而且所需参数少，占用空间小，前向传播速度快；

2)对整幅指纹图像利用全卷积网络提取特征，而不是分块提取特征，却可以同时判断整幅图像的质量和所有图像块的质量，便于针对图像质量的不同情况进行后续处理，最终有益于提高指纹识别的性能；

3)将质量判断模型转换成ncnn框架支持的模型，并将模型进行量化和加密，借助ncnn框架的特性，可以轻松地将模型运行在Android和嵌入式平台。

附图说明

图1是本发明的模型训练流程示意图。

图2是本发明的模型预测流程示意图。

图3是本发明的全卷积网络的结构示意图。

具体实施方式

下面结合具体实施例来对本发明进行进一步说明，但并不将本发明局限于这些具体实施方式。本领域技术人员应该认识到，本发明涵盖了权利要求书范围内所可能包括的所有备选方案、改进方案和等效方案。

本发明涉及的专业术语如下：

深度学习(Deep Learning):是机器学习的技术和研究领域之一，通过建立具有阶层结构的人工神经网络(ANN),在计算机系统中实现人工智能。由于人工神经网络(ANN)能够对输入信息进行逐层提取和筛选，因此深度学习具有表征学习的能力，可以实现端到端的监督学习和非监督学习。此外深度学习也可参与构建深度学习系统，形成深度强化学习。

监督学习：利用标记的训练数据调整神经网络的参数，使其达到所要求性能的过程，也称为监督训练。在监督学习中，每个实例都是由一个对象和一个期望的输出值组成。

卷积神经网络(CNN):是一类包含卷积计算且具有深度结构的前馈神经网络(FNN)，是深度学习的代表算法之一。卷积神经网络具有表征学习能力，能够按其阶层结构对输入信息进行平移不变分类。卷积神经网络仿造生物的视知觉机制构建，其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络的计算量大大降低。

超参数：在开始学习之前就需设置的参数，而不是通过训练得到的参数数据。通常情况下，需要对超参数进行优化，给网络选择一组最优超参数，以提高学习的性能和效果。

机器学习(Machine Learning)：是一门多领域交叉学科，设计概率论、统计学、逼近论、凸分析和算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。

拒真率(FRR):同一手指采集的不同图像被识别为来自不同手指的概率。

认假率(FAR):不同手指采集的不同图像被识别为来自同一手指的概率。

基于全卷积网络的特征提取技术：将大量的指纹图像数据输入全卷积网络，以提取指纹图像的特征。

基于深度学习的模型训练技术：首先选取大量的不同传感器采集的不同质量的指纹图像，并为每幅图像标注标签，0代表质量好的图像，1代表质量差的图像。采用自己设计的全卷积网络，选择一个合适的优化器，设定合适的学习率，并制定合适的损失函数计算方式，经过不断地训练，直到生成最优的指纹图像质量判断模型。

跨平台模型转换技术：将经训练生成的质量判断模型通过ncnn工具转换成ncnn框架支持的格式并进行量化和加密，转换后的模型可运行在Android和嵌入式平台，且速度快，实时性高。

Ncnn：是一个为手机端极致优化的高性能神经网络前向计算框架。ncnn从设计之初就深刻考虑手机端的部署和应用，无第三方依赖，跨平台，手机端cpu的速度快于目前所有的已知的开源框架。基于ncnn，开发者能够将深度学习算法轻松移植到手机端高效执行。

参见图1-3，本实施例提供了一种基于全卷积网络的指纹图像质量判断方法，可以分为模型训练和模型预测两大部分；其步骤如下：

(1)挑选指纹样本并标注：挑选大量的用不同传感器采集的不同质量的指纹图像作为指纹样本，为每张图像标注标签，对质量较好的图像标注为0，对质量较差的图像标注为1；指纹样本包括：不同传感器采集的不同面积的图像、干手指采集的图像、正常手指采集的图像和湿手指采集的图像。每类的指纹图像样本的数量应相差不多，且应尽量覆盖更多的情况，否则容易导致过拟合和模型泛化能力差等问题。这里采用的学习方式为监督学习。其中，质量好的指纹图像纹路清晰，纹路不会过淡，没有粘连，也没有断裂和疤痕等干扰，指纹识别性能高；质量差的指纹图像纹路不清晰，或纹路过淡，或纹路粘连，或有断裂和疤痕等干扰，指纹识别性能低。

(2)指纹图像质量判断模型训练：这里选择用mxnet(深度学习)框架训练指纹图像质量判断模型，首先将指纹样本的大小进行调整到固定大小(例如64*64)并转换成深度学习框架训练所需的数据格式，得到训练样本，将训练样本输入到全卷积网络进行深度学习训练，在全卷积网络中选择一个合适的超参数，比如合适的优化器，设定合适的学习率，并制定合适的损失函数计算方式，不断调整卷积层的权值和偏置值参数，让损失函数不断下降；当损失函数不再下降时，停止训练，得到可用于指纹图像质量判断的模型，其中在训练过程中不断地尝试不同的优化器，不同的学习率和不同的损失函数，当损失函数值降到最低且模型的性能达到最高时，所采用的优化器、学习率和损失函数是合适的。一般采用的优化器为Adam，采用的初始学习率为0.01，采用的损失函数为交叉熵。其中全卷积网络包括5个卷积层和最后1个用于分类的softmax层，所述卷积层与softmax层之间采用flatten层连接。本发明的全卷积网络并未使用需要大量参数的全连接层，而是用flatten层代替全连接层，大大降低了参数量。所述卷积层中前4个卷积层采用的卷积核大小为3*3，填充方式为valid，步长为2；最后一个卷积层采用的卷积核大小为3*3，填充方式为valid，步长为1。

(3)指纹图像质量判断模型转换：将得到的指纹图像质量判断模型用ncnn转换工具转换成ncnn框架支持的模型，并进行量化和加密；这里的量化将参数储存类型直接由float32变成int8，不仅大大减小了模型大小，而且提高了模型前向传播的速度。具体的，量化就是将质量判断模型中每层的权值和偏置值用更低精度的数据类型进行存储，以float32量化成int8为例，就是统计每层权值和偏置值中的最大值和最小值，并把权值和偏置值均匀对应到0到255区间中。加密：质量判断模型的网络结构是明文可见的，很不安全，因此需要用ncnn的加密工具将明文转换成二进制文件隐藏起来，以上转换过程称为加密。量化后，模型更适合应用在Android和嵌入式平台。加密后，网络的框架更不容易被获得，更具有安全性。

(4)指纹图像质量判断：读取转换后的模型，将待预测的指纹图像传入模型，逐层读取模型的参数进行前向传播，最终得到质量判断结果。该图像质量判断结果是通过全卷积网络的softmax层计算得到的。这里的输入指纹图像可以为任意大小(应大于训练样本大小64*64)，最终得到多个分类结果，每个分类结果对应原始图像中某一块图像的质量。最终统计质量好的图像块的块数，当块数大于某一阈值时(例如总图像块数的60％)，判定该图像为质量好的图像，否则为质量差的图像。通过这种方式不仅可以判断整幅图像的质量，而且可以精确地知道图像中某块图像的质量。以160*160的图像为例，经过图像输入质量判断模型的前向预测得到7*7个分类结果，每个分类结果都对应原始图像中某一块图像的质量。为了应用于指纹识别模块，该预测函数是C语言实现的，同时也是基于ncnn框架的。

本发明将深度学习应用于指纹图像质量判断，采用自己设计的轻量型全卷积网络来训练指纹图像质量判断模型，该模型不仅鲁棒性好，而且所需参数少，占用空间小，前向传播速度快；对整幅指纹图像利用全卷积网络提取特征，而不是分块提取特征，却可以同时判断整幅图像的质量和所有图像块的质量，便于针对图像质量的不同情况进行后续处理，最终有益于提高指纹识别的性能；将质量判断模型转换成ncnn框架支持的模型，并将模型进行量化和加密，借助ncnn框架的特性，可以轻松地将模型运行在Android和嵌入式平台。

在指纹识别模块中，本发明的独特优势可以总结为：

1)不需要分块进行判断，只需要对整幅指纹图像进行质量判断，却可以同时判断整幅图像的质量和图像中每个单独块的质量，大大提高指纹图像质量判断速度的同时，又有利于后续根据指纹图像块质量进行不同处理，提高指纹识别的性能。

2)相较于传统的应用机器学习进行质量判断的方法，本发明采用基于深度学习的全卷积网络进行判断，判断准确率和鲁棒性均大大提高，不仅降低了整个指纹识别模块的拒真率也降低了认假率。

3)本发明采用自己设计的轻量型全卷积网络训练模型，后面又将模型转成ncnn框架支持的量化加密模型，判断速度快且对空间功耗要求低，特别适合应用于那些对速度要求高且条件受限的场合。

本发明在指纹识别技术中的应用：

1)指纹注册：对于无手指图像和质量很差的图像，在注册阶段不予注册，同时也可根据块质量，调整录入方式，加快整个注册流程。

2)指纹特征提取：在特征提取阶段，可通过图像质量挑选出那些质量很差的图像，对这部分图像不提取特征，或者对整幅图像的某些质量差的块不提取特征，或者用块质量来衡量所提取特征的置信度并应用于比对，以上措施均有利于提高指纹识别的速度和性能。

3)比对：在特征比对时不仅比对特征，也要考虑特征所在区域的图像质量，根据质量来衡量特征的置信度并进行相应的加分或减分，这样可以降低虚假特征对比对结果的影响，进一步降低拒真率和认假率。

本发明所提出的一种基于全卷积网络的指纹图像质量判断方法适合应用于指纹识别模块中，特别适合应用于Android和嵌入式等条件受限场合。因此，本发明所提出的技术适用于任何可以应用指纹识别模块进行识别的场合，如指纹考勤，指纹支付和指纹门锁等，可见本发明有很广阔的应用前景。

Claims (8)

1.一种基于全卷积网络的指纹图像质量判断方法，其步骤如下：

(1)挑选指纹样本并标注：挑选大量的用不同传感器采集的不同质量的指纹图像作为指纹样本，为每张图像标注标签，对质量较好的图像标注为0，对质量较差的图像标注为1；

(2)指纹图像质量判断模型训练：将指纹样本的大小进行调整并转换成深度学习框架训练所需的数据格式，得到训练样本，将训练样本输入到全卷积网络进行深度学习训练，得到指纹图像质量判断模型；

(3)指纹图像质量判断模型转换：将得到的指纹图像质量判断模型用ncnn转换工具转换成ncnn框架支持的模型，并进行量化和加密；

(4)指纹图像质量判断：读取转换后的模型，将待预测的指纹图像传入模型，逐层读取模型的参数进行前向传播，最终得到质量判断结果。

2.根据权利要求1所述的一种基于全卷积网络的指纹图像质量判断方法，其特征在于：步骤(1)中的指纹样本包括：不同传感器采集的不同面积的图像、干手指采集的图像、正常手指采集的图像和湿手指采集的图像。

3.根据权利要求1所述的一种基于全卷积网络的指纹图像质量判断方法，其特征在于：步骤(2)中的全卷积网络包括5个卷积层和最后1个用于分类的softmax层，所述卷积层与softmax层之间采用flatten层连接。

4.根据权利要求3所述的一种基于全卷积网络的指纹图像质量判断方法，其特征在于：所述卷积层中前4个卷积层采用的卷积核大小为3*3，填充方式为valid，步长为2；最后一个卷积层采用的卷积核大小为3*3，填充方式为valid，步长为1。

5.根据权利要求1至4任意一项所述的一种基于全卷积网络的指纹图像质量判断方法，其特征在于：步骤(2)中指纹图像质量判断模型训练时，在全卷积网络中选择一个合适的优化器，设定合适的学习率，并制定合适的损失函数计算方式，不断调整卷积层的权值和偏置值参数，让损失函数不断下降；当损失函数不再下降时，停止训练，得到可用于指纹图像质量判断的模型。

6.根据权利要求5所述的一种基于全卷积网络的指纹图像质量判断方法，其特征在于：步骤(3)中对转换后的模型进行量化是将参数储存类型直接由float32变成int8。

7.根据权利要求6所述的一种基于全卷积网络的指纹图像质量判断方法，其特征在于：步骤(4)中的图像质量判断结果是通过全卷积网络的softmax层计算得到的。

8.根据权利要求7所述的一种基于全卷积网络的指纹图像质量判断方法，其特征在于：步骤(4)中待预测的指纹图像为任意大小，可以得到多个分类结果，每个分类结果对应原始图像中某一块图像的质量，然后统计质量好的图像块的块数，当块数大于某一阈值时，判定该图像为质量好的图像，否则为质量差的图像。