CN108520225B - 一种基于空间变换卷积神经网络的指纹检测分类方法 - Google Patents
一种基于空间变换卷积神经网络的指纹检测分类方法 Download PDFInfo
- Publication number
- CN108520225B CN108520225B CN201810287218.8A CN201810287218A CN108520225B CN 108520225 B CN108520225 B CN 108520225B CN 201810287218 A CN201810287218 A CN 201810287218A CN 108520225 B CN108520225 B CN 108520225B
- Authority
- CN
- China
- Prior art keywords
- image
- fingerprint
- neural network
- fingerprint image
- convolutional neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000009466 transformation Effects 0.000 title claims abstract description 63
- 238000001514 detection method Methods 0.000 title claims abstract description 34
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 32
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 31
- 238000013528 artificial neural network Methods 0.000 claims abstract description 15
- 238000011176 pooling Methods 0.000 claims abstract description 14
- 238000012360 testing method Methods 0.000 claims abstract description 11
- 238000000605 extraction Methods 0.000 claims abstract description 7
- 238000005520 cutting process Methods 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 34
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 26
- 238000012549 training Methods 0.000 claims description 25
- 238000010586 diagram Methods 0.000 claims description 18
- 238000001914 filtration Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000009499 grossing Methods 0.000 claims description 4
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 238000007635 classification algorithm Methods 0.000 claims description 2
- 230000010339 dilation Effects 0.000 claims description 2
- 230000003628 erosive effect Effects 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 2
- 238000013519 translation Methods 0.000 abstract description 2
- 238000007781 pre-processing Methods 0.000 abstract 1
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 108010010803 Gelatin Proteins 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000008273 gelatin Substances 0.000 description 2
- 229920000159 gelatin Polymers 0.000 description 2
- 235000019322 gelatine Nutrition 0.000 description 2
- 235000011852 gelatine desserts Nutrition 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000003749 cleanliness Effects 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 210000002615 epidermis Anatomy 0.000 description 1
- 229920000126 latex Polymers 0.000 description 1
- 239000004816 latex Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 239000003921 oil Substances 0.000 description 1
- 239000012188 paraffin wax Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006722 reduction reaction Methods 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 239000000741 silica gel Substances 0.000 description 1
- 229910002027 silica gel Inorganic materials 0.000 description 1
- 229920002379 silicone rubber Polymers 0.000 description 1
- 210000003491 skin Anatomy 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 210000004243 sweat Anatomy 0.000 description 1
- 230000014616 translation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/1347—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/1365—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Collating Specific Patterns (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于空间变换卷积神经网络的指纹检测分类方法，该指纹检测分类方包括指纹图像提取感兴趣区域预处理、图像高频区域提取，图像空间变换处理以及卷积神经网络分类训练和测试。其中，指纹图像提取感兴趣区域预处理通过提取图像中指纹部分，去除空白区域；高频区域提取是通过高斯高通滤波器提取图像高频特征；图像空间变换处理是使用空间变换神经网络对输入图像做平移、裁剪、旋转操作，从而实现对图像数据的扩充；卷积神经网络采用多层卷积池化，并使用了不同大小的卷积核提取图像特征，在测试集上得到了很好的分类检测效果。本发明提供了一种成本低、检测精度高、耗时短的指纹检测方法。
Description
技术领域
本发明属于模式识别技术领域，尤其涉及一种基于空间变换卷积神经网络的指纹检测分类方法。
背景技术
目前指纹识别系统在金融、门禁及人员管理等诸多领域发挥着巨大的作用，指纹检测技术被广泛应用于手机解锁、指纹考勤等领域。然而，人类指纹极易被伪造，仅仅使用明胶、石蜡等材料就可以制造出足以欺骗指纹识别系统的人造指纹，这对人身和财产安全带来了很大的安全隐患。
现有的指纹检测技术可分为两类。第一类是基于硬件的方案，该方案通过在指纹识别器中安装一些传感器设备采集手指表皮温度，导电率及脉搏等信息，通过组合这些信息来识别真假指纹。现有的一些指纹检测系统使用射频技术对指纹信息进行收集，通过穿透手指表皮收集真皮层的指纹图像，这样可以杜绝大部分的假指纹。虽然基于硬件的指纹检测系统都有着较高的检测精度，然而，硬件指纹检测系统对环境的要求高，对手指的湿度、清洁度等很敏感，油、脏手指极易造成识别不了或识别错误的结果。同时，这样的系统依赖于硬件，采集完整的生物信息需要系统安装多种传感器设备，增加了系统整体的制作成本。
第二类是基于软件的方案。通过提取分析指纹图像的纹理结构，弹性属性等静态特征，或通过分析处理同一时间段内两张连续的指纹图像，得到其时间压力变化、汗液信号等动态特征，由于真假指纹在此类特征中具有一定的差异，所以可以利用这些特征对真假指纹进行分类。目前卷积神经网络是计算机视觉和图像识别的一个重要领域，它通过计算机模拟生物的思维方式进行计算。通过卷积神经网络能够有效地进行对象检测与识别，因而也被用于指纹检测上。但是，卷积神经网络十分依赖于提供的图像数据，需要大量的数据进行训练，目前卷积神经网络训练过程复杂，数据量十分大，也造成了训练时间长，时间成本高。
发明内容
发明目的：针对以上现有技术存在的问题和不足，本发明提出一种基于空间变换卷积神经网络的指纹检测分类方法，通过该方法，可以降低指纹分类检测成本，提高指纹分类检测的精度，减少指纹的分类检测时间。
技术方案：为实现上述发明的目的，本发明所采用的技术方案是：一种基于空间变换卷积神经网络的指纹检测分类方法，包括如下步骤：
(1)从指纹训练集数据中提取指纹图像感兴趣区域；
(2)通过高通滤波器对指纹图像进行处理；
(3)对指纹图像进行空间变换处理；
(4)将空间变换后的图像输入到卷积神经网络计算得到预测值，由分类算法比对预测结果与图像标签差异，对卷积神经网络的网络参数进行训练；
(5)从指纹测试集数据中提取指纹图像感兴趣区域；
(6)通过高通滤波器对指纹图像进行处理；
(7)对指纹图像进行空间变换处理；
(8)将空间变换后的图像输入到步骤(4)训练好的卷积神经网络中，得到输出值，将其转化为分类结果后与图像标签比对，得到分类的准确性。
其中，在步骤(1)中，提取指纹图像感兴趣区域的方法下：
(1.1)使用Sobel算子计算指纹图像各像素水平和垂直方向上的梯度大小；
(1.2)使用低通滤波器平滑图像，对指纹图像去噪，然后对指纹图像二值化；
(1.3)对二值化后的指纹图像进行形态学操作，消除二值化图像中的缝隙；
(1.4)使用腐蚀和膨胀操作处理二值化图像中存在的斑点；
(1.5)提取指纹的轮廓，求轮廓的最小外接矩形，在原始指纹图像上截取得到最终图像。
其中，使用如下公式对指纹图像进行各点梯度计算：
其中Gx及Gy分别代表经横向及纵向边缘检测的图像灰度值，A代表输入的图像矩阵，G表示梯度大小，θ表示梯度方向。
其中，在步骤(2)中，通过高通滤波器对指纹图像进行处理的方法如下：
(2.1)对指纹图像做傅里叶变换，并进行中心化处理，取处理结果的绝对值；
(2.2)设定终止频率D0，计算频率域各点到(2.1)处理后的图像中心点的距离，通过高通滤波器计算转换后的指纹图像矩阵；
(2.3)对得到的矩阵做傅里叶逆变换，做去中心化处理，取处理结果的绝对值。
其中，使用如下高通滤波器进行滤波处理：
其中D(u，v)为频率域上(u，v)点到处理后图像中心点的距离，D0为终止频率。
其中，在步骤(3)中，对指纹图像进行空间变换处理方法如下：
(3.1)将获取的指纹图像转为像素范围为0～1，图像宽和高均为224的灰度图像；
(3.2)构建局部卷积神经网络，将(3.1)转换的图像输入到局部卷积神经网络进行训练，局部卷积神经网络中的参数即为需要训练的参数，用于调整仿射变换矩阵；
(3.3)通过仿射变换对指纹图像进行裁剪，平移，旋转操作，局部网络将仿射变换矩阵的参数训练完全时，将仿射矩阵与指纹图像矩阵相乘求得空间变换的结果。
其中，由于直接用仿射矩阵对原图像进行求解会出现非整数，因此考虑逆向反射变换，根据仿射变换的输出大小生成空坐标矩阵，然后将图像与仿射变换矩阵相乘，通过坐标映射填补空坐标矩阵中的像素，最终得到输出的空间变换图像。
其中，在步骤(4)中，使用卷积神经网络对指纹图像进行检测分类方法如下：
(4.1)经过一个空间变换层，对输入的指纹图像进行空间变换；
(4.2)空间转换后，使用3×3卷积核对上层输出进行卷积，然后对其进行池化处理；
(4.3)使用不同的卷积核对指纹图像进行两次特征提取，得到不同卷积核提取到的特征集合；
(4.4)步骤(4.3)之后对输出做卷积和池化操作，得到一个池化层特征图；
(4.5)继续对池化层特征图做一次3×3卷积操作，降低其通道数，得到一个卷积层特征图；
(4.6)将特征图改变维度后输入两个连续的全连接层，最终输出指纹图像的检测分类结果。
有益效果：本发明公开的指纹检测方法具有轻量级的特点，计算量小，能够应用于各类移动终端，在指纹分类检测时，成本更低、检测精度更高、耗时更短。
附图说明
图1为指纹图像检测算法框架图；
图2为指纹区域提取前后对比图；
图3为高通滤波处理后的图像；
图4为空间变换处理前后指纹图像对比图；
图5为神经网络结构图；
图6为GoogleNet中的Inception Module结构图。
具体实施方式
下面结合附图和具体实施例，对本发明做进一步说明。
本发明所用的指纹数据来自于国际指纹活性检测竞赛LivDet2013提供的图像库。该指纹图像数据库包含四个数据集，分别使用Biometric、CrossMatch、Italdata、Swipe四种传感器进行指纹图像采集；制作假指纹的材料包括硅橡胶、明胶、乳胶、树脂、多彩泥、Modasil、硅胶7种材料。在本发明实现中，采用分布式的TensorFlow架构，结合python语言进行编程试验，Tensorflow架构使用图描述计算过程，通过构建和运行图即可实现对数据的计算。图像库的图像分为训练库和测试库，分别用来训练和测试分类器，图像库的情况如表1所示：
表1 LivDet2013指纹图像数据库基本信息
附图1所示的是本发明公开的一种基于空间变换卷积神经网络的指纹检测分类方法检测算法框架，其步骤如下：
(1)指纹感兴趣区域提取：指纹感兴趣区域提取用来提取指纹图像中的指纹部分，减少干扰因素，使用sobel算子对图像进行各点梯度计算，从而实现边缘检测，得到图片轮廓后，计算其最小外接矩形，通过裁剪得到感兴趣区域。Sobel算子边缘检测算法如下：
其中Gx及Gy分别代表经横向及纵向边缘检测的图像灰度值，A代表输入的图像矩阵，G表示梯度大小，θ表示梯度方向。
由附图2可知，指纹感兴趣区域提取后，图像集中表现为指纹部分，而大部分白色区域则被去除，这样大大减少了白色区域在特征学习过程中对分类器的干扰，由此，指纹区域提取出的内容将有利于后续步骤的进行，其中，指纹感兴趣区域提取步骤如下：
(1.1)使用Sobel算子计算指纹图像各像素水平和垂直方向上的梯度大小；
(1.2)对指纹图像去噪，使用低通滤波器平滑图像，用来平滑图像中的高频噪声，然后对指纹图像二值化；
(1.3)二值化后的指纹图像存在缝隙，对其进行形态学操作，用于消除二值化图像中的缝隙；
(1.4)处理后的二值化指纹图像中仍然存在斑点，使用腐蚀和膨胀操作继续处理二值化图像中存在的斑点；
(1.5)提取指纹的轮廓，求轮廓的最小外接矩形，通过在原图上截取得到最终图像。
(2)指纹图像高通滤波处理：高通滤波处理用来提取指纹图像中高频部分，关注的是图像的边缘区域，将指纹图像转化为灰度图像，完成从空间域到频率域的转换，选取预设的终止频率D0，高通滤波器算法如下：
其中D(u，v)为频率域上(u，v)点到中心的距离，D0为终止频率。
由附图3可知，经高通滤波处理后的图像，提取了原图像的边缘部分，需要选取预设合适的终止频率D0，使得指纹图像提取的边缘部分更加明显。指纹图像高通滤波处理步骤如下：
(2.1)对指纹图像做傅里叶变换，并做中心化处理，取其绝对值。
(2.2)设定终止频率D0，计算频率域各点到中心点位置，根据公式(2)计算转换后的矩阵；
(2.3)对得到的矩阵做傅里叶逆变换，做去中心化处理，取其绝对值；
(2.4)对于终止频率D0，选取几组特定的值进行测试，经高通滤波处理后图像如附图3所示，可以看出D0当为20时，较其它图像而言更能表现边缘部分特征，故本实验中采用D0＝20。
(3)空间变换处理：使用空间变换网络对图像仿射变换参数进行调优，将获取的图像转为像素值范围为0～1，图像宽和高均为224的灰度图像输入空间变换神经网络，用该网络训练对图像进行仿射变换的仿射矩阵参数，从而实现对图像的空间变换。图像进行仿射变换的公式如下：
其中(xsource，ysource)表示原坐标像素点，(xtarget，ytarget)表示变换后对应的坐标像素点，
即为图像变换的仿射矩阵。其中，构建的空间变换网络用来对仿射矩阵中的参数进行训练，使得卷积神经网络能够自适应地对数据进行空间变换和对齐、平移、放大、缩小、旋转操作，空间变换处理步骤如下：
(3.1)将获取的指纹图像转为像素范围为0～1，图像宽和高均为224的灰度图像；
(3.2)将(3.1)转换的图像输入到局部网络进行训练，局部网络中的参数即为需要训练的参数，用于调整仿射变换矩阵；
(3.3)通过仿射变换对指纹图像进行裁剪，平移，旋转操作，局部网络将仿射变换矩阵的参数训练完全时，将仿射矩阵与指纹图像矩阵相乘求得空间变换的结果。
其中，由于直接用仿射矩阵对原图像进行求解会出现非整数，因此使用逆向反射变换，根据仿射变换的输出大小，先生成输出的坐标网格点，然后对其做仿射变换。
(4)卷积神经网络分类：通过训练网络参数实现对结果的预测，将空间变换后得到的矩阵输入卷积神经网络，所使用的网络结构参数如表2所示，其中添加了空间变换层用以对特征进行空间转换，还采用了GoogleNet中的Inception Module，其参数如表3所示，它能够强化卷积单元的特征提取能力，并且Inception Module采用不同大小的卷积核进行特征提取，如附图6所示，这样能够得到不同层次的图像特征。在该模块中添加了BN(BatchNormalization)层，该层使用BN算法对输入特征做归一化处理，保证每层的输入数据分布是稳定的，从而达到加速训练的目的。本发明所用网络结构如附图5所示，具体步骤如下：
(4.1)首先经过一个空间变换层，对输入的指纹图像进行空间变换；
(4.2)空间转换后，使用3×3卷积核对上层输出进行卷积，然后对其进行池化处理；
(4.3)然后是两次Inception Module模块计算，得到不同卷积核提取到的特征集合；Inception Module的具体参数如表3所示；
(4.4)步骤(4.3)之后对输出做卷积和池化操作，得到一个池化层特征图；
(4.5)继续对池化层特征图做一次3×3卷积操作，降低其通道数，得到一个卷积层特征图；
(4.6)将特征图改变维度后输入两个连续的全连接层，最终输出预测结果。
其中，使用训练集数据进行神经网络训练时，使用交叉熵损失函数计算(4.6)的输出与图像标签的差异，通过调整网络参数使得该损失函数的值收敛即认为网络训练完全。
表2卷积神经网络参数表
| filter | stride | out put_size | num_output | |
| Gonv1 | 3×3 | 1 | (224，224) | 64 |
| Pool 1 | 2×2 | 2 | (112，112) | 64 |
| Gonv2 | 3×3 | 1 | (112，112) | 128 |
| Pool 2 | 2×2 | 2 | (56，56) | 128 |
| IM1 | - | - | (56，56) | 256 |
| IM2 | - | - | (56，56) | 256 |
| Gonv3 | 3×3 | 1 | (56，56) | 512 |
| Pool 3 | 2×2 | 2 | (28，28) | 512 |
| Gonv4 | 3×3 | 1 | (28，28) | 256 |
| FC1 | - | - | - | 2048 |
上述表2中，filter为卷积核大小，stride为卷积操作时的移动步长，output_size为每层输出特征图的大小，num_output为输出通道数。
表3 Inception Module参数表
| filter | stride | num_output | |
| maxpool | 2×2 | 2 | - |
| Gonv1_1 | 1×1 | 1 | 64 |
| Bn1a | - | - | 64 |
| Gonv2_1 | 3×3 | 1 | 64 |
| Bn2_1 | - | - | 64 |
| Gonv2_2 | 3×3 | 1 | 64 |
| Bn2_2 | - | - | 64 |
| Gonv3_1 | 3×3 | 1 | 64 |
| Bn3_1 | - | - | 64 |
| Gonv3_2 | 3×3 | 1 | 64 |
| Bn3_2 | - | - | 64 |
| Gonv3_3 | 3×3 | 1 | 64 |
| Bn3_3 | - | - | 64 |
| Maxpool4_1 | 3x3 | 1 | 64 |
| Gonv4_1 | 3x3 | 1 | 64 |
| Bn4_1 | - | - | 64 |
| concate | - | - | 256 |
将真假指纹图像训练集经(1)、(2)、(3)步骤处理后输入到空间变换卷积神经网络进行训练，通过卷积池化全连接等网络层处理，神经网络能够计算出输入的指纹图像为真或为假的概率，损失函数通过比对这个概率与图像标签的相差程度得到一个损失值，当损失函数收敛时，即认为卷积神经网络训练完全；对指纹图像的测试集进行(1)、(2)、(3)步骤处理，然后输入到训练好的空间变换卷积神经网络，得到输出值，将输出值的概率值转化为对指纹真假的判定值，与测试集的标签比对后得到检测精度。分别对CrossMatch、Biometric、Italdata、Swipe不同传感器收集的图像集进行训练和测试，得到的结果如表4所示：
表4实验结果
| 传感器 | CrossMatch | Biometric | ltaldata | Swipe |
| 正确率(％) | 93.02 | 97.2 | 98.7 | 95.7 |
Claims (7)
1.一种基于空间变换卷积神经网络的指纹检测分类方法，其特征在于，包括如下步骤：
(1)从指纹训练集数据中提取指纹图像感兴趣区域；
(2)通过高通滤波器对指纹图像进行处理；
(3)对指纹图像进行空间变换处理；
(4)将空间变换后的图像输入到卷积神经网络计算得到预测值，由分类算法比对预测结果与指纹图像标签差异，对卷积神经网络的网络参数进行训练；
(5)从指纹测试集数据中提取指纹图像感兴趣区域；
(6)通过高通滤波器对指纹图像进行处理；
(7)对指纹图像进行空间变换处理；
(8)将空间变换后的图像输入到步骤(4)训练好的卷积神经网络中，得到输出值，将其转化为分类结果后与指纹图像标签比对，得到分类的准确率；
在步骤(3)和步骤(7)中，对指纹图像进行空间变换处理方法如下：
(3.1)将获取的指纹图像转为像素范围为0～1，图像宽和高均为224个像素数量的灰度图像；
(3.2)构建局部卷积神经网络，将(3.1)转换的图像输入到局部卷积神经网络进行训练，局部卷积神经网络中的参数即为需要训练的参数，用于调整仿射变换矩阵；
(3.3)通过仿射变换对指纹图像进行裁剪，平移，旋转操作，局部卷积神经网络将仿射变换矩阵的参数训练完全时，将仿射变换矩阵与指纹图像矩阵相乘求得空间变换的结果。
2.根据权利要求1所述的基于空间变换卷积神经网络的指纹检测分类方法，其特征在于，在步骤(1)和步骤(5)中，提取指纹图像感兴趣区域的方法下：
(1.1)使用Sobel算子计算指纹图像各像素水平和垂直方向上的梯度大小，获得指纹梯度图像；
(1.2)使用低通滤波器平滑指纹梯度图像，对指纹梯度图像去噪，然后对指纹梯度图像二值化；
(1.3)对二值化后的指纹梯度图像进行形态学操作，消除二值化图像中存在的缝隙；
(1.4)使用腐蚀和膨胀操作处理二值化图像中存在的斑点；
(1.5)提取二值化图像中指纹的轮廓，求轮廓的最小外接矩形，在原始指纹图像上截取得到最终图像。
3.根据权利要求2所述的基于空间变换卷积神经网络的指纹检测分类方法，其特征在于，使用如下公式对指纹图像进行梯度计算：
其中Gx及Gy分别代表经横向及纵向边缘检测的图像灰度值，A代表输入的图像矩阵，G表示梯度大小，θ表示梯度方向。
4.根据权利要求1所述的基于空间变换卷积神经网络的指纹检测分类方法，其特征在于，在步骤(2)和步骤(6)中，通过高通滤波器对指纹图像进行处理的方法如下：
(2.1)对指纹图像做傅里叶变换，并进行中心化处理，取处理结果的绝对值；
(2.2)设定终止频率D0，计算频率域各点到(2.1)处理后的图像中心点的距离，通过高通滤波器计算转换后的指纹图像矩阵；
(2.3)对得到的矩阵做傅里叶逆变换，去中心化处理，取处理结果的绝对值。
5.根据权利要求4所述的基于空间变换卷积神经网络的指纹检测分类方法，其特征在于，使用如下高通滤波器进行滤波处理：
其中D(u,v)为频率域上(u,v)点到处理后的图像中心点的距离，D0为终止频率。
6.根据权利要求1所述的基于空间变换卷积神经网络的指纹检测分类方法，其特征在于，根据仿射变换的输出大小生成空坐标矩阵，然后将图像与仿射变换矩阵相乘，通过坐标映射填补空坐标矩阵中的像素，最终得到输出的空间变换图像。
7.根据权利要求1所述的基于空间变换卷积神经网络的指纹检测分类方法，其特征在于：在步骤(4)和步骤(8)中，使用卷积神经网络对指纹图像进行预测计算的方法如下：
(4.1)经过一个空间变换层，对输入的指纹图像进行空间变换；
(4.2)空间变换后，使用3×3卷积核对上层输出进行卷积，然后对其进行池化处理；
(4.3)使用不同的卷积核对指纹图像进行两次特征提取，得到使用不同卷积核提取到的特征集合；
(4.4)步骤(4.3)之后对输出做卷积和池化操作，得到一个池化层特征图；
(4.5)继续对池化层特征图做一次3×3卷积操作，降低其通道数，得到一个卷积层特征图；
(4.6)将特征图改变维度后输入两个连续的全连接层，最终输出指纹图像的检测结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810287218.8A CN108520225B (zh) | 2018-03-30 | 2018-03-30 | 一种基于空间变换卷积神经网络的指纹检测分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810287218.8A CN108520225B (zh) | 2018-03-30 | 2018-03-30 | 一种基于空间变换卷积神经网络的指纹检测分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108520225A CN108520225A (zh) | 2018-09-11 |
| CN108520225B true CN108520225B (zh) | 2021-07-27 |
Family
ID=63431705
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810287218.8A Active CN108520225B (zh) | 2018-03-30 | 2018-03-30 | 一种基于空间变换卷积神经网络的指纹检测分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108520225B (zh) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109377601B (zh) * | 2018-09-26 | 2021-07-30 | 南京溧水高新产业股权投资有限公司 | 一种基于指纹识别的智能办公室门禁系统 |
| CN109671094B (zh) * | 2018-11-09 | 2023-04-18 | 杭州电子科技大学 | 一种基于频域分级的眼底图像血管分割方法 |
| CN109635660A (zh) * | 2018-11-13 | 2019-04-16 | 北京集创北方科技股份有限公司 | 指纹传感系统的检测方法 |
| CN109598216B (zh) * | 2018-11-23 | 2022-04-19 | 南方电网科学研究院有限责任公司 | 一种基于卷积的射频指纹特征提取方法 |
| CN109711275A (zh) * | 2018-12-05 | 2019-05-03 | 湖北凯瑞知行智能装备有限公司 | 一种电厂作业过程安全风险采集辨识系统及方法 |
| US11263419B2 (en) * | 2018-12-11 | 2022-03-01 | Shanghai Harvest Intelligence Technology Co., Ltd | Biometric analysis structure, method and neural network with coded mask |
| CN111310514A (zh) * | 2018-12-11 | 2020-06-19 | 上海耕岩智能科技有限公司 | 编码遮罩生物特征重建方法及存储介质 |
| CN109711308B (zh) * | 2018-12-19 | 2021-06-01 | 北京集创北方科技股份有限公司 | 指纹组件、电子设备及其指纹信号处理方法 |
| CN110223266A (zh) * | 2019-03-08 | 2019-09-10 | 湖南工业大学 | 一种基于深度卷积神经网络的列车轮对踏面损伤故障诊断方法 |
| CN112437926B (zh) * | 2019-06-18 | 2024-05-31 | 神经技术Uab公司 | 使用前馈卷积神经网络的快速鲁棒摩擦脊印痕细节提取 |
| CN110378912B (zh) * | 2019-07-12 | 2021-11-16 | 深圳码隆科技有限公司 | 包裹检测方法、装置、计算机可读存储介质和计算机设备 |
| CN110490107A (zh) * | 2019-08-06 | 2019-11-22 | 北京工商大学 | 一种基于胶囊神经网络的指纹识别技术 |
| CN111242235B (zh) * | 2020-01-19 | 2023-04-07 | 中科(厦门)数据智能研究院 | 一种相似特征测试数据集生成方法 |
| CN111709272B (zh) * | 2020-04-26 | 2023-05-16 | 中国科学院信息工程研究所 | 一种基于小面积指纹的指纹采集方法、身份认证方法及电子装置 |
| CN113673666B (zh) * | 2020-05-13 | 2023-05-23 | 北京君正集成电路股份有限公司 | 一种基于宠物检测的二层标注的网络结构的设计方法 |
| CN113128364B (zh) * | 2021-03-31 | 2024-02-02 | 杭州电子科技大学 | 一种基于深度神经网络编码的指纹生物密钥生成方法 |
| CN113158583B (zh) * | 2021-05-24 | 2023-05-16 | 南京信息工程大学 | 一种端到端的基于深度学习的文本图像水印模型建立方法 |
| CN114694187A (zh) * | 2022-03-25 | 2022-07-01 | 上海大学 | 一种基于频谱的指纹纹理特征提取方法 |
| CN115841685B (zh) * | 2023-02-15 | 2023-05-12 | 南京信息工程大学 | 一种基于复合像元梯度的伪造指纹检测系统及方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101408932A (zh) * | 2008-04-11 | 2009-04-15 | 浙江师范大学 | 一种基于指纹结构特征与纹理分析的指纹图像匹配方法 |
| CN105303179A (zh) * | 2015-10-28 | 2016-02-03 | 小米科技有限责任公司 | 指纹识别方法、装置 |
| CN108564040A (zh) * | 2018-04-17 | 2018-09-21 | 杭州景联文科技有限公司 | 一种基于深度卷积特征的指纹活性检测方法 |
-
2018
- 2018-03-30 CN CN201810287218.8A patent/CN108520225B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101408932A (zh) * | 2008-04-11 | 2009-04-15 | 浙江师范大学 | 一种基于指纹结构特征与纹理分析的指纹图像匹配方法 |
| CN105303179A (zh) * | 2015-10-28 | 2016-02-03 | 小米科技有限责任公司 | 指纹识别方法、装置 |
| CN108564040A (zh) * | 2018-04-17 | 2018-09-21 | 杭州景联文科技有限公司 | 一种基于深度卷积特征的指纹活性检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108520225A (zh) | 2018-09-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108520225B (zh) | 一种基于空间变换卷积神经网络的指纹检测分类方法 | |
| CN108492272B (zh) | 基于注意力模型及多任务神经网络的心血管易损斑块识别方法及系统 | |
| CN104392463B (zh) | 一种基于联合稀疏多尺度融合的图像显著区域检测方法 | |
| CN109919960B (zh) | 一种基于多尺度Gabor滤波器的图像连续边缘检测方法 | |
| CN112990314B (zh) | 基于改进孤立森林算法的高光谱图像异常检测方法及装置 | |
| Veeramuthu et al. | Brain image classification using learning machine approach and brain structure analysis | |
| Valliammal et al. | A novel approach for plant leaf image segmentation using fuzzy clustering | |
| CN111815640B (zh) | 一种基于忆阻器的rbf神经网络医学图像分割算法 | |
| CN104794440A (zh) | 一种基于多分块多尺度lbp的假指纹检测方法 | |
| Priya et al. | An efficient image segmentation and classification of lung lesions in pet and CT image fusion using DTWT incorporated SVM | |
| CN105405138A (zh) | 基于显著性检测的水面目标跟踪方法 | |
| Farouk et al. | Microarray spot segmentation algorithm based on integro-differential operator | |
| Li et al. | Research on a product quality monitoring method based on multi scale PP-YOLO | |
| CN110516666B (zh) | 基于mser和isodata相结合的车牌定位方法 | |
| CN111539910A (zh) | 锈蚀区域检测方法及终端设备 | |
| CN111666813B (zh) | 基于非局部信息的三维卷积神经网络的皮下汗腺提取方法 | |
| CN111127407B (zh) | 一种基于傅里叶变换的风格迁移伪造图像检测装置及方法 | |
| Deng et al. | A novel framework for classifying leather surface defects based on a parameter optimized residual network | |
| CN109753912B (zh) | 一种基于张量的多光谱掌纹匹配方法 | |
| CN111652287A (zh) | 基于卷积深度神经网络的ad量表手绘交叉五边形分类方法 | |
| CN116310569A (zh) | 一种基于鲁棒纹理特征的乳腺病变检测与分类装置 | |
| Speir et al. | Frequency filtering to suppress background noise in fingerprint evidence: Quantifying the fidelity of digitally enhanced fingerprint images | |
| CN106803102B (zh) | 一种基于svr模型的自适应区域池化物体检测方法 | |
| CN110751189B (zh) | 一种基于感知对比度和特征选择的椭圆检测方法 | |
| CN114677530A (zh) | 一种基于小波形状描述子的聚类算法有效性评价方法、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220421 Address after: 210000 room 2003-2004, block B, Kechuang 1 building, No. 320, pubin Road, Nanjing area, Jiangsu Free Trade Zone, Nanjing, Jiangsu Province Patentee after: Jiangsu Xinda digital forensics Information Security Technology Research Institute Co.,Ltd. Address before: 210044, No. 219, Ning six road, Pukou District, Jiangsu, Nanjing Patentee before: NANJING University OF INFORMATION SCIENCE & TECHNOLOGY |
|
| TR01 | Transfer of patent right |