CN116311391A - 一种高低精度混合的多维度特征融合指纹检索方法 - Google Patents
一种高低精度混合的多维度特征融合指纹检索方法 Download PDFInfo
- Publication number
- CN116311391A CN116311391A CN202310245614.5A CN202310245614A CN116311391A CN 116311391 A CN116311391 A CN 116311391A CN 202310245614 A CN202310245614 A CN 202310245614A CN 116311391 A CN116311391 A CN 116311391A
- Authority
- CN
- China
- Prior art keywords
- fingerprint
- minutiae
- points
- feature
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000004927 fusion Effects 0.000 title claims abstract description 31
- 230000009466 transformation Effects 0.000 claims abstract description 30
- 238000012216 screening Methods 0.000 claims abstract description 24
- 238000013519 translation Methods 0.000 claims abstract description 24
- 238000001914 filtration Methods 0.000 claims abstract description 16
- 238000004364 calculation method Methods 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 230000004044 response Effects 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 22
- 238000004422 calculation algorithm Methods 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 12
- 238000002156 mixing Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 8
- 230000007246 mechanism Effects 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 4
- 230000036039 immunity Effects 0.000 claims description 3
- 238000004088 simulation Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 230000009467 reduction Effects 0.000 claims description 2
- 238000010187 selection method Methods 0.000 claims description 2
- 238000010845 search algorithm Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 238000011156 evaluation Methods 0.000 description 5
- 238000012795 verification Methods 0.000 description 4
- 230000035515 penetration Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000002035 prolonged effect Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001125 extrusion Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/1365—Matching; Classification
- G06V40/1371—Matching features related to minutiae or pores
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5862—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Library & Information Science (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Collating Specific Patterns (AREA)
Abstract
本发明公开了一种高低精度混合的多维度特征融合指纹检索方法。该方法包括：对细节点数据进行预处理并构建指纹细节点图像；构建基于多维度特征融合的ORB快速指纹检索模型；定位指纹图像细节特征点并修正，融入方向角、响应大小等多维度特征；通过尺度金字塔变换、中心和方向角计算、提取二进制描述符、过滤低相关性像素块来生成特征点描述符；以特征点描述符来对指纹进行匹配；针对更高精度的指纹筛选需求，提出旋转平移变换差值法来提升准确率。本发明的有益效果为将指纹细节点的匹配检索问题转化为图像特征点的匹配检索问题，在低时空复杂度的设置下执行大规模指纹检索，并提出改进策略以实现高低精度混合指纹检索。
Description
技术领域
本发明涉及一种高低精度混合的多维度特征融合指纹检索方法，属于指纹检索、指纹识别领域。
背景技术
在生物特征识别领域，指纹作为最具独特性与持久性的生物特征之一，被广泛应用于身份识别。指纹识别技术日益成熟,在各行各业均有相关应用，无论是公安部门的身份认证，还是日常生活中的工作考勤、智能设备，都可以看到它的身影。
指纹识别技术主要以两种方式落地应用：指纹验证和指纹检索。指纹验证更多应用于智能设备、门禁系统等场景，其强调的是将所采集的用户指纹与设备中所保存的指纹进行一对一的比对，从而确认所采集的指纹的用户身份。而指纹检索更多应用于金融、公安等场景，其强调的是将所采集的用户指纹与系统中的所有指纹进行一对多的比对，从而寻找出于所采集的指纹相匹配的指纹的过程。
在具体的技术步骤中，指纹识别的过程分为特征提取和特征比对这两个环节，其中特征提取环节会提取用于指纹识别的指纹特征，而特征比对则是将两幅指纹图像中的“同一性”进行评价。而在特征比对环节，手指每次录取指纹时会受到季节、污垢、形变、角度、位置等因素的影响，且当用户基数越大时，指纹检索的效率越至关重要，所以如何能够精准、快速地识别出相同用户的指纹成为了当前指纹匹配研究的重点，如何设计高效精准的搜索算法也成为了大规模指纹检索的关键问题。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
针对上述问题，本发明提出了一种高低精度混合的多维度特征融合指纹检索方法，在低时间成本、空间成本和低设备配置要求的情况下，提升了指纹检索的准确性，实现大规模指纹检索的“粗筛”；并在极高精度要求下提出旋转平移变换差值法，进一步提升指纹检索的准确性，实现大规模指纹检索的“细筛”，完成高低混合精度的指纹检索过程。
为达到上述发明创造目的，本发明采用如下技术方案：一种高低精度混合的多维度特征融合指纹检索方法，其包括对细节点数据进行预处理并构建指纹细节点图像；构建基于多维度特征融合的ORB快速指纹检索模型；定位指纹图像细节特征点并修正，融入方向角、响应大小等多维度特征；通过尺度金字塔变换、中心和方向角计算、提取二进制描述符、过滤低相关性像素块来生成特征点描述符；以特征点描述符来对指纹进行匹配；对指纹检索模型的时间复杂度、空间复杂度进行计算，并对每枚指纹占据的空间进行说明；针对更高精度的指纹筛选需求，提出旋转平移变换差值法来提升准确率。
具体步骤如下：
步骤1、对细节点数据进行预处理，生成指纹细节点图像；
步骤2、建立基于多维度特征融合的ORB快速指纹检索模型，融入方向角、响应大小等多维度指纹特征，对指纹细节点图像进行匹配检索；
步骤3、构建旋转平移变换差值模型，将步骤2筛选出的指纹特征点进一步精筛，满足高过滤水平、高精度要求下的指纹检索需求。
步骤4、对指纹检索模型的时间复杂度、空间复杂度、内存空间占用进行计算，并对每枚指纹占据的空间进行说明。
步骤5、设置避免筛除掉“同一”指纹的机制。
作为本发明所述指纹检索算法的一种优选方案，其中：细节点数据进行预处理包括，对每个包含细节点数量、X坐标、Y坐标、方向角的指纹细节点数据，构建细节点数量及相应数量的(x,y,θ)三元组，为每个指纹编号生成一张指纹细节点分布图，在这些点的基础上，对其进行适当的延长，延长的方向即为该点的方向。对每个方向角为θ的细节点a，求解其延长方向点b，控制延长长度为l＝1，b点坐标(xb,yb)求解公式如下式所示：
将求解出的b点与a点进行连线，展示在指纹细节点分布图上，构建指纹细节点图像。
作为本发明所述指纹检索算法的一种优选方案，其中：构建基于多维度特征融合的ORB(Oriented Fast and Rotated Brief，定向快速旋转描述)快速指纹检索模型包括，对80％至97％的指纹过滤水平进行低精度指纹“粗筛”，提取指纹细节点图像的特征点，其区别于图像的其他位置的普通点，并且与它邻域的像素差别较大。为了进一步提升效率，在检测的时候先检查像素点周围四个方向的4个示例像素，用以快速排除普通点。
通过每个细节点的(x.y)坐标来进行修正，使得特征点与指纹细节点尽可能多地对应。为每一个特征点新融入响应大小这一个维度，设置一个打分函数V，计算公式如下式所示：
其中Ip为细节点p的亮度，Ii为细节点p周围点的亮度，i为细节点p周围的点。
筛选出得分较小的特征点并去除。假设同一指纹产生的旋转角度为θall，细节点i在两幅指纹图像中的角度为θi1和θi2，则必然满足下式：
其中γ为阈值，n为细节点数量。
对每幅指纹图像按照尺度进行缩小，对图像做降采样，并对每个尺寸的指纹图像执行上述特征点选择方法。
为每个指纹图像的特征点构建一个融入周围邻域像素信息的描述符，使用二进制表示，采用二级制、位异或运算来加快描述符生成过程，构建过程如下式所示：
其中τ为二进制测试，p为特征点，n为邻域内选取的点的数量，xi和yi为特征点邻域内随机选取的点。使用高斯核平滑图像来增强模型的抗噪能力，将特征点的主方向融入到描述符中，构建方向角θ以及对应的旋转矩阵Rθ，如下式所示：
针对邻域点集矩阵S，计算出旋转矩阵的Sθ来代替S，并构建最终用于特征匹配的描述符gn(p,θ)，如下式所示：
gn(p,θ)：＝fn(p)|(xi,yi)∈Sθ
对构建好的描述符使用汉明距离DH来进行特征匹配，如下式所示：
x＝y→D＝0x≠y→D＝1。
作为本发明所述指纹检索算法的一种优选方案，其中：旋转平移变换差值法包括，对高于97％的指纹过滤水平进行高精度指纹“精筛”，指纹特征点集合P中的一个特征点坐标为
通过同一指纹的旋转变换后得到特征点坐标/>
考虑旋转变换函数为下式：
其中Δx和Δy代表的是点的平移因子，θ代表的旋转因子。根据基于多维度特征融合的ORB快速指纹检索模型所得到的若干可能的特征点匹配对P和Q，通过迭代遍历的方法搜索两对最匹配的特征点对，计算平移因子和旋转因子，迭代遍历两组特征点对
及其可能对应的特征点/>
和/>
且i≠j。构建下式解出Δx、Δy和θ：
根据每两对的特征点匹配对，使用旋转变换函数计算出集合P中的所有对应的特征点得到集合T，并和集合Q进一步对比，设置阈值λ来高精度匹配指纹图像。使用消除累积偏差的补偿函数作为特征点相似度对比方法，消除累计偏差较大的影响。
对于第i组特征点对时Δxi、Δyi、Δθi有下式：
当Δxi、Δyi、Δθi分别小于给定阈值ΔX、ΔY、ΔΘ则其为特征匹配对。
作为本发明所述指纹检索算法的一种优选方案，其中：对指纹检索模型的时间复杂度、空间复杂度、内存空间占用进行计算包括：
指纹减缩模型时间复杂度分析：将一个算法中的语句执行次数称为时间频度T(n)，存在某个函数f(n)，使得当n趋于无穷大时，T(n)/f(n)的极限值是不为零的常数，那么f(n)是T(n)的同数量级函数，记作T(n)＝O(f(n))，f(n)表示每行代码执行次数之和，假设两幅图片的特征点数量分别为b和c，则每一次匹配所需要的时间复杂度为O(b×c)；
指纹检索模型空间复杂度分析：一个算法所需的存储空间用f(n)表示；S(n)＝O(f(n))其中n为问题的规模，假设一共有a个相似的指纹，则其空间复杂度为O(a)，除此之外只需要常数级的空间来存储相关变量；
指纹检索模型内存占用及每枚指纹占用：根据所生成的图片像素点数量，每个像素点占用8个bit，每枚指纹图像内存占用计算公式为l×w÷8÷1024KB；在模型内存占用指标上，在计算机内存中每次存储两幅指纹图像进行比对，采用仿真运行程序的方法来估算其内存占用，得到结果约为190MB，达到轻量级内存占用。
作为本发明所述指纹检索算法的一种优选方案，其中：设置避免筛除掉“同一”指纹的机制，包括：
特征点匹配考虑特征点周围的局部信息，将特征点的匹配模式推广到局部匹配；
所构建的不同尺度的图像金字塔，融入了多尺度的特征信息；
特征点生成及描述符生成时所融合的细节点的方向角特征，使得指纹检索模型具有很好的旋转不变性；
通过“最小匹配”的方法筛除污渍、伪特征点的情况。
本发明的有益效果：将指纹细节点的匹配检索问题转化为图像特征点的匹配检索问题，设计了局部信息增广、图像金字塔生成、多维特征融合、最小匹配这四种机制来避免“同一”指纹被筛选掉，增广描述特征点的数据维度来增强指纹检索算法的精度，在低时间复杂度、空间复杂度的设置下执行大规模指纹检索，并提出旋转平移变换差值算法满足更高过滤水平的指纹检索需求，实现高低精度混合指纹检索，可以应用于大规模指纹数据库的检索需求中。
附图说明
为了更清楚地说明本公开或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例公开的一种高低精度混合的多维度特征融合指纹检索算法的框架图。
图2为本发明实施例公开的旋转平移变换差值算法的框架图。
图3为本发明实施例公开的指纹图像细节点特征格式图，其中(a)图为编号“10000_0”的指纹特征点分布图，(b)图为编号“10000_1”的指纹特征点分布图。
图4为本发明实施例公开的构建特征点延长线的方法示意图。
图5为本发明实施例公开的对同指指纹图像细节点进行配对的示意图，其中(a)图来自编号“10000_0”的指纹特征点，(b)图来自编号“10000_1”的指纹特征点。
图6为本发明实施例公开的指纹特征点检测算法示例图。
图7为本发明实施例公开的不同过滤水平下命中指纹模板的分布图，其中(a)、(b)、(c)以及(d)图分别代表“粗筛”80％、90％、95％、97％的命中指纹位置分布图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
参照图1～7，为本发明第一个实施例，该实施例提供了一种高低精度混合的多维度特征融合指纹检索算法，其能够在低时间复杂度、空间复杂度的设置下执行大规模指纹检索，并在高过滤水平的要求下实现高精度检索需求。
应说明的是，下表为符号定义与说明
具体的，在对比两个指纹的时候，指纹数据的细节点会因为平移、挤压、拉伸、旋转等情况会损失一定的原始特征，如何能够将这样情况匹配到，或者将这样的情况与不匹配的情况区别开来是解决指纹检索问题的关键。
本问题的原始问题为指纹图像的识别与检索，而在图像领域中特征点的检测与匹配也是很关键的问题，由于单纯根据单个细节点进行匹配，受限于信息域，其得到的效果可能会不好，所以可以通过数据增强的方式来扩展数据源，增广描述特征点的数据维度来使其捕捉到更有益于判断的信息。
进一步的，指纹细节点数据预处理：
本文采用将指纹细节点数据逆向为指纹图像的方式，以此将问题转化为图像特征点检索问题。首先，通过给定细节点的坐标利用Python中的PTL工具为每个指纹数据统一生成一幅指纹细节点像素图，生成的像素点图大小取决于最大的细节点坐标。参见图3，在本实施例中生成的像素点图大小为360×360，其中细节点用黑色标注，其余像素点均为白色。
为了展示出指纹方向角等信息，在图1中构建出指纹细节点分布图像的基础上，对其进行适当的延长，延长的方向即为该点的方向。具体来讲，参见图4，针对每个点a，其方向角为θ，则穿过该点的直线的斜率为tanθ，控制延长线的长度l为1，即可求得在同一个直线上的另一个点的坐标。
假设需要求解的点为b，其坐标为(xb,yb)，我们控制l＝1，则求解方法下式所示：
求解出b点的坐标后，按照对应的方向展示出细节点处纹线方向，由于细节点方向坐标系和指纹图像坐标体系并不是同一个坐标系，所以c和d的符号会根据其所处象限的不同而不同。数据预处理后的指纹细节点图展示在图5中，其中(a)图来自编号“10000_0”的指纹特征点，(b)图来自编号“10000_1”的指纹特征点。黑色虚线框代表不同的区域，包含指纹细节点的圆圈代表能够相互匹配的特征点对，(a)图和(b)图的直线代表匹配辅助线，与两个对应的特征点关联。
进一步的，基于多维度特征融合的ORB快速指纹检索模型：
参见图1，基于此框架，本发明构建了多维度特征融合的ORB快速指纹检索模型，现将每个部分详细描述如下。针对指纹细节点图像提取图像的特征点，特征点应该区别与图像其他位置的普通点，如果一个像素与它邻域的像素差别较大(比如过亮或过暗)，那它更可能是特征点。在图像中选取像素p，假设它的亮度为I，以像素P为中心，选取半径为3的圆上的16个像素点，假如选取的圆上有连续的N个点的亮度大于(I+T)或小于(I-T)，那么像素p可以被认为是特征点。由于指纹细节点图像均为二值图像，每一个像素点非黑即白，所以使用这种方法在寻找特征点的时候效率较高。参见图,6，为了进一步提高效率，在检测的时候首先检查4个示例像素，即像素1、9、5和13，因为应该至少有12个连续像素都比候选特征点更亮或更暗，因此，这4个示例像素中应该至少有3个像素都比候选特征点更亮或更暗。
通过这种方式可以检索出指纹细节点图像中的特征点，但是并不是所有的特征点都与我们的指纹细节点能相匹配，可能会由于细节点之间距离的远近以及邻域内像素值的不同导致特征点的选取出现偏差，此时我们需要通过每个细节点的(x.y)坐标来进行修正，使得特征点与细节点可以尽可能多地对应。
此后，将特征点进行多维度的特征融合，首先使用非极大值抑制来去除分布比较密集的特征点，为每一个特征点扩充响应大小这一维度，并为每个特征点设置一个打分函数V，其计算过程如下式所示；
其中Ip为细节点p的亮度，Ii为细节点p周围点的亮度，i为细节点p周围的点。这样就可以筛选出得分较小的特征点，并把它们去除掉，增强模型的鲁棒性。此外，为了解决手指按压的角度不同导致同一指纹产生旋转的问题，本发明利用指纹细节点的θ信息，为每个特征点融入了方向角信息这一个维度，这样当整体的指纹进行旋转时，每个细节点的角度也会发生变化，假设指纹旋转的角度为θall，细节点i在两幅指纹图像中的角度为θi1和θi2，则必然满足下式：
其中γ为阈值，n为细节点数量。捕捉了每个细节点的方向角，我们就有了让检索模型具有旋转不变性这一特性的基础。接着，借鉴图像金字塔的概念，对每幅指纹图像按照尺度进行缩小，对图像做降采样，在每个尺寸的指纹图像上使用上述特征点检测算法选取一定数量的特征点，这样可以在一定程度上解决平移、尺度变化的问题。
提取出图像特征点后，直接匹配各个特征点的效果并不会很好，其原因在于点匹配之间的细粒度导致忽略了整个指纹图像的全局信息，每个特征点以自己为中心进行匹配则会陷入局部最优而不是全局最优的泥潭，还会导致特征点与特征点之间一对多的匹配，所以在匹配每个特征点的时候不仅仅要考虑其自身，还应该考虑其周围的特征点或周围像素的信息，并融入到对该特征点的表述之中。基于此思想，可以为每个指纹图像的特征点构建了一个描述符，其融入了周围邻域像素的信息，使得对每个特征点的描述尽可能独特、唯一，但局部区域内仍有一定的关联性。
多数传统方法利用区域灰度直方图生成特征点的描述符，但其时间复杂度过高，无法用于指纹图像的快速检索，故本文考虑生成二进制编码的描述符，在运算的过程中采用二级制、位异或运算，以此加快建立特征点描述符的速度，同时极大降低了特征点匹配的时间，提高指纹图像检索的速度。
具体来讲，以特征点p为中心，选取一个S×S大小的邻域，在这个邻域内随机取N对点{(x1,y1),(x2,y2),…,(xN,yN)}，定义τ为二进制测试，比较这N对像素点灰度值的大小，如果xi的灰度值大于yi，则记τ为1，否则记τ为0，于此即可为每个特征点p得到N个二进制01串，公式化定义如下：
其中p(x)是点x处灰度值的大小。在具体的随机采样规则中，使用统计学习的方式来建立点对的集合，按M种方法取点对，比较点对大小，计算相关性，如果相关系数小于设定的阈值γ，筛选M直至取到设定点对的数目大小。由此为每个特征点p构成的二进制测试向量描述如下：
在此处令N＝256，p为特征点，n为邻域内选取的点的数量，xi和yi为特征点邻域内随机选取的点。
在特征匹配的阶段，由于每个特征点的描述符为二进制串，所以可以使用汉明距离DH来衡量两个特征点的距离，如下式所示：
x＝y→D＝0
x≠y→D＝1
为了增强模型的抗噪能力，使用高斯核来平滑图像，虽然在特征点选取中融入了方向角信息，但是描述符中仍然缺少相应的方向信息，为了弥补这一点，可以采用上一阶段相同的方式，将特征点的主方向融入到描述符中，对于任意特征点，在pt×pt的邻域内位置为(xi,yi)的N对点集，使用2×n的矩阵来表示：
在上一阶段所融入的细节点的方向角θ以及对应的旋转矩阵Rθ如下式所示：
计算出旋转矩阵的Sθ来代替S：
Sθ＝RθS
最终计算捕捉到旋转特性的描述符gn(p,θ)：
gn(p,θ)：＝fn(p)|(xi,yi)∈Sθ
至此，所有特征点的描述符都已经建立，只需将两幅指纹图像的描述符进行比对即可，为了提高匹配的效率，减少时间复杂度的同时保证精确度，我们优化了特征匹配阶段的算法，由于描述符之间的配对是按照汉明距离来匹配的，如果配对点的汉明距离小于最小距离的两倍则认为是正确匹配，否则为错误匹配，在此基础上通过交叉匹配的方式来过滤掉错误的匹配，取两幅指纹图像特征点匹配的交集。
进一步的，避免筛除掉“同一”指纹而设置的机制：
(1)在进行特征点匹配的时候，本模型不仅考虑特征点自身，还利用了特征点周围的局部信息，将这些信息融入对特征点的描述符中，将特征点的匹配模式推广到局部匹配，这种方式针对指纹细节点的平移具有很好的识别性；
(2)本模型构建了不同尺度的图像金字塔，并在多层金字塔上取得特征值，融入了多尺度的特征信息，这使得该算法对指纹细节点不同位置受力不均导致的拉伸和收缩可以保持较好的尺度不变性；
(3)本模型在特征点生成及描述符生成时都融合了细节点的方向角特征，由于手指整体按压的角度变化时，整体的细节点处的纹理角度也会发生变化，但他们的相对角度会在一个合理的差值内，所以本模型在检索时具有很好的旋转不变性；
(4)污渍、伪特征点等情况可以通过“最小匹配”的方法将其筛除。
因此，指纹检索匹配的几个关键问题在本模型中都有相应的处理机制，这些机制使得本模型兼顾较好的鲁棒性和准确性，并可将经过变换的指纹图像与不匹配的指纹图像区分出来，尽可能地保证“同一”指纹不被筛除掉。
进一步的，时间复杂度、空间复杂度以及模型内存占用分析：
一个算法所需的存储空间用f(n)表示。S(n)＝O(f(n))其中n为问题的规模，S(n)为空间复杂度。在空间复杂度指标上，假设每幅指纹图像的长和宽都为m，由于我们需要对比两张图像的特征点，所以一次会读取两张图片在内存中，故指纹图像存储的空间复杂度为O(m2)量级，除此之外，在过滤指纹图像的时候，需要使用数组来存储与相应指纹相似的指纹，假设一共有a个相似的指纹，则其空间复杂度为O(a)，除此之外只需要常数级的空间来存储相关变量，故本模型额外开辟的空间复杂度即为O(a)。
一个算法所花费的时间与代码语句执行的次数成正比，算法执行语句越多，消耗的时间也就越多。一般把一个算法中的语句执行次数称为时间频度，记作T(n)。存在某个函数f(n)，使得当n趋于无穷大时，T(n)/f(n)的极限值是不为零的常数，那么f(n)是T(n)的同数量级函数，记作T(n)＝O(f(n))，称O(f(n))为时间复杂度。在时间复杂度指标上，假设有n幅图片需要两两遍历查看是否匹配，则完成这个过程需要的时间复杂度为O(n2)，而在每一对指纹图像进行匹配的时候需要检测他们的特征点的位置，假设两幅图片的特征点数量分别为b和c，则每一次匹配所需要的时间复杂度为O(b×c)，则完成两两配对所需要的时间复杂度为O((b×c)2)，而完成一次匹配的时间复杂度为O(b×c)。
具体到每一副图片的内存占用上，本文生成的图片为360×360大小，则一副指纹图像所占用的内存空间为360×360÷8×1＝16200字节，约为15.82KB；在模型内存占用指标上，在计算机内存中每次存储两幅指纹图像进行比对，由于涉及到特征点与描述符的建立过程设立常数级变量较多，计算比较复杂，故采用仿真运行程序的情况来估算其内存占用，得到结果约为190MB，达到轻量级内存占用。
进一步的，评估该指纹检索算法的方法：
采用业界常用的指纹“穿透率”指标：分别过滤掉数据集中80％，90％，95％，97％图像后，在剩下的小规模子集中，仍含有“同一”指纹匹配对子的数量占总指纹“同一”匹配对子数量的比例。例如，采用同指数据全部500个匹配对子(共1000个指纹数据)的数据逐一在异指数据与同指数据组成的数据集中进行检索，假设按照95％的过滤水平做检索，发现同指数据中有400个匹配对子的指纹ID出现在各自的检索结果中，而100个匹配对子的指纹ID没有出现在各自的检索结果中，则在95％的过滤水平上，穿透率为400/500＝0.8。
参见图7，图(a)、(b)、(c)以及(d)分别代表“粗筛”80％、90％、95％、97％的命中指纹位置分布图。横坐标代表正确匹配图像的命中位置，命中位置越靠前代表越有可能是正确匹配图像，纵坐标代表数量。根据上述评价指标，本发明所提出的基于多维度特征融合的ORB快速指纹检索模型给出了过滤率为80％、90％、95％、97％的情况下，目标指纹真实对应匹配指纹ID所在剩余指纹ID数据中的命中位置数量分布。输出的指纹ID按照能够成功匹配的概率来进行排序，其第一位是最有可能与源指纹匹配的指纹图。因此，真实指纹匹配ID的位置集中在[0,10]的区间范围内，真实匹配指纹具有较大的可能性，据此评估该算法具有较高的有效性。具体匹配情况以及穿透率结果如下表所示：
进一步的，在高过滤水平下以及高精度要求下的旋转平移变换差值指纹“精筛”方法：
参见图2中旋转平移变换算法的流程，假如两幅指纹能够匹配成功，那么对输入的指纹图的部分特征点做某些旋转平移变换就能得到匹配图像中的对应特征点。因此，考虑将指纹特征点集合P作为输入指纹图特征点集合，集合Q作为对比指纹图特征点集合，集合T作为集合P通过旋转平移变换得到的计算结果，如果集合Q和集合T中的大部分特征点能够匹配，那么认为我找到了合适的旋转平移变换函数。所以将问题目标转为找到一个最合适的平移变换函数，使得集合P和目标集合Q能匹配到尽可能多的特征点，如果特征点匹配比例较大，那么认为两幅指纹图像匹配成功，否则匹配失败。
由于两幅图像在尺寸大小上比较相近，因此不考虑伸缩因子。
假设集合p中的一个特征点坐标为
经过旋转变换后，得到特征点坐标
其中在本文的坐标轴中θT＝θP-θ。考虑旋转变换函数为下式：
其中Δx和Δy代表的是点的平移因子，θ代表的旋转因子。显然在这个变换函数中共有三个未知数，即至少需要三个线性无关的等式即能解出三个未知数，因此需要两个精确匹配的特征点对。
上述基于多维度特征融合的ORB快速指纹检索模型可以得到若干可能的特征点匹配对P和Q；则在目标匹配样本较小的情况下，可以采用精确匹配的方法进行进一步的精筛。由于粗筛后能够得到的特征点匹配对P和Q中的特征点对已经大大降低，因此采用迭代遍历的方法搜索两对最匹配的特征点对，并根据这两对特征点对计算出平移因子和旋转因子，找到整个集合P和Q中的精确特征匹配对。
寻找两对最匹配的特征点对，可以迭代遍历两组特征点对
及其可能对应的特征点/>
和/>
且i≠j。求出这两对的平移因子和旋转因子。由于两对特征点存在四组方程，因此随机选择三组方程作为求解旋转变换函数的方程，剩下一组作为验证解。具体来讲，需要利用以下公式解出Δx、Δy和θ：
得到Δx、Δy和θ后，利用
进行验证，如果得到的/>
与实际结果在一定误差范围内，则认为该两点是最匹配特征点对的可能性更大，否则不进行后续计算。通过小范围验证，其能够大大提高计算效率，快速排除部分不匹配的特征点对。
根据每两对的特征点匹配对，使用旋转变换函数计算出集合P中的所有对应的特征点得到集合T，并和集合Q进一步对比，如果对比成功，那么便找到了精确匹配的特征点对，而当精确匹配的特征点对数最多时，则认为对应的两对最匹配特征点对为最优匹配特征点对。假设精确匹配的特征点对数为L，集合P中的元素个数为N，当满足以下公式时，认为两个模板匹配成功，否则匹配失败：
其中λ为匹配阈值。
然而在实际过程中，指纹图存在着非线性的变形，因此为了使得局部的比较小的偏差经过累积后会产生较大的偏差影响，本文采用消除累积偏差的补偿函数作为特征点集合T和集合Q中特征点相似度对比方法，具体算法如下：
当判断集合T和集合Q中的第一组点是否匹配时，计算
和/>
的横坐标之差/>
纵坐标之差/>
以及角度方向差Δθ1＝θT-θQ。如果Δx1、Δy1、Δθ1分别小于一定的阈值，那么认为第一组点匹配成功。
当第一组点匹配成功时，将Δx1、Δy1、Δθ1分别放入对应的列表中。在匹配第二组点时，分别计算横坐标之差、纵坐标之差、角度方向差来得到Δx′2、Δy′2、Δθ′2后，分别减去Δx1、Δy1、Δθ1，得到Δx2、Δy2、Δθ2。如果Δx2、Δy2、Δθ2分别小于给定阈值，将其放入对应列表中。以此类推，即对于第i组特征点对时Δxi、Δyi、Δθi有：
当Δxi、Δyi、Δθi分别小于给定阈值ΔX、ΔY、ΔΘ则其为特征匹配对。
由于基于多维度特征融合的ORB快速指纹检索模型所筛选出的特征点与实际特征点的坐标位置存在小范围的偏差，因此采用特征点校准方法解决上述问题。假定给定坐标与真实坐标的差值不会太大，即与给定坐标距离最近的实际坐标为真实的特征点位置。因此这里我们首先对原始特征点的坐标按y坐标从小到大，x坐标从大到小升序排序，再与给定坐标逐一对比，并设定浮动阈值Δt为2，即与给定坐标差值小于等于2的实际坐标认为是真实的特征点所在位置。
进一步的，评估该高精度指纹检索算法的方法：
评估方法分为两部分，第一部分为精确性评估，仅在包含有真正匹配的指纹图像中实验；第二类为适用性评估，不考虑评估数据集中是否真正包含与目标指纹图像匹配的指纹图。两类评估方法均在高过滤水平(97％以上)下进行。
在精确性评估中，其能正确找到匹配指纹图像的准确率pre为70％，其中pre表示为：
相比于低精度方法，高低精度混合后的指纹检索准确率提升7.5％。
在适用性评估中，由于事先不知道测试样本是否能在指纹库中找到与目标指纹匹配的图像，本方案有60％的准确率能成功预测出剩余指纹库中是否存在匹配的图像，且存在目前图像能正确识别出源图像的情况。
综上，旋转平移变换差值指纹“精筛”方法与基于多维度特征融合的ORB快速指纹检索模型共同构成了本实施例以及本发明的高低精度混合的多维度特征融合指纹检索方法，二者相辅相成，可以很好完成较低精度大规模指纹快速检索以及高精度高性能指纹检索需求。
Claims (6)
1.一种高低精度混合的多维度特征融合指纹检索方法，其特征在于，包括以下步骤：
步骤1、对细节点数据进行预处理，生成指纹细节点图像；
步骤2、建立基于多维度特征融合的ORB快速指纹检索模型，融入方向角、响应大小的多维度指纹特征，对指纹细节点图像进行匹配检索；
步骤3、构建旋转平移变换差值模型，将步骤2筛选出的指纹特征点进一步精筛，满足高过滤水平、高精度要求下的指纹检索需求；
步骤4、对指纹检索模型的时间复杂度、空间复杂度、内存空间占用进行计算，并对每枚指纹占据的空间进行说明；
步骤5、设置避免筛除掉“同一”指纹的机制。
2.根据权利要求1所述的一种高低精度混合的多维度特征融合指纹检索方法，其特征在于，所述步骤1中对细节点数据进行预处理，包括以下步骤：
步骤1.1、对每个包含细节点数量、X坐标、Y坐标、方向角的指纹细节点数据，构建细节点数量及相应数量的(x,y,θ)三元组，为每个指纹编号生成一张指纹细节点分布图；
步骤1.2、对每个指纹细节点按照该点的方向角进行适当的延长，构建指纹细节点图像。
3.根据权利要求1所述的一种高低精度混合的多维度特征融合指纹检索方法，其特征在于，所述步骤2中建立基于多维度特征融合的ORB快速指纹检索模型，包括以下步骤：
步骤2.1、提取与其邻域的像素差别较大的指纹细节点图像的特征点，为了进一步提升效率，在检测的时候先检查像素点周围四个方向的4个示例像素，用以快速排除普通点；
步骤2.2、通过每个细节点的(x.y)坐标来进行修正，使得特征点与指纹细节点尽可能多地对应，为每一个特征点新融入响应大小这一个维度，设置打分函数V，计算公式如下式所示：
其中Ip为细节点p的亮度，Ii为细节点p周围点的亮度，i为细节点p周围的点；
步骤2.3、筛选出得分较小的特征点并去除，假设同一指纹产生的旋转角度为θall，细节点i在两幅指纹图像中的角度为θi1和θi2，则必然满足下式：
其中γ为阈值，n为细节点数量；
步骤2.4、对每幅指纹图像按照尺度进行缩小，对图像做降采样，并对每个尺寸的指纹图像执行上述特征点选择方法；
步骤2.5、为每个指纹图像的特征点构建一个融入周围邻域像素信息的描述符，使用二进制表示，采用二级制、位异或运算来加快描述符生成过程，构建过程如下式所示：
其中τ为二进制测试，p为特征点，n为邻域内选取的点的数量，xi和yi为特征点邻域内随机选取的点；
步骤2.6、使用高斯核平滑图像来增强模型的抗噪能力，将特征点的主方向融入到描述符中，构建方向角θ以及对应的旋转矩阵Rθ，如下式所示：
步骤2.7、针对邻域点集矩阵S，计算出旋转矩阵的Sθ来代替S，并构建最终用于特征匹配的描述符gn(p,θ)，如下式所示：
gn(p,θ)：＝fn(p)|(xi,yi)∈Sθ
步骤2.8、对构建好的描述符使用汉明距离DH来进行特征匹配，如下式所示：
x＝y→D＝0
x≠y→D＝1
4.根据权利要求1所述的一种高低精度混合的多维度特征融合指纹检索方法，其特征在于，所述步骤3中构建旋转平移变换差值模型，包括以下步骤：
步骤3.1、对高于97％的指纹过滤水平进行高精度指纹“精筛”，指纹特征点集合P中的一个特征点坐标为
通过同一指纹的旋转变换后得到特征点坐标/>
考虑旋转变换函数为下式：
其中Δx和Δy代表的是点的平移因子，θ代表的旋转因子；
步骤3.2、根据基于多维度特征融合的ORB快速指纹检索模型所得到的若干可能的特征点匹配对P和Q，通过迭代遍历的方法搜索两对最匹配的特征点对，计算平移因子和旋转因子，迭代遍历两组特征点对
及其可能对应的特征点/>
和/>
且i≠j；构建下式解出Δx、Δy和θ：
步骤3.3、根据每两对的特征点匹配对，使用旋转变换函数计算出集合P中的所有对应的特征点得到集合T，并和集合Q进一步对比，设置阈值λ来高精度匹配指纹图像；使用消除累积偏差的补偿函数作为特征点相似度对比方法，消除累计偏差较大的影响；
对于第i组特征点对时Δxi、Δyi、Δθi有下式：
当Δxi、Δyi、Δθi分别小于给定阈值ΔX、ΔY、ΔΘ则其为特征匹配对。
5.根据权利要求1所述的一种高低精度混合的多维度特征融合指纹检索方法，其特征在于，所述步骤4中对指纹检索模型的时间复杂度、空间复杂度、内存空间占用进行计算，包括以下步骤：
步骤4.1、指纹减缩模型时间复杂度分析：将一个算法中的语句执行次数称为时间频度T(n)，存在某个函数f(n)，使得当n趋于无穷大时，T(n)/f(n)的极限值是不为零的常数，那么f(n)是T(n)的同数量级函数，记作T(n)＝O(f(n))，f(n)表示每行代码执行次数之和，假设两幅图片的特征点数量分别为b和c，则每一次匹配所需要的时间复杂度为O(b×c)；
步骤4.2、指纹检索模型空间复杂度分析：一个算法所需的存储空间用f(n)表示；S(n)＝O(f(n))其中n为问题的规模，假设一共有a个相似的指纹，则其空间复杂度为O(a)，除此之外只需要常数级的空间来存储相关变量；
步骤4.3、指纹检索模型内存占用及每枚指纹占用：根据所生成的图片像素点数量，每个像素点占用8个bit，每枚指纹图像内存占用计算公式为l×w÷8÷1024KB；在模型内存占用指标上，在计算机内存中每次存储两幅指纹图像进行比对，采用仿真运行程序的方法来估算其内存占用，得到结果约为190MB，达到轻量级内存占用。
6.根据权利要求1所述的一种高低精度混合的多维度特征融合指纹检索方法，其特征在于，所述步骤5中设置避免筛除掉“同一”指纹的机制，包括以下步骤：
步骤5.1、特征点匹配考虑特征点周围的局部信息，将特征点的匹配模式推广到局部匹配；
步骤5.2、所构建的不同尺度的图像金字塔，融入了多尺度的特征信息；
步骤5.3、特征点生成及描述符生成时所融合的细节点的方向角特征，使得指纹检索模型具有很好的旋转不变性；
步骤5.4、通过“最小匹配”的方法筛除污渍、伪特征点的情况。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310245614.5A CN116311391A (zh) | 2023-03-13 | 2023-03-13 | 一种高低精度混合的多维度特征融合指纹检索方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310245614.5A CN116311391A (zh) | 2023-03-13 | 2023-03-13 | 一种高低精度混合的多维度特征融合指纹检索方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116311391A true CN116311391A (zh) | 2023-06-23 |
Family
ID=86782983
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310245614.5A Pending CN116311391A (zh) | 2023-03-13 | 2023-03-13 | 一种高低精度混合的多维度特征融合指纹检索方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116311391A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116822253A (zh) * | 2023-08-29 | 2023-09-29 | 山东省计算中心（国家超级计算济南中心） | 适用于masnum海浪模式的混合精度实现方法及系统 |
-
2023
- 2023-03-13 CN CN202310245614.5A patent/CN116311391A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116822253A (zh) * | 2023-08-29 | 2023-09-29 | 山东省计算中心（国家超级计算济南中心） | 适用于masnum海浪模式的混合精度实现方法及系统 |
| CN116822253B (zh) * | 2023-08-29 | 2023-12-08 | 山东省计算中心（国家超级计算济南中心） | 适用于masnum海浪模式的混合精度实现方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Işık | A comparative evaluation of well-known feature detectors and descriptors | |
| CN109740603B (zh) | 基于cnn卷积神经网络下的车辆字符识别方法 | |
| CN107145829B (zh) | 一种融合纹理特征和尺度不变特征的掌静脉识别方法 | |
| US8406535B2 (en) | Invariant visual scene and object recognition | |
| CN108492298B (zh) | 基于生成对抗网络的多光谱图像变化检测方法 | |
| CN109740606B (zh) | 一种图像识别方法及装置 | |
| CN108537832B (zh) | 基于局部不变灰度特征的图像配准方法、图像处理系统 | |
| CN111753119A (zh) | 一种图像搜索方法、装置、电子设备及存储介质 | |
| CN112215216A (zh) | 一种图像识别结果的字符串模糊匹配系统及方法 | |
| CN110942473A (zh) | 一种基于特征点网格化匹配的运动目标跟踪检测方法 | |
| Zhou et al. | Fast circle detection using spatial decomposition of Hough transform | |
| CN113298146A (zh) | 一种基于特征检测的图像匹配方法、装置、设备及介质 | |
| CN116311391A (zh) | 一种高低精度混合的多维度特征融合指纹检索方法 | |
| CN106897723B (zh) | 基于特征匹配的目标实时识别方法 | |
| Warif et al. | A comprehensive evaluation procedure for copy-move forgery detection methods: results from a systematic review | |
| CN112200789B (zh) | 一种图像识别的方法及装置、电子设备和存储介质 | |
| CN112070116B (zh) | 一种基于支持向量机的艺术画作自动分类系统及方法 | |
| CN117079272A (zh) | 一种结合手工特征和学习特征的弹底窝痕特征识别方法 | |
| CN111382703B (zh) | 一种基于二次筛选与分数融合的指静脉识别方法 | |
| Kang et al. | Fast representation based on a double orientation histogram for local image descriptors | |
| CN113077410A (zh) | 图像检测方法、装置方法、芯片及计算机可读存储介质 | |
| Yuanhong et al. | Infrared-visible image patches matching via convolutional neural networks | |
| CN112926610A (zh) | 车牌图像筛选模型的构建方法与车牌图像筛选方法 | |
| Sewan et al. | Forged Copy-Move Recognition Using Convolutional Neural Network | |
| JP2014232373A (ja) | 照合対象抽出システム、照合対象抽出方法、照合対象抽出プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |