CN115294614A - 指纹识别防伪方法、装置和电子设备 - Google Patents

指纹识别防伪方法、装置和电子设备 Download PDF

Info

Publication number
CN115294614A
CN115294614A CN202210986060.XA CN202210986060A CN115294614A CN 115294614 A CN115294614 A CN 115294614A CN 202210986060 A CN202210986060 A CN 202210986060A CN 115294614 A CN115294614 A CN 115294614A
Authority
CN
China
Prior art keywords
fingerprint
finger
offset
matrix
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210986060.XA
Other languages
English (en)
Inventor
冯继雄
王长海
田志民
李保梁
刘奇
郑逢德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chipone Technology Beijing Co Ltd
Original Assignee
Chipone Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chipone Technology Beijing Co Ltd filed Critical Chipone Technology Beijing Co Ltd
Priority to CN202210986060.XA priority Critical patent/CN115294614A/zh
Publication of CN115294614A publication Critical patent/CN115294614A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1365—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明提供了一种指纹识别防伪方法、装置和电子设备，包括：连续采集待识别手指的多帧指纹图像，其中，每帧指纹图像内包含多个指纹像素；检测每个指纹像素在相邻两帧指纹图像内位置的偏移向量，并根据偏移向量构成偏移矩阵；归一化偏移矩阵，得到速度矩阵；采用指纹识别模型对速度矩阵进行识别，并根据识别结果确定待识别手指的真假，其中，指纹识别模型为预先训练得到的。该方法通过采集待识别手指的多帧指纹图像，利用算法检测指纹像素在相邻两帧指纹图像内位置的偏移矩阵，并根据偏移矩阵计算指纹像素在相邻两帧指纹图像内位置偏移的速度矩阵，进而通过预先训练的指纹识别模型对速度矩阵的识别，实现对待识别手指的真假的识别。

Description

指纹识别防伪方法、装置和电子设备
技术领域
本发明涉及指纹识别的技术领域，尤其是涉及一种指纹识别防伪方法、装置和电子设备。
背景技术
指纹识别技术，一般是通过指纹谷脊的电学或者光学差异形成指纹图像，然后进行识别匹配。目前，此种指纹识别技术广泛应用于各种移动智能终端、门锁和汽车等设备，为其提供了一种较为可靠的生物识别方法。但是，随着各种仿生材料的出现，“假指纹攻击”成为了指纹识别技术的挑战。攻击者会事先用假指纹材料制作已录入指纹的模具，然后用模具进行设备的解锁，一旦解锁成功，将会对设备的安全性造成危害。
针对此类问题，目前提出利用假指纹材料采集的图像与真手指的图像差异进行防假判别的指纹识别防伪技术。其原理是指纹模具的导电率或反光率与人体手指不同，因此，两者采集的图像灰度深浅不同。此外，模具的谷脊线比较突兀，使得其与真手指的图像也会存在差异。但是，上述这些差异随着指纹模具材料和工艺的改进变得越来越小，使得现有技术单纯从图像上几乎无法区分真假手指。
因此，如何利用观察图像以外的手段实现指纹识别防伪技术是目前亟待解决的技术问题。
发明内容
本发明的目的在于提供一种指纹识别防伪方法、装置和电子设备，以缓解现有技术无法利用观察图像以外的手段实现指纹识别防伪技术的问题。
第一方面，本发明提供了一种指纹识别防伪方法，包括：
连续采集待识别手指的多帧指纹图像，其中，每帧所述指纹图像内包含多个指纹像素；
检测每个所述指纹像素在相邻两帧指纹图像内位置的偏移向量，并根据所述偏移向量构成偏移矩阵；
归一化所述偏移矩阵，得到速度矩阵；
采用指纹识别模型对所述速度矩阵进行识别，并根据识别结果确定所述待识别手指的真假，其中，所述指纹识别模型为预先训练得到的。
进一步的，在连续采集待识别手指的多帧指纹图像之前，所述方法还包括：
利用传感器检测是否存在所述待识别手指的按压信号；
若检测到所述按压信号，则利用所述传感器连续采集所述待识别手指的多帧所述指纹图像；
若未检测到所述按压信号，则等待所述按压信号直至检测到所述按压信号。
进一步的，检测每个所述指纹像素在相邻两帧指纹图像内位置的偏移向量，并根据所述偏移向量构成偏移矩阵，包括：
分别以前帧指纹图像的每个所述指纹像素为中心，圈选预设范围内的其他指纹像素构成多个指纹像素块；
在后帧指纹图像的目标搜索范围内搜索与每个所述指纹像素块差异最小的目标像素块，其中，所述目标搜索范围为以每个所述指纹像素块的位置为中心，预设距离为半径构成的搜索范围；
检测每个所述指纹像素块的中心像素在所述前帧指纹图像内的位置与对应的每个所述目标像素块的中心像素在所述后帧指纹图像内的位置之间的偏移向量；
根据多个所述偏移向量构成所述偏移矩阵。
进一步的，归一化所述偏移矩阵，得到速度矩阵，包括：
获取相邻两帧指纹图像间的采样时间间隔；
根据所述采样时间间隔和所述偏移矩阵，得到所述速度矩阵。
进一步的，所述方法还包括：
获取多帧连续的真手指指纹图像，其中，每帧所述真手指指纹图像包含多个真手指指纹像素；
检测每个所述真手指指纹像素在相邻两帧真手指指纹图像内位置的真手指偏移向量，并根据所述真手指偏移向量构成真手指偏移矩阵；
归一化所述真手指偏移矩阵，得到真手指速度矩阵。
进一步的，所述方法还包括：
获取多帧连续的假手指指纹图像，其中，每帧所述假手指指纹图像内包含多个假手指指纹像素；
检测每个所述假手指指纹像素在相邻两帧假手指指纹图像内位置的假手指偏移向量，并根据所述假手指偏移向量构成假手指偏移矩阵；
归一化所述假手指偏移矩阵，得到假手指速度矩阵。
进一步的，所述方法还包括：
将所述真手指速度矩阵和所述假手指速度矩阵作为训练样本集；
利用所述训练样本集对初始指纹识别模型进行训练，得到所述指纹识别模型。
第二方面，本发明实施例还提供了一种指纹识别防伪装置，包括：
采集模块，用于连续采集待识别手指的多帧指纹图像，其中，每帧所述指纹图像内包含多个指纹像素；
检测模块，用于检测每个所述指纹像素在相邻两帧指纹图像内位置的偏移向量，并根据所述偏移向量构成偏移矩阵；
归一化模块，用于归一化所述偏移矩阵，得到速度矩阵；
识别模块，用于采用指纹识别模型对所述速度矩阵进行识别，并根据识别结果确定所述待识别手指的真假，其中，所述指纹识别模型为预先训练得到的。
第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面任一项所述的方法的步骤。
第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有机器可运行指令，所述机器可运行指令在被处理器调用和运行时，所述机器可运行指令促使所述处理器运行上述第一方面任一项所述的方法。
在本发明实施例中，提供了一种指纹识别防伪方法，包括：连续采集待识别手指的多帧指纹图像，其中，每帧指纹图像内包含多个指纹像素；检测每个指纹像素在相邻两帧指纹图像内位置的偏移向量，并根据偏移向量构成偏移矩阵；归一化偏移矩阵，得到速度矩阵；采用指纹识别模型对速度矩阵进行识别，并根据识别结果确定待识别手指的真假，其中，指纹识别模型为预先训练得到的。通过上述描述可知，本发明的指纹识别防伪方法通过采集待识别手指的多帧指纹图像，利用算法检测指纹像素在相邻两帧指纹图像内位置的偏移矩阵，并根据偏移矩阵计算指纹像素在相邻两帧指纹图像内位置偏移的速度矩阵，进而通过预先训练的指纹识别模型对速度矩阵的识别，实现对待识别手指的真假的识别。该方法通过检测指纹像素在相邻两帧指纹图像内位置的偏移矩阵以及偏移的速度矩阵，变相检测出待识别手指在指纹图像采集期间的偏移以及偏移的速度。从而利用真假手指因摩擦系数不同导致其偏移以及偏移速度不同的原理，作为后续指纹识别模型对待识别手指的真假识别的判断依据，有效缓解了现有技术无法利用观察图像以外的手段实现指纹识别防伪技术的问题。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种指纹识别防伪方法的流程图；
图2为本发明实施例提供的一种触发采集指纹图像的方法的流程图；
图3为本发明实施例提供的一种构建偏移矩阵的方法的流程图；
图4为本发明实施例提供的一种求取速度矩阵的方法的流程图；
图5为本发明实施例提供的一种真手指的样本数据生成方法的流程图；
图6为本发明实施例提供的一种假手指的样本数据生成方法的流程图；
图7为本发明实施例提供的一种指纹识别模型训练的方法的流程图；
图8为本发明实施例提供的一种指纹识别防伪装置的示意图；
图9为本发明实施例提供的一种电子设备的示意图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
随着各种仿生材料的出现，“假指纹攻击”成为了指纹识别技术的挑战。针对此类问题，现有技术提出利用假指纹材料采集的图像与真手指的图像差异进行防假判别的指纹识别防伪技术。其原理是指纹模具的导电率或反光率与人体手指不同，因此，两者采集的图像灰度深浅不同。此外，模具的谷脊线比较突兀，使得其与真手指的图像也会存在差异。但是，上述这些差异随着指纹模具材料和工艺的改进变得越来越小，使得现有技术单纯从图像上几乎无法区分真假手指。
基于此，本发明的指纹识别防伪方法，通过采集待识别手指的多帧指纹图像，利用算法检测指纹像素在相邻两帧指纹图像内位置的偏移矩阵，并根据偏移矩阵计算指纹像素在相邻两帧指纹图像内位置偏移的速度矩阵，进而通过预先训练的指纹识别模型对速度矩阵的识别，实现对待识别手指的真假的识别，有效缓解了现有技术无法利用观察图像以外的手段实现指纹识别防伪技术的问题。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种指纹识别防伪方法进行详细介绍。
实施例一：
根据本发明实施例，提供了一种指纹识别防伪方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的一种指纹识别防伪方法的流程图，如图1所示，该方法包括如下步骤：
步骤S102，连续采集待识别手指的多帧指纹图像，其中，每帧指纹图像内包含多个指纹像素；
具体的，在进行指纹识别前，需先利用光学指纹传感器或半导体指纹传感器等可以实现指纹自动采集的关键器件，对待识别手指的指纹图像连续采集N帧，得到指纹图像A1,A2,...,AN。其中，采集后的每帧指纹图像内均包含多个指纹像素，且每帧指纹图像分别对应采集时间t1,t2,...,tN。
步骤S104，检测每个指纹像素在相邻两帧指纹图像内位置的偏移向量，并根据偏移向量构成偏移矩阵；
具体的，完成指纹图像的采集后，利用算法分别对每一个指纹像素在相邻两帧指纹图像内的位置进行检测，并计算出该指纹像素在相邻两帧指纹图像内的两个位置之间的偏移向量。
以指纹图像A1和A2中的一个指纹像素为例，分别在指纹图像A1和A2内对该指纹像素的位置进行检测，进而计算出该指纹像素在指纹图像A1和A2内的两个位置之间的偏移，并用偏移向量(dx，dy)进行表示。由于指纹图像A1和A2内均包含有多个指纹像素，因此，每个指纹像素在相邻两帧指纹图像A1和A2的位置间均有一个偏移向量，由此可以得到多个指纹像素对应的多个偏移向量。进一步的，将每个指纹像素对应的偏移向量(dx，dy)用复数z＝dx+i*dy的形式进行表示，从而得到多个指纹像素对应的多个复数形式的偏移向量。最后利用多个指纹像素对应的多个复数形式的偏移向量组成复数形式的偏移矩阵B1，其中，B1为相邻两帧指纹图像A1和A2间的偏移矩阵。
由于，本实施例中采集的指纹图像帧数为N帧，相邻两帧指纹图像具体包括指纹图像A1和A2、指纹图像A2和A3等前后相邻的两帧指纹图像。因此，采用前述方法分别对每相邻的两帧指纹图像内的多个指纹像素的偏移矩阵进行求取后，可以得到N-1个偏移矩阵B1,B2,...,BN-1。
步骤S106，归一化偏移矩阵，得到速度矩阵；
具体的，采用归一化算法，将每相邻的两帧指纹图像间的偏移矩阵B1,B2,...,BN-1转化为速度矩阵C1,C2,...,CN-1。
步骤S108，采用指纹识别模型对速度矩阵进行识别，并根据识别结果确定待识别手指的真假，其中，指纹识别模型为预先训练得到的。
具体的，将转化后的速度矩阵C1,C2,...,CN-1作为后续指纹识别模型的输入，并利用指纹识别模型识别速度矩阵所对应的待识别手指的真伪。其中，本实施例的指纹识别模型是基于神经网络算法搭建，且预先通过大量的样本数据进行训练后的卷积神经网络模型。值得注意的是，本实施例不对指纹识别模型进行具体的限制，即指纹识别模型也可以采用其他神经网络算法搭建。
在本发明实施例中，提供了一种指纹识别防伪方法，包括：连续采集待识别手指的多帧指纹图像，其中，每帧指纹图像内包含多个指纹像素；检测每个指纹像素在相邻两帧指纹图像内位置的偏移向量，并根据偏移向量构成偏移矩阵；归一化偏移矩阵，得到速度矩阵；采用指纹识别模型对速度矩阵进行识别，并根据识别结果确定待识别手指的真假，其中，指纹识别模型为预先训练得到的。通过上述描述可知，本发明的指纹识别防伪方法通过采集待识别手指的多帧指纹图像，利用算法检测指纹像素在相邻两帧指纹图像内位置的偏移矩阵，并根据偏移矩阵计算指纹像素在相邻两帧指纹图像内位置偏移的速度矩阵，进而通过预先训练的指纹识别模型对速度矩阵的识别，实现对待识别手指的真假的识别。该方法通过检测指纹像素在相邻两帧指纹图像内位置的偏移矩阵以及偏移的速度矩阵，变相检测出待识别手指在指纹图像采集期间的偏移以及偏移的速度。从而利用真假手指因摩擦系数不同导致其偏移以及偏移速度不同的原理，作为后续指纹识别模型对待识别手指的真假识别的判断依据，有效缓解了现有技术无法利用观察图像以外的手段实现指纹识别防伪技术的问题。
上述内容对本发明的指纹识别防伪方法进行了简要介绍，下面对其中涉及到的具体内容进行详细描述。
在本发明的一个可选实施例中，参考图2，在连续采集待识别手指的多帧指纹图像之前，该方法还包括如下步骤：
步骤S201，利用传感器检测是否存在待识别手指的按压信号；
具体的，在利用指纹传感器连续采集待识别手指的指纹图像之前，需先利用该传感器检测是否存在待识别手指的按压信号，从而避免产生不必要的能耗。
步骤S202，若检测到按压信号，则利用传感器连续采集待识别手指的多帧指纹图像；
具体的，若指纹传感器检测到待识别手指的按压信号，则表明当前存在需要进行识别的手指，此时，传感器开始连续采集多帧指纹图像，用于后续对待识别手指的检验。
步骤S203，若未检测到按压信号，则等待按压信号直至检测到按压信号。
具体的，若指纹传感器未能检测到待识别手指的按压信号，则表明当前不存在需要进行识别的手指。此时，传感器无法开启采集功能，直至其检测到待识别手指的按压信号后才会开启后续的指纹采集流程。
在本发明的一个可选实施例中，参考图3，检测每个指纹像素在相邻两帧指纹图像内位置的偏移向量，并根据偏移向量构成偏移矩阵，包括：
步骤S301，分别以前帧指纹图像的每个指纹像素为中心，圈选预设范围内的其他指纹像素构成多个指纹像素块；
具体的，同样以指纹图像A1和A2中的一个指纹像素为例，以该指纹像素为中心，圈选其周围预设范围内m×n个像素，组成一个指纹像素块。
步骤S302，在后帧指纹图像的目标搜索范围内搜索与每个指纹像素块差异最小的目标像素块，其中，目标搜索范围为以每个指纹像素块的位置为中心，预设距离为半径构成的搜索范围；
具体的，检测前述步骤S301中的指纹像素块在指纹图像A1内的位置信息，进而以指纹图像A2内与前述指纹图像A1的指纹像素块位置信息相同的位置为中心，以预设距离r为半径，在指纹图像A2内圈选目标搜索范围。进一步的，在目标搜索范围内搜索与指纹图像A1的指纹像素块差异最小的指纹像素块，且认定差异最小的指纹像素块为前述指纹图像A1的指纹像素块移动后的目标像素块。
步骤S303，检测每个指纹像素块的中心像素在前帧指纹图像内的位置与对应的每个目标像素块的中心像素在后帧指纹图像内的位置之间的偏移向量；
具体的，分别检测指纹图像A1的指纹像素块内中心位置的指纹像素在指纹图像A1内的位置，以及指纹图像A2的目标像素块内中心位置的指纹像素在指纹图像A2的位置。进而，检测两个位置之间的偏移，并以偏移向量(dx，dy)进行表示。
由于每帧指纹图像内均包含有多个指纹像素，结合前述检测单个指纹像素在指纹图像A1和A2内位移向量的举例，可以得知，在指纹图像A1和A2内，每个指纹像素均能在前帧指纹图像A1内构建一个指纹像素块，且在后帧指纹图像A2的目标搜索范围内搜索到差异最小的目标像素块。因此，每个指纹像素块的中心像素在前帧指纹图像A1内的位置与对应的每个目标像素块的中心像素在后帧指纹图像A2内的位置之间的均存在一个偏移向量。当完成对每个指纹像素在指纹图像A1和A2内对应的位移向量的检测后，将得到多个偏移向量。
步骤S304，根据多个偏移向量构成偏移矩阵。
具体的，将多个指纹像素在指纹图像A1和A2内对应的多个位移向量分别以复数的形式进行表示，进而组成复数形式的偏移矩阵B1。
由于本实施例中采集的指纹图像帧数为N帧，相邻两帧指纹图像除前述指纹图像A1和A2外、还包括：指纹图像A2和A3、指纹图像A3和A4等。因此，采用前述举例的方法分别对每相邻的两帧指纹图像内的多个指纹像素对应的偏移矩阵进行求取后，可以得到N-1个偏移矩阵B1,B2,...,BN-1。
在本发明的一个可选实施例中，参考图4，归一化偏移矩阵，得到速度矩阵，包括：
步骤S401，获取相邻两帧指纹图像间的采样时间间隔；
具体的，由于指纹图像A1,A2,...,AN在采集时分别对应采集时间t1,t2,...,tN，因此，相邻两帧指纹图像间的采样时间间隔为ti+1-t1，(i＝1,...,N-1)。
步骤S402，根据采样时间间隔和偏移矩阵，得到速度矩阵。
具体的，利用采样时间间隔ti+1-t1，(i＝1,...,N-1)和偏移矩阵B1,B2,...,BN-1，根据计算算式
Figure BDA0003801072720000111
(i＝1,...,N-1)分别计算每个偏移矩阵所对应的速度矩阵Ci，进而得到N-1个速度矩阵。
最后将N-1个速度矩阵组成输入张量，送入指纹识别模型，利用指纹识别模型对其对应的待识别手指的真伪进行识别。
在本发明的一个可选实施例中，参考图5，该方法还包括：
步骤S501，获取多帧连续的真手指指纹图像，其中，每帧真手指指纹图像包含多个真手指指纹像素；
具体的，本实施例的指纹识别模型是基于神经网络算法搭建，且预先通过大量的样本数据训练后的卷积神经网络模型。在开始训练前，需采用前述实施例中获取速度矩阵的方法预先获取大量的样本数据，其中，样本数据包括：真手指的样本数据和假手指的样本数据。
具体实现时，利用指纹传感器连续采集N帧真手指的指纹图像D1,D2,...,DN。其中，采集后的每帧真手指指纹图像内均包含多个真手指指纹像素，且每帧真手指指纹图像分别对应采集时间t1,t2,...,tN。
步骤S502，检测每个真手指指纹像素在相邻两帧真手指指纹图像内位置的真手指偏移向量，并根据真手指偏移向量构成真手指偏移矩阵；
具体的，以真手指指纹图像D1和D2中的一个真手指指纹像素为例，以该真手指指纹像素为中心，圈选其周围预设范围内m×n个像素，组成一个真手指指纹像素块。检测该真手指指纹像素块在指纹图像D1内的位置信息，进而以指纹图像D2内与前述指纹图像D1的真手指指纹像素块位置信息相同的位置为中心，圈选预设半径的目标搜索范围。进一步的，在目标搜索范围内搜索与指纹图像D1的真手指指纹像素块差异最小的目标像素块。
分别检测指纹图像D1内真手指指纹像素块中心所处的位置，以及指纹图像D2内目标像素块中心所处的位置。进而，检测两个像素块中心位置之间的偏移，并将其以向量的形式作为真手指偏移向量。
由于每帧真手指指纹图像内均包含有多个真手指指纹像素，结合前述举例，可知，在指纹图像D1和D2内，每个真手指指纹像素均能在前帧指纹图像D1内构建一个真手指指纹像素块，且在后帧指纹图像D2的目标搜索范围内搜索到差异最小的目标像素块。因此，每个真手指指纹像素块的中心像素在前帧指纹图像D1内的位置与对应的每个目标像素块的中心像素在后帧指纹图像D2内的位置之间的均存在一个真手指偏移向量。当完成对每个真手指指纹像素在指纹图像D1和D2内对应的真手指位移向量的检测后，将得到多个真手指偏移向量。
将多个真手指指纹像素在指纹图像D1和D2内对应的多个真手指位移向量分别以复数的形式进行表示，进而组成复数形式的真手指偏移矩阵。
由于本实施例中采集的真手指指纹图像帧数为N帧，相邻两帧指纹图像除前述指纹图像D1和D2外、还包括：指纹图像D2和D3、指纹图像D3和D4等。因此，采用前述举例内的方法分别对每相邻两帧指纹图像内的多个真手指指纹像素对应的真手指偏移矩阵进行求取后，可以得到N-1个真手指偏移矩阵。
步骤S503，归一化真手指偏移矩阵，得到真手指速度矩阵。
具体的，分别利用相邻两帧指纹图像间的采样时间间隔ti+1-t1，(i＝1,...,N-1)和N-1个真手指偏移矩阵，求取每个真手指偏移矩阵所对应的真手指速度矩阵，进而得到N-1个真手指速度矩阵。其中，本实施例中求取的真手指速度矩阵即为后续训练指纹识别模型时真手指的样本数据。
在本发明的一个可选实施例中，参考图6，该方法还包括：
步骤S601，获取多帧连续的假手指指纹图像，其中，每帧假手指指纹图像内包含多个假手指指纹像素；
具体实现时，利用指纹传感器连续采集N帧假手指的指纹图像E1,E2,...,EN。其中，采集后的每帧假手指指纹图像内均包含多个假手指指纹像素，且每帧假手指指纹图像分别对应采集时间t1,t2,...,tN。
步骤S602，检测每个假手指指纹像素在相邻两帧假手指指纹图像内位置的假手指偏移向量，并根据假手指偏移向量构成假手指偏移矩阵；
具体的，以假手指指纹图像E1和E2中的一个假手指指纹像素为例，以该假手指指纹像素为中心，圈选其周围预设范围内m×n个像素，组成一个假手指指纹像素块。检测该假手指指纹像素块在指纹图像E1内的位置信息，进而以指纹图像E2内与前述指纹图像E1的假手指指纹像素块位置信息相同的位置为中心，圈选预设半径的目标搜索范围。进一步的，在目标搜索范围内搜索与指纹图像E1的假手指指纹像素块差异最小的目标像素块。
分别检测指纹图像E1内假手指指纹像素块中心所处的位置，以及指纹图像E2内目标像素块中心所处的位置。进而，检测两个像素块中心位置之间的偏移，并将其以向量的形式作为假手指偏移向量。
由于每帧假手指指纹图像内均包含有多个假手指指纹像素，结合前述举例，可知，在指纹图像E1和E2内，每个假手指指纹像素均能在前帧指纹图像E1内构建一个假手指指纹像素块，且在后帧指纹图像E2的目标搜索范围内搜索到差异最小的目标像素块。因此，每个假手指指纹像素块的中心像素在前帧指纹图像E1内的位置与对应的每个目标像素块的中心像素在后帧指纹图像E2内的位置之间的均存在一个假手指偏移向量。当完成对每个假手指指纹像素在指纹图像E1和E2内对应的假手指位移向量的检测后，将得到多个假手指偏移向量。
将多个假手指指纹像素在指纹图像E1和E2内对应的多个假手指位移向量分别以复数的形式进行表示，进而组成复数形式的假手指偏移矩阵。
由于本实施例中采集的假手指指纹图像帧数为N帧，相邻两帧指纹图像除前述指纹图像E1和E2外、还包括：指纹图像E2和E3、指纹图像E3和E4等。因此，采用前述举例内的方法分别对每相邻两帧指纹图像内的多个假手指指纹像素对应的假手指偏移矩阵进行求取后，可以得到N-1个假手指偏移矩阵。
步骤S603，归一化假手指偏移矩阵，得到假手指速度矩阵。
具体的，分别利用相邻两帧指纹图像间的采样时间间隔ti+1-t1，(i＝1,...,N-1)和N-1个假手指偏移矩阵，求取每个假手指偏移矩阵所对应的假手指速度矩阵，进而得到N-1个假手指速度矩阵。其中，本实施例中求取的假手指速度矩阵即为后续训练指纹识别模型时假手指的样本数据。
在本发明的一个可选实施例中，参考图7，该方法还包括：
步骤S701，将真手指速度矩阵和假手指速度矩阵作为训练样本集；
具体的，将上述实施例中获取的多个真手指速度矩阵和多个假手指速度矩阵组合成训练样本集，作为初始指纹识别模型训练的输入。
步骤S702，利用训练样本集对初始指纹识别模型进行训练，得到指纹识别模型。
具体的，利用训练样本集对初始指纹识别模型进行迭代训练，得到训练后的指纹识别模型，用于实现后续对待识别手指的真伪识别。
本发明的指纹识别防伪方法通过采集待识别手指的多帧指纹图像，利用算法检测指纹像素在相邻两帧指纹图像内位置的偏移矩阵，并根据偏移矩阵计算指纹像素在相邻两帧指纹图像内位置偏移的速度矩阵，进而通过预先训练的指纹识别模型对速度矩阵的识别，实现对待识别手指的真假的识别。该方法利用了真假手指因摩擦系数不同导致其偏移以及偏移速度不同的原理，有效缓解了现有技术无法利用观察图像以外的手段实现指纹识别防伪技术的问题。同时，该方法利用指纹识别模型对待识别手指的真假进行识别，有效降低了硬件成本，提高了判定待识别手指真伪的速度，增加了指纹识别的安全性，可以广泛应用于屏下光学指纹、电容指纹等应用领域。
实施例二：
本发明实施例还提供了一种指纹识别防伪装置，该指纹识别防伪装置主要用于执行本发明实施例一中所提供的指纹识别防伪方法，以下对本发明实施例提供的指纹识别防伪装置做具体介绍。
图8是根据本发明实施例的一种指纹识别防伪装置的示意图，如图8所示，该装置主要包括：采集模块10、检测模块20、归一化模块30和识别模块40其中：
采集模块10，用于连续采集待识别手指的多帧指纹图像，其中，每帧指纹图像内包含多个指纹像素；
检测模块20，用于检测每个指纹像素在相邻两帧指纹图像内位置的偏移向量，并根据偏移向量构成偏移矩阵；
归一化模块30，用于归一化偏移矩阵，得到速度矩阵；
识别模块40，用于采用指纹识别模型对速度矩阵进行识别，并根据识别结果确定待识别手指的真假，其中，指纹识别模型为预先训练得到的。
在本发明实施例中，提供了一种指纹识别防伪装置，包括：连续采集待识别手指的多帧指纹图像，其中，每帧指纹图像内包含多个指纹像素；检测每个指纹像素在相邻两帧指纹图像内位置的偏移向量，并根据偏移向量构成偏移矩阵；归一化偏移矩阵，得到速度矩阵；采用指纹识别模型对速度矩阵进行识别，并根据识别结果确定待识别手指的真假，其中，指纹识别模型为预先训练得到的。通过上述描述可知，本发明的指纹识别防伪方法通过采集待识别手指的多帧指纹图像，利用算法检测指纹像素在相邻两帧指纹图像内位置的偏移矩阵，并根据偏移矩阵计算指纹像素在相邻两帧指纹图像内位置偏移的速度矩阵，进而通过预先训练的指纹识别模型对速度矩阵的识别，实现对待识别手指的真假的识别。该方法通过检测指纹像素在相邻两帧指纹图像内位置的偏移矩阵以及偏移的速度矩阵，变相检测出待识别手指在指纹图像采集期间的偏移以及偏移的速度。从而利用真假手指因摩擦系数不同导致其偏移以及偏移速度不同的原理，作为后续指纹识别模型对待识别手指的真假识别的判断依据，有效缓解了现有技术无法利用观察图像以外的手段实现指纹识别防伪技术的问题。
可选地，在连续采集待识别手指的多帧指纹图像之前，指纹识别防伪装置还用于：利用传感器检测是否存在待识别手指的按压信号；
若检测到按压信号，则利用传感器连续采集待识别手指的多帧指纹图像；
若未检测到按压信号，则等待按压信号直至检测到按压信号。
可选地，检测模块20还用于：分别以前帧指纹图像的每个指纹像素为中心，圈选预设范围内的其他指纹像素构成多个指纹像素块；
在后帧指纹图像的目标搜索范围内搜索与每个指纹像素块差异最小的目标像素块，其中，目标搜索范围为以每个指纹像素块的位置为中心，预设距离为半径构成的搜索范围；
检测每个指纹像素块的中心像素在前帧指纹图像内的位置与对应的每个目标像素块的中心像素在后帧指纹图像内的位置之间的偏移向量；
根据多个偏移向量构成偏移矩阵。
可选地，归一化模块30还用于：获取相邻两帧指纹图像间的采样时间间隔；
根据采样时间间隔和偏移矩阵，得到速度矩阵。
可选地，指纹识别防伪装置还用于：获取多帧连续的真手指指纹图像，其中，每帧真手指指纹图像包含多个真手指指纹像素；
检测每个真手指指纹像素在相邻两帧真手指指纹图像内位置的真手指偏移向量，并根据真手指偏移向量构成真手指偏移矩阵；
归一化真手指偏移矩阵，得到真手指速度矩阵。
可选地，指纹识别防伪装置还用于：获取多帧连续的假手指指纹图像，其中，每帧假手指指纹图像内包含多个假手指指纹像素；
检测每个假手指指纹像素在相邻两帧假手指指纹图像内位置的假手指偏移向量，并根据假手指偏移向量构成假手指偏移矩阵；
归一化假手指偏移矩阵，得到假手指速度矩阵。
可选地，指纹识别防伪装置还用于：将真手指速度矩阵和假手指速度矩阵作为训练样本集；
利用训练样本集对初始指纹识别模型进行训练，得到指纹识别模型。
本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
如图9所示，本申请实施例提供的一种电子设备900，包括：处理器901、存储器902和总线，所述存储器902存储有所述处理器901可执行的机器可读指令，当电子设备运行时，所述处理器901与所述存储器902之间通过总线通信，所述处理器901执行所述机器可读指令，以执行如上述指纹识别防伪方法的步骤。
具体地，上述存储器902和处理器901能够为通用的存储器和处理器，这里不做具体限定，当处理器901运行存储器902存储的计算机程序时，能够执行上述指纹识别防伪方法。
处理器901可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器901中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器901可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processing，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器902，处理器901读取存储器902中的信息，结合其硬件完成上述方法的步骤。
对应于上述指纹识别防伪方法，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有机器可运行指令，所述计算机可运行指令在被处理器调用和运行时，所述计算机可运行指令促使所述处理器运行上述指纹识别防伪方法的步骤。
本申请实施例所提供的指纹识别防伪装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本申请实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的系统、装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
再例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种指纹识别防伪方法，其特征在于，包括：
连续采集待识别手指的多帧指纹图像，其中，每帧所述指纹图像内包含多个指纹像素；
检测每个所述指纹像素在相邻两帧指纹图像内位置的偏移向量，并根据所述偏移向量构成偏移矩阵；
归一化所述偏移矩阵，得到速度矩阵；
采用指纹识别模型对所述速度矩阵进行识别，并根据识别结果确定所述待识别手指的真假，其中，所述指纹识别模型为预先训练得到的。
2.根据权利要求1所述的指纹识别防伪方法，其特征在于，在连续采集待识别手指的多帧指纹图像之前，所述方法还包括：
利用传感器检测是否存在所述待识别手指的按压信号；
若检测到所述按压信号，则利用所述传感器连续采集所述待识别手指的多帧所述指纹图像；
若未检测到所述按压信号，则等待所述按压信号直至检测到所述按压信号。
3.根据权利要求1所述的指纹识别防伪方法，其特征在于，检测每个所述指纹像素在相邻两帧指纹图像内位置的偏移向量，并根据所述偏移向量构成偏移矩阵，包括：
分别以前帧指纹图像的每个所述指纹像素为中心，圈选预设范围内的其他指纹像素构成多个指纹像素块；
在后帧指纹图像的目标搜索范围内搜索与每个所述指纹像素块差异最小的目标像素块，其中，所述目标搜索范围为以每个所述指纹像素块的位置为中心，预设距离为半径构成的搜索范围；
检测每个所述指纹像素块的中心像素在所述前帧指纹图像内的位置与对应的每个所述目标像素块的中心像素在所述后帧指纹图像内的位置之间的偏移向量；
根据多个所述偏移向量构成所述偏移矩阵。
4.根据权利要求1所述的指纹识别防伪方法，其特征在于，归一化所述偏移矩阵，得到速度矩阵，包括：
获取相邻两帧指纹图像间的采样时间间隔；
根据所述采样时间间隔和所述偏移矩阵，得到所述速度矩阵。
5.根据权利要求1所述的指纹识别防伪方法，其特征在于，所述方法还包括：
获取多帧连续的真手指指纹图像，其中，每帧所述真手指指纹图像包含多个真手指指纹像素；
检测每个所述真手指指纹像素在相邻两帧真手指指纹图像内位置的真手指偏移向量，并根据所述真手指偏移向量构成真手指偏移矩阵；
归一化所述真手指偏移矩阵，得到真手指速度矩阵。
6.根据权利要求5所述的指纹识别防伪方法，其特征在于，所述方法还包括：
获取多帧连续的假手指指纹图像，其中，每帧所述假手指指纹图像内包含多个假手指指纹像素；
检测每个所述假手指指纹像素在相邻两帧假手指指纹图像内位置的假手指偏移向量，并根据所述假手指偏移向量构成假手指偏移矩阵；
归一化所述假手指偏移矩阵，得到假手指速度矩阵。
7.根据权利要求6所述的指纹识别防伪方法，其特征在于，所述方法还包括：
将所述真手指速度矩阵和所述假手指速度矩阵作为训练样本集；
利用所述训练样本集对初始指纹识别模型进行训练，得到所述指纹识别模型。
8.一种指纹识别防伪装置，其特征在于，包括：
采集模块，用于连续采集待识别手指的多帧指纹图像，其中，每帧所述指纹图像内包含多个指纹像素；
检测模块，用于检测每个所述指纹像素在相邻两帧指纹图像内位置的偏移向量，并根据所述偏移向量构成偏移矩阵；
归一化模块，用于归一化所述偏移矩阵，得到速度矩阵；
识别模块，用于采用指纹识别模型对所述速度矩阵进行识别，并根据识别结果确定所述待识别手指的真假，其中，所述指纹识别模型为预先训练得到的。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有机器可运行指令，所述机器可运行指令在被处理器调用和运行时，所述机器可运行指令促使所述处理器运行上述权利要求1至7中任一项所述的方法。
CN202210986060.XA 2022-08-16 2022-08-16 指纹识别防伪方法、装置和电子设备 Pending CN115294614A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210986060.XA CN115294614A (zh) 2022-08-16 2022-08-16 指纹识别防伪方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210986060.XA CN115294614A (zh) 2022-08-16 2022-08-16 指纹识别防伪方法、装置和电子设备

Publications (1)

Publication Number Publication Date
CN115294614A true CN115294614A (zh) 2022-11-04

Family

ID=83829561

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210986060.XA Pending CN115294614A (zh) 2022-08-16 2022-08-16 指纹识别防伪方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN115294614A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116883410A (zh) * 2023-09-08 2023-10-13 四川爱麓智能科技有限公司 一种磨斑自动化检测与评价的方法、系统以及设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116883410A (zh) * 2023-09-08 2023-10-13 四川爱麓智能科技有限公司 一种磨斑自动化检测与评价的方法、系统以及设备
CN116883410B (zh) * 2023-09-08 2023-11-17 四川爱麓智能科技有限公司 一种磨斑自动化检测与评价的方法、系统以及设备

Similar Documents

Publication Publication Date Title
US11216546B2 (en) Method for fingerprint authentication using force value
Cozzolino et al. Splicebuster: A new blind image splicing detector
Bakshi et al. Fast periocular authentication in handheld devices with reduced phase intensive local pattern
JP2018526719A (ja) 指紋に基づく認証のための装置及びコンピュータ実装方法
US11315363B2 (en) Systems and methods for gait recognition via disentangled representation learning
CN111783629B (zh) 一种面向对抗样本攻击的人脸活体检测方法及装置
CN110532746B (zh) 人脸校验方法、装置、服务器及可读存储介质
US20220327189A1 (en) Personalized biometric anti-spoofing protection using machine learning and enrollment data
CN110263667A (zh) 图像数据处理方法、装置以及电子设备
CN107589968A (zh) 熄屏解锁方法和装置
CN115294614A (zh) 指纹识别防伪方法、装置和电子设备
JP7079730B2 (ja) ユーザの生体測定を分析するための方法および指紋感知システム
WO2006062378A1 (en) Fingerprint recognition method
US20230306791A1 (en) Method and apparatus with liveness detection
CN112699811A (zh) 活体检测方法、装置、设备、储存介质及程序产品
CN110163164B (zh) 一种指纹检测的方法及装置
US20230112452A1 (en) Method and apparatus for testing liveness
CN111274899A (zh) 人脸匹配方法、装置、电子设备和存储介质
US20220319238A1 (en) Method and apparatus with biometric spoofing consideration
TWI817656B (zh) 可防範假指紋攻擊之指紋真偽識別方法、指紋識別裝置及資訊處理裝置
Kumar et al. Liveness detection and recognition system for fingerprint images
TW202409981A (zh) 可防範假指紋攻擊之指紋真偽識別方法、指紋識別裝置及資訊處理裝置
US11373439B1 (en) Touchless fingerprint matching systems and methods
US20220391483A1 (en) Method and device for biometric identification and/or authentication
US11935321B2 (en) Method and apparatus with anti-spoofing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination