CN116012696A - 一种指纹识别方法及电子设备 - Google Patents
一种指纹识别方法及电子设备 Download PDFInfo
- Publication number
- CN116012696A CN116012696A CN202111236058.2A CN202111236058A CN116012696A CN 116012696 A CN116012696 A CN 116012696A CN 202111236058 A CN202111236058 A CN 202111236058A CN 116012696 A CN116012696 A CN 116012696A
- Authority
- CN
- China
- Prior art keywords
- fingerprint
- quality
- fingerprint image
- image
- repair
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 94
- 238000013441 quality evaluation Methods 0.000 claims abstract description 71
- 230000008439 repair process Effects 0.000 claims description 161
- 238000012545 processing Methods 0.000 claims description 55
- 238000001303 quality assessment method Methods 0.000 claims description 46
- 230000004927 fusion Effects 0.000 claims description 22
- 238000013507 mapping Methods 0.000 claims description 17
- 238000007781 pre-processing Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 12
- 238000003384 imaging method Methods 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 18
- 238000012549 training Methods 0.000 description 14
- 238000004422 calculation algorithm Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- 230000015556 catabolic process Effects 0.000 description 10
- 238000006731 degradation reaction Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 8
- 238000010606 normalization Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000001413 cellular effect Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 235000019800 disodium phosphate Nutrition 0.000 description 3
- 229920001621 AMOLED Polymers 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 239000002096 quantum dot Substances 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 244000144985 peep Species 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 208000008918 voyeurism Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
- G06V10/993—Evaluation of the quality of the acquired pattern
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Collating Specific Patterns (AREA)
Abstract
本申请公开了一种指纹识别方法及电子设备,涉及指纹识别领域,解决了指纹识别时指纹图像成像质量差导致识别率较低的问题。具体方案为:电子设备响应于用户的指纹识别操作,通过指纹识别模块获取用户的指纹图像。对获取到的指纹图像进行质量评估,根据质量评估结果对该指纹图像进行修复和识别。
Description
技术领域
本申请涉及指纹识别领域,尤其涉及一种指纹识别方法及电子设备。
背景技术
在用户使用手机的过程中,为了保护用户的隐私、数据安全以及防止用户误触(误操作),手机一般会设置锁屏(即锁定屏幕)的功能。用户可以在不使用手机时对手机进行锁屏操作(如,按动锁屏键等),以避免他人操作用户的手机窥视用户隐私和窃取数据。用户要使用手机时可以先对手机进行解锁操作,再使用手机。
通常,手机的解锁操作包括密码解锁、指纹解锁和面部解锁等方式。其中,指纹解锁因为具有较高的稳定性和安全性而被广泛应用。并且,随着手机屏幕向全面屏发展,目前手机的指纹解锁一般采用屏下指纹的方案,以避免指纹解锁区域对屏幕显示区域的占用,提高屏占比。屏下指纹的实现方式通常包括光学指纹识别和超声波指纹识别。其中,超声波指纹识别具有更强的穿透能力可适配多种屏幕,不会出现烧屏幕的现象,并且超声波指纹识别能够具有更大的识别面积、更高的安全性以及更好的用户体验,因此成为了屏下指纹的发展趋势。
但是,目前的超声波指纹识别的成像质量较差,导致超声波指纹识别的识别率较低。
发明内容
本申请提供一种指纹识别方法及电子设备,解决了指纹识别时指纹图像成像质量差导致识别率较低的问题。
为了达到上述目的,本申请实施例采用如下技术方案:
第一方面,本申请实施例提供一种指纹识别方法,该方法可应用于电子设备。该方法包括:获取用户的第一指纹图像;对第一指纹图像进行质量评估;确定第一指纹图像为第一质量等级,其中第一质量等级用于标识第一指纹图像的质量;基于第一质量等级确定第一修复模型,第一修复模型包括第一修复参数,第一修复模型对应第一质量等级;基于第一修复模型对第一指纹图像进行处理,得到第二指纹图像;采用第二指纹图像进行指纹识别。
采用上述技术方案,能够根据指纹识别模块采集的指纹图像的质量进行对应程度的修复,然后再进行指纹识别。从而,可通过对指纹图像的修复来提高指纹图像的质量提高指纹识别率,并且能够避免因对指纹图像过度修复而造成指纹识别时出现认假的情况。
在一种可能的实现方式中,该方法还包括:获取用户的第三指纹图像;对第三指纹图像进行质量评估;确定第三指纹图像为第二质量等级,其中第二质量等级用于标识第三指纹图像的质量;基于第二质量等级确定第二修复模型,第二修复模型包括第二修复参数,第二修复模型对应第二质量等级;基于第二修复模型对第三指纹图像进行处理,得到第四指纹图像;采用第四指纹图像进行指纹识别。
即,当用户重新进行指纹识别时,手机重新采集的指纹图像若质量等级与上一次不同,则手机会重新根据新采集的指纹图像的质量等级确定对应的指纹修复参数以进行指纹图像的修复。也即,手机能够在每次采集指纹图像后,针对该指纹图像进行质量评估并根据评估确定的质量等级采集对应的修复参数对指纹图像进行修复。如此,能够避免手机对高质量的指纹图像进行了高程度的修复而导致后续指纹识别时出现认假。
在另一种可能的实现方式中,第一质量等级大于第二质量等级,第二指纹图像与第一指纹图像间的变化程度小于第四指纹图像与第三指纹图像间的变化程度。
即,手机能够对质量等级越高的指纹图像进行越低程度的修复。如此,能够避免手机对高质量的指纹图像进行了高程度的修复而导致后续指纹识别时出现认假。
在另一种可能的实现方式中,基于第一质量等级确定第一修复模型,包括:根据第一质量等级,按照预设的质量等级与修复参数间的映射关系,确定第一修复参数;确定包括第一修复参数的修复模型为第一修复模型;基于第二质量等级确定第二修复模型,包括:根据第二质量等级,按照预设的质量等级与修复参数间的映射关系,确定第二修复参数;确定包括第二修复参数的修复模型为第二修复模型。
如此,手机能够按照预设的映射关系根据质量等级确定对应的修复模型或修复参数,实现更加简便。
在另一种可能的实现方式中,第一修复模型与第二修复模型相同或不同。
即,修复模型相同时说明手机采用同一个修复模型对指纹图像进行修复,但该修复模型具有对应不同质量等级的不同修复参数。修复模型不同说明手机分别采用针对不同质量等级的不同修复模型分别对相应质量等级的指纹图像进行修复。
在另一种可能的实现方式中,第一修复模型和第二修复模型不同;基于第一质量等级确定第一修复模型,包括:根据第一质量等级,按照预设的质量等级与修复模型间的映射关系,确定第一修复模型;基于第二质量等级确定第二修复模型,包括:根据第二质量等级,按照预设的质量等级与修复模型间的映射关系,确定第二修复模型。
如此,手机能够按照预设的映射关系根据质量等级确定对应的修复模型或修复参数,实现更加简便。
在另一种可能的实现方式中,获取用户的第一指纹图像,包括:采集用户指纹的第一原始图像;对第一原始图像进行预处理得到第一指纹图像。
在另一种可能的实现方式中,对第一原始图像进行预处理得到第一指纹图像,包括:根据预设的校准数据对第一原始图像进行预处理得到第一指纹图像,校准数据包括采集原始图像时的噪声数据。
通过对原始图像进行预处理得到指纹图像,能够减少指纹图像中的噪声,提高指纹图像质量。
在另一种可能的实现方式中,对第一指纹图像进行质量评估,包括:融合第一指纹图像和第一原始图像;根据第一指纹图像和第一原始图像的融合结果,对第一指纹图像进行质量评估。
如此,通过融合图像对指纹图像进行质量评估能够提高对指纹图像质量评估的准确性。
在另一种可能的实现方式中,融合第一指纹图像和第一原始图像之前,方法还包括:根据校准数据对第一原始图像进行处理;融合第一指纹图像和第一原始图像,包括:将根据校准数据对第一原始图像进行处理得到的结果与第一指纹图像进行融合。
如此,能够在融合前基于校准数据对原始图像进行去噪,从而进一步提高融合数据的质量,提高最终对指纹图像进行质量评估的准确性。
第二方面,本申请实施例提供一种指纹识别装置,该装置可以应用于电子设备,用于实现上述第一方面中的方法。该装置的功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块,例如,处理模块和指纹识别模块等。
其中,指纹识别模块,可以用于获取用户的第一指纹图像;处理模块,可以用于对第一指纹图像进行质量评估;确定第一指纹图像为第一质量等级,其中第一质量等级用于标识第一指纹图像的质量;基于第一质量等级确定第一修复模型,第一修复模型包括第一修复参数,第一修复模型对应第一质量等级;基于第一修复模型对第一指纹图像进行处理,得到第二指纹图像;指纹识别模块,还可以用于采用第二指纹图像进行指纹识别。
在一种可能的实现方式中,指纹识别模块,还可用于获取用户的第三指纹图像;处理模块,还可以用于对第三指纹图像进行质量评估;确定第三指纹图像为第二质量等级,其中第二质量等级用于标识第三指纹图像的质量;基于第二质量等级确定第二修复模型,第二修复模型包括第二修复参数,第二修复模型对应第二质量等级;基于第二修复模型对第三指纹图像进行处理,得到第四指纹图像;指纹识别模块,还可以用于采用第四指纹图像进行指纹识别。
在另一种可能的实现方式中,第一质量等级大于第二质量等级,第二指纹图像与第一指纹图像间的变化程度小于第四指纹图像与第三指纹图像间的变化程度。
在另一种可能的实现方式中,处理模块,具体用于根据第一质量等级,按照预设的质量等级与修复参数间的映射关系,确定第一修复参数;确定包括第一修复参数的修复模型为第一修复模型;处理模块,具体用于根据第二质量等级,按照预设的质量等级与修复参数间的映射关系,确定第二修复参数;确定包括第二修复参数的修复模型为第二修复模型。
在另一种可能的实现方式中,第一修复模型与第二修复模型相同或不同。
在另一种可能的实现方式中,第一修复模型和第二修复模型不同;处理模块,具体用于根据第一质量等级,按照预设的质量等级与修复模型间的映射关系,确定第一修复模型;处理模块,具体用于根据第二质量等级,按照预设的质量等级与修复模型间的映射关系,确定第二修复模型。
在另一种可能的实现方式中,指纹识别模块,具体用于采集用户指纹的第一原始图像;对第一原始图像进行预处理得到第一指纹图像。
在另一种可能的实现方式中,指纹识别模块,具体用于根据预设的校准数据对第一原始图像进行预处理得到第一指纹图像,校准数据包括采集原始图像时的噪声数据。
在另一种可能的实现方式中,处理模块,具体用于融合第一指纹图像和第一原始图像;根据第一指纹图像和第一原始图像的融合结果,对第一指纹图像进行质量评估。
在另一种可能的实现方式中,处理模块,还用于根据校准数据对第一原始图像进行处理;处理模块,具体用于将根据校准数据对第一原始图像进行处理得到的结果与第一指纹图像进行融合。
第三方面,本申请实施例提供一种电子设备,包括:处理器,用于存储该处理器可执行指令的存储器。该处理器被配置为执行上述指令时,使得该电子设备实现如第一方面或第一方面的可能的实现方式中任一项所述的指纹识别方法。
第四方面,本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序指令。当计算机程序指令被电子设备执行时,使得电子设备实现如第一方面或第一方面的可能的实现方式中任一项所述的指纹识别方法。
第五方面,本申请实施例提供一种计算机程序产品,包括计算机可读代码,当所述计算机可读代码在电子设备中运行时,使得电子设备实现如第一方面或第一方面的可能的实现方式中任一项所述的指纹识别方法。
应当理解的是,上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述,在此不再赘述。
第六方面,本申请实施例提供一种指纹识别方法,该方法可应用于电子设备。该方法包括:获取用户的第一指纹图像;对第一指纹图像进行质量评估;确定第一指纹图像为第一质量等级,其中第一质量等级用于标识第一指纹图像的质量;判断第一质量等级是否为预设的质量等级;若是,则基于第一质量等级确定第一修复模型,第一修复模型包括第一修复参数,第一修复模型对应第一质量等级;基于第一修复模型对第一指纹图像进行处理,得到第二指纹图像;采用第二指纹图像进行指纹识别。
采用上述技术方案,能够根据指纹识别模块采集的指纹图像的质量进行对应程度的修复,然后再进行指纹识别。从而,可通过对指纹图像的修复来提高指纹图像的质量提高指纹识别率,并且能够避免因对指纹图像过度修复而造成指纹识别时出现认假的情况。
在一种可能的实现方式中,判断第一质量等级是否为预设的质量等级之后,方法还包括:若否,则对第一指纹图像进行指纹识别。
如此,当指纹图像与预设质量等级不符时,可以直接对该指纹图像进行指纹识别,从而能够实现仅对需要指纹修复的图像进行修复,提高指纹识别效率。
在另一种可能的实现方式中,预设的质量等级包括一种或多种质量等级。
在另一种可能的实现方式中,获取用户的第一指纹图像,包括:采集用户指纹的第一原始图像;对第一原始图像进行预处理得到第一指纹图像。
通过对原始图像进行预处理得到指纹图像,能够减少指纹图像中的噪声,提高指纹图像质量。
第七方面,本申请实施例提供一种指纹识别装置,该装置可以应用于电子设备,用于实现上述第六方面中的方法。该装置的功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块,例如,处理模块和指纹识别模块等。
其中,指纹识别模块,可以用于获取用户的第一指纹图像;处理模块,可以用于对第一指纹图像进行质量评估;确定第一指纹图像为第一质量等级,其中第一质量等级用于标识第一指纹图像的质量;判断第一质量等级是否为预设的质量等级;若是,则基于第一质量等级确定第一修复模型,第一修复模型包括第一修复参数,第一修复模型对应第一质量等级;基于第一修复模型对第一指纹图像进行处理,得到第二指纹图像;指纹识别模块,还可用于采用第二指纹图像进行指纹识别。
在一种可能的实现方式中,指纹识别模块,还可以用于若否,则对第一指纹图像进行指纹识别。
在另一种可能的实现方式中,预设的质量等级包括一种或多种质量等级。
在另一种可能的实现方式中,指纹识别模块,具体用于采集用户指纹的第一原始图像;对第一原始图像进行预处理得到第一指纹图像。
第八方面,本申请实施例提供一种电子设备,包括:处理器,用于存储该处理器可执行指令的存储器。该处理器被配置为执行上述指令时,使得该电子设备实现如第六方面或第六方面的可能的实现方式中任一项所述的指纹识别方法。
第九方面,本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序指令。当计算机程序指令被电子设备执行时,使得电子设备实现如第六方面或第六方面的可能的实现方式中任一项所述的指纹识别方法。
第十方面,本申请实施例提供一种计算机程序产品,包括计算机可读代码,当所述计算机可读代码在电子设备中运行时,使得电子设备实现如第六方面或第六方面的可能的实现方式中任一项所述的指纹识别方法。
应当理解的是,上述第七方面至第十方面的有益效果可以参见上述第六方面中的相关描述,在此不再赘述。
附图说明
图1为本申请实施例提供的一种超声波指纹识别模块的原理示意图;
图2为本申请实施例提供的一种指纹识别方法的应用场景示意图;
图3a为本申请实施例提供的一种低质量的指纹图像示意图;
图3b为本申请实施例提供的一种中质量的指纹图像示意图;
图3c为本申请实施例提供的一种高质量的指纹图像示意图;
图3d为本申请实施例提供的一种高质量的指纹图像过度修复后的示意图;
图4为本申请实施例提供的一种电子设备的结构示意图;
图5为本申请实施例提供的一种指纹识别方法的流程示意图;
图6为本申请实施例提供的一种指纹质量评估流程示意图;
图7为本申请实施例提供的另一种指纹质量评估流程示意图;
图8为本申请实施例提供的一种指纹修复流程示意图;
图9为本申请实施例提供的另一种指纹识别方法的流程示意图;
图10为本申请实施例提供的另一种指纹识别方法的流程示意图;
图11为本申请实施例提供的另一种指纹识别方法的流程示意图。
具体实施方式
为了保护用户的隐私、数据安全以及防止用户在不使用手机时对手机误操作,手机一般会设置锁屏的功能。即,用户在不使用手机时可以对手机进行锁屏操作(如,按动锁屏键等),以避免他人操作用户的手机,窥视用户隐私或窃取用户数据。当用户需要再次使用手机时,可以先对手机进行解锁操作,之后再使用手机。
通常,手机的解锁操作包括密码解锁、指纹解锁和面部解锁等方式。其中,指纹解锁因为具有较高的稳定性和安全性而被广泛应用。随着手机屏幕向全面屏发展,目前手机的指纹解锁一般采用屏下指纹的方案。
屏下指纹的实现方式通常包括光学指纹识别和超声波指纹识别。其中,光学指纹识别采用光线反射来获取指纹图像。即,通过光源(如,以有机发光二极管(organic light-emitting diode,OLED)屏幕中的OLED作为光源)发出的光线将手指区域照亮,照亮的手指区域可将光线反射回传感器,以使传感器根据反射光线获取指纹图像。超声波指纹识别采用超声波反射来获取指纹图像。例如,如图1所示,超声波指纹识别模块至少包括换能器101。可通过换能器101发出的超声波可透过屏幕102扫描手指区域,被扫描的手指区域可将超声波反射回换能器101,反射回的超声波又能够使换能器101产生振动并转换为电信号,从而可根据转换的电信号获取指纹图像。由于超声波相比于光线具有更强的穿透能力,因此超声波指纹识别具有更强的穿透能力可适配多种屏幕,并且超声波指纹识别所采集的指纹图像为三维图像,因此超声波指纹识别具有更高的安全性,所以超声波指纹识别成为了屏下指纹的发展趋势。但是,目前的超声波指纹识别的成像质量较差,导致超声波指纹识别的识别率较低。
为解决上述问题,本申请实施例提供了一种指纹识别方法。该方法可以应用于用户对采用指纹识别的电子设备(即包括指纹识别模块的电子设备)进行指纹解锁的场景中。例如,以电子设备为手机,手机设置有屏下指纹识别为例。如图2所示,在手机处于锁屏时,手机屏幕上对应指纹识别模块的区域可显示用于指示指纹解锁区域的指示画面201。用户可以使用用于指纹解锁的手指在该指示画面201对应的位置进行触摸操作(或按压操作)。响应于用户在指示画面201对应位置处的触摸操作,手机可以通过指纹识别模块获取用户相应手指的指纹图像,并采用本实施例提供的指纹识别方法根据获取的指纹图像进行指纹识别,从而便于手机在指纹识别通过时进行解锁。
该指纹识别方法可以是:电子设备响应于用户的指纹识别操作,通过指纹识别模块获取用户的指纹图像。对获取到的指纹图像进行质量评估,根据质量评估结果对该指纹图像进行修复和识别。
其中,指纹图像通常是指获取到指纹的图像信息后,对图像信息进行预处理得到的指纹的预处理图像(即用于指纹识别的图像)。通常指纹识别模块采集到的指纹的图像信息包括指纹的原始图像(或称为Raw图、Raw数据,即指纹识别模块原始采集到的指纹的图像)。指纹识别模块通常还会预设有校准数据(或称为Base数据,即指纹识别模块生产校准时产生的校准数据,其主要包括指纹识别时存在的噪声数据)等。因此,指纹的预处理图像可以是根据原始图像和校准数据得到的。例如,可以基于指纹识别模块采集的指纹的原始图像,去掉校准数据(即去噪,如将原始图像中各像素的值分别减去校准数据中相应像素对应的值)以得到预处理图像(即指纹图像)。当然,在一些可能的实施方式中,在基于指纹的原始图像根据校准数据进行去噪之后,还可以进行高斯滤波和去摩尔纹等预处理操作以得到预处理图像(即指纹图像)。
可选地,质量评估是对指纹图像的质量进行评估,确定该指纹图像的质量等级。指纹图像的质量的评估可以基于纹理是否连续,纹理是否有断续点,图像是否清晰,图像是否有噪声或白噪声或高斯噪声等,和/或,图像是否有异物等进行评估,可以选择一项或者多项进行评估,本申请不进行限定。对获取到的指纹图像进行质量评估时,可以将指纹图像按照质量分为不同的质量等级。其中,指纹图像的质量可以是指指纹图像中的指纹纹理与用户的指纹纹理的相似程度。即,指纹图像中的指纹纹理与用户的指纹纹理相似度越高则指纹图像的质量越高。
可选的,可以采用质量等级用于标识指纹图像的质量高低。根据质量评估结果对指纹图像进行修复和识别,可以是根据质量评估结果对应的质量等级对指纹图像进行对应程度的修复,即质量等级越高对应的修复程度(修复程度一般为指纹图像修复前后的图像变化程度)越低(也即质量等级越高的指纹图像对其进行修复的程度便越低)。例如,可将指纹图像按照质量分为低质量、中质量和高质量三种质量等级。当质量评估结果为低质量时,则对指纹图像按照低质量图像对应的较高修复程度(如高修复程度)进行修复。当质量评估结果为中质量时,则对指纹图像按照中质量图像对应的中等修复程度(如中修复程度)进行修复。当质量评估结果为高质量时,则对指纹图像按照高质量图像对应的较低修复程度(如低修复程度)进行修复。当然,还可以将指纹图像的质量分为其他不同的质量等级,如分为低质量和高质量两种等级等,相应地,各质量等级对应的修复程度将对应调整,此处不做限制。当指纹图像进行了对应的修复后,便可以对修复后的指纹图像进行指纹识别。
示例地,根据质量评估结果对指纹图像进行修复和识别,还可以是当质量评估结果对应的质量等级与可被修复的质量等级一致时(或者质量评估结果对应的质量等级为预设的质量等级时),再对指纹图像进行对应程度的修复。例如,可将指纹图像按照质量分为低质量和高质量两种质量等级,将可被修复的质量等级(或预设的质量等级)设为高质量。则,当质量评估结果为低质量时,不对指纹图像进行修复而直接根据指纹图像进行指纹识别。当质量评估结果为高质量时,对指纹图像按照高质量图像对应的修复程度(如低修复程度)进行修复,然后根据修复后的指纹图像进行指纹识别。当然,还可以将指纹图像的质量分为其他不同的质量等级,如分为低质量、中质量和高质量三种等级等,相应地,预设的质量等级可设置为一个还可设置为两个(即预设的质量等级可设置的数量上限为N-1个,N为划分的质量等级总个数)。当评估出的指纹图像的质量等级与预设的质量等级一致时再对指纹图像进行对应程度的修复,若评估出的指纹图像的质量等级与预设的质量等级不一致(即不是预设的质量等级)则不对指纹图像进行修复而直接进行指纹识别。如此,能够避免对质量与预设的质量不一致的指纹图像进行修复时导致的过度修复,从而消除因对指纹图像过度修复而带来的指纹识别时的认假风险。
采用该指纹识别方法,能够根据获取的指纹图像的质量进行对应程度的修复,然后再进行指纹识别。从而,可通过对指纹图像的修复来提高指纹图像的质量提高指纹识别率,并且能够避免因对指纹图像过度修复而造成指纹识别时出现认假的情况。例如,超声波指纹识别过程中,可将获取到的指纹图像的质量分为低质量(如在本申请中还可称为第三质量等级)、中质量(如在本申请中还可称为第二质量等级)和高质量(如在本申请中还可称为第一质量等级)三种质量等级;可选的,可以通过超声波识别模块采集指纹图像。其中,如图3a所示,低质量的指纹图像为指纹纹理不清晰,几乎无法分辨指纹纹理的图像,在获取到低质量的指纹图像的占比通常为10%左右。如图3b所示,中质量的指纹图像为指纹纹理清晰,但指纹纹理存在较多的明显断续点的图像(通常称为干手指指纹图像),在超声波指纹识别中获取到中质量的指纹图像的占比通常为40%左右。如图3c所示,高质量的指纹图像为指纹纹理清晰,指纹纹理存在少量且轻微的断续点(例如,如图3c中的301所示区域)的图像,在获取到高质量的指纹图像的占比通常为50%左右。因此,采用该方法,能够对获取到的指纹图像进行质量评估,并对评估出的不同质量的指纹图像分别进行相应程度的修复(如,对低质量的指纹图像进行高程度(如在本申请中还可以称为第三修复程度)修复,对中质量的指纹图像进行中程度(如在本申请中还可以称为第二修复程度)修复,对高质量的指纹图像进行低程度(如在本申请中还可以称为第一修复程度)修复),以提高获取的指纹图像的整体质量,进而提高超声波指纹识别的识别率。其中,分别对三种不同质量的指纹图像进行对应的不同程度的修复,可以避免对获取到的指纹图像进行过度修复而带来的认假风险。例如,由于高质量的指纹图像相比于光学指纹识别模块和电容指纹识别模块采集到的指纹图像质量依旧较差,因此还需要对高质量的指纹图像进行进一步的修复。若对高质量的指纹图像进行修复时采用与中质量的指纹图像相同程度的修复,则对高质量的指纹图像会产生过度修复,导致如图3d所示的高质量的指纹图像修复后的图像相比于如图3c所示的高质量的指纹图像(即修复前的高质量的指纹图像),其中原本没有连接的指纹纹理因过度修复而连接在一起(例如,如图3c中的302所示区域原本存在没有连接的部分,但如图3d中的303所示区域将原本没有连接的部分因过度修复而连接在了一起),使修复后的高质量的指纹图像失真从而带来指纹识别时的认假风险。而采用上述的指纹识别方法,则可以对高质量的指纹图像采用相比于中质量的指纹图像对应的修复程度更低的修复程度进行修复,从而避免因对高质量的指纹图像过度修复而带来的认假风险。
以下,将结合附图对本申请实施例提供的指纹识别方法进行说明。
在本申请实施例中,具有拍照功能的电子设备,可以是手机、平板电脑、手持计算机,PC,蜂窝电话,个人数字助理(personal digital assistant,PDA),可穿戴式设备(如:智能手表、智能手环),智能家居设备(如:电视机),车机(如:车载电脑),智慧屏,游戏机,以及增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备等。本申请实施例对于电子设备的具体设备形态不作特殊限制。
示例地,以电子设备为手机为例,图4示出了本申请实施例提供的一种电子设备的结构示意图。也即,示例性的,图4所示的电子设备可以是手机。
如图4所示,电子设备可以包括处理器410,外部存储器接口420,内部存储器421,通用串行总线(universal serial bus,USB)接口430,充电管理模块440,电源管理模块441,电池442,天线1,天线2,移动通信模块450,无线通信模块460,音频模块470,扬声器470A,受话器470B,麦克风470C,耳机接口470D,传感器模块480,按键490,马达491,指示器492,摄像头493,显示屏494,以及用户标识模块(subscriber identification module,SIM)卡接口495等。其中,传感器模块480可以包括压力传感器480A,陀螺仪传感器480B,气压传感器480C,磁传感器480D,加速度传感器480E,距离传感器480F,接近光传感器480G,指纹传感器480H(如,超声波指纹识别模块、光学指纹识别模块以及电容指纹识别模块等),温度传感器480J,触摸传感器480K,环境光传感器480L,骨传导传感器480M等。
可以理解的是,本实施例示意的结构并不构成对电子设备的具体限定。在另一些实施例中,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器410可以包括一个或多个处理单元,例如:处理器410可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
控制器可以是电子设备的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器410中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器410中的存储器为高速缓冲存储器。该存储器可以保存处理器410刚用过或循环使用的指令或数据。如果处理器410需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器410的等待时间,因而提高了系统的效率。
在一些实施例中,处理器410可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
电子设备的无线通信功能可以通过天线1,天线2,移动通信模块450,无线通信模块460,调制解调处理器以及基带处理器等实现。
电子设备通过GPU,显示屏494,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏494和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器410可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏494用于显示图像,视频等。显示屏494包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备可以包括1个或N个显示屏494,N为大于1的正整数。
电子设备可以通过ISP,摄像头493,视频编解码器,GPU,显示屏494以及应用处理器等实现拍摄功能。在一些实施例中,电子设备可以包括1个或N个摄像头493,N为大于1的正整数。示例地,电子设备可以包括三个摄像头,其中一个为主摄摄像头,一个为长焦摄像头,一个为超广角摄像头。
内部存储器421可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器410通过运行存储在内部存储器421的指令,从而执行电子设备的各种功能应用以及数据处理。内部存储器421可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器421可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
当然,可以理解的,上述图4所示仅仅为电子设备的形态为手机时的示例性说明。若电子设备是平板电脑,手持计算机,PC,PDA,可穿戴式设备(如:智能手表、智能手环),智能家居设备(如:电视机),车机(如:车载电脑),智慧屏,游戏机以及AR/VR设备等其他设备形态时,电子设备的结构中可以包括比图4中所示更少的结构,也可以包括比图4中所示更多的结构,在此不作限制。
以下实施例中的方法均可以在具有上述硬件结构的电子设备中实现。
以电子设备为手机,电子设备的指纹识别模块(或称为指纹传感器)获取到的指纹图像可分为如图3a所示的低质量,如图3b所示的中质量以及如图3c所示的高质量三种质量等级为例,图5示出了本申请实施例提供的一种指纹识别方法。如图5所示,该方法可以包括以下S501-S504。
S501、手机通过指纹识别模块获取得到指纹图像(如,本申请中的第一指纹图像、第三指纹图像)。
示例地,指纹识别模块可以是超声波指纹识别模块、光学指纹识别模块、电容指纹识别模块等,其中,光学指纹识别模块和超声波指纹识别模块还可以结合屏下指纹技术设置于手机的屏幕(即显示屏)下方。
其中,指纹图像是用于指纹识别的图像。例如,指纹识别模块采集到的信息通常包括指纹的原始图像(如本申请中的第一原始图像等,原始图像还可称为Raw图、Raw数据,即指纹识别模块原始采集到的指纹的图像)。而指纹识别模块(或手机)一般还会预设有校准数据(或称为Base数据,即指纹识别模块生产校准时产生的校准数据,其主要包括指纹识别采集原始图像时存在的噪声数据)。因此,指纹识别模块采集得到的指纹图像可以是根据原始图像(即Raw图)和校准数据(即Base数据)得到的,即指纹图像可以是基于校准数据对原始图像进行预处理得到的预处理图像。例如,可以基于指纹识别模块采集的指纹的原始图像,去掉校准数据(即去噪,如将原始图像中各像素的值分别减去校准数据中相应像素对应的值)以得到预处理图像,以该预处理图像作为指纹图像)。当然,在一些可能的实施方式中,在基于指纹的原始图像根据校准数据进行去噪之后,还可以进行高斯滤波和去摩尔纹等预处理操作以得到预处理图像(即指纹图像),此处不做限制。
S502、手机对指纹图像进行质量评估。
作为一种示例,手机对指纹图像进行质量评估可以采用指纹质量评估模型实现。其中,指纹质量评估模型可以基于Resnet的网络结构,采用回归的思想进行训练。即,该指纹质量评估模型可以用于输入包括指纹图像的数据时输出该指纹图像对应的质量评估结果(如质量打分分值、质量等级等)。在本申请实施例中,可根据该模型输入和输出的具体数据设置来训练该模型。
示例地,该指纹质量评估模型可以以融合的指纹数据作为模型输入,与输入的融合的指纹数据对应的质量打分分值作为模型输出来进行训练。
例如,融合的指纹数据可以是指纹识别模块采集的指纹的原始图像(即Raw图)和对原始图像进行预处理得到的预处理图像(即指纹图像)进行多模态数据融合(例如,采用基于阶段的融合算法、基于特征的融合算法以及基于语义的融合算法等进行多模态数据融合)得到的数据。该融合的指纹数据对应的质量打分分值可以是融合的指纹数据中的预处理图像的质量打分分值。可将上述的原始图像和预处理图像融合得到的数据作为模型输入,将预处理图像对应的质量打分分值作为模型输出来训练该指纹质量评估模型。可以理解的,多模态数据融合可以采用现有技术中的融合算法,如CONCAT和插值融合,本申请不进行限定。
如图6所示,采用基于上述示例训练的指纹质量评估模型时,手机对指纹图像进行质量评估可以是:当指纹识别模块采集到指纹的原始图像(如第一原始图像)并基于原始图像得到预处理图像(即指纹图像,如第一指纹图像)时,手机可以将该原始图像和预处理图像进行融合以得到融合数据(即融合的指纹数据)。然后,手机可将融合数据输入到指纹质量评估模型中,从而使指纹质量评估模型输出相应的质量评估结果(即质量打分分值)。其中,指纹图像不同的质量等级可以对应不同的质量打分分值区间。例如,可将质量打分分值设置为0-100,质量等级为低质量对应的区间可设为[0,20),质量等级为中质量对应的区间可设为(20,40),质量等级为高质量对应的区间可设为(40,100]。即,当指纹质量评估模型输出的质量打分分值位于[0,20)时,可确定输入的融合数据中包括的指纹图像的质量评估结果为低质量。当指纹质量评估模型输出的质量打分分值位于(20,40)时,可确定输入的融合数据中包括的指纹图像的质量评估结果为中质量。当指纹质量评估模型输出的质量打分分值位于(40,100]时,可确定输入的融合数据中包括的指纹图像的质量评估结果为高质量。当然,当指纹质量评估模型输出的质量打分分值为20时,输入的融合数据中包括的指纹图像的质量评估结果可以确定为低质量也可以确定为中质量,可根据实际需要进行设定,此处不做限制。当指纹质量评估模型输出的质量打分分值为40时,输入的融合数据中包括的指纹图像的质量评估结果可以确定为中质量也可以确定为高质量,可根据实际需要进行设定,此处不做限制。如此,根据融合的数据对指纹图像进行质量评估,由于融合数据能够更高的表示指纹图像的特征,因此可提高对指纹图像的质量评估的准确性。
又例如,融合的指纹数据还可以是指纹识别模块采集的指纹的原始图像(即Raw图,如第一原始图像)、对原始图像进行预处理得到的预处理图像(即指纹图像,如第一指纹图像)以及指纹识别模块预设的校准数据(即Base数据)进行融合得到的数据。如,可将原始图像去掉校准数据(即原始图像各像素的像素值减去对应像素的校准数据值)后进行归一化处理(由于进行了数据计算,因此进行归一化可以把所有的数值拉平到同一区间消除异常值带来的影响)以得到处理后数据,然后将处理后数据与预处理图像进行多模态数据融合得到融合的指纹数据。如此,能够使融合的指纹数据经过了去噪处理,从而提高对指纹质量评估模型的训练效果,使其质量评估更加准确。该融合的指纹数据对应的质量打分分值可以是融合的指纹数据中的预处理图像的质量打分分值。其中,对原始图像去掉校准数据后的中间图进行归一化处理可以是最大最小归一化。即,归一化后的处理后数据中各像素的像素值满足以下公式:
其中,I为归一化后的像素值,i为对应像素归一化前的像素值,min为归一化前各像素中的最小像素值,max为归一化前各像素中的最大像素值。
可将上述的原始图像、预处理图像以及校准数据融合得到的数据作为模型输入,将预处理图像对应的质量打分分值作为模型输出来训练该指纹质量评估模型。
如图7所示,采用基于上述示例训练的指纹质量评估模型时,手机对指纹图像进行质量评估可以是:当指纹识别模块采集到指纹的原始图像并基于原始图像得到预处理图像(即指纹图像)时,手机可以将该原始图像去掉校准数据(如,原始图像各像素的像素值减去对应像素的校准数据值)后进行归一化处理以得到处理后数据,然后将处理后数据与预处理图像进行融合得到融合数据(即融合的指纹数据)。然后,手机可将融合数据输入到指纹质量评估模型中,从而使指纹质量评估模型输出相应的质量评估结果(即质量打分分值)。其中,指纹图像不同的质量等级可以对应不同的质量打分分值区间。例如,可将质量打分分值设置为0-100,质量等级为低质量对应的区间可设为[0,20),质量等级为中质量对应的区间可设为(20,40),质量等级为高质量对应的区间可设为(40,100]。即,当指纹质量评估模型输出的质量打分分值位于[0,20)时,可确定输入的融合数据中包括的指纹图像的质量评估结果为低质量。当指纹质量评估模型输出的质量打分分值位于(20,40)时,可确定输入的融合数据中包括的指纹图像的质量评估结果为中质量。当指纹质量评估模型输出的质量打分分值位于(40,100]时,可确定输入的融合数据中包括的指纹图像的质量评估结果为高质量。当然,当指纹质量评估模型输出的质量打分分值为20时,输入的融合数据中包括的指纹图像的质量评估结果可以确定为低质量也可以确定为中质量,可根据实际需要进行设定,此处不做限制。当指纹质量评估模型输出的质量打分分值为40时,输入的融合数据中包括的指纹图像的质量评估结果可以确定为中质量也可以确定为高质量,可根据实际需要进行设定,此处不做限制。
需要说明的是,在本申请实施例中,还可以仅以指纹图像作为模型输入,以指纹图像对应的质量打分分值作为模型输出来训练该模型,从而以根据指纹图像直接确定出指纹图像的质量。例如,手机对指纹图像进行质量评估可以是:当指纹识别模块采集到指纹的原始图像(如第一原始图像)并基于原始图像得到预处理图像(即指纹图像,如第一指纹图像)时,手机可以将该预处理图像输入到指纹质量评估模型中,从而使指纹质量评估模型输出相应的质量评估结果(即质量打分分值),从而可根据质量打分分值的区间确定相应的质量等级。
又或者,还可以以指纹识别模块采集到的原始图像作为模型输入,以原始图像对应的质量打分分值作为模型输出来训练该模型,从而以根据原始图像直接确定出对应的指纹图像的质量。例如,手机对指纹图像进行质量评估可以是:当指纹识别模型采集到指纹的原始图像时,手机可以将该原始图像输入到指纹质量评估模型中,从而使指纹质量评估模型输出相应的质量评估结果(即质量打分分值),从而可根据质量打分分值的区间确定相应的质量等级。
S503、手机根据指纹图像的质量评估结果对指纹图像进行相应程度的修复。
手机可根据指纹图像的质量评估结果,对质量(如质量等级)越高的指纹图像进行越低程度的修复,从而避免对高质量的指纹图像过度修复。
示例地,基于S502得到的质量评估结果,手机可以针对指纹图像的质量等级对指纹图像进行相应程度的修复。即,手机可以根据预设的质量等级与修复程度(或修复参数、修复模型)间的映射关系,采用相应的修复程度对指纹图像进行修复。
例如,当手机确定指纹图像的质量等级为低质量时,可以对该指纹图像进行高程度的修复,当手机确定指纹图像的质量等级为中质量时,可以对该指纹图像进行中程度的修复,当手机确定指纹图像的质量等级为高质量时,可以对该指纹图像进行低程度的修复。即,当指纹图像的质量越高时则对指纹图像进行越低程度的修复,从而避免对指纹图像过度修复造成指纹图像失真。
作为一种示例,手机对指纹图像的修复可以采用指纹修复模型实现。其中,指纹修复模型可以基于Unet网络结构(如二级Unet网络结构)进行训练。即,该指纹修复模型可以用于输入指纹图像时输出该指纹图像修复后的图像。
示例地,该指纹修复模型可以采用同一模型结构,分别采用针对不同质量等级的指纹图像的指纹修复参数,以实现对不同质量等级的指纹图像进行不同程度的指纹修复。在训练该模型时,可以通过以不同退化程度的指纹图像作为训练数据来训练得到针对不同质量等级的指纹图像的指纹修复参数。
例如,可以采用退化模型对识别率高的指纹图像(如指纹纹理清晰且无断续点的指纹图像)进行低程度的退化,从而得到与上述高质量的指纹图像(即如图3c所示的指纹图像)质量接近的训练图像。可将该训练图像作为模型输入,以对应的退化前图像(即该训练图像对应的退化前的识别率高的指纹图像)作为模型输出来训练该指纹修复模型。从而可得到针对高质量的指纹图像的指纹修复参数(如,高质量指纹修复参数,该参数能够对指纹图像进行低程度的修复)。
又例如,可以采用退化模型对识别率高的指纹图像(如指纹纹理清晰且无断续点的指纹图像)进行中程度的退化,从而得到与上述中质量的指纹图像(即如图3b所示的指纹图像)质量接近的训练图像。可将该训练图像作为模型输入,以对应的退化前图像(即该训练图像对应的退化前的识别率高的指纹图像)作为模型输出来训练该指纹修复模型。从而可得到针对中质量的指纹图像的指纹修复参数(如,中质量指纹修复参数,该参数能够对指纹图像进行中程度的修复)。
又例如,可以采用退化模型对识别率较低的指纹图像(如指纹纹理较模糊的指纹图像)进行高程度的退化,从而得到与上述低质量的指纹图像(即如图3a所示的指纹图像)质量接近的训练图像。可将该训练图像作为模型输入,以对应的退化前图像(即该训练图像对应的退化前的识别率较低的指纹图像)作为模型输出来训练该指纹修复模型。从而可得到针对低质量的指纹图像的指纹修复参数(如,低质量指纹修复参数,该参数能够对指纹图像进行高程度的修复)。
如图8所示,采用基于上述示例训练的指纹修复模型,具有同一模型结构,针对不同的质量等级的指纹图像具有不同的修复参数(如针对低质量的指纹图像的低质量指纹修复参数,针对中质量的指纹图像的中质量指纹修复参数,针对高质量的指纹图像的高质量指纹修复参数)。采用该指纹修复模型时,手机根据指纹图像的质量评估结果对指纹图像进行相应程度的修复可以是:根据预设的质量等级与修复参数间的映射关系,采用相应的修复参数对指纹图像进行修复。例如,当手机确定指纹图像(如第五指纹图像)为低质量的指纹图像时,将低质量的指纹图像输入到指纹修复模型中以低质量指纹修复参数对该指纹图像进行修复,以得到高程度修复后的图像(如第六指纹图像)。当手机确定指纹图像(如第三指纹图像)为中质量的指纹图像时,将中质量的指纹图像输入到指纹修复模型中以中质量指纹修复参数对该指纹图像进行修复,以得到中程度修复后的图像(如第四指纹图像)。当手机确定指纹图像(如第一指纹图像)为高质量的指纹图像时,将高质量的指纹图像输入到指纹修复模型中以高质量指纹修复参数对该指纹图像进行修复,以得到低程度修复后的图像(如第二指纹图像)。
可选地,在本申请实施例中,还可以基于上述训练指纹修复模型的方法,分别训练得到相互独立(即具有独立的模型结构)的针对不同质量等级的指纹图像的指纹修复模型(如本申请中的第一修复模型、第二修复模型、第三修复模型等),此处不做限制。相应地,采用该指纹修复模型时,手机根据指纹图像的质量评估结果对指纹图像进行相应程度的修复可以是:根据预设的质量等级与修复模型间的映射关系,采用相应的修复模型对指纹图像进行修复。例如,当手机确定指纹图像(如第五指纹图像)为低质量的指纹图像时,将指纹图像输入到针对低质量的指纹图像的指纹修复模型(如第三修复模型)中对该指纹图像进行修复,以得到高程度修复后的图像(如第六指纹图像)。当手机确定指纹图像(如第三指纹图像)为中质量的指纹图像时,将指纹图像输入到针对中质量的指纹图像的指纹修复模型(如第二修复模型)中对该指纹图像进行修复,以得到中程度修复后的图像(如第四指纹图像)。当手机确定指纹图像为高质量的指纹图像(如第一指纹图像)时,将指纹图像输入到针对高质量的指纹图像的指纹修复模型(如第一修复模型)中对该指纹图像进行修复,以得到低程度修复后的图像(如第二指纹图像)。
S504、手机根据修复后的指纹图像进行指纹识别。
可选地,手机根据修复后的指纹图像进行指纹识别可以采用指纹识别相关技术中的指纹识别算法,此处不做限制。如,将修复后的指纹图像与存储的用户录入的指纹图像进行比对,当两者相似度(如,结构相似性(structural similarity,SSIM)值等)大于阈值时则识别通过等。
基于如图5所示的指纹识别方法,如图9所示,在本申请实施例中,当手机通过指纹识别模块采集到用户的指纹信息(如,指纹信息包括指纹图像、指纹的原始图像以及校准数据等)后,手机执行的指纹识别过程可以是:将指纹信息输入到指纹质量评估模型中,以使指纹质量评估模型输出对应的质量评估结果(如评估结果为质量等级为低质量、中质量、高质量等)。当指纹质量评估模型输出的质量评估结果为低质量时,手机可将指纹图像输入到指纹修复模型中以低质量指纹修复参数对该指纹图像进行修复,以得到高程度修复后的图像。然后对修复后的图像按照指纹识别算法进行指纹识别,当识别通过时则进行用户解锁。当指纹质量评估模型输出的质量评估结果为中质量时,手机可将指纹图像输入到指纹修复模型中以中质量指纹修复参数对该指纹图像进行修复,以得到中程度修复后的图像。然后对修复后的图像按照指纹识别算法进行指纹识别,当识别通过时则进行用户解锁。当指纹质量评估模型输出的质量评估结果为高质量时,手机可将指纹图像输入到指纹修复模型中以高质量指纹修复参数对该指纹图像进行修复,以得到低程度修复后的图像。然后对修复后的图像按照指纹识别算法进行指纹识别,当识别通过时则进行用户解锁。
可选地,在本申请实施例中,手机还可以仅对可被修复的质量等级的指纹图像(或者仅对质量评估结果对应的质量等级为预设的质量等级的指纹图像)进行修复。继续以电子设备为手机,电子设备的指纹识别模块(或称为指纹传感器)获取到的指纹图像可分为如图3a所示的低质量,如图3b所示的中质量以及如图3c所示的高质量三种质量等级为例。图10示出了本申请实施例提供的另一种指纹识别方法。如图10所示,该方法可以包括以下S1001-S1005。
S1001、手机通过指纹识别模块获取得到指纹图像。
S1002、手机对指纹图像进行质量评估。
S1003、手机判断指纹图像的质量评估结果是否与预设的质量一致。若是,则执行以下S1004,若否则执行以下S1005。
示例地,预设的质量可以是预设的可被修复的指纹图像的质量等级。如,预设的质量等级为中质量,则手机对指纹图像进行质量评估后确定的质量等级为中质量时,则手机可确定质量评估结果与预设的质量一致。例如,手机在通过指纹识别模型采集到用户的指纹的原始图像(如第一原始图像)后,可以基于预设的校准数据对原始图像进行预处理以得到预处理图像(即指纹图像,如第一指纹图像)。然后,手机可对预处理图像进行质量评估,若确定预处理图像的质量等级为中质量,则可确定该预处理图像的质量评估结果与预设的质量等级一致,即该预处理图像的质量等级为预设的质量等级。若确定预处理图像的质量等级不是中质量(如高质量或低质量),则可确定该预处理图像的质量评估结果与预设的质量等级不一致,即该预处理图像的质量等级不是预设的质量等级。
S1004、手机对该指纹图像进行修复,对修复后的指纹图像进行指纹识别。
手机对质量评估结果与预设的质量一致的指纹图像进行修复,可以通过指纹修复模型实现。该指纹修复模型可对预设的质量对应的指纹图像进行相应程度的修复。因此,该指纹修复模型可以参考如图5所示的S503中所述的指纹修复模型的实施方式,其区别在于该指纹修复模型仅训练了与预设的质量对应的指纹修复参数。
S1005、手机对该指纹图像进行指纹识别。
需要说明的是,S1001、S1002的具体实施方式分别与如图5所示的S501和S502相同,此处不做赘述。S1004和S1005中的指纹识别的具体实施方式均与如图5所示的S504中的指纹识别方式相同或相似,此处不做赘述。
还需要说明的是,在如图10所示的方法中,预设的质量还可以是两个,如预设的质量分别为中质量和高质量。则,当手机评估对指纹图像进行质量评估后确定的质量等级为中质量时,则手机可确定质量评估结果与预设的质量一致,将该指纹图像通过指纹修复模型中的中质量指纹修复参数进行修复,得到修复后的图像。当手机评估对指纹图像进行质量评估后确定的质量等级为高质量时,则手机可确定质量评估结果与预设的质量一致,将该指纹图像通过指纹修复模型中的高质量指纹修复参数进行修复,得到修复后的图像。当手机评估对指纹图像进行质量评估后确定的质量等级为低质量时,则手机可确定质量评估结果与预设的质量不一致,不对该指纹图像进行修复而直接进行指纹识别。
基于如图10所示的指纹识别方法,如图11所示,以预设的质量为中质量为例,在本申请实施例中,当手机通过指纹识别模块获取到用户的指纹信息(如,指纹信息包括指纹图像、指纹的原始图像以及校准数据等)后,手机执行的指纹识别过程可以是:将指纹信息输入到指纹质量评估模型中,以使指纹质量评估模型输出对应的质量评估结果(如评估结果为质量等级为低质量、中质量、高质量等)。当指纹质量评估模型输出的质量评估结果为低质量时,手机可直接将指纹图像按照指纹识别算法进行指纹识别,当识别通过时则进行用户解锁。当指纹质量评估模型输出的质量评估结果为中质量时,手机可将指纹图像输入到指纹修复模型中以中质量指纹修复参数对该指纹图像进行修复,以得到中程度修复后的图像。然后对修复后的图像按照指纹识别算法进行指纹识别,当识别通过时则进行用户解锁。当指纹质量评估模型输出的质量评估结果为高质量时,手机可直接将指纹图像按照指纹识别算法进行指纹识别,当识别通过时则进行用户解锁。
可选地,基于上述如图5和如图10所示的方法,在本申请实施例中,手机的设置列表中还可以设置指纹修复开关,以供用户选择是否开启指纹识别时进行指纹修复。
采用该指纹识别方法,能够根据指纹识别模块获取的指纹图像的质量进行对应程度的修复,然后再进行指纹识别。从而,可通过对指纹图像的修复来提高指纹图像的质量提高指纹识别率,并且能够避免因对指纹图像过度修复而造成指纹识别时出现认假的情况。
对应于前述实施例中的方法,本申请实施例还提供一种指纹识别装置。该装置可以应用于上述的电子设备用于实现前述实施例中的方法。该装置的功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块。例如,该装置包括:处理模块以及指纹识别模块等。处理模块、指纹识别模块可以配合用于实现上述实施例中相关的方法。
应理解以上装置中单元或模块(以下均称为单元)的划分仅仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。且装置中的单元可以全部以软件通过处理元件调用的形式实现;也可以全部以硬件的形式实现;还可以部分单元以软件通过处理元件调用的形式实现,部分单元以硬件的形式实现。
例如,各个单元可以为单独设立的处理元件,也可以集成在装置的某一个芯片中实现,此外,也可以以程序的形式存储于存储器中,由装置的某一个处理元件调用并执行该单元的功能。此外这些单元全部或部分可以集成在一起,也可以独立实现。这里所述的处理元件又可以称为处理器,可以是一种具有信号的处理能力的集成电路。在实现过程中,上述方法的各步骤或以上各个单元可以通过处理器元件中的硬件的集成逻辑电路实现或者以软件通过处理元件调用的形式实现。
在一个例子中,以上装置中的单元可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个ASIC,或,一个或多个DSP,或,一个或者多个FPGA,或这些集成电路形式中至少两种的组合。
再如,当装置中的单元可以通过处理元件调度程序的形式实现时,该处理元件可以是通用处理器,例如CPU或其它可以调用程序的处理器。再如,这些单元可以集成在一起,以片上系统(system-on-a-chip,SOC)的形式实现。
在一种实现中,以上装置实现以上方法中各个对应步骤的单元可以通过处理元件调度程序的形式实现。例如,该装置可以包括处理元件和存储元件,处理元件调用存储元件存储的程序,以执行以上方法实施例所述的方法。存储元件可以为与处理元件处于同一芯片上的存储元件,即片内存储元件。
在另一种实现中,用于执行以上方法的程序可以在与处理元件处于不同芯片上的存储元件,即片外存储元件。此时,处理元件从片外存储元件调用或加载程序于片内存储元件上,以调用并执行以上方法实施例所述的方法。
例如,本申请实施例还可以提供一种装置,如:电子设备,可以包括:处理器,用于存储该处理器可执行指令的存储器。该处理器被配置为执行上述指令时,使得该电子设备实现如前述实施例中电子设备实施的指纹识别方法。该存储器可以位于该电子设备之内,也可以位于该电子设备之外。且该处理器包括一个或多个。
在又一种实现中,该装置实现以上方法中各个步骤的单元可以是被配置成一个或多个处理元件,这些处理元件可以设置于对应上述的电子设备上,这里的处理元件可以为集成电路,例如:一个或多个ASIC,或,一个或多个DSP,或,一个或者多个FPGA,或者这些类集成电路的组合。这些集成电路可以集成在一起,构成芯片。
例如,本申请实施例还提供一种芯片系统,该芯片系统可以应用于上述电子设备。芯片系统包括一个或多个接口电路和一个或多个处理器;接口电路和处理器通过线路互联;处理器通过接口电路从电子设备的存储器接收并执行计算机指令,以实现以上方法实施例中电子设备相关的方法。
本申请实施例还提供一种计算机程序产品,包括电子设备,如上述电子设备,运行的计算机指令。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,如:程序。该软件产品存储在一个程序产品,如计算机可读存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
例如,本申请实施例还可以提供一种计算机可读存储介质,其上存储有计算机程序指令。当计算机程序指令被电子设备执行时,使得电子设备实现如前述方法实施例中所述的指纹识别方法。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (17)
1.一种指纹识别方法,其特征在于,包括:
获取用户的第一指纹图像;
对所述第一指纹图像进行质量评估;
确定所述第一指纹图像为第一质量等级,其中所述第一质量等级用于标识所述第一指纹图像的质量;
基于所述第一质量等级确定第一修复模型,所述第一修复模型包括第一修复参数,所述第一修复模型对应所述第一质量等级;
基于所述第一修复模型对所述第一指纹图像进行处理,得到第二指纹图像;
采用所述第二指纹图像进行指纹识别。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取所述用户的第三指纹图像;
对所述第三指纹图像进行质量评估;
确定所述第三指纹图像为第二质量等级,其中所述第二质量等级用于标识所述第三指纹图像的质量;
基于所述第二质量等级确定第二修复模型,所述第二修复模型包括第二修复参数,所述第二修复模型对应所述第二质量等级;
基于所述第二修复模型对所述第三指纹图像进行处理,得到第四指纹图像;
采用所述第四指纹图像进行指纹识别。
3.根据权利要求2所述的方法,其特征在于,所述第一质量等级优于所述第二质量等级,所述第二指纹图像与所述第一指纹图像间的变化程度小于所述第四指纹图像与所述第三指纹图像间的变化程度。
4.根据权利要求2或3所述的方法,其特征在于,
所述基于所述第一质量等级确定第一修复模型,包括:
根据所述第一质量等级,按照预设的质量等级与修复参数间的映射关系,确定所述第一修复参数;
确定包括所述第一修复参数的修复模型为所述第一修复模型;
所述基于所述第二质量等级确定第二修复模型,包括:
根据所述第二质量等级,按照预设的质量等级与修复参数间的映射关系,确定所述第二修复参数;
确定包括所述第二修复参数的修复模型为所述第二修复模型。
5.根据权利要求2至4任一项所述的方法,其特征在于,所述第一修复模型与所述第二修复模型相同或不同。
6.根据权利要求2或3所述的方法,其特征在于,所述第一修复模型和所述第二修复模型不同;
所述基于所述第一质量等级确定第一修复模型,包括:
根据所述第一质量等级,按照预设的质量等级与修复模型间的映射关系,确定所述第一修复模型;
所述基于所述第二质量等级确定第二修复模型,包括:
根据所述第二质量等级,按照预设的质量等级与修复模型间的映射关系,确定所述第二修复模型。
7.根据权利要求1至6任一项所述的方法,其特征在于,所述获取用户的第一指纹图像,包括:
采集所述用户指纹的第一原始图像;
对所述第一原始图像进行预处理得到所述第一指纹图像。
8.根据权利要求7所述的方法,其特征在于,所述对所述第一原始图像进行预处理得到所述第一指纹图像,包括:
根据预设的校准数据对所述第一原始图像进行预处理得到所述第一指纹图像,所述校准数据包括采集原始图像时的噪声数据。
9.根据权利要求8所述的方法,其特征在于,所述对所述第一指纹图像进行质量评估,包括:
融合所述第一指纹图像和所述第一原始图像;
根据所述第一指纹图像和所述第一原始图像的融合结果,对所述第一指纹图像进行质量评估。
10.根据权利要求9所述的方法,其特征在于,所述融合所述第一指纹图像和所述第一原始图像之前,所述方法还包括:
根据所述校准数据对所述第一原始图像进行处理;
所述融合所述第一指纹图像和所述第一原始图像,包括:
将根据校准数据对所述第一原始图像进行处理得到的结果与所述第一指纹图像进行融合。
11.一种指纹识别方法,其特征在于,包括:
获取用户的第一指纹图像;
对所述第一指纹图像进行质量评估;
确定所述第一指纹图像为第一质量等级,其中所述第一质量等级用于标识所述第一指纹图像的质量;
确定所述第一质量等级为预设的质量等级;
基于所述第一质量等级确定第一修复模型,所述第一修复模型包括第一修复参数,所述第一修复模型对应所述第一质量等级;
基于所述第一修复模型对所述第一指纹图像进行处理,得到第二指纹图像;
采用所述第二指纹图像进行指纹识别。
12.根据权利要求11所述的方法,其特征在于,判断所述第一质量等级是否为预设的质量等级之后,所述方法还包括:
若否,则对所述第一指纹图像进行指纹识别。
13.根据权利要求11或12所述的方法,其特征在于,所述预设的质量等级包括一种或多种质量等级。
14.根据权利要求11至13任一项所述的方法,其特征在于,所述获取用户的第一指纹图像,包括:
采集所述用户指纹的第一原始图像;
对所述第一原始图像进行预处理得到所述第一指纹图像。
15.一种电子设备,其特征在于,包括:处理器,用于存储所述处理器可执行指令的存储器,所述处理器被配置为执行所述指令时,使得所述电子设备实现如权利要求1至10任一项所述的方法或如权利要求11至14任一项所述的方法。
16.一种计算机可读存储介质,其上存储有计算机程序指令;其特征在于,当所述计算机程序指令被电子设备执行时,使得电子设备实现如权利要求1至10任一项所述的方法或如权利要求11至14任一项所述的方法。
17.一种计算机程序产品,其特征在于,包括计算机可读代码,当所述计算机可读代码在电子设备中运行时,使得电子设备实现如权利要求1至10任一项所述的方法或如权利要求11至14任一项所述的方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111236058.2A CN116012696A (zh) | 2021-10-22 | 2021-10-22 | 一种指纹识别方法及电子设备 |
PCT/CN2022/118475 WO2023065889A1 (zh) | 2021-10-22 | 2022-09-13 | 一种指纹识别方法及电子设备 |
EP22862316.1A EP4195165A1 (en) | 2021-10-22 | 2022-09-13 | Fingerprint identification method and electronic device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111236058.2A CN116012696A (zh) | 2021-10-22 | 2021-10-22 | 一种指纹识别方法及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116012696A true CN116012696A (zh) | 2023-04-25 |
Family
ID=86025383
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111236058.2A Pending CN116012696A (zh) | 2021-10-22 | 2021-10-22 | 一种指纹识别方法及电子设备 |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP4195165A1 (zh) |
CN (1) | CN116012696A (zh) |
WO (1) | WO2023065889A1 (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190057270A1 (en) * | 2017-08-16 | 2019-02-21 | Samsung Electronics Co., Ltd. | Method of evaluating performance of bio-sensor, authentication method using bio-image, and electronic apparatus adopting the authentication method |
CN109388926A (zh) * | 2017-08-14 | 2019-02-26 | 三星电子株式会社 | 处理生物特征图像的方法和包括该方法的电子设备 |
CN112699863A (zh) * | 2021-03-25 | 2021-04-23 | 深圳阜时科技有限公司 | 指纹增强算法、计算机可读存储介质及电子设备 |
CN113298722A (zh) * | 2020-05-09 | 2021-08-24 | 阿里巴巴集团控股有限公司 | 图像修复方法、装置、电子设备及计算机存储介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106778457A (zh) * | 2015-12-11 | 2017-05-31 | 深圳市汇顶科技股份有限公司 | 可提高指纹识别率的指纹识别方法及系统 |
CN108446651A (zh) * | 2018-03-27 | 2018-08-24 | 百度在线网络技术(北京)有限公司 | 人脸识别方法和装置 |
-
2021
- 2021-10-22 CN CN202111236058.2A patent/CN116012696A/zh active Pending
-
2022
- 2022-09-13 EP EP22862316.1A patent/EP4195165A1/en active Pending
- 2022-09-13 WO PCT/CN2022/118475 patent/WO2023065889A1/zh unknown
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109388926A (zh) * | 2017-08-14 | 2019-02-26 | 三星电子株式会社 | 处理生物特征图像的方法和包括该方法的电子设备 |
US20190057270A1 (en) * | 2017-08-16 | 2019-02-21 | Samsung Electronics Co., Ltd. | Method of evaluating performance of bio-sensor, authentication method using bio-image, and electronic apparatus adopting the authentication method |
CN113298722A (zh) * | 2020-05-09 | 2021-08-24 | 阿里巴巴集团控股有限公司 | 图像修复方法、装置、电子设备及计算机存储介质 |
CN112699863A (zh) * | 2021-03-25 | 2021-04-23 | 深圳阜时科技有限公司 | 指纹增强算法、计算机可读存储介质及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
WO2023065889A1 (zh) | 2023-04-27 |
EP4195165A1 (en) | 2023-06-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111079576B (zh) | 活体检测方法、装置、设备及存储介质 | |
US11074466B2 (en) | Anti-counterfeiting processing method and related products | |
KR100947990B1 (ko) | 차영상 엔트로피를 이용한 시선 추적 장치 및 그 방법 | |
CN107657218B (zh) | 人脸识别方法及相关产品 | |
CN110706179B (zh) | 一种图像处理方法及电子设备 | |
US11055547B2 (en) | Unlocking control method and related products | |
WO2019011098A1 (zh) | 解锁控制方法及相关产品 | |
WO2019011206A1 (zh) | 活体检测方法及相关产品 | |
CN108259758B (zh) | 图像处理方法、装置、存储介质和电子设备 | |
CN109937434B (zh) | 图像处理方法、装置、终端和存储介质 | |
CN107451454B (zh) | 解锁控制方法及相关产品 | |
US20240005695A1 (en) | Fingerprint Recognition Method and Electronic Device | |
CN107506697B (zh) | 防伪处理方法及相关产品 | |
CN109525837B (zh) | 图像的生成方法和移动终端 | |
US11335090B2 (en) | Electronic device and method for providing function by using corneal image in electronic device | |
US11978231B2 (en) | Wrinkle detection method and terminal device | |
JP2015026283A (ja) | 画像処理装置、画像処理方法およびプログラム | |
WO2022027432A1 (zh) | 拍摄方法、拍摄装置及终端设备 | |
CN110232417B (zh) | 图像识别方法、装置、计算机设备及计算机可读存储介质 | |
CN116311389B (zh) | 指纹识别的方法和装置 | |
CN116012696A (zh) | 一种指纹识别方法及电子设备 | |
CN112989878A (zh) | 瞳孔检测方法及相关产品 | |
CN109492451B (zh) | 一种编码图像识别方法及移动终端 | |
CN112837222A (zh) | 指纹图像拼接方法、装置、存储介质及电子设备 | |
CN116311395B (zh) | 指纹识别的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |