CN113591921A - 图像识别方法及装置、电子设备、存储介质 - Google Patents
图像识别方法及装置、电子设备、存储介质 Download PDFInfo
- Publication number
- CN113591921A CN113591921A CN202110739286.5A CN202110739286A CN113591921A CN 113591921 A CN113591921 A CN 113591921A CN 202110739286 A CN202110739286 A CN 202110739286A CN 113591921 A CN113591921 A CN 113591921A
- Authority
- CN
- China
- Prior art keywords
- image
- similarity
- obtaining
- threshold
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000003860 storage Methods 0.000 title claims abstract description 15
- 238000012512 characterization method Methods 0.000 claims description 17
- 230000015654 memory Effects 0.000 claims description 14
- 238000007635 classification algorithm Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 6
- 230000000875 corresponding effect Effects 0.000 description 37
- 238000010586 diagram Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000003796 beauty Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 210000003462 vein Anatomy 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000009529 body temperature measurement Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011840 criminal investigation Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本申请提供一种图像识别方法及装置、电子设备、存储介质,该方法包括:获取待识别对象的待识别图像;根据所述待识别图像和模板图像,获得识别信息;所述识别信息包括所述待识别图像与所述模板图像之间的相似度得分、所述待识别图像与所述模板图像之间的匹配点数量和/或重叠面积;根据所述识别信息获得识别结果。本申请提供的方案提高了指纹或掌纹等待识别图像识别的准确性。
Description
技术领域
本申请涉及图像处理技术领域,特别涉及一种图像识别方法及装置、电子设备、计算机可读存储介质。
背景技术
作为具有唯一性、永久性、稳定性的生物特征,指纹识别广泛应用于手机解锁、门禁考勤、刑侦破案等需要生物识别认证的场合。指纹识别的最后一步一般为将某些特征(如对齐后解锁图与模板图)送入一个二分类模型,得到一个衡量两枚指纹相似度的二分类得分,将该得分与某一个特定阈值做比较,从而判断这两枚指纹是否来自同一根手指。
然而,现有的二分类模型得分在少数情况下往往与实际情况有一定偏差,只通过一个阈值来判断指纹比对是否通过往往不是最合理的,阈值的高低直接决定了指纹比对结果,而阈值都是根据经验设定的,故指纹比对结果的准确性不高。
发明内容
本申请实施例提供了一种图像识别方法,用以提高指纹或掌纹比对的准确性。
本申请实施例提供了一种图像识别方法,包括:
获取待识别对象的待识别图像;
根据所述待识别图像和模板图像,获得识别信息,所述识别信息包括所述待识别图像与所述模板图像之间的相似度得分、所述待识别图像与所述模板图像之间的匹配点数量和/或重叠面积表征参数;
根据所述识别信息获得识别结果。
在一实施例中,所述根据所述识别信息获得识别结果,包括:
根据匹配点数量和/或重叠面积表征参数确定相似度阈值;
将所述相似度得分与所述相似度阈值进行比较,获得识别结果。
在一实施例中,所述根据匹配点数量和/或重叠面积表征参数确定相似度阈值,包括:
所述匹配点数量越大,所述相似度阈值越小。
在一实施例中,根据所述匹配点数量确定相似度阈值,包括:
根据所述匹配点数量所处的匹配点数量范围,获得与所述匹配点数量范围对应的相似度阈值;
其中,一个匹配点数量范围对应一个相似度阈值,不同的匹配点数量范围对应不同的相似度阈值。
在一实施例中,所述根据所述待识别图像和模板图像,获得识别信息,包括:
根据所述待识别图像和模板图像,通过二分类算法获得所述待识别图像与所述模板图像之间的相似度得分;
在所述根据所述匹配点数量所处的匹配点数量范围,获得与所述匹配点数量范围对应的相似度阈值之前,所述方法还包括:
获取多组误识图像对以及多组所述误识图像对的匹配点数量;所述误识图像对的两张图像来自不同的目标对象;
根据所述二分类算法获得多组误识图像对的相似度得分;
根据多组所述误识图像对的匹配点数量和多组所述误识图像对的相似度得分,获得多个匹配点数量范围与多个相似度阈值的对应关系。
在一实施例中,所述根据多组所述误识图像对的匹配点数量和多组所述误识图像对的相似度得分,获得多个匹配点数量范围与多个相似度阈值的对应关系,包括:
根据多组所述误识图像对的匹配点数量,分段划分为多个匹配点数量范围;
针对每一个匹配点数量范围,获得与所述匹配点数量范围对应的所述误识图像对的相似度得分的最大值;
根据所述相似度得分的最大值获得与所述匹配点数量范围对应的相似度阈值。
在一实施例中,所述根据多组所述误识图像对的匹配点数量和多组所述误识图像对的相似度得分,获得多个匹配点数量范围与多个相似度阈值的对应关系,包括:
获取多组误拒图像对以及多组所述误拒图像对的匹配点数量;所述误拒图像对的两张图像来自相同的目标对象;根据所述二分类算法获得多组误拒图像对的相似度得分;
根据多组所述误识图像对的匹配点数量、多组所述误识图像对的相似度得分、多组所述误拒图像对的匹配点数量、多组所述误拒图像对的相似度得分,获得多个匹配点数量范围与多个相似度阈值的对应关系。
在一实施例中,所述根据匹配点数量和/或重叠面积确定相似度阈值,包括:
当所述重叠面积表征参数大于第一阈值或小于第二阈值时,增大所述相似度阈值;其中,所述第一阈值大于所述第二阈值;
在一实施例中,所述根据匹配点数量和/或重叠面积表征参数确定相似度阈值,还包括:
当所述重叠面积表征参数大于第三阈值时,所述相似度阈值增大为极大值;所述第三阈值大于所述第一阈值。
在一实施例中,所述根据所述待识别图像和模板图像,获得识别信息,包括:
根据所述待识别图像的多个生物特征点和所述模板图像的多个模板特征点,进行所述多个生物特征点和多个模板特征点之间的对齐,获得匹配点对;根据所述匹配点对,确定所述待识别图像包含的匹配点数量;
和/或;
将所述待识别图像与所述模板图像进行对齐处理;计算对齐处理之后的待识别图像与所述模板图像之间的重叠面积表征参数。
在一实施例中,所述将所述相似度得分与所述相似度阈值进行比较,获得识别结果,包括:
若所述相似度得分大于所述相似度阈值,获得所述待识别图像与所述模板图像属于同一对象的识别结果。
在一实施例中,所述根据所述识别信息获得识别结果,包括:
若所述匹配点数量大于指定阈值,获得所述待识别图像与所述模板图像属于同一对象的识别结果。
在一实施例中,所述待识别对象为指纹,所述待识别图像为指纹图像。
本申请实施例提供了一种图像识别装置,包括:
图像获取模块,用于获取待识别对象的待识别图像;
信息获得模块,用于根据所述待识别图像和模板图像,获得识别信息,所述识别信息包括所述待识别图像与所述模板图像之间的相似度得分、所述待识别图像与所述模板图像之间的匹配点数量和/或重叠面积;
结果获得模块,用于根据所述识别信息获得识别结果。
本申请实施例提供了一种电子设备,所述电子设备包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行上述图像识别方法。
本申请实施例提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序可由处理器执行以完成上述图像识别方法。
本申请上述实施例提供的技术方案,根据待识别图像与模板图像之间的相似度得分、待识别图像与模板图像之间的匹配点数量和/或重叠面积,来判断待识别图像与模板图像是否属于同一对象。相比根据需要随意设定一个相似阈值,仅根据相似度得分高低来进行图像识别,本申请提供的方案提高了识别准确性。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍。
图1为本申请一实施例提供的电子设备的结构示意图;
图2是本申请实施例提供的一种图像识别方法的流程示意图;
图3是图2对应实施例中步骤S220的细节流程图;
图4是本申请实施例提供的对齐处理的流程示意图;
图5是图2对应实施例中步骤S230的细节流程图;
图6是本申请一实施例提供的不同数量范围的相似度阈值的确定流程示意图;
图7是图6对应实施例中步骤603的细节流程示意图;
图8是本申请另一实施例提供的不同数量范围的相似度阈值的确定流程示意图;
图9是本申请实施例提供的误拒图像对和误识图像对的匹配点数量和相似度得分的分布示意图;
图10是本申请实施例提供的一种图像识别装置的框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。
相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
近年来,基于人工智能的计算机视觉、深度学习、机器学习、图像处理、图像识别等技术研究取得了重要进展。人工智能(Artificial Intelligence,AI)是研究、开发用于模拟、延伸人的智能的理论、方法、技术及应用系统的新兴科学技术。人工智能学科是一门综合性学科,涉及芯片、大数据、云计算、物联网、分布式存储、深度学习、机器学习、神经网络等诸多技术种类。计算机视觉作为人工智能的一个重要分支,具体是让机器识别世界,计算机视觉技术通常包括人脸识别、活体检测、指纹识别与防伪验证、生物特征识别、人脸检测、行人检测、目标检测、行人识别、图像处理、图像识别、图像语义理解、图像检索、文字识别、视频处理、视频内容识别、行为识别、三维重建、虚拟现实、增强现实、同步定位与地图构建(SLAM)、计算摄影、机器人导航与定位等技术。随着人工智能技术的研究和进步,该项技术在众多领域展开了应用,例如安防、城市管理、交通管理、楼宇管理、园区管理、人脸通行、人脸考勤、物流管理、仓储管理、机器人、智能营销、计算摄影、手机影像、云服务、智能家居、穿戴设备、无人驾驶、自动驾驶、智能医疗、人脸支付、人脸解锁、指纹解锁、人证核验、智慧屏、智能电视、摄像机、移动互联网、网络直播、美颜、美妆、医疗美容、智能测温等领域。
图1是本申请实施例提供的电子设备的结构示意图。该电子设备100可以用于执行本申请实施例提供的图像识别方法。如图1所示,该电子设备100包括:一个或多个处理器102、一个或多个存储处理器可执行指令的存储器104。其中,所述处理器102被配置为执行本申请下述实施例提供的图像识别方法。
所述处理器102可以是网关,也可以为智能终端,或者是包含中央处理单元(CPU)、图像处理单元(GPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元的设备,可以对所述电子设备100中的其它组件的数据进行处理,还可以控制所述电子设备100中的其它组件以执行期望的功能。
所述存储器104可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器102可以运行所述程序指令,以实现下文所述的图像识别方法。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据,例如所述应用程序使用和/或产生的各种数据等。
在一实施例中,图1所示电子设备100还可以包括输入装置106、输出装置108以及数据采集装置110,这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意,图1所示的电子设备100的组件和结构只是示例性的,而非限制性的,根据需要,所述电子设备100也可以具有其他组件和结构。
所述输入装置106可以是用户用来输入指令的装置,并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。所述输出装置108可以向外部(例如,用户)输出各种信息(例如,图像或声音),并且可以包括显示器、扬声器等中的一个或多个。所述数据采集装置110可以采集对象的图像,并且将所采集的图像存储在所述存储器104中以供其它组件使用。示例性地,该数据采集装置110可以为摄像头。
在一实施例中,用于实现本申请实施例的图像识别方法的示例电子设备100中的各器件可以集成设置,也可以分散设置,诸如将处理器102、存储器104、输入装置106和输出装置108集成设置于一体,而将数据采集装置110分离设置。
在一实施例中,用于实现本申请实施例的图像识别方法的示例电子设备100可以被实现为诸如智能手机、平板电脑、智能手表、车载设备等智能终端。
图2是本申请实施例提供的一种图像识别方法的流程示意图。该方法可以由上述电子设备执行,如图2所示,该方法包括以下步骤S210-步骤S230。
步骤S210:获取待识别对象的待识别图像。
其中,待识别对象可以是指纹、掌纹或静脉。待识别图像可以是指纹图像、掌纹图像或静脉图像。
在一实施例中,待识别图像可以由生物特征图像的采集装置采集后发送到电子设备,之后由电子设备采用本申请提供的图像识别方法,将接收到生物特征图像与事先存储的模板图像进行比对。
在一实施例中,电子设备也可以包括生物特征图像的采集装置,故由电子设备直接采集得到待识别图像,对待识别图像进行识别。
其中,对图像进行识别,即判断待识别图像与模板图像是否属于同一对象。举例来说,待识别图像与事先存储的模板图像属于同一手指或手掌,可以进行解锁。故待识别图像又可称为解锁图,模板图像又可称为底库图。其中,模板图像可以认为是事先存储的已知身份的生物特征图像。而待识别图像与模板图像如果比对确定属于同一对象,由此可以确定待识别图像的用户身份。
步骤S220:根据所述待识别图像和模板图像,获得识别信息。
其中,识别信息包括所述待识别图像与所述模板图像之间的相似度得分、所述待识别图像与所述模板图像之间的匹配点数量和/或重叠面积表征参数;
在一实施例中,识别信息可以包括相似度得分和匹配点数量;在另一实施例中,识别信息可以包括相似度得分和重叠面积表征参数;在其他实施例中,识别信息可以包括相似度得分、匹配点数量和重叠面积表征参数。在其他实施例中,识别信息也可以仅包括匹配点数量。识别信息可以包括相似度得分、匹配点数量以及重叠面积表征参数三者中的一种或几种。
其中,相似度得分用于表征待识别图像与模板图像之间的相似度。匹配点数量是指进行特征点配对时得到的待识别图像与模板图像之间匹配的特征点对的数量。重叠面积表征参数可以是重叠区域的面积占待识别图像总面积的比例,也可以是重叠区域的面积大小。下面对如何获得相似度得分、匹配点数量和重叠面积表征参数的过程展开详细描述。
在一实施例中,上述步骤S220具体包括:根据所述待识别图像和模板图像,通过二分类算法获得所述待识别图像与所述模板图像之间的相似度得分。
相似度得分用于表征待识别图像与模板图像之间的相似度,举例来说,1可以表示相似度得分最高,0表示相似度得分最低。在一实施例中,可以将待识别图像与模板图像进行对齐,再将对齐后的待识别图像与模板图像输入训练好的二分类算法,获得二分类算法输出的相似度得分。二分类算法可以利用已知相似度得分的大量生物特征图像训练得到。
在另一实施例中,如图3所示,上述步骤S220可以包括以下步骤S221-步骤S222。
步骤S221:根据所述待识别图像的多个生物特征点和所述模板图像的多个模板特征点,进行所述多个生物特征点和多个模板特征点之间的对齐,获得匹配点对。
其中,生物特征点是指待识别图像中的特征点及其描述子。模板特征点是指模板图像中的特征点及其描述子。提取图像的特征点及其描述子的方法可以采用ORB方法、SIFT方法或者基于深度神经网络的方法。
如图4所示,分别对待识别图像和模板图像提取特征点及各点对应的描述子。进而根据特征点及描述子进行两图间的对齐,获得匹配点对,可以采用暴力匹配或RANSAC方法。需要说明的是,某个生物特征点与某个模板特征点相对应,可以认为这两个特征点构成匹配点对。
步骤S222:根据所述匹配点对,确定所述待识别图像包含的匹配点数量。
通过统计匹配点对的数量可以得到待识别图像包含的匹配点数量。
在其他实施例中,上述步骤S220可以包括以下步骤:将所述待识别图像与所述模板图像进行对齐处理;计算对齐处理之后的待识别图像与所述模板图像之间的重叠面积表征参数。
其中,对齐处理是指检测待识别图像和模板图像的特征点,进行特征点配对,并计算待识别图像的特征点变换到模板图像的匹配点之间的变换矩阵,将待识别图像按照此变换矩阵进行变换。变换矩阵可以是刚性变换矩阵或仿射变换矩阵。
如图4所示,基于刚性变换矩阵M,可以得到对齐后的待识别图像。在其他实施例中,可以基于特征点及描述子进行对齐,得到对齐后的待识别图像。对齐后的图像相当于不规则四边形。故可以用计算两个凸四边形相交区域面积的方式计算出对齐后的待识别图像与模板图像的重叠面积。在一实施例中,可以将重叠面积直接作为上述重叠面积表征参数,在另一实施例中,重叠面积除以对齐后的待识别图图像的总面积,得到重叠面积比例,可以将重叠面积比例作为重叠面积表征参数。
步骤S230:根据所述识别信息获得识别结果。
其中,识别结果用于指示待识别图像与模板图像是否属于同一对象。
在一实施例中,在匹配点数量超过指定阈值时,可以直接判定为待识别图像与模板图像属于同一对象,无需调用二分类算法计算相似度得分,从而减少比对时间。在匹配点数量小于等于该指定阈值时,再计算待识别图像与模板图像之间的相似度得分,提高识别准确性,且当相似度得分大于相似度阈值时,确定待识别图像与模板图像属于同一对象。
在一实施例中,如图5所示,上述步骤S230具体包括以下步骤S231-步骤S232。
步骤S231:根据匹配点数量和/或重叠面积表征参数确定相似度阈值。
步骤S232:将所述相似度得分与所述相似度阈值进行比较,获得识别结果。
其中,如果相似度得分大于等于相似度阈值,可以得到待识别图像与模板图像属于同一对象的识别结果。相反的,如果相似度得分小于相似度阈值,可以得到待识别图像与模板图像不属于同一对象的比对结果。
需要说明的是,如果计算相似度得分,相似度阈值并非人工按照经验设定的固定值。相似度阈值可以根据匹配点数量和重叠面积来确定,或者,单独根据匹配点数量来确定,或者,单独根据重叠面积表征参数来确定。
下面对如何确定相似度阈值展开详细描述。
相似度得分的置信度往往与匹配点数量呈正相关,在一实施例中,匹配点数量越大,相似度阈值越小。因此匹配点数量越大,误识率会有所降低,故相似度阈值可以适当减小。在另一些实施例中,还可以根据重叠面积表征参数调整所针对的相似度阈值。在一实施例中,相似度阈值的初始值可以是根据匹配点数量确定的,也可以是预先设定的一个初始值。之后,根据重叠面积表征参数对相似度阈值进行调整。
在一实施例中,当所述重叠面积表征参数大于第一阈值或小于第二阈值时,增大相似度阈值;其中,所述第一阈值大于所述第二阈值。在另一实施例中,当所述重叠面积表征参数大于第三阈值时,相似度阈值可以增大为预设极大值;所述第三阈值大于第一阈值。
例如,第一阈值可以是0.95,第二阈值可以是0.2,第三阈值可以是0.98。
重叠面积比例很大(如大于0.95)或很小(如小于0.2)时,相似度得分的置信度降低,可以适当卡严二分类阈值,即增大相似度阈值。特别地,如果图片重叠面积比例极端大(如大于0.98),很可能是因为对其算法失效,对齐到了划痕、裂纹、异物等非生物纹理(如非指纹)区域上,此时相似度阈值往往也需要卡到极端大,以防止这种极端情况下的误识。
在一实施例中,根据匹配点数量确定相似度阈值具体包括以下步骤:根据所述匹配点数量所处的匹配点数量范围,获得与所述匹配点数量范围对应的相似度阈值。
其中,一个匹配点数量范围对应一个相似度阈值,不同的匹配点数量范围对应不同的相似度阈值。举例来说,匹配点数量范围在第一区间(例如0-100个)时,对应的相似度阈值为0.57。匹配点数量范围在第二区间(例如100-140个)时,对应的相似度阈值为0.56;匹配点数量范围在第三区间(例如140-200个)时,对应的相似度阈值为0.55。即不同的匹配点数量范围对应不同的相似度阈值,数量区段越大,相似度阈值越小。
举例来说,根据待识别图像与模板图像的匹配点数量,可以确定匹配点数量对应的匹配点数量范围,例如匹配点数量处于第一区间,则可以获取第一区间的相似度阈值0.57。
在一实施例中,如图6所示,不同的匹配点数量范围对应的相似度阈值可以采用以下步骤S601-步骤S604的方式确定。
步骤S601:获取多组误识图像对以及多组所述误识图像对的匹配点数量;所述误识图像对的两张图像来自不同的目标对象。
举例来说,在指纹识别系统中,一般先要求用户录入若干根手指,这些被录入的手指图片组成了“底库”。在之后的解锁过程中,解锁图与底库图组成“手指配对”。若使用不存在于底库的手指解锁,则这张解锁图与某张底库的配对被称为“攻击手指配对”,攻击手指配对识别成功则被称为“误识”(False Accept,即FA)。
故“误识图像对”可以认为是属于不同手指或手掌的两张图像。在两张图像在预设相似度阈值的识别系统中,被认为属于同一手指或手掌。
步骤S602:根据二分类算法获得多组误识图像对的相似度得分。
需要说明的是,待识别图像和模板图像之间的相似度得分也采用该二分类算法计算得到。
步骤S603:根据多组所述误识图像对的匹配点数量和多组所述误识图像对的相似度得分,获得多个匹配点数量范围与多个相似度阈值的对应关系。
在一实施例中,如图7所示,上述步骤S603可以包括步骤S701-步骤S703。
步骤S701:根据多组所述误识图像对的匹配点数量,分段划分为多个匹配点数量范围。
每个匹配点数量范围可以相同,也可不同。如果匹配点数量不同,相似度得分变化较大,可以减小每个匹配点数量范围的跨度,设置多个匹配点数量范围。举例来说,匹配点数量范围可以是有0-50,51-100,101-150,151-200等多个区间。
步骤S702:针对每一个匹配点数量范围,获得与所述匹配点数量范围对应的所述误识图像对的相似度得分的最大值。
具体的,针对每个匹配点数量范围,可以找出该匹配点数量范围对应的误识图像对,根据这些误识图像对的相似度得分,找出相似度得分的最大值。故针对每个匹配点数量范围,均可找出对应的相似度得分的最大值。
步骤S703:根据所述相似度得分的最大值获得与所述匹配点数量范围对应的相似度阈值。
针对每个匹配点数量范围,该匹配点数量范围对应的相似度阈值可以略大于该匹配点数量范围对应的相似度得分的最大值。从而可以得到每个匹配点数量范围对应的相似度阈值。
在其他实施例中,如图8所示,不同的匹配点数量范围对应的相似度阈值还可以采用以下步骤S801-步骤S803确定。
步骤S801:获取多组误拒图像对以及多组所述误拒图像对的匹配点数量;所述误拒图像对的两张图像来自相同的目标对象。
其中,误拒图像对”可以认为是属于相同手指或手掌的两张图像。在两张图像在预设相似度阈值的识别系统中,被认为属于不同的手指或手掌。
步骤S802:根据所述二分类算法获得多组误拒图像对的相似度得分;
需要说明的是,误识图像对的相似度得分和误拒图像对的相似度得分均可采用相同的二分类算法得到。
步骤S803:根据多组所述误识图像对的匹配点数量、多组所述误识图像对的相似度得分、多组所述误拒图像对的匹配点数量、多组所述误拒图像对的相似度得分,获得多个匹配点数量范围与多个相似度阈值的对应关系。
具体的,根据多组误识图像对的匹配点数量,可以分段划分为多个匹配点数量范围;针对每一个匹配点数量范围,获得与匹配点数量范围对应的误识图像对的相似度得分的最大值,以及匹配点数量范围对应的误拒图像对的相似度得分。针对每个匹配点数量范围,根据所述匹配点数量范围对应的误拒图像对的相似度得分和误识图像对的相似度得分的最大值,获得与所述匹配点数量范围对应的相似度阈值。
理想情况下,是希望误识图像对都比对失败,误拒图像对都比对成功,策略就是去找一个阈值,使得几乎所有的误识图像对都比对失败,同时尽可能多的误拒图像对能比对成功。则根据误识图像对的相似度得分的最大值可以适当调高最大值作为阈值,让误识图像对的相似度得分小于阈值,同时让尽可能少的误拒图像对的相似度得分小于阈值。或者适当调低最大值作为阈值,让大部分误识图像对的相似度得分小于阈值,尽量少的误拒图像对的相似度得分小于阈值。
如果误识会比误拒产生更严重的后果,可以选择前一种方式,根据误识图像对的相似度得分的最大值适当调高最大值作为阈值,让所有误识图像对的相似度得分小于阈值,同时让尽可能少的误拒图像对的相似度得分小于阈值。
如图9所示,901代表误拒图像对的匹配点数量和相似度得分,902代表误识图像对的匹配点数量和相似度得分。由于误识可能带来更大的安全隐患,故可以控制误识率的同时,适当降低相似度阈值,从而降低误拒率。
如图9所示,相似度得分在0.5以上时,误识图像对相对较少,故最小的相似度阈值可以是0.5。相似度阈值可以大于误识图像对的最大相似度得分,例如大于0.57。按照相似度得分的置信度往往与匹配点数量呈正相关,即匹配点数量越大,误识率会有所降低。因此匹配点数量越大,相似度阈值可以越低。
如图9所示,可以配置5个匹配点数量范围,当匹配点数量在第一数量区段(例如0-100个)时,对应的相似度阈值为0.57。匹配点数量在第二数量区段(例如100-140个)时,对应的相似度阈值为0.56;匹配点数量在第三数量区段(例如140-200个)时,对应的相似度阈值为0.55,匹配点数量在第四数量区段(例如200-230个)时,对应的相似度阈值为0.53,匹配点数量在第五数量区段(例如230-330个)时,对应的相似度阈值为0.5。如果匹配点数量大于330个,则可以直接认为待识别图像与模板图像属于同一对象。
在一实施例中,根据待识别图像与模板图像之间的匹配点数量,可以先确定匹配点数量对应的匹配点数量范围,进而获得匹配点数量范围对应的相似度阈值。之后根据待识别图像与模板图像之间的重叠面积比例,调整相似度阈值。如果重叠面积比例很大或很小,可以适当增大相似度阈值。进而基于最终确定的相似度阈值,与相似度得分进行比较,确定待识别图像与模板图像是否属于同一对象。假设数据库存储了大量模板图像,可以采用本申请实施例提供的方法,将待识别图像与每张模板图像进行比对,直到找到与待识别图像属于同一对象的模板图像。
举例来说,可以通过计算待识别图像与模板图像之间的匹配点数量,根据匹配点数量所处的匹配点数数量范围,确定匹配点数数量范围对应的相似度阈值,如果待识别图像与模板图像的重叠面积比例小于等于第一阈值(例如0.95)且大于等于第二阈值(例如0.2),则将该相似度阈值作为判断待识别图像与模板图像是否属于同一对象的相似度阈值。
在一实施例中,如果重叠面积比例大于第一阈值(例如0.95)或小于第二比例阈值(例如0.2),则可以增大获取的匹配点数量范围对应的相似度阈值。例如,相似度阈值从0.57调整成0.8,将增大后的相似度阈值作为判断待识别图像与模板图像是否属于同一对象的相似度阈值。
在其他实施例中,也可以单独根据重叠面积表征参数来确定待识别图像和模板图像是否属于同一对象。例如,在重叠面积表征参数在0.2-0.95区间时,认为待识别图像和模板图像是否属于同一对象。
本申请上述实施例提供的技术方案,根据待识别图像与模板图像的匹配点数量和/或重叠面积来确定相似度阈值,并比较待识别图像与模板图像之间的相似度得分与相似度阈值的大小,来得到待识别图像与模板图像是否属于同一对象的识别结果。相比根据需要随意设定一个相似阈值,本申请提供的方案提高了待识别图像识别的准确性。
下述为本申请装置实施例,可以用于执行本申请上述图像识别方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请图像识别方法实施例。
图10为本申请一实施例示出的一种图像识别装置的框图。如图10所示,该装置包括:图像获取模块910、信息获得模块920、结果获得模块930。
图像获取模块910,用于获取待识别对象的待识别图像。
信息获得模块920,用于根据所述待识别图像和模板图像,获得识别信息,所述识别信息包括所述待识别图像与所述模板图像之间的相似度得分、所述待识别图像与所述模板图像之间的匹配点数量和/或重叠面积。
结果获得模块930,用于根据所述识别信息获得识别结果。
上述装置中各个模块的功能和作用的实现过程具体详见上述图像识别方法中对应步骤的实现过程,在此不再赘述。
在本申请所提供的几个实施例中,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (16)
1.一种图像识别方法,其特征在于,包括:
获取待识别对象的待识别图像;
根据所述待识别图像和模板图像,获得识别信息,所述识别信息包括所述待识别图像与所述模板图像之间的相似度得分、所述待识别图像与所述模板图像之间的匹配点数量和/或重叠面积表征参数;
根据所述识别信息获得识别结果。
2.根据权利要求1所述的方法,其特征在于,所述根据所述识别信息获得识别结果,包括:
根据匹配点数量和/或重叠面积表征参数确定相似度阈值;
将所述相似度得分与所述相似度阈值进行比较,获得识别结果。
3.根据权利要求2所述的方法,其特征在于,所述根据匹配点数量和/或重叠面积表征参数确定相似度阈值,包括:
所述匹配点数量越大,所述相似度阈值越小。
4.根据权利要求2或3所述的方法,其特征在于,根据所述匹配点数量确定相似度阈值,包括:
根据所述匹配点数量所处的匹配点数量范围,获得与所述匹配点数量范围对应的相似度阈值;
其中,一个匹配点数量范围对应一个相似度阈值,不同的匹配点数量范围对应不同的相似度阈值。
5.根据权利要求4所述的方法,其特征在于,所述根据所述待识别图像和模板图像,获得识别信息,包括:
根据所述待识别图像和模板图像,通过二分类算法获得所述待识别图像与所述模板图像之间的相似度得分;
在所述根据所述匹配点数量所处的匹配点数量范围,获得与所述匹配点数量范围对应的相似度阈值之前,所述方法还包括:
获取多组误识图像对以及多组所述误识图像对的匹配点数量;所述误识图像对的两张图像来自不同的目标对象;
根据所述二分类算法获得多组误识图像对的相似度得分;
根据多组所述误识图像对的匹配点数量和多组所述误识图像对的相似度得分,获得多个匹配点数量范围与多个相似度阈值的对应关系。
6.根据权利要求5所述的方法,其特征在于,所述根据多组所述误识图像对的匹配点数量和多组所述误识图像对的相似度得分,获得多个匹配点数量范围与多个相似度阈值的对应关系,包括:
根据多组所述误识图像对的匹配点数量,分段划分为多个匹配点数量范围;
针对每一个匹配点数量范围,获得与所述匹配点数量范围对应的所述误识图像对的相似度得分的最大值;
根据所述相似度得分的最大值获得与所述匹配点数量范围对应的相似度阈值。
7.根据权利要求5所述的方法,其特征在于,所述根据多组所述误识图像对的匹配点数量和多组所述误识图像对的相似度得分,获得多个匹配点数量范围与多个相似度阈值的对应关系,包括:
获取多组误拒图像对以及多组所述误拒图像对的匹配点数量;所述误拒图像对的两张图像来自相同的目标对象;
根据所述二分类算法获得多组误拒图像对的相似度得分;
根据多组所述误识图像对的匹配点数量、多组所述误识图像对的相似度得分、多组所述误拒图像对的匹配点数量、多组所述误拒图像对的相似度得分,获得多个匹配点数量范围与多个相似度阈值的对应关系。
8.根据权利要求2-7任意一项所述的方法,其特征在于,所述根据匹配点数量和/或重叠面积确定相似度阈值,包括:
当所述重叠面积表征参数大于第一阈值或小于第二阈值时,增大所述相似度阈值;其中,所述第一阈值大于所述第二阈值。
9.根据权利要求8所述的方法,其特征在于,所述根据匹配点数量和/或重叠面积表征参数确定相似度阈值,还包括:
当所述重叠面积表征参数大于第三阈值时,所述相似度阈值增大为极大值;所述第三阈值大于所述第一阈值。
10.根据权利要求1-9任意一项所述的方法,其特征在于,所述根据所述待识别图像和模板图像,获得识别信息,包括:
根据所述待识别图像的多个生物特征点和所述模板图像的多个模板特征点,进行所述多个生物特征点和多个模板特征点之间的对齐,获得匹配点对;根据所述匹配点对,确定所述待识别图像包含的匹配点数量;
和/或;
将所述待识别图像与所述模板图像进行对齐处理;计算对齐处理之后的待识别图像与所述模板图像之间的重叠面积表征参数。
11.根据权利要求2-9任意一项所述的方法,其特征在于,所述将所述相似度得分与所述相似度阈值进行比较,获得识别结果,包括:
若所述相似度得分大于所述相似度阈值,获得所述待识别图像与所述模板图像属于同一对象的识别结果。
12.根据权利要求1-11任意一项所述的方法,其特征在于,所述根据所述识别信息获得识别结果,包括:
若所述匹配点数量大于指定阈值,获得所述待识别图像与所述模板图像属于同一对象的识别结果。
13.根据权利要求1-12任意一项所述的方法,其特征在于,所述待识别对象为指纹,所述待识别图像为指纹图像。
14.一种图像识别装置,其特征在于,包括:
图像获取模块,用于获取待识别对象的待识别图像;
信息获得模块,用于根据所述待识别图像和模板图像,获得识别信息,所述识别信息包括所述待识别图像与所述模板图像之间的相似度得分、所述待识别图像与所述模板图像之间的匹配点数量和/或重叠面积;
结果获得模块,用于根据所述识别信息获得识别结果。
15.一种电子设备,其特征在于,所述电子设备包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行权利要求1-13任意一项所述的图像识别方法。
16.一种计算机可读存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序可由处理器执行以完成权利要求1-13任意一项所述的图像识别方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110739286.5A CN113591921A (zh) | 2021-06-30 | 2021-06-30 | 图像识别方法及装置、电子设备、存储介质 |
PCT/CN2022/091672 WO2023273616A1 (zh) | 2021-06-30 | 2022-05-09 | 图像识别方法及装置、电子设备、存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110739286.5A CN113591921A (zh) | 2021-06-30 | 2021-06-30 | 图像识别方法及装置、电子设备、存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113591921A true CN113591921A (zh) | 2021-11-02 |
Family
ID=78245353
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110739286.5A Pending CN113591921A (zh) | 2021-06-30 | 2021-06-30 | 图像识别方法及装置、电子设备、存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN113591921A (zh) |
WO (1) | WO2023273616A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023273616A1 (zh) * | 2021-06-30 | 2023-01-05 | 北京旷视科技有限公司 | 图像识别方法及装置、电子设备、存储介质 |
CN116168345A (zh) * | 2023-04-21 | 2023-05-26 | 深圳开鸿数字产业发展有限公司 | 火灾检测方法及相关设备 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050201597A1 (en) * | 2001-02-16 | 2005-09-15 | Barry Wendt | Image identification system |
US8559684B1 (en) * | 2012-08-15 | 2013-10-15 | Google Inc. | Facial recognition similarity threshold adjustment |
CN104636730A (zh) * | 2015-02-10 | 2015-05-20 | 北京信息科技大学 | 人脸验证的方法和装置 |
CN105447437A (zh) * | 2015-02-13 | 2016-03-30 | 比亚迪股份有限公司 | 指纹识别方法和装置 |
CN105518709A (zh) * | 2015-03-26 | 2016-04-20 | 北京旷视科技有限公司 | 用于识别人脸的方法、系统和计算机程序产品 |
CN106062820A (zh) * | 2014-03-14 | 2016-10-26 | 欧姆龙株式会社 | 图像识别装置、图像传感器、图像识别方法 |
CN106909893A (zh) * | 2017-02-09 | 2017-06-30 | 北京小米移动软件有限公司 | 指纹识别方法及装置 |
CN107392082A (zh) * | 2017-04-06 | 2017-11-24 | 杭州景联文科技有限公司 | 一种基于深度学习的小面积指纹比对方法 |
CN107491731A (zh) * | 2017-07-17 | 2017-12-19 | 南京航空航天大学 | 一种面向精确打击的地面运动目标检测与识别方法 |
US20180158469A1 (en) * | 2015-05-25 | 2018-06-07 | Guangzhou Kugou Computer Technology Co., Ltd. | Audio processing method and apparatus, and terminal |
CN108389396A (zh) * | 2018-02-28 | 2018-08-10 | 北京精英智通科技股份有限公司 | 一种基于视频的车型匹配方法、装置和计费系统 |
CN111738321A (zh) * | 2020-06-12 | 2020-10-02 | 腾讯音乐娱乐科技(深圳)有限公司 | 数据处理方法、装置、终端设备以及存储介质 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6487306B1 (en) * | 1997-08-22 | 2002-11-26 | International Business Machines Corporation | System and method for deriving a string-based representation of a fingerprint image |
JP5277804B2 (ja) * | 2008-09-05 | 2013-08-28 | 富士通株式会社 | 指紋認証装置、指紋認証プログラムおよび指紋認証方法 |
CN101414351A (zh) * | 2008-11-03 | 2009-04-22 | 章毅 | 一种指纹识别系统及其控制方法 |
CN107545160A (zh) * | 2016-06-28 | 2018-01-05 | 中兴通讯股份有限公司 | 指纹识别方法及装置 |
CN113591921A (zh) * | 2021-06-30 | 2021-11-02 | 北京旷视科技有限公司 | 图像识别方法及装置、电子设备、存储介质 |
-
2021
- 2021-06-30 CN CN202110739286.5A patent/CN113591921A/zh active Pending
-
2022
- 2022-05-09 WO PCT/CN2022/091672 patent/WO2023273616A1/zh unknown
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050201597A1 (en) * | 2001-02-16 | 2005-09-15 | Barry Wendt | Image identification system |
US8559684B1 (en) * | 2012-08-15 | 2013-10-15 | Google Inc. | Facial recognition similarity threshold adjustment |
CN106062820A (zh) * | 2014-03-14 | 2016-10-26 | 欧姆龙株式会社 | 图像识别装置、图像传感器、图像识别方法 |
US20170017862A1 (en) * | 2014-03-14 | 2017-01-19 | Omron Corporation | Image recognition device, image sensor, and image recognition method |
CN104636730A (zh) * | 2015-02-10 | 2015-05-20 | 北京信息科技大学 | 人脸验证的方法和装置 |
CN105447437A (zh) * | 2015-02-13 | 2016-03-30 | 比亚迪股份有限公司 | 指纹识别方法和装置 |
CN105518709A (zh) * | 2015-03-26 | 2016-04-20 | 北京旷视科技有限公司 | 用于识别人脸的方法、系统和计算机程序产品 |
US20180158469A1 (en) * | 2015-05-25 | 2018-06-07 | Guangzhou Kugou Computer Technology Co., Ltd. | Audio processing method and apparatus, and terminal |
CN106909893A (zh) * | 2017-02-09 | 2017-06-30 | 北京小米移动软件有限公司 | 指纹识别方法及装置 |
CN107392082A (zh) * | 2017-04-06 | 2017-11-24 | 杭州景联文科技有限公司 | 一种基于深度学习的小面积指纹比对方法 |
CN107491731A (zh) * | 2017-07-17 | 2017-12-19 | 南京航空航天大学 | 一种面向精确打击的地面运动目标检测与识别方法 |
CN108389396A (zh) * | 2018-02-28 | 2018-08-10 | 北京精英智通科技股份有限公司 | 一种基于视频的车型匹配方法、装置和计费系统 |
CN111738321A (zh) * | 2020-06-12 | 2020-10-02 | 腾讯音乐娱乐科技(深圳)有限公司 | 数据处理方法、装置、终端设备以及存储介质 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023273616A1 (zh) * | 2021-06-30 | 2023-01-05 | 北京旷视科技有限公司 | 图像识别方法及装置、电子设备、存储介质 |
CN116168345A (zh) * | 2023-04-21 | 2023-05-26 | 深圳开鸿数字产业发展有限公司 | 火灾检测方法及相关设备 |
Also Published As
Publication number | Publication date |
---|---|
WO2023273616A1 (zh) | 2023-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109948408B (zh) | 活性测试方法和设备 | |
Teoh et al. | Face recognition and identification using deep learning approach | |
CN107423690B (zh) | 一种人脸识别方法及装置 | |
CN106557726B (zh) | 一种带静默式活体检测的人脸身份认证系统及其方法 | |
JP4479478B2 (ja) | パターン認識方法および装置 | |
El Khiyari et al. | Age invariant face recognition using convolutional neural networks and set distances | |
WO2023273616A1 (zh) | 图像识别方法及装置、电子设备、存储介质 | |
CN111931548B (zh) | 人脸识别系统、建立人脸识别数据的方法及人脸识别方法 | |
CN114049512A (zh) | 模型蒸馏方法、目标检测方法、装置及电子设备 | |
Dzhangarov et al. | Face recognition methods | |
CN114764869A (zh) | 利用每个对象的单个检测的多对象检测 | |
Wati et al. | Security of facial biometric authentication for attendance system | |
Qi et al. | A real-time face detection method based on blink detection | |
Andiani et al. | Face recognition for work attendance using multitask convolutional neural network (MTCNN) and pre-trained facenet | |
CN110929583A (zh) | 一种高检测精度人脸识别方法 | |
US20030123734A1 (en) | Methods and apparatus for object recognition | |
WO2006057475A1 (en) | Face detection and authentication apparatus and method | |
CN113505716B (zh) | 静脉识别模型的训练方法、静脉图像的识别方法及装置 | |
CN114387496A (zh) | 一种目标检测方法和电子设备 | |
KR101884874B1 (ko) | 부분 이미지 기반 객체 판별 방법 및 장치 | |
Rahouma et al. | Face Recognition Based on Correlation and Back Propagation Neural Networks. | |
Hadjkacem et al. | Multi-shot human re-identification using a fast multi-scale video covariance descriptor | |
CN111428679B (zh) | 影像识别方法、装置和设备 | |
CN110276244B (zh) | 形成移动轨迹的方法、装置、计算机设备及存储介质 | |
CN111368644B (zh) | 图像处理方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |