CN102612705A - 假手指判定设备、假手指判定方法和假手指判定程序 - Google Patents
假手指判定设备、假手指判定方法和假手指判定程序 Download PDFInfo
- Publication number
- CN102612705A CN102612705A CN2010800510837A CN201080051083A CN102612705A CN 102612705 A CN102612705 A CN 102612705A CN 2010800510837 A CN2010800510837 A CN 2010800510837A CN 201080051083 A CN201080051083 A CN 201080051083A CN 102612705 A CN102612705 A CN 102612705A
- Authority
- CN
- China
- Prior art keywords
- image
- finger
- reflected light
- transmitted light
- pixel groups
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/1382—Detecting the live character of the finger, i.e. distinguishing from a fake or cadaver finger
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/1382—Detecting the live character of the finger, i.e. distinguishing from a fake or cadaver finger
- G06V40/1388—Detecting the live character of the finger, i.e. distinguishing from a fake or cadaver finger using image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/1341—Sensing with light passing through the finger
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Collating Specific Patterns (AREA)
- Image Input (AREA)
Abstract
本发明提高了判定薄膜被附加到手指表面这样的假手指的准确度。一种假手指判定设备包括:成像单元(10),其对用作指纹认证对象的认证对象的反射光图像和透射光图像进行成像;分类单元(31),其基于反射光图像和透射光图像的每个中所包括的像素的色度值,将每个图像分类为具有皮肤图像的特征的前景部分和不具有皮肤图像的特征的背景部分;检测单元(32),其将反射光图像和透射光图像中的一个图像的前景部分与另一图像的背景部分相比较以检测重叠部分;以及判定单元(33),其利用重叠部分来判断手指周围是否存在异物。
Description
技术领域
本发明涉及假手指判定设备、假手指判定方法和假手指判定程序。
背景技术
近年来,作为用于识别个人的认证方法之一的指纹认证已引起了关注。指纹因人而异并且具有即使过去多年也不变的特征。因此,指纹认证被认为比当前盛行的口令认证等具有更高的可靠性。同时,在指纹认证中,需要防止如下不道德的行为:某人利用使用另一人的指纹伪造的假手指来假冒另一人。作为用于防止这样的不道德行为的技术,例如,专利文献1和2公开了基于光照射下的手指的表面的颜色来检测假手指的技术。
专利文献1:专利公开JP-A-2003-50993
专利文献2:日本专利公开No.2637253
然而,在专利文献1和2中,由于假手指是基于手指表面颜色被检测的,因此难以辨别出如下这样的假手指:该假手指被制造为使得从另一人的指纹复制的透明或肤色薄膜被附加到手指表面。具体地,由于假手指的颜色与皮肤的颜色相似,因此附加有透明薄膜的假手指难以被辨别出。
发明内容
本发明被做出以解决上述问题,并且本发明的一个目的是提供能够提高判定薄膜被附加到手指表面这样的假手指的准确度的假手指判定设备、假手指判定方法和假手指判定程序。
根据本发明的一种假手指判定设备包括:成像单元,该成像单元对用作指纹认证对象的认证对象的反射光图像和透射光图像进行成像;分类单元,该分类单元基于所述反射光图像和所述透射光图像的每个中所包括的像素的色度值或亮度值,将每个图像分类为具有皮肤图像的特征的前景部分和不具有皮肤图像的特征的背景部分;检测单元,该检测单元将属于所述反射光图像和所述透射光图像中的一个图像的前景部分并且属于另一图像的背景部分的部分检测作为重叠部分;以及判定单元,该判定单元利用所述重叠部分来判断手指周围是否存在异物。
此外,根据本发明的一种假手指判定设备包括:成像单元,该成像单元对用作指纹认证对象的认证对象的反射光图像和透射光图像进行成像;分类单元,该分类单元将所述反射光图像中具有与肤色相对应的色度值的像素组和此像素组之外的像素组分别分类为前景部分和背景部分,并且将所述透射光图像中具有与白色相对应的色度值或者等于或大于预定阈值的亮度值的像素组和此像素组之外的像素组分别分类为前景部分和背景部分;检测单元,该检测单元将所述反射光图像的背景部分与透射光图像的前景部分相比较以检测重叠部分;以及判定单元,该判定单元利用所述重叠部分来判断手指周围是否存在异物。
此外,根据本发明的一种假手指判定设备包括:成像单元,该成像单元对用作指纹认证对象的认证对象的反射光图像和透射光图像进行成像;分类单元,该分类单元将所述反射光图像和所述透射光图像的每个图像中具有与肤色相对应的色度值的像素组和此像素组之外的像素组分别分类为前景部分和背景部分;检测单元,该检测单元将所述反射光图像的前景部分与透射光图像的背景部分相比较以检测重叠部分;以及判定单元,该判定单元利用所述重叠部分来判断手指周围是否存在异物。
根据本发明的一种判定假手指的方法包括以下步骤:对用作指纹认证对象的认证对象的反射光图像和透射光图像进行成像;基于所述反射光图像和所述透射光图像的每个中所包括的像素的色度值或亮度值,将每个图像分类为具有皮肤图像的特征的前景部分和不具有皮肤图像的特征的背景部分;将属于所述反射光图像和所述透射光图像中的一个图像的前景部分并且属于另一图像的背景部分的部分检测作为重叠部分;以及利用所述重叠部分来判断手指周围是否存在异物。
此外,根据本发明的一种判定假手指的方法包括以下步骤:对用作指纹认证对象的认证对象的反射光图像和透射光图像进行成像;将所述反射光图像中具有与肤色相对应的色度值的像素组和此像素组之外的像素组分别分类为前景部分和背景部分,并且将所述透射光图像中具有与白色相对应的色度值或者等于或大于预定阈值的亮度值的像素组和此像素组之外的像素组分别分类为前景部分和背景部分;将所述反射光图像的背景部分与透射光图像的前景部分相比较以检测重叠部分;以及利用所述重叠部分来判断手指周围是否存在异物。
此外,根据本发明的一种判定假手指的方法包括以下步骤:对用作指纹认证对象的认证对象的反射光图像和透射光图像进行成像;将所述反射光图像和所述透射光图像的每个图像中具有与肤色相对应的色度值的像素组和此像素组之外的像素组分别分类为前景部分和背景部分;检测单元,该检测单元将所述反射光图像的前景部分与透射光图像的背景部分相比较以检测重叠部分;以及利用所述重叠部分来判断手指周围是否存在异物。
根据本发明的假手指判定程序使得计算机执行判定假手指的以上方法中所包括的步骤。
根据本发明,能够提高判定薄膜被附加到手指表面这样的假手指的准确度。
附图说明
图1是图示出根据每个实施例的假手指判定设备的示意配置的框图。
图2是用于描述当人手指被捕获为认证对象时的分类处理的内容的示意图。
图3是用于描述当透明薄膜被附加到人手指表面这样的假手指被捕获作为认证对象时的分类处理的内容的示意图。
图4是用于描述当肤色不透明薄膜被附加到人手指表面这样的假手指被捕获作为认证对象时的分类处理的内容的示意图。
图5是用于描述根据第一实施例的假手指判定处理的流程图。
图6是用于描述当具有容易被反射部分的人手指被捕获为认证对象时的分类处理的内容的示意图。
图7是用于描述根据第二实施例的假手指判定处理的流程图。
图8是用于描述根据第三实施例的假手指判定处理的流程图。
具体实施方式
下面,参考附图描述根据本发明的假手指判定设备、假手指判定方法和假手指判定程序的示例性实施例。
[第一实施例]
首先,参考图1描述根据第一实施例的假手指判定设备的示意配置。图1是示意性地图示出假手指判定设备的配置的示图。假手指判定设备1是判断作为指纹认证对象的认证对象是否是假手指的设备。例如,作为认证对象的手指被放置在设置在假手指判定设备1的上表面上的预定放置区域。例如,放置区域由透明板形成,并且允许从假手指判定设备1内测对放置在放置区域上的认证对象进行捕获。
如图1所示,假手指判定设备1包括成像单元10、光源单元20和控制单元30。原则上,包括在假手指判定设备1中的成像单元10、光源单元20和控制单元30的各组件与包括在传统指纹认证设备中的成像单元、光源单元和控制单元的相同。然而,与传统指纹认证设备的不同之处在于光源单元20具有不同布置,并且控制单元30具有用于判定认证对象的真伪的各种功能。
假手指判定设备1在物理上被配置为包括中央处理单元(CPU)、存储器、成像单元和光源单元。例如,存储器包括存储由CPU处理的数据或者存储程序的只读存储器(ROM)以及用作主要用于控制处理的各工作区的随机存取存储器(RAM)。组件通过总线彼此相连。CPU执行存储在ROM中的程序并且利用在RAM中维护的多种数据来处理通过成像单元捕获的反射光图像数据和透射光图像数据,以使得假手指判定设备1的各个单元(后面将描述)的功能可以被实现。
例如,成像单元10是彩色相机并且捕获放置在放置区域上的认证对象。本实施例是关于彩色相机被用作成像单元10的示例来进行描述的,然而,成像单元10不限于彩色相机。例如,黑白相机可被用作成像单元10。
例如,光源单元20包括白光发光二极管(LED)并且在成像单元10捕获认证对象时用光照射认证对象。光源单元20包括反射光源单元21和透射光源单元22。本实施例是关于白光LED被用作光源单元20的示例来进行描述的,但是光源单元20不限于白光LED。包括多种波长的光源可被用作光源单元20。另外,可捕获来自光源的多种波长的相机可被用作成像单元10。
反射光源单元21被布置在使得光可被照射到认证对象并且来自认证对象的反射光入射到成像单元10的位置处。例如,反射光源单元21的发光表面被布置在使得光可以通过透明板入射到放置在放置区域上的认证对象的位置处。当认证对象被捕获时,反射光源单元21的光入射到认证对象,并且因此成像单元10可以捕获认证对象的反射光图像。
透射光源单元22被布置在使得光入射到认证对象但来自认证对象的反射光不入射到成像单元10的位置处。例如,透射光源单元22的发光表面被布置在使得光可以入射到放置在放置区域上的认证对象而不涉及透明板的位置处。当认证对象被捕获时,透射光源单元22的光入射到认证对象并且因此成像单元10可以捕获认证对象的透射光图像。
控制单元30一般通过执行多种控制处理来控制假手指判定设备1。例如,控制单元30包括分类单元31、检测单元32和判定单元33。
分类单元31基于每个图像中包括的像素的色度(hue)值来将由成像单元10捕获的反射光图像和透射光图像的每个分类为具有皮肤图像的特征的前景部分和没有皮肤图像的特征的背景部分。分类单元31的功能将在下面具体描述。
分类单元31将反射光图像中具有与肤色相对应的色度值的像素组和此像素组之外的像素组分别分类为前景部分和背景部分。例如,肤色所对应的色度值与在色度、饱和度、值(HSV)颜色空间中当红色的色相值被设为0度时大约10度至50度的色度值(其是可以作为皮肤的颜色的肤色的色度值)相对应。分类单元31将透射光图像中具有与肤色和白色相对应的色度值的像素组和此像素组之外的像素组分别分类为前景部分和背景部分。将参考图2至图4具体描述每个认证对象的分类处理的内容。
图2是示意性地图示出人手指被捕获作为认证对象的状态的示图。在此情况中,在反射光图像和透射光图像两者中,分类单元31将与肤色相对应的人手指区域A的像素组分类为前景部分,并且将人手指区域A之外的背景部分B的像素组分类为背景部分。
当图2所示的认证对象如上所述被分类时,反射光图像的分类结果与透射光图像的分类结果相匹配。
图3是示意性地图示出如下状态的示图,在该状态中,透明薄膜被附加到人手指表面的这样的假手指被捕获作为认证对象。在此情况中,分类单元31将透明薄膜区域C中与人手指区域A重叠的部分Ca(以下称为“人手指部分薄膜区域Ca”)以及反射光图像中的人手指区域A的像素组分类为前景部分。此外,分类单元31将透明薄膜区域C中从人手指区域A的附近突出来的部分Cb(以下称为“突出部分薄膜区域Cb”)以及反射光图像中的背景部分B的像素组分类为背景部分。将人手指部分膜区域Ca分类为前景部分的原因在于人手指是通过透明薄膜被捕获的。结果,人手指部分膜区域Ca变为肤色并且具有皮肤图像的特征。突出部分膜区域Cb被分类为背景部分的原因在于背景是通过透明薄膜被捕获的。结果,突出部分膜区域Cb变成与背景图像相同的颜色并且因此不具有皮肤图像的特征。
在透射光图像中,分类单元31将人手指区域A和透明薄膜区域C的像素组分类为前景部分,并且将此像素组之外的背景部分B的像素组分类为背景部分。透明薄膜区域C被分类为前景部分的原因在于:当入射到透明薄膜的光在薄膜内部弯曲并且然后入射到成像单元10时,透明薄膜区域C的亮度增加,因此透明薄膜区域C变成肤色或白色。即,在透明薄膜区域C中,人手指部分膜区域Ca变成肤色或白色并且因此具有皮肤图像的特征,并且突出部分膜区域Cb变成白色并且因此具有皮肤图像的特征。
如上所述,当图3所示的认证对象被分类时,突出部分膜区域Cb在反射光图像中被分类为背景部分,但在透射光图像中被分类为前景部分。即,对突出部分膜区域Cb的分类结果在反射光图像与透射光图像之间不同。
图4是用于描述当肤色不透明薄膜被附加到人手指表面这样的假手指被捕获作为认证对象时的分类处理的内容的示意图。在此情况中,在反射光图像中,分类单元31将人手指区域A和肤色不透明薄膜区域D的像素组分类为前景部分,并且将此像素组之外的背景部分B的像素组分类为背景部分。肤色不透明薄膜区域D被分类为前景部分的原因在于由肤色不透明薄膜的表面所反射的光具有与肤色相对应的色度值并且因此具有皮肤图像的特征。
在透射光图像中,分类单元31将人手指区域A的像素组分类为前景部分,并且将此像素组之外的背景部分B以及肤色不透明薄膜区域D的像素组分类为背景部分。肤色不透明薄膜区域D被分类为背景部分的原因在于肤色不透明薄膜阻挡光并变暗,因此肤色不透明薄膜区域D不变为肤色或白色,从而不具有皮肤图像的特征。
如上所述,当图4所示的认证对象被分类时,肤色不透明薄膜区域D在反射光图像中被分类为前景部分,而在透射光图像中被分类为背景部分。即,对肤色不透明薄膜区域D的分类结果在反射光图像与透射光图像之间不同。
此外,分类单元31使用与肤色相对应的色度值作为用于分类反射光图像的条件,并且使用与肤色和白色相对应的色度值作为用于分类透射光图像的条件。然而,分类条件不限于此。例如,皮肤图像可以具有的色度值可被用作分类条件。皮肤图像可以具有的色度值可通过试验等来确定。此外,当黑白相机被用作成像单元10时,亮度值可被用作分类条件。具体地,例如,在反射光图像和透射光图像的每个中,分类单元31可以将具有皮肤图像可具有的亮度值的像素组分类为前景部分,并且可以将此像素组之外的像素组分类为背景部分。皮肤图像可具有的亮度值可以在试验等中来确定。
检测单元32将反射光图像和透射光图像中的一个图像的前景部分与另一图像的背景部分相比较,并且检测重叠部分。结果,在反射光图像和透射光图像之间具有不同分类结果的部分可以被检测到。下面将具体描述检测单元32的功能。
检测单元32将反射光图像的背景部分与透射光图像的前景部分相比较,并且检测重叠部分。通过该比较检测到的重叠部分与图3所示的突出部分膜区域Cb相对应。即,当该重叠部分通过比较被检测到时,透明薄膜被附加到人手指表面的可能性高。
检测单元32将反射光图像的前景部分与透射光图像的背景部分相比较,并且检测重叠部分。通过该比较检测到的重叠部分与图4所示的肤色不透明薄膜区域D相对应。即,当该重叠部分通过比较被检测到时,肤色不透明薄膜被附加到人手指表面的可能性高。
检测单元32将反射光图像和透射光图像中的一个图像的前景部分与另一图像的背景部分相比较,并且检测重叠部分。但是,检测该重叠部分的方法不限于此。例如,可以通过比较如下部分来检测该重叠部分:在反射光图像的前景部分与透射光图像的前景部分之间不同的部分和在反射光图像的背景部分与透射光图像的背景部分之间不同的部分。在此情况中,在反射光图像的前景部分与透射光图像的前景部分之间不同的部分等于在反射光图像的背景部分与透射光图像的背景部分之间不同的部分。因此,在反射光图像的前景部分与透射光图像的前景部分之间不同的部分或者在反射光图像的背景部分与透射光图像的背景部分之间不同的部分原则上可被检测作为重叠部分。即,属于反射光图像和透射光图像中的一个图像的前景部分并且属于另一图像的背景部分的部分优选地被检测作为重叠部分。
判定单元33基于检测单元32所检测到的重叠部分的大小来判断手指周围是否存在异物。结果,能够防止由于错误检测的重叠部分而错误地确定假手指。下面将具体描述判定单元33的功能。
当包括在重叠部分中的像素数为预定像素数上限或更大时,判定单元33判定手指周围存在异物。即,认证对象被确定为假手指。例如,使得当人手指被捕获为认证对象时判定出异物存在的错误检测的这样的像素数上限可以被设置为该像素数上限。取决于情形,多个值可被设为预定像素数上限。例如,当图3所示的突出部分膜区域Cb被检测为重叠部分时,用于判定异物存在的大小与当图4所示的肤色不透明薄膜区域D被检测为重叠部分时的大小不同。因此,像素数上限可以取决于各种情形来设置。此外,由于膜图像的比率可能根据手指大小而异,因此像素数的上限可以依据人手指区域A的大小来设置。
因此,当在反射光图像的背景部分与透射光图像的前景部分之间检测到的重叠部分的像素数为预定像素数上限或更大时,可以判定透明薄膜保持被附加在人手指表面。另一方面,当在反射光图像的前景部分与透射光图像的背景部分之间检测到的重叠部分的像素数为预定像素数上限或更大时,可以判定肤色不透明薄膜保持被附加在人手指表面。
接下来,将参考图5描述由根据第一实施例的假手指判定设备执行的假手指判定处理。图5是图示出用于判定透明薄膜被附加到手指表面这样的假手指的处理过程的流程图。
首先,当认证对象被放在假手指判定设备1的放置区域上时,反射光源单元21用光照射该认证对象,并且成像单元10捕获该认证对象(步骤S101)。
接下来,透射光源单元22用光照射该认证对象,并且成像单元10捕获该认证对象(步骤S102)。
接下来,分类单元31将在步骤S101中捕获的反射光图像分类成包括具有与肤色相对应的色度值的像素组的前景部分和包括此像素组之外的像素组的背景部分(步骤S103)。
接下来,分类单元31将在步骤S102中捕获的透射光图像分类成包括具有与肤色和白色相对应的色度值的像素组的前景部分和包括此像素组之外的像素组的背景部分(步骤S104)。
接下来,检测单元32通过比较反射光图像的前景部分与透射光图像的背景部分来检测重叠部分,并且通过比较反射光图像的背景部分与透射光图像的前景部分来检测重叠部分(步骤S105)。
接下来,判定单元33判断在步骤S105中检测到的重叠部分中所包括的像素数是否为预定像素数上限或更大(步骤S106)。当判定结果为否(步骤S106中的否)时,判定单元33判定手指周围不存在异物(步骤S107)。换言之,该认证对象被判定为人手指,并且然后该假手指判定处理结束。
然而,当在步骤S106中判定重叠部分所包括的像素数为预定像素数上限或更大(步骤S106中的是),则判定单元33判定手指周围存在异物(步骤S108)。换言之,该认证对象被判定为假手指,并且然后该假手指判定处理结束。
如上所述,根据第一实施例的假手指判定设备1,由成像单元10捕获的反射光图像和透射光图像的每个被分类成前景部分或背景部分,并且可以通过比较反射光图像和透射光图像中的一个图像的前景部分与另一图像的背景部分来检测重叠部分。因此,即使当透明薄膜被附加到手指表面这样的假手指或者肤色不透明薄膜被附加到手指表面这样的假手指被用作认证对象时,也可以通过检测手指周围存在的薄膜部分来判定假手指。
此外,当重叠部分的像素数为预定像素数上限或更大时,可以判定手指周围存在异物。因此,能够防止因错误检测的重叠部分而错误地判定假手指。相应地,能够提高判定薄膜被附加到手指表面这样的假手指的准确性。
[第二实施例]
在第一实施例中,假手指判定设备1利用与肤色相对应的色度值来将反射光图像分类成前景部分和背景部分。因此,例如,如图6所示,当人手指区域A的部分区域A1中的反射光变得强烈时,部分区域A1可能变成白色并被分类成背景部分。在此情况中,在透射光图像中,人手指区域A的部分区域A1变成肤色并且因此被分类为前景部分。结果,人手指区域A的部分区域A1被检测为异物,因此,人手指错误地被判定为假手指。
根据第二实施例的假手指判定设备通过专门化用于判定附加了透明薄膜的假手指的处理中的假手指判定处理来防止错误判定。结果,在根据第二实施例的假手指判定设备中,无法判定附加了肤色不透明薄膜的假手指,但是,能够判定反射光在其部分区域中变得强烈的人手指或附加了透明薄膜的假手指。
根据第二实施例的假手指判定设备与根据第一实施例的假手指判定设备的不同在于控制单元30中的分类单元31和检测单元32的功能。其它组件与根据第一实施例的假手指判定设备的各组件相同。因此,相同组件用相同标号表示,并且将不对其进行描述。下面,就与第一实施例的不同作出描述。
分类单元31将透射光图像中具有与白色相对应的色度值或者具有预定阈值或更高的亮度值的像素组分类为前景部分,这与第一实施例中将透射光图像中具有与肤色和白色相对应的色度值的像素组分类为前景部分的分类单元31不同。因此,透射光图像的前景部分不包括具有与肤色相对应的色度值的像素组。例如,假设将在透射光图像中的透明薄膜图像中获得的亮度值的下限值可以被用作该预定阈值。预定阈值可以通过试验等来确定。反射光图像按照与第一实施例的分类单元31相同的方式被分类为前景部分和背景部分。
检测单元32将用于检测重叠部分的比较限制为反射光图像的背景部分与透射光图像的前景部分之间的比较,这与第一实施例中将反射光图像的背景部分与透射光图像的前景部分相比较并且将反射光图像的前景部分与透射光图像的背景部分相比较的检测单元32不同。
下面将参考附图具体描述每个认证对象的假手指判定处理的内容。
当图6所示的认证对象被分类时,在反射光图像中,类似于第一实施例,分类单元31将人手指区域A(排除部分区域A1)的像素组分类为前景部分,并且将人手指区域A的部分区域A1以及背景部分B的像素组分类为背景部分。然而,在透射光图像中,分类单元31将包括人手指区域A和背景部分B的所有像素组分类为背景部分。即,透射光图像的前景部分原则上未被形成。
如上所述,当图6所示的认证对象被分类时,反射光图像的背景部分与透射光图像的前景部分的重叠部分原则上不存在。因此,检测单元32难以检测到重叠部分,并且判定单元33判定出图6所示的认证对象是人手指。即,根据第二实施例的假手指判定设备可以将反射光在其部分区域中变得强烈的人手指判定为正当手指。
当图3所示的认证对象被分类时,在反射光图像中,类似于第一实施例,分类单元31将人手指部分膜区域Ca和人手指区域A的像素组分类为前景部分,并且将突出部分膜区域Cb和背景部分B的像素组分类为背景部分。然而,在透射光图像中,分类单元31将突出部分膜区域Cb的像素组分类为前景部分,并且将此像素组之外的人手指区域A、人手指部分膜区域Ca和背景部分B的像素组分类为背景部分。
如上所述,当图3所示的认证对象被分类时,突出部分膜区域Cb在反射光图像中被分类为背景部分而在透射光图像中被分类为前景部分。因此,检测单元32将突出部分膜区域Cb检测为反射光图像的背景部分与透射光图像的前景部分的重叠部分。当突出部分膜区域Cb的像素数为预定像素数上限或更大时,判定单元33判定图3所示的认证对象为假手指。即,根据第二实施例的假手指判定设备可以将透明薄膜被附加到手指表面这样的假手指判定为不正当手指。
接下来,将参考图7描述由根据第二实施例的假手指判定设备执行的假手指判定处理。图7是图示出用于判定透明薄膜被附加到手指表面这样的假手指的处理过程的流程图。
首先,当认证对象被放在假手指判定设备1的放置区域上时,反射光源单元21用光照射该认证对象,并且成像单元10捕获该认证对象(步骤S201)。
接下来,透射光源单元22用光照射该认证对象,并且成像单元10捕获该认证对象(步骤S202)。
接下来,分类单元31将在步骤S201中捕获的反射光图像分类成包括具有与肤色相对应的色度值的像素组的前景部分和包括此像素组之外的像素组的背景部分(步骤S203)。
接下来,分类单元31将在步骤S202中捕获的透射光图像分类成包括具有与白色相对应的色度值或者具有预定值或更大的亮度值的像素组的前景部分和包括此像素组之外的像素组的背景部分(步骤S204)。
接下来,检测单元32将反射光图像的背景部分与透射光图像的前景部分相比较,并且检测重叠部分(步骤S205)。
接下来,判定单元33判断在步骤S205中检测到的重叠部分中所包括的像素数是否为预定像素数上限或更大(步骤S206)。当判定结果为否(步骤S206中的否)时,则判定单元33判定手指周围不存在异物(步骤S207)。换言之,该认证对象被判定为人手指,并且然后该假手指判定处理结束。
然而,当在步骤S206中判定重叠部分所包括的像素数为预定像素数上限或更大(步骤S206中的是),则判定单元33判定手指周围存在异物(步骤S208)。换言之,该认证对象被判定为假手指,并且然后该假手指判定处理结束。
如上所述,根据第二实施例的假手指判定设备1,由成像单元10捕获的反射光图像和透射光图像的每个被分类成前景部分或背景部分,并且可以通过比较反射光图像的背景部分与透射光图像的前景部分来检测重叠部分。因此,即使当透明薄膜被附加到手指表面这样的假手指被用作认证对象时,也可以通过检测手指周围存在的薄膜部分来判定该假手指。此外,当反射光在人手指的一部分中变得强烈时,人手指不会错误地被判定为假手指,并且人手指可以准确地被判定。
此外,当重叠部分的像素数为预定像素数上限或更大时,可以判定手指周围存在异物。因此,能够防止因错误检测的重叠部分而错误地判定假手指。相应地,能够提高判定薄膜被附加到手指表面这样的假手指的准确性。
[第三实施例]
如在第二实施例的开始部分所述的,根据第一实施例的假手指判定设备1可能检测到图6所示的人手指区域A中的部分区域A1并且错误地判定该人手指为假手指。就此而言,根据第三实施例的假手指判定设备通过专门化用于判定附加了肤色不透明薄膜的假手指的处理中的假手指判定处理来防止错误判定。结果,在根据第三实施例的假手指判定设备中,无法判定附加了透明薄膜的假手指,但是,能够判定反射光在其部分区域中变得强烈的人手指或附加了肤色不透明薄膜的假手指。
根据第三实施例的假手指判定设备与根据第一实施例的假手指判定设备的不同在于控制单元30中的分类单元31和检测单元32的功能。其它组件与根据第一实施例的假手指判定设备的各组件相同。因此,相同组件用相同标号表示,并且将不对其进行描述。下面,就与第一实施例的不同作出描述。
分类单元31将透射光图像中具有与肤色相对应的色度值的像素组分类为前景部分,这与第一实施例中将透射光图像中具有与肤色和白色相对应的色度值的像素组分类为前景部分的分类单元31不同。因此,透射光图像的前景部分不包括具有与白色相对应的色度值的像素组。反射光图像按照与第一实施例的分类单元31相同的方式被分类为前景部分和背景部分。
检测单元32将用于检测重叠部分的比较限制为反射光图像的前景部分与透射光图像的背景部分之间的比较,这与第一实施例中将反射光图像的背景部分与透射光图像的前景部分相比较并且将反射光图像的前景部分与透射光图像的背景部分相比较的检测单元32不同。
下面将参考附图具体描述每个认证对象的假手指判定处理的内容。
当图6所示的认证对象被分类时,在反射光图像中,类似于第一实施例,分类单元31将人手指区域A(排除部分区域A1)的像素组分类为前景部分,并且将人手指区域A的部分区域A1以及背景部分B的像素组分类为背景部分。然而,在透射光图像中,分类单元31将人手指区域A(排除部分区域A1)的像素组分类为前景部分,并且将背景部分B的像素组分类为背景部分。
如上所述,当图6所示的认证对象被分类时,反射光图像的前景部分与透射光图像的背景部分的重叠部分原则上不存在。因此,检测单元32难以检测到重叠部分,并且判定单元33判定出图6所示的认证对象是人手指。即,根据第三实施例的假手指判定设备可以将反射光在其部分区域中变得强烈的人手指判定为合法手指。
当图4所示的认证对象被分类时,在反射光图像中,类似于第一实施例,分类单元31将人手指区域A和肤色不透明薄膜区域D的像素组分类为前景部分,并且将背景部分B的像素组分类为背景部分。然而,在透射光图像中,分类单元31将人手指区域A(排除肤色不透明薄膜区域D部分)的像素组分类为前景部分,并且将肤色不透明薄膜区域D和背景部分B的像素组分类为背景部分。
如上所述,当图4所示的认证对象被分类时,肤色不透明薄膜区域D在反射光图像中被分类为前景部分,而在透射光图像中被分类为背景部分。因此,检测单元32将肤色不透明薄膜区域D检测为反射光图像的前景部分与透射光图像的背景部分之间的重叠部分。当肤色不透明薄膜区域D的像素数为预定像素数上限或更大时,判定单元33判定图4所示的认证对象是假手指。即,根据第三实施例的假手指判定设备可以判定肤色不透明薄膜被附加到手指表面这样的假手指为不正当手指。
接下来,将参考图8描述由根据第三实施例的假手指判定设备执行的假手指判定处理。图8是图示出用于判定肤色不透明薄膜被附加到手指表面这样的假手指的处理过程的流程图。
首先,当认证对象被放在假手指判定设备1的放置区域上时,反射光源单元21用光照射该认证对象,并且成像单元10捕获该认证对象(步骤S301)。
接下来,透射光源单元22用光照射该认证对象,并且成像单元10捕获该认证对象(步骤S302)。
接下来,分类单元31将在步骤S301中捕获的反射光图像分类成包括具有与肤色相对应的色度值的像素组的前景部分和包括此像素组之外的像素组的背景部分(步骤S303)。
接下来,分类单元31将在步骤S302中捕获的透射光图像分类成包括具有与肤色相对应的色度值的像素组的前景部分和包括此像素组之外的像素组的背景部分(步骤S304)。
接下来,检测单元32将反射光图像的前景部分与透射光图像的背景部分相比较,并且检测重叠部分(步骤S305)。
接下来,判定单元33判断在步骤S305中检测到的重叠部分中所包括的像素数是否为预定像素数上限或更大(步骤S306)。当判定结果为否(步骤S306中的否)时,则判定单元33判定手指周围不存在异物(步骤S307)。换言之,该认证对象被判定为人手指,并且然后该假手指判定处理结束。
然而,当在步骤S306中判定重叠部分所包括的像素数为预定像素数上限或更大(步骤S306中的是),则判定单元33判定手指周围存在异物(步骤S308)。换言之,该认证对象被判定为假手指,并且然后该假手指判定处理结束。
如上所述,根据第三实施例的假手指判定设备1,由成像单元10捕获的反射光图像和透射光图像的每个被分类成前景部分或背景部分,并且可以通过比较反射光图像的背景部分与透射光图像的前景部分来检测重叠部分。因此,即使当肤色不透明薄膜被附加到手指表面这样的假手指被用作认证对象时,也可以通过检测手指周围存在的薄膜部分来挑出这样的假手指。此外,当反射光在人手指的一部分中变得强烈时,人手指不会错误地被判定为假手指,并且人手指可以准确地被判定。
此外,当重叠部分的像素数为预定像素数上限或更大时,可以判定手指周围存在异物。因此,能够防止因错误检测的重叠部分而错误地判定假手指。相应地,能够提高判定薄膜被附加到手指表面这样的假手指的准确性。
以上实施例是示例性实施例并且不旨在排除未在实施例中明确描述的各种修改应用或技术。即,可以在不脱离本发明的要旨的范围中以各种形式来修改和实施本发明。例如,以上实施例的假手指判定处理可以适当地被组合。
本申请包含与2009年11月10日向日本专利局提交的日本专利申请No.2009-256977中公开的主题有关的主题,该申请的全部内容通过引用被结合于此。
到此为止,已参考示例性实施例描述了本发明,但是本发明不限于以上实施例。在本发明的范围内可以以本领域技术人员可理解的各种方式来修改本发明的配置或细节。
产业上的可应用性
根据本发明的假手指判定设备、假手指判定方法和假手指判定程序适于提高判定薄膜被附加到手指表面这样的假手指的准确性。
标号说明
1假手指判定设备
10成像单元
20光源单元
21反射光源单元
22透射光源单元
30控制单元
31分类单元
32检测单元
33判定单元
Claims (13)
1.一种假手指判定设备,包括:
成像单元,该成像单元对用作指纹认证对象的认证对象的反射光图像和透射光图像进行成像;
分类单元,该分类单元基于所述反射光图像和所述透射光图像的每个中所包括的像素的色度值或亮度值,将每个图像分类为具有皮肤图像的特征的前景部分和不具有皮肤图像的特征的背景部分;
检测单元,该检测单元将属于所述反射光图像和所述透射光图像中的一个图像的前景部分并且属于另一图像的背景部分的部分检测作为重叠部分;以及
判定单元,该判定单元利用所述重叠部分来判断手指周围是否存在异物。
2.根据权利要求1所述的假手指判定设备,
其中,在所述反射光图像和所述透射光图像的每个中,所述分类单元将具有皮肤图像可以具有的色度值或亮度值的像素组分类为所述前景部分,并且将此像素组之外的像素组分类为所述背景部分。
3.根据权利要求2所述的假手指判定设备,
其中,所述分类单元将所述反射光图像中具有与肤色相对应的色度值的像素组分类为所述前景部分,并且将所述透射光图像中具有与肤色和白色相对应的色度值的像素组分类为所述前景部分。
4.根据权利要求1至3中任一项所述的假手指判定设备,
其中,所述检测单元将在所述反射光图像和所述透射光图像的前景部分之间不同的部分或者在所述反射光图像和所述透射光图像的背景部分之间不同的部分检测作为所述重叠部分。
5.根据权利要求1至3中任一项所述的假手指判定设备,
其中,所述检测单元将所述反射光图像的背景部分与所述透射光图像的前景部分相比较以检测所述重叠部分。
6.根据权利要求1至3中任一项所述的假手指判定设备,
其中,所述检测单元将所述反射光图像的前景部分与所述透射光图像的背景部分相比较以检测所述重叠部分。
7.一种假手指判定设备,包括:
成像单元,该成像单元对用作指纹认证对象的认证对象的反射光图像和透射光图像进行成像;
分类单元,该分类单元将所述反射光图像中具有与肤色相对应的色度值的像素组和此像素组之外的像素组分别分类为前景部分和背景部分,并且将所述透射光图像中具有与白色相对应的色度值或者等于或大于预定阈值的亮度值的像素组和此像素组之外的像素组分别分类为前景部分和背景部分;
检测单元,该检测单元将所述反射光图像的背景部分与透射光图像的前景部分相比较以检测重叠部分;以及
判定单元,该判定单元利用所述重叠部分来判断手指周围是否存在异物。
8.一种假手指判定设备,包括:
成像单元,该成像单元对用作指纹认证对象的认证对象的反射光图像和透射光图像进行成像;
分类单元,该分类单元将所述反射光图像和所述透射光图像的每个图像中具有与肤色相对应的色度值的像素组和此像素组之外的像素组分别分类为前景部分和背景部分;
检测单元,该检测单元将所述反射光图像的前景部分与透射光图像的背景部分相比较以检测重叠部分;以及
判定单元,该判定单元利用所述重叠部分来判断手指周围是否存在异物。
9.根据权利要求1至8中任一项所述的假手指判定设备,
其中,所述判定单元基于所述重叠部分的大小来判断手指周围是否存在异物。
10.一种判定假手指的方法,包括如下步骤:
对用作指纹认证对象的认证对象的反射光图像和透射光图像进行成像;
基于所述反射光图像和所述透射光图像的每个中所包括的像素的色度值或亮度值,将每个图像分类为具有皮肤图像的特征的前景部分和不具有皮肤图像的特征的背景部分;
将属于所述反射光图像和所述透射光图像中的一个图像的前景部分并且属于另一图像的背景部分的部分检测作为重叠部分;以及
利用所述重叠部分来判断手指周围是否存在异物。
11.一种判定假手指的方法,包括如下步骤:
对用作指纹认证对象的认证对象的反射光图像和透射光图像进行成像;
将所述反射光图像中具有与肤色相对应的色度值的像素组和此像素组之外的像素组分别分类为前景部分和背景部分,并且将所述透射光图像中具有与白色相对应的度相值或者等于或大于预定阈值的亮度值的像素组和此像素组之外的像素组分别分类为前景部分和背景部分;
将所述反射光图像的背景部分与透射光图像的前景部分相比较以检测重叠部分;以及
利用所述重叠部分来判断手指周围是否存在异物。
12.一种判定假手指的方法,包括如下步骤:
对用作指纹认证对象的认证对象的反射光图像和透射光图像进行成像;
将所述反射光图像和所述透射光图像的每个图像中具有与肤色相对应的色度值的像素组和此像素组之外的像素组分别分类为前景部分和背景部分;
检测单元,该检测单元将所述反射光图像的前景部分与透射光图像的背景部分相比较以检测重叠部分;以及
利用所述重叠部分来判断手指周围是否存在异物。
13.一种假手指判定程序,使得计算机执行权利要求10至12中任一项所记载的步骤。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009256977 | 2009-11-10 | ||
JP2009-256977 | 2009-11-10 | ||
PCT/JP2010/067553 WO2011058837A1 (ja) | 2009-11-10 | 2010-10-06 | 偽指判定装置、偽指判定方法および偽指判定プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102612705A true CN102612705A (zh) | 2012-07-25 |
CN102612705B CN102612705B (zh) | 2015-01-14 |
Family
ID=43991497
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201080051083.7A Active CN102612705B (zh) | 2009-11-10 | 2010-10-06 | 假手指判定设备、假手指判定方法和假手指判定程序 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8855381B2 (zh) |
EP (1) | EP2500863B1 (zh) |
JP (1) | JP5709016B2 (zh) |
CN (1) | CN102612705B (zh) |
WO (1) | WO2011058837A1 (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2495697B1 (en) * | 2009-10-26 | 2020-04-29 | Nec Corporation | Fake finger determination device and fake finger determination method |
WO2011152213A1 (ja) * | 2010-06-04 | 2011-12-08 | 日本電気株式会社 | 指紋認証システム、指紋認証方法および指紋認証プログラム |
US9928413B2 (en) | 2013-06-13 | 2018-03-27 | Intel Corporation | Techniques for user authentication on a computing device via pattern recognition |
US9218522B2 (en) * | 2013-09-17 | 2015-12-22 | Gingy Technology Inc. | Method for determining fingerprint authenticity and device for the same |
US9443162B2 (en) * | 2014-09-25 | 2016-09-13 | Aricent Holdings Luxembourg S.A.R.L. | Intelligent background selection and image segmentation |
CN105389541B (zh) * | 2015-10-19 | 2018-05-01 | 广东欧珀移动通信有限公司 | 指纹图像的识别方法及装置 |
KR102322683B1 (ko) | 2017-03-20 | 2021-11-08 | 삼성전자 주식회사 | 생체 정보의 위조를 식별하기 위한 전자 장치 및 방법 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1541078A (zh) * | 2001-06-13 | 2004-10-27 | TST�Ӵ����м������۹�˾ | 天然皮肤的鉴别方法和装置 |
WO2007001025A1 (ja) * | 2005-06-29 | 2007-01-04 | Kyocera Corporation | 生体認証装置 |
CN101506826A (zh) * | 2006-07-19 | 2009-08-12 | 光谱辨识公司 | 多重生物测定多谱成像器 |
JP4611575B2 (ja) * | 2001-06-20 | 2011-01-12 | セコム株式会社 | 本人認証用の顔画像照合装置 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2637253B2 (ja) | 1989-12-18 | 1997-08-06 | 富士通株式会社 | 生体識別装置 |
US6292576B1 (en) * | 2000-02-29 | 2001-09-18 | Digital Persona, Inc. | Method and apparatus for distinguishing a human finger from a reproduction of a fingerprint |
JP2003050993A (ja) | 2001-08-06 | 2003-02-21 | Omron Corp | 指紋読取方法および指紋読取装置 |
EP1353292B1 (en) * | 2002-04-12 | 2011-10-26 | STMicroelectronics (Research & Development) Limited | Biometric sensor apparatus and methods |
US7460696B2 (en) * | 2004-06-01 | 2008-12-02 | Lumidigm, Inc. | Multispectral imaging biometrics |
JP4207717B2 (ja) * | 2003-08-26 | 2009-01-14 | 株式会社日立製作所 | 個人認証装置 |
JP4556111B2 (ja) * | 2004-09-02 | 2010-10-06 | ソニー株式会社 | 情報処理装置 |
KR100752640B1 (ko) * | 2005-01-05 | 2007-08-29 | 삼성전자주식회사 | 방향성 기울기 필터를 이용한 지문 영역 분할 장치 및 방법 |
JP3916639B2 (ja) * | 2005-06-29 | 2007-05-16 | 京セラ株式会社 | 生体認証装置 |
JP2009511094A (ja) * | 2005-09-01 | 2009-03-19 | ルミダイム インコーポレイテッド | バイオメトリックセンサ |
JP2007122237A (ja) | 2005-10-26 | 2007-05-17 | Mitsubishi Electric Corp | 偽造判定用撮像装置及び個人識別装置 |
JP2008006146A (ja) * | 2006-06-30 | 2008-01-17 | Oki Electric Ind Co Ltd | 指紋認証方法とその装置 |
US8285010B2 (en) * | 2007-03-21 | 2012-10-09 | Lumidigm, Inc. | Biometrics based on locally consistent features |
JP5285950B2 (ja) | 2008-04-17 | 2013-09-11 | 積水化学工業株式会社 | 窓下部における水切り構造及びコーナー水切り部材 |
JP4760870B2 (ja) * | 2008-08-04 | 2011-08-31 | 株式会社日立製作所 | 個人認証装置及び方法 |
-
2010
- 2010-10-06 EP EP10829797.9A patent/EP2500863B1/en active Active
- 2010-10-06 WO PCT/JP2010/067553 patent/WO2011058837A1/ja active Application Filing
- 2010-10-06 JP JP2011540449A patent/JP5709016B2/ja active Active
- 2010-10-06 CN CN201080051083.7A patent/CN102612705B/zh active Active
- 2010-10-06 US US13/508,766 patent/US8855381B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1541078A (zh) * | 2001-06-13 | 2004-10-27 | TST�Ӵ����м������۹�˾ | 天然皮肤的鉴别方法和装置 |
JP4611575B2 (ja) * | 2001-06-20 | 2011-01-12 | セコム株式会社 | 本人認証用の顔画像照合装置 |
WO2007001025A1 (ja) * | 2005-06-29 | 2007-01-04 | Kyocera Corporation | 生体認証装置 |
CN101506826A (zh) * | 2006-07-19 | 2009-08-12 | 光谱辨识公司 | 多重生物测定多谱成像器 |
Also Published As
Publication number | Publication date |
---|---|
EP2500863A1 (en) | 2012-09-19 |
EP2500863B1 (en) | 2023-09-13 |
JP5709016B2 (ja) | 2015-04-30 |
US20120219194A1 (en) | 2012-08-30 |
JPWO2011058837A1 (ja) | 2013-03-28 |
US8855381B2 (en) | 2014-10-07 |
CN102612705B (zh) | 2015-01-14 |
EP2500863A4 (en) | 2017-06-14 |
WO2011058837A1 (ja) | 2011-05-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102612706B (zh) | 假手指判定设备、假手指判定方法和假手指判定程序 | |
CN102612705B (zh) | 假手指判定设备、假手指判定方法和假手指判定程序 | |
US20130222564A1 (en) | Apparatus for recognizing face based on environment adaptation | |
JP4553138B2 (ja) | 顔画像認証装置 | |
CN105453153A (zh) | 交通灯检测 | |
CN109145742A (zh) | 一种行人识别方法及系统 | |
US20120314918A1 (en) | Foreign object determination device, foreign object determination method and foreign object determination program | |
Usami et al. | Defect detection and classification of electronic circuit boards using keypoint extraction and CNN features | |
WO2010131435A1 (en) | Pattern recognition apparatus and method therefor configured to recognize object and another lower-order object | |
JP4977440B2 (ja) | 車両認識装置 | |
JPWO2009107237A1 (ja) | 生体認証装置 | |
CN110490171B (zh) | 一种危险姿态识别方法、装置、计算机设备及存储介质 | |
CN111860610B (zh) | 一种车牌过曝及有无牌车识别的方法、设备及计算机存储介质 | |
CN101887518A (zh) | 人体检测装置与方法 | |
CN109389105A (zh) | 一种基于多任务的虹膜检测和视角分类方法 | |
WO2017179751A1 (ko) | 광 파장 특성을 이용한 위조지문 판별장치 및 그 방법 | |
CN107463875A (zh) | 一种判断人员身份的方法和装置 | |
US7702172B2 (en) | Particle extraction for automatic flow microscope | |
Wu et al. | A visual inspection system for surface mounted components based on color features | |
Wang et al. | An improved cast shadow detection method with edge refinement | |
EP3893147B1 (en) | Liveliness detection using a device comprising an illumination source | |
CN107451570A (zh) | 一种启动手掌图像识别装置的方法及装置 | |
Wan et al. | Multiple filters of spam using sobel operators and OCR | |
Battiato et al. | Counterfeit detection and value recognition of Euro banknotes | |
Khan et al. | Fast and accurate localization of human faces |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |