CN115775396B - 用于利用显示器下的指纹传感器检测伪造指纹的方法 - Google Patents

用于利用显示器下的指纹传感器检测伪造指纹的方法 Download PDF

Info

Publication number
CN115775396B
CN115775396B CN202211011324.6A CN202211011324A CN115775396B CN 115775396 B CN115775396 B CN 115775396B CN 202211011324 A CN202211011324 A CN 202211011324A CN 115775396 B CN115775396 B CN 115775396B
Authority
CN
China
Prior art keywords
counterfeit
image
fingerprint sensor
optical fingerprint
light source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211011324.6A
Other languages
English (en)
Other versions
CN115775396A (zh
Inventor
保罗·维克波尔德特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omnivision Technologies Inc
Original Assignee
Omnivision Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omnivision Technologies Inc filed Critical Omnivision Technologies Inc
Publication of CN115775396A publication Critical patent/CN115775396A/zh
Application granted granted Critical
Publication of CN115775396B publication Critical patent/CN115775396B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/1382Detecting the live character of the finger, i.e. distinguishing from a fake or cadaver finger
    • G06V40/1388Detecting the live character of the finger, i.e. distinguishing from a fake or cadaver finger using image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/13Sensors therefor
    • G06V40/1318Sensors therefor using electro-optical elements or layers, e.g. electroluminescent sensing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image

Abstract

提供了一种用于使用具有受控光源的光学指纹传感器检测伪造指纹的方法和一种用于检测伪造指纹的光学指纹传感器。该方法包括利用从显示器发射的入射光照亮设置在显示器的顶表面上的指纹样本的目标区域;利用位于显示器下方的图像传感器的第一图像传感器区域检测来自指纹样本的第一散射信号,第一图像传感器区域不在目标区域正下方,第一散射信号包括由目标区域散射的入射光的第一部分;至少部分地基于第一散射信号确定散射光分布;至少部分地基于散射光分布来识别伪造指纹。

Description

用于利用显示器下的指纹传感器检测伪造指纹的方法
技术领域
本发明涉及一种用于使用具有受控光源的光学指纹传感器检测伪造指纹的方法和一种用于检测伪造指纹的光学指纹传感器。
背景技术
指纹感测是一种越来越常见的工具,用于授权(a)访问诸如智能手机的电子设备,(b)访问机密电子记录,以及(c)通过互联网进行的诸如金融交易的电子交易。指纹感测满足了市场对无需输入(和记住)密码并且也无需跟踪与不同设备和/或帐户相关联的多个不同密码的认证机制的需求。指纹感测是一种完善的生物特征识别形式,并且光学指纹传感器已使用多年,例如由执法机构使用。
几种不同类型的光学指纹传感器已被设计用于智能手机和其他移动设备。这些类型的指纹传感器中的每一种都对手指进行成像以获得指纹。基于相机的指纹扫描仪使用成像透镜和图像传感器来捕获指纹图像。基于准直器的指纹扫描仪利用在图像传感器上方对准的透镜阵列并通过在图像传感器上方添加准直器来感测指纹。准直器通过形成光必须传播通过其中以到达图像传感器的通道来帮助映射从指纹样本的特定区域散射的光以由图像传感器的对应区域检测。
指纹图像感测的一个问题是可能会产生虚假或伪造(spoof,或称为欺骗)指纹,该虚假或伪造指纹欺骗指纹传感器,从而取得对设备的访问。伪造指纹可以以多种方式制造,包括在纸上打印指纹的图像和形成复制所期望的指纹图案的模制物体。如果创建时具有足够高的分辨率和真实指纹的保真度,这些伪造方法可以欺骗指纹传感器,并允许对设备和帐户进行未经授权的访问。提高基于图像传感器的指纹传感器区分真实指纹和伪造指纹的能力将增加它们作为设备的价值。
发明内容
在一方面,提供了一种用于利用具有受控光源的显示器下光学指纹传感器检测伪造指纹的方法。该方法包括:激活受控光源以照亮指纹样本的目标区域,其中目标区域小于光学指纹传感器的整个图像区;当受控光源照亮目标区域时,使用光学指纹传感器获取防伪造图像;处理防伪造图像以识别防伪造图像的特征;和处理该特征以确定指纹样本是真实手指还是伪造手指。
在一些实施例中,所述防伪造图像的所述特征还包括来自所述光源并由所述指纹样本重新传送的光的特征。
在一些实施例中,所述特征还包括对于所述真实手指和所述伪造手指不同的图案或散射光分布。
在一些实施例中,激活所述受控光源和获取所述防伪造图像的步骤发生在所述受控光源的斜升期期间。
在一些实施例中,所述目标区域与所述光学指纹传感器的中心像素对准。
在一些实施例中,所述目标区域不与所述光学指纹传感器在所述指纹样本上的投影重叠。
在一些实施例中,所述目标区域还包括照明图案。
在一些实施例中,控制所述受控光源以产生不同颜色的光。
在一些实施例中,所述光学指纹传感器包括多个像素,并且使用所述多个像素的子区域来获取所述防伪造图像。
在一些实施例中,所述多个像素的所述子区域还包括所述光学指纹传感器的中心像素。
在一些实施例中,所述多个像素的所述子区域还包括一个或多个像素行或像素列。
在一些实施例中,所述多个像素的所述子区域还包括一个或多个矩形像素区。
在一些实施例中,使用所述特征以确定所述指纹样本是真实手指还是伪造手指还包括(a)匹配算法和(b)机器学习算法中的一种或多种。
在一些实施例中,所述方法还包括利用在所述光学指纹传感器上方定位的准直器对从所述指纹样本散射的光进行准直。
在另一方面,提供了一种用于检测伪造指纹的光学指纹传感器。该光学指纹传感器包括:图像传感器,该图像传感器包括用于捕获整个图像区的多个像素;受控光源,该受控光源可控制以照亮整个图像区和小于整个图像区的目标区域;处理器,该处理器用于控制图像传感器以:当受控光源照亮目标区域时获取防伪造图像,处理防伪造图像以识别防伪造图像的特征,并使用该特征以确定指纹样本是真实手指还是伪造手指;和当受控光源照亮整个图像区时,获取指纹样本的图像。
在一些实施例中,所述受控光源是OLED(有机发光二极管)显示器。
在一些实施例中,所述OLED显示器位于所述图像传感器和所述指纹样本之间。
在一些实施例中,所述防伪造图像是在所述OLED显示器的斜变时间期间获取的。
在一些实施例中,所述防伪造图像的所述特征还包括对于所述真实手指和所述伪造手指不同的图案或散射光分布。
附图说明
图1图示了根据实施例的与光学指纹传感器一起使用的人类手指的半透明特性。
图2和图3图示了根据实施例的识别伪造指纹的光学指纹传感器的截面侧视图。
图4A图示了根据实施例的图2和图3的光学指纹传感器的截面侧视图,该光学指纹传感器利用第二光学指纹传感器区域检测第二散射信号。
图4B图示了根据实施例的图2和图3的光学指纹传感器的截面侧视图,其中指纹样本的目标区域与光学指纹传感器的中心像素对准。
图4C图示了根据实施例的图2和图3的光学指纹传感器的截面侧视图,其中指纹样本的附加目标区域被来自显示器的入射光照亮。
图5A–5E图示了根据实施例的图2和图3的光学指纹传感器的截面侧视图,其中第一光学指纹传感器区域包括多个共面图像传感器子区域以及具有不同光学指纹传感器区域的多个光学指纹传感器。
图6图示了根据实施例的图2和图3的光学指纹传感器的截面侧视图,其中指纹样本的两个附加目标区域被来自显示器的入射光照亮。
图7图示了图2和图3的光学指纹传感器的截面侧视图,该光学指纹传感器具有在显示器和光学指纹传感器之间的准直器,该准直器根据入射角阻挡散射光到达光学指纹传感器。
图8是图示了根据实施例的用于使用光学指纹传感器来识别伪造指纹的方法的流程图。
图9是图示了根据实施例的用于使用光学指纹传感器来识别伪造指纹的图8的方法的流程图。
具体实施方式
在整个说明书中对“一个示例”或“一个实施例”的提及是指结合该示例描述的特定特征、结构或特点包括在本发明的至少一个示例中。因此,在整个说明书中各处出现的短语“在一个示例中”或“在一个实施例中”不一定都是指代同一个示例。此外,在一个或多个示例中,可以以任何合适的方式组合特定的特征、结构或特点。
为了便于描述,在本文中可以使用空间相对术语,诸如“在……下方”、“在……之下”、“下”、“在……下面”、“在……上方”、“上”等,以描述一个元件或特征与其他一个或多个元件或特征的关系,如图所示。将理解的是,除了附图中描绘的朝向之外,空间相对术语还意图涵盖设备在使用或操作中的不同朝向。例如,如果附图中的设备被翻转,那么被描述为在其他元件或特征“之下”或“下方”或“下面”的元件将被定向为在其他元件或特征“上方”。因此,术语“在...之下”和“在...下面”可以涵盖上方和下方两个朝向。可以将设备以其他方式定向(旋转90度或以其他朝向),并相应地解释本文中使用的空间相对描述语。此外,还将理解的是,当一个层被称为在两个层“之间”时,它可以是两个层之间的唯一层,或者也可以存在一个或多个中间层。
术语半导体基板可以指使用半导体(诸如硅、硅-锗、锗、砷化镓及其组合)形成的基板。术语半导体基板也可以指由一种或多种半导体形成的基板,该基板经历了在基板中形成区域和/或结的先前工艺步骤。半导体基板还可以包括各种特征,诸如掺杂和未掺杂的半导体、硅的外延层以及在基板上形成的其他半导体结构。
在整个说明书中,使用了几个技术术语。这些术语应具有其所属领域中的普通含义,除非在本文中专门限定或者它们的使用上下文明确地暗示为其他。应当注意的是,在本文件中,元素名称和符号可以互换使用(例如,Si与硅);但是,两者具有完全相同的含义。
指纹传感器用于控制对个性化且无需记忆密码的设备和信息的访问。存在克服指纹传感器并取得对设备和信息的未经授权的访问的技术,包括创建伪造指纹。伪造指纹包括指纹的打印图像和复制目标指纹样本的三维结构的模制物体。目前检测伪造指纹的技术主要依赖于检查真实指纹和伪造指纹,并使用算法来检测由指纹传感器生成的各个指纹的图像的差异。由于伪造指纹以较高的分辨率和保真度制成,它们在指纹传感器上产生的图像与真实指纹图像的区别变得较小。仅使用指纹样本的图像进行伪造检测会使指纹传感器容易受到高质量、高分辨率的伪造指纹攻击。
在显示器下的光学指纹传感器的情况下,指纹样本被来自显示器内的发光层的光照亮。这种电磁能行进通过显示器的玻璃,并在玻璃-样本界面处与玻璃的顶表面处的指纹样本相互作用,导致界面处的反射或玻璃外的透射。在指纹样本被照亮时,入射到手指表面上的电磁能可以以不同的方式与样本相互作用。电磁能可以从样本的表面反射出,或可以透射到样本中,在样本中电磁能可能在样本的材料内被散射,其中样本的物理特性会影响散射过程。电磁能可以被散射并在平行于玻璃表面的方向上行进,在那里它可以再次被散射并被引导回显示器的玻璃中。在这种情况下,电磁能可以到达指纹传感器,但是从自电磁能进入指纹样本的位置水平移位的位置到达指纹传感器。
光行进到指纹样本中、被重新引导并且最终被检测到的程度受组成样本的材料的影响。在样本内被散射并在不同的位置处被引导回玻璃的光量对于伪造指纹样本与真实指纹样本将是不同的,因为用于制造伪造指纹样本的材料与电磁能的相互作用与人肉不同。能够检测这种散射光分布的指纹传感器具有比仅记录样本图像的指纹传感器更好的检测伪造指纹的能力。本文中所描述的实施例公开了至少部分地基于指纹样本内发生的散射程度来识别伪造指纹的方法,该散射程度是通过监测在不位于指纹样本的照明区域的正下方的区域处检测到的光来测量的。术语“光”和术语“电磁能”在本文中可互换使用。本文中的电磁能是指波长在0.4和2微米之间的电磁能。
图1图示了根据实施例的在截面侧视图中与光学指纹传感器一起使用的人类手指的半透明特性。图1中图示的截面平行于由正交轴线198X和198Z形成的平面(在下文中称为x-z平面),轴线198X和198Z均与轴线198Y正交。由正交轴线198X和198Y形成的平面(在下文中称为x-y平面),以及平行于x-y平面的平面被称为水平面。除非另有规定,本文中物体的高度是指物体沿轴线198Z的范围。在本文中,对轴x、y或z的提及分别是指轴线198X、198Y和198Z。另外,在本文中,宽度是指物体沿x轴的范围,深度是指物体沿y轴的范围,厚度(或薄度)是指物体沿z轴的范围,并且竖直是指沿z轴的方向。另外,在本文中,上方是指沿轴线198Z在正方向上离开一段距离的相对位置,而下方是指沿轴线198Z在负方向上离开一段距离的相对位置。
电子设备100包括显示器102,显示器102包括盖玻璃104和发光层106。在显示器102下方的是光学指纹传感器120。在实施例中,光学指纹传感器120包括捕获光并对其进行处理以形成图像的像素阵列。在实施例中,像素阵列还可以被称为形成光学指纹传感器120的一部分的图像传感器。
在使用场景中,指纹样本140设置在显示器102的顶表面108上。指纹样本140被从显示器102发射的入射光190照亮。如上所述,当入射光190撞击指纹样本140时,一些入射光190变成指纹样本140内的散射光130。散射光130通过指纹样本140扩散,并且其中一些散射光130作为重新传送的光132离开指纹样本140进入盖玻璃104中。散射光130还可以理解为漫射光并且术语散射和漫射在本文中可互换使用。
当手指与顶表面108有良好的机械耦接时,入射光190进入指纹样本140中的透射是最大的,并且当有水分以将手指光学耦接至玻璃时,该透射甚至更好。如图1所示,入射光190在指纹样本140右侧处的小光斑处照明。进入手指的光被手指的内部组织散射。这种漫散射可以将散射光130散布在几毫米的距离上。散射光130的一小部分作为重新传送的光132重新传送到玻璃中并且可以被光学指纹传感器120读取。重新传送的光132的强度可以根据与入射光190的进入点的距离而变化。在实施例中,重新传送的光132的强度将随与照明点的距离的变化而下降。在这里提出的发明中,防伪造图像被重新传送的光拍摄,并且防伪造图像的特征被用于伪造检测。这些特征中的一种可以是重新传送的光132的强度,然而还可以使用诸如图案或特定的散射光分布的其他特征。
当采用算法来检测伪造指纹时,也可以将由由于内部散射和扩散而引起的平移程度提供的附加信息输入到用于提高伪造检测精度的算法中。这在使用机器学习算法时尤其有价值,机器学习算法会自动比较训练集之间的差异。由样本的材料特性引起的角度分布的变化将可用于机器学习算法,该机器学习算法将能够基于图像细节和角度分布的组合来识别伪造指纹。
图2和图3图示了电子设备100的截面侧视图,电子设备100包括光学指纹传感器120,该光学指纹传感器120利用第一光学指纹传感器区域122检测第一散射信号192以识别伪造指纹。在实施例中,电子设备100是移动设备。
电子设备100包括显示器102,显示器102包括盖玻璃104和发光层106。在显示器102下方的是光学指纹传感器120,光学指纹传感器120包括第一光学指纹传感器区域122,在实施例中,光学指纹传感器120还包括第二光学指纹传感器区域124。在实施例中,光学指纹传感器区域122和124不重叠,使得光学指纹传感器120的像素不包括在光学指纹传感器区域122和124两者中。光学指纹传感器区域122和124可以彼此相邻,或者可以被光学指纹传感器120的至少一个像素列和/或至少一个像素行分开。
在使用场景中,指纹样本140设置在显示器102的顶表面108上。指纹样本140包括被从显示器102发射的入射光190照亮的目标区域142。第一散射信号192从如上文对图1所描述的指纹样本140传播,并且由第一光学指纹传感器区域122检测,第一光学指纹传感器区域122不在目标区域142的正下方。第一散射信号192包括入射光190的被指纹样本140散射的第一部分。尽管在本文中仅将第一散射信号192表示为单个线,但它可以表示如图1所示的任何量的重新传送的光132并且可以在光学指纹传感器120的多个区块中检测到。
如图2所示,光学指纹传感器区域122包括比全光学指纹传感器120更少的像素,因此读出由第一光学指纹传感器区域122检测到的信号所需的时间可以小于读出全光学指纹传感器120所需的时间。获取用于识别伪造指纹的防伪造图像所需的时间可以短于记录完整指纹140的图像所需的时间,这是有利的,因为减少检测伪造指纹的时间是用户和指纹传感器制造商所期望的。这也是有利的,因为它降低了检测来自光学指纹传感器的信号所需的功耗。与仅读出较小的第一光学指纹传感器区域相比,读出全传感器还需要更多的功耗。在实施例中,可以读出光学指纹传感器120的一部分或整个光学指纹传感器以获取防伪造图像。
在实施例中,用于照亮指纹样本140的入射光190是由显示器102的发光层106产生的具有在560和620纳米之间的波长的绿光。在不脱离本文中的范围的情况下,可以使用其他颜色的光。
图3图示了图1的电子设备100,其中第二散射信号194被第二光学指纹传感器区域124检测到,第二光学指纹传感器区域124与目标区域142在光学指纹传感器120上的投影126重叠。在图3所示的实施例中,第一光学指纹传感器区域122沿x轴与投影126偏移,尽管在不脱离本发明的范围的情况下该偏移可以在水平面中的任何方向上。第二散射信号194包括入射光190的第二部分(未在图3中示出)。在实施例中,第二散射信号194用于归一化第一散射信号192,这在发光层106的强度可能不稳定时是有益的,例如在可以在记录指纹样本140的图像之前的斜升期期间。在实施例中,发光层是需要20毫秒来产生记录指纹样本140的图像所需的稳定照明的有机发光二极管(OLED)。通过将第一散射信号192归一化到第二散射信号194,在斜升期期间执行识别伪造指纹的过程。在实施例中,第二散射信号194与第一散射信号192一起用于确定用于识别伪造指纹的散射光分布(未示出)。在电子设备100的实施例中,指纹样本140被发光层106照亮,发光层106不是显示器的一部分而是通用发光层。
图4A图示了图2和图3的电子设备100,电子设备100具有嵌入在包括光学指纹传感器120的芯片260上的逻辑电路262。逻辑电路262处理第一散射信号192、第二散射信号194或如图1所示的重新传送的光132的散射光分布中的一个或多个。处理在芯片260上检测到的任何信号使得可以检测伪造指纹并生成伪造识别,而无需可能需要与电子设备100集成的附加处理能力。在实施例中,这是有利的是,因为它比需要与电子设备100的处理器(未示出)交互更快和更有效。芯片260可以直接地输出指示指纹样本140是伪造指纹的信号,并防止电子设备100采取诸如准许访问和提供认证的后续动作。在实施例中,逻辑电路262用于使用第二散射信号194来归一化第一散射信号192,如上所述。
图4B图示了图2和图3的电子设备100,并且图示了光学指纹传感器120的中心像素326。光学指纹传感器120的表面法线328包括中心像素326。在图4B所示的实施例中,目标区域142与表面法线328对准。
图4C图示了在实施例中的图2和图3的电子设备100,其中目标区域142(1)不与光学指纹传感器120在指纹样本140上的投影444重叠。来自显示器102的入射光190(1)照亮目标区域142(1)并且由第一光学指纹传感器区域122检测第一散射样本192。
图5A、5B、5C、5D和5E分别图示了具有第一光学指纹传感器区域122(A)、122(B)、122(C)、122(D)和122(E)的光学指纹传感器120,第一光学指纹传感器区域122(A)、122(B)、122(C)、122(D)和122(E)分别各自包括多个共面图像传感器子区域523(A)、523(B)、523(C)、523(D)和523(E)。区域523(A)、523(B)、523(C)、523(D)和523(E)可以用于获取防伪造图像。图5A图示了图2和图3的电子设备100,其中多个共面图像传感器子区域523(A)沿x轴彼此相邻。第一散射信号192包括入射光190的三个部分:192(1)、192(2)和192(3),每个部分由多个共面图像传感器子区域523(A)中的一个检测。
图5B图示了从上方沿z轴观察的光学指纹传感器120,其用轴线198X、198Y和198Z示出。在图5B所示的实施例中,第一光学指纹传感器区域122(B)包括多个共面图像传感器子区域523(B),多个共面图像传感器子区域523(B)包括光学指纹传感器120的中心像素326。尽管共面图像传感器子区域523(B)沿轴线198X示出,但在实施例中它们也可以沿轴线198Y定位。
图5C图示了从上方沿z轴观察的光学指纹传感器120,其用坐标轴198X、198Y和198Z示出。在图5C所示的实施例中,第一光学指纹传感器区域122(C)包括多个共面图像传感器子区域523(C)、第二多个共面图像传感器子区域523(C2)和第三多个共面图像传感器子区域523(C3)。在图5C所示的实施例中,多个共面图像传感器子区域523(C)包括光学指纹传感器120的中心像素326。在实施例中,多个共面图像传感器子区域523(C)中没有一个包括光学指纹传感器120的中心像素326。尽管共面图像传感器子区域523(C)沿轴线198X示出,但在实施例中它们也可以沿轴线198Y定位。
图5D图示了从上方沿z轴观察的光学指纹传感器120,其用坐标轴198X、198Y和198Z示出。在图5D所示的实施例中,第一光学指纹传感器区域122(D)包括形成围绕中心像素326的矩形的多个图像传感器子区域525(D)。在实施例中,多个图像传感器子区域525(D)不围绕光学指纹传感器120的中心像素326。
图5E图示了从上方沿z轴观察的光学指纹传感器120,其用坐标轴198X、198Y和198Z示出。在图5E所示的实施例中,第一光学指纹传感器区域122(E)包括多个图像传感器子区域525(E)、第二多个图像传感器子区域525(E2)、第三多个图像传感器子区域525(E3)、第四多个图像传感器子区域525(E4)和第五多个图像传感器子区域525(E5)。在图5E所示的实施例中,多个图像传感器子区域(525(E)、525(E2)、525(E3)和525(E4))中的每一个形成矩形,尽管在不脱离本文中的范围的情况下每个图像传感器子区域可以形成不同的形状。在图5E所示的实施例中,多个图像传感器子区域525(E)围绕光学指纹传感器120的中心像素326。在实施例中,多个图像传感器子区域525(E)不围绕光学指纹传感器120的中心像素326。
尽管在图5A–5E中示出了光学指纹传感器120的各种子区域,但这些仅出于说明的目的,并且可设想用于通过检测第一散射信号192来获取防伪造图像的子区域的其他形状、尺寸和朝向。
图6图示了图2和图3的电子设备100,其中指纹样本140的附加目标区域646和647分别被来自显示器102的入射光696和697照亮。从附加目标区域646和647散射的光用于以与以上描述类似的方式识别伪造指纹。在图6所示的实施例中,附加目标区域647不与光学指纹传感器120在指纹样本140上的投影444重叠。目标区域646和647的位置是代表性的并且可设想其他位置。
图7图示了在显示器102和光学指纹传感器120之间具有准直器770的图2和图3的电子设备100。第一散射信号192必须穿过准直器770以被第一光学指纹传感器区域122检测到。基于光的入射角,防止入射在准直器770上的光到达光学指纹传感器120。入射角大于阈值角度的入射光被阻挡,而入射角小于阈值角度的光被允许被光学指纹传感器120检测到。在实施例中,准直器770包括多个透镜和多个开孔挡板层,它们建立阈值,形成准直器770的接受角。光学指纹传感器120和准直器770的组合效果是将入射光空间映射到指纹样本140的光被散射的区域。当与本文中所描述的用于识别伪造指纹的方法结合时,这提供了有益的优点。从目标区域142散射的光193被准直器770阻挡,因为它没有落入准直器770的接受角内。这提高了第一光学指纹传感器区域122的信噪比,第一光学指纹传感器区域122检测入射光190的自未被入射光直接照亮的位置从指纹样本140散射的部分。相反,在第一光学指纹传感器区域122处检测到的光是在离开目标区域142一段距离的位置处从指纹样本散射的。
图8是图示了根据实施例的用于利用具有受控光源的光学指纹传感器来识别伪造指纹样本的方法800的流程图。方法800可以由图2、3、4A、4B、4C、5A、5B、5C、5D、5E、6或7的移动设备中的任何一种来实施。
在框810中,激活受控光源以照亮指纹样本的目标区域。在框810的示例中,目标区域142被来自显示器102的发光层106的入射光190照亮。目标区域142小于光学指纹传感器120的整个图像区。
在框820中,使用光学指纹传感器来获取防伪造图像。在框820的示例中,来自指纹样本140的第一散射信号192被在显示器102下方的光学指纹传感器120的第一光学指纹传感器区域122检测到。第一光学指纹传感器区域122不在目标区域142的正下方,而是从目标区域142在光学指纹传感器120上的投影126偏移。在实施例中,第一散射信号192还可以包括入射光的被目标区域散射的第一部分。
在框830中,处理防伪造图像以识别防伪造图像的特征。在框840的示例中,该特征包括第一散射信号192的强度。
在框840中,处理该特征以确定指纹样本是来自真实手指还是来自伪造手指。在框840的示例中,该特征包括对于真实手指和伪造手指不同的强度、图案或散射光分布。
图9是图示了根据实施例的用于利用光学指纹传感器来识别伪造指纹的方法900的流程图。方法900可以由图2、3、4A、4B、4C、5A、5B、5C、5D、5E、6或7的移动设备中的任何一种来实施。方法900图示了使用定位在电子设备的显示器下方的光学指纹传感器来获取防伪造图像的方法,其中显示器被用作受控光源。如图9所示,方法900在显示器“斜变”期期间捕获防伪造图像。尽管方法900图示了本文中描述的原理,但是只要照明图案不同,就可以在获取完整指纹图像之前或之后获取防伪造图像。此外,其他实施例可以使用不同的光源和硬件配置。
在框910中,触发光学指纹传感器开启。在框910的示例中,光学指纹传感器120由用户将指纹样本140放置在显示器102的顶表面108上来触发。
在框920中,激活受控光源以照亮目标区域。在框920的示例中,显示器106被激活以产生点图案,该点图案可以包括照亮指纹样本140的目标区域142的单个光点或多个光点。在实施例中,目标区域142小于光学指纹传感器120的整个图像区。
在框930和940中,当触发光学指纹传感器和激活受控光源二者都进行时,获取防伪造图像。在框930和940的示例中,例如,逻辑电路262使光学指纹传感器120通过读出光学指纹传感器120的像素获取防伪造图像。可以如结合图5A–5E所解释的那样读出一个、多个或所有像素。一旦获取,就处理防伪造图像以识别指示指纹样本140是由真实手指还是由伪造手指提供的特征。在实施例中,通过匹配算法或机器学习算法来处理特征。
在框950中,初始化受控光源。在框950的示例中,受控光源是在可以获取完整指纹图像之前需要数十毫秒来稳定的OLED显示器。在该强度斜变期期间,可以在框940中获取一个或多个防伪造图像。
在框960–990中,当一个或多个防伪造图像和受控光源二者均稳定时,激活受控光源以进行全照明。在框960和970的示例中,逻辑电路262例如激活受控光源。在框980和990中,当受控光源达到全照明时,光学指纹传感器120通过读出光学指纹传感器120的像素获取指纹图像。
在框990中,当获取两个图像时,关断光学指纹传感器。
在不脱离本发明的范围的情况下,可以对以上方法和系统进行改变。因此应注意,在以上说明书中包含的内容或者附图所示的内容应理解为说明性的而非限制性的。以下权利要求旨在覆盖本文描述的所有通用和特定特征,以及本发明方法和系统范围的所有陈述,就语言而言,可以说其是介于两者之间。
特征组合
(A1)在第一方面,一种用于使用具有受控光源的光学指纹传感器检测伪造指纹的方法,包括激活受控光源以照亮指纹样本的目标区域,其中目标区域小于光学指纹传感器的整个图像区;当受控光源照亮目标区域时,使用光学指纹传感器获取防伪造图像;处理防伪造图像以识别防伪造图像的特征;和处理该特征以确定指纹样本是来自真实手指还是来自伪造手指。
(A2)在A1的实施例中,其中防伪造图像的特征还包括来自光源并由指纹样本重新传送的光的特征。
(A3)在A1或A2的实施例中,其中该特征还包括对于真实手指和伪造手指不同的图案或散射光分布。
(A4)在A1至A3中任一项的实施例中,其中激活受控光源和获取防伪造图像的步骤发生在受控光源的斜升期期间。
(A5)在A1至A4中任一项的实施例中,其中目标区域与光学指纹传感器的中心像素对准。
(A6)在A1至A5中任一项的实施例中,其中目标区域不与光学指纹传感器在指纹样本上的投影重叠。
(A7)在A1至A6中任一项的实施例中,其中目标区域还包括照明图案。
(A8)在A1至A7中任一项的实施例中,其中控制受控光源以产生不同颜色的光。
(A9)在A1至A8中任一项的实施例中,其中光学指纹传感器包括多个像素,并且使用多个像素的子区域来获取防伪造图像。
(A10)在A9的实施例中,其中多个像素的子区域还包括光学指纹传感器的中心像素。
(A11)在A9的实施例中,其中多个像素的子区域还包括一个或多个像素行或像素列。
(A12)在A9的实施例中,其中多个像素的子区域还包括一个或多个矩形像素区。
(A13)在A1至A12中任一项的实施例中,其中使用特征以确定指纹样本是真实手指还是伪造手指还包括(a)匹配算法和(b)机器学习算法中的一种或多种。
(A14)在A1至A13中任一项的实施例中,还包括利用在光学指纹传感器上方定位的准直器对从指纹样本散射的光进行准直。
(B1)在第二方面,一种用于检测伪造指纹的光学指纹传感器,包括图像传感器,该图像传感器包括用于捕获整个图像区的像素阵列;受控光源,该受控光源可控制以照亮整个图像区和小于整个图像区的目标区域;逻辑电路,用于控制图像传感器以:当受控光源照亮目标区域时获取防伪造图像,处理防伪造图像以识别防伪造图像的特征,并处理该特征以确定指纹样本是真实手指还是伪造手指;和当受控光源照亮整个图像区时,获取指纹样本的图像。
(B2)在实施例B1中,其中受控光源是OLED(有机发光二极管)显示器。
(B3)在B1或B2的实施例中,其中OLED显示器位于图像传感器和指纹样本之间。
(B4)在B1至B3中任一项的实施例中,其中防伪造图像是在OLED显示器的斜变时间期间获取的。
(B5)在B1至B4中任一项的实施例中,其中防伪造图像的特征还包括对于真实手指和伪造手指不同的图案或散射光分布。

Claims (17)

1.一种用于使用具有受控光源的光学指纹传感器检测伪造指纹的方法,包括:
在所述受控光源的斜升期期间激活所述受控光源以照亮指纹样本的目标区域,其中所述目标区域小于所述光学指纹传感器的整个图像区;
当所述受控光源照亮所述目标区域时,在所述受控光源的斜升期期间使用所述光学指纹传感器获取防伪造图像;
处理所述防伪造图像以识别所述防伪造图像的特征;和
处理所述特征以确定所述指纹样本是来自真实手指还是来自伪造手指。
2.根据权利要求1所述的方法,其中所述防伪造图像的所述特征还包括来自所述光源并由所述指纹样本重新传送的光的特征。
3.根据权利要求2所述的方法,其中所述特征还包括对于所述真实手指和所述伪造手指不同的图案或散射光分布。
4.根据权利要求1所述的方法,其中所述目标区域与所述光学指纹传感器的中心像素对准。
5.根据权利要求1所述的方法,其中所述目标区域不与所述光学指纹传感器在所述指纹样本上的投影重叠。
6.根据权利要求1所述的方法,其中所述目标区域还包括照明图案。
7.根据权利要求1所述的方法,其中控制所述受控光源以产生不同颜色的光。
8.根据权利要求1所述的方法,其中所述光学指纹传感器包括多个像素,并且使用所述多个像素的子区域来获取所述防伪造图像。
9.根据权利要求8所述的方法,其中所述多个像素的所述子区域还包括所述光学指纹传感器的中心像素。
10.根据权利要求8所述的方法,其中所述多个像素的所述子区域还包括一个或多个像素行或像素列。
11.根据权利要求8所述的方法,其中所述多个像素的所述子区域还包括一个或多个矩形像素区。
12.根据权利要求1所述的方法,其中使用所述特征以确定所述指纹样本是真实手指还是伪造手指还包括(a)匹配算法和(b)机器学习算法中的一种或多种。
13.根据权利要求1所述的方法,还包括利用在所述光学指纹传感器上方定位的准直器对从所述指纹样本散射的光进行准直。
14.一种用于检测伪造指纹的光学指纹传感器,包括:
图像传感器,所述图像传感器包括用于捕获整个图像区的像素阵列;
受控光源,所述受控光源可控制以照亮所述整个图像区和小于所述整个图像区的目标区域;
逻辑电路,所述逻辑电路用于控制所述图像传感器以:
当所述受控光源照亮所述目标区域时获取防伪造图像,处理所述防伪造图像以识别所述防伪造图像的特征,并处理所述特征以确定指纹样本是真实手指还是伪造手指;和
当所述受控光源照亮所述整个图像区时,获取指纹样本的图像;
其中所述防伪造图像是在所述受控光源的斜升期期间获取的。
15.根据权利要求14所述的光学指纹传感器,其中所述受控光源是OLED显示器。
16.根据权利要求15所述的光学指纹传感器,其中所述OLED显示器位于所述图像传感器和所述指纹样本之间。
17.根据权利要求14所述的光学指纹传感器,其中所述防伪造图像的所述特征还包括对于所述真实手指和所述伪造手指不同的图案或散射光分布。
CN202211011324.6A 2021-09-08 2022-08-23 用于利用显示器下的指纹传感器检测伪造指纹的方法 Active CN115775396B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/469,473 US11620852B2 (en) 2021-09-08 2021-09-08 Method for detecting spoof fingerprints with an under-display fingerprint sensor
US17/469,473 2021-09-08

Publications (2)

Publication Number Publication Date
CN115775396A CN115775396A (zh) 2023-03-10
CN115775396B true CN115775396B (zh) 2024-03-22

Family

ID=85385444

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211011324.6A Active CN115775396B (zh) 2021-09-08 2022-08-23 用于利用显示器下的指纹传感器检测伪造指纹的方法

Country Status (2)

Country Link
US (1) US11620852B2 (zh)
CN (1) CN115775396B (zh)

Citations (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10102411B2 (en) * 2017-01-25 2018-10-16 Synaptics Incorporated Hybrid optical and capacitive sensor
CN108881750A (zh) * 2017-04-17 2018-11-23 三星电子株式会社 包括阻光图案的光学传感器以及电子设备
WO2018235416A1 (ja) * 2017-06-21 2018-12-27 ソニーセミコンダクタソリューションズ株式会社 撮像素子及び固体撮像装置
JP2019016884A (ja) * 2017-07-05 2019-01-31 ソニーセミコンダクタソリューションズ株式会社 撮像装置
CN109643379A (zh) * 2018-11-19 2019-04-16 深圳市汇顶科技股份有限公司 指纹识别方法、装置和电子设备
CN110036394A (zh) * 2019-02-20 2019-07-19 深圳市汇顶科技股份有限公司 用于指纹识别的方法、装置和终端设备
CN110582780A (zh) * 2019-08-01 2019-12-17 深圳市汇顶科技股份有限公司 指纹识别和防伪的方法、装置和电子设备
CN110620122A (zh) * 2018-06-18 2019-12-27 三星电子株式会社 图像传感器
CN110753925A (zh) * 2017-06-22 2020-02-04 指纹卡有限公司 登记指纹的方法
CN110945524A (zh) * 2019-10-21 2020-03-31 深圳市汇顶科技股份有限公司 识别指纹的方法、指纹识别装置和电子设备
CN111274906A (zh) * 2020-01-16 2020-06-12 上海思立微电子科技有限公司 指纹防伪方法及装置
CN111556219A (zh) * 2020-01-21 2020-08-18 神盾股份有限公司 图像扫描装置及图像扫描方法
JP2020126978A (ja) * 2019-02-06 2020-08-20 キヤノン株式会社 撮像素子および撮像装置
CN111566659A (zh) * 2018-12-13 2020-08-21 深圳市汇顶科技股份有限公司 指纹识别装置、方法和电子设备
JP2020141122A (ja) * 2019-02-25 2020-09-03 キヤノン株式会社 光電変換装置、撮像システム及び移動体
CN111801684A (zh) * 2020-01-22 2020-10-20 深圳市汇顶科技股份有限公司 指纹检测的装置和电子设备
CN111837128A (zh) * 2020-01-06 2020-10-27 深圳市汇顶科技股份有限公司 指纹防伪的方法、指纹识别装置和电子设备
WO2020229960A1 (en) * 2019-05-13 2020-11-19 3M Innovative Properties Company Organic light emitting diode display
EP3754323A1 (en) * 2019-06-18 2020-12-23 Plair SA Automatic spore trap
CN112232213A (zh) * 2020-01-21 2021-01-15 神盾股份有限公司 屏下指纹识别防伪方法与系统
CA3144532A1 (en) * 2019-07-19 2021-01-28 Basf Coatings Gmbh Method and system for simulating texture features of a coating
CN112889064A (zh) * 2018-10-26 2021-06-01 指纹卡有限公司 显示器下方生物特征成像装置
US11039056B2 (en) * 2018-12-06 2021-06-15 Samsung Electronics Co., Ltd. Image sensor for generating depth data by a path difference of light generated through micro lens covering a plurality of sub-pixels and electronic device including the image sensor
KR20210106122A (ko) * 2020-02-20 2021-08-30 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 안티-스푸핑 방법

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5644177B2 (ja) * 2010-05-07 2014-12-24 ソニー株式会社 固体撮像装置、および、その製造方法、電子機器
CN107004130B (zh) * 2015-06-18 2020-08-28 深圳市汇顶科技股份有限公司 用于屏幕上指纹感应的屏幕下光学传感器模块
US10438046B2 (en) 2015-11-02 2019-10-08 Shenzhen GOODIX Technology Co., Ltd. Multifunction fingerprint sensor having optical sensing against fingerprint spoofing
EP3461292B1 (en) * 2017-07-18 2021-03-24 Shenzhen Goodix Technology Co., Ltd. Anti-spoofing sensing for rejecting fake fingerprint patterns in under-screen optical sensor module for on-screen fingerprint sensing
US11056519B2 (en) 2019-02-25 2021-07-06 Canon Kabushiki Kaisha Photoelectric conversion device, imaging system, and mobile apparatus
US20200285722A1 (en) * 2019-03-07 2020-09-10 Shenzhen GOODIX Technology Co., Ltd. Methods and systems for optical palmprint sensing
US11176347B2 (en) * 2019-06-14 2021-11-16 Analog Devices International Unlimited Company Fingerprint-on-display recognition
US11074467B2 (en) * 2019-12-05 2021-07-27 Shenzhen GOODIX Technology Co., Ltd. Anti-spoofing of transparent fake object overlays with optical sensing modules
US11435586B2 (en) 2020-03-31 2022-09-06 Meta Platforms Technologies LLC Thin waveguide imager
US11328150B2 (en) 2020-04-30 2022-05-10 Omnivision Technologies, Inc. Lens-array imager
KR20220078355A (ko) 2020-12-03 2022-06-10 삼성전자주식회사 Af 픽셀들을 포함하는 이미지 센서
US20220276163A1 (en) 2021-03-01 2022-09-01 Potter Electric Signal Company, Llc Forward and back scattering smoke detector and method of use
US11468705B1 (en) 2021-06-21 2022-10-11 Novatek Microelectronics Corp. Display device with a fingerprint sensing function

Patent Citations (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10102411B2 (en) * 2017-01-25 2018-10-16 Synaptics Incorporated Hybrid optical and capacitive sensor
CN108881750A (zh) * 2017-04-17 2018-11-23 三星电子株式会社 包括阻光图案的光学传感器以及电子设备
WO2018235416A1 (ja) * 2017-06-21 2018-12-27 ソニーセミコンダクタソリューションズ株式会社 撮像素子及び固体撮像装置
CN110753925A (zh) * 2017-06-22 2020-02-04 指纹卡有限公司 登记指纹的方法
JP2019016884A (ja) * 2017-07-05 2019-01-31 ソニーセミコンダクタソリューションズ株式会社 撮像装置
CN110620122A (zh) * 2018-06-18 2019-12-27 三星电子株式会社 图像传感器
US11018173B2 (en) * 2018-06-18 2021-05-25 Samsung Electronics Co., Ltd. Image sensor
CN112889064A (zh) * 2018-10-26 2021-06-01 指纹卡有限公司 显示器下方生物特征成像装置
CN109643379A (zh) * 2018-11-19 2019-04-16 深圳市汇顶科技股份有限公司 指纹识别方法、装置和电子设备
US11039056B2 (en) * 2018-12-06 2021-06-15 Samsung Electronics Co., Ltd. Image sensor for generating depth data by a path difference of light generated through micro lens covering a plurality of sub-pixels and electronic device including the image sensor
CN111566659A (zh) * 2018-12-13 2020-08-21 深圳市汇顶科技股份有限公司 指纹识别装置、方法和电子设备
JP2020126978A (ja) * 2019-02-06 2020-08-20 キヤノン株式会社 撮像素子および撮像装置
CN110036394A (zh) * 2019-02-20 2019-07-19 深圳市汇顶科技股份有限公司 用于指纹识别的方法、装置和终端设备
JP2020141122A (ja) * 2019-02-25 2020-09-03 キヤノン株式会社 光電変換装置、撮像システム及び移動体
WO2020229960A1 (en) * 2019-05-13 2020-11-19 3M Innovative Properties Company Organic light emitting diode display
EP3754323A1 (en) * 2019-06-18 2020-12-23 Plair SA Automatic spore trap
CA3144532A1 (en) * 2019-07-19 2021-01-28 Basf Coatings Gmbh Method and system for simulating texture features of a coating
CN110582780A (zh) * 2019-08-01 2019-12-17 深圳市汇顶科技股份有限公司 指纹识别和防伪的方法、装置和电子设备
CN110945524A (zh) * 2019-10-21 2020-03-31 深圳市汇顶科技股份有限公司 识别指纹的方法、指纹识别装置和电子设备
CN111837128A (zh) * 2020-01-06 2020-10-27 深圳市汇顶科技股份有限公司 指纹防伪的方法、指纹识别装置和电子设备
CN111274906A (zh) * 2020-01-16 2020-06-12 上海思立微电子科技有限公司 指纹防伪方法及装置
CN111556219A (zh) * 2020-01-21 2020-08-18 神盾股份有限公司 图像扫描装置及图像扫描方法
CN112232213A (zh) * 2020-01-21 2021-01-15 神盾股份有限公司 屏下指纹识别防伪方法与系统
CN111801684A (zh) * 2020-01-22 2020-10-20 深圳市汇顶科技股份有限公司 指纹检测的装置和电子设备
KR20210106122A (ko) * 2020-02-20 2021-08-30 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 안티-스푸핑 방법

Also Published As

Publication number Publication date
CN115775396A (zh) 2023-03-10
US11620852B2 (en) 2023-04-04
TW202312025A (zh) 2023-03-16
US20230071596A1 (en) 2023-03-09

Similar Documents

Publication Publication Date Title
US8284019B2 (en) Spectroscopic method and system for multi-factor biometric authentication
US11239275B2 (en) Electronic device including processing circuitry for sensing images from spaced apart sub-arrays and related methods
US10282582B2 (en) Finger biometric sensor for generating three dimensional fingerprint ridge data and related methods
US10885299B2 (en) Electronic device including pin hole array mask above optical image sensor and laterally adjacent light source and related methods
US6292576B1 (en) Method and apparatus for distinguishing a human finger from a reproduction of a fingerprint
JP4599320B2 (ja) 指紋認証装置、生体指判定装置および生体指判定方法
US10691915B2 (en) Device for capturing an imprint of a body part
US7084415B2 (en) Fingerprint reading method using compared monochromatic images and fingerprint reading apparatus
JP6075069B2 (ja) 生体情報撮像装置及び生体認証装置ならびに生体情報撮像装置の製造方法
US20140153791A1 (en) Fake Fingerprint Detection System
CN111727439A (zh) 用于皮肤印纹和文件的直接光学捕获的设备
JP2009009403A (ja) 生体認証装置及び生体検知方法
CN115775396B (zh) 用于利用显示器下的指纹传感器检测伪造指纹的方法
TWI836581B (zh) 電子裝置用於執行使用具有受控光源的光學指紋感測器檢測偽造指紋的方法及光學指紋感測器
CN114008687A (zh) 基于镜面反射和漫反射的欺骗检测
US10248833B2 (en) Method for biometric processing of images
US11676417B2 (en) Method of detecting spoof fingerprints using an optical fingerprint sensor and polarization
US9947161B2 (en) Disk image acquiring device and disk sorting device
CN115775398B (zh) 具有颜色选择的防伪造光学指纹传感器方法和硬件
NZ580243A (en) Authenticating and verifying a human identity using a light reflectance spectrum of a fingertip or iris
CN115775397A (zh) 具有伪造检测的光学指纹传感器和相关联的方法
JPS61255479A (ja) 画像入力装置
JPS61151788A (ja) 画像入力装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant