CN110543821B - 纹路识别装置及其操作方法 - Google Patents
纹路识别装置及其操作方法 Download PDFInfo
- Publication number
- CN110543821B CN110543821B CN201910690172.9A CN201910690172A CN110543821B CN 110543821 B CN110543821 B CN 110543821B CN 201910690172 A CN201910690172 A CN 201910690172A CN 110543821 B CN110543821 B CN 110543821B
- Authority
- CN
- China
- Prior art keywords
- image sensor
- pattern
- light source
- array
- sensor array
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000003909 pattern recognition Methods 0.000 claims description 44
- 238000003384 imaging method Methods 0.000 abstract description 16
- 230000006870 function Effects 0.000 description 37
- 239000010408 film Substances 0.000 description 35
- 239000010410 layer Substances 0.000 description 26
- 239000000758 substrate Substances 0.000 description 19
- 238000001514 detection method Methods 0.000 description 14
- 238000013461 design Methods 0.000 description 11
- 239000010409 thin film Substances 0.000 description 10
- 230000000694 effects Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 5
- 239000004642 Polyimide Substances 0.000 description 4
- 239000004743 Polypropylene Substances 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 239000002346 layers by function Substances 0.000 description 4
- 239000004033 plastic Substances 0.000 description 4
- 229920001721 polyimide Polymers 0.000 description 4
- 229920001155 polypropylene Polymers 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 230000036548 skin texture Effects 0.000 description 4
- 206010047571 Visual impairment Diseases 0.000 description 3
- 238000012567 pattern recognition method Methods 0.000 description 3
- 230000032683 aging Effects 0.000 description 2
- 239000003990 capacitor Substances 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000012535 impurity Substances 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 239000004417 polycarbonate Substances 0.000 description 2
- 229920000515 polycarbonate Polymers 0.000 description 2
- -1 polypropylene Polymers 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000002096 quantum dot Substances 0.000 description 2
- 239000011347 resin Substances 0.000 description 2
- 229920005989 resin Polymers 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/13—Sensors therefor
- G06V40/1318—Sensors therefor using electro-optical elements or layers, e.g. electroluminescent sensing
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Input (AREA)
Abstract
本发明提供了一种纹路识别装置以及其操作方法,所述纹路识别装置具有操作侧,包括:光源阵列,包括多个光源;图像传感器阵列,设置在所述光源阵列的远离所述操作侧的一侧,包括多个图像传感器,所述多个图像传感器配置为可接收从所述操作侧入射的光以用于纹路采集;控制器,与所述光源阵列耦接,配置为在所述纹路采集的过程中控制点亮连续排列为第一图案的多个光源,以用作所述图像传感器阵列的感光光源;所述第一图案所占据的区域为中心镂空的环形区域。本发明提供的纹路识别装置及其操作方法,对感光光源进行改进,能够增加指纹成像范围,减少大面积指纹采集所需帧数以及指纹采集所需时间。
Description
技术领域
本公开的实施例涉及一种纹路识别装置及其操作方法。
背景技术
随着移动终端的日益普及,越来越多的用户使用移动终端进行身份验证、电子支付等操作。由于皮肤纹路例如指纹图案或掌纹图案的唯一性,结合光学成像的指纹识别技术逐渐被移动电子设备采用以用于身份验证、电子支付等。如何设计更加优化的显示面板结构是本领域关注的焦点问题。
目前,窄边框显示屏技术逐渐成为主流,实现这种技术的手段之一是将具有指纹识别功能的图像传感器集成到显示屏中,实现屏下指纹识别方式,提高显示屏的显示区域的面积。
在指纹识别过程中,当手指与图像传感器的距离较大时,由于经过手指反射后的光线会发生散射,造成图像传感器获取的图像模糊,进而导致指纹识别不准确。在相关技术中,可以通过设置准直器来调制光线,以达到区分指纹信息的目的,但是设置了准直器的显示屏结构较厚,不利用显示屏的薄型化设计。
并且,在相关技术中,采用点状光源发出光线作为感光光源,但是点光源发出的光强度不足,图像传感器难以感光,导致指纹识别不准确。
目前所采用的感光光源为具有一定发光面积的点光源方案,成像区是一个环状的,成像面积小,需要多次点亮来拼接一个大的指纹图像,并且,分时点亮时会出现lag残像现象,图中逐渐消失的中心高亮度点即为残像问题造成的。
发明内容
本公开至少一个实施例提供一种纹路识别装置及其操作方法,对感光光源进行改进,能够增加指纹成像范围,减少大面积指纹采集所需帧数以及指纹采集所需时间。
本发明实施例所提供的技术方案如下:
本发明实施例一方面提供一种纹路识别装置,具有操作侧,包括:
光源阵列,包括多个光源;
图像传感器阵列,设置在所述光源阵列的远离所述操作侧的一侧,包括多个图像传感器,所述多个图像传感器配置为可接收从所述操作侧入射的光以用于纹路采集;
控制器,与所述光源阵列耦接,配置为在所述纹路采集的过程中控制点亮连续排列为第一图案的多个光源,以用作所述图像传感器阵列的感光光源;
其中,所述第一图案所占据的区域为中心镂空的环形区域。
示例性的,所述纹路识别装置包括显示面板,所述显示面板包括像素单元阵列,所述像素单元阵列包括多个像素单元;
其中所述光源阵列包括所述像素单元阵列,所述多个光源包括所述多个像素单元;
所述控制器配置为在所述图像传感器阵列进行所述纹路采集的过程中,控制点亮连续排列为所述第一图案的多个像素单元,以用作所述图像传感器阵列的所述感光光源。
示例性的,所述显示面板包括OLED显示面板或者QLED显示面板。
示例性的,所述第一图案所占据的区域的外径为R外,内径为R内,所述外径与所述内径之比R外/R内为K,所述K的数值选择为使得所述图像传感器对纹路的纹脊和纹谷的识别对比度C最大,其中,
C=|R-G|/|R+G|
其中,R为所述图像传感器获得的纹脊信号值,G为所述图像传感器获得的纹谷信号值。
示例性的,所述K的取值范围为1.5≥K>0。
示例性的,所述K的取值为4/3。
示例性的,所述第一图案所占据的环形区域的外径R外包括40个所述像素单元,内径R内包括39个所述像素单元,所述第一图案所占据的环形区域的宽度为1个所述像素单元的宽度。
示例性的,所述图像传感器可感应的最小光照度为Q,所述第一图案所占据的区域的面积为S,Q与S满足:
其中,I为所述像素单元的发光强度,H为所述纹路识别装置的位于操作侧的表面距离所述图像传感器阵列的距离,θ为所述像素单元的最大发光角度。
本发明实施例另一方面提供一种纹路识别装置的操作方法,应用于如上所述的纹路识别装置,所述方法包括:
在所述图像传感器阵列进行所述纹路采集的过程中,点亮连续排列为第一图案的多个光源,以用作所述图像传感器阵列的感光光源;
其中,所述第一图案所占据的区域为中心镂空的环形区域。
示例性的,所述操作方法包括:
在所述图像传感器阵列进行所述纹路采集的过程中,点亮连续排列为所述第一图案的多个像素单元,以用作所述图像传感器阵列的所述感光光源。
本发明所带来的有益效果如下:
本发明实施例所提供的纹路识别装置及方法,通过对图像传感器阵列的感光光源形状进行改进,由现有技术中的点状光源,改进为中心镂空的环形光源,也就是,在纹路采集过程中同时点亮连续排列为第一图案的光源,这样,点亮具有一定面积的镂空型环形光源,与相同面积的点光源相比,可以增加指纹成像范围;并且,同时点亮连续排列的多个光源,所形成的环形感光光源中心镂空,可消除点光源成像区的中心高亮部分,且同时点亮多个光源形成环形感光光源,可消除点光源分时点亮时存在的lag现象,减少大面积指纹采集所需帧数及指纹采集所需时间。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例的附图作简单地介绍,显而易见地,下面描述中的附图仅仅涉及本公开的一些实施例,而非对本公开的限制。
图1A为本公开一些实施例提供的一种纹路识别装置的截面示意图;
图1B为本公开再一些实施例提供的一种纹路识别装置的截面示意图;
图2为本公开一些实施例提供的一种纹路识别装置的平面示意图;
图3为本公开一些实施例提供的一种纹路识别装置的截面示意图;
图4A-图4C为本公开实施例对不同形式感光光源的成像效果进行测试的结果图;
图5为本公开一些实施例提供的一种纹路识别装置中呈第一图案的感光光源的成像效果图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例的附图,对本公开实施例的技术方案进行清楚、完整地描述。显然,所描述的实施例是本公开的一部分实施例,而不是全部的实施例。基于所描述的本公开的实施例,本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
除非另外定义,本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的组成部分。同样,“一个”、“一”或者“该”等类似词语也不表示数量限制,而是表示存在至少一个。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同,而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电性的连接,不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系,当被描述对象的绝对位置改变后,则该相对位置关系也可能相应地改变。
针对现有技术中指纹识别感光光源采用点光源,存在指纹识别不准确,存在lag残像现象等问题,本发明实施例中提供了一种纹路识别装置及纹路识别方法,能够增加指纹成像范围,减少大面积指纹采集所需帧数以及指纹采集所需时间。
如图1和图2所示,本发明实施例所提供的纹路识别装置100,具有操作侧,包括:
光源阵列,包括多个光源111;
图像传感器阵列120,设置在所述光源阵列的远离所述操作侧的一侧,包括多个图像传感器121,所述多个图像传感器121配置为可接收从所述操作侧入射的光以用于纹路采集;
控制器,与所述光源阵列耦接,配置为在所述纹路采集的过程中控制点亮连续排列为第一图案140的多个光源,以用作所述图像传感器阵列的感光光源;
其中,所述第一图案140所占据的区域为中心镂空的环形区域。
本发明实施例所提供的纹路识别装置及方法,通过对图像传感器阵列120的感光光源形状进行改进,由现有技术中的点状光源,改进为中心镂空的环形光源,也就是,在纹路采集过程中同时点亮连续排列为第一图案的光源,这样,点亮具有一定面积的镂空型环形光源,与相同面积的点光源相比,可以增加指纹成像范围;并且,同时点亮连续排列的多个光源,形成的感光光源中心镂空,可消除点光源成像区的中心高亮部分,且同时点亮多个光源形成环形感光光源,可消除点光源分时点亮时存在的lag现象,减少大面积指纹采集所需帧数及指纹采集所需时间。
下面,将参考附图详细地说明本公开实施例提供的纹路识别装置100的操作装置以及纹路识别方法。
图1A为本公开一实施例提供的一种纹路识别装置100的截面示意图;图2为该实施例提供的纹路识别装置100的平面示意图。
如图1A所示,纹路识别装置100具有操作侧(图1A中示出为纹路识别装置100的上侧),且包括光源阵列和图像传感器阵列120,例如该纹路识别装置100可以用于纹路,例如指纹或掌纹的采集以用于指纹或掌纹识别。光源阵列包括多个光源111,这些光源111在预定区域内布置为阵列;图像传感器阵列120设置在光源阵列的远离操作侧的一侧,图像传感器阵列120包括多个图像传感器121,这些图像传感器121在预定区域内布置为阵列。该多个图像传感器121配置为可接收从操作侧入射的光以用于纹路采集。例如,该入射的光是由操作体,例如操作者的手指或手掌部分反射到该纹路识别装置100中的光;该多个图像传感器121根据入射的光产生的各个电信号来合成得到需要的纹路图案。
纹路识别装置100的操作方法如下所述。在操作者的手指等具有纹路的操作体触摸纹路识别装置100的操作侧表面112的过程中,纹路识别装置100开始进行纹路采集。在纹路识别装置100进行纹路采集的过程中,在同时点亮连续排列为第一图案140的多个光源111以向操作侧发光,并用作图像传感器阵列120的感光光源,第一图案140所占据的区域为中心镂空的环形区域。由此,第一图案140所占据的区域形成为环形区域,整体上为图像传感器阵列120提供环形光源作为感光光源。该环形光源可以使图像传感器阵列120采集到更清晰、更准确的纹路图像,对此稍后将详细描述。
参见图1A,当手指等具有纹路的操作体触摸纹路识别装置100的操作侧表面112时,光源111发出的光线可以被操作体反射,例如光线经光源阵列中各个光源111之间的间隙到达图像传感器121,图像传感器121即可以采集操作体的纹路图像。
如上所述,具有纹路的操作体可以为手,此时图像传感器121识别的纹路为皮肤纹路,例如指纹、掌纹等;另外,具有纹路的操作体也可以为具有一定纹路的非生物体,例如采用树脂等材料制作的具有一定纹路的物体,本公开的实施例对此不做具体限定。
示例性的,所述纹路识别装置包括显示面板,所述显示面板包括像素单元阵列,所述像素单元阵列包括多个像素单元;其中所述光源阵列包括所述像素单元阵列,所述多个光源包括所述多个像素单元;所述控制器配置为在所述图像传感器阵列进行所述纹路采集的过程中,控制点亮连续排列为所述第一图案的多个像素单元,以用作所述图像传感器阵列的所述感光光源。
在上述方案中,纹路识别装置100例如为具有屏下纹路识别功能的显示屏,相应地包括显示面板110,该显示面板110包括像素单元阵列,该像素单元阵列包括多个像素单元101。例如,显示面板110的像素单元阵列被用于实现为光源阵列,多个像素单元101实现为多个光源111。也就是说,显示面板110的像素单元101被复用为感光光源,因此可以提高装置的紧凑性、降低各功能结构的布置难度。
此时,纹路识别装置100的操作方法包括:在图像传感器阵列120进行纹路采集的过程中,同时点亮连续排列为第一图案140的多个像素单元101,以用作图像传感器阵列120的感光光源。例如,显示面板110的整个显示区中的像素单元101都可以受控以被复用为感光光源,图像传感器阵列120也可以相应地布置在整个显示区下方,由此可以实现全屏纹路识别。
在另一些实施例中,具有屏下纹路识别功能的显示屏包括显示面板110以及单独提供的作为实现纹路识别的感光光源的发光元件,这些发光元件例如设置于像素单元阵列中相邻的像素单元之间,或者与像素单元重叠设置。
例如,在一些实施例中,第一图案140所占据的区域为环形区域。需要注意的是,本公开实施例中第一图案所占据的区域为环形区域,可以包括:圆环形、平行四边形环形、跑道型环形,甚至三角形环形等,这些形状整体上仍然为环形形状,中心镂空。
此外,例如,在一些实施例中,图像传感器121可以为电荷耦合装置(CCD)型或互补金属氧化物半导体(CMOS)型图像传感器等各种适当类型的图像传感器。根据需要,该图像传感器121例如可以仅对某个波长的光(例如红光或绿光)感测,也可以对全部可见光进行感测。例如,该图像传感器121通过引线与处理器(例如集成电路芯片)耦接,从而可以将采集的纹路图像以数据信号的方式传送给该处理器,处理器可以实现纹路识别等操作。例如,该处理器可以由通用处理器或专用处理器实现,本公开的实施例对此不做限定。
例如,控制器可以为各种类型的具有处理功能的集成电路芯片,其可以具有各种计算架构,例如复杂指令集计算机(CISC)结构、精简指令集计算机(RISC)结构或者一种实行多种指令集组合的结构。在一些实施例中,控制器可以是微处理器,例如X86处理器或ARM处理器,或者可以是数字处理器(DSP)等。
例如,在一些实施例中,控制器还可以包括存储器,该存储器用于存储点亮形成一定形状的多个光源的控制程序等。例如,该存储单元可以为任意形式的存储介质,例如易失性存储器或非易失性存储器等,例如半导体存储器或磁性介质存储器等,本公开的实施例对此不做限定。
例如,在一些实施例中,图像传感器121可感应的最小光照度为Q,第一图案140所占据的区域的面积为S,Q与S满足:
其中,I为像素单元101的发光强度,H为纹路识别装置100的位于操作侧的表面112距离图像传感器阵列120的距离,θ为像素单元101的最大发光角度,所述第一图案所占据的区域的外径为R外,内径为R内,如图3所示。
本实施例中,像素单元101的最大发光角度θ为像素单元101发出的光线中与垂直于纹路识别装置100的位于操作侧的表面112的方向(图中的竖直方向)形成的最大角度。
在Q与S满足上述关系时,呈第一图案140的感光光源恰好满足图像传感器121的感应需求,因此可以为第一图案140的尺寸设计提供理论依据。
例如,在一些实施例中,由于纹路的纹脊和纹谷对于感光光源发出的光的反射强度不同,因此图像传感器采集到的对应于纹路的纹脊和纹谷的信号值也彼此不同。设定第一图案140所占据的环形区域的外径与所述内径之比R外/R内为K,K的数值选择为使得图像传感器121对纹路的纹脊和纹谷的识别对比度C最大,其中,
C=|R-G|/|R+G|(III)
其中,R为图像传感器121获得的纹脊信号值,G为图像传感器121获得的纹谷信号值。该信号值例如为亮度值。
因此,在第一图案140所占据的区域的面积S一定的情况下,可以根据上述公式选择K,进而设计第一图案140的形状与参数。例如,可以通过实验获得在不同K下图像传感器121对纹路的纹脊和纹谷的识别对比度C,从而获取最佳K值以对第一图案140的形状与参数进行设计,进而决定如何点亮作为感光光源的多个像素单元101。由此,图像传感器121可以获得清晰、准确的纹路图像。
例如,在一些实施例中,K的取值范围为1.5≥K>0,例如,S的大小具体由图像传感器响应能力来定,K的大小涉及到Sensor所成像是否模糊,即谷脊对比度是否能被图像传感器区分开来,调节K的大小使得图像对比度C满足图像传感器探测能力为止。通过仿真验证K越接近于1越好,如图4A至4C为本公开实施例对不同形式感光光源的成像效果进行测试的结果图,其中图4A中K大于1.5,图4B中K=1.5,图4C中K≈1。
在一些实施例中,K的取值为4/3,根据测试,此时图像传感器121对纹路的纹脊和纹谷的识别对比度C较大,从而图像传感器121可以获得清晰、准确的纹路图像,使得纹路识别装置100可以准确地识别纹路图像。
例如,在一个示例中,通过实验对不同形状的第一图案140的成像效果进行了测试。如图2所示,当根据图像传感器121可感应的最小光照度为Q获得了第一图案140所占据的区域的面积S后,结合每个像素单元101所占据的区域的面积,确定出第一图案140所占据的环形区域的外径R外包括40个所述像素单元101,内径R内包括39个所述像素单元101时,即K的取值约为1时,所述第一图案所占据的环形区域的宽度为1个所述像素单元的宽度,如图5所示,此时,图像传感器121对纹路的纹脊和纹谷的识别对比度C最大,获得如图4C所示的清晰的纹路图像。因此,可以控制点亮所述第一图案所占据的环形区域对应的1个宽度的所述像素单元,使图像传感器121进行纹路采集,从而图像传感器121可获得清晰、准确的纹路图像,以提高纹路识别装置100对纹路的识别准确性。需要理解的是,对于不同的图像传感器,图像传感器能力有差异,可需要根据公式(I)(II)(III)进行具体设计。
需要注意的是,本公开的实施例中,显示面板110和图像传感器121可以采用各种形式,本公开的实施例对此不做限定。
例如,在一些实施例中,显示面板110可以为有机发光二极管(OLED)显示面板,也可以为量子点发光二极管(QLED)显示面板等,本公开的实施例对此不做限定。OLED显示面板例如可以为柔性OLED显示面板。OLED显示面板具有自发光特性,并且其显示像素单元的发光还可以根据需要进行控制或调制,从而可以为纹路采集提供便利,而且有助于提高装置的集成度。
例如,显示面板110除了包括像素单元阵列以外,还包括用于提供电信号(包括扫描信号、数据信号、检测信号等)的信号线(包括栅线、数据线、检测线等),像素单元阵列中的每个像素单元101包括例如三个子像素,即红色子像素、绿色子像素和蓝色子像素,每个子像素包括发光器件(例如,OLED器件)以及用于驱动该发光器件(OLED器件)发光的像素驱动电路(例如包括薄膜晶体管、电容等)等。例如,可以通过驱动电路控制发光器件的发光状态以实现像素单元的点亮,并形成用作感光光源的第一图案140和第二图案150等。
图1B为本公开另一些实施例提供的一种纹路识别装置1000的截面示意图。该实施例提供了显示面板的具体结构以及显示面板与图像传感器阵列的结合方式。参考图1B,该纹路识别装置1000包括显示面板1010和图像传感器阵列1030,显示面板1010为OLED显示面板。
如图1B所示,该OLED显示面板1010包括顶层膜1001、薄膜封装1007、像素单元阵列1003、柔性衬底1004、滤光功能层1005以及底层膜1006等结构。在该显示面板1010中,滤光功能层1005和底层膜1006的叠层整体上提供了具有滤光作用的滤光层,且起到显示面板1010的底部膜的作用,该底部膜位于显示面板1010的背侧,具体而言,在柔性衬底1004上与像素单元阵列1003相反的一侧。
底层膜1006为位于其上的其他结构和功能层提供保护与支撑功能,其例如为强度较大的塑料基板或玻璃基板。滤光功能层1005位于底层膜1006之上,用于过滤掉杂质光,该滤光功能层1005可以包括红外光滤光功能层、紫外光滤光功能层、可见光滤光功能层、远红外光滤光功能层中的一种或多种。柔性衬底1004用于提供缓冲,例如为聚酰亚胺(PI)、聚丙烯(PP)、聚碳酸酯(PC)等材料制备的柔性衬底。
像素单元阵列1003形成在柔性衬底1004上,其包括多个排列为预定阵列的像素单元以及用于提供电信号(包括扫描信号、数据信号、检测信号等)的信号线(包括栅线、数据线、检测线等),每个像素单元包括发光器件(例如,OLED器件)以及用于驱动该发光器件(OLED器件)发光的像素驱动电路等,像素驱动电路与信号线耦接,从而可以接收相应的控制信号以及驱动电压,根据需要驱动发光器件发光,以进行显示、触控或纹路(例如指纹或掌纹)识别等功能。像素单元发出的光可用于显示以及作为屏下指纹检测的入射光,具体地,像素单元中的发光器件工作时发出的光被显示面板1010的显示侧的操作体1050(例如手指或手掌)反射用于用户皮肤纹理图像识别。
薄膜封装1007覆盖在像素单元阵列1003以防止外界的水汽进入到像素单元阵列1003之中导致其老化或劣化,其可以为多层薄膜封装,例如包括层叠的无机绝缘层和有机绝缘层等。
顶层膜1001可以为盖板,例如为玻璃或塑料制备的基板或厚膜,用于提供支撑与保护,例如供用户进行触控、按压等操作。
根据需要,该OLED显示面板1010还可以包括其他结构或功能层。例如,该OLED显示面板1010可以包括触控结构以用于实现触控功能。该触控结构例如可以内置于像素单元阵列1003之中,或者形成在顶层膜上等,例如可以为电容式、电阻式等。
为了实现屏下指纹检测功能,上述顶层膜1001、薄膜封装1007、柔性衬底1004、滤光功能层1005以及底层膜1006为至少部分透明的。像素单元中的发光器件工作时发出的光(实线箭头)被显示面板1010的显示侧的操作体1050反射,反射的光(虚线箭头)可以入射到图像传感器阵列1030,从而图像传感器阵列1030可以成像,且所得到的图像用于实现后续的指纹识别操作。图像传感器阵列1030可以包括棱镜膜1020,该棱镜膜10100设置在该图像传感器阵列1030的入光侧,该图像传感器阵列1030通过该棱镜膜1020与该底层膜1006结合,从而该图像传感器阵列1030与该显示面板1010层叠设置,且设置在该显示面板的底层膜1006的面向该图像传感器阵列1030的一侧,被显示面板1010的显示侧的操作体1050反射的光通过该棱镜膜1020入射到图像传感器阵列1030。
纹路识别装置1000的操作方式同上述实施例,在此不再赘述。
本发明实施例另一方面提供一种纹路识别装置的操作方法,应用于本发明实施例提供的纹路识别装置,所述方法包括:
在所述图像传感器阵列进行所述纹路采集的过程中,点亮连续排列为第一图案的多个光源,以用作所述图像传感器阵列的感光光源;
其中,所述第一图案所占据的区域为中心镂空的环形区域。
本发明实施例所提供的纹路识别装置100,具有操作侧,包括:
光源阵列,包括多个光源111;
图像传感器阵列120,设置在所述光源阵列的远离所述操作侧的一侧,包括多个图像传感器121,所述多个图像传感器121配置为可接收从所述操作侧入射的光以用于纹路采集;
控制器,与所述光源阵列耦接,配置为在所述纹路采集的过程中控制点亮连续排列为第一图案140的多个光源,以用作所述图像传感器阵列的感光光源;
其中,所述第一图案140所占据的区域为中心镂空的环形区域。
本发明实施例所提供的纹路识别方法,通过对图像传感器阵列120的感光光源形状进行改进,由现有技术中的点状光源,改进为中心镂空的环形光源,也就是,在纹路采集过程中同时点亮连续排列为第一图案的光源,这样,点亮具有一定面积的镂空型环形光源,与相同面积的点光源相比,可以增加指纹成像范围;并且,同时点亮连续排列的多个光源,形成的感光光源中心镂空,可消除点光源成像区的中心高亮部分,且同时点亮多个光源形成环形感光光源,可消除点光源分时点亮时存在的lag现象,减少大面积指纹采集所需帧数及指纹采集所需时间。
图1A为本公开一实施例提供的一种纹路识别装置100的截面示意图;图2为该实施例提供的纹路识别装置100的平面示意图。
如图1A所示,纹路识别装置100具有操作侧(图1A中示出为纹路识别装置100的上侧),且包括光源阵列和图像传感器阵列120,例如该纹路识别装置100可以用于纹路,例如指纹或掌纹的采集以用于指纹或掌纹识别。光源阵列包括多个光源111,这些光源111在预定区域内布置为阵列;图像传感器阵列120设置在光源阵列的远离操作侧的一侧,图像传感器阵列120包括多个图像传感器121,这些图像传感器121在预定区域内布置为阵列。该多个图像传感器121配置为可接收从操作侧入射的光以用于纹路采集。例如,该入射的光是由操作体,例如操作者的手指或手掌部分反射到该纹路识别装置100中的光;该多个图像传感器121根据入射的光产生的各个电信号来合成得到需要的纹路图案。
纹路识别装置100的操作方法如下所述。在操作者的手指等具有纹路的操作体触摸纹路识别装置100的操作侧表面112的过程中,纹路识别装置100开始进行纹路采集。在纹路识别装置100进行纹路采集的过程中,在同时点亮连续排列为第一图案140的多个光源111以向操作侧发光,并用作图像传感器阵列120的感光光源,第一图案140所占据的区域为中心镂空的环形区域。由此,第一图案140所占据的区域形成为环形区域,整体上为图像传感器阵列120提供环形光源作为感光光源。该环形光源可以使图像传感器阵列120采集到更清晰、更准确的纹路图像,对此稍后将详细描述。
参见图1A,当手指等具有纹路的操作体触摸纹路识别装置100的操作侧表面112时,光源111发出的光线可以被操作体反射,例如光线经光源阵列中各个光源111之间的间隙到达图像传感器121,图像传感器121即可以采集操作体的纹路图像。
如上所述,具有纹路的操作体可以为手,此时图像传感器121识别的纹路为皮肤纹路,例如指纹、掌纹等;另外,具有纹路的操作体也可以为具有一定纹路的非生物体,例如采用树脂等材料制作的具有一定纹路的物体,本公开的实施例对此不做具体限定。
示例性的,所述操作方法包括:
在所述图像传感器阵列进行所述纹路采集的过程中,点亮连续排列为所述第一图案的多个像素单元,以用作所述图像传感器阵列的所述感光光源。
在上述方案中,纹路识别装置100例如为具有屏下纹路识别功能的显示屏,相应地包括显示面板110,该显示面板110包括像素单元阵列,该像素单元阵列包括多个像素单元101。例如,显示面板110的像素单元阵列被用于实现为光源阵列,多个像素单元101实现为多个光源111。也就是说,显示面板110的像素单元101被复用为感光光源,因此可以提高装置的紧凑性、降低各功能结构的布置难度。
此时,纹路识别装置100的操作方法包括:在图像传感器阵列120进行纹路采集的过程中,同时点亮连续排列为第一图案140的多个像素单元101,以用作图像传感器阵列120的感光光源。例如,显示面板110的整个显示区中的像素单元101都可以受控以被复用为感光光源,图像传感器阵列120也可以相应地布置在整个显示区下方,由此可以实现全屏纹路识别。
在另一些实施例中,具有屏下纹路识别功能的显示屏包括显示面板110以及单独提供的作为实现纹路识别的感光光源的发光元件,这些发光元件例如设置于像素单元阵列中相邻的像素单元之间,或者与像素单元重叠设置。
例如,在一些实施例中,第一图案140所占据的区域为环形区域。需要注意的是,本公开实施例中第一图案所占据的区域为环形区域,可以包括:圆环形、平行四边形环形、跑道型环形,甚至三角形环形等,这些形状整体上仍然为环形形状,中心镂空。
此外,例如,在一些实施例中,图像传感器121可以为电荷耦合装置(CCD)型或互补金属氧化物半导体(CMOS)型图像传感器等各种适当类型的图像传感器。根据需要,该图像传感器121例如可以仅对某个波长的光(例如红光或绿光)感测,也可以对全部可见光进行感测。例如,该图像传感器121通过引线与处理器(例如集成电路芯片)耦接,从而可以将采集的纹路图像以数据信号的方式传送给该处理器,处理器可以实现纹路识别等操作。例如,该处理器可以由通用处理器或专用处理器实现,本公开的实施例对此不做限定。
例如,控制器可以为各种类型的具有处理功能的集成电路芯片,其可以具有各种计算架构,例如复杂指令集计算机(CISC)结构、精简指令集计算机(RISC)结构或者一种实行多种指令集组合的结构。在一些实施例中,控制器可以是微处理器,例如X86处理器或ARM处理器,或者可以是数字处理器(DSP)等。
例如,在一些实施例中,控制器还可以包括存储器,该存储器用于存储点亮形成一定形状的多个光源的控制程序等。例如,该存储单元可以为任意形式的存储介质,例如易失性存储器或非易失性存储器等,例如半导体存储器或磁性介质存储器等,本公开的实施例对此不做限定。
例如,在一些实施例中,图像传感器121可感应的最小光照度为Q,第一图案140所占据的区域的面积为S,Q与S满足:
其中,I为像素单元101的发光强度,H为纹路识别装置100的位于操作侧的表面112距离图像传感器阵列120的距离,θ为像素单元101的最大发光角度,所述第一图案所占据的区域的外径为R外,内径为R内,如图3所示。
本实施例中,像素单元101的最大发光角度θ为像素单元101发出的光线中与垂直于纹路识别装置100的位于操作侧的表面112的方向(图中的竖直方向)形成的最大角度。
在Q与S满足上述关系时,呈第一图案140的感光光源恰好满足图像传感器121的感应需求,因此可以为第一图案140的尺寸设计提供理论依据。
例如,在一些实施例中,由于纹路的纹脊和纹谷对于感光光源发出的光的反射强度不同,因此图像传感器采集到的对应于纹路的纹脊和纹谷的信号值也彼此不同。设定第一图案140所占据的环形区域的外径与所述内径之比R外/R内为K,K的数值选择为使得图像传感器121对纹路的纹脊和纹谷的识别对比度C最大,其中,
C=|R-G|/|R+G|(III)
其中,R为图像传感器121获得的纹脊信号值,G为图像传感器121获得的纹谷信号值。该信号值例如为亮度值。
因此,在第一图案140所占据的区域的面积S一定的情况下,可以根据上述公式选择K,进而设计第一图案140的形状与参数。例如,可以通过实验获得在不同K下图像传感器121对纹路的纹脊和纹谷的识别对比度C,从而获取最佳K值以对第一图案140的形状与参数进行设计,进而决定如何点亮作为感光光源的多个像素单元101。由此,图像传感器121可以获得清晰、准确的纹路图像。
例如,在一些实施例中,K的取值范围为1.5≥K>0,例如,S的大小具体由图像传感器响应能力来定,K的大小涉及到Sensor所成像是否模糊,即谷脊对比度是否能被图像传感器区分开来,调节K的大小使得图像对比度C满足图像传感器探测能力为止。通过仿真验证K越接近于1越好,如图4A至4C为本公开实施例对不同形式感光光源的成像效果进行测试的结果图,其中图4A中K大于1.5,图4B中K=1.5,图4C中K≈1。
在一些实施例中,K的取值为4/3,根据测试,此时图像传感器121对纹路的纹脊和纹谷的识别对比度C较大,从而图像传感器121可以获得清晰、准确的纹路图像,使得纹路识别装置100可以准确地识别纹路图像。
例如,在一个示例中,通过实验对不同形状的第一图案140的成像效果进行了测试。如图2所示,当根据图像传感器121可感应的最小光照度为Q获得了第一图案140所占据的区域的面积S后,结合每个像素单元101所占据的区域的面积,确定出第一图案140所占据的环形区域的外径R外包括40个所述像素单元101,内径R内包括39个所述像素单元101时,即K的取值约为1时,所述第一图案所占据的环形区域的宽度为1个所述像素单元的宽度,如图5所示,此时,图像传感器121对纹路的纹脊和纹谷的识别对比度C最大,获得如图4C所示的清晰的纹路图像。因此,可以控制点亮所述第一图案所占据的环形区域对应的1个宽度的所述像素单元,使图像传感器121进行纹路采集,从而图像传感器121可获得清晰、准确的纹路图像,以提高纹路识别装置100对纹路的识别准确性。需要理解的是,对于不同的图像传感器,图像传感器能力有差异,可需要根据公式(I)(II)(III)进行具体设计。
需要注意的是,本公开的实施例中,显示面板110和图像传感器121可以采用各种形式,本公开的实施例对此不做限定。
例如,在一些实施例中,显示面板110可以为有机发光二极管(OLED)显示面板,也可以为量子点发光二极管(QLED)显示面板等,本公开的实施例对此不做限定。OLED显示面板例如可以为柔性OLED显示面板。OLED显示面板具有自发光特性,并且其显示像素单元的发光还可以根据需要进行控制或调制,从而可以为纹路采集提供便利,而且有助于提高装置的集成度。
例如,显示面板110除了包括像素单元阵列以外,还包括用于提供电信号(包括扫描信号、数据信号、检测信号等)的信号线(包括栅线、数据线、检测线等),像素单元阵列中的每个像素单元101包括例如三个子像素,即红色子像素、绿色子像素和蓝色子像素,每个子像素包括发光器件(例如,OLED器件)以及用于驱动该发光器件(OLED器件)发光的像素驱动电路(例如包括薄膜晶体管、电容等)等。例如,可以通过驱动电路控制发光器件的发光状态以实现像素单元的点亮,并形成用作感光光源的第一图案140和第二图案150等。
图1B为本公开另一些实施例提供的一种纹路识别装置1000的截面示意图。该实施例提供了显示面板的具体结构以及显示面板与图像传感器阵列的结合方式。参考图1B,该纹路识别装置1000包括显示面板1010和图像传感器阵列1030,显示面板1010为OLED显示面板。
如图1B所示,该OLED显示面板1010包括顶层膜1001、薄膜封装1007、像素单元阵列1003、柔性衬底1004、滤光功能层1005以及底层膜1006等结构。在该显示面板1010中,滤光功能层1005和底层膜1006的叠层整体上提供了具有滤光作用的滤光层,且起到显示面板1010的底部膜的作用,该底部膜位于显示面板1010的背侧,具体而言,在柔性衬底1004上与像素单元阵列1003相反的一侧。
底层膜1006为位于其上的其他结构和功能层提供保护与支撑功能,其例如为强度较大的塑料基板或玻璃基板。滤光功能层1005位于底层膜1006之上,用于过滤掉杂质光,该滤光功能层1005可以包括红外光滤光功能层、紫外光滤光功能层、可见光滤光功能层、远红外光滤光功能层中的一种或多种。柔性衬底1004用于提供缓冲,例如为聚酰亚胺(PI)、聚丙烯(PP)、聚碳酸酯(PC)等材料制备的柔性衬底。
像素单元阵列1003形成在柔性衬底1004上,其包括多个排列为预定阵列的像素单元以及用于提供电信号(包括扫描信号、数据信号、检测信号等)的信号线(包括栅线、数据线、检测线等),每个像素单元包括发光器件(例如,OLED器件)以及用于驱动该发光器件(OLED器件)发光的像素驱动电路等,像素驱动电路与信号线耦接,从而可以接收相应的控制信号以及驱动电压,根据需要驱动发光器件发光,以进行显示、触控或纹路(例如指纹或掌纹)识别等功能。像素单元发出的光可用于显示以及作为屏下指纹检测的入射光,具体地,像素单元中的发光器件工作时发出的光被显示面板1010的显示侧的操作体1050(例如手指或手掌)反射用于用户皮肤纹理图像识别。
薄膜封装1007覆盖在像素单元阵列1003以防止外界的水汽进入到像素单元阵列1003之中导致其老化或劣化,其可以为多层薄膜封装,例如包括层叠的无机绝缘层和有机绝缘层等。
顶层膜1001可以为盖板,例如为玻璃或塑料制备的基板或厚膜,用于提供支撑与保护,例如供用户进行触控、按压等操作。
根据需要,该OLED显示面板1010还可以包括其他结构或功能层。例如,该OLED显示面板1010可以包括触控结构以用于实现触控功能。该触控结构例如可以内置于像素单元阵列1003之中,或者形成在顶层膜上等,例如可以为电容式、电阻式等。
为了实现屏下指纹检测功能,上述顶层膜1001、薄膜封装1007、柔性衬底1004、滤光功能层1005以及底层膜1006为至少部分透明的。像素单元中的发光器件工作时发出的光(实线箭头)被显示面板1010的显示侧的操作体1050反射,反射的光(虚线箭头)可以入射到图像传感器阵列1030,从而图像传感器阵列1030可以成像,且所得到的图像用于实现后续的指纹识别操作。图像传感器阵列1030可以包括棱镜膜1020,该棱镜膜10100设置在该图像传感器阵列1030的入光侧,该图像传感器阵列1030通过该棱镜膜1020与该底层膜1006结合,从而该图像传感器阵列1030与该显示面板1010层叠设置,且设置在该显示面板的底层膜1006的面向该图像传感器阵列1030的一侧,被显示面板1010的显示侧的操作体1050反射的光通过该棱镜膜1020入射到图像传感器阵列1030。
纹路识别装置1000的操作方式同上述实施例,在此不再赘述。
有以下几点需要说明:
(1)本公开实施例附图只涉及到与本公开实施例涉及到的结构,其他结构可参考通常设计。
(2)为了清晰起见,在用于描述本公开的实施例的附图中,层或区域的厚度被放大或缩小,即这些附图并非按照实际的比例绘制。可以理解,当诸如层、膜、区域或基板之类的元件被称作位于另一元件“上”或“下”时,该元件可以“直接”位于另一元件“上”或“下”或者可以存在中间元件。
(3)在不冲突的情况下,本公开的实施例及实施例中的特征可以相互组合以得到新的实施例。
以上所述,仅为本公开的具体实施方式,但本公开的保护范围并不局限于此,本公开的保护范围应以权利要求的保护范围为准。
Claims (7)
1.一种纹路识别装置,具有操作侧,包括:
光源阵列,包括多个光源;
图像传感器阵列,设置在所述光源阵列的远离所述操作侧的一侧,包括多个图像传感器,所述多个图像传感器配置为可接收从所述操作侧入射的光以用于纹路采集;
控制器,与所述光源阵列耦接,配置为在所述纹路采集的过程中控制点亮连续排列为第一图案的多个光源,以用作所述图像传感器阵列的感光光源;
其中,所述第一图案所占据的区域为中心镂空的环形区域;
所述第一图案所占据的区域的外径为R外,内径为R内,所述外径与所述内径之比R外/R内为K,
所述K约为1;
所述第一图案所占据的环形区域的外径R外包括40个像素单元,内径R内包括39个所述像素单元,所述第一图案所占据的环形区域的宽度为1个所述像素单元的宽度。
2.根据权利要求1所述的纹路识别装置,其特征在于,所述纹路识别装置包括显示面板,所述显示面板包括像素单元阵列,所述像素单元阵列包括多个像素单元;
其中所述光源阵列包括所述像素单元阵列,所述多个光源包括所述多个像素单元;
所述控制器配置为在所述图像传感器阵列进行所述纹路采集的过程中,控制点亮连续排列为所述第一图案的多个像素单元,以用作所述图像传感器阵列的所述感光光源。
3.根据权利要求2所述的纹路识别装置,其特征在于,所述显示面板包括OLED显示面板或者QLED显示面板。
4.根据权利要求1所述的纹路识别装置,其特征在于,
所述K的数值选择为使得所述图像传感器对纹路的纹脊和纹谷的识别对比度C最大,其中,
C=|R-G|/|R+G|
其中,R为所述图像传感器获得的纹脊信号值,G为所述图像传感器获得的纹谷信号值。
5.根据权利要求2所述的纹路识别装置,其特征在于,
所述图像传感器可感应的最小光照度为Q,所述第一图案所占据的区域的面积为S,Q与S满足:
其中,I为所述像素单元的发光强度,H为所述纹路识别装置的位于操作侧的表面距离所述图像传感器阵列的距离,θ为所述像素单元的最大发光角度。
6.一种纹路识别装置的操作方法,其特征在于,应用于如权利要求1至5任一项所述的纹路识别装置,所述方法包括:
在所述图像传感器阵列进行所述纹路采集的过程中,点亮连续排列为第一图案的多个光源,以用作所述图像传感器阵列的感光光源;
其中,所述第一图案所占据的区域为中心镂空的环形区域。
7.根据权利要求6所述的操作方法,其特征在于,应用于如权利要求2所述的纹路识别装置,所述操作方法包括:
在所述图像传感器阵列进行所述纹路采集的过程中,点亮连续排列为所述第一图案的多个像素单元,以用作所述图像传感器阵列的所述感光光源。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910690172.9A CN110543821B (zh) | 2019-07-29 | 2019-07-29 | 纹路识别装置及其操作方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910690172.9A CN110543821B (zh) | 2019-07-29 | 2019-07-29 | 纹路识别装置及其操作方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110543821A CN110543821A (zh) | 2019-12-06 |
CN110543821B true CN110543821B (zh) | 2024-02-09 |
Family
ID=68710445
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910690172.9A Active CN110543821B (zh) | 2019-07-29 | 2019-07-29 | 纹路识别装置及其操作方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110543821B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112101240A (zh) * | 2020-05-14 | 2020-12-18 | 神盾股份有限公司 | 具指纹感测功能的电子装置及指纹感测方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9342733B2 (en) * | 2015-11-24 | 2016-05-17 | Secugen Corporation | Fingerprint sensing and calibration apparatus |
CN105678255B (zh) * | 2016-01-04 | 2019-01-08 | 京东方科技集团股份有限公司 | 一种光学式指纹识别显示屏及显示装置 |
CN108920994B (zh) * | 2018-03-28 | 2021-09-17 | 上海天马微电子有限公司 | 一种显示面板及显示装置 |
CN109034089B (zh) * | 2018-08-07 | 2020-11-20 | 武汉天马微电子有限公司 | 一种显示装置以及电子设备 |
CN109508683B (zh) * | 2018-11-21 | 2021-01-12 | 京东方科技集团股份有限公司 | 用于显示装置的纹路识别方法、纹路检测芯片及显示装置 |
CN109598248B (zh) * | 2018-12-07 | 2023-04-18 | 京东方科技集团股份有限公司 | 纹路识别装置的操作方法以及纹路识别装置 |
-
2019
- 2019-07-29 CN CN201910690172.9A patent/CN110543821B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN110543821A (zh) | 2019-12-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109598248B (zh) | 纹路识别装置的操作方法以及纹路识别装置 | |
US10956547B2 (en) | Biometrics authentication system | |
CN107798289B (zh) | 可变光场的生物图像感测系统 | |
CN106971173B (zh) | 触控基板及显示面板 | |
US10970517B2 (en) | Texture recognition device and operation method of texture recognition device | |
US20190034689A1 (en) | Method and system for optical imaging using patterned illumination | |
US10922521B2 (en) | Display device, method for operating display device and electronic device | |
EP3663966A1 (en) | Fingerprint detection apparatus and method and electronic device | |
CN112236774B (zh) | 纹路识别装置以及纹路识别装置的驱动方法 | |
CN112070018B (zh) | 指纹识别装置和电子设备 | |
WO2019148896A1 (zh) | 指纹识别方法及装置、显示面板及可读存储介质 | |
CN111523440A (zh) | 屏下光学指纹识别装置 | |
CN110767739A (zh) | 显示基板及显示装置 | |
CN112668388A (zh) | 包含取代光电二极管的光圈以获得增加的光通过量的光学感测系统和装置 | |
CN110543821B (zh) | 纹路识别装置及其操作方法 | |
CN115552488A (zh) | 纹路识别装置及其制造方法、彩膜基板及其制造方法 | |
CN109993141B (zh) | 一种oled显示面板、指纹识别方法和显示装置 | |
US11188772B2 (en) | Drive method for texture recognition device and texture recognition device | |
CN110785770A (zh) | 指纹识别的方法、装置和电子设备 | |
CN111898397B (zh) | 纹路识别装置 | |
WO2021258941A1 (zh) | 纹路识别装置以及电子装置 | |
CN113743152B (zh) | 纹路识别装置 | |
CN113169245B (zh) | 指纹识别传感器、显示基板、显示装置及指纹识别方法 | |
WO2021217325A1 (zh) | 纹路识别装置以及对向基板 | |
US20220058361A1 (en) | Topological structure light source driving method, storage medium and electronic device applied to off screen imaging |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |