CN105184284B - 一种背景照明颜色可变的光学指纹采集设备及设计方法 - Google Patents

一种背景照明颜色可变的光学指纹采集设备及设计方法 Download PDF

Info

Publication number
CN105184284B
CN105184284B CN201510683430.2A CN201510683430A CN105184284B CN 105184284 B CN105184284 B CN 105184284B CN 201510683430 A CN201510683430 A CN 201510683430A CN 105184284 B CN105184284 B CN 105184284B
Authority
CN
China
Prior art keywords
light
prism
background
lighting
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510683430.2A
Other languages
English (en)
Other versions
CN105184284A (zh
Inventor
裴育
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HANGZHOU ZHIAN TECHNOLOGY Co Ltd
Original Assignee
HANGZHOU ZHIAN TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HANGZHOU ZHIAN TECHNOLOGY Co Ltd filed Critical HANGZHOU ZHIAN TECHNOLOGY Co Ltd
Priority to CN201510683430.2A priority Critical patent/CN105184284B/zh
Publication of CN105184284A publication Critical patent/CN105184284A/zh
Application granted granted Critical
Publication of CN105184284B publication Critical patent/CN105184284B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/13—Sensors therefor
    • G06V40/1318—Sensors therefor using electro-optical elements or layers, e.g. electroluminescent sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/13—Sensors therefor
    • G06V40/1324—Sensors therefor by using geometrical optics, e.g. using prisms

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Image Input (AREA)

Abstract

本发明公开了一种背景照明颜色可变的光学指纹采集设备，包括背景光源、棱镜、成像透镜和CMOS器件，所述背景光源和棱镜之间设有布光矫正镜片，所述棱镜和成像透镜之间设有焦距补偿镜片。还公开了这种背景照明颜色可变的光学指纹采集设备的设计方法。本发明的有益效果是：通过“布光矫正镜片”及“焦距补偿镜片”的引入，当背景光颜色(频率)发生变化时，其背景光的布光范围及成像的焦距都不会发生明显变化，使得光学指纹采集器可以方便地变换背景LED的照明光颜色，不仅可以满足不同用户对照明颜色的特殊偏好，而且可以充分利用不同光照下指纹成像的特点来获得更好质量的指纹图像，提升用户的使用感受。

Description

一种背景照明颜色可变的光学指纹采集设备及设计方法
技术领域
本发明属于光学指纹采集技术领域，更具体地说，涉及一种背景照明颜色可变的光学指纹采集设备及设计方法。
背景技术
光学指纹采集设备是指纹识别系统的重要组成部分。近些年，随着指纹识别系统方案应用的不断深入，光学指纹采集设备的用量也逐年增加。目前，光学指纹采集设备已经在指纹门禁、指纹考勤等诸多领域得到了广泛的应用。光学采集设备的背景光颜色是其产品特色的一个重要组成部分。这是因为，一方面，不同颜色的背景光可以获得不同的采集效果。例如，红色背景光对干手指具有较好的成像效果，而蓝色背景光对湿手指具有较好的成像效果；另一方面，用户在不同的应用场景下，会对某一种颜色的背景光具有特殊的偏好。例如，一般来说指纹门禁用户对蓝色背景光比较青睐，这是因为蓝色具有较强的科技感；相反，重要场合门禁用户则比较倾向于红色背景光，这是因为红色具有较强的警示作用。
如果光学指纹采集设备的背景色可变，不仅可以满足不同领域用户的使用偏好，而且可以充分利用不同颜色光照下指纹成像特点优化指纹的识别效果。然而，市场上常见的光学指纹采集设备大多采用单一颜色的背景照明而没有采用多色可变的背景照明。偶尔具备变色功能的光学指纹采集设备，其变色光的作用也仅仅起到装饰作用，其真正的采集指纹背景色仍然是单一的，也就是不采集指纹的时候显示装饰色，而需要采集指纹的时候切换到固定的单一颜色背景光。传统的光学指纹采集设备必须采用单一固定的背景色其主要原因如下：
1、不同颜色光线造成背景光分布差异：
不同颜色的背景光，其光线频率不同，以至于射入棱镜后散光分布不同，造成不同颜色下背景光照分布差异，而这种差异对后续的指纹成像及后续处理带来很大困难；
2、不同颜色光线造成焦距差异：
不同颜色光线其频率不同，经过棱镜及透镜系统后，其焦距是不同的。然而光学指纹采集器都是固定焦距系统，无法兼顾不同颜色光线的成像焦距。
3、不同颜色光线采集的指纹图像特点不同，很难采取统一的CMOS参数来获取合格的指纹图像。
发明内容
本发明的目的是克服现有技术的不足，提供一种结构合理，满足不同用户对背景色的偏好，拓展产品适用范围的背景照明颜色可变的光学指纹采集设备及设计方法。
这种背景照明颜色可变的光学指纹采集设备，包括背景光源、棱镜、成像透镜和CMOS器件，所述背景光源和棱镜之间设有布光矫正镜片，所述棱镜和成像透镜之间设有焦距补偿镜片。
这种背景照明颜色可变的光学指纹采集设备的设计方法:
步骤一、背景光源的光线入射到棱镜并发生折射偏移之前，光线先通过布光矫正镜片将光线向偏移的反方向预先进行折射偏移；入射的背景光在棱镜中的偏移越大，预先在布光矫正镜片中得到的反向预折射角度越大，背景光频率变化在棱镜中造成的偏移将预先在布光矫正镜片中得到矫正；
步骤二、从棱镜出射的光线入射到成像透镜发生折射偏移之前，光线先通过焦距补偿镜片，所述焦距补偿镜片让光线预先轻微发散；当入射光频率发生变化，入射光在成像透镜中发生的折射程度越大则在焦距补偿镜片得到的补偿越多；
步骤三、从成像透镜出射的光线由CMOS器件接收并进行信号处理。
在所述步骤三中，信号处理具体包括如下步骤：
S1:从CMOS图像采集器件获取红绿蓝三色象素(RGB通道)数字图像；
S2:计算RGB三个图像通道对成像效果影响程度的权重比WR(r:g:b)
公式(2)中的PixValueR(i)代表数字图像中每个红色象素的象素值；
公式(3)中的PixValueG(i)代表数字图像中每个绿色象素的象素值；
公式(4)中的PixValueB(i)代表数字图像中每个蓝色象素的象素值；
S3:计算加权灰度均值Ymean和加权灰度均方差Yvar
Ymean＝WRr*MeanValueR+WRg*MeanValueG+WRb*MeanValueB
Yvar＝WRr*VarValueR+WRg*VarValueG+WRb*VarValueB
其中：
S4:根据Ymean和Yvar判断图像质量是否满足要求；如果满足要求则存入内存，图像采集流程结束；否则进入Step5；
S5:根据WR(r:g:b)确定需要调整的CMOS通道类型；
S6:根据确定的参数调整通道进行参数调整并返回S1。
步骤S5具体包括如下步骤：
S5-1：当WRr>0.5，选定R通道进行参数调整，否则进入下一步；
S5-2:当WRg>0.5，选定G通道进行参数调整，否则进入下一步；
S5-3:当WRb>0.5，选定B通道进行参数调整，否则进入下一步；
S5-4:选择WR值最大的两个值所对应的通道进行参数调整。
本发明的有益效果是：
通过“布光矫正镜片”及“焦距补偿镜片”的引入，当背景光颜色(频率)发生变化时，其背景光的布光范围及成像的焦距都不会发生明显变化，使得光学指纹采集器可以方便地变换背景LED的照明光颜色，不仅可以满足不同用户对照明颜色的特殊偏好，而且可以充分利用不同光照下指纹成像的特点来获得更好质量的指纹图像，提升用户的使用感受。
此外，通过“按权值比例加权的多通道图像采集及参数调节方法”的引入，系统可以根据图像自身RGB三个通道影响成像质量的权重来综合确定参数调节的重点通道，从而快速调整CMOS器件参数进而获得合格的指纹图像。
附图说明
图1为本发明设备结构示意图；
图2为布光矫正镜片结构及工作原理图；
图3为焦距补偿镜片的结构及工作原理；
图4为本发明步骤三流程框图；
图5为本发明步骤S5流程框图；
图6为实施例中棱镜结构示意图；
图7为实施例中布光矫正镜片结构示意图；
图8为实施例中焦距补偿镜片结构示意图；
附图标记说明：背景光源1、棱镜2、成像透镜3、CMOS器件4、布光矫正镜片5、焦距补偿镜片6。
具体实施方式
下面结合附图和实施例对本发明做进一步描述。虽然本发明将结合较佳实施例进行描述，但应知道，并不表示本发明限制在所述实施例中。相反，本发明将涵盖可包含在有附后权利要求书限定的本发明的范围内的替换物、改进型和等同物。
本发明设计了“布光矫正镜片5”及“焦距补偿镜片6”，并将其引入到传统的光学指纹传感器中。有效解决了传统光学指纹采集器无法使用多色LED背景光源的问题。其整体设计结构如图1所示。
“布光矫正镜片5”的结构及作用：
布光矫正镜片5的作用是在背景光入射到棱镜并发生折射偏移之前，将光线向偏移的反方向预先进行折射偏移。入射的背景光在棱镜中的偏移越大，预先在布光矫正镜片5中得到的反向预折射角度越大，这样背景光频率变化在棱镜中造成的偏移将预先在布光矫正镜片5中得到矫正，最后保证布光范围不会发生较大的偏移。其结构及原理如图2所示。频率较高的蓝色光线在布光矫正镜片5中朝反方向偏移更大角度；频率较高的蓝色光线在棱镜2中偏折角度更大，但是由于预先经历了布光矫正镜片5的反向大角度偏折，其照射到的布光点同红光一致。
“焦距补偿镜片6”的结构及作用：
焦距补偿镜片6是跟原来的聚焦透镜性质相反的镜片，其作用是让光线预先轻微发散，然后再汇聚成像。如果入射光频率发生变化，入射光在汇集透镜中发生的折射程度越大则在焦距补偿镜片6得到的补偿越多，这样最后的焦点位置几乎保持不变。其结构及原理如图3所示。频率较高的蓝色光线预先经过焦距补偿镜片6进行了更大角度的反向偏折；成像透镜3对频率很高的蓝色光线偏折角度更大，但是由于预先经过了焦距补偿镜片6的反向折射，其焦距位置跟红色光线的焦距位置相同。
本发明在图像采集处理上采用了“按权值比例加权的多通道图像采集及参数调节方法”，使得可以在未知照明背景光颜色的情况下，自动判断主要照明颜色的类型，并据此综合调整红、绿、蓝三个通道的CMOS参数，充分利用各个颜色通道的全部感光信息，提升图像的质量。其具体方法框图如图4所示。
具体方法说明如下：
Step1:软件从CMOS器件4获取红绿蓝三色象素(RGB通道)数字图像
Step2:计算RGB三个图像通道对成像效果影响程度的权重比WR(r:g:b)
公式(2)中的PixValueR(i)代表数字图像中每个红色象素的象素值
公式(3)中的PixValueG(i)代表数字图像中每个绿色象素的象素值
公式(4)中的PixValueB(i)代表数字图像中每个蓝色象素的象素值
Step3:计算加权灰度均值Ymean和加权灰度均方差Yvar
Ymean＝WRr*MeanValueR+WRg*MeanValueG+WRb*MeanValueB
Yvar＝WRr*VarValueR+WRg*VarValueG+WRb*VarValueB
其中：
Step4:根据Ymean和Yvar判断图像质量是否满足要求。如果满足要求则存入内存，图像采集流程结束；否则进入Step5；
Step5:根据WR(r:g:b)确定需要调整的CMOS通道类型。其判断流程图如图5所示。
Step6:根据确定的参数调整通道进行参数调整并返回Step1。
本发明的实施例：
通过采用本发明的技术原理，LED采用中心波长分别为430nm/520nm/625nm的BGR三色LED为背景光源1。本实施例仅为举例说明设计原理。该实施例所提到的关键设计数据也在该申请的专利保护范围之内，但是这些具体数据不代表本专利所述的技术原理本身，而仅仅视为技术原理的一种体现形式。
本实施例，光路结构的设计要点如下：
棱镜2采用K9玻璃材质，结构数据如图6所示。
布光矫正镜片5采用PMMA材质，结构为非规则曲面，其切线水平夹角8点采样值为：0.00、4.21、11.78、20.33、31.23、45.00、66.39、89.99。如图7所示。
背景光源1(可控多色光源)采用中心波长分别为430nm/520nm/625nm的BGR三色LED。
焦距补偿镜片6采用ZF6玻璃材质，曲面规格为R8。如图8所示。
成像透镜3采用K9玻璃材质，曲面规格为R11.5。
CMOS器件4规格为1/6INCH，30万象素。
下文以采用上述三色LED照明灯作为背景光源1为前提，分别以开启不同颜色背景灯情况下，列示内部参数的自动计算结果，以说明“按权值比例加权的多通道图像采集及参数调节方法”的结果对比情况。下面列示的结果是按照“按权值比例加权的多通道图像采集及参数调节方法”，由程序自动计算完成的，本说明只是列举出来以展示方法的效果，无需提前手动计算，也不取决于采用的三色LED类型。
基于上述参数，采用“按权值比例加权的多通道图像采集及参数调节方法”采集200组指纹图像的指纹识别效果测试指标较传统方法(使用相同光路，不采用“按权值比例加权的多通道图像采集及参数调节方法”)提升明显，具体数据如下：
注意：上述结果是针对采集到的具体图像得到的结果，由于使用环境、照明器件、按指方法等因素的差异，结果会有很大不同。本发明提到的“按权值比例加权的多通道图像采集及参数调节方法”其优势就在于根据图像自身RGB三个通道的权重来综合确定参数调节的重点通道，从而快速获得合格的指纹图像。
CMOS器件4：是指采用CMOS工艺的图像采集器件。
RGB通道：CMOS采集器件一般都是彩色图像传感器，其图像采集阵列分为独立的R/G/B三个通道，对应的控制通道也分为R/G/B三个通道；R通道负责红色象素的采集和控制，G通道负责绿色象素的采集和控制，B通道负责蓝色象素的采集和控制。

Claims (4)

1.一种背景照明颜色可变的光学指纹采集设备，包括背景光源(1)、棱镜(2)、成像透镜(3)和CMOS器件(4)，其特征在于：所述背景光源(1)和棱镜(2)之间设有布光矫正镜片(5)，所述棱镜(2)和成像透镜(3)之间设有焦距补偿镜片(6)。
2.一种权利要求1所述的背景照明颜色可变的光学指纹采集设备的设计方法，其特征在于，包括如下步骤：
步骤一、背景光源(1)的光线入射到棱镜(2)并发生折射偏移之前，光线先通过布光矫正镜片(5)将光线向偏移的反方向预先进行折射偏移；入射的背景光在棱镜(2)中的偏移越大，预先在布光矫正镜片(5)中得到的反向预折射角度越大，背景光频率变化在棱镜(2)中造成的偏移将预先在布光矫正镜片(5)中得到矫正；
步骤二、从棱镜(2)出射的光线入射到成像透镜(3)发生折射偏移之前，光线先通过焦距补偿镜片(6)，所述焦距补偿镜片(6)让光线预先轻微发散；当入射光频率发生变化，入射光在成像透镜(3)中发生的折射程度越大则在焦距补偿镜片(6)得到的补偿越多；
步骤三、从成像透镜(3)出射的光线由CMOS器件(4)接收并进行信号处理。
3.根据权利要求2所述的背景照明颜色可变的光学指纹采集设备的设计方法，其特征在于，在所述步骤三中，信号处理具体包括如下步骤：
S1:从CMOS器件(4)获取红绿蓝三色象素数字图像；
S2:计算RGB三个图像通道对成像效果影响程度的权重比WR(r:g:b)
公式(2)中的PixValueR(i)代表数字图像中每个红色象素的象素值；
公式(3)中的PixValueG(i)代表数字图像中每个绿色象素的象素值；
公式(4)中的PixValueB(i)代表数字图像中每个蓝色象素的象素值；
S3:计算加权灰度均值Ymean和加权灰度均方差Yvar
Ymean＝WRr*MeanValueR+WRg*MeanValueG+WRb*MeanValueB
Yvar＝WRr*VarValueR+WRg*VarValueG+WRb*VarValueB
其中：
S4:根据Ymean和Yvar判断图像质量是否满足要求；如果满足要求则存入内存，图像采集流程结束；否则进入Step5；
S5:根据WR(r:g:b)确定需要调整的CMOS通道类型；
S6:根据确定的参数调整通道进行参数调整并返回S1。
4.根据权利要求3所述的背景照明颜色可变的光学指纹采集设备的设计方法，其特征在于：步骤S5具体包括如下步骤：
S5-1：当WRr>0.5,选定R通道进行参数调整，否则进入下一步；
S5-2:当WRg>0.5,选定G通道进行参数调整，否则进入下一步；
S5-3:当WRb>0.5,选定B通道进行参数调整，否则进入下一步；
S5-4:选择WR值最大的两个值所对应的通道进行参数调整。
CN201510683430.2A 2015-10-20 2015-10-20 一种背景照明颜色可变的光学指纹采集设备及设计方法 Active CN105184284B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510683430.2A CN105184284B (zh) 2015-10-20 2015-10-20 一种背景照明颜色可变的光学指纹采集设备及设计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510683430.2A CN105184284B (zh) 2015-10-20 2015-10-20 一种背景照明颜色可变的光学指纹采集设备及设计方法

Publications (2)

Publication Number Publication Date
CN105184284A CN105184284A (zh) 2015-12-23
CN105184284B true CN105184284B (zh) 2018-09-21

Family

ID=54906350

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510683430.2A Active CN105184284B (zh) 2015-10-20 2015-10-20 一种背景照明颜色可变的光学指纹采集设备及设计方法

Country Status (1)

Country Link
CN (1) CN105184284B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105913514B (zh) * 2016-04-08 2018-03-27 广东欧珀移动通信有限公司 一种指纹解锁的方法及终端
US10127425B2 (en) * 2017-01-12 2018-11-13 Qualcomm Incorporated Dual-mode capacitive and ultrasonic fingerprint and touch sensor
CN107145886B (zh) 2017-05-03 2020-01-14 Oppo广东移动通信有限公司 光学指纹采集方法及相关产品
CN110826516B (zh) 2017-05-03 2023-04-18 Oppo广东移动通信有限公司 光学指纹验证方法及相关产品
CN109409310B (zh) * 2018-11-05 2021-08-17 Oppo（重庆）智能科技有限公司 显示屏组件、电子设备及指纹识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008015939A (ja) * 2006-07-07 2008-01-24 Dds:Kk 非接触型指紋入力装置及び指紋照合装置
CN201628972U (zh) * 2010-05-07 2010-11-10 深圳百佳安生物识别技术有限公司 一种暗背景和亮背景的双模光学指纹采集仪
CN201828933U (zh) * 2010-11-22 2011-05-11 深圳百佳安生物识别技术有限公司 一种光学指纹采集仪
CN205068440U (zh) * 2015-10-20 2016-03-02 杭州指安科技股份有限公司 背景照明颜色可变的光学指纹采集设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003050993A (ja) * 2001-08-06 2003-02-21 Omron Corp 指紋読取方法および指紋読取装置
KR100879381B1 (ko) * 2007-06-04 2009-01-20 테스텍 주식회사 프리즘을 이용한 광학식 지문획득장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008015939A (ja) * 2006-07-07 2008-01-24 Dds:Kk 非接触型指紋入力装置及び指紋照合装置
CN201628972U (zh) * 2010-05-07 2010-11-10 深圳百佳安生物识别技术有限公司 一种暗背景和亮背景的双模光学指纹采集仪
CN201828933U (zh) * 2010-11-22 2011-05-11 深圳百佳安生物识别技术有限公司 一种光学指纹采集仪
CN205068440U (zh) * 2015-10-20 2016-03-02 杭州指安科技股份有限公司 背景照明颜色可变的光学指纹采集设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Fast 3-D fingertip reconstruction using a single two-view structured light acquisition";Ruggero Donida Labati et al.;《2011 IEEE Workshop on Biometric Measurements and Systems for Security and Medical Applications》;20111101;全文 *
"光学指纹信息获取方法的研究";王辰;《万方数据学术期刊数据库》;20111206;全文 *

Also Published As

Publication number Publication date
CN105184284A (zh) 2015-12-23

Similar Documents

Publication Publication Date Title
CN105184284B (zh) 一种背景照明颜色可变的光学指纹采集设备及设计方法
CN103220534B (zh) 图像撷取装置与方法
CN104079908B (zh) 红外与可见光图像信号处理方法及其实现装置
JP5976676B2 (ja) レンズ部の縦の色収差を利用したイメージングシステム及びその操作方法
CN102483353B (zh) 利用非发散元件的高光谱分辨率颜色传感器
JP5612894B2 (ja) 撮像装置
KR102100031B1 (ko) 카메라 및 컬러 이미지 생성 방법
CN113676628B (zh) 成像装置和图像处理方法
CN109151426A (zh) 一种白平衡调整方法、装置、相机及介质
Wang et al. Fast automatic white balancing method by color histogram stretching
CN104113743A (zh) 低照度下彩色摄像机自动白平衡处理方法及装置
CN103907189B (zh) 固体摄像元件、摄像装置和信号处理方法
CN109729253A (zh) 一种基于彩色和独立红绿蓝光学图像叠合增强的算法和四色摄像头
CN107643591A (zh) 一种反衰减透雾可见光镜头及实现方法
CN106067937A (zh) 镜头模块阵列、图像感测装置与数字缩放图像融合方法
CN107360418A (zh) 一种全景相机颜色一致性评判系统及方法
US9432642B2 (en) Imaging system and method having extended depth of field
CN107231549A (zh) 自动白平衡检测系统
CN110312957A (zh) 焦点检测设备、焦点检测方法和焦点检测程序
CN110445990A (zh) 一种补光装置及拍摄系统
Fredembach et al. Illuminant estimation and detection using near-infrared
CN205068440U (zh) 背景照明颜色可变的光学指纹采集设备
CN104780322B (zh) 摄像装置、摄像方法、图像处理装置
CN109672828A (zh) 基于光路白平衡的低照度提升装置及低照度提升方法
Słomiński Typical Causes of Errors during Measuring Luminance Distributions in Relation to Glare Calculations

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant