CN105987712A - 光学传感器及光学感测系统 - Google Patents

光学传感器及光学感测系统 Download PDF

Info

Publication number
CN105987712A
CN105987712A CN201510054956.4A CN201510054956A CN105987712A CN 105987712 A CN105987712 A CN 105987712A CN 201510054956 A CN201510054956 A CN 201510054956A CN 105987712 A CN105987712 A CN 105987712A
Authority
CN
China
Prior art keywords
optical
light
optical grating
sensing
light intensity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510054956.4A
Other languages
English (en)
Other versions
CN105987712B (zh
Inventor
许恩峯
刘家佑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pixart Imaging Inc
Original Assignee
Pixart Imaging Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pixart Imaging Inc filed Critical Pixart Imaging Inc
Priority to CN201911100073.7A priority Critical patent/CN111089612B/zh
Publication of CN105987712A publication Critical patent/CN105987712A/zh
Application granted granted Critical
Publication of CN105987712B publication Critical patent/CN105987712B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种光学传感器及光学感测系统,所述光学传感器包含至少两个以上不同的光感测像素以及至少两个以上的光栅元件。这些光栅元件位于光感测像素的上方且各自与光感测像素相对应。

Description

光学传感器及光学感测系统
技术领域
本发明涉及一种光学传感器,具体地,涉及一种可应用在距离测量或是手势辨识上的光学传感器及光学感测系统。
背景技术
一般来说,距离测量系统(Distance measurement system,DMS)通常会使用光源,并利用光源的光束被物体反射回来的能量来计算物体的距离。传统上,可使用三角定位的方式,或是飞行时间(Time of flight,TOF)的技术方案来计算距离,然而采用上述方式所花费的成本与系统的尺寸相对来说都会较高。
另外,手势(gesture)辨识的开发基础通常可使用3D图像先消除背景图像以取出前景物件图像,其中,这样的技术会使用到两个图像传感器,如此一来,手势辨识模块的尺寸与成本同样地便无法有效地获得缩减。
基于上述,本发明主要是利用相位侦测(phase detection)的技术取得3D图像,而且无需额外打光(上述飞行时间法需要打光),且本发明的技术方案可只使用单个图像传感器,便可实现侦测距离及手势辨识的应用。
发明内容
有鉴于此,本发明提出一种光学传感器及光学感测系统,其具有低成本及尺寸小的优点。
本发明提供一种光学传感器,该光学传感器包含至少两个以上的光感测像素以及至少两个以上不同的光栅元件。所述多个光栅元件位于所述多个光感测像素的上方且各自与所述多个光感测像素相对应。
本发明还提供一种光学感测系统,该光学感测系统包含两个光感测像素、两个光栅元件以及处理器。所述两个光栅元件彼此之间具有相位差并分别与所述两个光感测像素相对应。所述处理器用于根据所述两个光感测像素感测的光强度信号判断入射光角度。
本发明还提供一种光学传感器,包含两个光感测像素、两个光栅元件以及处理器。所述两个光栅元件彼此之间具有相位差并分别与所述两个光感测像素相对应。所述处理器用于根据所述两个光感测像素感测的两个光强度信号计算至少一个光强度参数。
在本发明说明的实施例中,光学传感器还包括透镜,其中光栅元件位于透镜与光感测像素之间。
在本发明说明的实施例中,光栅元件中每一者至少由两层金属层所构成。
在本发明说明的实施例中,光学传感器还包括滤光元件,其中所述多个光栅元件位于所述滤光元件与所述多个光感测像素之间。
为了让本发明的上述和其它目的、特征和优点能更明显,下文将配合所附图示,详细说明如下。此外,在本发明的说明中,相同的元件以相同的符号表示,于此先述明。
附图说明
图1为本发明一实施例的光学传感器的示意图。
图2为不同角度的光线经过不同相位差的光栅元件的光强度变化的示意图。
图3A~图3D分别为图1的光栅元件实施方式的示意图。
图4A~图4C分别为不同光学传感器所使用的光栅元件的上视图。
具体实施方式
图1为本发明一实施例的光学传感器的示意图,而图2则为不同角度的光线经过不同相位差的光栅元件的光强度变化的示意图;其中,所述不同相位差的光栅元件例如为显示于图3A至图3D的光栅元件。
参考图1,本实施例的光学传感器100包括至少两个以上的光感测像素(例如此处显示为四个光感测像素112a、112b、112c、112d,但并不以此为限),其中,每个光感测像素112a、112b、112c、112d上方各自对应有一个光栅元件122a、122b、122c、122d,且这些光栅元件122a、122b、122c、122d的相位差可分别为0度相位、90度相位、180度相位以及270度相位。亦即,所述多个光栅元件122a、122b、122c、122d彼此之间具有相位差并分别与所述多个光感测像素112a、112b、112c、112d相对应。
本发明说明中,所述多个光感测像素112a、112b、112c、112d可为独立制作的光感测像素,或者可为同一像素阵列中相邻或不相邻的光感测像素,并无特定限制。例如某些实施例中,可在像素阵列选择部分像素以作为所述多个光感测像素112a、112b、112c、112d,而其它像素可用于执行其它功能。
具体来说,不同角度的入射光束L1(或称物体光束)在经过不同相位差的光栅元件时相对应的光感测像素的成像会有不同的光强度变化,如图2所示对应4个光栅元件的四种光强度变化。换言之,本实施例的光学传感器100可通过光感测像素112a、112b、112c、112d所感测的光强度来反推入射光束L1(或是物体光束)的方向与位置,从而计算出物体O1位置,以下将举例进行较为详细的说明。
请先参考图2的曲线L101,曲线L101为不同角度(例如图2所绘示的负40度至正40度)的入射光束L1经过相位差为180度的光栅元件后的光强度变化,其中,正向入射(入射角度为零度时)的入射光束的光强度最高,且当入射角度逐渐增加时光强度逐渐改变;相对地,曲线L102为不同角度(例如图2所绘示的负40度至正40度)的入射光束L1经过相位差为0度的光栅元件后的光强度变化,其中,正向入射(入射角度为零度时)的入射光束的光强度最低,且当入射角度逐渐增加时光强度逐渐改变。因此,通过光感测像素112a、112b、112c、112d所感测的光强度信号(即灰度值信号)便可反推入射光束L1的入射角度,进而通过光线追踪的方式便可计算出物体O1的位置与位置变化。换言之,本实施例的光学传感器100可只使用两个以上的光感测像素112a、112b、112c、112d即可反推物体O1的位置。此外,相较于传统距离感测系统(DMS)须使用打光的方式,本实施例的光学传感器100由于无须打光,且可仅使用数量较少的光感测像素112a、112b、112c、112d即可侦测到物体O1位置,从而具有低成本与小体积的优点。
在某些实施例中,为了消除物体O1本身的颜色以及环境光线的影响,可计算物体O1在相同位置时,不同光感测像素所感测的光强度信号与角度的相对关系,以预先建立查找表(look-up table),例如下表1所示,并储存于存储单元中,
光强度参数1 光强度参数2 入射角度 物体高度
IA1/(IA1+IB1) IB1/(IA1+IB1) ΦA1、ΦB1 H1
IA2/(IA2+IB2) IB2/(IA2+IB2) ΦA2、ΦB2 H2
IA3/(IA3+IB3) IB3/(IA3+IB3) ΦA3、ΦB3 H3
表1
例如表1中,IA1为物体O1位于第1位置时光线经过180度光栅元件的光强度而IB1为物体O1位于所述第1位置时光线经过0度光栅元件的光强度;IA2为物体O1位于第2位置时光线经过180度光栅元件的光强度而IB2为物体O1位于所述第2位置时光线经过0度光栅元件的光强度;IA3为物体O1位于第3位置时光线经过180度光栅元件的光强度而IB3为物体O1位于所述第3位置时光线经过0度光栅元件的光强度;其中,光强度IA1~IA3及IB1~IB3例如可参照图2。ΦA1~ΦA3为光强度参数1对应180度光栅元件的入射光角度而ΦB1~ΦB3为光强度参数2对应0度光栅元件的入射光角度。由于不同光栅元件的横向距离可预先求得,因此当入射光角度已知时,可根据三角运算求得物体O1的距离(或高度)、二维坐标及三维坐标。同时,根据三维坐标随时间的变化即可进行手势判断。
藉此,在实际测量时,所述光学传感器100则可利用查表的方式判断物体O1的高度及坐标。然而,本发明说明并不以此为限,亦可利用其它算法,例如表1中的光强度参数1及2可定义成其它方式,只要能够消除物体O1本身的颜色以及环境光线的影响即可。例如,光强度参数1及2可利用光强度(例如IA1、IB1)分别减去平均光强度(IA1+IB1)/2后再除以光强度和(IA1+IB1)求得;例如,光强度参数1及2可直接通过计算两光强度(例如IA1、IB1)的比例求得。因此,既然可消除环境光线的影响,本实施例亦可应用于具有光源的其它装置中。
当所述光学传感器100包含两个以上的光感测像素时,相对一个物体距离或物体坐标,可同时利用多个光强度决定一个光强度参数,或者利用所述多个光强度的每两个光强度决定多个光强度参数,接着根据所述至少一个光强度参数决定物体距离或物体坐标。
本实施例中,所述光学传感器100还包含处理器150,该处理器150电性耦接所述多个光感测像素112a、112b、112c、112d,用于计算入射光角度、高度及坐标,并进行手势判断。
在一实施例中,所述处理器设置于所述光学传感器100外部并与所述光学传感器100共同形成光学感测系统,亦即所述光学传感器100仅输出每一光感测像素的测量值(即光强度信号),而由所述外部处理器根据所述多个光感测像素感测的光强度信号计算至少一个光强度参数并判断入射光角度、根据所述至少一个光强度参数计算物体距离及坐标、根据多个光强度参数的变化进行手势判断;其中,光强度参数与入射光角度的对应关系可预先形成查找表,如表1所示。
在另一实施例中,所述多个光感测像素112a、112b、112c、112d与所述处理器150均制作在基底层(base layer)中,亦即所述处理器150为处理电路,可用于根据所述多个光感测像素感测112a、112b、112c、112d的光强度信号计算至少一个光强度参数,所述至少一个光强度参数例如被输出至外部主机;而所述多个光栅元件122a、122b、122c、122d则为形成于所述基底层上方的至少两层金属层。此外,只要所述处理器150具有足够的运算能量,也可进行上述外部处理器的运算,并无特定限制。
在本实施例中,光学传感器100还可具有滤光元件130,该滤光元件130用于滤除特定波长以外的光线,其中所述多个光栅元件122a、122b、122c、122d位于所述滤光元件130与所述多个光感测像素112a、112b、112c、112d之间。本实施例的图2以550nm波长作为举例说明,但不限于此。更具体而言,所述滤光元件130的波长选择可根据衍射公式(diffraction equation),配合元件参数,例如两金属层(如图3A~3D所示)间距d1以及光栅元件与光感测像素的间距来决定,以达到较佳的感测结果。
此外,由于本实施例的光学传感器100可只使用少量的光感测像素112a、112b、112c、112d即可反推物体O1的位置,换言之,若本实施例的光学传感器100采取更多数量的光感测像素阵列,例如:300×300、600×600、900×900的光感测像素阵列,便可获得物体O1的更多位置信息,进而建构出物体的3D图像。
另外,需要说明的是,图1所绘示的光栅元件122a、122b、122c、122d仅为举例说明,具体实施方式例如是图3A~图3D绘示的实施方式。详细来说,参考图3A~图3D,位于光感测像素112a、112b、112c、112d上方的光栅元件122a、122b、122c、122d可以是由至少两层金属层M1、M2所构成,其中,不同相位差的光栅元件的产生方式可由这些金属层M1、M2产生偏移、改变金属层M1/M2与M1/M2的间隔w1或是金属层M1、M2的间距d1,而产生0度相位、90度相位、180度相位以及270度相位的形态;其中,间隔w1及间距d1的数值可根据目标光谱依据衍射公式决定。此外,光栅元件122a、122b、122c、122d的金属层M1、M2可以是CMOS工艺中的第一道金属层至第十道金属层之间的任意两层。本发明说明中,M1、M2仅用于表示不同金属层而并非用于限定为第一道金属层与第二道金属层,特此说明。更详细地,本发明说明中的光栅元件可利用CMOS工艺中的至少两道金属层来制作,并无特定限制。某些实施例中,光感测像素中每一者可对应多个光栅元件,而并不限于图1所示。
另外,位于光感测像素112a、112b、112c、112d上方的光栅元件122a、122b、122c、122d的金属层排列方式可以是呈现为如图4A~图4C所绘示的光学传感器200a~200c的实施方式,例如:金属层水平(横向)排列、垂直(纵向)排列、倾斜一角度,或是其组合,可视实际应用而定。
某些实施例中,光学传感器100还包含至少一个透镜以增加感光效率。在一实施例中,透镜140可设置于所述多个光栅元件122a、122b、122c、122d上方,以使所述多个光栅元件122a、122b、122c、122d位于所述透镜140与所述多个光感测像素112a、112b、112c、112d之间;其中,所述透镜140与所述多个光栅元件122a、122b、122c、122d可利用垫片(spacer)维持预设距离。在另一实施例中,多个微透镜(microlens)可分别对应于所述多个光栅元件122a、122b、122c、122d而设置,且所述多个微透镜与所述多个光栅元件122a、122b、122c、122d之间具有保护层(passivation layer)。
必须说明的是,上述实施例中的数值,例如光强度、相位等,仅用于说明而并非用于限定本发明说明。
综上所述,公知距离测量系统及手势辨识系统需要较高的成本及尺寸,且通常需要另外提供光源。因此,本发明说明提出一种光学传感器(图1)及光学感测系统,其利用穿过光栅元件的衍射光强度随入射角度变化的特性,藉以判断物体的二维、三维位置以及位置变化,且由于无需使用光源,因此具有低成本及尺寸小的优点。
虽然本发明已通过上述实施例进行了公开,然其并非用于限定本发明,任何本发明所属技术领域的技术人员,在不脱离本发明的精神和范围内,可作各种的更动与修改。因此本发明的保护范围应该以所附的权利要求书所限定范围为准。

Claims (20)

1.一种光学传感器,包含:
至少两个以上的光感测像素;以及
至少两个以上不同的光栅元件,位于所述多个光感测像素的上方且各自与所述多个光感测像素相对应。
2.根据权利要求1所述的光学传感器,还包含透镜,其中所述多个光栅元件位于所述透镜与所述多个光感测像素之间。
3.根据权利要求1所述的光学传感器,其中光栅元件中每一者至少由两层金属层所构成。
4.根据权利要求1所述的光学传感器,还包含滤光元件,其中所述多个光栅元件位于所述滤光元件与所述多个光感测像素之间。
5.根据权利要求1所述的光学传感器,其中所述多个光栅元件之间具有相位差。
6.根据权利要求1所述的光学传感器,其中所述多个光栅元件沿横向方向、纵向方向、倾斜方向或其组合排列。
7.一种光学感测系统,包含:
两个光感测像素;
两个光栅元件,彼此之间具有相位差并分别与所述两个光感测像素相对应;以及
处理器,用于根据所述两个光感测像素感测的光强度信号判断入射光角度。
8.根据权利要求7所述的光学感测系统,还包含至少一个滤光元件,该至少一个滤光元件位于所述两个光栅元件上方。
9.根据权利要求7所述的光学感测系统,还包含至少一个透镜,对应于所述两个光栅元件。
10.根据权利要求7所述的光学感测系统,其中所述两个光栅元件由CMOS工艺所制作的至少两层金属层所构成。
11.根据权利要求7所述的光学感测系统,其中所述处理器还用于根据所述两个光感测像素感测的两个光强度信号计算至少一个光强度参数。
12.根据权利要求11所述的光学感测系统,其中所述至少一个光强度参数与所述入射光角度的对应关系预先被形成为查找表。
13.根据权利要求11所述的光学感测系统,其中所述处理单元还根据所述至少一个光强度参数计算物体距离。
14.根据权利要求11所述的光学感测系统,其中所述处理单元还根据多个光强度参数的变化进行手势判断。
15.一种光学传感器,包含:
两个光感测像素;
两个光栅元件,彼此之间具有相位差并分别与所述两个光感测像素相对应;以及
处理器,用于根据所述两个光感测像素感测的两个光强度信号计算至少一个光强度参数。
16.根据权利要求15所述的光学传感器,还包含滤光元件,该滤光元件位于所述两个光栅元件上方。
17.根据权利要求15所述的光学传感器,还包含至少一个透镜,对应于所述两个光栅元件。
18.根据权利要求15所述的光学传感器,其中所述两个感测像素与所述处理器形成在基底层中。
19.根据权利要求18所述的光学传感器,其中所述两个光栅元件为形成于所述基底层上方的至少两层金属层。
20.根据权利要求19所述的光学传感器,其中所述至少两层金属层由CMOS工艺所制作。
CN201510054956.4A 2014-09-24 2015-02-03 光学传感器及光学感测系统 Active CN105987712B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911100073.7A CN111089612B (zh) 2014-09-24 2015-02-03 光学传感器及光学感测系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW103133154 2014-09-24
TW103133154 2014-09-24

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201911100073.7A Division CN111089612B (zh) 2014-09-24 2015-02-03 光学传感器及光学感测系统

Publications (2)

Publication Number Publication Date
CN105987712A true CN105987712A (zh) 2016-10-05
CN105987712B CN105987712B (zh) 2019-12-06

Family

ID=57037372

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201510054956.4A Active CN105987712B (zh) 2014-09-24 2015-02-03 光学传感器及光学感测系统
CN201911100073.7A Active CN111089612B (zh) 2014-09-24 2015-02-03 光学传感器及光学感测系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201911100073.7A Active CN111089612B (zh) 2014-09-24 2015-02-03 光学传感器及光学感测系统

Country Status (1)

Country Link
CN (2) CN105987712B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021174865A1 (zh) * 2020-03-02 2021-09-10 神盾股份有限公司 指纹感测系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN87208238U (zh) * 1987-05-16 1988-02-03 中国科学院南京天文仪器厂 等权裂相指标光栅
US5026164A (en) * 1988-02-22 1991-06-25 Mitutoyo Corporation Optical encoder
CN2352974Y (zh) * 1998-09-03 1999-12-08 中国科学院光电技术研究所 光刻机相位光栅离轴照明光学系统
CN1459019A (zh) * 2000-09-14 2003-11-26 约翰尼斯海登海恩博士股份有限公司 位置测量装置
CN1495501A (zh) * 2002-07-16 2004-05-12 三丰株式会社 使用光纤接收器通道的光栅编码器和位移测量设备
CN1643338A (zh) * 2002-02-14 2005-07-20 里索国家实验室 光位移传感器
CN101241315A (zh) * 2008-03-14 2008-08-13 中国科学院上海光学精密机械研究所 非对称型移相光栅标记及在光刻机物镜像差检测中的应用
CN101571376A (zh) * 2009-02-03 2009-11-04 上海亮兴电子技术有限公司 相位式光栅位移传感器
CN101751187A (zh) * 2010-01-05 2010-06-23 友达光电股份有限公司 三维互动立体显示器的指示物位置判断方法
CN102401647A (zh) * 2010-09-07 2012-04-04 原相科技股份有限公司 光学测距系统
US20130135715A1 (en) * 2011-11-29 2013-05-30 National Taipei University Of Technology Chromatic confocal microscope system and signal process method of the same

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1622200A1 (en) * 2004-07-26 2006-02-01 CSEM Centre Suisse d'Electronique et de Microtechnique SA Solid-state photodetector pixel and photodetecting method
JP5142879B2 (ja) * 2008-08-06 2013-02-13 株式会社日立メディアエレクトロニクス 光ピックアップおよび光ディスク装置
CN101377555B (zh) * 2008-09-26 2011-05-04 苏州大学 一种亚波长埋入式光栅结构偏振片及其制作方法
KR101904033B1 (ko) * 2010-10-27 2018-10-04 코넬 유니버시티 광 필드 이미지 센서, 방법들 및 응용들
CN102650691B (zh) * 2011-02-24 2014-01-22 原相科技股份有限公司 具校正功能的测距系统与方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN87208238U (zh) * 1987-05-16 1988-02-03 中国科学院南京天文仪器厂 等权裂相指标光栅
US5026164A (en) * 1988-02-22 1991-06-25 Mitutoyo Corporation Optical encoder
CN2352974Y (zh) * 1998-09-03 1999-12-08 中国科学院光电技术研究所 光刻机相位光栅离轴照明光学系统
CN1459019A (zh) * 2000-09-14 2003-11-26 约翰尼斯海登海恩博士股份有限公司 位置测量装置
CN1643338A (zh) * 2002-02-14 2005-07-20 里索国家实验室 光位移传感器
CN1495501A (zh) * 2002-07-16 2004-05-12 三丰株式会社 使用光纤接收器通道的光栅编码器和位移测量设备
CN101241315A (zh) * 2008-03-14 2008-08-13 中国科学院上海光学精密机械研究所 非对称型移相光栅标记及在光刻机物镜像差检测中的应用
CN101571376A (zh) * 2009-02-03 2009-11-04 上海亮兴电子技术有限公司 相位式光栅位移传感器
CN101751187A (zh) * 2010-01-05 2010-06-23 友达光电股份有限公司 三维互动立体显示器的指示物位置判断方法
CN102401647A (zh) * 2010-09-07 2012-04-04 原相科技股份有限公司 光学测距系统
US20130135715A1 (en) * 2011-11-29 2013-05-30 National Taipei University Of Technology Chromatic confocal microscope system and signal process method of the same

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021174865A1 (zh) * 2020-03-02 2021-09-10 神盾股份有限公司 指纹感测系统

Also Published As

Publication number Publication date
CN111089612A (zh) 2020-05-01
CN105987712B (zh) 2019-12-06
CN111089612B (zh) 2022-06-21

Similar Documents

Publication Publication Date Title
US11015927B2 (en) Optical sensor and optical sensor system
US10902668B2 (en) 3D geometric modeling and 3D video content creation
TWI667490B (zh) 光學成像模組及包含飛行時間感測器之光學偵測模組
CN106200882B (zh) 感测元件及光学测距系统
EP3213512B1 (en) Method for alignment of low-quality noisy depth map to the high-resolution colour image
US9996933B2 (en) Methods and apparatus for outlier detection and correction of structured light depth maps
US8531458B2 (en) Method of determining pointing object position for three-dimensional interactive system
CN111366941A (zh) 一种tof深度测量装置及方法
US11747140B2 (en) Sensing element having pixels exposed by aperture increasing along predetermined direction
CN110058742B (zh) 显示装置、触摸检测方法及装置
KR101275823B1 (ko) 복수의 카메라를 이용한 3차원 물체 검출장치 및 방법
CN103024419A (zh) 一种视频图像处理方法及系统
CN105987712A (zh) 光学传感器及光学感测系统
CN106352847B (zh) 基于相位差的距离测量装置及距离测量方法
US9323394B2 (en) Touch control apparatus and associated selection method
Shen Depth-map merging for multi-view stereo with high resolution images
US11195290B2 (en) Apparatus and method for encoding in structured depth camera system
Zeller et al. Edge segmentation in images of a focused plenotic camera
Lee Consumer Depth Cameras and Applications

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant