CN114509880B - 一种基于光源阵列的3d结构光的产生装置 - Google Patents

一种基于光源阵列的3d结构光的产生装置 Download PDF

Info

Publication number
CN114509880B
CN114509880B CN202210413532.2A CN202210413532A CN114509880B CN 114509880 B CN114509880 B CN 114509880B CN 202210413532 A CN202210413532 A CN 202210413532A CN 114509880 B CN114509880 B CN 114509880B
Authority
CN
China
Prior art keywords
light
light source
source array
lens
optical element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210413532.2A
Other languages
English (en)
Other versions
CN114509880A (zh
Inventor
王灿
姜毅
丁丁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Lingxi Robot Intelligent Technology Co ltd
Original Assignee
Hangzhou Lingxi Robot Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Lingxi Robot Intelligent Technology Co ltd filed Critical Hangzhou Lingxi Robot Intelligent Technology Co ltd
Priority to CN202210413532.2A priority Critical patent/CN114509880B/zh
Publication of CN114509880A publication Critical patent/CN114509880A/zh
Application granted granted Critical
Publication of CN114509880B publication Critical patent/CN114509880B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/09—Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for

Abstract

本发明涉及一种基于光源阵列的3D结构光的产生装置，包括：光源阵列，包含多个发光单元，各发光单元单独可控；光学元件，与所述发光单元对应设置，用于对所述光源阵列准直得到准直光；聚焦透镜，相间隔设置于所述光学元件背离所述光源阵列的一侧；投影镜头，相间隔设置于所述聚焦透镜背离所述光学元件的一侧；所述光源阵列、所述光学元件、所述聚焦透镜以及所述投影镜头沿同一轴线设置，通过改变光学元件的偏心可改变光束单元的间距，使得光源阵列产生的光束单元间距不受光源阵列中发光单元的排布间隔的限制，减小对光源阵列排布的要求，从而产生更高密度和分辨率的结构光投影图案，且各发光单元可控，可形成目标图案，如格雷码图案、正弦图案。

Description

一种基于光源阵列的3D结构光的产生装置
技术领域
本发明涉及3D视觉技术领域，特别是涉及一种基于光源阵列的3D结构光的产生装置。
背景技术
3D测量由于其可以获得物体的深度信息，正在被越来越广泛的应用到各个领域，3D测量按技术原理可分为线扫描方式和面扫描方式。面扫方式的速度快，效率高，更具有应用前景。面扫描方式3D测量一般需要向物体投射结构光——特定图案，如散斑图案、光栅条纹图，并利用相机拍摄图案来计算三维点云数据。投射结构光图案的分辨率越高，获得点云数据就越多，测量精度就越高。由于每次投射图案都不一样，因此多用投影仪作为光源。投影仪是很好的结构光产生设备。缺点是系统复杂、成本高；光学利用率低；在体积有限的情况下亮度低，同时由于投影仪只是将灰度低区域的光遮挡，或者反射到另一个区域，但对应位置的光源始终开启，因此动态对比度不高。
随着光源技术的发展，阵列光源的尺寸可以被做的越来越小，因此可以将阵列光源直接投影到被测物上，通过控制发光单元的开光获得想要的投影图案。如VCSEL阵列光源由于其表面发射特性，晶圆级加工和表面贴装技术等，可以被用来大批量生产成本低、体积小的阵列光源，在三维传感领域得到了广泛应用。
一般VCSEL等阵列光源的相邻发光单元之间的距离会比发光单元大的多，反应到投影图案上则是相互分离的点阵，不能像投影仪一样产生致密的高分辨率图案。专利US20180203247A1中提到一种错位排列的方法，产生密度更高的条纹图，该方法的缺点是只能用在条纹光栅上，并不能获得二维图形。
发明内容
本发明的目的在于提供一种基于光源阵列的3D结构光的产生装置，以解决现有投影图案受制于光源阵列中发光单元的排布间距的限制。
为实现上述目的，本发明采用了如下技术方案：
一种基于光源阵列的3D结构光的产生装置，包括：
光源阵列，包含多个发光单元，各所述发光单元单独可控；
光学元件，与所述发光单元对应设置，用于对所述光源阵列准直得到准直光；
聚焦透镜，相间隔设置于所述光学元件背离所述光源阵列的一侧；
投影镜头，相间隔设置于所述聚焦透镜背离所述光学元件的一侧；
所述光源阵列、所述光学元件、所述聚焦透镜以及所述投影镜头沿同一轴线设置。
优选地，所述发光单元为单独控制亮灭的光源，所述光源阵列透过所述光学元件得到准直光，再透过所述聚焦透镜成像于所述聚焦透镜的后焦面，透过所述投影镜头投影至工作面成像。
优选地，所述光学元件为准直透镜阵列，各所述发光单元单独控制，所述准直透镜阵列包含多个透镜单元，各所述透镜单元与所述发光单元一一对应设置。
优选地，任一所述发光单元所处位置为
Figure 127766DEST_PATH_IMAGE001
，与所述发光单元对应的所述透镜 单元的中心相对偏移一个坐标
Figure 987137DEST_PATH_IMAGE002
，可表示为：
Figure 379329DEST_PATH_IMAGE003
；
Figure 880717DEST_PATH_IMAGE004
；其中，
Figure 360240DEST_PATH_IMAGE005
由相邻所述发光单元之间的距离与目标光斑间距决定。
优选地，所述准直光的偏转角为：
Figure 406825DEST_PATH_IMAGE006
；
Figure 299694DEST_PATH_IMAGE007
；其中，
Figure 588462DEST_PATH_IMAGE008
为透镜单元的焦距，
Figure 781546DEST_PATH_IMAGE009
分别为所述透镜单元偏移的坐标值。
优选地，所述后焦面的光斑位置
Figure 389245DEST_PATH_IMAGE010
与所述发光单元
Figure 316881DEST_PATH_IMAGE001
的对应关系为：
Figure 628913DEST_PATH_IMAGE011
；
Figure 182562DEST_PATH_IMAGE012
，其中，
Figure 554637DEST_PATH_IMAGE013
为所述聚焦透镜的焦距。
优选地，所述光学元件为柱面镜阵列，定义所述光源阵列长方向为Y轴方向，宽方向为X轴方向，厚度方向为Z轴方向；所述光源阵列在X轴方向各发光单元单独控制，所述柱面镜阵列沿X轴方向偏心，用于对所述光源阵列的X方向准直。
优选地，所述光学元件的柱面镜单元与所述发光单元一一对应设置，所述柱面镜 单元相对于所述光源阵列沿X轴偏心，偏心距离为
Figure 94203DEST_PATH_IMAGE014
；偏转角为
Figure 695080DEST_PATH_IMAGE015
。
优选地，所述光学元件和所述聚焦透镜之间设有柱面镜，所述柱面镜的光焦度方向沿Y方向，用于缩小光源阵列的Y方向的发散角，而不改变X方向的发散角。
优选地，所述光源阵列依次透过所述光学元件、所述聚焦透镜成像于所述聚焦透 镜的后焦面，所述后焦面的各列光条位置坐标为
Figure 862756DEST_PATH_IMAGE016
。
相比现有技术，本发明的有益效果在于：
上述技术方案通过改变光学元件的偏心可改变光束单元的间距，使得光源阵列产生的光束单元间距不受光源阵列中发光单元的排布间隔的限制，减小对光源阵列排布的要求，从而产生更高密度和分辨率的结构光投影图案。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的一种实施方式中提供基于光源阵列的3D结构光的产生装置的示意图。
图2为本发明提供的光源阵列和其对应结构光的示意图。
图2（a）为本发明提供的光源阵列的示意图。
图2（b）为图2（a）所示的光源阵列对应的结构光的示意图。
图3为本发明另一种实施方式中提供的基于光源阵列的3D结构光的产生装置的示意图。
附图标记说明：
1、光源阵列；2、光学元件；31、聚焦透镜；311、后焦面；32、投影镜头；4、工作面；5、柱面镜。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
本发明实施例提供了一种基于光源阵列的3D结构光的产生装置，该装置包括光源阵列1、光学元件2、聚焦透镜31以及投影镜头32，其中，光源阵列1、光学组件2、聚焦透镜31以及投影镜头32沿同一轴线依次相间隔设置；光源阵列1包含多个发光单元，光学元件2与发光单元对应设置，用于将光源阵列1发出的光准直后得到准直光，准直光经过聚焦镜头31得到投影图案，该投影图案为光斑间距被改变后的投影图案。
聚焦透镜31和投影镜头32相间隔设置，其中，聚焦透镜31靠近光学元件2设置，准直光透过聚焦透镜31后投影至后焦面311，再透过投影镜头32投影至工作面得到投影图案。
如附图1所示，在其中一实施例中，光源阵列1为各发光单元可单独控制或者各列可单独控制的阵列时，如VCSEL阵列、或者LED阵列，光学元件2为准直透镜阵列，准直透镜阵列的透镜单元与光源阵列1的发光单元一一对应设置。
设各相邻发光单元之间的距离恒定，任一发光单元所处的位置为
Figure 920579DEST_PATH_IMAGE001
，与该发 光单元对应的透镜单元的中心偏移一个坐标为
Figure 681862DEST_PATH_IMAGE002
，则可表示为：
Figure 866856DEST_PATH_IMAGE003
；
Figure 905350DEST_PATH_IMAGE004
；其中，
Figure 25753DEST_PATH_IMAGE005
由相邻所述发光单元之间的距离与目标光斑间距决定；由 此可知，经过准直透镜阵列的准直光的偏转角为：
Figure 664544DEST_PATH_IMAGE006
，
Figure 108689DEST_PATH_IMAGE007
， 其中，
Figure 860744DEST_PATH_IMAGE008
为透镜单元的焦距，
Figure 152048DEST_PATH_IMAGE009
分别为透镜单元偏移的偏心值；由此可知，不同位置射 出的准直光的角度不同。
上述准直光透过聚焦透镜31，该聚焦透镜31的光焦度为正，可将准直光聚焦于聚 焦透镜31的后焦面上，形成光斑阵列，设任一光斑位置为
Figure 996245DEST_PATH_IMAGE010
，与发光单元
Figure 788620DEST_PATH_IMAGE001
的对 应关系为：
Figure 395182DEST_PATH_IMAGE017
，
Figure 998333DEST_PATH_IMAGE018
；其中，
Figure 221504DEST_PATH_IMAGE013
为所述聚焦透镜31的 焦距。
可以理解的是，当发光单元为VCSEL激光阵列时，光斑直径和间距如附图2（a）所 示，发光单元位于准直透镜阵列的前焦面，准直透镜阵列的各透镜单元的焦距
Figure 551991DEST_PATH_IMAGE008
为5mm，聚 焦透镜31的焦距
Figure 655470DEST_PATH_IMAGE013
为5mm，准直透镜阵列与聚焦透镜31间距为3mm，
Figure 288576DEST_PATH_IMAGE019
为1/2，
Figure 592519DEST_PATH_IMAGE020
为1/3 （根据前述公式，可得到每个透镜单元的
Figure 477429DEST_PATH_IMAGE021
，则在聚焦透镜31的后焦面的光斑 排布如图2（b）所示。
最后，位于后焦面311的光斑阵列通过投影镜头32投影至工作面，得到投影图像，该投影图像由光源阵列1的各发光单元决定。
由于上述计算式可知，光源阵列1依次经过准直透镜阵列、聚焦透镜31以及投影镜 头32后，得到投影图像的光斑位置与发光位置无关，因此可以根据需要，通过控制
Figure 324163DEST_PATH_IMAGE022
、
Figure 252804DEST_PATH_IMAGE023
、
Figure 558890DEST_PATH_IMAGE024
、
Figure 700021DEST_PATH_IMAGE025
，可改变光斑的位置
Figure 401261DEST_PATH_IMAGE010
，即可以改变后焦面上光斑的间距，从而改变光 斑密度，获得不同的投影图像。
产生投影图像方法：每个发光单元作为像素构成目标图案（如正弦条纹图、格雷码图），目标图案的灰度由发光单元的点亮时长决定，目标图案中灰度低的像素对应的发光单元点亮的时间短，灰度高的像素对应的发光单元亮的时间长。因此通过控制每个发光单元的发光情况，即可实现目标图案的投射。
如附图3所示，在其中一实施例中，定义所述光源阵列1长方向为Y轴方向，宽方向 为X轴方向，厚度方向为Z轴方向，当所需的结构光为光栅条纹时，光源阵列1沿X方向可单独 控制，各列发光单元可以是单个或多个VCSEL、条形LED等；光学元件2为柱面镜阵列，柱面镜 阵列的柱面镜单元与光源阵列1的发光单元一一对应设置；该柱面镜阵列的光焦度方向沿X 方向，用于对光源阵列1发出光束的X方向进行准直，柱面镜单元相对光源阵列沿x方向偏 心，不同位置处的偏心距离不同，具体为
Figure 251536DEST_PATH_IMAGE026
；因此，不同列的发光单元经过柱面 镜阵列后得到沿X方向的准直且偏转角不同的光束，偏转角为
Figure 936595DEST_PATH_IMAGE015
。
光学元件2和聚焦透镜之间设有柱面镜5，柱面镜5的光焦度方向沿Y方向，柱面镜5的光焦度为正，用于缩小光源阵列的Y方向的发散角，而不改变X方向的发散角。
聚焦透镜31的光焦度为正，将经过柱面镜阵列后的X方向的准直光聚焦到聚焦透 镜31的后焦面311上，后焦面的每列光条位置坐标为
Figure 412576DEST_PATH_IMAGE027
，同时将光束的Y方向汇聚； 最后投影镜头32将后焦面311成像至工作面得到投影图像，其投影图像由光源阵列1的各列 发光单元的开关和点亮时间长度决定。
由于上述计算式可知，光源阵列1依次经过准直透镜阵列、聚焦透镜31以及投影镜头32后，得到投影图像的光条位置与发光位置无关，若每列光由多个VCSEL组成，则通过控制柱面镜5和聚焦透镜31之间的间距，可以控制光束在后焦面Y方向的均匀性。
本发明的技术方案通过改变光学元件2的偏心可改变光束单元的间距，使得光源阵列1产生的光束单元间距不受光源阵列1中发光单元的排布间隔的限制，减小对光源阵列排布的要求，从而产生更高密度和分辨率的结构光投影图案。
上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。

Claims (7)

1.一种基于光源阵列的3D结构光的产生装置，其特征在于，包括：
光源阵列（1），包含多个发光单元，各所述发光单元单独可控；
光学元件（2），与所述发光单元对应设置，用于对所述光源阵列（1）准直得到准直光；
聚焦透镜（31），相间隔设置于所述光学元件（2）背离所述光源阵列（1）的一侧；
投影镜头（32），相间隔设置于所述聚焦透镜（31）背离所述光学元件（2）的一侧；
所述光源阵列（1）、所述光学元件（2）、所述聚焦透镜（31）以及所述投影镜头（32）沿同一轴线设置；
所述发光单元为单独控制亮灭的光源，所述光源阵列（1）透过所述光学元件（2）得到准直光，再透过所述聚焦透镜（31）成像于所述聚焦透镜（31）的后焦面（311），透过所述投影镜头（32）投影至工作面（4）成像；
所述光学元件（2）为准直透镜阵列，所述准直透镜阵列包含多个透镜单元，各所述透镜单元与所述发光单元一一对应设置；
任一所述发光单元所处位置为
Figure DEST_PATH_IMAGE002
，与所述发光单元对应的所述透镜单元的中心相对偏移一个坐标
Figure DEST_PATH_IMAGE004
，可表示为：
Figure DEST_PATH_IMAGE006
；
Figure DEST_PATH_IMAGE008
；其中，
Figure DEST_PATH_IMAGE010
由相邻所述发光单元之间的距离与目标光斑间距决定；
或者，
所述光学元件（2）为柱面镜阵列，定义所述光源阵列（1）长方向为Y轴方向，宽方向为X轴方向，厚度方向为Z轴方向；所述柱面镜阵列沿X轴方向偏心，用于对所述光源阵列（1）的X方向准直；柱面镜单元相对于所述光源阵列沿X轴偏心，偏心距离为
Figure DEST_PATH_IMAGE012
。
2.根据权利要求1所述的基于光源阵列的3D结构光的产生装置，其特征在于，所述透镜单元出射的准直光的偏转角为：
Figure DEST_PATH_IMAGE014
；
Figure DEST_PATH_IMAGE016
；其中，
Figure DEST_PATH_IMAGE018
为透镜单元的焦距，
Figure DEST_PATH_IMAGE020
分别为所述透镜单元偏移的坐标值。
3.根据权利要求2所述的基于光源阵列的3D结构光的产生装置，其特征在于，所述后焦面的光斑位置
Figure DEST_PATH_IMAGE022
与所述发光单元
Figure 203244DEST_PATH_IMAGE002
的对应关系为：
Figure DEST_PATH_IMAGE024
；
Figure DEST_PATH_IMAGE026
，其中，
Figure DEST_PATH_IMAGE028
为所述聚焦透镜的焦距。
4.根据权利要求1所述的基于光源阵列的3D结构光的产生装置，其特征在于，所述光源阵列（1）在X轴方向各发光单元单独控制。
5.根据权利要求4所述的基于光源阵列的3D结构光的产生装置，其特征在于，所述光学元件（2）的柱面镜单元与所述发光单元一一对应设置；偏转角为
Figure DEST_PATH_IMAGE030
。
6.根据权利要求4所述的基于光源阵列的3D结构光的产生装置，其特征在于，所述光学元件（2）和所述聚焦透镜（31）之间设有柱面镜（5），所述柱面镜（5）的光焦度方向沿Y方向，用于缩小光源阵列（1）的Y方向的发散角，而不改变X方向的发散角。
7.根据权利要求4所述的基于光源阵列的3D结构光的产生装置，其特征在于，所述光源阵列（1）依次透过所述光学元件（2）、所述聚焦透镜（31）成像于所述聚焦透镜（31）的后焦面（311），所述后焦面（311）的各列光条位置坐标为
Figure DEST_PATH_IMAGE032
。
CN202210413532.2A 2022-04-20 2022-04-20 一种基于光源阵列的3d结构光的产生装置 Active CN114509880B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210413532.2A CN114509880B (zh) 2022-04-20 2022-04-20 一种基于光源阵列的3d结构光的产生装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210413532.2A CN114509880B (zh) 2022-04-20 2022-04-20 一种基于光源阵列的3d结构光的产生装置

Publications (2)

Publication Number Publication Date
CN114509880A CN114509880A (zh) 2022-05-17
CN114509880B true CN114509880B (zh) 2022-07-19

Family

ID=81554984

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210413532.2A Active CN114509880B (zh) 2022-04-20 2022-04-20 一种基于光源阵列的3d结构光的产生装置

Country Status (1)

Country Link
CN (1) CN114509880B (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8786170B2 (en) * 2010-08-24 2014-07-22 Delta Electronics, Inc. Optical system for providing telecentric light beam
CN104049445B (zh) * 2013-03-11 2016-12-28 深圳市绎立锐光科技开发有限公司 发光装置及投影系统
KR102544297B1 (ko) * 2015-01-29 2023-06-15 에이엠에스-오스람 아시아 퍼시픽 피티이. 리미티드 패턴 조명을 생성하기 위한 장치
US9273846B1 (en) * 2015-01-29 2016-03-01 Heptagon Micro Optics Pte. Ltd. Apparatus for producing patterned illumination including at least one array of light sources and at least one array of microlenses
CN107167996A (zh) * 2017-06-05 2017-09-15 深圳奥比中光科技有限公司 自适应调整的激光投影模组及深度相机
CN110133853B (zh) * 2018-02-09 2021-09-21 舜宇光学（浙江）研究院有限公司 可调散斑图案的调节方法及其投射方法
CN113534589A (zh) * 2020-04-21 2021-10-22 鸿富锦精密工业（深圳）有限公司 光源装置及具有所述光源装置的投影仪

Also Published As

Publication number Publication date
CN114509880A (zh) 2022-05-17

Similar Documents

Publication Publication Date Title
KR20210032359A (ko) 구조형 광의 프로젝터
CN105143820B (zh) 利用多个发射器进行深度扫描
US20180231373A1 (en) Projectors of structured light
CN102538679B (zh) 图像相关位移传感器
CN110133853B (zh) 可调散斑图案的调节方法及其投射方法
EP2399222A1 (en) Speckle noise reduction for a coherent illumination imaging system
JP2014033447A (ja) 画像センサ位置決め装置および方法
JP2015524050A (ja) ターゲット物体の表面の深さをプロファイリングするための装置及び方法
US9448490B2 (en) EUV lithography system
CN107533239A (zh) 光扫描控制装置
US20040207848A1 (en) Device for the generation and projection of light marks
CN113156743A (zh) 红外3d探测发射端模组及深度相机
CN114509880B (zh) 一种基于光源阵列的3d结构光的产生装置
WO2021032298A1 (en) High resolution optical depth scanner
US11326874B2 (en) Structured light projection optical system for obtaining 3D data of object surface
CN111610534B (zh) 成像装置及成像方法
CN114705131B (zh) 一种用于3d测量的可定位多线扫描产生方法和系统
CN113950638A (zh) 基于vcsel的图案投影仪
CN217085782U (zh) 一种结构光三维成像模块及深度相机
CN113614604A (zh) 光源装置、检测装置和电子设备
JP2009036631A (ja) 三次元形状計測装置、および当該三次元形状計測装置の製造方法
JP2012026998A (ja) 離散的な発散光線束群を用いた合焦点三次元座標測定方法および装置
CN112859484A (zh) 结构光成像装置的红外激光元件及结构光成像装置
JP2004053532A (ja) 光学的形状測定装置
CN214623266U (zh) 红外3d探测发射端模组及深度相机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant