CN107388990A - 基于多面旋转棱镜的激光光栅条纹投射系统 - Google Patents
基于多面旋转棱镜的激光光栅条纹投射系统 Download PDFInfo
- Publication number
- CN107388990A CN107388990A CN201710589236.7A CN201710589236A CN107388990A CN 107388990 A CN107388990 A CN 107388990A CN 201710589236 A CN201710589236 A CN 201710589236A CN 107388990 A CN107388990 A CN 107388990A
- Authority
- CN
- China
- Prior art keywords
- laser
- signal
- rotating prism
- multifacet
- prism
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optical Communication System (AREA)
- Semiconductor Lasers (AREA)
Abstract
本发明涉及一种基于多面旋转棱镜的激光光栅条纹投射系统，包括壳体及安装在壳体内的半导体激光器、参考激光器、多面旋转棱镜、光电二极管及系统控制电路板，系统控制电路板通过单片机实现对激光器进行正弦调制和方波调制，过电压保护、调制信号数据的掉电保护、多面旋转棱镜的驱动、多面旋转棱镜转速的测控、与PC机实时通讯。本系统控制部分以多面旋转棱镜为反射镜面，以激光器为信号调制的执行元件，以STM32F103作为控制芯片，投射出不同特性的光栅条纹，以光电二极管作为棱镜转速的检测元件，配合与PC机的串行通信，实时显示检测数据及控制调制信号的频率和直流偏置量，实现激光器调制的控制。
Description
技术领域：
本发明属于光学测量领域，涉及激光光栅条纹投射系统，由其是一种基于多面旋转棱镜的激光光栅条纹投射系统。
技术背景：
物体三维测量技术已逐渐向高精度、高速、复杂环境的方向发展。结构光深度视觉传感技术作为主要的测量技术，具有非接触、精度高、速度快等优点。基于数字光处理技术(DLP)的数字投影系统常用来产生光栅条纹，利用相位解算方法能够一次快速获取能达到视频帧率、像素级、全视场的三维(3D)数据。但基于白光光源和投影光学系统的光栅条纹投射方法难以获得高空间分辨率、高精度、连续的正弦光栅条纹，限制了其在微小器件精密测量场合下的应用，同时对于小尺寸、金属器件的精密，受工业现场环境及被测物表面反射率影响较大，基于线激光光源的结构光扫面系统常被应用在这些场合，但测量时只能对单条激光线进行特征提取，测量速率有限。为了解决物体三维在线测量在测量速度，精度和测量适应性之间的矛盾。本系统采用多面旋转棱镜设计的激光光栅条纹投射系统。
发明内容：
本发明的目的在于解决三维形貌测量技术在精度、测量速度及测量适应性之间的矛盾，该系统的控制部分以STM32F103C8T6单片机为核心，实现激光器的正弦信号调制及方波信号的调制、激光器过电压保护、多面旋转棱镜的驱动、多面旋转棱镜转速的检测及提供控制同步信号、数据的掉电保护和与PC机串行通信。
实现本发明目的的技术方案：
一种基于多面旋转棱镜的激光光栅条纹投射系统，包括壳体及安装在壳体内的半导体激光器、参考激光器、多面旋转棱镜、光电二极管及系统控制电路板，系统控制电路板通过单片机实现对激光器进行正弦调制和方波调制，过电压保护、调制信号数据的掉电保护、多面旋转棱镜的驱动、多面旋转棱镜转速的测控、与PC机实时通讯。
单片机采用ST公司的STM32F103单片机；
激光器的正弦调制，由数模转换器输出正弦信号和直流偏置，通过求和运算器输出正弦调制信号来实现对激光器的调制。
激光器的方波调制，利用PWM(脉宽调制解调)产生方波信号。控制器STM32F103内部集成了相应的电路，可以通过它的PWM模式产生方波信号，该方波信号通过缓冲器(74HC125)后便可调制激光器。
激光器的过压保护，正弦调制信号通过电压跟随器后进入采样电路(运放芯片UA741)对正弦信号峰值电压进行采样，之后经过精密电阻的分压后被微控制器的模数转换器进行采样监控。
数据的掉电保护，采用串行IIC协议接口的EEPROM存储芯片AT24C02实现调制信号数据的保存。
多面旋转棱镜的驱动，由电机驱动器实现，STM32F103输出触发信号控制电机驱动器驱动多面旋转棱镜。
多面旋转棱镜转速的测量，由光电二极管将光信号转换成电信号，通过放大器放大信号，利用电压比较器产生脉冲信号(数字信号)，单片机采集后进行相应处理得出转速。
作为本发明的进一步改进，激光器正弦调制过程如下：
(1)激光器的调制幅值电压为3-5V。单片机分别控制数模转换器DAC7811和TLV5636输出峰值电压为3V的正弦信号和0-2v的直流偏置信号。
(2)将正弦信号和直流偏置信号通过反相求和运算器(主要的运放是TLC2272)进行反相求和，使信号幅值在-3v和-5v之间变化。
(3)求和运算器输出的负调制信号通过反比例放大器(放大倍数为1)实现信号由负到正的反相。
(4)将(3)中输出的调制信号送入激光器，实现激光器投影条纹的变化。
作为本发明的进一步改进，多面旋转棱镜转速测量过程如下：
(1)参考激光器发出的激光经过棱镜反射到光电二极管上，经光信号转换为微弱的电信号。
(2)在(1)中输出的电信号通过同相比例放大器(AD8001)将信号进行放大，并经过电压跟随器(ADOP07)进行信号的缓冲和隔离。
(3)将放大的信号通过电压比较器(LM393)实现模拟信号数字化，得到LVTTL电平信号。
(4)电平信号通过缓冲器(74HC125)后送入单片机，经单片机处理得出棱镜的转速。
作为本发明的进一步改进，由PC机通过串口向单片机发送不同的标识码实现对正弦信号频率、方波频率及直流偏置量的控制，单片机通过串口向PC机发送当前信号的频率和直流偏置量以及定时的向PC机发送棱镜转速值。
本发明提供了一种激光管光栅条纹投射系统，系统外观结构采用多个零部件组合装配，智能控制部分以STM32F103单片机为核心，实现了激光器的正弦调制和方波调制，激光器过电压保护、调制信号数据的掉电保护、多面旋转棱镜转速的测控和PC机的实时通信，在工业三维形貌测量市场具体较好的应用前景。
本发明的有益效果在于：
(1)本系统智能控制部分以多面旋转棱镜为反射镜面，以激光器为信号调制的执行元件，以STM32F103作为控制芯片，投射出不同特性的光栅条纹，以光电二极管作为棱镜转速的检测元件，配合与PC机的串行通信，实时显示检测数据及控制调制信号的频率和直流偏置量。实现激光器调制的智能控制。
(2)本系统可以实现激光光栅条纹频率、脉宽和相位的改变以得到不同模式的条纹，还可以利用半导体激光的特性，方便实现光强的调制。
(3)本系统除了应用于小尺寸器件测量外，通过修改光学参数，也可以方便地应用在快速大范围的三维形貌测量中。依赖本系统投射的方便性，可以直接通过改变电路调制信号方便地实现光栅条纹投射模式的改变。
(4)多面旋转棱镜的安装座采用半包围的设计，将棱镜下半部分包裹起来只留下棱镜面露出来，使得棱镜旋转稳定。
(5)半导体激光器可以直接固定在安装座上，可以自由的左右调整安装座的位置，达到半导体激光器最佳的投射角度。
(6)系统的外观机构采用多个零件组合，拆卸调试方便。在特定零件上有电路板的安装孔，很好的将各个部分(电路板、光电二极管、参考激光器等)封装在一起。体积小，可靠性高，应用方便灵活，可以满足不同的测量环境。
附图说明
图1为本系统外观图；
图2为本系统结构爆炸图；
其中，1-壳体；1-1～1-6为壳体的面板；1-7、1-8为壳体的框架；2-显示屏安装孔；3-多面旋转棱镜固定座；4-参考激光器；5-参照激光器固定座；6-光电二极管；7-多面旋转棱镜；8-半导体激光器固定座；9-半导体激光器；10-导向槽。11-缺口
图3为本系统控制电路板电路框图；
图4为本系统恢复掉电数据及过压保护功能实现流程图；
图5为本系统正弦调制信号频率、直流偏置设置及数据保护功能实现流程图；
图6为本系统多面旋转棱镜转速测量功能实现流程图。
具体实施方式
下面结合附图并通过具体实施例对本发明作进一步详述，以下实施例只是描述性的，不是限定性的，不能以此限定本发明的保护范围。
一种基于多面旋转棱镜的激光光栅条纹投射系统，包括壳体1及安装在壳体内的半导体激光器9、参考激光器4、多面旋转棱镜7、光电二级管6，在壳体的左侧内壁1-2固装多面旋转棱镜固定座3，在多面旋转棱镜固定座上安装多面旋转棱镜，在多面旋转棱镜固定座的下方左侧内壁上间隔平行制有两条倾斜的导向槽10，在两条导向槽内滑动安装半导体激光器固定座8，在半导体激光器固定座上安装半导体激光器。半导体激光器通过移动找到最佳的投射位置，使得投射系统的性能得到优化。在壳体顶面内壁1-3固定参照激光器固定座5及光电二极管，在参考激光器固定座上安装参考激光器。
系统控制电路板安装在壳体的右侧内壁1-5上；多面旋转棱镜驱动板安装在壳体的后侧内壁1-4上；显示屏安装在壳体的顶面1-3外侧，电源模块固定在壳体的顶面内侧，在壳体的顶面制有一显示屏安装孔2，在壳体的前面板1-1、1-6制有一缺口11，激光光栅条纹从此缺口投射出去。在壳体上还制有与PC机串行通信的接口，本结构设计科学合理，小巧灵活，可以应用于不同的测量场合。
半导体激光器及多面旋转棱镜的安装座均固定在壳面上，增加了该壳面的厚度，使得多面旋转棱镜在旋转过程中更加稳定。本系统机构的设计优化了系统的整体体积，此外本系统结构除了起稳定固定作用的多面旋转棱镜固定座和半导体激光器固定座采用铁材料外，其他结构构件均采用铝材料，使整个系统轻便。
所述的系统控制电路板包括单片机及分别与单片机连接的电源模块、存储器、电压比较器、两个D/A转换器、电阻分压电路单元，单片机还连接显示屏、PC机及参考激光器。电压比较器连接比例放大器，比例放大器连接光电二极管。两个D/A转换器均连接运算加法器，运算加法器分别连接半导体激光器及采样保持电路单元，采样保持电路单元连接电阻分压电路单元，电阻分压电路单元连接单片机。
图3为本系统控制电路板电路框图。单片机控制两个D/A转换器输出正弦信号和直流偏置量，运算加法器将两个信号叠加后送入半导体激光器调制，同时采样保持电路实时的对正弦调制信号进行采样并通过分压处理后送入单片机的A/D转换器中。光电二极管接受到反射的激光后转换为电信号，电信号经过放大器放大输出到电压比较器与参考电压比较后输出TTL电平信号送入单片机。数据存储器用来存储调制信号的信息。单片机内部集成的PWM电路产生方波信号调制半导体激光器。PC机与单片机通信设置各个调制信号的参数，同时回显在PC机。在显示屏上显示各个调制信号的参数信息、多面旋转棱镜转速及信号峰值电压。
STM32F103单片机的工作电压2.0～3.6V，设计的电源电路为单片机等各个芯片供电。本系统的一部分运放芯片为双电源供电，从系统进入的负电压直接给各个运放供电，正电压除了给运放等芯片供电外，通过LM1117稳压器输出3.3V给单片机和3.3V电压工作的模块供电。
控制系统以单片机为核心，配合各种芯片及相关电路实现激光光栅条纹的投射。采用ST公司的STM32F103C8T6单片机，低功耗、高性能、低成本的32位单片机，最高工作频率可达72MHz及丰富的外设可以满足设计者的不同需求。
图4、图5和图6为系统功能实现流程图。本系统中单片机的主要任务是完成调制信号的产生，多面棱镜转速测量、峰值电压检测、数据掉电保护、与PC机通信及参数显示。单片机从存储器中读取调制信号信息并写入相应的模块中；还需要检测峰值电压是否超过阈值并做出相应的操作；最后进行参数的显示。在定时器中设置定时值后，便可在定时中断中产生正弦信号波形。单片机的输入捕捉中断可以实时解算棱镜的转速。当单片机接受到数据时判断是那个参数设置标示符，根据标识符置1相应的标志位，通过标志位进行信号参数的设置及回显在PC端。
以上所述的仅是本发明的优选实施方式，应当指出，对于本领域的普通技术人员来说，在不脱离发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
Claims (10)
1.一种基于多面旋转棱镜的激光光栅条纹投射系统，其特征在于：包括壳体及安装在壳体内的半导体激光器、参考激光器、多面旋转棱镜、光电二极管及系统控制电路板，系统控制电路板通过单片机实现对激光器进行正弦调制和方波调制，过电压保护、调制信号数据的掉电保护、多面旋转棱镜的驱动、多面旋转棱镜转速的测控、与PC机实时通讯。
2.根据权利要求1所述的基于多面旋转棱镜的激光光栅条纹投射系统，其特征在于：所述的正弦调制由数模转换器输出正弦信号和直流偏置，通过求和运算器输出正弦调制信号来实现对激光器的调制。
3.根据权利要求1所述的基于多面旋转棱镜的激光光栅条纹投射系统，其特征在于：所述的方波调制是通过单片机的PWM模式产生方波信号，该方波信号通过缓冲器后调制激光器。
4.根据权利要求1所述的基于多面旋转棱镜的激光光栅条纹投射系统，其特征在于：所述的过电压保护是激光器的正弦调制信号通过电压跟随器后进入采样电路，对正弦信号峰值电压进行采样，之后经过精密电阻的分压后被微控制器的模数转换器进行采样监控。
5.根据权利要求1所述的基于多面旋转棱镜的激光光栅条纹投射系统，其特征在于：所述的棱镜转速的测控是由光电二极管将参考激光器发出的光信号转换成电信号，通过放大器放大信号，利用电压比较器产生脉冲数字信号，单片机采集后进行相应处理得出转速。
6.根据权利要求1所述的基于多面旋转棱镜的激光光栅条纹投射系统，其特征在于：所述的系统控制电路板包括单片机及分别与单片机连接的电源模块、存储器、电压比较器、两个D/A转换器、电阻分压电路单元，单片机还连接显示屏、PC机及参考激光器，电压比较器连接比例放大器，比例放大器连接光电二极管，两个D/A转换器均连接运算加法器，运算加法器分别连接半导体激光器及采样保持电路单元，采样保持电路单元连接电阻分压电路单元，电阻分压电路单元连接单片机。
7.根据权利要求1所述的基于多面旋转棱镜的激光光栅条纹投射系统，其特征在于：在壳体的左侧内壁固装多面旋转棱镜固定座，在多面旋转棱镜固定座上安装多面旋转棱镜及其驱动电机，在多面旋转棱镜固定座的下方左侧内壁上间隔平行制有两条倾斜的导向槽，在两条导向槽内滑动安装半导体激光器固定座，在半导体激光器固定座上安装半导体激光器，在壳体的顶面内壁安装参考激光器固定座和光电二极管，在参考激光器固定座上安装参考激光器，系统控制电路板安装在壳体的右侧内壁上；多面旋转棱镜驱动板安装在壳体的后侧内壁上；显示屏安装在壳体的顶面外侧，电源模块固定在壳体的顶面内侧，在壳体的顶面嵌装显示屏，在壳体的前面板制有一缺口，激光光栅条纹从此缺口投射出去，在壳体上还制有与PC机串行通信的接口。
8.根据权利要求1或2所述的基于多面旋转棱镜的激光光栅条纹投射系统，其特征在于：所述激光器正弦调制过程如下：
(1)激光器的调制幅值电压为3-5V，单片机分别控制两个数模转换器输出峰值电压为3V的正弦信号和0-2v的直流偏置信号；
(2)将正弦信号和直流偏置信号通过反相求和运算器进行反相求和，使信号幅值在-3v和-5v之间变化；
(3)求和运算器输出的负调制信号通过反比例放大器实现信号由负到正的反相；
(4)将(3)中输出的调制信号送入激光器，实现激光器投影条纹的变化。
9.根据权利要求1或2所述的基于多面旋转棱镜的激光光栅条纹投射系统，其特征在于：多面旋转棱镜转速测量过程如下：
(1)固定在顶面内壁的参考激光器发出的激光经过多面旋转棱镜反射到光电二极管上，光信号转换为微弱的电信号；
(2)在(1)中输出的电信号通过同相比例放大器将信号进行放大，并经过电压跟随器进行信号的缓冲和隔离；
(3)将放大的信号通过电压比较器实现模拟信号数字化，得到LVTTL电平信号；
(4)电平信号通过缓冲器后送入单片机，经单片机处理得出棱镜的转速。
10.根据权利要求1所述的基于多面旋转棱镜的激光光栅条纹投射系统，其特征在于：PC机通过串口向单片机发送不同的标识码实现对正弦信号频率、方波频率及直流偏置量的控制，单片机通过串口向PC机发送当前信号的频率和直流偏置量以及定时的向PC机发送棱镜转速值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710589236.7A CN107388990B (zh) | 2017-07-19 | 2017-07-19 | 基于多面旋转棱镜的激光光栅条纹投射系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710589236.7A CN107388990B (zh) | 2017-07-19 | 2017-07-19 | 基于多面旋转棱镜的激光光栅条纹投射系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107388990A true CN107388990A (zh) | 2017-11-24 |
| CN107388990B CN107388990B (zh) | 2019-07-23 |
Family
ID=60340876
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710589236.7A Active CN107388990B (zh) | 2017-07-19 | 2017-07-19 | 基于多面旋转棱镜的激光光栅条纹投射系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107388990B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110068288A (zh) * | 2019-05-28 | 2019-07-30 | 西南科技大学 | 一种激光扫描复合编码条纹整场投射与采集装置 |
| CN116953486A (zh) * | 2023-09-18 | 2023-10-27 | 深圳华海达科技有限公司 | 一种芯片测试治具及芯片检测方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1041035A (zh) * | 1988-09-05 | 1990-04-04 | 太原工业大学 | 激光精密测量物体直线度装置及其测量方法 |
| CN1059056A (zh) * | 1990-08-15 | 1992-02-26 | 浙江大学 | 一种正弦脉宽调制控制电路 |
| CN102589476A (zh) * | 2012-02-13 | 2012-07-18 | 天津大学 | 高速扫描整体成像三维测量方法 |
| CN106772414A (zh) * | 2016-10-14 | 2017-05-31 | 北醒（北京）光子科技有限公司 | 一种提高tof相位法测距雷达测距精度的方法 |
| CN206905716U (zh) * | 2017-07-19 | 2018-01-19 | 天津科技大学 | 基于多面旋转棱镜的激光光栅条纹投射系统 |
-
2017
- 2017-07-19 CN CN201710589236.7A patent/CN107388990B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1041035A (zh) * | 1988-09-05 | 1990-04-04 | 太原工业大学 | 激光精密测量物体直线度装置及其测量方法 |
| CN1059056A (zh) * | 1990-08-15 | 1992-02-26 | 浙江大学 | 一种正弦脉宽调制控制电路 |
| CN102589476A (zh) * | 2012-02-13 | 2012-07-18 | 天津大学 | 高速扫描整体成像三维测量方法 |
| CN106772414A (zh) * | 2016-10-14 | 2017-05-31 | 北醒（北京）光子科技有限公司 | 一种提高tof相位法测距雷达测距精度的方法 |
| CN206905716U (zh) * | 2017-07-19 | 2018-01-19 | 天津科技大学 | 基于多面旋转棱镜的激光光栅条纹投射系统 |
Non-Patent Citations (2)
| Title |
|---|
| 杨国威: "激光高速扫描频闪成像三维尺寸测量关键技术研究", 《中国博士学位论文全文数据库 信息科技辑》 * |
| 杨国威等: "频闪激光光栅条纹实时投射系统", 《光学学报》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110068288A (zh) * | 2019-05-28 | 2019-07-30 | 西南科技大学 | 一种激光扫描复合编码条纹整场投射与采集装置 |
| CN116953486A (zh) * | 2023-09-18 | 2023-10-27 | 深圳华海达科技有限公司 | 一种芯片测试治具及芯片检测方法 |
| CN116953486B (zh) * | 2023-09-18 | 2023-12-05 | 深圳华海达科技有限公司 | 一种芯片测试治具及芯片检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107388990B (zh) | 2019-07-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101961698B (zh) | 一种嵌入式喷枪位姿实时测量装置及方法 | |
| CN103727876B (zh) | 基于平行激光线的带材宽度及中心测量系统和方法 | |
| CN106248347B (zh) | 一种mems扫描镜性能参数测量系统及方法 | |
| CN101629832B (zh) | 基于颜色识别的旋转编码器 | |
| CN201233224Y (zh) | Ccd激光三角位移传感器 | |
| CN206920606U (zh) | 一种手持式激光测距装置 | |
| CN107388990A (zh) | 基于多面旋转棱镜的激光光栅条纹投射系统 | |
| CN206905716U (zh) | 基于多面旋转棱镜的激光光栅条纹投射系统 | |
| CN203998493U (zh) | 便携式电梯智能检测仪 | |
| CN206330727U (zh) | 一种led光源频闪检测仪 | |
| CN203758459U (zh) | 基于线阵ccd的光栅位移传感器 | |
| CN218247101U (zh) | 测距设备及机器人 | |
| CN203811190U (zh) | 测距装置 | |
| Shi et al. | Track image acquisition based on the signal device of the photoelectric encoder | |
| CN215867127U (zh) | 一种多功能测距装置 | |
| CN101482407A (zh) | 智能型太阳角度探测仪 | |
| CN104236665B (zh) | 非接触式液位测量系统和方法 | |
| CN202795231U (zh) | 一种3d空间输入系统 | |
| CN102721669A (zh) | 角度调制型和波长调制型相结合的多通道spr传感系统及检测方法 | |
| CN204807044U (zh) | 一种位移传感器 | |
| CN202494519U (zh) | 激光测距红外测温仪 | |
| CN113776432A (zh) | 一种全天时、全自动光电式垂线坐标仪 | |
| CN202994479U (zh) | 自动3d四轮定位仪 | |
| CN1218162C (zh) | 应用于伺服系统的磁光电编码器 | |
| CN201406622Y (zh) | 道路弯沉光电快速检测装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |