CN107402010B - 基于斯托克斯矢量光流及相位的全偏振信息仿生导航方法 - Google Patents
基于斯托克斯矢量光流及相位的全偏振信息仿生导航方法 Download PDFInfo
- Publication number
- CN107402010B CN107402010B CN201710607062.2A CN201710607062A CN107402010B CN 107402010 B CN107402010 B CN 107402010B CN 201710607062 A CN201710607062 A CN 201710607062A CN 107402010 B CN107402010 B CN 107402010B
- Authority
- CN
- China
- Prior art keywords
- micro
- polarization
- light
- polarized
- full
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/02—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by astronomical means
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- General Physics & Mathematics (AREA)
- Astronomy & Astrophysics (AREA)
- Photometry And Measurement Of Optical Pulse Characteristics (AREA)
- Other Investigation Or Analysis Of Materials By Electrical Means (AREA)
Abstract
本发明提出一种基于天空偏振斯托克斯矢量光流及相位的全偏振信息组合导航方法与采集装置,具有仿反射型重叠式复眼晶锥的微杯阵列与微绒毛的多角度纳米等离子透镜集成的二次聚焦偏振微光增强器结构,可应用于日光和月光全天候条件。全偏振信息导航传感器主要是由曲面微杯阵列结构、玻璃体支撑结构、多角度变间距纳米等离子体透镜结构、CMOS图像传感器等主要部分构成。该发明为光机电一体化设计,通过一种仿生曲面微杯阵列结构以及多角度变间距纳米光栅结构实现了可以在全天候应用的偏振信息采集装置,利用偏振图像及偏振光流算法可实时输出偏振光流与偏振方位角,可以作为组合导航应用的速度与航向角信息,实现了基于斯托克斯矢量光流及相位的全偏振信息导航的全天候应用。该发明具有集成度高,不易受干扰,全天候应用等优点。
Description
技术领域
本发明属于采用偏振光理论与偏振光流算法相结合的光导航信息采集及计算设备。
背景技术
导航技术在人类活动中具有重要的作用,目前在移动机器人等地面载体中应用最多的是惯性导航和卫星导航。惯性导航系统误差会随时间积累,长期应用时精度较差。卫星导航目前应用最为广泛,但是易受环境遮蔽或电磁干扰,甚至可能被人为利用输出错误的欺骗信息。基于天空光偏振分布模式图并以太阳子午线为基准来获取方向信息的新型偏振导航方法成为了研究热点。但是目前的偏振导航器件都仅能输出导航中的角度信息,无法得到载体的速度信息。普通光流法是目前运动图像分析的重要方法,是指时变图像中模式运动速度。光流表达了图像的变化,由于它包含了目标运动的信息,因此可被观察者用来确定目标的运动情况。目前的光流算法主要都是基于自然光图像灰度恒定假设利用基本光流约束方程建立,没有考虑光的固有偏振属性;同时基于光流的视觉导航大多仅能应用于日光环境下,面向夜晚微弱光环境条件的应用尚无法实现。本发明提出了一种基于天空偏振光斯托克斯矢量光流及相位的全偏振信息组合导航方法与采集装置。通过模仿一种热带夜行性淡水鱼的视网膜和夜行性蜣螂的复眼结构,设计出仿反射型重叠式复眼晶锥的微杯阵列与微绒毛的多角度纳米等离子透镜集成的二次聚焦偏振微光增强器结构,将微光增强器通过纳米压印工艺制作于CMOS图像敏感基底上,并利用嵌入式系统实现了一种能应用于日光和月光全天候条件的基于斯托克斯矢量光流及相位的全偏振信息仿生导航装置。
发明内容
针对以上问题的提出,本发明提出的一种偏振微光增强装置,包括:
多个作为微光环境下聚光元器件的曲面微杯阵列、设置在所述阵列下方的变间距纳米等离子透镜以及设置在所述透镜下方的图像传感器;
所述的曲面微杯阵列中包括多个分布在曲面的微杯;
使用时,所述的曲面微杯阵列将自然微光进行汇聚后引导微光照射所述的变间距纳米等离子透镜;
所述微光经过所述变间距纳米等离子透镜转化成四个方向0°、45°、90°以及135°的偏振光信号;
作为优选的实施方式,所述的曲面微杯阵列中每个微杯的中轴线汇聚于曲面所在圆的圆心;所述的变间距纳米等离子透镜设置在圆心的正下方。
更进一步的,所述的曲面为半鼓型壳;组合状态下,多个所述的微杯底面相接组成所述的曲面。
作为优选的实施方式,所述的变间距纳米等离子透镜包括0°光栅单元、45°光栅单元、90°光栅单元、135°光栅单元;
每个所述光栅单元覆盖相邻的像素点,均匀分布在整个CMOS图像传感器。
一种基于斯托克斯矢量光流及相位的全偏振信息仿生导航方法,包括如下步骤:
—采用所述的偏振微光增强装置,分别获取0°、45°、90°和135°偏振光信号;
—用MULLER矩阵表示偏振器件对原光波偏振属性的改变;并将所述0°、45°、90°和135°所述MULLER矩阵,求解出入射光束的斯托克斯分量I、Q、U、V中,I为投影在所述传感器通道的传感器单元上的天空光强,Q为0°方向偏振分量的光强,U为45°方向偏振分量光强,V是圆偏振分量光强;
所述泛函能量如下式所示:
—将得到的偏振斯托克斯矢量Q、U带入上式就可以得到偏振光流算法:
—解欧拉方程,采用递归算法最后得到基于斯托克斯矢量的光流值为:
对以上模型进行线性离散化,得到卡尔曼滤波器状态方程与测量方程为:
式中Wk与Vk为零均值白噪声,对应的方差阵为Qk和;Xk为系统状态向量;Φk+1,k为状态转移矩阵;Hk为观测矩阵,由此得到卡尔曼滤波器更新公式如下:
状态一步预测估计:
状态估计为:
一步预测均方差:
估计均方误差矩阵:
更进一步的,所述表示偏振器件对原光波偏振属性的改变的MULLER矩阵如下:
式中,ψ为偏振光栅的偏振角度。
由于采用了上述技术方案,本发明给出的一种偏振微光增强采集装置以及基于斯托克斯矢量光流及相位的全偏振信息仿生导航方法,可直接利用太阳可见光或者夜晚月光,经过曲面微杯阵列结构、多角度变间距纳米等离子体透镜结构,结合CMOS图像传感器与DSP嵌入式技术进行数据整合,可连续实时的推导计算出当前载体的运动速度和方向。
附图说明
为了更清楚的说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明中偏振微光增强器在CMOS传感器上的分布结构示意图;图1a为整体结构示意图,图1b为图1a的细节图;
图2为本发明中曲面阵列微杯结构示意图;图2a为曲面阵列微杯结构的主视图以及单个微杯结构示意图;图2b为曲面阵列微杯结构的底视图;
图3为本发明中玻璃体支撑结构示意图;图3a为支撑结构的侧视图,图3b为支撑结构的立体图;
图4为本发明中多角度变间距纳米狭缝等离子体透镜示意图;图4a为等离子体透镜的整体示意图,图4b为图4a中A部分的细节示意图,图4c为图4b中B-B截面示意图;
图5为本发明中基于斯托克斯矢量光流和相位的全偏振信息组合导航流程示意图;
图6为本发明中载体位置坐标示意图;
图7为本发明中单个偏振微光增强器的工作原理示意图;
图8为本发明中卡尔曼滤波器的算法流程图。
图9为本发明中传感器角度原理示意图
具体实施方式
为使本发明的技术方案和优点更加清楚,下面结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚完整的描述:
如图1所示的基于斯托克斯矢量光流及相位的全偏振信息仿生导航装置包括一个偏振微光增强器结构1,其是由曲面微杯阵列结构2、玻璃体支撑结构3、多角度变间距纳米等离子体结构4构成的。多角度变间距纳米等离子体结构4利用纳米压印工艺集成在CMOS图像传感器5上。
如图4所示多角度变间距纳米等离子体透镜结构包括0°光栅单元6、45°光栅单元7、90°光栅单元9、135°光栅单元8。每个多角度变间距纳米狭缝结构集成在几个相邻的像素点3上,且均匀分布在整个CMOS图像传感器上。
如图9所示空间坐标系,其中黑线是线偏振光的波形图,沿着Z轴的方向是偏振光的传播方向,XY平面内的黑线是偏振光的振动方向,当振动方向和X轴平行的时候我们规定为0°线偏振光,同理振动方向和X轴成45°为45°线偏振光,和Y轴平行为90°线偏振光,以此类推。当偏振片放在偏振光前旋转的时候,偏振片的透光方向和线偏振光的方向一致的时候,投射光强最强。
如图7单个偏振微光增强器的工作原理。本发明具有全天候的使用优点,当本装置置于夜晚微光环境下时,曲面微杯阵列结构2感受外界自然微光,由曲面微杯阵列结构2的微光增强作用,把自然微光汇聚到多角度变间距纳米等离子体透镜结构4上,出射光转化为四个方向的偏振光信号传输到CMOS图像传感器5的感光单元,CMOS图像传感器把光信号转化为电信号传输到DSP图像处理芯片进行后续处理。
作为优选的实施饭昂视,曲面微杯阵列结构作为微弱光环境下的聚光器件。使用ICP工艺对石英玻璃进行刻蚀,通过控制SF6流量控制刻蚀面的倾角,在石英玻璃模板上得到反射型微杯结构,使用溅射技术在石英玻璃模板上溅射一层金属铝,将球状的PDMS膜伸展变形,然后将使用石蜡保护的镀铝石英玻璃模板转移到PDMS膜利用湿法腐蚀液将多余的石英玻璃去除,并将伸展的PDMS膜释放,即可得到曲面阵列排布的反射型微杯结构,如图2所示。
其次,变间距纳米狭缝结构纳米压印模板的制作工艺流程主要利用蒸镀技术逐层蒸镀Ni和Cu,沿与蒸镀方向垂直的面进行腐蚀,控制腐蚀时间,得到合适高度的逆向模板,进行模板的转移,得到变间距金属光栅模板。再利用纳米压印工艺将偏振微光增强器集成制作在CMOS基底上,如图4所示。
基于斯托克斯光流及相位的全偏振信息计算:
斯托克斯分量可以用下列四个参数来表示,即:
S=(I,Q,U,V)T (1)
式中,I是投影在所述传感器通道的传感器单元上的天空光强,Q是0°方向偏振分量的光强,U是45°方向偏振分量光强,V是圆偏振分量光强。
根据MULLER矩阵得:
式中,ψ为偏振光栅的偏振角度。
根据变间距纳米等离子透镜结构可得到三个角度值带入(2)式,就可以联立求解出入射光束的斯托克斯分量I、Q、U,整理得:
进而可得到偏振度和偏振方位角,分别为:
假设光流场同时满足基本约束方程和全局平滑条件。光流的全局平滑条件可以用光流矢量梯度平方来表示:
式中u,v分别是x,y方向上的光流。
将上面得到的偏振斯托克斯矢量Q、U带入上式就可以得到偏振光流算法:
使得EI、EQ、EU达到最小的办法就是解欧拉方程,采用递归算法最后得到基于斯托克斯矢量的光流值:
基于斯托克斯矢量光流和相位的全偏振信息导航算法:
本发明装置通过2)基于斯托克斯光流及相位的全偏振信息解算,可以同时得到载体实时的速度信息与航向角信息,且此信息不存在误差积累,应用以上两种信息能够对移动机器人等载体进行导航定位。
载体运动过程中,控制器以较高频率执行接收全偏振信息导航传感器速度信息的任务,并积分得到位移量;位移量配合传感器输出的航向角信息,能够实时得到载体的位置信息;将得到的位置信息通过卡尔曼滤波器,卡尔曼滤波利用这些实时动态信息,去掉噪声等干扰项,估计出一个较准确的载体位置,实现导航定位。流程图如图3所示。
卡尔曼滤波是对一种对随机信号进行估计的算法,它是采用状态空间法在时域内设计滤波器,采用递推算法将实时量测信息融合在估计值中。目前被应用于导航、通讯、遥感能众多领域。本实施例采用卡尔曼滤波器对基于全偏振信息导航传感器的移动载体做位置估计。
在载体运动过程中,系统状态变量为:
X={x1,y1,φ} (15)
对以上模型进行线性离散化,得到卡尔曼滤波器状态方程与测量方程为:
式中Wk与Vk为零均值白噪声,对应的方差阵为Qk和Rk;Xk为系统状态向量;Φk+1,k为状态转移矩阵;Hk为观测矩阵。由此得到卡尔曼滤波器更新公式如下:
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。
Claims (5)
1.基于斯托克斯矢量光流及相位的全偏振信息仿生导航方法,其特征在于包括如下步骤:
—采用偏振微光增强装置,分别获取0°、45°、90°和135°偏振光信号;
—用MULLER矩阵表示偏振器件对原光波偏振属性的改变;并根据所述0°、45°、90°和135°偏振光信号的MULLER矩阵,求解出入射光束的斯托克斯分量I、Q、U、V中,I为投影在所述传感器通道的传感器单元上的天空光强,Q为0°方向偏振分量的光强,U为45°方向偏振分量光强,V是圆偏振分量光强;
所述泛函能量如下式所示:
—将得到的偏振斯托克斯矢量Q、U带入上式就可以得到偏振光流算法:
—解欧拉方程,采用递归算法最后得到基于斯托克斯矢量的光流值为:
在载体运动过程中,系统状态变量为:
对以上模型进行线性离散化,得到卡尔曼滤波器状态方程与测量方程为:
式中Wk与Vk为零均值白噪声,对应的方差阵为Qk和;Xk为系统状态向量;Φk+1,k为状态转移矩阵;Hk为观测矩阵,由此得到卡尔曼滤波器更新公式如下:
状态一步预测估计:
状态估计为:
一步预测均方差:
估计均方误差矩阵:
所述偏振装置为:多个作为微光环境下聚光元器件的曲面微杯阵列、设置在所述阵列下方的变间距纳米等离子透镜以及设置在所述透镜下方的图像传感器;所述的曲面微杯阵列中包括多个分布在曲面的微杯;使用时,所述的曲面微杯阵列将自然微光进行汇聚后引导微光照射所述的变间距纳米等离子透镜;
所述微光经过所述变间距纳米等离子透镜转化成四个方向0°、45°、90°以及135°的偏振光信号。
2.根据权利要求1所述的基于斯托克斯矢量光流及相位的全偏振信息仿生导航装置,其特征还在于:
所述的曲面微杯阵列中每个微杯的中轴线汇聚于曲面所在圆的圆心;所述的变间距纳米等离子透镜设置在圆心的正下方。
3.根据权利要求2所述的基于斯托克斯矢量光流及相位的全偏振信息仿生导航装置,其特征还在于:
所述的曲面为半鼓型壳;组合状态下,多个所述的微杯底面相接组成所述的曲面。
4.根据权利要求1所述的基于斯托克斯矢量光流及相位的全偏振信息仿生导航装置,其特征还在于:所述的变间距纳米等离子透镜包括0°光栅单元、45°光栅单元、90°光栅单元、135°光栅单元;
每个所述光栅单元覆盖相邻的像素点,均匀分布在整个CMOS图像传感器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710607062.2A CN107402010B (zh) | 2017-07-24 | 2017-07-24 | 基于斯托克斯矢量光流及相位的全偏振信息仿生导航方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710607062.2A CN107402010B (zh) | 2017-07-24 | 2017-07-24 | 基于斯托克斯矢量光流及相位的全偏振信息仿生导航方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107402010A CN107402010A (zh) | 2017-11-28 |
CN107402010B true CN107402010B (zh) | 2020-11-06 |
Family
ID=60402282
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710607062.2A Active CN107402010B (zh) | 2017-07-24 | 2017-07-24 | 基于斯托克斯矢量光流及相位的全偏振信息仿生导航方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107402010B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108375381B (zh) * | 2018-02-08 | 2021-12-21 | 北方工业大学 | 一种基于扩展卡尔曼滤波的仿生偏振传感器多源误差标定方法 |
CN111595329B (zh) * | 2020-05-29 | 2022-03-08 | 北京航空航天大学 | 一种基于观测月光大气偏振模式的自主定位方法 |
CN111595330B (zh) * | 2020-05-29 | 2021-09-14 | 北京航空航天大学 | 一种基于概率密度函数估计的夜间偏振航向计算方法 |
CN112444245B (zh) * | 2020-11-17 | 2023-06-09 | 大连理工大学 | 一种基于偏振光、光流矢量、双目视觉传感器的仿昆虫视觉组合导航方法 |
CN113432611B (zh) * | 2021-06-16 | 2023-04-28 | 北京理工大学 | 一种基于全天域大气偏振模式成像的定向装置和方法 |
CN115855064B (zh) * | 2023-02-15 | 2023-05-30 | 成都理工大学工程技术学院 | 一种基于imu多传感器融合的室内行人定位融合方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101650297A (zh) * | 2009-09-23 | 2010-02-17 | 合肥工业大学 | 大气偏振模式多维检测装置及检测方法 |
CN101852614A (zh) * | 2010-06-10 | 2010-10-06 | 大连理工大学 | 导航传感器的微型偏振光检测装置 |
CN101865692A (zh) * | 2010-05-31 | 2010-10-20 | 清华大学 | 偏振光栅导航传感器 |
CN102575960A (zh) * | 2009-09-22 | 2012-07-11 | 沃罗泰克有限公司 | 导航装置和方法 |
CN103697893A (zh) * | 2013-12-26 | 2014-04-02 | 中北大学 | 利用大气偏振光的三维定姿方法 |
CN105737818A (zh) * | 2016-02-03 | 2016-07-06 | 曲阜师范大学 | 基于偏振分光棱镜的两通道仿生偏振光导航仪及其方法 |
-
2017
- 2017-07-24 CN CN201710607062.2A patent/CN107402010B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102575960A (zh) * | 2009-09-22 | 2012-07-11 | 沃罗泰克有限公司 | 导航装置和方法 |
CN101650297A (zh) * | 2009-09-23 | 2010-02-17 | 合肥工业大学 | 大气偏振模式多维检测装置及检测方法 |
CN101865692A (zh) * | 2010-05-31 | 2010-10-20 | 清华大学 | 偏振光栅导航传感器 |
CN101852614A (zh) * | 2010-06-10 | 2010-10-06 | 大连理工大学 | 导航传感器的微型偏振光检测装置 |
CN103697893A (zh) * | 2013-12-26 | 2014-04-02 | 中北大学 | 利用大气偏振光的三维定姿方法 |
CN105737818A (zh) * | 2016-02-03 | 2016-07-06 | 曲阜师范大学 | 基于偏振分光棱镜的两通道仿生偏振光导航仪及其方法 |
Non-Patent Citations (5)
Title |
---|
Compact image scanner with large depth of field by compound eye system;Hiroyuki Kawanodeng;《OPTICS EXPRESS》;20120604(第20期);全文 * |
Integrated polarization-dependent sensor for autonomous navigation;Ze Liu等;《JOURNAL OF MICRO-NANOLITHOGRAPHY MEMS AND MOEMS》;20150131;第14卷(第1期);第1-6页 * |
一种渐变折射率介质在重叠复眼光学系统中的应用研究;李娜娜等;《光学技术》;20090731;第35卷(第4期);第618-620页 * |
多方向金属光栅偏振器及在偏振导航中的应用;褚金奎等;《光学精密工程》;20121031;第20卷(第10期);全文 * |
昆虫复眼的仿生研究进展;徐琰等;《光学技术》;20060831;第32卷;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN107402010A (zh) | 2017-11-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107402010B (zh) | 基于斯托克斯矢量光流及相位的全偏振信息仿生导航方法 | |
CN111504312B (zh) | 一种基于视觉惯性偏振光融合的无人机位姿估计方法 | |
CN111238467B (zh) | 一种仿生偏振光辅助的无人作战飞行器自主导航方法 | |
Yang et al. | Acoustic-inertial underwater navigation. | |
CN107728106B (zh) | 一种微阵列式偏振光罗盘的定向方法 | |
Fan et al. | Multicamera polarized vision for the orientation with the skylight polarization patterns | |
CN107063170B (zh) | 复杂环境下基于大气偏振角模式的航向角估计方法 | |
CN110231025B (zh) | 一种基于捷联式偏振光罗盘的动态定向方法及系统 | |
CN110146093A (zh) | 双体小行星探测自主协同光学导航方法 | |
CN113074725B (zh) | 一种基于多源信息融合的小型水下多机器人协同定位方法及系统 | |
CN112129288A (zh) | 一种基于偏振光/地磁航向约束的位姿估计方法及系统 | |
CN104613956A (zh) | 基于大气偏振中性点的导航定向方法 | |
Serres et al. | Insect-inspired vision for autonomous vehicles | |
Sturzl | A lightweight single-camera polarization compass with covariance estimation | |
Han et al. | A novel orientation method for polarized light compass under tilted conditions | |
Kong et al. | Review on bio-inspired polarized skylight navigation | |
Rastgoo et al. | Attitude estimation from polarimetric cameras | |
Cai et al. | Sea-skyline-based image stabilization of a buoy-mounted catadioptric omnidirectional vision system | |
CN114937075B (zh) | 基于三维太阳子午面拟合的水下偏振光场自主定向方法 | |
Yoon et al. | A distortion model of laser sheet for a laser line scanner with large fan angle | |
Nath et al. | Range identification for nonlinear parameterizable paracatadioptric systems | |
Hu et al. | Underwater Downwelling Radiance Fields Enable Three-Dimensional Attitude and Heading Determination | |
Xu et al. | An effective stereo SLAM with high-level primitives in underwater environment | |
Wang et al. | Fisheye-lens-based visual sun compass for perception of spatial orientation | |
Courtier et al. | Ground vehicle navigation based on the skylight polarization |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |