CN114383575B - 一种陀螺仪辅助近景测量的地质灾害监测方法 - Google Patents
一种陀螺仪辅助近景测量的地质灾害监测方法 Download PDFInfo
- Publication number
- CN114383575B CN114383575B CN202111585357.7A CN202111585357A CN114383575B CN 114383575 B CN114383575 B CN 114383575B CN 202111585357 A CN202111585357 A CN 202111585357A CN 114383575 B CN114383575 B CN 114383575B
- Authority
- CN
- China
- Prior art keywords
- gyroscope
- video monitor
- monitoring
- image
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 53
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000005259 measurement Methods 0.000 title claims abstract description 15
- 238000006073 displacement reaction Methods 0.000 claims abstract description 15
- 230000003287 optical effect Effects 0.000 claims abstract description 10
- 230000036544 posture Effects 0.000 claims abstract description 4
- 238000012937 correction Methods 0.000 claims description 7
- 235000008708 Morus alba Nutrition 0.000 claims description 2
- 240000000249 Morus alba Species 0.000 claims description 2
- 238000007664 blowing Methods 0.000 claims description 2
- 238000005096 rolling process Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000009434 installation Methods 0.000 abstract description 4
- 238000011835 investigation Methods 0.000 description 6
- 239000000463 material Substances 0.000 description 3
- 239000013307 optical fiber Substances 0.000 description 2
- 229920000049 Carbon (fiber) Polymers 0.000 description 1
- 239000004917 carbon fiber Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 229910001285 shape-memory alloy Inorganic materials 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
- G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
- G01C11/12—Interpretation of pictures by comparison of two or more pictures of the same area the pictures being supported in the same relative position as when they were taken
- G01C11/24—Interpretation of pictures by comparison of two or more pictures of the same area the pictures being supported in the same relative position as when they were taken with optical-mechanical projection
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Alarm Systems (AREA)
Abstract
本发明公开了一种陀螺仪辅助近景测量的地质灾害监测方法，利用室外检校场对视频监测仪的不同变焦段的畸变参数进行检校，然后标定视频监测仪和视频监测仪上固连陀螺仪的相对几何位置和姿态；利用在地质灾害监测点安装的视频监测仪获取现场图像的序列影像；通过视频监测仪上固连陀螺仪的瞬时运动情况计算出序列影像解算，得到监测点靶标的位移值；利用序列影像、光学镜头的畸变参数检校值以及陀螺仪记录的监测点靶标的位移值，计算出监测点靶标相对于基准位置的精确偏移量，实现对地质灾害的监测。上述监测方法利用视频监测仪和陀螺配合技术提高了监测的可靠性和精度，且操作方便、使用安装成本低，特别适合推广应用。
Description
技术领域
本发明涉及地质灾害监测技术领域，尤其涉及一种陀螺仪辅助近景测量的地质灾害监测方法。
背景技术
目前在地质灾害监测领域，比较广泛使用的运用合成孔径雷达测量、高分卫星遥感、无人机航测、机载激光雷达测量等多种技术手段，首先借助于高分辨率的光学影像和InSAR识别历史上曾经发生过明显变形破坏和正在变形的区域，实现对重大地质灾害隐患区域性、扫面性的普查；随后借助于机载LiDAR和无人机航拍，对地质灾害高风险区、隐患集中分布区或重大地质灾害隐患点的地形地貌、地表变形破坏迹象乃至岩体结构等进行详细调查，实现对重大地质灾害隐患的详查；最后，通过地面调查复核以及地表和斜坡内部的观测，甄别并确认或排除普查和详查结果，实现对重大地质灾害隐患的核查。
通过逐步建立起来的“全方位、全天候、全要素、全尺度”的监测体系获取了大量的监测数据，因为监测对象和监测手段的复杂性和多样性，如何进行现场监测数据的分析处理，以及根据监测数据建立模型对灾害的发生时间作出及时准确的预警预报，是目前地灾防治研究人员面临的最大挑战。需要认识到，光学遥感、InSAR、激光雷达、无人机摄影测量等现代遥感技术都有独自的优势和能力，但也都有各自的条件限制和缺点，所以不能靠单一的技术手段来解决灾害隐患识别问题。
这些技术基本上从大范围和大面积上确立了地灾的范围区域，但在小范围区域需要更高精度的和更实时的监测和预报技术，目前的这些技术都还实现不了或者有很大的局限性。而局部监测的传感器中主要是光纤、压电智能材料和传感元件，例如光导纤维、电阻应变丝、疲劳寿命丝、压电材料、碳纤维、半导体材料和形状记忆合金等，它们采用表面附着或埋入的方式感知结构的重要部位和重要构件，获取反映局部结构特性的参数信号，该类传感器尽管具有很多优点，但只能实现点式或线式的分布式测量，难以实现真正意义上的面式或体式测量，获取的信号只能反映局部结构的特性。
发明内容
本发明的目的是提供一种陀螺仪辅助近景测量的地质灾害监测方法，该监测方法利用视频监测仪和陀螺配合技术提高了监测的可靠性和精度，且操作方便、使用安装成本低。
本发明的目的是通过以下技术方案实现的：
一种陀螺仪辅助近景测量的地质灾害监测方法，所述方法包括：
步骤1、利用室外检校场对视频监测仪的不同变焦段的畸变参数进行检校，然后标定视频监测仪和视频监测仪上固连陀螺仪的相对几何位置和姿态；
步骤2、利用在地质灾害监测点安装的视频监测仪获取现场图像的序列影像；
步骤3、通过视频监测仪上固连陀螺仪的瞬时运动情况计算出序列影像，得到监测点靶标的位移值；
步骤4、利用步骤2得到的序列影像、步骤1得到的光学镜头的畸变参数检校值以及步骤3中陀螺仪记录的监测点靶标的位移值，计算出监测点靶标相对于基准位置的精确偏移量，实现对地质灾害的监测。
由上述本发明提供的技术方案可以看出，上述监测方法利用视频监测仪和陀螺配合技术提高了监测的可靠性和精度，且操作方便、使用安装成本低，特别适合推广应用。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的陀螺仪辅助近景测量的地质灾害监测方法流程示意图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，这并不构成对本发明的限制。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
如图1所示为本发明实施例提供的陀螺仪辅助近景测量的地质灾害监测方法流程示意图，包括：
步骤1、利用室外检校场对视频监测仪的不同变焦段的畸变参数进行检校，然后标定视频监测仪和视频监测仪上固连陀螺仪的相对几何位置和姿态；
在该步骤中，具体是利用双目相机光学镜头的畸变公式，解算出光学镜头9个畸变差改正参数，具体为：
其中，△x，△y为像点改正值；x0,y0为像主点；r代表像点到像主点距离，用公式r＝√(x–x0)2+(y–y0)2计算得到；x,y为像方坐标系下的像点坐标；k1,k2为镜头的径向畸变畸变参数；p1,p2为镜头的切向畸变参数；a，p为像素的非正方形校正系数。
步骤2、利用在地质灾害监测点安装的视频监测仪获取现场图像的序列影像；
步骤3、通过视频监测仪上固连陀螺仪的瞬时运动情况计算出序列影像，得到监测点靶标的位移值；
在该步骤中，固连陀螺仪用于测量视频监测仪的三个角速度，包括水平、俯仰和翻滚三个方向轴，对所测量的角速度积分后就得到视频监测仪在某一段时间内旋转的角度。由于监测设备是远距离观测，自身的旋转角度对靶标的位移影响非常大，所以这个误差必须得改正，具体来说：
通过陀螺仪测得的角速度对时间求积分，然后加上上一时刻的姿态角就是这一时刻的角度，即：
式中，a,β,γ分别是某一时刻末的积分角度；ωα，ωβ，ωγ是陀螺仪测得的在x,y,z轴方向的角速度；α0，β0，γ0代表某一起始角度；
由于视频监测仪在受到外界震动、风吹等噪声作用下，会产生桑轴方向的角度差，然后利用如下的三角函数计算出靶标在水平和垂直方向上由于外界环境影响而产生的位移值：
dx＝D*tan(da)
dy＝D*tan(dβ)
dz＝D*tan(dγ)
式中，dx，dy，dz分别代表靶标在x,y,z轴方向上由于外界环境影响而产生的位移值；D为靶标到视频监测仪的距离；da,dβ,dγ分别是某一段时间陀螺仪时间积分得到的视频监测仪旋转角度，单位为弧度。
步骤4、利用步骤2得到的序列影像、步骤1得到的光学镜头的畸变参数检校值以及步骤3中陀螺仪记录的监测点靶标的位移值，计算出监测点靶标相对于基准位置的精确偏移量，实现对地质灾害的监测。
在该步骤中，基于步骤2得到的序列影像，以序列影像中第一张影像为基准影像，然后在该基准影像内的靶标也是后面序列影像的基准靶标；
根据后面的序列影像和基准影像的严格配准，计算出每个靶标相对于基准影像的偏移值，计算公式如下：
DX＝DX0–dx
DY＝DY0–dy
DZ＝DZ0–dz
其中，DX0，DY0，DZ0是靶标的初始位置值，即基准位置；dx，dy，dz分别是步骤3计算得到靶标在x,y,z轴方向上由于外界环境影响而产生的位移值；DX，DY，DZ是监测点靶标相对于基准位置的精确偏移量。
另外，具体实现中，还可以将步骤4的计算结果采用图表或用户指定的格式进行输出，并推送给管理部门。
值得注意的是，本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。
综上所述，本发明实施例所述监测方法增大了野外监测的监测范围和提高监测点的图像信息，降低了人工常规监测的强度和成本，且操作方便、使用安装成本低，特别适合推广应用。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。本文背景技术部分公开的信息仅仅旨在加深对本发明的总体背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。
Claims (3)
1.一种陀螺仪辅助近景测量的地质灾害监测方法，其特征在于，所述方法包括：
步骤1、利用室外检校场对视频监测仪的不同变焦段的畸变参数进行检校，然后标定视频监测仪和视频监测仪上固连陀螺仪的相对几何位置和姿态；
其中，利用室外检校场对视频监测仪的不同变焦段的畸变参数进行检校的过程具体为：
利用双目相机光学镜头的畸变公式，解算出光学镜头9个畸变差改正参数，具体为：
其中，△x，△y为像点改正值；x0，y0为像主点；r代表像点到像主点距离，用公式r＝√(x–x0)2+(y–y0)2计算得到；x,y为像方坐标系下的像点坐标；k1,k2为镜头的径向畸变畸变参数；p1,p2为镜头的切向畸变参数；a，p为像素的非正方形校正系数；
步骤2、利用在地质灾害监测点安装的视频监测仪获取现场图像的序列影像；
步骤3、通过视频监测仪上固连陀螺仪的瞬时运动情况计算出序列影像，得到监测点靶标的位移值；
所述步骤3的过程具体为：
固连陀螺仪用于测量视频监测仪的三个角速度，包括水平、俯仰和翻滚三个方向轴，对所测量的角速度积分后就得到视频监测仪在某一段时间内旋转的角度，具体来说：
通过陀螺仪测得的角速度对时间求积分，然后加上上一时刻的姿态角就是这一时刻的角度，即：
式中，α,β,γ分别是某一时刻末的积分角度；ωα，ωβ，ωγ是陀螺仪测得的在x,y,z轴方向的角速度；α0，β0，γ0代表某一起始角度；
由于视频监测仪在受到各种突然的外界震动、风吹引起的噪声作用下，会产生桑轴方向的角度差，故利用如下的三角函数计算出靶标在水平和垂直方向上由于外界环境影响而产生的位移值：
dx＝D*tan(da)
dy＝D*tan(dβ)
dz＝D*tan(dγ)
式中，dx，dy，dz分别代表靶标在x,y,z轴方向上由于外界环境影响而产生的位移值；D为靶标到视频监测仪的距离；da,dβ,dγ分别是某一段时间陀螺仪时间积分得到的视频监测仪旋转角度；
步骤4、利用步骤2得到的序列影像、步骤1得到的光学镜头的畸变参数检校值以及步骤3中陀螺仪记录的监测点靶标的位移值，计算出监测点靶标相对于基准位置的精确偏移量，实现对地质灾害的监测。
2.根据权利要求1所述陀螺仪辅助近景测量的地质灾害监测方法，其特征在于，所述步骤4的过程具体为：
基于步骤2得到的序列影像，以序列影像中第一张影像为基准影像，然后在该基准影像内的靶标也是后面序列影像的基准靶标；
根据后面的序列影像和基准影像的严格配准，计算出每个靶标相对于基准影像的偏移值，计算公式如下：
DX＝DX0-dx
DY＝DY0-dy
DZ＝DZ0-dz
其中，DX0，DY0，DZ0是靶标的初始位置值，即基准位置；dx，dy，dz分别是步骤3计算得到靶标在x,y,z轴方向上由于外界环境影响而产生的位移值；DX，DY，DZ是监测点靶标相对于基准位置的精确偏移量。
3.根据权利要求1所述陀螺仪辅助近景测量的地质灾害监测方法，其特征在于，所述方法还包括：
将步骤4的计算结果采用图表或用户指定的格式进行输出，并推送给管理部门。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111585357.7A CN114383575B (zh) | 2021-12-22 | 2021-12-22 | 一种陀螺仪辅助近景测量的地质灾害监测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111585357.7A CN114383575B (zh) | 2021-12-22 | 2021-12-22 | 一种陀螺仪辅助近景测量的地质灾害监测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114383575A CN114383575A (zh) | 2022-04-22 |
| CN114383575B true CN114383575B (zh) | 2024-03-22 |
Family
ID=81198802
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111585357.7A Active CN114383575B (zh) | 2021-12-22 | 2021-12-22 | 一种陀螺仪辅助近景测量的地质灾害监测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114383575B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101662582A (zh) * | 2009-09-08 | 2010-03-03 | 长春理工大学 | 一种机载成像设备图像抖动补偿方法 |
| CN104718431A (zh) * | 2012-10-12 | 2015-06-17 | 高通股份有限公司 | 陀螺仪调节及陀螺仪相机对准 |
| EP3076258A1 (fr) * | 2015-04-01 | 2016-10-05 | Parrot Drones | Drone muni d'une caméra video à visée verticale compensée des rotations instantanées pour l'estimation des vitesses horizontales |
| CN106625673A (zh) * | 2016-12-29 | 2017-05-10 | 南京天祥智能设备科技有限公司 | 狭小空间装配系统及装配方法 |
| CN107741748A (zh) * | 2017-10-13 | 2018-02-27 | 杭州数尔安防科技股份有限公司 | 一种双轴位置自动矫正的装置 |
| CN110049229A (zh) * | 2018-01-17 | 2019-07-23 | 南京火眼猴信息科技有限公司 | 一种用于隧道图像采集的相机抖动补偿装置及方法 |
| CN110874854A (zh) * | 2020-01-19 | 2020-03-10 | 立得空间信息技术股份有限公司 | 一种基于小基线条件下的大畸变广角相机双目摄影测量方法 |
| CN210833422U (zh) * | 2019-11-08 | 2020-06-23 | 云南航天工程物探检测股份有限公司 | 一种边坡形变及位移参数的实时测量系统 |
| CN210946763U (zh) * | 2019-08-12 | 2020-07-07 | 陕西交建公路工程试验检测有限公司 | 一种边坡形变监测系统 |
| CN213342432U (zh) * | 2020-11-03 | 2021-06-01 | 中国测绘科学研究院 | 一种高边坡近景监测设备 |
| CN113188463A (zh) * | 2021-05-25 | 2021-07-30 | 上海同禾工程科技股份有限公司 | 一种尾矿库坝体变形监测系统及监测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6931358B2 (en) * | 2002-10-14 | 2005-08-16 | Northrop Grumman Corporation | System and method for providing high performance quantizer processing |
-
2021
- 2021-12-22 CN CN202111585357.7A patent/CN114383575B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101662582A (zh) * | 2009-09-08 | 2010-03-03 | 长春理工大学 | 一种机载成像设备图像抖动补偿方法 |
| CN104718431A (zh) * | 2012-10-12 | 2015-06-17 | 高通股份有限公司 | 陀螺仪调节及陀螺仪相机对准 |
| EP3076258A1 (fr) * | 2015-04-01 | 2016-10-05 | Parrot Drones | Drone muni d'une caméra video à visée verticale compensée des rotations instantanées pour l'estimation des vitesses horizontales |
| CN106625673A (zh) * | 2016-12-29 | 2017-05-10 | 南京天祥智能设备科技有限公司 | 狭小空间装配系统及装配方法 |
| CN107741748A (zh) * | 2017-10-13 | 2018-02-27 | 杭州数尔安防科技股份有限公司 | 一种双轴位置自动矫正的装置 |
| CN110049229A (zh) * | 2018-01-17 | 2019-07-23 | 南京火眼猴信息科技有限公司 | 一种用于隧道图像采集的相机抖动补偿装置及方法 |
| CN210946763U (zh) * | 2019-08-12 | 2020-07-07 | 陕西交建公路工程试验检测有限公司 | 一种边坡形变监测系统 |
| CN210833422U (zh) * | 2019-11-08 | 2020-06-23 | 云南航天工程物探检测股份有限公司 | 一种边坡形变及位移参数的实时测量系统 |
| CN110874854A (zh) * | 2020-01-19 | 2020-03-10 | 立得空间信息技术股份有限公司 | 一种基于小基线条件下的大畸变广角相机双目摄影测量方法 |
| CN213342432U (zh) * | 2020-11-03 | 2021-06-01 | 中国测绘科学研究院 | 一种高边坡近景监测设备 |
| CN113188463A (zh) * | 2021-05-25 | 2021-07-30 | 上海同禾工程科技股份有限公司 | 一种尾矿库坝体变形监测系统及监测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 胡春梅.《地面激光雷达与近景摄影测量技术集成》.测绘出版社,2017,27-36. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114383575A (zh) | 2022-04-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9194954B2 (en) | Method for geo-referencing an imaged area | |
| US9025033B2 (en) | Surveillance camera and method for calibrating the survelliance camera using a calibration tool | |
| US8405716B2 (en) | Folding optical path transfer videometrics method for measuring the three-dimensional position and attitude of non-intervisible objects | |
| CN107144293A (zh) | 一种视频卫星面阵相机的几何定标方法 | |
| CN103323026A (zh) | 星敏感器和有效载荷的姿态基准偏差估计与修正方法 | |
| CN112050806B (zh) | 一种移动车辆的定位方法及装置 | |
| Nasimi et al. | A methodology for measuring the total displacements of structures using a laser–camera system | |
| JP2011141262A (ja) | 高度測定装置および方法 | |
| Yu et al. | Displacement measurement of large structures using nonoverlapping field of view multi‐camera systems under six degrees of freedom ego‐motion | |
| Liu et al. | A new approach to fast mosaic UAV images | |
| KR101224830B1 (ko) | 지리 참조 영상 획득을 위한 휴대용 멀티센서 시스템 및 그 방법 | |
| Kurz et al. | Calibration of a wide-angle digital camera system for near real time scenarios | |
| CN114383575B (zh) | 一种陀螺仪辅助近景测量的地质灾害监测方法 | |
| KR20190086951A (ko) | 레이저 관측 장비를 이용한 ｍｍｓ의 캘리브레이션을 위한 장치 및 방법 | |
| Lee et al. | Calibration of a UAV based low altitude multi-sensor photogrammetric system | |
| US20230213657A1 (en) | Method For Determining Wind Velocity Components by Means of a Laser Remote Sensor and by Means of a Temporal Coherence | |
| CN112747711B (zh) | 立方镜相对位姿的标定方法 | |
| Randeniya et al. | Calibration of inertial and vision systems as a prelude to multi-sensor fusion | |
| Wang et al. | A method for generating true digital orthophoto map of UAV platform push-broom hyperspectral scanners assisted by lidar | |
| Valerievich et al. | Experimental assessment of the distance measurement accuracy using the active-pulse television measuring system and a digital terrain model | |
| Cai et al. | KCF‐Based Identification Approach for Vibration Displacement of Double‐Column Bents under Various Earthquakes | |
| KR100745105B1 (ko) | 촬영 영상 표시 방법 및 촬영 영상 표시 장치 | |
| CN104880569B (zh) | 一种星表的高精度动态测角装置及测量方法 | |
| Liu et al. | Conjugated-point positioning method based on multiview images | |
| CN118096870B (zh) | 解算方法测量相机、及存储介质、电子装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |