CN115762067A - 一种基于激光点云与视频数据融合的山体滑坡监测系统 - Google Patents
一种基于激光点云与视频数据融合的山体滑坡监测系统 Download PDFInfo
- Publication number
- CN115762067A CN115762067A CN202211490977.7A CN202211490977A CN115762067A CN 115762067 A CN115762067 A CN 115762067A CN 202211490977 A CN202211490977 A CN 202211490977A CN 115762067 A CN115762067 A CN 115762067A
- Authority
- CN
- China
- Prior art keywords
- data
- point cloud
- fusion
- laser point
- early warning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 42
- 238000012544 monitoring process Methods 0.000 title claims abstract description 26
- 238000007499 fusion processing Methods 0.000 claims abstract description 3
- 238000000034 method Methods 0.000 claims description 19
- 238000009432 framing Methods 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000010835 comparative analysis Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 2
- 238000005259 measurement Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 description 6
- 238000012806 monitoring device Methods 0.000 description 4
- 238000009991 scouring Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000002844 melting Methods 0.000 description 2
- 230000008018 melting Effects 0.000 description 2
- 239000002352 surface water Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 1
- 230000006355 external stress Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 238000002791 soaking Methods 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Emergency Alarm Devices (AREA)
Abstract
本发明公开了一种基于激光点云与视频数据融合的山体滑坡监测系统，包括：雨量测量装置、机载采集装置、数据融合模块、分析预警模块、存储模块；机载采集装置用于获取待监测山体的激光点云数据、视频数据与定位信息；数据融合模块用于将激光点云数据与视频数据处理进行处理并融合标定；分析预警模块基于融合标定后的图像数据、定位信息对待监测山体的动态信息进行分析并根据分析结果判断是否发出预警。本发明中将视频数据传入存储模块，方便后续的查看与溯源，结合视频图像与激光点云数据，提高系统精度，对数据进行融合处理，并采用分段对比的方式与历史数据进行对比，根据变化的剧烈情况与变化的比例判断是否发出警告，减少人员的工作量。
Description
技术领域
本发明属于安全监测技术领域，特别是涉及一种基于激光点云与视频数据融合的山体滑坡监测系统。
背景技术
滑坡是指斜坡上的土体或者岩体，受河流冲刷、地下水活动、雨水浸泡、地震及人工切坡等因素影响，在重力作用下，沿着一定的柔软面或者软弱带，整体或分散地山坡向下滑动的自然现象。滑坡是山区常见的自然灾害之一，威胁着山区人们的财产和生命安全。
目前，常见的滑坡监测方法包括遥感法、监测装置监测法、测缝法等。监测装置监测法，是将监测装置设置在被测坡面上，观察监测装置上监测部件的运动来进行监测，但若是监测人员在观察运动时发生滑坡，则会带来危险。遥感法，利用卫星、飞机等拍摄滑坡的变形，但是这种监测方法更适用于较大型的滑坡变形监测，且只有已经发生大范围、区域性滑坡时才易于被监测到，不易监测较小型的山体滑坡。
干涉雷达与光学遥感不受传统手段的限制，可以无接触地获得滑坡区域的相关信息，然而受到山体、植被阴影的影响，仍不能得到理想的效果。机载激光雷达不受阴影的影响，对植被具有一定的穿透力，利用机载激光雷达得到的裸地表信息对滑坡监测具有非常重要的意义。
发明内容
本发明的目的是提供一种基于激光点云与视频数据融合的山体滑坡监测系统，以解决上述现有技术存在的问题。
为实现上述目的，本发明提供了一种基于激光点云与视频数据融合的山体滑坡监测系统，包括：
雨量测量装置、机载采集装置、数据融合模块、分析预警模块、存储模块；
所述系统开启装置用于监测山体范围内的降雨量；
机载采集装置用于获取待监测山体的激光点云数据、视频数据与定位信息；
数据融合模块用于将激光点云数据与视频数据处理进行处理并融合标定；
分析预警模块基于融合标定后的图像数据、所述定位信息对待监测山体的动态信息进行分析并根据分析结果判断是否发出预警；
存储模块用于存储各阶段图像数据、定位信息与动态信息；
所述机载采集装置、所述数据融合模块与所述分析预警模块依次连接；所述分析预警模块还分别与雨量测量装置及所述存储模块连接。
可选的，所述雨量测量装置用于测量某一位置预设时间内的降雨量，并将降雨量信息与雨量计定位通过无线传输方式传递至所述分析预警模块，所述分析预警模块通过雨量判断是否开启机载采集装置。
可选的，所述机载采集装置包括激光雷达、视频图像单元和GPS设备，对所述激光雷达与视频图像单元中的设备进行联合标定，所述激光雷达与所述视频图像单元均固定在无人机上，激光雷达和视频图像单元中的设备相差在预设范围内。
可选的，所述数据融合模块包括预处理单元、融合单元；
所述处理单元用于进行激光点云数据预处理与视频数据预处理；
其中，所述视频数据预处理的过程包括：整段视频数据进行存储，对视频进行分帧处理，获得分帧图像；所述激光点云数据预处理的过程包括：对所述激光点云数据进行滤波处理，剔除离群点；
融合单元用于将分帧图像与经过预处理的激光点云数据进行融合。
可选的，融合的过程包括：将剔除离群点后的激光点云数据与所述分帧图像进行时刻匹配，将分帧图像映射于所述激光点云数据的对应区域中，结合GPS设备获取的定位信息，得到附带三维坐标的彩色图像数据，并对所述彩色图像数据的起伏点进行标记，分别传入存储模块与分析预警模块，其中，所述激光点云数据与分帧图像通过换算矩阵运算融合。
可选的，所述分析预警模块包括分析单元、预警单元；
所述分析单元用于对标记后的彩色图像数据与存储模块中的存储的历史彩色图像数据进行对比分析，获得待监测山体的动态信息；
预警单元用于根据所述动态信息判断是否发出预警。
可选的，所述分析单元进行对比分析的过程包括：将历史彩色图像与新的彩色图像数据中的起伏点依次连接，获取两点连线的倾斜角度的差值，以及产生角度变化两点中最高点的变化值，将起伏点依次对比，综合最高点变化值与倾斜角度差值判断是否需要发出警告。
本发明的技术效果为：
本发明中将视频数据传入存储模块，方便后续的查看与溯源，结合视频图像与激光点云数据，提高系统精度，装置布设方便，本发明对数据进行融合处理，并采用分段对比的方式与历史数据进行对比，根据变化的剧烈情况与变化的比例判断是否发出警告，提醒相关人员注意，减少人员的工作量，提高安全性。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明实施例中的系统结构示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
实施例一
如图1所示，本实施例中提供一种基于激光点云与视频数据融合的山体滑坡监测系统，包括：
雨量测量装置、机载采集装置、数据融合模块、分析预警模块、存储模块；
系统开启装置用于监测山体范围内的降雨量，
机载采集装置用于获取待监测山体的激光点云图像数据、视频数据与定位信息；
数据融合模块用于将激光点云图像数据与视频数据处理进行处理并融合标定；
分析预警模块基于融合标定后的图像数据、定位信息对待监测山体的动态信息进行分析并根据分析结果判断是否发出预警；
存储模块用于存储各阶段图像数据、定位信息与动态信息；
机载采集装置、数据融合模块与分析预警模块依次连接；分析预警模块还分别与雨量测量装置及存储模块连接。
具体的，雨量测量装置用于测量某一位置预设时间内的降雨量，并将降雨量信息与雨量计定位通过无线传输方式传递至分析预警模块，分析预警模块通过雨量判断是否开启机载采集装置。
山体滑坡产生的可能性受地质条件的影响，地质条件包括岩土类型、地质构造条件、地形地貌条件、水文地质条件等。
就内外应力和人为作用的影响而言，在现今地壳运动的地区和人类工程活动的频繁地区是滑坡多发区，外界因素和作用，可以使产生滑坡的基本条件发生变化，从而诱发滑坡。主要的诱发因素有：地震、降雨和融雪、地表水的冲刷、浸泡、河流等地表水体对斜坡坡脚的不断冲刷；
本实施例中考虑因降雨与融雪产生山体滑坡，由雨量测量装置周期性的向分析预警模块发送雨量值，基于雨量测量装置发送的定位，获取雨量测量装置所在位置的地质条件，根据相同地质条件的滑坡产生记录与雨量的关系，设置雨量限定值，通过分析预警模块判断雨量在选定的时间范围内是否均超过限定值，若是，则开启机载采集装置前往定位地点进行环绕式数据采集。
具体的，机载采集装置包括激光雷达、视频图像单元和GPS设备，对激光雷达与视频图像单元中的设备进行联合标定，激光雷达与视频图像单元均固定在无人机上，激光雷达和摄像机的视野相差在预设范围内。
在无人机上固定激光雷达和所述摄像机的相对位置，获取所述目标边坡的彩色图像和包括多个点位的点云数据，，二者的选型和固定角度需保证视野相近，使雷达数据和彩色图像能够更好的融合。
所述联合标定的过程包括：
利用棋盘格标定板完成摄像机的标定，估算摄像机的内参矩阵；同时从摄像机与激光雷达分别获取视频数据和点云数据，根据棋盘格标定板的几何特征在各帧的点云数据上拟合平面，并在各帧点云数据对应的图像中检测棋盘格特征点，获得激光雷达坐标系下各帧的点云数据与其对应的图像的对应坐标；基于对应坐标，估计激光雷达与摄像机矩阵间的变换关系，即外参矩阵；组合内参矩阵与外参矩阵获得点云数据到像平面的投影变换关系，对任意点云数据，根据变换关系计算其在像平面上的坐标。
具体的，数据融合模块包括预处理单元、融合单元；
与处理单元用于进行激光点云数据预处理与视频数据预处理；
其中，视频数据预处理的过程包括：整段视频数据进行存储，对视频进行分帧处理，获得分帧图像；激光点云数据预处理的过程包括：对激光点云数据进行滤波处理，剔除离群点；
融合单元用于将分帧图像与经过预处理的激光点云数据进行融合。
具体的，融合的过程包括：将剔除离群点后的激光点云数据与分帧图像进行时刻匹配，将分帧图像映射于激光点云数据的对应区域中，结合GPS设备获取的定位信息，得到附带三维坐标的彩色图像数据，并对彩色图像数据的起伏点进行标记，分别传入存储模块与分析预警模块，其中，激光点云数据与分帧图像通过换算矩阵运算融合。
可实施的，于对实时获取的点云数据进行滤波处理，剔除离群点，然后对剔除离群点后的点云数据和图像数据通过换算矩阵运算融合，得到附带三维坐标的彩色图像数据，具体地，对三维坐标点P(x,y,z),经变换矩阵换算，投影到二维图像位置Q(u,v),此时点Q在原先具有RGB彩色信息的基础上，具有了三维坐标。
具体的，分析预警模块包括分析单元、预警单元；
分析单元用于对标记后的彩色图像数据与存储模块中的存储的历史彩色图像数据进行对比分析，获得待监测山体的动态信息；
预警单元用于根据动态信息判断是否发出预警。
具体的，分析单元进行对比分析的过程包括：将历史彩色图像与新的彩色图像数据中的起伏点依次连接，获取两点连线的倾斜角度的差值，以及产生角度变化两点中最高点的变化值，将起伏点依次对比，综合最高点变化值与倾斜角度差值判断是否需要发出警告。
若相对于历史起伏点的坐标与角度发生变化，则需判断变化的程度，
若做最高点变化值控制在20公分，角度变化忽略不计，则判定无变化，若做最高点无变化，角度变化在5度以内且连线投影长度不超过30米，则判定无变化；其余情况产生变化的情况均视为起伏点产生变化，若起伏点变化超过30％，则发出警告，提醒相关人员。
特别的是，若在历史起伏点之间出现了新的起伏点，与两个历史起伏之间的连线长度与角度变化较大，则可直接发出警告。
可选取前一天至前七天的历史起伏点进行对比，判断变化趋势，得到更精准，若变化速度越来越快，则可发出警告。
若变化的数量控制在30％以下，但除延长了原始波动线外，出现了新的高点，则发生山体大滑动的概率极大。
以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。
Claims (7)
1.一种基于激光点云与视频数据融合的山体滑坡监测系统，其特征在于，包括：
雨量测量装置、机载采集装置、数据融合模块、分析预警模块、存储模块；
所述雨量测量装置用于监测山体范围内的降雨量；
所述机载采集装置用于获取待监测山体的激光点云数据、视频数据与定位信息；
所述数据融合模块用于将激光点云数据与视频数据处理进行处理并融合标定；
所述分析预警模块基于融合标定后的图像数据、所述定位信息对待监测山体的动态信息进行分析并根据分析结果判断是否发出预警；
所述存储模块用于存储各阶段图像数据、定位信息与动态信息；
所述机载采集装置、所述数据融合模块与所述分析预警模块依次连接；所述分析预警模块还分别与雨量测量装置及所述存储模块连接。
2.根据权利要求1所述的基于激光点云与视频数据融合的山体滑坡监测系统，其特征在于，
所述雨量测量装置用于测量某一位置预设时间内的降雨量，并将降雨量信息与雨量计定位通过无线传输方式传递至所述分析预警模块，所述分析预警模块通过雨量判断是否开启机载采集装置。
3.根据权利要求1所述的基于激光点云与视频数据融合的山体滑坡监测系统，其特征在于，
所述机载采集装置包括激光雷达、视频图像单元和GPS设备，对所述激光雷达与视频图像单元中的设备进行联合标定，所述激光雷达与所述视频图像单元均固定在无人机上，激光雷达和视频图像单元中的设备的视野相差在预设范围内。
4.根据权利要求1所述的基于激光点云与视频数据融合的山体滑坡监测系统，其特征在于，
所述数据融合模块包括预处理单元、融合单元；
所述处理单元用于进行激光点云数据预处理与视频数据预处理；
其中，所述视频数据预处理的过程包括：整段视频数据进行存储，对视频进行分帧处理，获得分帧图像；所述激光点云数据预处理的过程包括：对所述激光点云数据进行滤波处理，剔除离群点；
融合单元用于将分帧图像与经过预处理的激光点云数据进行融合。
5.根据权利要求4所述的基于激光点云与视频数据融合的山体滑坡监测系统，其特征在于，
融合的过程包括：将剔除离群点后的激光点云数据与所述分帧图像进行时刻匹配，将分帧图像映射于所述激光点云数据的对应区域中，结合GPS设备获取的定位信息，得到附带三维坐标的彩色图像数据，并对所述彩色图像数据的起伏点进行标记，分别传入存储模块与分析预警模块，其中，所述激光点云数据与分帧图像通过换算矩阵运算融合。
6.根据权利要求5所述的基于激光点云与视频数据融合的山体滑坡监测系统，其特征在于，
所述分析预警模块包括分析单元、预警单元；
所述分析单元用于对标记后的彩色图像数据与存储模块中的存储的历史彩色图像数据进行对比分析，获得待监测山体的动态信息；
预警单元用于根据所述动态信息判断是否发出预警。
7.根据权利要求6所述的基于激光点云与视频数据融合的山体滑坡监测系统，其特征在于，
所述分析单元进行对比分析的过程包括：将历史彩色图像与新的彩色图像数据中的起伏点依次连接，获取两点连线的倾斜角度的差值，以及产生角度变化两点中最高点的变化值，将起伏点依次对比，综合最高点变化值与倾斜角度差值判断是否需要发出警告。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211490977.7A CN115762067B (zh) | 2022-11-25 | 2022-11-25 | 一种基于激光点云与视频数据融合的山体滑坡监测系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211490977.7A CN115762067B (zh) | 2022-11-25 | 2022-11-25 | 一种基于激光点云与视频数据融合的山体滑坡监测系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115762067A true CN115762067A (zh) | 2023-03-07 |
| CN115762067B CN115762067B (zh) | 2023-10-03 |
Family
ID=85338143
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211490977.7A Active CN115762067B (zh) | 2022-11-25 | 2022-11-25 | 一种基于激光点云与视频数据融合的山体滑坡监测系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115762067B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116612609A (zh) * | 2023-07-21 | 2023-08-18 | 湖北通达数科科技有限公司 | 一种基于山体滑坡危害度预测的灾害预警方法及系统 |
| CN116884250A (zh) * | 2023-07-12 | 2023-10-13 | 凉山州交通运输应急指挥中心 | 一种基于激光雷达的预警方法及高速公路预警系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111142119A (zh) * | 2020-01-10 | 2020-05-12 | 中国地质大学（北京） | 一种基于多源遥感数据的矿山地质灾害动态识别与监测方法 |
| US20210048294A1 (en) * | 2019-08-15 | 2021-02-18 | China Institute Of Water Resources And Hydropower Research | System and method for monitoring deformation of dam slope |
| CN112711033A (zh) * | 2020-12-09 | 2021-04-27 | 中科视语(北京)科技有限公司 | 边坡安全监测预警装置和预警方法 |
| CN114659442A (zh) * | 2022-03-10 | 2022-06-24 | 北京愚公道路养护有限公司 | 一种可视化边坡变形智能监测预警系统 |
| CN114757983A (zh) * | 2022-04-27 | 2022-07-15 | 四川大学 | 一种无人机和三维激光扫描联合监测方法 |
-
2022
- 2022-11-25 CN CN202211490977.7A patent/CN115762067B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210048294A1 (en) * | 2019-08-15 | 2021-02-18 | China Institute Of Water Resources And Hydropower Research | System and method for monitoring deformation of dam slope |
| CN111142119A (zh) * | 2020-01-10 | 2020-05-12 | 中国地质大学（北京） | 一种基于多源遥感数据的矿山地质灾害动态识别与监测方法 |
| CN112711033A (zh) * | 2020-12-09 | 2021-04-27 | 中科视语(北京)科技有限公司 | 边坡安全监测预警装置和预警方法 |
| CN114659442A (zh) * | 2022-03-10 | 2022-06-24 | 北京愚公道路养护有限公司 | 一种可视化边坡变形智能监测预警系统 |
| CN114757983A (zh) * | 2022-04-27 | 2022-07-15 | 四川大学 | 一种无人机和三维激光扫描联合监测方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116884250A (zh) * | 2023-07-12 | 2023-10-13 | 凉山州交通运输应急指挥中心 | 一种基于激光雷达的预警方法及高速公路预警系统 |
| CN116884250B (zh) * | 2023-07-12 | 2024-01-26 | 凉山州交通运输应急指挥中心 | 一种基于激光雷达的预警方法及高速公路预警系统 |
| CN116612609A (zh) * | 2023-07-21 | 2023-08-18 | 湖北通达数科科技有限公司 | 一种基于山体滑坡危害度预测的灾害预警方法及系统 |
| CN116612609B (zh) * | 2023-07-21 | 2023-11-03 | 湖北通达数科科技有限公司 | 一种基于山体滑坡危害度预测的灾害预警方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115762067B (zh) | 2023-10-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113611082B (zh) | 一种无人机铁路边坡监控与预警系统及方法 | |
| CN115762067A (zh) | 一种基于激光点云与视频数据融合的山体滑坡监测系统 | |
| Jensen et al. | Remote sensing change detection in urban environments | |
| CN114444158B (zh) | 一种基于三维重建的地下巷道形变预警方法及系统 | |
| CN106441233A (zh) | 基于倾斜摄影三维重建技术的电力通道走廊巡检方法 | |
| CN113012398A (zh) | 地质灾害监测预警方法、装置、计算机设备及存储介质 | |
| Mason et al. | Data utilization in flood inundation modelling | |
| Thuro et al. | New landslide monitoring techniques–developments and experiences of the alpEWAS project | |
| CN113487094B (zh) | 一种海洋数据管理应用平台 | |
| CN104410839A (zh) | 一种移动式输电线杆塔区域山火与山体滑坡灾害在线监测系统与监测方法 | |
| Gonçalves et al. | Monitoring Local Shoreline Changes by Integrating UASs, Airborne LiDAR, Historical Images and Orthophotos. | |
| Lai et al. | The territory-wide airborne light detection and ranging survey for the Hong Kong Special Administrative Region | |
| CN112902928A (zh) | 一种无人机航摄测量方法及其系统 | |
| Bertin et al. | Geomorphic change detection using cost-effective structure-from-motion photogrammetry: Evaluation of direct georeferencing from consumer-grade UAS at Orewa beach (New Zealand) | |
| CN107860375A (zh) | 一种基于三维激光扫描技术的滑坡灾害体积快速提取方法 | |
| CN118314693A (zh) | 一种基于图像识别与计算机视觉的杆塔失稳监测预警装置 | |
| CN112629666B (zh) | 一种适用于热红外无人机地表温度日变换模型构建方法 | |
| CN113744393A (zh) | 一种多层级边坡滑坡变化监测方法 | |
| CN218723923U (zh) | 一种基于机器视觉的边坡形变自动化监测预警系统 | |
| CN208254411U (zh) | 一种边坡综合监测系统 | |
| CN113375563B (zh) | 一种激光lidar与视频融合的滑坡位移监测方法及系统 | |
| CN110967705A (zh) | 一种gps测距仪及其测量方法 | |
| CN115035176A (zh) | 一种利用多目视觉检测面状多目标塌方和落石方法及系统 | |
| CN118171918B (zh) | 一种基于多源数据的空天地滑坡监测方法和系统 | |
| CN204442542U (zh) | 一种移动式输电线杆塔区域山火与山体滑坡灾害在线监测系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |