CN113495495A - 一种基于虚幻引擎的轨道障碍物检测仿真平台的构建方法 - Google Patents
一种基于虚幻引擎的轨道障碍物检测仿真平台的构建方法 Download PDFInfo
- Publication number
- CN113495495A CN113495495A CN202110504554.5A CN202110504554A CN113495495A CN 113495495 A CN113495495 A CN 113495495A CN 202110504554 A CN202110504554 A CN 202110504554A CN 113495495 A CN113495495 A CN 113495495A
- Authority
- CN
- China
- Prior art keywords
- camera
- engine
- sensor
- data
- setting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004088 simulation Methods 0.000 title claims abstract description 27
- 238000001514 detection method Methods 0.000 title claims abstract description 26
- 238000010276 construction Methods 0.000 title description 4
- 238000000034 method Methods 0.000 claims abstract description 20
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 12
- 238000004891 communication Methods 0.000 claims abstract description 8
- 230000007613 environmental effect Effects 0.000 claims abstract 2
- 238000005286 illumination Methods 0.000 claims description 15
- 238000013461 design Methods 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 6
- 239000002245 particle Substances 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000004888 barrier function Effects 0.000 claims description 4
- 239000000463 material Substances 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 3
- 238000003708 edge detection Methods 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims description 2
- 238000009434 installation Methods 0.000 claims description 2
- 230000010354 integration Effects 0.000 claims description 2
- 230000001680 brushing effect Effects 0.000 claims 1
- 238000005260 corrosion Methods 0.000 claims 1
- 230000007797 corrosion Effects 0.000 claims 1
- 238000009499 grossing Methods 0.000 claims 1
- 230000009286 beneficial effect Effects 0.000 abstract 1
- 238000012795 verification Methods 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B17/00—Systems involving the use of models or simulators of said systems
- G05B17/02—Systems involving the use of models or simulators of said systems electric
Abstract
一种基于虚幻引擎的轨道障碍物检测仿真平台的构建方法，包括：搭建仿真环境、添加传感器、建立数据通讯、设计仿真系统界面、障碍物检测仿真；在虚幻引擎中搭建模拟真实轨道的物理环境的仿真场景；为轨道列车添加激光雷达传感器和相机传感器用以获取环境数据；通过插件建立起Windows系统和Linux系统的通讯，将虚幻引擎的仿真数据传输至Linux系统的ROS中进行障碍物检测算法的验证。本发明为轨道障碍物检测识别算法提供接近真实物理环境的仿真平台，有助于轨道障碍物检测算法普适性和可靠性的验证。
Description
技术领域
本发明涉及自动驾驶仿真平台技术领域，具体是一种基于虚幻引擎的轨道障碍物检测仿真平台的构建方法。
背景技术
随着人工智能和计算机技术的发展，自动驾驶技术取得很大的进步，在自动驾驶技术中，障碍物检测是十分重要的一环，检测识别车辆周围的物体为自动驾驶提供安全保障。轨道交通作为人们日常出行和运输的重要交通方式，轨道列车的自动驾驶也是未来的趋势。
尽管计算机技术，传感器技术和人工智能方法的发展，为列车前方障碍物检测提供了许多解决方案，但是由于实验环境的复杂性和危险性，障碍物检测方案的测试和实验面临着重重阻挠。普通的货运铁路列车速度为100KM/H,高铁甚至达到250～300KM/H，实验室环境难以达到这样的要求，若实际列车铁轨的实验，轨道上的真实的障碍物必然会引起重大的事故，高速运行时传感器数据的采集的可靠性也有待探究。另一方面恶劣的天气，不均匀的光照，以及隧道等复杂和多变的情况，不能保证检测方案是否具有普适性。
发明内容
本发明要克服现有技术的不足之处，提供了一种基于虚幻引擎的轨道障碍物检测仿真平台的构建方法该方法，为轨道障碍物检测方法提供相对真实可靠的实验环境。
本发明所解决的问题是：由于列车轨道障碍物检测方法难以在真实运行的轨道上进行实验，也难以搭建起能够模拟列车运行速度的实验环境的，更不能考虑到真实环境的变化如光照天气对检测方法的影响，难以保证检测方法是否具有普适性。因此需要一个仿真平台模拟真实的列车运行状态，同时可调节列车运行环境，在不同情况下测试障碍物检测方案是否有效。
为实现上述目的，本发明提供如下技术方案：一种基于虚幻引擎的轨道障碍物检测仿真平台的构建方法该方法，包括以下步骤：
步骤1：环境搭建。参考真实场景中各种实例的分布，将3D模型布置于基础场景中。通过虚幻引擎强大的地形编辑工具搭建真实的地形，并覆盖上草木。改变方向性光源的方向、强度，微调天空光源的强度，模拟不同时间的光线条件；使用虚幻引擎中设置更加灵活的粒子发射器搭建粒子系统实现雨天、雾天和雪天效果。使用3DMax工具剪辑列车和轨道模型，并导入虚幻引擎，借助蓝图控制列车在轨道上运行。
步骤2：添加传感器。设计添加相机，激光雷达传感器。设计数据采集接口获取传感器信息。
步骤3：建立数据通信。将激光点云和图像数据进行格式转换，通过socket通讯，将处理好的传感器数据从Windows系统传输到Linux系统的ROS平台上。
步骤4：仿真系统界面设计。设计控制界面，满足用户仿真实验的需求如选择不同的光照环境；主动添加不同的障碍物在环境中或者轨道上；选择传感器种类；以及控制列车的启动和停止。
步骤5：障碍物检测。在ROS中处理传感器数据，对原始数据进行预处理，使用相机传感器和激光雷传感器融合的方案，来检测轨道上的障碍物。
本发明的优点和积极效果是：
1、本发明为轨道障碍物检测方法研究提供了实验环境，解决现有研究方法实验条件有限不具备普适性的问题。
2、本发明考虑真实环境下多重因素对轨道障碍物检测方案的影响，可以根据实验人员要求改变和调整实验环境参数，是实验结果更有意义。
附图说明
图1是本发明方法的流程图。
图2是本发明搭建的仿真环境。
图3是本发明方法所使用的激光雷达传感器。
图4是本发明方法所使用的相机传感器。
图5是本发明方法的仿真系统界面。
图6是本发明方法的为轨道障碍物检测算法流程图。
具体实施方式
以下结合附图对本发明做进一步详述。
基于虚幻引擎的轨道障碍物检测仿真平台的构建方法流程图，如图1。
步骤一：在虚幻4中搭建环境如图2，包括地形编辑，草木植被的覆盖，轨道列车模型的设计，光照条件的设计以及雨雾天气的设计。
1、使用World Machine插件编辑40*40公里范围的地形高度图，使用GeoGlyph库中的ReFlow宏脚本，然后连接到Splat Converter上保证splat map的正确权重。导出高度地图，保存为PNG格式，在虚幻引擎中打开LandScape编辑器创建地貌，点击导入WorldMachine生成的高度图。生成地貌后在LandScape中再对地貌使用雕刻组件进行平滑、腐蚀等调整。最后给地貌添加合适的材质。
2、在地貌上覆盖草木植被。使用SpeedTree辅助工具编辑草丛和树木的模型，将导出srt文件导入到虚幻引擎中，导入虚幻引擎中之后，材质已经和模型匹配完成。使用笔刷工具，对其大小范围、密度、Z轴偏移量、法线等进行设置，之后就可以在地貌上刷上植被。
3、设置光照和天气。虚拟场景中使用方向性光源与天空光源相结合的方式实现对真实光照条件的仿真，不同的天候会影响阳光散射条件，通过改变天空光源模拟不同天候下的光照条件。不同光照条件的变化主要体现在方向和强度的改变上，可通过改变方向性光源的方向、强度，微调天空光源的强度，模拟不同时间的光线条件；使用虚幻引擎中设置更加灵活的粒子发射器搭建粒子系统实现雨天、雾天和雪天效果，不同天候对应的云层和光照情况通过虚幻引擎蓝图系统实现自动调整。
4、添加轨道和列车模型并控制。列车使用3DMax编辑轨道模型以及列车模型，并导入到虚幻引擎中。为车轮创建VehicleWheel蓝图并设置轮胎的宽、半径、旋转角度等。创建TireType数据资源用于设定摩擦力。新建WheeledVehicle蓝图，并修改相关设定。对VehicleSetup这一栏参数进行设定。为列车创建动画蓝图将父类设置为VehicleAnimInstance，并连接。之后在WheeledVehicle蓝图中，选择Mesh，使用做好的动画蓝图。使用WheeledVehicle蓝图中的VehicleMovementComponent组件控制列车。
步骤二：添加仿真环境中的相机和激光雷达传感器，采集环境信息。
激光雷达传感器和相机传感器使用AirSim插件中提供的传感器。AirSim是微软开发的仿真模拟器，可以作为插件直接用于虚幻引擎中。下载AirSim源码并编译。将编译生成的plugin插件文件夹复制到虚幻工程下，打开创建的轨道列车环境的虚幻工程，将GameMode设置为AirSimGameMode便可以运行插件中的传感器获得信息，如图3。
虚幻引擎提供有相机组件，直接添加即可获取相机视角的图像如图4。
步骤三：数据通讯搭建。将激光点云和图像数据进行格式转换，借助虚幻引擎官方提供的ROS Integration插件，通过socket建立windows系统到Linux系统通讯，将Windows系统上虚幻引擎处理好的传感器数据传输到Ubuntu18.04系统的ROS平台上，在ROS中完成障碍物检测。
步骤四：仿真系统界面设计。使用虚幻引擎的UMG UI Designer设计界面，并对控件创建蓝图，编写控制代码完成控件功能，界面如图5。
设置添加启动按键，控制轨道列车运行启动和停止。
设置添加天气模式按键，选择不同的光照和天气模式。
设置添加激光雷达传感器按键，控制激光雷达点云数据的显示。
设置添加相机传感器按键，控制相机图像数据显示。
设置障碍物添加按键，在轨道上生成不同形状的障碍物。
步骤五：利用仿真数据进行障碍物检测。在ROS中处理传感器数据，对原始数据进行预处理，使用相机传感器和激光雷传感器融合的方案，来检测轨道上的障碍物，算法流程如图6。
1、使用PCL点云处理库读入激光雷达点云数据，对数据进行预处理。预处理方法为下采样滤波，可以在不损失环境信息的前提下，使用较少数据量。接着进行平面分割处理，采用RANSAC(随机抽样一致性)算法。最后使用点云聚类算法，平面分割将点云分成了两大类别，聚类将点云分成一个个目标集合。
2、使用Open cv图像处理库读入相机图像数据，对数据进行预处理。预处理的方法选择灰度变换和高斯变换。接着进行边缘检测使用Canny算子检测。最后使用霍夫直线检测，然后将划分出来的点，进行线性拟合，绘制出轨道。
3、对经过算法处理的点运河图像数据进行匹配融合。首先时间匹配，将传感器的每个采样时刻记录在统一的时间序列上。当激光雷达完成一次采样时，寻找与该时刻最邻近时刻的图像，做为匹配的一帧。空间匹配。根据相机的原理可以求得相机坐标系、图像坐标系和像素坐标系的转换矩阵。根据仿真场景中激光雷达和相机安装的位置可以得到激光雷达坐标系和相机坐标系的转换矩阵。将激光雷达坐标系里面激光点云的点的坐标投影到相机图像中，判断轨道线内是否有聚类出的点云块，来判别轨道上的障碍物。
需要强调的是，本发明所述的实施案例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方案中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出类似的其它实施方式，同样属于本发明的保护范围。
Claims (1)
1.一种基于虚幻引擎的轨道障碍物检测仿真平台的构建方法，其具体步骤如下：
步骤1：在虚幻4中搭建环境，包括地形编辑，草木植被的覆盖，轨道列车模型的设计，光照条件的设计以及雨雾天气的设计；
步骤1-1：使用World Machine插件编辑40*40公里范围的地形高度图，使用GeoGlyph库中的ReFlow宏脚本，然后连接到Splat Converter上保证splat map的正确权重；导出高度地图，保存为PNG格式，在虚幻引擎中打开LandScape编辑器创建地貌，点击导入WorldMachine生成的高度图；生成地貌后在LandScape中再对地貌使用雕刻组件进行平滑、腐蚀等调整；最后给地貌添加合适的材质；
步骤1-2：在地貌上覆盖草木植被；使用SpeedTree辅助工具编辑草丛和树木的模型，将导出srt文件导入到虚幻引擎中，导入虚幻引擎中之后，材质已经和模型匹配完成；使用笔刷工具，对其大小范围、密度、Z轴偏移量、法线等进行设置，之后就可以在地貌上刷上植被；
步骤1-3：设置光照和天气；虚拟场景中使用方向性光源与天空光源相结合的方式实现对真实光照条件的仿真，不同的天候会影响阳光散射条件，通过改变天空光源模拟不同天候下的光照条件；不同光照条件的变化主要体现在方向和强度的改变上，可通过改变方向性光源的方向、强度，微调天空光源的强度，模拟不同时间的光线条件；使用虚幻引擎中设置更加灵活的粒子发射器搭建粒子系统实现雨天、雾天和雪天效果，不同天候对应的云层和光照情况通过虚幻引擎蓝图系统实现自动调整；
步骤1-4：添加轨道和列车模型并控制；列车使用3DMax编辑轨道模型以及列车模型，并导入到虚幻引擎中；为车轮创建VehicleWheel蓝图并设置轮胎的宽、半径、旋转角度等；创建TireType数据资源用于设定摩擦力；新建WheeledVehicle蓝图，并修改相关设定；对VehicleSetup这一栏参数进行设定；为列车创建动画蓝图将父类设置为VehicleAnimInstance，并连接；之后在WheeledVehicle蓝图中，选择Mesh，使用做好的动画蓝图；使用WheeledVehicle蓝图中的VehicleMovementComponent组件控制列车；
步骤2：添加仿真环境中的相机和激光雷达传感器，采集环境信息；激光雷达传感器和相机传感器使用AirSim插件中提供的传感器；AirSim是微软开发的仿真模拟器，可以作为插件直接用于虚幻引擎中；下载AirSim源码并编译；将编译生成的plugin插件文件夹复制到虚幻工程下，打开创建的轨道列车环境的虚幻工程，将GameMode设置为AirSimGameMode便可以运行插件中的传感器获得信息；利用虚幻引擎提供相机组件，直接添加到场景中，获取相机视角的图像；；
步骤3：数据通讯搭建；将激光点云和图像数据进行格式转换，借助虚幻引擎官方提供的ROS Integration插件，通过socket建立windows系统到Linux系统通讯，将Windows系统上虚幻引擎处理好的传感器数据传输到Ubuntu18.04系统的ROS平台上，在ROS中完成障碍物检测
步骤4：仿真系统界面设计；使用虚幻引擎的UMG UIDesigner设计界面，并对控件创建蓝图，编写控制代码完成控件功能；
设置添加启动按键，控制轨道列车运行启动和停止；
设置添加天气模式按键，选择不同的光照和天气模式；
设置添加激光雷达传感器按键，控制激光雷达点云数据的显示；
设置添加相机传感器按键，控制相机图像数据显示；
设置障碍物添加按键，在轨道上生成不同形状的障碍物；
步骤5：利用仿真数据进行障碍物检测；在ROS中处理传感器数据，对原始数据进行预处理，使用相机传感器和激光雷传感器融合的方案，来检测轨道上的障碍物，算法流程如图6；
步骤5-1：使用PCL点云处理库读入激光雷达点云数据，对数据进行预处理；预处理方法为下采样滤波，可以在不损失环境信息的前提下，使用较少数据量；接着进行平面分割处理，采用RANSAC(随机抽样一致性)算法；最后使用点云聚类算法，平面分割将点云分成了两大类别，聚类将点云分成一个个目标集合；
步骤5-2：使用Open cv图像处理库读入相机图像数据，对数据进行预处理；预处理的方法选择灰度变换和高斯变换；接着进行边缘检测使用Canny算子检测；最后使用霍夫直线检测，然后将划分出来的点，进行线性拟合，绘制出轨道；
步骤5-3：对经过算法处理的点运河图像数据进行匹配融合；首先时间匹配，将传感器的每个采样时刻记录在统一的时间序列上；当激光雷达完成一次采样时，寻找与该时刻最邻近时刻的图像，做为匹配的一帧；空间匹配；根据相机的原理可以求得相机坐标系、图像坐标系和像素坐标系的转换矩阵；根据仿真场景中激光雷达和相机安装的位置可以得到激光雷达坐标系和相机坐标系的转换矩阵；将激光雷达坐标系里面激光点云的点的坐标投影到相机图像中，判断轨道线内是否有聚类出的点云块，来判别轨道上的障碍物。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110504554.5A CN113495495B (zh) | 2021-05-10 | 2021-05-10 | 一种基于虚幻引擎的轨道障碍物检测仿真平台的构建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110504554.5A CN113495495B (zh) | 2021-05-10 | 2021-05-10 | 一种基于虚幻引擎的轨道障碍物检测仿真平台的构建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113495495A true CN113495495A (zh) | 2021-10-12 |
| CN113495495B CN113495495B (zh) | 2024-01-12 |
Family
ID=77997904
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110504554.5A Active CN113495495B (zh) | 2021-05-10 | 2021-05-10 | 一种基于虚幻引擎的轨道障碍物检测仿真平台的构建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113495495B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114954570A (zh) * | 2022-04-14 | 2022-08-30 | 通号城市轨道交通技术有限公司 | 轨道障碍物处理方法、装置、电子设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101118622A (zh) * | 2007-05-25 | 2008-02-06 | 清华大学 | 在城市环境下微型飞行器三维轨迹仿真方法 |
| CN104460670A (zh) * | 2014-11-10 | 2015-03-25 | 华南理工大学 | 一种scara机器人运动仿真及远程控制系统及控制方法 |
| CN107941910A (zh) * | 2017-11-15 | 2018-04-20 | 唐智科技湖南发展有限公司 | 一种识别轨道上障碍物的方法及系统 |
| CN112084719A (zh) * | 2020-09-17 | 2020-12-15 | 招商局重庆交通科研设计院有限公司 | 基于计算机辅助设计和辅助仿真的道路交通智能设计平台 |
-
2021
- 2021-05-10 CN CN202110504554.5A patent/CN113495495B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101118622A (zh) * | 2007-05-25 | 2008-02-06 | 清华大学 | 在城市环境下微型飞行器三维轨迹仿真方法 |
| CN104460670A (zh) * | 2014-11-10 | 2015-03-25 | 华南理工大学 | 一种scara机器人运动仿真及远程控制系统及控制方法 |
| CN107941910A (zh) * | 2017-11-15 | 2018-04-20 | 唐智科技湖南发展有限公司 | 一种识别轨道上障碍物的方法及系统 |
| CN112084719A (zh) * | 2020-09-17 | 2020-12-15 | 招商局重庆交通科研设计院有限公司 | 基于计算机辅助设计和辅助仿真的道路交通智能设计平台 |
Non-Patent Citations (1)
| Title |
|---|
| 付清芳等: ""基于虚幻4的自然场景制作"", 《电脑知识与技术》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114954570A (zh) * | 2022-04-14 | 2022-08-30 | 通号城市轨道交通技术有限公司 | 轨道障碍物处理方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113495495B (zh) | 2024-01-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11487288B2 (en) | Data synthesis for autonomous control systems | |
| Fang et al. | Augmented LiDAR simulator for autonomous driving | |
| CN107678306A (zh) | 动态场景信息录制和仿真回放方法、装置、设备及介质 | |
| CN109726426A (zh) | 一种车辆自动驾驶虚拟环境构建方法 | |
| Nentwig et al. | Hardware-in-the-loop testing of computer vision based driver assistance systems | |
| CN109859562A (zh) | 数据生成方法、装置、服务器及存储介质 | |
| US8242948B1 (en) | High fidelity simulation of synthetic aperture radar | |
| Hossain et al. | CAIAS simulator: self-driving vehicle simulator for AI research | |
| Malik et al. | Carla: Car learning to act—an inside out | |
| D’Amico et al. | TrainSim: A railway simulation framework for LiDAR and camera dataset generation | |
| Guvenc et al. | Simulation Environment for Safety Assessment of CEAV Deployment in Linden | |
| CN113495495B (zh) | 一种基于虚幻引擎的轨道障碍物检测仿真平台的构建方法 | |
| Hossain et al. | Autonomous-driving vehicle learning environments using unity real-time engine and end-to-end CNN approach | |
| US20230080540A1 (en) | Lidar simulation system | |
| Nedevschi | Semantic segmentation learning for autonomous uavs using simulators and real data | |
| CN115062529A (zh) | 基于长短期记忆和多图卷积网络融合的汽车行为预测方法 | |
| CN117252011A (zh) | 基于分布式架构的异构地空无人集群仿真系统构建方法 | |
| Zhou et al. | A survey on autonomous driving system simulators | |
| CN110134024A (zh) | 车辆自动驾驶虚拟环境中特殊标志物的构建方法 | |
| Zhuo et al. | A novel vehicle detection framework based on parallel vision | |
| CN115257785A (zh) | 一种自动驾驶数据集制作方法及系统 | |
| Miura et al. | Converting driving scenario framework for testing self-driving systems | |
| WO2021049062A1 (ja) | 認識モデル配信システム及び認識モデルの更新方法 | |
| Vukić et al. | Unity based urban environment simulation for autonomous vehicle stereo vision evaluation | |
| Feng et al. | Autonomous RC-car for education purpose in iSTEM projects |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |