CN117492467A - 一种基于模仿学习的无人直升机避障系统及方法 - Google Patents
一种基于模仿学习的无人直升机避障系统及方法 Download PDFInfo
- Publication number
- CN117492467A CN117492467A CN202311485603.0A CN202311485603A CN117492467A CN 117492467 A CN117492467 A CN 117492467A CN 202311485603 A CN202311485603 A CN 202311485603A CN 117492467 A CN117492467 A CN 117492467A
- Authority
- CN
- China
- Prior art keywords
- obstacle avoidance
- unmanned helicopter
- obstacle
- module
- control module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000012545 processing Methods 0.000 claims abstract description 37
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims abstract description 35
- 238000013528 artificial neural network Methods 0.000 claims description 34
- 238000012549 training Methods 0.000 claims description 25
- 238000004088 simulation Methods 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 14
- 239000013598 vector Substances 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 230000004888 barrier function Effects 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 description 12
- 230000007613 environmental effect Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005315 distribution function Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Abstract
本发明属于无人机自动控制技术领域，涉及一种基于模仿学习的无人直升机避障系统及方法。系统包括：综合处理计算机和通过数据总线与之相连的毫米波雷达模块、双目视觉模块、导航模块、飞行控制模块；所述毫米波雷达用于探测无人直升机前方是否存在障碍物，若探测到障碍物，则将障碍物的距离发送至飞行控制模块；所述综合处理计算机在接收到障碍物距离数据后发送减速指令至飞行控制模块以控制无人直升机减速到指定速度；所述综合处理计算机在无人直升机减速到指定速度后接收双目视觉模块发送的深度图像数据和飞行控制模块发送的导航数据，并根据深度图像数据和导航数据控制无人直升机进行避障，避障完成后返回原航线。
Description
技术领域
本发明属于无人机自动控制设计领域，涉及一种基于模仿学习的无人直升机避障系统及方法。
背景技术
无人直升机一般是指不需要人类直接驾驶的直升机，可以通过遥控方式进行远距离操作。
无人直升机具有安全高效、快速起降、灵活机动、能够在狭小的空间内悬停和转移等优点，能够适应多样化的任务需求和环境条件。
无人直升机在军事和民用领域均有广泛的应用。在军事领域，无人直升机可以用于侦查、侦察、打击等任务；在民用领域，无人直升机可以用于环境监测、农业作业、消防救援、交通巡视、航拍测绘等领域。
由于无人直升机自身特点，常在低空执行任务，低空环境复杂，因此无人直升机自主避障能力对保障其飞行安全至关重要。
目前自主避障方法一般分为三个主要步骤：环境感知、地图建模和路径规划。这些步骤为串联执行，导致计算效率较低和传递误差较大，影响了最终避障效果。
此外，目前工业级无人直升机巡航速度一般在60千米/小时以上，传统双目视觉感知距离较短，无法及时提供避障感知信息。
因此，目前工业级无人直升机避障问题仍有待解决。
发明内容
发明目的:提供一种基于模仿学习的无人直升机避障系统及方法，该方法基于模仿学习训练深度神经网络，建立环境的感知信息和无人直升机避障路径的映射关系，可由无人直升机当前状态及双目摄像机获得的环境信息生成安全的避障路径，降低了数据多步骤传递过程中的误差，提升了系统避障效率，可更有效的保障无人直升机飞行安全。
技术方案：
一种基于模仿学习的无人直升机避障系统，包括：综合处理计算机和通过数据总线与之相连的毫米波雷达模块、双目视觉模块、导航模块、飞行控制模块；
所述毫米波雷达用于探测无人直升机前方是否存在障碍物，若探测到障碍物，则将障碍物的距离发送至飞行控制模块；
所述综合处理计算机在接收到障碍物距离数据后发送减速指令至飞行控制模块以控制无人直升机减速到指定速度；
所述综合处理计算机在无人直升机减速到指定速度后接收双目视觉模块发送的深度图像数据和飞行控制模块发送的导航数据，并根据深度图像数据和导航数据控制无人直升机进行避障，避障完成后返回原航线。
进一步，所述综合处理计算机根据深度图像数据和导航数据输出三条避障轨迹及相应的碰撞代价，进而根据碰撞代价从三条避障轨迹中选择最优轨迹发送至飞行控制模块以控制无人直升机进行避障，避障完成后返回原航线。
一种基于模仿学习的无人直升机避障方法，所述方法通过所述的系统实施，所述方法包括以下步骤：
第一步：毫米波雷达模块发射电磁信号对无人直升机航线方向上的障碍物进行探测；
第二步：如毫米波雷达模块反馈航线方向上存在障碍物，飞行控制模块控制无人直升机速度降低至避障飞行速度；
第三步：双目视觉模块获取航向方向上的双目视觉图像，并计算输出深度点云图像给综合处理计算机模块；
第四步：综合处理计算机模块根据无人直升机的速度和姿态，目标方向信息，通过深度神经网络输出避障轨迹给飞行控制模块；
第五步：飞行控制模块控制无人直升机按避障轨迹飞行；
第六步：完成避障返回原航线飞行。
进一步，所述第四步中，深度神经网络包括三个部分,第一部分用于提取深度点云图像特征，第二部分用于提取无人直升机速度、姿态和目标航向特征，第三部分用于根据上述两个部分提取的特征生成三条无人直升机下一秒的避障轨迹及其碰撞代价。
进一步，所述第一部分采用MobileNetV3神经网络架构，从深度点云图像中提取特征，然后通过1D卷积处理提取的深度点云图像特征，生成3个32维特征向量。
进一步，所述第二部分采用四层感知器，所述四层感知器具有[64,32,32,32]隐藏层节点和LeakyReLU激活函数，从平台速度、姿态及目标航向信息中提取无人机状态特征，然后通过1D卷积处理提取的特征，生成3个32维的特征向量。
进一步，所述第三部分采用三层感知器，所述三层感知器具有[64,128,128]隐藏层节点和LeakyReLU激活函数，将第一和第二部分分别生成的3个32维的特征向量，两两组合计算输出三条无人直升机下一秒的避障轨迹及其碰撞代价。
进一步，所述第四步中，综合处理计算机还对深度神经网络输出的三条避障轨迹进行筛选，过程如下：
分别计算三条避障轨迹的碰撞代价比；若存在碰撞代价比不小于0.95，则相应的避障轨迹为最优轨迹，若存在多条最优轨迹，则计算避障轨迹的终点与预定航线终点间距，取间距最小的避障轨迹作为最终的避障轨迹输出至飞行控制模块；
碰撞代价比为碰撞代价中的最小值与三条避障轨迹各自对应的碰撞代价的比值。
进一步，所述第四步中，深度神经网络训练过程如下
A、建立无人直升机飞行三维仿真环境；
B、基于无人直升机在仿真环境中飞行时的状态信息和仿真环境点云信息，通过Gibbs Sampling采样，生成代价最低的3条避障轨迹，同时记录当前无人直升机状态信息和仿真环境中双目视觉传感器的深度点云图像，通过上述方法获取模仿学习进行训练的数据集中的训练数据；
C、通过模仿学习训练深度神经网络，基于上述数据集，训练选用Adam优化器基于训练数据集不断优化深度神经网络，降低损失函数值，当损失函数值低于训练目标值时，认为深度神经网络训练完毕。
有益效果：
1、由深度神经网络基于深度点云图像和无人直升机状态信息直接计算输出避障轨迹，法简化了避障轨迹的计算流程，增加了避障算法的鲁棒性和效率；
2、采用毫米波雷达和双目视觉组合的方式对无人直升机航行环境进行感知，一方面可借助毫米波雷达较长的探测距离，及时发现障碍物降低飞行速度，保障飞行安全；另一方面可借助双目视觉的广视角更好的搜索避障路径。
3、通过深度神经网络计算输出3条避障轨迹，可增加避障系统的可靠性；
4、采用双目视觉的深度点云图像作为深度神经网络的输入计算避障轨迹，其优势在于仿真环境下的深度点云图像与现实设备的深度点云图像一致性好，仿真环境下训练好的深度神经网络可直接部署在无人直升机上使用，无需额外的物理环境训练，有效降低了深度神经网络的训练周期和成本。
5、本文所述用于模仿学习训练的数据集获得方法，可有效地解决训练数据获取问题。
附图说明
图1为一种基于模仿学习的无人直升机避障系统示意图；
图2为一种基于模仿学习的无人直升机避障方法示意图。
具体实施方式
一种基于模仿学习的无人直升机避障系统安装于无人直升机上，包括：综合处理计算机、毫米波雷达模块、双目视觉模块、导航模块和飞行控制模块。
所述综合处理计算机通过数据总线与毫米波雷达、双目视觉、导航和飞行控制模块进行通信，以双目视觉和导航模块输入信息计算输出航线指令给飞行控制模块，另外以毫米波雷达模块输入信息计算输出飞行速度控制指令给飞行控制模块。
所述综合处理计算机包含一个深度神经网络计算模块用于计算输出三条无人直升机下一秒的避障轨迹及其碰撞代价，综合处理计算机根据上述三条避障轨迹及其碰撞代价，计算输出一条用于飞行控制模块执行的避障轨迹。
所述的深度神经网络计算模块计算输入为双目视觉模块输出的深度点云图像和导航模块输出的平台速度、姿态及目标航向信息。
所述的双目视觉模块输出的深度点云图像辨率为640×480。
所述的导航模块输出的平台速度为一个向量，由x，y，z三个轴的速度分量构成。
所述的导航模块输出的平台姿态由一个旋转矩阵表示。
所述的目标航向为一个单位向量，由无人直升机当前位置指向预设航线的终点。
所述的深度神经网络计算模块由三个部分组成,第一部分处理用于提取深度点云图像特征，第二部分用于提取无人直升机速度、姿态和目标航向信息特征，第三部分用于根据上述两个部分提取的信息特征生成三条无人直升机下一秒的避障轨迹及其碰撞代价。
所述的深度神经网络计算模块第一部分,采用MobileNetV3神经网络架构，提取深度点云图像特征，然后通过1D卷积处理该特征，生成3个32维特征向量。
所述的深度神经网络计算模块第二部分,采用一个四层感知器，该感知器具有[64,32,32,32]隐藏层节点和LeakyReLU激活函数，提取平台速度、姿态及目标航向信息特征，然后通过1D卷积处理该特征，生成3个32维的特征向量。
所述的深度神经网络计算模块第三部分,采用一个三层感知器，该感知器具有[64,128,128]隐藏层节点和LeakyReLU激活函数，将上述第一和第二部分分别生成的3个32维的特征向量，两两组合计算输出三条无人直升机下一秒的避障轨迹及其碰撞代价。
所述的综合处理计算机根据上述三条避障轨迹及其碰撞代价，计算输出一条用于飞行控制模块执行的避障轨迹，进一步根据碰撞代价比对上述避障轨迹进行筛选，碰撞代价比计算公式如下c*/ck≥0.95，其中ck为对应三条避障轨迹的碰撞代价，c*为其中的最小值，经上述公式计算，不小于0.95为满足条件，如有多条避障轨迹满足上述条件，则进一步通过符合条件避障轨迹的终点坐标和预定航线终点坐标的相对距离进行筛选，选择相对距离最近的避障轨迹，作为综合处理计算机输出给飞行控制模块的避障轨迹。
所述的深度神经网络计算模块的深度神经网络基于模仿学习进行训练，其原理如图1所示。
用于上述模仿学习进行训练的数据集中的每组训练数据由下述方法获得，基于无人直升机在仿真环境中飞行时的状态信息和仿真环境点云信息，通过Gibbs Sampling采样，生成代价最低的3条避障轨迹，同时记录当前无人直升机状态信息和仿真环境中双目视觉传感器的深度点云图像，形成一组训练数据。Gibbs Sampling采样的条件概率分布函数设置如下：
式(1)中P(τ|τref,C)为仿真环境中无人直升机基于仿真环境的3维环境信息和当前状态信息生成的下一秒避障轨迹τ所遵循的概率分布函数。
式(1)中，τref为参考轨迹，即预设航线轨迹.
式(1)中，C为仿真中环境的点云坐标集，n为点云数量。
式(1)中Z公式如下：
式(1)中c(τ,τref,C)为代价函数，公式如下：
式(3)中其中λc＝1000,Q是一个正的半定状态代价矩阵，Ccollision是无人直升机中心到C离点的距离度量。
Ccollision的计算公式如下：
上述模仿学习训练时的损失函数如下：
式(5)中λ1为10，λ2为0.1。
式(5)中Γe为上述Gibbs Sampling采样生成代价最低的3条避障轨迹，Γn为训练仿真环境中通过深度神经网络预测的3条避障轨迹。
上述模仿学习训练选用Adam优化器，训练过程中不断优化深度神经网络，降低损失函数值，当损失函数值低于训练目标值时，认为深度神经网络训练完毕。
所述毫米波雷达模块安装于无人直升机机头，向无人直升机航向方向发射毫米波，并接收无人机检测范围内障碍物反射回来的毫米波，毫米波雷达模块将接收到的毫米波信息传递给综合处理计算机，综合处理计算机计算判断是否存在障碍物，并发给飞行控制模块；
所述双目视觉模块安装于无人直升机机头，双目视觉模块摄像头朝向无人直升机航向方向，视场角为90度，两个摄像头分别采集可见光图像数据，通过内部计算，输出深度点云图像给综合处理计算机，输出频率为30Hz，深度点云图像分辨率为640×480。
所述导航模块用于获取无人直升机平台状态信息，包括位置、姿态和目标航向信息，并将信息输出给综合处理计算机，输出频率为200Hz。
所述飞行控制模块接收综合处理计算机最大飞行速度和航线指令，生成控制指令，通过舵机调节无人直升机主、尾桨距控制飞行速度至最大飞行速度以下，并沿避障航线飞行，控制指令频率为100Hz。
一种基于模仿学习的无人直升机避障方法，应用于上述基于模仿学习的无人直升机避障系统，所述基于模仿学习的无人直升机避障系统及方法，包括以下步骤：
第一步：毫米波雷达模块发射电磁信号对无人直升机航向方向上的障碍物进行探测。
第二步：如毫米波雷达模块获取到障碍物反射的毫米波信号，并传递给总和处理计算机，综合处理计算机发送指令给飞行控制模块，飞行控制模块控制无人直升机速度降低至避障飞行速度。
第三步：双目视觉模块获取航向方向上的双目视觉图像，并计算输出深度点云图像给综合处理计算机模块。
第四步：综合处理计算机模块根据无人直升机的速度和姿态，目标方向信息，通过训练好的深度神经网络输出避障轨迹给飞行控制模块。
第五步：飞行控制模块控制无人直升机按避障轨迹飞行。
第六步：完成避障返回原航线飞行。
避障原理如图2所示。
以上所述仅是本发明的优选实施方式只是更换的用于阐述本发明，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原来的前提下，还可以做出若干改进和修饰，这些改进和修饰也应视为本发明的保护范围。在不冲突的情况下，本申请的发明实施例和实施例中的特征可以任意相互组合。
Claims (9)
1.一种基于模仿学习的无人直升机避障系统，其特征在于：所述系统包括：综合处理计算机和通过数据总线与之相连的毫米波雷达模块、双目视觉模块、导航模块、飞行控制模块；
所述毫米波雷达用于探测无人直升机前方是否存在障碍物，若探测到障碍物，则将障碍物的距离发送至飞行控制模块；
所述综合处理计算机在接收到障碍物距离数据后发送减速指令至飞行控制模块以控制无人直升机减速到指定速度；
所述综合处理计算机在无人直升机减速到指定速度后接收双目视觉模块发送的深度图像数据和飞行控制模块发送的导航数据，并根据深度图像数据和导航数据控制无人直升机进行避障，避障完成后返回原航线。
2.根据权利要求1所述的系统，其特征在于：所述综合处理计算机根据深度图像数据和导航数据输出三条避障轨迹及相应的碰撞代价，进而根据碰撞代价从三条避障轨迹中选择最优轨迹发送至飞行控制模块以控制无人直升机进行避障，避障完成后返回原航线。
3.一种基于模仿学习的无人直升机避障方法，所述方法通过前述任一权利要求所述的系统实施，其特征在于：所述方法包括以下步骤：
第一步：毫米波雷达模块发射电磁信号对无人直升机航线方向上的障碍物进行探测；
第二步：如毫米波雷达模块反馈航线方向上存在障碍物，飞行控制模块控制无人直升机速度降低至避障飞行速度；
第三步：双目视觉模块获取航向方向上的双目视觉图像，并计算输出深度点云图像给综合处理计算机模块；
第四步：综合处理计算机模块根据无人直升机的速度和姿态，目标方向信息，通过深度神经网络输出避障轨迹给飞行控制模块；
第五步：飞行控制模块控制无人直升机按避障轨迹飞行；
第六步：完成避障返回原航线飞行。
4.根据权利要求3所述的方法，其特征在于：所述第四步中，深度神经网络包括三个部分,第一部分用于提取深度点云图像特征，第二部分用于提取无人直升机速度、姿态和目标航向特征，第三部分用于根据上述两个部分提取的特征生成三条无人直升机下一秒的避障轨迹及其碰撞代价。
5.根据权利要求4所述的方法，其特征在于：所述第一部分采用MobileNetV3神经网络架构，从深度点云图像中提取特征，然后通过1D卷积处理提取的深度点云图像特征，生成3个32维特征向量。
6.根据权利要求5所述的方法，其特征在于：所述第二部分采用四层感知器，所述四层感知器具有[64,32,32,32]隐藏层节点和LeakyReLU激活函数，从平台速度、姿态及目标航向信息中提取无人机状态特征，然后通过1D卷积处理提取的特征，生成3个32维的特征向量。
7.根据权利要求6所述的方法，其特征在于：所述第三部分采用三层感知器，所述三层感知器具有[64,128,128]隐藏层节点和LeakyReLU激活函数，将第一和第二部分分别生成的3个32维的特征向量，两两组合计算输出三条无人直升机下一秒的避障轨迹及其碰撞代价。
8.根据权利要求7所述的方法，其特征在于：所述第四步中，综合处理计算机还对深度神经网络输出的三条避障轨迹进行筛选，过程如下：
分别计算三条避障轨迹的碰撞代价比；若存在碰撞代价比不小于0.95，则相应的避障轨迹为最优轨迹，若存在多条最优轨迹，则计算避障轨迹的终点与预定航线终点间距，取间距最小的避障轨迹作为最终的避障轨迹输出至飞行控制模块；
碰撞代价比为碰撞代价中的最小值与三条避障轨迹各自对应的碰撞代价的比值。
9.根据权利要求8所述的方法，其特征在于：所述第四步中，深度神经网络训练过程如下
A、建立无人直升机飞行三维仿真环境；
B、基于无人直升机在仿真环境中飞行时的状态信息和仿真环境点云信息，通过GibbsSampling采样，生成代价最低的3条避障轨迹，同时记录当前无人直升机状态信息和仿真环境中双目视觉传感器的深度点云图像，通过上述方法获取模仿学习进行训练的数据集中的训练数据；
C、通过模仿学习训练深度神经网络，基于上述数据集，训练选用Adam优化器基于训练数据集不断优化深度神经网络，降低损失函数值，当损失函数值低于训练目标值时，认为深度神经网络训练完毕。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311485603.0A CN117492467A (zh) | 2023-11-09 | 2023-11-09 | 一种基于模仿学习的无人直升机避障系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311485603.0A CN117492467A (zh) | 2023-11-09 | 2023-11-09 | 一种基于模仿学习的无人直升机避障系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117492467A true CN117492467A (zh) | 2024-02-02 |
Family
ID=89672217
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311485603.0A Pending CN117492467A (zh) | 2023-11-09 | 2023-11-09 | 一种基于模仿学习的无人直升机避障系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117492467A (zh) |
-
2023
- 2023-11-09 CN CN202311485603.0A patent/CN117492467A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220197281A1 (en) | Intelligent decision-making method and system for unmanned surface vehicle | |
| Gyagenda et al. | A review of GNSS-independent UAV navigation techniques | |
| US10032111B1 (en) | Systems and methods for machine learning of pilot behavior | |
| CN104656663B (zh) | 一种基于视觉的无人机编队感知与规避方法 | |
| CN106094569B (zh) | 多传感器融合无人机感知与规避仿真系统及其仿真方法 | |
| US8509965B2 (en) | Integrated collision avoidance system for air vehicle | |
| Kumar et al. | Recent developments on target tracking problems: A review | |
| US20100305857A1 (en) | Method and System for Visual Collision Detection and Estimation | |
| CN105759829A (zh) | 基于激光雷达的微型无人机操控方法及系统 | |
| KR102313115B1 (ko) | 인공지능 신경망을 이용한 자율비행 드론 | |
| CN116907282B (zh) | 基于人工智能算法的无人靶机超低空飞行控制方法 | |
| CN112378397A (zh) | 无人机跟踪目标的方法、装置及无人机 | |
| Shish et al. | Survey of capabilities and gaps in external perception sensors for autonomous urban air mobility applications | |
| Tsintotas et al. | The MPU RX-4 project: Design, electronics, and software development of a geofence protection system for a fixed-wing vtol uav | |
| Bodi et al. | Reinforcement learning based UAV formation control in GPS-denied environment | |
| Martel et al. | Unmanned aircraft systems sense and avoid avionics utilizing ADS-B transceiver | |
| Xiang et al. | Autonomous eVTOL: A summary of researches and challenges | |
| Angelov et al. | A passive approach to autonomous collision detection and avoidance | |
| Li et al. | UAV obstacle avoidance by human-in-the-loop reinforcement in arbitrary 3D environment | |
| CN117492467A (zh) | 一种基于模仿学习的无人直升机避障系统及方法 | |
| Li et al. | Research on the intelligent obstacle avoidance and path planning strategy of UAV based on multi-sensor fusion | |
| Lyu et al. | A UAV sense and avoid system design method based on software simulation | |
| McCalmont et al. | Detect and avoid technology demonstration | |
| McKinnis et al. | Flight Test Validation of Adaptive Collision Avoidance Algorithms Using Multiple Unmanned Aircraft | |
| Yao et al. | A Sensor Configuration Model for UAV Sense and Avoid System |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |