CN114187663A - 基于雷达探测灰度图与神经网络的体态控制无人机的方法 - Google Patents
基于雷达探测灰度图与神经网络的体态控制无人机的方法 Download PDFInfo
- Publication number
- CN114187663A CN114187663A CN202111524339.8A CN202111524339A CN114187663A CN 114187663 A CN114187663 A CN 114187663A CN 202111524339 A CN202111524339 A CN 202111524339A CN 114187663 A CN114187663 A CN 114187663A
- Authority
- CN
- China
- Prior art keywords
- data
- radar
- aerial vehicle
- unmanned aerial
- controlling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 12
- 230000033001 locomotion Effects 0.000 claims abstract description 27
- 238000012549 training Methods 0.000 claims abstract description 20
- 230000009471 action Effects 0.000 claims abstract description 16
- 238000007781 pre-processing Methods 0.000 claims abstract description 12
- 230000004913 activation Effects 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 210000002569 neuron Anatomy 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 2
- 238000013527 convolutional neural network Methods 0.000 abstract description 26
- 230000006798 recombination Effects 0.000 abstract 1
- 238000005215 recombination Methods 0.000 abstract 1
- 230000007613 environmental effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000008034 disappearance Effects 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
- G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于雷达探测灰度图与神经网络的体态控制无人机的方法，包括如下步骤：S1，通过雷达向目标发射信号波，接收到包括人体动作在内的探测结果；S2，对探测结果进行预处理，将探测结果中的背景去除，保留处于运动的图像；S3，基于时间对预处理三维结果重组，形成灰度图；S4，将灰度图经过训练好的神经网络，判断出无人机控制命令。使用无人机操控时获得的的雷达探测结果，通过预处理和模型，得到控制无人机运动的命令。本发明将雷达探测的结果滤过环境并基于时间重组使数据规模减小，使用CNN训练得到的模型以提高判断命令的准确率。
Description
技术领域
本发明涉及雷达探测、图像处理、神经网络技术领域，尤其是涉及基于雷达探测灰度图与神经网络的体态控制无人机的方法。
背景技术
近年来，无人机技术急速发展，伴随其的是，无人机市场也发展迅猛，无人机的应用需求也越来越广泛，现在许多行业都在逐渐引入无人机，例如影视，电力巡检，河道的巡检。但是无人机如果使用遥控来操控，需要有过一定的专业培训才可以较为熟练地使用，于是人们就发明了不使用遥控来操控的无人机。例如使用穿戴式设备来控制无人机；或者是使用kinect平台基于动作识别控制无人机，但是使用者无法离开固定于地面的摄像机；又或者是使用挂载在无人机上的摄像头，通过对使用者进行动作采集并预先寄存在相应的数据库，从而实现使用手势控制无人机运动，但是这种控制受限于环境和拍摄的像素，当使用于复杂的环境，或者距离无人机较远距离时，控制效果就比较低下了。
发明内容
为解决现有技术的不足，实现无人机更高的操控准确率的目的，本发明采用如下的技术方案：
基于雷达探测灰度图与神经网络的体态控制无人机的方法，包括如下步骤：
S1，通过雷达向目标方向多角度发射信号波，接收到包括人体动作在内的探测结果；
S2，对探测结果进行预处理，将探测结果中的背景去除，保留处于运动的图像；
S3，基于时间对预处理得到的三维结果重组，形成一份灰度图；
S4，将灰度图经过训练好的神经网络，判断出无人机控制命令。
进一步地，雷达搭载在无人机上。
进一步地，S1中，使用雷达进行多角度发射信号波，取得雷达在水平以及俯仰的多角度取得的回波数据。
进一步地，S2中，基于回波时间差，取得雷达与物体的距离，利用水平多角度、不同俯仰角度的雷达探测，建立三维信息，基于相邻n帧，去除环境中不动的无用的数据。
进一步地，S2中的背景去除公式为：g(i)＝hi-hmin，g(i)表示当前帧经过计算后的结果，hi表示当前帧是否可以取得回波，hmin表示当前坐标在相邻n帧内是否可以在该三维坐标下取得回波，可以取得则为1，不可以得到则为0。
进一步地，S3中通过预处理后的每n帧图像重合组成一个新的结果，得到人体动作的一个轨迹图，以时间的先后决定灰度的大小，得到一张灰度图，最终结果为三维坐标下的，以灰度表示的人体运动轨迹。
进一步地，S3中灰度图计算公式为
q(x,y,z)表示灰度大小，n表示截取的帧数，三维坐标(x,y,z)取得g(i)为1的帧为i。
进一步地，S4中的神经网络是基于动作轨迹判断无人机运动指令的神经网络模型，训练过程包括如下步骤：
S41，在自然环境下，即环境障碍物较少，雷达可以检测到人体动作的环境下人体的动作，采集多组人体动作的数据，并进行标记，标记为各种动作所代表的无人机运动指令；
S42，对标记的数据进行扩展，使CNN训练得到的模型具有足够的鲁棒性；
S43，将数据放入模型中进行训练，进行模型训练的CNN为3D CNN，CNN卷积神经网络在视觉方面使用的通常为2D CNN，在本模型中因为使用的是建立后的三维模型，比2DCNN多出一个“深度”，包括一组16个的卷积层，每一个卷积层中都要经过一轮卷积运算每一个卷积核为2*5*5，步长为1，填充为1，每个卷积之后层之后为一个RELU激活函数，其公式为f(x)＝max(0,x)，优点为避免了梯度爆炸和梯度消失，即避免了偏导接近于0或者无穷，同时加速了网路收敛的速度；
S44，在每一次进入RELU激活函数之前，先让数据进入BN层，对数据进行标准化处理，使其均值为0，方差为1；
S45，卷积层结束之后进入池化层，在池化层中，每个卷积核为2*4*4，剔除不重要的特征，得到新的特征；
S46，池化层后进入全连接层，前后相邻的两个全连接层中有RELU激活函数和Dropout函数，Dropout函数以一定的概率丢弃一些神经元，防止过拟合。
进一步地，S42中数据的扩展，包括模拟无人机的震动，采集以2°的步长在-20°～+20°的范围内旋转图像，同时还需得到经过缩小和扩大的图像；模拟因距离对探测结果的影响，采集范围为30％～130％，步长为5°的图像，以这些要求扩充数据集，可以获得比之前扩大400倍的数据集，之后再使用CNN训练得到一个模型，模型可以较为准确的判断动作轨迹图与命令之间的关系，使CNN训练得到的模型具有足够的鲁棒性，即当使用模型时接收到的信息改变较大时，会有足够的健壮性，使得结果还是稳定的。
进一步地，S44中的BN层，输入的数据为β＝{x1,x2,x3...xm}，则
其中，μβ为均值，αβ为期望，
是归一化之后限制在正态分布下的结果，ε是防止
为0所引入的参数，γ表示卷积时步长，α表示平移因子，β和α通过梯度下降求得。
本发明的优势和有益效果在于：
本发明通过对雷达探测得到的图像基于时间进行重组，获得人体运动的灰度图，减小了数据的大小，加快了模型训练速度和进入模型后的判断速度。使用CNN来锻炼获得模型，训练所使用的数据集进行过数据扩展，使得其具有很好的鲁棒性，并且对命令的判断准确率更高。
附图说明
图1为本发明方法的流程图。
图2为本发明中滤过环境因素的流程图。
图3为本发明中将环境滤过并进行多帧重叠的演示图。
图4本发明中卷积网络结构示意图。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
如图1所示，本发明提供了一种基于雷达探测时间灰度图与CNN的体态控制无人机的方法，包括以下步骤：
S1，使用雷达向目标方向多角度发射信号波，接收到包括人体在内的探测结果；
S2，将使用雷达将取得的结果进行预处理；
S3，基于时间将预处理得到的三维结果重组形成一份灰度图；
S4，将取得的结果经过使用CNN进行训练得到的模型判断出命令。
使用雷达进行多角度发射信号波，取得雷达在水平以及俯仰的多角度取得的回波数据。
如图2所示，对环境因素进行预处理，是将探测到结果中的背景去除，只留下处于运动的图像。首先是要基于回波时间差取得物体的距离，再利用水平多角度、不同俯仰角度的雷达探测，建立三维信息。之后基于相邻n帧，去除环境中无用的数据。
去除环境因素的方法为，设hmin为该坐标在相邻n帧内是否可以在该三维坐标下取得回波，可以取得则为1，不可以得到则为0，hi为该帧是否可以取得回波，g(i)为该帧经过计算后的结果，公式为：g(i)＝hi-hmin。
如图3所示，接下来将滤过环境因素的数据基于时间合成为一份灰度图。这是将每n帧图像重合组成一个新的结果，得到的为人体动作的一个轨迹图。之后再基于时间，以时间的先后决定灰度的大小，得到一张灰度图。其最终结果为三维坐标下的，以灰度表示的人体运动轨迹。
计算灰度的大小方式为，假设截取的帧数为n，坐标为(x,y,z)取得g(i)为1的帧为i，该处的灰度大小为q(x,y,z)，则灰度大小的计算公式为
判断命令所用的模型，是用CNN提前训练得到的模型，为一个基于动作轨迹判断无人机运动指令的模型。
训练得到模型的流程如下：
(1)在自然环境下，即环境障碍物较少，雷达可以检测到人体动作的环境，采集多组人体动作的数据，并对它们进行标记。所采用的标记为，各种动作所代表的无人机运动指令；
(2)对标记的数据进行扩展使CNN训练得到的模型具有足够的鲁棒性，即当使用模型时接收到的信息改变较大时，会有足够的健壮性，使得结果还是稳定的。数据集的扩充模拟无人机的震动，以2°的步长在-20°～+20°的范围内旋转图像，同时还需得到经过缩小和扩大的图像，模拟因距离对探测结果的影响，范围为30％～130％，步长为5°。以这些要求扩充数据集，可以获得比之前扩大400倍的数据集，之后再使用CNN训练得到一个模型，模型可以较为准确的判断动作轨迹图与命令之间的关系。
(3)如图4所示，将数据放入CNN中进行训练。进行模型锻炼的CNN为3D CNN，其中CNN即卷积神经网络，在视觉方面使用的一般是2D的CNN，在本模型中因为使用的是建立后的三维模型，会比2DCNN多出一个“深度”，使用的卷积层为16个，即经过16个的卷积层，每一个卷积层中都要经过一轮卷积运算，每一个卷积核为2*5*5，步长为1，填充为1，其中步长是卷积核每一次移动的距离为1，填充是在进行卷积时会在最外层进行一次扩充，扩充数为一圈，填充在其中的数据为0。每一个卷积之后层之后紧跟着一个RELU激活函数，即经过卷积处理后的数据放入RELU函数中进行处理，其公式为f(x)＝max(0,x)，优点为避免了梯度爆炸和梯度消失，即避免了偏导接近于0或者无穷，同时加速了网路收敛的速度。
(4)在每一次进入RELU激活函数之前，即每一次卷积之后，每一个数据都要经过RELU函数之前，需要让数据进入BN层，即对数据进行标准化处理，使其均值为0，方差为1。
BN层中假设输入的数据为β＝{x1,x2,x3...xm}，则
其中μβ为均值，αβ为期望，
是归一化之后限制在正态分布下的结果，ε是防止
为0所引入的参数，γ卷积时步长，α为平移因子，β和α可以通过梯度下降求得。
(5)卷积层结束之后进入池化层，在池化层中，即进行压缩数据，减小过拟合时，每个卷积核为2*4*4，剔除不重要的特征，得到新的特征。
(6)最后，网络模型包含5个全连接层，前后两个全连接层中有着RELU激活函数和Dropout函数，其中5个全连接层都在池化层之后，前后为相邻的两个全连接层。Dropout函数会以一定的概率丢弃一些神经元，防止过拟合。
使用人体动作操控无人机，无人机会将人体的动作检测到后，经过预处理，减小数据量，再放入训练得到的模型中，得到接下来运动的命令。
本发明的工作原理：使用雷达向目标方向多角度发射信号波，接收到包括人体在内的探测结果；将使用雷达将取得的结果进行预处理，滤过环境因素，取得只有动作的图像；基于时间将预处理得到的三维结果重组形成一份灰度图，得到的是一张动作轨迹的灰度图；先使用CNN对提前取得的进行数据扩充后的数据集进行训练，得到动作命令模型，之后在使用手势操控无人机时，直接将无人机所取得地经过预处理后的数据，经过模型获得具体运动指令。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。
Claims (10)
1.基于雷达探测灰度图与神经网络的体态控制无人机的方法，其特征在于包括如下步骤：
S1，通过雷达向目标发射信号波，接收到包括人体动作在内的探测结果；
S2，对探测结果进行预处理，将探测结果中的背景去除，保留处于运动的图像；
S3，基于时间对预处理结果重组，形成灰度图；
S4，将灰度图经过训练好的神经网络，判断出无人机控制命令。
2.根据权利要求1所述的基于雷达探测灰度图与神经网络的体态控制无人机的方法，其特征在于所述雷达搭载在无人机上。
3.根据权利要求1所述的基于雷达探测灰度图与神经网络的体态控制无人机的方法，其特征在于所述S1中，使用雷达进行多角度发射信号波，取得雷达在水平以及俯仰的多角度取得的回波数据。
4.根据权利要求2所述的基于雷达探测灰度图与神经网络的体态控制无人机的方法，其特征在于所述S2中，基于回波时间差，取得雷达与物体的距离，利用水平多角度、不同俯仰角度的雷达探测，建立三维信息，基于相邻n帧，去除不动的数据。
5.根据权利要求1所述的基于雷达探测灰度图与神经网络的体态控制无人机的方法，其特征在于所述S2中的背景去除公式为：g(i)＝hi-hmin，g(i)表示当前帧经过计算后的结果，hi表示当前帧是否可以取得回波，hmin表示当前坐标在相邻n帧内是否可以在该三维坐标下取得回波，可以取得则为1，不可以得到则为0。
6.根据权利要求1所述的基于雷达探测灰度图与神经网络的体态控制无人机的方法，其特征在于所述S3中通过预处理后的每n帧图像，得到人体动作的轨迹图，以时间的先后决定灰度的大小，得到灰度图，最终结果为三维坐标下的，以灰度表示的人体运动轨迹。
7.根据权利要求1所述的基于雷达探测灰度图与神经网络的体态控制无人机的方法，其特征在于所述S3中灰度图计算公式为
q(x,y,z)表示灰度大小，n表示截取的帧数，三维坐标(x,y,z)取得g(i)为1的帧为i。
8.根据权利要求1所述的基于雷达探测灰度图与神经网络的体态控制无人机的方法，其特征在于所述S4中的神经网络是基于动作轨迹判断无人机运动指令的神经网络模型，训练过程包括如下步骤：
S41，采集多组人体动作的数据，并进行标记，标记为各种动作所代表的无人机运动指令；
S42，对标记的数据进行扩展；
S43，将数据放入模型中进行训练，每个卷积之后层之后为一个RELU激活函数；
S44，在进入RELU激活函数之前，先让数据进入BN层，对数据进行标准化处理，使其均值为0，方差为1；
S45，卷积层结束之后进入池化层，剔除不重要的特征，得到新的特征；
S46，池化层后进入全连接层，前后相邻的两个全连接层中有RELU激活函数和Dropout函数，Dropout函数以一定的概率丢弃一些神经元，防止过拟合。
9.根据权利要求8所述的基于雷达探测灰度图与神经网络的体态控制无人机的方法，其特征在于所述S42中数据的扩展，包括模拟无人机的震动，采集以2°的步长在-20°～+20°的范围内旋转图像，同时还需得到经过缩小和扩大的图像；模拟因距离对探测结果的影响，采集范围为30％～130％，步长为5°的图像。
10.根据权利要求8所述的基于雷达探测灰度图与神经网络的体态控制无人机的方法，其特征在于所述S44中的BN层，输入的数据为β＝{x1,x2,x3...xm}，则
其中，μβ为均值，αβ为期望，
是归一化之后限制在正态分布下的结果，ε是防止
为0所引入的参数，γ表示卷积时步长，α表示平移因子，β和α通过梯度下降求得。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111524339.8A CN114187663A (zh) | 2021-12-14 | 2021-12-14 | 基于雷达探测灰度图与神经网络的体态控制无人机的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111524339.8A CN114187663A (zh) | 2021-12-14 | 2021-12-14 | 基于雷达探测灰度图与神经网络的体态控制无人机的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114187663A true CN114187663A (zh) | 2022-03-15 |
Family
ID=80543619
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111524339.8A Pending CN114187663A (zh) | 2021-12-14 | 2021-12-14 | 基于雷达探测灰度图与神经网络的体态控制无人机的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114187663A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114944014A (zh) * | 2022-05-30 | 2022-08-26 | 国网江苏省电力有限公司徐州供电分公司 | 一种基于3d姿态的端到端手势识别设备 |
-
2021
- 2021-12-14 CN CN202111524339.8A patent/CN114187663A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114944014A (zh) * | 2022-05-30 | 2022-08-26 | 国网江苏省电力有限公司徐州供电分公司 | 一种基于3d姿态的端到端手势识别设备 |
| CN114944014B (zh) * | 2022-05-30 | 2024-04-30 | 国网江苏省电力有限公司徐州供电分公司 | 一种基于3d姿态的端到端手势识别设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109800689B (zh) | 一种基于时空特征融合学习的目标跟踪方法 | |
| CN106356757B (zh) | 一种基于人眼视觉特性的电力线路无人机巡检方法 | |
| CN112560741A (zh) | 一种基于人体关键点的安全穿戴检测方法 | |
| CN110490158B (zh) | 一种基于多级模型的鲁棒人脸对齐方法 | |
| CN106529538A (zh) | 一种飞行器的定位方法和装置 | |
| CN104794737B (zh) | 一种深度信息辅助粒子滤波跟踪方法 | |
| CN111998862B (zh) | 一种基于bnn的稠密双目slam方法 | |
| CN106056624A (zh) | 无人机高清图像小目标检测与跟踪系统及其检测跟踪方法 | |
| CN113850865A (zh) | 一种基于双目视觉的人体姿态定位方法、系统和存储介质 | |
| CN113362374A (zh) | 一种基于目标跟踪网络的高空抛物检测方法及系统 | |
| WO2024060978A1 (zh) | 关键点检测模型训练及虚拟角色驱动的方法和装置 | |
| CN111680586A (zh) | 一种羽毛球运动员运动姿态估计方法及系统 | |
| CN103310191A (zh) | 运动信息图像化的人体动作识别方法 | |
| CN113643329B (zh) | 一种基于孪生注意力网络的在线更新目标跟踪方法和系统 | |
| CN114187663A (zh) | 基于雷达探测灰度图与神经网络的体态控制无人机的方法 | |
| CN112377332B (zh) | 一种基于计算机视觉的火箭发动机极性测试方法及系统 | |
| Cai | A method for prediction the trajectory of table tennis in multirotation state based on binocular vision | |
| Ye | Intelligent Image Processing Technology for Badminton Robot under Machine Vision of Internet of Things | |
| CN114639168B (zh) | 一种用于跑步姿态识别的方法和系统 | |
| CN110910489A (zh) | 一种基于单目视觉的智能球场运动信息采集系统与方法 | |
| CN113920254B (zh) | 一种基于单目rgb的室内三维重建方法及其系统 | |
| CN114548224A (zh) | 一种用于强交互人体运动的2d人体位姿生成方法及装置 | |
| CN114663835A (zh) | 一种行人跟踪方法、系统、设备及存储介质 | |
| CN112099330B (zh) | 基于外部相机和穿戴式显控设备的全息人体重建方法 | |
| CN104182990B (zh) | 一种实时序列图像运动目标区域获取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |