CN115547040A - 安全势场下基于informer神经网络的驾驶行为预测方法 - Google Patents
安全势场下基于informer神经网络的驾驶行为预测方法 Download PDFInfo
- Publication number
- CN115547040A CN115547040A CN202211137976.4A CN202211137976A CN115547040A CN 115547040 A CN115547040 A CN 115547040A CN 202211137976 A CN202211137976 A CN 202211137976A CN 115547040 A CN115547040 A CN 115547040A
- Authority
- CN
- China
- Prior art keywords
- track
- potential field
- neural network
- target vehicle
- representing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 40
- 230000033001 locomotion Effects 0.000 claims abstract description 29
- 238000012360 testing method Methods 0.000 claims abstract description 11
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims abstract description 7
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 230000001133 acceleration Effects 0.000 claims description 28
- 238000006073 displacement reaction Methods 0.000 claims description 16
- 230000008859 change Effects 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 10
- 239000013598 vector Substances 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000002159 abnormal effect Effects 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 7
- 230000002452 interceptive effect Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 2
- 238000012216 screening Methods 0.000 claims description 2
- 238000011425 standardization method Methods 0.000 claims 1
- 230000006399 behavior Effects 0.000 description 38
- 230000006870 function Effects 0.000 description 29
- 230000007774 longterm Effects 0.000 description 9
- 230000007246 mechanism Effects 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 5
- 230000007423 decrease Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 230000036961 partial effect Effects 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007787 long-term memory Effects 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000002759 z-score normalization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提出了一种安全势场下基于informer神经网络的驾驶行为预测方法，包括对运动数据集中的数据进行预处理得到轨迹序列特征；将轨迹序列特征编码为潜在时空表示；将潜在时空表示输入到informer神经网络中，预测目标车辆未来的驾驶意图和驾驶轨迹；分别建立跟驰情况下和换道情况下的安全势场模型，计算安全势场范围；构建安全势场范围约束、预测的驾驶意图和驾驶轨迹的联合损失函数，利用Adam优化器优化得到预测模型；使用测试集对预测模型进行预测。本发明将安全势场模型和informer模型有机地结合在了一起，能够实现周围车辆的意图预测和多通道轨迹预测，在驾驶行为预测的实时性、准确性和安全性方面具有卓越的性能。
Description
技术领域
本发明涉及自动驾驶汽车的驾驶行为预测的技术领域，尤其涉及一种安全势场下基于informer神经网络的驾驶行为预测方法。
背景技术
汽车智能化正在迅猛发展，如今L2级别的自动驾驶技术虽然能够自动控制转向以及加速或减速，但是在有人驾驶和无人驾驶混合的复杂交通环境中，L2级别的自动驾驶技术因为不具备对环境的理解能力，在执行换道过程中过于保守，导致其速度忽快忽慢，使得交通流效率低下，不能像人类驾驶员一样流畅安全的行驶或换道。而自然驾驶人能够根据驾驶经验正确估计车辆是否满足换道条件以及在换道过程中面临的驾驶风险，保证车辆执行快速安全的换道决策。L3级别以上的自动驾驶技术，要求自动驾驶车辆能够准确地感知和预测周围道路参与者的行为，以便计划安全舒适的主动行动，避免因为紧急的反应性决定造成与他人的冲突，将可能的风险降到最低。
近年来用于驾驶行为预测的方法主要分为两大类：传统动力学模型方法和深度学习的方法。传统的动力学模型是完全基于观察到的历史轨迹进行预测。一些工作使用Logistic回归、支持向量机或隐马尔可夫模型考虑驾驶员的机动意图，另一些工作使用卡尔曼滤波器解释轨迹预测中的不确定性。这类方法往往在预测精度方面具有一定的局限性。深度学习方法如递归神经网络(RNN)及其变体长短时记忆网络(LSTM)和图神经网络(GNN)被用于驾驶行为预测，但是这些模型作为一种循序渐进的推理范式，往往会受到动态解码累积误差的影响，预测精度随着预测轨迹长度的增加而降低，并且它们的记忆约束和梯度消失问题，也使得驾驶行为预测的性能受到影响。同时，这些模型欠缺可解释性方面的考虑，仅依靠数据的特征来把握车辆的驾驶行为的规律进而进行预测，会带来一定的安全隐患。解决当前领域下传统动力学模型方法和深度学习方法中存在的缺陷和不足，在保证合理性与安全性的前提下，提高驾驶行为的预测精度，对保证自动驾驶车辆安全行驶至关重要。
申请号为202210279062.5的中国发明专利，公开了一种基于双向长短时记忆网络的驾驶行为预测方法及系统，解决了对驾驶员驾驶行为预测不够精准的技术问题，其技术方案要点是通过成熟的车载传感器，实现了短时窗下预测驾驶员未来纵横向驾驶行为的功能，预测精度高，实现了在轻量级车载处理器下对驾驶员未来纵横向驾驶行为的预测，经济成本低。能够广泛的服务于车辆辅助驾驶系统，提升辅助驾驶系统的安全性，增强辅助系统对驾驶员的理解，有助于实现安全驾驶，具有实用性与商业化价值。同时，基于大数据的深度学习方法有很高的预测精度、鲁棒性和泛化能力，有助于先进驾驶辅助系统的深度开发，广泛适用于不同车辆下的驾驶员行为预测。但是，这种方法采用固有的长短时记忆网络，会受到动态解码累积误差的影响，预测精度随着预测轨迹长度的增加而降低，预测时间随着预测轨迹长度的增加而增加，不能满足长期驾驶行为预测的准确性和实时性；且这种方法仅依赖大数据的模糊推理，没有明确的安全约束，不能满足驾驶行为预测的安全性和可解释性。
发明内容
针对现有驾驶行为预测方法预测精度低，不能满足需要的技术问题，本发明提出一种安全势场下基于informer神经网络的驾驶行为预测方法，将安全势场模型和informer模型有机地结合在一起，提高驾驶行为预测的准确性和安全性，适用于自动驾驶车辆行驶过程中对周围车辆的未来意图和多通道轨迹的预测。
为了达到上述目的，本发明的技术方案是这样实现的：一种安全势场下基于informer神经网络的驾驶行为预测方法，其特征在于，其步骤如下：
S1：对运动数据集中的数据进行预处理，得到轨迹序列特征；
S2：将步骤S1得到的轨迹序列特征编码为潜在时空表示；
S3：将步骤S2得到的潜在时空表示输入到informer神经网络中，预测目标车辆未来的驾驶意图和驾驶轨迹；
S4：考虑车辆运动的安全性和可行性，分别建立跟驰情况下和换道情况下的安全势场模型，并计算安全势场范围；
S5：构建步骤S4中安全势场范围约束、步骤S3中预测的驾驶意图和车辆轨迹的联合损失函数并通过梯度下降法求解损失函数，利用Adam优化器优化包含安全势场的informer模型得到预测模型；
S6：保存训练完成的预测模型，使用测试集对预测模型进行预测，得到车辆未来的轨迹坐标。
优选地，所述步骤S1的预处理的方法为：
S1.1：剔除运动数据集中的异常数据；
S1.2：选取运动数据集中目标车辆的横向和纵向的坐标、速度、加速度和车道号作为目标车辆的特征，选取目标车辆周围的车辆的横向和纵向相对位移作为周围车辆的特征；
S1.3：提取目标车辆在k～k+n时间内的轨迹特征集合为S；
S1.4：计算多通道序列S每个通道的均值和方差；
S1.5：对轨迹特征集合S的各个通道分别进行Z-Score标准化，得到最终的轨迹序列特征
S1.6：将运动数据集随机划分为训练集和测试集。
优选地，所述Z-Score标准化的方法为：
其中，均值
方差
轨迹特征集合S＝(Sk,Sk+1,Sk+2,...,Sk+n-1)，其中，Sk为k时刻目标车辆及其周围车辆的轨迹特征序列，且序列Sk＝{x,y,vx,vy,ax,ay,id,Δx,Δy}，其中，x和y分别代表k时刻目标车辆的横坐标和纵坐标，vx,vy分别代表k时刻目标车辆的横向和纵向的速度，ax,ay分别代表k时刻目标车辆的横向和纵向的加速度，id代表目标车辆所在车道，Δx,Δy代表周围车辆相对于目标车辆的横向和纵向的相对位移。
优选地，所述步骤S1.1中的异常数据包括数据文件中的缺失值和信息记录错误的值；通过设定python程序扫描运动数据集的所有数据，将缺失值筛选出来，然后用原始数据源的平均值、最大值、最小值或概率估计代替缺失值；通过逻辑规则检查信息记录错误的值，并使用不同属性间的约束来剔除信息记录错误的值；所述步骤S1.4中序列Sk中的9个特征并行计算；所述步骤S1.6中按照7:3的比例划分训练集和测试集。
优选地，所述步骤S2中编码的实现方法为：
S2.1：使用神经网络一维卷积层将轨迹特征集合S的时间帧编码为表示时间属性潜在向量，得到时间编码表示；使用神经网络全连接层将轨迹序列特征
表示为联系上下文数据的时空向量，得到特征编码表示；对每一时刻输入的轨迹序列特征的相对位置信息进行位置编码得到位置编码表示；
S2.2：将时间编码表示、特征编码表示和位置编码表示进行矩阵相加操作，即为潜在时空表示。
优选地，所述步骤S3中预测目标车辆未来的驾驶意图和驾驶轨迹的方法为：
S3.1：将步骤S2生成的潜在时空表示输入到informer神经网络的编码器中，通过编码器的多头概率稀疏注意力层和全连接层得到进一步的轨迹特征表示E；
S3.2：将步骤S2生成的潜在时空表示输入到informer神经网络的解码器中，通过解码器的掩码多头注意力层得到轨迹特征表示M；
S3.3：将步骤S3.1的轨迹特征表示E和步骤S3.2的轨迹特征表示M通过交互多头概率稀疏注意力层和全连接层后得到最终的informer神经网络的输出D；
S3.4：输出D通过意图预测头输出预测的驾驶意图，输出D通过轨迹预测头输出预测的驾驶轨迹。
优选地，所述神经网络全连接层的计算过程为：
其中，i指样本的指标个数，j指中间层神经元的个数；wij代表可训练权值，bj代表可训练偏移值，θj代表全连接层的输出，f(x)代表激活函数；
所述位置编码表示为：
PE(pos,2i)＝sin(pos/100002i/dmodel)
PE(pos,2i+1)＝cos(pos/100002i/dmodel)
其中，pos表示当前时刻，i代表编码的维度，dmodel指定为512；
所述S3.1的编码器的计算方法为：
其中，
分别代表由轨迹序列特征
生成的向量表示，Wi和Wo代表不同的权重矩阵；dk代表特征维度，softmax代表概率映射函数，Attention代表注意力矩阵计算函数，Concat代表合并操作，headi表示第i个注意力头，h代表注意力头的数量。
优选地，所述跟驰情况下的安全势场模型为：
其中，vx表示目标车辆的实时速度，ξ、λ为可调节的超参数，avpt表示衡量车辆是否处于加速行驶状态的阈值，(x,y)为周围车辆的坐标，(x0,y0)为自动驾驶车辆的坐标，σx,1和σy分别代表二维高斯分布的方差；σx,2为在x轴方向的加速度前倾影响的衰减过程的瑞利分布
的方差；vx表示目标车辆的实时速度，amax表示汽车制动加速度的常量；ax表示目标车辆x轴的加速度；
所述换道情况下的安全势场模型为：
其中，
表示车辆的转向角；(x*,y*)是原始坐标(x,y)发生转向后对应偏转取值；ay为目标车辆的侧向加速度；sy为车辆换道所需的侧向位移；
将步骤S1得到的轨迹序列特征输入到目标车辆的安全势场模型中，计算目标车辆的安全势场范围。
优选地，所述步骤S5的实现方法为：
S5.1：使用交叉熵函数作为预测的意图的损失函数：
其中，
是预测的意图的概率分布，I∈{Is,Il,Ir}代表车辆的真实意图即直行、左转或右转；
S5.2：使用均方误差函数作为预测的轨迹的损失函数：
其中，
是预测的未来轨迹点，F是真实的未来轨迹点，Tpred代表预测的帧数；
S5.3：使用均方误差函数作为安全势场范围约束的损失函数：
其中，
代表预测的未来状态下安全势场的范围，而Ev∈{Evs,Evc}代表真实的安全势场范围；
S5.4：最终的联合损失函数为：
其中，ω1、ω2和ω3为超参数；
S5.5：调节步骤S5.4中的所有超参数ω1、ω2和ω3到合适的范围，使用Adam优化和训练集优化包含安全势场的informer模型的反向传播的进程，直到联合损失函数
不再下降时终止训练。
优选地，采用网格搜索法与启发式算法相结合的方法调节超参数ω1、ω2和ω3，即在合理的数据范围内，根据历史调节经验依次调节超参数，使预测精度到达要求的范围内。
本发明的有益效果：本发明引入基于transformer的深度学习informer网络作为驾驶行为预测的主干模型，与长短期记忆模型及其变体相比，该模型能通过概率稀疏注意力机制精确地捕捉轨迹序列长期依赖关系，提高长期轨迹预测的精度，并降低模型复杂度，从而提高驾驶行为预测的实时性。同时本发明根据车辆的实时状态建立了车辆的安全势场模型，在预测轨迹的同时，通过求解车辆动力势场保证轨迹的合理性与安全性，给换道预测和轨迹预测增加了可解释性。具体地：
1.为了应对轨迹长期预测精度低的问题，本发明在自动驾驶行为预测领域引入了基于transformer改进的informer模型，该模型能够有效地捕捉轨迹序列的长期依赖耦合关系，并通过概率稀疏注意力机制提高轨迹长期预测的精度。同时，informer网络通过稀疏概率注意力机制代替了传统的注意力机制，使复杂度大大降低，提高了模型预测的实时性，这对于自动驾驶汽车的安全行驶至关重要。
2.本发明通过引入安全势场模型，提高了轨迹预测的安全性和可解释性。本发明根据车辆的实时状态，通过对跟驰情况和换道情况下的安全势场建模的方式，将车辆的状态(位移、速度和加速度等)限制在了一个安全的范围内，避免车辆因为不合理的预测导致碰撞、超速等危险行为的出现。本发明将安全势场模型放在损失函数中，通过梯度下降的方式使车辆学习到车辆状态的安全范围，进而提高驾驶行为预测的安全性和精度。
3.本发明将安全势场模型和informer模型有机地结合在了一起，能够实现周围车辆的意图预测和多通道轨迹预测，在驾驶行为预测的实时性、准确性和安全性方面具有卓越的性能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的流程图。
图2为本发明的informer网络的模型应用图。
图3为本发明的跟驰模型和换道模型的等势面投影示意图，其中，(a)为匀速直线运动时的跟驰模型，(b)为加速直线运动时的跟驰模型，(c)为匀速运动时的换道模型，(d)为加速运动时的换道模型。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，一种安全势场下基于informer神经网络的驾驶行为预测方法，首先根据车辆的实时状态建立安全势场模型，通过梯度下降的方式学习安全势场模型的约束范围，进而将车辆的状态(位移、速度和加速度等)限制在了一个安全的范围内。然后采用informer模型实现车辆意图和多通道轨迹的精准预测，提高驾驶行为预测的精度、安全性和可解释性，具体包括以下步骤：
步骤S1：对HighD数据集和NGSIM数据集的运动数据集中的数据进行预处理，得到轨迹序列特征。
所述步骤S1具体为：
S1.1：剔除HighD数据集和NGSIM数据集中的异常数据。
异常数据包括两种，分别是数据文件中的缺失值和信息记录错误的值(比如因为摄像头分辨率低所造成车道ID识别错误)。缺失值会导致计算错误，造成模型梯度更新失败。本发明通过设定python程序扫描所有数据，将缺失值筛选出来，然后用原始数据源的平均值、最大值、最小值或概率估计代替缺失值。信息记录错误的值会导致预测结果不合理(比如在不能换道的情况下产生错误的换道预测结果)，本发明通过逻辑规则(常识性规则、数据特定规则等)检查数据值，并使用不同属性间的约束来剔除这些异常值。剔除异常数据后，会使模型训练的更稳定，预测逻辑更加准确，从而避免产生不合理的预测结果。
S1.2：选取运动数据集中目标车辆的横向和纵向的坐标、速度、加速度和车道号作为目标车辆的特征。这些特征包含了车辆状态的丰富信息，可以准确描述目标车辆在驾驶过程中的真实状况，有利于对未来轨迹的准确预测。选取目标车辆周围的车辆的横向和纵向相对位移作为周围车辆的特征，相对位移是车辆安全行驶的基本考量，有利于目标车辆通过相对位移来学习合适的换道时机。
S1.3：提取目标车辆在k～k+n时间内的轨迹特征集合为S＝(Sk,Sk+1,Sk+2,...,Sk+n-1)，其中，Sk为k时刻目标车辆及其周围车辆的轨迹特征序列，本发明将序列Sk表示为：Sk＝{x,y,vx,vy,ax,ay,id,Δx,Δy}，其中，x和y分别代表k时刻目标车辆的横坐标和纵坐标，vx,vy分别代表k时刻目标车辆的横向和纵向的速度，ax,ay分别代表k时刻目标车辆的横向和纵向的加速度，id代表目标车辆所在车道，Δx,Δy代表周围车辆相对于目标车辆的横向和纵向的相对位移。
S1.4：计算多通道序列S每个通道的均值和方差(序列Sk中的9个特征并行计算)。
S1.5：考虑到在行驶方向上位移是线性增加的，而在垂直方向上不同车道的数据大小也是不同的。为了准确的描述不同路段的车辆状态(换道或直行)，同时避免个别极端轨迹对模型预测性能的影响，对轨迹特征集合S的各个通道分别进行Z-Score标准化，得到最终的轨迹序列特征
为：
S1.6：按照7:3的比例将数据集随机划分为训练集和测试集，训练集用来训练模型参数，测试集来测试模型的正确率和误差，以验证模型的有效性。
S2：将步骤S1得到的轨迹序列特征编码为潜在时空表示，训练集和测试集处理方式相同。
所述步骤S2具体为：
S2.1：使用神经网络一维卷积层将轨迹特征集合S的时间帧编码为表示时间属性潜在向量，使用神经网络全连接层将轨迹序列特征
表示为联系上下文数据的时空向量，下式为全连接层的计算过程：
其中，i指样本的指标个数，j指中间层神经元的个数。wij代表可训练权值，bj代表可训练偏移值，θj代表全连接层的输出，f(x)代表激活函数。
针对每一时刻输入特征的相对位置信息使用如下公式进行位置编码表示：。
PE(pos,2i)＝sin(pos/100002i/dmodel)
PE(pos,2i+1)＝cos(pos/100002i/dmodel)
其中，pos表示当前时刻，i代表编码的维度，dmodel指定为512。因此位置编码的每个维度对应于一个正弦波。
S2.2：将时间编码表示、特征编码表示和位置编码表示进行矩阵相加操作，即为潜在时空表示。
矩阵相加就是两个矩阵中的每个点对应相加，这是并行操作，能够较快的计算出结果。
图2概括了本发明利用informer网络在驾驶行为预测应用方面的流程图，本发明考虑到实时性和计算复杂度，仅仅设计了6个编码器和1个解码器，其中编码器和解码器共享相同的输入轨迹特征。
S3：将步骤S2得到的潜在时空表示输入到informer神经网络中，预测目标车辆未来的驾驶意图和轨迹。
所述步骤S3具体为：
S3.1：将步骤S2生成的潜在时空表示输入到informer神经网络的编码器中，通过如下式所示的编码器多头概率稀疏注意力层和全连接层得到进一步的轨迹特征表示E。
其中，
分别代表由轨迹序列特征
生成的向量表示，Wi和Wo代表不同的权重矩阵。其中dk代表特征维度，softmax代表概率映射函数，Attention代表注意力矩阵计算函数，Concat代表合并操作，headi表示第i个注意力头，h代表注意力头的数量。编码器多头概率稀疏注意力层可以提取轨迹的局部特征和全局特征，能够更好的进行驾驶行为预测。
S3.2：将步骤S2生成的潜在时空表示输入到informer神经网络的解码器中，通过解码器的掩码多头注意力层得到轨迹特征表示M。因为informer神经网络的解码器的输入和输出是对齐的，因此掩码多头注意力层的作用是将需要预测的数据的位置上预先填充0，以便一次生成一定长度的预测数据。
S3.3：将步骤S3.1的轨迹特征表示E和步骤S3.2的轨迹特征表示M通过交互多头概率稀疏注意力层和全连接层后得到最终的informer模型输出D。
交互多头概率稀疏注意力层就是把上面那个多头概率稀疏注意力层的向量Q和K换成编码器输出的Q和K，以及解码器中的V进行多头注意力计算。这样能够融合编码器和解码器的信息，进行更准确的轨迹预测。
图2中的一维卷积池化模块、线性层处理的是上个网络的输出，它们作用就是进一步进行轨迹信息表示，为最终的驾驶行为做准备。
S3.4：输出D通过意图预测头输出预测的驾驶意图，输出D通过轨迹预测头输出预测的轨迹。
意图包括直行意图、左换道意图和右换道意图。轨迹代表目标车辆在未来一段时间内的行驶坐标(一般是5s内)。在本发明中，驾驶意图和驾驶轨迹预测合并称为驾驶行为预测，驾驶行为预测为自动驾驶车辆的安全行车提供了保障，它通过预测目标车辆的意图和轨迹，合理的规划自己的行驶轨迹。
S4：考虑车辆运动的安全性和可行性，分别建立跟驰情况下和换道情况下的安全势场模型，并计算安全势场范围。
所述步骤S4具体为：
S4.1：跟驰情况下避撞安全距离
定义为
其中，vx表示目标车辆的实时速度，amax表示汽车制动加速度的常量，一般取6m/s2。
S4.2：当车辆匀速直行运动时，采用二维高斯分布来描述安全势场模型。因为物体同时参与多个分运动时，各个分运动之间是相互独立的，因此沿水平方向和垂直方向的两个分运动是相互独立的，根据二维高斯分布的数学特性，并参考伪距离相关概念，将势场范围进行修正，最终得到如下匀速直行下的跟驰模型公式：
其中，ξ和λ是安全势场模型调节的超参数，(x,y)为周围车辆的坐标，(x0,y0)为自动驾驶车辆的坐标。Ev代表匀速直行下的跟驰模型势场，σx,1和σy代表二维高斯分布的方差。
图3(a)为匀速直行下的跟驰模型的等势投影示例，其中，坐标(0，0)为目标车辆质心点。由此可以看出，在匀速直行的场景下，目标车辆前方和后方、左方与右方的安全势场是对称的，即汽车受威胁的可能性也是对称的。
S4.3：当目标车辆做加速运动时，此时对于目标车辆前方车辆的影响程度要远大于后方车辆，为了体现这种差别，在x轴方向采用瑞利分布来描述加速度前倾影响的衰减过程：
同时由于横向速度与纵向速度的独立，因此确立加速运动下的跟驰模型公式为：
其中，σx,2为瑞利分布的方差，ξ、λ为待定参数。
图3(b)为加速直线运动下的跟驰模型的等势投影示例，其中，坐标(0，0)为目标车辆质心点。由此可以看出，加速直线运动下的跟驰模型的势场呈前倾趋势，即对于目标车辆后方车辆的影响程度要远小于前方。
S4.4：将步骤S4.1的避撞安全距离
分别带入步骤S4.2和步骤S4.3中的安全势场模型式子中，最终安全势场的跟驰模型构建如下：
其中，ξ、λ、avpt为待定参数，avpt表示衡量车辆是否处于加速行驶状态的阈值。根据实际模型训练的好坏和车辆实际情况进行对比分析，得到这些参数的值。在具体应用时，ξ、λ在(0，1)内取值，而avpt在(0，0.8)内取值。可以看到，周围车辆对于自动驾驶车辆的影响程度与自动驾驶车辆的自身状态和周围车辆与自动驾驶车辆的距离有关系：跟驰模型下的势场随着制动加速度amax的增大而减小，随着实时速度vx的增大而增大，在存在ax的情况下，随着ax的增大而扩张，随着与周围车辆x方向和y方向的位移差的增大而减小。
S4.5：换道安全距离模型表示如下：
其中，
为车辆避撞纵向安全距离，ay为目标车辆的侧向加速度；sy为车辆换道所需的侧向位移。
S4.6：考虑到换道过程中的车辆偏转，本发明加入旋转分量，(x*,y*)是原始坐标(x,y)发生转向后对应偏转取值，最终换道模型下的安全势场公式建立如下：
其中，
表示车辆的转向角。
图3(c)为车辆匀速运动下的换道模型的等势投影示例，图3(d)为车辆加速运动下的换道模型的等势投影示例，其中坐标(0，0)为目标车辆质心点。
S4.7：将步骤S1得到的轨迹序列特征输入到目标车辆的安全势场模型中，计算目标车辆的安全势场范围。
S5：构建步骤S4中安全势场范围约束、步骤S3中预测的驾驶意图和车辆轨迹的联合损失函数并通过梯度下降法求解损失函数，利用Adam优化器优化包含安全势场的informer模型得到预测模型。
所述步骤S5具体为：
S5.1：使用交叉熵函数作为预测的意图的损失函数：
其中，
是预测的意图的概率分布，是0-1之间的概率值，比如左换道30％概率，右换道40％概率，直行30％概率，I∈{Is,Il,Ir}代表车辆的真实意图即直行、左转或右转。
S5.2：使用均方误差函数作为预测的轨迹的损失函数：
其中，
是预测的未来轨迹点，F是真实的未来轨迹点，Tpred代表预测的帧数。
S5.3：使用均方误差函数作为安全势场范围约束的损失函数：
其中，
代表预测的未来状态下安全势场的范围，而Ev代表真实的安全势场范围，Ev∈{Evs,Evc}，根据机动状况选取Ev。
S5.4：预测的驾驶意图和轨迹是模型学习的动机，而安全势场是辅助轨迹预测的工具，因此本发明通过加入ω1、ω2和ω3超参数来保证驾驶的换道意图与轨迹预测任务在梯度反向传播中的主导地位，最终的联合损失函数定义为：
S5.5：调节步骤S5.4中的所有超参数到合适的范围，使用Adam优化器优化模型反向传播的进程，直到联合损失函数不再下降时终止训练。
采用网格搜索法与启发式算法相结合的方法调节参数，即在合理的数据范围内，根据历史调节经验依次调节参数，使模型预测精度到达要求的范围内。
S6：保存训练完成的预测模型，使用测试集对预测模型进行测试和预测，得到车辆未来的轨迹坐标。
本发明通过引入安全势场模型，提高了轨迹预测的安全性和可解释性。本发明根据车辆的实时状态，通过对跟驰情况和换道情况下的安全势场建模的方式，将车辆的状态(位移、速度和加速度等)限制在了一个安全的范围内，避免车辆因为不合理的预测导致碰撞、超速等危险行为的出现。本发明将安全势场模型放在损失函数中，通过梯度下降的方式使车辆学习到车辆状态的安全范围，进而提高驾驶行为预测的安全性和精度。为了应对轨迹长期预测精度低的问题，本发明在自动驾驶行为预测领域引入了基于transformer改进的informer模型，该模型能够有效地捕捉轨迹序列的长期依赖耦合关系，并通过概率稀疏注意力机制提高轨迹长期预测的精度。同时，informer通过稀疏概率注意力机制代替了传统的注意力机制，使复杂度大大降低，提高了模型预测的实时性，这对于自动驾驶汽车的安全行驶至关重要。本发明将安全势场模型和informer模型有机地结合在了一起，能够实现周围车辆的意图预测和多通道轨迹预测。其在驾驶行为预测的实时性、准确性和安全性方面具有卓越的性能。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种安全势场下基于informer神经网络的驾驶行为预测方法，其特征在于，其步骤如下：
S1：对运动数据集中的数据进行预处理，得到轨迹序列特征；
S2：将步骤S1得到的轨迹序列特征编码为潜在时空表示；
S3：将步骤S2得到的潜在时空表示输入到informer神经网络中，预测目标车辆未来的驾驶意图和驾驶轨迹；
S4：考虑车辆运动的安全性和可行性，分别建立跟驰情况下和换道情况下的安全势场模型，并计算安全势场范围；
S5：构建步骤S4中安全势场范围约束、步骤S3中预测的驾驶意图和车辆轨迹的联合损失函数并通过梯度下降法求解损失函数，利用Adam优化器优化包含安全势场的informer模型得到预测模型；
S6：保存训练完成的预测模型，使用测试集对预测模型进行预测，得到车辆未来的轨迹坐标。
2.根据权利要求1所述的安全势场下基于informer神经网络的驾驶行为预测方法，其特征在于，所述步骤S1的预处理的方法为：
S1.1：剔除运动数据集中的异常数据；
S1.2：选取运动数据集中目标车辆的横向和纵向的坐标、速度、加速度和车道号作为目标车辆的特征，选取目标车辆周围的车辆的横向和纵向相对位移作为周围车辆的特征；
S1.3：提取目标车辆在k～k+n时间内的轨迹特征集合为S；
S1.4：计算多通道序列S每个通道的均值和方差；
S1.5：对轨迹特征集合S的各个通道分别进行Z-Score标准化，得到最终的轨迹序列特征
S1.6：将运动数据集随机划分为训练集和测试集。
3.根据权利要求2所述的安全势场下基于informer神经网络的驾驶行为预测方法，其特征在于，所述Z-Score标准化的方法为：
其中，均值
方差
轨迹特征集合S＝(Sk,Sk+1,Sk+2,...,Sk+n-1)，其中，Sk为k时刻目标车辆及其周围车辆的轨迹特征序列，且序列Sk＝{x,y,vx,vy,ax,ay,id,Δx,Δy}，其中，x和y分别代表k时刻目标车辆的横坐标和纵坐标，vx,vy分别代表k时刻目标车辆的横向和纵向的速度，ax,ay分别代表k时刻目标车辆的横向和纵向的加速度，id代表目标车辆所在车道，Δx,Δy代表周围车辆相对于目标车辆的横向和纵向的相对位移。
4.根据权利要求2或3所述的安全势场下基于informer神经网络的驾驶行为预测方法，其特征在于，所述步骤S1.1中的异常数据包括数据文件中的缺失值和信息记录错误的值；通过设定python程序扫描运动数据集的所有数据，将缺失值筛选出来，然后用原始数据源的平均值、最大值、最小值或概率估计代替缺失值；通过逻辑规则检查信息记录错误的值，并使用不同属性间的约束来剔除信息记录错误的值；所述步骤S1.4中序列Sk中的9个特征并行计算；所述步骤S1.6中按照7:3的比例划分训练集和测试集。
5.根据权利要求4所述的安全势场下基于informer神经网络的驾驶行为预测方法，其特征在于，所述步骤S2中编码的实现方法为：
S2.1：使用神经网络一维卷积层将轨迹特征集合S的时间帧编码为表示时间属性潜在向量，得到时间编码表示；使用神经网络全连接层将轨迹序列特征
表示为联系上下文数据的时空向量，得到特征编码表示；对每一时刻输入的轨迹序列特征的相对位置信息进行位置编码得到位置编码表示；
S2.2：将时间编码表示、特征编码表示和位置编码表示进行矩阵相加操作，即为潜在时空表示。
6.根据权利要求5所述的安全势场下基于informer神经网络的驾驶行为预测方法，其特征在于，所述步骤S3中预测目标车辆未来的驾驶意图和驾驶轨迹的方法为：
S3.1：将步骤S2生成的潜在时空表示输入到informer神经网络的编码器中，通过编码器的多头概率稀疏注意力层和全连接层得到进一步的轨迹特征表示E；
S3.2：将步骤S2生成的潜在时空表示输入到informer神经网络的解码器中，通过解码器的掩码多头注意力层得到轨迹特征表示M；
S3.3：将步骤S3.1的轨迹特征表示E和步骤S3.2的轨迹特征表示M通过交互多头概率稀疏注意力层和全连接层后得到最终的informer神经网络的输出D；
S3.4：输出D通过意图预测头输出预测的驾驶意图，输出D通过轨迹预测头输出预测的驾驶轨迹。
7.根据权利要求6所述的安全势场下基于informer神经网络的驾驶行为预测方法，其特征在于，所述神经网络全连接层的计算过程为：
其中，i指样本的指标个数，j指中间层神经元的个数；wij代表可训练权值，bj代表可训练偏移值，θj代表全连接层的输出，f(x)代表激活函数；
所述位置编码表示为：
其中，pos表示当前时刻，i代表编码的维度，dmodel指定为512；
所述S3.1的编码器的计算方法为：
其中，
K,V分别代表由轨迹序列特征
生成的向量表示，Wi和Wo代表不同的权重矩阵；dk代表特征维度，softmax代表概率映射函数，Attention代表注意力矩阵计算函数，Concat代表合并操作，headi表示第i个注意力头，h代表注意力头的数量。
8.根据权利要求4-7中任意一项所述的安全势场下基于informer神经网络的驾驶行为预测方法，其特征在于，所述跟驰情况下的安全势场模型为：
其中，vx表示目标车辆的实时速度，ξ、λ为可调节的超参数，avpt表示衡量车辆是否处于加速行驶状态的阈值，(x,y)为周围车辆的坐标，(x0,y0)为自动驾驶车辆的坐标，σx,1和σy分别代表二维高斯分布的方差；σx,2为在x轴方向的加速度前倾影响的衰减过程的瑞利分布
的方差；vx表示目标车辆的实时速度，amax表示汽车制动加速度的常量；ax表示目标车辆x轴的加速度；
所述换道情况下的安全势场模型为：
其中，
表示车辆的转向角；(x*,y*)是原始坐标(x,y)发生转向后对应偏转取值；ay为目标车辆的侧向加速度；sy为车辆换道所需的侧向位移；
将步骤S1得到的轨迹序列特征输入到目标车辆的安全势场模型中，计算目标车辆的安全势场范围。
9.根据权利要求8所述的安全势场下基于informer神经网络的驾驶行为预测方法，其特征在于，所述步骤S5的实现方法为：
S5.1：使用交叉熵函数作为预测的意图的损失函数：
其中，
是预测的意图的概率分布，I∈{Is,Il,Ir}代表车辆的真实意图即直行、左转或右转；
S5.2：使用均方误差函数作为预测的轨迹的损失函数：
其中，
是预测的未来轨迹点，F是真实的未来轨迹点，Tpred代表预测的帧数；
S5.3：使用均方误差函数作为安全势场范围约束的损失函数：
其中，
代表预测的未来状态下安全势场的范围，而Ev∈{Evs,Evc}代表真实的安全势场范围；
S5.4：最终的联合损失函数为：
其中，ω1、ω2和ω3为超参数；
S5.5：调节步骤S5.4中的所有超参数ω1、ω2和ω3到合适的范围，使用Adam优化和训练集优化包含安全势场的informer模型的反向传播的进程，直到联合损失函数
不再下降时终止训练。
10.根据权利要求9所述的安全势场下基于informer神经网络的驾驶行为预测方法，其特征在于，采用网格搜索法与启发式算法相结合的方法调节超参数ω1、ω2和ω3，即在合理的数据范围内，根据历史调节经验依次调节超参数，使预测精度到达要求的范围内。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211137976.4A CN115547040A (zh) | 2022-09-19 | 2022-09-19 | 安全势场下基于informer神经网络的驾驶行为预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211137976.4A CN115547040A (zh) | 2022-09-19 | 2022-09-19 | 安全势场下基于informer神经网络的驾驶行为预测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115547040A true CN115547040A (zh) | 2022-12-30 |
Family
ID=84728173
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211137976.4A Pending CN115547040A (zh) | 2022-09-19 | 2022-09-19 | 安全势场下基于informer神经网络的驾驶行为预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115547040A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116246492A (zh) * | 2023-03-16 | 2023-06-09 | 东南大学 | 一种基于时空注意力lstm和超阈值模型的车辆换道碰撞风险预测方法 |
| CN117475090A (zh) * | 2023-12-27 | 2024-01-30 | 粤港澳大湾区数字经济研究院(福田) | 一种轨迹生成模型、轨迹生成方法、装置、终端及介质 |
| CN117636270A (zh) * | 2024-01-23 | 2024-03-01 | 南京理工大学 | 基于单目摄像头的车辆抢道事件识别方法及设备 |
| CN117807413A (zh) * | 2023-08-08 | 2024-04-02 | 长安大学 | 基于随机森林和改进的Informer模型的车辆换道轨迹预测方法 |
| CN118658304A (zh) * | 2024-08-19 | 2024-09-17 | 青岛理工大学 | 基于速度场的网联自主车辆位置预测和风险量化方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200379461A1 (en) * | 2019-05-29 | 2020-12-03 | Argo AI, LLC | Methods and systems for trajectory forecasting with recurrent neural networks using inertial behavioral rollout |
| CN112241814A (zh) * | 2020-10-20 | 2021-01-19 | 河南大学 | 一种基于强化时空图神经网络的交通预测方法 |
| CN112257850A (zh) * | 2020-10-26 | 2021-01-22 | 河南大学 | 一种基于生成对抗网络的车辆轨迹预测方法 |
| CN113269115A (zh) * | 2021-06-04 | 2021-08-17 | 北京易航远智科技有限公司 | 一种基于Informer的行人轨迹预测方法 |
| CN113269114A (zh) * | 2021-06-04 | 2021-08-17 | 北京易航远智科技有限公司 | 一种基于多隐变量预测器及关键点的行人轨迹预测方法 |
| CN115062832A (zh) * | 2022-06-08 | 2022-09-16 | 重庆大学 | 基于多时间尺度注意力网络的废旧家电回收量预测方法 |
-
2022
- 2022-09-19 CN CN202211137976.4A patent/CN115547040A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200379461A1 (en) * | 2019-05-29 | 2020-12-03 | Argo AI, LLC | Methods and systems for trajectory forecasting with recurrent neural networks using inertial behavioral rollout |
| CN112241814A (zh) * | 2020-10-20 | 2021-01-19 | 河南大学 | 一种基于强化时空图神经网络的交通预测方法 |
| CN112257850A (zh) * | 2020-10-26 | 2021-01-22 | 河南大学 | 一种基于生成对抗网络的车辆轨迹预测方法 |
| CN113269115A (zh) * | 2021-06-04 | 2021-08-17 | 北京易航远智科技有限公司 | 一种基于Informer的行人轨迹预测方法 |
| CN113269114A (zh) * | 2021-06-04 | 2021-08-17 | 北京易航远智科技有限公司 | 一种基于多隐变量预测器及关键点的行人轨迹预测方法 |
| CN115062832A (zh) * | 2022-06-08 | 2022-09-16 | 重庆大学 | 基于多时间尺度注意力网络的废旧家电回收量预测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 于进勇;丁鹏程;王超;: "卷积神经网络在目标检测中的应用综述", 计算机科学, no. 2, 30 November 2018 (2018-11-30) * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116246492A (zh) * | 2023-03-16 | 2023-06-09 | 东南大学 | 一种基于时空注意力lstm和超阈值模型的车辆换道碰撞风险预测方法 |
| CN116246492B (zh) * | 2023-03-16 | 2024-01-16 | 东南大学 | 一种基于时空注意力lstm和超阈值模型的车辆换道碰撞风险预测方法 |
| CN117807413A (zh) * | 2023-08-08 | 2024-04-02 | 长安大学 | 基于随机森林和改进的Informer模型的车辆换道轨迹预测方法 |
| CN117475090A (zh) * | 2023-12-27 | 2024-01-30 | 粤港澳大湾区数字经济研究院(福田) | 一种轨迹生成模型、轨迹生成方法、装置、终端及介质 |
| CN117475090B (zh) * | 2023-12-27 | 2024-06-11 | 粤港澳大湾区数字经济研究院(福田) | 一种轨迹生成模型、轨迹生成方法、装置、终端及介质 |
| CN117636270A (zh) * | 2024-01-23 | 2024-03-01 | 南京理工大学 | 基于单目摄像头的车辆抢道事件识别方法及设备 |
| CN117636270B (zh) * | 2024-01-23 | 2024-04-09 | 南京理工大学 | 基于单目摄像头的车辆抢道事件识别方法及设备 |
| CN118658304A (zh) * | 2024-08-19 | 2024-09-17 | 青岛理工大学 | 基于速度场的网联自主车辆位置预测和风险量化方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Huang et al. | Efficient deep reinforcement learning with imitative expert priors for autonomous driving | |
| Xie et al. | Motion trajectory prediction based on a CNN-LSTM sequential model | |
| CN110610271B (zh) | 一种基于长短记忆网络的多重车辆轨迹预测方法 | |
| CN115547040A (zh) | 安全势场下基于informer神经网络的驾驶行为预测方法 | |
| Kim et al. | Multi-head attention based probabilistic vehicle trajectory prediction | |
| Bahari et al. | Injecting knowledge in data-driven vehicle trajectory predictors | |
| Ivanovic et al. | Mats: An interpretable trajectory forecasting representation for planning and control | |
| Grigorescu et al. | Neurotrajectory: A neuroevolutionary approach to local state trajectory learning for autonomous vehicles | |
| Kamenev et al. | Predictionnet: Real-time joint probabilistic traffic prediction for planning, control, and simulation | |
| CN112734808B (zh) | 一种车辆行驶环境下易受伤害道路使用者的轨迹预测方法 | |
| US11501449B2 (en) | Method for the assessment of possible trajectories | |
| Cho et al. | Deep predictive autonomous driving using multi-agent joint trajectory prediction and traffic rules | |
| Li et al. | Coordination and trajectory prediction for vehicle interactions via bayesian generative modeling | |
| CN114399743B (zh) | 一种障碍物未来轨迹的生成方法 | |
| Ma et al. | Intent prediction of vessels in intersection waterway based on learning vessel motion patterns with early observations | |
| Lee et al. | Spatiotemporal costmap inference for MPC via deep inverse reinforcement learning | |
| Lange et al. | Attention augmented convlstm for environment prediction | |
| WO2023242223A1 (en) | Motion prediction for mobile agents | |
| Kawasaki et al. | Multimodal trajectory predictions for autonomous driving without a detailed prior map | |
| Agarwal et al. | Imitative planning using conditional normalizing flow | |
| John et al. | Estimation of steering angle and collision avoidance for automated driving using deep mixture of experts | |
| Hegde et al. | Vehicle trajectory prediction using gan | |
| Mo et al. | Predictive neural motion planner for autonomous driving using graph networks | |
| Cheng et al. | PLUTO: Pushing the Limit of Imitation Learning-based Planning for Autonomous Driving | |
| Wang et al. | Interpretable motion planner for urban driving via hierarchical imitation learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |