CN114898042A - 基于时空紧迫性的人车碰撞危险态势预测方法 - Google Patents

基于时空紧迫性的人车碰撞危险态势预测方法 Download PDF

Info

Publication number
CN114898042A
CN114898042A CN202210549567.9A CN202210549567A CN114898042A CN 114898042 A CN114898042 A CN 114898042A CN 202210549567 A CN202210549567 A CN 202210549567A CN 114898042 A CN114898042 A CN 114898042A
Authority
CN
China
Prior art keywords
pedestrian
vehicle
collision
time
track
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210549567.9A
Other languages
English (en)
Inventor
周竹萍
欧阳墨蓝
汤睿尧
刘洋
李卫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202210549567.9A priority Critical patent/CN114898042A/zh
Publication of CN114898042A publication Critical patent/CN114898042A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/21Collision detection, intersection
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Algebra (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供了一种基于时空紧迫性的人车碰撞危险态势预测方法,属于自动驾驶人车碰撞风险预测领域。基于车载视角数据预测行人多模态轨迹;运用包围盒动态检测算法进行行人轨迹与自车规划路径的相交测试,判别潜在碰撞轨迹;计算潜在碰撞轨迹与无潜在碰撞轨迹下的冲突参数,建立模型量化时空紧迫度,输出行人综合危险度,并根据综合危险度与人车安全距离划分安全行车区域。本发明充分考虑行人所有可能轨迹,改进了现有人车碰撞风险预测考虑因素不全面、评价机制较主观性等局限性,对自动驾驶及复杂交通环境更具适应性。

Description

基于时空紧迫性的人车碰撞危险态势预测方法
技术领域
本发明属于自动驾驶人车碰撞风险预测技术,具体为一种基于时空紧迫性的人车碰撞危险态势预测方法。
背景技术
行人安全是自动驾驶车辆行驶过程中不可忽视的问题,准确识别前方行人与自动驾驶车辆碰撞的危险态势,对于自动驾驶车辆的轨迹规划、驾驶决策具有重要意义。现有面向自动驾驶的人车碰撞风险研究,多在简单的运动学模型如恒速度模型(ConstantVelocity,CV)、恒加速度模型(Constant Acceleration,CA)等基础上运用冲突技术将指标与阈值做比较进行判断,多围绕单一方法展开,虽具有一定的高效性,但因运动模型较为简单、评价标准比较传统,较少考虑人车运动的不确定性,直接影响评价的准确性,无法满足复杂场景下人车碰撞安全性评价需求。随着计算机视觉的发展,基于数据驱动方法的轨迹提取与预测算法开始在人车碰撞风险研究中应用,虽对行人行为模型有一定的改进,但风险评价指标的选取仍较为单一,评估模型的精度无法与高准确性的行人轨迹预测相匹配,难以全面评估未来一段时间内的人车碰撞风险,无法较好适用于自动驾驶系统架构。因此,针对自动驾驶细粒度危险感知需求,融合多种方法的风险评估模型将是未来研究的重点。
发明内容
为了解决现有技术中的上述技术缺陷,本发明提出了一种基于时空紧迫性的人车碰撞危险态势预测方法,在基于行人多模态轨迹预测的基础上提出了新的框架,充分考虑行人所有可能轨迹,在时间与空间上对人车碰撞的紧迫性进行量化,并综合行人的碰撞概率得出行人危险度研究碰撞危险态势。
实现本发明目的的技术方案为:一种基于时空紧迫性的人车碰撞危险态势预测方法,具体步骤为:
步骤1、获取行人运动参数,通过行人决策模型与GRU网络,预测行人多模态轨迹;
步骤2、采用包围盒动态检测算法进行行人各预测轨迹与自车规划路径的相交测试,判别潜在碰撞的行人轨迹;
步骤3、分别计算行人在潜在碰撞轨迹运动下以及无潜在碰撞轨迹运动下人车冲突的具体参数;
步骤4、运用超阈值极值的双变量极值理论对潜在碰撞发生的时间紧迫程度进行建模,运用突变理论对碰撞发生的空间紧迫程度进行建模,计算人车碰撞时间紧迫性、空间紧迫性;
步骤5、计算行人的综合危险度,并根据综合危险度与人车安全距离划分安全行车区域。
优选地,获取行人运动信息预测行人多模态轨迹的具体方法为:
步骤101、通过车载视觉传感器获取周围各行人的位姿信息
Figure BDA0003654191680000021
具体为:
Figure BDA0003654191680000022
其中,
Figure BDA0003654191680000023
为行人i在t时刻的位姿信息,
Figure BDA0003654191680000024
为行人i在t时刻的位置坐标,
Figure BDA0003654191680000025
为行人i在t时刻的速度,
Figure BDA0003654191680000026
为行人i在t时刻的加速度,
Figure BDA0003654191680000027
为行人i在t时刻的朝向角;
步骤102、使用GRU网络对行人历史位姿信息进行编码,并通过GRU网络提取行人间交互因素,将编码向量输入Softmax函数计算行人不同决策mk的概率Pi(mk),k=1,2,3,其中m1为不过街,m2为与车辆行驶方向垂直过街,m3为与车辆行驶方向呈锐角过街;
步骤103、利用GRU解码器生成时刻t'下行人位置的概率分布Pi(t')、行人未来轨迹坐标序列
Figure BDA0003654191680000028
及运动特征
Figure BDA0003654191680000029
Figure BDA00036541916800000210
Figure BDA00036541916800000211
其中
Figure BDA00036541916800000212
为时刻t'下行人i的预测位置坐标,
Figure BDA00036541916800000213
为时刻t'下行人i的预测速度,
Figure BDA00036541916800000214
为时刻t'下行人i的预测加速度,
Figure BDA00036541916800000215
为时刻t'下行人i的预测朝向角;
步骤104、获取自车按当前轨迹行驶的坐标序列Trajv(t)及车辆运动特征Motionv(t):
Figure BDA00036541916800000216
Figure BDA00036541916800000217
其中,
Figure BDA00036541916800000218
为时刻t下自车的位置坐标,
Figure BDA00036541916800000219
为时刻t下自车的速度,
Figure BDA00036541916800000220
为时刻t下自车的加速度,
Figure BDA00036541916800000221
为时刻t下自车的航向角。
优选地,判别潜在碰撞的行人轨迹的具体方法为:
步骤201、对行人与自动驾驶车辆进行碰撞体积建模;
步骤202、计算行人与车辆包围盒,获取行人与车辆包围盒的最值参数;
步骤203、检查两包围盒投影的交叠状况,若判定为相交即返回当前时刻、行人包围盒与车辆包围盒中心坐标所在的第i个行人的第j条轨迹及该轨迹的概率,且标记该轨迹为潜在碰撞轨迹,若判定为不相交则进入下一个时间步长的检测;
步骤204、结合行人预测轨迹及自动驾驶规划路径更新下一时间步长的行人与车辆坐标点信息,根据变换关系相应地更新包围盒,持续进行碰撞检测,直到遍历所有时间的所有轨迹点,筛选出全部有相交的潜在碰撞轨迹,得到潜在碰撞轨迹集合与暂无碰撞风险的轨迹集合,对步骤203返回的所有潜在碰撞轨迹概率进行求和得到潜在碰撞集合的概率。
优选地,对行人与自动驾驶车辆进行碰撞体积建模的具体方法为:
建立以行人重心为圆心、半径为0.3米的圆形碰撞体积;建立以车辆形心为中心,长5米、宽2米的矩形碰撞体积,则定义行人圆形碰撞体积为行人包围盒,第i个行人的第j条轨迹在t时刻坐标点的包围盒圆心为行人重心
Figure BDA0003654191680000031
半径为0.3m,定义以车辆形心
Figure BDA0003654191680000032
为中心、长5米、宽2米的矩形包围盒。
优选地,步骤3分别计算两类行人轨迹下人车冲突的具体参数,具体步骤包括:
计算行人i按潜在碰撞轨迹
Figure BDA0003654191680000033
运动下的碰撞时间差TDTCj、碰撞时间TTCj
Figure BDA0003654191680000034
Figure BDA0003654191680000035
式中:lv为机动车到达潜在碰撞区域的距离;
Figure BDA0003654191680000036
为行人i沿第j条轨迹运动至潜在碰撞区域的距离;L为矩形车辆碰撞体积长度;vv为机动车瞬时速度;
Figure BDA0003654191680000037
为行人瞬时速度;
计算行人i按暂无潜在碰撞危险轨迹
Figure BDA0003654191680000038
运动下的最小会遇距离min dj、夹角变化率
Figure BDA0003654191680000039
在时刻t下车辆的轨迹点坐标为
Figure BDA00036541916800000310
行人i在第j条轨迹上的坐标为
Figure BDA00036541916800000311
两轨迹点的欧氏距离OvOij为:
Figure BDA0003654191680000041
人车夹角可用行人与车辆碰撞体积中心坐标连线OvOij与y轴夹角的反正切值表示,计算公式为:
Figure BDA0003654191680000042
夹角变化率计算公式为:
Figure BDA0003654191680000043
Figure BDA0003654191680000044
为t-Δt时刻的人车夹角;
将车辆的矩形碰撞体积分为A1,A2,A3,A4四个区域,其中A1为矩形形心与矩形近行人侧两顶角的连线所围成的三角形区域,A2为矩形形心与矩形远行人侧两顶角的连线所围成的三角形区域,A3为矩形形心与矩形前进方向前端两顶角的连线所围成的三角形区域,A4为矩形形心与矩形前进方向后端两顶角的连线所围成的三角形区域,通过人车夹角tanθ判断线段Ovdv所处区域,线段Ovdv特指人车碰撞体积中心坐标连线OvOij处于矩形车辆碰撞体积内部的线段,分情况确定行人与车辆的真实距离dj(t)如下:
①当线段Ovdv位于A1或A2中时,OvOij交于矩形碰撞体积的长边,此时
Figure BDA0003654191680000045
则根据相似三角形计算Ovdv
Figure BDA0003654191680000046
W为矩形车辆碰撞体积的宽,本文取W=2。
此时行人与车辆的真实距离dj(t)的计算公式为:
Figure BDA0003654191680000047
r为圆形行人碰撞体积的半径,本文取r=0.3。
②当线段Ovdv位于A3或A4中时,OvOij交于矩形碰撞体积的短边,此时
Figure BDA0003654191680000048
则根据相似三角形计算Ovdv
Figure BDA0003654191680000051
L为矩形车辆碰撞体积的长;
此时行人与车辆的真实距离dj(t)的计算公式为:
Figure BDA0003654191680000052
遍历多模态的行人轨迹,得到各行人轨迹下最小的人车会遇距离min dj
优选地,运用超阈值极值的双变量极值理论对潜在碰撞发生的时间紧迫程度进行建模,运用突变理论对碰撞发生的空间紧迫程度进行建模,计算人车碰撞时间紧迫性、空间紧迫性的具体步骤为:
步骤401、设{(x1,y1),(x2,y2),…,(xn,yn)}是具有累积分布函数F(x,y)的一组独立观测的二元向量(X,Y),超出边界阈值ux和uy的变量(x,y)近似尾部的广义Pareto分布:
Figure BDA0003654191680000053
Figure BDA0003654191680000054
其中,ξxy为形状参数,σxy为尺度参数,ζx=Pr{x>ux},ζy=Pr{y>uy}。
将变量(X,Y)做超阈值转换为:
Figure BDA0003654191680000055
Figure BDA0003654191680000056
联合分布函数
Figure BDA0003654191680000057
具有近似标准Frechet的边际分布,超阈值极值的联合分布由下式得:
Figure BDA0003654191680000058
Figure BDA0003654191680000059
其中,H为[0,1]的均值分布函数,满足
Figure BDA0003654191680000061
步骤402、对行人在潜在碰撞轨迹运动下人车冲突的具体参数
Figure BDA0003654191680000062
取负映射,根据样本的超阈值期望图确定阈值ux和uy,超阈值期望函数e(u)定义为:
Figure BDA0003654191680000063
其中,Xj为行人i第j条轨迹的负
Figure BDA0003654191680000064
或负
Figure BDA0003654191680000065
值,G'为行人i潜在碰撞轨迹总数;
利用极大似然估计对广义帕累托分布的参数进行估计。
步骤403、碰撞的时间紧迫指数Ri为预测到
Figure BDA0003654191680000066
Figure BDA0003654191680000067
小于阈值的概率,即:
Ri=Pr(x>ux∩y>uy)
步骤406、对暂无碰撞风险的轨迹
Figure BDA0003654191680000068
构造尖点突变模型预测行人运动状态的突变,构造尖点突变的势函数如下:
V(x)=x4+u1x2+u2x
其中,V(z)为轨迹发生碰撞的势函数,x为系统状态变量,u1,u2为系统的控制变量。
步骤407、计算尖点突变的突变流形式与平衡曲面奇点集合:
V'(x)=4x3+2u1x+u2=0
V”(x)=12x2+2u1=0
步骤408、将控制变量u1,u2与状态变量x关系式进行归一化处理得:
Figure BDA0003654191680000069
步骤409、计算第j条暂无潜在碰撞危险的行人轨迹下人车碰撞空间紧迫指数Ci,j
Figure BDA00036541916800000610
计算轨迹集合
Figure BDA00036541916800000611
的空间紧迫指数Ci
Ci=Ci,1+(1-Ci,1)Ci,2+…+{1-Ci,1-(1-Ci,1)Ci,2-…-[1-Ci,1-(1-Ci,1)Ci,2-…]Ci,(n-1))}Ci,n
优选地,计算行人i的综合危险度RPCi,并根据RPCi与人车安全距离划分安全行车区域,具体步骤包括:
步骤501、建立行人的碰撞危险度模型:
RPCi=αPic+βRi+γCi
式中Pic为潜在碰撞概率,Ri为时间紧迫指数,Ci为空间紧迫指数,α,β,γ为指标权重;
步骤502、建立人车安全距离模型,计算如下:
Figure BDA0003654191680000071
Figure BDA0003654191680000072
其中,vpi-x为行人横向速度,
Figure BDA0003654191680000073
为行人i走至潜在碰撞区域所需的时间,Bi为车辆与行人i的横向距离,W为车宽,Di-safe为车辆与行人i之间的安全距离,vv为当前车速,τ为时滞时间,d0为自车停止后与行人的纵向距离;
步骤503、根据步骤501所得RPC模型步骤502所得人车安全模型,计算得到当前时刻所有行人的危险度RPCi及安全距离Di-safe,运用可视化技术将行人i对应的安全距离赋予相应的RPCi取值投射在自动驾驶前方可行驶区域,叠加所有行人RPCi与安全距离后,用颜色区分不同危险度距离,形成可视化的安全行驶区域。
本发明与现有技术相比,其显著优点为:
(1)本发明提出了一种融合多种方法的人车碰撞危险态势评估新框架,考虑到了人车碰撞中突变与极端的问题,对复杂交通环境更具适应性。
(2)本发明基于行人多模态轨迹,充分考虑行人所有可能轨迹,改进了现有人车碰撞风险预测考虑因素不全面、评价机制较主观性等局限性,对自动驾驶更具适应性。
(3)本发明形成的行车安全区域对自动驾驶科学决策与规划具有指导意义。
本发明的其他特征和优点将在随后的说明书中阐述,并且,部分的从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
附图仅用于示出具体实施例的目的,而并不认为是对本发明的限制,在整个附图中,相同的参考符号表示相同的部件。
图1是本发明所述的一种基于时空紧迫性的人车碰撞风险预测方法的步骤示意图。
图2为人车碰撞体积建模示意图。
图3为行人预测轨迹判别示意图。
图4为行人轨迹分布热力示意图
图5为人车冲突参数指标计算示意图。
图6为行车安全区域示意图。
具体实施方式
容易理解,依据本发明的技术方案,在不变更本发明的实质精神的情况下,本领域的一般技术人员可以想象出本发明的多种实施方式。因此,以下具体实施方式和附图仅是对本发明的技术方案的示例性说明,而不应当视为本发明的全部或者视为对本发明技术方案的限制或限定。相反,提供这些实施例的目的是为了使本领域的技术人员更透彻地理解本发明。下面结合附图来具体描述本发明的优选实施例,其中,附图构成本申请一部分,并与本发明的实施例一起用于阐释本发明的创新构思。
本发明的构思为,一种考虑时空紧迫性的人车碰撞风险预测方法,根据行人多模态的预测轨迹,判别具有潜在碰撞危险的行人轨迹和暂无潜在碰撞危险的行人轨迹,提出时空紧迫性协同量化。如图1所示,具体步骤为:
步骤1、获取行人运动信息预测行人多模态轨迹;
步骤2、根据步骤1所得行人多模态轨迹判别潜在碰撞的行人轨迹;
步骤3、根据步骤1所得数据计算人车冲突参数;
步骤4、根据步骤3所得数据计算人车碰撞时间紧迫性、空间紧迫性;
步骤5、根据步骤4所得结果计算行人危险度,得到安全行驶分级区域。
进一步地,通过车载传感器获取行人运动参数,通过行人决策模型与GRU网络,预测行人多模态轨迹,具体步骤包括:
步骤101、通过车载视觉传感器获取周围各行人的位姿信息
Figure BDA0003654191680000081
具体为:
Figure BDA0003654191680000082
其中,
Figure BDA0003654191680000083
为行人i在t时刻的位姿信息,
Figure BDA0003654191680000084
为行人i在t时刻的位置坐标,
Figure BDA0003654191680000085
为行人i在t时刻的速度,
Figure BDA0003654191680000086
为行人i在t时刻的加速度,
Figure BDA0003654191680000087
为行人i在t时刻的朝向角。
步骤102、使用GRU网络对行人历史位姿信息进行编码,并通过GRU网络提取行人间交互因素,将编码向量输入Softmax函数计算行人不同决策mk的概率Pi(mk),k=1,2,3,其中m1为不过街,m2为与车辆行驶方向垂直过街,m3为与车辆行驶方向呈锐角过街。
步骤103、利用GRU解码器生成时刻t'下行人位置的概率分布Pi(t')、行人未来轨迹坐标序列
Figure BDA0003654191680000088
及运动特征
Figure BDA0003654191680000089
Figure BDA0003654191680000091
Figure BDA0003654191680000092
其中
Figure BDA0003654191680000093
为时刻t'下行人i的预测位置坐标,
Figure BDA0003654191680000094
为时刻t'下行人i的预测速度,
Figure BDA0003654191680000095
为时刻t'下行人i的预测加速度,
Figure BDA0003654191680000096
为时刻t'下行人i的预测朝向角。
步骤104、获取自车按当前轨迹行驶的坐标序列Trajv(t)及车辆运动特征Motionv(t):
Figure BDA0003654191680000097
Figure BDA0003654191680000098
其中,
Figure BDA0003654191680000099
为时刻t下自车的位置坐标,
Figure BDA00036541916800000910
为时刻t下自车的速度,
Figure BDA00036541916800000911
为时刻t下自车的加速度,
Figure BDA00036541916800000912
为时刻t下自车的航向角。
进一步,如图3所示,采用包围盒动态检测算法进行行人各预测轨迹与自车规划路径的相交测试,以判别潜在碰撞的行人轨迹,具体步骤包括:
步骤201、对行人与自动驾驶车辆进行碰撞体积建模。根据行人交通人体尺寸的研究,考虑行人运动的手部摆动与脚步移动等,建立以行人重心为圆心、半径为0.3米的圆形碰撞体积;建立以车辆形心为中心,长5米、宽2米的矩形碰撞体积,如图2所示。
步骤202、计算行人与车辆包围盒:因已建立的行人碰撞体积为圆形,则定义行人圆形碰撞体积为行人包围盒box1,第i个行人的第j条轨迹在t时刻坐标点的包围盒圆心为行人重心
Figure BDA00036541916800000913
半径为0.3m,圆形包围盒可以减少因行人转向运动增加的计算,体现其优秀特性;因车辆碰撞体积为矩形,且假设自动驾驶车辆当前规划路径为匀速直线,不考虑车辆转向,则定义以车辆形心
Figure BDA00036541916800000914
为中心、长5米、宽2米的矩形AABB包围盒box2。获取行人与车辆包围盒的最值参数:
box1-min=(x1-min,y1-min)
box1-max=(x1-max,y1-max)
box2-min=(x2-min,y2-min)
box2-max=(x2-max,y2-max)
步骤203、检查x、y轴方向上两包围盒投影的交叠状况:
若x1-max>x2-max且y1-max>y2-max,则box1在box2右前方,此时令
xminMax=x2-max,yminMax=y2-max,xMaxmin=x1-max,yMaxmin=y1-max
则若xminMax>xMaxmin且yminMax>yMaxmin,则判定二者相交,其他方位情况同理可推,不做赘述。若判定为相交即返回当前时刻、box1与box2中心坐标(划定碰撞区域)、box1中心坐标所在的第i个行人的第j条轨迹
Figure BDA0003654191680000101
及该轨迹的概率
Figure BDA0003654191680000102
且标记该轨迹为潜在碰撞轨迹。若判定为不相交则进入下一个时间步长的检测。
步骤204、结合行人预测轨迹及自动驾驶规划路径更新下一时间步长的行人与车辆坐标点信息,根据变换关系相应地更新包围盒,持续进行碰撞检测,直到遍历所有时间的所有轨迹点,筛选出全部有相交的潜在碰撞轨迹,得到潜在碰撞轨迹集合
Figure BDA0003654191680000103
与暂无碰撞风险的轨迹集合
Figure BDA0003654191680000104
对步骤203返回的所有潜在碰撞轨迹概率
Figure BDA0003654191680000105
进行求和得到潜在碰撞集合的概率Pic,并生成行人轨迹分布热图,见图4。
进一步,所述步骤3分别计算两类行人轨迹下人车冲突的具体参数,具体步骤包括:
步骤301、计算行人i按潜在碰撞轨迹
Figure BDA0003654191680000106
运动下的碰撞时间差TDTCj、碰撞时间TTCj
Figure BDA0003654191680000107
Figure BDA0003654191680000108
式中:lv为机动车到达潜在碰撞区域的距离;
Figure BDA0003654191680000109
为行人i沿第j条轨迹运动至潜在碰撞区域的距离;L为机动车车长;vv为机动车瞬时速度;
Figure BDA00036541916800001010
为行人瞬时速度。
步骤302、计算行人i按暂无潜在碰撞危险轨迹
Figure BDA00036541916800001011
运动下的最小会遇距离mindj、夹角变化率
Figure BDA00036541916800001012
图5为指标计算示意图。
在时刻t下车辆的轨迹点坐标为
Figure BDA00036541916800001013
行人i在第j条轨迹上的坐标为
Figure BDA00036541916800001014
两轨迹点的欧氏距离OvOij为:
Figure BDA00036541916800001015
人车夹角可用行人与车辆碰撞体积中心坐标连线OvOij与y轴夹角的反正切值表示,计算公式为:
Figure BDA0003654191680000111
夹角变化率计算公式为:
Figure BDA0003654191680000112
其中,
Figure BDA0003654191680000113
为t-Δt时刻的人车夹角。
将车辆的矩形碰撞体积分为A1,A2,A3,A4四个区域,其中A1为矩形形心与矩形近行人侧两顶角的连线所围成的三角形区域,A2为矩形形心与矩形远行人侧两顶角的连线所围成的三角形区域,A3为矩形形心与矩形前进方向前端两顶角的连线所围成的三角形区域,A4为矩形形心与矩形前进方向后端两顶角的连线所围成的三角形区域。通过人车夹角tanθ判断线段Ovdv所处区域,线段Ovdv特指人车碰撞体积中心坐标连线OvOij处于矩形车辆碰撞体积内部的线段。分情况讨论行人与车辆的真实距离dj(t)如下:
①当线段Ovdv位于A1或A2中时,OvOij交于矩形碰撞体积的长边,此时
Figure BDA0003654191680000114
则根据相似三角形计算Ovdv
Figure BDA0003654191680000115
W为矩形车辆碰撞体积的宽,本文取W=2。
此时行人与车辆的真实距离dj(t)的计算公式为:
Figure BDA0003654191680000116
r为圆形行人碰撞体积的半径,本文取r=0.3。
②当线段Ovdv位于A3或A4中时,OvOij交于矩形碰撞体积的短边,此时
Figure BDA0003654191680000117
则根据相似三角形计算Ovdv
Figure BDA0003654191680000118
L为矩形车辆碰撞体积的长,本文取L=5。
此时行人与车辆的真实距离dj(t)的计算公式为:
Figure BDA0003654191680000119
遍历多模态的行人轨迹,得到各行人轨迹下最小的人车会遇距离min dj
进一步,所述步骤4具体包括运用超阈值极值的双变量极值理论对潜在碰撞发生的时间紧迫程度进行建模;运用突变理论进行碰撞发生的空间紧迫程度进行建模。具体步骤如下:
步骤401、设{(x1,y1),(x2,y2),…,(xn,yn)}是具有累积分布函数F(x,y)的一组独立观测的二元向量(X,Y),超出边界阈值ux和uy的变量(x,y)近似尾部的广义Pareto分布:
Figure BDA0003654191680000121
Figure BDA0003654191680000122
其中,ξxy为形状参数,σxy为尺度参数,ζx=Pr{x>ux},ζy=Pr{y>uy}。
将变量(X,Y)做超阈值转换为:
Figure BDA0003654191680000123
Figure BDA0003654191680000124
联合分布函数
Figure BDA0003654191680000125
具有近似标准Frechet的边际分布,超阈值极值的联合分布由下式得:
Figure BDA0003654191680000126
Figure BDA0003654191680000127
其中,H为[0,1]的均值分布函数,满足
Figure BDA0003654191680000128
步骤402、对
Figure BDA0003654191680000129
取负映射,根据样本的超阈值期望图确定阈值ux和uy,超阈值期望函数e(u)定义为:
Figure BDA00036541916800001210
其中,Xj为行人i第j条轨迹的负
Figure BDA0003654191680000131
或负
Figure BDA0003654191680000132
值,G'为行人i潜在碰撞轨迹总数。
利用极大似然估计对广义帕累托分布的参数进行估计。
步骤403、碰撞的时间紧迫指数Ri为预测到
Figure BDA0003654191680000133
Figure BDA0003654191680000134
小于阈值的概率,即:
Ri=Pr(x>ux∩y>uy)
步骤406、对暂无碰撞风险的轨迹
Figure BDA0003654191680000135
构造尖点突变模型预测行人运动状态的突变,构造尖点突变的势函数如下:
V(x)=x4+u1x2+u2x
其中,V(x)为轨迹发生碰撞的势函数,x为系统状态变量,u1,u2为系统的控制变量。
步骤407、计算尖点突变的突变流形式与平衡曲面奇点集合:
V'(x)=4x3+2u1x+u2=0
V”(x)=12x2+2u1=0
步骤408、将控制变量u1,u2与状态变量x关系式进行归一化处理得:
Figure BDA0003654191680000136
步骤409、计算第j条暂无潜在碰撞危险的行人轨迹下人车碰撞的空间紧迫指数:
Figure BDA0003654191680000137
在从基础上计算轨迹集合
Figure BDA0003654191680000138
的空间紧迫指数Ci
Ci=Ci,1+(1-Ci,1)Ci,2+…+{1-Ci,1-(1-Ci,1)Ci,2-…-[1-Ci,1-(1-Ci,1)Ci,2-…]Ci,n-1))}Ci,n
进一步,所述步骤5计算行人i的综合危险度RPCi,并根据RPCi与人车安全距离划分安全行车区域,具体步骤包括:
步骤501、建立行人的碰撞危险度模型(Risk ofPedestrian Collision,RPC):
RPCi=αPic+βRi+βCi
式中Pic为潜在碰撞概率,Ri为时间紧迫指数,Ci为空间紧迫指数,α,β,γ为指标权重,其取值运用熵权法确定。
步骤502、建立人车安全距离模型,计算如下:
Figure BDA0003654191680000139
Figure BDA00036541916800001310
其中,vpi-x为行人横向速度,
Figure BDA00036541916800001311
为行人i走至潜在碰撞区域所需的时间,Bi为车辆与行人i的横向距离,W为车宽,Di-safe为车辆与行人i之间的安全距离,vv为当前车速,τ为时滞时间,d0为自车停止后与行人的纵向距离。
步骤503、根据步骤501所得RPC模型步骤502所得人车安全模型,计算得到当前时刻所有行人的危险度RPCi及安全距离Di-safe,运用可视化技术将行人i对应的安全距离赋予相应的RPCi取值投射在自动驾驶前方可行驶区域,叠加所有行人RPCi安全距离后,将不同危险度距离用颜色区分,形成可视化的安全行驶区域,如图6所示。
一种基于时空紧迫性的人车碰撞危险态势的预测方法,对自动驾驶车辆的安全决策理论提供依据。基于行人多模态轨迹判别潜在碰撞危险的轨迹,针对人车碰撞的突变与极端现象,从时间、空间两个维度协同量化人车碰撞危险,提出多维度、多指标的危险态势分析模型。根据行人危险指数和安全距离指标划分行车区间,生成自动驾驶安全行驶区域,提高自动驾驶车辆安全性能。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。
应当理解,为了精简本发明并帮助本领域的技术人员理解本发明的各个方面,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时在单个实施例中进行描述,或者参照单个图进行描述。但是,不应将本发明解释成示例性实施例中包括的特征均为本专利权利要求的必要技术特征。
应当理解,可以对本发明的一个实施例的设备中包括的模块、单元、组件等进行自适应性地改变以把它们设置在与该实施例不同的设备中。可以把实施例的设备包括的不同模块、单元或组件组合成一个模块、单元或组件,也可以把它们分成多个子模块、子单元或子组件。

Claims (7)

1.一种基于时空紧迫性的人车碰撞危险态势预测方法,其特征在于,具体步骤为:
步骤1、获取行人运动参数,通过行人决策模型与GRU网络,预测行人多模态轨迹;
步骤2、采用包围盒动态检测算法进行行人各预测轨迹与自车规划路径的相交测试,判别潜在碰撞的行人轨迹;
步骤3、分别计算行人在潜在碰撞轨迹运动下以及无潜在碰撞轨迹运动下人车冲突的具体参数;
步骤4、运用超阈值极值的双变量极值理论对潜在碰撞发生的时间紧迫程度进行建模,运用突变理论对碰撞发生的空间紧迫程度进行建模,计算人车碰撞时间紧迫性、空间紧迫性;
步骤5、计算行人的综合危险度,并根据综合危险度与人车安全距离划分安全行车区域。
2.根据权利要求1所述的基于时空紧迫性的人车碰撞危险态势预测方法,其特征在于,获取行人运动信息预测行人多模态轨迹的具体方法为:
步骤101、通过车载视觉传感器获取周围各行人的位姿信息
Figure FDA0003654191670000011
具体为:
Figure FDA0003654191670000012
其中,
Figure FDA0003654191670000013
为行人i在t时刻的位姿信息,
Figure FDA0003654191670000014
为行人i在t时刻的位置坐标,
Figure FDA0003654191670000015
为行人i在t时刻的速度,
Figure FDA0003654191670000016
为行人i在t时刻的加速度,
Figure FDA0003654191670000017
为行人i在t时刻的朝向角;
步骤102、使用GRU网络对行人历史位姿信息进行编码,并通过GRU网络提取行人间交互因素,将编码向量输入Softmax函数计算行人不同决策mk的概率Pi(mk),k=1,2,3,其中m1为不过街,m2为与车辆行驶方向垂直过街,m3为与车辆行驶方向呈锐角过街;
步骤103、利用GRU解码器生成时刻t'下行人位置的概率分布Pi(t')、行人未来轨迹坐标序列
Figure FDA0003654191670000018
及运动特征
Figure FDA0003654191670000019
Figure FDA00036541916700000110
Figure FDA00036541916700000111
其中
Figure FDA00036541916700000112
为时刻t'下行人i的预测位置坐标,
Figure FDA00036541916700000113
为时刻t'下行人i的预测速度,
Figure FDA00036541916700000114
为时刻t'下行人i的预测加速度,
Figure FDA00036541916700000115
为时刻t'下行人i的预测朝向角;
步骤104、获取自车按当前轨迹行驶的坐标序列Trajv(t)及车辆运动特征Motionv(t):
Figure FDA0003654191670000021
Figure FDA0003654191670000022
其中,
Figure FDA0003654191670000023
为时刻t下自车的位置坐标,
Figure FDA0003654191670000024
为时刻t下自车的速度,
Figure FDA0003654191670000025
为时刻t下自车的加速度,
Figure FDA0003654191670000026
为时刻t下自车的航向角。
3.根据权利要求1所述的基于时空紧迫性的人车碰撞危险态势预测方法,其特征在于,判别潜在碰撞的行人轨迹的具体方法为:
步骤201、对行人与自动驾驶车辆进行碰撞体积建模;
步骤202、计算行人与车辆包围盒,获取行人与车辆包围盒的最值参数;
步骤203、检查两包围盒投影的交叠状况,若判定为相交即返回当前时刻、行人包围盒与车辆包围盒中心坐标所在的第i个行人的第j条轨迹及该轨迹的概率,且标记该轨迹为潜在碰撞轨迹,若判定为不相交则进入下一个时间步长的检测;
步骤204、结合行人预测轨迹及自动驾驶规划路径更新下一时间步长的行人与车辆坐标点信息,根据变换关系相应地更新包围盒,持续进行碰撞检测,直到遍历所有时间的所有轨迹点,筛选出全部有相交的潜在碰撞轨迹,得到潜在碰撞轨迹集合与暂无碰撞风险的轨迹集合,对步骤203返回的所有潜在碰撞轨迹概率进行求和得到潜在碰撞集合的概率。
4.根据权利要求3所述的基于时空紧迫性的人车碰撞危险态势预测方法,其特征在于,对行人与自动驾驶车辆进行碰撞体积建模的具体方法为:
建立以行人重心为圆心、半径为0.3米的圆形碰撞体积;建立以车辆形心为中心,长5米、宽2米的矩形碰撞体积,则定义行人圆形碰撞体积为行人包围盒,第i个行人的第j条轨迹在t时刻坐标点的包围盒圆心为行人重心
Figure FDA0003654191670000027
半径为0.3m,定义以车辆形心
Figure FDA0003654191670000028
为中心、长5米、宽2米的矩形包围盒。
5.根据权利要求1所述的基于时空紧迫性的人车碰撞危险态势预测方法,其特征在于,步骤3分别计算两类行人轨迹下人车冲突的具体参数,具体步骤包括:
计算行人i按潜在碰撞轨迹
Figure FDA0003654191670000029
运动下的碰撞时间差TDTCj、碰撞时间TTCj
Figure FDA0003654191670000031
Figure FDA0003654191670000032
式中:lv为机动车到达潜在碰撞区域的距离;
Figure FDA0003654191670000033
为行人i沿第j条轨迹运动至潜在碰撞区域的距离;L为矩形车辆碰撞体积长度;vv为机动车瞬时速度;
Figure FDA0003654191670000034
为行人瞬时速度;
计算行人i按暂无潜在碰撞危险轨迹
Figure FDA0003654191670000035
运动下的最小会遇距离mindj、夹角变化率
Figure FDA0003654191670000036
在时刻t下车辆的轨迹点坐标为
Figure FDA0003654191670000037
行人i在第j条轨迹上的坐标为
Figure FDA0003654191670000038
两轨迹点的欧氏距离OvOij为:
Figure FDA0003654191670000039
人车夹角可用行人与车辆碰撞体积中心坐标连线OvOij与y轴夹角的反正切值表示,计算公式为:
Figure FDA00036541916700000310
夹角变化率计算公式为:
Figure FDA00036541916700000311
Figure FDA00036541916700000312
为t-Δt时刻的人车夹角;
将车辆的矩形碰撞体积分为A1,A2,A3,A4四个区域,其中A1为矩形形心与矩形近行人侧两顶角的连线所围成的三角形区域,A2为矩形形心与矩形远行人侧两顶角的连线所围成的三角形区域,A3为矩形形心与矩形前进方向前端两顶角的连线所围成的三角形区域,A4为矩形形心与矩形前进方向后端两顶角的连线所围成的三角形区域,通过人车夹角tanθ判断线段Ovdv所处区域,线段Ovdv特指人车碰撞体积中心坐标连线OvOij处于矩形车辆碰撞体积内部的线段,分情况确定行人与车辆的真实距离dj(t)如下:
①当线段Ovdv位于A1或A2中时,OvOij交于矩形碰撞体积的长边,此时
Figure FDA0003654191670000041
则根据相似三角形计算Ovdv
Figure FDA0003654191670000042
W为矩形车辆碰撞体积的宽,本文取W=2。
此时行人与车辆的真实距离dj(t)的计算公式为:
Figure FDA0003654191670000043
r为圆形行人碰撞体积的半径,本文取r=0.3。
②当线段Ovdv位于A3或A4中时,OvOij交于矩形碰撞体积的短边,此时
Figure FDA0003654191670000044
则根据相似三角形计算Ovdv
Figure FDA0003654191670000045
L为矩形车辆碰撞体积的长;
此时行人与车辆的真实距离dj(t)的计算公式为:
Figure FDA0003654191670000046
遍历多模态的行人轨迹,得到各行人轨迹下最小的人车会遇距离min dj
6.根据权利要求1所述的基于时空紧迫性的人车碰撞危险态势预测方法,其特征在于,运用超阈值极值的双变量极值理论对潜在碰撞发生的时间紧迫程度进行建模,运用突变理论对碰撞发生的空间紧迫程度进行建模,计算人车碰撞时间紧迫性、空间紧迫性的具体步骤为:
步骤401、设{(x1,y1),(x2,y2),…,(xn,yn)}是具有累积分布函数F(x,y)的一组独立观测的二元向量(X,Y),超出边界阈值ux和uy的变量(x,y)近似尾部的广义Pareto分布:
Figure FDA0003654191670000047
Figure FDA0003654191670000051
其中,ξm,ξy为形状参数,σx,σy为尺度参数,ζx=Pr{x>ux},ζy=Pr{y>uy}。
将变量(X,Y)做超阈值转换为:
Figure FDA0003654191670000052
Figure FDA0003654191670000053
联合分布函数
Figure FDA0003654191670000054
具有近似标准Frechet的边际分布,超阈值极值的联合分布由下式得:
Figure FDA0003654191670000055
Figure FDA0003654191670000056
其中,H为[0,1]的均值分布函数,满足
Figure FDA0003654191670000057
步骤402、对行人在潜在碰撞轨迹运动下人车冲突的具体参数
Figure FDA0003654191670000058
取负映射,根据样本的超阈值期望图确定阈值ux和uy,超阈值期望函数e(u)定义为:
Figure FDA0003654191670000059
其中,Xj为行人i第j条轨迹的负
Figure FDA00036541916700000510
或负
Figure FDA00036541916700000511
值,G′为行人i潜在碰撞轨迹总数;
利用极大似然估计对广义帕累托分布的参数进行估计。
步骤403、碰撞的时间紧迫指数Ri为预测到
Figure FDA00036541916700000512
Figure FDA00036541916700000513
小于阈值的概率,即:Ri=Pr(x>ux∩y>uy)
步骤406、对暂无碰撞风险的轨迹
Figure FDA00036541916700000514
构造尖点突变模型预测行人运动状态的突变,构造尖点突变的势函数如下:
V(x)=x4+u1x2+u2x
其中,V(z)为轨迹发生碰撞的势函数,x为系统状态变量,u1,u2为系统的控制变量。
步骤407、计算尖点突变的突变流形式与平衡曲面奇点集合:
V′(x)=4x3+2u1x+u2=0
V″(x)=12x2+2u1=0
步骤408、将控制变量u1,u2与状态变量x关系式进行归一化处理得:
Figure FDA0003654191670000061
步骤409、计算第j条暂无潜在碰撞危险的行人轨迹下人车碰撞空间紧迫指数Ci,j
Figure FDA0003654191670000062
计算轨迹集合
Figure FDA0003654191670000063
的空间紧迫指数Ci
Ci=Ci,1+(1-Ci,1)Ci,2+...+{1-Ci,1-(1-Ci,1)Ci,2-...-[1-Ci,1-(1-Ci,1)Ci,2-...]Ci,(n-1))}Ci,n
7.根据权利要求1所述的基于时空紧迫性的人车碰撞危险态势预测方法,其特征在于,计算行人i的综合危险度RPCi,并根据RPCi与人车安全距离划分安全行车区域,具体步骤包括:
步骤501、建立行人的碰撞危险度模型:
RPCi=αPic+βRi+γCi
式中Pic为潜在碰撞概率,Ri为时间紧迫指数,Ci为空间紧迫指数,α,β,γ为指标权重;
步骤502、建立人车安全距离模型,计算如下:
Figure FDA0003654191670000064
Figure FDA0003654191670000065
其中,vpi-x为行人横向速度,
Figure FDA0003654191670000066
为行人i走至潜在碰撞区域所需的时间,Bi为车辆与行人i的横向距离,W为车宽,Di-safe为车辆与行人i之间的安全距离,vv为当前车速,τ为时滞时间,d0为自车停止后与行人的纵向距离;
步骤503、根据步骤501所得RPC模型步骤502所得人车安全模型,计算得到当前时刻所有行人的危险度RPCi及安全距离Di-safe,运用可视化技术将行人i对应的安全距离赋予相应的RPCi取值投射在自动驾驶前方可行驶区域,叠加所有行人RPCi与安全距离后,用颜色区分不同危险度距离,形成可视化的安全行驶区域。
CN202210549567.9A 2022-05-20 2022-05-20 基于时空紧迫性的人车碰撞危险态势预测方法 Pending CN114898042A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210549567.9A CN114898042A (zh) 2022-05-20 2022-05-20 基于时空紧迫性的人车碰撞危险态势预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210549567.9A CN114898042A (zh) 2022-05-20 2022-05-20 基于时空紧迫性的人车碰撞危险态势预测方法

Publications (1)

Publication Number Publication Date
CN114898042A true CN114898042A (zh) 2022-08-12

Family

ID=82723198

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210549567.9A Pending CN114898042A (zh) 2022-05-20 2022-05-20 基于时空紧迫性的人车碰撞危险态势预测方法

Country Status (1)

Country Link
CN (1) CN114898042A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116187748A (zh) * 2022-12-16 2023-05-30 清华大学 风险域确定方法、装置、计算机设备、介质和程序产品
CN116957345A (zh) * 2023-09-21 2023-10-27 上海伯镭智能科技有限公司 用于无人驾驶系统中的数据处理方法
CN117910512A (zh) * 2024-03-05 2024-04-19 广州地铁设计研究院股份有限公司 基于注意力机制的钢轨电位预测方法和ovpd智能控制装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116187748A (zh) * 2022-12-16 2023-05-30 清华大学 风险域确定方法、装置、计算机设备、介质和程序产品
CN116187748B (zh) * 2022-12-16 2023-12-29 清华大学 风险域确定方法、装置、计算机设备、介质和程序产品
CN116957345A (zh) * 2023-09-21 2023-10-27 上海伯镭智能科技有限公司 用于无人驾驶系统中的数据处理方法
CN116957345B (zh) * 2023-09-21 2023-12-08 上海伯镭智能科技有限公司 用于无人驾驶系统中的数据处理方法
CN117910512A (zh) * 2024-03-05 2024-04-19 广州地铁设计研究院股份有限公司 基于注意力机制的钢轨电位预测方法和ovpd智能控制装置

Similar Documents

Publication Publication Date Title
CN114898042A (zh) 基于时空紧迫性的人车碰撞危险态势预测方法
Zeng et al. End-to-end interpretable neural motion planner
Do et al. Human drivers based active-passive model for automated lane change
Gao et al. An interacting multiple model for trajectory prediction of intelligent vehicles in typical road traffic scenario
US9904855B2 (en) Atomic scenes for scalable traffic scene recognition in monocular videos
Deng et al. A probabilistic model for driving-style-recognition-enabled driver steering behaviors
Chae et al. Virtual target-based overtaking decision, motion planning, and control of autonomous vehicles
US11458991B2 (en) Systems and methods for optimizing trajectory planner based on human driving behaviors
CN112389440B (zh) 一种基于车路作用机理的越野环境中车辆行驶风险预测方法
CN110288835B (zh) 一种基于运动学预测补偿机制的周边车辆行为实时识别方法
EP4196381A1 (en) Waypoint prediction and motion forecasting for vehicle motion planning
CN113822593B (zh) 一种安全态势评估方法、装置、存储介质及电子设备
CN114415672A (zh) 用于自主驾驶车辆的动态模型评估
CN115907250A (zh) 用于调整自主驾驶车辆的运动规划器的基于学习的评论器
Ziegler et al. Modeling driving behavior of human drivers for trajectory planning
CN115123217B (zh) 矿区障碍车辆行使轨迹生成方法、装置及计算机设备
CN115635982A (zh) 基于驾驶效率与舒适度的自动驾驶方法及系统
CN116295496A (zh) 一种自动驾驶车辆路径规划方法、装置、设备及介质
Huang et al. Risk-aware vehicle motion planning using bayesian LSTM-based model predictive control
Yoon et al. Trajectory Prediction Using Graph-Based Deep Learning for Longitudinal Control of Autonomous Vehicles: A Proactive Approach for Autonomous Driving in Urban Dynamic Traffic Environments
Xu et al. Roadside estimation of a vehicle’s center of gravity height based on an improved single-stage detection algorithm and regression prediction technology
Li et al. Pedestrian interaction algorithm for autonomous vehicles considering crossing intention and driving style
Hjaltason Predicting vehicle trajectories with inverse reinforcement learning
Benterki et al. Multi-model and learning-based framework for real-time trajectory prediction
CN114730521A (zh) 使用统计模型的碰撞监测

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination