CN111009153A - 一种轨迹预测模型的训练方法、装置和设备 - Google Patents

一种轨迹预测模型的训练方法、装置和设备 Download PDF

Info

Publication number
CN111009153A
CN111009153A CN201911228065.0A CN201911228065A CN111009153A CN 111009153 A CN111009153 A CN 111009153A CN 201911228065 A CN201911228065 A CN 201911228065A CN 111009153 A CN111009153 A CN 111009153A
Authority
CN
China
Prior art keywords
track
vehicle
prediction model
week
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911228065.0A
Other languages
English (en)
Other versions
CN111009153B (zh
Inventor
樊平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Research Institute Tsinghua University
Original Assignee
Shenzhen Research Institute Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Research Institute Tsinghua University filed Critical Shenzhen Research Institute Tsinghua University
Priority to CN201911228065.0A priority Critical patent/CN111009153B/zh
Publication of CN111009153A publication Critical patent/CN111009153A/zh
Application granted granted Critical
Publication of CN111009153B publication Critical patent/CN111009153B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G06Q50/40
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection

Abstract

本发明涉及自动驾驶技术领域,具体涉及一种轨迹预测模型的训练方法。包括:获取轨迹样本数据;其中,轨迹样本数据包括目标车辆的轨迹样本数据以及目标车辆的周车轨迹样本数据;获取目标车辆轨迹预测模型以及各个周车的轨迹修正模型;将周车的轨迹样本数据输入对应的周车的轨迹预测模型以生成与周车对应的轨迹修正序列;利用目标车辆和周车的轨迹样本数据确定各个所述轨迹修正模型对应的权重;利用权重将车辆轨迹预测模型及周车的轨迹预测模型进行级联得到轨迹预测模型;训练轨迹预测模型以更新轨迹预测模型的参数。考虑修正数据从而使网络结构参数与实际训练集能够进行匹配,使预测数据更加准确,更接近实际数值。

Description

一种轨迹预测模型的训练方法、装置和设备
技术领域
本发明涉及无人驾驶技术领域,具体涉及一种轨迹预测模型的训练方法、装置和设备。
背景技术
轨迹预测是自动驾驶技术的重要一环,自动驾驶汽车的决策、规划和控制都依赖于对当前车辆所处环境的合理认知,这种认知不仅包括高精度地图的获取、车辆的定位、周车等障碍物的识别与跟踪,还需要对周围障碍物未来的轨迹进行预测。例如:驾驶员在驾驶过程中也会对周车的运动做出预判断。而对于自动驾驶,实时进行轨迹预测将帮助后续的决策等环节规避大量潜在的风险,从而大幅度提高自动驾驶汽车的安全性。
对于传统的车辆轨迹预测算法来说,是通过依赖汽车的历史轨迹生成预测轨迹,这种预测方式在低密度交通下可以取得较为准确的预测结果。然而在高密交通场景下,车辆的运动很大程度上是受到周围其他车辆的影响,因此在轨迹预测中还应去考虑车辆之间的空间交互情况。
近年来,随着深度学习的发展,RNN等时序网络(主要为LSTM)逐渐被应用于端到端的车辆轨迹预测中,而为了使建模空间交互常常需要构建耦合多个RNN的端到端模型,具体做法是将空间交互时序化,表达为相对位置或相对速度等时间序列,并采用简单的时序网络(LSTM)建模,最后将各个简单网络叠加成复杂网络,在训练过程中联合学习整个网络的参数。然而这种“直接耦合”的方式未引入任何的先验信息,是完全依赖于神经网络的学习能力,缺乏解释性;并在网络结构参数的设计中无法良好的与训练集特点进行匹配,从而导致所训练出来的模型预测数据不准确。
发明内容
有鉴于此,本发明实施例提供了一种轨迹预测模型的训练方法、装置和设备,以解决预测数据不准确的问题。
根据第一方面,本发明实施例提供了一种轨迹预测模型的训练方法,包括:
获取轨迹样本数据;其中,所述轨迹样本数据包括目标车辆的轨迹样本数据以及所述目标车辆的周车轨迹样本数据;
获取所述目标车辆的车辆轨迹预测模型以及各个所述周车的轨迹修正模型;
将所述周车的轨迹样本数据输入对应的所述周车的轨迹预测模型中,以生成与所述周车对应的轨迹修正序列;
利用所述目标车辆和周车的轨迹样本数据确定各个所述轨迹修正模型对应的权重;
用所述权重将所述车辆轨迹预测模型以及所述周车的轨迹预测模型进行级联,以得到所述轨迹预测模型;
训练所述轨迹预测模型,以更新所述轨迹预测模型的参数。
通过获取轨迹样本数据,和预设的预测模型以及轨迹修正模型,把样本数据放入预测模型和修正模型中,得到初步预测的数据和修正数据,通过把预测数据和修正数据进行权重设置之后在进行叠加处理,以得到更加准确的预测数据。利用修正数据模型和预测数据模型级联形成新的预测数据模型,之后把数据放入新的预测数据模型中,进行训练得到最后的修正后的预测数据。
通过把修正数据考虑其中,并进行权重分配,在利用预测数据和修正数据进行叠加,使预测轨迹模型具有可解释性,又因考虑修正数据从而使网络结构参数与实际训练集能够进行匹配,从而使预测数据更加准确,更接近实际数值。
结合第一方面,在第一方面第一实施方式中,将所述周车的轨迹样本数据输入对应的所述周车的轨迹预测模型中,生成与所述周车对应的轨迹修正序列,包括:
利用预测模型对目标车辆和周车进行初步预测;其中,目标车辆预测得到的是目标车辆初步轨迹,周车预测得到的是周车初步轨迹;
通过周车的轨迹修正模型预测出由周车初步轨迹引发的车辆轨迹修正序列。
通过预测模型对目标车辆和周车进行初步预测,得到初步预测轨迹,但相对与目标车辆来说不同方向的周车其初步预测轨迹存在误差,因此在是使用初步预测轨迹后还需要对周车进行轨迹修正,得到轨迹修正序列,以便于最终所获得的预测轨迹能够更接近于实际轨迹。
结合第一方面,在第一方面第二实施方式中,所述预测目标车辆和所述周车的初步轨迹的公式为:
Figure BDA0002302781550000031
其中,X为垂直于车道方向的坐标;Y为沿车道方向的坐标。
结合第一方面,在第一方面第三实施方式中,利用所述目标车辆和周车的轨迹样本数据确定各个所述轨迹修正模型对应的权重,包括:
获取加权权重,包括:
确定车辆之间的安全距离;
获取根据车辆之间的安全距离与二者实际的纵向距离的比值,进行归一化后得到的加权权重;
把车辆轨迹修正序列联合加权权重,获得最终预测加权。
通过获取加权权重,估计周车与目标车辆的安全距离,并把所估计的安全距离与实际距离进行评估,这样既可以使周车对目标车辆的威胁度进行全面评估,从而提高其轨迹预测的精度。
结合第一方面,在第一方面第四实施方式中,最终预测加权公式为:
Figure BDA0002302781550000032
其中,wt=[w1,w2,...w6],w为加权权重,
Figure BDA0002302781550000033
ht为车辆轨迹修正序列。
结合第一方面,在第一方面第五实施方式中,安全距离计算公式为:
Figure BDA0002302781550000034
其中,f和l分别表示参与安全距离计算的两辆车在纵向(沿车道方向)领先和落后的车辆,vf和vl为两辆车的纵向速度,L表示两辆车的平均车长,为驾驶员的反应时间,abrake表示刹车时的最大加速度。
结合第一方面,在第一方面第六实施方式中,获取根据车辆之间的安全距离与二者实际的纵向距离的比值,进行归一化后得到的加权权重,其公式为:
Figure BDA0002302781550000041
其中,Di,s为车辆之间的安全距离,Δdi,s为车辆之间实际的纵向距离。
结合第一方面,在第一方面第七实施方式中,训练所述轨迹预测模型,以更新所述轨迹预测模型的参数,包括:
获取训练数据,把训练数据放入不同的轨迹预测模型进行训练;
对比轨迹预测模型的训练结果,统计预测范围内的误差。
结合第一方面,在第一方面第八实施方式中,统计在预测范围内的误差计算公式为:
Figure BDA0002302781550000042
Figure BDA0002302781550000043
其中rmsP表示单一轨迹段在预测范围为P以内的均方根误差,RMSP表示测试集所有轨迹段的平均RMS误差,
Figure BDA0002302781550000044
为表示测试集所有轨迹段的标准差。
通过获取训练数据,分别把训练数据加入不同的轨迹预测模型中(包括本发明所提出的轨迹预测模型)进行训练,从输出结果上看,如图6所示,不同的数据模型所输出的结果并不一样,本发明所提出的轨迹预测模型的预测范围误差范围高于其他数据模型的轨迹预测范围。
根据第二方面,本发明实施例提供了一种轨迹预测模型的训练装置,包括:
获取模块,用于获取轨迹样本数据和获取所述目标车辆的车辆轨迹预测模型以及各个所述周车的轨迹修正模型;
修正模块,用于将所述周车的轨迹样本数据输入对应的所述周车的轨迹预测模型中,以生成与所述周车对应的轨迹修正序列;
确定模块,用于根据所述轨迹修正序列确定各个所述轨迹修正模型对应的权重;
训练模块,用于利用所述权重将所述车辆轨迹预测模型以及所述周车的轨迹预测模型进行级联,以得到所述轨迹预测模型。
通过轨迹预测模型的训练装置,保证了轨迹预测的准确性,利用模块与模块之间的连接方式,简化复杂的预测过程,有利于提升预测的准确率。
根据第三方面,本发明实施例提供了一种电子设备,包括:存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行第一方面或者第一方面的任意一种实施方式中所述的轨迹预测模型的训练方法。
根据第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储计算机指令,所述计算机指令用于使所述计算机执行第一方面或者第一方面的任意一种实施方式中所述的轨迹预测模型的训练方法。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的轨迹预测模型的训练方法的流程图A;
图2是根据本发明实施例的轨迹预测模型的训练方法的流程图B;
图3是根据本发明实施例的轨迹预测模型的训练方法的流程图C;
图4是根据本发明实施例的轨迹预测模型的训练方法的流程图D;
图5是本发明实施例提供的对于原始数据集的预处理结果统计;
图6是本发明实施例提供的在NGSIM I-80与US101数据集上的测试结果及与M-LSTM模型的比较结果;
图7是本发明实施例提供的具体预测实例中作用效果示意图;
图8是本发明实施例提供的一种轨迹预测模型的装置结构框图;
图9是本发明实施例提供的一种电子设备的硬件结构示意图。
附图标记
1-获取模块;2-修正模块;3-确定模块;4-训练模块;
91-处理器;92-总线;93-通信接口;94-存储器。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明实施例提供了一种轨迹预测模型的训练方法,包括:
S1,获取轨迹样本数据;其中,所述轨迹样本数据包括目标车辆的轨迹样本数据以及所述目标车辆的周车轨迹样本数据;
轨迹样本数据是从现有的开源数据集中获取,例如测试数据集NGSIM I-80和US101。具体的是获取公路上的车辆行驶的轨迹/动作,可以是直行,可以是换道,也可是跟随。
其中,周车轨迹可以是目标车辆的周围车辆的行驶轨迹,例如:目标车辆左前、前、右前、左后、后、右后六个方向的车辆行驶轨迹。
S2,获取所述目标车辆的车辆轨迹预测模型以及各个所述周车的轨迹修正模型;所获取的目标车辆的车辆轨迹预测模型可以是通过关注目标车辆在预设时间范围内的历史轨迹延伸得到的,把历史轨迹的时间预设为预测时长测可以得到未来轨迹。其中,历史轨迹可以用轨迹位移序列来表示。
S3,将所述周车的轨迹样本数据输入对应的所述周车的轨迹预测模型中,以生成与所述周车对应的轨迹修正序列;
通过获取轨迹样本数据和轨迹预测模型,得到初步的轨迹预测,之后进行轨迹修正,把初步预测轨迹与轨迹修正进行叠加得到最终的预测数据。
S4,利用所述目标车辆和周车的轨迹样本数据确定各个所述轨迹修正模型对应的权重;
S5,利用所述权重将所述车辆轨迹预测模型以及所述周车的轨迹预测模型进行级联,以得到所述轨迹预测模型;
S6,训练所述轨迹预测模型,以更新所述轨迹预测模型的参数。
通过获取轨迹样本数据,和预测模型以及轨迹修正模型,把样本数据放入预测模型和修正模型,已得到初步预测的数据和修正数据,通过把预测数据和修正数据进行权重设置之后在进行叠加从而得到更加准确的预测数据,而修正数据模型和预测数据模型级联形成了性的预测数据模型,之后把数据放入新的预测数据模型中,进行训练得到最后的修正后的预测数据。
通过把修正数据考虑其中,并进行权重分配,在利用预测数据和修正数据进行叠加,使预测轨迹模型具有可解释性,又因考虑修正数据从而使网络结构参数与实际训练集能够进行匹配,从而使预测数据更加准确,更接近实际数值。
本发明实施例提供的一种轨迹预测模型的训练方法,除上述所述的步骤外还包括,包括:
对轨迹修正序列的获取,如图2所示:
S20,利用预测模型对目标车辆和周车进行初步预测;其中,目标车辆预测得到的是目标车辆初步轨迹,周车预测得到的是周车初步轨迹;
轨迹预测可以是通过历史轨迹预测得到,把预测时长替换未未来时长即可,其中,历史轨迹可以是轨迹位移序列。
S21,通过周车的轨迹修正模型预测出由周车初步轨迹引发的车辆轨迹修正序列。
其中,还使用了初步轨迹计算公式计算预测目标车辆和所述周车的初步轨迹:
Figure BDA0002302781550000071
其中,X为垂直于车道方向的轨迹;Y为沿车道方向的轨迹。
先进行车辆的初步预测,以得到理想状态下的初步预测值,之后在对车辆预测进行轨迹修正,通过考虑实际车辆中产生的误差,并进行轨迹修正,从而使预测轨迹更加精准。
确定各个轨迹修正模型对应的权重,如图3所示:
S30,获取加权权重,包括;
S301,确定车辆之间的安全距离;
S302,获取根据车辆之间的安全距离与二者实际的纵向距离的比值,进行归一化后得到的加权权重。
S31,把车辆轨迹修正序列联合加权权重,获得最终预测加权。
其中,最终预测加权,其计算公式为:
Figure BDA0002302781550000081
wt=[w1,w2,...w6],w为加权权重,
Figure BDA0002302781550000082
ht为车辆轨迹修正序列。
计算安全距离,其计算公式为:
Figure BDA0002302781550000083
其中,f和l分别表示参与安全距离计算的两辆车在纵向(沿车道方向)领先和落后的车辆,vf和vl为两辆车的纵向速度,L表示两辆车的平均车长,为驾驶员的反应时间,abrake表示刹车时的最大加速度。
获取根据车辆之间的安全距离与二者实际的纵向距离的比值,进行归一化后得到的加权权重,其公式为:
Figure BDA0002302781550000084
其中,Di,s为车辆之间的安全距离,Δdi,s为车辆之间实际的纵向距离。
加权权重是根据所获取的加权权重正比于车辆之间的安全距离与二者实际的纵向距离的比值进行归一化后得到,其加权权重依赖于车辆之间的行驶距离。
训练所述轨迹预测模型,以更新所述轨迹预测模型的参数,如图4所示:
S40,获取训练数据,把训练数据放入不同的轨迹预测模型进行训练;
训练数据可以是现有的开源数据集,可以是:NGSIM I-80、US101。
S41,对比轨迹预测模型的训练结果,统计预测范围内的误差。
可以是,把训练所用的数据放入本发明所构建的轨迹预测模型和现有预测模型中,进行轨迹预测。其中,在本发明所构建的轨迹预测模型中,数据需要经过上述S20-S30的步骤以得到所预测的轨迹。而现有预测模型,采用多个简单的LSTM模型进行叠加,之后在联合训练数据得到预测车辆轨迹。相对与现有预测方法,本发明所提出的预测车辆轨迹方法,因为引入误差修正以及加权权重,使输出结果更加接近与实际的车辆轨迹。
统计预测范围内的误差,其计算公式为:
Figure BDA0002302781550000091
Figure BDA0002302781550000092
其中rmsP表示单一轨迹在预测范围为P以内的均方根误差,RMSP表示测试集所有轨迹段的平均RMS误差,
Figure BDA0002302781550000093
为表示测试集所有轨迹段的标准差。
在实际的预测中,人们往往会忽略误差对数据结果造成的影响,而使得最终的数据结果与实际结果产生偏差。而本发明所提出的轨迹预测模型中考虑了车辆行驶中所产生的轨迹误差,并通过加权权重的方式对所产生的误差车辆轨迹进行修正,最后在通过不同的数据模型进行比对,通过验证得到能够接近真实车辆轨迹的预测车辆轨迹。
本发明实施例提供了一种轨迹预测模型的方法,为了实现密集交通下更准确的车辆轨迹预测,解决直接耦合的网络模型存在的问题(即提高模型的可解释性和易训练性),本实施例所提供的方法,需要将其应用于端到端的车辆轨迹预测之中。其中,本方法还利用了先验知识,对各耦合模型的学习目标和组合方式进行细化定义,使得整体模型易于训练,且具有更强的解释性。
通过利用不同数据集进行测试,使得本发明所构建的轨迹预测模型比“直接耦合”模型拥有更高的预测精度。
首先,以预测的目标车辆为中心,构建空间交互区域,通常设置为左右相邻1车道以内、前后相距50米以内。在训练和测试数据集上进行预处理,以便可以快速索引到邻近车辆。在交互区域内选取目标车辆左前、前、右前、左后、后、右后六个方向最近的周车作为关注对象。这样有利于后续描述空间交互信息组合方式。其中,目标车辆的周围六个方向的周车可以设置为缺失,这样的安排能够使模型应用于不同密度的周围场景,提升本模型的灵活性。
在预测模型的构建过程中,将来自于目标车辆自身运动的时序关联(Temporal信息)与来自于周车运动的空间影响(Spatial信息)视为不同的置信等级:Temporal信息是强信息,为车辆相邻时段的运行轨迹以速度、加速度作为纽带,具有较强的关联关系,而Spatial信息是弱信息,其车辆之间空间交互的作用原理是车辆间倾向于保持安全距离,并非具有刚性的空间约束。
不同驾驶风格(激进或保守)的驾驶者对于同样的外界空间交互是会做出不同的驾驶选择,因此Spatial信息应用于修正Temporal信息产生的预测轨迹,而非与Temporal信息一同产生预测轨迹。
先获取Temporal信息生成目标车辆的初步预测轨迹,在获取Spatial信息产生的初步预测轨迹对当前交通环境下的修正序列,使二者叠加后输出得到最终的预测结果。
其中,对于初步预测轨迹与轨迹修正序列的叠加,本发明不采用固定的加权权重,而是基于一个安全距离的概念,提出”柔性”权重(关注度)的方法,具体如下:
通过估计周车与目标车辆的安全距离和通过安全距离与真实距离之间的关系评估该辆周车对于目标车辆的威胁程度,即在轨迹预测过程中对来自于该辆周车的Spatial信息的重视程度。在利用计算加权和时便作为相应周车引发的轨迹修正序列的加权权重。在计算加权和之前,对于不同周车的影响权进行归一化处理。
上述“柔性”权重也可以与车辆的驾驶风格评估联系起来,在轨迹预测之前,根据预测目标车辆的历史轨迹评估其驾驶风格(激进与保守),并动态调整“柔性”权重中计算安全距离的参数,使得上述加权过程可以更符合相应驾驶员的驾驶习惯,从而进一步提高预测精度。
在训练过程中,本发明实施例所提出的模型采用Step-by-step的训练方式(非“简单耦合模型”的端到端训练)。
首先基于目标车辆的Temporal信息学习只考虑历史轨迹的初步预测模型C(基于LSTM);其次学习各个位置周车对应的轨迹修正模型I1-I6(基于LSTM);最后联合所有模型学习。
但在上述的第二步学习时,需要使用第一步所学到的模型C,首先使用C基于目标车辆Vs与周车V1-V6的历史轨迹生成各个车辆的初步预测序列,随后对初步预测序列的各个时间点,计算车辆间的相对位置,形成相对位置序列送入encoder模型中,训练过程中的目标设为目标车辆未来轨迹的准确性与初步预测结果的差,在这种设置下,轨迹修正序列将使得预测结果更趋近于实际值。
本发明实施例中所采用的逐步学习的模式,使得每次学习时和待学习的参数不致于过多,这样能有助于加速模型的收敛。此外,在传统的“直接耦合”模型中由于将空间交互特征与历史轨迹特征同时输入至encoder模型中,使其空间交互对于预测轨迹的影响比较大,且不正确的空间交互特征将会阻碍轨迹预测模型的正确学习,这样会使学习方向毫无保证,而本发明实施例中由Temporal信息训练出的初步预测模型能够大大简化和明确了空间交互模型的学习目标,通过时序信息模型作为保障,即便所提取的空间交互特征不合理,但却不至于使模型向错误的方向学习。
因此本实施例与“直接耦合”型复杂模型相比,既保留了使用时序化空间交互进行轨迹预测的核心思想,在空间交互信息的建模、应用方法上进行了优化,用强弱信息的区分Temporal信息和Spatial信息的作用,使所构建的整体模型更具有可解释性且更易于学习。
而采用“柔性权重”为轨迹预测引入关注度,可以有效的区分各周车对目标车辆轨迹预测结果的影响程度,让更具威胁的周车起到更大的轨迹修正作用,保证了在叠加过程的可解释性。如图6所示,是本实施例在NGSIM数据集上进行测试的结果,比较发现本模型的预测精度高于其他模型。
本发明实施例提供了一种轨迹预测模型的方法,如图5-7所示;
采用的测试数据集是NGSIM I-80和US101,该数据集为开源的公路数据集,采集自美国加州的I-80州际公路和101高速公路,场景为同向多车道的直行道路,道路车辆密度较高,存在大量邻近车辆,且存在较多的换道轨迹,适合本发明的应用需要。然而,原始的轨迹数据呈现严重的不均衡状态,直行工况占据绝大多数时段,而换道工况中,左换道数目也高于右换道数目,在I-80数据集中,左右换道的数目呈现严重的不均衡,对于端到端模型,训练集的不均衡将会导致模型向某一种(占绝大多数的)轨迹收敛,因此需要对轨迹进行预处理,缩小直行轨迹的时长与比例。具体如下:
首先,根据是否出现过换道、换道次数对数据集中的轨迹分类,对直行轨迹进行轨迹级别的降采样,对于换道轨迹进行上采样,以达到轨迹数目层次的大致均衡。
其次,对各个换道轨迹的各个换道实例,以越过车道分隔线的时刻作为中心点,对轨迹进行(轨迹点级别的)裁剪;但对于直行轨迹,可随机地对轨迹段进行裁剪,保留的轨迹段时长等于换道轨迹段(裁剪后)的时长即可。
对于I-80和US101数据集的统计、采样、裁剪及最终的比例,如表所示。
本模型的轨迹预测过程关注车辆th范围内的历史轨迹,预测时长为tp的未来轨迹。本模型采用轨迹位移序列表示车辆历史轨迹,设当前时刻为t,则车辆Vi的历史轨迹为:
Figure BDA0002302781550000121
其轨迹预测的真值为:
Figure BDA0002302781550000122
轨迹预测模型构建了一个通用的(适用于所有车辆的)初步轨迹预测模型C和对应于周车V1-V6的轨迹修正模型I1-I6,则轨迹预测过程如下:
步骤1初步预测
使用C预测目标车辆VS和所有周车(V1-V6)的初步轨迹:
Figure BDA0002302781550000123
步骤2生成轨迹修正序列
使用I1-I6预测由V1-V6引发的车辆轨迹修正序列
Figure BDA0002302781550000124
其中,It的输入为序列
Figure BDA0002302781550000125
步骤3叠加生成最终的预测
设车辆Vi所计算出的“柔性权重”为Wi,则最终预测的加权公式为:
Figure BDA0002302781550000126
其中wt=[w1,w2,...w6],
Figure BDA0002302781550000127
步骤4,在步骤3中加权权重的计算过程依赖于安全距离的度量,本发明中采用的安全距离计算公式如下:
Figure BDA0002302781550000131
其中f和l分别表示参与安全距离计算的两辆车在纵向(沿车道方向)领先和落后的车辆,vf和vl为两辆车的纵向速度,L表示两辆车的平均车长,为驾驶员的反应时间,abrake表示刹车时的最大加速度。本计算公式模拟了一个特殊的跟车场景,前车突然以最大加速度abrake刹车,后车经历了反应时间ρ后也以abrake刹车,D为两辆车停车后刚好不会碰上的临界距离,设a=1/abrake和β=v2ρ+L,若进一步驾驶β为一个常数,则上面的安全距离计算公式可以进一步简化成:
Figure BDA0002302781550000132
上式中的a和β是决定安全距离的唯二参数,当我们考虑不同驾驶风格时,可以相应地改变a和β,即可模拟出不同风格驾驶者对于安全距离的判定,从而进一步影响预测的轨迹。
本实施例中所采用的柔性权重正比于上述安全距离与二者实际的纵向距离的比值,各个周车权重经历归一化后可以得到最终用于加权的权重:
Figure BDA0002302781550000133
基于上述轨迹预测过程,在NGSIM I-80和US101数据集上进行训练和测试,并与一种最新的预测模型M-LSTM进行比较,在不同预测范围tp下的预测误差如图6所示。图中所统计的误差为RMS误差,具体的计算公式如下:
Figure BDA0002302781550000134
Figure BDA0002302781550000135
其中rmsP表示单一轨迹段在预测范围为P以内的均方根误RMSP表示测试集所有轨迹段的平均RMS误差:
Figure BDA0002302781550000136
如图7所示,一个具体的预测实例,以解释本实施例中考虑柔性权重的作用,图中
Figure BDA0002302781550000137
曲线为初步轨迹预测结果,即未修正的轨迹,根据初步预测的轨迹,该车辆左侧的两辆车的未来轨迹都与预测目标相近,因此所求得的柔性权重更大,在权重叠加中对目标车辆的初步预测轨迹产生的更大的“排斥”作用,即向远离这两辆周车的方向修正,从而得到更可靠的预测结果。
在本实施例中还提供了一种轨迹预测模型的训练装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
本实施例提供一种轨迹预测模型的训练装置,如图8所示,包括:获取模块1、修正模块2、确定模块3、训练模块4;利用获取模块1获取轨迹样本数据和获取所述目标车辆的车辆轨迹预测模型以及各个所述周车的轨迹修正模型2,通过修正模块2将所述周车的轨迹样本数据输入对应的所述周车的轨迹预测模型中,以生成与所述周车对应的轨迹修正序列。确定模块3根据所述轨迹修正序列确定各个所述轨迹修正模型对应的权重,输出对应权重值。训练模块4,用于利用所述权重将所述车辆轨迹预测模型以及所述周车的轨迹预测模型进行级联,以得到所述轨迹预测模型。通过轨迹预测模型的训练装置,保证了轨迹预测的准确性,利用模块与模块之间的连接方式,简化复杂的预测过程,有利于提升预测的准确率。
本实施例中的一种轨迹预测模型的训练装置是以功能单元的形式来呈现,这里的单元是指ASIC电路,执行一个或多个软件或固定程序的处理器和存储器,和/或其他可以提供上述功能的器件。
上述各个模块的更进一步的功能描述与上述对应实施例相同,在此不再赘述。
图9所示的一种电子设备。
请参阅图9,图9是本发明可选实施例提供的一种电子设备的示意图,如图9所示,一种电子设备可以包括:至少一个处理器91,例如CPU(Central Processing Unit,中央处理器),至少一个通信接口93,存储器94,至少一个通信总线92。其中,通信总线52用于实现这些组件之间的连接通信。其中,通信接口93可以包括显示屏(Display)、键盘(Keyboard),可选通信接口93还可以包括标准的有线接口、无线接口。存储器94可以是高速RAM存储器(Random Access Memory,易挥发性随机存取存储器),也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器94可选的还可以是至少一个位于远离前述处理器91的存储装置。其中处理器91可以结合图4所描述的装置,存储器94中存储应用程序,且处理器91调用存储器54中存储的程序代码,以用于执行上述任一方法步骤。
其中,通信总线92可以是外设部件互连标准(peripheral componentinterconnect,简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture,简称EISA)总线等。通信总线52可以分为地址总线、数据总线、控制总线等。为便于表示,图9中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
其中,存储器94可以包括易失性存储器(英文:volatile memory),例如随机存取存储器(英文:random-access memory,缩写:RAM);存储器也可以包括非易失性存储器(英文:non-volatile memory),例如快闪存储器(英文:flash memory),硬盘(英文:hard diskdrive,缩写:HDD)或固态硬盘(英文:solid-state drive,缩写:SSD);存储器604还可以包括上述种类的存储器的组合。
其中,处理器91可以是中央处理器(英文:central processing unit,缩写:CPU),网络处理器(英文:network processor,缩写:NP)或者CPU和NP的组合。
其中,处理器91还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文:application-specific integrated circuit,缩写:ASIC),可编程逻辑器件(英文:programmable logic device,缩写:PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文:complex programmable logic device,缩写:CPLD),现场可编程逻辑门阵列(英文:field-programmable gate array,缩写:FPGA),通用阵列逻辑(英文:generic arraylogic,缩写:GAL)或其任意组合。
可选地,存储器94还用于存储程序指令。处理器91可以调用程序指令,实现如本申请图1-4实施例中所示的一种轨迹预测模型的训练方法。
本发明实施例还提供了一种非暂态计算机存储介质,计算机存储介质存储有计算机可执行指令,该计算机可执行指令可执行上述任意方法实施例中的基于计算单元的验证方法。其中,存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)、随机存储记忆体(Random Access Memory,RAM)、快闪存储器(Flash Memory)、硬盘(Hard DiskDrive,缩写:HDD)或固态硬盘(Solid-State Drive,SSD)等;存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例,但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型,这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (12)

1.一种轨迹预测模型的训练方法,其特征在于,包括:
获取轨迹样本数据;其中,所述轨迹样本数据包括目标车辆的轨迹样本数据以及所述目标车辆的周车轨迹样本数据;
获取所述目标车辆的车辆轨迹预测模型以及各个所述周车的轨迹修正模型;
将所述周车的轨迹样本数据输入对应的所述周车的轨迹预测模型中,生成与所述周车对应的轨迹修正序列;
利用所述目标车辆和周车的轨迹样本数据确定各个所述轨迹修正模型对应的权重;
利用所述权重将所述车辆轨迹预测模型以及所述周车的轨迹预测模型进行级联,以得到所述轨迹预测模型;
训练所述轨迹预测模型,以更新所述轨迹预测模型的参数。
2.根据权利要求1所述的训练方法,其特征在于,将所述周车的轨迹样本数据输入对应的所述周车的轨迹预测模型中,生成与所述周车对应的轨迹修正序列,包括:
利用预测模型对目标车辆和周车进行初步预测;其中,目标车辆预测得到的是目标车辆初步轨迹,周车预测得到的是周车初步轨迹;
通过周车的轨迹修正模型预测出由周车车辆初步轨迹引发的车辆轨迹修正序列。
3.根据权利要求2所述的训练方法,其特征在于,所述预测目标车辆和所述周车的初步轨迹的公式为:
Figure FDA0002302781540000011
其中,X为垂直于车道方向的坐标;Y为沿车道方向的坐标。
4.根据权利要求3所述的训练方法,其特征在于,所述利用所述目标车辆和周车的轨迹样本数据确定各个所述轨迹修正模型对应的权重,包括:
获取加权权重,包括:
确定车辆之间的安全距离;
获取根据车辆之间的安全距离与二者实际的纵向距离的比值,进行归一化后得到的加权权重;
把车辆轨迹修正序列联合加权权重,获得最终预测加权。
5.根据权利要求4所述的训练方法,其特征在于,最终预测加权公式为:
Figure FDA0002302781540000021
其中,wt=[w1,w2,...w6],w为加权权重,
Figure FDA0002302781540000022
ht为车辆轨迹修正序列。
6.根据权利要求5所述的训练方法,其特征在于,安全距离计算公式为:
Figure FDA0002302781540000023
其中,f和l分别表示参与安全距离计算的两辆车在纵向(沿车道方向)领先和落后的车辆,vf和vl为两辆车的纵向速度,L表示两辆车的平均车长,为驾驶员的反应时间,abrake表示刹车时的最大加速度。
7.根据权利要求6所述的训练方法,其特征在于,获取根据车辆之间的安全距离与二者实际的纵向距离的比值,进行归一化后得到的加权权重,其公式为:
Figure FDA0002302781540000024
其中,Di,s为车辆之间的安全距离,Δdi,s为车辆之间实际的纵向距离。
8.根据权利要求7所述的训练方法,其特征在于,训练所述轨迹预测模型,以更新所述轨迹预测模型的参数,包括:
获取训练数据,把训练数据放入不同的轨迹预测模型进行训练;
对比轨迹预测模型的训练结果,统计预测范围内的误差。
9.根据权利要求8所述的训练方法,其特征在于,统计在预测范围内的误差计算公式为:
Figure FDA0002302781540000025
Figure FDA0002302781540000026
其中rmsP表示单一轨迹段在预测范围为P以内的均方根误差,RMSP表示测试集所有轨迹段的平均RMS误差,
Figure FDA0002302781540000031
表示测试集所有轨迹段的标准差。
10.一种轨迹预测模型的训练装置,其特征在于,包括:
获取模块,用于获取轨迹样本数据和获取目标车辆的车辆轨迹预测模型以及各个周车的轨迹修正模型;
修正模块,用于将所述周车的轨迹样本数据输入对应的所述周车的轨迹预测模型中,以生成与所述周车对应的轨迹修正序列;
确定模块,用于根据所述轨迹修正序列确定各个所述轨迹修正模型对应的权重;
训练模块,用于利用所述权重将所述车辆轨迹预测模型以及所述周车的轨迹预测模型进行级联,以得到所述轨迹预测模型。
11.一种电子设备,其特征在于,包括:
存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行实现所述权利要求1-9中任意一项轨迹预测模型的训练方法。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使所述计算机执行所述权利要求1-9中任意一项轨迹预测模型的训练方法。
CN201911228065.0A 2019-12-04 2019-12-04 一种轨迹预测模型的训练方法、装置和设备 Active CN111009153B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911228065.0A CN111009153B (zh) 2019-12-04 2019-12-04 一种轨迹预测模型的训练方法、装置和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911228065.0A CN111009153B (zh) 2019-12-04 2019-12-04 一种轨迹预测模型的训练方法、装置和设备

Publications (2)

Publication Number Publication Date
CN111009153A true CN111009153A (zh) 2020-04-14
CN111009153B CN111009153B (zh) 2021-10-15

Family

ID=70115549

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911228065.0A Active CN111009153B (zh) 2019-12-04 2019-12-04 一种轨迹预测模型的训练方法、装置和设备

Country Status (1)

Country Link
CN (1) CN111009153B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112541708A (zh) * 2020-12-25 2021-03-23 北京百度网讯科技有限公司 一种指标确定方法、装置及电子设备
CN112633518A (zh) * 2021-01-25 2021-04-09 国汽智控(北京)科技有限公司 基于多主体互学习的自动驾驶模型训练方法及系统
CN112766310A (zh) * 2020-12-30 2021-05-07 际络科技(上海)有限公司 一种节油换道决策方法和系统
CN113506065A (zh) * 2021-07-23 2021-10-15 拉扎斯网络科技(上海)有限公司 配送轨迹修正方法及装置
CN113665574A (zh) * 2021-10-22 2021-11-19 清华大学 智能汽车换道时长预测及拟人化轨迹规划方法
CN114387786A (zh) * 2022-01-26 2022-04-22 青岛海信网络科技股份有限公司 一种路口车辆运行状态预测方法及装置
CN114506344A (zh) * 2022-03-10 2022-05-17 福瑞泰克智能系统有限公司 一种车辆轨迹的确定方法及装置
CN114543800A (zh) * 2020-11-18 2022-05-27 蘑菇车联信息科技有限公司 一种用于车辆移动轨迹估计的处理方法及相关装置
CN114610020A (zh) * 2022-01-28 2022-06-10 广州文远知行科技有限公司 障碍物运动轨迹的预测方法、装置、设备及存储介质
CN114724083A (zh) * 2022-04-07 2022-07-08 清华大学 轨迹预测系统训练、轨迹预测方法、装置、系统
CN114758502A (zh) * 2022-04-29 2022-07-15 北京百度网讯科技有限公司 双车联合轨迹预测方法及装置、电子设备和自动驾驶车辆
CN115148049A (zh) * 2021-03-29 2022-10-04 本田技研工业株式会社 轨道生成装置及轨道生成方法
WO2023083347A1 (zh) * 2021-11-15 2023-05-19 清华大学 预测型智能汽车决策控制方法、装置、车辆及存储介质
CN116777947A (zh) * 2023-06-21 2023-09-19 上海汉朔信息科技有限公司 一种用户轨迹识别预测方法、装置及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011118485A (ja) * 2009-11-30 2011-06-16 Fujitsu Ten Ltd 方向転換支援装置及び方法
US20130261947A1 (en) * 2012-04-03 2013-10-03 Denso Corporation Driving assistance device
CN106408981A (zh) * 2016-10-21 2017-02-15 江苏大学 一种基于车辆信息共享的无人驾驶车信息优化系统和方法
CN108475057A (zh) * 2016-12-21 2018-08-31 百度(美国)有限责任公司 基于车辆周围的情境预测车辆的一个或多个轨迹的方法和系统
CN109727469A (zh) * 2019-01-08 2019-05-07 南京航空航天大学 一种多车道下自动驾驶车辆综合危险度评估方法
CN110020748A (zh) * 2019-03-18 2019-07-16 杭州飞步科技有限公司 轨迹预测方法、装置、设备和存储介质
CN110415266A (zh) * 2019-07-19 2019-11-05 东南大学 一种基于本车周围车辆轨迹预测安全行驶的方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011118485A (ja) * 2009-11-30 2011-06-16 Fujitsu Ten Ltd 方向転換支援装置及び方法
US20130261947A1 (en) * 2012-04-03 2013-10-03 Denso Corporation Driving assistance device
CN106408981A (zh) * 2016-10-21 2017-02-15 江苏大学 一种基于车辆信息共享的无人驾驶车信息优化系统和方法
CN108475057A (zh) * 2016-12-21 2018-08-31 百度(美国)有限责任公司 基于车辆周围的情境预测车辆的一个或多个轨迹的方法和系统
CN109727469A (zh) * 2019-01-08 2019-05-07 南京航空航天大学 一种多车道下自动驾驶车辆综合危险度评估方法
CN110020748A (zh) * 2019-03-18 2019-07-16 杭州飞步科技有限公司 轨迹预测方法、装置、设备和存储介质
CN110415266A (zh) * 2019-07-19 2019-11-05 东南大学 一种基于本车周围车辆轨迹预测安全行驶的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
季学武 等: "基于LSTM网络的驾驶意图识别及车辆轨迹预测", 《中国公路学报》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114543800A (zh) * 2020-11-18 2022-05-27 蘑菇车联信息科技有限公司 一种用于车辆移动轨迹估计的处理方法及相关装置
CN112541708A (zh) * 2020-12-25 2021-03-23 北京百度网讯科技有限公司 一种指标确定方法、装置及电子设备
CN112766310A (zh) * 2020-12-30 2021-05-07 际络科技(上海)有限公司 一种节油换道决策方法和系统
CN112633518A (zh) * 2021-01-25 2021-04-09 国汽智控(北京)科技有限公司 基于多主体互学习的自动驾驶模型训练方法及系统
CN112633518B (zh) * 2021-01-25 2024-03-01 国汽智控(北京)科技有限公司 基于多主体互学习的自动驾驶模型训练方法及系统
CN115148049A (zh) * 2021-03-29 2022-10-04 本田技研工业株式会社 轨道生成装置及轨道生成方法
CN115148049B (zh) * 2021-03-29 2023-08-22 本田技研工业株式会社 轨道生成装置及轨道生成方法
CN113506065A (zh) * 2021-07-23 2021-10-15 拉扎斯网络科技(上海)有限公司 配送轨迹修正方法及装置
CN113665574A (zh) * 2021-10-22 2021-11-19 清华大学 智能汽车换道时长预测及拟人化轨迹规划方法
WO2023083347A1 (zh) * 2021-11-15 2023-05-19 清华大学 预测型智能汽车决策控制方法、装置、车辆及存储介质
CN114387786A (zh) * 2022-01-26 2022-04-22 青岛海信网络科技股份有限公司 一种路口车辆运行状态预测方法及装置
CN114610020A (zh) * 2022-01-28 2022-06-10 广州文远知行科技有限公司 障碍物运动轨迹的预测方法、装置、设备及存储介质
CN114506344A (zh) * 2022-03-10 2022-05-17 福瑞泰克智能系统有限公司 一种车辆轨迹的确定方法及装置
CN114506344B (zh) * 2022-03-10 2024-03-08 福瑞泰克智能系统有限公司 一种车辆轨迹的确定方法及装置
CN114724083A (zh) * 2022-04-07 2022-07-08 清华大学 轨迹预测系统训练、轨迹预测方法、装置、系统
CN114758502A (zh) * 2022-04-29 2022-07-15 北京百度网讯科技有限公司 双车联合轨迹预测方法及装置、电子设备和自动驾驶车辆
CN114758502B (zh) * 2022-04-29 2023-08-18 北京百度网讯科技有限公司 双车联合轨迹预测方法及装置、电子设备和自动驾驶车辆
CN116777947A (zh) * 2023-06-21 2023-09-19 上海汉朔信息科技有限公司 一种用户轨迹识别预测方法、装置及电子设备
CN116777947B (zh) * 2023-06-21 2024-02-13 上海汉朔信息科技有限公司 一种用户轨迹识别预测方法、装置及电子设备

Also Published As

Publication number Publication date
CN111009153B (zh) 2021-10-15

Similar Documents

Publication Publication Date Title
CN111009153B (zh) 一种轨迹预测模型的训练方法、装置和设备
EP3789920A1 (en) Performance testing for robotic systems
KR102296507B1 (ko) 트래킹 네트워크를 포함한 cnn을 사용하여 객체를 트래킹하는 방법 및 이를 이용한 장치
EP4152204A1 (en) Lane line detection method, and related apparatus
CN111508101B (zh) 通过检测驾驶场景来评估驾驶员的驾驶习惯的方法和装置
CN111091739B (zh) 自动驾驶场景的生成方法、装置和存储介质
CN111144330B (zh) 一种基于深度学习的车道线检测方法、装置以及设备
US11810460B2 (en) Automatic generation of pedestrians in virtual simulation of roadway intersections
US20200384989A1 (en) Method for the improved detection of objects by a driver assistance system
CN113935143A (zh) 通过自主车辆的增加的严重性等级估计碰撞概率
CN113942526A (zh) 一种基于可接受风险的自动驾驶超车轨迹规划方法
CN115900742A (zh) 车辆的参考轨迹规划方法、装置、电子设备及存储介质
CN112462759B (zh) 规控算法的评估方法、系统及计算机存储介质
CN111460879B (zh) 利用网格生成器的神经网络运算方法及使用该方法的装置
WO2021134357A1 (zh) 感知信息处理方法、装置、计算机设备和存储介质
CN113885496B (zh) 智能驾驶仿真传感器模型及智能驾驶仿真方法
CN113119999B (zh) 自动驾驶特征的确定方法、装置、设备、介质及程序产品
CN114889608A (zh) 一种基于注意力机制的车辆换道预测方法
CN114694449B (zh) 一种生成车辆交通场景的方法和装置、训练方法和装置
CN112229412B (zh) 一种车道定位方法、装置及存储介质和服务器
CN114638103A (zh) 自动驾驶联合仿真方法、装置、计算机设备及存储介质
EP3846073A1 (en) Systems and methods for providing a representation of lanes on a roadway
CN115236997A (zh) 预测控制方法、装置、设备及计算机可读存储介质
CN114104005B (zh) 自动驾驶设备的决策方法、装置、设备及可读存储介质
CN111460878B (zh) 利用网格生成器的神经网络运算方法及使用该方法的装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant