CN114872727A - 一种应用于自动驾驶车辆的周围车辆轨迹预测方法 - Google Patents
一种应用于自动驾驶车辆的周围车辆轨迹预测方法 Download PDFInfo
- Publication number
- CN114872727A CN114872727A CN202210377026.2A CN202210377026A CN114872727A CN 114872727 A CN114872727 A CN 114872727A CN 202210377026 A CN202210377026 A CN 202210377026A CN 114872727 A CN114872727 A CN 114872727A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- state
- action
- return
- probability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/095—Predicting travel path or likelihood of collision
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/095—Predicting travel path or likelihood of collision
- B60W30/0953—Predicting travel path or likelihood of collision the prediction being responsive to vehicle dynamic parameters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/095—Predicting travel path or likelihood of collision
- B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
- B60W30/18—Propelling the vehicle
- B60W30/18009—Propelling the vehicle related to particular drive situations
- B60W30/18163—Lane change; Overtaking manoeuvres
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/04—Traffic conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
- B60W40/105—Speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
- B60W40/107—Longitudinal acceleration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
- B60W40/109—Lateral acceleration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/0097—Predicting future conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
- B60W60/00272—Planning or execution of driving tasks using trajectory prediction for other traffic participants relying on extrapolation of current movement
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0019—Control system elements or transfer functions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0019—Control system elements or transfer functions
- B60W2050/0028—Mathematical models, e.g. for simulation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/10—Longitudinal speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/10—Longitudinal speed
- B60W2520/105—Longitudinal acceleration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/12—Lateral speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/12—Lateral speed
- B60W2520/125—Lateral acceleration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/404—Characteristics
- B60W2554/4041—Position
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/404—Characteristics
- B60W2554/4045—Intention, e.g. lane change or imminent movement
Abstract
本发明涉及车辆安全技术领域,尤其涉及一种应用于自动驾驶车辆的周围车辆轨迹预测方法,步骤包括:基于马尔可夫决策对周围车辆驾驶意图进行识别;在意图识别基础上,基于POMDP部分可观测马尔科夫决策模型对周围车辆轨迹进行预测。本发明通过提出一种基于部分可观测马尔科夫决策过程的周围车辆轨迹预测方法,将车辆轨迹数据作为基于POMDP的周围车辆轨迹预测模型的输入,并结合基于MDP马尔可夫决策的周围车辆驾驶意图识别模型输出的车辆驾驶意图累积回报,通过POMDP部分可观测马尔科夫决策过程来预测车辆的未来轨迹,进而具备分析交通参与者的行为,并预测交通参与者的轨迹,从而使自动驾驶汽车能够合理地规划自车的运动轨迹,降低交通事故的发生率。
Description
技术领域
本发明涉及车辆安全技术领域,尤其涉及一种应用于自动驾驶车辆的周围车辆轨迹预测方法。
背景技术
在复杂交通中的自动驾驶汽车需要考虑自动驾驶汽车和周围的人和车的安全,以及在不造成交通堵塞的情况下高效行驶。自动驾驶汽车在换道场景下最容易发生交通事故的情况是行驶过程中的换道行为,这是由于其他交通参与者的行为是不确定的,这会给自动驾驶汽车带来潜在的碰撞风险。
为了避免碰撞风险带来的危害,自动驾驶汽车应该具备分析交通参与者的行为,并预测交通参与者的轨迹,从而使自动驾驶汽车能够合理地规划自车的运动轨迹,降低交通事故的发生率。
发明内容
本发明的目的是提供一种应用于自动驾驶车辆的周围车辆轨迹预测方法,用于分析交通参与者的行为,并预测交通参与者的轨迹,从而使自动驾驶汽车能够合理地规划自车的运动轨迹,降低交通事故的发生率。
为了实现上述目的,本发明采用了如下技术方案:
一种应用于自动驾驶车辆的周围车辆轨迹预测方法,包括以下步骤:
S1.基于MDP对周围车辆驾驶意图进行识别;
S2.基于POMDP对周围车辆轨迹进行预测;
且,S2包括以下步骤:
S21.确定POMDP模型的动作参数;
S22.确定POMDP模型的状态转移矩阵;
S23.确定POMDP模型的回报函数;
S24.确定POMDP模型的观测;
S25.计算POMDP模型的信念状态;
S26.POMDP模型计算。
进一步地,其中,S1中,对周围车辆的驾驶意图识别时,通过车载传感器来获取周围车辆的运动状态信息,周围车辆的运动状态信息是随时间连续变化;
驾驶意图识别模型被定义为一个多元组:
(S,A,P,R,γ)
其中,S代表一组有限的离散状态,s∈S,si表示自动驾驶汽车第i步的状态;A代表一组离散的动作,a∈A,ai表示自动驾驶汽车第i步的动作;P表示状态转移矩阵,是状态之间的转移概率,即Pa(s′|s)=P(s′|s,a),表示在时间t状态s采取动作a可以在时间t+1转换到状态s′的概率;R是回报函数,如果智能体处于状态s,采取动作a,转移到下一个状态s′时,回报函数可记为r(s′|s,a);γ∈[0,1]是折扣因子,用来计算累积回报,决定最近收益和未来收益哪个对智能体的影响最大。
进一步地,其中,基于POMDP对周围车辆轨迹进行预测的车辆轨迹预测模型被定义为一个七元组:
(S,A,T,R,Z,Ο,γ)
其中,S代表一组有限的离散状态,s∈S,si表示第i步的状态;A代表一组离散的动作,a∈A,ai表示第i步的动作;T表示状态转移矩阵,是状态之间的条件转移概率,即T(s,a,s')=P(st+1=s'|st=s,at=a),表示在时间t时处于状态s采取动作a可以在时间t+1转换到状态s’的概率;R是回报函数,如果智能体处于状态s,采取动作a,转移到下一个状态s’时,回报函数可记为R(s'|s,a);Z是一组观察,用以提供不确定环境的信息;Ο表示一组条件观察概率,智能体由一个状态执行某个动作得到的观察的概率,即Ο(s',a,o')=P(ot+1=o'|at=a,st+1=s'),表示在时间t时处于状态s采取动作a到达状态s'观察到o'的概率;γ∈[0,1]是折扣因子,用来计算累积回报,决定最近收益和未来收益哪个对智能体的影响最大。
进一步地,其中,S21包括:
将车辆横向速度作为POMDP模型中的动作参数;
确定一定速度范围区间内的横向速度作为一个动作,车辆的横向速度单位为m/s,将POMDP模型的动作分为五个动作。
进一步地,其中,S22包括:
当有N个车道时,有5N个动作;
用Ta(s'|s)=T(s'|s,a)表示在时间t状态s采取动作a可以在时间t+1转换到状态s’的概率,即可确定POMDP模型的状态转移矩。
进一步地,其中,S23包括:
回报函数r(s'|s,a)是车辆处于状态s,执行动作a,转移到下一个状态s’时的立即回报;
回报函数设计如下:
rsum=rcra+rlc+racc (4)
其中,rsum为总回报,rcra为存在碰撞风险的惩罚函数,rlc为前方车辆行车过慢而换道的奖励函数,racc为舒适度回报函数;rcrash为被预测车辆发生碰撞的回报值;式(5)为被预测车辆发生碰撞的回报值的计算公式;TTC为预测轨迹的车辆在执行某一动作变到下一个状态的情况下,与下一个状态下每辆车的碰撞时间,yother为下一个状态下其余车辆的纵坐标,yself为预测轨迹的车辆的纵坐标,vself为被预测轨迹的车辆的纵向速度,vother为下一个状态下其余车辆的纵向速度;rlanechange为前车速度过慢而导致的换道行为的奖励值;式(9)为舒适度回报函数的计算公式,E(acc)为被预测车辆的未来轨迹的加速度的期望。
进一步地,其中,S24包括:
观察结果集Z表示观测的环境信息,即自动驾驶汽车观测的周围车辆的信息,表示为:
Z=(z1,z2,...,zk) (10)
其中zk表示自动驾驶汽车观测到周围的第k辆车的状态信息,通过车载传感器可以获取周围车辆的状态信息,即:
其中xs表示第k辆车的x坐标,vx表示第k辆车的x方向的速度,ax表示第k辆车的x方向的加速度,ys表示第k辆车的y坐标,vy表示第k辆车的y方向的速度,ay表示第k辆车的y方向的加速度,通过传感器获得的车辆状态信息即可求出第k辆车在Δt时间内位置,即:
其中,观测结果z是实时变化的,故观测概率Ο(s',a,z)=P(z|s',a)不能明确给出,但是在一个新的状态下,观测结果z是能够明确得到的。
进一步地,其中,S25包括:
信念状态b表示车辆所处状态的可信度,即车辆所处状态的概率;车辆的状态无法直接通过传感器获得,需要通过观测结果来求得车辆可能所处的状态,即更新信念状态b。
进一步地,其中,S26包括:
基于POMDP的周围车辆轨迹预测模型使用字母G来表示总回报,定义为:
G=b·T(s'|s,a)rsum(s'|s,a) (17)
其中b为信念状态,表示车辆所处状态的概率,T(s’|s,a)表示车辆从状态s,执行动作a转移到状态s’的概率,rsum(s’|s,a)表示车辆从状态s,执行动作a转移到状态s’的回报函数。
本发明至少具备以下有益效果:
本发明通过提出一种基于部分可观测马尔科夫决策过程的周围车辆轨迹预测方法,将车辆轨迹数据作为基于POMDP部分可观测马尔科夫决策过程的周围车辆轨迹预测模型的输入,并结合基于MDP马尔可夫决策的周围车辆驾驶意图识别模型输出的车辆驾驶意图累积回报,通过部分可观测马尔科夫决策过程来预测车辆的未来轨迹,虎进而具备分析交通参与者的行为,并预测交通参与者的轨迹,从而使自动驾驶汽车能够合理地规划自车的运动轨迹,降低交通事故的发生率。
附图说明
为了更清楚地说明本发明实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明方法的示意图;
图2为三车道换道场景图;
图3为轨迹预测场景图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
轨迹预测方法主框架:
对周围车辆的轨迹预测能有效增加自动驾驶汽车的反应时间并避免可能发生的碰撞和生成稳定舒适的轨迹。环境不确定性来自于传感器数据噪声和无法直接测量的驾驶员意图,环境不确定性也会造成周围车辆状态的不可观测性。
本方法使用部分可观测马尔科夫决策过程来预测周围车辆的轨迹。搭建基于部分可观测马尔科夫决策过程的周围车辆轨迹预测模型,模型使用从数据集中提取的车辆轨迹数据和MDP车辆驾驶意图作为轨迹预测模型的输入,再使用计算置信状态来体现车辆所处状态的概率,代入轨迹预测模型来预测周围车辆的未来轨迹。车辆轨迹预测模型如图1所示。为确定模型中的关键参数,如状态参数、动作参数、状态转移矩阵、回报函数,使用NGSSIM、Mirror-Traffic等公开数据集中提取车辆轨迹特征数据,建立多组观测数据训练模型参数。
1.基于马尔可夫决策的周围车辆驾驶意图识别
对周围车辆的驾驶意图识别时,通过车载传感器来获取周围车辆的运动状态信息,周围车辆的运动状态信息是随时间连续变化。MDP驾驶意图识别模型可以被定义为一个多元组,如式(1)所示。
(S,A,P,R,γ) (1)
其中:S代表一组有限的离散状态,s∈S,si表示自动驾驶汽车第i步的状态;A代表一组离散的动作,a∈A,ai表示自动驾驶汽车第i步的动作;P表示状态转移矩阵,是状态之间的转移概率,即Pa(s′|s)=P(s′|s,a),表示在时间t状态s采取动作a可以在时间t+1转换到状态s′的概率;R是回报函数,如果智能体处于状态s,采取动作a,转移到下一个状态s′时,回报函数可记为r(s′|s,a);γ∈[0,1]是折扣因子,用来计算累积回报,决定最近收益和未来收益哪个对智能体的影响最大。
2.基于POMDP的周围车辆轨迹预测
基于POMDP的车辆轨迹预测模型可以被定义为一个七元组,如式2所示。
(S,A,T,R,Z,Ο,γ) (2)
其中,S代表一组有限的离散状态,s∈S,si表示第i步的状态;A代表一组离散的动作,a∈A,ai表示第i步的动作;T表示状态转移矩阵,是状态之间的条件转移概率,即T(s,a,s')=P(st+1=s'|st=s,at=a),表示在时间t时处于状态s采取动作a可以在时间t+1转换到状态s’的概率;R是回报函数,如果智能体处于状态s,采取动作a,转移到下一个状态s’时,回报函数可记为R(s'|s,a);Z是一组观察,用以提供不确定环境的信息;Ο表示一组条件观察概率,智能体由一个状态执行某个动作得到的观察的概率,即Ο(s',a,o')=P(ot+1=o'|at=a,st+1=s'),表示在时间t时处于状态s采取动作a到达状态s'观察到o'的概率;γ∈[0,1]是折扣因子,用来计算累积回报,决定最近收益和未来收益哪个对智能体的影响最大。
2.1确定POMDP模型的动作参数
将车辆横向速度作为POMDP模型中的动作参数。确定一定速度范围区间内的横向速度作为一个动作,车辆的横向速度单位为m/s,将POMDP模型的动作分为五个动作。
2.2确定POMDP模型的状态转移矩阵
以图2所示的三车道换道场景为例,POMDP模型有三个状态,五个动作,且Ta(s'|s)=T(s'|s,a),表示在时间t状态s采取动作a可以在时间t+1转换到状态s’的概率,所以状态转移矩阵T一个十五行三列的矩阵,即:
2.3确定POMDP模型的回报函数
回报函数r(s'|s,a)是车辆处于状态s,执行动作a,转移到下一个状态s’时的立即回报。回报函数设计优先考虑安全性,其次考虑车辆速度、舒适性,同时考虑交通规则。具体回报函数设计如下:
rsum=rcra+rlc+racc (4)
其中,rsum为总回报,rcra为存在碰撞风险的惩罚函数,rlc为前方车辆行车过慢而换道的奖励函数,racc为舒适度回报函数;rcrash为被预测车辆发生碰撞的回报值;式(5)为被预测车辆发生碰撞的回报值的计算公式;TTC为预测轨迹的车辆在执行某一动作变到下一个状态的情况下,与下一个状态下每辆车的碰撞时间,yother为下一个状态下其余车辆的纵坐标,yself为预测轨迹的车辆的纵坐标,vself为被预测轨迹的车辆的纵向速度,vother为下一个状态下其余车辆的纵向速度;rlanechange为前车速度过慢而导致的换道行为的奖励值;式(9)为舒适度回报函数的计算公式,E(acc)为被预测车辆的未来轨迹的加速度的期望。
2.4确定POMDP模型的观测
观察结果集Z表示观测的环境信息,即自动驾驶汽车观测的周围车辆的信息,表示为:
Z=(z1,z2,...,zk) (10)
其中zk表示自动驾驶汽车观测到周围的第k辆车的状态信息,通过车载传感器可以获取周围车辆的状态信息,即
其中xs表示第k辆车的x坐标,vx表示第k辆车的x方向的速度,ax表示第k辆车的x方向的加速度,ys表示第k辆车的y坐标,vy表示第k辆车的y方向的速度,ay表示第k辆车的y方向的加速度,通过传感器获得的车辆状态信息即可求出第k辆车在Δt时间内位置,即:
由于观测结果z是实时变化的,则观测概率Ο(s',a,z)=P(z|s',a)不能明确给出的,但是在一个新的状态下,观测结果z是能够明确得到的。
2.5计算POMDP模型的信念状态
信念状态b表示车辆所处状态的可信度,即车辆所处状态的概率。车辆的状态无法直接通过传感器获得,需要通过观测结果来求得车辆可能所处的状态,即更新信念状态b。以图2所示的三车道为例,图2中蓝色轨迹代表车辆的三种状态,红色轨迹是使用观测结果z,由式(12)以0.1s为间隔计算出2s内车辆的轨迹,ds1、ds2、ds3分别为车辆在Δt时刻到状态s1、s2、s3的距离。
由式(13)求出n(ds1)、n(ds2)和n(ds3)。
3.POMDP模型计算
基于POMDP的周围车辆轨迹预测模型使用字母G来表示总回报,定义为:
G=b·T(s'|s,a)rsum(s'|s,a) (17)
其中b为信念状态,表示车辆所处状态的概率,T(s’|s,a)表示车辆从状态s,执行动作a转移到状态s’的概率,rsum(s’|s,a)表示车辆从状态s,执行动作a转移到状态s’的回报函数。
图3为三车道场景预测车辆轨迹的所有情况。由于道路结构的限制,车辆处于车道1时只有s2、s3两种状态,车辆处于车道3时只有s1、s2两种状态,所以在预测车辆轨迹时需要考虑道路结构的限制条件。
(1)车辆处于车道1时,车辆存在s2、s3两种状态,此时车辆的总回报可表示为:
G(s2)=b·T(s2|s,a)rsum(s2|s,a)
=b(s2)·T(s2|s2,a)rsum(s2|s2,a)
+b(s3)·T(s2|s3,a)rsum(s2|s3,a) (18)
G(s3)=b·T(s3|s,a)rsum(s3|s,a)
=b(s2)·T(s3|s2,a)rsum(s3|s2,a)
+b(s3)·T(s3|s3,a)rsum(s3|s3,a) (19)
通过判断此时车辆的总回报来预测车辆的轨迹:
(2)车辆处于车道2时,车辆存在s1、s2、s3三种状态,此时车辆的总回报可表示为:
G(s1)=b·T(s1|s,a)rsum(s1|s,a)
=b(s1)·T(s1|s1,a)rsum(s1|s1,a)
+b(s2)·T(s1|s2,a)rsum(s1|s2,a)
+b(s3)·T(s1|s3,a)rsum(s1|s3,a) (21)
G(s2)=b·T(s2|s,a)rsum(s2|s,a)
=b(s1)·T(s2|s1,a)rsum(s2|s1,a)
+b(s2)·T(s2|s2,a)rsum(s2|s2,a)
+b(s3)·T(s2|s3,a)rsum(s2|s3,a) (22)
G(s3)=b·T(s3|s,a)rsum(s3|s,a)
=b(s1)·T(s3|s1,a)rsum(s3|s1,a)
+b(s2)·T(s3|s2,a)rsum(s3|s2,a)
+b(s3)·T(s3|s3,a)rsum(s3|s3,a) (23)
通过判断此时车辆的总回报来预测车辆的轨迹:
(3)车辆处于车道3时,车辆存在s1、s2两种状态,此时车辆的总回报可表示为:
G(s1)=b·T(s1|s,a)rsum(s1|s,a)
=b(s1)·T(s1|s1,a)rsum(s1|s1,a)
+b(s2)·T(s1|s2,a)rsum(s1|s2,a) (25)
G(s2)=b·T(s2|s,a)rsum(s2|s,a)
=b(s1)·T(s2|s1,a)rsum(s2|s1,a)
+b(s2)·T(s2|s2,a)rsum(s2|s2,a) (26)
通过判断此时车辆的总回报来预测车辆的轨迹:
综合上述:
本发明对周围车辆的轨迹预测能有效增加自动驾驶汽车的反应时间并避免可能发生的碰撞和生成稳定舒适的轨迹。环境不确定性来自于传感器数据噪声和无法直接测量的驾驶员意图,环境不确定性也会造成周围车辆状态的不可观测性。本方法使用部分可观测马尔科夫决策过程来预测周围车辆的轨迹。搭建基于部分可观测马尔科夫决策过程的周围车辆轨迹预测模型,模型使用从数据集中提取的车辆轨迹数据和MDP车辆驾驶意图作为轨迹预测模型的输入,再使用计算置信状态来体现车辆所处状态的概率,代入轨迹预测模型来预测周围车辆的未来轨迹。车辆轨迹预测模型如图所示。为确定模型中的关键参数,如状态参数、动作参数、状态转移矩阵、回报函数,使用NGSSIM、Mirror-Traffic等公开数据集中提取车辆轨迹特征数据,建立多组观测数据训练模型参数。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是本发明的原理,在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。
Claims (9)
1.一种应用于自动驾驶车辆的周围车辆轨迹预测方法,其特征在于,包括以下步骤:
S1.基于MDP马尔可夫决策对周围车辆驾驶意图进行识别;
S2.基于POMDP部分可观测马尔科夫决策对周围车辆轨迹进行预测;
且,S2包括以下步骤:
S21.确定POMDP模型的动作参数;
S22.确定POMDP模型的状态转移矩阵;
S23.确定POMDP模型的回报函数;
S24.确定POMDP模型的观测;
S25.计算POMDP模型的信念状态;
S26.POMDP模型计算。
2.根据权利要求1所述的一种应用于自动驾驶车辆的周围车辆轨迹预测方法,其特征在于,其中,S1中,对周围车辆的驾驶意图识别时,通过车载传感器来获取周围车辆的运动状态信息,周围车辆的运动状态信息是随时间连续变化;
驾驶意图识别模型被定义为一个多元组:
(S,A,P,R,γ)
其中,S代表一组有限的离散状态,s∈S,si表示自动驾驶汽车第i步的状态;A代表一组离散的动作,a∈A,ai表示自动驾驶汽车第i步的动作;P表示状态转移矩阵,是状态之间的转移概率,即Pa(s′|s)=P(s′|s,a),表示在时间t状态s采取动作a可以在时间t+1转换到状态s′的概率;R是回报函数,如果智能体处于状态s,采取动作a,转移到下一个状态s′时,回报函数可记为r(s′|s,a);γ∈[0,1]是折扣因子,用来计算累积回报,决定最近收益和未来收益哪个对智能体的影响最大。
3.根据权利要求1所述的一种应用于自动驾驶车辆的周围车辆轨迹预测方法,其特征在于,其中,基于POMDP对周围车辆轨迹进行预测的车辆轨迹预测模型被定义为一个七元组:
(S,A,T,R,Z,Ο,γ)
其中,S代表一组有限的离散状态,s∈S,si表示第i步的状态;A代表一组离散的动作,a∈A,ai表示第i步的动作;T表示状态转移矩阵,是状态之间的条件转移概率,即T(s,a,s')=P(st+1=s'|st=s,at=a),表示在时间t时处于状态s采取动作a可以在时间t+1转换到状态s’的概率;R是回报函数,如果智能体处于状态s,采取动作a,转移到下一个状态s’时,回报函数可记为R(s'|s,a);Z是一组观察,用以提供不确定环境的信息;Ο表示一组条件观察概率,智能体由一个状态执行某个动作得到的观察的概率,即Ο(s',a,o')=P(ot+1=o'|at=a,st+1=s'),表示在时间t时处于状态s采取动作a到达状态s'观察到o'的概率;γ∈[0,1]是折扣因子,用来计算累积回报,决定最近收益和未来收益哪个对智能体的影响最大。
4.根据权利要求1所述的一种应用于自动驾驶车辆的周围车辆轨迹预测方法,其特征在于,其中,S21包括:
将车辆横向速度作为POMDP模型中的动作参数;
确定一定速度范围区间内的横向速度作为一个动作,车辆的横向速度单位为m/s,将POMDP模型的动作分为五个动作。
5.根据权利要求1所述的一种应用于自动驾驶车辆的周围车辆轨迹预测方法,其特征在于,其中,S22包括:
当有N个车道时,有5N个动作;
用Ta(s'|s)=T(s'|s,a)表示在时间t状态s采取动作a可以在时间t+1转换到状态s’的概率,即可确定POMDP模型的状态转移矩。
6.根据权利要求1所述的一种应用于自动驾驶车辆的周围车辆轨迹预测方法,其特征在于,其中,S23包括:
回报函数r(s'|s,a)是车辆处于状态s,执行动作a,转移到下一个状态s’时的立即回报;
回报函数设计如下:
rsum=rcra+rlc+racc (4)
其中,rsum为总回报,rcra为存在碰撞风险的惩罚函数,rlc为前方车辆行车过慢而换道的奖励函数,racc为舒适度回报函数;rcrash为被预测车辆发生碰撞的回报值;式(5)为被预测车辆发生碰撞的回报值的计算公式;TTC为预测轨迹的车辆在执行某一动作变到下一个状态的情况下,与下一个状态下每辆车的碰撞时间,yother为下一个状态下其余车辆的纵坐标,yself为预测轨迹的车辆的纵坐标,vself为被预测轨迹的车辆的纵向速度,vother为下一个状态下其余车辆的纵向速度;rlanechange为前车速度过慢而导致的换道行为的奖励值;式(9)为舒适度回报函数的计算公式,E(acc)为被预测车辆的未来轨迹的加速度的期望。
7.根据权利要求1所述的一种应用于自动驾驶车辆的周围车辆轨迹预测方法,其特征在于,其中,S24包括:
观察结果集Z表示观测的环境信息,即自动驾驶汽车观测的周围车辆的信息,表示为:
Z=(z1,z2,...,zk) (10)
其中zk表示自动驾驶汽车观测到周围的第k辆车的状态信息,通过车载传感器可以获取周围车辆的状态信息,即:
其中xs表示第k辆车的x坐标,vx表示第k辆车的x方向的速度,ax表示第k辆车的x方向的加速度,ys表示第k辆车的y坐标,vy表示第k辆车的y方向的速度,ay表示第k辆车的y方向的加速度,通过传感器获得的车辆状态信息即可求出第k辆车在Δt时间内位置,即:
其中,观测结果z是实时变化的,故观测概率Ο(s',a,z)=P(z|s',a)不能明确给出,但是在一个新的状态下,观测结果z是能够明确得到的。
8.根据权利要求1所述的一种应用于自动驾驶车辆的周围车辆轨迹预测方法,其特征在于,其中,S25包括:
信念状态b表示车辆所处状态的可信度,即车辆所处状态的概率;车辆的状态无法直接通过传感器获得,需要通过观测结果来求得车辆可能所处的状态,即更新信念状态b。
9.根据权利要求1所述的一种应用于自动驾驶车辆的周围车辆轨迹预测方法,其特征在于,其中,S26包括:
基于POMDP的周围车辆轨迹预测模型使用字母G来表示总回报,定义为:
G=b·T(s'|s,a)rsum(s'|s,a) (17)
其中b为信念状态,表示车辆所处状态的概率,T(s’|s,a)表示车辆从状态s,执行动作a转移到状态s’的概率,rsum(s’|s,a)表示车辆从状态s,执行动作a转移到状态s’的回报函数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210377026.2A CN114872727A (zh) | 2022-04-11 | 2022-04-11 | 一种应用于自动驾驶车辆的周围车辆轨迹预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210377026.2A CN114872727A (zh) | 2022-04-11 | 2022-04-11 | 一种应用于自动驾驶车辆的周围车辆轨迹预测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114872727A true CN114872727A (zh) | 2022-08-09 |
Family
ID=82668589
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210377026.2A Pending CN114872727A (zh) | 2022-04-11 | 2022-04-11 | 一种应用于自动驾驶车辆的周围车辆轨迹预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114872727A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116215569A (zh) * | 2022-12-01 | 2023-06-06 | 东南大学 | 一种基于行车风险评估的自动驾驶汽车规划方法及系统 |
-
2022
- 2022-04-11 CN CN202210377026.2A patent/CN114872727A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116215569A (zh) * | 2022-12-01 | 2023-06-06 | 东南大学 | 一种基于行车风险评估的自动驾驶汽车规划方法及系统 |
CN116215569B (zh) * | 2022-12-01 | 2024-01-19 | 东南大学 | 一种基于行车风险评估的自动驾驶汽车规划方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111104969B (zh) | 一种无人驾驶车辆与周边车辆的碰撞可能性预判方法 | |
Moujahid et al. | Machine learning techniques in ADAS: A review | |
Xue et al. | Rapid driving style recognition in car-following using machine learning and vehicle trajectory data | |
WO2019079807A1 (en) | METHOD AND SYSTEM FOR VEHICULAR COMMUNICATIONS | |
CN110077398B (zh) | 一种用于智能驾驶的危险处理方法 | |
Kumagai et al. | Prediction of driving behavior through probabilistic inference | |
CN112053589B (zh) | 一种目标车辆换道行为自适应识别模型构建方法 | |
Li et al. | Driving style classification based on driving operational pictures | |
CN111439261B (zh) | 一种用于智能车群主动换道功能的车流量计算系统 | |
CN112249008B (zh) | 针对复杂动态环境的无人驾驶汽车预警方法 | |
CN112116100B (zh) | 一种考虑驾驶员类型的博弈论决策方法 | |
CN110843789A (zh) | 一种基于时序卷积网络的车辆换道意图预测方法 | |
CN112258893B (zh) | 一种基于轨道预测的智能车辆换道碰撞概率评估方法 | |
CN115588310A (zh) | 一种基于轨迹数据的车辆碰撞风险预测方法 | |
Amsalu et al. | Driver intention estimation via discrete hidden Markov model | |
Zhang et al. | Predictive eco-driving application considering real-world traffic flow | |
WO2016107876A1 (en) | Vehicular motion monitoring method | |
Fasanmade et al. | A fuzzy-logic approach to dynamic bayesian severity level classification of driver distraction using image recognition | |
Oh et al. | In-depth understanding of lane changing interactions for in-vehicle driving assistance systems | |
CN114872727A (zh) | 一种应用于自动驾驶车辆的周围车辆轨迹预测方法 | |
Toledo et al. | State dependence in lane-changing models | |
CN114446046A (zh) | 一种基于lstm模型的弱势交通参与者轨迹预测方法 | |
CN113223324A (zh) | 高速匝道入口合流的控制方法 | |
CN113313941B (zh) | 基于记忆网络和编码器-解码器模型的车辆轨迹预测方法 | |
Chen et al. | Platoon separation strategy optimization method based on deep cognition of a driver’s behavior at signalized intersections |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |