CN113705636A

CN113705636A - 一种自动驾驶车辆轨迹预测方法、装置及电子设备

Info

Publication number: CN113705636A
Application number: CN202110922185.1A
Authority: CN
Inventors: 刘期烈; 赵婷; 方阳; 刘倩; 崔一辉; 陈澄; 辛雅楠; 孙慧婕; 胡壹; 屈喜龙; 刘竟成
Original assignee: Chongqing University of Post and Telecommunications
Current assignee: Chongqing University of Post and Telecommunications
Priority date: 2021-08-12
Filing date: 2021-08-12
Publication date: 2021-11-26
Anticipated expiration: 2041-08-12
Also published as: CN113705636B

Abstract

本发明自动驾驶领域，具体是一种自动驾驶车辆轨迹预测方法、装置及电子设备；所述方法包括根据自动驾驶车辆周围的传感器采集其周围交通参与者的一系列连续点云图像，对点云图像进行处理后获得自动驾驶车辆与周围交通参与者的位置关系和鸟瞰图BEV；通过图卷积模型对自动驾驶车辆与周围交通参与者的位置关系建模，提取出自动驾驶车辆与周围交通参与者的交互特征；通过时空金字塔模型对BEV图建模，提取出相应的历史轨迹的场景特征；将场景特征和交互特征进行融合，根据所述融合特征预测出自动驾驶车辆的分类和轨迹。本发明考虑了周围交通参与者相互之间的影响，对交通参与者进行分类预测和轨迹预测，减小了运动不确定性对目标轨迹预测的影响。

Description

一种自动驾驶车辆轨迹预测方法、装置及电子设备

技术领域

本发明涉及机器学习，大数据处理，人工智能，自动驾驶领域，具体是一种自动驾驶车辆轨迹预测方法、装置及电子设备。

背景技术

随着人工智能和自动驾驶的快速发展，自动驾驶的安全问题越来越受到重视。如何从海量的轨迹数据中快速准确地挖掘出关键信息，并且规划自动驾驶的运动轨迹，成为设计者和决策者重点考虑的问题之一，在交通等领域有很大现实意义。

汽车行业对于人的安全保障有着极高的要求。为了在道路上安全高效地运行，自动驾驶汽车不仅要了解周围交通参与者的当前状态，还要主动预测他们未来的行为(也就是运动或轨迹)。

传统的轨迹预测方法由于对目标检测的依赖性，无法泛化训练集中未出现过的目标类别，从而导致轨迹预测出现错误，在真实流量的交通场景中往往会失败。同时，现有轨迹预测方法也没有考虑周围交通参与者的交互关系，缺乏对目标车辆及周围车辆和人员流动情况的刻画，无法反映出运动不确定性对目标轨迹的影响，导致轨迹预测精度不够准确。

发明内容

基于现有技术存在的问题，本发明提出了一种自动驾驶车辆轨迹预测方法、装置及电子设备，结合图交互编码与场景感知融合学习来实现端到端轨迹预测，本发明通过建立联合模型结合了周围交通参与者交互关系和BEV模型场景信息的相互关联，用以实现更合理的路线，规避交通事故，提高类别识别和轨迹预测的准确率。

在本发明的第一方面，本发明提供了一种自动驾驶车辆轨迹预测方法，所述方法包括：

根据自动驾驶车辆周围的传感器采集其周围交通参与者的一系列连续点云图像，对所述一系列连续点云图像进行处理后获得自动驾驶车辆与周围交通参与者的位置关系和鸟瞰图BEV；

通过图卷积模型对所述自动驾驶车辆与周围交通参与者的位置关系建模，提取出自动驾驶车辆与周围交通参与者的交互特征；

通过时空金字塔模型对BEV图建模，提取出该连续点云图所对应的历史轨迹的场景特征；所述场景特征包括时间特征和空间特征；

将所述场景特征和所述交互特征进行特征融合，根据所述融合特征预测出自动驾驶车辆的分类和轨迹。

在本发明的第二方面，本发明还提供了一种自动驾驶车辆轨迹预测装置，所述装置包括：

采集单元，用于根据自动驾驶车辆周围的传感器采集其周围交通参与者的一系列连续点云图像；

处理单元，对所述一系列连续点云图像进行处理后获得自动驾驶车辆与周围交通参与者的位置关系和鸟瞰图BEV；

第一提取单元，用于通过图卷积模型对所述自动驾驶车辆与周围交通参与者的位置关系建模，提取出自动驾驶车辆与周围交通参与者的交互特征；

第二提取单元，用于通过时空金字塔模型对BEV图建模，提取出该连续点云图所对应的历史轨迹的场景特征；所述场景特征包括时间特征和空间特征；

预测单元，用于将所述场景特征和所述交互特征进行特征融合，根据所述融合特征预测出自动驾驶车辆的分类和轨迹。

在本发明的第三方面，本发明还提供了一种电子设备，所述电子设备包括处理器、存储器、通信接口以及总线；

其中，所述存储器、所述处理器及所述通信接口通过所述总线连接，所述存储器上存储有可编程指令，所述处理器调用所述存储器上存储的可编程指令用于执行如本发明第一方面所述的方法。

本发明的有益效果：

本发明与现有技术相比，其显著优点包括：(1)利用图卷积，将周围交通参与者的位置关系建模为图表示，模拟了周围交通参与者的社交互动；(2)通过建立时空金字塔网络，可以得到周围交通参与者的时空特征；(3)将图卷积建模的交互特征与时空金字塔网络算法结合在一起，既考虑了周围交通参与者相互之间的影响，又可以对交通参与者进行分类预测和轨迹预测，从而能够减小运动不确定性对目标轨迹预测的影响。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种自动驾驶车辆端到端轨迹预测模型框架图；

图2为本发明提供的一种自动驾驶车辆端到端轨迹预测方法的流程图；

图3为本发明提供的一种自动驾驶车辆端到端轨迹预测方法中GCNN原理图；

图4为本发明提供的一种自动驾驶车辆端到端轨迹预测方法中时空金字塔网络框架图；

图5为本发明实施例提供的一种自动驾驶车辆端到端轨迹预测装置结构图；

图6为本发明在融合交互特征和场景特征后预测得到的不同场景下的轨迹图，图6(a)表示简单交通场景下的轨迹图；图6(b)表示复杂交通场景下的轨迹图；图6(c)表示交叉路口场景下的轨迹图；图6(d)表示其他交通物体参与的场景下的轨迹图。

具体实施方式

下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

首先，本公开实施例提供了一种实施环境，该实施环境中包括目标车辆和周围交通参与者。目标车辆可以为任一行驶的车辆，即可以当做当前目标下的正在行驶的自动驾驶车辆，而周围交通参与者则是目标车辆周围的车辆或者行人等运动对象。目标车辆用于采集其本身以及周围交通参与者的一系列连续点云图像，从而预测出该目标车辆的后续运动轨迹。其中，该目标车辆可以为无人驾驶汽车，也可以为无人驾驶辅助的驾驶员驾驶汽车。并且，该目标车辆可以为新能源汽车，也可以为燃油汽车。其中，新能源汽车可以为纯电动汽车或者混动动力汽车。在本公开实施例中，对该目标车辆不作具体限定。同样，该周围交通参与者可以为无人驾驶汽车，也可以为驾驶员驾驶汽车，也可以为道路上形式的行人、动物或者其他运动对象。该周围交通参与者也可以为新能源汽车，也可以为燃油汽车。在本公开实施例中，对周围交通参与者同样不作具体限定。自动驾驶车辆的周围交通参与者是指以该车辆为中心，预设半径范围内组成的区域。预设半径可以根据需要进行设置并更改，在本公开实施例中，对预设半径不作具体限定。并且，预设半径可以根据基于不同的道路属性进行设置；例如，高速公路对应的预设半径可以为20米或者30米；普通道路对应的预设半径可以为2米或者3米等。

参考图1，本公开实施例提供了一种自动驾驶车辆端到端轨迹预测模型框架图，如图1所示，该预测模型中，首先对原始点云图像进行同步和离散变换，得到鸟瞰图；同时提取出原始点云图像中的位置，得到对应的位置信息；一方面，利用时间金字塔网络对鸟瞰图进行处理提取出场景特征，另一方面，利用时空图卷积网络对位置信息进行处理提取出交互特征；将场景特征和交互特征通过特征融合网络，得到融合特征，利用融合特征预测得到自动驾驶车辆的分类和轨迹。

参考图2，提供了一种自动驾驶车辆轨迹预测方法流程图，具体包括：

101、根据自动驾驶车辆周围的传感器采集其周围交通参与者的一系列连续点云图像，对所述一系列连续点云图像进行处理后获得自动驾驶车辆与周围交通参与者的位置关系和鸟瞰图(Bird eye view,简称BEV)；

其中，所述自动驾驶车辆上安装有向四周发散的传感器，可以连续采集来自于四周的周围交通参与者的一系列点云图像信息，当然，这些传感器也可以采集所述自动驾驶车辆本身的特征信息，包括运动速度、运动加速度、运动方向、运动轨迹等等。

在本公开实施例中，获得周围交通参与者之间的位置关系的方式包括对采集到的一系列连续点云图像进行预处理，得到每一个场景中每一帧点云图像中的周围交通参与者的坐标信息。

在本公开实施例中，获得自动驾驶车辆与周围交通参与者的BEV图的方式包括将三维的点云图像量化为规则体素并形成三维体素格，使用二进制状态来表示每个体素格的占用情况，并将三维体素格的高度维数对应于二维伪图像的图像通道，从而将三维的点云图像转换成二维伪图像，即所需的BEV图。

其中，所述自动驾驶车辆与周围交通参与者的位置关系包括自动驾驶车辆与周围交通参与者之间的位置关系以及不同周围交通参与者之间的位置关系。

102、通过图卷积模型对所述自动驾驶车辆与周围交通参与者的位置关系建模，提取出自动驾驶车辆与周围交通参与者的交互特征；

在本公开实施例中，从一系列坐标信息中构造出周围交通参与者在每个时间步长的相对位置的空间图；从空间图中获取每个周围交通参与者位置信息之间的距离，将该位置信息之间的距离的倒数作为周围交通参与者之间的影响力；利用所述影响力更新加权邻接矩阵，将更新后的邻接矩阵的代入图卷积模型中，计算根据图卷积运算公式计算出每个周围交通参与者的节点特征，将图表示的周围交通参与者的关系信息输入到图卷积模型中，得到自动驾驶车辆与周围交通参与者的交互特征和周围交通参与者轨迹的时空信息；利用所述影响力更新加权邻接矩阵。

在本公开实施例中，首先需要构造一组表示场景中周围交通参与者在每个时间步长t的相对位置的空间图G_t。如图3所示，该空间图是由一系列不同时间的点云图像经过位置提取后叠加而成的图，G_t的定义为G_t＝(V_t,E_t)，其中

是图G_t的节点，N表示节点数量，即自动驾驶车辆本身以及其周围交通参与者数量；观察到的位置信息

即是V_t的值，

表示在时间步长t下的i节点，这里的节点可以指自动驾驶车辆本身以及其周围交通参与者。E_t是图G_t的边，

表示在时间步长t下的i节点与j节点是否相连。如果

相连，则有

如果不相连，则

同时为了建模两个节点之间的影响有多大，本发明提出了使用每个

的核函数

来建模，

被加在加权邻接矩阵A_t中，其中ω为核函数系数，通常可以设置为1，加权邻接矩阵表示为：

在一些实施例中，本实施例考虑节点之间的距离越大，其相互之间的影响越小，距离越近，则影响越大；比如在近处的车辆会明显影响自动驾驶车辆减速或者变道，但是较远处的车辆对该自动驾驶车辆的影响则不明显；因此，本发明定义核函数

表示为：

在一些优选实施例中，本实施例还考虑到自动驾驶车辆在行驶过程中，如果只按照距离倒数来表征周围交通参与者对自动驾驶影响以及周围交通参与者内部的影响，由于自动驾驶车辆可能处于不同的行为，则会导致错误刻画周围交通参与者的影响力，例如在变道过程中，其左侧、前方和右侧均有不同的周围交通参与者，而该自动驾驶车辆向左变道时，明显影响变道的周围交通参与者是左侧交通参与者，但其与该自动驾驶车辆的距离不一定是最近的，因此按照上一实施例所计算出的影响力值不一定最合适，基于此，本发明通过行为参数来刻画该自动驾驶车辆的行为，使用该行为参数来校正节点之间的距离，例如，周围交通参与者的坐标是相对自动驾驶车辆而得到的，因此，该周围交通参与者位于自动驾驶车辆左边就相当于负值，右边即为正值；根据自动驾驶车辆的行为分类，如果行为参数是左转，则按照负值计算距离，右转则按照正值计算距离。

在一些实施例中，计算完成影响力后，则需要利用该影响力来更新加权邻接矩阵，再更新邻接矩阵之前，先介绍传统图卷积网络中的图卷积公式，表示为：

其中，v^i(l+1)表示i节点在图卷积网络中经过l+1轮迭代(即网络层l+1)后输出的特征；σ是激活函数，

是归一化函数，B(vⁱ)＝{v^j|d(vⁱ,v^j)≤D}是节点(顶点)vⁱ的邻居集，d(vⁱ,v^j)表示连接vⁱ和v^j的最短路径，D表示路径集。p是抽样函数，w是权重因子；将图表示的周围交通参与者关系信息输入到图卷积网络中，考虑其时间维度，定义一个新图G，新图G是G_t的属性集合，

T表示总的时间步长。G包含周围交通参与者轨迹的时空信息。G₁,…,G_T的拓扑结构完全一致。G＝(V,E)其中，V＝{vⁱ|i∈{1,…,N}}，

图G中的vⁱ是

的集合。同时G的加权邻接矩阵A是{A₁,…,A_T}的集合。

要使模型正确实施，需要归一化邻接矩阵。邻接矩阵A是{A₁,…,A_T}堆叠。使用下面的公式均匀的归一化每个加权邻接矩阵A_t：

其中

Λ_t是

的对角节点度矩阵。

和Λ分别表示

和Λ_t的集合。处在时间t和网络层l的节点记为

V^(l)是

的集合；W^(l)表示处在网络层l的权重因子矩阵。根据上面图卷积的计算公式，可以把时空图卷积网络的公式修改为如下：

因此，基于上述公式，本实施例将影响力

被加在加权邻接矩阵A_t中，将更新后的邻接矩阵输入到图卷积网络中，计算得出自动驾驶车辆与周围交通参与者的交互特征。

103、通过时空金字塔模型对BEV图建模，提取出该连续点云图所对应的历史轨迹的场景特征；所述场景特征包括时间特征和空间特征；其中，在上述过程中，本实施例已经得到了一系列二维伪图像，因此本实施例可以直接将二维伪图像输入到时空金字塔网络中。为了更有效的获得时空特征，用低维卷积代替3维卷积。同时，与传统的只对整个图像序列预测一个类别标签的视频分类任务不同，本实施例的目标是对当前时刻的每个BEV格单元进行分类，并估计其未来的位置。预测的重点是如何获取时间特征和空间特征。这里提出了如图4所示的时空金字塔网络，以分层的方式沿着空间和时间的维度来提取特征。STPN的基本构件是时空卷积块(STC)。每个时空卷积块由标准的2维卷积和退化的3维卷积组成，分别提取空间和时间特征，退化的3维卷积即是核函数为(k,1,1)，其中k就是时间维度的映射。这样的三维滤波器本质上是一个伪一维卷积，因此能够降低模型的复杂性。

在一些实施例中，采用时空金字塔模型通过分层方式分别沿着空间维度和时间维度提取出特征，即从所述空间维度中，按照一定比例步计算出不同尺度上的空间特征；从所述时间维度中，在每次时间卷积后逐步降低时间分辨率，从而提取出不同尺度的时间特征；使用全局时间池化来捕捉显著的时间特征，并通过横向连接将捕捉到的时间特征发送到特征解码器的更新采样层，同时使用concat将对应的不同尺度的时间特征和空间特征连接起来，获得融合特征。

对于空间维度，本实施例可以以2的比例步来计算几个尺度上的特征图。同样，对于时间维度，我们在每次时间卷积后逐步降低时间分辨率，从而提取不同尺度的时间语义。为了融合不同层次的时空特征，使用全局时间池化来捕捉显著的时间特征，并通过横向连接将它们发送到特征解码器的更新采样层。时空金字塔网络的整体结构只依赖于标准二维卷积和伪一维卷积，所以非常高效。

104、将所述场景特征和所述交互特征进行特征融合，根据所述融合特征预测出自动驾驶车辆的分类和轨迹。

将所述场景特征和所述交互特征进行特征融合，根据所述融合特征预测出自动驾驶车辆的分类和轨迹包括对周围交通参与者分类，确定出所述周围交通参与者的类别；判断出所述周围交通参与者的状态，确定出所述周围交通参与者的运动状态即静止状态或运动状态；根据所述融合特征预测出在τ时刻的周围交通参与者的位置坐标，将所述周围交通参与者的类别、状态以及位置坐标共同输出为自动驾驶车辆的轨迹。

在一些实施例中，特征融合的过程可以表示为

其中，F_v表示自动驾驶车辆v的融合特征；v_i表示自动驾驶车辆v的第i个周围交通参与者输出的交互特征，TS_i表示自动驾驶车辆v的第i个周围交通参与者输出的时空特征；n表示周围交通参与者的数量。

经过上述实施方式进行融合，能够将周围交通参与者的边缘信息和隐信息充分挖掘出来，能够提高车辆轨迹预测精度。

具体的，根据融合特征和分类预测函数得到周围交通参与者的类别，例如该类别可以为车辆和行人，其中车辆还可以细分为机动车和非机动车等等。本实施例中可以用两层二维卷积实现。对于分类，输出形式为：H×W×C，其中C是分类的类别数。

根据融合特征和状态预测函数得到周围交通参与者的运动状态，即静止状态或者非静止状态；其输出形式是H×W。

根据融合特征和位置预测函数得到自动驾驶车辆的运动轨迹。本实施例中主要是预测未来的单元格的位置。表示预测的单元为：

其中

表示在τ时刻的车辆位置。T是当前时刻，N是未来帧数。输出形式为：N×H×W×2。

可以理解的是，本发明为了预测出自动驾驶车辆的运动轨迹，是需要将融合特征输入到网络模型中，这里的网络模型可以是现有的任意一种模型，例如卷积神经网络、循环卷积神经网络、长短时记忆神经网络等等；上述预测函数均可以由包括上述的任意现有的网络模型提供。

图5是本发明实施例的一种自动驾驶车辆轨迹预测装置；如图5所示，所述装置包括：

图6的仿真表明可以从图中看到不同颜色表示不同的交通参与者，箭头表示行进方向。对于第一个场景，如图6(a)所示，直线道路上对左右车辆的预测，场景较为简单，通过对比预测的轨迹和真值，可以发现本文方法预测效果较好。对于第二个复杂场景，如图6(b)所示，自动驾驶车辆周围有各种类型的交通参与者，相互之间交互性较强，因为加入了时空图卷积建模周围交通参与者的交互，因此对比预测值和真值，可以发现每种类型的交通参与者的轨迹都能准确预测。场景三是一个交叉路口，如结果如图6(c)所示，对于自动驾驶车辆迎面而来的车辆和路口左右侧车辆，都能较为准确的预测其轨迹。最后一个场景，如图6(d)所示，对于其他类别的交通参与者，对比预测和真值，发现仍然能准确预测目标轨迹。

在本发明的描述中，需要理解的是，术语“同轴”、“底部”、“一端”、“顶部”、“中部”、“另一端”、“上”、“一侧”、“顶部”、“内”、“外”、“前部”、“中央”、“两端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明中，除非另有明确的规定和限定，术语“安装”、“设置”、“连接”、“固定”、“旋转”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims

1.一种自动驾驶车辆轨迹预测方法，其特征在于，所述方法包括：

2.根据权利要求1所述的一种自动驾驶车辆轨迹预测方法，其特征在于，获得周围交通参与者之间的位置关系的方式包括对采集到的一系列连续点云图像进行预处理，得到每一个场景中每一帧点云图像中的周围交通参与者的坐标信息。

3.根据权利要求1所述的一种自动驾驶车辆轨迹预测方法，其特征在于，获得自动驾驶车辆与周围交通参与者的BEV图的方式包括将三维的点云图像量化为规则体素并形成三维体素格，使用二进制状态来表示每个体素格的占用情况，并将三维体素格的高度维数对应于二维伪图像的图像通道，从而将三维的点云图像转换成二维伪图像，即所需的BEV图。

4.根据权利要求1所述的一种自动驾驶车辆轨迹预测方法，其特征在于，所述通过图卷积模型对所述周围交通参与者之间的位置关系建模，提取出周围交通参与者之间的交互特征包括从一系列坐标信息中构造出周围交通参与者在每个时间步长的相对位置的空间图；从空间图中获取每个周围交通参与者位置信息之间的距离，将该位置信息之间的距离的倒数作为周围交通参与者之间的影响力；利用所述影响力更新加权邻接矩阵，将更新后的邻接矩阵代入图卷积模型中，计算得到自动驾驶车辆与周围交通参与者的交互特征。

5.根据权利要求1所述的一种自动驾驶车辆轨迹预测方法，其特征在于，所述通过时空金字塔模型对所述BEV图建模，提取出该连续点云图所对应的历史轨迹的场景特征包括采用时空金字塔模型通过分层方式分别沿着空间维度和时间维度提取出特征，即从所述空间维度中，按照一定比例步计算出不同尺度上的空间特征；从所述时间维度中，在每次时间卷积后逐步降低时间分辨率，从而提取出不同尺度的时间特征；使用全局时间池化来捕捉显著的时间特征，并通过横向连接将捕捉到的时间特征发送到特征解码器的更新采样层，同时使用concat将对应的不同尺度的时间特征和空间特征连接起来，获得融合特征。

6.根据权利要求1所述的一种自动驾驶车辆轨迹预测方法，其特征在于，将所述场景特征和所述交互特征进行特征融合，根据所述融合特征预测出自动驾驶车辆的分类和轨迹包括对周围交通参与者分类，确定出所述周围交通参与者的类别；判断出所述周围交通参与者的状态，确定出所述周围交通参与者的运动状态即静止状态或运动状态；根据所述融合特征预测出在τ时刻的周围交通参与者的位置坐标，将所述周围交通参与者的类别、状态以及位置坐标共同输出为自动驾驶车辆的轨迹。

7.一种自动驾驶车辆轨迹预测装置，其特征在于，所述装置包括：

8.一种电子设备，其特征在于，所述电子设备包括处理器、存储器、通信接口以及总线；

其中，所述存储器、所述处理器及所述通信接口通过所述总线连接，所述存储器上存储有可编程指令，所述处理器调用所述存储器上存储的可编程指令用于执行如权利要求1至6中任一项所述的方法。