CN111114543B

CN111114543B - 一种轨迹预测方法及装置

Info

Publication number: CN111114543B
Application number: CN202010220716.8A
Authority: CN
Inventors: 樊明宇; 任冬淳; 夏华夏; 钱德恒; 朱炎亮
Original assignee: Beijing Sankuai Online Technology Co Ltd
Current assignee: Beijing Sankuai Online Technology Co Ltd
Priority date: 2020-03-26
Filing date: 2020-03-26
Publication date: 2020-07-03
Anticipated expiration: 2040-03-26
Also published as: CN111114543A

Abstract

本说明书公开了一种轨迹预测方法及装置，首先，针对无人车周围的每个障碍物，基于该障碍物的历史轨迹，确定该障碍物的运动特征，还可根据各障碍物的运动特征确定全局交互特征，其次，确定各障碍物所在车道的车道拓扑，再根据车道拓扑确定车道特征，之后将该障碍物运动特征、交互特征以及车道特征输入长短期记忆网络，得到该障碍物的预测运动轨迹。通过确定障碍物的运动特征、障碍物之间的相互影响以及车道的特征，预测运动轨迹，使得运动轨迹的预测受到了路上其他障碍物以及车道的影响，轨迹预测更加准确。

Description

一种轨迹预测方法及装置

技术领域

本申请涉及无人驾驶技术领域，尤其涉及一种轨迹预测方法以及装置。

背景技术

目前，无人驾驶技术领域中无人车控制方法主要需要解决的问题是无人车如何避障，使无人车在沿规划出的路径行驶时，通过预测障碍物的移动轨迹，确定可以避让障碍物的运动轨迹，以安全的达到目的地。

一般的，现有技术通常采用的是，根据障碍物历史时段内的运动状态，预测障碍物在未来一个或多个预设时刻的轨迹点，并根据确定出的各障碍物的运动轨迹，确定无人车的运动轨迹。

但是，通过这种方式预测的障碍物未来的轨迹准确度较差，影响无人车控制的效果。

发明内容

本说明书实施例提供的一种轨迹预测方法及装置，用于部分解决现有技术中存在的问题。

本说明书实施例采用下述技术方案：

本说明书提供的轨迹预测方法，包括：

确定无人车当前所处位置周围的各障碍物；

针对确定出的每个障碍物，将该障碍物在预设时长内的历史轨迹作为输入，通过预先训练的预测模型的第一卷积网络，确定该障碍物的运动特征；

根据所述预测模型的特征交互层的权重矩阵以及各障碍物的运动特征，确定全局交互特征；

针对确定出的每个障碍物，确定道路中该障碍物所在车道的车道拓扑；

将确定出的车道拓扑作为输入，通过所述预测模型的第二卷积网络，确定该障碍物对应的车道特征；

将该障碍物的运动特征、该障碍物对应的车道特征以及所述全局交互特征作为输入，输入所述预测模型的长短期记忆网络层，确定所述障碍物的预测运动轨迹。

可选地，将该障碍物在预设时长内的历史轨迹作为输入，通过预先训练的预测模型的第一卷积网络，确定该障碍物的运动特征，具体包括：

根据历史上在所述预设时长内采集的该障碍物的位置信息，确定该障碍物的历史轨迹；

通过预先训练的预测模型的第一卷积网络，对所述历史轨迹依次进行至少两次卷积操作，得到该障碍物各位置信息对应的速度特征以及加速度特征，其中所述第一卷积网络中进行卷积操作采用的卷积核结构相同；

将所述历史轨迹、所述速度特征以及所述加速度特征进行合并，作为该障碍物的运动特征。

可选地，根据所述预测模型的特征交互层的权重矩阵以及各障碍物的运动特征，确定全局交互特征，具体包括：

根据预先训练的权重矩阵以及各障碍物的运动特征，分别对各障碍物的运动特征加权；

通过所述特征交互层对各障碍物的运动特征的加权结果进行池化，确定表征各障碍物运动特征角度的全局交互特征。

可选地，确定道路中该障碍物所在车道的车道拓扑，具体包括：

确定该障碍物的运动速度，以及该障碍物所在车道；

根据预设的预测时长以及所述运动速度，确定需要获取的车道长度；

以该障碍物当前所在位置为起点，按照所述车道长度沿所述车道，确定所述车道的车道中心线的若干坐标，作为所述车道拓扑。

可选地，将确定出的车道拓扑作为输入，通过所述预测模型的第二卷积网络，确定该障碍物对应的车道特征，具体包括：

将所述车道拓扑按照车道的行车方向，划分为预设数量的多段子车道；

将各子车道按照不同顺序排列组合，得到合并车道信息；

将所述合并车道信息输入所述预测模型的第二卷积网络，通过至少两次卷积操作，得到该障碍物对应的第一子特征以及第二子特征；

将所述合并车道信息、所述第一子特征以及所述第二子特征进行合并，作为该障碍物对应的车道特征。

可选地，将该障碍物的运动特征、该障碍物对应的车道特征以及所述全局交互特征作为输入，输入所述预测模型的第一注意力层，确定该障碍物在各历史时刻对应的注意力加权的车道特征，具体包括：

将该障碍物的运动特征以及该障碍物对应的车道特征作为输入，输入所述预测模型的第一注意力层，确定第一注意力结果，所述第一注意力结果表征该障碍物在各历史时刻对各车道拓扑的注意力；

根据所述第一注意力结果以及该障碍物对应的车道特征，确定注意力加权的车道特征。

可选地，将所述全局交互特征以及该障碍物的运动特征作为输入，输入所述预测模型的第二注意力层，确定该障碍物在各历史时刻对应的注意力加权的交互特征，具体包括：

将所述全局交互特征以及该障碍物的运动特征作为输入，输入所述预测模型的第二注意力层，确定第二注意力结果，所述第二注意力结果表征该障碍物在各历史时刻对全局交互特征的注意力；

根据所述第二注意力结果以及所述全局交互特征，确定注意力加权的交互特征。

可选地，所述预测模型通过如下方法训练得到：

根据历史上若干次行驶过程中，各时刻采集的障碍物的位置信息，确定各障碍物的实际运动轨迹；

根据各时刻各障碍物的实际运动轨迹以及所述若干次行驶过程的车道拓扑，确定训练样本；

将所述实际运动轨迹与车道拓扑作为输入，输入预先训练的分类模型，确定所述实际运动轨迹是否在车道上，得到所述实际运动轨迹的可信值；

针对每个训练样本，将该训练样本输入待训练的预测模型，得到障碍物的预测运动轨迹；

根据预测运动轨迹与实际运动轨迹的差值，以及所述实际运动轨迹的可信值，确定损失，所述可信值越低确定出的损失越大；

以最小化损失为目标调整所述待训练的预测模型的模型参数。

本说明书提供的轨迹预测装置，包括：

障碍物确定模块，确定无人车当前所处位置周围的各障碍物；

运动特征确定模块，针对确定出的每个障碍物，将该障碍物在预设时长内的历史轨迹作为输入，通过预先训练的预测模型的第一卷积网络，确定该障碍物的运动特征；

交互特征确定模块，根据所述预测模型的特征交互层的权重矩阵以及各障碍物的运动特征，确定全局交互特征；

车道确定模块，针对确定出的每个障碍物，确定道路中该障碍物所在车道的车道拓扑；

车道特征确定模块，将确定出的车道拓扑作为输入，通过所述预测模型的第二卷积网络，确定该障碍物对应的车道特征；

预测模块，将该障碍物的运动特征、注意力加权的交互特征以及注意力加权的车道特征作为输入，输入所述预测模型的长短期记忆网络层，确定所述障碍物的预测运动轨迹。

本说明书提供的计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的方法。

本说明书提供的无人车，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一所述的方法。

本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：

首先，针对无人车周围的每个障碍物，基于该障碍物的历史轨迹，确定该障碍物的运动特征，还可根据各障碍物的运动特征确定全局交互特征，其次，确各障碍物所在车道的车道拓扑，再根据车道拓扑确定车道特征，之后将该障碍物运动特征、交互特征以及车道特征输入长短期记忆网络，得到该障碍物的预测运动轨迹。通过确定障碍物的运动特征，障碍物之间的相互影响以及车道的特征，预测运动轨迹，使得运动轨迹的预测受到了路上其他障碍物以及车道的影响，轨迹预测更加准确。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本说明书实施例提供的轨迹预测流程示意图；

图2为本说明书实施例提供的第一卷积网络结构示意图；

图3为本说明书实施例提供的确定车道拓扑的示意图；

图4为本说明书实施例提供的确定合并车道信息示意图；

图5为本说明书实施例提供的第二卷积网络结构示意图；

图6为本说明书实施例提供的预测模型的结构示意图；

图7为本说明书实施例提供的轨迹预测装置的结构示意图；

图8为本说明书实施例提供的实现轨迹预测方法的无人车示意图。

具体实施方式

为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

以下结合附图，详细说明本申请各实施例提供的技术方案。

图1为本说明书实施例提供的轨迹预测流程示意图，包括：

S100：确定无人车当前所处位置周围的各障碍物。

在本说明书一个或多个实施例中，通过该轨迹预测过程确定出的各障碍物的运动轨迹，可用于无人车控制。为方便理解，本说明书以无人车控制过程中，对障碍物进行轨迹预测为例进行说明，则该轨迹预测过程可由无人车的控制设备执行，该控制设备可以是车机、专用电脑等设备，具体可根据需要设置，本说明书对此不做限制。并且，该无人车上还可设置有用于采集周围环境信息的传感器，并可根据采集到的环境信息确定该无人车周围障碍物，以根据确定出的障碍物进行后续步骤。

具体的，该无人车可确定当前所处位置周围的各障碍物的位置信息。例如，该无人车周围20米范围内的各障碍物的位置信息。当然，该范围的尺寸可以根据需要设置，本说明书不做限制。并且，由于在本说明书中该障碍物可为道路上的其他交通参与者，包括：车辆、行人、自行车等等。而对于道路上的栏杆、电线杆等固定障碍物，由于不存在运动，因此不作为障碍物进行后续步骤的轨迹预测。

需要说明的是，在本说明书中该对各障碍物的运动轨迹的预测，是基于障碍物偏向于沿车道中心线行驶的假设，利用障碍物的运动特征、其他障碍物对其影响以及障碍物沿车道中心线行驶这三点，进行预测的。另外，在本说明书中无人车是对无人驾驶设备的统称，对无人驾驶的结构或者形式不构成限制。

S102：针对确定出的每个障碍物，将该障碍物在预设时长内的历史轨迹作为输入，通过预先训练的预测模型的第一卷积网络，确定该障碍物的运动特征。

在本说明书中，该无人车在确定出周围的各障碍物后，便可针对每个障碍物，确定其历史轨迹，以根据历史轨迹确定该障碍物的运动特征。该运动特征表征了该障碍物在历史上沿该历史轨迹运动时的特征。

具体的，首先由于该无人车在历史上的各时刻也可监测周围的障碍物，因此针对每个障碍物，该无人车可根据历史上预设时长内若干时刻，监测到的该障碍物的位置信息，确定该障碍物的历史轨迹。其中，时长越长则历史轨迹越长，该预设时长可根据需要设置，本说明书不做限制。于是，该无人车可针对每个障碍物，确定一个历史轨迹对应的矩阵，该矩阵形式为2×T。其中，每列为一个时刻的位置信息，包括x坐标以及y坐标，T表示预设时长内一共有T个时刻的位置信息。

用公式表达历史时刻的位置信息为：

，历史轨迹为

，其中，i表示第i个障碍物，t表示t时刻，

表示i障碍物t时刻的位置信息，包括x坐标以及 y坐标，R表示矩阵，上角标表示矩阵的形式，将一共T个时刻的位置信息组合为矩阵表达，即

，也就是历史轨迹。

之后，无人车可通过预先训练的预测模型的第一卷积网络，将该障碍物的历史轨迹作为输入，依次通过至少两次卷积操作，分别确定该障碍物各位置信息对应的速度特征以及加速度特征，也就是在各t时刻对应的速度特征以及加速度特征。

最后，将该障碍物的历史轨迹、所述速度特征以及所述加速度特征进行合并，作为该障碍物的运动特征。

在本说明书中，该预测模型的第一卷积网络可如图2所示，输入为历史轨迹

，第一次卷积操作得到各时刻对应的速度特征，再继续对该速度特征进行卷积操作，得到各时刻对应的加速度特征。图2中无填充矩形表示历史轨迹，斜线填充矩形表示速度特征，网格填充矩形表示加速度特征，最后合并得到的运动特征包含了历史轨迹、速度特征以及加速度特征。

并且，第一卷积网络中卷积操作所采用的卷积核结构相同，均为1×U×2结构的卷积核，U为卷积核的宽度，即利用几个历史时刻的位置信息来确定速度特征，利用几个历史时刻对应的速度特征确定加速度特征，2为深度，即卷积核的通道数。

为了便于合并，该卷积操作的填充规则为“padding=SAME”，卷积的步长为1，使得得到的速度特征为

，也就是矩阵宽度仍为T，

表示第一次卷积操作的卷积核数量，因此矩阵高度为

。

同理，将速度特征

作为输入继续进行卷积，填充规则为“padding=SAME”，卷积的步长为1，可得到加速特征

，

表示第二次卷积操作的卷积核数量，因此矩阵高度为

。

最后，在对历史轨迹、速度特征以及加速度特征进行合并时，由于矩阵的长度一样，因此可合并得到该障碍物的运动特征

即图2中所示的运动特征。

需要说明的是，在本说明书中，该预测模型的第一卷积网络可不包含激活函数，使得对应历史轨迹各相邻时刻的运动特征的之间变化更加平滑，便于后续步骤基于运动特征进行轨迹预测。

S104：根据所述预测模型的特征交互层的权重矩阵以及各障碍物的运动特征，确定全局交互特征。

在本说明书中，无人车在确定出各障碍物的运动特征后，由于运动特征中包含了各障碍物的历史轨迹，因此该运动特征实际上表征的是个障碍物在历史轨迹中不同位置上的速度以及加速度等特征。而由于障碍物在道路上行驶时，会受到其他障碍物位置、运动状态的影响，因此该无人车还可根据各障碍物的运动特征，确定能够表征各障碍物之间相互影响的全局交互特征。

具体的，在本说明书中，首先，该无人车可根据该预先训练的该预测模型的特征交互层的权重矩阵，分别对各障碍物的运动特征进行加权处理。由于各障碍物的运动特征形式为：

，因此该权重矩阵的形式可为

，加权后的结果为

。

之后，在对各障碍物的运动特征的加权结果进行池化，确定表征各障碍物运动特征角度的全局交互特征。具体可用公式

表示，其中N表示步骤S100共确定出N个障碍物。

S106：针对确定出的每个障碍物，确定道路中该障碍物所在车道的车道拓扑。

在本说明书中，该无人车在确定出各障碍物的运动特征以及全局交互特征后，如在步骤S100中所述的，本说明书中障碍物的轨迹预测是基于障碍物偏向于沿车道中心线行驶的假设进行的，因此该无人车还可针对各障碍物，分别确定道路中该障碍物所在车道的车道拓扑。

具体的，首先，针对每个障碍物，该无人车可通过电子地图以及该障碍物在执行步骤S100时确定出的位置信息，确定该障碍物所在车道。并且，还可根据步骤S102确定的该障碍物的历史轨迹，通过差分确定该障碍物当前的运动速度。

另外，由于只有与该无人车处于同一条道路的障碍物，才会对后续无人车控制产生影响，因此在基于轨迹预测进行无人车控制的情况下，无人车可以根据自身所在位置以及障碍物与该无人车的相对位置，确定该障碍物的位置，并通过电子地图在该无人车所在道路包含的各车道中，确定该障碍物所在车道。如果障碍物与无人车不处于同一道路，则不认为该障碍物的运动轨迹会对该无人车控制产生影响，则不再针对该障碍物执行后续步骤。

其次，该无人车可根据预设的预测时长以及确定出的运动速度，确定需要获取的车道长度。也就是说，该无人车可基于需要预测该障碍物未来多长时间内的运动轨迹，假设该障碍物保持当前的运动速度，确定需要获取多长的车道长度对应的车道拓扑。具体可采用公式：

确定第i个障碍物对应的车道长度，其中

表示第i个障碍物的运动速度，time表示预测时长，例如10s、20s等，

为预设冗余参数，取值范围为1＜

＜2。

最后，以该障碍物当前所在位置为起点，按照该车道长度沿该车道，确定该车道中心线的若干坐标，作为所述车道拓扑，其中，车道中心线的坐标可以是电子地图中包含的地图元素，如图3所示。

图3为本说明书提供的确定车道拓扑的示意图，其中圆点为电子地图中包含的车道中心线的各坐标，菱形为障碍物所在位置，虚线为按照该车道长度沿该车道划出的线。可见在该虚线包含若干圆点，各圆点从菱形位置开始，沿车道行车方向按顺序排列的结果，为车道拓扑。

可以用公式

表示第i个障碍物对应车道中第m个中心线坐标，则车道拓扑为

。车道拓扑是存在排列顺序的。M为中心线坐标总数。

需要说明的是，由于不同障碍物的速度不同，因此车道长度可能不同，但是为了统一计算，无人车可确定数量相同的中心线坐标，即M个。可采用对车道中心线M等分的方式，确定M个坐标。

S108：将确定出的车道拓扑作为输入，通过所述预测模型的第二卷积网络，确定该障碍物对应的车道特征。

在本说明书中，该无人车在确定出车道拓扑后，便可确定该障碍物对应的车道特征，用于表征该障碍物在不同位置能够“观察”到的不同位置的车道的特征。

具体的，首先为了增加无人车在各个位置的视野，减少距离远近带来的不同位置的道路特征的差异。该无人车可将该车道拓扑，按照车道的行车方向，划分为预设数量的多段子车道。

其次，将各子车道按照不同顺序排列组合，得到合并车道信息，如图4所示。

图4中上方的矩形表示步骤S106确定的车道拓扑

，假设拆分为3段子车道，在图4 中以不同填充图案的短矩形表示，则将各子车道按照不同顺序排列组合可确定

、

以及

，将其合并得到

，由于拆分为3段，因此K为3，得到的合并车道信息为6× M的矩阵。

之后，将该合并车道信息输入该预测模型的第二卷积网络，依次通过至少两次卷积操作，分别确定该障碍物在车道各位置上对应的第一子特征以及第二子特征。

最后，将该合并车道信息、该第一子特征以及该第二子特征进行合并，作为该障碍物对应的车道特征。

在本说明书中，该预测模型的第二卷积网络可如图5所示，输入为合并车道信息

，第一次卷积操作得到在该车道上各位置对应的第一子特征，再继续对该第一子特征进行卷积操作，得到各位置对应的第二子特征。图5中按照矩形中填充图案的不同，竖线图案的矩形表示合并车道信息，斜线图案的矩形表示该第一子特征，横线图案的矩形表示该第二子特征，最后合并得到的车道特征包含了合并车道信息、该第一子特征以及该第二子特征。

并且，第二卷积网络中卷积操作所采用的卷积核结构相同，均为1×V×2K结构的卷积核，V为卷积核的宽度，即利用几个车道位置对应的信息来确定第一子特征，2K为深度，即卷积核的通道数。

为了便于合并，该卷积操作的填充规则为“padding=SAME”，卷积的步长为1，使得得到的第一子特征为

，也就是矩阵宽度仍为T，

表示第一次卷积操作的卷积核数量，因此矩阵高度为

。

同理，将第一子特征

作为输入继续进行卷积，填充规则为“padding= SAME”，卷积的步长为1，可得到第二子特征

，

表示第二次卷积操作的卷积核数量，因此矩阵高度为

。

最后，在对合并车道信息、该第一子特征以及该第二子特征进行合并时，由于矩阵的长度一样，因此可合并得到该障碍物的运动特征

即图5中所示的车道特征。

需要说明的是，在本说明书中，该预测模型的第二卷积网络可包含激活函数，使得在不同车道位置“看到”的特征更加明显。激活函数可为线性整流函数（Rectified LinearUnit， ReLU）。

S110：将该障碍物的运动特征、交互特征以及车道特征作为输入，输入所述预测模型的长短期记忆网络层，确定该障碍物的预测运动轨迹。

在本说明书中，当确定出各障碍物的运动特征、全局交互特征以及对应的车道特征后，该无人车可通过长短期记忆网络（Long Short-Term Memory，LSTM）层，确定该障碍物的预测运动轨迹。

具体的，该无人车可将该运动特征、全局交互特征以及对应的车道特征进行融合，得到输入

。本说明书对于具体采用的融合策略不做限制，例如，可以简单拼接或者叠放。通过训练好的预测模型的LSTM层，得到该障碍物的预测运动轨迹。

其中，LSTM已经是现有较为成熟的技术，因此本说明书对LSTM计算过程不再进行赘述。并且，针对该障碍物，若LSTM是非首次输入该障碍物对应的特征，则可利用上一次输入特征后，LSTM隐层特征，确定输出的预测运动轨迹。

另外，该预测运动轨迹的长度，可以根据需要设置，例如，输出障碍物下一时刻的预测位置，再将该输出作为输入，重新输入LSTM层依次得到多个未来时刻的预测位置，或者LSTM层也可一次输出多个预测位置。

更进一步地，在本说明书中，在输入LSTM层之前，该无人车还可以分别对车道特征以及运动特征进行注意力加权。即，将该障碍物的运动特征以及该障碍物对应的车道特征作为输入，输入该预测模型的第一注意力层，确定该障碍物在各历史时刻对应的注意力加权的车道特征，以及将该全局交互特征以及该障碍物的运动特征作为输入，输入该预测模型的第二注意力层，确定该障碍物在各历史时刻对应的注意力加权的交互特征。

然后将该障碍物的运动特征、注意力加权的交互特征以及注意力加权的车道特征作为输入，输入该预测模型的长短期记忆网络层，确定该障碍物的预测运动轨迹。

具体的，第一注意力层进行注意力加权的过程包括：

将该障碍物的运动特征以及该障碍物对应的车道特征作为输入，输入所述预测模型的第一注意力层，确定第一注意力结果。该第一注意力结果表征该障碍物在各历史时刻对各车道拓扑的注意力。

再根据所述第一注意力结果以及该障碍物对应的车道特征，确定注意力加权的车道特征。

其中注意力函数可以是softmax函数或者sigmoid函数等，本说明书不做限制，可根据需要设置。则第一注意力结果为

，其中

为第一注意力层的权重参数矩阵，

为各时刻运动特征对车道特征的注意力，根据

对

进行注意力加权，即，

。

类似的，第二注意力层进行注意力加权的过程包括：

将该障碍物的运动特征以及全局交互特征作为输入，输入所述预测模型的第二注意力层，确定第二注意力结果。该第二注意力结果表征该障碍物在各历史时刻对全局交互特征的注意力。

再根据所述第二注意力结果以及全局交互特征，确定注意力加权的交互特征。

其中注意力函数可以是softmax函数或者sigmoid函数等，本说明书不做限制，可根据需要设置。则第二注意力结果为

，其中

为第二注意力层的权重参数矩阵，

为各时刻运动特征对车道特征的注意力，根据

对G进行注意力加权，即，

。

基于图1所示的轨迹预测方法，首先，针对无人车周围的每个障碍物，基于该障碍物的历史轨迹，确定该障碍物的运动特征，还可根据各障碍物的运动特征确定全局交互特征，其次，确定各障碍物所在车道的车道拓扑，再根据车道拓扑确定车道特征，之后将该障碍物运动特征、交互特征以及车道特征输入长短期记忆网络，得到该障碍物的预测运动轨迹。通过确定障碍物的运动特征，障碍物之间的相互影响以及车道的特征，预测运动轨迹，使得运动轨迹的预测受到了路上其他障碍物以及车道的影响，轨迹预测更加准确。

另外，在本说明书中，该无人车在确定出各障碍物的预测运动轨迹后，还可根据确定出的各障碍物的预测运动轨迹控制所述无人车运动。

具体的，当预测出各障碍物的预测运动轨迹后，该无车人可确定控制策略，并根据控制策略控制无人车运动。具体如何根据各障碍物的预测运动轨迹，控制无人车运动可以采用现有成熟的方法，本说明书对此不做限制，当然由于得到预测运动轨迹更加准确，因此无人车控制准确率也更高。

进一步地，在本说明书中在训练该预测模型时，可以获取预先获取历史上若干次行驶过程中采集的数据。并根据采集的数据，确定每次行驶过程中的各时刻的障碍物的位置信息，确定各障碍物的实际运动轨迹。

然后，再根据各时刻各障碍物的实际运动轨迹以及所述若干次行驶过程的车道拓扑，确定训练样本。

针对每个时刻，将该时刻确定出的障碍物的位置作为输入，输入待训练的预测模型，得到待训练的模型输出的预测运动轨迹。

根据预测运动轨迹与实际运动轨迹的差值，以及实际运动轨迹的可信值，确定损失。其中损失函数为

，

为预测运动轨迹与实际运动轨迹的差值，

为实际运动轨迹的可信值，具体可根据训练好的分类模型，确定实际运动轨迹与车道中心线是否相同，即，实际运动轨迹是否在车道中心线上，并根据分类结果确定

。

该分类模型可以是多层感知机（MultilayerPerceptron，MLP），将车道中心线的坐标以及实际运动轨迹的坐标作为输入，由MLP输出分类结果，也就是实际运动轨迹是否在车道中心线上。若是则

损失最小，若否

损失最大，表示障碍物的实际运动轨迹不在道路上，此时的预测运动轨迹可信度较低，效果比较差，也就是说可信值越低

越大，确定出的损失越大，当然

的取值范围可以是根据需要设置。

以最小化损失为目标，调整待训练的预测模型的模型参数。

当然，针对每个训练样本，可以在确定该训练样本后，将训练样本用于训练该预测模型前，确定该训练样本的实际运动轨迹的可信值，本说明书不做具体限制。

另外，在本说明书中该无人车可为用于无人配送，本说明书提供的上述轨迹预测方法具体可应用于使用无人车进行配送的领域中，当无人车进行配送时，通过该轨迹预测方法，确定周围各障碍物的预测运动轨迹，并根据预测运动轨迹控制无人车行动，如，使用无人车进行快递、外卖等配送的场景。

图6为本说明书书提供的预测模型的结构示意图。可见包括第一卷积网络、第二卷积网络、特征交互层、第一注意力层、第二注意力层、LSTM层。需要注意的是，该第一卷积网络输出的结果不仅用于特征交互层，也用于进行注意力加权后输入LSTM层。其中，第一卷积网络、第二卷积网络、特征交互层可视为特征提取层，即用于提取特征的层，而LSTM层的前置的两个注意力层则分别利用特征提取层提取出的各特征，进行时间、位置等维度的注意力加权，使得LSTM层的输入更加具有针对性。即，针对障碍物间的影响以及障碍物偏向于沿车道行驶的假设，进行注意力加权，使得最后输出的预测结果更准确。

另外在本说明书步骤S108中，在将该车道拓扑，按照车道的行车方向，划分为预设数量的多段子车道时，若车道拓扑对应的坐标数量不能被该预设数量整除，则该无人车还可对车道拓扑的坐标数量进行补充，使补充后的坐标数量可以被整除。

具体的，该无人车可根据车道拓扑中各坐标的数值，确定车道朝向，并根据车道朝向生成若干用于补充的坐标，作为该车道的车道拓扑。例如，无人车可根据车道拓扑中距离该障碍物最远的两个坐标，确定该车道的朝向，并基于最远的坐标的数值，进行坐标补充。或者，该无人车也可对车道拓扑直接进行0值补充，例如补充x=0，y=0的坐标。

基于图1所示的轨迹预测过程，本说明书实施例还对应提供轨迹预测装置的结构示意图，如图7所示。

图7为本说明书实施例提供的轨迹预测装置的结构示意图，所述装置包括：

障碍物确定模块200，确定无人车当前所处位置周围的各障碍物；

运动特征确定模块202，针对确定出的每个障碍物，将该障碍物在预设时长内的历史轨迹作为输入，通过预先训练的预测模型的第一卷积网络，确定该障碍物的运动特征；

交互特征确定模块204，根据所述预测模型的特征交互层的权重矩阵以及各障碍物的运动特征，确定全局交互特征；

车道确定模块206，针对确定出的每个障碍物，确定道路中该障碍物所在车道的车道拓扑；

车道特征确定模块208，将确定出的车道拓扑作为输入，通过所述预测模型的第二卷积网络，确定该障碍物对应的车道特征；

预测模块210，将该障碍物的运动特征、该障碍物对应的车道特征以及所述全局交互特征作为输入，输入所述预测模型的长短期记忆网络层，确定该障碍物的预测运动轨迹。

可选地，所述运动特征确定模块202，根据历史上在所述预设时长内采集的该障碍物的位置信息，确定该障碍物的历史轨迹，通过预先训练的预测模型的第一卷积网络，对所述历史轨迹依次进行至少两次卷积操作，得到该障碍物各位置信息对应的速度特征以及加速度特征，其中所述第一卷积网络中进行卷积操作采用的卷积核结构相同，将所述历史轨迹、所述速度特征以及所述加速度特征进行合并，作为该障碍物的运动特征。

可选地，所述交互特征确定模块204，根据预先训练的权重矩阵以及各障碍物的运动特征，分别对各障碍物的运动特征加权，通过所述特征交互层对各障碍物的运动特征的加权结果进行池化，确定表征各障碍物运动特征角度的全局交互特征。

可选地，所述车道确定模块206，确定该障碍物的运动速度以及该障碍物所在车道，根据预设的预测时长以及所述运动速度，确定需要获取的车道长度，以该障碍物当前所在位置为起点，按照所述车道长度沿所述车道，确定所述车道中心线的若干坐标，作为所述车道拓扑。

可选地，所述车道特征确定模块208，将所述车道拓扑按照车道的行车方向，划分为预设数量的多段子车道，将各子车道按照不同顺序排列组合，得到合并车道信息，将所述合并车道信息输入所述预测模型的第二卷积网络，通过至少两次卷积操作，得到该障碍物对应的第一子特征以及第二子特征，将所述合并车道信息、所述第一子特征以及所述第二子特征进行合并，作为该障碍物对应的车道特征。

可选地，所述预测模块210，将该障碍物的运动特征以及该障碍物对应的车道特征作为输入，输入所述预测模型的第一注意力层，确定该障碍物在各历史时刻对应的注意力加权的车道特征，以及将所述全局交互特征以及该障碍物的运动特征作为输入，输入所述预测模型的第二注意力层，确定该障碍物在各历史时刻对应的注意力加权的交互特征，将该障碍物的运动特征、注意力加权的交互特征以及注意力加权的车道特征作为输入，输入所述预测模型的长短期记忆网络层，确定该障碍物的预测运动轨迹。

可选地，所述预测模块210，将该障碍物的运动特征以及该障碍物对应的车道特征作为输入，输入所述预测模型的第一注意力层，确定第一注意力结果，所述第一注意力结果表征该障碍物在各历史时刻对各车道拓扑的注意力，根据所述第一注意力结果以及该障碍物对应的车道特征，确定注意力加权的车道特征。

可选地，所述预测模块210，将所述全局交互特征以及该障碍物的运动特征作为输入，输入所述预测模型的第二注意力层，确定第二注意力结果，所述第二注意力结果表征该障碍物在各历史时刻对全局交互特征的注意力，根据所述第二注意力结果以及所述全局交互特征，确定注意力加权的交互特征。

可选地，所述装置还包括：

训练模块212，根据历史上若干次行驶过程中，各时刻采集的障碍物的位置信息，确定各障碍物的实际运动轨迹，根据各时刻各障碍物的实际运动轨迹以及所述若干次行驶过程的车道拓扑，确定训练样本，将所述实际运动轨迹与车道拓扑作为输入，输入预先训练的分类模型，确定所述实际运动轨迹是否在车道上，得到所述实际运动轨迹的可信值，针对每个训练样本，将该训练样本输入待训练的预测模型，得到障碍物的预测运动轨迹，根据预测运动轨迹与实际运动轨迹的差值，以及所述实际运动轨迹的可信值，确定损失，所述可信值越低确定出的损失越大，以最小化损失为目标调整所述待训练的预测模型的模型参数。

本说明书实施例还提供了计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述轨迹预测方法中的任一个。

基于图1提供的轨迹预测过程，本说明书实施例还提出了图8所示的无人车的示意结构图。如图8，在硬件层面，该无人车包括处理器、内部总线、网络接口、内存以及非易失性存储器，处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述轨迹预测方法中的任一个。当然，该无人车中还可包括实现无人车其他功能所需要的硬件。例如，无人车移动所需的移动装置、进行通信所需的通信装置、采集周围环境信息的电子设备等等。

当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进（例如，对二极管、晶体管、开关等电路结构的改进）还是软件上的改进（对于方法流程的改进）。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件（Programmable Logic Device, PLD）（例如现场可编程门阵列（Field Programmable GateArray，FPGA））就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器（logic compiler）”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言（Hardware Description Language，HDL），而HDL也并非仅有一种，而是有许多种，如ABEL（Advanced Boolean Expression Language）、AHDL（Altera Hardware DescriptionLanguage）、Confluence、CUPL（Cornell University Programming Language）、HDCal、JHDL（Java Hardware Description Language）、Lava、Lola、MyHDL、PALASM、RHDL（RubyHardware Description Language）等，目前最普遍使用的是VHDL（Very-High-SpeedIntegrated Circuit Hardware Description Language）与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该（微）处理器执行的计算机可读程序代码（例如软件或固件）的计算机可读介质、逻辑门、开关、专用集成电路（Application Specific Integrated Circuit，ASIC）、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20 以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims

1.一种轨迹预测方法，其特征在于，包括：

确定无人车当前所处位置周围的各障碍物；

将该障碍物的运动特征、该障碍物对应的车道特征以及所述全局交互特征作为输入，输入所述预测模型的长短期记忆网络层，确定该障碍物的预测运动轨迹。

2.如权利要求1所述的方法，其特征在于，将该障碍物在预设时长内的历史轨迹作为输入，通过预先训练的预测模型的第一卷积网络，确定该障碍物的运动特征，具体包括：

3.如权利要求1所述的方法，其特征在于，根据所述预测模型的特征交互层的权重矩阵以及各障碍物的运动特征，确定全局交互特征，具体包括：

4.如权利要求1所述的方法，其特征在于，确定道路中该障碍物所在车道的车道拓扑，具体包括：

确定该障碍物的运动速度以及该障碍物所在车道；

5.如权利要求4所述的方法，其特征在于，将确定出的车道拓扑作为输入，通过所述预测模型的第二卷积网络，确定该障碍物对应的车道特征，具体包括：

将各子车道按照不同顺序排列组合，得到合并车道信息；

6.如权利要求1所述的方法，其特征在于，将该障碍物的运动特征、该障碍物对应的车道特征以及所述全局交互特征作为输入，输入所述预测模型的长短期记忆网络层，确定该障碍物的预测运动轨迹，具体包括：

将该障碍物的运动特征以及该障碍物对应的车道特征作为输入，输入所述预测模型的第一注意力层，确定该障碍物在各历史时刻对应的注意力加权的车道特征，以及将所述全局交互特征以及该障碍物的运动特征作为输入，输入所述预测模型的第二注意力层，确定该障碍物在各历史时刻对应的注意力加权的交互特征；

将该障碍物的运动特征、注意力加权的交互特征以及注意力加权的车道特征作为输入，输入所述预测模型的长短期记忆网络层，确定该障碍物的预测运动轨迹。

7.如权利要求6所述的方法，其特征在于，将该障碍物的运动特征以及该障碍物对应的车道特征作为输入，输入所述预测模型的第一注意力层，确定该障碍物在各历史时刻对应的注意力加权的车道特征，具体包括：

8.如权利要求6所述的方法，其特征在于，将所述全局交互特征以及该障碍物的运动特征作为输入，输入所述预测模型的第二注意力层，确定该障碍物在各历史时刻对应的注意力加权的交互特征，具体包括：

9.如权利要求1所述的方法，其特征在于，所述预测模型通过如下方法训练得到：

10.一种轨迹预测装置，其特征在于，包括：

预测模块，将该障碍物的运动特征、交互特征以及车道特征作为输入，输入所述预测模型的长短期记忆网络层，确定所述障碍物的预测运动轨迹。

11.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1-9任一所述的方法。

12.一种无人车，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1- 9任一所述的方法。