CN116977361A - 一种自动驾驶车辆轨迹预测方法及系统 - Google Patents

Abstract

本发明公开了一种自动驾驶车辆轨迹预测方法及系统，包括如下过程：自我车辆获取周围设定范围内的图像信息，识别出周围的其他车辆或行人信息；获取识别出的其他车辆或行人的历史轨迹信息；基于其他车辆以及行人历史轨迹信息，预测其他车辆或行人下一时刻的运行轨迹；基于其他车辆或行人下一时刻的运行轨迹，确定自我车辆下一时刻的运行轨迹；基于自我车辆下一时刻的运行轨迹，控制自我车辆的运动。本发明充分考虑车辆周围多个运动物体对于自我车辆运动轨迹的影响，保证了自我车辆的安全运行。

Description

一种自动驾驶车辆轨迹预测方法及系统

技术领域

本发明涉及自动驾驶技术领域，尤其涉及一种自动驾驶车辆轨迹预测方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

目前目标检测和预测是车辆感知的基本组成部分。车辆轨迹预测是车辆自主导航的一项关键感知任务，因此建立有意义的评价指标和鲁棒性方法至关重要。

深度学习模型在训练过程中，从输入端(输入数据)到输出端会得到一个预测结果，与真实结果相比较会得到一个误差，这个误差会在模型中的每一层传递(反向传播)，每一层的表示都会根据这个误差来做调整，直到模型收敛或达到预期的效果才结束，这是端到端的。

在激光雷达工作中检测并跟踪对象，以获得目标车辆的历史轨迹。这些可以与自回归预测方法一起使用，来估计车辆周围物体的未来运动轨迹。简化了多阶段感知堆栈，并训练多任务神经网络直接从原始传感器数据中联合检测、跟踪和预测目标位置。

然而，这种端到端的方法往往只预测单个运动物体(比如车辆周围的其他运动车辆或行人)的未来轨迹，而不考虑车辆周围多个运动物体的影响而导致的未来轨迹的不确定性，比如物体可能会转向或减速。

发明内容

为了解决上述问题，本发明提出了一种自动驾驶车辆轨迹预测方法及系统，能够实现对车辆周围的多个目标(车辆周围的运动车辆或行人)运动轨迹进行预测，基于检测结果实施对车辆的横向纵向系统控制服务，给用户提供更智能的驾驶服务体验及安全保障。

在一些实施方式中，采用如下技术方案：

一种自动驾驶车辆轨迹预测方法，包括如下过程：

自我车辆获取周围设定范围内的图像信息，识别出周围的其他车辆或行人信息；

将获取的图像信息储存在缓存中，对识别的其他车辆或行人进行轨迹描绘；

获取并存储识别出的其他车辆或行人的历史轨迹信息；

基于其他车辆以及行人历史轨迹信息，预测其他车辆或行人下一时刻的运行轨迹；

基于其他车辆或行人下一时刻的运行轨迹，确定自我车辆下一时刻的运行轨迹；

基于自我车辆下一时刻的运行轨迹，控制自我车辆的运动。

基于所述运动控制指令，使用纵向PID控制器控制车辆的前进和后退，使用纬度PID控制器控制车辆的转向；同时获取交通信号灯数据以及前方车辆的加速度数据，使用训练好的神经网络分类器，输出自我车辆的制动行为，以控制自我车辆进行制动。

在另一些实施方式中，采用如下技术方案：

一种自动驾驶车辆轨迹预测系统，包括：

目标识别模块，用于通过自我车辆获取周围设定范围内的图像信息，识别出周围的其他车辆或行人信息；将获取的图像信息储存在缓存中，对识别的其他车辆或行人进行轨迹描绘；

目标历史轨迹识别模块，用于获取并存储识别出的其他车辆或行人的历史轨迹信息；

目标轨迹预测模块，用于基于其他车辆以及行人历史轨迹信息，预测其他车辆或行人下一时刻的运行轨迹；

自我轨迹确定模块，用于基于其他车辆或行人下一时刻的运行轨迹，确定自我车辆下一时刻的运行轨迹；

自我运动控制模块，用于基于自我车辆下一时刻的运行轨迹，控制自我车辆的运动。

在另一些实施方式中，采用如下技术方案：

一种终端设备，其包括处理器和存储器，处理器用于实现指令；存储器用于存储多条指令，所述指令适于由处理器加载并执行上述的基于输出响应重构的高精度电池模型参数辨识方法。

在另一些实施方式中，采用如下技术方案：

一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行上述的基于输出响应重构的高精度电池模型参数辨识方法。

与现有技术相比，本发明的有益效果是：

(1)本发明在进行自我车辆自动运行时，基于周围其他车辆和行人的历史轨迹信息，预测其未来的运行轨迹，进而确定自我车辆下一时刻的运动规划(比如转向、减速或制动)，充分考虑车辆周围多个运动物体对于自我车辆运动轨迹的影响，保证了自我车辆的安全运行。

(2)本发明在进行行人未来轨迹预测时，不仅考虑行人的历史运动轨迹，还综合考虑了周围其他车辆对于行人运动轨迹的影响，使得行人运行轨迹预测更加准确。

(3)本发明将车辆的所有传感器都融合在一起，集成在车辆域控制器上，用于行车的智能辅助驾驶，使得成本更加低，轨迹规划处理更加迅速。

本发明的其他特征和附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本方面的实践了解到。

附图说明

图1为本发明实施例中的自动驾驶车辆轨迹预测方法流程图。

具体实施方式

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例一

在一个或多个实施方式中，公开了一种自动驾驶车辆轨迹预测方法，结合图1，具体包括如下过程：

(1)自我车辆获取周围设定范围内的图像信息，识别出周围的其他车辆或行人信息；

本实施例中，自我车辆周围的其他车辆包括自我车辆在预定距离范围内的同一车道内的前车和后车，以及自我车辆相邻车道的并排车辆，以及并排车辆同一车道内的前车和后车。每辆车辆的运动轨迹包括直线行驶、左转弯、右转弯、左变道和右变道中的任意一种；行人包括自我车辆周围设定范围内的行人。

通过自我车辆的前摄像头和两侧摄像头对周围的环境进行检测，获取连续视频帧信息；

基于连续视频帧提取处于运动状态的目标关键点特征，确定关键点特征的宽度和高度，将宽度和高度分别与车辆和行人设定的阀值进行比较，基于比较结果识别出处于运动状态的目标是其他车辆还是行人，同时分别提取出其他车辆或行人的相关信息并存储。

其中，其他车辆信息包括：时间、车辆数量、每一个其他车辆的类型、位置和车牌号；行人信息包括：时间、行人数量、每一个行人的位置、面部特征和衣服颜色。

(2)将获取的图像信息储存在缓存中，对识别的其他车辆或行人进行轨迹描绘；获取并存储识别出的其他车辆或行人的历史轨迹信息；

本实施例中，基于识别到的其他车辆的信息，通过识别车牌号得到同一车辆在不同时间的位置，按照时间顺序将这些位置进行关联，得到所有其他车辆的历史轨迹；

基于识别到的行人的信息，通过面部特征和衣服颜色得到同一行人在不同时间的位置，按照时间顺序将这些位置进行关联，得到所有行人的历史轨迹。

为了保证轨迹预测的实时性，本实施例仅保留目标在设定时间段内的历史运动轨迹，超过设定时间后或者目标脱离自我车辆的监控范围后，历史轨迹自动删除。

(3)基于其他车辆以及行人历史轨迹信息，预测其他车辆或行人下一时刻的运行轨迹；

本实施例中，将其他车辆的历史轨迹，输入至训练好的车辆轨迹预测模型，得到其他车辆下一时刻的运行轨迹；

其中，车辆轨迹预测模型采用长短时记忆神经网络(LSTM)；获取当前运动区域内多个车辆的历史轨迹以及下一时刻的真实运动轨迹，构建训练数据集，基于所述数据集对长短时记忆神经网络进行训练；所述数据集包括：车辆类型、时间区段、车辆在该时间区段内的历史轨迹和下一时刻的真实运动轨迹。

本实施例在对车辆轨迹预测模型进行训练时，将一天划分为不同的时间段，比如早上7:00-9:00，9:00-11:00，11:00-13:00等等，因为不同的时间段车辆的运行规律可能存在不同，比如：早高峰期间车辆比较拥堵，往来车辆较多，车辆下一时刻的运动轨迹变化较大；而晚上车辆则比较少，车辆下一时刻的运动轨迹变化较少。

本实施例中，基于其他车辆以及行人历史轨迹信息，预测行人下一时刻的运行轨迹，具体为：

将其他车辆的历史轨迹以及行人的历史轨迹，输入至训练好的行人轨迹预测模型，得到行人下一时刻的运行轨迹；

其中，行人轨迹预测模型采用长短时记忆神经网络(LSTM)；对于行人轨迹预测模型的训练过程如下：

获取当前运动区域内行人历史轨迹数据，该行人设定范围内车辆的历史轨迹信息，以及行人下一时刻真实的运动轨迹，构建训练数据集；基于所述数据集对长短时记忆神经网络进行训练。

行人下一时刻的运行轨迹会受到周围车辆的影响，本实施例在对行人下一时刻轨迹预测时，充分考虑到目标行人与其周围车辆之间的信息交互，提高了行人轨迹预测的准确性。

(4)基于其他车辆或行人下一时刻的运行轨迹，确定自我车辆下一时刻的运行轨迹；

具体地，基于自我车辆当前的位置，通过图像采集与特征识别，确定自我车辆附近设定范围内的所有其他车辆信息和行人信息；

同时预测这些车辆和行人下一时刻的运行轨迹；

基于自我车辆规划的全局车辆路径，以及其他车辆和行人下一时刻的运行轨迹，确定自我车辆下一时刻的运动是否会产生与其他车辆或行人碰撞的可能，如果没有，按照全局车辆路径确定下一时刻的运动轨迹；如果有，更新自我车辆的局部运动路径。

本实施例将其他车辆或行人下一时刻的预测轨迹与自我车辆规划的下一时刻目标轨迹进行对比，判断下一时刻两者之间的距离是否在设定的阈值范围之外，如果是，则不会产生碰撞；否则，视为会产生碰撞，基于周围交通环境对自我车辆重新进行轨迹规划，如当前交通情况不具备产生轨迹规划的条件，则选择刹停等待。

(5)基于自我车辆下一时刻的运行轨迹，控制自我车辆的运动。

本实施例中，基于自我车辆下一时刻的运行轨迹，生成自我车辆运动控制指令；

基于运动控制指令，使用纵向PID控制器控制车辆的前进和后退，使用纬度PID控制器控制车辆的转向；同时，自我车辆获取交通信号灯数据(红绿灯数据)以及前方车辆的加速度数据(前方车辆的刹车或减速或紧急停车)，将这些数据输入至训练好的神经网络分类器，输出自我车辆的制动行为，以控制自我车辆进行制动。

神经网络分类器不断学习之前的数据以及对应的自我车辆的制动行为，通过不断学习，自我车辆再遇到这类情况时，会做出相应的制动行为，形成自我车辆自动驾驶时的自动制动(刹车)。

实施例二

在一个或多个实施方式中，公开了一种自动驾驶车辆轨迹预测系统，包括：

目标识别模块，用于通过自我车辆获取周围设定范围内的图像信息，识别出周围的其他车辆或行人信息；将获取的图像信息储存在缓存中，对识别的其他车辆或行人进行轨迹描绘；

目标历史轨迹识别模块，用于获取并存储识别出的其他车辆或行人的历史轨迹信息；

目标轨迹预测模块，用于基于其他车辆以及行人历史轨迹信息，预测其他车辆或行人下一时刻的运行轨迹；

自我轨迹确定模块，用于基于其他车辆或行人下一时刻的运行轨迹，确定自我车辆下一时刻的运行轨迹；

自我运动控制模块，用于基于自我车辆下一时刻的运行轨迹，控制自我车辆的运动。

需要说明的是，上述各模块的具体实现方式与实施例一中相同，不再详述。

在一个或多个实施方式中，公开了一种终端设备，包括服务器，所述服务器包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现实施例一中的自动驾驶车辆轨迹预测方法。为了简洁，在此不再赘述。

应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。

在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。

实施例四

在一个或多个实施方式中，公开了一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行实施例一中所述的自动驾驶车辆轨迹预测方法。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种自动驾驶车辆轨迹预测方法，其特征在于，包括如下过程：

自我车辆获取周围设定范围内的图像信息，识别出周围的其他车辆或行人信息；

将获取的图像信息储存在缓存中，对识别的其他车辆或行人进行轨迹描绘；

获取识别出的其他车辆或行人的历史轨迹信息；

基于其他车辆以及行人历史轨迹信息，预测其他车辆或行人下一时刻的运行轨迹；

基于其他车辆或行人下一时刻的运行轨迹，确定自我车辆下一时刻的运行轨迹；

基于自我车辆下一时刻的运行轨迹，控制自我车辆的运动。

2.如权利要求1所述的一种自动驾驶车辆轨迹预测方法，其特征在于，自我车辆获取周围设定范围内的图像信息，识别出周围的其他车辆或行人信息，具体为：

通过车辆的前摄像头和两侧摄像头对周围的环境进行检测，获取连续视频帧信息；

基于所述视频帧提取处于运动状态的目标关键点特征，确定所述关键点特征的宽度和高度，将所述宽度和高度分别与车辆和行人设定的阀值进行比较，识别出处于运动状态的目标是其他车辆还是行人，同时分别提取出其他车辆或行人的相关信息并存储；其中，

所述其他车辆信息包括：时间、车辆数量、每一个其他车辆的类型、位置和车牌号；所述行人信息包括：时间、行人数量、每一个行人的位置、面部特征和衣服颜色。

3.如权利要求1所述的一种自动驾驶车辆轨迹预测方法，其特征在于，获取识别出的其他车辆或行人的历史轨迹信息，具体为：

基于识别到的其他车辆的信息，通过车牌号得到同一车辆在不同时间的位置，按照时间顺序将这些位置进行关联，得到所有其他车辆的历史轨迹；

基于识别到的行人的信息，通过面部特征和衣服颜色得到同一行人在不同时间的位置，按照时间顺序将这些位置进行关联，得到所有行人的历史轨迹。

4.如权利要求1所述的一种自动驾驶车辆轨迹预测方法，其特征在于，基于其他车辆的历史轨迹信息，预测其他车辆下一时刻的运行轨迹，具体为：

将其他车辆的历史轨迹，输入至训练好的车辆轨迹预测模型，得到其他车辆下一时刻的运行轨迹；

其中，所述车辆轨迹预测模型采用长短时记忆神经网络(LSTM)；获取当前运动区域内多个车辆的历史轨迹以及下一时刻的真实运动轨迹，构建训练数据集，基于所述数据集对长短时记忆神经网络进行训练；所述数据集包括：车辆类型、时间区段、车辆在该时间区段内的历史轨迹和下一时刻的真实运动轨迹。

5.如权利要求1所述的一种自动驾驶车辆轨迹预测方法，其特征在于，基于其他车辆以及行人历史轨迹信息，预测行人下一时刻的运行轨迹，具体为：

将其他车辆的历史轨迹以及行人的历史轨迹，输入至训练好的行人轨迹预测模型，得到行人下一时刻的运行轨迹；

其中，所述行人轨迹预测模型采用长短时记忆神经网络(LSTM)；对于行人轨迹预测模型的训练过程如下：

获取当前运动区域内行人历史轨迹数据，该行人设定范围内车辆的历史轨迹信息，以及行人下一时刻真实的运动轨迹，构建训练数据集；基于所述数据集对长短时记忆神经网络进行训练。

6.如权利要求1所述的一种自动驾驶车辆轨迹预测方法，其特征在于，基于其他车辆或行人下一时刻的运行轨迹，确定自我车辆下一时刻的运行轨迹，具体为：

基于自我车辆当前的位置，通过图像采集与识别，确定自我车辆附近设定范围内的所有其他车辆信息和行人信息；

同时预测这些其他车辆和行人下一时刻的运行轨迹；

基于自我车辆规划的全局车辆路径，以及其他车辆和行人下一时刻的运行轨迹，确定自我车辆下一时刻的运动是否会产生与其他车辆或行人碰撞的可能，如果没有，按照全局车辆路径确定下一时刻的运动轨迹；如果有，更新自我车辆的局部运动路径，如当前交通情况不具备更新自我车辆的局部运动路径的条件，则选择减速或停车等待。

7.如权利要求1所述的一种自动驾驶车辆轨迹预测方法，其特征在于，基于自我车辆下一时刻的运行轨迹，控制自我车辆的运动，具体为：

基于自我车辆下一时刻的运行轨迹，生成自我车辆运动控制指令；

基于所述运动控制指令，使用纵向PID控制器控制车辆的前进和后退，使用纬度PID控制器控制车辆的转向；同时获取交通信号灯数据以及前方车辆的加速度数据，使用训练好的神经网络分类器，输出自我车辆的制动行为，以控制自我车辆进行制动。

8.一种自动驾驶车辆轨迹预测系统，其特征在于，包括：

目标识别模块，用于通过自我车辆获取周围设定范围内的图像信息，识别出周围的其他车辆或行人信息；将获取的图像信息储存在缓存中，对识别的其他车辆或行人进行轨迹描绘；

目标历史轨迹识别模块，用于获取识别出的其他车辆或行人的历史轨迹信息；

目标轨迹预测模块，用于基于其他车辆以及行人历史轨迹信息，预测其他车辆或行人下一时刻的运行轨迹；

自我轨迹确定模块，用于基于其他车辆或行人下一时刻的运行轨迹，确定自我车辆下一时刻的运行轨迹；

自我运动控制模块，用于基于自我车辆下一时刻的运行轨迹，控制自我车辆的运动。

9.一种终端设备，其包括处理器和存储器，处理器用于实现指令；存储器用于存储多条指令，其特征在于，所述指令适于由处理器加载并执行权利要求1－7任一项所述的基于输出响应重构的高精度电池模型参数辨识方法。

10.一种计算机可读存储介质，其中存储有多条指令，其特征在于，所述指令适于由终端设备的处理器加载并执行权利要求1－7任一项所述的基于输出响应重构的高精度电池模型参数辨识方法。