CN111091708B - 车辆轨迹预测方法及装置 - Google Patents

车辆轨迹预测方法及装置 Download PDF

Info

Publication number
CN111091708B
CN111091708B CN201911284048.9A CN201911284048A CN111091708B CN 111091708 B CN111091708 B CN 111091708B CN 201911284048 A CN201911284048 A CN 201911284048A CN 111091708 B CN111091708 B CN 111091708B
Authority
CN
China
Prior art keywords
space
sample
time diagram
time
vehicles
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911284048.9A
Other languages
English (en)
Other versions
CN111091708A (zh
Inventor
张锲石
程俊
胡灵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201911284048.9A priority Critical patent/CN111091708B/zh
Publication of CN111091708A publication Critical patent/CN111091708A/zh
Application granted granted Critical
Publication of CN111091708B publication Critical patent/CN111091708B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0129—Traffic data processing for creating historical data or processing based on historical data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请适用于智能交通技术领域，提供了车辆轨迹预测方法，包括：获取预设时段内的多个车辆的历史轨迹数据，对历史轨迹数据进行预处理，得到历史轨迹数据对应的时空图序列，时空图序列包括预设时段内按时间先后顺序排列的每个时刻对应的时空图，其中，时空图包括至少三个车辆对应的节点，将时空图序列输入已训练的预测模型进行处理，得到车辆各自对应的预测行驶轨迹，预测模型基于同一时段内多个样本车辆的样本轨迹数据对应的样本时空图及样本车辆各自对应的样本行驶轨迹对长短期记忆网络LSTM训练得到。本申请还提供车辆轨迹预测装置及终端设备，提高对车辆轨迹预测的精确度和预测模型的灵活性，也增强了鲁棒性，也更好地应用于无人驾驶。

Description

车辆轨迹预测方法及装置
技术领域
本申请属于智能交通技术领域，尤其涉及车辆车来那个轨迹预测方法及装置。
背景技术
车辆运行轨迹是对交通流运行状态最全面和完整的表达，不仅可以体现车辆在路网上的行驶路径，而且可以反映车辆运行速度随时间和空间的变化规律，蕴含非常丰富的交通流信息。
目前，车辆轨迹预测重在解决目标车辆与周围车辆交互信息(数据在时序和空间的交互以及语义关系)的提取和融合。传统的提取方法只是基于车辆的历史轨迹进行提取，并未对车辆之间的交互进行捕捉，不能感知相对位置，这样导致车辆的轨迹预测难以全面捕捉车辆与周围车辆之间的相关交互性，使车辆轨迹预测的精确度不高。
发明内容
本申请实施例提供了车辆轨迹预测方法及装置，可以解决现有研究忽略了时间和空间之间的关联性、使车辆轨迹预测的精度不高的问题。
第一方面，本申请实施例提供了一种车辆轨迹预测方法，包括：
获取预设时段内的多个车辆的历史轨迹数据，对所述历史轨迹数据进行预处理，得到所述历史轨迹数据对应的时空图序列，所述时空图序列包括所述预设时段内按时间先后顺序排列的每个时刻对应的时空图，其中，所述时空图包括至少三个车辆对应的节点；
将所述时空图序列输入已训练的预测模型进行处理，得到所述车辆各自对应的预测行驶轨迹，所述预测模型基于同一时段内多个样本车辆的样本轨迹数据对应的样本时空图及所述样本车辆各自对应的样本行驶轨迹对长短期记忆网络LSTM训练得到。
可选地，所述将所述时空图序列输入已训练的预测模型进行处理，得到所述车辆各自对应的预测行驶轨迹，包括：
将所述时空图序列输入已训练的预测模型，对所述时空图序列进行特征提取处理，得到所述时空图序列对应的边参特征和点参特征，所述时空图序列对应的点参特征用于标识每个所述节点在所述预设时段内的每个时刻的坐标，所述时空图序列对应的边参特征用于标识任意两个所述节点在所述预设时段内的每个时刻对应的第一距离，以及每个所述节点在任意两个相邻时刻对应的第二距离；
根据所述时空图序列对应的边参特征和点参特征进行轨迹预测处理，得到所述车辆各自对应的预测行驶轨迹。
可选地，所述预测模型包括特征提取网络，所述特征提取网络用于对所述时空图序列进行特征提取处理，所述特征提取网络包括三个子网络，每个子网络包括多个LSTM，所述边参特征包括空间边参特征以及时间边参特征，所述空间边参特征标识所述第一距离，所述时间边参特征用于标识所述第二距离；
所述对所述时空图进行特征提取处理，得到所述时空图的边参特征和点参特征，包括：
采用所述预测模型的第一特征提取网络提取所述时空图进行处理，得到所述时空图的点参特征；
采用所述预测模型的第二特征提取网络提取所述时空图进行处理，得到所述时空图的时间边参特征；
采用所述预测模型的第三特征提取网络提取所述时空图进行处理，得到所述时空图的空间边参特征。
可选地，所述根据所述时空图序列对应的边参特征和点参特征进行轨迹预测处理，得到所述车辆各自对应的预测行驶轨迹，包括：
对所述时空图序列对应的边参特征和点参特征进行处理，得到每个所述时空图对应的边参特征和点参特征；
基于每个所述时空图对应的边参特征和点参特征进行轨迹预测处理，得到所述车辆各自对应的预测行驶轨迹。
可选地，所述预测模型还包括轨迹预测网络，所述轨迹预测网络用于预测轨迹，所述轨迹预测网络包括多个LSTM：
采用所述轨迹预测网络对所述时空图序列对应的边参特征和点参特征进行处理，得到所述时空图序列中的每个时空图对应的目标边参特征和目标点参特征，其中，所述目标边参特征包括目标空间边参特征和目标时间边参特征；
相应地，所述基于每个所述时空图对应的边参特征和点参特征进行轨迹预测处理，得到所述车辆各自对应的预测行驶轨迹，包括：
采用所述轨迹预测网络对所述目标边参特征信息和所述目标点参特征信息进行特征融合处理，得到融合后的特征；
基于所述融合后的特征进行连接处理，得到所述车辆各自对应的预测行驶轨迹。
可选地，所述预测模型的训练过程包括：
获取同一时段内的多个样本车辆的样本轨迹数据以及每个样本车辆自对应的样本行驶轨迹；
对所述多个样本车辆的样本轨迹数据进行预处理，得到所述多个样本车辆的样本轨迹数据对应的样本时空图序列，其中，所述样本时空图序列包括所述同一时段内按时间先后顺序排列的每个时刻对应的样本时空图；
通过所述长短期记忆网络LSTM对每个所述样本时空图序列进行特征提取，得到所述样本时空图序列对应的样本边参特征和样本点参特征；
对所述样本时空图序列对应的样本边参特征和样本点参特征进行特征融合，得到所述样本车辆各自对应的行驶轨迹；
基于所述样本车辆各自对应的行驶轨迹以及样本行驶轨迹对所述长短期记忆网络LSTM进行迭代训练，得到所述已训练的预测模型。
可选地，所述获取同一时段内的多个样本车辆的样本轨迹数据，包括：
获取预设时段内多种交通状况对应的数据集；
将所述数据集投影至预设坐标系中得到每个所述样本车辆的样本坐标；
将每个所述样本车辆在所述预设时段内的每个时刻的坐标作为每个所述样本车辆的样本轨迹数据。
可选地，所述对所述历史轨迹数据进行预处理，得到所述历史轨迹数据对应的时空图序列，包括：
从预设的公路交通数据集中获取所述历史轨迹数据，获取所述历史轨迹数据中的车辆位置信息和所述车辆位置信息对应的拍摄时间；
基于所述车辆位置信息和所述拍摄时间构建所述时空图序列。
第二方面，本申请实施例提供了一种车辆轨迹预测装置，包括：
获取模块，用于获取预设时段内的多个车辆的历史轨迹数据，对所述历史轨迹数据进行预处理，得到所述历史轨迹数据对应的时空图序列，所述时空图序列包括所述预设时段内按时间先后顺序排列的每个时刻对应的时空图，其中，所述时空图包括至少三个车辆对应的节点；
处理模块，用于将所述时空图序列输入已训练的预测模型进行处理，得到所述车辆各自对应的预测行驶轨迹，所述预测模型基于同一时段内多个样本车辆的样本轨迹数据对应的样本时空图及所述样本车辆各自对应的样本行驶轨迹对长短期记忆网络LSTM训练得到。
第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的车辆轨迹预测方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的车辆轨迹预测方法。
本申请实施例与现有技术相比存在的有益效果是：通过获取预设时段内的多个车辆的历史轨迹数据，对所述历史轨迹数据进行预处理，得到所述历史轨迹数据对应的时空图序列，将所述时空图序列输入已训练的预测模型进行处理，得到所述车辆各自对应的预测行驶轨迹，所述预测模型基于同一时段内多个样本车辆的样本轨迹数据对应的样本时空图及所述样本车辆各自对应的样本行驶轨迹对长短期记忆网络LSTM训练得到。通过上述车辆轨迹预测方法，运用时空图的数据结构形式，根据时空图中的各节点和各节点相连的边的关系，转化成相应的数据集，从而减少了车辆轨迹预测的训练参数，提高了对车辆轨迹预测的精确度和预测模型的灵活性，也增强了鲁棒性，同时也更好地应用于无人驾驶。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的车辆轨迹预测方法的流程示意图；
图2是本申请实施例提供的时空图的结构示意图；
图3是本申请另一实施例提供的车辆轨迹预测方法的流程示意图；
图4是本申请实施例提供的预测网络模型的结构示意图；
图5是本申请实施例提供的预测网络模型的训练过程的流程示意图；
图6是本申请实施例提供的车辆轨迹预测装置的结构示意图；
图7是本申请实施例提供的终端设备的流程示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
图1示出了本申请一实施例提供的车辆轨迹预测方法的流程图，如图1，包括以下S101至S102，具体步骤如下：
S101：获取预设时段内的多个车辆的历史轨迹数据，对所述历史轨迹数据进行预处理，得到所述历史轨迹数据对应的时空图序列，所述时空图序列包括所述预设时段内按时间先后顺序排列的每个时刻对应的时空图，其中，所述时空图包括至少三个车辆对应的节点；
在本实施例中，轨迹数据是对移动对象的运动过程采样得到的数据，包含采样位置、时间、运动速度等属性信息，将采样点按照时间先后顺序排序就形成移动对象的轨迹，车辆的历史轨迹数据是基于时间采样的轨迹数据，是在等时间间隔记录车辆移动的信息。车辆的历史轨迹数据可以是车辆在公路上行驶时拍摄的照片，也可以是一段时间内拍摄的视频。这里历史轨迹数据是在真实高速公路记录的车辆轨迹数据，主要包括车辆图像和拍摄时间，去除拍摄的侧航图像的噪声并作归一化处理即选择符合要求尺寸的图像，并将该图像中的各车辆的图像按照合适比例投影至设定的坐标系或方格中，标记每个车辆对应的节点，以及各节点在同一时刻的位置即坐标，根据当前时刻各节点的坐标及下一时刻各节点的坐标来构建时空图，该时空图包括各节点和各节点之间的距离，随着时间变化各节点的坐标发生变化，且各节点之间的距离也发生变化。
需要说明的是，时空图可以看成由多个节点和各节点之间连接的边组成的图形，可以将时空图中的各节点作为点集，将时空图中的任意两个节点之间的距离作为边集。一张时空图可以表示各辆车在同一时刻的运动状态，例如，三辆车对应的三个节点可以在同一时空图中形成三角形和以各节点为中心的圆，这样便于构建时空图，并可以很方便地运用几何函数和矩阵来表示各节点之间的关联性。不同时刻的多张时空图可以标识各车辆在不同时刻的相对位置关系。通过将车辆的历史轨迹数据进行预处理得到时空图，可以便捷地对时空图进行特征提取和分析，提高了车辆轨迹预测的处理流程的效率。
S102：将所述时空图序列输入已训练的预测模型进行处理，得到所述车辆各自对应的预测行驶轨迹，所述预测模型基于同一时段内多个样本车辆的样本轨迹数据对应的样本时空图及所述样本车辆各自对应的样本行驶轨迹对长短期记忆网络LSTM训练得到。
将S101中待预测行驶轨迹的多个车辆对应的时空图序列按照时间顺序输入已训练的预测模型进行处理，预测得到车辆各自对应的预测行驶轨迹。
在本实施例中，预测模型是基于长短时记忆网络LSTM构建的，长短期记忆网络(Long Short-Term Memory，LSTM)是一种时间循环神经网络，主要包括输入门、遗忘门和输出门的网络结构，样本车辆的样本轨迹数据可以是由来自现有技术的车辆运动预测的公开有用的NGSIM US-101和I-80数据集，该数据集是以10hz的频率在45分钟内捕捉到的，该数据集包含有15分钟路段的轻度拥堵交通状况的车辆轨迹数据、15分钟路段的中度拥堵交通状况和15分钟路段的严重拥堵交通状况的三个子集，从每个子集中选取四分之一的轨迹数据作为测试集，可以用来检验最终选择最优的模型的性能。
将样本车辆投射到预设坐标系得到车辆坐标和车辆对应的节点，可以将样本车辆的样本轨迹数据在语义上划分为点集和边集，根据训练集中的样本车辆的样本轨迹数据对应的点集和边集构建样本时空图序列，将样本时空图序列输入长短期记忆网络中处理，基于样本时空图中每个节点对应的行驶轨迹以及预置的行驶轨迹进行训练，训练得到训练后的预测模型。再将测试集中的样本车辆的样本轨迹数据对应的该点集和边集构建测试时空图序列训练后的预测模型进行处理，得到测试行驶轨迹，根据测试行驶轨迹与测试集中每个样本车辆对应的预置的行驶轨迹，验证训练后的预测模型的准确度。
需要说明的是，每张时空图的尺寸相同，时空图的像素可以是相同的，将所有构建好的时空图按照时间顺序排序得到时空图序列，之后将时空图序列作为网络模型训练的输入，采用按照时间顺序前向传播和反向传播方式进行训练，其中，前向传播是指前向传递输入信号直至输出产生误差，反向传播误差信息更新权重矩阵，这样可以提高对特征提取的效率。
应理解，通过对车辆的历史数据进行预处理并构建时空图序列，将时空图序列作为预测网络模型的输入，可以有效利用时间和空间之间的关联性，减少数据处理量，且利用长短期记忆网络对时空图进行局部特征的提取，以吩咐了神经网络的表达力，也提高了车辆轨迹预测的精确度。
可选地，S102可以包括S11～S12，具体如下：
S11：将所述时空图序列输入已训练的预测模型，对所述时空图序列进行特征提取处理，得到所述时空图序列对应的边参特征和点参特征，所述时空图序列对应的点参特征用于标识每个所述节点在所述预设时段内的每个时刻的坐标，所述时空图序列对应的边参特征用于标识任意两个所述节点在所述预设时段内的每个时刻对应的第一距离，以及每个所述节点在任意两个相邻时刻对应的第二距离；
在本实施例中，如图2所示，图2示出了本申请实施例提供的时空图的结构示意图，将时空图序列进行局部特征提取，以同一时空图中包含三辆车辆及五辆汽车对应的节点为例，时间t＝1s，可以确定五个节点在1s时的坐标，将三个节点分别连接形成八条边，该八条边的长度即距离可以作为边参特征。在第2s时，每个节点可能发生变化，且每个节点之间的距离可能发生变化，可以将每个节点在不同时刻的坐标作为点参特征，将任意两个所述节点在所述预设时段内的每个时刻对应的第一距离，以及每个所述节点在任意两个相邻时刻对应的第二距离作为边参特征，对应的至少需要三层LSTM，并在已训练好的长短期记忆网络进行特征提取。
需要说明的是，在长短期记忆网络中可以将点参特征和边参特征看成是LSTM的输入，在每个时刻把每个节点周边的节点的隐藏状态计算出来，这样可以体现这种动态的车辆交互信息，从而提高了车辆轨迹预测的准确性。
S12：根据所述时空图序列对应的边参特征和点参特征进行轨迹预测处理，得到所述车辆各自对应的预测行驶轨迹。
在本实施例中，在长短期记忆网络中分别对点参特征和边参特征进行特征提取，通过将提取的局部特征进行连接即融合，利用迭代算法与样本时空图的测试集在长短期记忆网络中训练的训练结果进行估算即预测，换言之，将时空图序列嵌入表达，编码器的编码端采用长短期记忆网络LSTM，将多个嵌入表达后的时空图输入LSTM网络，在编码器的输出端形成映射关系，求得编码向量表示该时空图组合向量，在解码器端将编码向量作为解码端的LSTM网络，并对编码器隐藏层向量施加线性转换层，每次把上一时刻的预测值作为当前时刻的输入至并送人解码器中得到输出结果，将最后时刻的输出向量作为预测值经过softmax层求得预测值。
需要说明的是，为了测试提出方案的性能，将其与现有的轨迹预测方法进行了对比，所提出的方法不需要路网拓扑结构、道路条件等额外信息，因此，选取基于马尔科夫链的全局马尔科夫模型(GMM)进行比较，GMM使用训练集中的数据统计概率，并在预测时查找概率最大的时空图作为目标，将t时刻时空图中的各节点轨迹预测t+1时刻的各节点轨迹与N阶GMM进行比较。
应理解，编码解法比GMM在预测准确率上有较大提升，对于复杂路况，编码解法的动态学习效果能够恶妇缺乏历史数据的缺点，通过动态调整权重给出较优结果，同时，实验结果不同于GMM的地方在于，当节点的数量为5个时，预测效果最佳，原因在于神经网络对适当长度的序列能更好地学习，以进一步提高了车辆轨迹预测的精确度。
图3示出了本申请另一实施例提供的车辆轨迹预测方法中S11的细化流程图，如图3，包括以下S201至S203。
所述预测模型包括特征提取网络，所述特征提取网络用于对所述时空图序列进行特征提取处理，所述特征提取网络包括三个子网络，每个子网络包括多个LSTM，所述边参特征包括空间边参特征以及时间边参特征，所述空间边参特征标识所述第一距离，所述时间边参特征用于标识所述第二距离；
参阅图4，图4示出了特征提取网络的结构示意图，所述对所述时空图进行特征提取处理，得到所述时空图的边参特征和点参特征，包括：
S201：采用所述预测模型的第一特征提取网络提取所述时空图进行处理，得到所述时空图的点参特征；
在本实施例中，第一特征提取网络主要是将车辆对应的节点坐标嵌入表达，对节点特征进行运算得到每个节点的隐藏状态，例如一张时空图中的节点V1和V2，那么Xv1v2是节点V1和V2之间的空间距离，也就是空间边，间距离也即两个所述节点在预设时段内的每个时刻对应的第一距离，XV2V2是时间边，那么可以采用以下公式表示：
车辆的坐标Xtv1进行嵌入：et v1＝φ(Xt v1；Wembed)
其中，Φ指的是线性层进行嵌入里面的参数是：Xt v1指的是坐标参数，Wembed指的是嵌入层的权重。
接着节点LSTM：Ht v1＝LSTM(ht-1 v1,et v1,Ws lstm)
其中，Xtv1表示t时刻节点V1对应的车辆的坐标，Φ指的是线性层进行嵌入里面的参数是：Xtv1指的是坐标参数，Wembed指的是嵌入层的权重，ht-1 v1指的是上一时刻的隐藏状态，et v1指的是上一步骤中嵌入的向量，Wt lstm指的是LSTM的权重。可将上述运算过程看成是LSTM网络的编码器对节点的坐标进行编码的过程，需要LSTM网络的一个网络分支即子网络进行特征提取，这样可以降低后续处理的误差。空间距离也即两个所述节点在预设时段内的每个时刻对应的第一距离，XV2V2标识时空图序列中每个节点在任意两个相邻时刻对应的第二距离。
S202：采用所述预测模型的第二特征提取网络提取所述时空图进行处理，得到所述时空图的时间边参特征；
在本实施例中，第二特征提取网络主要是将时间边嵌入表达，对时间边进行运算得到时间边，例如一张时空图中的节点V1和V2，那么Xv1v2是节点V1和V2之间的空间距离，也就是空间边，XV2V2是时间边，那么可以采用以下公式表示：
et v1v1＝φ(Xt v1v1；Wt)
ht v1v1＝LSTM(ht-1 v1v1,et v1 v1,Wt lstm)
其中，Xt v1 v1表示节点V1在不同时刻对应的的坐标，Φ指的是线性层进行嵌入里面的参数是：Xt v1指的是时间边参数，Wt指的是嵌入层的权重。也可将上述运算过程看成是LSTM网络的编码器对节点的坐标进行编码的过程，需要LSTM网络的一个网络分支即子网络进行特征提取，这样可以降低后续处理的误差。
S203：采用所述预测模型的第三特征提取网络提取所述时空图进行处理，得到所述时空图的空间边参特征。
在本实施例中，第三特征提取网络主要是将时空图的空间边嵌入表达，该空间边的权重表示任意节点之间的距离，对空间边进行运算得到空间边lstm，例如一张时空图中的节点V1和V2，那么Xv1v2是节点V1和V2之间的空间距离，也就是空间边，XV2V2是时间边。将时空图中的节点V1的所有的空间边进行嵌入，如Xv1v2，Xv1v3等，那么可以采用以下公式表示：
et v1＝φ(Xt v1；Ws)
ht v1＝LSTM(ht-1 v1,et v1,Ws lstm)
预测阶段，预测LSTM：
concat(ht-1 v1，ht-1 v1v1,Ht-1 v1)：
对上一时刻的隐藏状态进行级联：
Hv1 t＝LSTM(et v1，concat(ht-1 v1，ht-1 v1v1,Ht-1 v1),Wlstm)
需要说明的是，Φ指的是线性层进行嵌入里面的参数是：Xt v1指的是空间边参数，Ws指的是嵌入层的权重。通过在长短期记忆网络中分别提取点参特征、时间边参特征和空间边参特征，在池化层进行最大池化去除冗余信息对特征进行压缩，可以简化该长短期记忆网络的复杂度，减小计算量，提高了长短期记忆网络的鲁棒性。
可选地，S12可以包括步骤A1～A2：
步骤A1：对所述时空图序列对应的边参特征和点参特征进行处理，得到每个所述时空图对应的边参特征和点参特征。
在本实施例中，将边参特征和点参特征在长短期记忆网络中通过不同的子网分别进行特征提取，即对同一张时空图进行局部特征提取，这样便于对数据进行归类处理，一定程度上提高了长短期记忆网络的稳定性。
步骤A2：基于每个所述时空图对应的边参特征和点参特征进行轨迹预测处理，得到所述车辆各自对应的预测行驶轨迹。
在本实施例中，在长短期记忆网络中分别计算点参特征和边参特征对应的隐藏状态，将所有隐藏状态进行最大池化处理，有效确保数据的完整性，通过前向传播和方向传播的方式在长短期记忆网络中训练，之后将点参特征和边参特征进行融合，以得到车辆对应的预测行驶轨迹，一定程度上提高了车辆轨迹预测的及时性和可靠性。
可选地，所述预测模型还包括轨迹预测网络，所述轨迹预测网络用于预测轨迹，所述轨迹预测网络包括多个LSTM，S12可以包括步骤A1～A2：
步骤A1可以具体为：采用所述轨迹预测网络对所述时空图序列对应的边参特征和点参特征进行处理，得到所述时空图序列中的每个时空图对应的目标边参特征和目标点参特征，其中，所述目标边参特征包括目标空间边参特征和目标时间边参特征；
在本实施例中，采用轨迹预测网络对时空图序列对应的边参特征和点参特征进行处理，可以看成是解码器的解码过程，即对节点的坐标、图的空间边和时间边进行解码。分别将不同类的lstm的输出进行连接，即相同子网络的输出进行连接。
需要说明的是，轨迹预测网络是基于长短期记忆网络而进行应用的，在训练长短期记忆网络时已经构建好，且训练过测试集的网络模型，得到测试集的输出结果，换言之，两特征提取网络的输出作为轨迹预测网络的输入，以便快速地得到预测结果即车辆的预测行驶轨迹。
相应地，步骤A2可以具体包括：采用所述轨迹预测网络对所述目标边参特征信息和所述目标点参特征信息进行特征融合处理，得到融合后的特征；基于所述融合后的特征进行连接处理，得到所述车辆各自对应的预测行驶轨迹。
在本实施例中，根据目标边参特征和目标点参特征之间的映射关系，建立两者之间的级联关系，即将目标边参特征和目标点参特征进行融合得到融合后的特征，融合后的特征可以是二维的平面图即，也可以是二分图，即包含某一时刻的各车辆的坐标及各车辆之间的距离，这样提高了数据处理的效率。
需要说明的是，根据构建时空图的边参特征和点参特征的对应关系对二维平面图进行反演，或者将融合后的符合要求的每张图进行排序，估算一段时间内车辆在该条道路上的行驶轨迹，这样提高了车辆轨迹预测的精确度。
图5示出了本申请实施例提供的预测网络模型的训练过程的流程示意图，如图3，所述预测模型的训练过程包括以下S301至S305：
S301：获取同一时段内的多个样本车辆的样本轨迹数据以及每个样本车辆自对应的样本行驶轨迹；
在本实施例中，以US-101和I-80数据集作为样本轨迹数据，其中该数据集是以10Hz频率在45分钟内捕捉到的样本数据，数据集包含15分钟路段的轻度、中度和拥挤的三种交通状况对应的三个子集，从该样本轨迹数据的三个子集中选取每个子集的四分之一轨迹作为训练集，这样可以降低数据处理的复杂度，提高长短期记忆网络处理的稳定性。
S302：对所述多个样本车辆的样本轨迹数据进行预处理，得到所述多个样本车辆的样本轨迹数据对应的样本时空图序列，其中，所述样本时空图序列包括所述同一时段内按时间先后顺序排列的每个时刻对应的样本时空图；
在本实施例中，由于样本轨迹数据在采集过程中会夹杂噪声，需要对其进行数据清洗，对于超出预设时间段、或者在某段时间内未发生位移的车辆等异常的数据予以剔除，选取符合要求的时间段内的样本轨迹数据，按照时间顺序排列构建时空图序列，以降低预测误差和车辆轨迹预测过程的可靠性。
S303：通过所述长短期记忆网络LSTM对每个所述样本时空图序列进行特征提取，得到所述样本时空图序列对应的样本边参特征和样本点参特征；
在本实施例中，长短期记忆网络LSTM是循环神经网络(RecurrentNeuralNetwork，RNN)的一个变种，主要解决RNN在分析长序列时出现的梯度小时问题。LSTM在处理个时刻的信息能够记录前序列的信息，编码器中使用LSTM生成包含所有已知轨迹信息即样本轨迹数据的编码向量，解码器中国使用LTM将编码向量作为最初的输入，生成比编码时长度更长的输出作为预测值。按照时间顺序将每个样本时空序列中的各时空图输入长短期记忆网络LSTM中，采用局部特征提取的方式提取该时空图中的各节点及各节点之间相连的边，以便后续在LSTM中进行训练。
S304：对所述样本时空图序列对应的样本边参特征和样本点参特征进行特征融合，得到所述样本车辆各自对应的行驶轨迹；
在本实施例中，根据样本边参特征和样本点参特征之间的映射关系，建立两者之间的级联关系，即将样本边参特征和样本点参特征进行连接得到训练结果，该训练结果可以是二维的平面图即，也可以是二分图，即包含某一时刻的各样本车辆的坐标及各样本车辆之间的距离，该样本车辆的坐标是在时空图中建立的平面坐标系，该平面坐标系是根据车辆的世界坐标即GPS定位时的坐和相机坐标按一定比例投影计算得到的，这样提高了数据处理的效率。
S305：基于所述样本车辆各自对应的行驶轨迹以及样本行驶轨迹对所述长短期记忆网络LSTM进行迭代训练，得到所述已训练的预测模型。
在本实施例中，迭代训练采用迭代法进行数值计算，迭代法是数值计算中一类典型方法，应用于方程求根，方程组求解，矩阵求特征值等方面。其基本思想是逐次逼近，先取一个粗糙的近似值，然后用同一个递推公式，反复校正此初值，直至达到预定精度要求为止。可以设定迭代训练的次数，也可以使用矩阵运算和梯度下降法实现LSTM的迭代训练，以达到精确估算出LSTM的输出结果及预测模型。
需要说明的是，在长短期记忆网络LSTM中采用迭代训练对样本形式轨迹进行处理，可以得到预定精度要求的预测模型，也提高了后续在该预测模型中进行训练的可靠性。
可选地，所述获取同一时段内的多个样本车辆的样本轨迹数据，包括步骤B1～B3：
步骤B1：获取预设时段内多种交通状况的数据集；在本实施例中，该多种交通状况可以是某一路段的轻度、中度、和拥堵的交通状况，优选高速路段，高速路段易于捕捉车辆的图像，预设时段可以是一小时或一天等，根据实际情况设定，此处不作具体限定。
步骤B2：将所述数据集投影至预设坐标系中得到每个所述样本车辆的样本坐标；
在本实施例中，该数据集主要包括预设时段内同一路段拍摄的多张带有车辆的图片，将照片中的车辆按照一定比例投影至预设坐标系中可以得到多个节点及各节点的坐标，可以对某一时刻车辆进行精确定位。
步骤B3：将每个所述样本车辆在所述预设时段内的每个时刻的坐标作为每个所述样本车辆的样本轨迹数据。
在本实施例中，在预设时段内拍摄的图片可以是连续的，在某条路段上，车辆均是单位时间内发生位移的，在同一坐标系中以时间为横轴，以坐标为纵轴，对同一车辆而言随着时间变化，在同一坐标系中该车辆的轨迹是一条曲线，将车辆在预设时间内的不同时刻的坐标进行记录以便后续构建时空图。
可选地，S302可以包括步骤C1～C2：
步骤C1：从预设的公路交通数据集中获取所述历史轨迹数据，获取所述历史轨迹数据中的车辆位置信息和所述车辆位置信息对应的拍摄时间；
在本实施例中，在高速公路的同一路段上，可以实时记录车辆在该路段上的交通状况，可以是轻度、中度或拥堵，每辆车的历史行驶轨迹可以相同，也可以不同，拍摄的图像也会因设备故障或天气因素等影响，需要从预设的公路交通数据集中选取符合要求的历史轨迹数据，该历史轨迹数据可以是根据时间、位置等记录的数据，从改历史轨迹数据中选取车辆位置信息和车辆位置信息对应的拍摄时间，即获取实时的车辆轨迹数据，便于后续构建时空图，使数据处理阶段更快捷。
步骤C2：基于所述车辆位置信息和所述拍摄时间构建所述时空图序列。
在本实施例中，对拍摄的同一张图像进行裁剪、放大、或缩小等操作，使每张图片的尺寸相同，车辆位置信息包括车辆位于同一路段行驶的方向相同和车辆在该路段距离摄像机的距离等，将车辆位置信息和拍摄时间在同一以时间为横轴和以坐标为纵轴的坐标系中，即可以构建多张时空图，将多张时空图按照时间先后顺序进行排序得到时空图序列，以便更直接地对该时空图序列进行分析处理。
本申请提供的车辆轨迹预测方法是通过获取预设时段内的多个车辆的历史轨迹数据，对所述历史轨迹数据进行预处理，得到所述历史轨迹数据对应的时空图序列，将所述时空图序列输入已训练的预测模型进行处理，得到所述车辆各自对应的预测行驶轨迹，所述预测模型基于同一时段内多个样本车辆的样本轨迹数据对应的样本时空图及所述样本车辆各自对应的样本行驶轨迹对长短期记忆网络LSTM训练得到。通过上述车辆轨迹预测方法，运用时空图的数据结构形式，根据时空图中的各节点和各节点相连的边的关系，转化成相应的数据集，从而减少了车辆轨迹预测的训练参数，提高了对车辆轨迹预测的精确度和预测模型的灵活性，也增强了鲁棒性，同时也更好地应用于无人驾驶。
图6示出了本申请实施例提供的车辆轨迹预测装置300，如图6，包括：
获取模块310，用于获取预设时段内的多个车辆的历史轨迹数据，对所述历史轨迹数据进行预处理，得到所述历史轨迹数据对应的时空图序列，所述时空图序列包括所述预设时段内按时间先后顺序排列的每个时刻对应的时空图，其中，所述时空图包括至少三个车辆对应的节点；
处理模块320，用于将所述时空图序列输入已训练的预测模型进行处理，得到所述车辆各自对应的预测行驶轨迹，所述预测模型基于同一时段内多个样本车辆的样本轨迹数据对应的样本时空图及所述样本车辆各自对应的样本行驶轨迹对长短期记忆网络LSTM训练得到。
可选地，所述处理模块320具体包括：
第一获取单元，用于将所述时空图序列输入已训练的预测模型，对所述时空图序列进行特征提取处理，得到所述时空图序列对应的边参特征和点参特征，所述时空图序列对应的点参特征用于标识每个所述节点在所述预设时段内的每个时刻的坐标，所述时空图序列对应的边参特征用于标识任意两个所述节点在所述预设时段内的每个时刻对应的第一距离，以及每个所述节点在任意两个相邻时刻对应的第二距离；
第一处理单元，用于根据所述时空图序列对应的边参特征和点参特征进行轨迹预测处理，得到所述车辆各自对应的预测行驶轨迹。
可选地，所述处理模块320还包括：
第一特征提取单元，用于采用所述预测模型的第一特征提取网络提取所述时空图进行处理，得到所述时空图的点参特征；
第二特征提取单元，用于采用所述预测模型的第二特征提取网络提取所述时空图进行处理，得到所述时空图的时间边参特征；
第三特征提取单元，用于采用所述预测模型的第三特征提取网络提取所述时空图进行处理，得到所述时空图的空间边参特征。
可选地，所述处理模块320还包括：
第二处理单元，用于对所述时空图序列对应的边参特征和点参特征进行处理，得到每个所述时空图对应的边参特征和点参特征；
第三处理单元，基于每个所述时空图对应的边参特征和点参特征进行轨迹预测处理，得到所述车辆各自对应的预测行驶轨迹。
可选地，所述处理模块320还包括：
特征融合单元，用于采用所述轨迹预测网络对所述目标边参特征信息和所述目标点参特征信息进行特征融合处理，得到融合后的特征；
预测单元，用于基于所述融合后的特征进行连接处理，得到所述车辆各自对应的预测行驶轨迹。
可选地，所述处理模块320还包括：
第二获取单元，用于获取同一时段内的多个样本车辆的样本轨迹数据以及每个样本车辆自对应的样本行驶轨迹；
第四处理单元，用于对所述多个样本车辆的样本轨迹数据进行预处理，得到所述多个样本车辆的样本轨迹数据对应的样本时空图序列，其中，所述样本时空图序列包括所述同一时段内按时间先后顺序排列的每个时刻对应的样本时空图；
第四特征提取单元，用于通过所述长短期记忆网络LSTM对每个所述样本时空图序列进行特征提取，得到所述样本时空图序列对应的样本边参特征和样本点参特征；
第一生成单元，用于对所述样本时空图序列对应的样本边参特征和样本点参特征进行特征融合，得到所述样本车辆各自对应的行驶轨迹；
第二生成单元，用于基于所述样本车辆各自对应的行驶轨迹以及样本行驶轨迹对所述长短期记忆网络LSTM进行迭代训练，得到所述已训练的预测模型。
可选地，所述获取模块310包括：
第三获取单元，用于获取预设时段内多种交通状况的数据集；
第一计算单元，用于将所述数据集投影至预设坐标系中得到每个所述样本车辆的样本坐标；
第二计算单元，将每个所述样本车辆在所述预设时段内的每个时刻的坐标作为每个所述样本车辆的样本轨迹数据。
可选地，所述获取模块310还包括：
第四获取单元，用于从预设的公路交通数据集中获取所述历史轨迹数据，获取所述历史轨迹数据中的车辆位置信息和所述车辆位置信息对应的拍摄时间；
第三生成单元，用于基于所述车辆位置信息和所述拍摄时间构建所述时空图序列。
请参阅图7，图7是本申请实施例还提供的终端设备400的结构示意图，终端设备400包括存储器410、至少一个处理器420以及存储在所述存储器410中并可在所述处理器420上运行的计算机程序430，所述处理器420执行所述计算机程序430时实现上述的车辆轨迹预测方法。
终端设备400可以是桌上型计算机、手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)等终端设备上，本申请实施例对终端设备的具体类型不作任何限制。
该终端设备400可包括但不仅限于处理器420、存储器410。本领域技术人员可以理解，图5仅仅是终端设备400的举例，并不构成对终端设备400的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备等。
所称处理器420可以是中央处理单元(Central Processing Unit，CPU)，该处理器420还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器410在一些实施例中可以是终端设备400的内部存储单元，例如终端设备400的硬盘或内存。所述存储器410在另一些实施例中也可以是所述终端设备400的外部存储设备，例如终端设备400上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器410还可以既包括终端设备400的内部存储单元也包括外部存储设备。所述存储器410用于存储操作系统、应用程序、引导装载程序(Boot Loader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器410还可以用于暂时地存储已经输出或者将要输出的数据。
需要说明的是，上述生成装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述辅助拍摄装置中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在移动终端上运行时，使得移动终端执行时实现可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (9)

1.一种车辆轨迹预测方法，其特征在于，包括：
获取预设时段内的多个车辆的历史轨迹数据，对所述历史轨迹数据进行预处理，得到所述历史轨迹数据对应的时空图序列，所述时空图序列包括所述预设时段内按时间先后顺序排列的每个时刻对应的时空图，其中，所述时空图包括至少三个车辆对应的节点；其中，车辆的历史轨迹数据是基于时间采样的轨迹数据，是在等时间间隔记录车辆移动的信息；
将所述时空图序列输入已训练的预测模型进行处理，得到所述车辆各自对应的预测行驶轨迹，所述预测模型基于同一时段内多个样本车辆的样本轨迹数据对应的样本时空图及所述样本车辆各自对应的样本行驶轨迹对长短期记忆网络LSTM训练得到；
其中，所述将所述时空图序列输入已训练的预测模型进行处理，得到所述车辆各自对应的预测行驶轨迹，包括：
将所述时空图序列输入已训练的预测模型，对所述时空图序列进行特征提取处理，得到所述时空图序列对应的边参特征和点参特征，所述时空图序列对应的点参特征用于标识每个所述节点在所述预设时段内的每个时刻的坐标，所述时空图序列对应的边参特征用于标识任意两个所述节点在所述预设时段内的每个时刻对应的第一距离，以及每个所述节点在任意两个相邻时刻对应的第二距离；
根据所述时空图序列对应的边参特征和点参特征进行轨迹预测处理，得到所述车辆各自对应的预测行驶轨迹。
2.根据权利要求1所述的车辆轨迹预测方法，其特征在于，所述预测模型包括特征提取网络，所述特征提取网络用于对所述时空图序列进行特征提取处理，所述特征提取网络包括三个子网络，每个子网络包括多个LSTM，所述边参特征包括空间边参特征以及时间边参特征，所述空间边参特征标识所述第一距离，所述时间边参特征用于标识所述第二距离；
所述对所述时空图进行特征提取处理，得到所述时空图的边参特征和点参特征，包括：
采用所述预测模型的第一特征提取网络提取所述时空图进行处理，得到所述时空图的点参特征；
采用所述预测模型的第二特征提取网络提取所述时空图进行处理，得到所述时空图的时间边参特征；
采用所述预测模型的第三特征提取网络提取所述时空图进行处理，得到所述时空图的空间边参特征。
3.根据权利要求2所述的车辆轨迹预测方法，其特征在于，所述根据所述时空图序列对应的边参特征和点参特征进行轨迹预测处理，得到所述车辆各自对应的预测行驶轨迹，包括：
对所述时空图序列对应的边参特征和点参特征进行处理，得到每个所述时空图对应的边参特征和点参特征；
基于每个所述时空图对应的边参特征和点参特征进行轨迹预测处理，得到所述车辆各自对应的预测行驶轨迹。
4.根据权利要求3所述的车辆轨迹预测方法，其特征在于，所述预测模型还包括轨迹预测网络，所述轨迹预测网络用于预测轨迹，所述轨迹预测网络包括多个LSTM：
采用所述轨迹预测网络对所述时空图序列对应的边参特征和点参特征进行处理，得到所述时空图序列中的每个时空图对应的目标边参特征和目标点参特征，其中，所述目标边参特征包括目标空间边参特征和目标时间边参特征；
相应地，所述基于每个所述时空图对应的边参特征和点参特征进行轨迹预测处理，得到所述车辆各自对应的预测行驶轨迹，包括：
采用所述轨迹预测网络对所述目标边参特征信息和所述目标点参特征信息进行特征融合处理，得到融合后的特征；
基于所述融合后的特征进行连接处理，得到所述车辆各自对应的预测行驶轨迹。
5.根据权利要求1至2、4任一项所述的车辆轨迹预测方法，其特征在于，所述预测模型的训练过程包括：
获取同一时段内的多个样本车辆的样本轨迹数据以及每个样本车辆自对应的样本行驶轨迹；
对所述多个样本车辆的样本轨迹数据进行预处理，得到所述多个样本车辆的样本轨迹数据对应的样本时空图序列，其中，所述样本时空图序列包括所述同一时段内按时间先后顺序排列的每个时刻对应的样本时空图；
通过所述长短期记忆网络LSTM对每个所述样本时空图序列进行特征提取，得到所述样本时空图序列对应的样本边参特征和样本点参特征；
对所述样本时空图序列对应的样本边参特征和样本点参特征进行特征融合处理，得到所述样本车辆各自对应的行驶轨迹；
基于所述样本车辆各自对应的行驶轨迹以及样本行驶轨迹对所述长短期记忆网络LSTM进行迭代训练，得到所述已训练的预测模型。
6.根据权利要求5所述的车辆轨迹预测方法，其特征在于，所述获取同一时段内的多个样本车辆的样本轨迹数据，包括：
获取预设时段内多种交通状况对应的数据集；
将所述数据集投影至预设坐标系中得到每个所述样本车辆的样本坐标；
将每个所述样本车辆在所述预设时段内的每个时刻的坐标作为每个所述样本车辆的样本轨迹数据。
7.根据权利要求1所述的车辆轨迹预测方法，其特征在于，所述对所述历史轨迹数据进行预处理，得到所述历史轨迹数据对应的时空图序列，包括：
从预设的公路交通数据集中获取所述历史轨迹数据，获取所述历史轨迹数据中的车辆位置信息和所述车辆位置信息对应的拍摄时间；
基于所述车辆位置信息和所述拍摄时间构建所述时空图序列。
8.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。
CN201911284048.9A 2019-12-13 2019-12-13 车辆轨迹预测方法及装置 Active CN111091708B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911284048.9A CN111091708B (zh) 2019-12-13 2019-12-13 车辆轨迹预测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911284048.9A CN111091708B (zh) 2019-12-13 2019-12-13 车辆轨迹预测方法及装置

Publications (2)

Publication Number Publication Date
CN111091708A CN111091708A (zh) 2020-05-01
CN111091708B true CN111091708B (zh) 2020-11-03

Family

ID=70395082

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911284048.9A Active CN111091708B (zh) 2019-12-13 2019-12-13 车辆轨迹预测方法及装置

Country Status (1)

Country Link
CN (1) CN111091708B (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111597961B (zh) * 2020-05-13 2023-04-25 中国科学院自动化研究所 面向智能驾驶的移动目标轨迹预测方法、系统、装置
CN113703015B (zh) * 2020-05-22 2024-05-03 阿里巴巴集团控股有限公司 数据处理方法、装置、设备及介质
CN111738500B (zh) * 2020-06-11 2024-01-12 大连海事大学 一种基于深度学习的航行时间预测方法及装置
CN112000752B (zh) * 2020-07-14 2024-07-12 浙江大华技术股份有限公司 轨迹生成方法及电子设备、存储介质
CN112037506B (zh) * 2020-07-29 2021-07-09 长安大学 车辆轨迹预测模型构建方法、车辆轨迹预测方法及系统
CN112000756B (zh) * 2020-08-21 2024-09-17 上海商汤智能科技有限公司 轨迹预测的方法、装置、电子设备及存储介质
CN111814915B (zh) * 2020-08-26 2020-12-25 中国科学院自动化研究所 多智能体时空特征提取方法及系统、行为决策方法及系统
CN112325877B (zh) * 2020-10-20 2022-09-02 北京嘀嘀无限科技发展有限公司 车辆属性确定方法、装置、存储介质和电子设备
CN114543800B (zh) * 2020-11-18 2024-08-30 蘑菇车联信息科技有限公司 一种用于车辆移动轨迹估计的处理方法及相关装置
CN112389436B (zh) * 2020-11-25 2022-11-15 中汽院智能网联科技有限公司 基于改进lstm神经网络的安全性自动驾驶换道轨迹规划方法
CN112561960B (zh) * 2020-12-10 2023-12-26 中国科学院深圳先进技术研究院 一种基于轨迹相似性度量学习的多目标跟踪重定位方法
CN112508294B (zh) * 2020-12-16 2024-05-21 交控科技股份有限公司 基于车群信息共享的目标列车控制方法，装置及列车
CN112733452B (zh) * 2021-01-13 2024-03-29 北京嘀嘀无限科技发展有限公司 轨迹预测方法、装置、电子设备和可读存储介质
CN112967518B (zh) * 2021-02-01 2022-06-21 浙江工业大学 一种公交专用道条件下公交车辆轨迹的Seq2Seq预测方法
CN113159403B (zh) * 2021-04-13 2024-03-12 青岛大学 路口行人轨迹预测的方法及装置
CN113139696B (zh) * 2021-05-11 2022-09-20 深圳大学 一种轨迹预测模型构建方法及轨迹预测方法、装置
CN113486719B (zh) * 2021-06-08 2024-07-26 南京邮电大学 车辆目的地预测方法、装置、计算机设备和存储介质
CN113291321A (zh) * 2021-06-16 2021-08-24 苏州智加科技有限公司 一种车辆轨迹预测方法、装置、设备及存储介质
CN113435356B (zh) * 2021-06-30 2023-02-28 吉林大学 一种克服观察噪声与感知不确定性的轨迹预测方法
CN113792906B (zh) * 2021-08-05 2024-04-30 交控科技股份有限公司 列车长时间窗运行轨迹预测方法、装置、设备及存储介质
CN113743657A (zh) * 2021-08-16 2021-12-03 的卢技术有限公司 一种基于车辆运动信息的轨迹预测方法、系统和存储介质
CN114021080A (zh) * 2021-10-28 2022-02-08 中国第一汽车股份有限公司 轨迹预测模型训练以及轨迹预测方法、装置、设备及介质
CN113989330A (zh) * 2021-11-03 2022-01-28 中国电信股份有限公司 车辆轨迹预测方法、装置、电子设备和可读存储介质
CN114419877B (zh) * 2021-12-15 2022-11-15 中国科学院深圳先进技术研究院 基于道路特征的车辆轨迹预测数据处理方法和装置
CN114239974B (zh) * 2021-12-21 2022-10-25 清华大学 多智能体的位置预测方法、装置、电子设备及存储介质
CN114283175B (zh) * 2021-12-28 2024-02-02 中国人民解放军国防科技大学 基于交通视频监控场景下的车辆多目标跟踪方法和装置
CN114547223B (zh) * 2022-02-24 2024-09-10 北京百度网讯科技有限公司 轨迹预测方法、轨迹预测模型的训练方法及装置
CN114355839B (zh) * 2022-03-18 2022-07-29 浙江西图盟数字科技有限公司 一种运动轨迹处理方法、装置、设备及存储介质
CN114684197A (zh) * 2022-03-31 2022-07-01 广州文远知行科技有限公司 避障场景的检测方法、装置、设备及存储介质
CN114872718B (zh) * 2022-04-11 2024-06-25 清华大学 车辆轨迹预测方法、装置、计算机设备和存储介质
CN115257814A (zh) * 2022-08-19 2022-11-01 东软睿驰汽车技术（沈阳）有限公司 预测车辆换道的方法、装置、设备及存储介质
CN115985104A (zh) * 2023-02-10 2023-04-18 长三角信息智能创新研究院 一种交通流量预测装置、预测方法及预测模型构建方法
CN117775078B (zh) * 2024-02-28 2024-05-07 山西阳光三极科技股份有限公司 一种基于深度学习的矿内货运列车行驶方向判断方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6401027B1 (en) * 1999-03-19 2002-06-04 Wenking Corp. Remote road traffic data collection and intelligent vehicle highway system
CN107610464A (zh) * 2017-08-11 2018-01-19 河海大学 一种基于高斯混合时间序列模型的轨迹预测方法
CN108022012A (zh) * 2017-12-01 2018-05-11 兰州大学 基于深度学习的车辆位置预测方法
CN108922193A (zh) * 2018-08-03 2018-11-30 北京航空航天大学 一种基于浮动车轨迹数据的交叉口信号周期估计方法
CN109300310A (zh) * 2018-11-26 2019-02-01 平安科技（深圳）有限公司 一种车流量预测方法及装置
CN109910909A (zh) * 2019-02-25 2019-06-21 清华大学 一种多车运动状态的汽车轨迹网联交互式预测方法
CN110163439A (zh) * 2019-05-24 2019-08-23 长安大学 一种基于注意力机制的城市规模出租车轨迹预测方法
CN110276947A (zh) * 2019-06-05 2019-09-24 中国科学院深圳先进技术研究院 一种交通融合分析预测方法、系统及电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4622317B2 (ja) * 2004-05-31 2011-02-02 株式会社デンソー 経路案内装置及びプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6401027B1 (en) * 1999-03-19 2002-06-04 Wenking Corp. Remote road traffic data collection and intelligent vehicle highway system
CN107610464A (zh) * 2017-08-11 2018-01-19 河海大学 一种基于高斯混合时间序列模型的轨迹预测方法
CN108022012A (zh) * 2017-12-01 2018-05-11 兰州大学 基于深度学习的车辆位置预测方法
CN108922193A (zh) * 2018-08-03 2018-11-30 北京航空航天大学 一种基于浮动车轨迹数据的交叉口信号周期估计方法
CN109300310A (zh) * 2018-11-26 2019-02-01 平安科技（深圳）有限公司 一种车流量预测方法及装置
CN109910909A (zh) * 2019-02-25 2019-06-21 清华大学 一种多车运动状态的汽车轨迹网联交互式预测方法
CN110163439A (zh) * 2019-05-24 2019-08-23 长安大学 一种基于注意力机制的城市规模出租车轨迹预测方法
CN110276947A (zh) * 2019-06-05 2019-09-24 中国科学院深圳先进技术研究院 一种交通融合分析预测方法、系统及电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《基于ＬＳＴＭ 网络的驾驶意图识别及》;季学武等;《中国公路学报》;20190731;全文 *
向交通流量预测的多组件时空图卷积网络;冯宁;《软件学报》;20190331;第759-768页 *

Also Published As

Publication number Publication date
CN111091708A (zh) 2020-05-01

Similar Documents

Publication Publication Date Title
CN111091708B (zh) 车辆轨迹预测方法及装置
CN112015847B (zh) 一种障碍物的轨迹预测方法、装置、存储介质及电子设备
CN111401233A (zh) 轨迹预测方法、装置、电子设备及介质
KR102301631B1 (ko) 협업 주행을 수행하는 자동차들로부터 획득된 주행 이미지들을 통합하는 방법 및 이를 이용한 주행 이미지 통합 장치
US11875680B2 (en) Systems and methods for augmenting perception data with supplemental information
KR102657921B1 (ko) 융합된 이미지를 사용한 엔드 투 엔드 시스템 트레이닝
CN113950611B (zh) 用于预测道路属性的方法和数据处理系统
CN114648551B (zh) 轨迹预测方法及装置
CN115690153A (zh) 一种智能体轨迹预测方法及系统
CN114360239A (zh) 一种多层时空交通知识图谱重建的交通预测方法及系统
CN114372503A (zh) 一种集群车辆运动轨迹预测方法
CN115393745A (zh) 一种基于无人机与深度学习的桥梁形象进度自动识别方法
CN113159403A (zh) 路口行人轨迹预测的方法及装置
CN114997307A (zh) 一种轨迹预测方法、装置、设备及存储介质
CN116222577A (zh) 闭环检测方法、训练方法、系统、电子设备及存储介质
CN115635961A (zh) 样本数据生成方法及应用其的轨迹预测方法、装置
CN111695627A (zh) 路况检测方法、装置、电子设备及可读存储介质
CN111353441B (zh) 基于位置数据融合的道路提取方法和系统
Zernetsch et al. Cyclist Trajectory Forecasts by Incorporation of Multi-View Video Information
CN116503700A (zh) 轨迹预测方法、装置、存储介质及车辆
CN113119996B (zh) 一种轨迹预测方法、装置、电子设备及存储介质
CN114792320A (zh) 轨迹预测方法、轨迹预测装置和电子设备
Zürn et al. Autograph: Predicting lane graphs from traffic observations
CN116504052B (zh) 基于shockwave交通流模型的感知数据补全方法
Tran et al. A Vision-Based method for real-time traffic flow estimation on edge devices

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant