CN116595871A - 基于动态时空交互图的车辆轨迹预测建模方法与装置 - Google Patents

基于动态时空交互图的车辆轨迹预测建模方法与装置 Download PDF

Info

Publication number
CN116595871A
CN116595871A CN202310534459.9A CN202310534459A CN116595871A CN 116595871 A CN116595871 A CN 116595871A CN 202310534459 A CN202310534459 A CN 202310534459A CN 116595871 A CN116595871 A CN 116595871A
Authority
CN
China
Prior art keywords
vehicle
track
data
map
interaction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310534459.9A
Other languages
English (en)
Inventor
程国志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202310534459.9A priority Critical patent/CN116595871A/zh
Publication of CN116595871A publication Critical patent/CN116595871A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请涉及一种基于动态时空交互图的车辆轨迹预测建模方法及装置，属于自动驾驶的轨迹预测领域，所述方法包括：获取原始车辆轨迹数据和原始地图数据并进行预处理，得到预处理数据；根据所述轨迹预处理数据和所述地图预处理数据，得到车辆历史轨迹特征和车辆动态交互特征；将所述车辆历史轨迹特征信息和车辆动态交互特征信息输入预构建的车辆轨迹预测模块中进行联合预测，得到最终轨迹预测结果以及轨迹为真的置信度。本申请通过动态时空交互图对车辆之间的交互关系进行建模，将历史轨迹特征和动态交互特征进行融合，从而提取出车辆行驶特征的高阶表示，然后对该高阶表示进行解码以预测车辆未来轨迹，加强了车辆长期预测的稳定性以及预测结果的准确性。

Description

基于动态时空交互图的车辆轨迹预测建模方法与装置
技术领域
本申请属于车辆自动驾驶技术领域，具体涉及一种基于动态时空交互图的车辆轨迹预测建模方法及装置。
背景技术
随着社会自动化、智能化水平的不断提高，现有的技术已能够从视频数据、传感器数据等中挖掘出前所未有的数据信息，将其应用于交通事故避免和智能驾驶等领域。其中，车辆轨迹预测是其重要的应用之一。自动驾驶若能精准预测周围车辆与行人的位置，则可极大降低交通事故发生的概率。在过去十年中，自动驾驶行业发展迅速，自动驾驶每个子模块（感知、状态估计、运动规划等）的研发在硬件（各种新传感器）和软件方面都得到了推动。随着在自主车辆上使用车载计算硬件实现实时性能的最新进展，自动驾驶行业今天面临的主要挑战之一是建模和预测道路使用者的未来行为意图。为了让自动驾驶推理并执行最安全的运动计划，它应该能够理解它与其他道路使用者的交互。对此类行为进行建模并非易事，涉及各种因素，例如人流统计、目标数量、环境条件、交通规则、上下文线索等。这意味着自动驾驶要与其他道路使用者共存，不仅要遵守交通规则和法规，还要具有社会意识，即它应该了解如何与道路使用者的进行交互以确保交通畅通。
针对此现状，近年来许多学者展开了车辆轨迹预测的研究，这些方法利用过去观察到的历史数据，建立模型，让机器从结构化或非结构化的数据中去学习推理行为、交互、环境语义信息等规则。一般可以分为基于物理模型的方法、基于模式学习、基于规划的方法。基于物理模型的方法，即将目标车辆的运动状态表示为位置、速度和加速度，并使用不同的物理模型进行预测。使用这种方法的优点是简单，可接受性强，但仅适用于运动不确定性很小的情形。与基于物理的方法不同，基于模式学习的方法从观察到的车辆轨迹的数据中学习运动模式，通过将不同的函数模型拟合到数据中来学习运动行为，该函数通常是非参数的，是从统计观测中学习的，并且其参数不能像许多基于物理的方法那样可以直接解释。基于规划的方法与前两种建模方法不同，基于规划的方法在对目标运动进行建模时必须考虑当前行为对未来的影响，将其作为其模型的一部分。因此，大部分研究工作都使用目标函数，这些函数最小化一系列操作的总成本。
但是由于客观环境的影响，车辆之间、车辆与环境的交互变得复杂且抽象，传统模型基于手工设计不能模拟存在交互作用的复杂情形，且适应性差，限制了模型的预测性能。图神经网络表现出基于图数据的依赖关系进行建模的强大功能，可以建模车辆行驶过程中的交互过程，但是目前基于图神经网络方法的模型无法准确建模车辆之间的动态交互，导致轨迹的预测精度不高。
发明内容
综上所述，本申请的目的在于克服传统模型的不足，提供一种基于动态时空交互图的车辆轨迹预测建模方法及装置，以解决传统模型直接使用卷积网络计算成本高，使用环境中上下文信息不够全面，导致无法准确预测车辆未来轨迹等问题。
为实现以上目的，本申请采用如下技术方案：一种基于动态时空交互图的车辆轨迹预测建模方法，包括：
获取原始车辆轨迹数据和原始地图数据并进行预处理，得到轨迹预处理数据与地图预处理数据；
将所述轨迹预处理数据、地图预处理数据输入预构建的动态时空交互图模块中进行特征提取与特征融合，得到车辆历史轨迹特征与车辆动态交互特征；
将所述车辆历史轨迹特征与车辆动态交互特征输入预构建的车辆轨迹预测模型中，得到预测的车辆未来轨迹；
其中，对原始车辆轨迹数据得到所述轨迹预处理数据，包括：
确定所述原始车辆轨迹数据中的主车，将所述主车周围半径r范围内，其平均速度大于阈值c的车辆轨迹数据提取出来，得到移动车辆轨迹数据集；将所述移动车辆轨迹数据中的每一辆车表示为一个节点，得到移动车辆节点集；将所述原始车辆数据中平均速度小于等于阈值c的车辆位置数据提取出来，得到静止车辆位置数据集；
根据所述移动车辆节点集构建全连接无向图，得到车辆交互关系图，所述全连接无向图用于表示车辆之间的初始交互关系，并根据所述全连接无向图得到邻接矩阵；
根据所述原始地图数据以及所述静止车辆数据集得到地图预处理数据，包括：
对原始地图数据进行渲染，得到以图片表示的语意地图，将所述静止车辆数据集中的车辆绘制在所述语意地图同一坐标系中，得到静止车辆位置图；
结合所述语意地图与所述静止车辆位置图，得到地图预处理数据。
将图神经网络应用于车辆动态交互轨迹预测，构建车辆轨迹预测模型。最后实验结果表明该模型达到现有算法水平，在标准数据集上成功预测车辆未来轨迹。
进一步的，所述动态时空交互图模块，包括：
空间特征处理模块，用于根据所述轨迹预处理数据和所述地图预处理数据，进行车辆静态交互特征提取和生成新的所述车辆交互关系图；
时间特征处理模块，用于根据不同时间帧的所述车辆关系交互图，进行车辆动态交互特征提取和生成车辆历史交互特征以及生成车辆历史轨迹特征；
进一步的，所述空间特征处理模块，由地图特征处理模块、图注意力计算模块和多层感知机级联组成：
所述地图特征处理模块包括：地图裁剪器和卷积神经网络；其中地图裁剪器用于根据所述地图预处理数据和所述主车位置坐标得到当前帧地图；卷积神经网络用于根据所述当前帧地图，进行当前帧地图特征提取；
所述图注意力计算模块包括：特征编码器、前馈神经网络和图空间卷积层；其中所述特征编码器由多层感知机组成，用于增加所述轨迹预处理数据特征维度，将二维位置坐标映射到高维空间，使得所述空间特征处理模块能在高维空间中提取数据特征；所述前馈神经网络用于计算车辆之间的静态图注意力系数；所述图空间卷积层用于根据所述静态图注意力系数计算当前帧的车辆位置特征；根据所述静态图注意力系数生成所述车辆交互关系图；
所述多层感知机用于根据所述当前帧的车辆位置特征和所述当前帧地图特征，生成下一帧的车辆位置预测坐标。
进一步的，所述时间特征处理模块，由注意力计算模块和图递归模块级联组成：
所述注意力计算模块包括：线性变换层和归一化点乘层；其中所述线性变换层用于增加所述车辆交互静态特征维度，使得所述时间特征处理模块能在高维空间提取交互特征；所述归一化点乘层用于计算注意力系数。
所述图递归卷积模块用于根据所述车辆关系交互图和所述注意力系数，得到车辆动态交互特征。
进一步的，所述车辆轨迹预测模块，包括车辆轨迹输出模块和车辆轨迹判断模块，其中：
车辆轨迹输出模块，用于根据所述车辆历史交互特征和车辆历史轨迹特征预测车辆的未来轨迹；
车辆轨迹判断模块，用于根据所述车辆历史轨迹和所述未来轨迹判断预测轨迹为真的置信度。
进一步的，所述根据所述车辆历史交互特征和车辆历史轨迹特征预测车辆的未来轨迹，包括：
所述车辆轨迹输出模块以所述车辆历史轨迹特征和所述车辆动态交互特征为输入，预测车辆未来轨迹；
所述轨迹输出模块包括两个分支，其中一个是独立预测分支，另一个是联合预测分支；
所述独立预测分支中使用所述车辆历史轨迹特征预测下一帧位置坐标，所述联合预测分支使用所述车辆动态交互特征和所属车辆历史轨迹特征为输入预测下一帧位置坐标；
结合所述独立预测分支输出和所述联合预测分支输出，得到最终的轨迹预测。
进一步的，所述车辆轨迹判断模块以所述车辆历史轨迹和所述未来轨迹为输入，判断未来轨迹为真的置信度；
所述车辆轨迹判断模块，由所述动态时空交互图模块和多层感知机组成；其中所述车辆轨迹判断模块中的动态时空交互图模块以所述合并后的车辆历史轨迹与所述未来轨迹为输入，生成车辆轨迹特征；所述多层感知机用于根据车辆轨迹特征计算所述未来轨迹为真的置信度。
本申请实施例提供的一种基于动态交互时空图的车辆轨迹预测装置，包括：
数据获取与预处理模块，用于获取原始车辆轨迹数据与原始地图数据并进行预处理，得到轨迹预处理数据与地图预处理数据；
数据特征提取模块，用于根据所述轨迹预处理数据生成车辆历史轨迹特征和车辆动态交互特征，根据地图预处理数据生成地图特征；
轨迹预测模块，用于将所述车辆历史轨迹特征和车辆动态交互特征输入预构建的车辆轨迹预测模型中进行特征解码，得到轨迹预测结果；
判断模块，用于根据所述车辆历史轨迹与所述车辆未来轨迹判断预测轨迹为真的置信度。
本申请采用以上技术方案，能够达到的有益效果包括：
本申请提供一种基于动态时空交互图的车辆轨迹预测方法及装置，本申请通过预处理原始车辆轨迹数据和原始地图数据，结合车辆历史轨迹特征与车辆动态交互特征进行车辆未来轨迹预测，具体针对自动驾驶轨迹预测领域中，基于递归神经网络的方法模型缺乏直观的高层时空结构。基于生成对抗网络的方法模型收敛速度慢、模式崩塌的问题。通过动态时空交互图对车辆间的交互关系进行建模，在空间方向融合静态交互信息，在时间方向传递动态交互信息，最后将车辆轨迹信息与动态交互信息进行联合，预测车辆未来轨迹，增加了轨迹预测结果的准确性，轨迹预测模型的稳定性。
附图说明
为了更清楚地说明本申请实施例及现有技术中的技术方案，使得对实施例的描述更容易理解，下面对实施例或现有技术描述中所使用的附图作简单介绍，下面描述中的实施例仅仅是本申请的一部分实施例：
图1为根据本申请实施例提供的一种基于动态时空交互图的车辆轨迹预测方法的步骤流程图；
图2为根据本申请实施例提供的预处理原始数据中的车辆轨迹和地图数据的流程示意图；
图3为根据本申请实施例提供的车辆轨迹预测模型的预测流程示意图；
图4为根据本申请实施例的基于动态时空交互图的车辆轨迹预测装置的结构示意图。
具体实施方式
下面对本申请的实施例进行详细描述，使本申请的目的、技术方案和优点更加清晰。同时结合附图介绍本申请实施例中提供的基于动态时空交互图的车辆轨迹预测建模方法及装置，通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
图一为根据本申请实施例提供的一种基于动态时空交互图的车辆轨迹预测方法的步骤流程图。
如图1所示，本申请实施例中提供的基于动态时空交互图的车辆轨迹预测建模方法，包括以下步骤：
在步骤S101中，获取原始车辆轨迹数据和原始地图数据并进行预处理，得到预处理数据。
原始车辆轨迹数据可以为特定的城市或高速路段在过去一段时间内的车辆移动数据，车辆移动数据中包括了车辆随时间变化的位置坐标变化数据、速度变化数据和各车辆对应的车辆编号数据等；原始地图数据为特定的城市或高速路段的地图数据，地图数据中包括了车道线的坐标数据、车道类型、车道编号和特定区域的交通规则等。
在本申请的一个实施例中，如图2所示，作为一种预处理原始数据中的车辆轨迹和地图数据的方式；
具体的，本申请的实施例中利用python语言以及pytorch框架、pyg框架以及 pandas库等对原始车辆轨迹进行预处理。将车辆的轨迹定义为，定义是带有时间信息和速度信息的位置坐标，设定速度阈值（本申请实施例 中取值为0.1m/s）和半径阈值（本申请实施例中取值为200米）。选择符合原始车辆轨迹数 据中以下条件的数据作为样本数据：时间帧数目n相等，历史时间帧数目n-相等以及未来时 间帧数目n+相等，主车速度大于速度阈值（本申请实施例n=110，n-=50，n+=60）。
根据所述样本数据构建车辆交互图，包括：
以所述主车半径范围内平均移动速度大于等于速度阈值的作为分割条件，得 到移动车辆轨迹数据集和静止车辆轨迹数据集，将所述移动车辆轨迹数据中的车辆设为节 点，得到移动车辆节点集；
获取存在交互关系的车辆的边的集合，得到交互关系边集；
根据所述移动车辆节点集和交互关系边集得到车辆交互图，用于表示车辆之间的交互，根据所述移动车辆节点集、交互关系边集和车辆交互图得到车辆轨迹预处理数据。
具体的，在真实驾驶场景下，车辆的行驶路径受驾驶人员驾驶习惯和场景中其他车辆的影响。因此，本申请的实施例利用图中节点与节点之间存在的影响去建模真实场景下车辆之间的交互关系，采用G(V, E)表示；在所述交互关系图中，V是所述移动车辆节点集，每个节点代表一辆车，E是交互关系边集，是存在交互作用的车辆节点之间的边的集合。
对原始地图数据进行预处理，包括：
将所述主车对应的原始地图数据渲染成图片形式，对不同车道线以不同的线形标识，不同的车道类型以不同的颜色表示，将所述静止车辆数据集绘制在同一坐标系下，以不同颜色表示以示区分；
具体的，本申请的实施例利用python语言、pytorch框架以及matplotlib库等，首先利用matplotlib绘制地图数据，其中地图中的静态障碍物用黑色方框（颜色代码#FFFFFF）标记，车道边界用白色实线绘制（颜色代码#000000）；依次绘制道路中心线、车道线以及路口，其中不同类型的车道线以不同间隔与粗细的虚线表示；对于车道线之间的连接，以两车道线颜色组成的渐变色绘制。其次，将所述静止车辆轨迹数据集中的车辆以浅绿色（颜色代码#D3E8EF）方框绘制在同一坐标系中，其过去的历史移动状态同样以浅绿色绘制，但进行一些虚化，以表示该车辆的局部位置变化信息，得到地图预处理数据。
在步骤S102中，根据所述轨迹预处理数据和所述地图预处理数据，得到车辆历史轨迹特征和车辆动态交互特征。
将所述车辆轨迹预处理数据和所述地图预处理数据输入所述空间特征处理模块，得到车辆静态交互特征和新的所述车辆交互关系图，包括：
地图特征处理模块，用于根据所述地图预处理数据和所述主车位置坐标得到当前帧地图，进行当前帧地图特征提取；
图注意力计算模块，用于增加所述轨迹预处理数据特征维度，将二维位置坐标映射到高维空间，使得所述空间特征处理模块能在高维空间中提取数据特征，用于计算车辆之间的静态图注意力系数
图空间卷积层，用于根据所述静态图注意力系数计算当前帧的车辆位置特征。
本申请实施例中，所述地图特征处理模块包括：地图裁剪器和卷积神经网络，所述图注意力计算模块包括：特征编码器、前馈神经网络和图空间卷积层，所述图空间卷积层由单层图空间卷积网络组成。
可以理解的是，在空间方向，所述空间特征处理模块输入为场景内当前帧主车目 标周围半径为范围内的速度大于阈值移动车辆的当前位置坐标，输出包括移动 车辆下一帧的预测位置，以及为场景内的车辆构建的有向全连接图，迭代使用点到边、边到 点的信息传播方式来建模场景内的车辆间的交互影响，通过图注意力机制得到的车辆之间 的交互图Ga(Va,Ea)，以邻接矩阵A形式表示，该邻接矩阵可以表示各车辆之间的交互特征。
具体的，本申请的实施例在空间方向提取场景内当前帧主车半径范围内所有移 动车辆在t时刻的位置坐标，将位置坐标映射到特征空间，得到当前帧的所有移动车辆坐标 特征，将该移动目标特征以及全连接图输入图注意力机制，经所述图注意计算模块得到当 前帧的交互图，并生成新的交互图，该图为N×N邻接矩阵矩阵形式表示。使用多层感知机 MLPs处理各移动目标位置输入数据，使用感知机输出作为个移动目标下一帧的预测位置坐 标
在本申请的实施例中所述将移动目标特征以及全连接图输入图注意力机制，具体步骤如下：
首先通过特征增强将移动目标的输入特征转换为高维特征 ，利用权重矩阵W对输入特征做线性变换；其中W为权重共享的矩阵，为输入特征， 线性变换后的输入特征；
随后利用对于场景内的目标i与j计算注意力系数，在本申请的 实施例中参考图注意力网络中的方法选择一个单层前馈网络实现，激活函数使用 LeakyReLu；其中为一个单层前馈网络，为临时注意力系数；
最后对所有注意力系数进行softmax归一化获得最终的注意力系数，得到以邻接矩阵形式表示的空间交互图As，并利用所述 交互图和所述移动车辆坐标特征生成下一帧的位置坐标。
将不同时间帧的所述车辆关系交互图输入时间特征处理模块，进行车辆动态交互特征提取和生成车辆历史交互特征以及生成车辆历史轨迹特征，包括：
注意力计算模块，用于在高维空间提取交互特征，计算注意力系数。
图递归卷积模块，用于根据所述车辆关系交互图和所述注意力系数，得到车辆动态交互特征。
在本申请的实施例中所述注意力计算模块包括：线性变换层和归一化点乘层；所述图递归卷积模块为单层图递归卷积神经网络。
可以理解的是，所述时间特征处理模块输入为场景内车辆连续的历史轨迹，输出包括各个车辆的历史轨迹自主编码得到的轨迹特征以及在空间方向得到的场景交互特征。在各车辆自主编码阶段，本申请使用能有效处理序列问题的LSTM来融合历史轨迹序列，使用最后一时刻的隐层输出作为各车辆的轨迹特征。通过结合时间和空间方向的双重特征，最后得到融合了时空信息与上下文信息的各车辆特征表达。
具体的，本申请的实施例在时间方向计算车辆的相对位移，表示真实运动状态，计 算当前帧与预测帧各移动车辆的相对位移，表示预测运动状态，利用式将相对位移映射到高维特征空间，得到当前帧的轨迹 特征与下一帧的预测轨迹特征；其中为车辆的相对位移，为映射函数，为 特征的隐层表示；
随后利用式将各个帧的特征序列按时间顺 序依次输入递归神经网络，经递归神经网络融合得到最后时刻的隐层输出，和预测隐层输 出，即当前车辆的时间方向与空间方向的轨迹特征。
在时空图的传播过程中，得到了历史交互图，其中交互图均以邻接矩阵形式表示， 在本申请的实施例中，A表示邻接矩阵，在过去的T时间内的交互情况定义为，t时刻目标i与 j交互关系即为，即为。在空间方向，使用各个车辆的自主编码的轨迹特征 和邻接矩阵来初始化交互图中的节点特征和边特征。时间方向，将交互特征依次输入图卷 积神经网络中，得到车辆的历史交互特征。
随着时间的变化，过去发生的每一帧拥有着不同程度的重要性，有一些关键帧会对目标的移动轨迹产生长远的影响，而另外一些帧对于未来轨迹的影响无足轻重；且在时间方向，数据不再像空间方向一样组织成图的结构，而是转换成序列数据，对此使用的注意力计算方法与空间方向使用的注意力方法不同；基于以上特点，本申请实施例的具体操作步骤如下：
首先利用式对于历史交互图 中的每一帧计算对应帧的重要系数，其中为单层前馈网络，为t帧的历史交互图，为t帧的重要系数；
随后对于i帧和其后的j帧，其注意力系数通过计算得 到，其中为注意力系数，为注意力计算函数，为重要系数阈值（本申请的实施例中 取值为0.1）；由于时间的单向传递性质，只有处于时间序列前部分的帧会对时间序列后部 分的帧产生影响，因此；
通过计算归一化后的注意力系数 ，并得到其中以邻接矩阵形式表示的时空交互图，表示包括第i帧的后续所有帧， 表示第i帧前的所有帧；
最后利用式计算历史交互特征，其中由图递归卷积神经网络组成。
本申请的创新之一就在于时空图的存在可以在建模场景内车辆之间的交互关系的同时考虑各移动目标在空间方向的交互，以及在时间方向各目标的动态历史轨迹。
在步骤S103中，将所述车辆历史轨迹特征信息和车辆动态交互特征信息输入预构建的车辆轨迹预测模块中及逆行联合预测，得到最终轨迹预测结果以及轨迹为真的置信度。
本申请的实施例中，所述车辆轨迹输出模块，包括：
独立预测分支，使用所述车辆历史轨迹特征预测下一帧位置坐标；
联合预测分支，使用所述车辆动态交互特征和所属车辆历史轨迹特征为输入预测下一帧位置坐标；
综合两分支预测结果，得到最终的轨迹预测结果。
本申请的一些实施例中，独立预测分支与联合预测分支共同构成轨迹生成器，所述独立预测分支根据车辆自身的历史轨迹预测其未来轨迹，所述联合预测分支考虑不同时刻车辆之间的交互影响，对每一时刻生成的未来轨迹进行修正，同时输出下一时刻的交互状态。场景内车辆们的历史行为轨迹所述经时空特征处理模块编码后得到车辆的历史轨迹特征以及模型预测的轨迹特征，和历史交互特征。在所述独立预测分支中引入随机采样的噪声来增加轨迹预测的多样性。基于以上特点，本申请实施例的具体操作步骤如下：
利用式计算下一帧的历史交互特征，其中为多层感知机；
以初始化所述独立预测分支的输入，其中hi为所述经时空特征处理模 块编码得到的轨迹特征，bi为随机噪声初始化，所述独立预测分支采用共享参数的递归神 经网络解码。本申请的一些实施例中。设定候选轨迹为m条，所述联合预测分支根据上一时 刻的车辆位置、递归神经网络的隐层状态以及当前时刻车辆的交互特征逐次自主地利用式预测下一时刻车辆m个候选坐标偏移，其中是多层感 知机，是递归神经网络；
最终每个时刻的车辆坐标是由上一时刻的绝对位置和所述轨迹生成器预测的位移二者求和得到的，得到轨迹预测结果。
本申请的创新之一在于使用双解码器结构以及模型学习的是相对于前一时刻的位移而不是绝对坐标，此方法相对于单解码器结构以及绝对位置学习具有更好的泛化性。
本申请的一些实施例中所述轨迹判断模块，根据所述车辆历史轨迹和所述未来轨迹判断预测轨迹为真的置信度，包括以下步骤：
以所述合并后的车辆历史轨迹与所述未来轨迹为输入，生成车辆轨迹特征；所述多层感知机用于根据车辆轨迹特征计算所述未来轨迹为真的置信度。
具体的，定义为融合后的车辆完整轨迹，为车辆在未来时刻t的位置坐标，利用式计算车辆轨迹特征， 其中为轨迹判断模块中使用的动态时空交互图模块，与轨迹预测模块中使用的动 态时空交互图模块共享参数；然后利用残差网络和线性层计算该条轨迹为真的置信度。在 本申请的一些实施例中，轨迹输出模块预测了多条未来可能的轨迹，相应的轨迹判断模块 输出这些轨迹分别为真的置信度。
根据本申请实施例提出的基于动态时空交互图的车辆轨迹预测建模方法，其车辆轨迹预测模型的预测流程示意图如图3所示；在复杂交通路况下，针对图结构应用于车辆行为预测直接使用卷积网络计算成本高，应用上下文信息不够深入、对车辆行为意图信息获取不足等问题，提出通过动态时空交互图对车辆之间的交互关系进行建模，最后将历史轨迹特征和动态交互特征进行融合，从而提取出车辆行驶特征的高阶表示，然后对该高阶表示进行解码以预测车辆未来轨迹，本申请能够成功处理车辆移动过程中的动态交互关系变化过程，刻画车辆移动的重要特征，加强了车辆长期预测的稳定性以及预测结果的准确性。
图4为根据本申请实施例的基于动态时空交互图的车辆轨迹预测装置的结构示意图。
如图4所示，该基于动态时空交互图的车辆轨迹预测装置，包括：
数据获取与预处理模块201，用于获取原始车辆轨迹数据与原始地图数据并进行预处理，得到轨迹预处理数据与地图预处理数据；
数据特征提取模块202，用于根据所述轨迹预处理数据生成车辆历史轨迹特征和车辆动态交互特征，根据地图预处理数据生成地图特征；
轨迹预测模块203，用于将所述车辆历史轨迹特征和车辆动态交互特征输入预构建的车辆轨迹预测模型中进行特征解码，得到轨迹预测结果；
和判断模块204，用于根据所述车辆历史轨迹与所述车辆未来轨迹判断预测轨迹为真的置信度。
本申请提供的基于动态时空交互图的车辆轨迹预测装置的工作原理为，数据获取与预处理模块201获取原始车辆轨迹数据与原始地图数据并进行预处理，得到轨迹预处理数据与地图预处理数据；数据特征提取模块202根据所述轨迹预处理数据生成车辆历史轨迹特征和车辆动态交互特征，根据地图预处理数据生成地图特征；轨迹预测模块203将所述车辆历史轨迹特征和车辆动态交互特征输入预构建的车辆轨迹预测模型中进行特征解码，得到轨迹预测结果；判断模块204根据所述车辆历史轨迹与所述车辆未来轨迹判断预测轨迹为真的置信度.
需要说明的是，前述对基于动态时空交互图的车辆轨迹预测建模方法实施例的解释说明也适用于该实施例的基于动态时空交互图的车辆轨迹预测建模装置，此处不再赘述。
综上所述，本申请提供了一种基于动态时空交互图的车辆轨迹预测方法及装置，所述方法包括获取原始车辆轨迹数据和原始地图数据并进行预处理，得到预处理数据；根据所述轨迹预处理数据和所述地图预处理数据，得到车辆历史轨迹特征和车辆动态交互特征；将所述车辆历史轨迹特征信息和车辆动态交互特征信息输入预构建的车辆轨迹预测模块中进行联合预测，得到最终轨迹预测结果以及轨迹为真的置信度。本申请通过动态时空交互图对车辆之间的交互关系进行建模，将历史轨迹特征和动态交互特征进行融合，从而提取出车辆行驶特征的高阶表示，然后对该高阶表示进行解码以预测车辆未来轨迹，加强了车辆长期预测的稳定性以及预测结果的准确性。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备、和计算机程序产品的流程图来描述的。应理解可由计算机程序指令实现流程图中的每一流程、以及流程图中的流程。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令方法的制造品，该指令方法实现在流程图一个流程或多个流程中指定的功能。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请提及的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (8)

1.一种基于动态交互时空图的车辆轨迹预测的建模方法，其特征在于，包括以下步骤：
获取原始车辆轨迹数据和原始地图数据并进行预处理，得到轨迹预处理数据与地图预处理数据；
将所述轨迹预处理数据、地图预处理数据输入预构建的动态时空交互图模块中进行特征提取与特征融合，得到车辆历史轨迹特征与车辆动态交互特征；
将所述车辆历史轨迹特征与车辆动态交互特征输入预构建的车辆轨迹预测模块中，得到预测的车辆未来轨迹；
其中，对原始车辆轨迹数据得到所述轨迹预处理数据，包括：
确定所述原始车辆轨迹数据中的主车，将所述主车周围半径r范围内，其平均速度大于阈值c的车辆轨迹数据提取出来，得到移动车辆轨迹数据集；将所述移动车辆轨迹数据中的每一辆车表示为一个节点，得到移动车辆节点集；将所述原始车辆数据中平均速度小于等于阈值c的车辆位置数据提取出来，得到静止车辆位置数据集；
根据所述移动车辆节点集构建全连接无向图，得到车辆交互关系图，所述全连接无向图用于表示车辆之间的初始交互关系，并根据所述全连接无向图得到邻接矩阵；
根据所述原始地图数据以及所述静止车辆数据集得到地图预处理数据，包括：
对原始地图数据进行渲染，得到以图片表示的语意地图，将所述静止车辆数据集中的车辆绘制在所述语意地图同一坐标系中，得到静止车辆位置图；
结合所述语意地图与所述静止车辆位置图，得到地图预处理数据。
2.根据权力要求1所述的方法，其特征在于，所述动态时空交互图模块，包括：
空间特征处理模块，用于根据所述轨迹预处理数据和所述地图预处理数据，进行车辆静态交互特征提取和生成新的所述车辆交互关系图；
时间特征处理模块，用于根据不同时间帧的所述车辆关系交互图，进行车辆动态交互特征提取，生成车辆历史交互特征以及生成车辆历史轨迹特征。
3.根据权力要求1所述的方法，所述车辆轨迹预测模块，包括：
车辆轨迹输出模块，用于根据所述车辆历史交互特征和车辆历史轨迹特征预测车辆的未来轨迹；
车辆轨迹判断模块，用于根据所述车辆历史轨迹和所述未来轨迹判断预测轨迹为真的置信度。
4.根据权利要求2所述的方法，其特征在于，所述空间特征处理模块，由地图特征处理模块、图注意力计算模块和多层感知机级联组成：
所述地图特征处理模块包括：地图裁剪器和卷积神经网络；其中地图裁剪器用于根据所述地图预处理数据和所述主车位置坐标得到当前帧地图；卷积神经网络用于根据所述当前帧地图，进行当前帧地图特征提取；
所述图注意力计算模块包括：特征编码器、前馈神经网络和图空间卷积层；其中所述特征编码器由多层感知机组成，用于增加所述轨迹预处理数据特征维度，将二维位置坐标映射到高维空间，使得所述空间特征处理模块能在高维空间中提取数据特征；所述前馈神经网络用于计算车辆之间的静态图注意力系数；所述图空间卷积层用于根据所述静态图注意力系数计算当前帧的车辆位置特征；根据所述静态图注意力系数生成所述车辆交互关系图；
所述多层感知机用于根据所述当前帧的车辆位置特征和所述当前帧地图特征，生成下一帧的车辆位置预测坐标。
5.根据权利要求2所述的方法，其特征在于，所述时间特征处理模块，由注意力计算模块和图递归卷积模块级联组成：
所述注意力计算模块包括：线性变换层和归一化点乘层；其中所述线性变换层用于增加所述车辆交互静态特征维度，使得所述时间特征处理模块能在高维空间提取交互特征；所述归一化点乘层用于计算注意力系数；
所述图递归卷积模块用于根据所述车辆交互关系图和所述注意力系数，得到车辆动态交互特征。
6.根据权利要求3所述的方法，其特征在于，所述根据所述车辆历史交互特征和车辆历史轨迹特征预测车辆的未来轨迹，包括：
所述车辆轨迹输出模块以所述车辆历史轨迹特征和所述车辆动态交互特征为输入，预测车辆未来轨迹；
所述轨迹输出模块包括两个分支，其中一个是独立预测分支，另一个是联合预测分支；
所述独立预测分支中使用所述车辆历史轨迹特征预测下一帧位置坐标，所述联合预测分支使用所述车辆动态交互特征和所属车辆历史轨迹特征为输入预测下一帧位置坐标；
结合所述独立预测分支输出和所述联合预测分支输出，得到最终的未来轨迹。
7.根据权利要求3所述的方法，其特征在于，根据所述车辆历史轨迹和所述未来轨迹判断预测轨迹为真的置信度，包括：
所述车辆轨迹判断模块以所述车辆历史轨迹和所述未来轨迹为输入，判断未来轨迹为真的置信度；
所述车辆轨迹判断模块，由所述动态时空交互图模块和多层感知机组成；其中所述车辆轨迹判断模块中的动态时空交互图模块以所述合并后的车辆历史轨迹与所述未来轨迹为输入，生成车辆轨迹特征；所述多层感知机用于根据车辆轨迹特征计算所述未来轨迹为真的置信度。
8.一种基于动态交互时空图的车辆轨迹预测装置，其特征在于，包括：
数据获取与预处理模块，用于获取原始车辆轨迹数据与原始地图数据并进行预处理，得到轨迹预处理数据与地图预处理数据；
数据特征提取模块，用于根据所述轨迹预处理数据生成车辆历史轨迹特征和车辆动态交互特征，根据地图预处理数据生成地图特征；
轨迹预测模块，用于将所述车辆历史轨迹特征和车辆动态交互特征输入预构建的车辆轨迹预测模型中进行特征解码，得到轨迹预测结果；
判断模块，用于根据所述车辆历史轨迹与所述车辆未来轨迹判断预测轨迹为真的置信度；
其中根据原始车辆轨迹数据得到车辆轨迹预处理数据，包括：
将原始车辆轨迹数据中主车周围半径r范围内，其平均速度大于阈值c的车辆轨迹数据提取出，得到移动车辆轨迹数据集，将所述移动车辆轨迹数据中的每一辆车表示为一个节点，得到移动车辆节点集；将原始测量数据集中平均速度小于等于阈值c的车辆位置数据提取出来，得到静止车辆位置数据集；
根据所述移动车辆节点集构建全连接无向图，得到车辆交互关系图，所述全连接无向图用于表示车辆之间的初始交互关系，并根据所述全连接无向图得到邻接矩阵；
根据所述地图特征处理模块生成当前帧地图，包括：
将所述主车中心坐标设为坐标原点，裁剪周围边长为a的方形区域，将所述方形区域内地图信息以不同颜色表示；其中将所述静态车辆数据集绘制在同一坐标系下，以方框表示，所述方形区域内其他障碍物同样以方框表示；得到所述当前帧地图。
CN202310534459.9A 2023-05-12 2023-05-12 基于动态时空交互图的车辆轨迹预测建模方法与装置 Pending CN116595871A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310534459.9A CN116595871A (zh) 2023-05-12 2023-05-12 基于动态时空交互图的车辆轨迹预测建模方法与装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310534459.9A CN116595871A (zh) 2023-05-12 2023-05-12 基于动态时空交互图的车辆轨迹预测建模方法与装置

Publications (1)

Publication Number Publication Date
CN116595871A true CN116595871A (zh) 2023-08-15

Family

ID=87610903

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310534459.9A Pending CN116595871A (zh) 2023-05-12 2023-05-12 基于动态时空交互图的车辆轨迹预测建模方法与装置

Country Status (1)

Country Link
CN (1) CN116595871A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117688823A (zh) * 2024-02-04 2024-03-12 北京航空航天大学 一种岩土颗粒轨迹预测方法、电子设备及介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117688823A (zh) * 2024-02-04 2024-03-12 北京航空航天大学 一种岩土颗粒轨迹预测方法、电子设备及介质

Similar Documents

Publication Publication Date Title
Teng et al. Hierarchical interpretable imitation learning for end-to-end autonomous driving
US11720110B2 (en) Dynamic obstacle avoidance method based on real-time local grid map construction
Fernando et al. Deep inverse reinforcement learning for behavior prediction in autonomous driving: Accurate forecasts of vehicle motion
Wang et al. SNE-RoadSeg+: Rethinking depth-normal translation and deep supervision for freespace detection
Rasouli et al. Bifold and semantic reasoning for pedestrian behavior prediction
Mahjourian et al. Occupancy flow fields for motion forecasting in autonomous driving
Cai et al. Environment-attention network for vehicle trajectory prediction
Tang et al. Perception and navigation in autonomous systems in the era of learning: A survey
Peng et al. MASS: Multi-attentional semantic segmentation of LiDAR data for dense top-view understanding
Murali et al. Utilizing semantic visual landmarks for precise vehicle navigation
CN114372116B (zh) 一种基于lstm和时空注意力机制的车辆轨迹预测方法
Bernstein et al. Reinforcement learning for computer vision and robot navigation
CN115438856A (zh) 基于时空交互特征和终点信息的行人轨迹预测方法
Guo et al. Deep multi-scale and multi-modal fusion for 3D object detection
CN116595871A (zh) 基于动态时空交互图的车辆轨迹预测建模方法与装置
CN115829171A (zh) 一种联合时空信息和社交互动特征的行人轨迹预测方法
Rasouli et al. Pedformer: Pedestrian behavior prediction via cross-modal attention modulation and gated multitask learning
Li et al. Multi-modal neural feature fusion for automatic driving through perception-aware path planning
Liu et al. Dynamic states prediction in autonomous vehicles: Comparison of three different methods
Kim et al. Towards an interpretable deep driving network by attentional bottleneck
Wang et al. Learning and generalizing motion primitives from driving data for path-tracking applications
Dos Santos et al. Pedestrian trajectory prediction with pose representation and latent space variables
Bai et al. Deep virtual-to-real distillation for pedestrian crossing prediction
Khanum et al. Involvement of Deep Learning for Vision Sensor-Based Autonomous Driving Control: A Review
Zernetsch et al. Cyclist intention detection: A probabilistic approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication