CN117333847B - 一种基于车辆行为识别的轨迹预测方法及系统 - Google Patents

一种基于车辆行为识别的轨迹预测方法及系统 Download PDF

Info

Publication number
CN117333847B
CN117333847B CN202311631985.3A CN202311631985A CN117333847B CN 117333847 B CN117333847 B CN 117333847B CN 202311631985 A CN202311631985 A CN 202311631985A CN 117333847 B CN117333847 B CN 117333847B
Authority
CN
China
Prior art keywords
vehicle
data
data set
behavior recognition
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311631985.3A
Other languages
English (en)
Other versions
CN117333847A (zh
Inventor
徐伟
李若琛
邢磊
李珍玉
任泳兆
李冰洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University of Science and Technology
Original Assignee
Shandong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University of Science and Technology filed Critical Shandong University of Science and Technology
Priority to CN202311631985.3A priority Critical patent/CN117333847B/zh
Publication of CN117333847A publication Critical patent/CN117333847A/zh
Application granted granted Critical
Publication of CN117333847B publication Critical patent/CN117333847B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本说明书实施例公开了一种基于车辆行为识别的轨迹预测方法及系统，涉及自动驾驶技术领域，用于解决现有预测方式难以进行长期预测且预测精确度低的问题。方法包括：基于HighD数据集获取各个目标车辆的车辆特征，以基于Savitzky‑Golay滤波器对车辆特征进行预处理获得训练数据集；将各车道所对应的训练数据集样本输入基于LSTM网络和自注意力机制构建的初始行为识别模型中，以训练获得行为识别模型；将车辆特征输入行为识别模型，获得当前目标车辆的当前车辆行为，以将轨迹数据输入预置双向LSTM网络，基于预置双向LSTM网络的编码层与自注意力机制进行处理后，输出当前目标车辆的轨迹预测结果。

Description

一种基于车辆行为识别的轨迹预测方法及系统
技术领域
本说明书涉及自动驾驶技术领域，尤其涉及一种基于车辆行为识别的轨迹预测方法及系统。
背景技术
车辆运行轨迹是对交通流运行状态最全面和完整的表达，不仅可以体现车辆在路网上的行驶路径，而且可以反映车辆运行速度随时间和空间的变化规律，蕴含非常丰富的交通流信息。且对于智能网联车辆而言，准确和可靠的轨迹预测是保障驾驶安全和行车效率的关键。
传统的车辆轨迹预测问题一般基于物理学的方法与基于机器学习的方法。基于物理学的轨迹预测方法包括直接利用物理模型、单轨迹方法、卡尔曼滤波方法以及蒙特卡洛方法等，但其缺乏全局的交互信息和对多模态性、个体差异性的建模，其长时间的预测效果很难提升，导致传统模型只适合于瞬时预测任务，如碰撞检测，而无法预测更高复杂度目标的行为。而基于机器学习的方法通过分析大量数据，提取数据中合适的特征作为模型的输入，训练机器学习模型，发现车辆内在的运动规律并依据历史轨迹对未来轨迹进行预测。包括高斯过程、支持向量机、隐马尔可夫模型、动态贝叶斯网络、K最近邻、决策树等。可以适用于简单的预测场景和短时预测任务，较少考虑交互相关因素的影响，因此其预测结果在实际交通场景中不够准确，无法满足精确预测的需求。此外，现有的基于深度学习的轨迹预测方法不仅可以考虑物理相关因素和道路相关因素，还可以考虑交互相关因素，并适应更复杂的场景，主要包括递归神经网络、卷积神经网络和注意力机制等，取得了一定的进展，但仍无法满足精确度与运算速度的要求，模型结构和理论仍需进一步完善和优化。
发明内容
为解决上述技术问题，本说明书一个或多个实施例提供了一种基于车辆行为识别的轨迹预测方法及系统。
本说明书一个或多个实施例采用下述技术方案：
本说明书一个或多个实施例提供一种基于车辆行为识别的轨迹预测方法，方法包括：
基于HighD数据集获取各个目标车辆的车辆特征，以基于Savitzky-Golay滤波器对所述车辆特征进行预处理获得训练数据集；
将各车道所对应的训练数据集中的样本输入，基于多类型LSTM网络和自注意力机制构建的初始行为识别模型中，以训练确定符合要求的行为识别模型；
将当前目标车辆的车辆特征输入所述行为识别模型，获得所述当前目标车辆的当前车辆行为，以将所述当前车辆行为与所述当前目标车辆以及所述当前目标车辆周围车辆的历史车辆特征，作为轨迹数据输入预置双向LSTM网络；
基于所述预置双向LSTM网络中的双向LSTM编码层与单向LSTM编码层依次编码提取所述轨迹数据的时序特征；
基于所述时序特征预测上一时间步的预测值，并根据上一时间步的预测值对当前时间步的隐藏层输出向量分配对应的注意力权重，基于多层时间维度全连接层输出当前时间步的预测值，确定所述当前目标车辆的轨迹预测结果。
可选地，在本说明书一个或多个实施例中，所述基于HighD数据集获取各个目标车辆的车辆特征，以对所述车辆特征进行预处理获得训练数据集，具体包括：
获取HighD数据集中的记录数据，以基于所述记录数据与所述车辆特征所对应的物理公式计算获得车辆特征数据；
基于Savitzky-Golay滤波器对所述车辆特征数据进行平滑处理，获得过滤后的车辆特征数据，基于词嵌入方式进行向量转换获得车辆特征数据集；
根据所述车辆特征数据集中各车辆特征所对应的车道进行分组，获得多个车道所对应的车辆特征数据集；
基于预设划分比例对所述车辆特征数据集进行划分，获得训练数据集与测试数据集。
可选地，在本说明书一个或多个实施例中，将各车道所对应的训练数据集中的样本输入，基于多类型LSTM网络和自注意力机制构建的初始行为识别模型中，以训练确定符合要求的行为识别模型，具体包括：
确定不同类型LSTM网络中循环层各单元的二分类器，并向所述循环层添加自注意力机制构建初始行为识别模型；其中，所述二分类器基于输入门、遗忘门与输出门串联构成；
将各车道所对应的训练数据集中的样本输入所述初始行为识别模型，以基于所述二分类器的处理逻辑对所述样本进行数据处理，获得循环层的输出数据；将所述输出数据表示为矩阵形式的时间序列数据，以基于自注意力机制对所述时间序列数据之间的相似性进行建模，迭代循环层的超参数，以学习所述循环层的输出数据不同维度的注意力权重分布，获得各类型LSTM网络所对应的行为识别模型；其中，所述超参数包括：损失函数、回调函数；
基于所述测试数据集中的样本获取各类型LSTM网络所对应的行为识别模型的评估值，以基于所述评估值确定最优行为识别模型为符合要求的行为识别模型；其中，所述评估值包括：精确率，召回率，准确率以及精确率与召回率的调和平均值。
可选地，在本说明书一个或多个实施例中，基于所述二分类器的处理逻辑对所述样本进行数据处理，获得循环层的输出数据，具体包括：
基于当前时间步的输入门对所述样本中的车辆状态信息进行过滤，获得所述样本在当前时间步的第一处理数据；
基于遗忘门对所述样本中历史车辆轨迹数据的噪声与异常值进行筛选，以确定所述样本在当前时间步的第二处理数据；
根据双曲正切函数确定当前时间步的候选细胞状态，基于所述第一处理数据逐元素相乘所述候选细胞状态与所述第二处理数据逐元素相乘上一时间步的细胞状态的和，确定当前时间步的细胞状态；
基于所述输出门逐元素相乘所述当前时间步的细胞状态，确定所述循环层的输出数据。
可选地，在本说明书一个或多个实施例中，将所述输出数据表示为矩阵形式的时间序列数据，以基于自注意力机制对所述时间序列数据之间的相似性进行建模，迭代循环层的超参数，以学习循环层各单元的注意力权重分布，具体包括：
将所述输出数据表示为矩阵形式的时间序列数据，以基于所述矩阵形式的时间序列数据与权重矩阵，确定所述样本的查询向量；其中，所述查询向量为：
；/>是查询向量的权重矩阵，/>表示查询向量的维度，/>为矩阵形式的时间序列数据，/>表示当前时间步的时间序列数据；
计算所述查询向量和键向量之间的相似度得分，以基于softmax函数对所述相似性得分进行缩放，获得注意力权重，通过计算各特征维度的注意力权重，确定所述循环层的输出数据不同维度的注意力权重分布。
可选地，在本说明书一个或多个实施例中，基于所述预置双向LSTM网络中的双向LSTM编码层与单向LSTM编码层依次编码提取所述轨迹数据的时序特征，具体包括：
基于所述预置双向LSTM网络中的双向LSTM编码层对所述轨迹数据进行编码，获取所述轨迹数据的第一时序特征；
基于单向LSTM编码层对所述双向LSTM编码层输出的第一时序特征进行编码，获取所述轨迹数据的第二时序特征作为所述轨迹数据的时序特征。
可选地，在本说明书一个或多个实施例中，基于所述时序特征预测上一时间步的预测值，并根据上一时间步的预测值对当前时间步的隐藏层输出向量分配对应的注意力权重，基于多层时间维度全连接层输出当前时间步的预测值，具体包括：
确定所述时序特征预测上一时间步的预测值，并基于内积计算确定所述上一时间步与所述当前时间步的轨迹数据之间的相似度作为注意力分数；
基于softmax与所述注意力分数确定各时间步的隐藏状态所占的注意力权重大小，以实现对当前时间步的隐藏层输出向量分配对应的注意力权重；
基于当前时间步的注意力权重确定所述当前时间步所对应的自注意力机制层输出数据，并基于预置处理函数对所述自注意力机制层输出数据进行处理，获得层时间维度全连接层输出的当前时间步的预测值；其中，所述预置处理函数为TimeDistributed函数。
可选地，在本说明书一个或多个实施例中，将所述当前车辆行为与所述当前目标车辆以及所述当前目标车辆周围车辆的历史车辆特征，作为轨迹数据输入预置双向LSTM网络之前，所述方法还包括：
基于所述训练数据集对各类型预置LSTM网络进行训练，获得各类型预置双向LSTM网络所对应的轨迹预测模型；其中，所述各类型预置LSTM网络包括：LSTM网络、Bi-LSTM网络、At-LSTM、Bi-At-LSTM网络；
基于所述测试数据集与所述轨迹预测模型的评价公式，对所述各类型预置LSTM网络所对应的轨迹预测模型进行多次评价，获得各类型预置LSTM网络所对应的轨迹预测模型的评价结果；
根据所述评价结果确定所述各类型预置LSTM网络中的预置双向LSTM网络是否为最优轨迹预测模型；其中，所述预置双向LSTM网络中添加有自注意力机制。
本说明书一个或多个实施例提供一种基于车辆行为识别的轨迹预测系统，系统包括：
数据采集及处理单元，用于基于HighD数据集获取各个目标车辆的车辆特征，以基于Savitzky-Golay滤波器对所述车辆特征进行预处理获得训练数据集；
行为识别模型训练单元，用于将各车道所对应的训练数据集中的样本输入，基于Multi-layer LSTM网络和自注意力机制构建的初始行为识别模型中，以训练获得符合要求的行为识别模型；
输入单元，用于将当前目标车辆的车辆特征输入所述行为识别模型，获得所述当前目标车辆的当前车辆行为，以将所述当前车辆行为与所述当前目标车辆以及所述当前目标车辆周围车辆的历史车辆特征，作为轨迹数据输入预置双向LSTM网络；
特征提取单元，用于基于所述预置双向LSTM网络中的双向LSTM编码层与单向LSTM编码层依次编码提取所述轨迹数据的时序特征；
轨迹预测单元，用于基于所述时序特征预测上一时间步的预测值，并根据上一时间步的预测值对当前时间步的隐藏层输出向量分配对应的注意力权重，基于多层时间维度全连接层输出当前时间步的预测值，确定所述当前目标车辆的轨迹预测结果。
可选地，在本说明书一个或多个实施例中，所述系统还包括：结果对比单元；其中，所述结果对比单元用于：
基于所述训练数据集对各类型预置LSTM网络进行训练，获得各类型预置双向LSTM网络所对应的轨迹预测模型；其中，所述各类型预置LSTM网络包括：LSTM网络、Bi-LSTM网络、At-LSTM、Bi-At-LSTM网络；
基于所述测试数据集与所述轨迹预测模型的评价公式，对所述各类型预置LSTM网络所对应的轨迹预测模型进行多次评价，获得各类型预置LSTM网络所对应的轨迹预测模型的评价结果；其中，所述测试数据集为HighD数据集中的记录数据基于Savitzky-Golay滤波器进行过滤后，获得过滤后的车辆特征数据，基于词嵌入方式进行向量转换获得车辆特征数据集；根据所述车辆特征数据集中各车辆特征所对应的车道进行分组，获得多个车道所对应的车辆特征数据集；基于预设划分比例对所述车辆特征数据集进行划分，获得训练数据集与测试数据集。
根据所述评价结果确定所述各类型预置LSTM网络中的预置双向LSTM网络是否为最优轨迹预测模型；其中，所述预置双向LSTM网络中添加有自注意力机制。
本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：
在行为识别模型中加入自注意力机制可以更加灵活地利用历史信息来生成当前的输出，实现了对于时间序列中长期依赖关系的充分捕捉，提高了模型预测长期趋势的能力。将识别的当前车辆行为作为轨迹预测的输入增加了轨迹预测的特征有助于提高预测精度及泛化能力。而在预置双向LSTM网络进行车辆轨迹预测时，基于双向LSTM编码层与单向LSTM编码层依次编码的方式实现了对于数据之间的隐藏特征的充分捕获，方便了从大量数据中学习到更详细和深入的特征，提升了轨迹预测的精度和速度。通过在每个时间步引入自注意力机制，计算当前时间步与之前时间步的相似度，进而得到一个加权表示的上下文向量，因此模型可以更加灵活地利用历史信息来生成当前的输出，在增强模型效果的同时也增强了模型的可解释性。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为本说明书实施例提供的一种基于车辆行为识别的轨迹预测方法流程示意图；
图2为本说明书实施例提供的一种基于车辆行为识别的轨迹预测总体流程示意图；
图3为本说明书实施例提供的一种行为识别模型识别流程示意图；
图4为本说明书实施例提供的一种LSTM网络逻辑图；
图5为本说明书实施例提供的一种轨迹预测流程图；
图6（a）为本说明书实施例提供的一种LSTM网络模型的测试结果示意图；
图6（b）为本说明书实施例提供的一种Bi-LSTM网络模型的测试结果示意图；
图6（c）为本说明书实施例提供的一种At-LSTM网络模型的测试结果示意图;
图6（d）为本说明书实施例提供的一种Bi-At-LSTM网络模型的测试结果示意图;
图7为本说明书实施例提供的一种基于车辆行为识别的轨迹预测系统的内部结构示意图。
具体实施方式
本说明书实施例提供一种基于车辆行为识别的轨迹预测方法及系统。
为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。
现有传统的基于物理学预测的方式大多数适用于简单的预测场景和短时预测任务，较少考虑交互相关因素的影响，因此其预测结果在实际交通场景中不够准确，无法满足精确预测的需求。而基于传统机器学习的方式进行车辆轨迹的预测时，虽然可以考虑物理相关因素和道路相关因素，还可以考虑交互相关因素，并适应更复杂的场景，但是现有的模型结果和理论仍然无法满足精确度与运算速度的要求。
为了解决上述问题，本说明书实施例中提出了一种基于车辆行为识别的轨迹预测方法，该方法采用自注意力机制和双向循环长短期记忆网络实现对于车辆行为的识别和轨迹的预测，通过双向LSTM网络进行轨迹预测使得模型可以更加灵活地利用历史信息来生成当前的输出，在增强模型效果的同时也增强了模型的可解释性，充分挖掘了数据潜能，从大量数据中学习到了更详细和深入的特征，提升了轨迹预测的精确度和速度。采用了双向LSTM编码和单向LSTM编码相结合的方式，实现了对于特征的深度挖掘，而添加自注意力机制对解码结果进行加权处理，最终得到高质量的轨迹预测结果。
如下图1所示，本说明书实施例中提供了一种基于车辆行为识别的轨迹预测方法流程示意图。由图1可知，一种基于车辆行为识别的轨迹预测方法，方法包括以下步骤：
S101：基于HighD数据集获取各个目标车辆的车辆特征，以基于Savitzky-Golay滤波器对所述车辆特征进行预处理获得训练数据集。
首先车辆行为识别和车辆轨迹预测是不同的概率，车辆行为识别的结果也就是通过分析例如：速度、加速度、转向角等车辆的动态特征，以及例如道路几何形状、交通标识等判断出车辆的行为状态，而通过对车辆行为识别获取的车辆行为状态可以作为轨迹预测的特征之一，实现车辆轨迹预测精确度的提高。因此为了提高车辆轨迹预测的精确度首先需要对车辆行为进行识别，所以如图2所示的车辆行为识别模型部分，可见模型输入中需要输入相应的数据，因此说明书实施例中为了能够精确完成车辆行为识别，基于公开的记录的车辆自然轨迹的HighD数据集进行训练与测试，而由于车辆特征的输入是车辆行为识别的关键因素，它可以直接影响模型的性能和准确度，因此需要对车辆特征进行预处理后，才能获得后续进行行为识别模型训练的训练数据集。此外，在本说明书某实际应用场景中，可以通过车载摄像头与路侧基础设施捕捉各目标车辆的车辆特征。
进一步地，在本说明书一个或多个实施例中，基于HighD数据集获取各个目标车辆的车辆特征，以基于Savitzky-Golay滤波器对所述车辆特征进行预处理获得训练数据集，具体包括以下过程：
首先获取HighD数据集中的记录数据，以基于HighD数据集中的记录数据与车辆特征所对应的物理公式计算获得车辆特征数据。然后为了能够提高模型的预测精度，进而提高自动驾驶车辆的驾驶安全和可靠性，需要对车辆特征中的噪声进行去除，因此本说明书基于Savitzky-Golay滤波器对所述车辆特征数据进行平滑处理，获得过滤后的车辆特征数据。基于Savitzky-Golay滤波器进行滤波的过程由于其是基于最小二乘法的滤波方式，因此可以通过调整系数来实现不同的滤波效果，且相对于传统的滑动窗口平均滤波器和中值滤波器，本说明书中的方式能够在保证车辆特征的形状宽度不发生改变的同时进行去噪。具体的，在预处理过程中基于Savitzky-Golay滤波器对所述车辆特征数据进行平滑处理的计算过程如下所示：
首先，需要选择窗口大小和多项式阶数，通过多项式拟合得到的拟合函数为：
；其中，/>为多项式系数。根据最小二乘法的思想，拟合函数应该使得平方误差最小。即对于窗口内的数据点/>，其拟合函数值/>与真实值/>的平方误差E应该最小，即：/>。
然后，对E求导并令导数为0，可以得到最小二乘解的公式：；其中，为/>的矩阵，/>为/>的列向量，其元素为多项式系数，/>为/>的列向量，其元素为窗口内的真实数据值。再将矩阵X和向量/>代入上述公式，可以得到最小二乘解：/>。
最后，将拟合函数带入原始数据中，可以得到平滑后的数据值。基于上述方式进行过滤处理后，为了将过滤后的车辆特征数据传递给LSTM网络进行训练学习，本说明书实施例中将过滤后的车辆特征数据基于词嵌入方式转换为固定长度的向量特征进行表示，从而获得车辆特征数据集。然后根据车辆特征数据集中各车辆特征所对应的车道进行分组，获得多个车道所对应的车辆特征数据集。也就是根据车道进行分组，分为中间可以实现向两个方向换道的车辆，以及当前处于边缘车道的车辆所对应的车辆特征数据集。其中，需要说明的是：对于边缘车道的车辆，在路侧方向的车辆临近位置设置虚拟车辆，防止不符合实际的换道预测的出现。同时，虚拟车辆的标签设置方法减少了0的出现，避免了长尾效应，有利于提高计算效率。基于上述步骤获得各个车道所对应的车辆特征数据集后，为了实现对于模型的训练与测试，基于预先设定的划分比例对车辆特征数据集进行划分，例如以10%的比例作为测试数据集其他作为训练数据集。
S102：将各车道所对应的训练数据集中的样本输入，基于多类型LSTM网络和自注意力机制构建的初始行为识别模型中，以训练确定符合要求的行为识别模型。
本说明书实施例中，基于对LSTM网络进行训练，对各个结构的权重矩阵和偏置向量进行调整，使得LSTM网络通过输入门、遗忘门、细胞状态和输出门的控制机制，对输入数据进行处理，从而实现长短期记忆的功能获得相应的行为识别模型，而为了能够更加灵活地利用历史信息来生成当前的输出，在增强模型效果的同时也增强了模型的可解释性。本说明书实施例中加入了自注意力机制，因此本说明书实施例中在基于多类型LSTM网络和自注意力机制构建初始识别模型之后，将上述步骤S101中获取的各车道所对应的训练数据集中的样本输入到该初始识别模型中进行训练学习，从而训练确定出符合要求的高精度行为识别模型进行后续识别分析。
具体地，在本说明书一个或多个实施例中，将各车道所对应的训练数据集中的样本输入，基于多类型LSTM网络和自注意力机制构建的初始行为识别模型中，以训练确定符合要求的行为识别模型，具体包括：
LSTM网络中的各个结构都可以用于对车辆数据进行建模和分析，因此确定不同类型 LSTM网络中循环层各单元的二分类器，从而向循环层添加自注意力机制构建初始行为识别模型；其中，所述二分类器基于输入门、遗忘门与输出门串联构成。然后将划分出的训练数据集中的样本输入到上述过程确定的初始行为识别模型中，从而基于二分类器的处理逻辑对样本进行数据处理，获得循环层的输出数据。进一步地，如图4所示的LSTM逻辑图，在本说明书一个或多个实施例中，基于二分类器的处理逻辑对样本进行数据处理，获得循环层的输出数据，具体包括以下过程：
输入门的作用是决定要保留多少当前输入的信息。它的输出值介于0到1之间，因此首先基于当前时间步的输入门对样本中的车辆状态信息进行过滤，获得样本在当前时间步的第一处理数据。其中，需要说明的是输入门通过对当前车辆状态的信息进行过滤，从而决定了车辆行为识别和轨迹预测结果。通过处理上一个时间步的隐藏状态输出和当前时间步的输入，选择性地保留当前的信息，而上述第一处理数据的处理公式如下所示：
；/>；。其中，/>表示当前时间步的输入门，/>表示当前时间步的输入数据，/>表示上一个时间步的隐藏状态，/>和/>分别表示输入数据和隐藏状态的权重矩阵，/>表示偏置向量。/>表示sigmoid函数，其作用是将输入的数值限制在0到1之间。/>表示当前时间步的候选细胞状态，/>和/>的意义同上，/>和/>分别表示输入数据和隐藏状态的权重矩阵，/>表示偏置向量。/>函数表示双曲正切函数，其作用是将输入的数值限制在-1到1之间。/>表示当前时间步的细胞状态，/>表示当前时间步的遗忘门，/>的意义同上，/>表示上一个时间步的细胞状态，/>表示逐元素相乘。
而遗忘门的作用决定要遗忘多少之前的信息。车辆的行为发生变化时，LSTM网络可以通过遗忘门丢弃历史轨迹数据中的噪声和异常值，从而更好地进行车辆行为识别和轨迹预测。因此，基于输入门进行处理后基于遗忘门对样本中历史车辆轨迹数据的噪声与异常值进行筛选，从而确定样本在当前时间步的第二处理数据。其中，遗忘门公式为：；其中，/>表示当前时间步的遗忘门，/>和/>的意义同上，/>和/>分别表示输入数据和隐藏状态的权重矩阵，/>表示偏置向量。
经过遗忘门结构筛选的第二处理数据进行传输后，根据双曲正切函数确定当前时间步的候选细胞状态，基于第一处理数据逐元素相乘所述候选细胞状态与所述第二处理数据逐元素相乘上一时间步的细胞状态的和，确定当前时间步的细胞状态，然后基于所述输出门逐元素相乘所述当前时间步的细胞状态，确定所述循环层的输出数据。其中，需要说明的是：输出门决定最终要将多少信息输出。当输出值越高，表明越多的信息被输出；当输出值越低，表明越少的信息被输出。输出门决定了最终要输出多少车辆状态信息，对于车辆行为识别和轨迹预测分别选择不同车辆状态输出。需要进一步的信息筛选，其计算公式如下：
；/>。其中，/>表示当前时间步的输出门，/>和/>的意义同上，/>和/>分别表示输入数据和隐藏状态的权重矩阵，/>表示偏置向量。/>表示当前时间步的隐藏状态，/>和/>的意义同上。
通过上述过程基于二分类器的处理逻辑对样本进行数据处理，获得循环层的输出数据之后，如图3所示将输出数据表示为矩阵形式的时间序列数据，将自注意力机制引入循环层，从而基于自注意力机制对时间序列数据之间的相似性进行建模，迭代循环层的超参数，以学习循环层的输出数据在不同维度的注意力权重分布，获得各类型LSTM网络所对应的行为识别模型；其中，需要说明的是超参数包括：损失函数、回调函数。进一步地，在本说明书一个或多个实施例中将输出数据表示为矩阵形式的时间序列数据，以基于自注意力机制对所述时间序列数据之间的相似性进行建模，迭代循环层的超参数，以学习循环层各单元的注意力权重分布，具体包括以下过程：
首先将输出数据表示为矩阵形式的时间序列数据，以基于矩阵形式的时间序列数据与权重矩阵，确定样本的查询向量；其中，查询向量为：；是查询向量的权重矩阵，/>表示查询向量的维度，/>为矩阵形式的时间序列数据/>表示当前时间步的时间序列数据。
类似地，可以将值向量v表示为整个时间序列X的线性组合：，其中，是值向量的权重矩阵，/>表示值向量的维度。
然后，可以计算查询向量和键向量/>之间的相似度得分：/>；其中，k表示整个时间序列X的键向量，计算方法类似于查询向量。在计算查询向量和键向量之间的相似度得分之后，基于softmax函数对所述相似性得分进行缩放，获得注意力权重/>，通过计算各特征维度的注意力权重，确定所述循环层的输出数据不同维度的注意力权重分布。其中，还需要说明的是查询向量/>和值向量v的线性变换相同，即：/>；是键向量的权重矩阵，/>表示键向量的维度。
得到相似度得分后，可以使用softmax函数对其进行缩放获得注意力权重为：
，基于上述过程学习所述循环层的输出数据不同维度的注意力权重分布，获得各类型LSTM网络所对应的行为识别模型之后，如图1所示的车辆行为识别模型的模型训练部分可知，为了在不同类型的LSTM网络所对应的行为识别模型中获取性能最优的行为识别模型。本说明书实施例中基于测试数据集中的样本获取各类型LSTM网络所对应的行为识别模型的评估值，从而基于评估值确定最优行为识别模型为符合要求的行为识别模型；其中，需要说明的是评估值包括：精确率，召回率，准确率以及精确率与召回率的调和平均值。例如，某应用场景下的实验设定训练过程中的迭代次数为500，指定每个训练批次中包含的样本数为50。为了防止过拟合，设置EarlyStopping回调函数在测试集上的损失函数不再下降时停止训练，并恢复模型参数到最佳状态；设置ReduceLROnPlateau回调函数在测试集上的损失函数不再下降时降低学习率，以帮助模型更好地拟合数据。为了选择最佳的超参数，以提高模型的性能。将保留10%的训练数据作为测试集，该10%的数据将从训练集中随机选择，此时进行评估时，评估公式为：
；
；
；
。其中，precision、recall、F1与accuracy分别为精确率，召回率，准确率以及精确率与召回率的调和平均值。如下表1所示为各类型LSTM网络所对应的行为识别模型的识别效果对比表。基于表1可知，在本说明书一个或多个实施例中，初始行为识别模型为性能最优的Ml-At-LSTM模型。
表1各类型LSTM网络所对应的行为识别模型的识别效果对比表
S103：将当前目标车辆的车辆特征输入所述行为识别模型，获得所述当前目标车辆的当前车辆行为，以将所述当前车辆行为与所述当前目标车辆以及所述当前目标车辆周围车辆的历史车辆特征，作为轨迹数据输入预置双向LSTM网络。
基于上述步骤S102获得训练后的行为识别模型之后，本说明书实施例中为了能够基于车辆行为识别对车辆进行分类后，再将分类结果与历史信息共同作为被测当前目标车辆的轨迹预测输入，实现基于车辆行为对车辆轨迹预测能力的提升，本说明书实施例中需要将当前目标车辆的车辆特征输入到行为识别模型中，从而获得当前目标车辆的当前车辆行为，以便将当前车辆行为与当前目标车辆以及当前目标车辆周围车辆的历史车辆特征作为轨迹数据输入预置双向LSTM网络中进行后续的轨迹预测过程。其中，需要说明的是如图1所示的车辆行为识别模型的模型输出部分可知，输出的当前车辆行为包括：向左换道、保持直行、向右换道。
可选地，在本说明书一个或多个实施例中，将所述当前车辆行为与所述当前目标车辆以及所述当前目标车辆周围车辆的历史车辆特征，作为轨迹数据输入预置双向LSTM网络之前，方法还包括以下过程：
首先，基于训练数据集对各类型预置LSTM网络进行训练，获得各类型预置LSTM网络所对应的轨迹预测模型。其中，需要说明的是各类型预置LSTM网络包括了：LSTM网络、Bi-LSTM网络、At-LSTM、Bi-At-LSTM网络。测试数据集然后基于测试数据集与轨迹预测模型的评价公式，对各类型预置LSTM网络所对应的轨迹预测模型进行多次评价，获得各类型预置LSTM网络所对应的轨迹预测模型的评价结果。其中，需要说明的是评价公式包括：
均方根误差RMSE：
；其中，预测结果为/>，真实值为。/>
平均轨迹预测点预测误差ADE与终点位移误差FDE：
；
。通过上述两类位移差，比较生成轨迹与真实轨迹之间的差距，进而分析所采用方法的准确性和有效性，从较全面的角度比选最优轨迹预测模型。进一步的，为了实现对于各模型轨迹预测的异常值进行识别，还可以基于箱型图进行评价，即假设一维时间序列为/>，其中/>表示时间序列长度。当/>时，判定xi为异常值；反之，当/>时，判定xi为非异常值。
；上式中，/>为升序数列25%位点，即上四分位点；/>为升序数列75%位点，即下四分位点；其中/>，通过箱型图法对轨迹预测进行异常值识别，在本说明书某应用场景下根据RMSE、ADE、FDE三个指标可得如下表2所示的多预置双向LSTM网络的模型测试结果表。
表2多预置双向LSTM网络的模型测试结果表
而在如下图6（a）-图6（d）所示的不同LSTM网络模型的测试结果示意图为箱型图，各个箱型图中矩形块中的横线表示数据的中位数也就是平均误差，即平均轨迹点预测误差和终点位移误差的平均值，基于图6（a）-图6（d）的结果对比，可知At-LSTM和Bi-LSTM模型相对于LSTM的平均误差都有所减少，并且Bi-At-LSTM在其中平均误差最小，说明从整体上分析，双向LSTM模块和Self-Attention模块均能有效提升预测准确度，并且同时增加两个模块整体预测效果最好；箱子上面的横线表示上边缘，下面的横线表示下边缘，分别代表着最大误差和最小误差，从图中可以看出Bi-At-LSTM最大值误差明显小于其他三种模型；上四分位数、下四分位数，其中上下四分位数之间的距离称为四分位距（IQR），即箱子的高度，在图中明显可以看出，Bi-At-LSTM的ADE和FDE的高度最低，说明其预测的正常值的分布相对集中；黑色的圆圈表示在边缘线以外的数据点，即数据中的异常值，一批数据中的异常值值得关注，忽视异常值的存在是十分危险的，不加剔除地把异常值包括进数据的计算分析过程中，对结果会带来不良影响，由图像可以看出，四个模型中均未出现异常值，说明其预测整体效果符合要求。综上所述，其中Bi-At-LSTM模型明显优于其他三个模型。因此在使用车辆轨迹预测模型时，加入双向长短时记忆网络和Attention模块可以显著提高模型的预测效果，所以根据评价结果确定最优轨迹预测模型所对应的双向LSTM网络作为预置双向LSTM网络且该双向LSTM网络中添加了自注意力机制。
S104：基于所述预置双向LSTM网络中的双向LSTM编码层与单向LSTM编码层依次编码提取所述轨迹数据的时序特征。
为了能够充分捕捉数据之间的隐藏特征，本说明书实施例中基于双向网络中双向LSTM编码层的正向LSTM和一个反向LSTM分别对输入序列进行正向和反向处理，然后LSTM编码层在双向LSTM编码层的基础上，再使用单向LSTM对其输出进行编码，进一步提取轨迹数据的时序特征，实现对于隐藏特征的深度提取，有助于提高后续预测的准确性。
具体地，如下图5所示在本说明书一个或多个实施例中，基于预置双向LSTM网络中的双向LSTM编码层与单向LSTM编码层依次编码提取轨迹数据的时序特征，具体包括以下过程：
首先基于预置双向LSTM网络中的双向LSTM编码层对轨迹数据进行编码，获取轨迹数据的第一时序特征。然后再基于单向LSTM编码层对双向LSTM编码层输出的第一时序特征进行编码，获取轨迹数据的第二时序特征作为所述轨迹数据的时序特征。即例如输入层输入轨迹数据的数据形状为(None,25,9)，其中None代表输入的序列长度不固定，25表示每个序列包含25个时间步，9代表每个时间步包含9个特征。双向LSTM编码层使用双向LSTM对输入轨迹数据进行编码，提取出轨迹数据的特征。该层的输出形状为(None,25,512)，其中512代表LSTM单元的数量。LSTM编码层在双向LSTM编码层的基础上，再使用单向LSTM对其输出进行编码，进一步提取轨迹数据的特征。该层的输出包含三个值，分别代表LSTM的输出状态、输出单元以及细胞状态。将LSTM编码层的输出状态复制多次，以便后续的解码操作。根据重复向量层的输出和LSTM编码层的输出单元以及细胞状态，对轨迹进行解码预测。该层的输出形状为(None,10,128)，其中10代表每个序列预测10个时间步，128代表每个时间步包含128个特征。
S105：基于所述时序特征预测上一时间步的预测值，并根据上一时间步的预测值对当前时间步的隐藏层输出向量分配对应的注意力权重，基于多层时间维度全连接层输出当前时间步的预测值，确定所述当前目标车辆的轨迹预测结果。
在本说明书实施例中将当前目标车辆的历史车辆特征加入预测输入数据中后，基于双向LSTM网络实现了同时考虑历史轨迹中过去和未来的信息，提高预测的准确性的目的，而在双向LSTM层中，正向LSTM和反向LSTM分别处理历史轨迹中的正向和反向信息，然后将它们的输出拼接起来，作为当前时间步的标识，因此为了确定当前时间步的预测值。本说明书实施例中基于双向LSTM编码和单向LSTM编码相结合提取到相应的时序特征后，如图5所示在双向LSTM网络后添加了自注意力机制对解码获取的时序特征进行加权处理，也就是基于时序特征预测上一时间步的预测值，并根据上一时间步的预测值对当前时间步的隐藏层输出向量分配对应的注意力权重，然后再基于多层时间维度全连接层输出当前时间步的预测值，确定当前目标车辆的轨迹预测结果，实现了高质量的轨迹预测。
具体地，在本说明书一个或多个实施例中，基于时序特征预测上一时间步的预测值，并根据上一时间步的预测值对当前时间步的隐藏层输出向量分配对应的注意力权重，基于多层时间维度全连接层输出当前时间步的预测值，具体包括：
确定时序特征预测上一时间步的预测值，并基于内积计算确定上一时间步与当前时间步的轨迹数据之间的相似度作为注意力分数。然后基于softmax与注意力分数确定各时间步的隐藏状态所占的注意力权重大小，以实现对当前时间步的隐藏层输出向量分配对应的注意力权重。然后基于当前时间步的注意力权重确定当前时间步所对应的自注意力机制层输出数据，并基于预置处理函数对自注意力机制层输出数据进行处理，获得层时间维度全连接层输出的当前时间步的预测值。通过在每个时间步引入自注意力机制，计算当前时间步与之前时间步的相似度，进而得到一个加权表示的上下文向量，因此模型可以更加灵活地利用历史信息来生成当前的输出，在增强模型效果的同时也增强了模型的可解释性。其中，需要说明的是预置处理函数为TimeDistributed函数，还需要说明的是预置双向LSTM网络中使用Softmax作为网络输出层的激活函数，采用RMSE为损失函数，并采用批量Adam算法作为优化算法。它利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率。该方法的主要优点是经过偏差校正后，每个迭代学习速率都有一定的范围，使得参数更加稳定。
如图7所示，本说明书实施例中提供了一种基于车辆行为识别的轨迹预测系统，系统包括：
数据采集及处理单元，用于基于HighD数据集获取各个目标车辆的车辆特征，以对所述车辆特征进行预处理获得训练数据集；
行为识别模型训练单元，用于将各车道所对应的训练数据集中的样本输入，基于Multi-layer LSTM网络和自注意力机制构建的初始行为识别模型中，以训练获得符合要求的行为识别模型；
输入单元，用于将当前目标车辆的车辆特征输入所述行为识别模型，获得所述当前目标车辆的当前车辆行为，以将所述当前车辆行为与当前目标车辆以及所述当前目标车辆周围车辆的历史车辆特征作为轨迹数据输入预置双向LSTM网络；
特征提取单元，用于基于所述预置双向LSTM网络中的双向LSTM编码层与单向LSTM编码层依次编码提取所述轨迹数据的时序特征；
轨迹预测单元，用于基于所述时序特征预测上一时间步的预测值，并根据上一时间步的预测值对当前时间步的隐藏层输出向量分配对应的注意力权重，基于多层时间维度全连接层输出当前时间步的预测值，确定所述当前目标车辆的轨迹预测结果。
可选地，在本说明书一个或多个实施例中，所述系统还包括：结果对比单元；其中，所述结果对比单元用于：
基于所述训练数据集对各类型预置LSTM网络进行训练，获得各类型预置双向LSTM网络所对应的轨迹预测模型；其中，所述各类型预置LSTM网络包括：LSTM网络、Bi-LSTM网络、At-LSTM、Bi-At-LSTM网络；
基于所述测试数据集与所述轨迹预测模型的评价公式，对所述各类型预置LSTM网络所对应的轨迹预测模型进行多次评价，获得各类型预置LSTM网络所对应的轨迹预测模型的评价结果；其中，所述测试数据集为HighD数据集中的记录数据基于Savitzky-Golay滤波器进行过滤后，获得过滤后的车辆特征数据，基于词嵌入方式进行向量转换获得车辆特征数据集；根据所述车辆特征数据集中各车辆特征所对应的车道进行分组，获得多个车道所对应的车辆特征数据集；基于预设划分比例对所述车辆特征数据集进行划分，获得训练数据集与测试数据集；
根据所述评价结果确定所述各类型预置LSTM网络中的预置双向LSTM网络是否为最优轨迹预测模型；其中，所述预置双向LSTM网络中添加有自注意力机制。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备、非易失性计算机存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
以上所述仅为本说明书的一个或多个实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书的一个或多个实施例可以有各种更改和变化。凡在本说明书的一个或多个实施例的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (8)

1.一种基于车辆行为识别的轨迹预测方法，其特征在于，所述方法包括：
基于HighD数据集获取各个目标车辆的车辆特征，以基于Savitzky-Golay滤波器对所述车辆特征进行预处理获得训练数据集；
将各车道所对应的训练数据集中的样本输入，基于多类型LSTM网络和自注意力机制构建的初始行为识别模型中，以训练确定符合要求的行为识别模型；
将当前目标车辆的车辆特征输入所述行为识别模型，获得当前目标车辆的当前车辆行为，以将所述当前车辆行为与所述当前目标车辆以及所述当前目标车辆周围车辆的历史车辆特征，作为轨迹数据输入预置双向LSTM网络；
基于所述预置双向LSTM网络中的双向LSTM编码层与单向LSTM编码层依次编码提取所述轨迹数据的时序特征；
基于所述时序特征预测上一时间步的预测值，并根据上一时间步的预测值对当前时间步的隐藏层输出向量分配对应的注意力权重，基于多层时间维度全连接层输出当前时间步的预测值，确定所述当前目标车辆的轨迹预测结果;
其中，基于HighD数据集获取各个目标车辆的车辆特征，以基于Savitzky-Golay滤波器对所述车辆特征进行预处理获得训练数据集，具体包括：
获取HighD数据集中的记录数据，以基于所述记录数据与所述车辆特征所对应的物理公式计算获得车辆特征数据；
基于Savitzky-Golay滤波器对所述车辆特征数据进行平滑处理，获得过滤后的车辆特征数据，基于词嵌入方式进行向量转换获得车辆特征数据集；
根据所述车辆特征数据集中各车辆特征所对应的车道进行分组，获得多个车道所对应的车辆特征数据集；
基于预设划分比例对所述车辆特征数据集进行划分，获得训练数据集与测试数据集；
将各车道所对应的训练数据集中的样本输入，基于多类型LSTM网络和自注意力机制构建的初始行为识别模型中，以训练确定符合要求的行为识别模型，具体包括：
确定不同类型LSTM网络中循环层各单元的二分类器，并向所述循环层添加自注意力机制构建初始行为识别模型；其中，所述二分类器基于输入门、遗忘门与输出门串联构成；
将各车道所对应的训练数据集中的样本输入所述初始行为识别模型，以基于所述二分类器的处理逻辑对所述样本进行数据处理，获得循环层的输出数据；
将所述输出数据表示为矩阵形式的时间序列数据，以基于自注意力机制对所述时间序列数据之间的相似性进行建模，迭代循环层的超参数，以学习所述循环层的输出数据不同维度的注意力权重分布，获得各类型LSTM网络所对应的行为识别模型；其中，所述超参数包括：损失函数、回调函数；
基于所述测试数据集中的样本获取各类型LSTM网络所对应的行为识别模型的评估值，以基于所述评估值确定最优行为识别模型为符合要求的行为识别模型；其中，所述评估值包括：精确率，召回率，准确率以及精确率与召回率的调和平均值。
2.根据权利要求1所述的一种基于车辆行为识别的轨迹预测方法，其特征在于，基于所述二分类器的处理逻辑对所述样本进行数据处理，获得循环层的输出数据，具体包括：
基于当前时间步的输入门对所述样本中的车辆状态信息进行过滤，获得所述样本在当前时间步的第一处理数据；
基于遗忘门对所述样本中历史车辆轨迹数据的噪声与异常值进行筛选，以确定所述样本在当前时间步的第二处理数据；
根据双曲正切函数确定当前时间步的候选细胞状态，基于所述第一处理数据逐元素相乘所述候选细胞状态与所述第二处理数据逐元素相乘上一时间步的细胞状态的和，确定当前时间步的细胞状态；
基于所述输出门逐元素相乘所述当前时间步的细胞状态，确定所述循环层的输出数据。
3.根据权利要求1所述的一种基于车辆行为识别的轨迹预测方法，其特征在于，将所述输出数据表示为矩阵形式的时间序列数据，以基于自注意力机制对所述时间序列数据之间的相似性进行建模，迭代循环层的超参数，以学习循环层各单元的注意力权重分布，具体包括：
将所述输出数据表示为矩阵形式的时间序列数据，以基于所述矩阵形式的时间序列数据与权重矩阵，确定所述样本的查询向量；其中，所述查询向量为：
；/>是查询向量的权重矩阵，/>表示查询向量的维度，为矩阵形式的时间序列数据，/>表示当前时间步的时间序列数据；
计算所述查询向量和键向量之间的相似度得分，以基于softmax函数对所述相似性得分进行缩放，获得注意力权重，通过计算各特征维度的注意力权重，确定所述循环层的输出数据不同维度的注意力权重分布。
4.根据权利要求1所述的一种基于车辆行为识别的轨迹预测方法，其特征在于，基于所述预置双向LSTM网络中的双向LSTM编码层与单向LSTM编码层依次编码提取所述轨迹数据的时序特征，具体包括：
基于所述预置双向LSTM网络中的双向LSTM编码层对所述轨迹数据进行编码，获取所述轨迹数据的第一时序特征；
基于单向LSTM编码层对所述双向LSTM编码层输出的第一时序特征进行编码，获取所述轨迹数据的第二时序特征作为所述轨迹数据的时序特征。
5.根据权利要求4所述的一种基于车辆行为识别的轨迹预测方法，其特征在于，基于所述时序特征预测上一时间步的预测值，并根据上一时间步的预测值对当前时间步的隐藏层输出向量分配对应的注意力权重，基于多层时间维度全连接层输出当前时间步的预测值，具体包括：
确定所述时序特征预测上一时间步的预测值，并基于内积计算确定所述上一时间步与所述当前时间步的轨迹数据之间的相似度作为注意力分数；
基于softmax与所述注意力分数确定各时间步的隐藏状态所占的注意力权重大小，以实现对当前时间步的隐藏层输出向量分配对应的注意力权重；
基于当前时间步的注意力权重确定所述当前时间步所对应的自注意力机制层输出数据，并基于预置处理函数对所述自注意力机制层输出数据进行处理，获得层时间维度全连接层输出的当前时间步的预测值；其中，所述预置处理函数为TimeDistributed函数。
6.根据权利要求1所述的一种基于车辆行为识别的轨迹预测方法，其特征在于，将所述当前车辆行为与所述当前目标车辆以及所述当前目标车辆周围车辆的历史车辆特征，作为轨迹数据输入预置双向LSTM网络之前，所述方法还包括：
基于所述训练数据集对各类型预置LSTM网络进行训练，获得各类型预置双向LSTM网络所对应的轨迹预测模型；其中，所述各类型预置LSTM网络包括：LSTM网络、Bi-LSTM网络、At-LSTM、Bi-At-LSTM网络；
基于所述测试数据集与所述轨迹预测模型的评价公式，对所述各类型预置LSTM网络所对应的轨迹预测模型进行多次评价，获得各类型预置LSTM网络所对应的轨迹预测模型的评价结果；
根据所述评价结果确定所述各类型预置LSTM网络中的预置双向LSTM网络是否为最优轨迹预测模型；其中，所述预置双向LSTM网络中添加有自注意力机制。
7.一种基于车辆行为识别的轨迹预测系统，其特征在于，所述系统包括：
数据采集及处理单元，用于基于HighD数据集获取各个目标车辆的车辆特征，以基于Savitzky-Golay滤波器对所述车辆特征进行预处理获得训练数据集；
行为识别模型训练单元，用于将各车道所对应的训练数据集中的样本输入，基于Multi-layer LSTM网络和自注意力机制构建的初始行为识别模型中，以训练获得符合要求的行为识别模型；
输入单元，用于将当前目标车辆的车辆特征输入所述行为识别模型，获得所述当前目标车辆的当前车辆行为，以将所述当前车辆行为与所述当前目标车辆以及所述当前目标车辆周围车辆的历史车辆特征，作为轨迹数据输入预置双向LSTM网络；
特征提取单元，用于基于所述预置双向LSTM网络中的双向LSTM编码层与单向LSTM编码层依次编码提取所述轨迹数据的时序特征；
轨迹预测单元，用于基于所述时序特征预测上一时间步的预测值，并根据上一时间步的预测值对当前时间步的隐藏层输出向量分配对应的注意力权重，基于多层时间维度全连接层输出当前时间步的预测值，确定所述当前目标车辆的轨迹预测结果；
其中，基于HighD数据集获取各个目标车辆的车辆特征，以基于Savitzky-Golay滤波器对所述车辆特征进行预处理获得训练数据集，具体包括：
获取HighD数据集中的记录数据，以基于所述记录数据与所述车辆特征所对应的物理公式计算获得车辆特征数据；
基于Savitzky-Golay滤波器对所述车辆特征数据进行平滑处理，获得过滤后的车辆特征数据，基于词嵌入方式进行向量转换获得车辆特征数据集；
根据所述车辆特征数据集中各车辆特征所对应的车道进行分组，获得多个车道所对应的车辆特征数据集；
基于预设划分比例对所述车辆特征数据集进行划分，获得训练数据集与测试数据集；
将各车道所对应的训练数据集中的样本输入，基于多类型LSTM网络和自注意力机制构建的初始行为识别模型中，以训练确定符合要求的行为识别模型，具体包括：
确定不同类型LSTM网络中循环层各单元的二分类器，并向所述循环层添加自注意力机制构建初始行为识别模型；其中，所述二分类器基于输入门、遗忘门与输出门串联构成；
将各车道所对应的训练数据集中的样本输入所述初始行为识别模型，以基于所述二分类器的处理逻辑对所述样本进行数据处理，获得循环层的输出数据；
将所述输出数据表示为矩阵形式的时间序列数据，以基于自注意力机制对所述时间序列数据之间的相似性进行建模，迭代循环层的超参数，以学习所述循环层的输出数据不同维度的注意力权重分布，获得各类型LSTM网络所对应的行为识别模型；其中，所述超参数包括：损失函数、回调函数；
基于所述测试数据集中的样本获取各类型LSTM网络所对应的行为识别模型的评估值，以基于所述评估值确定最优行为识别模型为符合要求的行为识别模型；其中，所述评估值包括：精确率，召回率，准确率以及精确率与召回率的调和平均值。
8.根据权利要求7所述的一种基于车辆行为识别的轨迹预测系统，其特征在于，所述系统还包括：结果对比单元；其中，所述结果对比单元用于：
基于所述训练数据集对各类型预置LSTM网络进行训练，获得各类型预置双向LSTM网络所对应的轨迹预测模型；其中，所述各类型预置LSTM网络包括：LSTM网络、Bi-LSTM网络、At-LSTM、Bi-At-LSTM网络；
基于测试数据集与所述轨迹预测模型的评价公式，对所述各类型预置LSTM网络所对应的轨迹预测模型进行多次评价，获得各类型预置LSTM网络所对应的轨迹预测模型的评价结果；其中，所述测试数据集为HighD数据集中的记录数据基于Savitzky-Golay滤波器进行过滤后，获得过滤后的车辆特征数据，基于词嵌入方式进行向量转换获得车辆特征数据集；根据所述车辆特征数据集中各车辆特征所对应的车道进行分组，获得多个车道所对应的车辆特征数据集；基于预设划分比例对所述车辆特征数据集进行划分，获得训练数据集与测试数据集；
根据所述评价结果确定所述各类型预置LSTM网络中的预置双向LSTM网络是否为最优轨迹预测模型；其中，所述预置双向LSTM网络中添加有自注意力机制。
CN202311631985.3A 2023-12-01 2023-12-01 一种基于车辆行为识别的轨迹预测方法及系统 Active CN117333847B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311631985.3A CN117333847B (zh) 2023-12-01 2023-12-01 一种基于车辆行为识别的轨迹预测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311631985.3A CN117333847B (zh) 2023-12-01 2023-12-01 一种基于车辆行为识别的轨迹预测方法及系统

Publications (2)

Publication Number Publication Date
CN117333847A CN117333847A (zh) 2024-01-02
CN117333847B true CN117333847B (zh) 2024-03-15

Family

ID=89279784

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311631985.3A Active CN117333847B (zh) 2023-12-01 2023-12-01 一种基于车辆行为识别的轨迹预测方法及系统

Country Status (1)

Country Link
CN (1) CN117333847B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109285348A (zh) * 2018-10-26 2019-01-29 深圳大学 一种基于双向长短时记忆网络的车辆行为识别方法及系统
US11222217B1 (en) * 2020-08-14 2022-01-11 Tsinghua University Detection method using fusion network based on attention mechanism, and terminal device
CN114926802A (zh) * 2022-06-24 2022-08-19 重庆长安汽车股份有限公司 基于双层lstm网络的车辆轨迹预测方法
CN115158364A (zh) * 2022-08-16 2022-10-11 厦门大学 一种自动驾驶汽车对周车驾驶意图和轨迹联合预测的方法
CN115730637A (zh) * 2022-11-25 2023-03-03 长安大学 多模态车辆轨迹预测模型训练方法、装置及轨迹预测方法
CN115743179A (zh) * 2022-11-28 2023-03-07 长沙汽车创新研究院 一种车辆概率多模态预期轨迹预测方法
CN116341099A (zh) * 2023-02-16 2023-06-27 吉林大学 一种基于注意力机制的lstm神经网络车辆悬架系统状态观测器的搭建方法
CN116383685A (zh) * 2023-03-09 2023-07-04 浙江工业大学 一种基于时空交互图注意力网络的车辆变道检测方法
US11798407B1 (en) * 2022-08-03 2023-10-24 Soochow University Method and system for identifying lane changing intention of manually driven vehicle

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109285348A (zh) * 2018-10-26 2019-01-29 深圳大学 一种基于双向长短时记忆网络的车辆行为识别方法及系统
US11222217B1 (en) * 2020-08-14 2022-01-11 Tsinghua University Detection method using fusion network based on attention mechanism, and terminal device
CN114926802A (zh) * 2022-06-24 2022-08-19 重庆长安汽车股份有限公司 基于双层lstm网络的车辆轨迹预测方法
US11798407B1 (en) * 2022-08-03 2023-10-24 Soochow University Method and system for identifying lane changing intention of manually driven vehicle
CN115158364A (zh) * 2022-08-16 2022-10-11 厦门大学 一种自动驾驶汽车对周车驾驶意图和轨迹联合预测的方法
CN115730637A (zh) * 2022-11-25 2023-03-03 长安大学 多模态车辆轨迹预测模型训练方法、装置及轨迹预测方法
CN115743179A (zh) * 2022-11-28 2023-03-07 长沙汽车创新研究院 一种车辆概率多模态预期轨迹预测方法
CN116341099A (zh) * 2023-02-16 2023-06-27 吉林大学 一种基于注意力机制的lstm神经网络车辆悬架系统状态观测器的搭建方法
CN116383685A (zh) * 2023-03-09 2023-07-04 浙江工业大学 一种基于时空交互图注意力网络的车辆变道检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Chen Hao ; Zhang Xi ; Yang Wenyan ; Lin Yiwei.A data-driven stacking fusion approach for pedestrian trajectory prediction.《 Transportmetrica B: Transport Dynamics》.2023,第548-571页. *
基于深度学习的公交行驶轨迹预测研究综述;杨晨曦等;《计算机工程与应用》;第15页 *

Also Published As

Publication number Publication date
CN117333847A (zh) 2024-01-02

Similar Documents

Publication Publication Date Title
CN111476302B (zh) 基于深度强化学习的Faster-RCNN目标物体检测方法
CN108346293B (zh) 一种实时交通流短时预测方法
CN114802296A (zh) 一种基于动态交互图卷积的车辆轨迹预测方法
CN113673346B (zh) 一种基于多尺度SE-Resnet的电机振动数据处理与状态识别方法
CN115829171B (zh) 一种联合时空信息和社交互动特征的行人轨迹预测方法
CN111767847A (zh) 一种集成目标检测和关联的行人多目标跟踪方法
CN114065996A (zh) 基于变分自编码学习的交通流预测方法
Feng et al. Dynamic global-local spatial-temporal network for traffic speed prediction
CN116307152A (zh) 时空交互式动态图注意力网络的交通预测方法
CN114821340A (zh) 一种土地利用分类方法及系统
CN111833353A (zh) 一种基于图像分割的高光谱目标检测方法
Seidel et al. NAPC: A neural algorithm for automated passenger counting in public transport on a privacy-friendly dataset
CN114723784A (zh) 一种基于域适应技术的行人运动轨迹预测方法
CN117333847B (zh) 一种基于车辆行为识别的轨迹预测方法及系统
CN112766339A (zh) 一种轨迹识别模型训练方法及轨迹识别方法
CN115544239A (zh) 一种基于深度学习模型的布局偏好预测方法
CN115578574A (zh) 一种基于深度学习和拓扑感知的三维点云补全方法
CN114399901A (zh) 一种控制交通系统的方法和设备
Ravichandran et al. Ensemble Learning Based Convolutional Neural Networks for Remaining Useful Life Prediction of Aircraft Engines
Kalirajan et al. Deep Learning for Moving Object Detection and Tracking
Siddiqui et al. Efficient ConvNet Optimization through Width Modification Guided with Gaussian Processes
CN117808650B (zh) 一种基于Transform-Flownet和R-FPN的降水预测方法
Sudo et al. Predicting indoor crowd density using column-structured deep neural network
CN117036966B (zh) 地图中点位特征的学习方法、装置、设备及存储介质
Chen Brain Tumor Prediction with LSTM Method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant