CN113313320B - 一种基于残差注意力机制的车辆轨迹预测方法 - Google Patents

一种基于残差注意力机制的车辆轨迹预测方法 Download PDF

Info

Publication number
CN113313320B
CN113313320B CN202110670889.4A CN202110670889A CN113313320B CN 113313320 B CN113313320 B CN 113313320B CN 202110670889 A CN202110670889 A CN 202110670889A CN 113313320 B CN113313320 B CN 113313320B
Authority
CN
China
Prior art keywords
vehicle
track
tensor
interaction
target vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110670889.4A
Other languages
English (en)
Other versions
CN113313320A (zh
Inventor
杨正才
石川
周奎
姚胜华
张友兵
尹长城
冯樱
刘成武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei University of Automotive Technology
Original Assignee
Hubei University of Automotive Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei University of Automotive Technology filed Critical Hubei University of Automotive Technology
Priority to CN202110670889.4A priority Critical patent/CN113313320B/zh
Publication of CN113313320A publication Critical patent/CN113313320A/zh
Application granted granted Critical
Publication of CN113313320B publication Critical patent/CN113313320B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于残差注意力机制的车辆轨迹预测方法，将目标车和周围车的轨迹预处理后作为模型输入，通过残差连接的注意力模块计算周围每一辆车相对目标车的权重系数，根据权重系数重新配置交互张量；结合新交互张量和目标车历史轨迹的编码提取出完整的交互特征，作为解码器的输入，最后通过全连接层输出未来预测轨迹的概率分布；将概率分布的均值作为实际轨迹坐标预测值，计算模型均方根误差损失值，反向传播误差，通过Adam优化器更新模型中的参数，训练直至模型损失值最小，并在验证集和测试集上具有较好的泛化能力。

Description

一种基于残差注意力机制的车辆轨迹预测方法
技术领域
本发明属于驾驶辅助系统领域，具体指代一种基于残差注意力机制的车辆轨迹预测方法。
背景技术
近年来，随着大众对汽车安全性问题的重视，驾驶辅助系统在车辆的应用越来越广泛，其中的车道偏离预警系统对于降低驾驶疲劳引发的偏离车道事故颇有成效。但现有关于车道偏离预警误报的问题一直存在，主要问题集中在错误预测车辆未来的运动轨迹上，因此提高车辆未来预测轨迹的精度对于解决车道偏离预警误报的问题直接相关。
当前的车辆轨迹预测技术可分为基于动力学模型的轨迹预测方法和基于数据学习的轨迹预测方法；其中基于动力学模型的方法包括基于CV、CTRA、CTRV等方法，目前车道偏离预警系统中大多采用这些方法，由于只考虑预测前1秒的车辆状态参数，且这些模型多基于理想化假设条件，只能在短期内取得较精准的预测轨迹；而基于数据学习的方法，如GAN、LSTM等，由于利用了长时间历史轨迹内的数据依赖关系，在轨迹预测时域长度和预测精度都取得了较高的进步。
当前基于数据学习的轨迹预测方法除了利用车辆历史轨迹作为模型预测轨迹的依据外，还考虑车辆间的交互作用对车辆未来行驶轨迹的影响，如驾驶员向左换道时会观察并预判左车道后方来车的行驶状况是否会对自车变道造成影响；根据道路结构和车辆行驶轨迹构建交互张量，通过卷积层或全连接层提取交互张量中的交互特征；但考虑车辆间交互的轨迹预测方法在提取车辆间的交互特征时，基本都无偏差的对于每辆车赋予相同的权重，真实驾驶环境中车辆驾驶员只会关注道路中的部分车辆，驾驶员对不同车辆所赋予的关注度是不一样的；因此无偏差的对于每辆车赋予相同的权重所提取到的交互特征与道路情况中的真实交互特征间会存在较大差别。通过计算道路中车辆相对目标车的权重参数，赋予每辆车交互特征不同的关注度，增强提取到的交互特征的有效性，提高预测轨迹的精度。
发明内容
针对上述现有技术的不足，本发明的目的在于解决当前轨迹预测领域中，通过卷积层或全连接层无偏差的提取交互张量中的交互特征，造成无法提取到对目标车未来行驶轨迹最相关的周围车与目标车的交互特征。
为解决上述问题，本发明采用的技术方案是，一种基于残差注意力机制的车辆轨迹预测方法，包括以下步骤：
步骤1：采集目标车和其周围车辆的历史轨迹信息，对历史轨迹预处理，滤除轨迹信息中的噪音和无效数据，制作轨迹数据集；
步骤2：根据目标车作用域构建交互张量，将周围车辆的历史轨迹编码填充在交互张量对应位置；
步骤3：利用残差注意力模块计算交互张量中周围车辆历史轨迹编码隐态向量的权重系数,根据权重系数重新配置交互张量；
步骤4：通过池化卷积层提取出交互特征，结合目标车运动特征完整交互特征，根据完整交互特征解码得到目标车未来预测轨迹；
步骤5：通过均方误差损失函数训练模型，推算出模型里的中间参数；
进一步的，所述步骤1中，采集目标车和其周围车辆的历史轨迹信息，对历史轨迹预处理，滤除轨迹信息中的噪音和无效数据，制作轨迹数据集，具体方法如下：
目标车上部署的GPS/IMU、车身周围的双目相机系统记录目标车自身的轨迹数据和周围车的行驶视频，通过立体视觉目标检测技术获得周围车辆的轨迹数据；目标车和周围车的轨迹包含采集的时间戳、车辆编号、车辆的轨迹横、纵向轨迹坐标、车辆所处道路的编号，将轨迹信息下采样到5Hz,滤除轨迹中小于8s且在目标车作用域外的车辆轨迹；用卡尔曼滤波去除轨迹中的噪声，并采用滑动窗口采样数据样本，将所采集到的所有样本按7:1:2的比例划分为训练集、验证集、测试集。
进一步的，所述步骤2中，将目标车和周围车的历史轨迹输入LSTM编码器获得历史轨迹的编码隐态向量，再根据定义的目标车作用域制作一个[13,3]交互张量；将周围车辆的历史轨迹的编码隐态向量按照作用域中相对目标车所处的位置，计算出在交互张量中的填充位置
Figure DEST_PATH_IMAGE001
、
Figure DEST_PATH_IMAGE002
。
进一步的，所述步骤3中，利用残差注意力模块计算交互张量中周围车辆历史轨迹编码隐态向量的权重系数,根据权重系数重新配置交互张量；具体方法如下：
(1)将交互张量
Figure DEST_PATH_IMAGE003
通过n层最大池化层，快速增大感受野，再通过n层上采样层，使得交互张量恢复到原来的维度，通过双线性插值的方法赋予交互张量中元素新的值,得到特征交互张量
Figure DEST_PATH_IMAGE004
：
Figure DEST_PATH_IMAGE005
；
(2)再将特征交互张量
Figure DEST_PATH_IMAGE006
通过sigmoid激活函数归一化：
Figure DEST_PATH_IMAGE007
，得到权重张量
Figure DEST_PATH_IMAGE008
，将权重张量
Figure DEST_PATH_IMAGE009
与原始交互张量
Figure DEST_PATH_IMAGE010
做点乘，原始的交互张量中得各个元素值按照权重对应位置的系数等比缩放，获得带有权重的交互张量
Figure DEST_PATH_IMAGE011
；
(3)为避免错误计算出的注意力权重破坏原始交互张量中的交互特征，引入残差连接来消除错误的影响，交互张量
Figure DEST_PATH_IMAGE012
的计算方式变为：
Figure DEST_PATH_IMAGE013
。
进一步的，所述步骤中4中，通过池化卷积层提取出交互特征，结合目标车运动特征完整交互特征，根据完整交互特征解码得到目标车未来预测轨迹；具体步骤为：
(1)交互张量通过卷积池化层提取出目标车与周围车辆间的交互特征
Figure DEST_PATH_IMAGE014
：
Figure DEST_PATH_IMAGE015
；
(2)将
Figure DEST_PATH_IMAGE016
时刻目标车历史轨迹的编码隐态向量
Figure DEST_PATH_IMAGE017
通过全连接层，得到目标车历史轨迹中的运动特征
Figure DEST_PATH_IMAGE018
；
(3)将目标车历史轨迹的运动特征
Figure DEST_PATH_IMAGE019
与增强交互特征后的交互张量通过卷积池化层提取出目标车与周围车辆间的交互特征
Figure DEST_PATH_IMAGE020
拼接在一起，得到完整的交互特征
Figure DEST_PATH_IMAGE021
；
(4)将完整交互特征
Figure DEST_PATH_IMAGE022
和上一时刻
Figure DEST_PATH_IMAGE023
解码隐态向量
Figure DEST_PATH_IMAGE024
一同输入LSTM解码器，得到
Figure DEST_PATH_IMAGE025
时刻预测轨迹的解码隐态向量
Figure 100002_DEST_PATH_IMAGE026
；
(5)将当前时刻的解码隐态向量通过多层感知机映射到未来预测轨迹的概率分布：
Figure DEST_PATH_IMAGE027
,模型实际预测出的预测时域内的轨迹坐标可用预测分布的均值表示。
进一步的，所述步骤中5中，通过均方误差损失函数训练模型，推算出模型里的中间参数，模型训练以最小化预测时域内均方根误差为目标，反向传播误差，通过Adam优化器更新权重参数，保存轨迹预测模型泛化能力最好时的模型权重参数，完成模型训练。
本发明的有益效果：本发明的基于残差注意力机制的车辆轨迹预测方法，通过残差连接的注意力模块计算出交互张量中每个位置车辆历史轨迹编码隐态向量的权重，根据权重重新配置交互张量，综合交互张量和目标车历史轨迹编码隐态向量提取到完整交互特征，用于解码输出目标车未来预测轨迹。该方法从增强提取到交互特征的有效性的初衷出发，通过相机和GPS/IMU收集车辆行驶状态信息，通过数据预处理方法提取出每辆车的行驶轨迹信息，包括采集的时间戳、车辆编号、车辆的轨迹横、纵向轨迹坐标、车辆所处道路的编号；根据目标车作用域、车辆长度、道路宽度构建目标车交互张量，将周围车辆历史轨迹的编码隐态向量按照相对目标车的位置填充在交互张量中的对应位置；残差连接的注意力模块计算出交互张量中每个位置车辆历史轨迹编码隐态向量的权重，根据权重重新配置交互张量，重配置好的交互张量通过卷积池化层提取出交互特征，结合全连接层提取出的目标车历史轨迹编码隐态向量中的运动特征，获取到完整的交互特征；将完整交互特征输入LSTM解码器得到目标车未来预测时域内的轨迹坐标概率分布；将分布中的均值作为实际预测的轨迹坐标来计算均方根误差损失，反向传播误差通过优化模型中的参数，最小化训练时的损失值，最终推算出模型中的最优参数，使得模型在验证集和测试机上的泛化一致性。预测行驶轨迹可作为目标车的补充状态信息判断未来是否会与道路边界相交，提前给与驾驶员预警信息以避免偏离行驶车道发生事故。
附图说明
图1为本发明的方法流程图；
图2为降采样后的数据效果图；
图3为数据预处理步骤流程图；
图4为根据目标车作用域构建交互张量示意图；
图5为注意力模块内部结构示意图。
具体实施方式
以下结合附图和具体实施例来进一步阐述本发明的技术方案，应用具体实例仅在方便本技术领域人员详细理解本发明内容，而不用于对本发明的范围进行限制，本领域技术人员对本发明的各种等价形式修改均落在本申请所附权利要求限定范围内。
一种基于残差注意力机制的车辆轨迹预测方法，在车辆行驶过程中，通过车辆与周围车辆的历史行驶轨迹，预测车辆在未来一段时间的行驶轨迹，可作为补充信息判断未来是否会与道路边界相交，提前给与驾驶员预警信息以避免偏离行驶车道发生事故。如图1所示，该车辆轨迹预测方法包括：车辆轨迹信息预处理、轨迹历史轨迹信息编码、构建目标车作用域的交互向量、残差连接的注意力模块计算交互张量中的权重并重新配置交互张量、卷积池化层提取交互特征、结合提取到的目标车运动特征得到完整交互特征、解码输出预测轨迹坐标的分布。
该方法的具体实施过程如下：
A、轨迹数据采集及对采集到的数据预处理；
A1、在一段开放道路上部署数据一辆采集车辆，采集车辆上搭载一套GPS/IMU系统和一套分布车身周围的双目相机系统；GPS/IMU系统用于记录采集车每一时刻的行驶轨迹坐标，双目相机系统用于记录测试车辆周围的车辆行驶视频；定义采集车前进方向为y轴正方向，车辆后轴中心为坐标原点，垂直于y轴的方向为x轴；
A2、采集车辆自身的轨迹坐标信息按照10Hz的频率自动存入“.txt”文件内，周围车的视频信息按照10FPS的帧数存成“.mp4”格式；在已知相机相对采集车后轴中心的安装位置参数基础上，按帧数对视频每一帧中出现的车辆运用立体视觉目标检测算法获得车辆的轨迹信息,车辆轨迹信息包括:采集时刻的时间戳Time_stamp、车辆编号Vehicle_number、车辆相对自车的轨迹坐标（x,y）和车辆所处的道路编号Lane_number；
A3、提取出来的轨迹信息全部保存在“.txt”文件中，使用numpy库中的numpy.loadtxt 方法读取轨迹文件；由于原始数据存在较大的噪声，对读取到的轨迹数据进行Kalman filtering平滑；
A4、对平滑后的轨迹数据按照时间戳升序排列，其中每行数据表示对应编号为Vehicle_number车辆在Time_stamp时刻的轨迹信息，包含5列，第1列为采集的时间戳，第2列为车辆编号，第3、4列分别为车辆的轨迹横、纵向轨迹坐标，第5列为车辆所处道路的编号；
A5、此时的轨迹信息仍保持为10HZ的采样频率，为降低模型计算成本，增强模型实时性，对轨迹信息下采样到5HZ，下采样后数据处理效果如图2所示；
A6、从下采样后的轨迹信息中按照车辆编号Vehicle_number为索引提取出所有车辆的轨迹信息，滤除所记录时长小于8s的车辆轨迹信息；
A7、定义测试车的作用域A，以目标车后轴中心作为坐标原点，纵向[-32.5m,32.5m]和左右三车道区域内的面积定义为，滤除区域外的车辆轨迹信息，认为区域外的周围车辆对目标车造成的影响都可以忽略。
A8、再使用窗口大小为40的滑动窗口在各个编号的车辆轨迹上滑动采集模型输入数据样本，每个样本的前15行和后25行分别对应于模型输入的历史轨迹信息和预测时域内的真实轨迹信息；
A9、将采集到的数据样本按照7:1:2的比例分成训练集、验证集和测试集，完整的预处理步骤如图3所示。
B、对输入数据编码
B1、给定
Figure 100002_DEST_PATH_IMAGE028
时刻整个历史观测域长his内目标车
Figure DEST_PATH_IMAGE029
和其周围车
Figure DEST_PATH_IMAGE030
的轨迹坐标：
Figure 83752DEST_PATH_IMAGE031
其中，t时刻目标车和周围车
Figure 100002_DEST_PATH_IMAGE032
的轨迹坐标为
Figure DEST_PATH_IMAGE033
,
Figure DEST_PATH_IMAGE034
，
Figure DEST_PATH_IMAGE035
为输入历史轨迹时域，取3s；
B2、目标车和周围车的历史轨迹坐标点经过全连接层，生成对应的词嵌入向量
Figure DEST_PATH_IMAGE036
其中，
Figure DEST_PATH_IMAGE037
为全连接层函数，
Figure DEST_PATH_IMAGE038
为全连接层的权重；
同理，可获得
Figure DEST_PATH_IMAGE039
时刻历史时域内所有周围车和目标车所有位置坐标对应的词嵌入向量
Figure DEST_PATH_IMAGE040
，即：
Figure DEST_PATH_IMAGE041
，其中
Figure DEST_PATH_IMAGE042
，
Figure DEST_PATH_IMAGE043
；
B3、将t时刻所有周围车和自车历史轨迹的词嵌入向量
Figure DEST_PATH_IMAGE044
和上一时刻t-1时历史轨迹的编码隐含状态向量
Figure DEST_PATH_IMAGE045
一同输入LSTM编码器得到当前时刻历史轨迹的隐含状态向量
Figure 100002_DEST_PATH_IMAGE046
,
其中
Figure DEST_PATH_IMAGE047
为LSTM编码器，负责将t时刻每辆车的轨迹词嵌入向量
Figure DEST_PATH_IMAGE048
编码成隐含状态向量，
Figure DEST_PATH_IMAGE049
为编码器的权重；
B4、对每辆车所有历史时域内的位置坐标执行相同的词嵌入和编码操作，可得到每辆车历史时域内的隐态向量。其中
Figure DEST_PATH_IMAGE050
和
Figure DEST_PATH_IMAGE051
分别为时刻周围车辆编号为i的车和目标车的编码隐含状态向量；
同理，可获得
Figure DEST_PATH_IMAGE052
时刻整个历史观测长度内周围车和目标车所有轨迹坐标对应的编码器状态向量
Figure DEST_PATH_IMAGE053
，即：
Figure 100002_DEST_PATH_IMAGE054
Figure DEST_PATH_IMAGE055
，
Figure 100002_DEST_PATH_IMAGE056
；
B5、根据道路结构将目标车作用域A划分为[13,3]网格区域，网格的列对应每条车道，网格每一行的高度为5m，对应于一般车辆的长度。周围车辆的编码隐态向量在交互张量中的行号c、列号r，根据t时刻周围车相对于目标车位置偏移计算得到：
Figure DEST_PATH_IMAGE057
其中，c的取值范围是（-1,0,1），r的取值范围是（-6，-5，-4，-3，-2，-1,0,1,2,3,4,5,6）。
Figure 100002_DEST_PATH_IMAGE058
为向下取整函数;
Figure 985847DEST_PATH_IMAGE059
为每条车道的宽度，按照国家标准取值为3.75m；
Figure DEST_PATH_IMAGE060
为行高取值为5m，表示一般车辆的长度；将t时刻所有车辆轨迹坐标点的编码隐态向量填充在如图4所示的交互张量
Figure 719579DEST_PATH_IMAGE061
中的对应位置；
B6、将整个历史时域内的交互张量叠加在一起，即获得时刻整个历史时域内的所有车辆的交互张量
Figure DEST_PATH_IMAGE062
，
Figure 318051DEST_PATH_IMAGE063
；（如果没有特别指出，后续的交互张量皆指代整个历史时域内的车辆交互张量
Figure DEST_PATH_IMAGE064
）
Figure 584953DEST_PATH_IMAGE065
其中，
Figure DEST_PATH_IMAGE066
是拼接函数。
C、通过注意力模块增大交互张量中对目标车未来行驶轨迹影响较大的周围车历史隐态向量的权重系数，并提取交互张量中的交互特征；
C1、注意力模块计算交互张量中周围车对目标车未来行驶轨迹的影响权重；
如图5所示的注意力模块，将交互张量
Figure 876257DEST_PATH_IMAGE067
通过n层最大池化层，快速增大感受野，以关注交互张量全局，提取出交互张量中最具代表的元素；再通过n层上采样层，对称缩放结构使得交互张量恢复到原来的维度，在保持交互张量中最具代表性的元素值和位置不变的前提下，通过Bilinear Interpolation双线性插值的方法赋予交互张量中元素新的值,得到特征交互张量
Figure DEST_PATH_IMAGE068
：
Figure 100002_DEST_PATH_IMAGE069
，
其中，
Figure DEST_PATH_IMAGE070
为n次最大池化层函数，
Figure 100002_DEST_PATH_IMAGE071
为n次上采样层函数；
再将特征交互张量
Figure DEST_PATH_IMAGE072
通过sigmoid激活函数归一化：
Figure DEST_PATH_IMAGE073
，得到权重张量
Figure DEST_PATH_IMAGE074
，表示了交互张量中各个车辆隐态向量的权重系数；
C2、根据影响权重重新配置交互张量；
将权重张量
Figure DEST_PATH_IMAGE075
与原始交互张量
Figure DEST_PATH_IMAGE076
做点乘，原始的交互张量中得各个元素值按照权重对应位置的系数等比缩放，弱相关的车辆特征被抑制，强相关的车辆特征值被放大，获得增强交互特征后的交互张量
Figure DEST_PATH_IMAGE077
。但为避免错误计算出的注意力权重系数对交互张量的负影响，隐性的破坏原始交互张量中的交互特征，引入残差连接来消除错误注意力的影响，增强交互特征后的交互张量
Figure 704142DEST_PATH_IMAGE077
的计算方式变为：
Figure DEST_PATH_IMAGE078
C3、用卷积池化层提取增强交互特征后的交互张量
Figure DEST_PATH_IMAGE079
的交互特征；
增强交互特征后的交互张量通过卷积池化层提取出目标车与周围车辆间的交互特征
Figure DEST_PATH_IMAGE080
：
Figure DEST_PATH_IMAGE081
其中的
Figure DEST_PATH_IMAGE082
是卷积池化层函数。
D、提取目标车历史轨迹中的运动特征，与
Figure DEST_PATH_IMAGE083
拼接获得完整的交互特征
D1、获取目标车历史运动的特征；
虽然周围车对目标车的交互作用会影响目标车未来的轨迹，但目标车自身的历史轨迹中包含的信息对未来行驶轨迹的确定起着更加关键的作用。将
Figure DEST_PATH_IMAGE084
时刻目标车历史轨迹的编码隐态向量
Figure DEST_PATH_IMAGE085
通过全连接层，得到目标车历史轨迹中的运动特征
Figure DEST_PATH_IMAGE086
；
Figure DEST_PATH_IMAGE087
是全连接层，用于将目标车历史隐态向量映射到运动特征，
Figure DEST_PATH_IMAGE088
是
Figure 450512DEST_PATH_IMAGE087
层的权重。
D2、将目标车历史轨迹的运动特征
Figure DEST_PATH_IMAGE089
与增强交互特征后的交互张量通过卷积池化层提取出目标车与周围车辆间的交互特征
Figure DEST_PATH_IMAGE090
拼接在一起，得到完整的交互特征
Figure DEST_PATH_IMAGE091
：
Figure DEST_PATH_IMAGE092
,
其中，
Figure DEST_PATH_IMAGE093
是拼接函数。
E、预测轨迹解码输出
E1、将完整交互特征
Figure DEST_PATH_IMAGE094
和上一时刻
Figure DEST_PATH_IMAGE095
解码隐态向量
Figure DEST_PATH_IMAGE096
一同输入LSTM解码器，得到
Figure DEST_PATH_IMAGE097
时刻预测轨迹的解码隐态向量
Figure DEST_PATH_IMAGE098
其中，
Figure DEST_PATH_IMAGE099
为LSTM解码器，
Figure DEST_PATH_IMAGE100
为编码器中参数的权重；
E2、假设预测未来轨迹坐标服从二元高斯分布，将当前时刻的解码隐态向量通过多层感知机映射到未来预测轨迹的概率分布：
Figure DEST_PATH_IMAGE101
其中，
Figure DEST_PATH_IMAGE102
为多层感知机函数，
Figure DEST_PATH_IMAGE103
为多层感知机中参数的权重；均值
Figure DEST_PATH_IMAGE104
、方差
Figure DEST_PATH_IMAGE105
、相关系数为
Figure DEST_PATH_IMAGE106
。
因此
Figure DEST_PATH_IMAGE107
时刻模型实际预测出的预测时域内的轨迹坐标可用预测分布的均值表示，即：
其中，
Figure DEST_PATH_IMAGE108
，
Figure DEST_PATH_IMAGE109
表述预测时域长度，定为5s;
F、模型过程参数推导和优化
F1、模型通过输入当前时刻3秒前的目标车和周围车辆的历史轨迹坐标，来预测5秒后的目标车轨迹坐标。预测轨迹和真实轨迹间的偏离程度通过RMSE（均方根误差）来表示，通过最小化RMSE的损失值，反向传播误差学习到模型中的参数，RMSE计算公式如下式：
Figure DEST_PATH_IMAGE110
其中，
Figure DEST_PATH_IMAGE111
，
Figure DEST_PATH_IMAGE112
表示对应预测时域内的真实轨迹坐标；
不断用验证集对训练好的模型进行验证，确保模型在验证集和测试集上的泛化能力稳定。

Claims (4)

1.一种基于残差注意力机制的车辆轨迹预测方法，其特征在于：包括以下步骤：
步骤1：采集目标车和其周围车辆的历史轨迹信息，对历史轨迹预处理，滤除轨迹信息中的噪音和无效数据，制作轨迹数据集；
步骤2：根据目标车作用域构建交互张量，将周围车辆的历史轨迹编码填充在交互张量对应位置；
步骤3：利用残差注意力模块计算交互张量中周围车辆历史轨迹编码隐态向量的权重系数,根据权重系数重新配置交互张量；
步骤4：通过池化卷积层提取出交互特征，结合目标车运动特征完整交互特征，根据完整交互特征解码得到目标车未来预测轨迹；
步骤5：通过均方误差损失函数训练模型，推算出模型里的中间参数;
所述步骤1中，采集目标车和其周围车辆的历史轨迹信息，对历史轨迹预处理，滤除轨迹信息中的噪音和无效数据，制作轨迹数据集，具体方法如下：
目标车上部署的GPS/IMU、车身周围的双目相机系统记录目标车自身的轨迹数据和周围车的行驶视频，通过立体视觉目标检测技术获得周围车辆的轨迹数据；目标车和周围车的轨迹包含采集的时间戳、车辆编号、车辆的轨迹横、纵向轨迹坐标、车辆所处道路的编号，将轨迹信息下采样到5Hz,滤除轨迹中小于8s且在目标车作用域外的车辆轨迹；用卡尔曼滤波去除轨迹中的噪声，并采用滑动窗口采样数据样本，将所采集到的所有样本按7:1:2的比例划分为训练集、验证集、测试集;
所述步骤2中，将目标车和周围车的历史轨迹输入LSTM编码器获得历史轨迹的编码隐态向量，再根据定义的目标车作用域制作一个[13,3]交互张量；将周围车辆的历史轨迹的编码隐态向量按照作用域中相对目标车所处的位置，计算出在交互张量中的填充位置
Figure 216080DEST_PATH_IMAGE001
、
Figure 902277DEST_PATH_IMAGE002
;
所述步骤3中，利用残差注意力模块计算交互张量中周围车辆历史轨迹编码隐态向量的权重系数,根据权重系数重新配置交互张量；具体方法如下：
将交互张量
Figure 578109DEST_PATH_IMAGE003
通过n层最大池化层，快速增大感受野，再通过n层上采样层，使得交互张量恢复到原来的维度，通过双线性插值的方法赋予交互张量中元素新的值,得到特征交互张量
Figure 691558DEST_PATH_IMAGE003
：
Figure 882368DEST_PATH_IMAGE004
；
再将特征交互张量
Figure 309938DEST_PATH_IMAGE003
通过sigmoid激活函数归一化：
Figure 637015DEST_PATH_IMAGE005
，得到权重张量
Figure 921365DEST_PATH_IMAGE006
，将权重张量
Figure 537154DEST_PATH_IMAGE006
与原始交互张量
Figure 830733DEST_PATH_IMAGE007
做点乘，原始的交互张量中得各个元素值按照权重对应位置的系数等比缩放，获得带有权重的交互张量
Figure 215578DEST_PATH_IMAGE008
；
为避免错误计算出的注意力权重破坏原始交互张量中的交互特征，引入残差连接来消除错误的影响，交互张量
Figure 670830DEST_PATH_IMAGE008
的计算方式变为：
Figure 773915DEST_PATH_IMAGE009
。
2.根据权利要求1所述的基于残差注意力机制的车辆轨迹预测方法，其特征在于：所述步骤中4中，通过池化卷积层提取出交互特征，结合目标车运动特征完整交互特征，根据完整交互特征解码得到目标车未来预测轨迹；具体步骤为：
(1)交互张量通过卷积池化层提取出目标车与周围车辆间的交互特征
Figure 340025DEST_PATH_IMAGE010
：
Figure 907273DEST_PATH_IMAGE011
；
(2)将
Figure 471110DEST_PATH_IMAGE012
时刻目标车历史轨迹的编码隐态向量
Figure 123808DEST_PATH_IMAGE013
通过全连接层，得到目标车历史轨迹中的运动特征
Figure 493609DEST_PATH_IMAGE014
；
(3)将目标车历史轨迹的运动特征
Figure 86002DEST_PATH_IMAGE015
与增强交互特征后的交互张量通过卷积池化层提取出目标车与周围车辆间的交互特征
Figure 148636DEST_PATH_IMAGE010
拼接在一起，得到完整的交互特征
Figure 960734DEST_PATH_IMAGE016
；
(4)将完整交互特征
Figure 134227DEST_PATH_IMAGE017
和上一时刻
Figure 410487DEST_PATH_IMAGE018
解码隐态向量
Figure 581706DEST_PATH_IMAGE019
一同输入LSTM解码器，得到
Figure 943417DEST_PATH_IMAGE020
时刻预测轨迹的解码隐态向量
Figure 858283DEST_PATH_IMAGE021
；
(5)将当前时刻的解码隐态向量通过多层感知机映射到未来预测轨迹的概率分布：
Figure 723471DEST_PATH_IMAGE022
,模型实际预测出的预测时域内的轨迹坐标可用预测分布的均值表示。
3.根据权利要求1所述的基于残差注意力机制的车辆轨迹预测方法，其特征在于：所述步骤中5中，通过均方误差损失函数训练模型，推算出模型里的中间参数，模型训练以最小化预测时域内均方根误差为目标，反向传播误差，通过Adam优化器更新权重参数，保存轨迹预测模型泛化能力最好时的模型权重参数，完成模型训练。
4.根据权利要求1所述的基于残差注意力机制的车辆轨迹预测方法，其特征在于：包括如下步骤：
A、轨迹数据采集及对采集到的数据预处理；
A1、在一段开放道路上部署数据一辆采集车辆，采集车辆上搭载一套GPS/IMU系统和一套分布车身周围的双目相机系统；GPS/IMU系统用于记录采集车每一时刻的行驶轨迹坐标，双目相机系统用于记录测试车辆周围的车辆行驶视频；定义采集车前进方向为y轴正方向，车辆后轴中心为坐标原点，垂直于y轴的方向为x轴；
A2、采集车辆自身的轨迹坐标信息按照10Hz的频率自动存入“.txt”文件内，周围车的视频信息按照10FPS的帧数存成“.mp4”格式；在已知相机相对采集车后轴中心的安装位置参数基础上，按帧数对视频每一帧中出现的车辆运用立体视觉目标检测算法获得车辆的轨迹信息,车辆轨迹信息包括:采集时刻的时间戳Time_stamp、车辆编号Vehicle_number、车辆相对自车的轨迹坐标（x,y）和车辆所处的道路编号Lane_number；
A3、提取出来的轨迹信息全部保存在“.txt”文件中，使用numpy库中的numpy.loadtxt方法读取轨迹文件；由于原始数据存在较大的噪声，对读取到的轨迹数据进行Kalmanfiltering平滑；
A4、对平滑后的轨迹数据按照时间戳升序排列，其中每行数据表示对应编号为Vehicle_number车辆在Time_stamp时刻的轨迹信息，包含5列，第1列为采集的时间戳，第2列为车辆编号，第3、4列分别为车辆的轨迹横、纵向轨迹坐标，第5列为车辆所处道路的编号；
A5、此时的轨迹信息仍保持为10HZ的采样频率，为降低模型计算成本，增强模型实时性，对轨迹信息下采样到5HZ；
A6、从下采样后的轨迹信息中按照车辆编号Vehicle_number为索引提取出所有车辆的轨迹信息，滤除所记录时长小于8s的车辆轨迹信息；
A7、定义测试车的作用域A，以目标车后轴中心作为坐标原点，纵向[-32.5m,32.5m]和左右三车道区域内的面积定义为，滤除区域外的车辆轨迹信息，认为区域外的周围车辆对目标车造成的影响都可以忽略；
A8、再使用窗口大小为40的滑动窗口在各个编号的车辆轨迹上滑动采集模型输入数据样本，每个样本的前15行和后25行分别对应于模型输入的历史轨迹信息和预测时域内的真实轨迹信息；
A9、将采集到的数据样本按照7:1:2的比例分成训练集、验证集和测试集；
B、对输入数据编码
B1、给定
Figure 127908DEST_PATH_IMAGE023
时刻整个历史观测域长his内目标车
Figure 914598DEST_PATH_IMAGE024
和其周围车
Figure 164314DEST_PATH_IMAGE025
的轨迹坐标：
Figure DEST_PATH_IMAGE026
，其中，t时刻目标车和周围车
Figure 618429DEST_PATH_IMAGE025
的轨迹坐标为
Figure 193767DEST_PATH_IMAGE027
,
Figure DEST_PATH_IMAGE028
，
Figure 467753DEST_PATH_IMAGE029
为输入历史轨迹时域，取3s；
B2、目标车和周围车的历史轨迹坐标点经过全连接层，生成对应的词嵌入向量
Figure 786739DEST_PATH_IMAGE030
其中，
Figure 829781DEST_PATH_IMAGE031
为全连接层函数，
Figure DEST_PATH_IMAGE032
为全连接层的权重；
同理，可获得
Figure 576021DEST_PATH_IMAGE023
时刻历史时域内所有周围车和目标车所有位置坐标对应的词嵌入向量
Figure 570259DEST_PATH_IMAGE033
，即：
Figure 692936DEST_PATH_IMAGE034
，其中
Figure 387222DEST_PATH_IMAGE035
，
Figure 242046DEST_PATH_IMAGE036
；
B3、将t时刻所有周围车和自车历史轨迹的词嵌入向量
Figure 552942DEST_PATH_IMAGE037
和上一时刻t-1时历史轨迹的编码隐含状态向量
Figure 151413DEST_PATH_IMAGE038
一同输入LSTM编码器得到当前时刻历史轨迹的隐含状态向量
Figure 700206DEST_PATH_IMAGE039
，其中
Figure 53827DEST_PATH_IMAGE040
为LSTM编码器，负责将t时刻每辆车的轨迹词嵌入向量
Figure 524123DEST_PATH_IMAGE037
编码成隐含状态向量，
Figure 988602DEST_PATH_IMAGE041
为编码器的权重；
B4、对每辆车所有历史时域内的位置坐标执行相同的词嵌入和编码操作，可得到每辆车历史时域内的隐态向量；其中
Figure 595164DEST_PATH_IMAGE042
和
Figure 854107DEST_PATH_IMAGE043
分别为时刻周围车辆编号为i的车和目标车的编码隐含状态向量；
同理，可获得
Figure 874016DEST_PATH_IMAGE023
时刻整个历史观测长度内周围车和目标车所有轨迹坐标对应的编码器状态向量
Figure 814290DEST_PATH_IMAGE044
，即：
Figure 337675DEST_PATH_IMAGE045
Figure DEST_PATH_IMAGE046
，
Figure 236361DEST_PATH_IMAGE047
；
B5、根据道路结构将目标车作用域A划分为[13,3]网格区域，网格的列对应每条车道，网格每一行的高度为5m，对应于一般车辆的长度；周围车辆的编码隐态向量在交互张量中的行号c、列号r，根据t时刻周围车相对于目标车位置偏移计算得到：
Figure 212407DEST_PATH_IMAGE048
其中，c的取值范围是（-1,0,1），r的取值范围是（-6，-5，-4，-3，-2，-1,0,1,2,3,4,5,6）；
Figure 18689DEST_PATH_IMAGE049
为向下取整函数;
Figure 865422DEST_PATH_IMAGE050
为每条车道的宽度，按照国家标准取值为3.75m；
Figure 200589DEST_PATH_IMAGE051
为行高取值为5m，表示一般车辆的长度；将t时刻所有车辆轨迹坐标点的编码隐态向量填充在交互张量
Figure 195090DEST_PATH_IMAGE052
中的对应位置；
B6、将整个历史时域内的交互张量叠加在一起，即获得时刻整个历史时域内的所有车辆的交互张量
Figure 981561DEST_PATH_IMAGE053
，
Figure 745118DEST_PATH_IMAGE036
；
Figure DEST_PATH_IMAGE054
其中，
Figure 454448DEST_PATH_IMAGE055
是拼接函数；
C、通过注意力模块增大交互张量中对目标车未来行驶轨迹影响较大的周围车历史隐态向量的权重系数，并提取交互张量中的交互特征；
C1、注意力模块计算交互张量中周围车对目标车未来行驶轨迹的影响权重；
将交互张量
Figure DEST_PATH_IMAGE056
通过n层最大池化层，快速增大感受野，以关注交互张量全局，提取出交互张量中最具代表的元素；再通过n层上采样层，对称缩放结构使得交互张量恢复到原来的维度，在保持交互张量中最具代表性的元素值和位置不变的前提下，通过BilinearInterpolation双线性插值的方法赋予交互张量中元素新的值,得到特征交互张量
Figure 139507DEST_PATH_IMAGE057
：
Figure DEST_PATH_IMAGE058
其中，
Figure 287591DEST_PATH_IMAGE059
为n次最大池化层函数，
Figure 843338DEST_PATH_IMAGE060
为n次上采样层函数；
再将特征交互张量
Figure 51465DEST_PATH_IMAGE003
通过sigmoid激活函数归一化：
Figure 692662DEST_PATH_IMAGE005
，得到权重张量
Figure DEST_PATH_IMAGE061
，表示了交互张量中各个车辆隐态向量的权重系数；
C2、根据影响权重重新配置交互张量；
将权重张量
Figure 378858DEST_PATH_IMAGE061
与原始交互张量
Figure 54690DEST_PATH_IMAGE007
做点乘，原始的交互张量中得各个元素值按照权重对应位置的系数等比缩放，弱相关的车辆特征被抑制，强相关的车辆特征值被放大，获得增强交互特征后的交互张量
Figure 902561DEST_PATH_IMAGE062
；但为避免错误计算出的注意力权重系数对交互张量的负影响，隐性的破坏原始交互张量中的交互特征，引入残差连接来消除错误注意力的影响，增强交互特征后的交互张量
Figure 93370DEST_PATH_IMAGE062
的计算方式变为：
Figure DEST_PATH_IMAGE063
；
C3、用卷积池化层提取增强交互特征后的交互张量
Figure 786520DEST_PATH_IMAGE062
的交互特征；
增强交互特征后的交互张量通过卷积池化层提取出目标车与周围车辆间的交互特征
Figure 316858DEST_PATH_IMAGE010
：
Figure 601209DEST_PATH_IMAGE011
其中的
Figure 279315DEST_PATH_IMAGE064
是卷积池化层函数；
D、提取目标车历史轨迹中的运动特征，与
Figure 743532DEST_PATH_IMAGE010
拼接获得完整的交互特征
D1、获取目标车历史运动的特征；
虽然周围车对目标车的交互作用会影响目标车未来的轨迹，但目标车自身的历史轨迹中包含的信息对未来行驶轨迹的确定起着更加关键的作用；将
Figure DEST_PATH_IMAGE065
时刻目标车历史轨迹的编码隐态向量
Figure 190694DEST_PATH_IMAGE066
通过全连接层，得到目标车历史轨迹中的运动特征
Figure DEST_PATH_IMAGE067
；
Figure 114788DEST_PATH_IMAGE068
是全连接层，用于将目标车历史隐态向量映射到运动特征，
Figure DEST_PATH_IMAGE069
是
Figure 217873DEST_PATH_IMAGE068
层的权重；
D2、将目标车历史轨迹的运动特征
Figure 49563DEST_PATH_IMAGE015
与增强交互特征后的交互张量通过卷积池化层提取出目标车与周围车辆间的交互特征
Figure 288914DEST_PATH_IMAGE010
拼接在一起，得到完整的交互特征
Figure 915068DEST_PATH_IMAGE070
：
Figure DEST_PATH_IMAGE071
，其中，
Figure 771028DEST_PATH_IMAGE072
是拼接函数；
E、预测轨迹解码输出
E1、将完整交互特征
Figure 140830DEST_PATH_IMAGE070
和上一时刻
Figure 297005DEST_PATH_IMAGE018
解码隐态向量
Figure 297322DEST_PATH_IMAGE073
一同输入LSTM解码器，得到
Figure 171737DEST_PATH_IMAGE074
时刻预测轨迹的解码隐态向量
Figure 548491DEST_PATH_IMAGE075
其中，
Figure 559173DEST_PATH_IMAGE076
为LSTM解码器，
Figure 792708DEST_PATH_IMAGE077
为编码器中参数的权重；
E2、假设预测未来轨迹坐标服从二元高斯分布，将当前时刻的解码隐态向量通过多层感知机映射到未来预测轨迹的概率分布：
Figure 92102DEST_PATH_IMAGE022
其中，
Figure 538127DEST_PATH_IMAGE078
为多层感知机函数，
Figure 934473DEST_PATH_IMAGE079
为多层感知机中参数的权重；均值
Figure 775128DEST_PATH_IMAGE080
、方差
Figure 624136DEST_PATH_IMAGE081
、相关系数为
Figure 873851DEST_PATH_IMAGE082
；
因此
Figure 62387DEST_PATH_IMAGE074
时刻模型实际预测出的预测时域内的轨迹坐标可用预测分布的均值表示，即：
其中，
Figure 637725DEST_PATH_IMAGE083
,
Figure 911712DEST_PATH_IMAGE084
，
Figure 965118DEST_PATH_IMAGE085
表述预测时域长度，定为5s;
F、模型过程参数推导和优化
F1、模型通过输入当前时刻3秒前的目标车和周围车辆的历史轨迹坐标，来预测5秒后的目标车轨迹坐标；预测轨迹和真实轨迹间的偏离程度通过RMSE（均方根误差）来表示，通过最小化RMSE的损失值，反向传播误差学习到模型中的参数，RMSE计算公式如下式：
Figure 70477DEST_PATH_IMAGE086
其中，
Figure 754400DEST_PATH_IMAGE087
，
Figure 46841DEST_PATH_IMAGE088
表示对应预测时域内的真实轨迹坐标。
CN202110670889.4A 2021-06-17 2021-06-17 一种基于残差注意力机制的车辆轨迹预测方法 Active CN113313320B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110670889.4A CN113313320B (zh) 2021-06-17 2021-06-17 一种基于残差注意力机制的车辆轨迹预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110670889.4A CN113313320B (zh) 2021-06-17 2021-06-17 一种基于残差注意力机制的车辆轨迹预测方法

Publications (2)

Publication Number Publication Date
CN113313320A CN113313320A (zh) 2021-08-27
CN113313320B true CN113313320B (zh) 2022-05-31

Family

ID=77379125

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110670889.4A Active CN113313320B (zh) 2021-06-17 2021-06-17 一种基于残差注意力机制的车辆轨迹预测方法

Country Status (1)

Country Link
CN (1) CN113313320B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113954863B (zh) * 2021-09-07 2024-06-11 江苏大学 基于双注意力机制和改进Social Gan的车辆轨迹预测方法
CN114239974B (zh) * 2021-12-21 2022-10-25 清华大学 多智能体的位置预测方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111931905A (zh) * 2020-07-13 2020-11-13 江苏大学 一种图卷积神经网络模型、及利用该模型的车辆轨迹预测方法
CN112465273A (zh) * 2020-12-25 2021-03-09 湖北汽车工业学院 一种基于局部注意力机制的无人车轨迹预测方法
CN112801404A (zh) * 2021-02-14 2021-05-14 北京工业大学 一种基于自适应空间自注意力图卷积的交通预测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11989952B2 (en) * 2019-12-10 2024-05-21 Samsung Electronics Co., Ltd. Systems and methods for trajectory prediction

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111931905A (zh) * 2020-07-13 2020-11-13 江苏大学 一种图卷积神经网络模型、及利用该模型的车辆轨迹预测方法
CN112465273A (zh) * 2020-12-25 2021-03-09 湖北汽车工业学院 一种基于局部注意力机制的无人车轨迹预测方法
CN112801404A (zh) * 2021-02-14 2021-05-14 北京工业大学 一种基于自适应空间自注意力图卷积的交通预测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Kaouther Messaoud，etc.Attention Based Vehicle Trajectory Prediction.《IEEE Transactions on Intelligent Vehicles》.2020,1-11. *
黎维等.时空序列预测方法综述.《计算机应用研究》.2020,(第10期),2881-2887. *

Also Published As

Publication number Publication date
CN113313320A (zh) 2021-08-27

Similar Documents

Publication Publication Date Title
CN109117987B (zh) 一种基于深度学习的个性化交通事故风险预测推荐方法
CN113313320B (zh) 一种基于残差注意力机制的车辆轨迹预测方法
EP3278317B1 (en) Method and electronic device
EP4152204A1 (en) Lane line detection method, and related apparatus
WO2020177217A1 (zh) 基于变尺度多特征融合卷积网络的路侧图像行人分割方法
CN112465273B (zh) 一种基于局部注意力机制的无人车轨迹预测方法
CN112052776B (zh) 无人车自主驾驶行为优化方法、装置和计算机设备
CN108319909B (zh) 一种驾驶行为分析方法及系统
EP3314541A1 (en) Deriving movement behaviour from sensor data
CN114194211B (zh) 一种自动驾驶方法、装置及电子设备和存储介质
Dong et al. A hybrid spatial–temporal deep learning architecture for lane detection
CN112861619A (zh) 模型的训练方法、车道线检测方法、设备及装置
CN111256693B (zh) 一种计算位姿变化方法及车载终端
CN110516380B (zh) 一种基于车辆行驶仿真数据的深度强化测试方法和系统
CN111626134B (zh) 一种基于隐密度分布的密集人群计数方法、系统及终端
JP2009096365A (ja) リスク認識システム
CN115880658A (zh) 一种夜间场景下汽车车道偏离预警方法及系统
CN114997307A (zh) 一种轨迹预测方法、装置、设备及存储介质
CN114299111A (zh) 一种基于半监督孪生网络的红外弱小目标跟踪方法
CN112578419A (zh) 一种基于gru网络和卡尔曼滤波的gps数据重构方法
CN117173412A (zh) 一种基于CNN和Transformer融合网络的医学图像分割方法
CN115293237A (zh) 一种基于深度学习的车辆轨迹预测方法
CN112597996B (zh) 基于任务驱动的自然场景中交通标志显著性检测方法
CN117474184A (zh) 一种动力学知识驱动的船舶航迹预测方法及系统
CN110532868B (zh) 一种预测自由空间语义边界的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant