CN111930110A - 一种结合社会生成对抗网络的意图轨迹预测方法 - Google Patents

一种结合社会生成对抗网络的意图轨迹预测方法 Download PDF

Info

Publication number
CN111930110A
CN111930110A CN202010482632.1A CN202010482632A CN111930110A CN 111930110 A CN111930110 A CN 111930110A CN 202010482632 A CN202010482632 A CN 202010482632A CN 111930110 A CN111930110 A CN 111930110A
Authority
CN
China
Prior art keywords
track
vehicle
predicted
discriminator
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010482632.1A
Other languages
English (en)
Inventor
姚全珠
侯捷
费蓉
陈晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN202010482632.1A priority Critical patent/CN111930110A/zh
Publication of CN111930110A publication Critical patent/CN111930110A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种结合社会生成对抗网络的意图轨迹预测方法，具体按照以下步骤实施：步骤1、预处理车辆轨迹数据；步骤2、基于步骤1预处理后的数据识别驾驶意图并进行数据标记，生成特征向量；步骤3、由社会生成对抗网络构成轨迹输出模块，轨迹输出模块中的编码层将历史轨迹信息编码为上下文向量，解码层结合上下文向量和已识别的驾驶意图信息预测未来轨迹。本发明解决了现有技术中存在的社会生成对抗网络车辆间交互特征简单，没有考虑驾驶员自身行为对车辆轨迹的影响的问题。

Description

一种结合社会生成对抗网络的意图轨迹预测方法
技术领域
本发明属于车辆轨迹预测技术领域，具体涉及一种结合社会生成对抗网络的意图轨迹预测方法。
背景技术
随着汽车保有量的不断攀升，由其带来的交通安全问题也愈发严重。虽然传统的汽车安全控制系统在一定程度上能够改善汽车行驶安全性，但由于这类系统一般不考虑汽车行驶过程中人和环境的因素，其作用仍然十分有限，因此基于神经网络的轨迹预测逐渐成为轨迹预测研究领域的热点。针对神经网络方法中社会生成对抗网络车辆间交互特征简单，没有考虑驾驶员自身行为对车辆轨迹的影响，发明了一种结合社会生成对抗网络的意图轨迹预测方法执行基于自动驾驶数据集上的轨迹预测任务，取得了较现有研究更好的预测结果。车辆轨迹预测方法主要分为3类：基于神经网络的轨迹预测方法、基于马尔科夫模型的轨迹预测方法以及基于频繁轨迹模式的轨迹预测。其中基于马尔科夫模型的轨迹预测方法准确率较低，计算复杂度高；基于频繁轨迹模式的轨迹预测方法只能用于特定场景下每日遵循相似路径的目标。基于神经网络的轨迹预测方法与上述轨迹预测方法相比，改善了上述方法的缺陷。自动驾驶汽车需要解决以下两个问题：车辆间的交互；以及驾驶员意图。综上所述，为了进一步提高汽车智能化水平，使用神经网络的轨迹预测方法和对驾驶员行为进行预测就显得尤为重要。
发明内容
本发明的目的是提供一种结合社会生成对抗网络的意图轨迹预测方法，解决了现有技术中存在的社会生成对抗网络车辆间交互特征简单，没有考虑驾驶员自身行为对车辆轨迹的影响的问题。
本发明所采用的技术方案是，一种结合社会生成对抗网络的意图轨迹预测方法，具体按照以下步骤实施：
步骤1、预处理车辆轨迹数据；
步骤2、基于步骤1预处理后的数据识别驾驶意图并进行数据标记，生成特征向量；
步骤3、由社会生成对抗网络构成轨迹输出模块，轨迹输出模块中的编码层将历史轨迹信息编码为上下文向量，解码层结合上下文向量和已识别的驾驶意图信息预测未来轨迹。
本发明的特点还在于，
步骤1中预处理车辆轨迹数据为
Figure BDA0002517700160000021
其中，
Figure BDA0002517700160000022
为被预测车辆的历史轨迹信息；E(t)为环境信息；e表示被预测车辆；t表示当前时间。
步骤1中被预测车辆的历史轨迹信息
Figure BDA0002517700160000023
其中，x(t)为被预测车辆横向坐标；y(t)为被预测车辆纵向坐标；
Figure BDA0002517700160000024
为被预测车辆的绝对速度；t表示当前时间；e表示被预测车辆。
步骤1中被预测车辆的环境信息E(t)由被预测车辆左前、正前、右前、左后、正后、右后的邻近车辆的历史轨迹信息和被预测车辆的两个标志位组成，两个标志位分别为右车道标志位
Figure BDA0002517700160000025
左车道标志位
Figure BDA0002517700160000026
环境信息E(t)表示为
Figure BDA0002517700160000027
式中，
Figure BDA0002517700160000031
其中Δxi (t)为第i个位置处的车辆与被预测车辆的横向相对距离；i属于1到6之间的值；t表示当前时间；Δyi (t)为第i个位置处的车辆与被预测车辆的纵向相对距离；
Figure BDA0002517700160000032
为第i个位置处的车辆的绝对速度；
Figure BDA0002517700160000033
为右车道标志位，r表示右车道，其中，若被预测车辆存在右车道，则
Figure BDA0002517700160000034
为1，否则
Figure BDA0002517700160000035
为0；
Figure BDA0002517700160000036
为左车道标志位，l表示左车道，其中，若被预测车辆存在左车道，则
Figure BDA0002517700160000037
为1，否则
Figure BDA0002517700160000038
为0。
步骤2中识别驾驶意图以及数据标记，具体如下，将轨迹片段分成向左换道、向右换道和直线行驶3类，并附上相应标记：向左换道标记为1，向右换道标记为2，直线行驶标记为3，分类依据是：首先求出车辆轨迹和车道线的交点，将交点定义为换道点，由车辆横向坐标x(t)和纵向坐标y(t)计算出车辆的航向角θ，航向角θ表示为
Figure BDA0002517700160000039
然后从换道点向时间轴反方向遍历每个采样点的航向角θ，若轨迹序列连续3个采样点的|θ|≤θs，θs表示换道起始点航向角阈值，则将第1次达到阈值θs的位置定义为换道起点；最后从换道点时间轴正方向遍历每个采样点的航向角θ，若轨迹序列连续3个采样点的|θ|≤θe，θe表示换道终止点航向角阈值，则将第1次达到阈值θe的位置定义为换道终点。
步骤2中生成特征向量具体如下：
将步骤1中预处理车辆轨迹数据I(t)通过全连接网络处理后，随即输入长短时记忆网络，全连接网络包括128个神经元，全连接网络的激活函数为ReLU，长短时记忆网络读取当前时刻的预处理车辆轨迹数据I(t)和上一时刻输出的历史轨迹信息的隐藏状态，以此更新当前时刻的隐藏状态，将当前时刻的隐藏状态输入逻辑回归函数，输出概率矩阵Ω＝(ω1,ω2,ω3)，其中ω1表示向左换道概率，ω2表示直线行驶的概率，ω3表示向右换道的概率，识别驾驶意图选用分类交叉熵作为损失函数，优化器采用随机优化Adam算法，学习率和衰减率均设为0.9，最后将概率矩阵Ω＝(ω1,ω2,ω3)输入全连接网络，输出固定长度的特征向量ht。
步骤3中轨迹输出模块由生成器和判别器两部分构成，生成器包含编码层、解码层和池化模块，判别器由编码层、全连接网络和多层感知器构成，通过损失函数对轨迹输出模块反向传播优化，减少各层损失值；生成器以预处理车辆轨迹数据I(t)作为输入，输出预测结果；判别器以预测结果作为输入，输出分类结果，训练时每次迭代先单独训练判别器1次，再单独训练生成器1次。
步骤3具体如下：
步骤3.1、将步骤1中预处理车辆轨迹数据I(t)输入生成器中的编码层，经由全连接网络得到定长向量，输入长短时记忆网络，输出所有车辆的隐藏状态；
步骤3.2、池化模块包含最大池化层和多层感知器，将所有车辆的隐藏状态输入池化模块，计算当前时刻的车辆间相对位置信息，经过多层感知器得到合并的向量矩阵，通过最大池化层选取向量矩阵中的最大值为车辆间相对位置信息Pt，其中t表示当前时刻，然后将随机生成的高斯噪声Z结合编码层上一时刻输出的隐藏状态、车辆间相对位置信息Pt，以及特征向量ht进行矩阵相加得到轨迹编码向量r，作为解码层的输入；
步骤3.3、将轨迹编码向量r以及上一时刻解码层输出的隐藏状态输入解码层，经过长短时记忆网络得到当前时刻的隐藏状态，将每一时刻的隐藏状态通过多层感知器计算，得到预测轨迹点
Figure BDA0002517700160000051
其中
Figure BDA0002517700160000052
表示预测轨迹点的横向坐标，
Figure BDA0002517700160000053
表示预测轨迹点的纵向坐标，t属于1到n之间的值，n表示自然数；
步骤3.4、将车辆的真实轨迹连接对应的预测轨迹点
Figure BDA0002517700160000054
输入判别器，经过全连接层转化为定长向量，输入长短时记忆网络处理随即输入多层感知器得到分类结果，设置真实轨迹的阈值为[0.7～1.2]，计算结束后，判别器根据阈值判断分类结果是否属于真实轨迹；
步骤3.5、通过损失函数计算损失值：损失函数由LGAN(G,D)函数、LL2(G)函数两部分组成，其中，G表示生成器，D表示判别器，LGAN(G,D)表示生成器与判别器的对抗训练损失值，LL2(G)表示真实轨迹与预测轨迹点
Figure BDA0002517700160000055
的最小差值，λ作为权重用于平衡LGAN(G,D)和LL2(G)的损失值，损失函数L公式为：
L＝LGAN(G,D)+λ·LL2(G)
生成器与判别器的对抗训练损失值LGAN(G,D)公式为：
Figure BDA0002517700160000056
式中：E为计算期望值；D()表示判别器输出的分类结果，其中，T为真实轨迹；G(I(t))表示生成器输出的预测结果；I(t)表示预处理车辆轨迹数据，其中t为当前时刻；
真实轨迹与预测轨迹点
Figure BDA0002517700160000057
的最小差值LL2(G)公式为：
Figure BDA0002517700160000058
式中，k表示采样次数；Y表示与预测轨迹点相对应的真实轨迹；G(I(t))表示生成器输出的预测结果；I(t)表示预处理车辆轨迹数据，其中t为当前时刻；
判别器的目的是令D(Ti)接近1，令D(G(Xi,z))接近0，所以判别器要最大化LGAN(G,D)，而生成器要最小化LGAN(G,D)；从预测结果中选取多条轨迹，选择LL2(G)最小的轨迹作为预测轨迹点；
步骤3.6、重复上述步骤3.1～3.5，循环交替训练直到判别器不能分辨样本来源，至此，结合步骤2中识别驾驶意图的轨迹预测方法训练预测完成。
本发明的有益效果是，一种结合社会生成对抗网络的意图轨迹预测方法，将生成对抗网络应用在车辆轨迹预测问题上，选择LSTM网络实现编码层-解码层结构。同时为了增加长期预测结果的稳定性，引入识别驾驶意图，将驾驶员换道信息编码成特征向量，来学习车辆运行规律，通过多方面的对比试验将本方法与现有方法进行对比，实验结果表明基于社会生成对抗网络的驾驶意图识别及轨迹预测方法性能优于现有的相关方法。与不同的模型结构对比，使用生成对抗网络的方法准确率最高；与支持向量机(SVM)分类器进行对比，基于LSTM网络实现的分类器效果要更好。
附图说明
图1是本发明一种结合社会生成对抗网络的意图轨迹预测方法中轨迹预测过程流程示意图；
图2是本发明一种结合社会生成对抗网络的意图轨迹预测方法网络结构图；
图3是本发明一种结合社会生成对抗网络的意图轨迹预测方法中所应用的LSTM神经网络结构。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明一种结合社会生成对抗网络的意图轨迹预测方法，流程图如图1所示，具体按照以下步骤实施：
步骤1、预处理车辆轨迹数据；
步骤1中预处理车辆轨迹数据为
Figure BDA0002517700160000071
其中，
Figure BDA0002517700160000072
为被预测车辆的历史轨迹信息；E(t)为环境信息；e表示被预测车辆；t表示当前时间。
步骤1中被预测车辆的历史轨迹信息
Figure BDA0002517700160000073
其中，x(t)为被预测车辆横向坐标；y(t)为被预测车辆纵向坐标；
Figure BDA0002517700160000074
为被预测车辆的绝对速度；t表示当前时间；e表示被预测车辆。
步骤1中被预测车辆的环境信息E(t)由被预测车辆左前、正前、右前、左后、正后、右后的邻近车辆的历史轨迹信息和被预测车辆的两个标志位组成，两个标志位分别为右车道标志位
Figure BDA0002517700160000075
左车道标志位
Figure BDA0002517700160000076
环境信息E(t)表示为
Figure BDA0002517700160000077
式中，
Figure BDA0002517700160000078
其中Δxi (t)为第i个位置处的车辆与被预测车辆的横向相对距离；i属于1到6之间的值；t表示当前时间；Δyi (t)为第i个位置处的车辆与被预测车辆的纵向相对距离；
Figure BDA0002517700160000079
为第i个位置处的车辆的绝对速度；
Figure BDA00025177001600000710
为右车道标志位，r表示右车道，其中，若被预测车辆存在右车道，则
Figure BDA00025177001600000711
为1，否则
Figure BDA00025177001600000712
为0；
Figure BDA00025177001600000713
为左车道标志位，l表示左车道，其中，若被预测车辆存在左车道，则
Figure BDA00025177001600000714
为1，否则
Figure BDA00025177001600000715
为0。
步骤2、基于步骤1预处理后的数据识别驾驶意图并进行数据标记，生成特征向量；
如图2所示，步骤2中识别驾驶意图以及数据标记，具体如下，将轨迹片段分成向左换道、向右换道和直线行驶3类，并附上相应标记：向左换道标记为1，向右换道标记为2，直线行驶标记为3，分类依据是：首先求出车辆轨迹和车道线的交点，将交点定义为换道点，由车辆横向坐标x(t)和纵向坐标y(t)计算出车辆的航向角θ，航向角θ表示为
Figure BDA0002517700160000081
然后从换道点向时间轴反方向遍历每个采样点的航向角θ，若轨迹序列连续3个采样点的|θ|≤θs，θs表示换道起始点航向角阈值，则将第1次达到阈值θs的位置定义为换道起点；最后从换道点时间轴正方向遍历每个采样点的航向角θ，若轨迹序列连续3个采样点的|θ|≤θe，θe表示换道终止点航向角阈值，则将第1次达到阈值θe的位置定义为换道终点。
步骤2中生成特征向量具体如下：
将步骤1中预处理车辆轨迹数据I(t)通过全连接网络处理后，随即输入长短时记忆网络，全连接网络包括128个神经元，全连接网络的激活函数为ReLU，长短时记忆网络读取当前时刻的预处理车辆轨迹数据I(t)和上一时刻输出的历史轨迹信息的隐藏状态，以此更新当前时刻的隐藏状态，将当前时刻的隐藏状态输入逻辑回归函数，输出概率矩阵Ω＝(ω1,ω2,ω3)，其中ω1表示向左换道概率，ω2表示直线行驶的概率，ω3表示向右换道的概率，识别驾驶意图选用分类交叉熵作为损失函数，优化器采用随机优化Adam算法，学习率和衰减率均设为0.9，最后将概率矩阵Ω＝(ω1,ω2,ω3)输入全连接网络，输出固定长度的特征向量ht。
如图3所示，步骤3、由社会生成对抗网络构成轨迹输出模块，轨迹输出模块中的编码层将历史轨迹信息编码为上下文向量，解码层结合上下文向量和已识别的驾驶意图信息预测未来轨迹。
步骤3中轨迹输出模块由生成器和判别器两部分构成，生成器包含编码层、解码层和池化模块，判别器由编码层、全连接网络和多层感知器构成，通过损失函数对轨迹输出模块反向传播优化，减少各层损失值；生成器以预处理车辆轨迹数据I(t)作为输入，输出预测结果；判别器以预测结果作为输入，输出分类结果，训练时每次迭代先单独训练判别器1次，再单独训练生成器1次。
步骤3具体如下：
步骤3.1、将步骤1中预处理车辆轨迹数据I(t)输入生成器中的编码层，经由全连接网络得到定长向量，输入长短时记忆网络，输出所有车辆的隐藏状态；
步骤3.2、池化模块包含最大池化层和多层感知器，将所有车辆的隐藏状态输入池化模块，计算当前时刻的车辆间相对位置信息，经过多层感知器得到合并的向量矩阵，通过最大池化层选取向量矩阵中的最大值为车辆间相对位置信息Pt，其中t表示当前时刻，然后将随机生成的高斯噪声Z结合编码层上一时刻输出的隐藏状态、车辆间相对位置信息Pt，以及特征向量ht进行矩阵相加得到轨迹编码向量r，作为解码层的输入；
步骤3.3、将轨迹编码向量r以及上一时刻解码层输出的隐藏状态输入解码层，经过长短时记忆网络得到当前时刻的隐藏状态，将每一时刻的隐藏状态通过多层感知器计算，得到预测轨迹点
Figure BDA0002517700160000091
其中
Figure BDA0002517700160000092
表示预测轨迹点的横向坐标，
Figure BDA0002517700160000093
表示预测轨迹点的纵向坐标，t属于1到n之间的值，n表示自然数；
步骤3.4、将车辆的真实轨迹连接对应的预测轨迹点
Figure BDA0002517700160000094
输入判别器，经过全连接层转化为定长向量，输入长短时记忆网络处理随即输入多层感知器得到分类结果，设置真实轨迹的阈值为[0.7～1.2]，计算结束后，判别器根据阈值判断分类结果是否属于真实轨迹；
步骤3.5、通过损失函数计算损失值：损失函数由LGAN(G,D)函数、LL2(G)函数两部分组成，其中，G表示生成器，D表示判别器，LGAN(G,D)表示生成器与判别器的对抗训练损失值，LL2(G)表示真实轨迹与预测轨迹点
Figure BDA0002517700160000104
的最小差值，λ作为权重用于平衡LGAN(G,D)和LL2(G)的损失值，损失函数L公式为：
L＝LGAN(G,D)+λ·LL2(G)
生成器与判别器的对抗训练损失值LGAN(G,D)公式为：
Figure BDA0002517700160000101
式中：E为计算期望值；D()表示判别器输出的分类结果，其中，T为真实轨迹；G(I(t))表示生成器输出的预测结果；I(t)表示预处理车辆轨迹数据，其中t为当前时刻；
真实轨迹与预测轨迹点
Figure BDA0002517700160000102
的最小差值LL2(G)公式为：
Figure BDA0002517700160000103
式中，k表示采样次数；Y表示与预测轨迹点相对应的真实轨迹；G(I(t))表示生成器输出的预测结果；I(t)表示预处理车辆轨迹数据，其中t为当前时刻；
判别器的目的是令D(Ti)接近1，令D(G(Xi,z))接近0，所以判别器要最大化LGAN(G,D)，而生成器要最小化LGAN(G,D)；从预测结果中选取多条轨迹，选择LL2(G)最小的轨迹作为预测轨迹点；
步骤3.6、重复上述步骤3.1～3.5，循环交替训练直到判别器不能分辨样本来源，至此，结合步骤2中识别驾驶意图的轨迹预测方法训练预测完成。
本发明一种结合社会生成对抗网络的意图轨迹预测方法，实施例如下：
本发明是一种结合社会生成对抗网络的意图轨迹预测方法，针对神经网络方法中社会生成对抗网络车辆间交互特征简单的问题，使用长短时记忆网络LSTM实现对车辆换道意图的识别，结合社会生成对抗网络预测车辆未来行驶轨迹。轨迹数据来源于在北京搜集的真实道路数据，使用摄像头和雷达采集而来，包含车辆、行人、自行车等机动车和非机动车。每条道路数据文件包含一分钟的障碍物数据，采样频率为每秒2赫兹，每行标注数据包含车辆的ID、位置、大小、朝向、速度以及加速度信息。
预处理车辆轨迹数据，包括被预测车辆历史轨迹信息及环境信息。历史轨迹信息包括车辆速度、横向坐标和纵向坐标；环境信息包括被预测车辆左前、正前、右前、左后、正后、右后邻近车辆的历史轨迹信息和右车道标志位
Figure BDA0002517700160000111
左车道标志位
Figure BDA0002517700160000112
要识别驾驶意图还需要将预处理车辆轨迹数据分成向左换道、向右换道和直线行驶3类，并附上相应的标记：向左换道标记为1，向右换道标记为2，直线行驶标记为3。假设车道线横向坐标为5，那么接近这一坐标的就是换道点，并依据车辆横向坐标x(t)和纵向坐标y(t)计算车辆航向角θ。横向坐标为5，纵向坐标为4，3秒前该车的横向坐标为2，纵向坐标为2，那么车辆航向角就为56°，以此类推反向遍历3个采样点，并取第1次达到阈值60°的点定义为换道起点；然后从换道点时间轴正方向遍历3个采样点，并取第1次达到阈值60°的点定义为换道终点。最后将预处理车辆轨迹数据依据换道起点和换道终点分成向左换道、向右换道和直线行驶3类，并附上相应标记作为识别驾驶意图的输入。
将步骤1中预处理车辆轨迹数据I(t)通过全连接网络处理后，随即输入长短时记忆网络输出6*4的隐藏状态，全连接网络包括128个神经元，全连接网络的激活函数为ReLU。将隐藏状态输入逻辑回归函数，输出3*1的概率矩阵。最后将概率矩阵输入全连接网络输出23*1的特征向量，记为ht。
本发明使用生成对抗网络，训练时每次迭代先单独训练判别器1次，再单独训练生成器1次。首先训练判别器，将预处理车辆轨迹数据输入编码层经由全连接网络得到23*1的定长向量，输入长短时记忆网络输出6*4的隐藏状态。将隐藏状态输入池化模块得到6*2向量矩阵，记为Pt。将[0-1]之间正态分布的高斯噪声Z结合编码层上一时刻输出的隐藏状态、车辆间相对位置信息Pt，以及特征向量ht进行矩阵相加得到23*1的轨迹编码向量，记为r，作为解码层的输入。将轨迹编码向量r输入长短时记忆网络得到6*4的隐藏状态，将隐藏状态通过多层感知器计算得到10*2的预测轨迹点。将车辆的真实轨迹连接对应的轨迹预测点，输入判别器，经过全连接层转化为23*1的定长向量，输入长短时记忆网络处理随即输入多层感知器得到[01.2]的分类结果，设置真实轨迹的阈值为[0.71.2]，阈值范围内的分类结果就认为是真实轨迹。通过计算生成器与判别器的对抗训练损失值LGAN(G,D)反向传播优化判别器。然后训练生成器，预处理车辆轨迹数据输入到生成器，得到预测结果，把真实轨迹和对应的预测轨迹点输入到判别器中，计算LGAN(G,D)与LL2(G)。由LGAN(G,D)与LL2(G)计算得到L，根据L反向传播优化生成器。
本发明选择长短时记忆网络实现编码层-解码层结构。实验中使用的长短时记忆网络结构为图3，表示使用激活函数sigmoid作为遗忘门和输入门，激活函数tanh作为输出门，隐藏单元个数为128。识别驾驶意图选用分类交叉熵作为损失函数，优化器采用随机优化Adam算法，学习率和衰减率均设为0.9。高斯噪声Z为正态分布，维度为8。每次迭代设置判别器和生成器各训练1次。

Claims (8)

1.一种结合社会生成对抗网络的意图轨迹预测方法，其特征在于，具体按照以下步骤实施：
步骤1、预处理车辆轨迹数据；
步骤2、基于步骤1预处理后的数据识别驾驶意图并进行数据标记，生成特征向量；
步骤3、由社会生成对抗网络构成轨迹输出模块，轨迹输出模块中的编码层将历史轨迹信息编码为上下文向量，解码层结合上下文向量和已识别的驾驶意图信息预测未来轨迹。
2.根据权利要求1所述的一种结合社会生成对抗网络的意图轨迹预测方法，其特征在于，所述步骤1中预处理车辆轨迹数据为
Figure FDA0002517700150000011
其中，
Figure FDA0002517700150000012
为被预测车辆的历史轨迹信息；E(t)为环境信息；e表示被预测车辆；t表示当前时间。
3.根据权利要求2所述的一种结合社会生成对抗网络的意图轨迹预测方法，其特征在于，所述步骤1中被预测车辆的历史轨迹信息
Figure FDA0002517700150000013
其中，x(t)为被预测车辆横向坐标；y(t)为被预测车辆纵向坐标；
Figure FDA0002517700150000014
为被预测车辆的绝对速度；t表示当前时间；e表示被预测车辆。
4.根据权利要求2所述的一种结合社会生成对抗网络的意图轨迹预测方法，其特征在于，所述步骤1中被预测车辆的环境信息E(t)由被预测车辆左前、正前、右前、左后、正后、右后的邻近车辆的历史轨迹信息和被预测车辆的两个标志位组成，两个标志位分别为右车道标志位
Figure FDA0002517700150000015
左车道标志位
Figure FDA0002517700150000016
环境信息E(t)表示为
Figure FDA0002517700150000021
式中，
Figure FDA0002517700150000022
其中Δxi (t)为第i个位置处的车辆与被预测车辆的横向相对距离；i属于1到6之间的值；t表示当前时间；Δyi (t)为第i个位置处的车辆与被预测车辆的纵向相对距离；
Figure FDA0002517700150000023
为第i个位置处的车辆的绝对速度；
Figure FDA0002517700150000024
为右车道标志位，r表示右车道，其中，若被预测车辆存在右车道，则
Figure FDA0002517700150000025
为1，否则
Figure FDA0002517700150000026
为0；
Figure FDA0002517700150000027
为左车道标志位，l表示左车道，其中，若被预测车辆存在左车道，则
Figure FDA0002517700150000028
为1，否则
Figure FDA0002517700150000029
为0。
5.根据权利要求2所述的一种结合社会生成对抗网络的意图轨迹预测方法，其特征在于，所述步骤2中识别驾驶意图以及数据标记，具体如下，将轨迹片段分成向左换道、向右换道和直线行驶3类，并附上相应标记：向左换道标记为1，向右换道标记为2，直线行驶标记为3，分类依据是：首先求出车辆轨迹和车道线的交点，将交点定义为换道点，由车辆横向坐标x(t)和纵向坐标y(t)计算出车辆的航向角θ，航向角θ表示为
Figure FDA00025177001500000210
然后从换道点向时间轴反方向遍历每个采样点的航向角θ，若轨迹序列连续3个采样点的|θ|≤θs，θs表示换道起始点航向角阈值，则将第1次达到阈值θs的位置定义为换道起点；最后从换道点时间轴正方向遍历每个采样点的航向角θ，若轨迹序列连续3个采样点的|θ|≤θe，θe表示换道终止点航向角阈值，则将第1次达到阈值θe的位置定义为换道终点。
6.根据权利要求5所述的一种结合社会生成对抗网络的意图轨迹预测方法，其特征在于，所述步骤2中生成特征向量具体如下：
将步骤1中预处理车辆轨迹数据I(t)通过全连接网络处理后，随即输入长短时记忆网络，全连接网络包括128个神经元，全连接网络的激活函数为ReLU，长短时记忆网络读取当前时刻的预处理车辆轨迹数据I(t)和上一时刻输出的历史轨迹信息的隐藏状态，以此更新当前时刻的隐藏状态，将当前时刻的隐藏状态输入逻辑回归函数，输出概率矩阵Ω＝(ω1,ω2,ω3)，其中ω1表示向左换道概率，ω2表示直线行驶的概率，ω3表示向右换道的概率，识别驾驶意图选用分类交叉熵作为损失函数，优化器采用随机优化Adam算法，学习率和衰减率均设为0.9，最后将概率矩阵Ω＝(ω1,ω2,ω3)输入全连接网络，输出固定长度的特征向量ht。
7.根据权利要求6所述的一种结合社会生成对抗网络的意图轨迹预测方法，其特征在于，所述步骤3中轨迹输出模块由生成器和判别器两部分构成，生成器包含编码层、解码层和池化模块，判别器由编码层、全连接网络和多层感知器构成，通过损失函数对轨迹输出模块反向传播优化，减少各层损失值；生成器以预处理车辆轨迹数据I(t)作为输入，输出预测结果；判别器以预测结果作为输入，输出分类结果，训练时每次迭代先单独训练判别器1次，再单独训练生成器1次。
8.根据权利要求7所述的一种结合社会生成对抗网络的意图轨迹预测方法，其特征在于，所述步骤3具体如下：
步骤3.1、将步骤1中预处理车辆轨迹数据I(t)输入生成器中的编码层，经由全连接网络得到定长向量，输入长短时记忆网络，输出所有车辆的隐藏状态；
步骤3.2、池化模块包含最大池化层和多层感知器，将所有车辆的隐藏状态输入池化模块，计算当前时刻的车辆间相对位置信息，经过多层感知器得到合并的向量矩阵，通过最大池化层选取向量矩阵中的最大值为车辆间相对位置信息Pt，其中t表示当前时刻，然后将随机生成的高斯噪声Z结合编码层上一时刻输出的隐藏状态、车辆间相对位置信息Pt，以及特征向量ht进行矩阵相加得到轨迹编码向量r，作为解码层的输入；
步骤3.3、将轨迹编码向量r以及上一时刻解码层输出的隐藏状态输入解码层，经过长短时记忆网络得到当前时刻的隐藏状态，将每一时刻的隐藏状态通过多层感知器计算，得到预测轨迹点
Figure FDA0002517700150000041
其中
Figure FDA0002517700150000042
表示预测轨迹点的横向坐标，
Figure FDA0002517700150000043
表示预测轨迹点的纵向坐标，t属于1到n之间的值，n表示自然数；
步骤3.4、将车辆的真实轨迹连接对应的预测轨迹点
Figure FDA0002517700150000044
输入判别器，经过全连接层转化为定长向量，输入长短时记忆网络处理随即输入多层感知器得到分类结果，设置真实轨迹的阈值为[0.7～1.2]，计算结束后，判别器根据阈值判断分类结果是否属于真实轨迹；
步骤3.5、通过损失函数计算损失值：损失函数由LGAN(G,D)函数、LL2(G)函数两部分组成，其中，G表示生成器，D表示判别器，LGAN(G,D)表示生成器与判别器的对抗训练损失值，LL2(G)表示真实轨迹与预测轨迹点
Figure FDA0002517700150000045
的最小差值，λ作为权重用于平衡LGAN(G,D)和LL2(G)的损失值，损失函数L公式为：
L＝LGAN(G,D)+λ·LL2(G)
生成器与判别器的对抗训练损失值LGAN(G,D)公式为：
Figure FDA0002517700150000046
式中：E为计算期望值；D()表示判别器输出的分类结果，其中，T为真实轨迹；G(I(t))表示生成器输出的预测结果；I(t)表示预处理车辆轨迹数据，其中t为当前时刻；
真实轨迹与预测轨迹点
Figure FDA0002517700150000047
的最小差值LL2(G)公式为：
Figure FDA0002517700150000051
式中，k表示采样次数；Y表示与预测轨迹点相对应的真实轨迹；G(I(t))表示生成器输出的预测结果；I(t)表示预处理车辆轨迹数据，其中t为当前时刻；
判别器的目的是令D(Ti)接近1，令D(G(Xi,z))接近0，所以判别器要最大化LGAN(G,D)，而生成器要最小化LGAN(G,D)；从预测结果中选取多条轨迹，选择LL2(G)最小的轨迹作为预测轨迹点；
步骤3.6、重复上述步骤3.1～3.5，循环交替训练直到判别器不能分辨样本来源，至此，结合步骤2中识别驾驶意图的轨迹预测方法训练预测完成。
CN202010482632.1A 2020-06-01 2020-06-01 一种结合社会生成对抗网络的意图轨迹预测方法 Pending CN111930110A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010482632.1A CN111930110A (zh) 2020-06-01 2020-06-01 一种结合社会生成对抗网络的意图轨迹预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010482632.1A CN111930110A (zh) 2020-06-01 2020-06-01 一种结合社会生成对抗网络的意图轨迹预测方法

Publications (1)

Publication Number Publication Date
CN111930110A true CN111930110A (zh) 2020-11-13

Family

ID=73317102

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010482632.1A Pending CN111930110A (zh) 2020-06-01 2020-06-01 一种结合社会生成对抗网络的意图轨迹预测方法

Country Status (1)

Country Link
CN (1) CN111930110A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112364997A (zh) * 2020-12-08 2021-02-12 北京三快在线科技有限公司 一种障碍物的轨迹预测方法及装置
CN112465113A (zh) * 2020-11-24 2021-03-09 中国人民解放军海军航空大学 一种生成式中断航迹接续关联方法
CN112651374A (zh) * 2021-01-04 2021-04-13 东风汽车股份有限公司 一种基于社会信息的未来轨迹预测方法及自动驾驶系统
CN112651557A (zh) * 2020-12-25 2021-04-13 际络科技(上海)有限公司 轨迹预测系统及方法、电子设备及可读存储介质
CN112733908A (zh) * 2020-12-31 2021-04-30 大连海事大学 一种高精度的车辆轨迹多模态预测方法
CN112766561A (zh) * 2021-01-15 2021-05-07 东南大学 一种基于注意力机制的生成式对抗轨迹预测方法
CN113033364A (zh) * 2021-03-15 2021-06-25 商汤集团有限公司 轨迹预测、行驶控制方法、装置、电子设备及存储介质
CN113068129A (zh) * 2021-03-26 2021-07-02 中国工商银行股份有限公司 基于轨迹预测的异构网络低时延切换方法及装置
CN113313941A (zh) * 2021-05-25 2021-08-27 北京航空航天大学 基于记忆网络和编码器-解码器模型的车辆轨迹预测方法
CN113435356A (zh) * 2021-06-30 2021-09-24 吉林大学 一种克服观察噪声与感知不确定性的轨迹预测方法
CN114368387A (zh) * 2021-12-21 2022-04-19 吉林大学 一种基于注意力机制的驾驶员意图识别及车辆轨迹预测方法
CN114379595A (zh) * 2022-02-22 2022-04-22 无锡物联网创新中心有限公司 基于车辆行为特征与环境交互信息的车辆轨迹预测方法
CN115293297A (zh) * 2022-10-08 2022-11-04 武汉理工大学 一种意图驱动的船舶轨迹预测方法
CN116203971A (zh) * 2023-05-04 2023-06-02 安徽中科星驰自动驾驶技术有限公司 一种生成对抗网络协同预测的无人驾驶避障方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101951595B1 (ko) * 2018-05-18 2019-02-22 한양대학교 산학협력단 모듈형 순환 신경망 구조 기반 차량 경로 예측 시스템 및 방법
US20190072966A1 (en) * 2017-09-07 2019-03-07 TuSimple Prediction-based system and method for trajectory planning of autonomous vehicles
CN110304075A (zh) * 2019-07-04 2019-10-08 清华大学 基于混合动态贝叶斯网络和高斯过程的车辆轨迹预测方法
CN110758382A (zh) * 2019-10-21 2020-02-07 南京航空航天大学 一种基于驾驶意图的周围车辆运动状态预测系统及方法
CN110781838A (zh) * 2019-10-28 2020-02-11 大连海事大学 一种复杂场景下行人的多模态轨迹预测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190072966A1 (en) * 2017-09-07 2019-03-07 TuSimple Prediction-based system and method for trajectory planning of autonomous vehicles
KR101951595B1 (ko) * 2018-05-18 2019-02-22 한양대학교 산학협력단 모듈형 순환 신경망 구조 기반 차량 경로 예측 시스템 및 방법
CN110304075A (zh) * 2019-07-04 2019-10-08 清华大学 基于混合动态贝叶斯网络和高斯过程的车辆轨迹预测方法
CN110758382A (zh) * 2019-10-21 2020-02-07 南京航空航天大学 一种基于驾驶意图的周围车辆运动状态预测系统及方法
CN110781838A (zh) * 2019-10-28 2020-02-11 大连海事大学 一种复杂场景下行人的多模态轨迹预测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
温惠英;张伟罡;赵胜;: "基于生成对抗网络的车辆换道轨迹预测模型", 华南理工大学学报(自然科学版), no. 05 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112465113A (zh) * 2020-11-24 2021-03-09 中国人民解放军海军航空大学 一种生成式中断航迹接续关联方法
CN112364997A (zh) * 2020-12-08 2021-02-12 北京三快在线科技有限公司 一种障碍物的轨迹预测方法及装置
CN112651557A (zh) * 2020-12-25 2021-04-13 际络科技(上海)有限公司 轨迹预测系统及方法、电子设备及可读存储介质
CN112733908B (zh) * 2020-12-31 2023-06-23 大连海事大学 一种高精度的车辆轨迹多模态预测方法
CN112733908A (zh) * 2020-12-31 2021-04-30 大连海事大学 一种高精度的车辆轨迹多模态预测方法
CN112651374A (zh) * 2021-01-04 2021-04-13 东风汽车股份有限公司 一种基于社会信息的未来轨迹预测方法及自动驾驶系统
CN112766561A (zh) * 2021-01-15 2021-05-07 东南大学 一种基于注意力机制的生成式对抗轨迹预测方法
CN112766561B (zh) * 2021-01-15 2023-11-17 东南大学 一种基于注意力机制的生成式对抗轨迹预测方法
CN113033364A (zh) * 2021-03-15 2021-06-25 商汤集团有限公司 轨迹预测、行驶控制方法、装置、电子设备及存储介质
CN113068129A (zh) * 2021-03-26 2021-07-02 中国工商银行股份有限公司 基于轨迹预测的异构网络低时延切换方法及装置
CN113313941A (zh) * 2021-05-25 2021-08-27 北京航空航天大学 基于记忆网络和编码器-解码器模型的车辆轨迹预测方法
CN113313941B (zh) * 2021-05-25 2022-06-24 北京航空航天大学 基于记忆网络和编码器-解码器模型的车辆轨迹预测方法
CN113435356A (zh) * 2021-06-30 2021-09-24 吉林大学 一种克服观察噪声与感知不确定性的轨迹预测方法
CN114368387A (zh) * 2021-12-21 2022-04-19 吉林大学 一种基于注意力机制的驾驶员意图识别及车辆轨迹预测方法
CN114379595A (zh) * 2022-02-22 2022-04-22 无锡物联网创新中心有限公司 基于车辆行为特征与环境交互信息的车辆轨迹预测方法
CN115293297A (zh) * 2022-10-08 2022-11-04 武汉理工大学 一种意图驱动的船舶轨迹预测方法
CN115293297B (zh) * 2022-10-08 2023-01-20 武汉理工大学 一种意图驱动的船舶轨迹预测方法
CN116203971A (zh) * 2023-05-04 2023-06-02 安徽中科星驰自动驾驶技术有限公司 一种生成对抗网络协同预测的无人驾驶避障方法

Similar Documents

Publication Publication Date Title
CN111930110A (zh) 一种结合社会生成对抗网络的意图轨迹预测方法
CN112257850B (zh) 一种基于生成对抗网络的车辆轨迹预测方法
CN112242059B (zh) 基于动机与风险评估的无人驾驶车辆智能决策方法
US11816901B2 (en) Multi-agent trajectory prediction
CN112734808B (zh) 一种车辆行驶环境下易受伤害道路使用者的轨迹预测方法
CN114399743B (zh) 一种障碍物未来轨迹的生成方法
CN114312830B (zh) 一种考虑危险驾驶工况的智能车耦合决策模型及方法
CN113076599A (zh) 一种基于长短时记忆网络的多模态车辆轨迹预测方法
CN115158364A (zh) 一种自动驾驶汽车对周车驾驶意图和轨迹联合预测的方法
CN115147790B (zh) 一种基于图神经网络的车辆未来轨迹预测方法
CN112949597A (zh) 一种基于时间模式注意力机制的车辆轨迹预测与驾驶操纵识别方法
CN117141517A (zh) 数据驱动与知识引导相结合的车辆轨迹预测模型构建方法
CN114368387B (zh) 一种基于注意力机制的驾驶员意图识别及车辆轨迹预测方法
CN115743179A (zh) 一种车辆概率多模态预期轨迹预测方法
CN115523934A (zh) 一种基于深度学习的车辆轨迹预测方法及系统
Sharma et al. Kernelized convolutional transformer network based driver behavior estimation for conflict resolution at unsignalized roundabout
CN115062202A (zh) 驾驶行为意图及轨迹的预测方法、装置、设备及存储介质
CN117141518A (zh) 一种基于意图感知时空注意网络的车辆轨迹预测方法
CN113435356B (zh) 一种克服观察噪声与感知不确定性的轨迹预测方法
CN114446046A (zh) 一种基于lstm模型的弱势交通参与者轨迹预测方法
Misawa et al. Prediction of driving behavior based on sequence to sequence model with parametric bias
Gao et al. Deep learning‐based hybrid model for the behaviour prediction of surrounding vehicles over long‐time periods
CN115440041A (zh) 一种路侧视角下的重点车辆驾驶行为预测方法
CN114889608A (zh) 一种基于注意力机制的车辆换道预测方法
Hsieh et al. Trajectory Prediction at Unsignalized Intersections using Social Conditional Generative Adversarial Network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination