CN111931902A - 一种生成对抗网络模型、及利用该生成对抗网络模型的车辆轨迹预测方法 - Google Patents
一种生成对抗网络模型、及利用该生成对抗网络模型的车辆轨迹预测方法 Download PDFInfo
- Publication number
- CN111931902A CN111931902A CN202010631885.0A CN202010631885A CN111931902A CN 111931902 A CN111931902 A CN 111931902A CN 202010631885 A CN202010631885 A CN 202010631885A CN 111931902 A CN111931902 A CN 111931902A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- track
- frame
- layer
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000006870 function Effects 0.000 claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 29
- 238000004088 simulation Methods 0.000 claims abstract description 5
- 239000010410 layer Substances 0.000 claims description 86
- 230000008859 change Effects 0.000 claims description 63
- 239000013598 vector Substances 0.000 claims description 61
- 239000011159 matrix material Substances 0.000 claims description 46
- 238000011176 pooling Methods 0.000 claims description 21
- 238000013528 artificial neural network Methods 0.000 claims description 19
- 230000006399 behavior Effects 0.000 claims description 17
- 238000013461 design Methods 0.000 claims description 8
- 238000012795 verification Methods 0.000 claims description 7
- 230000002093 peripheral effect Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000009471 action Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 239000002356 single layer Substances 0.000 claims description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 2
- 230000003044 adaptive effect Effects 0.000 claims description 2
- 230000003042 antagnostic effect Effects 0.000 claims 2
- 239000000284 extract Substances 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000000306 recurrent effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种生成对抗网络模型、及利用该生成对抗网络模型的车辆轨迹预测方法,其中,生成对抗网络模型由两个模块构成,模块一:生成对抗网络的生成器;模块二:生成对抗网络的判别器。利用生成器生成模拟轨迹,利用判别器判别轨迹真伪,模块一与模块二相互博弈对抗,最后获取一个能生成与真实轨迹高度相似模拟轨迹的生成器。之后对生成对抗网络模型进行训练,并给出了数据获取方法,优化器,学习率,训练轮次,迭代轮次,损失函数。最后给出了验证车辆轨迹预测系统生成轨迹准确性的方法。本发明提出的使用生成对抗网络进行轨迹预测的预测方法,对过去网络结构做出了创新,并有效提高了预测的准确性。
Description
技术领域
本发明属于智能交通自动驾驶领域,具体涉及一种生成对抗网络模型、及利用该生成对抗网络模型的车辆轨迹预测方法。
背景技术
随着社会发展和社会人群出行需求的日益提升,智能汽车产业迎来了快速发展的黄金时代。与此同时,随着科学技术尤其是计算机技术的快速发展,深度学习的出现给智能汽车的未来提供了新思路、新方法。
美国国家公路交通安全管理局(NHTSA)将智能汽车自动化等级分为l1至l5共五级,而区分智能汽车自动化等级的重要评估标准为智能汽车的决策能力。智能汽车在对自车行为进行决策之前,需评估旁车未来轨迹,并根据旁车未来轨迹规划自车线路导向。
目前车辆轨迹预测方法主要使用了递归神经网络(RNN)中的长短时记忆神经网络(LSTM)来,实现了对车辆未来轨迹的预测。模型通过LSTM网络提取车辆历史轨迹内的时序特征,拟合历史轨迹和未来轨迹之间的非线性关系,最后通过损失函数值的反向传播来完成预测。很多模型使用了自然语言处理中的seq2seq编码器解码器结构,通过LSTM编码器提取车辆轨迹的时间特征,将其编码成特征上下文向量;LSTM解码器则对上下文向量进行解码,生成未来轨迹坐标。
但是,使用LSTM的预测方法还存在着精度不高的问题。同时,过去模型未能考虑被预测车周边车辆运行轨迹对自车的影响,存在输入特征较少,鲁棒性过低的问题。
有鉴于此,有必要为智能汽车提供一种新型的车辆轨迹预测系统。
发明内容
为解决上述问题,本发明提出了一种基于生成对抗网络模型的车辆轨迹预测方法。本发明在生成对抗网络中加入了卷积神经网络池化层来提取周边车辆对主车影响信息,同时加入了换道信息预测,利用换道信息加强了对预测轨迹的约束能力。
本发明提出的基于生成对抗网络的车辆轨迹预测方法原理如图1所示,图1中所示的生成对抗网络模型主要由两个模块构成。模块一:生成对抗网络的生成器;模块二:生成对抗网络的判别器。利用生成器生成模拟轨迹,利用判别器判别轨迹真伪,模块一与模块二相互博弈对抗,最后获取一个能生成与真实轨迹高度相似模拟轨迹的生成器。
本发明还提出了一种生成对抗网络模型的训练方法,并给出了数据获取方法,优化器,学习率,训练轮次,迭代轮次,损失函数。具体如下面具体实施方式部分所述。
本发明最后提出了验证车辆轨迹预测系统生成轨迹准确性的方法。具体如下面具体实施方式部分所述。
本发明的有益效果:
(1)本发明提出的使用生成对抗网络进行轨迹预测的预测方法,对过去网络结构做出了创新,并有效提高了预测的准确性。
(2)本发明在生成对抗网络的生成器中加入的卷积社交池结构,利用卷积神经网络提取平面特征的优势,解决了使用传统递归神经网络不能获取的车辆交互产生的特征信息的缺陷。
(3)本发明在生成对抗网络的生成器中加入的换道判别结构,通过判断车辆换道行为,加强了对输出轨迹的约束。
(4)本发明给出了神经网络模型的训练方法,给出了建议的神经网络训练所必须的超参数,以及各神经网络层合适的输入输出维度。在保证模型训练速度的情况下,使得模型训练得到更加精准的结果,并且有效避免了发生过拟合的情况。
附图说明
图1为基于生成对抗网络的车辆轨迹预测的原理示意图。
图2为基于生成对抗网络的车辆轨迹预测流程图。
具体实施方式
下面结合附图对本发明作进一步说明。
本发明提出了一种基于生成对抗网络的车辆轨迹预测方法,实现该方法的流程如图2所示,包括如下步骤:
S1:设计生成对抗网络模型;
S2:生成处理数据并将数据输入生成对抗网络模型。
S3:利用输入数据训练生成对抗网络模型。
S4:利用验证数据对步骤S2中训练完成的生成对抗网络模型做验证。如验证结果理想,则可将此网络模型用于车辆轨迹预测。否则继续执行S2直至验证结果理想。
以下将对实施方式进行具体说明。
步骤S1的设计生成对抗网络模型如图1所示,该网络模型的设计具体如下:
生成对抗网络模型总体结构如图1所示,共有两大模块组成。模块一为生成器,包括LSTM编码器,卷积池化层,换道判别层,解码器四部分,用以生成虚拟轨迹。模块二为判别器,包括LSTM编码器和Sigmoid层,用以输出模块一生成的虚拟轨迹为真实轨迹的概率。生成对抗网络将模块一与模块二相互对抗训练,最终获取与真实轨迹高度相似的预测轨迹。以下为各模块详细说明。
(1)模块一
模块一为生成对抗网络中的生成器部分,以编码器解码器结构为基础,卷积池化层提取周边车辆对主车的影响特征,换道判别层提取主车换道特征。具体设计如下:
1)LSTM编码器
LSTM编码器由两个全连接神经网络和一个循环神经网络LSTM组成。输入车辆轨迹(x,y),输出代表车辆轨迹隐藏关系的32维上下文向量。
首先将输入通过一个全连接层,将车辆坐标向量转化为32维隐藏向量,再将隐藏向量输入单层LSTM神经元,获取包含前后隐藏向量内在关系的64维上下文向量,最后通过全连接层对上下文向量做降维处理,取得最终32维上下文向量。
2)卷积池化层
卷积池化层由一个1)中所述LSTM编码器与两层卷积神经网络构成。输入为S3-1(2)中的旁车轨迹矩阵,输出表征周边车辆对主车影响的80维特征向量。
首先将旁车轨迹矩阵每一行分别通过LSTM编码器,获取各旁车的32维特征向量。以主车为中心,以旁车当前帧实际位置为基准将旁车32维特征向量填入13×3的栅格图中。此时得到一个深度为32的13×3栅格矩阵。
将栅格矩阵通过卷积核为3×3,深度为64的卷积神经网络,再通过卷积核为3×1,深度为16的卷积神经网络,最终将获取的1×5×16特征降维,输出表征周边车辆对主车影响的80维特征。
3)换道判别层
换道判别层由一个全连接层和一个softmax多分类层构成。输入为主车轨迹通过LSTM编码器后得到的32维上下文向量,输出主车未来做直行、左换道、右换道三种行为的概率。
将主车轨迹序列通过LSTM编码器后,将获取的主车32维上下文向量输入全连接层,取得包含主车换道隐含信息的三维向量[a1 a2 a3]。将三维向量通过softmax多分类层,获取主车未来做直行、左换道、右换道三种行为的概率。Softmax计算公式如下所示:
换道判别层最终输出[a1′ a2′ a3′],其中a1′+a2′+a3′=1且ai′≥0。
4)解码器
解码器由一个LSTM层和一个全连接层组成,将上述1)、2)、3)三个结构中的输出结合并解码,最终获得预测轨迹。
解码器是生成器模块的最终模块,用以生成最后的结果。解码器将主车轨迹通过LSTM编码器后生成的32维上下文向量,旁车轨迹通过卷积池化层后生成的80维特征,以及主车上下文向量通过换道判别层后生成的3维行为概率三者通过串联结合为包含主车信息的115维编码信息。解码器将这115维信息通过LSTM层进行解码,并最后通过一个全连接层降维处理,输出预测轨迹。
(2)模块2
模块2为生成对抗网络中的判别器部分,包括一个LSTM编码器和一个Sigmoid层结构。其中LSTM编码器用以将模块一生成的轨迹编码,获取生成轨迹的隐藏状态量,Sigmoid是一个二分类函数,通过生成轨迹的32维编码和生成器中的卷积池化层输出的表征周边车辆对主车影响的80维特征共112维特征来判别生成轨迹的真实概率,输出真与假两种状态之一。具体设计如下:
1)LSTM编码器
模块二中的LSTM编码器与模块一中完全相同,此处不再赘述。
将主车轨迹与生成器生成预测轨迹串联,输入LSTM编码器中,获取包含主车轨迹隐含状态的32维编码向量。
2)Sigmoid层
Sigmoid是一个二分类函数,将LSTM编码器生成的32维编码向量与模块一卷积池化层生成的80维特征串联作为输入,通过全连接层处理隐含信息并压缩信息至1维,最终通过Sigmoid函数获得输入轨迹为真实轨迹概率。其中Sigmoid二分类函数定义如下:
其中x为LSTM编码器与卷积池化层生成特征通过全连接层降维后得到的1维特征,S(x)为输出概率值。
S2的具体实施步骤包括如下:
S2-1:使用悬停的无人机拍摄长连续时间内一段公路上的车辆运行视频。为保证训练精度,时间选定应在15分钟以上。
S2-2:获取视频后,对视频进行处理,将视频数据转化为适配模型的数字数据。
视频数据转化步骤如下:
(1)设在整段视频中共出现的车辆数为m,则为视频中出现的每一车辆赋予不同数字id,得到车辆数字id矩阵:
[veh1 veh2 veh3 … vehm-1 vehm]
其中车辆数字id与视频中出现的车辆一一对应。
(2)设视频的帧数为m。得到视频帧数矩阵:
[frame1 frame2 frame3 … framem-1 framem]
(3)对视频建立直角坐标系xOy,取视频左下角为坐标原点(0,0),向上为y轴正方向,向右为x轴正方向。
(4)对某车辆vehi,在视频中共出现t帧,即从帧数为framej至framej+t-1的视频帧中出现了车辆vehi。记录车辆vehi在每一帧的位置坐标,获取车辆位置矩阵:
对视频中全部车辆均执行步骤(4),最终获取m个车辆位置矩阵。
(5)对某车辆vehi,在视频中共出现t帧,即从帧数为framej至framej+t-1的视频帧中出现了车辆vehi。记录车辆vehi在每一帧的换道信息,其中不更换车道记录为0,左换道记录为-1,右换道记录为1。获取车辆换道矩阵:
对视频中全部车辆均执行步骤(5),最终获取m个车辆换道矩阵。此时视频数据转换完成。
S2-3:对视频帧数矩阵:[frame1 frame2 frame3… framem-1 framem]
其中对任一帧framej,由车辆位置矩阵检索,记录存在于该帧的车辆id,记载车辆前traj帧,后pred帧及当前帧车辆位置信息与车辆换道信息。若该车辆于(framei-traj,framei+pred)中的任一帧数无位置信息,则删除该车辆。其中traj为训练使用帧数,pred为预测使用帧数。此时获得帧数framei的车辆位置、换道矩阵:
其中,矩阵中变量的上标为当前帧,下标为车辆id。
此时共获取m-traj-pred个车辆位置、换道矩阵,其中m为视频总帧数。将矩阵输入生成对抗网络,S2完成。
S3的具体实现包括如下步骤:
S3-1:将S2-3中车辆位置、换道矩阵作为模型输入。选取车辆位置、换道矩阵中任一行作为被预测车,其余行作为旁车。输入包括三个特征:
(1)被预测车轨迹:定义为长度为traj+pred+1的被预测车位置向量:
(x,y)=((x1,y1),(x2,y2)…(xtraj+pred+1,ytraj+pred+1))
其中traj为过去轨迹长度,pred为预测轨迹长度,1为当前被预测车坐标。
(2)旁车轨迹:设被预测车周围的旁车数量为idn-1,则旁车轨迹矩阵如下:
(3)换道信息:如被预测车于第pred+1至最后帧中的任一帧存在换道行为,则视为换道车,标记为-1(左换道),1(右换道)。否则视为无换道行为,标记为0。
S3-2:生成对抗网络模型的训练:
使用pytorch框架作为代码框架对模型进行搭建,具体步骤如下:
(1)数据获取:在采集数据并对数据进行S2中所述数据处理后,使用pytorch中的Dataloader类采集数据传入模型。选取batch为128,8线程并行读取。
(2)设计优化器与超参:模块一与模块二均选取Adam优化器作为模型优化器,训练轮次设置为20轮,每训练一轮,保存一次模型参数。在学习率设置为指数下降,初始学习率为0.002,每轮次学习率设置如下:
lr(epoch)=0.002×0.8epoch-1
其中epoch为当前训练轮次。
(3)迭代轮次选取:选取迭代轮次为:模块二训练3次,模块一训练2次。依次迭代训练,使模块一与模块二作为博弈的两个主体,相互对抗,最终生成与真实轨迹高度相似的模拟轨迹。
(4)设计损失函数:采用BCE损失函数作为网络损失函数。
其中o为模型的输出output,作为损失函数输入,t为target,即目标标签,n为Dataloader类中选取的batch值。由公式可知,o与t之间差距越小,则BCE损失函数值越小。
1)模块一损失函数:要求将模块一输出模拟轨迹输入模块二,最终输出概率值接近1。同时,要求模块一的换道判别层输出的行为概率与车辆位置、换道矩阵中的换道行为近似相等。故损失函数如下所示:
loss=bceloss1+bceloss2
其中,bceloss1的输入量为模块二输出,目标标签为全1矩阵。bceloss2为模块一换道判别层输出,目标标签为车辆位置、换道矩阵中的换道行为。
2)模块二损失函数:要求模块二能将模拟轨迹与真实轨迹区分开来。故损失函数如下所示:
loss=bceloss1+bceloss2
其中,bceloss1的输入量为车辆位置、换道矩阵中的真实轨迹输入模块二后的输出,目标标签为全1矩阵。bceloss2为模块一生成模拟轨迹输入模块二后的输出,目标标签为全0矩阵。
S4的具体实施步骤如下:
此步骤验证了生成轨迹准确性,用以评判模型优劣。如生成轨迹准确性不符合工程要求,则返回S3重新训练。如生成轨迹符合要求,则结束步骤,此时单独提出S3中的模块一,此时的模块一成为一个车辆轨迹预测系统,输入为被预测车历史轨迹与旁车预测轨迹,输出为被预测车未来预测轨迹。
模型评判使用均方根误差,具体评判方法如下:
S3中的模块一输出的预测轨迹为:
从车辆位置、换道矩阵中获得的真实轨迹为:
其中pred为轨迹长度。
均方根误差表达形式如下:
当rmseloss≥k时,表示模型训练未完成,返回S3重新训练。反之,若rmseloss<k时,表示此车辆轨迹预测系统已经训练完成。其中k为超参数,表示使用人对车辆轨迹预测系统误差的容忍度。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明,它们并非用以限制本发明的保护范围,凡未脱离本发明技术所创的等效方式或变更均应包含在本发明的保护范围之内。
Claims (8)
1.基于生成对抗网络模型的车辆轨迹预测方法,其特征在于,包括如下步骤:
S1:设计生成对抗网络模型;
S2:生成处理数据并将数据输入设计好的生成对抗网络模型;
S3:利用输入数据训练生成对抗网络模型;
S4:利用验证数据对步骤S3中训练完成的生成对抗网络模型做验证;如验证结果理想,则可将此网络模型用于车辆轨迹预测,否则继续执行S3直至验证结果理想。
2.根据权利要求1所述的基于生成对抗网络模型的车辆轨迹预测方法,其特征在于,所述S1的具体实现包容:所述生成对抗网络模型包括两个模块,模块一为生成器,包括LSTM编码器、卷积池化层、换道判别层、解码器四部分,用以生成虚拟轨迹;模块二为判别器,包括LSTM编码器和Sigmoid层,用以输出模块一生成的虚拟轨迹为真实轨迹的概率;生成对抗网络模型利用模块一与模块二相互对抗训练,最终获取与真实轨迹高度相似的预测轨迹。
3.根据权利要求2所述的基于生成对抗网络模型的车辆轨迹预测方法,其特征在于,所述生成器的具体设计包括如下:
1)LSTM编码器
LSTM编码器包括两个全连接神经网络和一个循环神经网络LSTM;输入车辆轨迹(x,y),输出代表车辆轨迹隐藏关系的32维上下文向量;
首先将输入通过一个全连接层,将车辆坐标向量转化为32维隐藏向量,再将隐藏向量输入单层LSTM神经元,获取包含前后隐藏向量内在关系的64维上下文向量,最后通过全连接层对上下文向量做降维处理,取得最终32维上下文向量;
2)卷积池化层
卷积池化层包括一个上述1)中所述LSTM编码器与两层卷积神经网络,输入为旁车轨迹矩阵,输出表征周边车辆对主车影响的80维特征向量;
首先将旁车轨迹矩阵每一行分别通过LSTM编码器,获取各旁车的32维特征向量,以主车为中心,以旁车当前帧实际位置为基准将旁车32维特征向量填入13×3的栅格图中,得到一个深度为32的13×3栅格矩阵;
将栅格矩阵通过卷积核为3×3,深度为64的卷积神经网络,再通过卷积核为3×1,深度为16的卷积神经网络,最终将获取的1×5×16特征降维,输出表征周边车辆对主车影响的80维特征;
3)换道判别层
换道判别层包括一个全连接层和一个softmax多分类层;输入为主车轨迹通过LSTM编码器后得到的32维上下文向量,输出主车未来做直行、左换道、右换道三种行为的概率;
将主车轨迹序列通过LSTM编码器后,将获取的主车32维上下文向量输入全连接层,取得包含主车换道隐含信息的三维向量[a1 a2 a3],将三维向量通过softmax多分类层,获取主车未来做直行、左换道、右换道三种行为的概率,Softmax计算公式如下所示:
换道判别层最终输出[a1′ a2′ a3′],其中a1′+a2′+a3′=1且ai′≥0;
4)解码器
解码器包括一个LSTM层和一个全连接层,将上述1)、2)、3)三个结构中的输出结合并解码,最终获得预测轨迹;
解码器用以生成最后的结果,解码器将主车轨迹通过LSTM编码器后生成的32维上下文向量、旁车轨迹通过卷积池化层后生成的80维特征、以及主车上下文向量通过换道判别层后生成的3维行为概率三者通过串联结合为包含主车信息的115维编码信息,解码器将这115维信息通过LSTM层进行解码,并最后通过一个全连接层降维处理,输出预测轨迹。
5.根据权利要求1所述的基于生成对抗网络模型的车辆轨迹预测方法,其特征在于,所述步骤S2的具体实现包括如下:
S2-1:拍摄长连续时间内一段公路上的车辆运行视频;
S2-2:获取视频后,对视频进行处理,将视频数据转化为适配模型的数字数据;
视频数据转化步骤如下:
(1)设在整段视频中共出现的车辆数为m,则为视频中出现的每一车辆赋予不同数字id,得到车辆数字id矩阵:
[veh1 veh2 veh3…vehm-1 vehm]
其中车辆数字id与视频中出现的车辆一一对应;
(2)设视频的帧数为n,得到视频帧数矩阵:
[frame1 frame2 frame3…framem-1 framem]
(3)对视频建立直角坐标系xOy,取视频左下角为坐标原点(0,0),向上为y轴正方向,向右为x轴正方向;
(4)对某车辆vehi,在视频中共出现t帧,即从帧数为framej至framej+t-1的视频帧中出现了车辆vehi,记录车辆vehi在每一帧的位置坐标,获取车辆位置矩阵:
对视频中全部车辆均执行步骤(4),最终获取m个车辆位置矩阵;
(5)对某车辆vehi,在视频中共出现t帧,即从帧数为framej至framej+t-1的视频帧中出现了车辆vehi。记录车辆vehi在每一帧的换道信息,其中不更换车道记录为0,左换道记录为-1,右换道记录为1,获取车辆换道矩阵:
对视频中全部车辆均执行步骤(5),最终获取m个车辆换道矩阵,此时视频数据转换完成;
S2-3:对视频帧数矩阵[frame1 frame2 frame3…framem-1 framem]中的任一帧framej,由车辆位置矩阵检索,记录存在于该帧的车辆id,记载车辆前traj帧、后pred帧及当前帧车辆位置信息与车辆换道信息,若该车辆于(framei-traj,framei+pred)中的任一帧数无位置信息,则删除该车辆;其中traj为训练使用帧数,pred为预测使用帧数,此时获得帧数framei的车辆位置、换道矩阵:
其中,矩阵中变量的上标为当前帧,下标为车辆id;
此时共获取m-traj-pred个车辆位置、换道矩阵,其中m为视频总帧数,将矩阵输入生成对抗网络,S2完成。
6.根据权利要求1所述的基于生成对抗网络模型的车辆轨迹预测方法,其特征在于,所述S3的具体实现包括如下步骤:
S3-1:将车辆位置、换道矩阵作为网络模型输入,选取车辆位置、换道矩阵中任一行作为被预测车,则其余行作为旁车,输入包括三个特征:
(1)被预测车轨迹:长度为traj+pred+1的被预测车的位置向量为
(x,y)=((x1,y1),(x2,y2)…(xtraj+pred+1,ytraj+pred+1))
其中traj为过去轨迹长度,pred为预测轨迹长度,1为当前被预测车坐标;
(2)旁车轨迹:被预测车周围的旁车数量为idn-1,旁车轨迹矩阵如下:
(3)换道信息:如被预测车于第pred+1至最后帧中的任一帧存在换道行为,则视为换道车,标记为-1(左换道),1(右换道),否则视为无换道行为,标记为0;
S3-2:进行生成对抗网络模型的训练:使用pytorch框架作为代码框架对模型进行搭建,具体步骤如下:
(1)数据获取:在采集数据并对数据进行S2中所述数据处理后,使用pytorch中的Dataloader类采集数据传入模型,选取batch为128,8线程并行读取;
(2)设计优化器与超参:生成器与判别器均选取Adam优化器作为模型优化器,训练轮次设置为20轮,每训练一轮,保存一次模型参数,学习率设置为指数下降,初始学习率为0.002,每轮次学习率设置如下:
lr(epoch)=0.002×0.8epoch-1
其中epoch为当前训练轮次;
(3)迭代轮次选取:选取迭代轮次为:判别器训练3次,生成器训练2次,依次迭代训练,使生成器与判别器作为博弈的两个主体,相互对抗,最终生成与真实轨迹高度相似的模拟轨迹;
(4)设计损失函数:采用BCE损失函数作为网络损失函数
其中o为output,即输入量,t为target,即目标标签,由公式可知,o与t之间差距越小,则BCE损失函数值越小;
1)生成器的损失函数:要求将生成器的输出模拟轨迹输入判别器,最终输出概率值接近1,同时,要求生成器的换道判别层输出的行为概率与车辆位置、换道矩阵中的换道行为近似相等,故损失函数如下所示:
loss=bceloss1+bceloss2
其中,bceloss1的输入量为判别器输出,目标标签为全1矩阵,bceloss2为生成器换道判别层输出,目标标签为车辆位置、换道矩阵中的换道行为;
2)判别器的损失函数:要求判别器能将模拟轨迹与真实轨迹区分开来,故损失函数如下所示:
loss=bceloss1+bceloss2
其中,bceloss1的输入量为车辆位置、换道矩阵中的真实轨迹输入判别器后的输出,目标标签为全1矩阵;bceloss2为生成器生成模拟轨迹输入判别器后的输出,目标标签为全0矩阵。
8.一种生成对抗网络模型,其特征在于,包括生成器和判别器;所述生成器包括LSTM编码器、卷积池化层、换道判别层、解码器四部分,用以生成虚拟轨迹;所述判别器包括LSTM编码器和Sigmoid层,用以输出模块一生成的虚拟轨迹为真实轨迹的概率;网络模型将生成器与判别器相互对抗训练,获取与真实轨迹高度相似的预测轨迹。
所述生成器具体包括如下:
1)LSTM编码器
LSTM编码器包括两个全连接神经网络和一个循环神经网络LSTM;输入车辆轨迹(x,y),输出代表车辆轨迹隐藏关系的32维上下文向量;
首先将输入通过一个全连接层,将车辆坐标向量转化为32维隐藏向量,再将隐藏向量输入单层LSTM神经元,获取包含前后隐藏向量内在关系的64维上下文向量,最后通过全连接层对上下文向量做降维处理,取得最终32维上下文向量;
2)卷积池化层
卷积池化层包括一个上述1)中所述LSTM编码器与两层卷积神经网络,输入为旁车轨迹矩阵,输出表征周边车辆对主车影响的80维特征向量;
首先将旁车轨迹矩阵每一行分别通过LSTM编码器,获取各旁车的32维特征向量,以主车为中心,以旁车当前帧实际位置为基准将旁车32维特征向量填入13×3的栅格图中,得到一个深度为32的13×3栅格矩阵;
将栅格矩阵通过卷积核为3×3,深度为64的卷积神经网络,再通过卷积核为3×1,深度为16的卷积神经网络,最终将获取的1×5×16特征降维,输出表征周边车辆对主车影响的80维特征;
3)换道判别层
换道判别层包括一个全连接层和一个softmax多分类层;输入为主车轨迹通过LSTM编码器后得到的32维上下文向量,输出主车未来做直行、左换道、右换道三种行为的概率;
将主车轨迹序列通过LSTM编码器后,将获取的主车32维上下文向量输入全连接层,取得包含主车换道隐含信息的三维向量[a1 a2 a3],将三维向量通过softmax多分类层,获取主车未来做直行、左换道、右换道三种行为的概率,Softmax计算公式如下所示:
换道判别层最终输出[a1′ a2′ a3′],其中a1′+a2′+a3′=1且ai′≥0;
4)解码器
解码器包括一个LSTM层和一个全连接层,将上述1)、2)、3)三个结构中的输出结合并解码,最终获得预测轨迹;
解码器用以生成最后的结果,解码器将主车轨迹通过LSTM编码器后生成的32维上下文向量、旁车轨迹通过卷积池化层后生成的80维特征、以及主车上下文向量通过换道判别层后生成的3维行为概率三者通过串联结合为包含主车信息的115维编码信息,解码器将这115维信息通过LSTM层进行解码,并最后通过一个全连接层降维处理,输出预测轨迹;
所述判别器具体包括如下:
1)LSTM编码器设计:该编码器与生成器中的LSTM编码器相同,将主车轨迹与生成器生成预测轨迹串联,输入LSTM编码器中,获取包含主车轨迹隐含状态的32维编码向量;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010631885.0A CN111931902B (zh) | 2020-07-03 | 2020-07-03 | 一种生成对抗网络模型、及利用该生成对抗网络模型的车辆轨迹预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010631885.0A CN111931902B (zh) | 2020-07-03 | 2020-07-03 | 一种生成对抗网络模型、及利用该生成对抗网络模型的车辆轨迹预测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111931902A true CN111931902A (zh) | 2020-11-13 |
CN111931902B CN111931902B (zh) | 2024-05-14 |
Family
ID=73317142
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010631885.0A Active CN111931902B (zh) | 2020-07-03 | 2020-07-03 | 一种生成对抗网络模型、及利用该生成对抗网络模型的车辆轨迹预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111931902B (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112347993A (zh) * | 2020-11-30 | 2021-02-09 | 吉林大学 | 一种基于车辆-无人机协同的高速公路车辆行为和轨迹预测方法 |
CN112465056A (zh) * | 2020-12-09 | 2021-03-09 | 北京航空航天大学 | 一种基于深度生成模型的车辆轨迹数据生成系统 |
CN112465113A (zh) * | 2020-11-24 | 2021-03-09 | 中国人民解放军海军航空大学 | 一种生成式中断航迹接续关联方法 |
CN112633579A (zh) * | 2020-12-24 | 2021-04-09 | 中国科学技术大学 | 一种基于域对抗的交通流迁移预测方法 |
CN112733908A (zh) * | 2020-12-31 | 2021-04-30 | 大连海事大学 | 一种高精度的车辆轨迹多模态预测方法 |
CN113076599A (zh) * | 2021-04-15 | 2021-07-06 | 河南大学 | 一种基于长短时记忆网络的多模态车辆轨迹预测方法 |
CN113178066A (zh) * | 2021-03-17 | 2021-07-27 | 无锡安邦电气股份有限公司 | 一种基于交通大数据的危险预警系统 |
CN113657433A (zh) * | 2021-07-01 | 2021-11-16 | 华南理工大学 | 一种车辆轨迹多模态预测方法 |
CN113902915A (zh) * | 2021-10-12 | 2022-01-07 | 江苏大学 | 一种基于低光照复杂道路场景下的语义分割方法及系统 |
CN114549930A (zh) * | 2022-02-21 | 2022-05-27 | 合肥工业大学 | 一种基于轨迹数据的快速路短时车头间距预测方法 |
CN114547249A (zh) * | 2022-02-24 | 2022-05-27 | 济南融瓴科技发展有限公司 | 一种基于自然语言和视觉特征的车辆检索方法 |
CN114547249B (zh) * | 2022-02-24 | 2024-06-07 | 济南融瓴科技发展有限公司 | 一种基于自然语言和视觉特征的车辆检索方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109872346A (zh) * | 2019-03-11 | 2019-06-11 | 南京邮电大学 | 一种支持循环神经网络对抗学习的目标跟踪方法 |
CN110163439A (zh) * | 2019-05-24 | 2019-08-23 | 长安大学 | 一种基于注意力机制的城市规模出租车轨迹预测方法 |
-
2020
- 2020-07-03 CN CN202010631885.0A patent/CN111931902B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109872346A (zh) * | 2019-03-11 | 2019-06-11 | 南京邮电大学 | 一种支持循环神经网络对抗学习的目标跟踪方法 |
CN110163439A (zh) * | 2019-05-24 | 2019-08-23 | 长安大学 | 一种基于注意力机制的城市规模出租车轨迹预测方法 |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112465113A (zh) * | 2020-11-24 | 2021-03-09 | 中国人民解放军海军航空大学 | 一种生成式中断航迹接续关联方法 |
CN112347993A (zh) * | 2020-11-30 | 2021-02-09 | 吉林大学 | 一种基于车辆-无人机协同的高速公路车辆行为和轨迹预测方法 |
CN112465056B (zh) * | 2020-12-09 | 2022-11-25 | 北京航空航天大学 | 一种基于深度生成模型的车辆轨迹数据生成系统 |
CN112465056A (zh) * | 2020-12-09 | 2021-03-09 | 北京航空航天大学 | 一种基于深度生成模型的车辆轨迹数据生成系统 |
CN112633579A (zh) * | 2020-12-24 | 2021-04-09 | 中国科学技术大学 | 一种基于域对抗的交通流迁移预测方法 |
CN112633579B (zh) * | 2020-12-24 | 2024-01-12 | 中国科学技术大学 | 一种基于域对抗的交通流迁移预测方法 |
CN112733908B (zh) * | 2020-12-31 | 2023-06-23 | 大连海事大学 | 一种高精度的车辆轨迹多模态预测方法 |
CN112733908A (zh) * | 2020-12-31 | 2021-04-30 | 大连海事大学 | 一种高精度的车辆轨迹多模态预测方法 |
CN113178066A (zh) * | 2021-03-17 | 2021-07-27 | 无锡安邦电气股份有限公司 | 一种基于交通大数据的危险预警系统 |
CN113076599A (zh) * | 2021-04-15 | 2021-07-06 | 河南大学 | 一种基于长短时记忆网络的多模态车辆轨迹预测方法 |
CN113657433A (zh) * | 2021-07-01 | 2021-11-16 | 华南理工大学 | 一种车辆轨迹多模态预测方法 |
CN113657433B (zh) * | 2021-07-01 | 2023-07-21 | 华南理工大学 | 一种车辆轨迹多模态预测方法 |
CN113902915A (zh) * | 2021-10-12 | 2022-01-07 | 江苏大学 | 一种基于低光照复杂道路场景下的语义分割方法及系统 |
CN113902915B (zh) * | 2021-10-12 | 2024-06-11 | 江苏大学 | 一种基于低光照复杂道路场景下的语义分割方法及系统 |
CN114549930A (zh) * | 2022-02-21 | 2022-05-27 | 合肥工业大学 | 一种基于轨迹数据的快速路短时车头间距预测方法 |
CN114547249A (zh) * | 2022-02-24 | 2022-05-27 | 济南融瓴科技发展有限公司 | 一种基于自然语言和视觉特征的车辆检索方法 |
CN114547249B (zh) * | 2022-02-24 | 2024-06-07 | 济南融瓴科技发展有限公司 | 一种基于自然语言和视觉特征的车辆检索方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111931902B (zh) | 2024-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111931902A (zh) | 一种生成对抗网络模型、及利用该生成对抗网络模型的车辆轨迹预测方法 | |
CN109733415B (zh) | 一种基于深度强化学习的拟人化自动驾驶跟驰模型 | |
CN113110592B (zh) | 一种无人机避障与路径规划方法 | |
CN111931905B (zh) | 一种图卷积神经网络模型、及利用该模型的车辆轨迹预测方法 | |
CN113954864B (zh) | 一种融合周边车辆交互信息的智能汽车轨迹预测系统及方法 | |
CN112766561B (zh) | 一种基于注意力机制的生成式对抗轨迹预测方法 | |
CN112232490B (zh) | 一种基于视觉的深度模仿强化学习驾驶策略训练方法 | |
Xu et al. | Learning from naturalistic driving data for human-like autonomous highway driving | |
CN112215337A (zh) | 一种基于环境注意力神经网络模型的车辆轨迹预测方法 | |
CN105279555A (zh) | 一种基于进化算法的自适应学习神经网络实现方法 | |
CN113044064B (zh) | 基于元强化学习的车辆自适应的自动驾驶决策方法及系统 | |
CN114170789B (zh) | 基于时空图神经网络的智能网联车换道决策建模方法 | |
Cho et al. | Deep predictive autonomous driving using multi-agent joint trajectory prediction and traffic rules | |
Zhang et al. | A systematic solution of human driving behavior modeling and simulation for automated vehicle studies | |
CN115829171B (zh) | 一种联合时空信息和社交互动特征的行人轨迹预测方法 | |
CN110281949B (zh) | 一种自动驾驶统一分层决策方法 | |
CN114898550B (zh) | 一种行人轨迹预测方法和系统 | |
CN114881339A (zh) | 车辆轨迹预测方法、系统、计算机设备及存储介质 | |
CN113255054A (zh) | 一种基于异构融合特征的强化学习自动驾驶方法 | |
CN111695737A (zh) | 一种基于lstm神经网络的群目标行进趋势预测方法 | |
CN115691134A (zh) | 一种基于对抗生成网络的智能汽车测试场景库构建方法 | |
CN111369053A (zh) | 一种人车交互场景下行人与车辆的轨迹预测方法 | |
CN115293237A (zh) | 一种基于深度学习的车辆轨迹预测方法 | |
CN116382267B (zh) | 一种基于多模态脉冲神经网络的机器人动态避障方法 | |
CN117408406A (zh) | 一种规划耦合的多目标车辆轨迹预测方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |