CN113362491A - 一种车辆轨迹预测及驾驶行为分析方法 - Google Patents
一种车辆轨迹预测及驾驶行为分析方法 Download PDFInfo
- Publication number
- CN113362491A CN113362491A CN202110603385.0A CN202110603385A CN113362491A CN 113362491 A CN113362491 A CN 113362491A CN 202110603385 A CN202110603385 A CN 202110603385A CN 113362491 A CN113362491 A CN 113362491A
- Authority
- CN
- China
- Prior art keywords
- matrix
- graph
- vehicle
- data
- driving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
- G07C5/0808—Diagnosing performance data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于图卷积神经网络的、具有交互感知的车辆驾驶轨迹预测算法,包含一种半全局图数据处理算法、一种基于M‑product的交互感知图卷积神经网络及一种对预测轨迹进行驾驶行为分析的算法。车辆轨迹数据被组织成由特征矩阵和邻接矩阵组成的图数据格式。处理后的轨迹数据被送入双并行网络中,子网络分别输出不同的embedding,拼接后输入后续的基于GRU的编码器‑解码器网络中,用于时序数据的特征挖掘并输出最终的预测轨迹。本发明能更高效的提取驾驶场景多车之间的时空依赖特征,有更高的车辆轨迹预测精度,并解决了图卷积网络中的数据构造问题,以及驾驶行为分析中对场景背景特征的考虑不足问题。
Description
技术领域
本发明涉及一种车辆轨迹预测及驾驶行为分析方法,属于智能交通和人工智能技术领域。
背景技术
自动驾驶技术的研究和应用早在20世纪70年代便开始了,自动驾驶系统是一个集成了控制技术、感知算法、路径规划、空间建模与定位等多种技术为一体的复杂系统。过去十几年里,随着深度学习技术的发展和计算机计算性能的提高,自动驾驶相关技术也得到了快速发展。但在今天,想要普及自动驾驶技术还存在诸多障碍,比如如何保障足够的安全。其中,在为车辆的安全行驶辅助、路径规划与决策、周边环境安全预警提供必要的信息这一环节,车辆轨迹的预测及其行为分析极为重要。传统的轨迹预测算法是基于运动学模型来实现的。这些模型基于物理规律来描述车辆的行车轨迹,但物理模型过于简化复杂的、带有随机性的驾驶场景。后来随着深度学习的发展,人们开始使用循环神经网络比如LSTM来预测车辆的轨迹,但这类模型仅仅考虑了轨迹的时间特征而没有考虑车与车之间的交互影响。人们后来通过卷积网络实现对空间交互影响的特征提取,但需要对道路进行网格化,直接对固定的网格进行卷积,无法灵活的描述车与车之间的动态关系。图模型的引入解决了如何建模驾驶场景的问题,将车辆建模为图中的节点,车与车之间的关系建模为图模型的连接边。但依然存在节点与边动态特性无法深度提取的问题。因此本发明提出基于M-product的图卷积网络,可以高效的对动态图这种三维数据进行时空特征提取,解决了传统模型时空特征挖掘能力不足的问题。
另外,引入图模型后,驾驶场景中的车辆被看作节点,由于道路车辆数量庞大,表示节点关系的邻接矩阵尺寸庞大非常稀疏,因此如何合理改善图数据的表示也是本专利的创新点。因此本文提出了半全局算法,通过累计重置的方法,让图数据在一段时间内具有累积效应,又解决了全局累积导致的邻接矩阵尺寸过大问题。对于预测的轨迹,其下游任务有很多,其中驾驶行为分析便是一种常见任务。传统的驾驶行为分析关注目标车辆本身的特性,比如速度、换道率等行为,但在不同驾驶场景中,车辆的行为会受到环境影响,同一行为会有不同的表现,因此利用图模型的特点,即考虑周边车辆影响的因素来分析驾驶行为会比单一关注目标车辆本身更有效。因此本发明基于前述模型预测的轨迹结果,进一步利用图模型的特点,挖掘充分刻画驾驶行为的特征,节点度变化率,来实现更有效的驾驶行为分析。最后对于驾驶行为的模糊性,随机性,以及分类标准的主观性,通过引入模糊集理论,进一步对提取的关键特征进行模糊分类,构建激烈驾驶、正常行驶、保守行驶等三类模糊集及其相关隶属度函数。
发明内容
为解决上述问题,本发明提出一种基于图卷积的交互感知车辆轨迹预测模型及驾驶行为分析算法。本发明设计的图卷积神经网络模型能够更好地捕捉到车辆之间的时空依赖以及动态变化特征。在数据处理部分提出半全局图解决传统图模型数据中邻接矩阵稀疏的问题。并结合图模型特点构型驾驶行为分析特征,引入模糊理论对行为特征进行模糊分类。
本发明通过以下技术方案实现,包括以下步骤:
步骤1:一种图卷积神经网络模型的输入数据处理算法:包括描述驾驶场景所有车辆的历史轨迹、描述交互特征的图模型邻接矩阵以及一种半全局图数据生成算法;
步骤2:图卷积神经网络模型的结构设计;包括三个部分:第一部分为基于半全局图的图卷积神经网络,简写为SGGCN,其由图操作层和卷积层组成,能够有效提取车与车之间的交互关系;第二部分为基于M-product方法的变体图卷积神经网络,简写为MGCN,能够直接对三维张量进行图卷积操作,该三维张量为描述动态驾驶场景的动态图。该网络能够更加高效的提取车辆之间的时间、空间依赖特征。第一部分与第二部分的网络输出的中间特征被拼接为总的时空特征,输入第三部分的网络;第三部分为基于GRU的编码器解码器网络,其输入为总的时空特征,该网络进一步对时空特征进行解编码提取时间特征,时空特征最终被解码为预测的车辆轨迹;
步骤3:训练图卷积神经网络模型;包括设置相应的训练数据和训练环境对模型进行训练;
步骤4,基于训练完成后的模型进行车辆轨迹预测;
步骤5,基于车辆预测轨迹构建驾驶行为关键描述特征;
步骤6,基于行为描述特征进行驾驶行为模糊分类。
所述步骤1中的输入数据具体定义如下:
(1)被预测驾驶场景所有车辆的历史轨迹与预测轨迹:
(2)描述节点关系的邻接矩阵:
用无向图G={V,E}描述驾驶场景,节点集合V中的每个节点代表驾驶场景中的每辆车,考虑到每辆车在不同的时间步有不同的状态,节点集合V表示为 n为驾驶场景中的半全局总车辆数,τ为历史时间步,特征向量代表第i辆车在时间t的坐标;
通过定义两种邻接矩阵,分别用于两个子网络SGGCN与MGCN;
该式表示节点i与节点j在时间步t的欧式距离足够近时,对应边权值为1,否则为0;
连续邻接矩阵的元素级定义为:
(3)动态图:具有张量形式的邻接矩阵不同于一般的邻接矩阵,增加了时间维度;与轨迹数据共同描述动态的驾驶场景,即车辆节点的特征动态化和车辆之间的交互关系动态化描述;G={V,E}中节点集合V的数据表示形式为特征矩阵边集合E的数据表现形式为邻接矩阵称由和共同描述的图模型G为动态图;
(4)半全局图生成算法:
半全局图生成方法以巧妙的累积重置的策略解决了全局图的尺寸过大问题和局部图不具有时间步对应关系的问题,全局图指设置描述图模型边关系的邻接矩阵时,将矩阵尺寸设为总历史场景中出现过的总累积车辆数;局部图则将矩阵尺寸设为每个时间步中最多可能出现的车辆数;半全局图则是设一个介于两者之间的中间值,当历史出现车辆数累积达到该尺寸时,便重置累积。
所述步骤2中基于M-product方法的变体图卷积神经网络能够处理三维张量,能够更高效的提取驾驶场景中的车辆动态交互性和时间依赖特征;
M-product为一种张量之间的乘法方式,两个三维张量的M-product的计算结果仍是一个三维张量,其定义如下:
引入M-product方法的单层图卷积级定义为其中邻接矩阵和特征矩阵为变换形状后的数据,为权重张量,网络中使用的是双层的基于M-product的图卷积网络,其形式为 M被设为下三角带状矩阵,的时间切片便是邻接矩阵的线性组合,其中b是M的“带宽”,M的元素级计算公式为该定义赋予前b个时间步指数权重,时间越近权重越大,时间越远权重则以指数衰减;
邻接矩阵和特征矩阵,通过这里的基于M-product的双层图卷积变体网络MGCN后,会生成中间变量M-embedding,用于后续的特征提取。
所述步骤3中训练数据设置为:
训练优化器Adam,学习率为0.001,批数据大小batch size=64,损失函数 其中tf是预测时间步,Ypred和Ytrue分别是预测的坐标和真实的坐标;使用公开数据集NGSIM和Apolloscape的真实车辆轨迹数据作为模型训练的数据集,并将其按一定比例分为训练集、验证集与测试集;使用PyTorch内置的Dataloader对象封装数据,智能迭代输出对应格式的数据张量到模型中进行训练。
所述步骤5中对车辆预测轨迹结果构建驾驶行为关键描述特征,轨迹预测模型输出的预测轨迹作为特征矩阵构建描述车辆邻近关系的邻接矩阵,构造的邻接矩阵用于驾驶行为分析,目的在于提取目标车辆周边邻近车辆的变化特征,基于轨迹预测模型训练所需的构造方法,进一步构造拉普拉斯矩阵
δ的第j行的非零项表示第j个车辆发现了一个新的邻近车辆,然后将其加入当前时间步的拉普拉斯矩阵中;
所述步骤6基于行为特征进行驾驶行为模糊分类;定义一个基于规则的驾驶行为识别算法,从预测轨迹中提取驾驶场景的特征向量,利用关键特征节点度变化率描述驾驶行为,充分考虑在具有驾驶场景背景下的行为特征,并且由于驾驶行为的模糊行,随机性,以及分类标准的主观性,引入了模糊集理论,进一步对提取的关键特征进行模糊分类,构建激烈驾驶、正常行驶、保守行驶等三类模糊集,θ′用隶属度函数u描述其属于这些模糊集的程度;选取高斯隶属度函数,并基于启发式地预先确定的阈值参数λ1和λ2。
本发明的有益效果在于:
(1)本发明提出的基于图卷积神经网络的交互感知车辆轨迹预测算法能够同时预测驾驶场景中多辆车的轨迹坐标,解决了传统物理模型与基于单纯RNN神经网络模型无法提取车与车之间交互依赖特征的问题;
(2)本发明提出的基于M-product方法的图卷积神经网络弥补了相关模型无法深度捕获驾驶场景动态性特征的缺陷;
(3)本发明提出的半全局数据生成算法以巧妙的累积重置策略解决了全局图尺寸过大问题和局部图不具有时间步对应关系的问题。优化后的数据能够提高模型的整体预测效果;
(4)本发明构建的基于图模型的车辆行为特征,充分考虑了目标车辆与环境的关系,更加全面的刻画驾驶行为。并引入模糊集描述驾驶行为的模糊性,随机性,以及分类标准的主观性;
(5)本发明给出了具体的神经网络模型训练方法和相关超参数,以及给出了网络内部结构细节。保证了模型训练的效率和精度,并能有效避免模型训练出现的欠拟合与过拟合。
附图说明
图1为本发明结构图。
图2为基于半全局图的图卷积神经网络。
图3为基于M-product的变体图卷积神经网络
图4为驾驶行为模糊集隶属度函数。
具体实施方式
下面结合附图1至4对本发明的优选实施例作进一步说明:
Step1:模型输入数据处理
在模型训练前,需要把数据处理成需要的形式。轨迹预测的轨迹数据输入经过半全局图算法处理,生成邻接矩阵和特征矩阵,作为模型的输入。下面分别介绍。
(1)轨迹数据:
原始轨迹数据是二维表格,每行是一个数据采样点,包含时间戳、车辆标识序号、局部坐标等信息,根据时间切片(每个片段的长度为历史步长加预测步长)。其中,驾驶场景的车辆历史轨迹由τ个历史时间步的车辆轨迹数据组成:其中每个时间步的轨迹数据为其由驾驶场景中的n辆车的局部坐标x,y组成。驾驶场景的预测轨迹由T个预测时间步的轨迹数据组成:每个时间步的轨迹数据格式与历史轨迹数据相同。
这里由于数据采样频率为5Hz,的历史轨迹时长为3s,故有15个历史时间步;预测轨迹时长5s,25个预测时间步。即τ=15,T=25,每个数据片段总步长为40。n为累积出现历史车辆数,这里n=500。
(2)半全局图算法:
在将轨迹数据处理成需要的邻接矩阵和特征矩阵前,需要对数据进行半全局图处理。先利用半全局图改变特征矩阵中车辆标识序号的值,再根据特征矩阵生成邻接矩阵。半全局图生成方法以巧妙的累积重置的策略解决了全局图的尺寸过大问题和局部图不具有时间步对应关系的问题。
全局图指设置描述图模型边关系的邻接矩阵时,将矩阵尺寸设为总历史场景中出现过的总累积车辆数。这样虽然使不同时间步下的邻接矩阵的下标与车辆标识序号一一对应,能够解决丢失动态特征的问题。但因为总历史累积车辆数过大,因此邻接矩阵的尺寸非常大,某一时刻的数据在矩阵中只占非常小的一部分,邻接矩阵因此变得非常稀疏。
局部图则将矩阵尺寸设为每个时间步中最多可能出现的车辆数。这样的优点是邻接矩阵尺寸很小,计算速度快。每一个时间步中邻接矩阵也和全局图中一样,只出现当前时刻的相关车辆的信息。但因为车辆标识序号与邻接矩阵下标的对应关系在每一时刻都被重置,时间步与时间步之间没有一一对应关系,没有记忆效应,一定程度上损失了动态特征。
半全局图则是设一个介于两者之间的中间值,当历史出现车辆数累积达到该尺寸时 (这里设最大累积车辆数max_N=500),便重置累积。这样既能保证在一段时间内的动态特征不被丢失,又能保证邻接矩阵的尺寸不至于过大而变得稀疏。
(3)邻接矩阵与特征矩阵:
在利用半全局图的方法处理好的数据成想要的格式后,实际上处理好的轨迹数据便是包含特征矩阵的特征张量。对于无向图G={V,E}描述的驾驶场景,节点集合V中的每个节点代表驾驶场景中的每辆车,考虑到每辆车在不同的时间步有不同的状态,节点集合V表示为n为驾驶场景中的半全局总车辆数,τ为历史时间步,特征向量代表第i辆车在时间t的坐标。当车辆之间的距离足够近时,代表车辆交互关系的边就应被连接上。因此边集合E表示为其中d是欧式距离函数,该集合中两辆车之间的距离小于阈值Dclose。这里Dclose=10m. 在前面生成好的轨迹数据的基础上(特征矩阵),利用如下定义计算两种邻接矩阵。离散邻接矩阵刻画车与车之间是否相邻,用于子网络SGGCN;连续邻接矩阵刻画相邻的车之间具体有多近,用于子网络MGCN。
该式表示节点i与节点j在时间步t的欧式距离足够近时,对应边权值为1,否则为0。
连续邻接矩阵的元素级定义为:
Step2:构建模型
(1)模型整体结构:
在前面数据处理部分将输入的轨迹数据处理成想要的轨迹数据后,数据将输入到由后面的三个子网络中。数据首先分别进入子网络SGGCN和MGCN,分别产生中间特征SG-embedding和 M-embedding,两个特征进行拼接生成总的中间特征SGM-embedding。SGM-embedding输入由 GRU构成的编解码器网络中进行最后的轨迹预测。所以总的网络结构包括三个部分:第一部分为基于半全局图的图卷积神经网络,其由图操作层和卷积层组成,能够有效提取车与车之间的交互关系;第二部分为基于M-product方法的变体图卷积神经网络,其能够直接对三维张量进行图卷积操作。该网络能够更加高效的提取车辆之间的时间、空间依赖特征。前两个部分描述的网络分别输出的中间特征被拼接为总的时空特征,用于后面第三部分网络的输入;第三部分为基于GRU的编码器解码器网络,其输入为总的时空特征,该网络进一步对时空特征进行解编码提取时间特征,时空特征最终被解码为预测的车辆轨迹。
(2)SGGCN结构:
基于半全局图的图卷积神经网络用于以图操作和卷积层结合的方式提取驾驶场景中车与车之间的交互关系,用以生成中间特征。首先输入特征矩阵经过2D卷积层(卷积核尺寸为1x1)来扩充特征通道,使输入的特征通道c=2变成c=64,因此卷积层的输出数据fconv的尺寸为(n×τ×64)。
而邻接矩阵会被归一化为固定图的形式其中度矩阵Λ的计算方式为设α=0.001以防止中出现空行。另外再初始化和Gfixed尺寸相同的另一个可训练图Gtrain用于扩增图操作层的学习参数。因此固定图和可训练图共同作用在前面经过卷积层扩充特征通道的fconv上用于生成一个图卷积特征fgraph,公式表示为fgraph=(Gfixed+Gtrain)fconv。图操作层不改变输出数据的形状,因此图卷积特征fgraph的形状还是(n×τ×c)。
后续再把图卷积特征输入卷积层进一步提取时间依赖。这种图操作加卷积层的模组在该网络中有三组,每组结构相同。最终输出的中间特征会被用于后续的特征提取,称这个中间特征为SG-embedding。具体网络结构见图2。
(3)MGCN结构:
基于M-product方法的变体图卷积神经网络能够处理三维张量,能够更高效的提取驾驶场景中的车辆动态交互性和时间依赖特征。
M-product为一种两个张量之间的乘法方式,两个三维张量的M-product的乘积结果还是一个三维张量,其定义如下:
引入M-product方法的单层图卷积级定义为其中邻接矩阵和特征矩阵为变换形状后的数据, 为权重张量。的网络中使用的是双层的基于M-product的图卷积网络,其形式为原始的激活函数为σ为sigmoid函数。M被设为下三角带状矩阵,这样的时间切片便是邻接矩阵的线性组合,其中b是M的“带宽”。M的元素级计算公式为该定义赋予前b个时间步指数权重,时间越近权重越大,时间越远权重则以指数衰减而越小。
(4)解码器编码器结构:
基于GRU的时序数据特征挖掘的解码器编码器网络进一步对前面两种图卷积网络输出的中间变量进行特征提取。SG-embedding和M-embedding的尺寸都为(N×64×T),在特征维度进行拼接,生成总的中间特征SGM-embedding,其形状为(N×128×T)。SGM-embedding输入基于GRU的编码器解码器网络进行解编码,将空间特征和时间特征进行最后的融合提取,生成预测轨迹数据。编码器和解码器都是由双层的门限循环神经单元组成(Gated Recurrent Unit,GRU),每个GRU中的隐藏层单元数为输出维度的r倍(r×2×n),r用以提高模型的表征能力,n是车辆数,2是x,y坐标。这里的设置是r=30。编码器的输入维度为128,与输入的SGM-embedding的特征维度对齐。
Step3:模型训练:
(1)训练数据,训练数据以5Hz的频率采样,历史轨迹15时间步,时间跨度3s;预测轨迹25时间步,时间跨度5s;数据集中分别包含非常畅通、正常、拥挤三种路况,分别从三种路况中提取20%作为验证集。实际代码中的轨迹特征数据形状为(B×C×T×N),B为 batchsize,C为特征通道数(这里为2,x,y坐标),T为时间步长(历史步长加预测步长 15+25),N为车辆数(N=500)。邻接矩阵数据形状(B×N×N),与特征矩阵形状说明一致;
(2)训练环境,训练环境为华为云modelarts AI开发平台,3.0GHz Intel(R)Xeon(R)Gold 6151 CPU,64GiB内存,显卡NVIDIA V100,显存32GB。开发语言Python,深度学习框架 PyTorch。训练优化器Adam,学习率为0.001,批数据大小batch size=64,损失函数其中tf是预测时间步,Ypred和Ytrue分别是预测的坐标和真实的坐标。使用公开数据集NGSIM和Apolloscape的真实车辆轨迹数据作为模型训练的数据集,并将其按一定比例分为训练集、验证集与测试集;使用PyTorch内置的Dataloader对象封装数据,智能迭代输出对应格式的数据张量到模型中进行训练;
(3)训练轮次根据实际需求和训练效果做实时调整,每经过一轮训练,保存一次模型参数文件;
(4)模型运行过程,模型整体结构如图1所示。特征数据的特征通道为2,分别进入SGGCN 和MGCN后,特征通道分别被扩充至64维度,两个64维度的被拼接成128维的中间特征SGM-embedding后输入后续的编解码器中。SGGCN的内部细节如图2所示,首先通过batchnormalize层归一化后进入卷积核为(1x1)的卷积层,将特征通道数从2扩充至64,增强特征表达能力。然后进入图操作层经过图操作后形状保持不变,继续进入由batch normalize层+2D卷积层+batch normalize的模组,其中卷积层的卷积核为(1×3),用以沿着时间维卷积,提取时间依赖特征。这样的模组有相同的三组。同时,模组的入口与出口加入残差连接,来避免梯度消失或者梯度爆炸问题。MGCN为双层的基于M-product的变体图卷积神经网络,输出通道数也为64.最后的基于GRU的解码器编码器网络,分别有双层GRU组成,隐藏单元数为(30×2×500).SGM-embedding以时间步分割后迭代进入解码器,编码器则以预测时间步长度输出特征为2的预测轨迹。
Step4:预测轨迹:
Step5:对预测轨迹构建行为特征:
其中δδT是一个扰动矩阵,是一个稀疏矩阵,其‖‖δ‖0<<N,N代表在时间步t的总车辆数。δ的第j行的非零项表示第j个车辆发现了一个新的邻近车辆,然后将其加入当前时间步的拉普拉斯矩阵中。具体实现中,拉普拉斯矩阵一开始就设为固定的大小并初始化为 0,后续更新只是在0值处填补新的值。这个固定大小为N=500,当超出矩阵最大尺寸时,便重置拉普拉斯矩阵。
现在,已知第i辆车的度(θi≤n)可以通过拉普拉斯矩阵的对角线元素计算得出,度θi衡量了车辆vi到时间t为止,与之有边连接的邻近车辆数。由于是通过简单地在中添加一行和一列而形成的,因此每个道路车辆的的度会单调地增加。把度θi的增加率表示为θ′i。直观的理解,具有激烈驾驶行为的、超速的车辆与正常行驶的车辆相比,会接触更多的邻近车辆,因此θ′i会更大。相反的,谨慎驾驶的车辆在比如交叉路口会尽可能的速度减慢,因此周边的车辆数变化不会很明显。因此利用θi的变化率能够全面的表征车辆的行为。为了确保较慢的车辆(保守型)不会错误地将更快的车辆标记为新周边车辆,设置了一个条件,当且仅当周边观测车辆的速度低于目标车辆时才标记为新出现邻近车辆。因此,预测第i辆车的驾驶行为有以下几个步骤:
Step6:基于行为特征进行驾驶行为模糊分类:
定义了一个基于规则的驾驶行为识别算法。从预测轨迹中提取驾驶场景的特征向量,利用关键特征节点度变化率描述驾驶行为,充分考虑在具有驾驶场景背景下的行为特征。并且由于驾驶行为的模糊性,随机性,以及分类标准的主观性,引入了模糊集理论,进一步对提取的关键特征进行模糊分类,构建激烈驾驶、正常行驶、保守行驶等三类模糊集,θ′用隶属度函数u描述其属于这些模糊集的程度。选取高斯隶属度函数,并基于启发式地预先确定的阈值参数λ1和λ2,具体在apollo数据集上,λ1=-0.05,λ2=0.05。注意,由于道路车辆行为在每个时间步长不会立即改变,的方法预测跨越几帧的时间段的驾驶行为。
三个模糊集的统一形式为其中高斯模糊隶属函数的形式为:函数曲线的宽度由k(k>0)决定,曲线的中心位置由α决定。具体的,三个模糊集的隶属度函数的参数分别为α1=-0.1,α2= 0,α3=0.1,k=2000。
构建好模糊集及其隶属度函数后,便可以利用模糊分类对驾驶行为进行分类了。上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明,它们并非用以限制本发明的保护范围,凡未脱离本发明技术所创的等效方式或变更均应包含在本发明的保护范围之内。
Claims (6)
1.一种车辆轨迹预测及驾驶行为分析方法,其特征在于,包括以下步骤:
步骤1:一种图卷积神经网络模型的输入数据处理算法:包括描述驾驶场景所有车辆的历史轨迹、描述交互特征的图模型邻接矩阵以及一种半全局图数据生成算法;
步骤2:图卷积神经网络模型的结构设计;包括三个部分:第一部分为基于半全局图的图卷积神经网络,简写为SGGCN,其由图操作层和卷积层组成,能够有效提取车与车之间的交互关系;第二部分为基于M-product方法的变体图卷积神经网络,简写为MGCN,能够直接对三维张量进行图卷积操作,该三维张量为描述动态驾驶场景的动态图;图卷积神经网络能够更加高效的提取车辆之间的时间、空间依赖特征;第一部分与第二部分的网络输出的中间特征被拼接为总的时空特征,输入第三部分的网络;第三部分为基于GRU的编码器解码器网络,其输入为总的时空特征,该网络进一步对时空特征进行解编码提取时间特征,时空特征最终被解码为预测的车辆轨迹;
步骤3:训练图卷积神经网络模型;包括设置相应的训练数据和训练环境对模型进行训练;
步骤4,基于训练完成后的模型进行车辆轨迹预测;
步骤5,基于车辆预测轨迹构建驾驶行为关键描述特征;
步骤6,基于行为描述特征进行驾驶行为模糊分类。
2.根据权利要求1所述的一种车辆轨迹预测及驾驶行为分析方法,其特征在于,所述步骤1中的输入数据具体定义如下:
(1)被预测驾驶场景所有车辆的历史轨迹与预测轨迹:
(2)描述节点关系的邻接矩阵:
用无向图G={V,E}描述驾驶场景,节点集合V中的每个节点代表驾驶场景中的每辆车,考虑到每辆车在不同的时间步有不同的状态,节点集合V表示为 n为驾驶场景中的半全局总车辆数,τ为历史时间步,特征向量代表第i辆车在时间t的坐标;
通过定义两种邻接矩阵,分别用于两个子网络SGGCN与MGCN;
该式表示节点i与节点j在时间步t的欧式距离足够近时,对应边权值为1,否则为0;
连续邻接矩阵的元素级定义为:
(3)动态图:具有张量形式的邻接矩阵不同于一般的邻接矩阵,增加了时间维度;与轨迹数据共同描述动态的驾驶场景,即车辆节点的特征动态化和车辆之间的交互关系动态化描述;G={V,E}中节点集合V的数据表示形式为特征矩阵边集合E的数据表现形式为邻接矩阵称由和共同描述的图模型G为动态图;
(4)半全局图生成算法:
半全局图生成方法以巧妙的累积重置的策略解决了全局图的尺寸过大问题和局部图不具有时间步对应关系的问题,全局图指设置描述图模型边关系的邻接矩阵时,将矩阵尺寸设为总历史场景中出现过的总累积车辆数;局部图则将矩阵尺寸设为每个时间步中最多可能出现的车辆数;半全局图则是设一个介于两者之间的中间值,当历史出现车辆数累积达到该尺寸时,便重置累积。
3.根据权利要求1所述的一种车辆轨迹预测及驾驶行为分析方法,其特征在于,所述步骤2中基于M-product方法的变体图卷积神经网络能够处理三维张量,能够更高效的提取驾驶场景中的车辆动态交互性和时间依赖特征;
M-product为一种张量之间的乘法方式,两个三维张量的M-product的计算结果仍是一个三维张量,其定义如下:
引入M-product方法的单层图卷积级定义为其中邻接矩阵和特征矩阵为变换形状后的数据,为权重张量,网络中使用的是双层的基于M-product的图卷积网络,其形式为 M被设为下三角带状矩阵,的时间切片便是邻接矩阵的线性组合,其中b是M的“带宽”,M的元素级计算公式为该定义赋予前b个时间步指数权重,时间越近权重越大,时间越远权重则以指数衰减;
邻接矩阵和特征矩阵,通过这里的基于M-product的双层图卷积变体网络MGCN后,会生成中间变量M-embedding,用于后续的特征提取。
5.根据权利要求1所述的一种车辆轨迹预测及驾驶行为分析方法,其特征在于,所述步骤5中对车辆预测轨迹结果构建驾驶行为关键描述特征,轨迹预测模型输出的预测轨迹作为特征矩阵构建描述车辆邻近关系的邻接矩阵,构造的邻接矩阵用于驾驶行为分析,目的在于提取目标车辆周边邻近车辆的变化特征,基于轨迹预测模型训练所需的构造方法,进一步构造拉普拉斯矩阵其中的元素级定义为
δ的第j行的非零项表示第j个车辆发现了一个新的邻近车辆,然后将其加入当前时间步的拉普拉斯矩阵中;
6.根据权利要求1所述的一种车辆轨迹预测及驾驶行为分析方法,其特征在于,所述步骤6基于行为特征进行驾驶行为模糊分类;定义一个基于规则的驾驶行为识别算法,从预测轨迹中提取驾驶场景的特征向量,利用关键特征节点度变化率描述驾驶行为,充分考虑在具有驾驶场景背景下的行为特征,并且由于驾驶行为的模糊行,随机性,以及分类标准的主观性,引入了模糊集理论,进一步对提取的关键特征进行模糊分类,构建激烈驾驶、正常行驶、保守行驶等三类模糊集,θ′用隶属度函数u描述其属于这些模糊集的程度;选取高斯隶属度函数,并基于启发式地预先确定的阈值参数λ1和λ2。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110603385.0A CN113362491B (zh) | 2021-05-31 | 2021-05-31 | 一种车辆轨迹预测及驾驶行为分析方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110603385.0A CN113362491B (zh) | 2021-05-31 | 2021-05-31 | 一种车辆轨迹预测及驾驶行为分析方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113362491A true CN113362491A (zh) | 2021-09-07 |
CN113362491B CN113362491B (zh) | 2022-05-17 |
Family
ID=77530637
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110603385.0A Active CN113362491B (zh) | 2021-05-31 | 2021-05-31 | 一种车辆轨迹预测及驾驶行为分析方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113362491B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113822419A (zh) * | 2021-09-26 | 2021-12-21 | 广东技术师范大学 | 一种基于结构信息的自监督图表示学习运行方法 |
CN113954864A (zh) * | 2021-09-22 | 2022-01-21 | 江苏大学 | 一种融合周边车辆交互信息的智能汽车轨迹预测系统及方法 |
CN114492995A (zh) * | 2022-01-26 | 2022-05-13 | 湖南大学 | 基于动态图卷积网络的联邦学习私家车速度预测方法 |
CN114627644A (zh) * | 2022-03-02 | 2022-06-14 | 北京航空航天大学 | 基于图卷积网络和门控循环网络的交叉口车迹预测方法 |
CN114694379A (zh) * | 2022-03-29 | 2022-07-01 | 中山大学 | 一种基于自适应动态图卷积的交通流预测方法及系统 |
CN114926823A (zh) * | 2022-05-07 | 2022-08-19 | 西南交通大学 | 基于wgcn的车辆驾驶行为预测方法 |
CN116959260A (zh) * | 2023-09-20 | 2023-10-27 | 东南大学 | 一种基于图神经网络的多车辆驾驶行为预测方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150016669A1 (en) * | 2013-07-15 | 2015-01-15 | Digitalglobe, Inc. | Automated remote car counting |
US20190384303A1 (en) * | 2018-06-19 | 2019-12-19 | Nvidia Corporation | Behavior-guided path planning in autonomous machine applications |
CN111275969A (zh) * | 2020-02-15 | 2020-06-12 | 湖南大学 | 一种基于道路环境智能识别的车辆轨迹填充方法 |
CN111931905A (zh) * | 2020-07-13 | 2020-11-13 | 江苏大学 | 一种图卷积神经网络模型、及利用该模型的车辆轨迹预测方法 |
US20210004012A1 (en) * | 2019-07-05 | 2021-01-07 | Uatc, Llc | Goal-Directed Occupancy Prediction for Autonomous Driving |
CN112212874A (zh) * | 2020-11-09 | 2021-01-12 | 福建牧月科技有限公司 | 车辆轨迹预测方法、装置、电子设备及计算机可读介质 |
CN112215337A (zh) * | 2020-09-30 | 2021-01-12 | 江苏大学 | 一种基于环境注意力神经网络模型的车辆轨迹预测方法 |
-
2021
- 2021-05-31 CN CN202110603385.0A patent/CN113362491B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150016669A1 (en) * | 2013-07-15 | 2015-01-15 | Digitalglobe, Inc. | Automated remote car counting |
US20190384303A1 (en) * | 2018-06-19 | 2019-12-19 | Nvidia Corporation | Behavior-guided path planning in autonomous machine applications |
US20210004012A1 (en) * | 2019-07-05 | 2021-01-07 | Uatc, Llc | Goal-Directed Occupancy Prediction for Autonomous Driving |
CN111275969A (zh) * | 2020-02-15 | 2020-06-12 | 湖南大学 | 一种基于道路环境智能识别的车辆轨迹填充方法 |
CN111931905A (zh) * | 2020-07-13 | 2020-11-13 | 江苏大学 | 一种图卷积神经网络模型、及利用该模型的车辆轨迹预测方法 |
CN112215337A (zh) * | 2020-09-30 | 2021-01-12 | 江苏大学 | 一种基于环境注意力神经网络模型的车辆轨迹预测方法 |
CN112212874A (zh) * | 2020-11-09 | 2021-01-12 | 福建牧月科技有限公司 | 车辆轨迹预测方法、装置、电子设备及计算机可读介质 |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113954864A (zh) * | 2021-09-22 | 2022-01-21 | 江苏大学 | 一种融合周边车辆交互信息的智能汽车轨迹预测系统及方法 |
CN113954864B (zh) * | 2021-09-22 | 2024-05-14 | 江苏大学 | 一种融合周边车辆交互信息的智能汽车轨迹预测系统及方法 |
CN113822419A (zh) * | 2021-09-26 | 2021-12-21 | 广东技术师范大学 | 一种基于结构信息的自监督图表示学习运行方法 |
CN113822419B (zh) * | 2021-09-26 | 2023-08-01 | 广东技术师范大学 | 一种基于结构信息的自监督图表示学习运行方法 |
CN114492995A (zh) * | 2022-01-26 | 2022-05-13 | 湖南大学 | 基于动态图卷积网络的联邦学习私家车速度预测方法 |
CN114492995B (zh) * | 2022-01-26 | 2024-05-24 | 湖南大学 | 基于动态图卷积网络的联邦学习私家车速度预测方法 |
CN114627644A (zh) * | 2022-03-02 | 2022-06-14 | 北京航空航天大学 | 基于图卷积网络和门控循环网络的交叉口车迹预测方法 |
CN114694379A (zh) * | 2022-03-29 | 2022-07-01 | 中山大学 | 一种基于自适应动态图卷积的交通流预测方法及系统 |
CN114694379B (zh) * | 2022-03-29 | 2024-05-03 | 中山大学 | 一种基于自适应动态图卷积的交通流预测方法及系统 |
CN114926823A (zh) * | 2022-05-07 | 2022-08-19 | 西南交通大学 | 基于wgcn的车辆驾驶行为预测方法 |
CN116959260A (zh) * | 2023-09-20 | 2023-10-27 | 东南大学 | 一种基于图神经网络的多车辆驾驶行为预测方法 |
CN116959260B (zh) * | 2023-09-20 | 2023-12-05 | 东南大学 | 一种基于图神经网络的多车辆驾驶行为预测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113362491B (zh) | 2022-05-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113362491B (zh) | 一种车辆轨迹预测及驾驶行为分析方法 | |
Sheng et al. | Graph-based spatial-temporal convolutional network for vehicle trajectory prediction in autonomous driving | |
CN109697852B (zh) | 基于时序交通事件的城市道路拥堵程度预测方法 | |
Li et al. | Real-time crash risk prediction on arterials based on LSTM-CNN | |
Nguyen et al. | Deep learning methods in transportation domain: a review | |
CN110175671B (zh) | 神经网络的构建方法、图像处理方法及装置 | |
Mousavi et al. | Traffic light control using deep policy‐gradient and value‐function‐based reinforcement learning | |
CN109887282B (zh) | 一种基于层级时序图卷积网络的路网交通流预测方法 | |
CN113486726B (zh) | 一种基于改进卷积神经网络的轨道交通障碍物检测方法 | |
US20220215227A1 (en) | Neural Architecture Search Method, Image Processing Method And Apparatus, And Storage Medium | |
CN112215337A (zh) | 一种基于环境注意力神经网络模型的车辆轨迹预测方法 | |
US11256964B2 (en) | Recursive multi-fidelity behavior prediction | |
CN112487954B (zh) | 一种面向平面交叉口的行人过街行为预测方法 | |
US20220301173A1 (en) | Method and system for graph-based panoptic segmentation | |
Katariya et al. | Deeptrack: Lightweight deep learning for vehicle trajectory prediction in highways | |
CN110281949B (zh) | 一种自动驾驶统一分层决策方法 | |
CN113537462A (zh) | 数据处理方法、神经网络的量化方法及相关装置 | |
CN112464930A (zh) | 目标检测网络构建方法、目标检测方法、装置和存储介质 | |
CN111931904A (zh) | 神经网络的构建方法和装置 | |
Tang et al. | Trajectory prediction for autonomous driving based on multiscale spatial‐temporal graph | |
Shinde et al. | Smart traffic control system using YOLO | |
CN117765480B (zh) | 一种道路沿线野生动物迁徙预警方法及系统 | |
CN115797629A (zh) | 基于检测增强和多阶段边界框特征细化的实例分割方法 | |
Geng et al. | Dynamic-learning spatial-temporal Transformer network for vehicular trajectory prediction at urban intersections | |
Hegde et al. | Vehicle trajectory prediction using gan |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |