CN116853272A - 一种融合复杂网络和图Transformer的自动驾驶车辆行为预测方法及系统 - Google Patents

一种融合复杂网络和图Transformer的自动驾驶车辆行为预测方法及系统 Download PDF

Info

Publication number
CN116853272A
CN116853272A CN202310850026.4A CN202310850026A CN116853272A CN 116853272 A CN116853272 A CN 116853272A CN 202310850026 A CN202310850026 A CN 202310850026A CN 116853272 A CN116853272 A CN 116853272A
Authority
CN
China
Prior art keywords
graph
node
data
model
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310850026.4A
Other languages
English (en)
Inventor
刘擎超
王林强
赵晶娅
蔡英凤
王海
陈龙
熊晓夏
刘泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University
Original Assignee
Jiangsu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University filed Critical Jiangsu University
Priority to CN202310850026.4A priority Critical patent/CN116853272A/zh
Publication of CN116853272A publication Critical patent/CN116853272A/zh
Priority to CN202410176460.3A priority patent/CN118025203B/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097—Predicting future conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种融合复杂网络和图Transformer的自动驾驶车辆行为预测系统及方法，首先，构建车辆交互复杂网络，同时将原始地图信息数据、车辆的运动数据、局部交互信息作为模型的多层输入；然后，借助图Transformer的图卷积和多头节点注意力机制，对车辆之间的复杂关系进行建模和学习，获取车辆全局、局部的相关性；最后，通过训练预测模型，使得图Transformer模型具有良好的泛化性和鲁棒性，可以准确输出自动驾驶车辆的行为。

Description

一种融合复杂网络和图Transformer的自动驾驶车辆行为预 测方法及系统
技术领域
本申请涉及自动驾驶行为预测领域，具体来说，涉及一种融合复杂网络和图Transformer自动驾驶车辆行为预测方法及系统。
背景技术
自动驾驶车辆行为预测涉及多种信息的融合，包括车辆的传感器数据(如摄像头、激光雷达、雷达等)、车辆的动态状态(如速度、加速度、方向等)、周围环境的信息(如道路结构、交通流量等)以及交通规则和驾驶模式等。通过分析和建模这些信息，可以预测车辆的驾驶行为，提供给自动驾驶系统作为决策和控制的依据。目前，随着自动驾驶技术的发展，自动驾驶车辆已能够感知和理解周围的环境，包括道路、交通标志、行人、其他车辆等。然而，要实现高级驾驶功能，如车辆的主动决策和规划，需要对车辆未来的驾驶行为更加准确预测。
发明内容
基于以上技术需求，本发明提供了一种融合复杂网络和图Transformer的自动驾驶车辆行为预测方法及系统。该系统基于复杂网络，并在Transformer中引入了图卷积网络，用于处理图形数据。在自动驾驶车辆行为预测中，图Transformer可以通过车辆之间的复杂关系网络，并使用多头节点注意力机制来捕捉它们之间的复杂关系。然后，将这些信息用于预测车辆的行为。因此，融合复杂网络和图Transformer的自动驾驶车辆行为预测系统可以利用各种交互信息，帮助自动驾驶车辆更精确地预测行为，减少自动驾驶车辆行为预测中存在许多不确定性，从而提高车辆安全性、舒适性和可靠性，为实现更先进的自动驾驶系统奠定基础。
本发明提供的融合复杂网络和图Transformer的自动驾驶车辆行为预测方法及系统，包括以下步骤：
步骤1)构建模型的多层次输入：建立车辆的复杂网络、原始道路信息数据、车辆的运动数据、局部交互信息分层作为预测模型的输入，然后将其所有特征向量化；
步骤2)应用图Transformer建立预测模型：利用图Transformer的多头节点注意力机制和图卷积对车辆之间的复杂关系建立预测模型并学习，以获取车辆全局、局部的相关性；
步骤3)训练预测模型，使用训练集和验证集数据对所建预测模型进行训练、验证；
步骤4)行为预测：对于每个测试样本，将测试样本的特征输入已训练好的预测模型中进行预测，预测模型会根据输入特征进行前向传播，逐层计算并产生输出结果。
进一步地，还包括：步骤5)对预测结果进行可视化展示。
进一步地，步骤1)中，建立车辆的复杂网络的方法为：首先，将车辆表示为网络中的一个节点，节点包括车辆数据，并把其节点进行向量化为[x1,x2,x3………xt]表示，节点与节点之间建立连边，其车辆交互的邻接矩阵为边的权重为车辆交互作用的大小；
所述车辆的运动数据包括车辆位置和速度、加速度和角速度、路径和轨迹、方向和航向角、时间戳、运动状态；
所述原始地图数据包括地理数据、道路网络数据；所述地理数据为描述地球表面地理特征的数据，包括经度、纬度、海拔、地形、水系；所述道路网络数据包括道路的拓扑结构和属性信息，包括道路的起点和终点、道路类型、道路名称、道路宽度、车道数目、限速信息。
进一步地，在步骤1)构建模型的多层次输入的过程中，首先对采集数据进行数据预处理，包括：
(1)数据清洗，清洗数据中的噪声、异常值和不一致性；
(2)特征选择是从原始数据中选择最具相关性和重要性的特征，特征缩放是将数据特征按比例缩放到合适的范围；
(3)数据集划分：将数据集划分为训练集、验证集和测试集，训练集用于模型的训练，验证集用于模型的调优和选择，测试集用于最终模型的评估和性能验证；训练集、验证集和测试集按照70％、15％、15％的比例划分；
(4)数据编码：将上述收集处理的数据进行编码，以便行为预测模型能够处理；
(5)数据归一化：对数据进行归一化处理，以确保不同特征之间的数值范围一致。
进一步地，步骤2)中建立预测模型的具体步骤为：
S2.1图Transformer首先通过图卷积网络(GCN)进行信息传递和聚合；
S2.2结合多头节点注意力模块和图建模模块进一步捕获全局和局部的相关性；
S2.3解码器接收编码器的输出和上下文信息作为输入，利用多头节点的注意力机制、图卷积生成驾驶行为的输出序列，利用全连接层使输出序列的维度与驾驶行为的类别数相同；SoftMax模块将解码器的输出进行归一化操作，将每个类别的得分转化为概率值，取概率值最大的类别作为预测结果。
进一步地，步骤S2.1中图卷积网络(GCN)进行信息传递和聚合的基本计算步骤和公式为：
第一步，初始化节点特征：输入节点特征矩阵其中N表示节点数量，D表示特征维度；
第二步，聚合邻居特征：对于每个节点i，将其邻居节点的特征进行聚合，邻居节点特征聚合公式：
其中：
-Aggi表示节点i的聚合特征；
-Ne(i)表示节点i的邻居节点集合；
-deg(i)和deg(j)分别表示节点i和节点j的度，即邻居节点的数量；
-Xj表示邻居节点j的特征；
第三步，更新节点表示：
融合公式为：
其中：
-是第l层的节点表示矩阵，F表示每个节点的表示维度,r是节点的索引；
-是第l层的权重矩阵；
-是正则化处理的邻接矩阵(如使用对称归一化的邻接矩阵)；
-σ(·)是激活函数；
第四步，迭代聚合和更新步骤：通过多次重复第二步和第三步来增强预测模型的表达能力和学习能力。
进一步地，步骤S2.2中结合多头节点注意力模块和图建模模块捕获全局和局部的相关性的处理的步骤如下：
首先，扩展多头自注意力机制到多头节点的注意力机制，捕获连接节点的全局相关性和非连接节点的全局依赖性；构建连接节点注意力(CNA)、非连接节点注意力(NNA)这两个新的图节点注意力模块，两个模块共享相同的网络结构；
连接节点注意力(CNA)模块是连接全局节点之间的相关性进行建模，即：在矩阵和转置矩阵之间执行一个矩阵乘法，然后，通过一个softmax函数计算连接节点注意力特征具体公式如下：
其中：card(N(r))是一个训练样本批次(batch)中连接节点的数量；
连接节点注意力特征测量连接节点对其他连接节点的影响；
最后，将上述结果和执行矩阵乘法，然后取和，再乘以缩放参数α以获得输出；具体公式如下：
其中：α是一个可学习的参数，初始化为0；
通过这样，N(r)中的每个连接节点都是所有连接节点的加权和；因此，CNA可以获得网络的全局视图，车辆可以获得充足的车辆交互信息，提升自动驾驶车辆行为预测的准确性；
非连接节点注意力(NNA)模块是捕捉非连接节点之间的全局关系；具体来说，在转置矩阵和之间执行矩阵乘法，并应用softmax函数计算非连通节点的注意力特征
其中：
-是一个训练样本批次(batch)中非连接节点的数量；
非连接节点注意力特征测量非连接节点对其他非连接节点的影响。最后，将上述结果和之间执行矩阵乘法。然后，将结果乘以比例参数β，得到如下输出：
其中：β是一个逐渐从0学习的权重；
通过这样做，N(r)中的每个非连接节点都是所有非连接节点的加权和；
最后，使用按行逐元素求和，以便更新节点特征，从而捕获连接和非连接的空间关系；这个过程可以表示如下，
虽然连接节点注意力(CNA)模块和非连接节点注意力(NNA)模块在提取长期和全局依赖关系方面很有用，但在复杂的内部数据结构中捕获细粒度的局部信息方面效率较低。为了解决这个限制，提出了一个新的图建模模块，具体而言：
给定上述特征通过使用图卷积进一步提高局部相关性，具体公式如下：
其中：
-A是图的邻接矩阵，
-GC()表示图卷积，
-P表示可训练的参数，
-σ()是激活函数中提出的高斯误差线性单元(GeLU)，旨在提供网络非线性。
进一步地，步骤S2.3中，在解码器的最后一层输出之后，应用一个全连接层，该全连接层的输出维度与驾驶行为的类别数相同；然后，将全连接层的输出输入到softmax函数中，进行归一化操作，softmax函数将每个类别的得分转化为概率值，表示预测模型对该类别的预测置信度；输出的概率向量表示模型对每个驾驶行为类别的预测概率分布；最后，根据最大概率值选择最终的驾驶行为。
进一步地，步骤3)训练预测模型的具体步骤如下：
a.将训练数据集输入预测模型：将训练数据集中的输入特征提供给预测模型作为输入；
b.前向传播：通过前向传播过程，预测模型将输入特征经过图卷积网络、编码器、解码器、SoftMax模块和激活函数的处理，得到输出结果，即所述预测对输入数据的预测值；
c.计算预测误差：将预测模型的预测值与真实标签进行比较，根据交叉熵损失函数计算预测值与真实值之间的差异；
d.反向传播：利用反向传播算法，利用交叉熵损失函数计算预测模型参数的梯度；通过链式法则，将梯度从输出层向输入层传播，更新每个参数的梯度；
e.参数更新：根据计算得到的参数梯度，利用优化器更新模型的参数；优化器根据梯度和学习率超参数的设置，调整预测模型参数的值，使预测误差逐渐减小；
f.重复迭代：重复执行步b到步骤e，使用不同的训练样本批次(batch)对模型进行迭代训练，每个训练样本批次(batch)都会更新模型的参数，逐步优化模型的性能；
g.验证和调优：在训练过程中，周期性地使用验证集评估预测模型的性能；通过计算验证集上的预测误差，监控预测模型的泛化能力和过拟合情况；根据验证结果，调整预测模型的超参数或提前停止训练，以获得最佳的模型性能。
进一步地，所述步骤4)中行为预测的具体步骤为：将测试样本输入到预测模型中，在预测模型中，首先，通过一次图卷积网络进行信息传递和聚合，其次，通过多头节点注意力机制进行编码，利用节点之间的交互关系进行特征更新，最后节点的更新表示为：然后，通过图Transformer的多头注意力模块和图建模模块进一步捕获全局和局部的相关性。第一，扩展多头自注意力机制到多头点的注意力机制，目的是捕获连接节点的全局相关性和非连接节点的全局依赖性，这个过程可以表示为 第二，图建模块使用图卷积进一步提高局部相关性，具体公式表示为最后，解码器接收编码器的输出和上下文信息作为输入，利用多头点的注意力机制、编码器-解码器注意力机制和图卷积生成驾驶行为的输出序列。在解码器的最后一层输出之后，应用全连接层对特征进行线性变换和非线性变换。最后，在其后应用一个softmax函数，softmax函数输出每个驾驶行为类别的预测概率分布，选择概率最高的类别作为最终的预测结果。
一种融合复杂网络和图Transformer的自动驾驶车辆行为预测系统，其特征在于，包括数据采集装置、数据预处理模块、预测模型及可视化模块，
所述数据采集装置包括传感器、监测设备，用于收集车辆的运动数据、原始道路数据；
所述数据预处理模块用于对原始数据进行清洗、特征选择和缩放、数据集划分、数据特征向量化和数据归一化；
预测模型，包括图卷积网络、编码器、解码器、SoftMax模块，
所述卷积信息传递网络用于信息传递和聚合；
所述编码器，包括多头节点注意力模块和图建模模块，所述多头节点注意力模块包括连接节点注意力(CNA)模块、非连接节点注意力(NNA)模块，两个模块共享相同的网络结构；所述连接节点注意力(CNA)模块用于获得连接全局节点之间的相关性，所述非连接节点注意力(NNA)模块用于捕捉非连接节点之间的全局关系；所述图建模模块利用两个图卷积进行信息传递和聚合，进一步提高局部相关性；
所述解码器与编码器具有相同的层，同时还包括一个全连接层，所述解码器以编码器的输出和上下文信息作为输入，利用多头节点的注意力机制、图卷积生成驾驶行为的输出序列，全连接层对特征进行线性变换和非线性变换，使输出序列的维度与驾驶行为的类别数相同；
所述SoftMax模块将解码器的输出进行归一化操作，将每个类别的得分转化为概率值，取概率值最大的类别作为预测结果；
所述可视化模块，用于显示预测结果。
本发明提供的融合复杂网络和图Transformer的自动驾驶车辆行为预测系统，所采用的图Transformer模型是一种用于处理图形数据的基于Transformer的图神经网络(Graph Neural Network)，即在Transformer中引入了图卷积网络，并在此基础上进一步扩展以处理图形数据。图Transformer能够在节点和节点、边之间建立联系，捕捉它们之间的复杂关系，并在此基础上进行任务。在自动驾驶车辆行为预测中，图Transformer可以通过建立车辆之间的复杂关系网络，并使用多头节点注意力机制来捕捉它们之间的复杂关系。然后，将这些信息用于预测车辆的行为，例如车辆是否会转弯、变道、超车、停车等。因此，融合复杂网络和图Transformer的自动驾驶车辆行为预测系统可以帮助自动驾驶车辆更好地规划路径和行为决策，从而提高安全性、舒适性和可靠性，为实现更先进的自动驾驶系统奠定基础。
本发明所述的融合复杂网络和图Transformer的自动驾驶车辆行为预测方法，在感知自动驾驶车辆复杂环境的基础上，首先，针对车辆之间的交互，构建车辆交互复杂网络，同时将原始道路信息数据和车辆的运动数据三者信息进行向量化作为多层输入；其次，利用图Transformer模块的多头节点注意力机制和图卷积进行信息传递和聚合，对车辆之间的复杂关系进行建模和学习，以获取车辆的表示和相关性。然后，将训练数据集输入模型进行训练，使得模型具有较好的泛化能力和可靠性。最后，对于每个测试样本，将其特征输入已训练好的模型中进行预测，根据需要，可对预测结果进行可视化展示，例如左右转弯、左右变道、保持直行、停车等驾驶行为。融合复杂网络和图Transformer的自动驾驶行为预测系统，为自动驾驶车辆提供更加准确的预测，提高了交通的安全性和效率。
本发明的有益效果如下：
1、本发明构建了车辆交互的复杂网络，车辆交互复杂网络能够捕捉车辆行为的复杂性和非线性关系。同时，车辆交互复杂网络具有丰富的拓扑结构，可以更准确地表述车辆行为。另外，车辆交互复杂网络可以在不同的层次上建立车辆行为预测模型。从微观层面，复杂网络可以建立车辆间的交互模型，考虑车辆之间的相对位置、速度和加速度等因素。从宏观层面，复杂网络可以建立道路网络的拓扑结构和交通流模型，分析交通拥堵、路段瓶颈等因素对车辆行为的影响。因此，多层次建模能够提供更全面的预测结果。最后，车辆交互复杂网络具有较强的鲁棒性和泛化能力，可以适应不同的交通环境和场景。
2、本发明通过图卷积捕捉车辆之间的交互关系。在车辆行为预测中，车辆通常会相互影响和相互作用。图卷积可以将车辆之间的交互关系建模为图结构，并通过图卷积操作在图上传递和聚合信息，从而更准确地预测车辆行为。另外，图卷积可以直接处理非结构化数据，并从中提取有用的特征。通过将车辆行为数据构建为图，图卷积可以充分利用数据的局部结构和全局关联性，从而更好地理解和预测车辆行为。最后，图卷积可以根据实际需求构建不同的图结构。同时，图卷积与和Transformer，形成混合模型，进一步提高预测性能。
3、本发明构建了图Transformer模型，通过结合多头节点注意力模块和图建模块进一步捕获全局和局部的相关性。首先，多头节点注意力机制包括连接节点注意力(CNA)和非连接节点注意力(NNA),其两个模块共享相同的网络结构。节点注意力(CNA)和非连接节点注意力(NNA)可以捕获连接节点的全局相关性和非连接节点的全局依赖性。同时，为了提高在复杂内部数据结构中捕获细粒度局部信息方面的效率，提出了图建模块，通过使用图卷积进一步提高局部相关性。最后，图Transformer模块具有高度灵活性和扩展性。它可以处理各种类型的车辆、不同交通环境和路况，适应不同类型和规模的自动驾驶场景。因此，使得模型具有良好的泛化能力。
附图说明
为了可以很好地理解本申请，现在将参照附图描述作为示例给出的其各种形式，其中：
图1为本发明所述融合复杂网络和图Transformer自动驾驶行为预测系统结构图。
图2为本发明所述融合复杂网络和图Transformer自动驾驶行为预测方法流程图。
图3为本发明所述图Transformer模型结构框图。
图4为本发明所述图Transformer模型训练和测试流程图。
图5(a)为本发明车辆全局交互复杂网络示例图。
图5(b)为本发明车辆局部交互复杂示例图。
图6为本发明自动驾驶车辆行为预测场景示例图。
图7为本发明原始道路车辆示例图。
图8为本发明自动驾驶车辆行为预测结果的展示图。
图9为本发明自动驾驶车辆行为预测系统的应用场景示例图。
具体实施方式
下面结合附图对本发明做进一步的说明，但本发明的保护不限于此。
本实施例中的自动驾驶汽车装载了协同式自适应巡航控制系统，实现车-车和车-基础设施之间的通信，以及车辆之间的协同驾驶。
本发明所述的融合复杂网络和图Transformer的自动驾驶车辆行为预测方法，首先，构建车辆交互复杂网络，同时将原始道路信息数据、车辆的运动数据、局部交互信息作为模型的多层输入；然后，借助图Transformer的图卷积和多头节点注意力机制，对车辆之间的复杂关系进行建模和学习，获取车辆全局、局部的相关性；最后，通过训练预测模型，使得图Transformer模型具有良好的泛化性和鲁棒性，可以准确输出自动驾驶车辆的行为。
如图1、图2所示，本发明所述的融合复杂网络和图Transformer自动驾驶行为预测系统，包括数据采集装置、数据预处理模块、预测模型及可视化模块。
所述数据采集装置包括传感器、监测设备，用于收集车辆的运动数据、原始道路数据。具体的，所采集的车辆的运动数据包括车辆位置和速度、加速度和角速度、路径和轨迹、方向和航向角、时间戳、运动状态等；原始道路数据包括地理数据、道路网络数据，地理数据描述地球表面地理特征的数据，包括经度、纬度等，道路网络数据包括道路的拓扑结构和属性信息。
所述数据预处理模块用于对原始数据进行清洗、特征选择和缩放、数据集划分、数据特征向量化和数据归一化，以提高数据质量、减少噪声、处理缺失值和异常值，以及将数据转换为适合模型训练和分析的格式。以下是数据预处理的具体内容：
(1)数据清洗：主要涉及处理数据中的噪声、异常值和不一致性。使用统计方法和领域知识来识别和处理异常值。同时，进行数据去重、填补缺失值等操作。
(2)特征选择和缩放：特征选择是从原始数据中选择最具相关性和重要性的特征，以提高模型的性能和效率。特征缩放是将数据特征按比例缩放到合适的范围，以避免某些特征对模型训练的影响过大。
(3)数据集划分：将数据集划分为训练集、验证集和测试集。训练集用于模型的训练，验证集用于模型的调优和选择，测试集用于最终模型的评估和性能验证。
(4)数据编码：将上述收集处理的数据进行编码，以便行为预测模型能够处理。
(5)数据归一化：对数据进行归一化处理，以确保不同特征之间的数值范围一致，这可以避免某些特征对模型训练的影响过大。
所述预测模型是基于图Transformer构建而成，包括图卷积网络、编码器、解码器、SoftMax模块。所述卷积信息传递网络用于信息传递和聚合。所述编码器包括多头节点注意力模块和图建模模块，所述多头节点注意力模块包括连接节点注意力(CNA)模块、非连接节点注意力(NNA)模块，两个模块共享相同的网络结构。所述连接节点注意力(CNA)模块用于获得连接全局节点之间的相关性，所述非连接节点注意力(NNA)模块用于捕捉非连接节点之间的全局关系。所述图建模模块利用两个图卷积进行信息传递和聚合，进一步提高局部相关性。所述解码器与编码器具有相同的层，同时还包括一个全连接层，所述解码器以编码器的输出和上下文信息作为输入，利用多头节点的注意力机制、图卷积生成驾驶行为的输出序列，全连接层对输出特征进行线性变换和非线性变换，使输出序列的维度与驾驶行为的类别数相同。所述SoftMax模块将解码器的输出进行归一化操作，将每个类别的得分转化为概率值，取概率值最大的类别作为预测结果。所述预测模型，经过学习、训练优化之后用于驾驶行为的预测。
本发明所述的融合复杂网络和图Transformer自动驾驶行为预测方法，是基于用图Transformer建立预测模型实现车辆驾驶行为的预测。构建所述预测模型的过程为：
步骤1)构建模型的多层次输入：首先，建立车辆的复杂网络、原始道路信息数据、车辆的运动数据、局部交互信息分层作为模型的输入，然后，将其所有特征向量化。
具体地，所述构建车辆的复杂网络过程中，如图5(a)所示，首先，将车辆表示为网络中的一个节点，节点包括车辆数据，并把其节点进行向量化为[x1,x2,x3………xt]表示，节点与节点之间建立连边，其中，车辆交互的邻接矩阵为边的权重为车辆交互作用的大小。
如图5(b)所示，车辆的局部交互网络，由于邻近车辆对目标车辆的交互作用较大，因此，建立邻近车辆与目标车辆的局部交互图，将此作为一个模型的输入。车辆局部交互图在行为预测方面提供更详细的信息来理解和预测车辆的行为。捕捉车辆之间的局部交互关系、提取关联特征、建模时空演化和进行行为推理，提高行为预测的准确性和可靠性，为自动驾驶预测系统提供更精准的决策依据。
如图6所示，所述车辆的运动数据包括车辆位置和速度、加速度和角速度、路径和轨迹、方向和航向角、时间戳、运动状态。所述车辆的位置和速度是车辆运动数据中最基本的信息。加速度和角速度数据可以帮助分析车辆的加减速行为、转弯行为等。路径和轨迹描述了车辆在行驶过程中的运动轨迹。方向和航向角数据可以帮助分析车辆的行驶方向和转向行为。时间戳记录了车辆运动数据采集的时间点，可以用于分析车辆的运动速度、加速度等时间序列特征。运动状态包括车辆的行驶状态，如停车、起步、匀速行驶、转弯等。运动状态数据可以用于分析车辆的驾驶行为和行驶模式。因此，车辆运动数据在行为预测方面起着重要的作用。通过分析和利用车辆运动数据，可以揭示车辆的行为模式、趋势和规律，从而实现对未来行为更加准确的预测。
如图7所示，所述原始道路信息包括地理数据、道路网络数据。所述地理数据描述地球表面地理特征的数据，包括经度、纬度等。所述道路网络数据包括道路的拓扑结构和属性信息，如道路的起点和终点、道路类型(高速公路、城市道路、乡村道路等)、道路名称、道路宽度、车道数目、限速信息等。这些数据描述了道路网络的结构和特征，用于导航、路径规划、行为预测等应用。
步骤2)应用图Transformer建立预测模型：利用图Transformer的多头节点注意力机制和图卷积，对车辆之间的复杂关系建立预测模型并学习，以获取车辆全局、局部的相关性。
S2.1图Transformer首先通过图卷积网络(GCN)进行信息传递和聚合，图卷积网络(GCN)的基本计算步骤和公式：
第一步，初始化节点特征：
输入：节点特征矩阵其中N表示节点数量，D表示特征维度。
第二步，聚合邻居特征：
邻居聚合：对于每个节点i，将其邻居节点的特征进行聚合；
邻居节点特征聚合公式：
其中：
-Aggi表示节点i的聚合特征；
-Ne(i)表示节点i的邻居节点集合；
-deg(i)和deg(j)分别表示节点i和节点j的度，即邻居节点的数量；
-Xj表示邻居节点j的特征。
第三步，更新节点表示：
融合公式：
其中：
-是第l层的节点表示矩阵，F表示每个节点的表示维度,r是节点的索引；
-是第l层的权重矩阵；
-是正则化处理的邻接矩阵(如使用对称归一化的邻接矩阵)；
-σ(·)是激活函数。
第四步，迭代聚合和更新步骤：
可以通过多次重复第二步和第三步来增强模型的表达能力和学习能力。
S2.2图Transformer通过结合多头节点注意力模块和图建模模块进一步捕获全局和局部的相关性。其处理的步骤如下：
首先，扩展多头自注意力机制到多头点的注意力机制，目的是捕获连接节点的全局相关性和非连接节点的全局依赖性。同时，提出了两个新的图节点注意力模块，分别为连接节点注意力(CNA)模块和非连接节点注意力(NNA)模块,其两个模块共享相同的网络结构。
所述的连接节点注意力(CNA)模块可以连接全局节点之间的相关性进行建模，具体来说，在矩阵和转置矩阵之间执行一个矩阵乘法，然后，通过一个softmax函数计算连接节点注意力特征具体公式如下：
其中：
card(N(r))是一个训练batch中连接节点的数量。
连接节点注意力特征测量连接节点对其他连接节点的影响。最后，将上述结果和执行矩阵乘法，然后取和，再乘以缩放参数α以获得输出。具体公式如下：
其中：
α是一个可学习的参数，初始化为0。
通过这样，N(r)中的每个连接节点都是所有连接节点的加权和。因此，连接节点注意力(CNA)可以获得网络的全局视图，车辆可以获得充足的车辆交互信息，提升自动驾驶车辆行为预测的准确性。
相似地，非连接节点注意力(NNA)模块是捕捉非连接节点之间的全局关系。具体来说，在转置矩阵和之间执行矩阵乘法，并应用softmax函数计算非连通节点的注意力特征
其中：
-是一个训练样本批次(batch)中非连接节点的数量。
非连接节点注意力特征测量非连接节点对其他非连接节点的影响。最后，将上述结果和之间执行矩阵乘法。然后，将结果乘以比例参数β，得到如下输出：
其中：β是一个逐渐从0学习的权重。
通过这样做，N(r)中的每个非连接节点都是所有非连接节点的加权和。最后，使用按行逐元素求和，以便更新节点特征，从而捕获连接和非连接的空间关系。这个过程可以表示如下，
虽然CNA和NNA在提取长期和全局依赖关系方面很有用，但在复杂的内部数据结构中捕获细粒度的局部信息方面效率较低。为了解决这个限制，提出了一个新的图建模块，具体而言：
给定上述特征通过使用图卷积进一步提高局部相关性，具体公式如下：
其中：
-A是图的邻接矩阵，
-GC()表示图卷积，
-P表示可训练的参数，
-σ()是激活函数中提出的高斯误差线性单元(GeLU)，旨在提供网络非线性。
S2.3与编码器具有相同的层，同时在解码器的最后一层输出之后，应用一个全连接层，解码器接收编码器的输出和上下文信息作为输入，利用多头节点的注意力机制、图卷积生成驾驶行为的输出序列,利用全连接层使输出序列的维度与驾驶行为的类别数相同。然后，将全连接层的输出输入到softmax函数中，进行归一化操作。softmax函数将每个类别的得分转化为概率值，表示模型对该类别的预测置信度，输出的概率向量表示模型对每个驾驶行为类别的预测概率分布。最后，概率值最大的类别作为预测驾驶行为的最终结果。
如图3所示,所提出的图Transformer编码器由多头节点注意力和图建模模块两部分组成。它可以捕获全局和局部相关性，用于自动驾驶行为预测的生成。首先，在连接节点注意力模块中，输入矩阵和矩阵，然后，在通过一个softmax函数计算连接节点注意力特征最后，将上述结果和执行矩阵乘法，取和，再乘以缩放参数α以获得输出。所述连接节点注意力(CNA)模块可以连接全局节点之间的相关性，捕捉连接节点之间的长期关系。另外，所提出的非连接节点注意力(NNA)具有与连接节点注意力(CNA)模块相同的结构，但将非连接节点作为输入，捕获非连接节点之间的长期关系。
模型训练在自动驾驶车辆行为预测中起着至关重要的作用，训练模型用于从数据中学习和提取有用的模式和规律的过程。通过数据输入模型、前向传播、计算损失函数、反向传播、参数更新、重复迭代、验证和调优等步骤训练模型，在训练过程中，监控模型的泛化能力和过拟合情况，获得最佳的模型性能。
步骤3)训练预测模型，如图4所示，数据预处理模块将数据集按照70％、15％、15％的比例划分为训练集、验证集和测试集。训练集用于模型的训练和参数调整。验证集用于模型选择、调优和调整超参数。测试集用于最终评估模型的性能和泛化能力。然后，使用训练和验证数据集进行模型训练、验证。通过模型训练、模型调优和评估三步骤，训练模型达到预期的性能。最后，模型应用，在复杂的场景下进行自动驾驶车辆的行为预测并将其可视化。另外，在部署模型时，还需考虑模型安全性和隐私保护等因素。
具体步骤如下：
a.将训练数据集输入模型：将训练数据集中的输入特征提供给模型作为输入。
b.前向传播：通过前向传播过程，模型将输入特征经过一系列的模块和激活函数的处理，得到输出结果。这个输出结果是模型对输入数据的预测值。
c.计算预测误差：将预测模型的预测值与真实标签进行比较，根据交叉熵损失函数计算预测值与真实值之间的差异。
d.反向传播：利用反向传播算法，计算交叉熵损失函数对预测模型参数的梯度。通过链式法则，将梯度从输出层向输入层传播，更新每个参数的梯度。
e.参数更新：根据计算得到的参数梯度，利用优化器更新模型的参数。优化器根据梯度和学习率这些超参数的设置，调整模型参数的值，使损失函数逐渐减小。
f.重复迭代：重复执行步b到步骤e，使用不同的训练样本批次(batch)对模型进行迭代训练。每个训练批次都会更新模型的参数，逐步优化模型的性能。
g.验证和调优：在训练过程中，周期性地使用验证集评估模型的性能。通过计算验证集上的损失函数值或其他性能指标，监控模型的泛化能力和过拟合情况。根据验证结果，调整模型的超参数或提前停止训练，以获得最佳的模型性能。
h.模型保存和部署：在训练过程中，定期保存模型的参数或整个模型，以便后续的测试、预测。
步骤4)行为预测：使用上述训练好的行为预测模型对新的输入数据进行预测或推断。对于每个测试样本，将测试样本的特征输入已训练好的预测模型中进行预测，预测模型会根据输入特征进行前向传播，逐层计算并产生输出结果。
对于每个测试样本，将其特征输入已训练好的模型中进行预测，模型会根据输入特征进行前向传播，逐层计算并产生输出结果。
在图Transformer模型中，首先，通过一次图卷积网络进行信息传递和聚合，其次，通过多头节点注意力机制进行编码，利用节点之间的交互关系进行特征更新，最后节点的更新表示为：然后，通过图Transformer的多头注意力模块和图建模模块进一步捕获全局和局部的相关性。第一，扩展多头自注意力机制到多头点的注意力机制，目的是捕获连接节点的全局相关性和非连接节点的全局依赖性，这个过程可以表示为第二，图建模块使用图卷积进一步提高局部相关性，具体公式表示为最后，解码器接收编码器的输出和上下文信息作为输入，利用多头点的注意力机制、编码器-解码器注意力机制和图卷积生成驾驶行为的输出序列。在解码器的最后一层输出之后，应用全连接层对特征进行线性变换和非线性变换。最后，在其后应用一个softmax函数，softmax函数输出每个驾驶行为类别的预测概率分布，选择概率最高的类别作为最终的预测结果。根据需要对预测结果进行可视化展示。例如左右转弯、左右变道、保持直行、停车等驾驶行为，以便更直观地理解模型的预测效果。
如图8所示，自动驾驶行为预测结果的展示图。首先指出，图8仅作为行为预测系统的界面示例图，只展示其必要功能，将来可以根据具体需求加以改进，这里并不作为本申请的约束条件。
参照图8，界面由四部分组成，图框①显示车辆当前的运行状态，包括行驶中、停止、制动、加速、启动等；图框②显示当前时间、车辆的信号状态以及当前时刻剩余的油量；图框③显示行为预测系统的四个展示界面按键：“车辆交互信息”、“原始道路信息”、“车辆运动信息”、“车辆行为预测”，可以分别查看其具体的展示信息；图框④展示图框③对应按键的车辆有关行驶信息。
详细地，“车辆交互信息”界面显示当前时刻车辆的局部交互图，提供了车辆之间的局部交互信息，细致地捕捉了车辆之间的关系和影响。“原始道路信息”界面显示了当前时刻的道路信息，包括地理数据和道路网络数据。“车辆运动信息”，显示当前时刻车辆的运动状态和行为相关的数据。这些信息可以包括位置信息、速度信息(m/s或km/h)、加速度信息(m/s2)等。“车辆行为预测”显示了当前时刻根据上述信息输入预测自动驾驶车辆的行为，例如车辆的左转、直行、变道等。
如图9所示，自动驾驶车辆行为预测系统的应用场景示例图。首先应该明确的是，图9仅作为示例图存在，并不能限制本申请的范围。
参照图9，以图的交通场景为例，研究目标车辆在行驶过程中的驾驶行为，以右下角红车为自车预测目标车辆(黄色车辆)的驾驶行为，自车会收集各种信息，包括车辆的交互信息、原始道路信息、车辆运动信息等，其次，自车将会对上述信息进行处理，传入已训练完成的预测模型中输出目标车辆的驾驶行为。最后，将所有预测的显示结果展示在汽车中央控制屏上，为驾驶员展示车辆实时的驾驶行为并提供相关建议。
所述实施例为本发明的优选的实施方式，但本发明并不限于上述实施方式，在不背离本发明的实质内容的情况下，本领域技术人员能够做出的任何显而易见的改进、替换或变型均属于本发明的保护范围。

Claims (11)

1.一种融合复杂网络和图Transformer的自动驾驶车辆行为预测方法，其特征在于，包括以下步骤：
步骤1)构建模型的多层次输入：建立车辆的复杂网络、原始道路信息数据、车辆的运动数据、局部交互信息分层作为预测模型的输入，然后将其所有特征向量化；
步骤2)应用图Transformer建立预测模型：利用图Transformer的多头节点注意力机制和图卷积对车辆之间的复杂关系建立预测模型并学习，以获取车辆全局、局部的相关性；
步骤3)训练预测模型，使用训练集和验证集数据对所建预测模型进行训练、验证；
步骤4)行为预测：对于每个测试样本，将测试样本的特征输入已训练好的预测模型中进行预测，预测模型会根据输入特征进行前向传播，逐层计算并产生输出结果。
2.根据权利要求1所述的融合复杂网络和图Transformer的自动驾驶车辆行为预测方法，其特征在于，还包括：步骤5)对预测结果进行可视化展示。
3.根据权利要求1所述的融合复杂网络和图Transformer的自动驾驶车辆行为预测方法，其特征在于，步骤1)中，建立车辆的复杂网络的方法为：首先，将车辆表示为网络中的一个节点，节点包括车辆数据，并把其节点进行向量化为[x1,x2,x3………xt]表示，节点与节点之间建立连边，其车辆交互的邻接矩阵为边的权重为车辆交互作用的大小；
所述车辆的运动数据包括车辆位置和速度、加速度和角速度、路径和轨迹、方向和航向角、时间戳、运动状态；
所述原始道路信息包括地理数据、道路网络数据；所述道路网络数据包括道路的拓扑结构和属性信息，包括道路的起点和终点、道路类型、道路名称、道路宽度、车道数目、限速信息。
4.根据权利要求1所述的融合复杂网络和图Transformer的自动驾驶车辆行为预测方法，其特征在于，在步骤1)构建模型的多层次输入的过程中，首先对采集数据进行数据预处理，包括：
(1)数据清洗，清洗数据中的噪声、异常值和不一致性；
(2)特征选择是从原始数据中选择最具相关性和重要性的特征，特征缩放是将数据特征按比例缩放到合适的范围；
(3)数据集划分：将数据集划分为训练集、验证集和测试集，训练集用于模型的训练，验证集用于模型的调优和选择，测试集用于最终模型的评估和性能验证；训练集、验证集和测试集按照70％、15％、15％的比例划分；
(4)数据编码：将上述收集处理的数据进行编码，以便行为预测模型能够处理；
(5)数据归一化：对数据进行归一化处理，以确保不同特征之间的数值范围一致。
5.根据权利要求1所述的融合复杂网络和图Transformer的自动驾驶车辆行为预测方法，其特征在于，步骤2)中建立预测模型的具体步骤为：
S2.1图Transformer首先通过图卷积网络(GCN)进行信息传递和聚合；
S2.2结合多头节点注意力模块和图建模模块进一步捕获全局和局部的相关性；
S2.3解码器接收编码器的输出和上下文信息作为输入，利用多头节点的注意力机制、图卷积生成驾驶行为的输出序列，利用全连接层使输出序列的维度与驾驶行为的类别数相同；SoftMax模块将解码器的输出进行归一化操作，将每个类别的得分转化为概率值，取概率值最大的类别作为预测结果。
6.根据权利要求5所述的融合复杂网络和图Transformer的自动驾驶车辆行为预测方法，其特征在于，步骤S2.1中图卷积网络(GCN)进行信息传递和聚合的基本计算步骤和公式为：
第一步，初始化节点特征：输入节点特征矩阵其中N表示节点数量，D表示特征维度；
第二步，聚合邻居特征：对于每个节点i，将其邻居节点的特征进行聚合，邻居节点特征聚合公式：
其中：
-Aggi表示节点i的聚合特征；
-Ne(i)表示节点i的邻居节点集合；
-deg(i)和deg(j)分别表示节点i和节点j的度，即邻居节点的数量；
-Xj表示邻居节点j的特征；
第三步，更新节点表示：
融合公式为：
其中：
是第l层的节点表示矩阵，F表示每个节点的表示维度,r是节点的索引；
是第l层的权重矩阵；
是正则化处理的邻接矩阵(如使用对称归一化的邻接矩阵)；
-σ(·)是激活函数；
第四步，迭代聚合和更新步骤：通过多次重复第二步和第三步来增强预测模型的表达能力和学习能力。
7.根据权利要求5所述的融合复杂网络和图Transformer的自动驾驶车辆行为预测方法，其特征在于，步骤S2.2中结合多头节点注意力模块和图建模模块捕获全局和局部的相关性的处理的步骤如下：
首先，扩展多头自注意力机制到多头节点的注意力机制，捕获连接节点的全局相关性和非连接节点的全局依赖性；构建连接节点注意力(CNA)、非连接节点注意力(NNA)这两个新的图节点注意力模块，两个模块共享相同的网络结构；
连接节点注意力(CNA)模块是连接全局节点之间的相关性进行建模，即：在矩阵和转置矩阵之间执行一个矩阵乘法，然后，通过一个softmax函数计算连接节点注意力特征具体公式如下：
其中：card(N(r))是一个训练样本批次(batch)中连接节点的数量；
连接节点注意力特征测量连接节点对其他连接节点的影响；
最后，将上述结果和执行矩阵乘法，然后取和，再乘以缩放参数α以获得输出；具体公式如下：
其中：α是一个可学习的参数，初始化为0；
通过这样，N(r)中的每个连接节点都是所有连接节点的加权和；
非连接节点注意力(NNA)模块是捕捉非连接节点之间的全局关系；具体来说，在转置矩阵和之间执行矩阵乘法，并应用softmax函数计算非连通节点的注意力特征
其中：
是一个训练样本批次(batch)中非连接节点的数量；
非连接节点注意力特征测量非连接节点对其他非连接节点的影响；最后，将上述结果和之间执行矩阵乘法；然后，将结果乘以比例参数β，得到如下输出：
其中：β是一个逐渐从0学习的权重；
通过这样做，N(r)中的每个非连接节点都是所有非连接节点的加权和；
最后，使用按行逐元素求和，以便更新节点特征，从而捕获连接和非连接的空间关系；这个过程可以表示如下，
给定上述特征通过使用图卷积进一步提高局部相关性，具体公式如下：
其中：
-A是图的邻接矩阵，
-GC()表示图卷积，
-P表示可训练的参数，
-σ()是激活函数中提出的高斯误差线性单元(GeLU)，旨在提供网络非线性。
8.根据权利要求5所述的融合复杂网络和图Transformer的自动驾驶车辆行为预测方法，其特征在于，步骤S2.3中，在解码器的最后一层输出之后，应用一个全连接层，该全连接层的输出维度与驾驶行为的类别数相同；然后，将全连接层的输出输入到softmax函数中，进行归一化操作，softmax函数将每个类别的得分转化为概率值，表示预测模型对该类别的预测置信度；输出的概率向量表示模型对每个驾驶行为类别的预测概率分布；最后，根据最大概率值选择最终的驾驶行为。
9.根据权利要求1所述的融合复杂网络和图Transformer的自动驾驶车辆行为预测方法，其特征在于，步骤3)训练预测模型的具体步骤如下：
a.将训练数据集输入预测模型：将训练数据集中的输入特征提供给预测模型作为输入；
b.前向传播：通过前向传播过程，预测模型将输入特征经过图卷积网络、编码器、解码器、SoftMax模块和激活函数的处理，得到输出结果，即所述预测对输入数据的预测值；
c.计算预测误差：将预测模型的预测值与真实标签进行比较，根据交叉熵损失函数计算预测值与真实值之间的差异；
d.反向传播：利用反向传播算法，利用交叉熵损失函数计算预测模型参数的梯度；通过链式法则，将梯度从输出层向输入层传播，更新每个参数的梯度；
e.参数更新：根据计算得到的参数梯度，利用优化器更新模型的参数；优化器根据梯度和学习率超参数的设置，调整预测模型参数的值，使预测误差逐渐减小；
f.重复迭代：重复执行步b到步骤e，使用不同的训练样本批次(batch)对模型进行迭代训练，每个训练样本批次(batch)都会更新模型的参数，逐步优化模型的性能；
g.验证和调优：在训练过程中，周期性地使用验证集评估预测模型的性能；通过计算验证集上的误差，监控预测模型的泛化能力和过拟合情况；根据验证结果，调整预测模型的超参数或提前停止训练，以获得最佳的模型性能。
10.根据权利要求9所述的融合复杂网络和图Transformer的自动驾驶车辆行为预测方法，其特征在于，所述步骤4)中行为预测的具体步骤为：将测试样本输入到预测模型中，在预测模型中，首先，通过一次图卷积网络进行信息传递和聚合，其次，通过多头节点注意力机制进行编码，利用节点之间的交互关系进行特征更新，最后节点的更新表示为：然后，通过图Transformer的多头注意力模块和图建模模块进一步捕获全局和局部的相关性。第一，扩展多头自注意力机制到多头点的注意力机制，目的是捕获连接节点的全局相关性和非连接节点的全局依赖性，这个过程可以表示为 第二，图建模块使用图卷积进一步提高局部相关性，具体公式表示为最后，解码器接收编码器的输出和上下文信息作为输入，利用多头点的注意力机制、编码器-解码器注意力机制和图卷积生成驾驶行为的输出序列。在解码器的最后一层输出之后，应用全连接层对特征进行线性变换和非线性变换。最后，在其后应用一个softmax函数，softmax函数输出每个驾驶行为类别的预测概率分布，选择概率最高的类别作为最终的预测结果。
11.一种融合复杂网络和图Transformer的自动驾驶车辆行为预测系统，其特征在于，包括数据采集装置、数据预处理模块、预测模型及可视化模块，
所述数据采集装置包括传感器、监测设备，用于收集车辆的运动数据、原始道路信息数据；
所述数据预处理模块用于对原始数据进行清洗、特征选择和缩放、数据集划分、数据特征向量化和数据归一化；
预测模型，包括图卷积网络、编码器、解码器、SoftMax模块，
所述图卷积网络用于信息传递和聚合；
所述编码器，包括多头节点注意力模块和图建模模块，所述多头节点注意力模块包括连接节点注意力(CNA)模块、非连接节点注意力(NNA)模块，两个模块共享相同的网络结构；所述连接节点注意力(CNA)模块用于获得连接全局节点之间的相关性，所述非连接节点注意力(NNA)模块用于捕捉非连接节点之间的全局关系；所述图建模模块利用两个图卷积进行信息传递和聚合，进一步提高局部相关性；
所述解码器与编码器具有相同的层，同时还包括一个全连接层，所述解码器以编码器的输出和上下文信息作为输入，利用多头节点的注意力机制、图卷积生成驾驶行为的输出序列，全连接层对特征进行线性变换和非线性变换，使输出序列的维度与驾驶行为的类别数相同；
所述SoftMax模块将解码器的输出进行归一化操作，将每个类别的得分转化为概率值，取概率值最大的类别作为预测结果；
所述可视化模块，用于显示预测结果。
CN202310850026.4A 2023-07-12 2023-07-12 一种融合复杂网络和图Transformer的自动驾驶车辆行为预测方法及系统 Pending CN116853272A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202310850026.4A CN116853272A (zh) 2023-07-12 2023-07-12 一种融合复杂网络和图Transformer的自动驾驶车辆行为预测方法及系统
CN202410176460.3A CN118025203B (zh) 2023-07-12 2024-02-08 一种融合复杂网络和图Transformer的自动驾驶车辆行为预测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310850026.4A CN116853272A (zh) 2023-07-12 2023-07-12 一种融合复杂网络和图Transformer的自动驾驶车辆行为预测方法及系统

Publications (1)

Publication Number Publication Date
CN116853272A true CN116853272A (zh) 2023-10-10

Family

ID=88235479

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202310850026.4A Pending CN116853272A (zh) 2023-07-12 2023-07-12 一种融合复杂网络和图Transformer的自动驾驶车辆行为预测方法及系统
CN202410176460.3A Active CN118025203B (zh) 2023-07-12 2024-02-08 一种融合复杂网络和图Transformer的自动驾驶车辆行为预测方法及系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202410176460.3A Active CN118025203B (zh) 2023-07-12 2024-02-08 一种融合复杂网络和图Transformer的自动驾驶车辆行为预测方法及系统

Country Status (1)

Country Link
CN (2) CN116853272A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117314592A (zh) * 2023-11-30 2023-12-29 南京欧思其软件服务有限公司 一种基于深度学习的车辆行为预测方法
CN117516581A (zh) * 2023-12-11 2024-02-06 江苏大学 融合BEVFormer和邻域注意力Transformer端到端自动驾驶轨迹规划系统、方法及训练方法
CN117541026A (zh) * 2024-01-08 2024-02-09 保定市宏远顺达物流运输有限公司 一种智能物流运输车辆调度方法及系统
CN117710755A (zh) * 2024-02-04 2024-03-15 江苏未来网络集团有限公司 一种基于深度学习的车辆属性识别系统及方法
CN117922576A (zh) * 2024-03-22 2024-04-26 山东科技大学 一种基于数据和知识双驱动的自动驾驶车辆换道决策方法
CN118013856A (zh) * 2024-03-13 2024-05-10 江苏大学 基于hm-trw和hagenn结构搜索的应急救援自动驾驶车辆碰撞风险预测方法及系统
CN118098000A (zh) * 2024-04-24 2024-05-28 哈尔滨华鲤跃腾科技有限公司 一种基于人工智能的城市综合管理方法
CN118246816A (zh) * 2024-05-28 2024-06-25 江西师范大学 一种基于大数据的英语教学管理方法及系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022030506A1 (ja) * 2020-08-03 2022-02-10 正好 石井 情報処理装置及び情報処理方法
WO2023030513A1 (zh) * 2021-09-05 2023-03-09 汉熵通信有限公司 物联网系统
WO2023085191A1 (ja) * 2021-11-10 2023-05-19 ソニーグループ株式会社 情報処理装置、情報処理方法及び情報処理プログラム
CN114802296A (zh) * 2022-03-17 2022-07-29 浙江工业大学 一种基于动态交互图卷积的车辆轨迹预测方法
CN114926823B (zh) * 2022-05-07 2023-04-18 西南交通大学 基于wgcn的车辆驾驶行为预测方法
CN114912532B (zh) * 2022-05-20 2023-08-25 电子科技大学 一种自动驾驶汽车多源异构感知数据融合方法
CN115034496A (zh) * 2022-06-27 2022-09-09 北京交通大学 基于GCN-Transformer的城市轨道交通节假日短时客流预测方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117314592A (zh) * 2023-11-30 2023-12-29 南京欧思其软件服务有限公司 一种基于深度学习的车辆行为预测方法
CN117314592B (zh) * 2023-11-30 2024-02-20 南京欧思其软件服务有限公司 一种基于深度学习的车辆行为预测方法
CN117516581A (zh) * 2023-12-11 2024-02-06 江苏大学 融合BEVFormer和邻域注意力Transformer端到端自动驾驶轨迹规划系统、方法及训练方法
CN117541026A (zh) * 2024-01-08 2024-02-09 保定市宏远顺达物流运输有限公司 一种智能物流运输车辆调度方法及系统
CN117541026B (zh) * 2024-01-08 2024-03-19 保定市宏远顺达物流运输有限公司 一种智能物流运输车辆调度方法及系统
CN117710755A (zh) * 2024-02-04 2024-03-15 江苏未来网络集团有限公司 一种基于深度学习的车辆属性识别系统及方法
CN117710755B (zh) * 2024-02-04 2024-05-03 江苏未来网络集团有限公司 一种基于深度学习的车辆属性识别系统及方法
CN118013856A (zh) * 2024-03-13 2024-05-10 江苏大学 基于hm-trw和hagenn结构搜索的应急救援自动驾驶车辆碰撞风险预测方法及系统
CN117922576A (zh) * 2024-03-22 2024-04-26 山东科技大学 一种基于数据和知识双驱动的自动驾驶车辆换道决策方法
CN117922576B (zh) * 2024-03-22 2024-05-17 山东科技大学 一种基于数据和知识双驱动的自动驾驶车辆换道决策方法
CN118098000A (zh) * 2024-04-24 2024-05-28 哈尔滨华鲤跃腾科技有限公司 一种基于人工智能的城市综合管理方法
CN118246816A (zh) * 2024-05-28 2024-06-25 江西师范大学 一种基于大数据的英语教学管理方法及系统

Also Published As

Publication number Publication date
CN118025203A (zh) 2024-05-14
CN118025203B (zh) 2024-07-30

Similar Documents

Publication Publication Date Title
CN118025203B (zh) 一种融合复杂网络和图Transformer的自动驾驶车辆行为预测方法及系统
CN113313947A (zh) 短期交通预测图卷积网络的路况评估方法
CN110503139A (zh) 一种城市区域尾气污染预测方法
US20220215749A1 (en) Method for predicting at least one profile of the speed of a vehicle on a road network
CN111583648B (zh) 融合gps数据和卡口流量数据的城市交通流量预测方法
CN107437339A (zh) 一种信息引导下的可变信息情报板协调控制方法及系统
CN112613225B (zh) 一种基于神经网络元胞传输模型的交叉口交通状态预测方法
CN114925836B (zh) 基于动态多视图图神经网络的城市交通车流量推理方法
CN104731963A (zh) 一种基于车联网的网格化路径推荐方法及系统
CN112633602B (zh) 一种基于gis地图信息的交通拥堵指数预测方法及装置
Wen et al. Modeling the effects of autonomous vehicles on human driver car-following behaviors using inverse reinforcement learning
CN115099328A (zh) 基于对抗网络的交通流量预测方法、系统、设备及存储介质
CN112884014A (zh) 一种基于路段拓扑结构分类的交通速度短时预测方法
CN114937366A (zh) 一种基于多尺度交通需求与供给转化的交通流推算方法
Han et al. Ensemblefollower: A hybrid car-following framework based on reinforcement learning and hierarchical planning
Pan et al. Data-driven time series prediction based on multiplicative neuron model artificial neuron network
Hwang et al. Comparative study on the prediction of city bus speed between LSTM and GRU
CN117197784A (zh) 自动驾驶行为决策及模型训练方法、系统和设备及介质
Wen et al. Modeling human driver behaviors when following autonomous vehicles: An inverse reinforcement learning approach
Kar et al. Intelligent traffic prediction by combining weather and road traffic condition information: a deep learning-based approach
CN113344759B (zh) 一种移动源污染排放的分析方法
Liu et al. Feasibility study for automatic calibration of transportation simulation models.
Chang Spatial-temporal based traffic speed imputation for GPS probe vehicles
Lee et al. Real-time risk tag forecasting for safer intelligent transportation
Bagdatli et al. A decision model based on gene expression programming for discretionary lane-changing move

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20231010

WD01 Invention patent application deemed withdrawn after publication