CN115273029A - 一种基于异构图卷积网络的智能体运动预测方法 - Google Patents

一种基于异构图卷积网络的智能体运动预测方法 Download PDF

Info

Publication number
CN115273029A
CN115273029A CN202210879408.5A CN202210879408A CN115273029A CN 115273029 A CN115273029 A CN 115273029A CN 202210879408 A CN202210879408 A CN 202210879408A CN 115273029 A CN115273029 A CN 115273029A
Authority
CN
China
Prior art keywords
agent
nodes
node
lane
graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210879408.5A
Other languages
English (en)
Other versions
CN115273029B (zh
Inventor
李怡康
高星
贾晓港
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai AI Innovation Center
Original Assignee
Shanghai AI Innovation Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai AI Innovation Center filed Critical Shanghai AI Innovation Center
Priority to CN202210879408.5A priority Critical patent/CN115273029B/zh
Publication of CN115273029A publication Critical patent/CN115273029A/zh
Application granted granted Critical
Publication of CN115273029B publication Critical patent/CN115273029B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种基于异构图卷积网络的智能体运动预测方法，包括：构建表征动态场景的动态有向异构图，其中所述动态有向异构图联合编码了道路网络的拓扑结构和智能体的时空信息；以及基于所述动态有向异构图利用异构图卷积网络预测智能体的运动轨迹。通过构建动态有向异构图来表征场景中不同元素的变化及其间复杂的交互，利用动态图中的高阶交互信息和时序信息通过异构图卷积网络能够准确地预测智能体未来的轨迹。

Description

一种基于异构图卷积网络的智能体运动预测方法
技术领域
本发明涉及运动预测与动态场景表征技术领域，尤其涉及一种基于异构图卷积网络的智能体运动预测方法。
背景技术
运动预测旨在基于周围车辆(智能体，agent)的历史轨迹与地图、环境等信息预测它们的未来轨迹。运动预测作为路径规划模块的前端依赖单元，是实现安全舒适的自动驾驶的整个流程中至关重要的一环。预测本身即具有不确定性和多模态性。智能体的历史轨迹和高清(HD)地图等信息为刻画车辆所处的动态场景提供了背景信息，使得合理的运动预测成为可能。
然而，利用上述信息并非易事，因为(i)高度异构的场景元素，包括自动驾驶车辆周围的智能体、道路的车道、红绿灯等；(ii)复杂且多重的交互，例如智能体-智能体、智能体-道路间的交互；(iii)交错的时空信息，例如智能体的轨迹。
为了解决这些问题，一些基于光栅化(rasterization)的方法首先被提出。例如，Multipath将场景上下文表示为俯视图，利用卷积神经网络(CNN)来学习场景特征，并通过基于锚点的解码器进行预测。尽管基于光栅化的场景表示简单直观，但它在建模和利用智能体与环境之间的交互方面具有固有的局限性。此外，它在处理道路网络的稀疏结构方面效率较低。
进一步地，一系列基于图神经网络(GNN)的方法于近期被提出。例如，Vectornet提出了一个两级图网络，其中局部网络提取每个场景元素(包括智能体的轨迹和道路车道中心线片段等)的特征，然后全局图网络进一步处理这些对象之间的交互。基于Vectornet的表示，TNT设计了一个基于目标点的预测解码器，DensenTNT通过引入密集的目标候选集与用于增强预测多模态性的基于离线优化的策略，来进一步改进预测解码器。此外，LaneGCN构建了一个道路图网络来利用地图信息，并提出了一个融合网络来刻画智能体和道路之间的交互。在此基础上，LaneRCNN提出了一个针对于每个智能体的子图来融合每个智能体的运动信息及其各自的局部环境信息，以便利用细粒度信息。同时，其通过在全局道路图中使用池化运算来实现各个元素间的交互。类似地，Gohome借助车道片段级图网络对道路网络的拓扑进行编码，并通过热力图来预测智能体的位置。
此外，TPCN引入点云处理的模型来处理运动预测。它包含一个用于提取道路特征以及地图信息的空间模块和一个用来描述智能体时序信息的时间模块。SceneTransformer提出了一种基于Transformer的多智能体轨迹预测模型。其使用分解的注意力(factorizedattention)机制以解耦的方式表征智能体、车道线和时间状态间的复杂交互。Multipath++设计了一个上下文门控单元来融合各种交互，并利用模型集成来进一步来改进预测的多模态性。
运动预测是自动驾驶中的一个具有挑战性的问题，并且依赖于动态场景中复杂交互(包含智能体-智能体，智能体-道路)的有效表示。现有的大多数运动预测方法具有如下缺点：
(1)忽略场景元素(节点)及其间关系(边)的异质性。现有的基于图神经网络的方法或者仅用图来刻画高清地图的拓扑结构(单一节点、关系类型)，或通过全局图不加区别地表征所有不同元素及其间多样的关系。
(2)以解耦的方式处理本身交织的空间交互与时序信息。这将阻碍模型提取时空信息的内在相关性。
因此，本领域需要另辟蹊径，从而克服上述缺点。
发明内容
本发明的任务是提供一种基于异构图卷积网络的智能体运动预测方法，通过构建动态有向异构图来表征场景中不同元素的变化及其间复杂的交互，进一步通过异构图卷积网络利用动态有向异构图中的高阶交互信息和时序信息能够准确地预测智能体未来的轨迹。
针对现有技术中存在的问题，本发明提供一种基于异构图卷积网络的智能体运动预测方法来解决，包括：
构建表征动态场景的动态异构图，其中所述动态异构图联合编码了道路网络的拓扑结构和智能体的时空信息及其间的复杂交互；以及
基于所述动态有向异构图利用异构图卷积网络预测智能体的运动轨迹。
在本发明的一个实施例中，其中构建表征动态场景的动态异构图包括节点的构造和节点之间动态边的构造，其中所述节点包括智能体节点和车道节点，每个智能体作为一个智能体节点，每个道路车道段作为一个车道节点，在所述节点之间构造动态边来表征节点之间的交互，包括车道-车道交互、智能体-车道交互、车道-智能体交互以及智能体-智能体交互。
在本发明的一个实施例中，将时间片段t＝[-T′+1,-T′+2,…,0]分割成P个等时间间隔τ(τ*P＝T′)的组，τ表示时间间隔长度，并利用每个时间间隔内的信息(-τ*p,-τ*(p-1)]来构造动态异构图在相应时间间隔的离散快照Gp，p＝1,2,…,P。
在本发明的一个实施例中，利用给定智能体的一系列历史状态Sh＝[s-T′+1,s-T′+2,…,s0]，构造了动态有向异构图{Gp}，p＝1,2,…,P，动态有向异构图单个时间片段的离散快照Gp＝{Vp,εp}，所述离散快照由节点集合
Figure BDA0003763674890000031
和边集合
Figure BDA0003763674890000032
构成，p＝1,2,…,P，其中
Figure BDA0003763674890000033
和
Figure BDA0003763674890000034
分别表示不同类型的节点集和边集；
节点特征Xp,其中xp,i＝xp(vi)为对应节点vi∈Vp的特征，Xp＝[xp,i,xp,2,…,xp,n]T；
假设节点集合Vp在动态异构图{Gp}中保持相同，p＝1,2,…,P，除了节点集合的属性随p而变化。
在本发明的一个实施例中，按照道路网络的拓扑结构为车道节点构建边来表征车道-车道交互，包括：
如果车道节点
Figure BDA0003763674890000035
和
Figure BDA0003763674890000036
按照道路方向首尾相连，则在车道节点
Figure BDA0003763674890000037
和
Figure BDA0003763674890000038
之间构造有向边
Figure BDA0003763674890000039
由于道路拓扑是静态的，ε0在动态有向异构图的不同离散快照Gp中是相同的。
在本发明的一个实施例中，基于车道节点之间边集ε0来进一步构建智能体节点和车道节点之间的动态边来表征智能体-车道交互和车道-智能体交互，包括：
对于每一个智能体节点i，首先基于智能体节点i在t＝-τ*(p-1)，p＝1,2,…,P，时刻的位置cp,i,为其找到k个最近的车道节点，并舍弃其中属于反向车道的车道节点，其中在路口的道路车道段上，保留所有k个节点；
从找到的邻近车道节点开始，沿ε0中的边执行深度优先搜索来探索智能体未来可能到达的车道节点，其中所述深度优先搜索的最大深度基于智能体的平均速度、相邻车道节点之间的平均间隙以及预测时间确定；以及
用边
Figure BDA0003763674890000041
将智能体节点
Figure BDA0003763674890000042
链接到搜索得到的车道节点
Figure BDA0003763674890000043
同时得到车道-智能体间的交互
Figure BDA0003763674890000044
Figure BDA0003763674890000045
在本发明的一个实施例中，根据智能体节点的位置之间的距离来构建的智能体节点之间的动态边，包括：
使用l1范数计算智能体节点
Figure BDA0003763674890000046
和
Figure BDA0003763674890000047
之间的距离，以近似智能体节点之间沿道路的距离，智能体节点
Figure BDA0003763674890000048
和
Figure BDA0003763674890000049
之间的距离的计算公式：
Figure BDA00037636748900000410
其中cp表示智能体节点的位置，dp表示智能体节点
Figure BDA00037636748900000411
和
Figure BDA00037636748900000412
之间的距离；
如果任意两个智能体节点之间的距离满足
Figure BDA00037636748900000413
则两个智能体节点在离散快照Gp中由边
Figure BDA00037636748900000414
直接相连，其中δaa表示距离阈值的超参数。
在本发明的一个实施例中，异构图卷积神经网络包括了智能体编码模块、用于编码动态场景的异构图卷积模块、时空门和用来预测智能体运动轨迹的解码器。
在本发明的一个实施例中，给定动态有向异构图{Gp}，首先对车道节点和智能体节点的特征进行预编码，得到能够用于异构图卷积模块的节点特征，包括：
将地图信息作为输入，经过图神经网络处理得到车道节点特征；
采用门循环单元作为智能体编码模块来处理智能体的历史轨迹，其中智能体编码模块以一系列智能体节点属性信息为输入
Figure BDA00037636748900000415
并输出预编码轨迹特征
Figure BDA00037636748900000416
其中智能体节点属性信息包含了智能体节点的位置和位置偏移。
10.根据权利要求9所述的基于异构图卷积网络的智能体运动预测方法，其特征在于，所述图卷积模块由一组异构图卷积算子堆叠组成，所述异构图卷积神经网络包含了P个所述图卷积模块，来层次化地处理动态有向异构图{Gp}的信息，其中第p个图卷积模块的输出为:
Hp+1＝GCM(Hp,Ap),p＝1,2,…,P,
其中，邻接矩阵Ap代表Gp的拓扑，预编码轨迹特征
Figure BDA0003763674890000051
和地图特征
Figure BDA0003763674890000052
分别构成离散快照G1的智能体节点和车道节点的特征,即
Figure BDA0003763674890000053
Figure BDA0003763674890000054
在本发明的一个实施例中，所述时空门利用下一个时间间隔中的轨迹特征
Figure BDA0003763674890000055
来更新第p个图卷积模块输出的智能体节点特征，包括：时空门采用遗忘和更新方案来融合空间交互
Figure BDA0003763674890000056
和下一个时间间隔中传入的轨迹特征
Figure BDA0003763674890000057
Figure BDA0003763674890000058
Figure BDA0003763674890000059
Figure BDA00037636748900000510
其中Wx表示可学习的参数矩阵，
Figure BDA00037636748900000511
表示第p个GCM输出的动态有向异构图Gp的节点特征矩阵。
在本发明的一个实施例中，基于P个所述图卷积模块产生的表征
Figure BDA00037636748900000512
所述解码器输出智能体的未来运动轨迹以及每个预测的置信度分数，包括：
所述解码器包括目标分支、回归分支和评分分支，其中所述目标分支接受所述图卷积模块输出的智能体的表示
Figure BDA00037636748900000513
并预测K个目标
Figure BDA00037636748900000514
所述回归分支基于预测的目标和智能体特征来补全运动轨迹Sf＝[s1,s2,…,sT]，所述评分分支估计每个预测的置信度{φk}。
在本发明的一个实施例中，基于信息传播机制设计了异构图卷积算子，包括：
给定一个节点
Figure BDA00037636748900000515
节点
Figure BDA00037636748900000516
首先从节点
Figure BDA00037636748900000517
的邻域
Figure BDA00037636748900000518
依据不同类型的边接收消息msgr，然后将消息组合得到节点
Figure BDA00037636748900000519
的背景信息，节点
Figure BDA00037636748900000520
接收到的消息msgr：
Figure BDA00037636748900000521
其中σ表示非线性变换；
沿着每种类型的边，从节点
Figure BDA00037636748900000522
传播到节点
Figure BDA00037636748900000523
的消息被定义为节点特征hj的函数，表示为：
Figure BDA0003763674890000061
函数fr(·)为一个以节点之间的关系
Figure BDA0003763674890000062
作为输入的多层感知机：
Figure BDA0003763674890000063
基于背景信息
Figure BDA0003763674890000064
和自变换gz(·)，卷积算子输出节点特征:
Figure BDA0003763674890000065
其中，Wz表示可学习的参数矩阵，||表示拼接操作。
本发明至少具有下列有益效果：本发明公开的一种基于异构图卷积网络的智能体运动预测方法，包含了构建表征动态场景的动态有向异构图和基于动态有向异构图利用异构图卷积网络预测智能体的运动轨迹两大部分，所提出的动态有向异构图构建策略既能够高效表征道路网络的稀疏拓扑结构，又能够显示地、差异性地、联合地表征场景中智能体、道路及其间的多重交互；提出的异构图卷积网络得以进一步同时学习联合编码、利用动态有向异构图中的高阶交互信息和时序信息，并据此预测得到准确、真实的智能体未来轨迹。
附图说明
为了进一步阐明本发明的各实施例的以上和其它优点和特征，将参考附图来呈现本发明的各实施例的更具体的描述。可以理解，这些附图只描绘本发明的典型实施例，因此将不被认为是对其范围的限制。
图1示出了根据本发明的一个实施例的表征场景的动态有向异构图构建策略的示意图；以及
图2示出了根据本发明的一个实施例的异构图卷积神经网络框架的示意图。
具体实施方式
应当指出，各附图中的各组件可能为了图解说明而被夸大地示出，而不一定是比例正确的。
在本发明中，各实施例仅仅旨在说明本发明的方案，而不应被理解为限制性的。
在本发明中，除非特别指出，量词“一个”、“一”并未排除多个元素的场景。
在此还应当指出，在本发明的实施例中，为清楚、简单起见，可能示出了仅仅一部分部件或组件，但是本领域的普通技术人员能够理解，在本发明的教导下，可根据具体场景需要添加所需的部件或组件。
在此还应当指出，在本发明的范围内，“相同”、“相等”、“等于”等措辞并不意味着二者数值绝对相等，而是允许一定的合理误差，也就是说，所述措辞也涵盖了“基本上相同”、“基本上相等”、“基本上等于”。
在此还应当指出，在本发明的描述中，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是明示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为明示或暗示相对重要性。
另外，本发明的各方法的步骤的编号并未限定所述方法步骤的执行顺序。除非特别指出，各方法步骤可以以不同顺序执行。
基于异构图卷积网络智能体运动预测方法包括构建表征动态场景的动态有向异构图和基于动态有向异构图利用异构图卷积网络预测智能体的运动轨迹两大部分。提出了一种新颖的动态有向异构图构建策略来表征场景中不同元素的变化及其间复杂的交互，包含了三种关系表征策略以联合地建模智能体-智能体、智能体-道路、道路-智能体、道路-道路间的动态关联。设计一个新颖有效的异构图卷积网络框架以学习提取动态场景的高阶信息并得到场景元素的向量化表示，并能够据此有效、准确地预测智能体未来的轨迹。
图1示出了根据本发明的一个实施例的表征场景的动态异构图构建策略的示意图。
如图1所示，表征动态场景的动态有向异构图构建策略包含了节点的构造和节点之间动态边的构造。
采用动态有向异构图对智能体和环境之间的动态交互进行显式建模。特别地，动态有向异构图联合编码了道路网络的拓扑结构和智能体的时空信息，例如历史轨迹。
在动态有向异构图中考虑两种节点，即智能体和道路车道段，以及节点之间的四种关系或交互，包括了智能体-智能体、智能体-车道、车道-智能体和车道-车道。
为了提高效率，将观察到的时间片段t＝[-T′+1,-T′+2,…,0]分割成P个等时间间隔τ(τ*P＝T′)的组，τ表示时间间隔长度，并利用每个时间间隔内的智能体的速度、航向和位置信息(-τ*p,-τ*(p-1)]来构造动态有向异构图的离散快照Gp,p＝1,2,…,P。
利用给定智能体的一系列历史状态Sh＝[s-T′+1,s-T′+2,…,s0]，构造了动态有向异构图{Gp}，p＝1,2,…,P，动态有向异构图的单个时间片段的离散快照Gp＝{Vp,εp},由节点集合
Figure BDA0003763674890000081
和边集合
Figure BDA0003763674890000082
构成，p＝1,2,…,P,其中
Figure BDA0003763674890000083
和
Figure BDA0003763674890000084
分别表示不同类型的节点集和边集。邻接矩阵Ap代表动态异构图Gp的拓扑，Xp代表节点特征,其中xp,i＝xp(vi)为对应节点vi∈Vp的特征，Xp＝[xp,i,xp,2,…,xp,n]T。
假设节点集合(顶点集)Vp在动态有向异构图{Gp}中保持相同，p＝1,2,…,P，除了它们的属性随p而变化。
节点的构造
首先，将场景中的每个智能体作为一个智能体节点
Figure BDA0003763674890000085
并将每个道路车道段作为一个车道节点
Figure BDA0003763674890000086
节点特征采用智能体节点和车道节点的位置和位置偏移，其中道路节点的位置偏移采用其相对于它的前驱节点的偏移。
通过在节点之间构造四种类型的(动态)边来刻画它们之间的交互，具体如下：
车道-车道交互：按照道路网络的拓扑结构为车道节点构建边。具体来说，如果车道节点
Figure BDA0003763674890000087
和
Figure BDA0003763674890000088
按照道路方向首尾相连，则在车道节点
Figure BDA0003763674890000089
和
Figure BDA00037636748900000810
之间构造有向边
Figure BDA00037636748900000811
由于道路拓扑是静态的，ε0在动态有向异构图的不同离散快照Gp中是相同的，因此在后续省略了下标p。
智能体-车道交互：基于车道-车道间的边集ε0，进一步建模智能体和车道段之间的关系。特别地，考虑到智能体前方的道路对未来的预测更为重要，利用智能体在每个时间间隔(-τ*p,-τ*(p-1)]的速度、航向和位置信息来构建动态有向异构图在相应时间间隔的离散快照Gp,p＝1,2,…,P。
对于每一个智能体节点i，首先基于它在t＝-τ*(p-1)时刻的位置cp,i,为其找到k个最近的车道节点，并舍弃其中属于反向车道的节点，其中考虑到智能体可能会掉头，在路口的道路车道段上，保留所有k个节点。
然后，从上述找到的邻近车道节点开始，沿ε0中的边执行深度优先搜索(depth-first search,DFS)来探索智能体未来可能到达的车道节点。DFS的最大深度基于智能体的平均速度、相邻车道节点之间的平均间隙以及预测时间确定。最后，用边
Figure BDA0003763674890000091
将智能体节点
Figure BDA0003763674890000092
链接到搜索得到的车道节点
Figure BDA0003763674890000093
同时，得到车道-智能体间的交互
Figure BDA0003763674890000094
Figure BDA0003763674890000095
智能体-智能体交互：智能体节点之间的动态边是根据它们位置之间的距离来构建的。具体来说，智能体节点
Figure BDA0003763674890000096
和
Figure BDA0003763674890000097
之间的距离是使用l1范数计算的，以近似智能体节点之间沿道路的距离。智能体节点
Figure BDA0003763674890000098
和
Figure BDA0003763674890000099
之间的距离的计算公式：
Figure BDA00037636748900000910
其中cp表示智能体节点的位置，dp表示智能体节点
Figure BDA00037636748900000911
和
Figure BDA00037636748900000912
之间的距离。
如果任意两个智能体节点之间的距离
Figure BDA00037636748900000913
则它们在离散快照Gp中由边
Figure BDA00037636748900000914
直接相连，其中δaa表示距离阈值的超参数。
图2示出了根据本发明的一个实施例的异构图卷积神经网络框架的示意图。
如图2所示，整个异构图卷积神经网络包括了智能体编码模块、用于编码动态场景的异构图卷积模块(GCM)、时空门(Gate)和用来预测智能体运动轨迹的解码器。利用动态有向异构图中的高阶交互信息和时序信息，并据此预测得到准确、真实的智能体未来轨迹。动态有向异构图中的智能体节点用三角形表示，圆点表示车道节点，它们之间的各种交互用连接边表示。
给定动态有向异构图{Gp}，首先对车道节点和智能体节点的特征进行预编码，得到能够用于异构图卷积模块的节点特征。其中，将地图信息作为输入，经过经典图神经网络处理得到车道节点特征(地图特征)；智能体节点属性信息由下述智能体编码模块处理得到智能体节点特征。
智能体编码模块。采用门循环单元(Gate Recurrent Unit，GRU)作为智能体编码模块来处理智能体的历史轨迹。智能体编码模块以一系列智能体节点属性信息为输入
Figure BDA00037636748900000915
并输出预编码轨迹特征(智能体节点特征)
Figure BDA0003763674890000101
其中智能体节点属性信息包含了智能体节点的位置和位置偏移。
图卷积模块(Graph convolution module，GCM)。该模块由一组异构图卷积算子堆叠组成。异构图卷积神经网络包含了P个这样的图卷积模块，层次化地处理动态有向异构图{Gp}的信息。第p个图卷积模块的输出:
Hp+1＝GCM(Hp,Ap),p＝1,2,…,P,
其中，邻接矩阵Ap代表Gp的拓扑，预编码轨迹特征
Figure BDA0003763674890000102
和地图特征
Figure BDA0003763674890000103
分别构成离散快照G1的智能体节点和车道节点的特征,即
Figure BDA0003763674890000104
Figure BDA0003763674890000105
时空门(Gate)。时空门使用下一个时间间隔中的轨迹特征
Figure BDA0003763674890000106
来更新第p个GCM输出的智能体节点特征。具体地，其应用遗忘和更新方案来融合空间交互
Figure BDA0003763674890000107
和下一个时间间隔中传入的轨迹特征
Figure BDA0003763674890000108
Figure BDA0003763674890000109
Figure BDA00037636748900001010
Figure BDA00037636748900001011
其中Wx表示可学习的参数矩阵，
Figure BDA00037636748900001012
表示第p个GCM输出的动态有向图Gp的节点特征矩阵。
解码器。基于一系列GCM模块产生的表征
Figure BDA00037636748900001013
解码器输出智能体的未来状态Sf＝[s1,s2,…,sT]以及每个预测各自的置信度分数。解码器包括三个分支，所有这些分支均被设计为多层感知机(Multi-layer Perceptron，MLP)。目标分支(Goal)接受GCM输出的智能体的表示
Figure BDA00037636748900001014
并预测K个目标(终点)
Figure BDA00037636748900001015
目标指最后时刻的位置，即终点。然后，回归分支(Reg)基于预测的目标和智能体特征来补全轨迹Sf＝[s1,s2,…,sT]。最后，评分分支(Score)估计每个预测的置信度{φk}。
异构图卷积算子
为了表征各种节点并刻画它们的多重关系，基于信息传播机制设计了一个异构图卷积算子。
总体来说，对于动态异构图G中不同类型的边采用不同的消息传递方案。给定一个节点
Figure BDA00037636748900001016
它首先从它的邻域
Figure BDA00037636748900001017
依据不同类型的边接收消息msgr，然后将这些消息组合得到它的背景信息。
Figure BDA0003763674890000111
其中σ表示非线性变换。沿着每种类型的边，从节点
Figure BDA0003763674890000112
传播到节点
Figure BDA0003763674890000113
的消息被定义为节点特征hj的函数，表示为：
Figure BDA0003763674890000114
函数fr(·)被设计为一个以节点之间的关系
Figure BDA0003763674890000115
作为输入的多层感知机：
Figure BDA0003763674890000116
基于背景信息
Figure BDA0003763674890000117
和自变换gz(·)，卷积算子输出节点特征:
Figure BDA0003763674890000118
其中，Wz表示可学习的参数矩阵，||表示拼接操作。
可以把各实施例提供为可包括其上存储有机器可执行指令的一个或多个机器可读介质的计算机程序产品，这些指令在由诸如计算机、计算机网络或其他电子设备等的一个或多个机器执行时，可以引起一个或多个机器执行根据本发明的各实施例的操作。机器可读介质可以包括但不限于软盘、光盘、CD-ROM(紧致盘只读存储器)和磁光盘、ROM(只读存储器)、RAM(随机存取存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、磁或光卡、闪速存储器或适用于存储机器可执行指令的其他类型的介质/机器可读介质。
此外，可以作为计算机程序产品下载各实施例，其中，可以经由通信链路(例如，调制解调器和/或网络连接)由载波或其他传播介质实现和/或调制的一种或多种数据信号把程序从远程计算机(例如，服务器)传输给请求计算机(例如，客户机)。因此，在此所使用的机器可读介质可以包括这样的载波，但对此不作要求。
本发明至少具有下列有益效果：本发明公开的一种基于异构图卷积网络的智能体运动预测方法，包含了构建表征动态场景的动态有向异构图和基于动态有向异构图利用异构图卷积网络预测智能体的运动轨迹两大部分，所提出的动态有向异构图构建策略既能够高效表征道路网络的稀疏拓扑结构，又能够显示地、差异性地、联合地表征场景中智能体、道路及其间的多重交互；提出的异构图卷积网络得以进一步同时学习联合编码、利用动态有向异构图中的高阶交互信息和时序信息，并据此预测得到准确、真实的智能体未来轨迹。
虽然本发明的一些实施方式已经在本申请文件中予以了描述，但是本领域技术人员能够理解，这些实施方式仅仅是作为示例示出的。本领域技术人员在本发明的教导下可以想到众多的变型方案、替代方案和改进方案而不超出本发明的范围。所附权利要求书旨在限定本发明的范围，并藉此涵盖这些权利要求本身及其等同变换的范围内的方法和结构。

Claims (13)

1.一种基于异构图卷积网络的智能体运动预测方法，其特征在于，包括：
构建表征动态场景的动态有向异构图，其中所述动态有向异构图联合编码了道路网络的拓扑结构和智能体的时空信息；以及
基于所述动态有向异构图利用异构图卷积网络预测智能体的运动轨迹。
2.根据权利要求1所述的基于异构图卷积网络的智能体运动预测方法，其特征在于，其中构建表征动态场景的动态异构图包括节点的构造和节点之间动态边的构造，其中所述节点包括智能体节点和车道节点，每个智能体作为一个智能体节点，每个道路车道段作为一个车道节点，在所述节点之间构造动态边来表征节点之间的交互，包括车道-车道交互、智能体-车道交互、车道-智能体交互以及智能体-智能体交互。
3.根据权利要求2所述的基于异构图卷积网络的智能体运动预测方法，其特征在于，将时间片段t＝[-T′+1，-T′+2，…，0]分割成P个等时间间隔τ(τ*P＝T′)的组，τ表示时间间隔长度，并利用每个时间间隔内的信息(-τ*p，-τ*(p-1)]来构造动态异构图在相应时间间隔的离散快照Gp，p＝1，2，…，P。
4.根据权利要求3所述的基于异构图卷积网络的智能体运动预测方法，其特征在于，利用给定智能体的一系列历史状态Sh＝[s-T′+1，s-T′+2，…，s0]，构造了动态有向异构图{Gp}，p＝1，2，…，P，动态有向异构图单个时间片段的离散快照Gp＝{Vp，εp}，所述离散快照由节点集合
Figure FDA0003763674880000011
和边集合
Figure FDA0003763674880000012
构成，p＝1，2，…，P，其中
Figure FDA0003763674880000013
和
Figure FDA0003763674880000014
分别表示不同类型的节点集和边集；
节点特征Xp，其中xp，i＝xp(vi)为对应节点vi∈Vp的特征，Xp＝[xp，i，xp，2，…，xp，n]T；
假设节点集合Vp在动态异构图{Gp}中保持相同，p＝1，2，…，P，除了节点集合的属性随p而变化。
5.根据权利要求4所述的基于异构图卷积网络的智能体运动预测方法，其特征在于，按照道路网络的拓扑结构为车道节点构建边来表征车道-车道交互，包括：
如果车道节点
Figure FDA0003763674880000021
和
Figure FDA0003763674880000022
按照道路方向首尾相连，则在车道节点
Figure FDA0003763674880000023
和
Figure FDA0003763674880000024
之间构造有向边
Figure FDA0003763674880000025
由于道路拓扑是静态的，ε0在动态有向异构图的不同离散快照Gp中是相同的。
6.根据权利要求5所述的基于异构图卷积网络的智能体运动预测方法，其特征在于，基于车道节点之间边集ε0来进一步构建智能体节点和车道节点之间的动态边来表征智能体-车道交互和车道-智能体交互，包括：
对于每一个智能体节点i，首先基于智能体节点i在t＝-τ*(p-1)，p＝1,2,…,P，时刻的位置cp,i,为其找到k个最近的车道节点，并舍弃其中属于反向车道的车道节点，其中在路口的道路车道段上，保留所有k个节点；
从找到的邻近车道节点开始，沿ζ0中的边执行深度优先搜索来探索智能体未来可能到达的车道节点，其中所述深度优先搜索的最大深度基于智能体的平均速度、相邻车道节点之间的平均间隙以及预测时间确定；以及
用边
Figure FDA0003763674880000026
将智能体节点
Figure FDA0003763674880000027
链接到搜索得到的车道节点
Figure FDA0003763674880000028
同时得到车道-智能体间的交互
Figure FDA0003763674880000029
Figure FDA00037636748800000210
7.根据权利要求6所述的基于异构图卷积网络的智能体运动预测方法，其特征在于，根据智能体节点的位置之间的距离来构建的智能体节点之间的动态边，包括：
使用l1范数计算智能体节点
Figure FDA00037636748800000211
和
Figure FDA00037636748800000212
之间的距离，以近似智能体节点之间沿道路的距离，智能体节点
Figure FDA00037636748800000213
和
Figure FDA00037636748800000214
之间的距离的计算公式：
Figure FDA00037636748800000215
其中cp表示智能体节点的位置，dp表示智能体节点
Figure FDA00037636748800000216
和
Figure FDA00037636748800000217
之间的距离；
如果任意两个智能体节点之间的距离满足
Figure FDA00037636748800000218
则两个智能体节点在离散快照Gp中由边
Figure FDA00037636748800000219
直接相连，其中δaa表示距离阈值的超参数。
8.根据权利要求7所述的基于异构图卷积网络的智能体运动预测方法，其特征在于，异构图卷积神经网络包括了智能体编码模块、用于编码动态场景的异构图卷积模块、时空门和用来预测智能体运动轨迹的解码器。
9.根据权利要求8所述的基于异构图卷积网络的智能体运动预测方法，其特征在于，给定动态有向异构图{Gp}，首先对车道节点和智能体节点的特征进行预编码，得到能够用于异构图卷积模块的节点特征，包括：
将地图信息作为输入，经过图神经网络处理得到车道节点特征；
采用门循环单元作为智能体编码模块来处理智能体的历史轨迹，其中智能体编码模块以一系列智能体节点属性信息为输入
Figure FDA0003763674880000031
并输出预编码轨迹特征
Figure FDA0003763674880000032
其中智能体节点属性信息包含了智能体节点的位置和位置偏移。
10.根据权利要求9所述的基于异构图卷积网络的智能体运动预测方法，其特征在于，所述图卷积模块由一组异构图卷积算子堆叠组成，所述异构图卷积神经网络包含了P个所述图卷积模块，来层次化地处理动态有向异构图{Gp}的信息，其中第p个图卷积模块的输出为:
Hp+1＝GCM(Hp,Ap)，p＝1,2,...，p,
其中，邻接矩阵Ap代表Gp的拓扑，预编码轨迹特征
Figure FDA0003763674880000033
和地图特征
Figure FDA0003763674880000034
分别构成离散快照G1的智能体节点和车道节点的特征,即
Figure FDA0003763674880000035
Figure FDA0003763674880000036
11.根据权利要求10所述的基于异构图卷积网络的智能体运动预测方法，其特征在于，所述时空门利用下一个时间间隔中的轨迹特征
Figure FDA0003763674880000037
来更新第p个图卷积模块输出的智能体节点特征，包括：时空门采用遗忘和更新方案来融合空间交互
Figure FDA0003763674880000038
和下一个时间间隔中传入的轨迹特征
Figure FDA0003763674880000039
Figure FDA00037636748800000310
Figure FDA00037636748800000311
Figure FDA00037636748800000312
其中Wx表示可学习的参数矩阵，
Figure FDA00037636748800000313
表示第p个GCM输出的动态有向异构图Gp的节点特征矩阵。
12.根据权利要求11所述的基于异构图卷积网络的智能体运动预测方法，其特征在于，基于P个所述图卷积模块产生的表征
Figure FDA0003763674880000041
所述解码器输出智能体的未来运动轨迹以及每个预测的置信度分数，包括：
所述解码器包括目标分支、回归分支和评分分支，其中所述目标分支接受所述图卷积模块输出的智能体的表示
Figure FDA0003763674880000042
并预测K个目标
Figure FDA0003763674880000043
所述回归分支基于预测的目标和智能体特征来补全运动轨迹Sf＝[s1,s2,…,sT]，所述评分分支估计每个预测的置信度{φk}。
13.根据权利要求10所述的基于异构图卷积网络的智能体运动预测方法，其特征在于，基于信息传播机制设计了异构图卷积算子，包括：
给定一个节点
Figure FDA0003763674880000044
节点
Figure FDA0003763674880000045
首先从节点
Figure FDA0003763674880000046
的邻域
Figure FDA0003763674880000047
依据不同类型的边接收消息msgr，然后将消息组合得到节点
Figure FDA0003763674880000048
的背景信息，节点
Figure FDA0003763674880000049
接收到的消息msgr：
Figure FDA00037636748800000410
其中σ表示非线性变换；
沿着每种类型的边，从节点
Figure FDA00037636748800000411
传播到节点
Figure FDA00037636748800000412
的消息被定义为节点特征hj的函数，表示为：
Figure FDA00037636748800000413
函数fr(·)为一个以节点之间的关系
Figure FDA00037636748800000414
作为输入的多层感知机：
Figure FDA00037636748800000415
基于背景信息
Figure FDA00037636748800000416
和自变换gz(·)，卷积算子输出节点特征:
Figure FDA00037636748800000417
其中，Wz表示可学习的参数矩阵，||表示拼接操作。
CN202210879408.5A 2022-07-25 2022-07-25 一种基于异构图卷积网络的智能体运动预测方法 Active CN115273029B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210879408.5A CN115273029B (zh) 2022-07-25 2022-07-25 一种基于异构图卷积网络的智能体运动预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210879408.5A CN115273029B (zh) 2022-07-25 2022-07-25 一种基于异构图卷积网络的智能体运动预测方法

Publications (2)

Publication Number Publication Date
CN115273029A true CN115273029A (zh) 2022-11-01
CN115273029B CN115273029B (zh) 2024-06-14

Family

ID=83770719

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210879408.5A Active CN115273029B (zh) 2022-07-25 2022-07-25 一种基于异构图卷积网络的智能体运动预测方法

Country Status (1)

Country Link
CN (1) CN115273029B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116245183A (zh) * 2023-02-28 2023-06-09 清华大学 基于图神经网络的交通场景泛化理解方法及装置
CN117496161A (zh) * 2023-12-29 2024-02-02 武汉理工大学 一种点云分割方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210148727A1 (en) * 2019-11-14 2021-05-20 Nec Laboratories America, Inc. Simulating diverse long-term future trajectories in road scenes
US20210276547A1 (en) * 2020-03-04 2021-09-09 Nec Laboratories America, Inc. Multi-agent trajectory prediction
CN113568410A (zh) * 2021-07-29 2021-10-29 西安交通大学 一种异构智能体轨迹预测方法、系统、设备及介质
WO2022035602A2 (en) * 2020-07-28 2022-02-17 Waymo Llc Agent trajectory prediction using target locations
CN114519932A (zh) * 2022-01-10 2022-05-20 中国科学院深圳先进技术研究院 一种基于时空关系抽取的区域交通状况集成预测方法
CN114723782A (zh) * 2022-03-15 2022-07-08 常州大学 一种基于异构图学习的交通场景运动目标感知方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210148727A1 (en) * 2019-11-14 2021-05-20 Nec Laboratories America, Inc. Simulating diverse long-term future trajectories in road scenes
US20210276547A1 (en) * 2020-03-04 2021-09-09 Nec Laboratories America, Inc. Multi-agent trajectory prediction
WO2022035602A2 (en) * 2020-07-28 2022-02-17 Waymo Llc Agent trajectory prediction using target locations
CN113568410A (zh) * 2021-07-29 2021-10-29 西安交通大学 一种异构智能体轨迹预测方法、系统、设备及介质
CN114519932A (zh) * 2022-01-10 2022-05-20 中国科学院深圳先进技术研究院 一种基于时空关系抽取的区域交通状况集成预测方法
CN114723782A (zh) * 2022-03-15 2022-07-08 常州大学 一种基于异构图学习的交通场景运动目标感知方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHANG, XX ET.AL: "Probabilistic trajectory prediction of heterogeneous traffic agents based on layered spatio-temporal graph", PROCEEDINGS OF THE INSTITUTION OF MECHANICAL ENGINEERS PART D-JOURNAL OF AUTOMOBILE ENGINEERING, 31 July 2021 (2021-07-31), pages 2413 - 2424 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116245183A (zh) * 2023-02-28 2023-06-09 清华大学 基于图神经网络的交通场景泛化理解方法及装置
CN116245183B (zh) * 2023-02-28 2023-11-07 清华大学 基于图神经网络的交通场景泛化理解方法及装置
CN117496161A (zh) * 2023-12-29 2024-02-02 武汉理工大学 一种点云分割方法及装置
CN117496161B (zh) * 2023-12-29 2024-04-05 武汉理工大学 一种点云分割方法及装置

Also Published As

Publication number Publication date
CN115273029B (zh) 2024-06-14

Similar Documents

Publication Publication Date Title
Deo et al. Multimodal trajectory prediction conditioned on lane-graph traversals
Yang et al. Edge intelligence for autonomous driving in 6G wireless system: Design challenges and solutions
Casas et al. Spagnn: Spatially-aware graph neural networks for relational behavior forecasting from sensor data
Wang et al. V2vnet: Vehicle-to-vehicle communication for joint perception and prediction
CN109636049B (zh) 一种结合道路网络拓扑结构与语义关联的拥堵指数预测方法
KR102306939B1 (ko) V2x 통신 및 이미지 처리를 이용한 정보 융합을 통해 자율 주행의 단기 경로를 플래닝하기 위한 방법 및 장치
CN115273029B (zh) 一种基于异构图卷积网络的智能体运动预测方法
Casas et al. Spatially-aware graph neural networks for relational behavior forecasting from sensor data
US11891087B2 (en) Systems and methods for generating behavioral predictions in reaction to autonomous vehicle movement
Xiang et al. V2xp-asg: Generating adversarial scenes for vehicle-to-everything perception
Elghazaly et al. High-definition maps: Comprehensive survey, challenges and future perspectives
Wang et al. Visual semantic navigation based on deep learning for indoor mobile robots
US20240193793A1 (en) Method and unified framework system for full-stack autonomous driving planning
JP2024519299A (ja) 未知環境におけるロボットナビゲーションのための方法およびシステム
Janjoš et al. StarNet: Joint action-space prediction with star graphs and implicit global-frame self-attention
Meng et al. Trajectory prediction for automated vehicles on roads with lanes partially covered by ice or snow
Buhet et al. Plop: Probabilistic polynomial objects trajectory prediction for autonomous driving
Lamouik et al. Deep neural network dynamic traffic routing system for vehicles
Grimm et al. Holistic graph-based motion prediction
Tan et al. Multi-agent bootstrapped deep q-network for large-scale traffic signal control
Zipfl et al. Relation-based motion prediction using traffic scene graphs
Kruusmaa et al. Covering the path space: a casebase analysis for mobile robot path planning
Girase et al. Physically feasible vehicle trajectory prediction
Li et al. Planning-inspired hierarchical trajectory prediction via lateral-longitudinal decomposition for autonomous driving
Xu et al. Integration of Mixture of Experts and Multimodal Generative AI in Internet of Vehicles: A Survey

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant