CN116415619A - 基于图神经网络对交通场景数据提取特征的方法 - Google Patents
基于图神经网络对交通场景数据提取特征的方法 Download PDFInfo
- Publication number
- CN116415619A CN116415619A CN202111683649.4A CN202111683649A CN116415619A CN 116415619 A CN116415619 A CN 116415619A CN 202111683649 A CN202111683649 A CN 202111683649A CN 116415619 A CN116415619 A CN 116415619A
- Authority
- CN
- China
- Prior art keywords
- neural network
- graph
- traffic scene
- data
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 83
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000004590 computer program Methods 0.000 claims abstract description 9
- 238000013135 deep learning Methods 0.000 claims description 45
- 230000002123 temporal effect Effects 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 8
- 230000006399 behavior Effects 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 230000007613 environmental effect Effects 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 230000000306 recurrent effect Effects 0.000 claims description 2
- 238000002372 labelling Methods 0.000 description 7
- 239000003795 chemical substances by application Substances 0.000 description 3
- 125000004122 cyclic group Chemical group 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000008521 reorganization Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/86—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using syntactic or structural representations of the image or video pattern, e.g. symbolic string recognition; using graph matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
- G08G1/0133—Traffic data processing for classifying traffic situation
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明涉及交通场景环境建模的领域。提供一种基于图神经网络对交通场景数据提取特征的方法，所述方法包括以下步骤：步骤S1)为交通场景数据建立统一定义的数据表示；步骤S2)基于具有统一定义的数据表示的交通场景数据构建图，其中，所述图描述所述交通场景中的实体之间的时间和/或空间的关系；步骤S3)将所构建的图作为图神经网络的输入并进行图神经网络的学习，使得从所述交通场景数据提取特征。本发明还涉及一种基于图神经网络对交通场景数据提取特征的设备和一种计算机程序产品。
Description
技术领域
本发明涉及一种基于图神经网络对交通场景数据提取特征的方法、一种基于图神经网络对交通场景数据提取特征的设备和一种计算机程序产品。
背景技术
当前，深度学习技术在自动驾驶领域中越来越受到关注，其作为一种强大的工具用于实现各种自动驾驶功能，例如感知、预测和规划等。在一种典型的应用场景中，场景深度学习技术可以基于大量来自交通场景的数据来建立交通场景的环境模型。然而，这些来自交通场景的数据通常由不同的传感器(例如不同供应商的图像传感器、激光雷达传感器和/或定位传感器等)采集，甚至来自不同的数据源(例如传感器、车载地图和/或路侧单元等)，因此这些数据的质量和/或规范彼此之间差异很大。由于深度学习技术对数据的质量和/或规范有严格的要求，这无疑对深度学习技术的利用产生负面的影响。
在现有技术中，提出了一些从交通场景的数据源提取特征的方法，其中，可以利用这些特征来建立交通场景的环境模型，以用于车辆或VRU(Vulnerable Road Users，易受伤害的道路使用者)的运动预测、本车辆的行为规划等。然而，这些方法均有使用的局限性，其要么聚焦于手动设计的建模并且高度依赖于特定的交通场景，要么仅仅是对有效信息提取的结构上的优化。
在这种背景下，期待提供一种基于图神经网络对交通场景数据提取特征的方法，用以在交通场景环境建模中更好地利用深度学习技术。
发明内容
本发明的目的在于提供一种基于图神经网络对交通场景数据提取特征的方法、一种基于图神经网络对交通场景数据提取特征的设备和一种计算机程序产品，以至少解决现有技术中的部分问题。
根据本发明的第一方面，提供一种基于图神经网络对交通场景数据提取特征的方法，所述方法包括以下步骤：
步骤S1)为交通场景数据建立统一定义的数据表示；
步骤S2)基于具有统一定义的数据表示的交通场景数据构建图，其中，所述图描述所述交通场景中的实体之间的时间和/或空间的关系；
步骤S3)将所构建的图作为图神经网络的输入并进行图神经网络的学习，使得从所述交通场景数据提取特征。
本发明尤其包括以下技术构思：为来自不同数据源且具有不同规范和/或质量的交通场景数据建立统一定义的数据表示，并基于具有统一定义的数据表示的交通场景数据构建图，其中，图能够描述所述交通场景中的实体之间的时间和/或空间的关系，并且利用图神经网络的强大学习能力完成特征提取，由此能够实现高度抽象、高鲁棒性和兼容性的数据建模。
在本发明的意义中，“统一定义”可以理解如下：使来自不同数据源的数据以能彼此通用的格式来表示，所述格式例如是点、矢量、框、多边形或分割等。需要说明的是，以点和矢量表示的数据之间能够彼此通用。尤其可以以具有统一度量的格式进行数据表示。这些来自不同数据源的数据可能是已存在的数据组，或者可能来源于不同供应商的传感器(例如图像传感器、激光雷达传感器和/或定位传感器等)的图像或点云和/或不同供应商提供的高精地图，或者可能来源于不同功能模块(例如感知、预测、规划等模块)的输出(例如诊断结果、实例分割等)，或者可能来自仿真或游戏的数据等等。可选地，所述数据表示可以包括几何信息和注释信息，其中，所述几何信息和注释信息可以一同存储。
需要说明的是，深度学习算法对于数据很敏感，这些数据的质量和/或规范彼此之间差异会对深度学习算法的性能产生负面影响。示例性地，边界框的定义可能会影响预测算法的准确度，因为车辆的重叠部分在不同的规范中可能包含在框中、也可能从框中排除；两个不同的感知模块(例如由不同供应商提供的传感器)具有不同的感知不确定性，在使用来自这两个感知模块的数据时无疑会产生问题。
在此，尤其实现以下优点：仅需要对交通场景中的各个实体的信息做出微小的改变就可以实现数据重构或数据重组，以用于在后续的方法步骤中构建图。
可选地，在所构建的图中，所述图的节点表示所述交通场景中的实体，并且所述图的边表示所述节点之间的时间和/或空间的关系。所述交通场景中的实体包括行车道边界、交通信号灯或交通标志、交通参与者、障碍物和/或实例。在本发明的意义中，“节点之间的时间和/或空间的关系”包括节点之间的时间关系、节点之间的空间关系以及节点之间的时间和空间关系。
可选地，所提取的特征可以是高度抽象的特征，其可以用于构建交通场景的环境模型。
可选地，所述方法还包括以下步骤：
步骤S4)将所述图神经网络和其他任务的深度学习算法结合形成一个新神经网络，其中，将所述图神经网络所提取的特征作为其他任务的深度学习算法的输入来训练结合后的新神经网络；
步骤S5)通过训练结合后的新神经网络来优化所述图神经网络，并返回步骤S3。
可选地，所述深度学习算法可以是用于不同任务的深度学习算法，其中，所述任务尤其是预测和规划，且包括但不限于行为规划、轨迹规划、VRU预测、智能体(Agents)预测和基于DRL(Deep reinforcement learning，深度强化学习)的规划。在此，所述深度学习算法可以例如是卷积神经网络算法或循环神经网络算法，也可以是图神经网络算法。
在此，尤其实现以下优点：通过训练结合后的新神经网络可以将图神经网络构造为新神经网络的一部分，并在利用不同任务的深度学习算法进行训练的过程中在优化新神经网络的同时也优化了图神经网络，由此实现了利用不同的深度学习算法来优化用于提取特征的图神经网络算法的目的；此外，通过基于不同任务的循环学习不仅使得图神经网络对不同规范和/或质量的数据的适应性变得更强，而且使得所提取的特征变得更高度抽象、鲁棒性和兼容性更好。
可选地，所述方法还包括以下步骤：
步骤S51)将结合后的新神经网络的输出用于调整所述交通场景数据的标签。
在本发明的意义中，“标签”可以理解为机器学习(包括监督学习和非监督学习)中数据的标签，其包括监督学习中的标签以及非监督学习中的模拟系统输出的标签。在机器学习过程中，通过所述标签可以指导机器学习模型进行训练并学到具有判别性的特征。
在此，尤其实现以下优点：利用深度学习算法对所述交通场景数据的标签进行调整，以辅助人工标注、检查人工标注的质量，从而提高了数据质量并进而有效地提高了深度学习算法的性能。
根据本发明的第二方面，提供一种基于图神经网络对交通场景数据提取特征的设备，所述设备用于执行根据本发明的第一方面所述的方法。所述设备包括：
数据采集与预处理模块，其配置成能够采集来自不同数据源的交通场景数据并为所采集的交通场景数据建立统一定义的数据表示；
图构建模块，其配置成能够基于具有统一定义的数据表示的交通场景数据构建图；以及
图神经网络模块，其配置成能够以所构建的图作为输入进行学习，对所述交通场景数据提取特征，并以所提取的特征作为输入来训练其他任务的深度学习算法。
可选地，所述图神经网络模块包括特征提取模块和深度学习模块，其中，所述特征提取模块用于对所述交通场景数据通过图神经网络的学习提取特征，且所述深度学习模块利用其他任务的深度学习算法优化用于提取特征的图神经网络算法。
根据本发明的第三方面，提供一种计算机程序产品，其中，所述计算机程序产品包括计算机程序，所述计算机程序用于在被计算机执行时实施根据本发明的第一方面所述的方法。
附图说明
下面，通过参看附图更详细地描述本发明，可以更好地理解本发明的原理、特点和优点。附图包括：
图1示出根据本发明的一个示例性实施例的基于图神经网络对交通场景数据提取特征的方法的流程图；
图2示出根据本发明的另一示例性实施例的基于图神经网络对交通场景数据提取特征的方法的流程图；
图3示出根据本发明的另一示例性实施例的基于图神经网络对交通场景数据提取特征的方法的流程图；
图4是示出根据本发明的一个示例性实施例的基于图神经网络对交通场景数据提取特征的设备的示意图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案以及有益的技术效果更加清楚明白，以下将结合附图以及多个示例性实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，而不是用于限定本发明的保护范围。
图1示出了根据本发明的一个示例性实施例的基于图神经网络对交通场景数据提取特征的方法的流程图。以下示例性的实施例更详细地描述根据本发明的方法。
在步骤S1中，为交通场景数据建立统一定义的数据表示。在此，所述交通场景数据可以从不同的数据源采集得到。示例性地，这些来自不同数据源的交通场景数据可以是已存在的数据组，或者来源于不同供应商的传感器(例如图像传感器、激光雷达传感器和/或定位传感器等)的图像或点云和/或不同供应商提供的高精地图，或者来源于不同功能模块(例如感知、预测、规划等模块)的输出(例如诊断结果、实例分割等)，或者来自仿真或游戏的数据等等。
在本发明的当前实施例中，所述数据表示可以包括几何信息和注释信息，其中，所述几何信息和注释信息可以一同存储。示例性地，行车道边界的几何信息可以以一系列的点或一组矢量来表示，同时行车道边界的位置可以作为注释信息与所述几何信息一同存储；交通参与者(例如轿车、卡车、自行车、行人等)的几何信息可以以框或多边形来表示，同时交通参与者的位置和方向可以作为注释信息与所述几何信息一同存储；交通信号灯或交通标志的几何信息可以以框或多边形来表示，同时交通信号灯或交通标志的状态、含义等可以作为注释信息与所述几何信息一同存储。
在步骤S2中，基于具有统一定义的数据表示的交通场景数据构建图，其中，所述图描述所述交通场景中的实体之间的时间和/或空间的关系。在本发明的当前实施例中，在所构建的图中，所述图的节点表示所述交通场景中的实体，并且所述图的边表示所述节点之间的时间和/或空间的关系，其中，所述关系包括节点之间的时间关系、节点之间的空间关系以及节点之间的时间和空间关系。所述交通场景中的实体可以包括例如行车道边界、交通信号灯或交通标志、交通参与者、障碍物和/或实例。示例性地，两个车辆之间的距离、位置、速度差等信息可以描述节点之间的空间关系；实线和虚线的行车道边界描述车辆的潜在行驶行为的空间关系；交通信号灯或交通标志的信息在时间和/或空间上定义车辆的合法驾驶行为，例如车辆在哪个时间段允许在哪个行车道上行驶；此外，可以沿着不同的时间步骤建立节点之间的时间关系，例如车辆在驶过叉路口时的随时间变化过程的位置变化信息等等。
在步骤S3中，将所构建的图作为图神经网络的输入并进行图神经网络的学习，使得从所述交通场景数据提取特征。在本发明的当前实施例中，所提取的特征尤其可以是高度抽象的特征，其用于构建交通场景的环境模型。
图2示出了根据本发明的另一示例性实施例的基于图神经网络对交通场景数据提取特征的方法的流程图。以下仅阐述与图1中所示的实施例的区别，而相同的步骤为了简洁起见而不再重复描述。在该实施例中，所述方法还包括步骤S4和S5。
在步骤S4中，将所述图神经网络和用于其他任务的深度学习网络结合成新的神经网络。在此，设计了一个从步骤S2中构建的图到其他任务的端对端(end to end)训练过程，其中，深度学习模块可以用于执行各种不同任务的深度学习算法且包含多个层。一方面，每一种任务可以对应不同的深度学习方法，例如卷积神经网络算法、循环神经网络算法和/或图神经网络算法等；另一方面，深度学习算法可以用于不同的任务，其中，所述任务尤其是预测和规划，且包括但不限于行为规划、轨迹规划、VRU预测、智能体预测和基于DRL的规划，由此通过不同任务的深度学习算法可以对不同的交通场景数据进行深度学习。
在步骤S5中，通过训练结合后的神经网络优化所述图神经网络，并返回步骤S3，从而可以利用优化后的图神经网络提取特征。在此，结合后的新神经网络的输出是参与结合的该深度学习算法适用的任务。例如，参与结合的深度学习算法是用于预测行人轨迹的，那么结合后的新神经网络的输出是行人轨迹。当输出的行人轨迹有性能提升时，即可以优化所述图神经网络，并返回步骤S3，用优化后的图神经网络提取特征。
在该实施例中，可以选取不同的任务和相应的深度学习算法，并通过循环的方式不断地进行学习来优化目标图神经网络，由此在联合多种算法的学习结果中可以获得更多信息并提取到更高度抽象、鲁棒性和兼容性更好的特征。
图3示出了根据本发明的另一示例性实施例的基于图神经网络对交通场景数据提取特征的方法的流程图。以下仅阐述与图2中所示的实施例的区别，而相同的步骤为了简洁起见而不再重复描述。在该实施例中，所述方法还包括步骤S51。
在步骤S51中，将结合后的新神经网络的输出用于调整所述交通场景数据的标签。具体而言，如果某一任务对应的深度学习算法的输出结果在步骤S4和S5中有性能提升，则可以从该算法的输出中抽取信息形成标签。通过所述标签可以辅助数据标注工作，从而实现例如标签的自动预标注和标签的纠错等等。
需要说明的是，在传统的深度学习方法中通常需要通过人工标注方法或其他辅助算法进行标签标注，而在本发明的当前实施例中可以借助从深度学习结果中提取的信息更有效地优化标签标注，从而提高了数据的质量，并进而有效地提高了深度学习算法的性能。
应注意到，在此描述的步骤序号并不必然代表先后顺序，而仅仅是一种附图标记，根据具体情况，顺序可以更改，只要能够实现本发明的技术目的即可。
图4是示出了根据本发明的一个示例性实施例的基于图神经网络对交通场景数据提取特征的设备的示意图。
如图4所示，设备1包括数据采集与预处理模块20、图构建模块30和图神经网络模块40。在此，数据采集与预处理模块20配置成能够采集来自不同数据源的交通场景数据并为所采集的交通场景数据建立统一定义的数据表示；图构建模块30配置成能够基于具有统一定义的数据表示的交通场景数据构建图；图神经网络模块40配置成能够存储所构建的图，对所述交通场景数据提取特征，并利用其他任务的深度学习算法优化用于提取特征的算法(即图神经网络算法)。
具体地，所述图神经网络模块40包括特征提取模块401和深度学习模块402，其中，所述特征提取模块401用于对所述交通场景数据通过图神经网络的学习提取特征，且所述深度学习模块402利用其他任务的深度学习算法优化用于提取特征的图神经网络算法。
尽管这里详细描述了本发明的特定实施方式，但它们仅仅是为了解释的目的而给出的，而不应认为它们对本发明的范围构成限制。在不脱离本发明精神和范围的前提下，各种替换、变更和改造可被构想出来。
Claims (12)
1.一种基于图神经网络对交通场景数据提取特征的方法，所述方法包括以下步骤：
步骤S1)为交通场景数据建立统一定义的数据表示；
步骤S2)基于具有统一定义的数据表示的交通场景数据构建图，其中，所述图描述所述交通场景中的实体之间的时间和/或空间的关系；
步骤S3)将所构建的图作为图神经网络的输入并进行图神经网络的学习，使得从所述交通场景数据提取特征。
2.根据权利要求1所述的方法，其中，所述方法还包括以下步骤：
步骤S4)将所述图神经网络和其他任务的深度学习算法结合形成一个新神经网络，其中，通过将所述图神经网络所提取的特征作为其他任务的深度学习算法的输入来训练结合后的新神经网络；
步骤S5)通过训练结合后的新神经网络来优化所述图神经网络，并返回步骤S3。
3.根据权利要求2所述的方法，其中，所述方法还包括以下步骤：
步骤S51)将结合后的新神经网络的输出用于调整所述交通场景数据的标签。
4.根据权利要求1至3中任一项所述的方法，其中，所述数据表示包括几何信息和注释信息，其中，所述几何信息和注释信息能够一同存储。
5.根据权利要求1至4中任一项所述的方法，其中，所述图的节点表示所述交通场景中的实体，并且所述图的边表示所述节点之间的时间和/或空间的关系。
6.根据权利要求1至5中任一项所述的方法，其中，所述交通场景中的实体包括行车道边界、交通信号灯或交通标志、交通参与者、障碍物和/或实例。
7.根据权利要求2至6中任一项所述的方法，其中，所述深度学习算法是用于不同任务的深度学习算法，其中，所述任务尤其是预测和规划，且包括行为规划、轨迹规划、VRU预测、智能体预测和基于DRL的规划。
8.根据权利要求2至7中任一项所述的方法，其中，所述深度学习算法例如是卷积神经网络算法、循环神经网络算法和/或图神经网络算法等。
9.根据权利要求1至8中任一项所述的方法，其中，在步骤S3中，所提取的特征是高度抽象的特征，其用于构建交通场景的环境模型。
10.一种基于图神经网络对交通场景数据提取特征的设备(1)，所述设备(1)用于执行根据权利要求1至9中任一项所述的方法，所述设备(1)包括：
数据采集与预处理模块(20)，其配置成能够采集来自不同数据源的交通场景数据并为所采集的交通场景数据建立统一定义的数据表示；
图构建模块(30)，其配置成能够基于具有统一定义的数据表示的交通场景数据构建图；以及
图神经网络模块(40)，其配置成能够存储所构建的图，对所述交通场景数据提取特征，并利用其他任务的深度学习算法优化用于提取特征的图神经网络算法。
11.根据权利要求所述的设备(1)，其中，所述图神经网络模块(40)包括特征提取模块(401)和深度学习模块(402)，其中，所述特征提取模块(401)用于对所述交通场景数据通过图神经网络的学习提取特征，且所述深度学习模块(402)利用其他任务的深度学习算法优化用于提取特征的图神经网络算法。
12.一种计算机程序产品，其中，所述计算机程序产品包括计算机程序，所述计算机程序用于在被计算机执行时实施根据权利要求1至9中任一项所述的方法。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111683649.4A CN116415619A (zh) | 2021-12-29 | 2021-12-29 | 基于图神经网络对交通场景数据提取特征的方法 |
| DE102022212788.9A DE102022212788A1 (de) | 2021-12-29 | 2022-11-29 | Verfahren zum Extrahieren von Merkmalen aus Verkehrsszenen-Daten basierend auf einem neuronalen Graphennetzwerk |
| US18/146,427 US20230281424A1 (en) | 2021-12-29 | 2022-12-26 | Method for Extracting Features from Data of Traffic Scenario Based on Graph Neural Network |
| JP2022211313A JP2023098864A (ja) | 2021-12-29 | 2022-12-28 | グラフニューラルネットワークに基づいて交通シーンデータの特徴を抽出する方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111683649.4A CN116415619A (zh) | 2021-12-29 | 2021-12-29 | 基于图神经网络对交通场景数据提取特征的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116415619A true CN116415619A (zh) | 2023-07-11 |
Family
ID=86693621
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111683649.4A Pending CN116415619A (zh) | 2021-12-29 | 2021-12-29 | 基于图神经网络对交通场景数据提取特征的方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20230281424A1 (zh) |
| JP (1) | JP2023098864A (zh) |
| CN (1) | CN116415619A (zh) |
| DE (1) | DE102022212788A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117875083B (zh) * | 2024-02-20 | 2024-09-24 | 清华大学 | 基于图论的城市多车对抗场景建模方法及装置 |
-
2021
- 2021-12-29 CN CN202111683649.4A patent/CN116415619A/zh active Pending
-
2022
- 2022-11-29 DE DE102022212788.9A patent/DE102022212788A1/de active Pending
- 2022-12-26 US US18/146,427 patent/US20230281424A1/en active Pending
- 2022-12-28 JP JP2022211313A patent/JP2023098864A/ja active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20230281424A1 (en) | 2023-09-07 |
| JP2023098864A (ja) | 2023-07-11 |
| DE102022212788A1 (de) | 2023-06-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10796201B2 (en) | Fusing predictions for end-to-end panoptic segmentation | |
| Fernando et al. | Deep inverse reinforcement learning for behavior prediction in autonomous driving: Accurate forecasts of vehicle motion | |
| KR102539942B1 (ko) | 궤적 계획 모델을 훈련하는 방법, 장치, 전자 기기, 저장 매체 및 프로그램 | |
| CN111582189B (zh) | 交通信号灯识别方法、装置、车载控制终端及机动车 | |
| JP2022516288A (ja) | 階層型機械学習ネットワークアーキテクチャ | |
| Niranjan et al. | Deep learning based object detection model for autonomous driving research using carla simulator | |
| CN112307978B (zh) | 目标检测方法、装置、电子设备及可读存储介质 | |
| US11556126B2 (en) | Online agent predictions using semantic maps | |
| CN111971725A (zh) | 用于确定车辆的变道说明的方法、计算机可读存储介质以及车辆 | |
| US20230048926A1 (en) | Methods and Systems for Predicting Properties of a Plurality of Objects in a Vicinity of a Vehicle | |
| Petrovai et al. | Semantic cameras for 360-degree environment perception in automated urban driving | |
| Zipfl et al. | From traffic sensor data to semantic traffic descriptions: The test area autonomous driving baden-württemberg dataset (taf-bw dataset) | |
| WO2022089627A1 (en) | Method and system for motion planning for an autonmous vehicle | |
| US20230281424A1 (en) | Method for Extracting Features from Data of Traffic Scenario Based on Graph Neural Network | |
| US20230154198A1 (en) | Computer-implemented method for multimodal egocentric future prediction | |
| CN117593685A (zh) | 真值数据的构建方法和装置、存储介质 | |
| WO2022006777A1 (zh) | 对周围移动物体进行变道分类的方法、系统、计算机设备及存储介质 | |
| EP4375953A1 (en) | Perceptual load determination method, computer program, computer readable medium, perceptual load determination system and advanced driving assistance system | |
| Tewari et al. | AI-based autonomous driving assistance system | |
| CN106097751A (zh) | 车辆行驶控制方法及装置 | |
| Del Egido et al. | 360 real-time 3d multi-object detection and tracking for autonomous vehicle navigation | |
| CN117611788B (zh) | 动态真值数据的校正方法和装置、存储介质 | |
| EP3992942A1 (en) | Methods and systems for determining an attribute of an object at a pre-determined point | |
| Joshi et al. | A Novel Framework for Autonomous Driving | |
| Luo | Learning to Drive: Exploiting Deep Models for Autonomous Driving |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication |