CN117237475A - 一种基于扩散生成模型的车辆交通轨迹生成方法及装置 - Google Patents
一种基于扩散生成模型的车辆交通轨迹生成方法及装置 Download PDFInfo
- Publication number
- CN117237475A CN117237475A CN202311024393.5A CN202311024393A CN117237475A CN 117237475 A CN117237475 A CN 117237475A CN 202311024393 A CN202311024393 A CN 202311024393A CN 117237475 A CN117237475 A CN 117237475A
- Authority
- CN
- China
- Prior art keywords
- noise
- track
- center position
- initial
- speed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 88
- 238000009792 diffusion process Methods 0.000 title claims abstract description 35
- 238000012549 training Methods 0.000 claims abstract description 14
- 230000008569 process Effects 0.000 claims description 24
- 238000005070 sampling Methods 0.000 claims description 14
- 230000003068 static effect Effects 0.000 claims description 14
- 230000015654 memory Effects 0.000 claims description 10
- 239000004576 sand Substances 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 abstract description 2
- 238000013461 design Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000001502 supplementing effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 239000013589 supplement Substances 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000189662 Calla Species 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation
Abstract
本发明公开了一种基于扩散生成模型的车辆交通轨迹生成方法及装置，涉及交通场景生成技术和自动驾驶技术领域。包括：对于待生成轨迹的任意全新无轨迹地图场景，根据地图场景所需生成的轨迹数量以及轨迹所需时间跨度得到纯噪声，将纯噪声作为初始中心位置和初始速度；将初始中心位置和初始速度输入到训练好的噪声预测网络；根据初始中心位置、初始速度以及噪声预测网络，得到预测的中心位置噪声和相对位置噪声，进而得到地图场景的车辆交通轨迹。本发明能够生成更长且完整的在不同场景接近真实分布的驾驶轨迹，丰富已有的数据集，为自动驾驶轨迹预测模型训练和大规模自动驾驶系统评估提供数据支撑，提高自动驾驶决策算法的可靠性和准确性。
Description
技术领域
本发明涉及交通场景生成技术和自动驾驶技术领域，尤其涉及一种基于扩散生成模型的车辆交通轨迹生成方法及装置。
背景技术
自动驾驶技术(Autonomous Driving)是一种利用先进的计算机视觉、传感器和人工智能技术，使车辆能够在没有人类驾驶员干预的情况下自主地感知和解释环境，并安全地执行行驶任务的技术。它包括涉及计算机视觉和雷达等传感器技术的感知任务，轨迹预测、路径规划避障等功能的决策任务，以及进行控制操作的执行任务。自动驾驶技术的目标是提高交通效率缓解交通拥堵，提高安全性、减少交通事故，并为用户提供更便捷、高效的出行方式。在现实世界中部署自动驾驶的最大障碍之一是确保决策算法控制的车辆在各种交通场景中安全可靠地运行。获得不同场景下更多样全面、时间跨度更长的驾驶数据具有大规模评估自动驾驶系统的潜力，可以实现快速开发和安全部署。
目前主流的轨迹数据集收集方法，一般是需要特定的数据收集车在不同时间段和地点、在真实世界中通过目标检测技术，将传感器收集到的数据转化为车辆轨迹，为决策算法提供训练和评估数据支撑，以保证驾驶场景的保真度。用这种方式进行大规模的轨迹数据收集是一个耗时的过程。其次，由于它们是由数据采集车辆在行驶中收集的，而这些车辆经常被其他交通参与者遮挡，因而收集的轨迹大多是碎片化的、不完整的，且大部分的轨迹跨度都很短。如Waymo Open Dataset中，只有30％的轨迹持续时间超过10秒，只有12％的轨迹覆盖了整个场景。另一方面，一个覆盖更多交通场景的解决方案是手动设计测试用例或使用启发式方法。然而，在模拟器中手动设计生成的场景不能很好地反映现实世界交通和道路结构的复杂性。此外，它需要大量的人力和领域知识来设计放置车辆的规则，确定它们的初始状态，并设置触发条件以确保自我车辆与其他交通参与者之间的交互(D.J.Fremont,T.Dreossi,S.Ghosh,X.Y ue,A.L.Sangiovanni-Vincentelli,andS.A.Seshia,“Scenic:A language for scenario specification and scenegeneration,”in Proceedings of the 40th ACM SIGPLAN Conference on ProgrammingLanguage Design and Implementation,2019,pp.63–78.)。目前，大多数模拟器，如CARLA和SMARTS，都有手工制作的交通生成规则和地图，但可供测试的交通场景仍远远不足以模拟现实世界的复杂性。为了生成更加真实的驾驶场景，研究人员试图应用数据驱动的方法从大规模的现实世界数据集中学习得到相关的数据生成模型。Liang等学习了交通流的概率分布，从中可以对新场景进行采样，但是该方法需要封装关于交通规则的场景语法(M.Liang,B.Yang,R.Hu,Y.Chen,R.Liao,S.Feng,and R.Urtasun,“Learning lane graphrepresentations for motion forecasting,”in European Conference on ComputerVision,Springer,2020,pp.541–556.)。Tan等提出了一种神经自回归模型SceneGen，将各种类别的车辆插入到场景中，并综合它们的大小、方向和速度，对场景的高维特征进行建模，提高了保真度和可扩展性，但是该方法需要过滤掉在道路边界之外不合适放置的车辆，并且只能生成单帧静态的场景(S.Tan,K.Wong,S.Wang,S.Manivasagam,M.Ren,andR.Urtasun,“Scenegen:Learning to generate realistic traffic scenes,”inProceedings of the IEEE/CVF Conference on Computer Vision and PatternRecognition,2021,pp.892–901.)。
发明内容
本发明针对如何根据输入地图等上下文信息，生成模拟真实场景的全新驾驶场景，或是丰富补充现有的场景的问题，提出了本发明。
为解决上述技术问题，本发明提供如下技术方案：
一方面，本发明提供了一种基于扩散生成模型的车辆交通轨迹生成方法，该方法由电子设备实现，该方法包括：
S1、对于待生成轨迹的任意全新无轨迹地图场景，根据地图场景所需生成的轨迹数量以及轨迹所需时间跨度得到纯噪声，将纯噪声作为初始中心位置和初始速度。
S2、将初始中心位置和初始速度输入到训练好的噪声预测网络。
S3、根据初始中心位置、初始速度以及噪声预测网络，得到预测的中心位置噪声和相对位置噪声，进而得到地图场景的车辆交通轨迹。
可选地，S2中的噪声预测网络的训练过程，包括：
S21、获取样本数据集中的轨迹样本，将轨迹样本中两段碎片化轨迹之间缺失部分的速度视为匀速进行数据填补，并添加一维掩膜记录为填补数据。
S22、获取填补后的轨迹样本的中心位置范围和轨迹速度范围，对中心位置和轨迹速度进行S步正向扩散过程加噪，得到带噪声的中心位置Ps和带噪声的轨迹速度vals。
S23、根据带噪声的轨迹速度，得到轨迹的相对位置噪声。
S24、通过优化加权求和的负对数似然变分界学习噪声预测网络。
可选地，S23中的根据带噪声的轨迹速度，得到轨迹的相对位置噪声，如下式(1)所示：
其中，为t时刻相对位置噪声，tmid为中间时刻，/>为第i时刻速度噪声。
可选地，S24中的加权求和的负对数似然变分界，如下式(2)所示：
其中，epos中心位置噪声，P为中心位置，为第s步的预测的中心位置噪声，etraj为相对位置噪声，traj为相对位置，/>为第s步的预测的相对位置噪声。
可选地，S1中的根据地图场景所需生成的轨迹数量以及轨迹所需时间跨度得到纯噪声，将纯噪声作为初始中心位置和初始速度，包括：
根据地图场景所需生成的轨迹数量N以及轨迹所需时间跨度T，采样N×(T-1)个服从正态分布的第一纯噪声，将第一纯噪声作为初始速度。
采样N个服从正态分布的第二纯噪声，将第二纯噪声作为初始中心位置。
可选地，S3中的根据初始中心位置、初始速度以及噪声预测网络，得到预测的中心位置噪声和相对位置噪声，进而得到地图场景的车辆交通轨迹，包括：
S31、根据初始中心位置以及初始速度，得到第s步带噪声的中心位置Ps和轨迹速度vals，将Ps和vals输入噪声预测网络，得到第s步的预测的中心位置噪声和相对位置噪声/>
S32、更新得到第s-1步逆向过程的带噪声的中心位置Ps-1和相对位置trajs-1。
S33、经过S步逆向过程去噪后，得到轨迹的中心位置P0和相对位置traj0，对P0和traj0求和，得到当前地图场景坐标系下轨迹的绝对位置pos0，进而得到地图场景的车辆交通轨迹。
可选地，S2中的噪声预测网络包括编码器以及解码器。
其中，编码器，用于获取地图编码、轨迹编码、邻居编码以及时间编码。
解码器，用于根据地图编码、轨迹编码、邻居编码以及时间编码，得到预测的中心位置噪声和相对位置噪声。
可选地，获取地图编码、轨迹编码、邻居编码以及时间编码，包括：
对加噪系数进行傅里叶变换，得到时间编码times。
将带噪声的轨迹速度vals输入长短期记忆网络LSTM，获得轨迹编码emb。
将带噪声的相对位置、轨迹速度和邻居轨迹速度输入LSTM，获得邻居编码nei。
将地图场景表示为具有拓扑结构的车道段，通过多层感知机MLP获得车道的静态编码以及动态编码，将静态编码以及动态编码相加作为车道特征，根据车道特征获得地图编码。
可选地，根据地图编码、轨迹编码、邻居编码以及时间编码，得到预测的中心位置噪声和相对位置噪声，包括：
将轨迹编码和时间编码通过交叉注意进行更新，获取邻居轨迹特征，将邻居轨迹特征通过自注意，获取新的邻居轨迹特征。
对带噪声的中心位置Ps与附近范围的车道做交叉注意，获得中心位置特征，将中心位置特征和时间编码通过MLP解码，获得预测的中心位置噪声
对所有车道特征做交叉注意，获得轨迹特征，将轨迹特征和时间编码通过MLP解码，获得预测的相对位置噪声
另一方面，本发明提供了一种基于扩散生成模型的车辆交通轨迹生成装置，该装置应用于实现基于扩散生成模型的车辆交通轨迹生成方法，该装置包括：
获取模块，用于对于待生成轨迹的任意全新无轨迹地图场景，根据地图场景所需生成的轨迹数量以及轨迹所需时间跨度得到纯噪声，将纯噪声作为初始中心位置和初始速度。
输入模块，用于将初始中心位置和初始速度输入到训练好的噪声预测网络。
输出模块，用于根据初始中心位置、初始速度以及噪声预测网络，得到预测的中心位置噪声和相对位置噪声，进而得到地图场景的车辆交通轨迹。
可选地，输入模块，进一步用于：
S21、获取样本数据集中的轨迹样本，将轨迹样本中两段碎片化轨迹之间缺失部分的速度视为匀速进行数据填补，并添加一维掩膜记录为填补数据。
S22、获取填补后的轨迹样本的中心位置范围和轨迹速度范围，对中心位置和轨迹速度进行S步正向扩散过程加噪，得到带噪声的中心位置Ps和带噪声的轨迹速度vals。
S23、根据带噪声的轨迹速度，得到轨迹的相对位置噪声。
S24、通过优化加权求和的负对数似然变分界学习噪声预测网络。
可选地，根据带噪声的轨迹速度，得到轨迹的相对位置噪声，如下式(1)所示：
其中，为t时刻相对位置噪声，tmid为中间时刻，/>为第i时刻速度噪声。
可选地，加权求和的负对数似然变分界，如下式(2)所示：
其中，epos中心位置噪声，P为中心位置，为第s步的预测的中心位置噪声，etraj为相对位置噪声，traj为相对位置，/>为第s步的预测的相对位置噪声。
可选地，获取模块，进一步用于：
根据地图场景所需生成的轨迹数量N以及轨迹所需时间跨度T，采样N×(T-1)个服从正态分布的第一纯噪声，将第一纯噪声作为初始速度。
采样N个服从正态分布的第二纯噪声，将第二纯噪声作为初始中心位置。
可选地，输出模块，进一步用于：
S31、根据初始中心位置以及初始速度，得到第s步带噪声的中心位置Ps和轨迹速度vals，将Ps和vals输入噪声预测网络，得到第s步的预测的中心位置噪声和相对位置噪声/>
S32、更新得到第s-1步逆向过程的带噪声的中心位置Ps-1和相对位置trajs-1。
S33、经过S步逆向过程去噪后，得到轨迹的中心位置P0和相对位置traj0，对P0和traj0求和，得到当前地图场景坐标系下轨迹的绝对位置pos0，进而得到地图场景的车辆交通轨迹。
可选地，噪声预测网络包括编码器以及解码器。
其中，编码器，用于获取地图编码、轨迹编码、邻居编码以及时间编码。
解码器，用于根据地图编码、轨迹编码、邻居编码以及时间编码，得到预测的中心位置噪声和相对位置噪声。
可选地，输入模块，进一步用于：
对加噪系数进行傅里叶变换，得到时间编码times。
将带噪声的轨迹速度vals输入长短期记忆网络LSTM，获得轨迹编码emb。
将带噪声的相对位置、轨迹速度和邻居轨迹速度输入LSTM，获得邻居编码nei。
将地图场景表示为具有拓扑结构的车道段，通过多层感知机MLP获得车道的静态编码以及动态编码，将静态编码以及动态编码相加作为车道特征，根据车道特征获得地图编码。
可选地，输入模块，进一步用于：
将轨迹编码和时间编码通过交叉注意进行更新，获取邻居轨迹特征，将邻居轨迹特征通过自注意，获取新的邻居轨迹特征。
对带噪声的中心位置Ps与附近范围的车道做交叉注意，获得中心位置特征，将中心位置特征和时间编码通过MLP解码，获得预测的中心位置噪声
对所有车道特征做交叉注意，获得轨迹特征，将轨迹特征和时间编码通过MLP解码，获得预测的相对位置噪声
一方面，提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述基于扩散生成模型的车辆交通轨迹生成方法。
一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述基于扩散生成模型的车辆交通轨迹生成方法。
上述技术方案，与现有技术相比至少具有如下有益效果：
上述方案，以扩散模型的方式通过数据驱动从现实世界数据集中学习可生成接近真实分布的交通轨迹生成模型。与目前使用传感器收集大规模轨迹数据集方法相比，该方法时间和成本低，且能够生成长时间、完整的驾驶场景数据，达到补充现有数据集的效果。与手动设计用例相比，该方法不包含人为限制因素使其更符合真实世界的数据分布，且不需要大量的人力和领域知识来设计放置车辆的规则。与学习概率分布生成交通快照的方法相比，本方法可直接生成一段时间的驾驶轨迹，借助扩散模型使得训练稳定且提高样本的多样性。本方法生成的轨迹可作为有效的数据补充来训练自动驾驶决策领域有效的基于学习的方法。这对于提高决策算法性能，提高AD系统可靠性和安全性具有重要意义。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的基于扩散生成模型的车辆交通轨迹生成方法流程示意图；
图2是本发明实施例提供的基于扩散模型生成驾驶场景轨迹方法的训练阶段示意图；
图3是本发明实施例提供的基于扩散模型生成驾驶场景轨迹方法的噪声预测网络结构示意图；
图4是本发明实施例提供的基于扩散模型生成驾驶场景轨迹方法的轨迹生成阶段示意图；
图5是本发明实施例提供的基于扩散生成模型的车辆交通轨迹生成装置框图；
图6是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供了一种基于扩散生成模型的车辆交通轨迹生成方法，该方法可以由电子设备实现。如图1所示的基于扩散生成模型的车辆交通轨迹生成方法流程图，该方法的处理流程可以包括如下的步骤：
S1、对于待生成轨迹的任意全新无轨迹地图场景，根据地图场景所需生成的轨迹数量以及轨迹所需时间跨度得到纯噪声，将纯噪声作为初始中心位置和初始速度。
可选地，S1中的根据地图场景所需生成的轨迹数量以及轨迹所需时间跨度得到纯噪声，将纯噪声作为初始中心位置和初始速度，包括：
根据地图场景所需生成的轨迹数量N以及轨迹所需时间跨度T，采样N×(T-1)个服从正态分布的第一纯噪声，将第一纯噪声作为初始速度。
采样N个服从正态分布的第二纯噪声，将第二纯噪声作为初始中心位置。
一种可行的实施方式中，在轨迹生成阶段，从标准差为数据范围，均值为零的正态分布中采样需要生成数量的纯噪声，作为初始中心位置和初始相对位置，输入训练得到的噪声预测网络中，经过S步逆向扩散过程，还原得到场景轨迹。
本发明将每个场景轨迹生成任务分为生成轨迹中间时刻tmid的中心位置，和生成相对于中心位置的相对轨迹。
S2、将初始中心位置和初始速度输入到训练好的噪声预测网络。
一种可行的实施方式中，如图2所示，在训练阶段，根据轨迹的中心位置范围和速度范围，对中心位置和速度进行S步正向扩散过程加噪，由速度噪声积分得到当前步骤正向过程的相对位置噪声。通过优化加权求和的负对数似然变分界损失，学习可以预测中心位置噪声和相对位置噪声的噪声预测网络。
具体地，S2中的噪声预测网络的训练过程，包括S21-S23：
S21、获取样本数据集中的轨迹样本，将轨迹样本中两段碎片化轨迹之间缺失部分的速度视为匀速进行数据填补，并添加一维掩膜记录为填补数据。
一种可行的实施方式中，对训练样本数据集统计数据范围，样本场景坐标系采用采样车坐标系，取样本场景每个轨迹中间时刻tmid的位置作为轨迹的中心位置，相对轨迹位置表示为相对于中心位置的距离。对同一轨迹两段碎片化轨迹之间缺失的部分，视为匀速运动进行填补。统计训练集中所有轨迹的中心位置和速度范围，向中心位置和轨迹速度添加的epos和eva服从标准差为中心位置范围σp和速度范围σval，以保证整个前向过程的数据结果具有接近的分布范围。
进一步地，场景坐标系采用采样车坐标系，中间时间帧tmid的轨迹坐标作为中心位置P0。对同一轨迹两段碎片化轨迹缺失的部分，轨迹速度val0根据缺失帧的起点和终点位置，视为匀速运动进行填补，并添加一维掩膜记录是否由填补获得。统计样本数据集中所有的中心位置和速度的二范数的最大值，作为中心位置范围σp和速度范围σval。
S22、获取填补后的轨迹样本的中心位置范围和轨迹速度范围，对中心位置和轨迹速度进行S步正向扩散过程加噪，得到带噪声的中心位置Ps和带噪声的轨迹速度vals。
S23、根据带噪声的轨迹速度，得到轨迹的相对位置噪声。
一种可行的实施方式中，设置参数表总加噪步数为S，加噪系数βs从0.0005线性增加到0.05。根据参数表获得，第s步衰减系数αs＝1-βs。由此，经过s步正向过程后的衰减系数和噪声系数为和/>
进一步地，在当前s步加噪系数下：带噪声的中心位置为/> t时刻带噪声的轨迹速度为/>掩膜不受正向加噪过程影响。其中，epos,eval服从均值为0，标准差分别为中心位置范围σp和速度范围σval的正态分布。P0,val0为未加噪的真实数据。中间时刻tmid的相对位置噪声固定为0，且不需要学习。对速度和速度噪声进行积分，获得加噪后的轨迹相对位置trajs和轨迹相对位置噪声etraj，t时刻的轨迹相对位置/>和轨迹相对位置噪声/>积分公式如下：
简化积分公式如下，对tmid时刻为0且不需要预测：
其中，为t时刻相对位置噪声，tmid为中间时刻，/>为第i时刻速度噪声。
进一步地，对每次参数更新，均匀从1到S步中随机选择s，确定当前处于的步骤，由正向过程得到带噪声的数据Ps,vals。将Ps,vals输入噪声预测网络模型，得到当前第s步噪声预测值
S24、通过优化加权求和的负对数似然变分界学习噪声预测网络。
一种可行的实施方式中，将在正向加噪过程中，向中心位置和相对位置添加的epos和etraj作为标签，通过加权使得负对数似然的变分界不同步骤的正向过程的系数均为1，得到损失函数，如下式(5)所示，优化该加权求和的负对数似然的变分界L(θ)来优化噪声预测网络。
其中，epos中心位置噪声，P为中心位置，为第s步的预测的中心位置噪声，etraj为相对位置噪声，traj为相对位置，/>为第s步的预测的相对位置噪声。
可选地，S2中的噪声预测网络包括编码器以及解码器。
一种可行的实施方式中，如图3所示，噪声预测网络模型包含编码器和解码器两部分，编码器通过时序网络提取加噪轨迹及邻居轨迹的编码，通过图卷积网络提取地图动态和静态特征；解码器通过表示当前加噪步数的时间编码，结合轨迹编码通过交叉注意力更新获取邻居车道和邻居轨迹特征，通过自注意力层获取更高层的邻居轨迹特征；最后分别通过对中心位置附近大范围的车道做交叉注意力估计中心位置噪声、通过对整条轨迹附近小范围的车道做交叉注意力估计相对位置噪声。
其中，编码器，用于获取地图编码、轨迹编码、邻居编码以及时间编码。
具体地，将噪声系数通过傅里叶变换作为时间编码times。
轨迹编码器对第s步扩散后的轨迹进行编码，加噪后的轨迹速度通过LSTM进行时序上的交互获得轨迹特征emb。
对于轨迹的邻居轨迹，将每个时间的相对位置、轨迹速度和邻居轨迹速度通过LSTM(Long Short-Term Memory，长短期记忆网络)做时序上的交互作为邻居特征nei。
对场景上下文进行编码，将地图中的静态车道特征，包括位置、形状和语义信息等通过MLP(Multilayer Perceptron，多层感知机)进行编码获得静态特征。将车道附近的轨迹特征、车道位置和轨迹中心位置之差通过MLP作为车道的动态特征。将静态特征和动态特征之和作为车道特征。根据车道之间的连接关系，通过GCN(Graph ConvolutionalNetworks，图卷积网络)对车道之间进行交互，获得更新后的车道特征。
一种可行的实施方式中，噪声预测网络的地图编码器将地图表示为具有拓扑结构的车道段，对地图中每个车道，将中心位置，形状，以及数据集中提供的车道语义特征，通过MLP获得该车道静态编码mapsta∈Rdim。将该车道i附近15m内全部的m′个邻居轨迹作为其邻居，将邻居轨迹中心位置与车道的相对距离、轨迹特征进行串联，通过MLP作为车道动态编码mapdyn∈Rm′×dim。将静态编码和m′个动态编码相加作为当前场景的车道特征。根据地图车道之间的连接关系，通过图网络对地图之间特征进行交互，获得交互后的车道编码map∈Rdim。
本实施例中，更新车道的图网络采用LaneGCN中使用的车道图卷积(Ming Liang,Bin Yang,Rui Hu,Y un Chen,Renjie Liao,Song Feng,and Raquel Urtasun.Learninglane graph representations for motion forecasting.In Proceedings of theEuropean Conference on Computer Vision(ECCV),2020.)，使用三层车道图卷积，每层图卷积连接前后距离为1，2，4的车道和左右相邻的车道。
解码器，用于根据地图编码、轨迹编码、邻居编码以及时间编码，得到预测的中心位置噪声和相对位置噪声。
具体地，将轨迹编码和时间编码通过交叉注意进行更新，获取邻居轨迹特征，将邻居轨迹特征通过自注意，获取新的邻居轨迹特征。
对带噪声的中心位置Ps与附近范围的车道做交叉注意，获得中心位置特征，将中心位置特征和时间编码通过MLP解码，获得预测的中心位置噪声
对所有车道特征做交叉注意，获得轨迹特征，将轨迹特征和时间编码通过MLP解码，获得预测的相对位置噪声
一种可行的实施方式中，模型解码器根据表示当前噪声系数的时间编码times和带有噪声的轨迹特征，对当前场景其它元素做交叉注意力，实现基于当前场景为条件的解码。
具体地，噪声预测网络的解码器将时间编码times和轨迹编码emb连接，通过全连接层作为解码器的query。每条轨迹中心位置与周围车道的相对位置通过MLP作为地图的相对位置编码，将相对位置编码和地图特征map连接作为key做交叉注意获得周围地图信息。将更新后的轨迹编码作为query，将邻居特征、与邻居轨迹中心位置间的相对距离连接，通过MLP生成key，与邻居特征进行交叉注意。在更新后的轨迹特征之间做自注意获得更高层的邻居信息。
进一步地，对带有噪声的中心位置较大范围的车道段和轨迹做交叉注意，获得中心位置特征，与时间编码连接之后，通过MLP解码得到当前s加噪步骤的中心位置噪声对轨迹附近车道段做交叉注意，获得轨迹特征，与时间编码连接之后，通过MLP解码得到当前s加噪步骤的轨迹位置噪声/>
本实施例中，将轨迹编码和时间编码连接作为query，将车道中心点与每个轨迹的位置中心点之差，通过MLP作为轨迹和车道的相对位置编码distam。将相对位置编码distam和车道特征map连接作为key，对车道进行交叉注意。将轨迹之间的中心位置之差通过MLP作为轨迹和邻居轨迹的相对位置编码distaa′，将distaa′和对应邻居特征nei连接作为query，对邻居特征进行交叉注意。通过交叉注意更新后的轨迹特征emb通过自注意层以获得更高层的邻居信息。
本实施例中，将经过交叉注意和自注意更新后的带噪声的轨迹特征emb与轨迹中心位置周围50m内车道特征做交叉注意，获得中心位置特征，与时间编码连接之后，通过MLP解码，获得当前t步前向过程中心位置加噪的预测值对整条轨迹附近10m内所有车道特征做交叉注意，获得轨迹特征，与时间编码连接之后，通过MLP解码，获得当前t步前向过程轨迹加噪的预测值/>
本实施例中，数据集可以使用Argoverse 1数据集(Ming-Fang Chang,JohnLambert,Patsorn Sangkloy,Jagjeet Singh,Slawomir Bak,Andrew Hartnett,De Wang,Peter Carr,Simon Lucey,Deva Ramanan,et al Argoverse:3d tracking andforecasting with rich maps.In Proceedings of the IEEE/CVF Conference onComputer Vision and Pattern Recognition(CVPR),2019.)，其收集了来自迈阿密和匹兹堡的采样率为10hz，序列长度为5s的323,557个数据序列，其地图被划分为具有拓扑连接的车道段，每个车道段包含中心线及弯道、控制、重叠等信息。
S3、根据初始中心位置、初始速度以及噪声预测网络，得到预测的中心位置噪声和相对位置噪声，进而得到地图场景的车辆交通轨迹。
可选地，如图4所示，上述步骤S3可以包括如下步骤S31-S33：
S31、根据初始中心位置以及初始速度，得到第s步带噪声的中心位置Ps和轨迹速度vals，将Ps和vals输入噪声预测网络，得到第s步的预测的中心位置噪声和相对位置噪声/>
具体地，在轨迹生成阶段，由训练完成的噪声预测网络在任意全新无轨迹地图场景生成数量N、所需时间跨度T的轨迹，具体包括：采样所需数量的服从正态分布的纯噪声作为逆向过程初始第S步的速度vals∈RN×(T-1)×2，以及对应数量服从正态分布/>的纯噪声作为初始中心位置PS∈RN×2。
S32、更新得到第s-1步逆向过程的带噪声的中心位置Ps-1和相对位置trajs-1。
一种可行的实施方式中，更新得到第s-1步逆向过程相对位置 中心位置/> 其中αs,/>βs为与s相关的扩散过程参数，/>在每步逆向过程独立采样，服从均值为0，标准差分别为中心位置范围σp和速度范围σval的正态分布。
进一步地，第s-1步的轨迹速度vals-1由trajs-1根据相邻时刻求差得到。
S33、经过S步逆向过程去噪后，得到轨迹的中心位置P0和相对位置traj0，对P0和traj0求和，得到当前地图场景坐标系下轨迹的绝对位置pos0，进而得到地图场景的车辆交通轨迹。
本发明实施例中，以扩散模型的方式通过数据驱动从现实世界数据集中学习可生成接近真实分布的交通轨迹生成模型。与目前使用传感器收集大规模轨迹数据集方法相比，该方法时间和成本低，且能够生成长时间、完整的驾驶场景数据，达到补充现有数据集的效果。与手动设计用例相比，该方法不包含人为限制因素使其更符合真实世界的数据分布，且不需要大量的人力和领域知识来设计放置车辆的规则。与学习概率分布生成交通快照的方法相比，本方法可直接生成一段时间的驾驶轨迹，借助扩散模型使得训练稳定且提高样本的多样性。本方法生成的轨迹可作为有效的数据补充来训练自动驾驶决策领域有效的基于学习的方法。这对于提高决策算法性能，提高AD系统可靠性和安全性具有重要意义。
如图5所示，本发明实施例提供了一种基于扩散生成模型的车辆交通轨迹生成装置500，该装置500应用于实现基于扩散生成模型的车辆交通轨迹生成方法，该装置500包括：
获取模块510，用于对于待生成轨迹的任意全新无轨迹地图场景，根据地图场景所需生成的轨迹数量以及轨迹所需时间跨度得到纯噪声，将纯噪声作为初始中心位置和初始速度。
输入模块520，用于将初始中心位置和初始速度输入到训练好的噪声预测网络。
输出模块530，用于根据初始中心位置、初始速度以及噪声预测网络，得到预测的中心位置噪声和相对位置噪声，进而得到地图场景的车辆交通轨迹。
可选地，输入模块520，进一步用于：
S21、获取样本数据集中的轨迹样本，将轨迹样本中两段碎片化轨迹之间缺失部分的速度视为匀速进行数据填补，并添加一维掩膜记录为填补数据。
S22、获取填补后的轨迹样本的中心位置范围和轨迹速度范围，对中心位置和轨迹速度进行S步正向扩散过程加噪，得到带噪声的中心位置Ps和带噪声的轨迹速度vals。
S23、根据带噪声的轨迹速度，得到轨迹的相对位置噪声。
S24、通过优化加权求和的负对数似然变分界学习噪声预测网络。
可选地，根据带噪声的轨迹速度，得到轨迹的相对位置噪声，如下式(1)所示：
其中，为t时刻相对位置噪声，tmid为中间时刻，/>为第i时刻速度噪声。
可选地，加权求和的负对数似然变分界，如下式(2)所示：
其中，epos中心位置噪声，P为中心位置，为第s步的预测的中心位置噪声，etraj为相对位置噪声，traj为相对位置，/>为第s步的预测的相对位置噪声。
可选地，获取模块510，进一步用于：
根据地图场景所需生成的轨迹数量N以及轨迹所需时间跨度T，采样N×(T-1)个服从正态分布的第一纯噪声，将第一纯噪声作为初始速度。
采样N个服从正态分布的第二纯噪声，将第二纯噪声作为初始中心位置。
可选地，输出模块530，进一步用于：
S31、根据初始中心位置以及初始速度，得到第s步带噪声的中心位置Ps和轨迹速度vals，将Ps和vals输入噪声预测网络，得到第s步的预测的中心位置噪声和相对位置噪声/>
S32、更新得到第s-1步逆向过程的带噪声的中心位置Ps-1和相对位置trajs-1。
S33、经过S步逆向过程去噪后，得到轨迹的中心位置P0和相对位置traj0，对P0和traj0求和，得到当前地图场景坐标系下轨迹的绝对位置pos0，进而得到地图场景的车辆交通轨迹。
可选地，噪声预测网络包括编码器以及解码器。
其中，编码器，用于获取地图编码、轨迹编码、邻居编码以及时间编码。
解码器，用于根据地图编码、轨迹编码、邻居编码以及时间编码，得到预测的中心位置噪声和相对位置噪声。
可选地，输入模块520，进一步用于：
对加噪系数进行傅里叶变换，得到时间编码times。
将带噪声的轨迹速度vals输入长短期记忆网络LSTM，获得轨迹编码emb。
将带噪声的相对位置、轨迹速度和邻居轨迹速度输入LSTM，获得邻居编码nei。
将地图场景表示为具有拓扑结构的车道段，通过多层感知机MLP获得车道的静态编码以及动态编码，将静态编码以及动态编码相加作为车道特征，根据车道特征获得地图编码。
可选地，输入模块520，进一步用于：
将轨迹编码和时间编码通过交叉注意进行更新，获取邻居轨迹特征，将邻居轨迹特征通过自注意，获取新的邻居轨迹特征。
对带噪声的中心位置Ps与附近范围的车道做交叉注意，获得中心位置特征，将中心位置特征和时间编码通过MLP解码，获得预测的中心位置噪声
对所有车道特征做交叉注意，获得轨迹特征，将轨迹特征和时间编码通过MLP解码，获得预测的相对位置噪声
本发明实施例中，以扩散模型的方式通过数据驱动从现实世界数据集中学习可生成接近真实分布的交通轨迹生成模型。与目前使用传感器收集大规模轨迹数据集方法相比，该方法时间和成本低，且能够生成长时间、完整的驾驶场景数据，达到补充现有数据集的效果。与手动设计用例相比，该方法不包含人为限制因素使其更符合真实世界的数据分布，且不需要大量的人力和领域知识来设计放置车辆的规则。与学习概率分布生成交通快照的方法相比，本方法可直接生成一段时间的驾驶轨迹，借助扩散模型使得训练稳定且提高样本的多样性。本方法生成的轨迹可作为有效的数据补充来训练自动驾驶决策领域有效的基于学习的方法。这对于提高决策算法性能，提高AD系统可靠性和安全性具有重要意义。
图6是本发明实施例提供的一种电子设备600的结构示意图，该电子设备600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(centralprocessing units，CPU)601和一个或一个以上的存储器602，其中，存储器602中存储有至少一条指令，至少一条指令由处理器601加载并执行以实现下述基于扩散生成模型的车辆交通轨迹生成方法：
S1、对于待生成轨迹的任意全新无轨迹地图场景，根据地图场景所需生成的轨迹数量以及轨迹所需时间跨度得到纯噪声，将纯噪声作为初始中心位置和初始速度。
S2、将初始中心位置和初始速度输入到训练好的噪声预测网络。
S3、根据初始中心位置、初始速度以及噪声预测网络，得到预测的中心位置噪声和相对位置噪声，进而得到地图场景的车辆交通轨迹。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成上述基于扩散生成模型的车辆交通轨迹生成方法。例如，计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于扩散生成模型的车辆交通轨迹生成方法，其特征在于，所述方法包括：
S1、对于待生成轨迹的任意全新无轨迹地图场景，根据所述地图场景所需生成的轨迹数量以及轨迹所需时间跨度得到纯噪声，将所述纯噪声作为初始中心位置和初始速度；
S2、将所述初始中心位置和初始速度输入到训练好的噪声预测网络；
S3、根据所述初始中心位置、初始速度以及噪声预测网络，得到预测的中心位置噪声和相对位置噪声，进而得到所述地图场景的车辆交通轨迹。
2.根据权利要求1所述的方法，其特征在于，所述S2中的噪声预测网络的训练过程，包括：
S21、获取样本数据集中的轨迹样本，将轨迹样本中两段碎片化轨迹之间缺失部分的速度视为匀速进行数据填补，并添加一维掩膜记录为填补数据；
S22、获取填补后的轨迹样本的中心位置范围和轨迹速度范围，对中心位置和轨迹速度进行S步正向扩散过程加噪，得到带噪声的中心位置Ps和带噪声的轨迹速度vals；
S23、根据所述带噪声的轨迹速度，得到轨迹的相对位置噪声；
S24、通过优化加权求和的负对数似然变分界学习噪声预测网络。
3.根据权利要求2所述的方法，其特征在于，所述S23中的根据所述带噪声的轨迹速度，得到轨迹的相对位置噪声，如下式(1)所示：
其中，为t时刻相对位置噪声，tmid为中间时刻，/>为第i时刻速度噪声。
4.根据权利要求2所述的方法，其特征在于，所述S24中的加权求和的负对数似然变分界，如下式(2)所示：
其中，epos中心位置噪声，P为中心位置，为第s步的预测的中心位置噪声，etraj为相对位置噪声，traj为相对位置，/>为第s步的预测的相对位置噪声。
5.根据权利要求1所述的方法，其特征在于，所述S1中的根据所述地图场景所需生成的轨迹数量以及轨迹所需时间跨度得到纯噪声，将所述纯噪声作为初始中心位置和初始速度，包括：
根据所述地图场景所需生成的轨迹数量N以及轨迹所需时间跨度T，采样N×(T-1)个服从正态分布的第一纯噪声，将所述第一纯噪声作为初始速度；
采样N个服从正态分布的第二纯噪声，将所述第二纯噪声作为初始中心位置。
6.根据权利要求1所述的方法，其特征在于，所述S3中的根据所述初始中心位置、初始速度以及噪声预测网络，得到预测的中心位置噪声和相对位置噪声，进而得到所述地图场景的车辆交通轨迹，包括：
S31、根据所述初始中心位置以及初始速度，得到第s步带噪声的中心位置Ps和轨迹速度vals，将所述Ps和vals输入噪声预测网络，得到第s步的预测的中心位置噪声和相对位置噪声/>
S32、更新得到第s-1步逆向过程的带噪声的中心位置Ps-1和相对位置trajs-1；
S33、经过S步逆向过程去噪后，得到轨迹的中心位置P0和相对位置traj0，对所述P0和traj0求和，得到当前地图场景坐标系下轨迹的绝对位置pos0，进而得到所述地图场景的车辆交通轨迹。
7.根据权利要求1所述的方法，其特征在于，所述S2中的噪声预测网络包括编码器以及解码器；
其中，所述编码器，用于获取地图编码、轨迹编码、邻居编码以及时间编码；
所述解码器，用于根据所述地图编码、轨迹编码、邻居编码以及时间编码，得到预测的中心位置噪声和相对位置噪声。
8.根据权利要求7所述的方法，其特征在于，所述获取地图编码、轨迹编码、邻居编码以及时间编码，包括：
对加噪系数进行傅里叶变换，得到时间编码times；
将带噪声的轨迹速度vals输入长短期记忆网络LSTM，获得轨迹编码emb；
将带噪声的相对位置、轨迹速度和邻居轨迹速度输入LSTM，获得邻居编码nei；
将地图场景表示为具有拓扑结构的车道段，通过多层感知机MLP获得车道的静态编码以及动态编码，将所述静态编码以及动态编码相加作为车道特征，根据所述车道特征获得地图编码。
9.根据权利要求7所述的方法，其特征在于，所述根据所述地图编码、轨迹编码、邻居编码以及时间编码，得到预测的中心位置噪声和相对位置噪声，包括：
将所述轨迹编码和时间编码通过交叉注意进行更新，获取邻居轨迹特征，将所述邻居轨迹特征通过自注意，获取新的邻居轨迹特征；
对带噪声的中心位置Ps与附近范围的车道做交叉注意，获得中心位置特征，将所述中心位置特征和时间编码通过MLP解码，获得预测的中心位置噪声
对所有车道特征做交叉注意，获得轨迹特征，将所述轨迹特征和时间编码通过MLP解码，获得预测的相对位置噪声
10.一种基于扩散生成模型的车辆交通轨迹生成装置，其特征在于，所述装置包括：
获取模块，用于对于待生成轨迹的任意全新无轨迹地图场景，根据所述地图场景所需生成的轨迹数量以及轨迹所需时间跨度得到纯噪声，将所述纯噪声作为初始中心位置和初始速度；
输入模块，用于将所述初始中心位置和初始速度输入到训练好的噪声预测网络；
输出模块，用于根据所述初始中心位置、初始速度以及噪声预测网络，得到预测的中心位置噪声和相对位置噪声，进而得到所述地图场景的车辆交通轨迹。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311024393.5A CN117237475A (zh) | 2023-08-14 | 2023-08-14 | 一种基于扩散生成模型的车辆交通轨迹生成方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311024393.5A CN117237475A (zh) | 2023-08-14 | 2023-08-14 | 一种基于扩散生成模型的车辆交通轨迹生成方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117237475A true CN117237475A (zh) | 2023-12-15 |
Family
ID=89090075
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311024393.5A Pending CN117237475A (zh) | 2023-08-14 | 2023-08-14 | 一种基于扩散生成模型的车辆交通轨迹生成方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117237475A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117746066A (zh) * | 2024-02-20 | 2024-03-22 | 贵州博睿科讯科技发展有限公司 | 一种扩散模型引导的高速车辆检测集成学习方法和装置 |
-
2023
- 2023-08-14 CN CN202311024393.5A patent/CN117237475A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117746066A (zh) * | 2024-02-20 | 2024-03-22 | 贵州博睿科讯科技发展有限公司 | 一种扩散模型引导的高速车辆检测集成学习方法和装置 |
| CN117746066B (zh) * | 2024-02-20 | 2024-05-07 | 贵州博睿科讯科技发展有限公司 | 一种扩散模型引导的高速车辆检测集成学习方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111091708B (zh) | 车辆轨迹预测方法及装置 | |
| CN109670277B (zh) | 一种基于多模态数据融合与多模型集成的旅行时间预测方法 | |
| CN112099496B (zh) | 一种自动驾驶训练方法、装置、设备及介质 | |
| CN110597086A (zh) | 仿真场景生成方法和无人驾驶系统测试方法 | |
| CN114802296A (zh) | 一种基于动态交互图卷积的车辆轨迹预测方法 | |
| CN110570035B (zh) | 同时建模时空依赖性和每日流量相关性的人流量预测系统 | |
| CN114372116B (zh) | 一种基于lstm和时空注意力机制的车辆轨迹预测方法 | |
| CN113139446B (zh) | 一种端到端自动驾驶行为决策方法、系统及终端设备 | |
| CN117237475A (zh) | 一种基于扩散生成模型的车辆交通轨迹生成方法及装置 | |
| CN113159403B (zh) | 路口行人轨迹预测的方法及装置 | |
| CN112417973A (zh) | 一种基于车联网的无人驾驶系统 | |
| CN114997307A (zh) | 一种轨迹预测方法、装置、设备及存储介质 | |
| CN113989330A (zh) | 车辆轨迹预测方法、装置、电子设备和可读存储介质 | |
| CN114627441A (zh) | 非结构化道路识别网络训练方法、应用方法及存储介质 | |
| CN114692762A (zh) | 一种基于图注意力交互机制的车辆轨迹预测方法 | |
| CN114972911A (zh) | 自动驾驶感知算法模型的输出数据收集处理方法及设备 | |
| CN116071668A (zh) | 基于多尺度特征融合的无人机航拍图像目标检测方法 | |
| CN116453343A (zh) | 智能网联环境下基于流量预测的智能交通信号控制优化算法、软件与系统 | |
| CN114202120A (zh) | 一种针对多源异构数据的城市交通行程时间预测方法 | |
| CN115690153A (zh) | 一种智能体轨迹预测方法及系统 | |
| CN115635961A (zh) | 样本数据生成方法及应用其的轨迹预测方法、装置 | |
| CN116861262B (zh) | 一种感知模型训练方法、装置及电子设备和存储介质 | |
| CN116824851A (zh) | 一种基于路径的城市快速路走廊交通拥堵溯源方法 | |
| CN117116048A (zh) | 基于知识表示模型和图神经网络的知识驱动交通预测方法 | |
| CN115995002B (zh) | 一种网络构建方法及城市场景实时语义分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |