CN114627442A - 基于后融合的车路协同三维目标检测方法及系统 - Google Patents
基于后融合的车路协同三维目标检测方法及系统 Download PDFInfo
- Publication number
- CN114627442A CN114627442A CN202210114613.2A CN202210114613A CN114627442A CN 114627442 A CN114627442 A CN 114627442A CN 202210114613 A CN202210114613 A CN 202210114613A CN 114627442 A CN114627442 A CN 114627442A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- position information
- road
- under
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 91
- 238000000034 method Methods 0.000 claims abstract description 30
- 230000004927 fusion Effects 0.000 claims abstract description 23
- 238000004364 calculation method Methods 0.000 claims description 24
- 230000008447 perception Effects 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 abstract description 13
- 230000007547 defect Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提供一种基于后融合的车路协同三维目标检测方法及系统，其中方法包括：分别获取路端和车端检测的各车辆的位置信息；根据路端检测的各车辆在路端时间戳下的行驶速度以及路端检测的各车辆的位置信息，预测得到路端检测的各车辆在车端时间戳下的位置信息；将路端检测的各车辆在车端时间戳下的位置信息和车端检测的各车辆的位置信息转换到同一坐标系，对各车辆的位置信息融合，得到三维目标检测结果。用以解决现有技术中默认车路传感器时间同步，所造成的车路协同误差较大的缺陷，实现根据车辆在路端时间戳下的行驶速度预测车辆在车端时间戳下的位置信息，有效克服了车路传感器时间异步，以及通信时延所带来的偏差，提高了目标检测精度。
Description
技术领域
本发明涉及自动驾驶技术领域，尤其涉及一种基于后融合的车路协同三维目标检测方法及系统。
背景技术
当前自动驾驶车辆存在感知域受限、视野盲区、中长距离(100～300m)感知能力不足的问题，车路协同感知能够极大地缓解这些问题。
根据感知范围的不同，车路协同感知可分为超视距协同感知(500m～1km，传递路况信息)、中远距离协同感知(200m～500m，传递交通信号)、近距离协同感知(<200m，传递精确位置和运动信息)。
然而，一方面，不论是超视距协同感知、中远距离协同感知，还是近距离协同感知，现有的实现方式均具有很大的缺陷，例如：当前近距离车路协同感知方案通过在路端部署无监督模型，然后基于LiDAR数据得到粗粒度的三维检测结果(车辆、行人的中心点位置)并进行广播，其中并没有考虑如何细粒度地融合车端和路端的检测结果(包括车辆类型、运动方向、包围框等信息)，即未考虑如何扩展自动驾驶汽车的感知域，提高其感知的准确率和覆盖率。
另一方面，在车路协同场景下，我们无法使用总线同步的技术方案，即在同一时刻触发车端和路端传感器，因此，车端的数据帧和路端的数据帧对应的时间戳是异步的。同时，路端将数据传输到车端也会存在一定的通信时延，且传输数据量越大，时延越大。假设传感器的频率为10Hz，通信时延固定为50ms，车速为10m/s，则车端数据和路端数据最终会产生1m的偏差。这个数量级的误差会极大降低三维目标检测的准确率。然而，当前的技术方案均默认传感器是时间同步的，忽略了时间误差带来的问题。
发明内容
本发明提供一种基于后融合的车路协同三维目标检测方法及系统，用以解决现有技术中默认车路传感器时间同步，所造成的车路协同误差较大的缺陷，实现根据车辆在路端时间戳下的行驶速度预测车辆在车端时间戳下的位置信息，有效克服了车路传感器时间异步，以及通信时延所带来的偏差，提高了目标检测精度。
本发明还提供一种基于后融合的车路协同三维目标检测方法，包括：
分别获取路端和车端检测的各车辆的位置信息；
根据所述路端检测的各车辆在路端时间戳下的行驶速度以及所述路端检测的各车辆的位置信息，预测得到所述路端检测的各所述车辆在车端时间戳下的位置信息；
将各所述车辆在所述车端时间戳下的位置信息和所述车端检测的各所述车辆的位置信息转换到同一坐标系下；
将转换到同一坐标系下的各所述车辆的位置信息进行融合，得到三维目标检测结果。
根据本发明所述的基于后融合的车路协同三维目标检测方法，所述将各所述车辆在所述车端时间戳下的位置信息和所述车端检测的各所述车辆的位置信息转换到同一坐标系下，包括：
将各所述车辆在所述车端时间戳下的位置信息和所述车端检测的各所述车辆的位置信息转换到所述车端的激光雷达坐标系下。
根据本发明所述的基于后融合的车路协同三维目标检测方法，所述根据所述路端检测的各车辆在路端时间戳下的行驶速度以及所述路端检测的各车辆的位置信息，预测得到所述路端检测的各所述车辆在车端时间戳下的位置信息，包括：
根据在当前时刻和所述当前时刻的上一时刻，所述路端检测的各车辆的位置信息，得到所述当前时刻的任一位置信息所对应的位置与所述上一时刻各位置信息所对应的位置间的距离，作为第一距离；
基于所述第一距离与设定的第一阈值的比较结果，确定匹配项和未匹配项；所述匹配项为所述当前时刻的位置信息和所述上一时刻的位置信息对应的为同一辆车的位置信息；所述未匹配项为除所述匹配项所包括的位置信息外的所述当前时刻的其他位置信息；
根据所述匹配项对应的第一距离和所述当前时刻与所述上一时刻的时间差，得到所述匹配项对应的车辆在路端时间戳下的行驶速度；
根据所述匹配项对应的车辆的位置信息、行驶速度，以及未匹配项对应的车辆的位置信息，预测得到所述未匹配项对应的车辆在路端时间戳下的行驶速度；
根据所述匹配项和所述未匹配项对应的车辆在路端时间戳下的行驶速度，以及相应的各所述车辆在所述当前时刻的位置信息，得到所述路端检测的各所述车辆在所述车端时间戳下的位置信息。
根据本发明所述的基于后融合的车路协同三维目标检测方法，所述根据在当前时刻和所述当前时刻的上一时刻，所述路端检测的各车辆的位置信息，得到所述当前时刻的任一位置信息所对应的位置与所述上一时刻各位置信息所对应的位置间的距离，包括：
根据在所述当前时刻和所述当前时刻的上一时刻，所述路端检测的各车辆的位置信息，得到各所述车辆的包围框的信息；
根据各所述车辆的包围框的信息，计算在所述当前时刻和所述上一时刻两个所述包围框的中心点间的距离；
将所述距离作为在所述当前时刻和所述上一时刻各位置信息所对应的位置间的第一距离。
根据本发明所述的基于后融合的车路协同三维目标检测方法，所述基于所述第一距离与设定的第一阈值的比较结果，确定匹配项和未匹配项，包括：
基于所述第一距离与所述第一阈值的比较结果，构建代价矩阵；
对所述代价矩阵进行计算，得到代表所述第一距离之和最小的计算结果；
基于所述计算结果，确定所述匹配项和所述未匹配项。
根据本发明所述的基于后融合的车路协同三维目标检测方法，所述根据所述匹配项对应的车辆的位置信息、行驶速度，以及未匹配项对应的车辆的位置信息，预测得到所述未匹配项对应的车辆在路端时间戳下的行驶速度，包括：
将所述匹配项对应的车辆的位置信息、行驶速度，以及未匹配项对应的车辆的位置信息输入多层感知模型中，得到所述未匹配项对应的车辆的行驶速度；
其中，所述多层感知模型基于任一车辆的行驶速度样本，以及包括所述任一车辆的多辆车辆的位置信息样本和行驶速度样本训练得到。
根据本发明所述的基于后融合的车路协同三维目标检测方法，所述根据所述匹配项和所述未匹配项对应的车辆在路端时间戳下的行驶速度，以及相应的各所述车辆在所述当前时刻的位置信息，得到所述路端检测的各所述车辆在所述车端时间戳下的位置信息，包括：
根据所述匹配项和所述未匹配项对应的车辆在路端时间戳下的行驶速度，以及相应的各所述车辆在所述当前时刻的位置信息，基于设定的线性插帧计算公式，得到所述路端检测的各所述车辆在所述车端时间戳下的位置信息；
所述线性插帧计算公式为：
Pi(tv)＝Pi(ti)+(tv-ti)Vi(ti)
其中，Pi(tv)为路端检测的车辆在车端时间戳下的位置信息；Pi(ti)为路端检测的车辆在路端时间戳下的位置信息；tv为车端时间戳；ti为路端时间戳；Vi(ti)为行驶速度。
根据本发明所述的基于后融合的车路协同三维目标检测方法，所述将转换到同一坐标系下的各所述车辆的位置信息进行融合，包括：
遍历转换到同一坐标系下的各所述车辆的位置信息，并计算任一所述车辆的位置信息与其他所述车辆的位置信息所对应位置间的第二距离；
将所述第二距离小于设定的第二阈值的位置信息所对应的车辆判定为同一辆车后，将对应于同一辆车的位置信息合并，得到各所述车辆的位置信息在同一坐标系下的融合结果。
本发明还提供一种基于后融合的车路协同三维目标检测系统，包括：
位置预测模块，用于分别获取路端和车端检测的各车辆的位置信息；
时间补偿模块，用于根据所述路端检测的各车辆在路端时间戳下的行驶速度以及所述路端检测的各车辆的位置信息，预测得到所述路端检测的各所述车辆在车端时间戳下的位置信息；
坐标转换模块，用于将各所述车辆在所述车端时间戳下的位置信息和所述车端检测的各所述车辆的位置信息转换到同一坐标系下；
融合输出模块，用于将转换到同一坐标系下的各所述车辆的位置信息进行融合，得到三维目标检测结果。
本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于后融合的车路协同三维目标检测方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于后融合的车路协同三维目标检测方法的步骤。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于后融合的车路协同三维目标检测方法的步骤。
本发明提供的一种基于后融合的车路协同三维目标检测方法及系统，通过将各所述车辆在所述车端时间戳下的位置信息和所述车端检测的各所述车辆的位置信息转换到同一坐标系下，并将转换到同一坐标系下的各所述车辆的位置信息进行融合，得到三维目标检测结果，实现根据车辆在路端时间戳下的行驶速度和位置信息，预测车辆在车端时间戳下的位置信息，有效克服了车路传感器时间异步，以及通信时延所带来的偏差，提高了目标检测精度。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是为俯视视角下车端和路端分别检测得到的各车辆的位置信息；
图2是本发明提供的一种基于后融合的车路协同三维目标检测方法的流程示意图；
图3是现有技术中获取路端和车端检测的各车辆的位置信息的方法的一个实例；
图4是本发明提供将图1所示的各车辆的位置信息采用本发明所述方法得到的检测结果示意图；
图5是本发明提供的通过时间补偿得到路端检测的车辆在车端时间戳下的位置信息的原理图；
图6是本发明提供的采用本发明方法对路端检测到的车辆的位置信息进行时间补偿后的位置、车端时间戳下路端检测到的车辆的真实位置，以及路端时间戳下通过现有预测模型预测得到的车辆的位置的示意图；
图7是本发明提供的基于后融合的车路协同三维目标检测方法的整体框架流程图；
图8是本发明提供的一种区块链分片系统的结构示意图；
图9是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，如图1所示，为俯视视角下，车端和路端分别检测得到的各车辆的位置信息，其中，实心五角星代表车端，空心五角星代表路端，实线的方框代表车端检测到的车辆的位置信息，虚线的方框代表路端检测到的车辆的位置信息，加粗的方框代表只能在车端或者路端单侧被检测到的车辆，细线的方框代表能够同时被车端和路端检测到的车辆，两条平行的虚线框出的范围为车端的感知范围，另两条虚线框出的范围为路端的感知范围，可见，车端的感知域具有一定的局限性，会因为其他车辆的原因造成遮挡，同时还有视野盲区，也就是图1中标记的三辆车在单纯依靠车端的检测时，是不能被检测到的，且针对同一辆车，路端检测的位置明显滞后于车端的检测结果。
综上，对于提高三维目标检测的精度，采用车路协同的方式进行目标检测，以及克服路端和车端检测的时间异步问题是非常有必要的。基于此，本发明提供了一种对路端检测结果进行时间补偿的车路协同的基于后融合的车路协同三维目标检测方法。
下面结合图2至图7描述本发明的一种基于后融合的车路协同三维目标检测方法，该方法由计算机或者其中的软件和/或硬件的组合执行，如图2所示，所述方法包括以下步骤：
101、分别获取路端和车端检测的各车辆的位置信息。
具体地，目前，获取路端和车端检测的各车辆的位置信息的方法已经非常成熟，例如：基于LiDAR的三维目标检测模型PointPillars，如图3所示，该模型首先使用PillarFeature Net将3d点云数据转化为柱状的特征，接着使用多个二维的卷积神经网络进行特征处理，最后使用SSD作为目标检测网络给出目标检测结果。
102、根据所述路端检测的各车辆在路端时间戳下的行驶速度以及所述路端检测的各车辆的位置信息，预测得到所述路端检测的各所述车辆在车端时间戳下的位置信息；
103、将各所述车辆在所述车端时间戳下的位置信息和所述车端检测的各所述车辆的位置信息转换到同一坐标系下；
104、将转换到同一坐标系下的各所述车辆的位置信息进行融合，得到三维目标检测结果。
具体地，通过获取路端检测的各车辆的位置信息，然后基于路端的车辆位置信息，以及车辆在路端时间戳下的行驶速度，预测得到路端检测的各车辆在车端时间戳下的位置信息，有效克服了路端时间戳和车端时间戳不同步，且因路端检测的车辆位置信息传输到车端存在的通信时延，所造成的路端和车端检测位置信息的偏差，提高了三维目标检测的准确率。
更具体地，通过将各所述车辆在所述车端时间戳下的位置信息和所述车端检测的各所述车辆的位置信息转换到同一坐标系下，并将转换到同一坐标系下的各所述车辆的位置信息进行融合，进一步实现了路端检测结果和车端检测结果的细粒度的融合，从而扩展了自动驾驶车辆的感知域，并提高了车辆感知的准确率和覆盖率。
进一步地，以图1所示的俯视视角下车端和路端的检测结果为例，采用本发明实施例所述的方法预测得到所述路端检测的各所述车辆在车端时间戳下的位置信息后，将各所述车辆在所述车端时间戳下的位置信息和所述车端检测的各所述车辆的位置信息转换到同一坐标系下，并融合各所述车辆的位置信息，得到的检测结果如图4所示，可见，与图1相比，本发明实施例所述的基于后融合的车路协同三维目标检测方法，能够有效地合并车端和路端的三维检测结果，将路端和车端的视野盲区和被遮挡的物体均计入预测的结果中，从而提升了自动驾驶汽车的感知能力。
作为本发明的一个实施例，所述将各所述车辆在所述车端时间戳下的位置信息和所述车端检测的各所述车辆的位置信息转换到同一坐标系下，包括：
将各所述车辆在所述车端时间戳下的位置信息和所述车端检测的各所述车辆的位置信息转换到所述车端的激光雷达坐标系下。
作为本发明的一个实施例，所述根据所述路端检测的各车辆在路端时间戳下的行驶速度以及所述路端检测的各车辆的位置信息，预测得到所述路端检测的各所述车辆在车端时间戳下的位置信息，包括：
根据在当前时刻和所述当前时刻的上一时刻，所述路端检测的各车辆的位置信息，得到所述当前时刻的任一位置信息所对应的位置与所述上一时刻各位置信息对应的位置间的距离，作为第一距离；
基于所述第一距离与设定的第一阈值的比较结果，确定匹配项和未匹配项；所述匹配项为所述当前时刻的位置信息和所述上一时刻的位置信息对应的为同一辆车的位置信息；所述未匹配项为除所述匹配项所包括的位置信息外的所述当前时刻的其他位置信息；
根据所述匹配项对应的第一距离和所述当前时刻与所述上一时刻的时间差，得到所述匹配项对应的车辆在路端时间戳下的行驶速度；
根据所述匹配项对应的车辆的位置信息、行驶速度，以及未匹配项对应的车辆的位置信息，预测得到所述未匹配项对应的车辆在路端时间戳下的行驶速度；
根据所述匹配项和所述未匹配项对应的车辆在路端时间戳下的行驶速度，以及相应的各所述车辆在所述当前时刻的位置信息，得到所述路端检测的各所述车辆在所述车端时间戳下的位置信息。
具体地，当以帧作为时刻的单位时，可以通过获取路端当前帧和前一帧的数据，然后利用如上述所述的模型PointPillars作为路端的位置预测模型，得到路端检测的各车辆在当前帧以及上一帧的位置信息，同时由于两帧间具有时间差，对于同一车辆，由前一帧到当前帧，必然沿着某个方向运动了一定的距离，因此基于两帧间位置之间的距离，以及合理的设置第一阈值的大小，就可以确定匹配项和未匹配项，即确定两帧中两个位置信息对应的是否为同一车辆。
进一步地，对于匹配项，通过两帧位置间的距离和时间差，就可以求出车辆的行驶速度；而对于未匹配项(一般由感知不稳定导致)，可以根据所述匹配项对应的车辆的位置信息、行驶速度，以及未匹配项对应的车辆的位置信息，预测得到所述未匹配项对应的车辆在路端时间戳下的行驶速度，最后根据匹配项和未匹配项对应的车辆在路端时间戳下的行驶速度，以及相应的各车辆在当前帧的位置信息，就能得到所述路端检测的各车辆在车端时间戳下的位置信息，即对由路端检测的各车辆的位置信息进行时间补偿，使其在输入车端时，符合车辆在车端时间戳下的位置。
作为本发明的一个实施例，所述根据在当前时刻和所述当前时刻的上一时刻，所述路端检测的各车辆的位置信息，得到所述当前时刻的任一位置信息所对应的位置与所述上一时刻各位置信息所对应的位置间的距离，包括：
根据在所述当前时刻和所述当前时刻的上一时刻，所述路端检测的各车辆的位置信息，得到各所述车辆的包围框的信息；
根据各所述车辆的包围框的信息，计算在所述当前时刻和所述上一时刻两个所述包围框的中心点间的距离；
将所述距离作为在所述当前时刻和所述上一时刻各位置信息所对应的位置间的第一距离。
具体地，对相邻时刻的同一车辆进行匹配，通过遍历相邻时刻的车辆的位置信息，得到每一对车辆的3D包围框，通过将包围框的中心点间的距离，作为在相邻时刻各位置信息所对应的位置间的第一距离，保证了各个位置信息间第一距离计算的统一性，提高了匹配的准确性。
更具体地，所述第一距离可以是两个包围框中心点间的任意一种距离，例如：欧几里得距离、马氏距离、曼哈顿距离、切比雪夫距离，以及余弦相似度等等。
作为本发明的一个实施例，所述基于所述第一距离与设定的第一阈值的比较结果，确定匹配项和未匹配项，包括：
基于所述第一距离与所述第一阈值的比较结果，构建代价矩阵；
对所述代价矩阵进行计算，得到代表所述第一距离之和最小的计算结果；
基于所述计算结果，确定所述匹配项和所述未匹配项。
具体地，基于所述第一距离与所述第一阈值的比较结果，当第一距离超过第一阈值时，则认为距离为正无穷，进而构建代价矩阵，然后计算出代价最小(即匹配项总距离之和最小)的匹配方案。
更具体地，基于对所述代价矩阵进行计算得到的代表所述第一距离之和最小的计算结果，相较于其他算法，利用匈牙利算法确定的所述匹配项和所述未匹配项更为准确，且效率更高。
作为本发明的一个实施例，所述根据所述匹配项对应的车辆的位置信息、行驶速度，以及未匹配项对应的车辆的位置信息，预测得到所述未匹配项对应的车辆在路端时间戳下的行驶速度，包括：
将所述匹配项对应的车辆的位置信息、行驶速度，以及未匹配项对应的车辆的位置信息输入多层感知模型中，得到所述未匹配项对应的车辆的行驶速度；
其中，所述多层感知模型基于任一车辆的行驶速度样本，以及包括所述任一车辆的多辆车辆的位置信息样本和行驶速度样本训练得到。
具体地，多层感知模型将k个匹配项的位置信息、行驶速度和一个未匹配项的位置信息作为输入，将未匹配项的行驶速度作为输出。
更具体地，所述多层感知模型可以由(6k+3)*256的全连接层、ReLU、256*64、ReLU和64*3的全连接层构成。
进一步地，多层感知模型的构建基于对数据的训练得到，具体的构建过程可以为：通过随机选取若干对连续的路端帧数据，然后使用路端预训练模型得到它们的预测结果，即代表各车辆的位置信息，之后执行如本发明前述实施例所述的基于距离与第一阈值的比较结果，确定匹配项和未匹配项匹配的算法，得到匹配项所代表的车辆的行驶速度样本，接着从中随机选取k+1个匹配项，将前k个的位置信息样本、行驶速度样本和第k+1个的位置信息样本作为训练集的输入，第k+1个的行驶速度样本作为训练集的标注，进而实现对多层感知模型的构建。
作为本发明的一个实施例，所述根据所述匹配项和所述未匹配项对应的车辆在路端时间戳下的行驶速度，以及相应的各所述车辆在所述当前时刻的位置信息，得到所述路端检测的各所述车辆在所述车端时间戳下的位置信息，包括：
根据所述匹配项和所述未匹配项对应的车辆在路端时间戳下的行驶速度，以及相应的各所述车辆在所述当前时刻的位置信息，基于设定的线性插帧计算公式，得到所述路端检测的各所述车辆在所述车端时间戳下的位置信息；
所述线性插帧计算公式为：
Pi(tv)＝Pi(ti)+(tv-ti)Vi(ti)
其中，Pi(tv)为路端检测的车辆在车端时间戳下的位置信息；Pi(ti)为路端检测的车辆在路端时间戳下的位置信息；tv为车端时间戳；ti为路端时间戳；Vi(ti)为行驶速度。
具体地，如图5给出了通过时间补偿得到路端检测的车辆在车端时间戳下的位置信息的原理图，即在得到所有车辆的行驶速度后，通过使用线性插帧的方法，预测车端时间戳下所有车辆的位置信息。
作为本发明的一个实施例，所述将所述激光雷达坐标系下的各所述车辆的位置信息进行融合，包括：
遍历转换到同一坐标系下的各所述车辆的位置信息，并计算任一所述车辆的位置信息与其他所述车辆的位置信息所对应位置间的第二距离；
将所述第二距离小于设定的第二阈值的位置信息所对应的车辆判定为同一辆车后，将对应于同一辆车的位置信息合并，得到各所述车辆的位置信息在同一坐标系下的融合结果。
具体地，在将经过时间补偿预测得到的车端时间戳下车辆的位置信息和车端检测得到的车辆的位置信息均转换到同一坐标系下后，经过时间补偿预测得到的车端时间戳下车辆的位置和车端检测得到的同一车辆的位置在理论上应该是同一位置，但是因为数据获取以及处理等过程所带来的误差，两个位置虽然不太可能重合，但是会非常接近，因而，在本发明的实施例中，还通过设置第二阈值，来将判定为同一辆车的两个位置信息进行融合，从而使得得到的三维目标检测结果最终为车端检测到的车辆位置信息以及路端未匹配的车辆位置信息的集合。
如图6所示，分别示出了采用本发明实施例所述的方法对路端检测到的车辆的位置信息进行时间补偿后的位置、车端时间戳下路端检测到的车辆的真实位置，以及路端时间戳下通过现有预测模型预测得到的车辆的位置，其中，A指向的框为路端时间戳下的路端检测到的物体位置，B指向的框为框架预测的车端时间戳下的路端检测到的物体位置，C指向的框为车端时间戳下物体的真实位置。可见，经时间补偿后的位置和车端时间戳下路端检测到车辆的真实位置的相交面积明显大于路端时间戳下通过现有预测模型预测得到的车辆的位置和车端时间戳下路端检测到车辆的真实位置的相交面积，说明采用本发明实施例方法对路端检测到的车辆的位置信息进行时间补偿能够有效地缓解由时间异步和通信时延带来的位置偏差问题，提高预测的准确率。
综上，本发明实施例所述的基于后融合的车路协同三维目标检测方法的整体框架流程图如图7所示，将基于图7所示的流程得到的三维目标检测结果和单车端以及单路端的三维目标检测结果进行比较，结果如表1所示：
表1本发明方法与单车端以及单路端的三维目标检测结果对比
其中，AP(Average Precision)表示平均准确率，AP的下标3D和bev分别表示评价的视角是3D全视角和2D的俯视视角，IoU＝x表示预测结果与实际结果的相交比例，因而大于x时才被认为是正确的，Trans cost表示从路端传输到车端的数据量(单位为比特)。
可见，相比于只使用路端(Infrastructure-Only)和只使用车端(Vehicle-Only)的检测结果，我们提出的基于后融合的车路协同三维目标检测方法(TCLF)的检测准确率整体提升了10％～15％。同时，VIC-Sync和VIC-Async分别表示时间同步数据集和数据异步数据集，其中，通过设定的时间差阈值(例如：10ms)，将车端与路端的时间差小于时间差阈值的数据集合构成时间同步数据集，而车端与路端的时间差大于时间差阈值的数据集合构成时间异步数据集，进而由表1可以看出，与未加入时间补偿的后融合车路协同三维目标检测方法(Late-Fusion)，对于时间同步数据集VIC-Sync的正确率相差较小，但是对于时间异步数据集VIC-Async，使用时间补偿模块能够弥补60％的正确率损失。
下面结合图8对本发明提供的一种基于后融合的车路协同三维目标检测系统进行描述，下文描述的一种基于后融合的车路协同三维目标检测系统与上文描述的一种基于后融合的车路协同三维目标检测方法可相互对应参照。
本发明提供的一种基于后融合的车路协同三维目标检测系统，包括位置预测模块810、时间补偿模块820、坐标转换模块830以及融合输出模块840；其中，
所述位置预测模块810用于分别获取路端和车端检测的各车辆的位置信息；
所述时间补偿模块820用于根据所述路端检测的各车辆在路端时间戳下的行驶速度以及所述路端检测的各车辆的位置信息，预测得到所述路端检测的各所述车辆在车端时间戳下的位置信息；
所述坐标转换模块830用于将各所述车辆在所述车端时间戳下的位置信息和所述车端检测的各所述车辆的位置信息转换到同一坐标系下；
所述融合输出模块840用于将转换到同一坐标系下的各所述车辆的位置信息进行融合，得到三维目标检测结果。
本发明所述的基于后融合的车路协同三维目标检测系统，通过将各所述车辆在所述车端时间戳下的位置信息和所述车端检测的各所述车辆的位置信息转换到同一坐标系下，并将转换到同一坐标系下的各所述车辆的位置信息进行融合，得到三维目标检测结果，实现根据车辆在路端时间戳下的行驶速度和位置信息，预测车辆在车端时间戳下的位置信息，有效克服了车路传感器时间异步，以及通信时延所带来的偏差，提高了目标检测精度。
一个优选方案中，所述坐标转换模块用于将各所述车辆在所述车端时间戳下的位置信息和所述车端检测的各所述车辆的位置信息转换到所述车端的激光雷达坐标系下。
一个优选方案中，所述时间补偿模块包括第一距离计算单元、比较单元、速度计算单元和位置补偿单元；其中，
第一距离计算单元用于根据在当前时刻和所述当前时刻的上一时刻，所述路端检测的各车辆的位置信息，得到所述当前时刻的任一位置信息所对应的位置与所述上一时刻各位置信息所对应的位置间的距离，作为第一距离；
比较单元用于基于所述第一距离与设定的第一阈值的比较结果，确定匹配项和未匹配项；所述匹配项为所述当前时刻的位置信息和所述上一时刻的位置信息对应的为同一辆车的位置信息；所述未匹配项为除所述匹配项所包括的位置信息外的所述当前时刻的其他位置信息；
速度计算单元用于根据所述匹配项对应的第一距离和所述当前时刻与所述上一时刻的时间差，得到所述匹配项对应的车辆在路端时间戳下的行驶速度；以及根据所述匹配项对应的车辆的位置信息、行驶速度，以及未匹配项对应的车辆的位置信息，预测得到所述未匹配项对应的车辆在路端时间戳下的行驶速度；
位置补偿单元用于根据所述匹配项和所述未匹配项对应的车辆在路端时间戳下的行驶速度，以及相应的各所述车辆在所述当前时刻的位置信息，得到所述路端检测的各所述车辆在所述车端时间戳下的位置信息。
一个优选方案中，所述第一距离计算单元更具体用于根据在所述当前时刻和所述当前时刻的上一时刻，所述路端检测的各车辆的位置信息，得到各所述车辆的包围框的信息；根据各所述车辆的包围框的信息，计算在所述当前时刻和所述上一时刻两个所述包围框的中心点间的距离；以及将所述距离作为在所述当前时刻和所述上一时刻各位置信息所对应的位置间的第一距离。
一个优选方案中，所述比较单元具体用于基于所述第一距离与所述第一阈值的比较结果，构建代价矩阵；基于匈牙利算法，对所述代价矩阵进行计算，得到代表所述第一距离之和最小的计算结果；以及基于所述计算结果，确定所述匹配项和所述未匹配项。
一个优选方案中，所述速度计算单元具体用于将所述匹配项对应的车辆的位置信息、行驶速度，以及未匹配项对应的车辆的位置信息输入多层感知模型中，得到所述未匹配项对应的车辆的行驶速度；
其中，所述多层感知模型基于任一车辆的行驶速度样本，以及包括所述任一车辆的多辆车辆的位置信息样本和行驶速度样本训练得到。
一个优选方案中，所述位置补偿单元具体用于根据所述匹配项和所述未匹配项对应的车辆在路端时间戳下的行驶速度，以及相应的各所述车辆在所述当前时刻的位置信息，基于设定的线性插帧计算公式，得到所述路端检测的各所述车辆在所述车端时间戳下的位置信息；
所述线性插帧计算公式为：
Pi(tv)＝Pi(ti)+(tv-ti)Vi(ti)
其中，Pi(tv)为路端检测的车辆在车端时间戳下的位置信息；Pi(ti)为路端检测的车辆在路端时间戳下的位置信息；tv为车端时间戳；ti为路端时间戳；Vi(ti)为行驶速度。
一个优选方案中，所述融合输出模块包括第二距离计算单元和比较处理单元；其中，
第二距离计算单元用于遍历转换到同一坐标系下的各所述车辆的位置信息，并计算任一所述车辆的位置信息与其他所述车辆的位置信息所对应位置间的第二距离；
比较处理单元用于将所述第二距离小于设定的第二阈值的位置信息所对应的车辆判定为同一辆车后，将对应于同一辆车的位置信息合并，得到各所述车辆的位置信息在同一坐标系下的融合结果。
本发明实施例提供的基于后融合的车路协同三维目标检测系统用于签署各实施例的一种基于后融合的车路协同三维目标检测方法。该基于后融合的车路协同三维目标检测系统包括的各模块实现相应功能的具体方法和流程详见上述一种基于后融合的车路协同三维目标检测方法的实施例，此处不再赘述。
本发明的基于后融合的车路协同三维目标检测系统用于前述各实施例的一种基于后融合的车路协同三维目标检测方法。因此，在前述各实施例中的一种基于后融合的车路协同三维目标检测方法中的描述和定义，可以用于本发明实施例中各执行模块的理解。
图9示例了一种电子设备的实体结构示意图，如图9所示，该电子设备可以包括：处理器(processor)910、通信接口(Communications Interface)920、存储器(memory)930和通信总线940，其中，处理器910，通信接口920，存储器330通过通信总线940完成相互间的通信。处理器910可以调用存储器930中的逻辑指令，以执行基于后融合的车路协同三维目标检测方法，该方法包括：分别获取路端和车端检测的各车辆的位置信息；根据所述路端检测的各车辆在路端时间戳下的行驶速度以及所述路端检测的各车辆的位置信息，预测得到所述路端检测的各所述车辆在车端时间戳下的位置信息；将各所述车辆在所述车端时间戳下的位置信息和所述车端检测的各所述车辆的位置信息转换到所述车端的激光雷达坐标系下；将所述激光雷达坐标系下的各所述车辆的位置信息进行融合，得到三维目标检测结果。
此外，上述的存储器930中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的基于后融合的车路协同三维目标检测方法，该方法包括：分别获取路端和车端检测的各车辆的位置信息；根据所述路端检测的各车辆在路端时间戳下的行驶速度以及所述路端检测的各车辆的位置信息，预测得到所述路端检测的各所述车辆在车端时间戳下的位置信息；将各所述车辆在所述车端时间戳下的位置信息和所述车端检测的各所述车辆的位置信息转换到所述车端的激光雷达坐标系下；将所述激光雷达坐标系下的各所述车辆的位置信息进行融合，得到三维目标检测结果。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法提供的基于后融合的车路协同三维目标检测方法，该方法包括：分别获取路端和车端检测的各车辆的位置信息；根据所述路端检测的各车辆在路端时间戳下的行驶速度以及所述路端检测的各车辆的位置信息，预测得到所述路端检测的各所述车辆在车端时间戳下的位置信息；将各所述车辆在所述车端时间戳下的位置信息和所述车端检测的各所述车辆的位置信息转换到所述车端的激光雷达坐标系下；将所述激光雷达坐标系下的各所述车辆的位置信息进行融合，得到三维目标检测结果。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (12)
1.一种基于后融合的车路协同三维目标检测方法，其特征在于，包括：
分别获取路端和车端检测的各车辆的位置信息；
根据所述路端检测的各车辆在路端时间戳下的行驶速度以及所述路端检测的各车辆的位置信息，预测得到所述路端检测的各所述车辆在车端时间戳下的位置信息；
将各所述车辆在所述车端时间戳下的位置信息和所述车端检测的各所述车辆的位置信息转换到同一坐标系下；
将转换到同一坐标系下的各所述车辆的位置信息进行融合，得到三维目标检测结果。
2.根据权利要求1所述的基于后融合的车路协同三维目标检测方法，其特征在于，所述将各所述车辆在所述车端时间戳下的位置信息和所述车端检测的各所述车辆的位置信息转换到同一坐标系下，包括：
将各所述车辆在所述车端时间戳下的位置信息和所述车端检测的各所述车辆的位置信息转换到所述车端的激光雷达坐标系下。
3.根据权利要求1所述的基于后融合的车路协同三维目标检测方法，其特征在于，所述根据所述路端检测的各车辆在路端时间戳下的行驶速度以及所述路端检测的各车辆的位置信息，预测得到所述路端检测的各所述车辆在车端时间戳下的位置信息，包括：
根据在当前时刻和所述当前时刻的上一时刻，所述路端检测的各车辆的位置信息，得到所述当前时刻的任一位置信息所对应的位置与所述上一时刻各位置信息所对应的位置间的距离，作为第一距离；
基于所述第一距离与设定的第一阈值的比较结果，确定匹配项和未匹配项；所述匹配项为所述当前时刻的位置信息和所述上一时刻的位置信息对应为同一辆车的位置信息；所述未匹配项为除所述匹配项所包括的位置信息外的所述当前时刻的其他位置信息；
根据所述匹配项对应的第一距离和所述当前时刻与所述上一时刻的时间差，得到所述匹配项对应的车辆在路端时间戳下的行驶速度；
根据所述匹配项对应的车辆的位置信息、行驶速度，以及未匹配项对应的车辆的位置信息，预测得到所述未匹配项对应的车辆在路端时间戳下的行驶速度；
根据所述匹配项和所述未匹配项对应的车辆在路端时间戳下的行驶速度，以及相应的各所述车辆在所述当前时刻的位置信息，得到所述路端检测的各所述车辆在所述车端时间戳下的位置信息。
4.根据权利要求3所述的基于后融合的车路协同三维目标检测方法，其特征在于，所述根据在当前时刻和所述当前时刻的上一时刻，所述路端检测的各车辆的位置信息，得到所述当前时刻的任一位置信息所对应的位置与所述上一时刻各位置信息所对应的位置间的距离，包括：
根据在所述当前时刻和所述当前时刻的上一时刻，所述路端检测的各车辆的位置信息，得到各所述车辆的包围框的信息；
根据各所述车辆的包围框的信息，计算在所述当前时刻和所述上一时刻两个所述包围框的中心点间的距离；
将所述距离作为在所述当前时刻和所述上一时刻各位置信息所对应的位置间的第一距离。
5.根据权利要求4所述的基于后融合的车路协同三维目标检测方法，其特征在于，所述基于所述第一距离与设定的第一阈值的比较结果，确定匹配项和未匹配项，包括：
基于所述第一距离与所述第一阈值的比较结果，构建代价矩阵；
对所述代价矩阵进行计算，得到代表所述第一距离之和最小的计算结果；
基于所述计算结果，确定所述匹配项和所述未匹配项。
6.根据权利要求5所述的基于后融合的车路协同三维目标检测方法，其特征在于，所述根据所述匹配项对应的车辆的位置信息、行驶速度，以及未匹配项对应的车辆的位置信息，预测得到所述未匹配项对应的车辆在路端时间戳下的行驶速度，包括：
将所述匹配项对应的车辆的位置信息、行驶速度，以及未匹配项对应的车辆的位置信息输入多层感知模型中，得到所述未匹配项对应的车辆的行驶速度；
其中，所述多层感知模型基于任一车辆的行驶速度样本，以及包括所述任一车辆的多辆车辆的位置信息样本和行驶速度样本训练得到。
7.根据权利要求3所述的基于后融合的车路协同三维目标检测方法，其特征在于，所述根据所述匹配项和所述未匹配项对应的车辆在路端时间戳下的行驶速度，以及相应的各所述车辆在所述当前时刻的位置信息，得到所述路端检测的各所述车辆在所述车端时间戳下的位置信息，包括：
根据所述匹配项和所述未匹配项对应的车辆在路端时间戳下的行驶速度，以及相应的各所述车辆在所述当前时刻的位置信息，基于设定的线性插帧计算公式，得到所述路端检测的各所述车辆在所述车端时间戳下的位置信息；
所述线性插帧计算公式为：
Pi(tv)＝Pi(ti)+(tv-ti)Vi(ti)
其中，Pi(tv)为路端检测的车辆在车端时间戳下的位置信息；Pi(ti)为路端检测的车辆在路端时间戳下的位置信息；tv为车端时间戳；ti为路端时间戳；Vi(ti)为行驶速度。
8.根据权利要求1所述的基于后融合的车路协同三维目标检测方法，其特征在于，所述将转换到同一坐标系下的各所述车辆的位置信息进行融合，包括：
遍历转换到同一坐标系下的各所述车辆的位置信息，并计算任一所述车辆的位置信息与其他所述车辆的位置信息所对应位置间的第二距离；
将所述第二距离小于设定的第二阈值的位置信息所对应的车辆判定为同一辆车后，将对应于同一辆车的位置信息合并，得到各所述车辆的位置信息在同一坐标系下的融合结果。
9.一种基于后融合的车路协同三维目标检测系统，其特征在于，包括：
位置预测模块，用于分别获取路端和车端检测的各车辆的位置信息；
时间补偿模块，用于根据所述路端检测的各车辆在路端时间戳下的行驶速度以及所述路端检测的各车辆的位置信息，预测得到所述路端检测的各所述车辆在车端时间戳下的位置信息；
坐标转换模块，用于将各所述车辆在所述车端时间戳下的位置信息和所述车端检测的各所述车辆的位置信息转换到同一坐标系下；
融合输出模块，用于将转换到同一坐标系下的各所述车辆的位置信息进行融合，得到三维目标检测结果。
10.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-8任一项所述基于后融合的车路协同三维目标检测方法的步骤。
11.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-8任一项所述基于后融合的车路协同三维目标检测方法的步骤。
12.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-8任一项所述基于后融合的车路协同三维目标检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210114613.2A CN114627442B (zh) | 2022-01-30 | 基于后融合的车路协同三维目标检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210114613.2A CN114627442B (zh) | 2022-01-30 | 基于后融合的车路协同三维目标检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114627442A true CN114627442A (zh) | 2022-06-14 |
| CN114627442B CN114627442B (zh) | 2024-06-28 |
Family
ID=
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210225171A1 (en) * | 2020-09-21 | 2021-07-22 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Vehicle-to-Infrastructure Cooperation Information Processing Method, Apparatus, Device and Autonomous Vehicle |
| KR20210134253A (ko) * | 2020-12-22 | 2021-11-09 | 아폴로 인텔리전트 커넥티비티 (베이징) 테크놀로지 씨오., 엘티디. | 차량 모니터링 방법, 장치 및 클라우드 제어 플랫폼 |
| CN113920735A (zh) * | 2021-10-21 | 2022-01-11 | 中国第一汽车股份有限公司 | 一种信息融合方法、装置、电子设备及存储介质 |
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210225171A1 (en) * | 2020-09-21 | 2021-07-22 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Vehicle-to-Infrastructure Cooperation Information Processing Method, Apparatus, Device and Autonomous Vehicle |
| KR20210134253A (ko) * | 2020-12-22 | 2021-11-09 | 아폴로 인텔리전트 커넥티비티 (베이징) 테크놀로지 씨오., 엘티디. | 차량 모니터링 방법, 장치 및 클라우드 제어 플랫폼 |
| CN113920735A (zh) * | 2021-10-21 | 2022-01-11 | 中国第一汽车股份有限公司 | 一种信息融合方法、装置、电子设备及存储介质 |
Non-Patent Citations (4)
| Title |
|---|
| HAIBAO YU等: "DAIR-V2X: A Large-Scale Dataset for Vehicle-Infrastructure Cooperative 3D Object Detection", ARXIV，ARXIV.ORG/2204.05575, 12 April 2022 (2022-04-12), pages 5 * |
| TSUN-HSUAN WANG等: "V2VNet: Vehicle-to-Vehicle Communication for Joint Perception and Prediction", ARXIV:2008.07519V1, 17 August 2020 (2020-08-17) * |
| YIMING LI等: "Learning Distilled Collaboration Graph for Multi-Agent Perception", 35TH CONFERENCE ON NEURAL INFORMATION PROCESSING SYSTEMS (NEURIPS 2021), 31 December 2021 (2021-12-31) * |
| YUCHUAN DU等: "A Novel Spatio-Temporal Synchronization Method of Roadside Asynchronous MMW Radar-Camera for Sensor Fusion", IEEE, 27 October 2021 (2021-10-27) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP4152204A1 (en) | Lane line detection method, and related apparatus | |
| US10035508B2 (en) | Device for signalling objects to a navigation module of a vehicle equipped with this device | |
| CN109087510B (zh) | 交通监测方法及装置 | |
| US20230099113A1 (en) | Training method and apparatus for a target detection model, target detection method and apparatus, and medium | |
| KR20220119396A (ko) | 카메라 맵 및/또는 레이더 정보를 이용한 오브젝트 사이즈 추정 | |
| EP3822852A2 (en) | Method, apparatus, computer storage medium and program for training a trajectory planning model | |
| CN110781949B (zh) | 基于异步式串行多传感器的航迹数据融合方法及存储介质 | |
| US20220058818A1 (en) | Object-centric three-dimensional auto labeling of point cloud data | |
| CN112329754B (zh) | 障碍物识别模型训练方法、障碍物识别方法、装置及系统 | |
| CN116685874A (zh) | 摄像机-激光雷达融合对象检测系统和方法 | |
| CN113139607A (zh) | 障碍物检测方法和装置 | |
| CN116783620A (zh) | 根据点云的高效三维对象检测 | |
| CN111316328A (zh) | 车道线地图的维护方法、电子设备与存储介质 | |
| CN112116809A (zh) | 基于v2x技术的非视距车辆防碰撞方法及装置 | |
| Bai et al. | Vinet: Lightweight, scalable, and heterogeneous cooperative perception for 3d object detection | |
| CN113792598B (zh) | 基于车载摄像头的汽车碰撞预测系统和方法 | |
| Thakur et al. | An in-depth evaluation of deep learning-enabled adaptive approaches for detecting obstacles using sensor-fused data in autonomous vehicles | |
| CN114627442A (zh) | 基于后融合的车路协同三维目标检测方法及系统 | |
| CN116358584A (zh) | 一种自动驾驶车辆路径规划方法、装置、设备及介质 | |
| CN114627442B (zh) | 基于后融合的车路协同三维目标检测方法及系统 | |
| CN116295496A (zh) | 一种自动驾驶车辆路径规划方法、装置、设备及介质 | |
| CN115223144A (zh) | 一种基于云端数据的无人驾驶矿车传感器数据筛选方法及装置 | |
| CN115359332A (zh) | 基于车路协同的数据融合方法、装置、电子设备及系统 | |
| WO2023065312A1 (zh) | 障碍物识别方法、装置、存储介质及电子设备 | |
| CN115782919A (zh) | 信息感知方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |