CN112528773A - 障碍物信息融合方法、装置、电子设备和存储介质 - Google Patents
障碍物信息融合方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN112528773A CN112528773A CN202011359769.4A CN202011359769A CN112528773A CN 112528773 A CN112528773 A CN 112528773A CN 202011359769 A CN202011359769 A CN 202011359769A CN 112528773 A CN112528773 A CN 112528773A
- Authority
- CN
- China
- Prior art keywords
- detection frame
- radar
- obstacle
- radar detection
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 32
- 238000001514 detection method Methods 0.000 claims abstract description 531
- 230000000007 visual effect Effects 0.000 claims abstract description 116
- 230000004927 fusion Effects 0.000 claims abstract description 58
- 238000000034 method Methods 0.000 claims abstract description 31
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 11
- 230000004888 barrier function Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Radar Systems Or Details Thereof (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请实施例涉及自动驾驶技术领域，提供了一种障碍物信息融合方法、装置、电子设备和存储介质，所述方法包括：基于雷达采集的点云数据，对障碍物进行雷达目标检测和跟踪，得到各个障碍物在摄像头的二维图像坐标系下的雷达检测框；基于摄像头采集的图像数据，对障碍物进行图像目标检测，得到各个障碍物的图像检测框及其类别；统计所述雷达检测框中包含的各类别图像检测框的视觉中心点数量，并基于所述雷达检测框中各类别图像检测框的视觉中心点数量，确定所述雷达检测框对应障碍物的类别。本申请实施例可以准确地将图像检测框对应障碍物的类别赋予雷达检测框对应的障碍物，实现障碍物信息的精准融合。
Description
技术领域
本申请涉及自动驾驶技术领域，尤其涉及一种障碍物信息融合方法、装置、电子设备和存储介质。
背景技术
在车辆自动驾驶领域，自动驾驶的安全性主要依靠传感器采集数据的准确性来保障。通常，在车辆上会安装多个传感器以进行障碍物联合检测和跟踪，因此，需要对各个传感器检测跟踪得到的障碍物信息进行融合，以获取准确的障碍物信息。
目前，针对雷达的障碍物检测结果和视觉相机的障碍物检测结果的融合方案通常是将雷达的障碍物检测结果映射到二维图像上之后，仅利用检测框之间的重叠情况或检测框中心点距离来判断雷达的障碍物检测结果与视觉相机的障碍物检测结果是否对应同一障碍物目标，进而完成相同障碍物目标的信息融合。
然而，上述融合方案需要满足待融合障碍物目标个数较少且障碍物之间不存在重叠情况的条件。一旦处于复杂的外部环境，障碍物个数过多，且多个障碍物在视觉图像上相互重叠时，障碍物信息融合的准确性会下降，导致不同障碍物信息发生混乱。
发明内容
本申请提供一种障碍物信息融合方法、装置、电子设备和存储介质，以实现多传感器获取的障碍物信息的准确融合。
本申请提供一种障碍物信息融合方法，包括：
基于雷达采集的点云数据，对障碍物进行雷达目标检测和跟踪，得到各个障碍物在摄像头的二维图像坐标系下的雷达检测框；
基于摄像头采集的图像数据，对障碍物进行图像目标检测，得到各个障碍物的图像检测框及其类别；
统计所述雷达检测框中包含的各类别图像检测框的视觉中心点数量，并基于所述雷达检测框中各类别图像检测框的视觉中心点数量，确定所述雷达检测框对应障碍物的类别。
根据本申请提供一种的障碍物信息融合方法，所述基于雷达采集的点云数据，对障碍物进行雷达目标检测和跟踪，得到各个障碍物在摄像头的二维图像坐标系下的雷达检测框，具体包括：
基于所述点云数据对障碍物进行雷达目标检测和跟踪，得到障碍物的跟踪标识及其对应的三维目标检测框；
根据坐标系转换矩阵，将所述三维目标检测框映射到所述摄像头对应的二维图像坐标系中，得到所述雷达检测框；
其中，所述坐标系转换矩阵是基于所述雷达与所述摄像头之间的相对位置关系确定的。
根据本申请提供的一种障碍物信息融合方法，所述统计所述雷达检测框中包含的各类别图像检测框的视觉中心点数量，并基于所述雷达检测框中各类别图像检测框的视觉中心点数量，确定所述雷达检测框对应障碍物的类别，具体包括：
统计所述雷达检测框中包含的各类别图像检测框的视觉中心点数量；
若所述雷达检测框中包含的视觉中心点数量为0，则基于所述雷达检测框对应障碍物的跟踪标识，确定所述雷达检测框对应障碍物在上一帧中确定得到的类别，并将所述上一帧中确定得到的类别作为所述雷达检测框对应障碍物在当前帧中的类别；
否则，基于所述雷达检测框中各类别图像检测框的视觉中心点数量，确定所述雷达检测框对应障碍物的类别。
根据本申请提供的一种障碍物信息融合方法，所述基于所述雷达检测框中各类别图像检测框的视觉中心点数量，确定所述雷达检测框对应障碍物的类别，具体包括：
基于所述雷达检测框中各类别图像检测框的视觉中心点数量，确定所述雷达检测框包含的视觉中心点数量最多的图像检测框的类别，作为所述雷达检测框对应障碍物的类别。
根据本申请提供的一种障碍物信息融合方法，所述统计所述雷达检测框中包含的各类别图像检测框的视觉中心点数量，并基于所述雷达检测框中各类别图像检测框的视觉中心点数量，确定所述雷达检测框对应障碍物的类别，具体包括：
计算所述雷达检测框与图像检测框之间的重叠率；
若所述重叠率大于预设重叠阈值，则将所述图像检测框对应障碍物的类别作为所述雷达检测框对应障碍物的类别；
若所述雷达检测框与所有图像检测框之间的重叠率均小于等于所述预设重叠阈值，则统计所述雷达检测框中包含的各类别图像检测框的视觉中心点数量，并基于所述雷达检测框中各类别图像检测框的视觉中心点数量，确定所述雷达检测框对应障碍物的类别。
根据本申请提供的一种障碍物信息融合方法，所述计算所述雷达检测框与图像检测框之间的重叠率，具体包括：
基于所述雷达检测框在所述摄像头对应的二维图像坐标系中的坐标，确定所述雷达检测框与所述图像检测框的重叠部分的面积，以及所述雷达检测框与所述图像检测框并集的总面积；
基于所述重叠部分的面积以及所述并集的总面积，确定所述重叠率。
本申请还提供一种障碍物信息融合装置，包括：雷达目标检测单元，用于基于雷达采集的点云数据，对障碍物进行雷达目标检测和跟踪，得到各个障碍物在所述摄像头的二维图像坐标系下的雷达检测框；
图像目标检测单元，用于基于摄像头采集的图像数据，对障碍物进行图像目标检测，得到各个障碍物的图像检测框及其类别；
障碍物类别融合单元，用于统计所述雷达检测框中包含的各类别图像检测框的视觉中心点数量，并基于所述雷达检测框中各类别图像检测框的视觉中心点数量，确定所述雷达检测框对应障碍物的类别。
根据本申请提供的一种障碍物信息融合装置，所述雷达目标检测单元，具体包括：
检测跟踪单元，用于基于所述点云数据对障碍物进行雷达目标检测和跟踪，得到障碍物的跟踪标识及其对应的三维目标检测框；
坐标映射单元，用于根据坐标系转换矩阵，将所述三维目标检测框映射到所述摄像头对应的二维图像坐标系中，得到所述雷达检测框；
其中，所述坐标系转换矩阵是基于所述雷达与所述摄像头之间的相对位置关系确定的。
根据本申请提供的一种障碍物信息融合装置，所述障碍物类别融合单元，具体包括：
视觉中心点统计单元，用于统计所述雷达检测框中包含的各类别图像检测框的视觉中心点数量；
跟踪融合单元，用于若所述雷达检测框中包含的视觉中心点数量为0，则基于所述雷达检测框对应障碍物的跟踪标识，确定所述雷达检测框对应障碍物在上一帧中确定得到的类别，并将所述上一帧中确定得到的类别作为所述雷达检测框对应障碍物在当前帧中的类别；
视觉投票融合单元，用于若所述雷达检测框中包含的视觉中心点数量大于0，则基于所述雷达检测框中各类别图像检测框的视觉中心点数量，确定所述雷达检测框对应障碍物的类别。
根据本申请提供的一种障碍物信息融合装置，所述障碍物类别融合单元，具体包括：
重叠率计算单元，用于计算所述雷达检测框与图像检测框之间的重叠率；
重叠率融合单元，用于若所述重叠率大于预设重叠阈值，则将所述图像检测框所属障碍物的类别作为所述雷达检测框所属障碍物的类别；
障碍物类别融合子单元，用于若所述雷达检测框与所有图像检测框之间的重叠率均小于等于所述预设重叠阈值，则统计所述雷达检测框中包含的各类别图像检测框的视觉中心点数量，并基于所述雷达检测框中各类别图像检测框的视觉中心点数量，确定所述雷达检测框对应障碍物的类别。
本申请还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述障碍物信息融合方法的步骤。
本申请还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述障碍物信息融合方法的步骤。
本申请提供的障碍物信息融合方法、装置、电子设备和存储介质，本申请实施例提供的方法，通过统计雷达检测框中包含的各类别图像检测框的视觉中心点数量，并基于雷达检测框中各类别图像检测框的视觉中心点数量，确定雷达检测框对应障碍物的类别，在多个障碍物聚集的情况下，可以准确地将图像检测框对应障碍物的类别赋予雷达检测框对应的障碍物，实现障碍物信息的精准融合。
附图说明
为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请提供的障碍物信息融合方法的流程示意图之一；
图2为本申请提供的雷达检测框获取方法的流程示意图；
图3为本申请提供的障碍物信息融合方法的流程示意图之二；
图4为本申请提供的障碍物信息融合方法的流程示意图之三；
图5为本申请提供的重叠率计算方法的流程示意图；
图6为本申请提供的障碍物信息融合方法的流程示意图之四；
图7为本申请提供的障碍物信息融合装置的结构示意图；
图8为本申请提供的雷达目标检测单元的结构示意图；
图9为本申请提供的障碍物类别融合单元的结构示意图之一；
图10为本申请提供的障碍物类别融合单元的结构示意图之二；
图11为是本申请提供的电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1为本申请实施例提供的障碍物信息融合方法的流程示意图之一，如图1所示，该方法包括：
步骤110，基于雷达采集的点云数据，对障碍物进行雷达目标检测和跟踪，得到各个障碍物的在摄像头的二维图像坐标系下雷达检测框；
步骤120，基于摄像头采集的图像数据，对障碍物进行图像目标检测，得到各个障碍物的图像检测框及其类别；
步骤130，统计雷达检测框中包含的各类别图像检测框的视觉中心点数量，并基于雷达检测框中各类别图像检测框的视觉中心点数量，确定雷达检测框对应障碍物的类别。
具体地，雷达可以为激光雷达，例如单激光雷达，摄像头可以为单目摄像头，例如环视单目摄像头。基于雷达采集的三维点云数据，可以利用基于点云数据的目标检测和跟踪算法对障碍物进行雷达目标检测和跟踪，获取各个障碍物在摄像头的二维图像坐标系下的雷达检测框。其中，障碍物的雷达检测框为基于雷达点云数据获取的包围该障碍物的目标检测框。此外，基于摄像头采集的图像数据，可以利用基于图像的目标检测和跟踪算法对障碍物进行图像目标检测，得到各个障碍物的图像检测框以及各个障碍物的类别。其中，障碍物的图像检测框为基于图像信息获取的包围该障碍物的目标检测框。
需要说明的是，本发明实施例不对步骤110和步骤120的执行顺序做具体限定，步骤110可以在步骤120之前或之后执行，也可以与步骤120同步执行。
在复杂的外部环境中，可能存在多个障碍物目标聚集的情况。因此，在摄像头采集的图像中，多个障碍物之间存在重叠，导致多个障碍物的图像检测框也相应地存在重叠情况。此时，对于多个重叠障碍物中的某一个障碍物而言，该障碍物的雷达检测框可能与多个图像检测框均存在重叠，导致无法准确地将同一个障碍物的雷达检测框和图像检测框对应起来，从而难以确定雷达检测框对应障碍物的类别。
因此，本申请实施例在获取得到各个障碍物的雷达检测框和图像检测框后，统计雷达检测框中包含的各类别图像检测框的视觉中心点数量。其中，图像检测框的视觉中心点即为该图像检测框的中心点。此处，在进行图像目标检测时，已经获知各个障碍物的图像检测框及其类别，因此可以统计雷达检测框中包含的每个类别障碍物的个数。具体而言，可以将图像检测框的视觉中心点作为该图像检测框所属障碍物的代表，通过统计各类别图像检测框的视觉中心点数量，确定该雷达检测框中每个类别障碍物的数量。
然后，可以基于雷达检测框中各类别图像检测框的视觉中心点数量，确定雷达检测框对应障碍物的类别。其中，某一类别的图像检测框的视觉中心点数量越多，该雷达检测框对应障碍物的类别越有可能为该类别。此处，可以仅基于雷达检测框中各类别图像检测框的视觉中心点数量，利用投票机制，确定雷达检测框对应障碍物的类别。还可以结合雷达检测框与图像检测框之间的重叠率，共同确定雷达检测框对应障碍物的类别，例如选择对应的图像检测框与雷达检测框的重叠率较高、且雷达检测框中包含的视觉中心点数量较多的类别，作为雷达检测框对应障碍物的类别，本申请实施例对此不作具体限定。
本申请实施例提供的方法，通过统计雷达检测框中包含的各类别图像检测框的视觉中心点数量，并基于雷达检测框中各类别图像检测框的视觉中心点数量，确定雷达检测框对应障碍物的类别，在多个障碍物聚集的情况下，可以准确地将图像检测框对应障碍物的类别赋予雷达检测框对应的障碍物，实现障碍物信息的精准融合。
基于上述实施例，图2为本申请实施例提供的雷达检测框获取方法的流程示意图，如图2所示，步骤110具体包括：
步骤111，基于点云数据对障碍物进行雷达目标检测和跟踪，得到障碍物的跟踪标识及其对应的三维目标检测框；
步骤112，根据坐标系转换矩阵，将三维目标检测框映射到摄像头对应的二维图像坐标系中，得到雷达检测框；
其中，坐标系转换矩阵是基于雷达与摄像头之间的相对位置关系确定的。
具体地，可以基于雷达采集的三维点云数据，利用目标检测和跟踪算法对障碍物进行雷达目标检测和跟踪，得到障碍物的跟踪标识以及该障碍物对应的三维目标检测框。然后，将三维目标检测框映射到摄像头对应的二维图像坐标系中，得到雷达检测框，以便于与摄像头采集的图像信息中包含的障碍物信息进行融合。其中，为了将三维目标检测框投影到二维图像坐标系中，需要建立三维目标检测框所在的坐标系与二维图像坐标系之间的转换关系，即坐标系转换矩阵。
三维目标检测框所在的坐标系可以以采集三维点云数据的雷达的安装位置为原点建立，二维图像坐标系可以以摄像头的安装位置为原点建立。由于雷达以及摄像头安装在车辆上的位置一般是固定不变的，因此可以通过标定和解算的方式，事先获取雷达和摄像头的相对位置关系，确定三维目标检测框所在的坐标系与二维图像坐标系之间的函数映射关系，该函数映射关系即可表示为坐标系转换矩阵。根据坐标系转换矩阵，对三维目标检测框进行坐标转换，投影到二维图像坐标系中，从而得到雷达检测框。
基于上述任一实施例，图3为本申请实施例提供的障碍物信息融合方法的流程示意图之二，如图3所示，步骤130具体包括：
步骤1301，统计雷达检测框中包含的各类别图像检测框的视觉中心点数量；
步骤1302，若雷达检测框中包含的视觉中心点数量为0，则基于雷达检测框对应障碍物的跟踪标识，确定雷达检测框对应障碍物在上一帧中确定得到的类别，并将上一帧中确定得到的类别作为雷达检测框对应障碍物在当前帧中的类别；
步骤1303，否则，基于雷达检测框中各类别图像检测框的视觉中心点数量，确定雷达检测框对应障碍物的类别。
具体地，统计雷达检测框中包含的各类别图像检测框的视觉中心点数量。具体而言，可以首先获取雷达检测框中包含的各个视觉中心点，然后根据上述各个视觉中心点所属图像检测框对应的类别，将同一类别的图像检测框的视觉中心点进行累加，得到雷达检测框中包含的各类别图像检测框的视觉中心点数量。
若雷达检测框中包含的视觉中心点数量为0，则表明该雷达检测框与所有图像检测框不重叠或重叠程度较低，即该雷达检测框与所有图像检测框之间的相关性不足，难以根据图像检测框对应障碍物的类别确定雷达检测框对应障碍物的类别。这种情况可能是障碍物在运动状态下，对障碍物进行雷达目标检测和跟踪的速度与图像目标检测的速度不同，导致同一障碍物的雷达检测框和图像检测框的重叠率变小所造成的。此时，可以根据雷达跟踪的结果，基于雷达检测框对应障碍物的跟踪标识，确定雷达检测框对应障碍物在上一帧中确定得到的类别。然后，将上一帧中确定得到的类别作为雷达检测框对应障碍物在当前帧中的类别。此处，考虑到对障碍物进行稳定跟踪时，同一跟踪标识在不同帧中对应的障碍物通常为同一个，因此，可以根据该障碍物的跟踪标识，获取该跟踪标识对应的障碍物在上一帧中获得的类别信息，并将该上一帧中获得的类别信息作为该障碍物在当前帧中的类别，保证同一跟踪标识对应的障碍物在连续帧中的类别信息一致，确保障碍物信息融合的稳定性。
若雷达检测框中包含的视觉中心点数量大于0，则可以基于雷达检测框中各类别图像检测框的视觉中心点数量，确定雷达检测框对应障碍物的类别。
本申请实施例提供的方法，通过在雷达检测框中包含的视觉中心点数量为0时，基于雷达检测框对应障碍物的跟踪标识，确定雷达检测框对应障碍物在上一帧中确定得到的类别，并将上一帧中确定得到的类别作为雷达检测框对应障碍物在当前帧中的类别，否则，基于雷达检测框中各类别图像检测框的视觉中心点数量，确定雷达检测框对应障碍物的类别，能够准确确定运动状态下雷达检测框对应的障碍物的类别，且确保了运动障碍物的障碍物信息融合的稳定性。
基于上述任一实施例，基于雷达检测框中各类别图像检测框的视觉中心点数量，确定雷达检测框对应障碍物的类别，具体包括：
基于雷达检测框中各类别图像检测框的视觉中心点数量，确定雷达检测框包含的视觉中心点数量最多的图像检测框的类别，作为雷达检测框对应障碍物的类别。
具体地，统计雷达检测框中包含的各类别图像检测框的视觉中心点数量之后，可以利用投票机制，确定雷达检测框包含的视觉中心点数量最多的类别，然后将该视觉中心点数量最多的图像检测框的类别，作为雷达检测框对应障碍物的类别。
基于上述任一实施例，图4为本申请实施例提供的障碍物信息融合方法的流程示意图之三，如图4所示，步骤130具体包括：
步骤1311，计算雷达检测框与图像检测框之间的重叠率；
步骤1312，若重叠率大于预设重叠阈值，则将图像检测框对应障碍物的类别作为雷达检测框对应障碍物的类别；
步骤1313，若雷达检测框与所有图像检测框之间的重叠率均小于等于预设重叠阈值，则统计雷达检测框中包含的各类别图像检测框的视觉中心点数量，并基于雷达检测框中各类别图像检测框的视觉中心点数量，确定雷达检测框对应障碍物的类别。
具体地，在统计雷达检测框中包含的各类别图像检测框的视觉中心点数量之前，可以先将雷达检测框与图像检测框进行匹配，若雷达检测框与某一图像检测框匹配成功，则能够表明雷达检测框与该图像检测框对应的障碍物相同，因此可以直接将该图像检测框对应障碍物的类别作为雷达检测框对应障碍物的类别。具体而言，可以通过计算雷达检测框与图像检测框之间的重叠率，实现两者的匹配。若雷达检测框与某一图像检测框之间的重叠率大于预设重叠阈值，则匹配成功，即可将该匹配成功的图像检测框对应障碍物的类别作为雷达检测框对应障碍物的类别。
当雷达检测框与所有图像检测框均不匹配，即重叠率均小于等于预设重叠阈值，则再统计雷达检测框中包含的各类别图像检测框的视觉中心点数量，并基于雷达检测框中各类别图像检测框的视觉中心点数量，确定雷达检测框对应障碍物的类别。
基于上述任一实施例，图5为本申请实施例提供的重叠率计算方法的流程示意图，如图5所示，步骤1311具体包括：
步骤1311-1，基于雷达检测框在摄像头对应的二维图像坐标系中的坐标，确定雷达检测框与图像检测框的重叠部分的面积，以及雷达检测框与图像检测框并集的总面积；
步骤1311-2，基于重叠部分的面积以及并集的总面积，确定重叠率。
具体地，由于雷达检测框与图像检测框均处于同一二维图像坐标系中，因此可以基于雷达检测框在二维图像坐标系中的坐标，以及图像检测框在该二维图像坐标系中的坐标，计算两个检测框之间的重叠部分的面积。其中，重叠部分的面积越大，表明雷达检测框与图像检测框之间的重合越多，二者对应的障碍物更有可能为同一个障碍物。此外，还可以计算雷达检测框与图像检测框并集的总面积，并基于重叠部分的面积以及并集的总面积，将重叠面积的值进行归一化处理，得到雷达检测框与图像检测框的重叠率。其中，可以将重叠部分的面积与并集的总面积之间的比值，作为两个检测框的重叠率。
基于上述任一实施例，图6为本申请实施例提供的障碍物信息融合方法的流程示意图之四，如图6所示，该方法包括：
首先，单个多线激光雷达和环视单目摄像头独立进行数据采集，分别得到点云数据和图像数据。
基于点云数据进行障碍物检测和跟踪，记录每个障碍物的跟踪ID以及三维检测框，然后将带有跟踪ID的障碍物的三维检测框映射到摄像头的二维图像坐标系中，得到各个障碍物的雷达检测框。
另外，基于图像数据，利用深度学习方式对障碍物进行图像目标检测，得到各个障碍物的图像检测框以及各个障碍物的类别信息。
针对每个障碍物的雷达检测框，依次计算该雷达检测框与每个图像检测框的重叠面积，然后计算重叠面积与雷达检测框与图像检测框并集的比值，得到重叠率fratio。
若该雷达检测框与任一图像检测框的fratio大于预设重叠阈值，则将该图像检测框对应障碍物的类别赋予雷达检测框，然后将跟踪ID与障碍物类别一一对应保存，完成雷达检测框和图像检测框的第一次数据融合。
保存本次不能融合的雷达检测框和图像检测框。
计算每一图像检测框的视觉中心点坐标，依次判断雷达检测框中包含的视觉中心点的数量。
若雷达检测框中包含的视觉中心点的数量大于0，则获取所占个数最多的视觉中心点所对应的类别，并将该类别赋予雷达检测框，完成雷达检测框和图像检测框的第二次融合。
保存本次仍不能融合的雷达检测框和图像检测框。
判断雷达检测框对应的跟踪ID与上一帧已经完成融合、带有类别信息的雷达检测框对应的跟踪ID是否一致。
若一致，则将该跟踪ID在上一帧获得的类别信息赋予当前帧的雷达检测框，完成雷达检测框和图像检测框的第三次融合。
最后，可以将三次融合的结果进行汇总合并，获得最终的融合结果，再将该最终的融合结果与不能融合的雷达检测框合并，共同输出。
下面对本申请提供的障碍物信息融合装置进行描述，下文描述的障碍物信息融合装置与上文描述的障碍物信息融合方法可相互对应参照。
基于上述任一实施例，图7为本申请实施例提供的障碍物信息融合装置的结构示意图，如图7所示，该装置包括：雷达目标检测单元710、图像目标检测单元720和障碍物类别融合单元730。
其中，雷达目标检测单元710用于基于雷达采集的点云数据，对障碍物进行雷达目标检测和跟踪，得到各个障碍物在摄像头的二维图像坐标系下的雷达检测框；
图像目标检测单元720用于基于摄像头采集的图像数据，对障碍物进行图像目标检测，得到各个障碍物的图像检测框及其类别；
障碍物类别融合单元730用于统计雷达检测框中包含的各类别图像检测框的视觉中心点数量，并基于雷达检测框中各类别图像检测框的视觉中心点数量，确定雷达检测框对应障碍物的类别。
本申请实施例提供的装置，通过统计雷达检测框中包含的各类别图像检测框的视觉中心点数量，并基于雷达检测框中各类别图像检测框的视觉中心点数量，确定雷达检测框对应障碍物的类别，在多个障碍物聚集的情况下，可以准确地将图像检测框对应障碍物的类别赋予雷达检测框对应的障碍物，实现障碍物信息的精准融合。
基于上述任一实施例，图8为本申请实施例提供的雷达目标检测单元的结构示意图，如图8所示，雷达目标检测单元710具体包括：
检测跟踪单元711，用于基于点云数据对障碍物进行雷达目标检测和跟踪，得到障碍物的跟踪标识及其对应的三维目标检测框；
坐标映射单元712，用于根据坐标系转换矩阵，将三维目标检测框映射到摄像头对应的二维图像坐标系中，得到雷达检测框；
其中，坐标系转换矩阵是基于雷达与摄像头之间的相对位置关系确定的。
基于上述任一实施例，图9为本申请实施例提供的障碍物类别融合单元的结构示意图之一，如图9所示，障碍物类别融合单元730具体包括：
视觉中心点统计单元7301，用于统计雷达检测框中包含的各类别图像检测框的视觉中心点数量；
跟踪融合单元7302，用于若雷达检测框中包含的视觉中心点数量为0，则基于雷达检测框对应障碍物的跟踪标识，确定雷达检测框对应障碍物在上一帧中确定得到的类别，并将上一帧中确定得到的类别作为雷达检测框对应障碍物在当前帧中的类别；
视觉投票融合单元7303，用于若雷达检测框中包含的视觉中心点数量大于0，则基于雷达检测框中各类别图像检测框的视觉中心点数量，确定雷达检测框对应障碍物的类别。
本申请实施例提供的装置，通过在雷达检测框中包含的视觉中心点数量为0时，基于雷达检测框对应障碍物的跟踪标识，确定雷达检测框对应障碍物在上一帧中确定得到的类别，并将上一帧中确定得到的类别作为雷达检测框对应障碍物在当前帧中的类别，否则，基于雷达检测框中各类别图像检测框的视觉中心点数量，确定雷达检测框对应障碍物的类别，能够准确确定运动状态下雷达检测框对应的障碍物的类别，且确保了运动障碍物的障碍物信息融合的稳定性。
基于上述任一实施例，基于雷达检测框中各类别图像检测框的视觉中心点数量，确定雷达检测框对应障碍物的类别，具体包括：
基于雷达检测框中各类别图像检测框的视觉中心点数量，确定雷达检测框包含的视觉中心点数量最多的图像检测框的类别，作为雷达检测框对应障碍物的类别。
基于上述任一实施例，图10为本申请实施例提供的障碍物类别融合单元的结构示意图之二，如图10所示，障碍物类别融合单元具体包括：
重叠率计算单元7311，用于计算雷达检测框与图像检测框之间的重叠率；
重叠率融合单元7312，用于若重叠率大于预设重叠阈值，则将图像检测框所属障碍物的类别作为雷达检测框所属障碍物的类别；
障碍物类别融合子单元7313，用于若雷达检测框与所有图像检测框之间的重叠率均小于等于预设重叠阈值，则统计雷达检测框中包含的各类别图像检测框的视觉中心点数量，并基于雷达检测框中各类别图像检测框的视觉中心点数量，确定雷达检测框对应障碍物的类别。
基于上述任一实施例，重叠率计算单元7311具体用于：
基于雷达检测框在摄像头对应的二维图像坐标系中的坐标，确定雷达检测框与图像检测框的重叠部分的面积，以及雷达检测框与图像检测框并集的总面积；
基于重叠部分的面积以及并集的总面积，确定重叠率。
本申请实施例提供的障碍物信息融合装置用于执行上述障碍物信息融合方法，其具体的实施方式与方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。
图11示例了一种电子设备的实体结构示意图，如图11所示，该电子设备可以包括：处理器(processor)1110、通信接口(Communications Interface)1120、存储器(memory)1130和通信总线1140，其中，处理器1110，通信接口1120，存储器1130通过通信总线1140完成相互间的通信。处理器1110可以调用存储器1130中的逻辑指令，以执行障碍物信息融合方法，该方法包括：基于雷达采集的点云数据，对障碍物进行雷达目标检测和跟踪，得到各个障碍物在摄像头的二维图像坐标系下的雷达检测框；基于摄像头采集的图像数据，对障碍物进行图像目标检测，得到各个障碍物的图像检测框及其类别；统计所述雷达检测框中包含的各类别图像检测框的视觉中心点数量，并基于所述雷达检测框中各类别图像检测框的视觉中心点数量，确定所述雷达检测框对应障碍物的类别。
此外，上述的存储器1130中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例提供的电子设备中的处理器810可以调用存储器830中的逻辑指令，实现上述障碍物信息融合方法，其具体的实施方式与方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。
另一方面，本申请还提供一种计算机程序产品，下面对本申请提供的计算机程序产品进行描述，下文描述的计算机程序产品与上文描述的障碍物信息融合方法可相互对应参照。
所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的障碍物信息融合方法，该方法包括：基于雷达采集的点云数据，对障碍物进行雷达目标检测和跟踪，得到各个障碍物在摄像头的二维图像坐标系下的雷达检测框；基于摄像头采集的图像数据，对障碍物进行图像目标检测，得到各个障碍物的图像检测框及其类别；统计所述雷达检测框中包含的各类别图像检测框的视觉中心点数量，并基于所述雷达检测框中各类别图像检测框的视觉中心点数量，确定所述雷达检测框对应障碍物的类别。
本申请实施例提供的计算机程序产品被执行时，实现上述障碍物信息融合方法，其具体的实施方式与方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。
又一方面，本申请还提供一种非暂态计算机可读存储介质，下面对本申请提供的非暂态计算机可读存储介质进行描述，下文描述的非暂态计算机可读存储介质与上文描述的障碍物信息融合方法可相互对应参照。
本申请还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的障碍物信息融合方法，该方法包括：基于雷达采集的点云数据，对障碍物进行雷达目标检测和跟踪，得到各个障碍物在摄像头的二维图像坐标系下的雷达检测框；基于摄像头采集的图像数据，对障碍物进行图像目标检测，得到各个障碍物的图像检测框及其类别；统计所述雷达检测框中包含的各类别图像检测框的视觉中心点数量，并基于所述雷达检测框中各类别图像检测框的视觉中心点数量，确定所述雷达检测框对应障碍物的类别。
本申请实施例提供的非暂态计算机可读存储介质上存储的计算机程序被执行时，实现上述障碍物信息融合方法，其具体的实施方式与方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (12)
1.一种障碍物信息融合方法，其特征在于，包括：
基于雷达采集的点云数据，对障碍物进行雷达目标检测和跟踪，得到各个障碍物在摄像头的二维图像坐标系下的雷达检测框；
基于摄像头采集的图像数据，对障碍物进行图像目标检测，得到各个障碍物的图像检测框及其类别；
统计所述雷达检测框中包含的各类别图像检测框的视觉中心点数量，并基于所述雷达检测框中各类别图像检测框的视觉中心点数量，确定所述雷达检测框对应障碍物的类别。
2.根据权利要求1所述的障碍物信息融合方法，其特征在于，所述基于雷达采集的点云数据，对障碍物进行雷达目标检测和跟踪，得到各个障碍物在摄像头的二维图像坐标系下的雷达检测框，具体包括：
基于所述点云数据对障碍物进行雷达目标检测和跟踪，得到障碍物的跟踪标识及其对应的三维目标检测框；
根据坐标系转换矩阵，将所述三维目标检测框映射到所述摄像头对应的二维图像坐标系中，得到所述雷达检测框；
其中，所述坐标系转换矩阵是基于所述雷达与所述摄像头之间的相对位置关系确定的。
3.根据权利要求2所述的障碍物信息融合方法，其特征在于，所述统计所述雷达检测框中包含的各类别图像检测框的视觉中心点数量，并基于所述雷达检测框中各类别图像检测框的视觉中心点数量，确定所述雷达检测框对应障碍物的类别，具体包括：
统计所述雷达检测框中包含的各类别图像检测框的视觉中心点数量；
若所述雷达检测框中包含的视觉中心点数量为0，则基于所述雷达检测框对应障碍物的跟踪标识，确定所述雷达检测框对应障碍物在上一帧中确定得到的类别，并将所述上一帧中确定得到的类别作为所述雷达检测框对应障碍物在当前帧中的类别；
否则，基于所述雷达检测框中各类别图像检测框的视觉中心点数量，确定所述雷达检测框对应障碍物的类别。
4.根据权利要求1至3任一项所述的障碍物信息融合方法，其特征在于，所述基于所述雷达检测框中各类别图像检测框的视觉中心点数量，确定所述雷达检测框对应障碍物的类别，具体包括：
基于所述雷达检测框中各类别图像检测框的视觉中心点数量，确定所述雷达检测框包含的视觉中心点数量最多的图像检测框的类别，作为所述雷达检测框对应障碍物的类别。
5.根据权利要求1所述的障碍物信息融合方法，其特征在于，所述统计所述雷达检测框中包含的各类别图像检测框的视觉中心点数量，并基于所述雷达检测框中各类别图像检测框的视觉中心点数量，确定所述雷达检测框对应障碍物的类别，具体包括：
计算所述雷达检测框与图像检测框之间的重叠率；
若所述重叠率大于预设重叠阈值，则将所述图像检测框对应障碍物的类别作为所述雷达检测框对应障碍物的类别；
若所述雷达检测框与所有图像检测框之间的重叠率均小于等于所述预设重叠阈值，则统计所述雷达检测框中包含的各类别图像检测框的视觉中心点数量，并基于所述雷达检测框中各类别图像检测框的视觉中心点数量，确定所述雷达检测框对应障碍物的类别。
6.根据权利要求5所述的障碍物信息融合方法，其特征在于，所述计算所述雷达检测框与图像检测框之间的重叠率，具体包括：
基于所述雷达检测框在所述摄像头对应的二维图像坐标系中的坐标，确定所述雷达检测框与所述图像检测框的重叠部分的面积，以及所述雷达检测框与所述图像检测框并集的总面积；
基于所述重叠部分的面积以及所述并集的总面积，确定所述重叠率。
7.一种障碍物信息融合装置，其特征在于，包括：
雷达目标检测单元，用于基于雷达采集的点云数据，对障碍物进行雷达目标检测和跟踪，得到各个障碍物在摄像头的二维图像坐标系下的雷达检测框；
图像目标检测单元，用于基于摄像头采集的图像数据，对障碍物进行图像目标检测，得到各个障碍物的图像检测框及其类别；
障碍物类别融合单元，用于统计所述雷达检测框中包含的各类别图像检测框的视觉中心点数量，并基于所述雷达检测框中各类别图像检测框的视觉中心点数量，确定所述雷达检测框对应障碍物的类别。
8.根据权利要求7所述的障碍物信息融合装置，其特征在于，所述雷达目标检测单元，具体包括：
检测跟踪单元，用于基于所述点云数据对障碍物进行雷达目标检测和跟踪，得到障碍物的跟踪标识及其对应的三维目标检测框；
坐标映射单元，用于根据坐标系转换矩阵，将所述三维目标检测框映射到所述摄像头对应的二维图像坐标系中，得到所述雷达检测框；
其中，所述坐标系转换矩阵是基于所述雷达与所述摄像头之间的相对位置关系确定的。
9.根据权利要求8所述的障碍物信息融合装置，其特征在于，所述障碍物类别融合单元，具体包括：
视觉中心点统计单元，用于统计所述雷达检测框中包含的各类别图像检测框的视觉中心点数量；
跟踪融合单元，用于若所述雷达检测框中包含的视觉中心点数量为0，则基于所述雷达检测框对应障碍物的跟踪标识，确定所述雷达检测框对应障碍物在上一帧中确定得到的类别，并将所述上一帧中确定得到的类别作为所述雷达检测框对应障碍物在当前帧中的类别；
视觉投票融合单元，用于若所述雷达检测框中包含的视觉中心点数量大于0，则基于所述雷达检测框中各类别图像检测框的视觉中心点数量，确定所述雷达检测框对应障碍物的类别。
10.根据权利要求7所述的障碍物信息融合装置，其特征在于，所述障碍物类别融合单元，具体包括：
重叠率计算单元，用于计算所述雷达检测框与图像检测框之间的重叠率；
重叠率融合单元，用于若所述重叠率大于预设重叠阈值，则将所述图像检测框所属障碍物的类别作为所述雷达检测框所属障碍物的类别；
障碍物类别融合子单元，用于若所述雷达检测框与所有图像检测框之间的重叠率均小于等于所述预设重叠阈值，则统计所述雷达检测框中包含的各类别图像检测框的视觉中心点数量，并基于所述雷达检测框中各类别图像检测框的视觉中心点数量，确定所述雷达检测框对应障碍物的类别。
11.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述障碍物信息融合方法的步骤。
12.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述障碍物信息融合方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011359769.4A CN112528773B (zh) | 2020-11-27 | 2020-11-27 | 障碍物信息融合方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011359769.4A CN112528773B (zh) | 2020-11-27 | 2020-11-27 | 障碍物信息融合方法、装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112528773A true CN112528773A (zh) | 2021-03-19 |
| CN112528773B CN112528773B (zh) | 2023-04-07 |
Family
ID=74994174
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011359769.4A Active CN112528773B (zh) | 2020-11-27 | 2020-11-27 | 障碍物信息融合方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112528773B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113177502A (zh) * | 2021-05-13 | 2021-07-27 | 北京罗克维尔斯科技有限公司 | 环视障碍物检测方法、装置、介质、车载系统以及车辆 |
| CN113378628A (zh) * | 2021-04-27 | 2021-09-10 | 阿里云计算有限公司 | 一种道路障碍物区域检测方法 |
| CN113469130A (zh) * | 2021-07-23 | 2021-10-01 | 浙江大华技术股份有限公司 | 一种遮挡目标检测方法、装置、存储介质及电子装置 |
| CN113744565A (zh) * | 2021-09-06 | 2021-12-03 | 北京百度网讯科技有限公司 | 一种碰撞预警方法、装置、电子设备及自动驾驶车辆 |
| CN114118253A (zh) * | 2021-11-23 | 2022-03-01 | 合肥工业大学 | 一种基于多源数据融合的车辆检测方法及检测装置 |
| CN114440903A (zh) * | 2022-01-21 | 2022-05-06 | 北京三快在线科技有限公司 | 一种高精地图构建方法、装置、存储介质及电子设备 |
| CN114721404A (zh) * | 2022-06-08 | 2022-07-08 | 超节点创新科技(深圳)有限公司 | 避障方法、机器人和存储介质 |
| CN115327524A (zh) * | 2022-07-29 | 2022-11-11 | 江苏集萃深度感知技术研究所有限公司 | 基于毫米波雷达与视觉融合的路侧端目标检测方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180293445A1 (en) * | 2017-04-06 | 2018-10-11 | GM Global Technology Operations LLC | Object tracking |
| CN110456363A (zh) * | 2019-06-17 | 2019-11-15 | 北京理工大学 | 三维激光雷达点云和红外图像融合的目标检测及定位方法 |
| WO2020108647A1 (zh) * | 2018-11-30 | 2020-06-04 | 杭州海康威视数字技术股份有限公司 | 车载摄像头和车载雷达联动的目标检测方法、装置及系统 |
| CN111340797A (zh) * | 2020-03-10 | 2020-06-26 | 山东大学 | 一种激光雷达与双目相机数据融合检测方法及系统 |
| CN111611853A (zh) * | 2020-04-15 | 2020-09-01 | 宁波吉利汽车研究开发有限公司 | 一种传感信息融合方法、装置及存储介质 |
-
2020
- 2020-11-27 CN CN202011359769.4A patent/CN112528773B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180293445A1 (en) * | 2017-04-06 | 2018-10-11 | GM Global Technology Operations LLC | Object tracking |
| WO2020108647A1 (zh) * | 2018-11-30 | 2020-06-04 | 杭州海康威视数字技术股份有限公司 | 车载摄像头和车载雷达联动的目标检测方法、装置及系统 |
| CN110456363A (zh) * | 2019-06-17 | 2019-11-15 | 北京理工大学 | 三维激光雷达点云和红外图像融合的目标检测及定位方法 |
| CN111340797A (zh) * | 2020-03-10 | 2020-06-26 | 山东大学 | 一种激光雷达与双目相机数据融合检测方法及系统 |
| CN111611853A (zh) * | 2020-04-15 | 2020-09-01 | 宁波吉利汽车研究开发有限公司 | 一种传感信息融合方法、装置及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| L. MOU等: "Multitemporal Very High Resolution From Space: Outcome of the 2016 IEEE GRSS Data Fusion Contest", 《 IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING》 * |
| 寇展等: "基于深度学习的低空小型无人机障碍物视觉感知", 《中国科学:信息科学》 * |
| 薛培林等: "基于信息融合的城市自主车辆实时目标识别", 《机械工程学报》 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113378628A (zh) * | 2021-04-27 | 2021-09-10 | 阿里云计算有限公司 | 一种道路障碍物区域检测方法 |
| CN113177502A (zh) * | 2021-05-13 | 2021-07-27 | 北京罗克维尔斯科技有限公司 | 环视障碍物检测方法、装置、介质、车载系统以及车辆 |
| CN113177502B (zh) * | 2021-05-13 | 2024-02-02 | 北京罗克维尔斯科技有限公司 | 环视障碍物检测方法、装置、介质、车载系统以及车辆 |
| CN113469130A (zh) * | 2021-07-23 | 2021-10-01 | 浙江大华技术股份有限公司 | 一种遮挡目标检测方法、装置、存储介质及电子装置 |
| CN113744565A (zh) * | 2021-09-06 | 2021-12-03 | 北京百度网讯科技有限公司 | 一种碰撞预警方法、装置、电子设备及自动驾驶车辆 |
| CN114118253A (zh) * | 2021-11-23 | 2022-03-01 | 合肥工业大学 | 一种基于多源数据融合的车辆检测方法及检测装置 |
| CN114118253B (zh) * | 2021-11-23 | 2024-02-20 | 合肥工业大学 | 一种基于多源数据融合的车辆检测方法及检测装置 |
| CN114440903A (zh) * | 2022-01-21 | 2022-05-06 | 北京三快在线科技有限公司 | 一种高精地图构建方法、装置、存储介质及电子设备 |
| CN114721404A (zh) * | 2022-06-08 | 2022-07-08 | 超节点创新科技(深圳)有限公司 | 避障方法、机器人和存储介质 |
| CN114721404B (zh) * | 2022-06-08 | 2022-09-13 | 超节点创新科技(深圳)有限公司 | 避障方法、机器人和存储介质 |
| CN115327524A (zh) * | 2022-07-29 | 2022-11-11 | 江苏集萃深度感知技术研究所有限公司 | 基于毫米波雷达与视觉融合的路侧端目标检测方法及装置 |
| CN115327524B (zh) * | 2022-07-29 | 2024-09-27 | 江苏集萃深度感知技术研究所有限公司 | 基于毫米波雷达与视觉融合的路侧端目标检测方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112528773B (zh) | 2023-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112528773B (zh) | 障碍物信息融合方法、装置、电子设备和存储介质 | |
| CN112417967B (zh) | 障碍物检测方法、装置、计算机设备和存储介质 | |
| CN109271944B (zh) | 障碍物检测方法、装置、电子设备、车辆及存储介质 | |
| EP4145339A1 (en) | Vehicle drivable area detection method, system, and automatic driving vehicle using system | |
| CN110470333B (zh) | 传感器参数的标定方法及装置、存储介质和电子装置 | |
| CN110501036A (zh) | 传感器参数的标定检查方法及装置 | |
| EP3690396A1 (en) | Method and device for providing advanced pedestrian assistance system to protect pedestrian distracted by their smartphone | |
| CN109583416B (zh) | 伪车道线识别方法及系统 | |
| CN110068814B (zh) | 一种测量障碍物距离的方法及装置 | |
| CN112528771A (zh) | 障碍物检测方法、装置、电子设备及存储介质 | |
| CN107800747A (zh) | 一种乘客定位显示处理方法及装置 | |
| CN112651359A (zh) | 障碍物检测方法、装置、电子设备和存储介质 | |
| CN111784730B (zh) | 一种对象跟踪方法、装置、电子设备及存储介质 | |
| CN113261010A (zh) | 基于对象轨迹的用于跨域对应的多模态传感器融合方法 | |
| CN113469045B (zh) | 无人集卡的视觉定位方法、系统、电子设备和存储介质 | |
| CN112257542A (zh) | 障碍物感知方法、存储介质及电子设备 | |
| CN110751836A (zh) | 车辆行驶预警方法及系统 | |
| CN113008237A (zh) | 一种路径规划方法及装置、飞行器 | |
| CN112466147A (zh) | 一种基于多传感器的库位检测方法及相关装置 | |
| CN117128979A (zh) | 一种多传感器融合方法、装置、电子设备及存储介质 | |
| CN113640810A (zh) | 空间车位检测方法、设备、存储介质和程序产品 | |
| EP4410627A1 (en) | Empty space identification method, vehicle, and readable storage medium | |
| CN116958452A (zh) | 三维重建方法和系统 | |
| CN110414374B (zh) | 一种障碍物位姿的确定方法、装置、设备及介质 | |
| CN115249407B (zh) | 指示灯状态识别方法、装置、电子设备、存储介质及产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240514 Address after: Room 6227, No. 999, Changning District, Shanghai 200050 Patentee after: Shenlan robot (Shanghai) Co.,Ltd. Country or region after: China Address before: 200336 unit 1001, 369 Weining Road, Changning District, Shanghai Patentee before: DEEPBLUE TECHNOLOGY (SHANGHAI) Co.,Ltd. Country or region before: China |