CN111611853B - 一种传感信息融合方法、装置及存储介质 - Google Patents

一种传感信息融合方法、装置及存储介质 Download PDF

Info

Publication number
CN111611853B
CN111611853B CN202010295789.3A CN202010295789A CN111611853B CN 111611853 B CN111611853 B CN 111611853B CN 202010295789 A CN202010295789 A CN 202010295789A CN 111611853 B CN111611853 B CN 111611853B
Authority
CN
China
Prior art keywords
detection frame
target obstacle
target
detection
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010295789.3A
Other languages
English (en)
Other versions
CN111611853A (zh
Inventor
李培杰
应思琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Geely Holding Group Co Ltd
Ningbo Geely Automobile Research and Development Co Ltd
Original Assignee
Zhejiang Geely Holding Group Co Ltd
Ningbo Geely Automobile Research and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Geely Holding Group Co Ltd, Ningbo Geely Automobile Research and Development Co Ltd filed Critical Zhejiang Geely Holding Group Co Ltd
Priority to CN202010295789.3A priority Critical patent/CN111611853B/zh
Publication of CN111611853A publication Critical patent/CN111611853A/zh
Application granted granted Critical
Publication of CN111611853B publication Critical patent/CN111611853B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种传感信息融合方法，所述方法包括：获取目标障碍物的3D点云数据和场景图像数据；对目标障碍物的3D点云数据进行障碍物边框构建，确定所述目标障碍物的3D检测框和位于所述3D检测框中的3D点云数据；对所述场景图像数据进行目标检测，得到所述目标障碍物的2D检测框；将所述3D检测框投影至所述2D检测框，确定所述3D检测框和所述2D检测框的投影重合度，并确定所述3D检测框中的3D点云数据在所述2D检测框中的投影密度；基于所述投影重合度和所述投影密度确定融合置信度；在所述融合置信度大于等于预设置信度阈值时，融合所述目标障碍物的3D点云数据和所述目标障碍物的场景图像数据。实施本发明，可增加激光雷达和摄像头关联融合的可靠性。

Description

一种传感信息融合方法、装置及存储介质
技术领域
本发明涉及车辆技术领域，特别涉及一种传感信息融合方法、装置及存储介质。
背景技术
无人驾驶已经成为汽车行业的发展趋势，目前对于无人驾驶感知、定位、规划、控制等方面的研究也正如火如荼的进行。为了保证无人驾驶车辆的行驶安全，必要的功能就是识别周围环境和障碍物，以制定方案来合理避障。
在无人驾驶中，识别障碍物主要依靠摄像头和激光雷达，激光雷达输出的是3D点云数据和反射率，摄像头输出的是RGB图像的像素阵列。激光雷达采集的数据具有空间信息、不受光照因素影响等优势，但和图像像素相比分辨率不足，摄像头的数据具有分辨率高，易于用深度学习神经网络检测障碍物的优点，但摄像头采集数据依赖良好光线，很多场景下并不可靠，因此，目前一些方案会共同使用激光雷达和摄像头来识别障碍物。
例如，百度和禾赛的一体化传感器Pandora将激光雷达和摄像头集成在一个传感器上，并保证两个传感器的出发时间相同，以进行同步信息采集，之后用早期融合方案进行传感器数据融合，但是该产品成本较高，且不能自行更改方案，因此，目前主流方案还是采用独立安装的激光雷达和摄像头来共同识别障碍物，即，激光雷达和摄像头先用感知算法将各自的数据处理好，再进行后续汇总融合。
而本申请的发明人在研究过程中发现，针对独立安装的激光雷达和摄像头，现有融合方法存在3D目标和2D目标关联度不够，从而造成独立安装的激光雷达和摄像头关联融合的可靠性较低。
发明内容
针对现有技术的上述问题，本发明的目的在于提供一种传感信息融合方法、装置及存储介质，以解决现有独立安装的激光雷达和摄像头关联融合的可靠性低的问题。
本发明第一方面提供一种传感信息融合方法，所述方法包括：获取目标障碍物的3D点云数据，并获取所述目标障碍物的场景图像数据；对所述目标障碍物的3D点云数据进行障碍物边框构建，确定所述目标障碍物的3D检测框和位于所述3D检测框中的3D点云数据；对所述场景图像数据进行目标检测，得到所述目标障碍物的2D检测框；将所述3D检测框投影至所述2D检测框，确定所述3D检测框和所述2D检测框的投影重合度，并确定所述3D检测框中的3D点云数据在所述2D检测框中的投影密度；基于所述投影重合度和所述投影密度确定融合置信度；在所述融合置信度大于等于预设置信度阈值时，融合所述目标障碍物的3D点云数据和所述目标障碍物的场景图像数据。
进一步地，在融合所述目标障碍物的3D点云数据和所述目标障碍物的场景图像数据之前，所述方法还包括：基于所述目标障碍物的3D点云数据确定所述目标障碍物确定所述目标障碍物相对于当前车辆的距离；基于所述目标障碍物相对于所述当前车辆的距离确定所述预设置信度阈值，所述预设置信度阈值与所述目标障碍物相对于所述当前车辆的距离成反比。
进一步地，所述方法还包括：在获取所述目标障碍物的3D点云数据的同时，获取所述目标障碍物的3D点云数据的时间戳；相应的，所述获取所述目标障碍物的场景图像数据包括：获取所述目标障碍物在所述时间戳之前的预设时间段内的至少一个场景图像数据；所述对所述场景图像数据进行目标检测，得到所述目标障碍物的2D检测框包括：对所述预设时间段内的所述场景图像数据进行目标检测，得到至少一个所述目标障碍物的2D检测框。
进一步地，在融合所述目标障碍物的3D点云数据和所述目标障碍物的场景图像数据之后，所述方法还包括：创建所述目标障碍物的卡尔曼跟踪器，利用所述卡尔曼跟踪器对所述目标障碍物的状态信息进行预测，得到预测目标状态信息，所述预测目标状态信息包括预测位置状态信息、预测速度状态信息和2D检测框中预测投影密度信息；从融合后的数据中获取实时检测目标状态数据，所述实时检测目标状态信息包括实时检测位置状态信息、实时检测速度状态信息和2D检测框中实时检测投影密度信息；基于所述预测位置状态信息、所述预测速度状态信息、所述实时检测位置状态信息和所述实时检测速度状态信息确定所述目标障碍物和所述卡尔曼跟踪器的关联距离；基于所述2D检测框中预测投影密度信息和所述2D检测框中实时检测投影密度信息确定所述目标障碍物的2D检测框中的投影密度和所述卡尔曼跟踪器预测的2D检测框中投影密度的相似度；基于所述关联距离和所述相似度确定所述目标障碍物和所述卡尔曼跟踪器的综合距离；在所述综合距离小于等于预设距离阈值时，保留所述卡尔曼跟踪器并实时更新所述卡尔曼跟踪器。
进一步地，所述基于所述投影重合度和所述投影密度确定融合置信度包括按照如下公式确定所述融合置信度：
score＝α1×Box_Overlap+β1×Point_Density
其中，score为所述融合置信度，α1为所述投影重合度的权重，β1为所述投影密度的权重，Box_Overlap为所述投影重合度，Point_Density为所述投影密度。
进一步地，所述基于所述目标障碍物相对于所述当前车辆的距离确定所述预设置信度阈值包括按照如下公式确定所述预设置信度阈值：
其中，a＞b＞c，threshold为所述预设置信度阈值，distance为所述目标障碍物相对于所述当前车辆的距离。
进一步地，所述基于所述关联距离和所述相似度确定所述目标障碍物和所述卡尔曼跟踪器的综合距离包括按照如下公式确定所述综合距离：
costij＝α2×dij+β2×Imageij
其中，costij为所述综合距离，α2为所述关联距离的权重，β2为所述相似度的权重，dij为所述关联距离，Imageij为所述相似度，xi为所述目标障碍物的所述实时检测位置状态信息和所述实时检测速度状态信息所组成的向量，xj为所述卡尔曼跟踪器的所述预测位置状态信息和所述预测速度状态信息所组成的向量，S为所述卡尔曼跟踪器的所有样本的协方差矩阵。
进一步地，所述将所述3D检测框投影至所述2D检测框包括：对所述3D检测框和所述2D检测框进行联合坐标标定，得到统一坐标系下的所述3D检测框和所述2D检测框；将联合坐标标定后的所述3D检测框投影至联合坐标标定后的所述2D检测框。
本发明第二方面提供一种传感信息融合装置，所述装置包括：数据获取模块，用于获取目标障碍物的3D点云数据，并获取所述目标障碍物的场景图像数据；第一目标检测模块，用于对所述目标障碍物的3D点云数据进行障碍物边框构建，确定所述目标障碍物的3D检测框和位于所述3D检测框中的3D点云数据；第二目标检测模块，用于对所述场景图像数据进行目标检测，得到所述目标障碍物的2D检测框；投影模块，用于将所述3D检测框投影至所述2D检测框，确定所述3D检测框和所述2D检测框的投影重合度，并确定所述3D检测框中的3D点云数据在所述2D检测框中的投影密度；融合置信度确定模块，用于基于所述投影重合度和所述投影密度确定融合置信度；数据融合模块，用于在所述融合置信度大于等于预设置信度阈值时，融合所述目标障碍物的3D点云数据和所述目标障碍物的场景图像数据。
本发明第三方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集使所述计算机执行任一所述的传感信息融合方法。
由于上述技术方案，本发明具有如下有益效果：
通过将所述3D检测框投影至所述2D检测框，不仅确定了所述3D检测框和所述2D检测框的投影重合度，还确定了所述3D检测框中的3D点云数据在所述2D检测框中的投影密度，并基于所述投影重合度和所述投影密度确定融合置信度，以及在所述融合置信度大于等于预设置信度阈值时，融合所述目标障碍物的3D点云数据和所述目标障碍物的场景图像数据，从而提高了3D目标和2D目标的关联度，增加了激光雷达和摄像头关联融合的可靠性。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1是本发明实施例提供的一种传感信息融合系统的结构示意图；
图2是本发明实施例提供的一种传感信息融合方法的流程示意图；
图3是本发明实施例提供的一种传感信息融合装置的结构示意图；
附图中：
1-成像单元 2-激光雷达单元 3-融合单元
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。
图1为本发明实施例提供的一种传感信息融合系统的结构示意图，如图1所示，所述传感信息融合系统包括：成像单元1、激光雷达单元2和融合单元3；
其中，成像单元1用于获取车辆周围物体的影像，生成场景图像数据，所述成像单元1可以为安装在车身上的摄像头，还可以为其他图像获取装置；
激光雷达单元2用于感测车辆周围的障碍物，生成障碍物的3D点云数据；
融合单元3，分别与所述成像单元1和所述激光雷达单元2通信连接，用于分别接收来自成像单元1的场景图像数据和来自激光雷达单元2的3D点云数据，并将所述3D点云数据融合至所述场景图像数据中以形成融合数据。
进一步地，所述成像单元1与所述融合单元3的通讯可以是CVBS(Composite VideoBroadcast Signal，复合同步视频广播信号或复合视频消隐和同步)或LVDS(Low VoltageDifferential Signaling，低电压差分信号)传输，所述激光雷达单元2与所述融合单元3的通讯可以是CAN总线(Controller Area Network，控制器局域网络)、LIN总线(LocalInterconnect Network，局域互联网络)或以太网传输。
以下为本发明实施例的一种传感信息融合方法的具体实施例，请参考图2，图2是本发明实施例提供的传感信息融合方法的流程示意图，本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中装置或设备执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图2所示，所述方法可以包括：
步骤S201：获取目标障碍物的3D点云数据，并获取所述目标障碍物的场景图像数据；
在本发明实施例中，所述目标障碍物的3D点云数据为从障碍物3D点云数据中提取的属于所述目标障碍物的所有点的集合，所述障碍物3D点云数据为从原始三维点云数据中获取的只包含障碍物的3D点云数据。
具体的，获取目标障碍物的3D点云数据可以包括：首先读取当前帧的原始三维点云数据，然后对所述原始三维点云数据进行预处理，包括：ROI(Region of Interest，感兴趣区域)选取和鲁棒的地面分割，从而将超出感兴趣区域以外的点云数据和地面点数据从读取的原始三维点云数据中滤除，得到只包含障碍物的所述障碍物3D点云数据，进一步地，通过障碍物目标聚类算法将所述障碍物3D点云数据分割为若干个子集，其中每个子集为属于一个所述目标障碍物的所有点的集合。
步骤S203：对所述目标障碍物的3D点云数据进行障碍物边框构建，确定所述目标障碍物的3D检测框和位于所述3D检测框中的3D点云数据；
在本发明实施例中，所述障碍物边框构建是指对所述目标障碍物的3D点云数据运用边框构建算法拟合出最合适的带方向的3D边界框，所述最合适是指对障碍物目标朝向的最佳拟合估计。
步骤S205：对所述场景图像数据进行目标检测，得到所述目标障碍物的2D检测框；
具体的，可以通过目标检测模型对所述场景图像数据进行目标检测，其中，所述目标检测模型可以通过如下方式获得：构建初始检测模型，并对所述初始检测模型进行训练，从而得到目标检测模型。
可选的，可以采用Mask-RCNN(Mask Region-based Convolutional NeuralNetwork，掩膜基于区域的卷积神经网络)深度学习检测算法作为初始检测模型，并采用公开的BDD100K自动驾驶数据集对Mask-RCNN深度学习检测算法进行训练，从而得到所述目标检测模型。
步骤S207：将所述3D检测框投影至所述2D检测框，确定所述3D检测框和所述2D检测框的投影重合度，并确定所述3D检测框中的3D点云数据在所述2D检测框中的投影密度；
在本发明实施例中，所述将所述3D检测框投影至所述2D检测框可以包括：对所述3D检测框和所述2D检测框进行联合坐标标定，得到统一坐标系下的所述3D检测框和所述2D检测框；将联合坐标标定后的所述3D检测框投影至联合坐标标定后的所述2D检测框。
所述投影重合度是指所述3D检测框在所述2D检测框所在平面的投影与所述2D检测框的重合度，所述投影重合度可以表征为3D检测框的投影与所述2D检测框的重叠部分的面积除以所述所述2D检测框的面积。
所述投影密度是指投影在所述2D检测框中的所述3D检测框中的3D点云数据在所述2D检测框中的密度，所述投影密度可以表征为包含在所述2D检测框中的所述3D检测框中的3D点云数据除以所述2D检测框的面积。
具体的，可以通过如下方式获得包含在所述2D检测框中的所述3D检测框中的3D点云数据，首先遍历所述3D检测框中的3D点云数据，利用所述3D检测框和所述2D检测框联合坐标标定时的坐标转换关系将所述3D检测框中的3D点云数据投影到所述2D检测框上，并得到在所述2D检测框所在坐标系上的坐标，判断所述投影后的坐标是否属于所述2D检测框，若是，将所述投影后的坐标加入对应的数组，从而得到包含在所述2D检测框中的所述3D检测框中的3D点云数据。
步骤S209：基于所述投影重合度和所述投影密度确定融合置信度；
在本发明实施例中，所述融合置信度可以视为表征3D点云数据和场景图像数据融合可靠性的指标，可以理解的是，融合置信度越高，3D点云数据和场景图像数据融合的可靠性也越高。
在一些实施例中，所述基于所述投影重合度和所述投影密度确定融合置信度可以包括按照如下公式确定所述融合置信度：
score＝α1×Box_Overlap+β1×Point_Density
其中，score为所述融合置信度，α1为所述投影重合度的权重，β1为所述投影密度的权重，Box_Overlap为所述投影重合度，Point_Density为所述投影密度。
步骤S211：在所述融合置信度大于等于预设置信度阈值时，融合所述目标障碍物的3D点云数据和所述目标障碍物的场景图像数据。
在本发明实施例中，通过将所述3D检测框投影至所述2D检测框，不仅确定了所述3D检测框和所述2D检测框的投影重合度，还确定了所述3D检测框中的3D点云数据在所述2D检测框中的投影密度，并基于所述投影重合度和所述投影密度确定融合置信度，以及在所述融合置信度大于等于预设置信度阈值时，融合所述目标障碍物的3D点云数据和所述目标障碍物的场景图像数据，从而提高了3D目标和2D目标的关联度，增加了激光雷达和摄像头关联融合的可靠性，通过循环迭代上述过程，融合激光雷达和摄像头数据，可以持续检测并跟踪目标，从而充分利用激光雷达和摄像头各自的优点，得到稳定可靠的周围障碍物信息，使无人驾驶车的感知能力更安全可靠。
在一些实施例中，考虑到现有激光雷达和摄像头标定方法的精度不足，导致距离越远偏差越大，匹配越困难，为了降低远距离匹配时的匹配难度，同时不降低近距离匹配时的匹配精度，在融合所述目标障碍物的3D点云数据和所述目标障碍物的场景图像数据之前，所述方法还可以包括：
基于所述目标障碍物的3D点云数据确定所述目标障碍物确定所述目标障碍物相对于当前车辆的距离；
基于所述目标障碍物相对于所述当前车辆的距离确定所述预设置信度阈值，所述预设置信度阈值与所述目标障碍物相对于所述当前车辆的距离成反比。
在一些实施例中，所述基于所述目标障碍物相对于所述当前车辆的距离确定所述预设置信度阈值可以包括按照如下公式确定所述预设置信度阈值：
其中，a＞b＞c，threshold为所述预设置信度阈值，distance为所述目标障碍物相对于所述当前车辆的距离。
在一些实施例中，考虑到激光雷达和摄像头通常属于不同厂商，因此接口不统一，采集数据时间和频率也不统一，会存在毫秒级的误差，为了避免激光雷达和摄像头之间的时间误差，所述方法可以包括：
在获取所述目标障碍物的3D点云数据的同时，获取所述目标障碍物的3D点云数据的时间戳；
相应的，所述获取所述目标障碍物的场景图像数据包括：
获取所述目标障碍物在所述时间戳之前的预设时间段内的至少一个场景图像数据；
所述对所述场景图像数据进行目标检测，得到所述目标障碍物的2D检测框包括：
对所述预设时间段内的所述场景图像数据进行目标检测，得到至少一个所述目标障碍物的2D检测框。
其中，所述预设时间段一般在100ms以内，所述场景图像数据可以来自同一摄像头，也可以来自不同的摄像头。
可以理解的是，当所述时间戳下的3D检测框到来时，将所述3D检测框分别与至少一个所述2D检测框进行融合，从而可以降低激光雷达和摄像头之间的时间误差对数据融合的影响。
例如，所述时间戳之前的100ms内有3个场景图像数据，在所述时间戳下的3D检测框到来时，可以将所述3D检测框分别与3个所述场景图像数据的2D检测框进行融合，而不是将所述3D检测框只与1个场景图像数据的2D检测框进行融合，即通过获取时间戳之前的多个场景图像数据，降低了场景图像数据和3D点云数据出现时间误差的概率，从而避免了时间误差对激光雷达和摄像头数据融合的影响。
在一些实施例中，考虑到现有融合方法中存在目标跟踪器的匹配错误和重复新建问题，为了减少误匹配和漏匹配的情况，在融合所述目标障碍物的3D点云数据和所述目标障碍物的场景图像数据之后，所述方法还可以包括：
创建所述目标障碍物的卡尔曼跟踪器，利用所述卡尔曼跟踪器对所述目标障碍物的状态信息进行预测，得到预测目标状态信息，所述预测目标状态信息包括预测位置状态信息、预测速度状态信息和2D检测框中预测投影密度信息；
具体的，在融合所述目标障碍物的3D点云数据和所述目标障碍物的场景图像数据之后，当每个所述目标障碍物存在三个历史数据后，初始化一个卡尔曼跟踪器，即创建一个卡尔曼跟踪器，并存入多目标跟踪器。
可选的，所述卡尔曼跟踪器可以是匀加速模型和匀速模型以一定权重结合形成的混合模型，由于混合模型代表了多数无人驾驶的情况，因此，基于混合模型的卡尔曼跟踪器可以准确跟踪动态预估。
从融合后的数据中获取实时检测目标状态数据，所述实时检测目标状态信息包括实时检测位置状态信息、实时检测速度状态信息和2D检测框中实时检测投影密度信息；
基于所述预测位置状态信息、所述预测速度状态信息、所述实时检测位置状态信息和所述实时检测速度状态信息确定所述目标障碍物和所述卡尔曼跟踪器的关联距离；
基于所述2D检测框中预测投影密度信息和所述2D检测框中实时检测投影密度信息确定所述目标障碍物的2D检测框中的投影密度和所述卡尔曼跟踪器预测的2D检测框中投影密度的相似度；
具体的，所述相似度可以使用直方图匹配方法获得。
基于所述关联距离和所述相似度确定所述目标障碍物和所述卡尔曼跟踪器的综合距离；
在所述综合距离小于等于预设距离阈值时，保留所述卡尔曼跟踪器并实时更新所述卡尔曼跟踪器；
在所述综合距离大于预设距离阈值时，则创建新的卡尔曼跟踪器。
在一些实施例中，所述基于所述关联距离和所述相似度确定所述目标障碍物和所述卡尔曼跟踪器的综合距离可以包括按照如下公式确定所述综合距离：
costij＝α2×dij+β2×Imageij
其中，costij为所述综合距离，α2为所述关联距离的权重，β2为所述相似度的权重，dij为所述关联距离，Imageij为所述相似度，xi为所述目标障碍物的所述实时检测位置状态信息和所述实时检测速度状态信息所组成的向量，xj为所述卡尔曼跟踪器的所述预测位置状态信息和所述预测速度状态信息所组成的向量，S为所述卡尔曼跟踪器的所有样本的协方差矩阵。
在本发明实施例中，不仅确定了所述目标障碍物和所述卡尔曼跟踪器的关联距离，还确定了所述目标障碍物的2D检测框中的投影密度和所述卡尔曼跟踪器预测的2D检测框中投影密度的相似度，并基于所述关联距离和所述相似度确定了所述目标障碍物和所述卡尔曼跟踪器的综合距离，以及在所述综合距离小于等于预设距离阈值时，保留所述卡尔曼跟踪器并实时更新所述卡尔曼跟踪器，从而降低了在多目标跟踪器匹配过程中的匹配错误率，提升了多目标跟踪的准确性和鲁棒性，使得无人驾驶车的感知能力更安全可靠。
本发明实施例还提供了一种传感信息融合装置，所述装置可以包括：
数据获取模块310，用于获取目标障碍物的3D点云数据，并获取所述目标障碍物的场景图像数据；
第一目标检测模块320，用于对所述目标障碍物的3D点云数据进行障碍物边框构建，确定所述目标障碍物的3D检测框和位于所述3D检测框中的3D点云数据；
第二目标检测模块330，用于对所述场景图像数据进行目标检测，得到所述目标障碍物的2D检测框；
投影模块340，用于将所述3D检测框投影至所述2D检测框，确定所述3D检测框和所述2D检测框的投影重合度，并确定所述3D检测框中的3D点云数据在所述2D检测框中的投影密度；
融合置信度确定模块350，用于基于所述投影重合度和所述投影密度确定融合置信度；
数据融合模块360，用于在所述融合置信度大于等于预设置信度阈值时，融合所述目标障碍物的3D点云数据和所述目标障碍物的场景图像数据。
所述装置实施例和所述方法实施例基于同样的发明构思，在此不再赘述。
本发明实施例还提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集使所述计算机执行上述实施例任一所述的传感信息融合方法。
本发明实施例还提供了一种传感信息融合设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述实施例任一所述的传感信息融合方法。
以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种传感信息融合方法，其特征在于，所述方法包括：
获取目标障碍物的3D点云数据，并获取所述目标障碍物的场景图像数据；
对所述目标障碍物的3D点云数据进行障碍物边框构建，确定所述目标障碍物的3D检测框和位于所述3D检测框中的3D点云数据；
对所述场景图像数据进行目标检测，得到所述目标障碍物的2D检测框；
将所述3D检测框投影至所述2D检测框，确定所述3D检测框和所述2D检测框的投影重合度，并确定所述3D检测框中的3D点云数据在所述2D检测框中的投影密度；
基于所述投影重合度和所述投影密度进行加权求和，确定融合置信度；
在所述融合置信度大于等于预设置信度阈值时，融合所述目标障碍物的3D点云数据和所述目标障碍物的场景图像数据。
2.根据权利要求1所述的一种传感信息融合方法，其特征在于，在融合所述目标障碍物的3D点云数据和所述目标障碍物的场景图像数据之前，所述方法还包括：
基于所述目标障碍物的3D点云数据确定所述目标障碍物确定所述目标障碍物相对于当前车辆的距离；
基于所述目标障碍物相对于所述当前车辆的距离确定所述预设置信度阈值，所述预设置信度阈值与所述目标障碍物相对于所述当前车辆的距离成反比。
3.根据权利要求1所述的一种传感信息融合方法，其特征在于，所述方法还包括：
在获取所述目标障碍物的3D点云数据的同时，获取所述目标障碍物的3D点云数据的时间戳；
相应的，所述获取所述目标障碍物的场景图像数据包括：
获取所述目标障碍物在所述时间戳之前的预设时间段内的至少一个场景图像数据；
所述对所述场景图像数据进行目标检测，得到所述目标障碍物的2D检测框包括：
对所述预设时间段内的所述场景图像数据进行目标检测，得到至少一个所述目标障碍物的2D检测框。
4.根据权利要求1所述的一种传感信息融合方法，其特征在于，在融合所述目标障碍物的3D点云数据和所述目标障碍物的场景图像数据之后，所述方法还包括：
创建所述目标障碍物的卡尔曼跟踪器，利用所述卡尔曼跟踪器对所述目标障碍物的状态信息进行预测，得到预测目标状态信息，所述预测目标状态信息包括预测位置状态信息、预测速度状态信息和2D检测框中预测投影密度信息；
从融合后的数据中获取实时检测目标状态数据，所述实时检测目标状态信息包括实时检测位置状态信息、实时检测速度状态信息和2D检测框中实时检测投影密度信息；
基于所述预测位置状态信息、所述预测速度状态信息、所述实时检测位置状态信息和所述实时检测速度状态信息确定所述目标障碍物和所述卡尔曼跟踪器的关联距离；
基于所述2D检测框中预测投影密度信息和所述2D检测框中实时检测投影密度信息确定所述目标障碍物的2D检测框中的投影密度和所述卡尔曼跟踪器预测的2D检测框中投影密度的相似度；
基于所述关联距离和所述相似度确定所述目标障碍物和所述卡尔曼跟踪器的综合距离；
在所述综合距离小于等于预设距离阈值时，保留所述卡尔曼跟踪器并实时更新所述卡尔曼跟踪器。
5.根据权利要求1所述的一种传感信息融合方法，其特征在于，所述基于所述投影重合度和所述投影密度确定融合置信度包括按照如下公式确定所述融合置信度：
score＝α1×Box_Overlap+β1×Point_Density
其中，score为所述融合置信度，α1为所述投影重合度的权重，β1为所述投影密度的权重，Box_Overlap为所述投影重合度，Point_Density为所述投影密度。
6.根据权利要求2所述的一种传感信息融合方法，其特征在于，所述基于所述目标障碍物相对于所述当前车辆的距离确定所述预设置信度阈值包括按照如下公式确定所述预设置信度阈值：
其中，a＞b＞c，threshold为所述预设置信度阈值，distance为所述目标障碍物相对于所述当前车辆的距离。
7.根据权利要求4所述的一种传感信息融合方法，其特征在于，所述基于所述关联距离和所述相似度确定所述目标障碍物和所述卡尔曼跟踪器的综合距离包括按照如下公式确定所述综合距离：
costij＝α2×dij+β2×Imageij
其中，costij为所述综合距离，α2为所述关联距离的权重，β2为所述相似度的权重，dij为所述关联距离，Imageij为所述相似度，xi为所述目标障碍物的所述实时检测位置状态信息和所述实时检测速度状态信息所组成的向量，xj为所述卡尔曼跟踪器的所述预测位置状态信息和所述预测速度状态信息所组成的向量，S为所述卡尔曼跟踪器的所有样本的协方差矩阵。
8.根据权利要求1所述的一种传感信息融合方法，其特征在于，所述将所述3D检测框投影至所述2D检测框包括：
对所述3D检测框和所述2D检测框进行联合坐标标定，得到统一坐标系下的所述3D检测框和所述2D检测框；
将联合坐标标定后的所述3D检测框投影至联合坐标标定后的所述2D检测框。
9.一种传感信息融合装置，其特征在于，所述装置包括：
数据获取模块，用于获取目标障碍物的3D点云数据，并获取所述目标障碍物的场景图像数据；
第一目标检测模块，用于对所述目标障碍物的3D点云数据进行障碍物边框构建，确定所述目标障碍物的3D检测框和位于所述3D检测框中的3D点云数据；
第二目标检测模块，用于对所述场景图像数据进行目标检测，得到所述目标障碍物的2D检测框；
投影模块，用于将所述3D检测框投影至所述2D检测框，确定所述3D检测框和所述2D检测框的投影重合度，并确定所述3D检测框中的3D点云数据在所述2D检测框中的投影密度；
融合置信度确定模块，用于基于所述投影重合度和所述投影密度进行加权求和，确定融合置信度；
数据融合模块，用于在所述融合置信度大于等于预设置信度阈值时，融合所述目标障碍物的3D点云数据和所述目标障碍物的场景图像数据。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集使所述计算机执行如权利要求1-8任一所述的传感信息融合方法。
CN202010295789.3A 2020-04-15 2020-04-15 一种传感信息融合方法、装置及存储介质 Active CN111611853B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010295789.3A CN111611853B (zh) 2020-04-15 2020-04-15 一种传感信息融合方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010295789.3A CN111611853B (zh) 2020-04-15 2020-04-15 一种传感信息融合方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN111611853A CN111611853A (zh) 2020-09-01
CN111611853B true CN111611853B (zh) 2024-05-24

Family

ID=72198032

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010295789.3A Active CN111611853B (zh) 2020-04-15 2020-04-15 一种传感信息融合方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN111611853B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112233097B (zh) * 2020-10-19 2022-10-28 中国科学技术大学 基于空时域多维融合的道路场景他车检测系统和方法
CN112528771A (zh) * 2020-11-27 2021-03-19 深兰科技（上海）有限公司 障碍物检测方法、装置、电子设备及存储介质
CN112464812B (zh) * 2020-11-27 2023-11-24 西北工业大学 一种基于车辆的凹陷类障碍物检测方法
CN112528773B (zh) * 2020-11-27 2023-04-07 深兰科技（上海）有限公司 障碍物信息融合方法、装置、电子设备和存储介质
CN112528781B (zh) * 2020-11-30 2024-04-26 广州文远知行科技有限公司 一种障碍物检测方法、装置、设备和计算机可读存储介质
CN112541416B (zh) * 2020-12-02 2023-07-14 深兰科技（上海）有限公司 跨雷达障碍物跟踪方法、装置、电子设备和存储介质
CN112633182A (zh) * 2020-12-25 2021-04-09 广州文远知行科技有限公司 一种车辆状态检测方法、装置、设备和存储介质
CN113012469A (zh) * 2021-03-16 2021-06-22 浙江亚太机电股份有限公司 一种基于目标识别的智能交通预警系统
CN113066100B (zh) * 2021-03-25 2024-09-10 东软睿驰汽车技术（沈阳）有限公司 目标跟踪方法、装置、设备及存储介质
CN113784482A (zh) * 2021-09-18 2021-12-10 合肥工业大学 一种车辆智能前照灯系统
CN114648559B (zh) * 2022-03-24 2024-08-27 重庆长安汽车股份有限公司 一种用于计算目标关联距离的方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229366A (zh) * 2017-12-28 2018-06-29 北京航空航天大学 基于雷达和图像数据融合的深度学习车载障碍物检测方法
CN110728210A (zh) * 2019-09-25 2020-01-24 上海交通大学 一种三维点云数据的半监督目标标注方法和系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109059902B (zh) * 2018-09-07 2021-05-28 百度在线网络技术（北京）有限公司 相对位姿确定方法、装置、设备和介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229366A (zh) * 2017-12-28 2018-06-29 北京航空航天大学 基于雷达和图像数据融合的深度学习车载障碍物检测方法
CN110728210A (zh) * 2019-09-25 2020-01-24 上海交通大学 一种三维点云数据的半监督目标标注方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于多传感器数据融合的障碍物检测与跟踪;陆峰;徐友春;李永乐;王任栋;王东敏;;军事交通学院学报(第02期);全文 *

Also Published As

Publication number Publication date
CN111611853A (zh) 2020-09-01

Similar Documents

Publication Publication Date Title
CN111611853B (zh) 一种传感信息融合方法、装置及存储介质
Chen et al. Suma++: Efficient lidar-based semantic slam
Behrendt et al. A deep learning approach to traffic lights: Detection, tracking, and classification
US9846812B2 (en) Image recognition system for a vehicle and corresponding method
US8379928B2 (en) Obstacle detection procedure for motor vehicle
KR101569919B1 (ko) 차량의 위치 추정 장치 및 방법
Mitzel et al. Real-time multi-person tracking with detector assisted structure propagation
US20100097457A1 (en) Clear path detection with patch smoothing approach
US11371851B2 (en) Method and system for determining landmarks in an environment of a vehicle
US12008785B2 (en) Detection, 3D reconstruction and tracking of multiple rigid objects moving in relation to one another
EP3710985A1 (en) Detecting static parts of a scene
US20230222671A1 (en) System for predicting near future location of object
Maier et al. Vision-based humanoid navigation using self-supervised obstacle detection
CN115273034A (zh) 一种基于车载多传感器融合的交通目标检测与跟踪方法
Engel et al. Deep object tracking on dynamic occupancy grid maps using rnns
CN117593650B (zh) 基于4d毫米波雷达与sam图像分割的动点滤除视觉slam方法
CN117115784A (zh) 目标数据融合的车辆检测方法及检测装置
CN115346155A (zh) 一种面向视觉特征非连续性干扰的船舶图像航迹提取方法
CN116597122A (zh) 数据标注方法、装置、电子设备及存储介质
Mitzel et al. Real-Time Multi-Person Tracking with Time-Constrained Detection.
Ammar et al. An a-contrario approach for object detection in video sequence
CN117409393A (zh) 一种焦炉机车激光点云与视觉融合障碍物检测方法及系统
CN116664851A (zh) 一种基于人工智能的自动驾驶数据提取方法
CN116862832A (zh) 一种基于三维实景模型的作业人员定位方法
Wang et al. A system of automated training sample generation for visual-based car detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant