CN110942449B - 一种基于激光与视觉融合的车辆检测方法 - Google Patents

一种基于激光与视觉融合的车辆检测方法 Download PDF

Info

Publication number
CN110942449B
CN110942449B CN201911046792.5A CN201911046792A CN110942449B CN 110942449 B CN110942449 B CN 110942449B CN 201911046792 A CN201911046792 A CN 201911046792A CN 110942449 B CN110942449 B CN 110942449B
Authority
CN
China
Prior art keywords
detection
frame
point cloud
image
box
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911046792.5A
Other languages
English (en)
Other versions
CN110942449A (zh
Inventor
郑少武
李巍华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201911046792.5A priority Critical patent/CN110942449B/zh
Publication of CN110942449A publication Critical patent/CN110942449A/zh
Application granted granted Critical
Publication of CN110942449B publication Critical patent/CN110942449B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Remote Sensing (AREA)
  • Evolutionary Computation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于激光与视觉融合的车辆检测方法，包括以下步骤：1)对输入的图像及激光点云获取目标检测信息；2)对前后帧的图像及点云检测框做最优匹配，建立图像及点云检测目标的跟踪序列；3)对图像及其检测框、点云及其检测框的跟踪序列进行融合；4)对所有目标检测框进行分类后输出融合列表，输出融合结果；5)得到在当前帧中周边车辆相对与自车的精确位置，读取下一帧图像及点云数据，循环步骤1)到步骤5)，输出融合检测结果。本发明在点云与图像目标检测的基础上，结果检测结果跟踪信息，对检测结果进行最优匹配，并对融合结果择优输入最终融合列表，相比单一传感器目标检测方法提高了目标检测精度，并降低误检率。

Description

一种基于激光与视觉融合的车辆检测方法
技术领域
本发明涉及智能驾驶汽车环境感知领域，尤其涉及一种基于激光与视觉融合的车辆检测方法。
背景技术
现如今智能化已成为汽车产业的一个重要发展趋势，越来越多的智能辅助驾驶功能正在逐渐改变人们的出行体验。随着智能化程度的不断提升，智能驾驶正朝着无人驾驶的方向快速发展。环境感知系统需要为无人驾驶汽车提供准确、可靠的目标类别和位置信息，为无人驾驶路径规划及车辆控制提供可靠的决策信息。
近年来，在视觉图像和激光点云处理上不断产生出越来越先进的目标检测算法，但仅依靠单个传感器的目标检测往往存在一定的局限性。摄像头传感器受光照的影响较为敏感，且难以获取精确的目标深度信息。激光雷达点云相比图像较为稀疏，无法获取目标颜色、纹理等特征信息。仅依靠单一传感器已经无法满足无人驾驶汽车环境感知的要求，多传感器融合已经成为当前主流的环境感知方案。
激光与视觉融合算法在目标检测上大致可分为两种类型，一种是分别对激光点云和图像分别进行特征提取后，输入到同一神经网络中进行目标检测，可称为前融合；另一种是分别对激光点云和图像完成目标检测后，对输出的检测结果进行融合，可称为后融合。不同的融合方法各有优劣，前者将不同的特征同时输入到同一网络中，检测结果好坏取决于特征提取的质量及融合网络的性能。在文献Wu T E,Tsai C C,Guo J I.Lidar/camerasensor fusion technology for pedestrian detection[C]//2017Asia-Pacific Signaland Information Processing Association Annual Summit and Conference(APSIPAASC).IEEE,2017:1675-1678.、Chen X,Ma H,Wan J,et al.Multi-View 3D ObjectDetection Network for Autonomous Driving[J].2016.中，对不同的数据分别进行目标检测后再进行融合，融合结果的质量不仅取决于图像和点云两种目标检测算法的性能，同时取决于对检测结果进行融合的策略是否合理。
随着无人驾驶汽车的快速发展，仅依靠单一传感器的环境感知方案已经无法满足车辆在复杂交通场景下的目标检测需求。在文献马佃波.无人驾驶汽车环境感知技术综述[J].汽车与驾驶维修.2017.、谢志萍，雷莉萍.智能网联汽车环境感知技术的发展和研究现状[J].成都工业学院学报.2016(04):87-92.、Wei P,Cagle L,Reza T,et al.LiDAR andCamera Detection Fusion in a Real-Time Industrial Multi-Sensor CollisionAvoidance System[J].Electronics.2018,7(6):84.和De Silva V,Roche J,KondozA.Robust Fusion of LiDAR and Wide-Angle Camera Data for Autonomous MobileRobots[J].Sensors.2018,18(8):2730.也提到，融合多种传感器数据，为无人驾驶系统提供精度更高、可靠性更强的目标检测信息，已成为当下众多无人驾驶汽车的主流环境感知方案。现有基于视觉的车辆检测方法，往往无法获取精确的距离信息；在文献赵轩.基于单目视觉的前向车辆检测、跟踪与测距[D].北京工业大学,2017.中，往往需要容易受无关点云的干扰而带来较多的误检测现象。基于此背景，本发明提出一种基于激光与视觉融合的车辆检测方法。
发明内容
本发明所要解决的技术问题是目前仅依靠单一传感器的环境感知方案无法满足车辆在复杂交通场景表的目标检测需求，为了在环境感知系统中提高目标检测精度、降低误检率，本发明提出一种基于激光与视觉融合的交通环境车辆检测方法。
本发明至少通过如下技术方案之一实现。
一种基于激光与视觉融合的车辆检测方法，包括以下步骤：
1)利用深度学习算法分别对输入的图像及激光点云获取目标检测信息；
2)利用匈牙利算法分别对前后帧的图像及点云检测框做最优匹配，实现检测框的目标跟踪，分别建立图像及点云检测目标的跟踪序列；
3)对图像及其检测框、点云及其检测框的跟踪序列进行融合；
4)根据融合后的检测框是否被匹配、跟踪的特征，对所有目标检测框进行分类后输出融合列表，并选取相应的检测框作为最终融合结果进行输出；
5)将输出的融合结果投影到以自己车辆为原点的世界坐标系中，得到在当前帧中周边车辆相对与与自己车辆的精确位置，为智能驾驶汽车决策规划和车辆控制提供精确的车辆感知信息，完成当前帧路径规划及车辆控制后，读取下一帧图像及点云数据，循环步骤1)到步骤5)，不断地输出融合检测结果。
进一步地，步骤1)包括：对图像采用深度学习图像目标检测算法YOLOv3获取图像检测框类别、中心点像素坐标位置及长宽尺寸信息；对点云采用深度学习点云目标检测算法PointRCNN获取3D检测框类别、中心点空间坐标及长宽高尺寸的信息。
进一步地，步骤2)包括对于每一帧的图像检测框或点云检测框，首先，判断输入的检测框是否为第一帧图像或点云的检测结果，在第一帧中，由于没有前一帧的检测结果做匹配，无法进行跟踪，故将所有检测框的跟踪序列编号置零；若输入的检测框不为第一帧的图像或点云检测框，则依次计算当前帧的检测框Box1与上一帧所有检测框的最小距离值，若所得最小距离值Dis(Box1，Box2)小于设定的阈值，且所对应的上一帧检测框Box2未被当前帧其它的检测框匹配(匹配是指前一帧的某一个检测框与当前帧的某一个检测框之间的匹配，将距离值最小的前后帧检测框成对进行匹配，认为匹配上的前后帧检测框代表先后检测到的同一车辆，即连续检测到同一车辆，即跟踪检测成功)，则将该最小距离值对应的前后帧检测框进行匹配，否则放弃匹配；若该最小距离值Dis(Box1，Box2)所对应的上一针检测框Box2已经与其它当前帧检测框Box3匹配，且匹配的最小距离值Dis(Box3，Box2)小于当前帧待匹配的前后帧检测框最小距离值Dis(Box1，Box2)，则放弃当前帧检测框Box1的匹配；反之，若已匹配的最小距离值Dis(Box3，Box2)大于当前待匹配的前后帧检测框最小距离值Dis(Box1，Box2)，则令当前帧已匹配的检测框Box3重新匹配，将当前帧检测框Box1与上一帧检测框Box2进行匹配；对于成功匹配的前后帧检测检测框，若对应上一帧的检测框跟踪序列编号为零，则按跟踪顺序赋予当前帧检测框新的跟踪序列编号，若上一帧检测框跟踪序列编号不为零，则令当前帧检测框保持相同的跟踪序列编号，进而实现连续帧若干个目标跟踪。
进一步地，步骤3)包括对原始点云做滤波后投影到图像上、利用匈牙利算法对图像检测框及点云检测框做最优匹配和对未匹配的检测框做二次筛选。
进一步地，所述的原始点云做滤波后投影到图像上，具体包括：对输入的原始点云做直通滤波、体素滤波处理，仅保留车辆前方感兴趣的点云数据，减少后续处理的计算量；对激光雷达与摄像头联合标定，获取激光雷达点云与图像之间的转换矩阵，包括旋转矩阵、平移矩阵、相机内参矩阵、相机矫正矩阵；通过转换矩阵将激光雷达点云的空间三维坐标(x，y，z)经过矩阵变换后得到对应的图像像素点坐标(u，v)，实现点云投影到图像上；由于融合过程中，在图像检测结果与点云检测结果匹配条件同时考虑图像检测框预估的深度信息与点云检测框测量的深度信息之间的关系；因此，需要将图像检测框的像素坐标转换成激光雷达的空间坐标，从而获取图像检测框预估的深度信息ddepth；由于激光雷达在车上的位置是固定的，即相对于水平地面的高度h是固定的，因此选择图像检测框的底边中心点(u0，v0)作为检测目标下方的地面点(x0，y0，z0)，即该像素点所对应的空间z轴方向坐标已知，z0＝-h；再通过转换矩阵的逆矩阵将图像像素坐标(u0，v0)转换为点云空间坐标(x0，y0，z0)。
进一步地，所述的利用匈牙利算法对图像检测框及点云检测框做最优匹配，具体步骤包括：依次遍历当前帧图像检测框，计算图像检测框Box1与所有点云检测框的最小深度差值，若计算得到的最小深度差值Dis(Box1，Box2)小于设定的阈值，且其对应的点云检测框Box2未被其它的当前帧图像检测框匹配，则将该最小深度差值对应的图像和点云检测框进行匹配；若该最小深度差值Dis(Box1，Box2)所对应的点云检测框Box2已经与其它图像检测框Box3匹配，且匹配的最小深度差值Dis(Box3，Box2)小于当前待匹配的图像与点云检测框最小深度差值Dis(Box1，Box2)，则放弃当前图像检测框Box1的匹配；反之，若已匹配的最小深度差值Dis(Box3，Box2)大于当前待匹配的图像与点云检测框最小深度差值Dis(Box1，Box2)，则令已匹配的图像检测框Box3重新匹配，将图像检测框Box1与点云检测框Box2进行匹配，此时，该目标在图像和点云中同时被检测出来，作为准确度等级最高的融合结果进行输出。
进一步地，所述的对未匹配的检测框做二次筛选，具体步骤包括：对于在跟踪序列中但未被匹配的图像检测框，利用联合标定所得到的转换矩阵，找到投影在图像检测框内的点云并对框内点云进行聚类，并将聚类点数最多的点云簇与图像检测框做匹配，将该点云簇的中心点坐标作为该图像检测框所对应的目标中心点空间坐标；对于在跟踪序列中但未被匹配的点云检测框，若该目标的跟踪编号曾经出现在前H帧的匹配序列中，则认为该点云检测框目标是因为在图像中受遮挡导致未匹配,将以上两种情况下的图像及检测结果作为准确度等级次高的融合结果进行输出。
进一步地，步骤4)包括：根据步骤3)的融合，将图像与点云检测框分为七种类别进行输出，包括仅在跟踪序列中且在前H帧的匹配序列中出现过的点云检测框；在跟踪序列中但在前H帧的匹配序列中未出现过的点云检测框；不在跟踪序列中的点云检测框；在跟踪序列且能够匹配上点云的图像检测框；在跟踪序列中但无法匹配上点云的图像检测框；不在跟踪序列中的图像检测框；以及同时在图像及点云中被检测到的目标框；对融合结果进行分类输出后，筛选上述目标检测准确度等级最高及次高的结果作为最终融合结果输出，输出结果准确度等级最高的结果包括同时在图像及点云中被检测到的目标，输出结果准确度等级次高的结果包括在跟踪序列中但在前H帧的匹配序列中未出现过的点云检测框和在跟踪序列且能够匹配上点云的图像检测框，将其余不在跟踪序列且无法相互匹配的检测框排除，能够大大降低目标误检率，提高融合精度。
进一步地，所述的基于激光与视觉融合的车辆检测方法，在ROS(机器人操作系统，Robot Operating System)上运行，输入点云与图像的频率按照激光雷达采集频率10Hz来输入，并对输入的点云、图像、及2D检测框、3D检测框等数据进行时间戳同步处理，平均单帧检测与融合时间为0.1s，满足自动驾驶场景下的实时性要求。
本发明以智能驾驶汽车环境感知系统为研究对象，通过结合激光雷达与摄像头等传感器各自的物理优势，融合点云和图像的目标检测数据，并结合目标跟踪信息及点云与图像像素点的相互转换关系，进一步提高交通环境目标检测精度并减少误检率，为无人驾驶汽车路径规划及决策控制提供高精度、高可靠性的环境感知信息。
与现有技术相比，本发明的有益效果是：
1)本发明所述的基于深度学习的目标检测检测算法为当前较为成熟的图像与点云目标检测方法，根据大量数据的训练能够达到网络泛化能力强，对不同天气环境及光照条件适应性较高的优点。随着目标检测领域深度神经网络的性能的提升，可选择性能更强的目标检测算法做为图像和点云的检测网络，提高融合的精度。
2)本发明所述的对前后帧的图像及点云检测框做最优匹配，实现检测框的目标跟踪，并建立检测结果的跟踪序列，将检测目标是否被跟踪这一条件加入到融合算法中，可进一步提高目标检测精度，并降低误检率。
3)本发明所述的基于激光与视觉融合的车辆检测方法，在ROS机器人操作系统下运行，能够实时获取点云及图像数据，融合算法实时获取目标检测信息并进行跟踪及最优匹配。算法运行速度与激光雷达数据采集频率10Hz相当，满足自动驾驶场景下的实时性要求。
附图说明
图1为本发明实施例一种基于激光与视觉融合的车辆检测方法架构图；
图2为本发明实施例的基于匈牙利算法的目标跟踪流程图；
图3为本发明实施例融合过程的流程图。
具体实施方式
下面通过具体实施例对本发明的目的做进一步详细地描述，实施例不能在此一一赘述，但本发明的实施方式并不因此限定于以下实施例。
如图1所示，一种基于激光与视觉融合的车辆检测方法，包括以下步骤：
1)利用深度学习算法分别对输入的图像及激光点云获取目标检测信息，其步骤包括：对图像采用深度学习图像目标检测算法YOLOv3获取2D图像检测框类别、中心点像素坐标位置及长宽尺寸等信息。对点云采用深度学习点云目标检测算法PointRCNN获取3D检测框类别、中心点空间坐标及长宽高尺寸等信息。
所述的采用深度学习算法YOLOv3实现图像目标检测，使用的检测模型为YOLOv3作者开源的权重模型，该模型在COCO数据集上进行了50万次迭代训练，能够检测80种类别。对于车辆检测性能优越，实时性较高。
所述的采用深度学习算法PointRCNN实现点云目标检测，使用的模型为PointRCNN作者开源的车辆检测模型，该模型在KITTI目标检测数据集上进行训练及测试，对车辆检测性能优秀，并能够满足实时性。
2)利用匈牙利算法分别对前后帧的图像及点云检测框做最优匹配，实现检测框的目标跟踪，分别建立图像及点云检测目标的跟踪序列。
如图2所示，具体步骤包括对于每一帧的图像或点云检测框，首先，判断输入的当前帧检测框X是否为第一帧图像或点云的检测结果，在第一帧中，由于没有前一帧的检测结果做匹配，无法进行跟踪，故将所有检测框的跟踪序列编号置零即Tracked ID＝0；若检测结果不为第一帧，则依次计算当前帧的检测框Box1与上一帧所有检测框的最小距离值minDis，若匹配的上一帧检测框Box2未被其它的当前帧检测框匹配，且计算所得最小距离值minDis＝Dis(Box1，Box2)小于设定的阈值Threshold，则将该最小距离值对应的前后帧检测框进行匹配。若该最小距离值Dis(Box1，Box2)所对应的上一针检测结果Box2已经与其它当前帧检测框Box3匹配，且匹配的最小距离值Dis(Box3，Box2)小于当前帧待匹配的前后帧检测框最小距离值Dis(Box1，Box2)，则放弃当前帧检测框Box1的匹配，开始下一个当前帧检测框的匹配。反之，若已匹配的最小距离值Dis(Box3，Box2)大于当前待匹配的前后帧检测框最小距离值Dis(Box1，Box2)，则令当前帧已匹配的检测框Box3重新匹配，若计算所得最小距离值minDis＝Dis(Box1，Box2)小于设定的阈值Threshold，将当前帧检测框Box1与上一帧检测框Box2进行匹配，对于成功匹配的前后帧检测检测框，若对应上一帧的检测框Box2没有被跟踪即跟踪序列编号为零，则按跟踪顺序赋予当前帧检测框Box1新的跟踪序列编号，若上一帧检测框Box2已被跟踪即跟踪序列编号不为零，则令当前帧检测框Box1保持与Box2相同的跟踪序列编号，即将Box2的跟踪编号赋予Box1，进而实现连续帧多目标跟踪。
3)如图3所示，对图像及其检测框、点云及其检测框的跟踪序列进行融合，其中包括对原始点云做滤波后投影到图像上、利用匈牙利算法对图像检测框及点云检测框做最优匹配，对未匹配的检测框做二次筛选。
所述的原始点云做滤波后投影到图像上，具体包括：对输入的原始点云做直通滤波、体素滤波等处理，仅保留车辆前方感兴趣的点云数据，减少后续处理的计算量。对激光雷达与摄像头联合标定，获取激光雷达点云与图像之间的转换矩阵，以KITTI数据集为例，包括旋转矩阵
Figure BDA0002254333300000061
平移矩阵/>
Figure BDA0002254333300000062
相机内参矩阵/>
Figure BDA0002254333300000063
相机矫正矩阵/>
Figure BDA0002254333300000064
等。
激光雷达到相机的转换矩阵表示为
Figure BDA0002254333300000065
若点云空间坐标表示为X，图像像素坐标表示为Y，相机矫正矩阵表示为
Figure BDA0002254333300000066
相机内参矩阵表示为/>
Figure BDA0002254333300000067
激光雷达到相机的转换矩阵表示为/>
Figure BDA0002254333300000068
则点云空间坐标到图像像素坐标的投影方式如下：
Figure BDA0002254333300000069
/>
通过以上转换矩阵可将激光雷达点云的空间三维坐标(x，y，z)经过矩阵变换后得到对应的图像像素点坐标(u，v)，实现点云投影到图像上。由于后续融合中，在图像检测结果与点云检测结果匹配条件同时考虑了图像检测框预估的深度信息与点云检测框测量的深度信息之间的关系。因此，需要将图像检测框的像素坐标转换成激光雷达的空间坐标，从而获取图像检测框预估的深度信息ddepth。由于激光雷达在车上的位置是固定的，即相对于水平地面的高度h是固定的，因此选择图像检测框的底边中心点(u0，v0)作为检测目标下方的地面点(x0，y0，z0)，即该像素点所对应的空间z轴方向坐标已知，z0＝-h。
根据激光雷达与基准相机的相对位置关系，
Figure BDA00022543333000000610
近似可表示为:
Figure BDA00022543333000000611
从图像像素点坐标到空间坐标点的转换公式可表示为:
Figure BDA00022543333000000612
Figure BDA00022543333000000613
Figure BDA00022543333000000614
y0＝(x0+Tz)(T10u0+T11v0+T12)+T13
Figure BDA0002254333300000071
其中，
Figure BDA0002254333300000072
表示相机到激光雷达的转换矩阵，Tx、Ty、Tz分别表示激光雷达与相机的位置在车辆坐标系下在x、y、z三个方向的偏差距离，T20、T21、T22、T10、T11、T12、T13分别表示计算得到的/>
Figure BDA0002254333300000073
矩阵在相应行和列下的数值，如T20表示/>
Figure BDA0002254333300000074
矩阵在第2行第0列的数值(行列数从0开始数)。
已知上述信息即可通过转换矩阵的逆矩阵将图像像素坐标(u0，v0)转换为点云空间坐标(x0，y0，z0)。
所述的利用匈牙利算法对图像检测框及点云检测框做最优匹配，具体包括：依次遍历当前帧图像检测框(X)，计算图像检测框Box1与所有点云检测框(Y)距离的最小值minDis，若计算得到的最小深度差值minDis＝Dis(Box1，Box2)，若其对应的点云检测框Box2未被其它的当前帧图像检测框匹配，且minDis小于设定的阈值Threshold，则将该最小距离值对应的图像和点云检测框Box1和Box2进行匹配。若该最小深度差值Dis(Box1，Box2)所对应的点云检测框Box2已经与其它图像检测框Box3匹配，且匹配的最小深度差值Dis(Box3，Box2)小于当前待匹配的图像与点云检测框最小深度差值Dis(Box1，Box2)，则放弃当前图像检测框Box1的匹配，重新开始下一个当前帧图像检测框(X)的匹配。反之，若已匹配的最小深度差值Dis(Box3，Box2)大于当前待匹配的图像与点云检测框最小深度差值Dis(Box1，Box2)，且最小距离值Dis(Box1，Box2)小于阈值，即minDis<Threshold，则令已匹配的图像检测框Box3重新匹配，将图像检测框Box1与点云检测框Box2进行匹配。此时，该目标在图像和点云中同时被检测出来，可作为准确度等级最高的融合结果7进行输出。
所述的对未匹配的检测框做二次筛选，具体包括：对于在跟踪序列中但未被匹配的图像检测框Box4，判断Box4是否被跟踪，若没有被跟踪，则直接输出融合结果6。若Box4被跟踪，利用点云与图像联合标定所得到的转换矩阵，找到投影在图像(Point2image)检测框内的点云并对框内点云进行聚类，此时的点云已经过直通滤波与体素滤波以减少计算量，并将聚类点数最多的点云簇与图像检测框Box4做匹配，若有点云在Box4内，将该点云簇的中心点坐标作为该图像检测框所对应的目标中心点空间坐标，输出融合结果4。若没有点云在Box4内，直接输出融合结果5。对于在跟踪序列中但未被匹配的点云检测框Box5，判断Box是否被跟踪，若Box5没有被跟踪，则直接输出融合结果3，若Box5被跟踪，且该目标的跟踪编号曾经出现在前15帧的匹配序列中，则可认为该点云检测框目标较大概率是因为在图像中受遮挡导致未匹配，输出融合结果1，若Box5对应的跟踪编号在前15帧没有匹配过，则输出融合结果2。
4)根据融合后的检测框是否被匹配、跟踪等特征，对所有目标检测框进行分类后输出融合列表，图1融合列表与图3输出的融合结果1至融合结果7一一对应，激光雷达检测对应点云检测框、摄像头检测对应图像检测框。如只有激光雷达检测，没有跟踪和在前15帧匹配过则输出融合结果3即融合列表第3类。选取可靠性较高的检测框作为最终融合结果进行输出。
根据以上融合步骤，可将图像与点云检测框分为七种类别进行输出即输出融合列表，融合列表中激光雷达检测表示目标车辆存在点云检测框；跟踪表示该检测框在跟踪序列中；在前15帧匹配过表示该检测框在跟踪序列且在前15帧的匹配序列中出现过；摄像头检测表示目标车辆存在图像检测框；检测框内有点云表示图像检测框能够匹配上点云；同时检测表示目标车辆同时存在图像检测框和点云检测框，即两种目标检测算法(深度学习图像目标检测算法YOLOv3和深度学习点云目标检测算法PointRCNN)同时检测到了同一车辆，包括仅在跟踪序列中且在前15帧的匹配序列中出现过的点云检测框即融合结果1；在跟踪序列中但在前15帧的匹配序列中未出现过的点云检测框即融合结果2；不在跟踪序列中的点云检测框即融合结果3；在跟踪序列且能够匹配上点云的图像检测框即融合结果4；在跟踪序列中但无法匹配上点云的图像检测框即融合结果5；不在跟踪序列中的图像检测框即融合结果6；以及同时在图像及点云中被检测到的目标框即融合结果7。对融合结果进行分类输出后，筛选上述目标检测准确度等级最高及次高的结果作为最终融合结果，输出结果准确度等级最高的结果包括同时在图像和点云中被检测出来的目标即融合结果7，输出结果准确度等级次高的结果包括在跟踪序列且能够匹配上点云的图像检测框即融合结果4和在跟踪序列中但在前15帧的匹配序列中未出现过的点云检测框即融合结果2。将其余不在跟踪序列且无法相互匹配的检测框排除，能够大大降低目标误检率，提高融合精度。
5)将输出的融合结果投影到以自车为原点的世界坐标系中，得到在当前帧中周边车辆相对与自车的精确位置，为智能驾驶汽车决策规划和车辆控制提供精确的车辆感知信息，完成当前帧路径规划及车辆控制后，读取下一帧图像及点云数据，循环步骤1)到步骤5)，不断地输出融合检测结果。
在ROS(机器人操作系统，Robot Operating System)上运行，输入点云与图像的频率按照激光雷达采集频率10Hz来输入，并对输入的点云、图像、及2D检测框、3D检测框等数据进行时间戳同步处理，平均单帧检测与融合时间为0.1s，满足自动驾驶场景下的实时性要求。
以上所述，仅为本发明优选的实施例，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明所公开的范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都属于本发明的保护范围。

Claims (5)

1.一种基于激光与视觉融合的车辆检测方法，其特征在于，包括以下步骤：
1)利用深度学习算法分别对输入的图像及激光点云获取目标检测信息；
2)利用匈牙利算法分别对前后帧的图像及点云检测框做最优匹配，实现检测框的目标跟踪，分别建立图像及点云检测目标的跟踪序列；
3)对图像及其检测框、点云及其检测框的跟踪序列进行融合；包括对原始点云做滤波后投影到图像上、利用匈牙利算法对图像检测框及点云检测框做最优匹配和对未匹配的检测框做二次筛选；所述的原始点云做滤波后投影到图像上，具体包括：对输入的原始点云做直通滤波、体素滤波处理，仅保留车辆前方感兴趣的点云数据，减少后续处理的计算量；对激光雷达与摄像头联合标定，获取激光雷达点云与图像之间的转换矩阵，包括旋转矩阵、平移矩阵、相机内参矩阵、相机矫正矩阵；通过转换矩阵将激光雷达点云的空间三维坐标(x，y，z)经过矩阵变换后得到对应的图像像素点坐标(u，v)，实现点云投影到图像上；由于融合过程中，在图像检测结果与点云检测结果匹配条件同时考虑图像检测框预估的深度信息与点云检测框测量的深度信息之间的关系；因此，需要将图像检测框的像素坐标转换成激光雷达的空间坐标，从而获取图像检测框预估的深度信息ddepth；由于激光雷达在车上的位置是固定的，即相对于水平地面的高度h是固定的，因此选择图像检测框的底边中心点(u0，v0)作为检测目标下方的地面点(x0，y0，z0)，即该像素点所对应的空间z轴方向坐标已知，z0＝-h；再通过转换矩阵的逆矩阵将图像像素坐标(u0，v0)转换为点云空间坐标(x0，y0，z0)；所述的利用匈牙利算法对图像检测框及点云检测框做最优匹配，具体步骤包括：依次遍历当前帧图像检测框，计算图像检测框Box1与所有点云检测框的最小深度差值，若计算得到的最小深度差值Dis(Box1，Box2)小于设定的阈值，且其对应的点云检测框Box2未被其它的当前帧图像检测框匹配，则将该最小深度差值对应的图像和点云检测框进行匹配；若该最小深度差值Dis(Box1，Box2)所对应的点云检测框Box2已经与其它图像检测框Box3匹配，且匹配的最小深度差值Dis(Box3，Box2)小于当前待匹配的图像与点云检测框最小深度差值Dis(Box1，Box2)，则放弃当前图像检测框Box1的匹配；反之，若已匹配的最小深度差值Dis(Box3，Box2)大于当前待匹配的图像与点云检测框最小深度差值Dis(Box1，Box2)，则令已匹配的图像检测框Box3重新匹配，将图像检测框Box1与点云检测框Box2进行匹配，此时，该目标在图像和点云中同时被检测出来，作为准确度等级最高的融合结果进行输出；
4)根据融合后的检测框是否被匹配、跟踪的特征，对所有目标检测框进行分类后输出融合列表，并选取相应的检测框作为最终融合结果进行输出；
5)将输出的融合结果投影到以自己车辆为原点的世界坐标系中，得到在当前帧中周边车辆相对与自己车辆的位置，为智能驾驶汽车决策规划和车辆控制提供的车辆感知信息，完成当前帧路径规划及车辆控制后，读取下一帧图像及点云数据，循环步骤1)到步骤5)，不断地输出融合检测结果。
2.根据权利要求1所述的一种基于激光与视觉融合的车辆检测方法，其特征在于，步骤1)包括：对图像采用深度学习图像目标检测算法YOLOv3获取图像检测框类别、中心点像素坐标位置及长宽尺寸信息；对点云采用深度学习点云目标检测算法PointRCNN获取3D检测框类别、中心点空间坐标及长宽高尺寸的信息。
3.根据权利要求1所述的一种基于激光与视觉融合的车辆检测方法，其特征在于，步骤2)包括对于每一帧的图像检测框或点云检测框，首先，判断输入的检测框是否为第一帧图像或点云的检测结果，在第一帧中，由于没有前一帧的检测结果做匹配，无法进行跟踪，故将所有检测框的跟踪序列编号置零；若输入的检测框不为第一帧的图像或点云检测框，则依次计算当前帧的检测框Box1与上一帧所有检测框的最小距离值，若所得最小距离值Dis(Box1，Box2)小于设定的阈值，且所对应的上一帧检测框Box2未被当前帧其它的检测框匹配，则将该最小距离值对应的前后帧检测框进行匹配，否则放弃匹配；若该最小距离值Dis(Box1，Box2)所对应的上一帧检测框Box2已经与其它当前帧检测框Box3匹配，且匹配的最小距离值Dis(Box3，Box2)小于当前帧待匹配的前后帧检测框最小距离值Dis(Box1，Box2)，则放弃当前帧检测框Box1的匹配；反之，若已匹配的最小距离值Dis(Box3，Box2)大于当前待匹配的前后帧检测框最小距离值Dis(Box1，Box2)，则令当前帧已匹配的检测框Box3重新匹配，将当前帧检测框Box1与上一帧检测框Box2进行匹配；对于成功匹配的前后帧检测检测框，若对应上一帧的检测框跟踪序列编号为零，则按跟踪顺序赋予当前帧检测框新的跟踪序列编号，若上一帧检测框跟踪序列编号不为零，则令当前帧检测框保持相同的跟踪序列编号，进而实现连续帧若干个目标跟踪。
4.根据权利要求1所述的一种基于激光与视觉融合的车辆检测方法，其特征在于，所述的对未匹配的检测框做二次筛选，具体步骤包括：对于在跟踪序列中但未被匹配的图像检测框，利用联合标定所得到的转换矩阵，找到投影在图像检测框内的点云并对框内点云进行聚类，并将聚类点数最多的点云簇与图像检测框做匹配，将该点云簇的中心点坐标作为该图像检测框所对应的目标中心点空间坐标；对于在跟踪序列中但未被匹配的点云检测框，若该目标的跟踪编号曾经出现在前H帧的匹配序列中，则认为该点云检测框目标是因为在图像中受遮挡导致未匹配,将以上两种情况下的图像及检测结果作为准确度等级次高的融合结果进行输出。
5.根据权利要求1所述的一种基于激光与视觉融合的车辆检测方法，其特征在于，步骤4)包括：根据步骤3)的融合，将图像与点云检测框分为七种类别进行输出，包括仅在跟踪序列中且在前H帧的匹配序列中出现过的点云检测框；在跟踪序列中但在前H帧的匹配序列中未出现过的点云检测框；不在跟踪序列中的点云检测框；在跟踪序列且能够匹配上点云的图像检测框；在跟踪序列中但无法匹配上点云的图像检测框；不在跟踪序列中的图像检测框；以及同时在图像及点云中被检测到的目标框；对融合结果进行分类输出后，筛选上述目标检测准确度等级最高及次高的结果作为最终融合结果输出，输出结果准确度等级最高的结果包括同时在图像及点云中被检测到的目标，输出结果准确度等级次高的结果包括在跟踪序列中但在前H帧的匹配序列中未出现过的点云检测框和在跟踪序列且能够匹配上点云的图像检测框，将其余不在跟踪序列且无法相互匹配的检测框排除。
CN201911046792.5A 2019-10-30 2019-10-30 一种基于激光与视觉融合的车辆检测方法 Active CN110942449B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911046792.5A CN110942449B (zh) 2019-10-30 2019-10-30 一种基于激光与视觉融合的车辆检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911046792.5A CN110942449B (zh) 2019-10-30 2019-10-30 一种基于激光与视觉融合的车辆检测方法

Publications (2)

Publication Number Publication Date
CN110942449A CN110942449A (zh) 2020-03-31
CN110942449B true CN110942449B (zh) 2023-05-23

Family

ID=69906980

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911046792.5A Active CN110942449B (zh) 2019-10-30 2019-10-30 一种基于激光与视觉融合的车辆检测方法

Country Status (1)

Country Link
CN (1) CN110942449B (zh)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113496514B (zh) * 2020-04-01 2022-09-20 阿里巴巴集团控股有限公司 数据处理方法、监测系统、电子设备及显示设备
CN111462240B (zh) * 2020-04-08 2023-05-30 北京理工大学 一种基于多单目视觉融合的目标定位方法
CN111709988B (zh) * 2020-04-28 2024-01-23 上海高仙自动化科技发展有限公司 一种物体的特征信息的确定方法、装置、电子设备及存储介质
CN111563916B (zh) * 2020-05-11 2022-06-10 中国科学院自动化研究所 基于立体视觉的长时无人机跟踪定位方法、系统、装置
CN111694010B (zh) * 2020-05-27 2022-03-25 东南大学 一种基于视觉与激光雷达融合的路侧车辆识别方法
WO2021237678A1 (zh) * 2020-05-29 2021-12-02 深圳市大疆创新科技有限公司 目标跟踪方法及装置
CN111832410B (zh) * 2020-06-09 2022-09-20 北京航空航天大学 一种基于视觉与激光雷达融合的前向列车检测方法
CN111862624B (zh) * 2020-07-29 2022-05-03 浙江大华技术股份有限公司 车辆匹配方法、装置、存储介质及电子装置
CN111860695B (zh) * 2020-08-03 2024-07-12 上海高德威智能交通系统有限公司 一种数据融合、目标检测方法、装置及设备
CN111986232B (zh) * 2020-08-13 2021-09-14 上海高仙自动化科技发展有限公司 目标物体的检测方法、装置、机器人及存储介质
CN112017241A (zh) * 2020-08-20 2020-12-01 广州小鹏汽车科技有限公司 一种数据处理的方法和装置
CN112215861A (zh) * 2020-09-27 2021-01-12 深圳市优必选科技股份有限公司 一种足球检测方法、装置、计算机可读存储介质及机器人
CN112233158B (zh) * 2020-10-14 2022-02-15 俐玛精密测量技术(苏州)有限公司 微纳米ct投影图像的二次投影配准方法
CN112419233B (zh) * 2020-10-20 2022-02-22 腾讯科技（深圳）有限公司 一种数据标注方法、装置、设备以及计算机可读存储介质
CN112417967B (zh) * 2020-10-22 2021-12-14 腾讯科技（深圳）有限公司 障碍物检测方法、装置、计算机设备和存储介质
CN112232272B (zh) * 2020-11-02 2023-09-08 上海有个机器人有限公司 一种激光与视觉图像传感器融合的行人识别方法
CN112488029B (zh) * 2020-12-10 2022-07-08 重庆邮电大学 一种基于空地协同的车辆检测方法
CN112561966B (zh) * 2020-12-22 2022-11-11 清华大学 一种融合时空信息的稀疏点云多目标跟踪方法
CN112862858A (zh) * 2021-01-14 2021-05-28 浙江大学 一种基于场景运动信息的多目标跟踪方法
CN112924960B (zh) * 2021-01-29 2023-07-18 重庆长安汽车股份有限公司 目标尺寸实时检测方法、系统、车辆及存储介质
CN113066124A (zh) * 2021-02-26 2021-07-02 华为技术有限公司 一种神经网络的训练方法以及相关设备
CN113034963B (zh) * 2021-03-02 2022-08-02 英博超算(南京)科技有限公司 一种视觉车位跟踪系统
CN112990129B (zh) * 2021-04-27 2021-07-20 长沙万为机器人有限公司 基于视觉与激光雷达联合的三维物体检测方法及系统
CN113192057A (zh) * 2021-05-21 2021-07-30 上海西井信息科技有限公司 目标检测方法、系统、设备及存储介质
CN113269260B (zh) * 2021-05-31 2023-02-03 岚图汽车科技有限公司 一种智能驾驶车辆多传感器目标融合及跟踪方法及系统
CN113536915A (zh) * 2021-06-09 2021-10-22 苏州数智源信息技术有限公司 基于可见光相机的多节点目标跟踪方法
CN113449632B (zh) * 2021-06-28 2023-04-07 重庆长安汽车股份有限公司 一种基于融合感知的视觉与雷达感知算法优化方法、系统及汽车
CN113469130A (zh) * 2021-07-23 2021-10-01 浙江大华技术股份有限公司 一种遮挡目标检测方法、装置、存储介质及电子装置
CN113706676B (zh) * 2021-08-26 2024-01-16 京东鲲鹏(江苏)科技有限公司 用于点云数据的模型自监督训练方法和装置
CN113705669A (zh) * 2021-08-27 2021-11-26 上海商汤临港智能科技有限公司 一种数据匹配方法、装置、电子设备以及存储介质
CN113743385A (zh) * 2021-11-05 2021-12-03 陕西欧卡电子智能科技有限公司 一种无人船水面目标检测方法、装置及无人船
CN114118253B (zh) * 2021-11-23 2024-02-20 合肥工业大学 一种基于多源数据融合的车辆检测方法及检测装置
CN114049394B (zh) * 2021-11-23 2022-06-21 智道网联科技(北京)有限公司 一种单目测距方法、装置、设备及存储介质
CN114155415B (zh) * 2021-12-07 2024-05-03 华东交通大学 一种多数据融合的车辆检测方法、系统、设备及存储介质
CN114526748A (zh) * 2021-12-24 2022-05-24 重庆长安汽车股份有限公司 基于二分图的驾驶目标关联方法、系统、车辆及存储介质
CN114545434A (zh) * 2022-01-13 2022-05-27 燕山大学 一种路侧视角测速方法、系统、电子设备及存储介质
CN114677446B (zh) * 2022-03-21 2024-05-24 华南理工大学 基于路侧多传感器融合的车辆检测方法、装置及介质
CN114926808A (zh) * 2022-03-30 2022-08-19 吉林大学 一种基于传感器融合的目标检测及追踪方法
CN114863695B (zh) * 2022-05-30 2023-04-18 中邮建技术有限公司 一种基于车载激光和摄像机的超标车辆检测系统和方法
CN114758504B (zh) * 2022-06-13 2022-10-21 之江实验室 一种基于滤波校正的网联车超速预警方法及系统
CN116523970B (zh) * 2023-07-05 2023-10-20 之江实验室 基于二次隐式匹配的动态三维目标跟踪方法及装置
CN117593685B (zh) * 2024-01-19 2024-04-26 福思(杭州)智能科技有限公司 真值数据的构建方法和装置、存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107609522A (zh) * 2017-09-19 2018-01-19 东华大学 一种基于激光雷达和机器视觉的信息融合车辆检测系统
CN110246159A (zh) * 2019-06-14 2019-09-17 湖南大学 基于视觉和雷达信息融合的3d目标运动分析方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107609522A (zh) * 2017-09-19 2018-01-19 东华大学 一种基于激光雷达和机器视觉的信息融合车辆检测系统
CN110246159A (zh) * 2019-06-14 2019-09-17 湖南大学 基于视觉和雷达信息融合的3d目标运动分析方法

Also Published As

Publication number Publication date
CN110942449A (zh) 2020-03-31

Similar Documents

Publication Publication Date Title
CN110942449B (zh) 一种基于激光与视觉融合的车辆检测方法
CN108596081B (zh) 一种基于雷达和摄像机融合的车辆行人探测方法
CN107272021B (zh) 使用雷达和视觉定义的图像检测区域的对象检测
CN111563415B (zh) 一种基于双目视觉的三维目标检测系统及方法
CN115032651B (zh) 一种基于激光雷达与机器视觉融合的目标检测方法
CN105335955B (zh) 对象检测方法和对象检测装置
CN110738121A (zh) 一种前方车辆检测方法及检测系统
CN112396650A (zh) 一种基于图像和激光雷达融合的目标测距系统及方法
CN110569704A (zh) 一种基于立体视觉的多策略自适应车道线检测方法
CN110765922A (zh) 一种agv用双目视觉物体检测障碍物系统
CN109263637B (zh) 一种碰撞预测的方法及装置
CN111369617B (zh) 一种基于卷积神经网络的单目视图的3d目标检测方法
CN114495064A (zh) 一种基于单目深度估计的车辆周围障碍物预警方法
CN111723778B (zh) 基于MobileNet-SSD的车辆测距系统及方法
CN115273034A (zh) 一种基于车载多传感器融合的交通目标检测与跟踪方法
CN117274749B (zh) 一种基于4d毫米波雷达和图像的融合3d目标检测方法
JP5073700B2 (ja) 物体検出装置
CN116978009A (zh) 基于4d毫米波雷达的动态物体滤除方法
JP2023184572A (ja) 電子機器、移動体、撮像装置、および電子機器の制御方法、プログラム、記憶媒体
CN113221739B (zh) 基于单目视觉的车距测量方法
CN111353481A (zh) 基于激光点云与视频图像的道路障碍物识别方法
CN113706599B (zh) 一种基于伪标签融合的双目深度估计方法
CN113895439A (zh) 一种基于车载多源传感器概率融合的自动驾驶变道行为决策方法
CN112883846A (zh) 一种用于检测车辆前方目标的三维数据采集成像系统
CN113834463A (zh) 基于绝对尺寸的智能车侧方行人/车单目深度测距方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant