CN112396650B - 一种基于图像和激光雷达融合的目标测距系统及方法 - Google Patents

一种基于图像和激光雷达融合的目标测距系统及方法 Download PDF

Info

Publication number
CN112396650B
CN112396650B CN202010236666.2A CN202010236666A CN112396650B CN 112396650 B CN112396650 B CN 112396650B CN 202010236666 A CN202010236666 A CN 202010236666A CN 112396650 B CN112396650 B CN 112396650B
Authority
CN
China
Prior art keywords
target
point cloud
image
point
label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010236666.2A
Other languages
English (en)
Other versions
CN112396650A (zh
Inventor
潘子宇
王国军
刘玉强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Vehicle Intelligence Pioneers Inc
Original Assignee
Qingdao Vehicle Intelligence Pioneers Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Vehicle Intelligence Pioneers Inc filed Critical Qingdao Vehicle Intelligence Pioneers Inc
Priority to CN202010236666.2A priority Critical patent/CN112396650B/zh
Publication of CN112396650A publication Critical patent/CN112396650A/zh
Application granted granted Critical
Publication of CN112396650B publication Critical patent/CN112396650B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23211—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with adaptive number of clusters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及自动驾驶技术领域，尤其涉及一种用于智能网联车辆的道路目标测距系统及方法。该系统包括：数据采集模块，配置为获取道路目标图像和点云数据，并对所述的图像和点云数据进行预处理；数据处理模块，配置为对输入的图像和点云数据进行处理，获得目标的距离；所述的数据处理模块包括图像实例分割模块，配置为对输入的图像进行实例分割，输出每个像素点的像素标签；平面拟合模块，配置为将得到的带有像素标签的像素点与点云数据进行平面拟合，获得点云目标；距离计算模块，配置为根据获得的点云目标，获取点云目标的质心，将质心的距离作为当前目标的距离。本发明将图像实例分割结果与点云三维信息有效融合，利用三维信息修正二维实例标签的误差，再利用二维的实例标签修正三维聚类结果，实现准确的检测效果。

Description

一种基于图像和激光雷达融合的目标测距系统及方法
技术领域
本发明涉及自动驾驶技术领域，尤其涉及一种用于智能网联车辆的道路目标测距系统及方法。
背景技术
近年来，人工智能已经成为推动社会进步的最前沿，最具颠覆性的技术之一。人工智能的发展正在改变许多传统行业的工作模式，传统的汽车产业也无法避免。当前，汽车行业已经逐渐进入信息化和智能化的时代。对于汽车行业，当务之急是如何利用人工智能来提高车辆的行驶效率和安全性。对此，作为未来人工智能的重要分支，汽车的无人化和网联化，可以提高道路交通的安全性及通行效率，极大地改变人们的生活出行方式，将成为未来数年最重要的先进技术之一。
环境感知、精确定位、路径规划、线控执行等是智能网联车辆的核心技术。在环境感知中，如果能实时获取车周目标的类别、距离等信息，那么可以辅助车辆预先进行决策，进一步提高了车辆的安全性能。
针对目标的分类以及距离探测方法，主要的一些研究方向如下：1、基于单目或双目摄像头的深度估计方法，例如发明申请CN201910878291.7涉及一种利用姿态角估计的双目视觉测距方法和系统，对实例分割出的物体进行轮廓检测、轮廓匹配和姿态角估计，根据估计出的姿态角和不同的轮廓面积，结合物体先验的几何信息和相机的固有参数计算出物体与双目摄像机间的距离。但是，该类方法在一些场景下具有一定的局限性：一方面，双目视觉的检测距离较短、标定较难等问题，限制了双目相机在智能网联车辆的应用；另一方面，基于深度网络的单目估计网络，基于视差得到是目标的相对深度，无法获取其真实距离，且相对深度信息精度较低。这样处理存在的部分问题如下：(1)将连续的深度信息量化为离散的深度类别信息，将显著降低精度，最后得到的像素深度只是一个大概的距离范围；(2)深度信息量化后本身数据已经不够精确，尤其是处于分类边界的点的深度类别信息。将不准确的数据作为标签数据放入深度网络数据训练，也会再次降低网络的分类结果精度等。2、基于混合传感器融合的数据测距，例如申请号为CN201710106002.2的发明申请，该方案首先求解激光雷达数据中每个点的深度值且将深度值进行分类；将分类结果作为热红外采集的图像的像素类别标签，然后对图片采用深度卷积和反卷积进行处理后得到近似语义分割的结果图，然后将该图中每个像素点对应的类别对应回激光雷达的深度类别，获取该像素的深度；3、基于光学原理测距，例如申请号为CN201811052144.6的发明申请，该方案通过在车周四周安装激光器，通过对比收发信号的时间差来获取目标距离，但是这种方法只能获取车周这四点处的目标距离，检测距离很局限。
发明内容
基于现有用于智能网联车辆的道路目标检测和距离探测技术存在的数据精度不高、检测距离局限等问题，提供一种基于图像和激光雷达融合的目标测距系统及方法
为了解决本发明的技术问题，本发明首先提供了基于图像和激光雷达融合的目标测距，该系统包括：
数据采集模块，配置为获取道路目标图像和点云数据，并对所述的图像和点云数据进行预处理；
数据处理模块，配置为对输入的图像和点云数据进行处理，获得目标的距离；
其中：所述的数据处理模块包括图像实例分割模块，配置为对输入的图像进行实例分割，输出每个像素点的像素标签；
平面拟合模块，配置为将得到的带有像素标签的像素点与点云数据进行平面拟合，获得点云目标；
距离计算模块，配置为根据获得的点云目标，获取点云目标的质心，将质心的距离作为当前目标的距离。
作为本发明的一种优选方式，所述的平面拟合模块还配置为对点云中被遮挡的点的错误实例标签进行修正。
作为本发明进一步的优选方式，所述的数据处理模块还包括3D目标检测模块，配置为从距离计算模块中可以获取点云目标的质心、目标点云数据、目标类别等息，对点云进行聚类，拟合目标的3D边界框，获取该目标在世界坐标系下的3D位置。
作为本发明进一步的优选方式，该系统还包括数据输出模块，配置为输出激光雷达和相机的融合感知结果，包括检测到的目标类别、距离、3D维度、位姿信息。
作为本发明进一步的优选方式，该系统还包括联合标定模块，配置为对相机和激光雷达进行联合标定，包括相机内部参数的标定和外部参数的标定。
为了进一步解决本发明的技术问题，本发明提供的另一种技术方案是：基于图像和激光雷达融合的目标测距方法，包括：
实时获取图像和点云数据，并分别对图像和点云数据进行预处理；
将预处理后的图像输入预先构建的图像实例分割模型，得到图像中每个像素点的像素标签；
将得到的带有像素标签的像素点与点云数据进行平面拟合，获得点云目标；
根据所述的点云目标，获取点云目标的质心，将质心的距离作为当前目标的距离。
作为本发明的一种优选方式，所述平面拟合包括：将点云每个点映射到像素平面后，得到每个点的实例标签，每个点的实例标签即为相对应的像素点的实例标签。
进一步优选地，所述平面拟合包括：针对点云中每个点的实例标签，采用三维空间聚类方法对被遮挡的点的实例标签进行修正。
进一步优选地，对被遮挡的点进行实例标签修正包括：
采用聚类方法对点云进行聚类；
在每个聚类簇中统计每种实例标签的个数，将数量最多的实例标签作为该聚类簇的实例标签；
计算每个聚类簇的质心，如果两个聚类簇的质心的x方向距离大于阈值Tx,并且实例标签相同，将质心与原点x方向距离大的聚类簇认为是被遮挡而错误分配实例标签的实例，那么将该聚类簇重新分配新的实例标签；
如果两个聚类簇的质心的y方向距离小于阈值Tc，并且实例标签相同，那么将两个聚类簇合并。
作为本发明的优选方式，对点云进行聚类之前，先将点云的高度方向进行压缩得到二维的点云再进行聚类。
进一步优选地，采用的聚类方法为欧式聚类法或基于法向量差异的欧式聚类方法。
进一步优选地，所述基于法向量差异的欧式聚类方法包括：分别计算每个点在不同大小的球形邻域rs,rl(rl>rs)内的法向量ns和nl,并将每个点的法向量差的二范数|nl-ns|作为额外的特征用于欧式聚类。
作为本发明的另一中优选方式，所述的图像实例分割模型是基于SOLO网络搭建的实例分割模型。
进一步地，所述图像实例分割模型的训练数据中，采用labelme语义分割标注工具，标注图像像素的类别特征。
与现有技术相比，本发明的有益效果是：
(1)本发明提供了一种将图像实例分割结果与点云三维信息有效融合的方法及系统，不仅利用了三维信息，同时利用了二维的实例分割结果，并且利用彼此的信息进行相互修正，有效的结合了两种不同数据模式的优势，能够实现准确的检测性能。
(2)提高了地面滤除的算法精度。传统基于激光雷达进行目标检测进而获取目标距离时，需要首先滤除地面点，算法较耗时。而本发明只需要处理能够映射到基于实例分割获取到的图像目标的点云。尤其是，对于非结构化道路，例如矿山等环境下，道路起伏严重，本发明的方法能够有效解决基于栅格方法等地面滤除算法精度受限，得到的最终检测目标精度下降等问题。
(3)较好地区分了当前车辆的前景目标和背景(车后)目标。现有的一些基于点云和图像融合检测的方法，只是简单的把点云数据映射到图像进行处理，但由于激光雷达是水平方向，是360度扫描以及一些遮挡情况，直接进行点云映射，很容易把当前车辆车后的目标点云也映射到前景目标，造成模型的精度下降。而本发明提供的方法，充分将二维实例分割结果和三维点云信息进行拟合修正，降低了前景、背景分类误差。
(4)更好的适应扬尘、雨雪等恶劣天气。激光雷达很容易受扬尘、雨雪的影响，这种情况下采集到的点云数据噪点较多，基于传统激光雷达目标检测的方法很容易出现误检。而本发明的方法，一方面，缩小了点云的处理范围，只需要处理映射在图像实例分割目标上的点云数据，对点云进行了有效提取；此外，通过结合法向量的平面拟合，可以把扬尘等不规则运动的点滤除，提高了点云的检测精度。
(5)可以同时获取3D目标的维度、位姿、距离、类别等信息。基于本发明方法，无需训练3D目标检测网络，仅通过对图像的实例分割网络对像素类别和法向量的预测，结合点云数据，进行平面拟合，即可得到目标的3D目标信息，网络模型简单，耗费计算资源较少，模型精度高，利于在智能网联驾驶车辆的部署和推广。
附图说明
图1是本发明实施例中基于图像和激光雷达融合的目标测距系统的连接框图；
图2是本发明实施例中基于图像和激光雷达融合的目标测距方法的流程示意图；
图3本发明实施例中在三维空间内对受到遮挡实例标签进行修正流程示意图。
具体实施方式
为了便于理解本发明，下面结合附图和具体实施例，对本发明进行更详细的说明。附图中给出了本发明的较佳的实施例。但是，本发明可以以许多不同的形式来实现，并不限于本说明书所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。
为了解决现有技术中的技术问题，本发明提供的其中一个实施例是：基于图像和激光雷达融合的目标测距系统，该系统用于智能网联车辆的道路目标检测和距离探测，其结构连接如图1所示，主要包括：数据采集模块100、数据处理模块110、联合标定模块120、数据输出模块130。
本实施例的数据采集模块100主要由相机和激光雷达组成，相机负责图像的采集，激光雷达负责点云数据采集。采集后的图像和点云数据分别进行预处理，提升后续数据处理的速度。
经预处理的图像数据和点云数据输入数据处理模块110。其中，数据处理模块110由四个子模块组成，分别是图像实例分割模块111、平面拟合模块112、距离计算模块113、和3D目标检测模块114。
图像实例分割模块111，负责对输入的图像采用视觉实例分割方法进行实例分割，输出每个像素点的像素标签。
平面拟合模块112，将点云每个点映射到像素平面后，得到每个点的实例标签，每个点的实例标签即为相对应的像素点的实例标签。
由于三维空间尤其在遮挡情况下实际场景中位于不同实例的点在映射到图像平面后会重叠，这样导致被遮挡的实例的点会得到错误的实例标签。
基于此，平面拟合模块112还负责在点云中每个点的实例标签后，采用三维空间聚类方法，首先利用三维信息修正二维实例标签的误差，之后利用二维的实例标签对三维聚类结果进行修正。有效的结合了两种不同数据模式的优势，最终获得点云目标。
距离计算模块113根据从平面拟合模块112获得的点云目标，获取点云目标的质心，将质心的距离作为当前目标的距离。
3D目标检测模块114从距离计算模块中可以获取点云目标的质心、目标点云数据、目标类别等信息，那么通过对点云的聚类即可拟合目标的3D边界框，获取该目标在世界坐标系下的3D位置，为智能网联车辆的决策规划层提供了更加详细的环境信息。
数据输出模块130负责输出激光雷达和相机的融合感知结果，可以采用多种通信形式，输出检测到的目标类别、距离、3D维度、位姿信息等。
联合标定模块120的作用是负责对相机和激光雷达进行联合标定。首先分别标定相机和激光雷达的内部参数；然后让激光雷达和相机采集同一场景的数据，通过关键点匹配等方法确定激光雷达和相机之间的位姿关系。联合标定的结果，主要是激光雷达和相机之间的位姿关系，用于进行平面拟合。
本发明提供的第二个实施例是：基于图像和激光雷达融合的目标测距方法，本方法依托前述的基于目标检测的距离探测系统，探测道路目标的距离，为智能网联车辆的决策规划层提供精确的环境信息，其流程如图2所示，具体包括以下步骤：
一、对数据采集设备相机及激光雷达进行联合标定
首先，需要确定相机的内、外部参数。相机内部参数包括：相机焦距、畸变参数、相机坐标系到像素坐标系转换的几何模型参数等。通过棋盘法的角点检测来获取相机的内部参数。
相机的外部参数，主要是获取相机在世界坐标系下的位姿信息。
为了获取相机的位姿信息，可以联合激光雷达进行标定。固定激光雷达和相机后，可以拍摄同一场景的信息，匹配图像和点云数据中的相同关键点，获取激光雷达到相机的位置转换关系矩阵，综合以上参数，可以将点云数据投影到图片内。为了扩大感知范围，可以配置多个激光雷达、多个相机。在联合标定时，可以先选定1个激光雷达(标记为P)，获取其余激光雷达与P的位姿关系；选定1个相机(标记为C)，获取其余相机与C的位姿关系；然后联合标定P和C即可。
二、搭建图像的实例分割模型
图像的实例分割既具备语义分割的特点，需要做到像素层面上的分类，也具备目标检测的部分特点，即需要定位出不同实例，即使它们是同一种类。本实施例采用例如SOLO网络搭建实例分割模型。
三、数据预处理。
通过相机和激光雷达在车端实时获取图像和点云数据后，分别对数据进行预处理：首先，同步相机和激光点云数据。
图像的预处理包括但不仅限于：降采样、插值压缩等操作，以此加速后续目标实例分割速度。点云的预处理包括但不仅限于：设置检测ROI(Region of Interest)区域，背景过滤、滤噪、聚类等操作。
通过预处理操作，可以去除大量无关点云数据，提升后续数据处理的速度。
四、搭建训练数据集。
通过步骤三获取预处理的数据，分别标记图像和点云数据。采用labelme等语义分割标注工具，标注像素的类别特征。
五、获取目标的法向量和类别信息，并与点云数据进行平面拟合
将相机获取的目标图片实时输入到训练好的图像实例分割模型，则输出图像中每个点的预估法向量和类别，即每个像素点的像素标签。
将点云数据映射到图像后，获取与图像视野交集范围内的点云中每个点的实例标签。通过将点云每个点映射到像素平面后，得到每个点的实例标签，每个点的实例标签即为相对应的像素点的实例标签。
在三维空间尤其在遮挡情况下实际场景中的位于不同实例的点在映射到图像平面后会重叠，这样导致被遮挡的实例的点会得到错误的实例标签。因此，需要在三维空间内对受到遮挡实例标签进行修正。修正流程如图3所示，具体过程如下：
1.采用传统的欧式聚类对点云进行聚类，为了加速，鉴于自动驾驶中道路中的目标通常在道路表面，可以将点云的高度方向进行压缩得到二维的点云再进行聚类。
2.之后对得到的每个聚类簇进行实例标签分配，在每个聚类簇中统计每种实例标签的个数，将数量最多的实例标签作为该聚类簇的实例标签。
3.实例标签重分配：计算每个聚类簇的质心，如果两个聚类簇x方向距离大于阈值Tx,并且实例标签相同，将质心与原点x方向距离大的聚类簇认为是被遮挡而错误分配实力标签的实例，那么将该聚类簇重新分配新的实例标签。该步是基于三维信息修正二维实例误差。
4.合并聚类簇：如果两个聚类簇的质心的y方向距离小于阈值Tc，并且实例标签相同，那么将两个聚类簇合并。该步是基于二维信息实例标签修正三维聚类误差。
经过上述两种不同数据模式的相互修正，使目标检测的准确性得到大幅提升，获得精确的目标点云。
六、获取目标距离
通过步骤5获取目标点云簇后，求解簇的质心，将质心的距离作为该目标的距离。
需要说明的是，如果环境简单，也可以直接把步骤五输出的带标签点云全部点的距离的中值作为该目标的距离。
七、利用上述获取到的点云目标的质心、目标点云数据、目标类别等信息，通过对点云的聚类即可拟合目标的3D边界框，获取该目标在世界坐标系下的3D位置。
八、将检测到的目标类别、距离、3D维度、位姿信息等输出，为智能网联车辆的决策规划层提供了更加详细、精确的环境信息。
本发明还提供了基于图像和激光雷达融合的目标测距方法的另一个实施例，具体包括以下步骤：
一、对数据采集设备相机及激光雷达进行联合标定
首先，需要确定相机的内、外部参数。相机内部参数包括：相机焦距、畸变参数、相机坐标系到像素坐标系转换的几何模型参数等。通过棋盘法的角点检测来获取相机的内部参数。
相机的外部参数，主要是获取相机在世界坐标系下的位姿信息。
为了获取相机的位姿信息，可以联合激光雷达进行标定。固定激光雷达和相机后，可以拍摄同一场景的信息，匹配图像和点云数据中的相同关键点，获取激光雷达到相机的位置转换关系矩阵，综合以上参数，可以将点云数据投影到图片内。为了扩大感知范围，可以配置多个激光雷达、多个相机。在联合标定时，可以先选定1个激光雷达(标记为P)，获取其余激光雷达与P的位姿关系；选定1个相机(标记为C)，获取其余相机与C的位姿关系；然后联合标定P和C即可。
二、搭建图像的实例分割模型
图像的实例分割既具备语义分割的特点，需要做到像素层面上的分类，也具备目标检测的部分特点，即需要定位出不同实例，即使它们是同一种类。本实施例采用例如SOLO网络搭建实例分割模型。
三、数据预处理。
通过相机和激光雷达在车端实时获取图像和点云数据后，分别对数据进行预处理：首先，同步相机和激光点云数据。
图像的预处理包括但不仅限于：降采样、插值压缩等操作，以此加速后续目标实例分割速度。点云的预处理包括但不仅限于：设置检测ROI(Region of Interest)区域，背景过滤、滤噪、聚类等操作。
通过预处理操作，可以去除大量无关点云数据，提升后续数据处理的速度。
四、搭建训练数据集
通过步骤三获取预处理的数据，分别标记图像和点云数据。采用labelme等语义分割标注工具，标注像素的类别特征。
五、获取目标的法向量和类别信息，并与点云数据进行平面拟合
将相机获取的目标图片实时输入到训练好的图像实例分割模型，则输出图像中每个点的预估法向量和类别，即每个像素点的像素标签。
将点云数据映射到图像后，获取与图像视野交集范围内的点云中每个点的实例标签。通过将点云每个点映射到像素平面后，得到每个点的实例标签，每个点的实例标签即为相对应的像素点的实例标签。
在三维空间尤其在遮挡情况下实际场景中的位于不同实例的点在映射到图像平面后会重叠，这样导致被遮挡的实例的点会得到错误的实例标签。因此，需要在三维空间内对受到遮挡实例标签进行修正。修正流程如图3所示，具体过程如下：
1.将点云的高度方向进行压缩得到二维的点云，然后采用基于法向量差异的欧式聚类方法对点云进行聚类：分别计算每个点在在不同大小的球形邻域rs,rl(rl>rs)内的法向量ns和nl,并将每个点的法向量差的二范数|nl-ns|作为额外的特征用于欧式聚类。
基于法向量差异的欧式聚类方法的具体过程如下：
表面法线是几何体表面的重要属性，本实施例通过对邻域点进行局部平面拟合来间接求得法向量，因此求点云中一点的法向量的问题近似为基于该点的邻域点进行平面拟合的问题，拟合得到的平面的法向量即可作为该点的法向量。邻域点的拟合平面代表了邻域点的主要成分，相反法向量法相代表了邻域点的最小成分。因此表面法向量估计的问题可以最终化简为邻域点协方差矩阵的特征向量和特征值的分析，即主成分分析(PrincipalComponent Analysis PCA)，假设协方差矩阵C如下:
Figure BDA0002431224540000101
C·nj＝λj·nj j∈{1,2,3}λ1>λ2>λ3
其中，k指的是pi的邻域点的个数,
Figure BDA0002431224540000102
是当前需要求法向量的点，λj是第j个特征值nj是第j个特征向量,因为法向量是邻域点协方差矩阵的最小成分因此n3即为要求的法向量。
但是这样求解出来的法向量没有符号，比如一个球面，法线可以指向球心，也可以背向球心。
解决所求的法向量方向不定的问题，需要该点视角的向量，只要法向量n3与视角向量
Figure BDA0002431224540000111
的夹角是锐角，即这两个向量的点积大于0即可矫正所有法向量的方向。
Figure BDA0002431224540000112
将法向量差作为额外的特征，采用欧式聚类法对点云进行聚类。
2.对得到的每个聚类簇进行实例标签分配，在每个聚类簇中统计每种实例标签的个数，将数量最多的实例标签作为该聚类簇的实例标签。
3.实例标签重分配：计算每个聚类簇的质心，如果两个聚类簇x方向距离大于阈值Tx,并且实例标签相同，将质心与原点x方向距离大的聚类簇认为是被遮挡而错误分配实力标签的实例，那么将该聚类簇重新分配新的实例标签。该步是基于三维信息修正二维实例误差。
4.合并聚类簇：如果两个聚类簇的质心的y方向距离小于阈值Tc，并且实例标签相同，那么将两个聚类簇合并。该步是基于二维信息实例标签修正三维聚类误差。
经过上述两种不同数据模式的相互修正，使目标检测的准确性得到大幅提升，获得精确的目标点云。
六、获取目标距离
通过步骤5获取目标点云簇后，求解簇的质心，将质心的距离作为该目标的距离。
需要说明的是，如果环境简单，也可以直接把步骤五输出的带标签点云全部点的距离的中值作为该目标的距离。
七、利用上述获取到的点云目标的质心、目标点云数据、目标类别等信息，通过对点云的聚类即可拟合目标的3D边界框，获取该目标在世界坐标系下的3D位置。
八、将检测到的目标类别、距离、3D维度、位姿信息等输出，为智能网联车辆的决策规划层提供了更加详细、精确的环境信息。

Claims (11)

1.一种基于图像和激光雷达融合的目标测距方法，其特征在于，包括：
实时获取图像和点云数据，并分别对图像和点云数据进行预处理；
将预处理后的图像输入预先构建的图像实例分割模型，得到图像中每个像素点的像素标签；
将得到的带有像素标签的像素点与点云数据进行平面拟合，获得点云目标；其中，平面拟合包括：将点云每个点映射到像素平面上，得到每个点的实例标签，每个点的实例标签即为相对应的像素点的实例标签；针对点云中每个点的实例标签，采用三维空间聚类方法对被遮挡的点的实例标签进行修正：采用聚类方法对点云进行聚类；在每个聚类簇中统计每种实例标签的个数，将数量最多的实例标签作为该聚类簇的实例标签；计算每个聚类簇的质心，如果两个聚类簇的质心的x方向距离大于阈值Tx，并且实例标签相同，将质心与原点x方向距离大的聚类簇认为是被遮挡而错误分配实例标签的实例，那么将该聚类簇重新分配新的实例标签；如果两个聚类簇的质心的y方向距离小于阈值Tc，并且实例标签相同，那么将两个聚类簇合并；
根据所述的点云目标，获取点云目标的质心，将质心的距离作为当前目标的距离。
2.根据权利要求1所述的基于图像和激光雷达融合的目标测距方法，其特征在于，对点云进行聚类之前，先将点云的高度方向进行压缩得到二维的点云再进行聚类。
3.根据权利要求2所述的基于图像和激光雷达融合的目标测距方法，其特征在于，采用的聚类方法为欧式聚类法或基于法向量差异的欧式聚类方法。
4.根据权利要求3所述的基于图像和激光雷达融合的目标测距方法，其特征在于，所述基于法向量差异的欧式聚类方法包括：分别计算每个点在不同大小的球形邻域rs，rl(rl＞rs)内的法向量ns和nl，并将每个点的法向量差的二范数|nl-ns|作为额外的特征用于欧式聚类。
5.根据权利要求1-4中任一项所述的基于图像和激光雷达融合的目标测距方法，其特征在于，所述的图像实例分割模型是基于SOLO网络搭建的实例分割模型。
6.根据权利要求1-4中任一项所述的基于图像和激光雷达融合的目标测距方法，其特征在于，所述图像实例分割模型的训练数据中，采用labelme语义分割标注工具，标注图像像素的类别特征。
7.一种基于图像和激光雷达融合的目标测距系统，该系统包括：
数据采集模块，配置为获取道路目标图像和点云数据，并对所述的图像和点云数据进行预处理；
数据处理模块，配置为对输入的图像和点云数据进行处理，获得目标的距离；
其特征在于，
所述的数据处理模块包括图像实例分割模块，配置为对输入的图像进行实例分割，输出每个像素点的像素标签；
平面拟合模块，配置为将得到的带有像素标签的像素点与点云数据进行平面拟合，获得点云目标；其中，平面拟合包括：将点云每个点映射到像素平面上，得到每个点的实例标签，每个点的实例标签即为相对应的像素点的实例标签；针对点云中每个点的实例标签，采用三维空间聚类方法对被遮挡的点的实例标签进行修正：采用聚类方法对点云进行聚类；在每个聚类簇中统计每种实例标签的个数，将数量最多的实例标签作为该聚类簇的实例标签；计算每个聚类簇的质心，如果两个聚类簇的质心的x方向距离大于阈值Tx，并且实例标签相同，将质心与原点x方向距离大的聚类簇认为是被遮挡而错误分配实例标签的实例，那么将该聚类簇重新分配新的实例标签；如果两个聚类簇的质心的y方向距离小于阈值Tc，并且实例标签相同，那么将两个聚类簇合并；
距离计算模块，配置为根据获得的点云目标，获取点云目标的质心，将质心的距离作为当前目标的距离。
8.根据权利要求7所述的基于图像和激光雷达融合的目标测距系统，其特征在于，所述的平面拟合模块还配置为对点云中被遮挡的点的错误实例标签进行修正。
9.根据权利要求7或8所述的基于图像和激光雷达融合的目标测距系统，其特征在于，所述数据处理模块还包括3D目标检测模块，配置为从距离计算模块中获取点云目标的质心、目标点云数据、目标类别等息，对点云进行聚类，拟合目标的3D边界框，获取该目标在世界坐标系下的3D位置。
10.根据权利要求7或8所述的基于图像和激光雷达融合的目标测距系统，其特征在于，该系统还包括数据输出模块，配置为输出激光雷达和相机的融合感知结果，包括检测到的目标类别、距离、3D维度、位姿信息。
11.根据权利要求7或8所述的基于图像和激光雷达融合的目标测距系统，其特征在于，该系统还包括联合标定模块，配置为对相机和激光雷达进行联合标定，包括相机内部参数的标定和外部参数的标定。
CN202010236666.2A 2020-03-30 2020-03-30 一种基于图像和激光雷达融合的目标测距系统及方法 Active CN112396650B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010236666.2A CN112396650B (zh) 2020-03-30 2020-03-30 一种基于图像和激光雷达融合的目标测距系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010236666.2A CN112396650B (zh) 2020-03-30 2020-03-30 一种基于图像和激光雷达融合的目标测距系统及方法

Publications (2)

Publication Number Publication Date
CN112396650A CN112396650A (zh) 2021-02-23
CN112396650B true CN112396650B (zh) 2023-04-07

Family

ID=74603750

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010236666.2A Active CN112396650B (zh) 2020-03-30 2020-03-30 一种基于图像和激光雷达融合的目标测距系统及方法

Country Status (1)

Country Link
CN (1) CN112396650B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111522020A (zh) * 2020-06-23 2020-08-11 山东亦贝数据技术有限公司 一种园区活动要素混合定位系统及方法
CN112837384B (zh) * 2021-03-01 2024-07-19 东软睿驰汽车技术（沈阳）有限公司 车辆标记方法、装置和电子设备
CN115035490A (zh) * 2021-03-04 2022-09-09 阿里巴巴新加坡控股有限公司 目标检测方法、装置、设备和存储介质
CN113034600B (zh) * 2021-04-23 2023-08-01 上海交通大学 基于模板匹配的无纹理平面结构工业零件识别和6d位姿估计方法
CN113269040B (zh) * 2021-04-25 2024-07-19 南京大学 结合图象识别与激光雷达点云分割的驾驶环境感知方法
CN113219472B (zh) * 2021-04-28 2024-05-14 合肥工业大学 一种测距系统和方法
CN113240678B (zh) * 2021-05-10 2023-05-30 青岛小鸟看看科技有限公司 平面信息检测方法及系统
US11741621B2 (en) 2021-05-10 2023-08-29 Qingdao Pico Technology Co., Ltd. Method and system for detecting plane information
CN113137920B (zh) * 2021-05-19 2022-09-23 重庆大学 一种水下测量的设备与水下测量方法
CN113345019B (zh) * 2021-06-09 2023-07-18 山东信通电子股份有限公司 一种输电线路通道隐患目标测距方法、设备及介质
CN115222799B (zh) * 2021-08-12 2023-04-11 达闼机器人股份有限公司 图像重力方向的获取方法、装置、电子设备及存储介质
CN113689393A (zh) * 2021-08-19 2021-11-23 东南大学 一种基于图像和点云实例匹配的三维目标检测算法
CN113935428A (zh) * 2021-10-25 2022-01-14 山东大学 基于图像识别的三维点云聚类识别方法及系统
CN114565616B (zh) * 2022-03-03 2022-12-09 湖南大学无锡智能控制研究院 一种非结构化道路状态参数估计方法及系统
CN115100264B (zh) * 2022-05-12 2024-04-02 北京控制与电子技术研究所 一种基于三维点云的地形和目标实时检测及定位方法
CN116052121B (zh) * 2023-01-28 2023-06-27 上海芯算极科技有限公司 一种基于距离预估的多传感目标检测融合方法及装置
CN116012453B (zh) * 2023-03-28 2023-06-09 常州星宇车灯股份有限公司 车辆智能驾驶的单目测距方法、装置、设备、介质及车辆
CN116071283B (zh) * 2023-04-07 2023-06-16 湖南腾琨信息科技有限公司 基于计算机视觉的三维点云图像融合方法
CN116304142B (zh) * 2023-05-12 2023-08-08 智道网联科技(北京)有限公司 点云数据获取方法、装置、设备及存储介质
CN117808890A (zh) * 2023-12-22 2024-04-02 辉羲智能科技(上海)有限公司 一种相机与点云传感器外参标定矫正方法及装置
CN118175422A (zh) * 2024-05-13 2024-06-11 深圳市镭神智能系统有限公司 一种焦距调整方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109444911A (zh) * 2018-10-18 2019-03-08 哈尔滨工程大学 一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法
CN110246159A (zh) * 2019-06-14 2019-09-17 湖南大学 基于视觉和雷达信息融合的3d目标运动分析方法
CN110264416A (zh) * 2019-05-28 2019-09-20 深圳大学 稀疏点云分割方法及装置
CN110472534A (zh) * 2019-07-31 2019-11-19 厦门理工学院 基于rgb-d数据的3d目标检测方法、装置、设备和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10262222B2 (en) * 2016-04-13 2019-04-16 Sick Inc. Method and system for measuring dimensions of a target object

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109444911A (zh) * 2018-10-18 2019-03-08 哈尔滨工程大学 一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法
CN110264416A (zh) * 2019-05-28 2019-09-20 深圳大学 稀疏点云分割方法及装置
CN110246159A (zh) * 2019-06-14 2019-09-17 湖南大学 基于视觉和雷达信息融合的3d目标运动分析方法
CN110472534A (zh) * 2019-07-31 2019-11-19 厦门理工学院 基于rgb-d数据的3d目标检测方法、装置、设备和存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Data Fusion of Velodyne LiDAR and Monocular Camera with its Applications;Mohd Rayyan Akhtar;《中国优秀硕士学位论文全文数据库 信息科技辑》;20200115;正文第4.6节 *
SLAM with Object using a Nonparametric Pose Graph;Beipeng Mu et al.;《arXiv:1704.05959v1》;20170419;第III节B部分 *
基于激光雷达点云与图像融合的车辆目标检测方法;胡远志 等;《汽车安全与节能学报》;20191231;第10卷(第4期);第1-4节 *

Also Published As

Publication number Publication date
CN112396650A (zh) 2021-02-23

Similar Documents

Publication Publication Date Title
CN112396650B (zh) 一种基于图像和激光雷达融合的目标测距系统及方法
CN108932736B (zh) 二维激光雷达点云数据处理方法以及动态机器人位姿校准方法
CN110988912B (zh) 自动驾驶车辆的道路目标与距离检测方法、系统、装置
CN108647646B (zh) 基于低线束雷达的低矮障碍物的优化检测方法及装置
CN108445480B (zh) 基于激光雷达的移动平台自适应扩展目标跟踪系统及方法
Zhe et al. Inter-vehicle distance estimation method based on monocular vision using 3D detection
CN111563415B (zh) 一种基于双目视觉的三维目标检测系统及方法
CN114842438B (zh) 用于自动驾驶汽车的地形检测方法、系统及可读存储介质
CN113506318B (zh) 一种车载边缘场景下的三维目标感知方法
CN113111887A (zh) 一种基于相机和激光雷达信息融合的语义分割方法及系统
CN115049700A (zh) 一种目标检测方法及装置
CN112740225B (zh) 一种路面要素确定方法及装置
CN112825192B (zh) 基于机器学习的对象辨识系统及其方法
CN114495064A (zh) 一种基于单目深度估计的车辆周围障碍物预警方法
CN114325634A (zh) 一种基于激光雷达的高鲁棒性野外环境下可通行区域提取方法
CN114639115B (zh) 一种人体关键点与激光雷达融合的3d行人检测方法
CN116879870A (zh) 一种适用于低线束3d激光雷达的动态障碍物去除方法
CN115410167A (zh) 目标检测与语义分割方法、装置、设备及存储介质
CN116978009A (zh) 基于4d毫米波雷达的动态物体滤除方法
CN110208802B (zh) 融合多视图模糊推理赋值的障碍物检测方法
Huang et al. A coarse-to-fine LiDar-based SLAM with dynamic object removal in dense urban areas
CN114648639B (zh) 一种目标车辆的检测方法、系统及装置
CN116403186A (zh) 基于FPN Swin Transformer与Pointnet++ 的自动驾驶三维目标检测方法
CN116386003A (zh) 基于知识蒸馏的三维目标检测方法
Hu et al. A novel lidar inertial odometry with moving object detection for dynamic scenes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant