CN113095324A - 一种针对锥桶的分类与测距方法及系统 - Google Patents

一种针对锥桶的分类与测距方法及系统 Download PDF

Info

Publication number
CN113095324A
CN113095324A CN202110478160.7A CN202110478160A CN113095324A CN 113095324 A CN113095324 A CN 113095324A CN 202110478160 A CN202110478160 A CN 202110478160A CN 113095324 A CN113095324 A CN 113095324A
Authority
CN
China
Prior art keywords
cone
point cloud
image
distance
laser
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110478160.7A
Other languages
English (en)
Inventor
张良
续秋锦
饶泉泉
李鑫
祁永芳
朱立红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202110478160.7A priority Critical patent/CN113095324A/zh
Publication of CN113095324A publication Critical patent/CN113095324A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Abstract

本发明涉及一种针对锥桶的分类与测距方法及系统，首先利用激光点云与相机图像之间的映射关系，将激光点云映射为二维图像；其次，根据算法对图像中的锥桶进行定位与分类；然后，完成初步筛选和框选的激光点云通过欧氏距离聚类算法对其进行聚类的方式进一步去除非锥桶点云；最后，根据边界框的种类对相应边界框内的激光点云按照边界框的种类对应的RGB值进行赋色，得到不同颜色的锥桶点云，多个不同锥桶边界框内聚类出的高质量锥桶激光点能够用于计算出其对应锥桶的距离，从而能够对若干锥桶进行分类的同时计算出锥桶距离。本发明通过双目视觉检测锥桶感兴趣区域与激光点云提供的距离信息，实现误差小、识别率高、稳定性高的激光测距。

Description

一种针对锥桶的分类与测距方法及系统
技术领域
本发明涉及多传感器信息融合技术领域，尤其涉及一种针对锥桶的分类与测距方法及系统。
背景技术
目标检测与识别分类一直是人工智能领域研究的一个热点，其中结合激光雷达与机器视觉的目标检测与分类更是近几年研究的热潮。目前，三维自动目标识别(ATR)技术在军用和民用领域都有广泛的用途。ATR是指三维数据传感器能够自动识别目标。其中，激光雷达(Laser Radar，LiDAR)，激光探测与测量，作为一种能够获取三维目标数据的传感器，是一种快速发展的测量技术。LiDAR以激光波束为载体用于高精度地获取高密度点云数据，获取的三维数据反映的是目标在现实世界中的三维尺寸信息，包含更多空间域的信息量，能够更全面真实地对目标进行描述，在目标检测与分类领域具有巨大的优势。
LiDAR的优点有很多，例如方向性好、测距精度高、单色性、相干性好、方向性强，并能够全天时不间断工作，此外，LiDAR扫描过程迅速、受外界环境影响较小、对小跳跃变化敏感、对不同环境下的目标检测有更强的适应性和优越性，因此LiDAR被广泛应用于室外场合的目标定位与检测中。此外，室外环境中的天气、温度、光线的变化及物体表面材质的不同会对CCD图像产生影响，并且，CCD图像不能完全描绘环境，而LiDAR技术能够克服以上问题，所以，它的应用是必不可少的。
在LiDAR仿真平台中对目标进行实时检测时，采用搜索模式扫描可以快速获取大量的信息。然而，实际的目标检测过程存在很多困难，例如，在检测目标的过程中既要保证良好的鲁棒性及可治愈性，又要求实时地显示处理，这对机器视觉检测算法提出了很高的要求。此外，检测到目标后，对目标的分类也是研究的重点。LiDAR同样普遍应用于对目标的扫描识别与分类中。
中国专利CN103994779A公开了一种基于三维激光点云的全景相机标定方法，获取地物稳定的场景中地物的三维激光点云；在场景中通过全景相机获取组成全景相机的各子相机的单张标定影像；根据三维激光点云获取所需控制点的坐标；在各单张标定影像中获取与控制点对应的像点坐标；根据控制点的坐标及像点坐标，通过张正友标定法解算全景相机中各个子相机的内、外参数。上述方案，不需要建立标定场，根据场景三维激光点云，确定所需控制点坐标，并根据控制点与单张标定影像的映射关系，在各单张标定影像中获取与控制点对应的像点坐标，通过对控制点的坐标及像点坐标的求解，即可得出全景相机中各个子相机的内参数及外参数。但是该专利缺乏对获取的点坐标和激光点云簇的分布情况的验证，无法保证分割结果的准确性，尤其是存在相互间距较小或视线方向上的图像重叠时，无法准确地识别类别数目的数值。
中国专利CN110780305A公开了基于多线激光雷达的赛道锥桶检测及目标点追踪方法，包括以下步骤：1)读取激光雷达点云数据；2)对激光雷达点云数据进行直通滤波；3)排除地面点云数据对锥桶检测的干扰；4)筛选出锥桶的点云簇；5)对聚类得到的点云簇进行统计分析，根据锥桶实际尺寸的特征，设置最大标准差阈值，筛选出锥桶；6)获取其点云簇中心点坐标；7)对激光雷达左右两侧的锥桶中心点坐标进行计算平均值，得到锥桶的中心点为当前状态下的最近目标点；8)循环以上步骤，获取最新目标点。本发明通过对激光雷达点云的实时滤波、分割、聚类等处理，不断控制车辆朝目标点移动，最终实现基于多线激光雷达的赛道锥桶检测及目标点追踪。该专利通过对多线雷达的分割聚类进行处理实现赛道锥桶的检测和目标点的追踪。不具有将三维点云与二维图像融合的相关技术内容，无法将图像作为误差矫正的根据，从而无法精准地对锥桶进行测距和分类。
在现有技术中，锥桶分类和测距系统采集到的参数单一，没有考虑通过采集多种信息进行融合处理的方式获取更加精准的锥桶分类和测距；此外，现有技术中，对采集到的数据并没有进行有效验证，也无法对相互靠近或存在重叠的锥桶点云/图像进行有效分割，且没有很好地运用激光雷达采集到的强度信息和原始点云处理得到的距离图像，因此，本发明将强度图像中强度值的分布、距离图像以及双目相机二维图像进行结合，从而能准确地对激光点云进行分割并提取出每一个锥桶点云簇中的高质量激光点来进行锥桶距离测量。
此外，一方面由于对本领域技术人员的理解存在差异；另一方面由于发明人做出本发明时研究了大量文献和专利，但篇幅所限并未详细罗列所有的细节与内容，然而这绝非本发明不具备这些现有技术的特征，相反本发明已经具备现有技术的所有特征，而且申请人保留在背景技术中增加相关现有技术之权利。
发明内容
针对现有技术之不足，本发明的技术方案提供的是一种激光点云信息与二维图像融合的锥桶分类与测距方法，其利用激光点云与相机图像之间的映射关系，将3D激光点云映射为二维图像。其次，根据目标检测算法对图像中的锥桶进行定位与分类；然后，完成初步筛选和框选的激光点云通过欧氏距离聚类算法对其进行聚类的方式进一步去除非锥桶点云，激光雷达获取的激光点云是根据目标检测检测算法所识别的锥桶边界框对不同的锥桶聚类点云进行定位，从而经过图像－激光点云映射得到锥桶边界框内对应的激光点云；最后，根据边界框的种类对相应边界框内的激光点云按照边界框的种类对应的RGB值进行赋色，得到不同颜色的锥桶点云；多个不同锥桶边界框内聚类出的高质量锥桶激光点能够用于计算出其对应锥桶的距离，从而能够对前方若干锥桶进行分类的同时计算出多个锥桶的距离。所述锥桶分类和测距方法至少包括以下步骤：
第一步：获取锥桶激光点云与图像的映射矩阵Tl_c；
第二步：采用双目图像和基于改进目标检测算法检测前方锥桶感兴趣区域；
第三步：对激光点云进行过滤聚类，基于欧氏距离聚类算法和点云数量聚类出锥桶点云簇，去除非锥桶点云；
第四步：将得到的锥桶聚类点云根据第一步得到的映射矩阵分别映射为左右相机坐标系下的二维图像，根据第二步检测出的锥桶感兴趣区域筛选点云；
第五步：将筛选后的激光点云与检测出的边界框的类别对应，根据边界框的种类对应的RGB值将对应的边界框内的激光点云进行赋色，得到不同颜色锥桶的聚类点云；
第六步：应用第五步得到的不同颜色锥桶的聚类点云计算距离DL。
根据一种优选地实施方式，所述映射矩阵Tl_c的获取还包括：
根据作为第一监测单元的激光雷达和作为第二监测单元的相机的相对位置计算出相机坐标系在雷达坐标系下的位姿矩阵，则激光雷达坐标原点Ol和相机坐标原点Oc之间的距离分量为dx，dy和dz。在已知相机焦距f、像主点的情况下，激光点云与图像的映射矩阵Tl_c为：
Figure BDA0003045055880000041
激光点和图像像素之间的映射关系如下：
Figure BDA0003045055880000042
式中
Figure BDA0003045055880000043
表示伪逆。
根据一种优选地实施方式，所述激光点云的过滤聚类还包括根据所述第一监测单元获取的激光点云信息中的锥桶和/或其他障碍物的回波强度数据，所述激光点云中的若干激光点对应的强度数据的总和构成强度图像，在激光点云与二维图像相融合的情况下，中央处理模块按照所述强度图像中属于同一锥桶边界框内的任意两个相邻像素的回波强度值的差小于或等于设定的强度值阈值的方式验证所述激光点云的分类情况和边界框的位置。
根据一种优选地实施方式，所述激光点云的过滤聚类还包括根据所述第一监测单元获取的原始激光点云滤去地面点云后获得能够转换成距离图像的目标点云；当所述第一监测单元获取到激光点的扫描天顶角、扫描方位角及距离信息时，所述中央处理模块按照遍历每个点的方式建立所述距离图像；所述距离图像还通过像素的邻接关系建立激光点云间的邻域关系，从而使得激光点云的分割转换为对距离图像相邻像素之间的连通分量的标记；所述中央处理模块按照将所述距离图像作为验证信息的方式对所述第二监测单元获取的二维图像中的锥桶边界框分布情况进行二次验证。
根据一种优选地实施方式，在使用欧式距离聚类算法进行锥桶点云过滤聚类时，所述第二监测单元获取的二维图像利用目标检测算法进行检测而获取到的锥桶感兴趣区域的个数作为欧式聚类算法要聚类分割的类别数目，然后在要聚类的点云数据中心随机选取类别数一致的种子点作为初始的每个类别的中心，根据剩余的所有点到每个种子点的距离，将剩余点划分到距离最小的一个类别中；其中，所述距离图像和强度图像能够与所述二维图像进行映射融合，从而验证所述二维图像中利用边界框框选的锥桶感兴趣区域的位置和数量，进而获取能够与实际锥桶数一致的类别数目。
根据一种优选地实施方式，所述聚类算法进行聚类分割时，需要多次调整种子点为上一划分好的每个类别的新中心位置，重复聚类过程，直到最后质心不发生移动或达到最大迭代次数从而完成对原始点云数据的聚类分割；所述距离图像的连通分量是按照相邻像素对应的至少两个坐标之间的欧式距离在设定的距离阈值范围内的方式进行标记的，在相邻的两个像素之间的距离值小于距离阈值的情况下，所述中央处理模块判定相邻的两个像素对应的坐标点属于同一类目标，从而所述中央处理模块还以遍历距离图像的非零像素的方式获取所述像素的最大连通区域，进而验证目标物的分割结果。其优势在于，该分割方式能够将相互靠近或存在重叠的目标分割较为接近的两类不同目标，同时在对多种模块组成的大目标或者相互嵌套的不同目标进行分割时，具有较低时间复杂度，能有效减少欠分割的情况，对于进一步准确提取不同目标特征具有重要意义。
根据一种优选地实施方式，在依据二维图像获取锥桶感兴趣区域进行激光点云的筛选时，
设一激光点P(x，y，z)，根据公式将其映射到图像坐标系，得到的图像坐标为，若点P是属于前方锥桶的激光点，则需要满足下列约束条件：
Figure BDA0003045055880000061
根据一种优选地实施方式，在完成激光点云的聚类和分割的情况下，所述中央处理模块根据分割的锥桶聚类点云个数和点云强度值选择不同激光点计算不同锥桶的距离，其中，所述二维图像中的锥桶边界框数量与距离图像和强度图像中的点云簇数量一致；
设基于欧氏距离聚类算法检测到的锥桶聚类点云共M个，记为(x1，y1，z1)，(x2，y2，z2)，……，(xM，yM，zM)。则前方锥桶的激光检测距离为：
Figure BDA0003045055880000062
本发明还提供一种针对锥桶的分类与测距方法，其至少包括第一监测单元、第二监测单元和中央处理模块，所述第一监测单元用于获取指定方向区域内目标或遮挡物的激光点云信息；所述第二监测单元以模仿双目视觉的方式获取同一指定方向区域的二维图像；所述中央处理模块能够根据获取的激光点云信息和二维图像进行指定方向区域内的锥桶的分类与测距，其中，所述第一监测单元采集到的激光点云以映射的方式融合至所述第二监测单元获取的二维图像中，从而所述中央处理模块能够根据所述二维图像中检测识别出的锥桶边界框进行对应于不同锥桶的至少部分激光点云的定位与聚类。本发明通过融合应用激光点云与图像的映射关系，以及双目视觉所检测的前方锥桶感兴趣区域与激光点云提供的距离信息，实现误差小、识别率高、稳定性高的3D激光测距。
根据一种优选地实施方式，所述激光点云的过滤聚类还包括根据所述第一监测单元获取的激光点云信息中的锥桶和/或其他障碍物的回波强度数据，所述激光点云中的若干激光点对应的强度数据的总和构成强度图像，在激光点云与二维图像相融合的情况下，中央处理模块按照所述强度图像中属于同一锥桶边界框内的任意两个相邻像素的回波强度值的差小于或等于设定的强度值阈值的方式验证所述激光点云的分类情况和边界框的位置；所述激光点云的过滤聚类还包括根据所述第一监测单元获取的原始激光点云滤去地面点云后获得能够转换成距离图像的目标点云；当所述第一监测单元获取到激光点的扫描天顶角、扫描方位角及距离信息时，所述中央处理模块按照遍历每个点的方式建立所述距离图像；所述距离图像还通过像素的邻接关系建立激光点云间的邻域关系，从而使得激光点云的分割转换为对距离图像相邻像素之间的连通分量的标记，所述中央处理模块按照将所述距离图像作为验证信息的方式对所述第二监测单元获取的二维图像中的锥桶边界框分布情况进行二次验证。
附图说明
图1是本发明的一种针对锥桶的分类与测距方法及系统的分类与测距流程图；
图2是本发明的一种针对锥桶的分类与测距方法及系统的坐标系之间转换的示意图；
图3是本发明的一种针对锥桶的分类与测距方法及系统的效果图。
附图标记列表
1：第一监测单元 2：第二监测单元 3：中央处理模块
具体实施方式
下面结合附图进行详细说明。
实施例1
本发明提供一种针对锥桶的分类与测距方法，其通过激光雷达以激光波束为载体获取高精度、高密度的点云数据，获取的三维数据反映的是目标在现实世界中的三维尺寸信息。其还采用检测率高的双目视觉进行前方若干锥桶的感兴趣区域与距离检测。本发明进一步通过将两者获取的信息进行融合处理以得到若干个不同颜色的锥桶点云，其中，双目视觉获取的锥桶信息对激光点云进行筛选，并通过筛选出的高质量激光点求取前方锥桶距离。
如图1所示，本发明首先利用激光点云与相机图像之间的映射关系，将3D激光点云映射为二维图像。其次，根据目标检测算法对图像中的锥桶进行定位与分类。优选地，本发明的目标检测算法采用根据实际需求改进后的Tiny_YOLO_V3检测算法。然后，完成初步筛选和框选的激光点云通过欧氏距离聚类算法对其进行聚类的方式进一步去除非锥桶点云。优选地，激光雷达获取的激光点云是根据Tiny_YOLO_V3检测算法所识别的锥桶边界框对不同的锥桶聚类点云进行定位，从而经过图像－激光点云映射得到锥桶边界框内对应的激光点云。最后，根据边界框的种类对相应边界框内的激光点云按照边界框的种类对应的RGB值进行赋色，得到不同颜色的锥桶点云。多个不同锥桶边界框内聚类出的高质量锥桶激光点能够用于计算出其对应锥桶的距离，从而能够对前方若干锥桶进行分类的同时计算出多个锥桶的距离。
优选地，在进行具体的锥桶分类和测距时，主要包括以下实施步骤：
第一步：获取激光点云与图像的映射矩阵Tlc。
如图2所示，根据激光雷达和相机的相对位置计算出相机坐标系在雷达坐标系下的位置矩阵，则激光雷达坐标原点Ol和相机坐标原点Oc之间的距离分量为dx，dy和dz。在已知相机焦距f、像主点(cx，cy)的情况下，激光点云与图像的映射矩阵Tl_c为：
Figure BDA0003045055880000081
激光点(xl，yl，zl)和图像像素(u，v)之间的映射关系如下：
Figure BDA0003045055880000082
式中
Figure BDA0003045055880000083
表示伪逆。
第二步：采用双目图像和基于Tiny_YOLO_V3算法检测前方锥桶感兴趣区域，设利用Tiny_YOLO_V3算法检测到锥桶的边界框的左上角坐标为(xs，ys)，ROI的宽度为wr，高度为hr。
第三步：对激光点云进行过滤聚类，基于欧氏距离聚类算法和点云数量聚类出锥桶点云簇，去除非锥桶点云。
在使用欧式距离聚类算法进行锥桶点云过滤聚类时，双目图像利用Tiny_YOLO_V3算法进行检测而获取到的锥桶感兴趣区域的个数作为欧式聚类算法要聚类分割的类别数目M，然后在要聚类的点云数据中心随机选取M个种子点作为初始的每个类别的中心，根据剩余的所有点到每个种子点的距离，将剩余点划分到距离最小的那一类中。之后调整种子点为划分好的每个类别的新中心，重复上面过程，直到最后质心不发生移动或达到最大迭代次数从而完成对原始点云数据的聚类分割。通过调用欧氏距离函数来使用欧氏距离聚类算法完成对点云数据的聚类分割。欧氏距离函数的输入为点云数据集和聚类类别数M，输出每个数据点所属的类别。
优选地，激光点云的过滤聚类还包括根据第一监测单元1获取的激光点云信息中的锥桶和/或其他障碍物的回波强度数据。激光点云中的若干激光点对应的强度数据的总和构成强度图像，在激光点云与二维图像相融合的情况下，中央处理模块3按照强度图像中属于同一锥桶边界框内的任意两个相邻像素的回波强度值的差小于或等于设定的强度值阈值的方式验证激光点云的分类情况和边界框的位置，进一步优选地，激光点云的过滤聚类还包括根据第一监测单元1获取的原始激光点云滤去地面点云后获得能够转换成距离图像的目标点云，当第一监测单元1获取到激光点的扫描天顶角、扫描方位角及距离信息时，中央处理模块3按照遍历每个点的方式建立距离图像距离图像还通过像素的邻接关系建立激光点云间的邻域关系，从而使得激光点云的分割转换为对距离图像相邻像素之间的连通分量的标记。中央处理模块3按照将距离图像作为验证信息的方式对第二监测单元获取的二维图像中的锥桶边界框分布情况进行二次验证。
第四步：将第三步得到的锥桶聚类点云根据第一步得到的映射矩阵分别映射为左右相机坐标系下的二维图像，根据第二步检测出的锥桶ROI筛选点云。
设一激光点P(x，y，z)，根据公式(2)将其映射到图像坐标系。得到地图像坐标为(u，v)。若点P是属于前方锥桶的激光点，则(u，v)需要满足下列约束条件：
Figure BDA0003045055880000101
第五步：将第四步筛选后的激光点云与检测出的边界框的类别对应，如图3所示，根据边界框的种类(红、蓝、黄等)对应的RGB值将对应的边界框内的激光点云进行赋色，得到信息更丰富的(x，y，z，RGB)格式的数据，得到不同颜色锥桶的聚类点云。
第六步：应用第五步得到的不同颜色锥桶的聚类点云计算距离DL。
设基于欧氏距离聚类算法检测到的锥桶聚类点云共M个，记为(x1，y1，z1)，(x2，y2，z2)，……，(xM，yM，zM)。则前方锥桶的激光检测距离为：
Figure BDA0003045055880000102
实施例2
本实施例是对实施例1的进一步改进，重复的内容不再赘述。
本发明提供一种针对锥桶的分类与测距系统，其按照采集指定方向区域内含有锥桶信息的二维图像和激光点云的方式得到该区域内多个锥桶位置信息和距离信息。本系统包括第一监测单元1、第二监测单元2和中央处理模块3。第一监测单元1用于获取指定方向区域内锥桶的激光点云信息。激光点云信息包括原始激光点云和点云的强度信息等。第二监测单元2以模仿双目视觉的方式获取同一指定方向区域的二维图像。第二监测单元2包括左相机和右相机，其获取的二维图像是两个相机采集图像的融合图像，该二维图像能够以标定前方设定区域内目标物的方式利用与目标物相适配的边界框进行目标物的框选。中央处理模块3能够根据获取的激光点云信息和二维图像进行指定方向区域内的锥桶的分类与测距。第一监测单元1采集到的激光点云以映射的方式融合至第二监测单元2获取的二维图像中，从而中央处理模块3能够根据二维图像中检测识别出的锥桶边界框进行对应于不同锥桶的至少部分激光点云的定位与聚类。
优选地，在激光点云位于不同的锥桶边界框内的情况下，中央处理模块3按照其可调节地对不同锥桶边界框内的激光点云进行赋色的方式勾勒出多个颜色不同的锥桶点云轮廓。第一监测单元1即用于仅点云数据获取的激光雷达。第二监测单元2为能够获取具有目标物标定边界框的相机。
本发明提供结合点云强度数据进行点云分隔并获取锥桶距离的方法。在进行点云信息采集时，第一监测单元1能够准确地返回目标点的坐标信息并接收到指定方向区域内目标或遮挡物的回波强度值。作为第一监测单元1返回的重要信息之一的强度数据能够在一定程度上反映目标的反射能力。优选地，强度数据可以是第一监测单元1经后续信号处理和离散化操作后得到的一组离散整数值，其对于目标的分割和分类具有重要作用。
第一监测单元1在探测时返回的是离散的点云信息，若干个点云数据间没有显式地建立邻接关系。因此，当利用点云数据对目标进行分类和判断时，首先需要将离散的点云分割为一个个具有实际意义的目标，然后才能进行后续特征提取、目标分类或三维重建等一系列操作。故在需要利用双目图像和基于Tiny_YOLO_V3算法检测前方锥桶感兴趣区域，并通过不同颜色的边界框对多个锥桶感兴趣区域进行分类并对非锥桶点云数据进行初步筛除。激光雷达获取的点云信息能够被聚类为不同边界框限定的且位于锥桶感兴趣区域内的锥桶点云簇，从而实现进一步去除非锥桶点云和隶属于不同锥桶的点云数据分类。将点云场景快速准确地分割为单个且有意义的对象是相关系统后续数据处理分析的关键。激光雷达强度值作为与目标本身相关的物理量在点云的精确分割中具有重要潜能。
第一监测单元1不仅可以准确地获取目标的各个点的位置信息，还可以记录每个点反射回来的强度。强度数据反映了目标反射能力的强弱，在目标分类和识别中具有重要的潜能，但其不仅与目标本身特性有关，还受到距离、入射方位角、系统设备和大气状况等多种因素的影响。
点云分割是与图像的分割相关联的，第一监测单元1的点云信息分割形成多个点云区域即是二维图像分割而形成的单一特性的部分图像。图像的分割就是把图像分成若干个特定的、具有独特性质的区域并提取出感兴趣目标的过程。点云分割就是把杂乱的点云分成若干个特定的、具有独特性质的点云子集的过程，每个子集可以作为一个整体进行相应特征的提取。点云的分割也叫做聚类操作。
第一监测单元1获得的点云分割的目的是将具有相似属性的点在空间上划分成一个个独立区域。点云分割在数学形式上就是将集合分成的一个个互不相交的子集的过程，其中，如果子集满足以下几个条件，则称为点云集合的有效分割。
(1)所有分割子集的并集是分割的点云总集。也就是点云总集中的任何一个点都属于一个特定的子集，不存在未分割的点。
(2)每个数据点不能同时属于两个相同的子集，也就是说每个子集中都没有和其他子集中相同的数据点。
(3)每个子集可以看作一个整体进行特征提取，提取的特征能准确反映子集对应目标的特性。也即每个分割子集对应分割点云场景中的一个有意义的目标。
在分割中，主要会出现两种分割不准确的情况。一种是将属于一个目标的点云分到多个目标类中，过分割。而另一种是将属于不同目标的点云分为一类，欠分割。一个好的分割算法要尽可能少地产生过分割和欠分割的情况。当使用k-means算法对点云进行分割时，原始M值的选取直接影响聚类分割的结果。当M值取较大时，由于真实目标类别数可能小于选取M值，所以会在一定程度上造成过分割。当M值取较小时，则容易在一定程度上造成欠分割。本发明通过对采集到的双目视觉图像进行基于Tiny_YOLO_V3算法检测来识别划分出多个位于第一监测单元1前方的锥桶感兴趣区域，从而能够准确有效地计算出类别数目M。相对于单一的激光点云方法进行目标物的分类和距离检测，本发明能够有效降低产生过分割和欠分割的可能性，使得分类结果和检测结果更加可靠。进一步优选地，本发明还通过距离图像与强度数据的联合，并基于两者的相互印证的方式验证双目视觉图像进行基于Tiny_YOLO_V3算法检测识别出的锥桶感兴趣区域个数能够恰好等于类别数目M。
优选地，为了能够对间距小或存在边缘重叠的多个锥桶的激光点云进行正确分割，本发明提出将采集的距离图像与第一监测单元1获取的强度数据进行结合的方式进行点云分割。基于距离图像的点云分割方法首先需要在原始点云中滤去地面点云，然后将滤去地面点云后的目标点云转换成距离图像。通过原始点云生成距离图像，本质就是将原始点云坐标信息转换为图像像素坐标信息。在距离图像中，图像行像素坐标对应点云的扫描天顶角φ，列像素坐标对应点云的扫描方位角θ，每个像素的灰度值对应每个点的距离信息R。当激光雷达返回(R，θ，φ)信息时，中央处理模块3可以通过遍历每个点的方式直接建立距离图像。优选地，行像素坐标rows和列像素坐标cols可以通过式(5)计算，其中α和β为激光雷达的水平和垂直角分辨率。
Figure BDA0003045055880000131
当激光雷达返回(x，y，z)信息时，中央处理模块3可以通过式(6)转换为距离值R，扫描方位角θ。扫描天顶角φ，进而建立距离图像。
Figure BDA0003045055880000132
将原始点云转换为距离图像后，距离图像利用像素的邻接关系隐式地建立起点云间的邻域关系。在距离图像中，对点云的分割问题转换为对距离图像相邻像素进行连通分量标记问题。对连通分量进行标记，最主要的就是判断邻接的像素是否表示同一个目标。在距离图像中，相邻的像素对应的坐标若属于同一个目标物，则其之间的欧氏距离应该接近短边距离形成的弧长，设相邻的两个像素保存的距离值为d1和d2，α为雷达的角分辨率。则短边对应的弧长l为l＝min(d1，d2)*α，由于相邻两像素对应的点之间夹角很小，所以两像素对应点间距离可以近似用|d1-d2|代替。我们可以设定一个距离阈值D来判断两个相邻像素对应的坐标点云是否属于一个目标。距离阈值D的值可以通过式(7)计算，K为大于1的常数。
D＝K*min(d1，d2)*α (7)
当相邻两像素间像素距离值小于阈值D时，中央处理模块3判定两像素对应的坐标点属于同一类目标。中央处理模块3通过对距离图像从左到右，从上到下进行遍历，每遍历一个非零像素，进行深度优先搜索，根据上述判定准则找到该像素的最大连通区域，进行标记，从而实现对目标的分割。由于标记后的距离图像中的数据无法直接提取分割后目标的相关特征信息，中央处理模块3对距离图像标记后再按照下列公式(8)将像素坐标转换为点云坐标，从而可以直接在原始点云信息中直接提取分割后的目标特征。
Figure BDA0003045055880000141
激光雷达返回的点云数据中还包括点云的强度信息。在点云分割中，使用强度数据来进一步对欠分割的点云进行分割。依据建立距离图像的方法建立一个强度图像，图像每个像素值保存了当前像素对应点云数据的强度值。激光雷达强度返回值主要受到材料本身性质、距离以及入射角的影响。对于同一目标上的相邻点云，若目标曲率较小，其相对雷达的距离和入射角都应该较为接近，所以其强度返回值也应该较为接近。故若当相邻的两个像素点为同一目标时，两点间距离应该小于距离阈值的同时，两点的强度返回值差也应该小于一个阈值。通过在现有的基于距离图像标记的点云分割算法中添加相邻两像素的强度返回值的差小于或等于设定的强度值阈值的限定条件，从而获得能够基于距离图像和强度信息联合的点云分割算法。基于距离图像和强度数据的点云分割算法能对较为接近的两个目标进行进一步分割，使得相互靠近或在设定方向上存在部分重叠的至少两个锥桶能够被分割成至少两个部分，同时在分割时加入的强度信息还能够对存在嵌套的锥桶或其他分类物分割成不同的部分，实现对待分类物的合理分割。其优势在于，该分割方式能够相互靠近或存在重叠的目标分割较为接近的两类不同目标，同时在对多种模块组成的大目标或者相互嵌套的不同目标进行分割时，具有较低时间复杂度，能有效减少欠分割的情况，对于进一步准确提取不同目标特征具有重要意义。
实施例3
本发明的双目视觉相机通过Tiny_YOLO_V3算法对其采集图像中的锥桶进行定位与分类。Tiny_YOLO_V3算法能够识别出与锥桶位置相对应的感兴趣区域并对不同区域采用不同颜色的边框进行框选。YOLOv3-Tiny拥有检测速度快、体积小、易于安装在边缘设备上部等优点，同时也存在着识别精度低，定位不准的问题。该算法是在YOLOv3目标检测算法的基础上进行改进，首先，对网络结构进行改进，在保证实时性的同时设计一个新的主干网络，提高网络的特征提取能力；其次改进目标损失函数和特征融合的策略，使用IOU损失函数代替原先边框位置损失函数，提高定位精度。YOLO V3-tiny网络还是基于YOLO V3算法的一个精简目标检测网络，可以在算推理能力较低的硬件上进行实时性的目标检测。YOLOV3-tiny的特征提取层由7个卷积层和6个最大池化层组成，其中卷积层依次包括二维卷积层、批量归一化层和非线性激活函数层。YOLO V3-tiny目标检测网络虽然它有很快的检测速度，但是它只采用13*13和26*26的网格特征图来进行目标预测，导致它对小尺寸目标检测精度较低。因此，为了能够获取更加精准的检测结果，本发明将其分类结果与强度数据、深度图形的处理结构进行结合和择优选取，从而使得最终向欧式距离聚类算法提供的M值能够精准地对应于实际锥桶数量，从而能够准确地对锥桶进行分类和测距。
YOLO V3-tiny相对于YOLO V3是在YOLO V3的网络结构基础上删除一些特征提取层，而且YOLO V3-tiny也是由YOLO V3中的三个不同尺度的输出变为两个不同尺度的输出，从而仅由两个尺度的特征图构成YOLO输出层。在网络和结构上YOLOv3-tiny相对于YOLOv3更加精简，但是在数据集上发挥的性能并没有形成很大的劣势，但是在检测速度上，却有着较大的提升，使其能够更加符合本发明在锥桶图像检测分类时对网络结构的需求。
优选地，本发明针对现有的YOLO V3-tiny作出了进一步改良，将YOLO V3-tiny中的两个不同尺度的检测结构删改为单尺度的检测结构，针对于前方锥桶在视野中的大小存在从近到远的变化，中央处理模块3使用不同尺度的anchors来对这几种不同尺度的目标进行检测，anchors的大小是根据数据集的标签利用k-means算法回归计算得到的，网络可以在该数据集上具有良好的表现。相对于原始的YOLOv3-tiny算法改进后的YOLOv3-tiny仅具有一个yolo层，大大节约了网络的计算成本，同时还可以对YOLOv3-tiny中利用多尺度的输出层和不同大小的anchors来实现多尺度检测的冗余计算进行整合。
需要注意的是，上述具体实施例是示例性的，本领域技术人员可以在本发明公开内容的启发下想出各种解决方案，而这些解决方案也都属于本发明的公开范围并落入本发明的保护范围之内。本领域技术人员应该明白，本发明说明书及其附图均为说明性而并非构成对权利要求的限制。本发明的保护范围由权利要求及其等同物限定。

Claims (10)

1.一种针对锥桶的分类与测距方法，其特征在于，至少包括以下步骤：
第一步：获取锥桶激光点云与图像的映射矩阵Tl_c；
第二步：采用双目图像和基于目标检测算法检测前方锥桶感兴趣区域；
第三步：对激光点云进行过滤聚类，基于欧氏距离聚类算法和点云数量聚类出锥桶点云簇，去除非锥桶点云；
第四步：将得到的锥桶聚类点云根据第一步得到的映射矩阵分别映射为左右相机坐标系下的二维图像，根据第二步检测出的锥桶感兴趣区域筛选点云；
第五步：将筛选后的激光点云与检测出的边界框的类别对应，根据边界框的种类(红、蓝、黄等)对应的RGB值将对应的边界框内的激光点云进行赋色，得到不同颜色的锥桶聚类点云；
第六步：应用第五步得到的不同颜色锥桶的聚类点云计算距离DL。
2.如权利要求1所述的针对锥桶的分类与测距方法，其特征在于，所述映射矩阵Tl_c的获取还包括：
根据作为第一监测单元(1)的激光雷达和作为第二监测单元(2)的相机的相对位置计算出相机坐标系在雷达坐标系下的位姿矩阵，则激光雷达坐标原点Ol和相机坐标原点Oc之间的距离分量为dx，dy和dz。在已知相机焦距f、像主点(cx,cy)的情况下，激光点云与图像的映射矩阵Tl_c为：
Figure FDA0003045055870000011
激光点(xl，yl，zl)和图像像素(u，v)之间的映射关系如下：
Figure FDA0003045055870000012
式中
Figure FDA0003045055870000021
表示伪逆。
3.如权利要求2所述的针对锥桶的分类与测距方法，其特征在于，所述激光点云的过滤聚类还包括根据所述第一监测单元(1)获取的激光点云信息中的锥桶和/或其他障碍物的回波强度数据，所述激光点云中的若干激光点对应的强度数据的总和构成强度图像，
在激光点云与二维图像相融合的情况下，中央处理模块(3)按照所述强度图像中属于同一锥桶边界框内的任意两个相邻像素的回波强度值的差小于或等于设定的强度值阈值的方式验证所述激光点云的分类情况和边界框的位置。
4.如权利要求3所述的针对锥桶的分类与测距方法，其特征在于，所述激光点云的过滤聚类还包括根据所述第一监测单元(1)获取的原始激光点云滤去地面点云后获得能够转换成距离图像的目标点云；
当所述第一监测单元(1)获取到激光点的扫描天顶角、扫描方位角及距离信息时，所述中央处理模块(3)按照遍历每个点的方式建立所述距离图像；
所述距离图像还通过像素的邻接关系建立激光点云间的邻域关系，从而使得激光点云的分割转换为对距离图像相邻像素之间的连通分量的标记；
所述中央处理模块(3)按照将所述距离图像作为验证信息的方式对所述第二监测单元获取的二维图像中的锥桶边界框分布情况进行二次验证。
5.如权利要求4所述的针对锥桶的分类与测距方法，其特征在于，在使用欧式距离聚类算法进行锥桶点云过滤聚类时，所述第二监测单元(2)获取的二维图像利用目标检测算法进行检测而获取到的锥桶感兴趣区域的个数作为欧式聚类算法要聚类分割的类别数目，然后在要聚类的点云数据中心随机选取与类别数一致的种子点作为初始的每个类别的中心，根据剩余的所有点到每个种子点的距离，将剩余点划分到距离最小的一个类别中；
其中，所述距离图像和强度图像能够与所述二维图像进行映射融合，从而验证所述二维图像中利用边界框框选的锥桶感兴趣区域的位置和数量，进而获取能够与实际锥桶数一致的类别数目。
6.如权利要求5所述的针对锥桶的分类与测距方法，其特征在于，所述聚类算法进行聚类分割时，需要多次调整种子点为上一划分好的每个类别的新中心位置，重复聚类过程，直到最后质心不发生移动或达到最大迭代次数从而完成对原始点云数据的聚类分割；
所述距离图像的连通分量是按照相邻像素对应的至少两个坐标之间的欧式距离在设定的距离阈值范围内的方式进行标记的，
在相邻的两个像素之间的距离值小于距离阈值的情况下，所述中央处理模块(3)判定相邻的两个像素对应的坐标点属于同一类目标，从而所述中央处理模块(3)还以遍历距离图像的非零像素的方式获取所述像素的最大连通区域，进而验证目标物的分割结果。
7.如权利要求1所述的针对锥桶的分类与测距方法，其特征在于，在依据二维图像获取锥桶感兴趣区域进行激光点云的筛选时，
设一激光点P(x，y，z)，根据公式(2)将其映射到图像坐标系，得到的图像坐标为(u，v)，若点P是属于前方锥桶的激光点，则(u，v)需要满足下列约束条件：
Figure FDA0003045055870000031
8.如权利要求7所述的针对锥桶的分类与测距方法，其特征在于，在完成激光点云的聚类和分割的情况下，所述中央处理模块(3)根据分割的锥桶聚类点云个数和点云强度值选择不同激光点计算不同锥桶的距离，其中，
所述二维图像中的锥桶边界框数量与距离图像和强度图像中的点云簇数量一致。
9.一种针对锥桶的分类与测距系统，其特征在于，其至少包括第一监测单元(1)、第二监测单元(2)和中央处理模块(3)，
所述第一监测单元(1)用于获取指定方向区域内锥桶或遮挡物的激光点云信息；
所述第二监测单元(2)以模仿双目视觉的方式获取同一指定方向区域的二维图像；
所述中央处理模块(3)能够根据获取的激光点云信息和二维图像进行指定方向区域内的锥桶的分类与测距，其中，
所述第一监测单元(1)采集到的激光点云以映射的方式融合至所述第二监测单元(2)获取的二维图像中，从而所述中央处理模块(3)能够根据所述二维图像中检测识别出的锥桶边界框进行对应于不同锥桶的至少部分激光点云的定位与聚类。
10.如权利要求9所述的针对锥桶的分类与测距系统，其特征在于，
所述激光点云的过滤聚类还包括根据所述第一监测单元(1)获取的激光点云信息中的锥桶和/或其他障碍物的回波强度数据，所述激光点云中的若干激光点对应的强度数据的总和构成强度图像，
在激光点云与二维图像相融合的情况下，中央处理模块(3)按照所述强度图像中属于同一锥桶边界框内的任意两个相邻像素的回波强度值的差小于或等于设定的强度值阈值的方式验证所述激光点云的分类情况和边界框的位置；
所述激光点云的过滤聚类还包括根据所述第一监测单元(1)获取的原始激光点云滤去地面点云后获得能够转换成距离图像的目标点云；当所述第一监测单元(1)获取到激光点的扫描天顶角、扫描方位角及距离信息时，所述中央处理模块(3)按照遍历每个点的方式建立所述距离图像；
所述距离图像还通过像素的邻接关系建立激光点云间的邻域关系，从而使得激光点云的分割转换为对距离图像相邻像素之间的连通分量的标记，所述中央处理模块(3)按照将所述距离图像作为验证信息的方式对所述第二监测单元获取的二维图像中的锥桶边界框分布情况进行二次验证。
CN202110478160.7A 2021-04-28 2021-04-28 一种针对锥桶的分类与测距方法及系统 Pending CN113095324A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110478160.7A CN113095324A (zh) 2021-04-28 2021-04-28 一种针对锥桶的分类与测距方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110478160.7A CN113095324A (zh) 2021-04-28 2021-04-28 一种针对锥桶的分类与测距方法及系统

Publications (1)

Publication Number Publication Date
CN113095324A true CN113095324A (zh) 2021-07-09

Family

ID=76681467

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110478160.7A Pending CN113095324A (zh) 2021-04-28 2021-04-28 一种针对锥桶的分类与测距方法及系统

Country Status (1)

Country Link
CN (1) CN113095324A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113814953A (zh) * 2021-10-13 2021-12-21 国网山西省电力公司输电检修分公司 一种巡检机器人的履带自动找平方法、系统及电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108010130A (zh) * 2017-12-13 2018-05-08 合肥工业大学 一种面向图形的机器人操作方法
US20180136332A1 (en) * 2016-11-15 2018-05-17 Wheego Electric Cars, Inc. Method and system to annotate objects and determine distances to objects in an image
CN109100741A (zh) * 2018-06-11 2018-12-28 长安大学 一种基于3d激光雷达及图像数据的目标检测方法
CN109410264A (zh) * 2018-09-29 2019-03-01 大连理工大学 一种基于激光点云与图像融合的前方车辆距离测量方法
CN109961440A (zh) * 2019-03-11 2019-07-02 重庆邮电大学 一种基于深度图的三维激光雷达点云目标分割方法
CN110780305A (zh) * 2019-10-18 2020-02-11 华南理工大学 一种基于多线激光雷达的赛道锥桶检测及目标点追踪方法
US20210042929A1 (en) * 2019-01-22 2021-02-11 Institute Of Automation, Chinese Academy Of Sciences Three-dimensional object detection method and system based on weighted channel features of a point cloud
CN112381026A (zh) * 2020-11-23 2021-02-19 武汉理工大学 航道岸线检测方法、系统、装置和存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180136332A1 (en) * 2016-11-15 2018-05-17 Wheego Electric Cars, Inc. Method and system to annotate objects and determine distances to objects in an image
CN108010130A (zh) * 2017-12-13 2018-05-08 合肥工业大学 一种面向图形的机器人操作方法
CN109100741A (zh) * 2018-06-11 2018-12-28 长安大学 一种基于3d激光雷达及图像数据的目标检测方法
CN109410264A (zh) * 2018-09-29 2019-03-01 大连理工大学 一种基于激光点云与图像融合的前方车辆距离测量方法
US20210042929A1 (en) * 2019-01-22 2021-02-11 Institute Of Automation, Chinese Academy Of Sciences Three-dimensional object detection method and system based on weighted channel features of a point cloud
CN109961440A (zh) * 2019-03-11 2019-07-02 重庆邮电大学 一种基于深度图的三维激光雷达点云目标分割方法
CN110780305A (zh) * 2019-10-18 2020-02-11 华南理工大学 一种基于多线激光雷达的赛道锥桶检测及目标点追踪方法
CN112381026A (zh) * 2020-11-23 2021-02-19 武汉理工大学 航道岸线检测方法、系统、装置和存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
张晓川: "激光点云和图像的后校准融合与障碍物测距", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
陈威 等: "基于ＭＰＣ的自动驾驶车辆横向路径", 《南昌大学学报(工科版)》 *
韩峰 等, 武汉大学出版社 *
黄兴等: "应用激光雷达与相机信息融合的障碍物识别", 《计算机测量与控制》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113814953A (zh) * 2021-10-13 2021-12-21 国网山西省电力公司输电检修分公司 一种巡检机器人的履带自动找平方法、系统及电子设备
CN113814953B (zh) * 2021-10-13 2024-03-19 国网山西省电力公司超高压变电分公司 一种巡检机器人的履带自动找平方法、系统及电子设备

Similar Documents

Publication Publication Date Title
CN110175576B (zh) 一种结合激光点云数据的行驶车辆视觉检测方法
CN111882612B (zh) 一种基于三维激光检测车道线的车辆多尺度定位方法
CN107463918B (zh) 基于激光点云与影像数据融合的车道线提取方法
CN110781827A (zh) 一种基于激光雷达与扇状空间分割的路沿检测系统及其方法
CN108828621A (zh) 基于三维激光雷达的障碍检测和路面分割算法
WO2016106955A1 (zh) 一种激光红外复合的地面建筑物识别及导航方法
CN107392929B (zh) 一种基于人眼视觉模型的智能化目标检测及尺寸测量方法
CN109410264B (zh) 一种基于激光点云与图像融合的前方车辆距离测量方法
CN110334678A (zh) 一种基于视觉融合的行人检测方法
CN110197173B (zh) 一种基于双目视觉的路沿检测方法
CN112740225B (zh) 一种路面要素确定方法及装置
CN113050074B (zh) 无人驾驶环境感知中相机与激光雷达标定系统及标定方法
CN113205604A (zh) 一种基于摄像机和激光雷达的可行区域检测方法
CN112819895A (zh) 一种摄像机标定方法及装置
CN113327296B (zh) 基于深度加权的激光雷达与相机在线联合标定方法
CN111487643B (zh) 一种基于激光雷达点云和近红外影像的建筑物检测方法
CN114331986A (zh) 一种基于无人机视觉的坝体裂纹识别与测量方法
CN115546741A (zh) 一种双目视觉和激光雷达无人艇海洋环境障碍物识别方法
CN116452852A (zh) 一种高精度矢量地图的自动生成方法
CN116978009A (zh) 基于4d毫米波雷达的动态物体滤除方法
CN112017243B (zh) 一种介质能见度识别方法
CN113095324A (zh) 一种针对锥桶的分类与测距方法及系统
CN112016558A (zh) 一种基于图像质量的介质能见度识别方法
CN117036971A (zh) 自适应局部空谱一致下的机载LiDAR数据建筑物提取方法
CN113219472B (zh) 一种测距系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination