CN115546749A - 基于摄像机和激光雷达的路面坑洼检测及清扫和避让方法 - Google Patents

基于摄像机和激光雷达的路面坑洼检测及清扫和避让方法 Download PDF

Info

Publication number
CN115546749A
CN115546749A CN202211115632.3A CN202211115632A CN115546749A CN 115546749 A CN115546749 A CN 115546749A CN 202211115632 A CN202211115632 A CN 202211115632A CN 115546749 A CN115546749 A CN 115546749A
Authority
CN
China
Prior art keywords
point
road surface
point cloud
cloud data
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211115632.3A
Other languages
English (en)
Other versions
CN115546749B (zh
Inventor
尹智帅
焦钰军
彭陆亚静
胡仁泽
何镇豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Technology WUT
Original Assignee
Wuhan University of Technology WUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT filed Critical Wuhan University of Technology WUT
Priority to CN202211115632.3A priority Critical patent/CN115546749B/zh
Publication of CN115546749A publication Critical patent/CN115546749A/zh
Application granted granted Critical
Publication of CN115546749B publication Critical patent/CN115546749B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于摄像机和激光雷达的路面坑洼检测及清扫和避让方法，包括以下步骤：首先基于YOLOv5完成基于相机的路面坑洼检测，将激光雷达点云进行预处理和欧式聚类识别后获得3D检测框，通过坐标转换将3D检测框和图像目标检测结果的对应。然后将3D检测框和2D检测框进行匹配，将大于一定阈值目标进行融合，获得坑洼区域的坐标、大小、深度等数据发送至下游清扫路径规划模块。针对不同的坑洼区域，基于有限状态机模型完成清扫车决策，判断是否按照原路径进入坑洼区清扫增加清扫时间；或者针对较深坑洼区域生成新的路径实现换道避让以防托底。本发明有效解决了清扫车在坑洼路面上清扫不彻底及托底的问题，提高了清扫车的工作效率。

Description

基于摄像机和激光雷达的路面坑洼检测及清扫和避让方法
技术领域
本发明涉及无人驾驶中的环境感知领域，尤其涉及一种基于摄像机和激光雷达的路面坑洼检测及清扫和避让方法。
背景技术
近年来，随着汽车智能化的不断发展以及市场需求的不断扩大，无人驾驶技术在各行各业都有所应用，越来越多的科研人员进行无人驾驶技术的研究。无人驾驶环卫清扫车的诞生和应用便是一个典例。但在工作过程中，路面往往存在坑洼情况，清扫车能否对坑洼区域清扫干净，以及能否在出现较深坑洼情况下有效进行避让是目前有待解决的问题。
而基于摄像头或激光雷达的目标检测的发展让问题的解决成为可能。通过摄像头、激光雷达或者两者多模态融合的检测可以实现对道路坑洼区域的实时检测。并通过对坑洼区域的深度参数值的计算和判断来控制清扫车的清扫或避让操作。
发明内容
本发明主要目的实现基于摄像机和激光雷达的路面坑洼检测及清扫和避让，提高清扫车的工作效率。
本发明所采用的技术方案是：
提供一种基于摄像机和激光雷达的路面坑洼检测及清扫和避让方法，包括以下步骤：
S1、获得行驶路面的摄像机二维图像并传送至利用路面数据集训练好的YOLO v5模型进行目标检测，初步识别出图像中的路面坑洼区域，得到2D预测框；
S2、获取行驶路面的激光雷达点云数据，并对点云数据进行体素化下采样，去除离散点，剔除地平面的点云数据，最后进行欧式聚类，得到每个坑洼区域的3D边界框和中心点参数(x,y,z,w,h,l)，其中(x,y,z)为中心点的坐标，w,h,l相应为3D边界框的宽、高、长；
S3、将点云数据的3D边界框投影至二维图像中，与2D预测框进行IoU值计算，确定每个中心点数据对应的坑洼区域；
S4、对每个坑洼区域的点云数据进行遍历，并依据Z轴大小进行排序得到最高点和最低点坐标；计算每个坑洼区域中点云间最大Z轴间距，当点云间最大Z轴距大于某一阈值时，定义为坑洼区域；反之则不为坑洼区域，并将其二维图像中的2D预测框剔除；
S5、以每个坑洼区域的最大深度为基础，对深度大小进行判断；当深度小于一定阈值时，使清扫车驶入并增加相应的清扫时间；当深度高于一定阈值时使清扫车规划避障路径并采取避让操作。
接上述技术方案，步骤S2具体通过RANSAC算法检测地面，剔除地平面的点云数据。
接上述技术方案，步骤S3中具体将点云数据的3D边界框Y轴方向的左上角点和右下角点的坐标，投影到二维图像中并形成2D边界框，并与2D预测框进行IoU值计算，当IoU值大于一定阈值时，则每个3D边界框的点云便与对应的坑洼区域相匹配。
接上述技术方案，步骤S5中避障路径规划时先判断当前车道是否存在深坑洼，若不存在则跟踪路线不变；反之则判断另一侧车道在预设范围内是否存在深坑洼，若存在，则停止车辆。
接上述技术方案，若不存在深坑洼，则首先使当前跟踪路线所有点清零，随后利用本车当前坐标与另一侧预录车道最近点坐标，生成变道路线及其点集，最后将上述点集、另一侧车道与变道路线重合点后续点集，载入跟踪路线，以使车辆沿着更新后跟踪路线继续进行纯轨迹跟踪。
本发明还提供一种基于摄像机和激光雷达的路面坑洼检测及清扫和避让系统，包括：
二维图像坑洼初步识别模块，用于获得行驶路面的摄像机二维图像并传送至利用路面数据集训练好的YOLO v5模型进行目标检测，初步识别出图像中的路面坑洼区域，得到2D预测框；
点云数据坑洼区域具体识别模块，用于获取行驶路面的激光雷达点云数据，并对点云数据进行体素化下采样，去除离散点，剔除地平面的点云数据，最后进行欧式聚类，得到每个坑洼区域的3D边界框和中心点参数(x,y,z,w,h,l)，其中(x,y,z)为中心点的坐标，w,h,l相应为3D边界框的宽、高、长；
融合模块，用于将点云数据的3D边界框投影至二维图像中，与2D预测框进行IoU值计算，确定每个中心点数据对应的坑洼区域；
坑洼区域具体识别模块，用于对每个坑洼区域的点云数据进行遍历，并依据Z轴大小进行排序得到最高点和最低点坐标；计算每个坑洼区域中点云间最大Z轴间距，当点云间最大Z轴距大于某一阈值时，定义为坑洼区域；反之则不为坑洼区域，并将其二维图像中的2D预测框剔除；
路径规划模块，用于以每个坑洼区域的最大深度为基础，对深度大小进行判断；当深度小于一定阈值时，使清扫车驶入并增加相应的清扫时间；当深度高于一定阈值时使清扫车规划避障路径并采取避让操作。
接上述技术方案，点云数据坑洼区域具体识别模块具体通过RANSAC算法检测地面，剔除地平面的点云数据。
接上述技术方案，具体将点云数据的3D边界框Y轴方向的左上角点和右下角点的坐标，投影到二维图像中并形成2D边界框，并与2D预测框进行IoU值计算，当IoU值大于一定阈值时，则每个3D边界框的点云便与对应的坑洼区域相匹配。
接上述技术方案，路径规划模块在避障路径规划时先判断当前车道是否存在深坑洼，若不存在则跟踪路线不变；反之则判断另一侧车道在预设范围内是否存在深坑洼，若存在，则停止车辆；判断若不存在深坑洼，则首先使当前跟踪路线所有点清零，随后利用本车当前坐标与另一侧预录车道最近点坐标，生成变道路线及其点集，最后将上述点集、另一侧车道与变道路线重合点后续点集，载入跟踪路线，以使车辆沿着更新后跟踪路线继续进行纯轨迹跟踪。
本发明还提供一种计算机存储介质，其内存储有可被处理器执行的计算机程序，该计算机程序执行上述技术方案中基于摄像机和激光雷达的路面坑洼检测及清扫和避让方法。
本发明产生的有益效果是：本发明针对无人驾驶清扫车设计了一种基于激光雷达的路面坑洼检测及清扫和避让方法流程，车辆在双车道工况下行驶，采用摄像头进行目标初步检测，并通过欧式聚类获得点云数据的三维边界框和中心点数据，尤其采用三维边界框与二维目标框间的融合确定点云和二维边界框的匹配，并利用点云数据更进一步的确定了坑洼目标。再依据最大深度对清扫车的行驶工况进行判断和改变，增大了清扫车的工作效率。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是基于激光雷达和摄像头的路面坑洼检测及清扫和避让模块流程图；
图2是对坑洼区域进行欧式聚类参数流程图；
图3是避障路径规划流程图；
图4是本发明基于摄像机和激光雷达的路面坑洼检测及清扫和避让方法的具体判断流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明实施例基于激光雷达和摄像头的路面坑洼检测及清扫和避让方法，如图1、4所示，其主要包括以下步骤：
S1、获得行驶路面的摄像机二维图像，传送至利用路面数据集训练好的YOLOv5模型进行目标检测，初步得到图像中的路面坑洼区域，得到2D预测框，主要在二维图像中输出坑洼区域的中心点和长宽。
S2、获取行驶路面的激光雷达点云数据，并对数据进行体素化下采样，去除离散点，可使用RANSAC算法检测地面，剔除平面的点云数据，最后进行欧式聚类，得到每个坑洼区域的3D边界框和中心点参数(x,y,z,w,h,l)，其中(x,y,z)为中心点的坐标，w,h,l相应为3D边界框的宽、高、长。
S3、通过计算获得欧式聚类获得的3D边界框Y轴方向的左上角点和右下角点的坐标，通过投影矩阵将其投影到二维图像中并形成2D边界框。并与2D预测框进行IoU值(Intersection over Union)计算，当IoU值大于一定阈值(阈值取值范围在0.5-0.7之间，如可取值0.6，阈值的确定需要进行实验验证，阈值过低，检测误差大。阈值高，会导致漏检)时，则每个三维边界框的点云便与对应的坑洼区域相匹配。
S4、通过中心点坐标(x,y,z,w,h,l)确定遍历的范围,对所确定的范围内实现点云数据的遍历，采用冒泡排序实现点云Z轴数据从小到大排列。获得最高点和最低点的坐标，计算每个坑洼区域中聚类点云间的最大Z轴间距，当间距大于某一阈值(如3-5cm，本实施例取值3cm)时，定义为坑洼区域；当间距小于某一阈值时则不为坑洼区域，并将其二维图像中的预测框进行剔除。其中，可通过中心点坐标(x,y,z,w,h,l)确定遍历的范围(x-w/2<xi<x+w/2&y-h/2<yi<y+h/2&z-l/2<zi<z+l/2)，利用for循环实现点云数据的遍历，采用冒泡排序实现点云Z轴数据从小到大排列。
S5、以每个坑洼区域的最大深度为基础，对深度大小进行判断。当深度小于一定阈值时，使清扫车驶入并增加相应的清扫时间；当深度高于一定阈值时使清扫车规划避障路径并采取避让操作。
其中步骤S中的欧式聚类过程具体如图2所示，包括以下步骤：
对于3D边界框中的某点云P，通过KD Tree近邻搜索算法找到k个离P最近的点，这些点小于中距离小于设定值便聚类到Q中。若Q中元素数目不再增加，则聚类过程结束；否则在集合Q中选取P点以外的点，重复上述过程，当Q中元素不再增加时，聚类过程结束。最后根据点云簇便得到了聚类中心和3D检测框。
具体避障路径规划时，如图3所示，先判断当前车道是否存在较深坑洼，若不存在则跟踪路线不变；反之则判断另一侧车道在预设范围内是否存在较深坑洼，若存在则停止车辆；若不存在，首先使当前跟踪路线所有点清零，随后利用本车当前坐标与另一侧预录车道最近点坐标，生成变道路线及其点集，最后将上述点集、另一侧车道与变道路线重合点后续点集，载入跟踪路线，以使车辆沿着更新后跟踪路线继续进行纯轨迹跟踪。
本发明还提供一种基于摄像机和激光雷达的路面坑洼检测及清扫和避让系统，包括：
二维图像坑洼初步识别模块，用于获得行驶路面的摄像机二维图像并传送至利用路面数据集训练好的YOLO v5模型进行目标检测，初步识别出图像中的路面坑洼区域，得到2D预测框；
点云数据坑洼区域具体识别模块，用于获取行驶路面的激光雷达点云数据，并对点云数据进行体素化下采样，去除离散点，剔除地平面的点云数据，最后进行欧式聚类，得到每个坑洼区域的3D边界框和中心点参数(x,y,z,w,h,l)，其中(x,y,z)为中心点的坐标，w,h,l相应为3D边界框的宽、高、长；
融合模块，用于将点云数据的3D边界框投影至二维图像中，与2D预测框进行IoU值计算，确定每个中心点数据对应的坑洼区域；
坑洼区域具体识别模块，用于对每个坑洼区域的点云数据进行遍历，并依据Z轴大小进行排序得到最高点和最低点坐标；计算每个坑洼区域中点云间最大Z轴间距，当点云间最大Z轴距大于某一阈值时，定义为坑洼区域；反之则不为坑洼区域，并将其二维图像中的2D预测框剔除；
路径规划模块，用于以每个坑洼区域的最大深度为基础，对深度大小进行判断；当深度小于一定阈值时，使清扫车驶入并增加相应的清扫时间；当深度高于一定阈值时使清扫车规划避障路径并采取避让操作。
接上述技术方案，点云数据坑洼区域具体识别模块具体通过RANSAC算法检测地面，剔除地平面的点云数据。
接上述技术方案，具体将点云数据的3D边界框Y轴方向的左上角点和右下角点的坐标，投影到二维图像中并形成2D边界框，并与2D预测框进行IoU值计算，当IoU值大于一定阈值时，则每个3D边界框的点云便与对应的坑洼区域相匹配。
接上述技术方案，路径规划模块在避障路径规划时先判断当前车道是否存在深坑洼，若不存在则跟踪路线不变；反之则判断另一侧车道在预设范围内是否存在深坑洼，若存在，则停止车辆；判断若不存在深坑洼，则首先使当前跟踪路线所有点清零，随后利用本车当前坐标与另一侧预录车道最近点坐标，生成变道路线及其点集，最后将上述点集、另一侧车道与变道路线重合点后续点集，载入跟踪路线，以使车辆沿着更新后跟踪路线继续进行纯轨迹跟踪。
本申请还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质被处理器执行时实现方法实施例的基于激光雷达和摄像头的路面坑洼检测及清扫和避让方法。
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种基于摄像机和激光雷达的路面坑洼检测及清扫和避让方法，其特征在于，包括以下步骤：
S1、获得行驶路面的摄像机二维图像并传送至利用路面数据集训练好的YOLO v5模型进行目标检测，初步识别出图像中的路面坑洼区域，得到2D预测框；
S2、获取行驶路面的激光雷达点云数据，并对点云数据进行体素化下采样，去除离散点，剔除地平面的点云数据，最后进行欧式聚类，得到每个坑洼区域的3D边界框和中心点参数(x,y,z,w,h,l)，其中(x,y,z)为中心点的坐标，w,h,l相应为3D边界框的宽、高、长；
S3、将点云数据的3D边界框投影至二维图像中，与2D预测框进行IoU值计算，确定每个中心点数据对应的坑洼区域；
S4、对每个坑洼区域的点云数据进行遍历，并依据Z轴大小进行排序得到最高点和最低点坐标；计算每个坑洼区域中点云间最大Z轴间距，当点云间最大Z轴距大于某一阈值时，定义为坑洼区域；反之则不为坑洼区域，并将其二维图像中的2D预测框剔除；
S5、以每个坑洼区域的最大深度为基础，对深度大小进行判断；当深度小于一定阈值时，使清扫车驶入并增加相应的清扫时间；当深度高于一定阈值时使清扫车规划避障路径并采取避让操作。
2.根据权利要求1所述的基于摄像机和激光雷达的路面坑洼检测及清扫和避让方法，其特征在于，步骤S2具体通过RANSAC算法检测地面，剔除地平面的点云数据。
3.根据权利要求1所述的基于摄像机和激光雷达的路面坑洼检测及清扫和避让方法，其特征在于，步骤S3中具体将点云数据的3D边界框Y轴方向的左上角点和右下角点的坐标，投影到二维图像中并形成2D边界框，并与2D预测框进行IoU值计算，当IoU值大于一定阈值时，则每个3D边界框的点云便与对应的坑洼区域相匹配。
4.根据权利要求1所述的基于摄像机和激光雷达的路面坑洼检测及清扫和避让方法，其特征在于，步骤S5中避障路径规划时先判断当前车道是否存在深坑洼，若不存在则跟踪路线不变；反之则判断另一侧车道在预设范围内是否存在深坑洼，若存在，则停止车辆。
5.根据权利要求4所述的基于摄像机和激光雷达的路面坑洼检测及清扫和避让方法，其特征在于，若不存在深坑洼，则首先使当前跟踪路线所有点清零，随后利用本车当前坐标与另一侧预录车道最近点坐标，生成变道路线及其点集，最后将上述点集、另一侧车道与变道路线重合点后续点集，载入跟踪路线，以使车辆沿着更新后跟踪路线继续进行纯轨迹跟踪。
6.一种基于摄像机和激光雷达的路面坑洼检测及清扫和避让系统，其特征在于，包括：
二维图像坑洼初步识别模块，用于获得行驶路面的摄像机二维图像并传送至利用路面数据集训练好的YOLO v5模型进行目标检测，初步识别出图像中的路面坑洼区域，得到2D预测框；
点云数据坑洼区域具体识别模块，用于获取行驶路面的激光雷达点云数据，并对点云数据进行体素化下采样，去除离散点，剔除地平面的点云数据，最后进行欧式聚类，得到每个坑洼区域的3D边界框和中心点参数(x,y,z,w,h,l)，其中(x,y,z)为中心点的坐标，w,h,l相应为3D边界框的宽、高、长；
融合模块，用于将点云数据的3D边界框投影至二维图像中，与2D预测框进行IoU值计算，确定每个中心点数据对应的坑洼区域；
坑洼区域具体识别模块，用于对每个坑洼区域的点云数据进行遍历，并依据Z轴大小进行排序得到最高点和最低点坐标；计算每个坑洼区域中点云间最大Z轴间距，当点云间最大Z轴距大于某一阈值时，定义为坑洼区域；反之则不为坑洼区域，并将其二维图像中的2D预测框剔除；
路径规划模块，用于以每个坑洼区域的最大深度为基础，对深度大小进行判断；当深度小于一定阈值时，使清扫车驶入并增加相应的清扫时间；当深度高于一定阈值时使清扫车规划避障路径并采取避让操作。
7.根据权利要求6所述的基于摄像机和激光雷达的路面坑洼检测及清扫和避让系统，其特征在于，点云数据坑洼区域具体识别模块具体通过RANSAC算法检测地面，剔除地平面的点云数据。
8.根据权利要求6所述的基于摄像机和激光雷达的路面坑洼检测及清扫和避让系统，其特征在于，具体将点云数据的3D边界框Y轴方向的左上角点和右下角点的坐标，投影到二维图像中并形成2D边界框，并与2D预测框进行IoU值计算，当IoU值大于一定阈值时，则每个3D边界框的点云便与对应的坑洼区域相匹配。
9.根据权利要求6所述的基于摄像机和激光雷达的路面坑洼检测及清扫和避让系统，其特征在于，路径规划模块在避障路径规划时先判断当前车道是否存在深坑洼，若不存在则跟踪路线不变；反之则判断另一侧车道在预设范围内是否存在深坑洼，若存在，则停止车辆；判断若不存在深坑洼，则首先使当前跟踪路线所有点清零，随后利用本车当前坐标与另一侧预录车道最近点坐标，生成变道路线及其点集，最后将上述点集、另一侧车道与变道路线重合点后续点集，载入跟踪路线，以使车辆沿着更新后跟踪路线继续进行纯轨迹跟踪。
10.一种计算机存储介质，其特征在于，其内存储有可被处理器执行的计算机程序，该计算机程序执行权利要求1-5中任一项所述的基于摄像机和激光雷达的路面坑洼检测及清扫和避让方法。
CN202211115632.3A 2022-09-14 2022-09-14 基于摄像机和激光雷达的路面坑洼检测及清扫和避让方法 Active CN115546749B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211115632.3A CN115546749B (zh) 2022-09-14 2022-09-14 基于摄像机和激光雷达的路面坑洼检测及清扫和避让方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211115632.3A CN115546749B (zh) 2022-09-14 2022-09-14 基于摄像机和激光雷达的路面坑洼检测及清扫和避让方法

Publications (2)

Publication Number Publication Date
CN115546749A true CN115546749A (zh) 2022-12-30
CN115546749B CN115546749B (zh) 2023-05-30

Family

ID=84727132

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211115632.3A Active CN115546749B (zh) 2022-09-14 2022-09-14 基于摄像机和激光雷达的路面坑洼检测及清扫和避让方法

Country Status (1)

Country Link
CN (1) CN115546749B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116588078A (zh) * 2023-07-17 2023-08-15 上海鉴智其迹科技有限公司 车辆控制方法、装置、电子设备及计算机可读存储介质
CN116620296A (zh) * 2023-05-18 2023-08-22 中公高远(北京)汽车检测技术有限公司 一种智能汽车的避险方法和系统
CN118276093A (zh) * 2024-06-03 2024-07-02 南通大学 一种基于毫米波雷达图像的交通道路检测方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018205119A1 (zh) * 2017-05-09 2018-11-15 深圳市速腾聚创科技有限公司 基于激光雷达扫描的路沿检测方法和系统
CN110246159A (zh) * 2019-06-14 2019-09-17 湖南大学 基于视觉和雷达信息融合的3d目标运动分析方法
CN110749457A (zh) * 2019-10-31 2020-02-04 重庆长安汽车股份有限公司 智能驾驶汽车对路面坑洼拥包预警方法、系统及智能驾驶汽车
CN110869974A (zh) * 2018-11-19 2020-03-06 深圳市大疆创新科技有限公司 点云处理方法、设备及存储介质
CN112464812A (zh) * 2020-11-27 2021-03-09 西北工业大学 一种基于车辆的凹陷类障碍物检测方法
CN112487919A (zh) * 2020-11-25 2021-03-12 吉林大学 一种基于相机与激光雷达的3d目标检测与跟踪方法
CN113176585A (zh) * 2021-04-14 2021-07-27 浙江工业大学 一种基于三维激光雷达的路面异常检测方法
CN113205604A (zh) * 2021-05-17 2021-08-03 南昌智能新能源汽车研究院 一种基于摄像机和激光雷达的可行区域检测方法
CN113902729A (zh) * 2021-10-26 2022-01-07 重庆邮电大学 一种基于YOLO v5模型的路面坑洼检测方法
CN113936215A (zh) * 2021-10-20 2022-01-14 江苏徐工工程机械研究院有限公司 一种矿区路面凹坑的识别方法、系统及无人驾驶货车
CN113985445A (zh) * 2021-08-24 2022-01-28 中国北方车辆研究所 一种基于相机与激光雷达数据融合的3d目标检测算法
US20220044034A1 (en) * 2020-08-10 2022-02-10 Volvo Car Corporation Automated road damage detection
CN114708567A (zh) * 2022-06-06 2022-07-05 济南融瓴科技发展有限公司 一种基于双目摄像头的路面坑洼检测和避让方法及系统

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018205119A1 (zh) * 2017-05-09 2018-11-15 深圳市速腾聚创科技有限公司 基于激光雷达扫描的路沿检测方法和系统
CN110869974A (zh) * 2018-11-19 2020-03-06 深圳市大疆创新科技有限公司 点云处理方法、设备及存储介质
CN110246159A (zh) * 2019-06-14 2019-09-17 湖南大学 基于视觉和雷达信息融合的3d目标运动分析方法
CN110749457A (zh) * 2019-10-31 2020-02-04 重庆长安汽车股份有限公司 智能驾驶汽车对路面坑洼拥包预警方法、系统及智能驾驶汽车
US20220044034A1 (en) * 2020-08-10 2022-02-10 Volvo Car Corporation Automated road damage detection
CN112487919A (zh) * 2020-11-25 2021-03-12 吉林大学 一种基于相机与激光雷达的3d目标检测与跟踪方法
CN112464812A (zh) * 2020-11-27 2021-03-09 西北工业大学 一种基于车辆的凹陷类障碍物检测方法
CN113176585A (zh) * 2021-04-14 2021-07-27 浙江工业大学 一种基于三维激光雷达的路面异常检测方法
CN113205604A (zh) * 2021-05-17 2021-08-03 南昌智能新能源汽车研究院 一种基于摄像机和激光雷达的可行区域检测方法
CN113985445A (zh) * 2021-08-24 2022-01-28 中国北方车辆研究所 一种基于相机与激光雷达数据融合的3d目标检测算法
CN113936215A (zh) * 2021-10-20 2022-01-14 江苏徐工工程机械研究院有限公司 一种矿区路面凹坑的识别方法、系统及无人驾驶货车
CN113902729A (zh) * 2021-10-26 2022-01-07 重庆邮电大学 一种基于YOLO v5模型的路面坑洼检测方法
CN114708567A (zh) * 2022-06-06 2022-07-05 济南融瓴科技发展有限公司 一种基于双目摄像头的路面坑洼检测和避让方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
施洋: ""基于图像和点云的路面缺陷检测及点云修复技术研究"", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116620296A (zh) * 2023-05-18 2023-08-22 中公高远(北京)汽车检测技术有限公司 一种智能汽车的避险方法和系统
CN116620296B (zh) * 2023-05-18 2024-03-12 中公高远(北京)汽车检测技术有限公司 一种智能汽车的避险方法和系统
CN116588078A (zh) * 2023-07-17 2023-08-15 上海鉴智其迹科技有限公司 车辆控制方法、装置、电子设备及计算机可读存储介质
CN116588078B (zh) * 2023-07-17 2023-09-15 上海鉴智其迹科技有限公司 车辆控制方法、装置、电子设备及计算机可读存储介质
CN118276093A (zh) * 2024-06-03 2024-07-02 南通大学 一种基于毫米波雷达图像的交通道路检测方法

Also Published As

Publication number Publication date
CN115546749B (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
CN115546749B (zh) 基于摄像机和激光雷达的路面坑洼检测及清扫和避让方法
US11282210B2 (en) Method and apparatus for segmenting point cloud data, storage medium, and electronic device
US11967161B2 (en) Systems and methods of obstacle detection for automated delivery apparatus
CN109961440B (zh) 一种基于深度图的三维激光雷达点云目标分割方法
CN114842438B (zh) 用于自动驾驶汽车的地形检测方法、系统及可读存储介质
WO2022188663A1 (zh) 一种目标检测方法及装置
US20200026283A1 (en) Autonomous route determination
CN108509820B (zh) 障碍物分割方法及装置、计算机设备及可读介质
US8428305B2 (en) Method for detecting a clear path through topographical variation analysis
KR101063302B1 (ko) 무인차량의 자율주행 제어 장치 및 방법
CN111598916A (zh) 一种基于rgb-d信息的室内占据栅格地图的制备方法
CN110674705B (zh) 基于多线激光雷达的小型障碍物检测方法及装置
CN114812581A (zh) 一种基于多传感器融合的越野环境导航方法
WO2023216470A1 (zh) 一种可行驶区域检测方法、装置及设备
CN103473763B (zh) 基于启发式概率Hough变换的道路边缘检测方法
CN113432610B (zh) 机器人通行规划方法、装置、机器人及存储介质
CN116109601A (zh) 一种基于三维激光雷达点云的实时目标检测方法
CN114359876A (zh) 一种车辆目标识别方法及存储介质
Cai et al. A lightweight feature map creation method for intelligent vehicle localization in urban road environments
WO2023092835A1 (zh) 无人清扫车贴边清扫时的避障
CN116513171A (zh) 一种基于车道信息的自动驾驶碰撞风险检测方法、系统及介质
CN116863432B (zh) 基于深度学习的弱监督激光可行驶区域预测方法和系统
Steinke et al. Groundgrid: Lidar point cloud ground segmentation and terrain estimation
Yan et al. RH-Map: Online Map Construction Framework of Dynamic Object Removal Based on 3D Region-wise Hash Map Structure
CN116429145A (zh) 一种复杂场景下无人车与垃圾桶自动对接导航方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant