CN117420143B - 基于多源传感器融合的路面缺陷检测方法、装置和计算机设备 - Google Patents

基于多源传感器融合的路面缺陷检测方法、装置和计算机设备 Download PDF

Info

Publication number
CN117420143B
CN117420143B CN202311743520.7A CN202311743520A CN117420143B CN 117420143 B CN117420143 B CN 117420143B CN 202311743520 A CN202311743520 A CN 202311743520A CN 117420143 B CN117420143 B CN 117420143B
Authority
CN
China
Prior art keywords
point cloud
cloud data
obstacle
defect
pavement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311743520.7A
Other languages
English (en)
Other versions
CN117420143A (zh
Inventor
杨典潇
张旭
蒋华涛
常琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sirun Beijing Technology Co ltd
Original Assignee
Sirun Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sirun Beijing Technology Co ltd filed Critical Sirun Beijing Technology Co ltd
Priority to CN202311743520.7A priority Critical patent/CN117420143B/zh
Publication of CN117420143A publication Critical patent/CN117420143A/zh
Application granted granted Critical
Publication of CN117420143B publication Critical patent/CN117420143B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • E—FIXED CONSTRUCTIONS
    • E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01C—CONSTRUCTION OF, OR SURFACES FOR, ROADS, SPORTS GROUNDS, OR THE LIKE; MACHINES OR AUXILIARY TOOLS FOR CONSTRUCTION OR REPAIR
    • E01C23/00—Auxiliary devices or arrangements for constructing, repairing, reconditioning, or taking-up road or like surfaces
    • E01C23/01—Devices or auxiliary means for setting-out or checking the configuration of new surfacing, e.g. templates, screed or reference line supports; Applications of apparatus for measuring, indicating, or recording the surface configuration of existing surfacing, e.g. profilographs
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8874—Taking dimensions of defect into account
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Chemical & Material Sciences (AREA)
  • Signal Processing (AREA)
  • Structural Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Civil Engineering (AREA)
  • Quality & Reliability (AREA)
  • Architecture (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及一种基于多源传感器融合的路面缺陷检测方法、装置和计算机设备，所述方法包括获取激光点云数据和定位信息；将多帧激光点云数据映射到二维栅格地图中，得到车前预设范围内的点云数据，转换为深度图像；初步识别深度图像中是否存在障碍物和/或路面缺陷，并在存在时确定障碍物和/或路面缺陷的目标区域；利用相机对所述目标区域的障碍物和/或路面缺陷进行验证，并识别输出路面缺陷种类、所述障碍物和/或路面缺陷的形状大小与定位信息。本发明能实时检测路面缺陷与障碍物种类并且可以准确定位缺陷所在位置，最后将此检测结果上传服务器，通知道路养护人员进行抢修，从而实现全天候实时的进行数据采集检测，大大节约人力成本。

Description

基于多源传感器融合的路面缺陷检测方法、装置和计算机 设备
技术领域
本发明属于路面缺陷检测技术领域，具体涉及一种基于多源传感器融合的路面缺陷检测方法、装置和计算机设备。
背景技术
随着道路的运营年限不断增加，在自然灾害的侵袭和人为的破坏下，道路路面将逐渐产生各种大小不一的缺陷，坑槽、鼓包等道路缺陷不仅影响路面美观，而且将会严重影响行车安全性；另一方面，道路上由交通参与者产生的抛洒物等障碍物，也会对道路行驶的车辆有致命的威胁。目前，主要的路面障碍物和缺陷检测还主要依靠人工检测，不仅耗时耗力成本高,并且定位难度大,缺少数据直观性。最近几年，随着机器学习/深度学习技术的发展，出现了借助图像识别技术进行道路缺陷检测的相关方法；为了准确检测路面缺陷的三维信息，也出现了借助激光雷达进行路面缺陷检测的方法。
相关技术中，基于二维图像的道路缺陷检测方法，由于获取的图像受到光照、阴影等许多环境因素影响,可能会导致采集的图像灰度不均匀,进而使图像处理、分析和识别等操作的难度加大；此外，基于图像识别的方法虽然可以较准确的识别路面缺陷种类，但无法准确检测缺陷的尺寸信息。基于激光雷达的三维的道路检测方法，虽然增加了距离深度信息，使道路具有空间结构，可以准确检测路面缺陷的三维信息，但无法准确判断路面缺陷的类别。
发明内容
有鉴于此，本发明的目的在于克服现有技术的不足，提供一种基于多源传感器融合的路面缺陷检测方法、装置和计算机设备，以解决现有技术中无法准确判断路面缺陷类别的问题。
为实现以上目的，本发明采用如下技术方案：一种基于多源传感器融合的路面缺陷检测方法，包括：
获取激光点云数据和定位信息；
基于所述激光点云数据和定位信息将多帧激光点云数据映射到二维栅格地图中，得到车前预设范围内的点云数据，将所述车前预设范围内的点云数据转换为深度图像；
初步识别所述深度图像中是否存在障碍物和/或路面缺陷，并在存在时确定障碍物和/或路面缺陷的目标区域；
利用相机对所述目标区域的障碍物和/或路面缺陷进行验证，并识别输出路面缺陷种类、所述障碍物和/或路面缺陷的形状大小与定位信息。
进一步的，还包括：
将路面缺陷种类、所述障碍物和/或路面缺陷的形状大小与定位信息存储至云平台。
进一步的，在获取激光点云数据后，还包括：
对获取激光点云数据进行去畸变处理，包括：
确定激光雷达的初始时间和相应的扫描点云，同时读取IMU传感器获取的IMU数据，得到位姿信息；
对所述IMU数据进行插值处理，获取激光雷达扫描到该数据点时的对应位姿；
通过矩阵变换将该数据点恢复到激光雷达初始坐标系下，得到去畸变的激光雷达数据帧。
进一步的，获取定位信息，包括：
获取车轮编码器采集的编码器数据和IMU传感器获取的IMU数据；
利用所述编码器数据获取速度，利用所述IMU数据获取偏航角、角速度和加速度；
融合所述速度、偏航角、角速度和加速度，得到融合信息；
对所述融合信息进行扩展卡尔曼滤波，得到定位信息。
进一步的，所述基于所述激光点云数据和定位信息将多帧激光点云数据映射到二维栅格地图中，得到车前预设范围内的点云数据，包括：
将激光雷达坐标系下采集的点云数据通过坐标转换矩阵转换到小车坐标系下；
将小车坐标系下的点云数据转换到世界坐标系下；
将所述世界坐标系下的点云数据存储至二维栅格地图中，获取车前预设范围内的点云数据。
进一步的，所述初步识别所述深度图像中是否存在障碍物和/或路面缺陷，并在存在时确定障碍物和/或路面缺陷的目标区域，包括：
采用插值法对二维栅格地图的点云数据进行填充，更新深度图像；
对更新后的深度图像进行高斯滤波及自适应二值化处理，得到图像连通域；
确定所述图像连通域的中心坐标并基于所述中心坐标确定二值化图像在预设容限内的连通域；
对预设容限内的连通域进行滤除处理，得到缺陷待选框，将所述缺陷待选框确定为目标区域。
进一步的，利用相机对所述目标区域的障碍物和/或路面缺陷进行验证，包括：
对激光雷达与相机进行联合标定，得到激光雷达坐标系和相机坐标系之间的变换关系；
在联合标定后，通过矩阵变换将激光雷达的三维坐标，投影到二维图像；
基于投影后得到的二维图像坐标，对深度图像中检测到的障碍物和/或路面缺陷的位置进行标记；
利用图像识别算法对图像标记的位置进行识别，验证基于雷达信息检测的障碍物和/或路面缺陷是否准确。
本申请实施例提供一种基于多源传感器融合的路面缺陷检测装置，包括：
获取模块，用于获取激光点云数据和定位信息；
转换模块，用于基于所述激光点云数据和定位信息将多帧激光点云数据映射到二维栅格地图中，得到车前预设范围内的点云数据，将所述车前预设范围内的点云数据转换为深度图像；
识别模块，用于初步识别所述深度图像中是否存在障碍物和/或路面缺陷，并在存在时确定障碍物和/或路面缺陷的目标区域；
输出模块，用于利用相机对所述目标区域的障碍物和/或路面缺陷进行验证，并识别输出路面缺陷种类、所述障碍物和/或路面缺陷的形状大小与定位信息。
进一步的，还包括：
存储模块，用于将路面缺陷种类、所述障碍物和/或路面缺陷的形状大小与定位信息存储至云平台。
本申请实施例提供一种计算机设备，包括：存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述任一项基于多源传感器融合的路面缺陷检测方法的步骤。
本发明采用以上技术方案，能够达到的有益效果包括：
本发明提供一种基于多源传感器融合的路面缺陷检测方法、装置和计算机设备，针对城市道路的路面缺陷人工难以检测、检测准确率不高、实时性差以及路面障碍物人工清除不及时、障碍物定位难的问题，本申请提出了一种基于三维激光雷达和相机的面向城市路面的智能路面缺陷与障碍物检测方法。本申请提供的方法将激光雷达点云与图像融合后的数据用于路面缺陷与障碍物检测，能实时检测路面缺陷与障碍物种类并且可以准确定位缺陷所在位置，最后将此检测结果上传服务器，通知道路养护人员进行抢修，该方法可以实现全天候实时的进行数据采集检测，大大节约人力成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明基于多源传感器融合的路面缺陷检测方法的步骤示意图；
图2为本发明基于多源传感器融合的路面缺陷检测方法的流程示意图；
图3为本发明基于多源传感器融合的路面缺陷检测装置的结构示意图。
图4为本发明基于多源传感器融合的路面缺陷检测装置的结构示意图；
图5为本发明计算机设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
下面结合附图介绍本申请实施例中提供的一个具体的基于多源传感器融合的路面缺陷检测方法、装置和计算机设备。
如图1所示，本申请实施例中提供的基于多源传感器融合的路面缺陷检测方法，包括：
S101，获取激光点云数据和定位信息；
具体的，本申请通过3D激光雷达获取激光点云数据，将IMU与车轮编码器进行融合，使得在无GNSS信号的情况下确保定位的精确性。
一些实施例中，在获取激光点云数据后，还包括：
对获取激光点云数据进行去畸变处理，包括：
确定激光雷达的初始时间和相应的扫描点云，同时读取IMU传感器获取的IMU数据，得到位姿信息；
对所述IMU数据进行插值处理，获取激光雷达扫描到该数据点时的对应位姿；
通过矩阵变换将该数据点恢复到激光雷达初始坐标系下，得到去畸变的激光雷达数据帧。
需要说明的是，激光雷达扫描时同一帧中的数据点不是瞬时获得的，所以当道路巡检车辆快速运动或转弯过程中，点云数据会产生运动畸变。为了去除运动畸变对激光雷达数据帧的影响，本申请选择惯性测量传感器（IMU）来进行校正，从而获取一致性更好、精确度更高的激光点云数据。
具体的，首先读取激光雷达的初始时间和对应扫描点云，同时读取IMU数据，得到位姿信息；然后将IMU数据进行插值处理，获取激光雷达扫描到该数据点的对应位姿；进一步的，通过矩阵变换将该点恢复到激光雷达初始坐标系下，从而得到去畸变的激光雷达数据帧。去除了运动畸变后的点云数据可以减少点云配准之间的误差和错误，大大减少地图的重影和错层，这将显著提高激光雷达点云数据的精度和质量。
一些实施例中，如图2所示，获取定位信息，包括：
获取车轮编码器采集的编码器数据和IMU传感器获取的IMU数据；
利用所述编码器数据获取速度，利用所述IMU数据获取偏航角、角速度和加速度；
融合所述速度、偏航角、角速度和加速度，得到融合信息；
对所述融合信息进行扩展卡尔曼滤波，得到定位信息。
具体的，为了保证在GNSS定位信息丢失的情况下，还能准确定位所检测的道路缺陷的位置，本申请基于车轮编码器得到里程信息来解决。但如果单使用车轮编码器得到里程，会导致定位精度较低，在车轮打滑的情况下，角度测量完全失效。为了获取准确、鲁棒的里程信息，本申请利用惯性测量传感器通过扩展卡尔曼滤波对车轮编码器和IMU信息进行融合，得到小车速度、偏航角、角速度和加速度的融合信息，提高里程测量的准确度。IMU传感器和车轮编码器通过扩展卡尔曼滤波，有效融合采集的位姿信息，弥补车轮计出现轮子打滑和累计误差的情况，得到更加准确的定位信息。
S102，基于所述激光点云数据和定位信息将多帧激光点云数据映射到二维栅格地图中，得到车前预设范围内的点云数据，将所述车前预设范围内的点云数据转换为深度图像；
一些实施例中，所述基于所述激光点云数据和定位信息将多帧激光点云数据映射到二维栅格地图中，得到车前预设范围内的点云数据，包括：
将激光雷达坐标系下采集的点云数据通过坐标转换矩阵转换到小车坐标系下；
将小车坐标系下的点云数据转换到世界坐标系下；
将所述世界坐标系下的点云数据存储至二维栅格地图中，获取车前预设范围内的点云数据。
具体的，由于单帧激光雷达点云非常稀疏，容易导致漏检的情况发生。因此，需要累计多帧激光雷达点云数据来 提高数据获取的密度。本申请通过将每帧点云的坐标全部转换到世界坐标系下来达到移动时能累计多帧点云的目的。然后进行地图映射，首先需计算激光雷达自身坐标系OS、车辆坐标系OC和世界坐标系OM的变换关系。激光雷达安装固定在车上，其自身坐标系OS相对于车辆坐标系OC的平移变换和旋转变换是固定不变的，即OS和OC之间的齐次坐标转换矩阵固定不变。小车坐标系OC相对于世界坐标系OM的变换关系则根据小车运动的实时定位结果计算得到齐次坐标转换矩阵T。采用以下计算方式
将激光雷达坐标系下实时采集的点云数据通过坐标系变换计算转换到小车坐标系下（其中表示小车坐标系下的点的坐标，/>表示激光雷达坐标系下点的坐标，R表示旋转矩阵，T表示平移向量），再依据最新时刻的变换关系转换到世界坐标系下。之后采用二维栅格地图来存储采集到的点云，它将连续的位置空间细粒度地划分为高分辨率的栅格，每个栅格占1个字节，记录一个高度值，然后将激光雷达数据映射到地图上。最后获取车前面一定范围内的点云数据并转换成深度图像。
S103，初步识别所述深度图像中是否存在障碍物和/或路面缺陷，并在存在时确定障碍物和/或路面缺陷的目标区域；
一些实施例中，所述初步识别所述深度图像中是否存在障碍物和/或路面缺陷，并在存在时确定障碍物和/或路面缺陷的目标区域，包括：
采用插值法对二维栅格地图的点云数据进行填充，更新深度图像；
对更新后的深度图像进行高斯滤波及自适应二值化处理，得到图像连通域；
确定所述图像连通域的中心坐标并基于所述中心坐标确定二值化图像在预设容限内的连通域；
对预设容限内的连通域进行滤除处理，得到缺陷待选框，将所述缺陷待选框确定为目标区域。
具体的，首先将激光雷达的三维点云数据投影到二维平面，形成1cm x 1cm的网格地图。由于激光雷达线束的稀疏性，需要对网格地图中缺失的数据进行填充，本申请采用高效插值方法，然后对图像进行高斯滤波，以减少对激光雷达点云稀疏区域插值带来的影响。然后对图像进行自适应二值化，移除掉高度小于特定值和面积很小的区域，获取图像大致的连通域信息。接着获取连通域的中心坐标，寻找图片灰度在特定容限内的连通域。然后继续对连通域进行处理，滤除掉面积占比过大的结构、面积很小的结构、点云过于稀疏的结构。最后得到缺陷的待选框，根据区域的特征选取得到最终的检测结果。
S104，利用相机对所述目标区域的障碍物和/或路面缺陷进行验证，并识别输出路面缺陷种类、所述障碍物和/或路面缺陷的形状大小与定位信息。
一些实施例中，利用相机对所述目标区域的障碍物和/或路面缺陷进行验证，包括：
对激光雷达与相机进行联合标定，得到激光雷达坐标系和相机坐标系之间的变换关系；
在联合标定后，通过矩阵变换将激光雷达的三维坐标，投影到二维图像；
基于投影后得到的二维图像坐标，对深度图像中检测到的障碍物和/或路面缺陷的位置进行标记；
利用图像识别算法对图像标记的位置进行识别，验证基于雷达信息检测的障碍物和/或路面缺陷是否准确。
具体的，由于相机所提供的色彩和纹理信息可以直观显示图像的关键特征，本申请利用相机的优势来对上一步激光雷达所检测出的道路缺陷与障碍物进行识别验证，进一步的对道路缺陷进行确认并识别出道路缺陷种类。通过路面缺陷与障碍物检测与定位模块获取得到雷达点云的三维信息投影到二维图像上，并标记路面缺陷与障碍物的形状大小与定位信息。
具体的，首先进行激光雷达与相机的联合标定（在此之前需要进行相机的内外参标定），得到激光雷达坐标系和相机坐标系之间的变换关系。本申请技术方案选取激光雷达与图像对应的匹配点进行联合标定，同时采集激光和图像数据，选取标定板四个角点作为匹配点，分别记录角点的三维点云坐标与二维图像坐标，根据相机内参矩阵M、像素坐标Pi和三维坐标Pl计算得到外参[R t]。在得到图像和激光雷达内参和外参的基础上，通过矩阵变换将激光雷达的三维坐标，投影到二维图像。然后，通过得到的点云坐标投影之后的二维图像坐标，在图像中把检测到的缺陷与障碍物的位置进行标记。最后，利用图像识别算法（yolo等），对图像标记的位置进行识别，从而进一步确认基于雷达信息检测的缺陷及障碍物信息是否准确，并且输出识别到的缺陷与障碍物的类别信息。
一些实施例，本申请实施例提供的基于多源传感器融合的路面缺陷检测方法，还包括：
将路面缺陷种类、所述障碍物和/或路面缺陷的形状大小与定位信息存储至云平台。
具体的，激光雷达与相机配准验证模块进一步确认了路面确实存在障碍物或缺陷。 在缺陷及障碍物确认的同时，首先记录当前高精度定位设备的输出的位置数据并且抓取当前的图片进行保存；然后将保存的位置信息、抓取的图片信息、识别的缺陷及障碍物类别和三维尺寸信息，通过Http/Mqtt协议上传云平台进行存储，并提醒相关人员进行道路养护。
基于多源传感器融合的路面缺陷检测方法的工作原理为：如图3所示，采用3D激光雷达、摄像头、IMU、车轮编码器、高精度定位设备五个传感器采集道路数据，边缘计算设备用于数据处理、缺陷检测、上传服务器。其中，激光雷达采集的距离信息用于检测道路缺陷，相机采集的图像用于验证缺陷，IMU采集的位姿信息用于校正点云运动失真，高精度定位设备用于实时记录道路缺陷所在的具体位置；在本申请中，为了解决在隧道或信号不好条件下的定位缺失问题，将IMU与车轮编码器进行融合，使得在无GNSS信号的情况下确保定位的精确性。在数据融合中，利用传感器的时空同步，实现激光雷达距离信息到相机像素信息的转换。在道路缺陷检测中，首先给出可能损坏的坐标信息，然后根据图像中相应位置的信息最终判断是否损坏。最后，将道路缺陷数据上传到云端道路管养平台进行存储，并提醒道路养护人员进行道路缺陷修复。
如图4所示，本申请实施例提供一种基于多源传感器融合的路面缺陷检测装置，包括：
获取模块201，用于获取激光点云数据和定位信息；
转换模块202，用于基于所述激光点云数据和定位信息将多帧激光点云数据映射到二维栅格地图中，得到车前预设范围内的点云数据，将所述车前预设范围内的点云数据转换为深度图像；
识别模块203，用于初步识别所述深度图像中是否存在障碍物和/或路面缺陷，并在存在时确定障碍物和/或路面缺陷的目标区域；
输出模块204，用于利用相机对所述目标区域的障碍物和/或路面缺陷进行验证，并识别输出路面缺陷种类、所述障碍物和/或路面缺陷的形状大小与定位信息。
本申请提供的基于多源传感器融合的路面缺陷检测装置的工作原理为，获取模块201获取激光点云数据和定位信息；转换模块202基于所述激光点云数据和定位信息将多帧激光点云数据映射到二维栅格地图中，得到车前预设范围内的点云数据，将所述车前预设范围内的点云数据转换为深度图像；识别模块203初步识别所述深度图像中是否存在障碍物和/或路面缺陷，并在存在时确定障碍物和/或路面缺陷的目标区域；输出模块204利用相机对所述目标区域的障碍物和/或路面缺陷进行验证，并识别输出路面缺陷种类、所述障碍物和/或路面缺陷的形状大小与定位信息。
本申请提供一种计算机设备，包括：存储器和处理器，还可以包括网络接口，所述存储器存储有计算机程序，存储器可以包括计算机可读介质中的非永久性存储器，随机存取存储器（RAM）和/或非易失性内存等形式，如只读存储器（ROM）或闪存（flash RAM）。该计算机设备存储有操作系统，存储器是计算机可读介质的示例。所述计算机程序被所述处理器执行时，使得所述处理器执行基于多源传感器融合的路面缺陷检测方法，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的基于多源传感器融合的路面缺陷检测方法可以实现为一种计算机程序的形式，计算机程序可在如图5所示的计算机设备上运行。
一些实施例中，所述计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：获取激光点云数据和定位信息；基于所述激光点云数据和定位信息将多帧激光点云数据映射到二维栅格地图中，得到车前预设范围内的点云数据，将所述车前预设范围内的点云数据转换为深度图像；初步识别所述深度图像中是否存在障碍物和/或路面缺陷，并在存在时确定障碍物和/或路面缺陷的目标区域；利用相机对所述目标区域的障碍物和/或路面缺陷进行验证，并识别输出路面缺陷种类、所述障碍物和/或路面缺陷的形状大小与定位信息。
本申请还提供一种计算机存储介质，计算机的存储介质的例子包括，但不限于相变内存（PRAM）、静态随机存取存储器（SRAM）、动态随机存取存储器（DRAM）、其他类型的随机存取存储器（RAM）、只读存储器（ROM）、电可擦除可编程只读存储器（EEPROM）、快闪记忆体或其他内存技术、只读光盘只读存储器（CD-ROM）、数字多功能光光盘（DVD）或其他光学存储、磁盒式磁带存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
一些实施例中，本发明还提出了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，获取激光点云数据和定位信息；基于所述激光点云数据和定位信息将多帧激光点云数据映射到二维栅格地图中，得到车前预设范围内的点云数据，将所述车前预设范围内的点云数据转换为深度图像；初步识别所述深度图像中是否存在障碍物和/或路面缺陷，并在存在时确定障碍物和/或路面缺陷的目标区域；利用相机对所述目标区域的障碍物和/或路面缺陷进行验证，并识别输出路面缺陷种类、所述障碍物和/或路面缺陷的形状大小与定位信息。
综上所述，本发明提供一种基于多源传感器融合的路面缺陷检测方法、装置和计算机设备，本申请采用3D激光雷达、摄像头、IMU、车轮编码器、高精度定位设备五个传感器采集道路数据，边缘计算设备用于数据处理、缺陷检测、上传服务器。其中，激光雷达采集的距离信息用于检测道路缺陷，相机采集的图像用于验证缺陷，IMU采集的位姿信息用于校正点云运动失真，高精度定位设备用于实时记录道路缺陷所在的具体位置；本申请为了解决在隧道或信号不好条件下的定位缺失问题，将IMU与车轮编码器进行融合，使得在无GNSS信号的情况下确保定位的精确性。在数据融合中，利用传感器的时空同步，实现激光雷达距离信息到相机像素信息的转换。在道路缺陷检测中，首先给出可能损坏的坐标信息，然后根据图像中相应位置的信息最终判断是否损坏。最后，将道路缺陷数据上传到云端道路管养平台进行存储，并提醒道路养护人员进行道路缺陷修复。
针对城市道路的路面缺陷人工难以检测、检测准确率不高、实时性差以及路面障碍物人工清除不及时、障碍物定位难的问题，本申请提出了一种基于三维激光雷达和相机的面向城市路面的智能路面缺陷与障碍物检测方法。该方法将激光雷达点云与图像融合后的数据用于路面缺陷与障碍物检测，能实时检测路面缺陷与障碍物种类并且可以准确定位缺陷所在位置，最后将此检测结果上传服务器，通知道路养护人员进行抢修，该方法可以实现全天候实时的进行数据采集检测，大大节约人力成本。
可以理解的是，上述提供的方法实施例与上述的装置实施例对应，相应的具体内容可以相互参考，在此不再赘述。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器和光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令方法的制造品，该指令方法实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (6)

1.一种基于多源传感器融合的路面缺陷检测方法，其特征在于，包括：
获取激光点云数据和定位信息，包括通过3D激光雷达获取激光点云数据，以及，获取车轮编码器采集的编码器数据和IMU传感器获取的IMU数据；利用所述编码器数据获取速度，利用所述IMU数据获取偏航角、角速度和加速度；融合所述速度、偏航角、角速度和加速度，得到融合信息；对所述融合信息进行扩展卡尔曼滤波，得到定位信息；
基于所述激光点云数据和定位信息将多帧激光点云数据映射到二维栅格地图中，得到车前预设范围内的点云数据，将所述车前预设范围内的点云数据转换为深度图像；其中，所述基于所述激光点云数据和定位信息将多帧激光点云数据映射到二维栅格地图中，得到车前预设范围内的点云数据，包括：将激光雷达坐标系下采集的点云数据通过坐标转换矩阵转换到小车坐标系下；将小车坐标系下的点云数据转换到世界坐标系下；将所述世界坐标系下的点云数据存储至二维栅格地图中，获取车前预设范围内的点云数据；
初步识别所述深度图像中是否存在障碍物和/或路面缺陷，并在存在时确定障碍物和/或路面缺陷的目标区域，包括：采用插值法对二维栅格地图的点云数据进行填充，更新深度图像；对更新后的深度图像进行高斯滤波及自适应二值化处理，得到图像连通域；确定所述图像连通域的中心坐标并基于所述中心坐标确定二值化图像在预设容限内的连通域；对预设容限内的连通域进行滤除处理，得到缺陷待选框，将所述缺陷待选框确定为目标区域；
利用相机对所述目标区域的障碍物和/或路面缺陷进行验证，并识别输出路面缺陷种类、所述障碍物和/或路面缺陷的形状大小与定位信息；其中，所述利用相机对所述目标区域的障碍物和/或路面缺陷进行验证，包括：对激光雷达与相机进行联合标定，得到激光雷达坐标系和相机坐标系之间的变换关系；在联合标定后，通过矩阵变换将激光雷达的三维坐标，投影到二维图像；基于投影后得到的二维图像坐标，对深度图像中检测到的障碍物和/或路面缺陷的位置进行标记；利用图像识别算法对图像标记的位置进行识别，验证基于雷达信息检测的障碍物和/或路面缺陷是否准确。
2.根据权利要求1所述的方法，其特征在于，还包括：
将路面缺陷种类、所述障碍物和/或路面缺陷的形状大小与定位信息存储至云平台。
3.根据权利要求1所述的方法，其特征在于，在获取激光点云数据后，还包括：
对获取激光点云数据进行去畸变处理，包括：
确定激光雷达的初始时间和相应的扫描点云，同时读取IMU传感器获取的IMU数据，得到位姿信息；
对所述IMU数据进行插值处理，获取激光雷达扫描到该数据点时的对应位姿；
通过矩阵变换将该数据点恢复到激光雷达初始坐标系下，得到去畸变的激光雷达数据帧。
4.一种基于多源传感器融合的路面缺陷检测装置，其特征在于，包括：
获取模块，用于获取激光点云数据和定位信息；具体用于通过3D激光雷达获取激光点云数据，以及，获取车轮编码器采集的编码器数据和IMU传感器获取的IMU数据；利用所述编码器数据获取速度，利用所述IMU数据获取偏航角、角速度和加速度；融合所述速度、偏航角、角速度和加速度，得到融合信息；对所述融合信息进行扩展卡尔曼滤波，得到定位信息；
转换模块，用于基于所述激光点云数据和定位信息将多帧激光点云数据映射到二维栅格地图中，得到车前预设范围内的点云数据，将所述车前预设范围内的点云数据转换为深度图像；具体用于将激光雷达坐标系下采集的点云数据通过坐标转换矩阵转换到小车坐标系下；将小车坐标系下的点云数据转换到世界坐标系下；将所述世界坐标系下的点云数据存储至二维栅格地图中，获取车前预设范围内的点云数据；
识别模块，用于初步识别所述深度图像中是否存在障碍物和/或路面缺陷，并在存在时确定障碍物和/或路面缺陷的目标区域；具体用于：采用插值法对二维栅格地图的点云数据进行填充，更新深度图像；对更新后的深度图像进行高斯滤波及自适应二值化处理，得到图像连通域；确定所述图像连通域的中心坐标并基于所述中心坐标确定二值化图像在预设容限内的连通域；对预设容限内的连通域进行滤除处理，得到缺陷待选框，将所述缺陷待选框确定为目标区域；
输出模块，用于利用相机对所述目标区域的障碍物和/或路面缺陷进行验证，并识别输出路面缺陷种类、所述障碍物和/或路面缺陷的形状大小与定位信息；具体用于对激光雷达与相机进行联合标定，得到激光雷达坐标系和相机坐标系之间的变换关系；在联合标定后，通过矩阵变换将激光雷达的三维坐标，投影到二维图像；基于投影后得到的二维图像坐标，对深度图像中检测到的障碍物和/或路面缺陷的位置进行标记；利用图像识别算法对图像标记的位置进行识别，验证基于雷达信息检测的障碍物和/或路面缺陷是否准确。
5.根据权利要求4所述的装置，其特征在于，还包括：
存储模块，用于将路面缺陷种类、所述障碍物和/或路面缺陷的形状大小与定位信息存储至云平台。
6.一种计算机设备，其特征在于，包括：存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至3中任一项所述的基于多源传感器融合的路面缺陷检测方法。
CN202311743520.7A 2023-12-19 2023-12-19 基于多源传感器融合的路面缺陷检测方法、装置和计算机设备 Active CN117420143B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311743520.7A CN117420143B (zh) 2023-12-19 2023-12-19 基于多源传感器融合的路面缺陷检测方法、装置和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311743520.7A CN117420143B (zh) 2023-12-19 2023-12-19 基于多源传感器融合的路面缺陷检测方法、装置和计算机设备

Publications (2)

Publication Number Publication Date
CN117420143A CN117420143A (zh) 2024-01-19
CN117420143B true CN117420143B (zh) 2024-03-15

Family

ID=89530597

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311743520.7A Active CN117420143B (zh) 2023-12-19 2023-12-19 基于多源传感器融合的路面缺陷检测方法、装置和计算机设备

Country Status (1)

Country Link
CN (1) CN117420143B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101899549B1 (ko) * 2017-12-27 2018-09-17 재단법인 경북아이티융합 산업기술원 카메라 및 라이다 센서를 이용한 장애물 인식 장치 및 그 방법
CN110295533A (zh) * 2019-08-02 2019-10-01 武汉夕睿光电技术有限公司 一种路面移动测量装置、系统及方法
CN211395276U (zh) * 2019-08-02 2020-09-01 武汉夕睿光电技术有限公司 一种路面移动测量装置及系统
CN112149550A (zh) * 2020-09-21 2020-12-29 华南理工大学 一种基于多传感器融合的自动驾驶车辆3d目标检测方法
CN112693466A (zh) * 2021-01-29 2021-04-23 重庆长安汽车股份有限公司 一种车辆环境感知传感器性能测评系统及方法
CN112698302A (zh) * 2020-12-16 2021-04-23 南京航空航天大学 一种颠簸路况下的传感器融合目标检测方法
CN113936198A (zh) * 2021-11-22 2022-01-14 桂林电子科技大学 低线束激光雷达与相机融合方法、存储介质及装置
WO2022022694A1 (zh) * 2020-07-31 2022-02-03 北京智行者科技有限公司 自动驾驶环境感知方法及系统
CN114740842A (zh) * 2022-03-23 2022-07-12 山东新一代信息产业技术研究院有限公司 一种多传感器融合的机器人避障的方法、设备及介质
CN115830265A (zh) * 2022-11-02 2023-03-21 香港理工大学深圳研究院 一种基于激光雷达的自动驾驶运动障碍物分割方法
CN115861408A (zh) * 2022-12-09 2023-03-28 城云科技（中国）有限公司 基于激光点跟踪的无人机巡检路面坑洞方法及其应用

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10989538B2 (en) * 2017-12-15 2021-04-27 Uatc, Llc IMU data offset compensation for an autonomous vehicle
US11810364B2 (en) * 2020-08-10 2023-11-07 Volvo Car Corporation Automated road damage detection
US11592539B2 (en) * 2020-09-04 2023-02-28 Pony Al Inc. Sensor alignment

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101899549B1 (ko) * 2017-12-27 2018-09-17 재단법인 경북아이티융합 산업기술원 카메라 및 라이다 센서를 이용한 장애물 인식 장치 및 그 방법
CN110295533A (zh) * 2019-08-02 2019-10-01 武汉夕睿光电技术有限公司 一种路面移动测量装置、系统及方法
CN211395276U (zh) * 2019-08-02 2020-09-01 武汉夕睿光电技术有限公司 一种路面移动测量装置及系统
WO2022022694A1 (zh) * 2020-07-31 2022-02-03 北京智行者科技有限公司 自动驾驶环境感知方法及系统
CN112149550A (zh) * 2020-09-21 2020-12-29 华南理工大学 一种基于多传感器融合的自动驾驶车辆3d目标检测方法
CN112698302A (zh) * 2020-12-16 2021-04-23 南京航空航天大学 一种颠簸路况下的传感器融合目标检测方法
CN112693466A (zh) * 2021-01-29 2021-04-23 重庆长安汽车股份有限公司 一种车辆环境感知传感器性能测评系统及方法
CN113936198A (zh) * 2021-11-22 2022-01-14 桂林电子科技大学 低线束激光雷达与相机融合方法、存储介质及装置
CN114740842A (zh) * 2022-03-23 2022-07-12 山东新一代信息产业技术研究院有限公司 一种多传感器融合的机器人避障的方法、设备及介质
CN115830265A (zh) * 2022-11-02 2023-03-21 香港理工大学深圳研究院 一种基于激光雷达的自动驾驶运动障碍物分割方法
CN115861408A (zh) * 2022-12-09 2023-03-28 城云科技（中国）有限公司 基于激光点跟踪的无人机巡检路面坑洞方法及其应用

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于多源信息融合的移动机器人 定位与建图技术研究;张旭;《中国优秀硕士学位论文全文数据库》;20230615;24-50 *
基于相机和激光雷达的环境感知与路径规划;张凯航;《中国优秀硕士学位论文全文数据库》;20210115;10-40 *

Also Published As

Publication number Publication date
CN117420143A (zh) 2024-01-19

Similar Documents

Publication Publication Date Title
CN110032949B (zh) 一种基于轻量化卷积神经网络的目标检测与定位方法
CN111551958B (zh) 一种面向矿区无人驾驶的高精地图制作方法
Frueh et al. Constructing 3D city models by merging ground-based and airborne views
CN110648389A (zh) 基于无人机和边缘车辆协同的城市街景3d重建方法和系统
CN112698302B (zh) 一种颠簸路况下的传感器融合目标检测方法
CN105674993A (zh) 基于双目相机的高精度视觉定位地图生成系统及方法
CN111830953A (zh) 车辆自定位方法、装置及系统
US11295521B2 (en) Ground map generation
CN112578406B (zh) 一种车辆环境信息感知方法及装置
CN113096003B (zh) 针对多视频帧的标注方法、装置、设备和存储介质
CN117576652B (zh) 道路对象的识别方法、装置和存储介质及电子设备
CN114821526A (zh) 基于4d毫米波雷达点云的障碍物三维边框检测方法
CN113706633B (zh) 一种目标对象的三维信息确定方法和装置
CN116012428A (zh) 一种雷视联合定位方法、装置及存储介质
CN114549542A (zh) 视觉语义分割方法、装置及设备
CN110223223A (zh) 街道扫描方法、装置及扫描仪
CN117420143B (zh) 基于多源传感器融合的路面缺陷检测方法、装置和计算机设备
CN111323026B (zh) 一种基于高精度点云地图的地面过滤方法
CN116012737A (zh) 基于无人机激光和视觉融合的高速施工监测方法和系统
Klette et al. Advance in vision-based driver assistance
CN114926485B (zh) 图像深度标注方法、装置、设备及存储介质
CN111414848B (zh) 一种全类别3d障碍物检测方法、系统和介质
CN113822932B (zh) 设备定位方法、装置、非易失性存储介质及处理器
CN117372632B (zh) 二维图像的标注方法、装置、计算机设备及存储介质
CN114972541B (zh) 基于三维激光雷达和双目相机融合的轮胎吊立体防撞方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant