CN115131360A - 一种基于3d点云语义分割的道路坑洞检测方法及装置 - Google Patents

一种基于3d点云语义分割的道路坑洞检测方法及装置 Download PDF

Info

Publication number
CN115131360A
CN115131360A CN202211068178.0A CN202211068178A CN115131360A CN 115131360 A CN115131360 A CN 115131360A CN 202211068178 A CN202211068178 A CN 202211068178A CN 115131360 A CN115131360 A CN 115131360A
Authority
CN
China
Prior art keywords
image
point cloud
road
road surface
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211068178.0A
Other languages
English (en)
Inventor
刘继超
唐至威
金岩
冯谨强
胡国锋
甘琳
詹慧媚
邱敏
付晓雪
韩信
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hainayun IoT Technology Co Ltd
Qingdao Hainayun Digital Technology Co Ltd
Qingdao Hainayun Intelligent System Co Ltd
Original Assignee
Hainayun IoT Technology Co Ltd
Qingdao Hainayun Digital Technology Co Ltd
Qingdao Hainayun Intelligent System Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hainayun IoT Technology Co Ltd, Qingdao Hainayun Digital Technology Co Ltd, Qingdao Hainayun Intelligent System Co Ltd filed Critical Hainayun IoT Technology Co Ltd
Priority to CN202211068178.0A priority Critical patent/CN115131360A/zh
Publication of CN115131360A publication Critical patent/CN115131360A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及道路坑洞检测技术领域，公开了一种基于3D点云语义分割的道路坑洞检测方法及装置。本发明利用激光雷达和RGB相机进行联合校准，然后用两种相机拍摄道路，分别得到3D图像和2D图像，根据2D图像，通过路面语义算法分割算法提取路面区域图像，根据所提取的路面区域图像，将其对应到3D点云数据中，排除非路面区域的干扰信息，通过将点云数据代入算法中，来检测路面坑洞，将坑洞的3D点映射到2D图像中，将坑洞用矩形框标出。本发明最大限度的减少非道路路面区域对道路坑洞检测的负面影响，能降低人工成本、减少工作量、提高检测效率，并且能够减少光照、环境、车流对道路坑洞检测的影响，使道路坑洞检测结果更加准确。

Description

一种基于3D点云语义分割的道路坑洞检测方法及装置
技术领域
本发明属于道路坑洞检测技术领域，具体地说，涉及一种基于3D点云语义分割的道路坑洞检测方法及装置。
背景技术
随着时间的推移，道路受车辆挤压、冲撞、磨损等因素影响，容易产生坑洞、裂缝等损坏，影响道路的使用年限，甚至威胁行车安全。为保持道路健康、消除安全隐患，路政部门往往需要定期指派工作人员进行人工道路巡检，人工上路巡视的方法工作量大、人工成本高具有费时费力、效率低下的问题，基于2D图像深度学习的道路坑洞检测方法受环境、光照、车流影响较大，且坑洞形状各异，容易发生误检漏检。
发明内容
本发明要解决的技术问题在于克服现有技术的不足，提供一种基于3D点云语义分割的道路坑洞检测方法及装置，通过2D图像语义分割和3D点云语义分割算法相结合，使用2D相机和激光雷达进行多传感器数据融合，使用2D相机提取道路路面，使用激光雷达寻找路面坑洞，能够降低人工成本、减少工作量、提高检测效率，并且能够减少光照、环境、车流对道路坑洞检测的影响，使道路坑洞检测结果更加准确。
为解决上述技术问题，本发明采用的技术方案为：
步骤一：对3D相机和2D相机进行联合校准；
步骤二：使用3D相机和2D相机同时拍摄道路的同一场景，得到3D图像和2D图像；
步骤三：根据2D图像，通过路面语义分割算法提取路面区域图像；
步骤四：在相关联的3D图像中确定所对应的路面区域图像的点云数据，通过3D点云语义分割算法对路面区域的点云数据进行处理，检测路面区域坑洞的数据点。
所述步骤四还包括排除干扰信息，将3D点云数据中除路面区域以外的点清除，仅保留路面区域的点云。
进一步地，将检测出坑洞的3D数据点映射到2D图像后，获取3D点（x,y,z）对应于2D图像的坐标（x,y）,用矩形框将坑洞标出。
所述步骤一中，使3D相机和2D相机采集到的同一区域的数据中的每个像素一一对应，以此来完成两个相机的联合校准。
所述步骤二中，所述3D相机为激光雷达，采集3D点云数据；所述2D相机为RGB相机，采集RGB图像数据。
进一步地，激光雷达和RGB相机分别实时采集3D点云数据和2D图像数据，并统一发送至服务器进行实时数据处理；优选地，服务器为车载服务器。
进一步地，比较3D点云数据和2D图像数据的时间戳，挑选时间戳最相近的3D点云数据和2D图像数据，进行下一步路面区域图像的提取。
进一步地，将RGB相机采集到的2D图像输入到语义分割算法中，判断每个像素点是否属于路面，从而得到表示路面区域的mask图。
所述步骤三里，2D图像中先划定ROI区域，在ROI区域，通过路面语义分割算法提取路面区域图像。
进一步地，所述的是一种道路坑洞检测装置，采用上述的3D相机和2D相机通过3D点云语义分割算法来检测路面区域坑洞，其中装置包括图像数据获取模块、路面区域图像提取模块以及路面坑洞检测模块。
进一步地，图像数据获取模块包括了3D相机和2D相机的联合校准以及使用3D相机和2D相机拍摄道路同一场景，得到3D图像和2D图像。
进一步地，路面区域图像提取模块包括：划定需要检测的ROI区域，通过路面语义分割算法，得到表示路面区域的mask图。
进一步地，路面坑洞检测模块包括：找到在3D图像中与mask图所对应的路面区域点云数据，并通过3D点云语义分割算法对路面区域的点云数据进行处理，检测路面区域坑洞的数据点。
采用上述技术方案后，本发明与现有技术相比具有以下有益效果：
1、本发明提出一种自动化的道路坑洞检测方法，无需人工判断道路坑洞，能够提高坑洞检测效率；
2、本发明提出的3D点云语义分割的道路检测方法，基于激光雷达和RGB相机同时拍摄道路的同一场景，所得到的3D图像和2D图像，将用RGB相机采集到的图像输入到2D图像语义分割算法中，提取路面区域图像，最大限度地减少了非路面区域对道路坑洞检测的负面影响；
3、使用3D点云分割算法检测道路坑洞，利用三维信息能够更加有效地避免对道路坑洞的漏检误检，使检测结果更加准确可靠。
附图说明
图1是本发明总体流程示意图；
图2是本发明ROI区域示意图；
图3是本发明路面提取流程示意图；
图4是本发明路面区域mask示意图；
图5是本发明路面坑洞检测流程示意图；
图6是本发明一种基于3D点云语义分割的道路坑洞检测装置流程示意图。
具体实施方式
在下面的发明中，参考了形成其一部分的附图，并且其中通过说明具体实施方式示出，在具体实施方式中可以实践该发明。可以理解的是在不脱离本发明的范围的情况下可以使用其它实施方式并且可以改变结构。说明书中，涉及“一个实施例”、“实施例”、“示例性实施例”等的内容表示描述的实施例可包括特别的特征、结构或者特性，但是每个实施例未必包括该特别的特征、结构或者特性。此外，这类词组未必涉及相同的实施例。而且，当结合实施例描述特别的特征、结构或者特性时，可以主张：在本领域技术人员的公知常识内不论是否明确的描述都影响结合其它实施例的这种特征、结构或者特性。
点云：是指在一个三维坐标系统中的一组向量的集合，本申请中所用到的点云数据为激光雷达采集的数据。
3D点云：由多个三维点构成，每个三维点都有横坐标值、纵坐标值以及深度值，一般以相机左镜头为坐标系原点，横坐标值、纵坐标值以及深度值都是正值。
激光雷达和相机的融合，相当于是各自发挥着自己的优势，两个传感器进行底层的融合，在融合的时候，首先第一步就是标定。
相机优点在于成本低廉，但是它获取准确三维信息很难，而且会受环境光限制比较大。
激光雷达优点在于探测距离较远，而且可以准确获取物体的三维信息；另外它的稳定性相当高，鲁棒性好。
鲁棒性是指控制系统在一定结构或大小的参数摄动下，维持其它某些性能的特性。
以下结合具体的实施例子对上述方案做进一步说明，本发明的优选实施例详述如下：
实施例一：
在本实施例中，参见图1，一种基于3D点云语义分割的道路坑洞检测方法，其包括如下步骤：
步骤一：对3D相机和2D相机进行联合校准；
在本步骤中，因为二者安装的位置不同，所以需要联合校准。
该步骤采用的校准算法为：
假设RGB相机获取的2D图像数据由（U,V）表示,激光雷达获取的3D点云用（X,Y,Z）表示,我们的目标是建立一个转化矩阵M，则3D点（x,y,z）与2D点（u,v）之间的关系为：
公式1：
Figure 478806DEST_PATH_IMAGE001
其中，矩阵（
Figure 26331DEST_PATH_IMAGE002
，
Figure 413450DEST_PATH_IMAGE003
，
Figure 783252DEST_PATH_IMAGE004
，
Figure 673847DEST_PATH_IMAGE005
）是相机参数，
Figure 470902DEST_PATH_IMAGE002
以及
Figure 17421DEST_PATH_IMAGE003
为XY轴方向的尺度因子（水平方向和垂直方向的有效焦距），
Figure 190913DEST_PATH_IMAGE004
和
Figure 201595DEST_PATH_IMAGE005
是像平面（image plane）的中心点，又称主点坐标。R为旋转矩阵，t为平移矢量。
公式2：
Figure 169551DEST_PATH_IMAGE006
公式3：
Figure 265683DEST_PATH_IMAGE007
公式4：
Figure 977287DEST_PATH_IMAGE008
联立多个方程（公式4），即可得到转化矩阵M中的所有参数，即标定参数。
步骤二：使用3D相机和2D相机同时拍摄道路的同一场景，得到3D图像和2D图像；
在本步骤中，二者采集的数据会统一发送至高性能车载服务器进行数据处理；
同时，由于激光雷达和RGB相机采集一帧的数据的时间不同，因此，需要对激光雷达和RGB相机采集的数据进行时间同步，以保证二者一一对应；
即同一时刻采集的3D点云数据能够与2D的RGB图像保持一致。
步骤三：根据2D图像，通过路面语义分割算法提取路面区域图像；
本步骤中，首先将RGB相机的当前帧图像输入语义分割算法，随后，算法会判断每个像素点是否属于路面。
图像语义分割算法：图像是由许多像素组成的，语义分割就是将像素按照图像中表达语义含义的不同进行分割。
步骤四：在相关联的3D图像中确定所对应的路面区域图像的点云数据，通过3D点云语义分割算法对路面区域的点云数据进行处理，检测路面区域坑洞的数据点。
3D点云语义分割算法是指通过将原始点云数据划分成若干区域，按照相关的功能定义对相同属性和不同属性的数据点进行分割，并用标签标记被分割的区域，从而得到每个三维点的语义类别，根据空间、几何和纹理等特征点进行划分，同一划分内的点云拥有相似的特征。
在本步骤中，将步骤三中所得到的mask图通过步骤一中，两个相机联合标定时所用到的公式，转换为3D点云数据。
在本实施例中，所述步骤一至步骤四检测道路坑洞的步骤还包括：
步骤四还排除了干扰信息，将3D点云数据中除路面区域以外的点清除，仅保留路面区域的点云。
将路面区域的点云数据送入3D点云语义分割算法，通过和周围平整路面作对比，检测出凹陷的部分，得出坑洞的位置。
本步骤中，将检测出坑洞的3D数据点映射到2D图像上。
3D数据点映射到2D图像，运用的是以下公式：
Figure 29425DEST_PATH_IMAGE001
获取3D点（x,y,z）和2D图像上的坐标（x,y）,并用矩形框将坑洞标出。
步骤一中，使3D相机和2D相机采集到的同一区域的数据中的每个像素一一对应，以此来完成两个相机的联合校准。
步骤二中，所述3D相机为激光雷达，采集3D点云数据；所述2D相机为RGB相机，采集RGB图像数据。
激光雷达是以发射激光束探测目标的位置、速度等特征量的雷达系统，可以采集3D点云信息。
RGB相机是由红、绿、蓝三基色，按不同比例混合出不同颜色，可以采集车辆前方的RGB图像信息。
激光雷达和RGB相机分别实时采集3D点云数据和2D图像数据，并统一发送至服务器进行实时数据处理；优选地，服务器为车载服务器。
比较3D点云数据和2D图像数据的时间戳，挑选时间戳最相近的3D点云数据和2D图像数据，进行下一步路面区域图像的提取。
时间戳通常是一个字符序列，唯一地标识某一刻的时间。
本步骤中使用基于GPS的时间同步机制，通过比较激光雷达数据和RGB相机数据的时间戳，挑选时间戳最相近的一组数据进行下一步处理；
基于GPS的时间同步:利用同步卫星信号，接收1pps（1秒1次）和串口（串行通信）时间信息，将本地的时钟和GPS卫星上的时间进行同步。
将RGB相机采集到的2D图像输入到语义分割算法中，判断每个像素点是否属于路面，从而得到表示路面区域的mask图。
本步骤中的mask图就是掩模图，此mask图所表示的区域即为下一步激光雷达进行坑洞检测的区域，路面区域掩模图如图4所示。
步骤三里，2D图像中先划定ROI区域，在ROI区域，通过路面语义分割算法提取路面区域图像，如图2所示；
ROI（region of interest）区域,又称为“感兴趣区域”，是图像中行列各在某一起始范围的矩形区域中。
标记好ROI区域后，RGB相机和激光雷达在后续的步骤中只对此区域内的图像和点云信息进行分析。
本实施例基于3D点云语义分割的道路坑洞检测方法，可以更有效地避免道路坑洞的漏检误检，使检测结果更加准确可靠。
实施例二：
在本实施例中，为路面提取的流程，如图3所示：
步骤一：输入RGB相机当前帧图像；
步骤二：算法进行路面提取；
步骤三：输入路面区域mask图。
具体详细说明如下：
首先，将2D相机也就是RGB相机所采集到的图像的当前帧图像输入到语义分割算法中。
其次，通过图像语义分割算法，对路面区域进行提取。
最后，输出属于路面区域的mask图，如图4所示。
实施例三：
在本实施例中，为路面坑洞检测的流程，如图5所示：
步骤一：根据路面区域mask图获取路面区域3D点云；
步骤二：使用3D语义分割算法检测路面坑洞；
步骤三：将坑洞3D点映射到2D图像；
步骤四：使用矩形框在2D图像中标记坑洞。
具体的详细说明如下：
先根据实施例二中所输出的路面区域mask图，并利用在实施例一中所提到的相机标定算法的公式，将其转换为3D的点云数据。
其次，将所得到的3D点云数据输入到3D语义分割算法中，检测路面坑洞的点云数据。
然后，再通过公式将检测出的路面坑洞的3D点云数据映射到2D的图像中。
最后，用矩形框将坑洞在2D的图像中标记出来。
实施例四：
在本实施例中公开了一种基于3D点云语义分割的道路坑洞检测装置，用于实现实施例一中的3D点云语义分割的道路坑洞检测方法，如图6所示，装置包括图像数据获取模块、路面区域图像提取模块以及路面坑洞检测模块：
首先，图像数据获取模块在获取3D和2D图像前，需要对激光雷达和RGB相机进行联合校准。
该步骤采用的校准算法如下：
假设RGB相机获取的2D图像数据由（U,V）表示,激光雷达获取的3D点云用（X,Y,Z）表示,我们的目标是建立一个转化矩阵M，则3D点（x,y,z）与2D点（u,v）之间的关系为：
公式1：
Figure 168282DEST_PATH_IMAGE001
其中，矩阵（
Figure 751710DEST_PATH_IMAGE002
，
Figure 1426DEST_PATH_IMAGE003
，
Figure 986700DEST_PATH_IMAGE004
，
Figure 296458DEST_PATH_IMAGE005
）是相机参数，
Figure 367183DEST_PATH_IMAGE002
以及
Figure 358272DEST_PATH_IMAGE003
为XY轴方向的尺度因子（水平方向和垂直方向的有效焦距），
Figure 198052DEST_PATH_IMAGE004
和
Figure 678712DEST_PATH_IMAGE005
是像平面（image plane）的中心点，又称主点坐标。R为旋转矩阵，t为平移矢量。
公式2：
Figure 971153DEST_PATH_IMAGE009
公式3：
Figure 828251DEST_PATH_IMAGE010
公式4：
Figure 709488DEST_PATH_IMAGE008
联立多个方程（公式4），即可得到转化矩阵M中的所有参数，即标定参数。
标定后，即可使用3D相机和2D相机同时拍摄道路的同一场景。
使用基于GPS的时间同步机制，通过比较激光雷达拍摄的3D图像数据和RGB相机拍摄的2D图像数据的时间戳，挑选时间戳最相近的一组数据进行下一步的处理。
然后，在路面区域图像提取模块中，在提取路面区域图像前，划定需要检测的ROI区域，标记好的ROI区域后，激光雷达和RGB相机在后续步骤中只对此区域内的图像和点云信息进行分析。
将RGB相机的当前帧图像输入语义分割算法中，随后，算法会判断每个像素点是否属于路面。
算法输出能够表示路面区域的mask图，即掩模图。
此mask图所表示的区域即为下一步激光雷达进行坑洞检测的区域。
根据已提取的路面区域图像，通过步骤一中的转换公式，将mask图中所表示的路面区域图像的数据，在相关联的3D图像中标记处所对应的路面区域的点云数据。
将3D点云数据中除路面区域以外的点清除，仅保留区域的点云。
最后，在坑洞检测模块中，通过3D点云语义分割算法对路面区域的点云数据进行处理，检测路面区域坑洞的数据点。
将检测出的路面坑洞的3D数据点映射到2D图像后，获取3D点（x,y,z）对应于2D图像上的坐标（x,y）,用矩形框将坑洞标出。
即完成一种基于3D点云语义分割的道路坑洞检测装置对基于3D点云语义分割的道路坑洞检测方法的实现。
上面对本发明实施例结合附图进行了说明，但本发明不限于上述实施例，还可以根据本发明的发明创造的目的做出多种变化，凡依据本发明技术方案的精神实质和原理下做的改变、修饰、替代、组合或简化，均应为等效的置换方式，只要符合本发明的发明目的，只要不背离本发明的技术原理和发明构思，都属于本发明的保护范围。

Claims (10)

1.一种基于3D点云语义分割的道路坑洞检测方法，其特征在于：包括如下步骤：
步骤一：对3D相机和2D相机进行联合校准；
步骤二：使用3D相机和2D相机同时拍摄道路的同一场景，得到3D图像和2D图像；
步骤三：根据2D图像，通过路面语义分割算法提取路面区域图像；
步骤四：在相关联的3D图像中确定所对应的路面区域图像的点云数据，通过3D点云语义分割算法对路面区域的点云数据进行处理，检测路面区域坑洞的数据点。
2.根据权利要求1所述的一种基于3D点云语义分割的道路坑洞检测方法，其特征在于：所述步骤四中还包括排除干扰信息，将3D点云数据中除路面区域以外的点清除，仅保留路面区域的点云。
3.根据权利要求1所述的一种基于3D点云语义分割的道路坑洞检测方法，其特征在于：将检测出坑洞的3D数据点映射到2D图像后，获取3D点（x,y,z）对应于2D图像上的坐标（x,y）,用矩形框将坑洞标出。
4.根据权利要求1所述的一种基于3D点云语义分割的道路坑洞检测方法，其特征在于：所述步骤一中，使3D相机和2D相机采集到的同一个区域的数据中的每个像素一一对应，以此来完成两个相机的联合校准。
5.根据权利要求1所述的一种基于3D点云语义分割的道路坑洞检测方法，其特征在于：所述步骤二中，所述3D相机为激光雷达，采集3D点云数据；所述2D相机为RGB相机，采集RGB图像数据。
6.根据权利要求5所述的一种基于3D点云语义分割的道路坑洞检测方法，其特征在于：激光雷达和RGB相机分别实时采集3D点云数据和2D图像数据，并统一发送至服务器进行实时数据处理；优选的，服务器为车载服务器。
7.根据权利要求6所述的一种基于3D点云语义分割的道路坑洞检测方法，其特征在于：比较3D点云数据和2D图像数据的时间戳，挑选时间戳最相近的3D点云数据和2D图像数据，进行下一步路面区域图像的提取。
8.根据权利要求1所述的一种基于3D点云语义分割的道路坑洞检测方法，其特征在于：将RGB相机采集到的2D图像输入到语义分割算法中，判断每个像素点是否属于路面，从而得到表示路面区域的mask图。
9.根据权利要求1所述的一种基于3D点云语义分割的道路坑洞检测方法，其特征在于：在步骤三里，在2D图像中先划定ROI区域，在ROI区域，通过路面语义分割算法提取路面区域图像。
10.一种道路坑洞检测装置，其特征在于，采用上述权利要求1-9任一所述的3D相机和2D相机通过3D点云语义分割算法来检测路面区域坑洞，所述的装置包括图像数据获取模块、路面区域图像提取模块以及路面坑洞检测模块；
所述的图像数据获取模块包括：3D相机和2D相机的联合校准以及使用3D相机和2D相机拍摄道路同一场景，得到3D图像和2D图像；
所述的路面区域图像提取模块包括：划定需要检测的ROI区域，通过路面语义分割算法，得到表示路面区域的mask图；
所述的路面坑洞检测模块包括：找到在3D图像中与mask图所对应的路面区域点云数据，并通过3D点云语义分割算法对路面区域的点云数据进行处理，检测路面区域坑洞的数据点。
CN202211068178.0A 2022-09-02 2022-09-02 一种基于3d点云语义分割的道路坑洞检测方法及装置 Pending CN115131360A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211068178.0A CN115131360A (zh) 2022-09-02 2022-09-02 一种基于3d点云语义分割的道路坑洞检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211068178.0A CN115131360A (zh) 2022-09-02 2022-09-02 一种基于3d点云语义分割的道路坑洞检测方法及装置

Publications (1)

Publication Number Publication Date
CN115131360A true CN115131360A (zh) 2022-09-30

Family

ID=83387278

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211068178.0A Pending CN115131360A (zh) 2022-09-02 2022-09-02 一种基于3d点云语义分割的道路坑洞检测方法及装置

Country Status (1)

Country Link
CN (1) CN115131360A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115797338A (zh) * 2023-02-02 2023-03-14 河北工业大学 基于双目视觉的全景路面多性能指标计算方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113111887A (zh) * 2021-04-26 2021-07-13 河海大学常州校区 一种基于相机和激光雷达信息融合的语义分割方法及系统
CN113420587A (zh) * 2021-05-10 2021-09-21 江苏大学 一种基于路面坑洞检测的车辆主动避撞方法
CN114120283A (zh) * 2021-11-29 2022-03-01 华中光电技术研究所（中国船舶重工集团公司第七一七研究所） 一种道路场景三维语义分割中未知障碍物的判别方法
CN114119631A (zh) * 2021-11-11 2022-03-01 上海景吾智能科技有限公司 清洁区域自动生成方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113111887A (zh) * 2021-04-26 2021-07-13 河海大学常州校区 一种基于相机和激光雷达信息融合的语义分割方法及系统
CN113420587A (zh) * 2021-05-10 2021-09-21 江苏大学 一种基于路面坑洞检测的车辆主动避撞方法
CN114119631A (zh) * 2021-11-11 2022-03-01 上海景吾智能科技有限公司 清洁区域自动生成方法及系统
CN114120283A (zh) * 2021-11-29 2022-03-01 华中光电技术研究所（中国船舶重工集团公司第七一七研究所） 一种道路场景三维语义分割中未知障碍物的判别方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115797338A (zh) * 2023-02-02 2023-03-14 河北工业大学 基于双目视觉的全景路面多性能指标计算方法及系统
CN115797338B (zh) * 2023-02-02 2023-05-02 河北工业大学 基于双目视觉的全景路面多性能指标计算方法及系统

Similar Documents

Publication Publication Date Title
WO2021223368A1 (zh) 基于视觉、激光雷达和毫米波雷达的目标检测方法
CN107516077B (zh) 基于激光点云和影像数据融合的交通标牌信息提取方法
CN111652179A (zh) 基于点线特征融合激光的语义高精地图构建与定位方法
KR101261409B1 (ko) 영상 내 노면표시 인식시스템
CN113205604A (zh) 一种基于摄像机和激光雷达的可行区域检测方法
CN115376109B (zh) 障碍物检测方法、障碍物检测装置以及存储介质
CN113971768A (zh) 一种基于无人机的输电线路违章建筑三维动态检测方法
CN112528979B (zh) 变电站巡检机器人障碍物判别方法及系统
CN112861748A (zh) 一种自动驾驶中的红绿灯检测系统及方法
CN116839564A (zh) 一种高精地图构建辅助方法、设备及介质
CN114120283A (zh) 一种道路场景三维语义分割中未知障碍物的判别方法
CN114724104B (zh) 一种视认距离检测的方法、装置、电子设备、系统及介质
CN115131360A (zh) 一种基于3d点云语义分割的道路坑洞检测方法及装置
CN116030194A (zh) 一种基于目标检测规避的空地协同实景三维建模优化方法
CN113378754A (zh) 一种工地裸土监测方法
CN110415299B (zh) 一种运动约束下基于设定路牌的车辆位置估计方法
CN115937673B (zh) 一种基于移动终端照片的地理要素快速变化发现方法
CN115235493B (zh) 一种基于矢量地图进行自动驾驶定位的方法及装置
JP3437671B2 (ja) ランドマーク認識装置およびランドマーク認識方法
CN114037968A (zh) 基于深度雷达点云和图像数据融合的车道线检测方法
CN114648549A (zh) 一种融合视觉和激光雷达的交通场景目标检测及定位方法
CN112966594A (zh) 一种环境感知方法
CN113095324A (zh) 一种针对锥桶的分类与测距方法及系统
CN117934565A (zh) 基于视频识别对激光雷达点云数据中标志牌的标记方法
CN115390116B (zh) 一种基于路侧图像识别与卫星图像的动态建图方法与装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20220930

RJ01 Rejection of invention patent application after publication