CN117073664A - 一种露天矿山道路地形建图方法 - Google Patents

一种露天矿山道路地形建图方法 Download PDF

Info

Publication number
CN117073664A
CN117073664A CN202311345619.1A CN202311345619A CN117073664A CN 117073664 A CN117073664 A CN 117073664A CN 202311345619 A CN202311345619 A CN 202311345619A CN 117073664 A CN117073664 A CN 117073664A
Authority
CN
China
Prior art keywords
grid
point cloud
terrain
map
topography
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311345619.1A
Other languages
English (en)
Other versions
CN117073664B (zh
Inventor
田滨
王俊辉
张才集
吕宜生
熊晓宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202311345619.1A priority Critical patent/CN117073664B/zh
Publication of CN117073664A publication Critical patent/CN117073664A/zh
Application granted granted Critical
Publication of CN117073664B publication Critical patent/CN117073664B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3863—Structures of map data
    • G01C21/3867—Geometry of map features, e.g. shape points, polygons or for simplified maps
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3815—Road data
    • G01C21/3822—Road feature data, e.g. slope data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C7/00—Tracing profiles
    • G01C7/02—Tracing profiles of land surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computational Linguistics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种露天矿山道路地形建图方法，包括：获得含有整个矿区道路特征的原始点云，并去除原始点云中影响道路地形分析的目标物体类型，形成初始点云；根据初始点云，构建多通道栅格地图，并对多通道栅格地图进行地形分类，形成露天矿山栅格地形图，通道包括语义属性、高度指数和平整度，地形类型包括地面、凸起、凹陷和其他；根据露天矿山栅格地形图，从原始点云中提取不同目标地形区域所对应的点云，基于此，生成相应的矢量地图。本发明能够在露天矿山场景下更可靠的完成道路地形图的构建。

Description

一种露天矿山道路地形建图方法
技术领域
本发明涉及矿区道路地形分析技术领域，尤其是涉及露一种露天矿山道路地形建图方法。
背景技术
近年来，采矿业的智能化、无人化改造是重点发展方向。因此，矿区自动驾驶得到了工业界和产业界的广泛关注。相较于城市道路，矿区的行驶道路更加复杂多变，这使得矿区道路地形分析成为无人矿车实现自主导航的重要环节。矿区的道路地形分析主要是涉及对道路中存在的障碍物、凹陷地形轮廓的提取和分类。在构建的矿区环境地图的基础上，提取和分类这些地形要素有助于对矿区的道路地形有一个全面的了解，一方面有助于在不影响正常的作业流程的前提下，及时地安排相关的道路修缮措施；另一方面可为自动驾驶矿用卡车提供环境的地形质量先验，保证其安全可靠的完成物料运输。
当前的道路地形分析方法主要分为如下两类。
第一类方法是针对地形的非几何特征进行分析，如描述和区分柏油路、水泥路、砖石路、泥土路、草地等，对它们的硬度、刚度、密度、粘度等特性进行估计。这类研究多采用视觉传感器借助其提供的丰富颜色和纹理等信息进行有效处理；同时，也有少量采用激光传感器的研究，结合不同材质反射强度的差异对地形的材质进行区分，可以对植被区域进行分析和判断，避免因遇到草丛等柔性障碍而无法通行。因此，这类研究适合对地形变化做出预测，但不适用于提取现已存在的具有几何特征的不良地形。
第二类方法关注地形的几何特征，包括凸起、凹陷在内的复杂地形提取。该方面研究所采用的传感器有激光传感器、TOF相机、RGBD相机等，其中激光传感器以其测量距离的准确性受到青睐。为了获取足够的地形信息，一些研究基于原始点云开展工作，采用立体视觉或三维激光雷达获取原始点云数据。显然，直接采用原始数据点将显著增加数据处理的复杂度。为降低复杂度，另一些研究采用栅格地图提供有效的解决方案。但是目前的基于栅格地图的方法只考虑以车辆为中心的局部道路地形分析，没有形成对整个矿区地形的全面分析。
除此之外，现有技术中没有针对矿区真实场景展开分析的方案，忽略了矿区存在若干对道路地形分析能够产生影响的因素。
发明内容
本发明的目的在于，需要提出一种在矿区复杂环境中，如何鲁棒且可靠的完成全矿道路地形分析图的构建，从而生成适用于高精地图的矢量数据的技术方案。
为了解决上述技术问题，本发明实施例提供了一种用于露天矿山道路地形建图的方法，包括：获得含有整个矿区道路特征的原始点云，并去除所述原始点云中影响道路地形分析的目标物体类型，形成初始点云；根据所述初始点云，构建多通道栅格地图，并对所述多通道栅格地图进行地形分类，形成露天矿山栅格地形图，所述通道包括语义属性、高度指数和平整度，地形类型包括地面、凸起、凹陷和其他；根据所述露天矿山栅格地形图，从所述原始点云中提取不同目标地形区域所对应的点云，基于此，生成相应的矢量地图。
优选地，在去除所述原始点云中的影响道路地形分析的目标物体类型，形成初始点云的步骤中，包括：根据所述原始点云，应用点云语义分割模型，获得标记有不同目标物体类型的语义点云，所述目标物体类型包括：包含扬尘的噪声、车辆、地面和建筑物；对所述语义点云进行滤波处理，从而获得所述初始点云，其中，所述滤波处理包括语义滤波，所述语义滤波用于将所述语义点云中与所述噪声和所述车辆相关的点云去除。
优选地，在开展所述语义滤波之前，所述滤波处理还包括：用于减少点云点密度的采样滤波和用于去除离散噪声点的统计滤波。
优选地，在根据不同目标地形区域的原始点云，生成相应的矢量数据的步骤中，包括：分别将所提取的凸起地形区域和凹陷地形区域的原始点云转换为相应的鸟瞰图；采用图像边缘检测算法，分别对凸起地形鸟瞰图和凹陷地形鸟瞰图进行区域边缘检测；分别将凸起区域边缘和凹陷地形边缘逆投影到三维空间，从而形成相应地形的三维点云矢量数据。
优选地，在分别将所提取的凸起地形区域和凹陷地形区域的原始点云转换为相应的鸟瞰图的步骤中，包括：基于预设的分辨率，分别将凸起地形区域和凹陷地形区域的原始点云转换为相应的灰度鸟瞰图，其中，所述灰度鸟瞰图的像素点为鸟瞰图像素点所在区域的点云平均高度值。
优选地，在根据所述初始点云，构建多通道栅格地图，并对所述多通道栅格地图进行地形分类，形成露天矿山栅格地形图的步骤中，包括：根据关键帧原始点云的全局位姿和所述初始点云，构建多张局部的多通道栅格地图；对每张局部的栅格地图中的栅格进行地形分类描述；将完成地形分类描述的多张局部的多通道栅格地图进行融合，形成所述露天矿山栅格地形图。
优选地，按照如下方法对每个栅格进行地形分类描述：在当前栅格的高度指数满足T 1 ≤H f ≤T 2 条件、且平整度满足T 3 ≤F≤T 4 条件的情况下，当前栅格的地形类型为地面，其中，H f 表示当前栅格的高度指数，T 1 表示第一高度指数阈值，T 2 表示第二高度指数阈值，F表示当前栅格的平整度，T 3 表示第一平整度阈值，T 4 表示第二平整度阈值；在当前栅格的高度指数满足H f >T 2 条件、且平整度满足F>T 4 条件的情况下，当前栅格的地形类型为凸起；在当前栅格的高度指数满足H f <T 1 条件、且平整度满足F<T 3 条件的情况下，当前栅格的地形类型为凹陷。
优选地，按照如下表达式获得所述多通道栅格地图中每个栅格的多通道信息：根据当前栅格内占比最多的目标物体类型作为当前栅格的语义属性；按照如下表达式计算当前栅格的高度指数：
；
；
；
其中，H f 表示当前栅格的高度指数，H diff 表示当前栅格的最大高度差，H max 表示当前栅格内的最大高度，H min 表示当前栅格内的最小高度，H mean 表示当前栅格的平均高度，h k 表示当前栅格内第k个点的高度值，N表示当前栅格内的点的总数；按照如下表达式计算当前栅格的平整度：
；
其中，F表示当前栅格的平整度。
优选地，在提取不同目标地形区域的原始点云的步骤中，包括：按照凸起、凹陷的地形类别，对所述露天矿山栅格地形图进行聚类分析，形成关于凸起区域的多块地形图以及关于凹陷区域的多块地形图；根据多块凸起区域地形图的边界线来从所述原始点云中提取关于凸起地形区域所对应的点云，以及根据多块凹陷区域地形图的边界线来从所述原始点云中提取关于凹陷地形区域所对应的点云。
另一方面，提供了一种用于露天矿山道路地形建图的系统，包括：点云预处理模块，其配置为获得含有整个矿区道路特征的原始点云，并去除所述原始点云中影响道路地形分析的目标物体类型，形成初始点云；矿区栅格地图生成模块，其配置为根据所述初始点云，构建多通道栅格地图，并对所述多通道栅格地图进行地形分类，形成露天矿山栅格地形图，所述通道包括语义属性、高度指数和平整度，地形类型包括地面、凸起、凹陷和其他；矢量地图生成模块，配置为根据所述露天矿山栅格地形图，从所述原始点云中提取不同目标地形区域所对应的点云，基于此，生成相应的矢量地图。
与现有技术相比，上述方案中的一个或多个实施例可以具有如下优点或有益效果。
本发明提出了一种露天矿山道路地形建图方法及系统。该方法及系统提供了一种完整的矿区道路地形建图方法，能够在矿区场景下更可靠的完成道路地形的建模，克服了矿区的扬尘对检测传感器及检测质量造成的影响，能够提取矿区斜坡道路上的凸起、凹陷区域。另外，本发明还能够结合所提出的语义属性、高度指数和平整度这三种指标的特定规则来更加鲁棒的完成地形描述和分类。此外，本发明还能够将目标地形区域投影成图像，应用成熟的图像处理算法，从而更加鲁棒、高效、低成本的完成目标地形边界的准确提取。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中。
图1为本申请实施例的用于露天矿山道路地形建图的方法的步骤图。
图2为本申请实施例的用于露天矿山道路地形建图的方法的具体流程图。
图3本申请实施例的用于露天矿山道路地形建图的系统的模块框图。
具体实施方式
以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。
另外，附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
这里所使用的术语仅仅是为了描述具体实施例而不意图限制示例性实施例。除非上下文明确地另有所指，否则这里所使用的单数形式“一个”、“一项”还意图包括复数。还应当理解的是，这里所使用的术语“包括”和/或“包含”规定所陈述的特征、整数、步骤、操作、单元和/或组件的存在，而不排除存在或添加一个或更多其他特征、整数、步骤、操作、单元、组件和/或其组合。
近年来，采矿业的智能化、无人化改造是重点发展方向。因此，矿区自动驾驶得到了工业界和产业界的广泛关注。相较于城市道路，矿区的行驶道路更加复杂多变，这使得矿区道路地形分析成为无人矿车实现自主导航的重要环节。矿区的道路地形分析主要是涉及对道路中存在的障碍物、凹陷地形轮廓的提取和分类。在构建的矿区环境地图的基础上，提取和分类这些地形要素有助于对矿区的道路地形有一个全面的了解，一方面有助于在不影响正常的作业流程的前提下，及时地安排相关的道路修缮措施；另一方面可为自动驾驶矿用卡车提供环境的地形质量先验，保证其安全可靠的完成物料运输。
当前的道路地形分析方法主要分为如下两类。
第一类方法是针对地形的非几何特征进行分析，如描述和区分柏油路、水泥路、砖石路、泥土路、草地等，对它们的硬度、刚度、密度、粘度等特性进行估计。这类研究多采用视觉传感器借助其提供的丰富颜色和纹理等信息进行有效处理；同时，也有少量采用激光传感器的研究，结合不同材质反射强度的差异对地形的材质进行区分，可以对植被区域进行分析和判断，避免因遇到草丛等柔性障碍而无法通行。因此，这类研究适合对地形变化做出预测，但不适用于提取现已存在的具有几何特征的不良地形。
第二类方法关注地形的几何特征，包括凸起、凹陷在内的复杂地形提取。该方面研究所采用的传感器有激光传感器、TOF相机、RGBD相机等，其中激光传感器以其测量距离的准确性受到青睐。为了获取足够的地形信息，一些研究基于原始点云开展工作，采用立体视觉或三维激光雷达获取原始点云数据。显然，直接采用原始数据点将显著增加数据处理的复杂度。为降低复杂度，另一些研究采用栅格地图提供有效的解决方案。但是目前的基于栅格地图的方法只考虑以车辆为中心的局部道路地形分析，没有形成对整个矿区地形的全面分析。
除此之外，现有技术中没有针对矿区真实场景展开分析的方案，忽略了矿区存在若干对道路地形分析能够产生影响的因素。在本发明的实现过程中，发明人发现：矿区内的大量的扬尘对矿车传感器产生了不利影响，导致扬尘所在区域容易被认为是凸起；大量的斜坡地形也容易被分类成凸起或是凹陷；并且，现有方法都是基于区域进行提取和分类，没有提取所在区域准确的轮廓边界，所获得的数据无法与高精地图相结合。
由于露天矿山道路环境的复杂多变，对矿区的作业安排和自动驾驶的自主导航都提出了巨大的挑战。为此，本发明提出了一种露天矿山道路地形建图方法，主要是将矿区道路中存在的凸起、凹陷区域检测出来，并且基于提取出来的区域进行更细致的轮廓边界线提取，生成适用于高精地图生产过程的矢量数据。
图1为本申请实施例的用于露天矿山道路地形建图的方法的步骤图。下面参考图1，对本发明实施例所述的用于露天矿山道路地形建图的方法（也称“道路地形分析方法”）的步骤流程进行说明。
步骤S110获得含有整个矿区道路特征的原始点云，并去除当前原始点云中影响道路地形分析的目标物体类型，从而形成初始点云。步骤S120根据步骤S110所形成的初始点云，构建多通道栅格地图，并对所构建的多通道栅格地图进行地形分类，从而形成露天矿山栅格地形图。其中，所述通道包括语义属性、高度指数和平整度。地形类型包括地面、凸起、凹陷和其他类型。步骤S130根据所构建的露天矿山栅格地形图中所示出的不同地形类型的边界线，从步骤S110所获得的原始点云中提取不同目标地形区域所对应的点云，从而根据所提取到的不同目标地形区域所对应的点云，生成相应的矢量地图数据。
图2为本申请实施例的用于露天矿山道路地形建图的方法的具体流程图。下面结合图1和图2对本发明实施例所述的道路地形分析方法的步骤流程进行详细说明。
在步骤S110中，首先，获得由矿区矿车端采集的原始点云。本发明实施例所获得的原始点云为激光雷达点云数据，并且该原始点云能够展示出整个待检测矿区的道路及道路特征，从而通过对原始点云的预处理操作来形成初始点云。
参考图2，在生成初始点云的过程中，首先对原始点云进行语义分割处理。根据原始点云，应用点云语义分割模型，获得标记有不同目标物体类型的语义点云。其中，所述目标物体类型包括但不限于：包含扬尘等矿区特有环境现象的噪声、车辆、地面和建筑物。具体地，在输入由车端采集的原始激光雷达点云后，应用提前训练好的点云语义分割模型，将原始点云逐点进行语义分割，使得原始点云中的每个点云点都标记有相应的目标物体类型，从而形成语义点云。所述点云语义分割模型主要用于将点云数据逐点进行语义分割，从而实现四类目标物体类型的分割（噪声、车辆、地面、建筑物）。本发明对原始点云的语义分割处理，可有利于提高整个算法的鲁棒性。
而后，步骤S110还会对经过语义分割处理的原始点云进行滤波处理，从而获得初始点云。具体地，本发明实施例所述的滤波处理至少包括语义滤波。所述语义滤波用于将所获得的语义点云中与噪声和车辆相关的点云去除。
另外，在开展语义滤波之前，本发明实施例所述的滤波处理还包括：用于减少点云点密度的采样滤波和用于去除离散噪声点的统计滤波。
在本发明的点云滤波处理过程中，对所获得的语义分割点云依次开展如下滤波处理：采用采样滤波来减少语义分割点云中点的密度，从而提高后续算法的效率；采用统计滤波来去除点云中离散的噪声点；通过语义滤波来去除标记为噪声和车辆的点云，从而去除点云中的扬尘和动态物体，其中，扬尘被包含在噪声中。这样，本发明通过点云滤波处理，将影响道路地形分析的点云滤除，有助于提高检测效率的同时，还能够改善对矿区中存在的扬尘、运动车辆所造成的道路地形分析错误的问题。
本发明实施例所述的步骤S110利用深度学习方法，将扬尘作为噪声进行标注，从而通过语义分割将扬尘去除，实现了对矿区点云中的扬尘去除的目的。
在获得初始点云后，进入到步骤S120中，以将初始点云进行栅格化处理并开展地形分类。
如图2所示，在步骤S120中，首先需要根据步骤S110所形成的初始点云，构建多通道栅格地图。根据关键帧原始点云的全局位姿和初始点云，构建多张局部的多通道栅格地图。具体地，步骤S120首先将经过滤波后的语义点云数据以及其对应的全局位姿，从而根据选取的若干关键帧的全局位姿为中心，构建多张局部的多通道栅格地图。每张局部的栅格地图表示整个矿区中的某一局部区域的栅格地图，所有局部栅格地图构成了展示整个矿区道路特征的栅格地图。其中，每张局部栅格地图都是多通道的，并且在所选取的关键帧的车体坐标系下进行表示。
具体地，在每张局部的栅格地图转换过程中，局部多通道栅格地图的通道包括语义属性、高度指数和平整度，按照如下方式获得多通道栅格地图中每个栅格的多通道信息：
首先，根据当前栅格内占比最多的目标物体类型的作为当前栅格的语义属性。也就是说，每个栅格内的语义属性由所统计的当前栅格内的点云点所属目标物体类型占比最多的类别而确定的。
进一步，按照如下表达式计算当前栅格的高度指数：
；
；
；
其中，H f 表示当前栅格的高度指数，H diff 表示当前栅格的最大高度差，H max 表示当前栅格内的最大高度，H min 表示当前栅格内的最小高度，H mean 表示当前栅格的平均高度，h k 表示当前栅格内第k个点的高度值，N表示当前栅格内的点的总数。
进一步，按照如下表达式计算当前栅格的平整度：
；
其中，F表示当前栅格的平整度。
如图2所示，在完成多张局部的多通道栅格地图的构建后，步骤S120继续对每张局部的多通道栅格地图中的栅格进行地形分类描述。具体地，根据所构建完成的多张局部的多通道栅格地图，利用计算好的多通道属性对每个栅格地图中的栅格进行描述和分类，从而按照预设规则将栅格的地形类型划分为地面、凸起、凹陷或者其他这四类。其中，按照如下方法对每个栅格进行地形分类描述：
在当前栅格的高度指数H f 满足T 1 ≤H f ≤T 2 条件、且平整度满足T 3 ≤F≤T 4 条件的情况下，当前栅格的地形类型为地面。其中，T 1 表示第一高度指数阈值，T 2 表示第二高度指数阈值，F表示当前栅格的平整度，T 3 表示第一平整度阈值，T 4 表示第二平整度阈值；
在当前栅格的高度指数满足H f >T 2 条件、且平整度满足F>T 4 条件的情况下，当前栅格的地形类型为凸起；
在当前栅格的高度指数满足H f <T 1 条件、且平整度满足F<T 3 条件的情况下，当前栅格的地形类型为凹陷。
另外，所述预设规则按照如下表1来定义，使得将栅格分类描述后，得到多张局部栅格地形图。
表1 预设规则
类型 高度指数 平整度 语义属性
地面 T 1 ≤H f ≤T 2 T 3 ≤F≤T 4 地面
凸起 H f >T 2 F>T 4 地面
凹陷 H f <T 1 F<T 3 地面
其他 --- --- ---
需要说明的是，本发明实施例对第一高度指数阈值、第二高度指数阈值、第一平整度阈值和第二平整度阈值的数值大小不作具体限定，本领域技术人员可以根据矿区地形特点进行设定，只要能够达到将矿区上下坡道路上的凸起和凹坑划分为凸起和凹陷，并将具有凸起和凹陷特点的矿区上下坡道路划分为地面，以将矿区中的真实凸起和凹陷部分与坡道识别开来的目的即可。
由此，参考图2，在完成对每个栅格的地形分类描述后，步骤S120还将完成地形分类描述的多张局部的多通道栅格地图进行融合，形成露天矿山栅格地形图。具体地，基于多张局部的栅格地形图，地形图之间可能存在重合，根据预先设定的融合规则，将所有的局部栅格地形图融合形成一张完整的露天矿山栅格地形图。该地形图可用于可视化以及后续更加精细化的边界线提取。
步骤S120通过对局部地形图构建并融合成全局地形图，解决了现有技术中对全矿区地形进行凸起、凹坑提取时所面临的上下坡道路中的凸起、凹坑难以提取的问题，当车辆行驶在上下坡道路时，也会将坡面认为是平路，即上下坡在车体坐标系中被认为是地面，因此本发明不会受到上下坡道路的影响。另外，本发明实施例利用语义属性、高度指数和平整度这三个指标，并结合自定义的规则，能够有效地完成道路地形分析。
步骤S130会根据露天矿山栅格地形图来生成能够与高精度地图融合的地形矢量数据。
在步骤S130中，需要先提取出不同目标地形区域所对应的点云。具体地，按照凸起、凹陷的目标地形类别，对露天矿山栅格地形图进行聚类分析，形成关于凸起区域的多块地形区域以及关于凹陷区域的多块地形区域；再根据多块凸起区域地形图的边界线来从步骤S110所获得的原始点云中提取关于凸起地形区域所对应的点云，以及根据多块凹陷区域地形图的边界线来从步骤S110所获得的原始点云中提取关于凹陷地形区域对应的点云。由此便完成了不同目标地形区域所对应的原始点云的提取。
接下来，步骤S130会根据所提取出的凸起地形区域的原始点云和凹陷地形区域的原始点云，来生成相应的矢量数据。具体地，首先，分别将所提取的凸起地形区域的原始点云和凹陷地形区域的原始点云转换为相应的鸟瞰图。在一个示例中，基于预设的分辨率，分别将凸起地形区域和凹陷地形区域的原始点云转换为相应的灰度鸟瞰图，其中，灰度鸟瞰图的像素点为鸟瞰图像素点所在区域的（原始）点云平均高度值。
而后，采用图像边缘检测算法，分别对凸起地形鸟瞰图和凹陷地形鸟瞰图进行区域边缘检测；最后，分别将凸起区域边缘和凹陷地形边缘逆投影到三维空间中，从而形成相应地形的三维点云矢量数据。
具体来说，根据所提取的凸起区域的原始点云、凹陷区域内的原始点云，按一定的分辨率将点云投影成灰度鸟瞰图，鸟瞰图的像素表示该区域内的点云平均高度值。然后，应用图像边缘检测算法，对凸起地形鸟瞰图和凹陷地形鸟瞰图分别进行边界检测，通过逆投影回三维空间，即可分别获得凸起区域边缘和凹陷地形边缘对应的三维点云。由此，在经过对目标地形边界线的提取处理后，便完成了对全矿区道路的质量分析，得到了可应用于高精地图的矢量数据。
这样，本发明在获得目标地形类型的原始点云区域后，将其投影成图像，从而能够应用图像处理技术来完成边界线的高效提取，以获得相应的矢量数据。
基于上述道路地形分析方法，本发明实施例还提供了一种用于露天矿山道路地形建图的系统（也称“道路地形分析系统”）。图3本申请实施例的用于露天矿山道路地形建图的系统的模块框图。如图3所示，本发明实施例所述的道路地形分析系统包括点云预处理模块31、矿区栅格地图生成模块32和矢量地图生成模块33。
具体地，点云预处理模块31按照上述步骤S110所述的方法来实施，配置为获得含有整个矿区道路特征的原始点云，并去除原始点云中影响道路地形分析的目标物体类型，形成初始点云；矿区栅格地图生成模块32按照上述步骤S120所述的方法来实施，配置为根据点云预处理模块31所输出的初始点云，构建多通道栅格地图，并对多通道栅格地图进行地形分类，形成露天矿山栅格地形图，所述通道包括语义属性、高度指数和平整度，地形类型包括地面、凸起、凹陷和其他；矢量地图生成模块33按照上述步骤S130所述的方法来实施，配置为根据矿区栅格地图生成模块32所输出的露天矿山栅格地形图，从原始点云中提取不同目标地形区域所对应的点云，基于此，生成相应的矢量地图。
本发明公开了一种露天矿山道路地形建图方法及系统。该方法及系统提供了一种完整的矿区道路地形分析方法，能够在矿区场景下更可靠的完成道路地形分析，克服了矿区的扬尘对检测传感器及检测质量造成的影响，能够提取矿区斜坡道路上的凸起、凹陷区域。另外，本发明还能够结合所提出的语义属性、高度指数和平整度这三种指标的特定规则来更加鲁棒的完成地形描述和分类。此外，本发明还能够将目标地形区域投影成图像，应用成熟的图像处理算法，从而更加鲁棒、高效、低成本的完成目标地形边界的准确提取。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人员在本发明所揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上；术语“上”、“下”、“左”、“右”、“内”、“外”、“前端”、“后端”、“头部”、“尾部”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
应该理解的是，本发明所公开的实施例不限于这里所公开的特定结构、处理步骤或材料，而应当延伸到相关领域的普通技术人员所理解的这些特征的等同替代。还应当理解的是，在此使用的术语仅用于描述特定实施例的目的，而并不意味着限制。
说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。
虽然本发明所披露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种用于露天矿山道路地形建图的方法，其特征在于，包括：
获得含有整个矿区道路特征的原始点云，并去除所述原始点云中影响道路地形分析的目标物体类型，形成初始点云；
根据所述初始点云，构建多通道栅格地图，并对所述多通道栅格地图进行地形分类，形成露天矿山栅格地形图，所述通道包括语义属性、高度指数和平整度，地形类型包括地面、凸起、凹陷和其他；
根据所述露天矿山栅格地形图，从所述原始点云中提取不同目标地形区域所对应的点云，基于此，生成相应的矢量地图。
2.根据权利要求1所述的方法，其特征在于，在去除所述原始点云中的影响道路地形分析的目标物体类型，形成初始点云的步骤中，包括：
根据所述原始点云，应用点云语义分割模型，获得标记有不同目标物体类型的语义点云，所述目标物体类型包括：包含扬尘的噪声、车辆、地面和建筑物；
对所述语义点云进行滤波处理，从而获得所述初始点云，其中，所述滤波处理包括语义滤波，所述语义滤波用于将所述语义点云中与所述噪声和所述车辆相关的点云去除。
3.根据权利要求2所述的方法，其特征在于，在开展所述语义滤波之前，所述滤波处理还包括：用于减少点云点密度的采样滤波和用于去除离散噪声点的统计滤波。
4.根据权利要求1~3中任一项所述的方法，其特征在于，在根据不同目标地形区域的原始点云，生成相应的矢量数据的步骤中，包括：
分别将所提取的凸起地形区域和凹陷地形区域的原始点云转换为相应的鸟瞰图；
采用图像边缘检测算法，分别对凸起地形鸟瞰图和凹陷地形鸟瞰图进行区域边缘检测；
分别将凸起区域边缘和凹陷地形边缘逆投影到三维空间，从而形成相应地形的三维点云矢量数据。
5.根据权利要求4所述的方法，其特征在于，在分别将所提取的凸起地形区域和凹陷地形区域的原始点云转换为相应的鸟瞰图的步骤中，包括：
基于预设的分辨率，分别将凸起地形区域和凹陷地形区域的原始点云转换为相应的灰度鸟瞰图，其中，所述灰度鸟瞰图的像素点为鸟瞰图像素点所在区域的点云平均高度值。
6.根据权利要求1~3中任一项所述的方法，其特征在于，在根据所述初始点云，构建多通道栅格地图，并对所述多通道栅格地图进行地形分类，形成露天矿山栅格地形图的步骤中，包括：
根据关键帧原始点云的全局位姿和所述初始点云，构建多张局部的多通道栅格地图；
对每张局部的栅格地图中的栅格进行地形分类描述；
将完成地形分类描述的多张局部的多通道栅格地图进行融合，形成所述露天矿山栅格地形图。
7.根据权利要求6所述的方法，其特征在于，按照如下方法对每个栅格进行地形分类描述：
在当前栅格的高度指数满足T 1 ≤H f ≤T 2 条件、且平整度满足T 3 ≤F≤T 4 条件的情况下，当前栅格的地形类型为地面，其中，H f 表示当前栅格的高度指数，T 1 表示第一高度指数阈值，T 2 表示第二高度指数阈值，F表示当前栅格的平整度，T 3 表示第一平整度阈值，T 4 表示第二平整度阈值；
在当前栅格的高度指数满足H f >T 2 条件、且平整度满足F>T 4 条件的情况下，当前栅格的地形类型为凸起；
在当前栅格的高度指数满足H f <T 1 条件、且平整度满足F<T 3 条件的情况下，当前栅格的地形类型为凹陷。
8.根据权利要求1~3中任一项所述的方法，其特征在于，按照如下表达式获得所述多通道栅格地图中每个栅格的多通道信息：
根据当前栅格内占比最多的目标物体类型作为当前栅格的语义属性；
按照如下表达式计算当前栅格的高度指数：
；/>；,
其中，H f 表示当前栅格的高度指数，H diff 表示当前栅格的最大高度差，H max 表示当前栅格内的最大高度，H min 表示当前栅格内的最小高度，H mean 表示当前栅格的平均高度，h k 表示当前栅格内第k个点的高度值，N表示当前栅格内的点的总数；
按照如下表达式计算当前栅格的平整度：
,
其中，F表示当前栅格的平整度。
9.根据权利要求1~3中任一项所述的方法，其特征在于，在提取不同目标地形区域的原始点云的步骤中，包括：
按照凸起、凹陷的地形类别，对所述露天矿山栅格地形图进行聚类分析，形成关于凸起区域的多块地形图以及关于凹陷区域的多块地形图；
根据多块凸起区域地形图的边界线来从所述原始点云中提取关于凸起地形区域所对应的点云，以及根据多块凹陷区域地形图的边界线来从所述原始点云中提取关于凹陷地形区域所对应的点云。
10.一种用于露天矿山道路地形建图的系统，其特征在于，包括：
点云预处理模块，其配置为获得含有整个矿区道路特征的原始点云，并去除所述原始点云中影响道路地形分析的目标物体类型，形成初始点云；
矿区栅格地图生成模块，其配置为根据所述初始点云，构建多通道栅格地图，并对所述多通道栅格地图进行地形分类，形成露天矿山栅格地形图，所述通道包括语义属性、高度指数和平整度，地形类型包括地面、凸起、凹陷和其他；
矢量地图生成模块，配置为根据所述露天矿山栅格地形图，从所述原始点云中提取不同目标地形区域所对应的点云，基于此，生成相应的矢量地图。
CN202311345619.1A 2023-10-18 2023-10-18 一种露天矿山道路地形建图方法 Active CN117073664B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311345619.1A CN117073664B (zh) 2023-10-18 2023-10-18 一种露天矿山道路地形建图方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311345619.1A CN117073664B (zh) 2023-10-18 2023-10-18 一种露天矿山道路地形建图方法

Publications (2)

Publication Number Publication Date
CN117073664A true CN117073664A (zh) 2023-11-17
CN117073664B CN117073664B (zh) 2024-02-20

Family

ID=88713884

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311345619.1A Active CN117073664B (zh) 2023-10-18 2023-10-18 一种露天矿山道路地形建图方法

Country Status (1)

Country Link
CN (1) CN117073664B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117685954A (zh) * 2024-02-01 2024-03-12 中国科学院自动化研究所 一种用于矿区的多模态语义地图构建系统和方法
CN117952823A (zh) * 2024-03-26 2024-04-30 青岛慧拓智能机器有限公司 一种露天矿区坡面顶底线自动提取、分类和更新方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220051475A1 (en) * 2020-08-12 2022-02-17 Datasight Data compression algorithm for processing of point cloud data for digital terrain models (dtm)
WO2023016188A1 (zh) * 2021-08-10 2023-02-16 追觅创新科技(苏州)有限公司 地图的绘制方法和装置、扫地机、存储介质、电子装置
CN116222593A (zh) * 2023-03-13 2023-06-06 北京踏歌智行科技有限公司 一种露天矿区地图众包采集及构建装置
CN116258826A (zh) * 2023-01-05 2023-06-13 北京踏歌智行科技有限公司 一种面向露天矿区的语义地图构建及边界实时提取方法
CN116340307A (zh) * 2023-06-01 2023-06-27 北京易控智驾科技有限公司 坡道图层生成方法和装置、高精度地图及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220051475A1 (en) * 2020-08-12 2022-02-17 Datasight Data compression algorithm for processing of point cloud data for digital terrain models (dtm)
WO2023016188A1 (zh) * 2021-08-10 2023-02-16 追觅创新科技(苏州)有限公司 地图的绘制方法和装置、扫地机、存储介质、电子装置
CN116258826A (zh) * 2023-01-05 2023-06-13 北京踏歌智行科技有限公司 一种面向露天矿区的语义地图构建及边界实时提取方法
CN116222593A (zh) * 2023-03-13 2023-06-06 北京踏歌智行科技有限公司 一种露天矿区地图众包采集及构建装置
CN116340307A (zh) * 2023-06-01 2023-06-27 北京易控智驾科技有限公司 坡道图层生成方法和装置、高精度地图及电子设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JUNHUI WANG, ET AL.: "Terrain Mapping for Autonomous Trucks in Surface Mine", 2022 IEEE 25TH INTERNATIONAL CONFERENCE ON INTELLIGENT TRANSPORTATION SYSTEMS (ITSC), pages 4369 - 4374 *
薛光辉等: "基于激光雷达的煤矿井底车场地图融合构建方法研究", 煤炭科学技术, vol. 51, no. 8, pages 219 - 227 *
陈龙;司译文;田滨;檀祖冰;王永涛;: "基于3D LiDAR的矿山无人驾驶车行驶边界检测", 煤炭学报, no. 06 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117685954A (zh) * 2024-02-01 2024-03-12 中国科学院自动化研究所 一种用于矿区的多模态语义地图构建系统和方法
CN117685954B (zh) * 2024-02-01 2024-05-24 中国科学院自动化研究所 一种用于矿区的多模态语义地图构建系统和方法
CN117952823A (zh) * 2024-03-26 2024-04-30 青岛慧拓智能机器有限公司 一种露天矿区坡面顶底线自动提取、分类和更新方法
CN117952823B (zh) * 2024-03-26 2024-06-14 青岛慧拓智能机器有限公司 一种露天矿区坡面顶底线自动提取、分类和更新方法

Also Published As

Publication number Publication date
CN117073664B (zh) 2024-02-20

Similar Documents

Publication Publication Date Title
CN117073664B (zh) 一种露天矿山道路地形建图方法
CN114842438B (zh) 用于自动驾驶汽车的地形检测方法、系统及可读存储介质
CN109977812B (zh) 一种基于深度学习的车载视频目标检测方法
CN109740465B (zh) 一种基于实例分割神经网络框架的车道线检测算法
US10846874B2 (en) Method and apparatus for processing point cloud data and storage medium
Zai et al. 3-D road boundary extraction from mobile laser scanning data via supervoxels and graph cuts
US9852357B2 (en) Clear path detection using an example-based approach
CN111179152B (zh) 一种道路标识识别方法及装置、介质、终端
US8428305B2 (en) Method for detecting a clear path through topographical variation analysis
US8670592B2 (en) Clear path detection using segmentation-based method
CN105678285A (zh) 一种自适应的道路鸟瞰图变换方法和道路车道检测方法
CN114488073A (zh) 激光雷达采集到的点云数据的处理方法
CN110458050B (zh) 基于车载视频的车辆切入检测方法及装置
CN113759391A (zh) 一种基于激光雷达的可通行区域检测方法
Zhang et al. Filtering photogrammetric point clouds using standard lidar filters towards dtm generation
CN109241855B (zh) 基于立体视觉的智能车辆可行驶区域探测方法
CN112906616A (zh) 一种车道线提取与生成方法
Kühnl et al. Visual ego-vehicle lane assignment using spatial ray features
US20240144594A1 (en) Method for create map using aviation lidar and computer program recorded on record-medium for executing method therefor
Denis et al. Towards road modelling from terrestrial laser points
CN116245996A (zh) 一种矿区非结构化道路的点云渲染方法及系统
CN114170579B (zh) 一种路沿检测方法、装置及汽车
CN113920483A (zh) 道路点云中物体的分类方法、装置、电子设备及存储介质
CN114910881A (zh) 一种负障碍物检测方法及其装置、车辆
Tan et al. Road vehicle detection and classification from very-high-resolution color digital orthoimagery based on object-oriented method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant