CN113192174B - 建图方法、装置及计算机存储介质 - Google Patents
建图方法、装置及计算机存储介质 Download PDFInfo
- Publication number
- CN113192174B CN113192174B CN202110369530.3A CN202110369530A CN113192174B CN 113192174 B CN113192174 B CN 113192174B CN 202110369530 A CN202110369530 A CN 202110369530A CN 113192174 B CN113192174 B CN 113192174B
- Authority
- CN
- China
- Prior art keywords
- similarity
- local
- local maps
- point cloud
- fitting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010276 construction Methods 0.000 title claims description 12
- 238000011156 evaluation Methods 0.000 claims abstract description 67
- 238000000034 method Methods 0.000 claims abstract description 50
- 238000000605 extraction Methods 0.000 claims abstract description 32
- 238000013507 mapping Methods 0.000 claims abstract description 21
- 230000015654 memory Effects 0.000 claims description 20
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000001914 filtration Methods 0.000 claims description 14
- 239000013598 vector Substances 0.000 claims description 13
- 238000004458 analytical method Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 8
- 230000036544 posture Effects 0.000 claims description 7
- 238000010220 Pearson correlation analysis Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000007405 data analysis Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 3
- 208000024891 symptom Diseases 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 206010034701 Peroneal nerve palsy Diseases 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000013209 evaluation strategy Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请提出一种建图方法、装置及计算机存储介质。其中，采用激光雷达获得多个局部地图的点云；根据多个局部地图的点云分别构建局部地图，得到多个局部地图；对多个局部地图的点云进行特征提取和几何特征拟合；根据特征提取的结果和几何特征拟合后的结果对多个局部地图的点云帧进行相似度评价；根据相似度评价结果对多个局部地图进行拼接，获得全局地图。本申请实施例可以采用多个激光雷达同时工作，分别对不同的局部区域进行数据采集，获得局部地图的点云，再根据局部地图的点云进行分析，对局部地图进行拼接得到全局地图，可以提高建图的速度和精度。
Description
技术领域
本申请涉及激光雷达三维重建技术领域，尤其涉及一种建图方法、装置及 计算机存储介质。
背景技术
随着激光雷达技术的快速发展，基于激光雷达的同时定位与地图构建 (SLAM)技术被广泛应用于无人驾驶、环境勘测等领域。激光SLAM通过激 光点云帧间匹配，实现三维地图构建与自身定位。在大型场景机器人建图过程 中，由于数据量的不断增加，加大了系统的计算复杂性和存储压力，且位姿变 换误差也不可避免的累积增大。提高激光SLAM速度和精度，是一项很有意义 且艰巨的任务，尤其是在缺失GNSS/INS信息的大型室内空间中。在复杂情况下，如针对于大型室内环境的灾难救援、灾后勘探，单机器人SLAM系统需要 遍历整个场景，才能完成全局地图构建，且建图速度、精度得不到保障。因此， 开发高效的大型室内场景合作重建技术，对于SLAM发展有着重要的意义。
发明内容
本申请实施例提供一种建图方法、装置及计算机存储介质，以解决相关技 术存在的问题，技术方案如下：
第一方面，本申请实施例提供了一种建图方法，包括：
采用激光雷达获得多个局部地图的点云；
根据多个局部地图的点云分别构建局部地图，得到多个局部地图；
对多个局部地图的点云进行特征提取和几何特征拟合；
根据特征提取的结果和几何特征拟合后的结果对多个局部地图的点云帧进 行相似度评价；
根据相似度评价结果对多个局部地图进行拼接，获得全局地图。
在一种实施方式中，根据多个局部地图的点云分别构建局部地图包括：
点云预处理，计算激光雷达相邻扫描线两点之间的俯仰角，将点云分为地 面点和非地面点；
特征提取，包括计算点云平滑度，根据平滑度阈值提取边角点和平面点；
运动估计，通过匹配前后两帧点云的边角点-边角线、平面点-平面块特征 关系，估计连续两次扫描之间的位姿变换关系；
地图构建，以较低的频率将点云匹配到地图中，并优化位姿变换，得到局 部地图。
在一种实施方式中，对多个局部地图的点云进行特征提取包括：
z轴校准，通过计算地面点法向量与向量(0,0,1)之间的旋转矩阵Rcalib，消 除点云的z轴误差；
点云滤波，采用高度阈值滤波，删除结构特征点云；再对未删除的点云进 行三维体素滤波；
点云降维，将点云沿z轴方向投影，得到二维点云；
欧式聚类，对点云进行分割，剔除对于分析建筑结构没有贡献的聚类点集， 得到室内结构的二维聚类点集。
在一种实施方式中，对多个局部地图的点云进行几何特征拟合包括：墙体 直线lw拟合、墙体弧线aw拟合、单墙角折线pf拟合、多墙角折线pF拟合、柱体 圆弧ac拟合、柱体垂线rc拟合。
在一种实施方式中，根据相似度评价结果对多个局部地图进行拼接，获得 全局地图，包括：
根据相似度评价的结果获得局部地图之间相似度最高的帧对；
基于相似度最高的帧对，确定局部地图之间的重叠区域；
通过重叠区域匹配，对多个局部地图进行拼接，获得全局地图。
在一种实施方式中，根据特征提取的结果和几何特征拟合后的结果对多个 局部地图的点云帧进行相似度评价包括进行属性相似度评价、拓扑结构相似性 评价和ICP评价；
根据相似度评价的结果获得多个局部地图之间相似度最高的帧对包括根据 属性相似度评价、拓扑结构相似性评价和ICP评价的结果提取多个局部地图之 间相似度最高的帧对。
第二方面，本申请实施例提供了一种建图装置，包括：
点云获取模块，用于接收激光雷达获得的多个局部地图的点云；
局部地图构建模块，用于根据多个局部地图的点云分别构建局部地图，得 到多个局部地图；
数据分析模块，用于对多个局部地图的点云进行特征提取和几何特征拟合；
相似度计算模块，用于根据特征提取的结果和几何特征拟合后的结果对多 个局部地图的点云帧进行相似度评价；
地图拼接模块，同于根据相似度评价结果对多个局部地图进行拼接，获得 全局地图。
第三方面，本申请实施例提供了一种电子设备，该电子设备包括：至少一 个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可 被至少一个处理器执行的指令，以使至少一个处理器能够执行上述建图方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存 储介质存储计算机指令，当计算机指令在计算机上运行时，上述各方面任一种 实施方式中的方法被执行。
上述技术方案中的优点或有益效果至少包括：本申请实施例可以采用多个 激光雷达同时工作，分别对不同的局部区域进行数据采集，获得局部地图的点 云，再根据局部地图的点云进行分析，对局部地图进行拼接得到全局地图，可 以提高建图的速度和精度。
上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上 述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描 述，本申请进一步的方面、实施方式和特征将会是容易明白的。
附图说明
在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或 相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图 仅描绘了根据本申请公开的一些实施方式，而不应将其视为是对本申请范围的 限制。
图1为根据本申请一实施例的建图方法的流程示意图。
图2为根据本申请一实施例的几何特征提取过程图；图2A是原始点云； 图2B是点云z轴校准；图2C是点云滤波；图2D是点云降维；图2E是点云 降采样；图2F是聚类分割。
图3为根据本申请一实施例的柱体垂足点提取图。
图4为根据本申请一实施例的点云姿态调整图。
图5为根据本申请一实施例的墙角拐点图。
图6为根据本申请一实施例的地图拼接的流程示意图。
图7为根据本申请一实施例的分布矩阵图。
图8为根据本申请一实施例的多个激光雷达进行扫描的场景示意图。
图9A-图9D为图8的场景下分布矩阵四种情况图。
图10A-图10H为根据本申请一实施例的拓扑结构相似度评价的子分布矩 阵图。
图11为根据本申请一实施例的建图装置的示意图。
图12是用来实现本申请实施例的建图的方法的电子设备的框图；
具体实施方式
在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认 识到的那样，在不脱离本申请的精神或范围的情况下，可通过各种不同方式修 改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。
图1示出根据本申请一实施例的建图方法的流程图。如图1所示，该建图 方法可以包括：
S110：采用激光雷达获得多个局部地图的点云；
S120：根据多个局部地图的点云分别构建局部地图，得到多个局部地图；
S130：对多个局部地图的点云进行特征提取和几何特征拟合；
S140：根据特征提取的结果和几何特征拟合后的结果对多个局部地图的点 云帧进行相似度评价；
S150：根据相似度评价结果对多个局部地图进行拼接，获得全局地图。
本申请实施例可以使用多个激光雷达同时工作，分别获得局部地图的点云。 对局部地图的点云进行处理得到多个局部地图，再进行特征提取和几何特征拟 合后进行相似度评价，根据相似度评价结果对多个局部地图进行拼接，构建全 局地图。
本申请实施例可以采用多个激光雷达同时工作，分别对不同的局部区域进 行数据采集，获得局部地图的点云，再根据局部地图的点云进行分析，对局部 地图进行拼接得到全局地图，可以提高建图的速度和精度。
在一种实施方式中，上述步骤S120中根据多个局部地图的点云分别构建局 部地图包括：
点云预处理，计算激光雷达相邻扫描线两点之间的俯仰角，将点云分为地 面点和非地面点。
举例来说，相邻扫描线的两点记为P(i,j)、P(i+1,j)，两点之间的俯仰角为θpitch。
其中，(Δx,Δy,Δz)为P(i,j)，P(i+1,j)之间的坐标差；可以定义θpitch小于10°的点对， 标记为地面点；θpitch大于等于10°的点对，标记为非地面点。对非地面点进行分 割聚类，并给不同的群集赋予标签；并剔除点数少于30的群集。
特征提取，计算点云平滑度c，根据平滑度阈值提取边角点和平面点。
在一个示例中，点云平滑度c可以采用下式计算获得：
其中Li表示一帧点云数据中的第i条扫描线，r表示点到激光雷达的欧式距 离。根据预设的平滑度阈值提取边角点与平面点；具体地，小于预设的平滑度 阈值的为边角点，大于预设的平滑度阈值的为平面点。
运动估计，通过匹配前后两帧点云的边角点-边角线、平面点-平面块特征 关系，估计连续两次扫描之间的位姿变换关系。
地图构建，以较低的频率将点云匹配到地图中，并优化位姿变换，获得局 部地图。
需要说明的是，本申请实施例中的根据局部地图的点云构建局部地图还可 以采用现有的或者将来的任意可以用于根据激光点云构建地图的方式。
在一种实施方式中，对多个局部地图的点云进行特征提取包括以下至少一 种：
z轴校准，通过计算地面点法向量与向量(0,0,1)之间的旋转矩阵Rcalib，消 除点云的z轴误差；
点云滤波，采用高度阈值滤波，删除结构特征点云；再对未删除的点云进 行三维体素滤波；
点云降维，将点云沿z轴方向投影，得到二维点云；
欧式聚类，对点云进行分割，剔除对于建筑结构没有贡献的聚类点集，得 到室内结构的二维聚类点集。
本申请实施例对多个局部地图的点云进行特征提取，以便对提取出的特征 点进行分析，提高数据分析的效率。
作为一个示例，可以在激光雷达每采集到的10帧点云中提取1帧执行特征 提取操作。通过特征提取获得每帧点云的主要室内几何特征，可以有效筛选出 室内环境中墙体、柱体等结构主要特征的点云，剔除杂质点和对室内结构没有 贡献的点。具体的特征提取过程参见图2A至图2F。
z轴校准，通过计算地面点法向量与向量(0,0,1)之间的旋转矩阵Rcalib，消 除原始点云的z轴误差：
Pcalib＝RcalibP
其中Pcalib为z轴校正后的点云。
点云滤波，首先采用高度阈值滤波，删除空间中的地面、天花板、房梁等 环境结构，然后采用三维体素滤波，将每帧点云中的点减少至数千个：
Pz-filter＝{Pcalib.z|Zmin＜Pcalib.z＜Zmax}
Pf＝Pz-filter voxel_grid1(15×15×15)
其中Zmin和Zmax为高度阈值，Pz-filter是经过高度阈值滤波的点云，voxel_grid1是大小为15×15×15的体素网格，Pf是经过三维体素滤波的点云。
点云降维，将点云沿z轴方向投影，得到二维点云：
P2d＝{P2d|P2d.x＝Pf.x,P2d.x∈[-10,10]；P2d.y＝Pf.y,P2d.y∈[-10,10]；P2d.z＝0}
其中只有激光雷达附近20×20区域内的点，才用于投影，P2d为经过投影得到 的二维点云。
在一个示例中，还包括点云降采样，采用二维网格，将点云中的点减少至 数百个：
其中voxel_grid2是大小为15×15的网格，p是经过降采样的二维点云；
欧式聚类，对点云进行分割，剔除对于建筑结构没有贡献的聚类点集，得 到主要室内结构的二维聚类点集。
在一种实施方式中，对多个局部地图的点云进行几何特征拟合包括：墙体 直线lw拟合、墙体弧线aw拟合、单墙角折线pf拟合、多墙角折线pF拟合、柱体 圆弧ac拟合、柱体垂线rc拟合。
对于特征提取后的聚类点集，将室内结构通过几何形状进行描述。作为一 个示例，可以将几何形状的描述分为六类：墙体直线lw、墙体弧线aw、单墙角 折线pf、多墙角折线pF、柱体圆弧ac、柱体垂线rc。根据预设的几何形状对点云 进行拟合，从而以几何形状描述点云特征，可以提高信息匹配的速度和精度。
具体地，示例性的拟合过程如下：
直线墙体拟合：采用最小二乘法对所有聚类进行直线拟合，将拟合误差小 于误差阈值El的聚类判断为lw。
柱体拟合：对聚类按照点数进行分类，分为点数少于numthr的聚类点集 clusterc和点数超过numthr的聚类点集clusterw；对于clusterc，优先判断其为柱 体结构，柱体拟合由圆弧拟合和垂线拟合两部分组成；首先进行圆弧拟合：采 用最小二乘法对所有聚类进行圆弧拟合，将拟合误差小于误差阈值Ec的聚类判 断为ac；然后进行垂线拟合：对于待拟合聚类点集，提取其垂足点qf、上边界 点qup和下边界点qdown；如图3所示，对于每个垂线聚类点集，其中距离激光 雷达坐标原点最近的点即为垂足点；垂足点亦为聚类点集中的最值点，边界点 提取策略如表1所示。
表1
将柱体垂线拟合视为两次直线拟合；由qf和qup确定的线段l1，斜率为 k(f,up)，由qf和qdown确定的线段l2，斜率为k(f,down)；验证l1和l2之间角度θf：
对于θf介于误差阈值之内的聚类，认为该点云集所表征的几何特征为rc。
墙体弧线拟合：对clusterw以及在直线墙体拟合和柱体拟合中误差较大的聚 类点集进行圆弧拟合，将拟合误差小于误差阈值Ec的聚类判断为aw。
点云姿态调整：为了后续聚类点集中点的排序和拟合，对点云集进行姿态 调整；提取点云帧中的主要线段结构ls(线段或垂线段)，采用其斜率ks作为点 云姿态调整参数。点云姿态调整如图4A和图4B所示，其中图4A为调整前， 图4B为调整后。
墙角拟合对原始无序聚类点按照坐标值大小进行排序；如图5所示，计算 聚类点云集中点的尖锐度Si：
其中为图6中相邻三点所组成的线段；若Si超过尖锐度阈值Sth， 则初步判断点(xi,yi)是拐点；找出所有拐点候选点，按照拐点候选点拟合线段， 若邻近两条线段之间的夹角大小不超过拐点角度阈值θc，则确定该点为拐点； 判断待拟合聚类点云中拐点的个数，若拐点数为1，则该几何特征为pf，若拐 点数大于1，则该几何特征为pF；上述所有步骤拟合效果均较差的聚类点，将 其视为杂质点剔除。
在一种实施方式中，如图6所示，步骤S150包括：
S151：根据相似度评价的结果获得多个局部地图之间相似度最高的帧对；
S152：基于相似度最高的帧对，确定局部地图之间的重叠区域；
S153：通过重叠区域匹配，对多个局部地图进行拼接，获得全局地图。
在一种实施方式中，根据特征提取的结果和几何特征拟合后的结果对多个 局部地图的点云帧进行相似度评价包括进行属性相似度评价、拓扑结构相似性 评价和ICP评价；根据相似度评价的结果获得多个局部地图之间相似度最高的 帧对包括根据属性相似度评价、拓扑结构相似性评价和ICP评价的结果提取多 个局部地图之间相似度最高的帧对。
具体评价过程示例性地说明如下：
属性相似度评价：根据几何特征拟合结果，构建几何特征属性向量： Gvector＝[a,b,c,d,e,f]。其中，a代表lw特征数量，b代表aw特征数量，c代表pf特征数量， d代表pF特征数量，e代表ac特征数量，f代表rc特征数量；对于待评价的两帧， 根据它们的几何特征拟合结果，分别构建几何特征属性向量X和Y：
X＝[x1,x2,x3,x4,x5,x6]，Y＝[y1,y2,y3,y4,y5,y6]
采用皮尔逊相关性分析以及几何特征存在性分析判断两帧点云几何形状属 性的相似性：
Pav＝aρX,Y+bσX,Y
其中ρX,Y为皮尔逊相关性分析得分，σX,Y为几何特征存在性分析得分，a和b 为权重参数，Pav为属性相似度评价的最终得分；保留属性相似度评分排名前 15％的帧对，用于拓扑结构相似度评价。
拓扑结构相似度评价：首先进行几何特征方向相似性评价，采用定性描述 方法概略描述方向关系；将同一帧线段特征之间的方向关系描述为平行、垂直 (80°～100°)和相交三个方向属性；保留方向属性相同的待选帧对；然后进 行几何特征分布相似性评价，构建分布矩阵，如图7所示，采用5×5的分布矩 阵来表征每一个待评价的几何特征图；在同一区域，机器人所探测到的分布矩 阵共有四种可能性，如图8和图9所示。对于待评价的两个分布矩阵Ed1和Ed2， 首先确定主要几何特征在各自分布矩阵中的位置，调整分布矩阵姿态，使得两 个分布矩阵中的主要几何特征出现在相近的矩阵索引位置；然后计算Ed1与Ed2之间的分布相似性评分：
由于机器人(搭载激光雷达的机器人)在经过相同区域时的位姿不是完全 重合的，所以它们观测得到的分布矩阵不一定完全相同；分析Ed1和Ed2中子区域 的分布相似性，如图10A至图10H所示，拓扑结构相似性分析对子区域的相似 性进行评价：
将按照相应的权重融合到一起，得到分布相似性评价方 法为：
其中Pdv为拓扑结构相似度评价最终评分，保留得分排名前10的帧对用于 ICP评价。
ICP评价：在筛选出的10个帧对中搜索最相似的帧对。
本申请实施例中基于几何特征的点云帧相似度评价通过三步评价方法逐步 提取局部地图之间相似度最高的帧对；通过该方法搜索局部地图之间的重叠区 域，速度快，鲁棒性高。
根据局部地图之间的相似度最高的帧对，确定重叠区域。基于该重叠区域 对局部地图进行拼接。根据重叠区域，匹配局部地图的大小，并拼接；依次拼 接多个局部地图，得到全局地图。
具体地，在重叠区域拼接局部地图，在最相似帧对附近20×20范围内选择 相似度较高的帧对；通过调整两个局部地图大小，得到点云配准误差达到最小 时的地图变换矩阵T1 2，进行拼接。
本申请实施例提取两个局部地图之间最相似的帧对，采用了属性相似度评 估、拓扑相似度评估和ICP评估三步渐进的提取策略；该方法利用点云的几何 特征，加快了相似帧的提取速度；ICP评估保证了提取的准确性；三步评价策 略提高了系统的鲁棒性和效率。
图11示出根据本申请一实施例的建图装置的结构框图。如图11所示，该 装置可以包括：
点云获取模块801，用于接收激光雷达获得的多个局部地图的点云；
局部地图构建模块802，用于根据多个局部地图的点云分别构建局部地图， 得到多个局部地图；
数据分析模块803，用于对多个局部地图的点云进行特征提取和几何特征 拟合；
相似度计算模块804，用于根据特征提取的结果和几何特征拟合后的结果 对多个局部地图的点云帧进行相似度评价；
地图拼接模块805，同于根据相似度评价结果对多个局部地图进行拼接， 获得全局地图。
本申请实施例各装置中的各模块的功能可以参见上述方法中的对应描述， 在此不再赘述。
图12示出根据本申请一实施例的电子设备的结构框图。如图12所示，该 电子设备包括：存储器910和处理器920，存储器910内存储有可在处理器920 上运行的指令。处理器920执行该指令时实现上述实施例中的建图方法。存储 器910和处理器920的数量可以为一个或多个。该电子设备旨在表示各种形式 的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以 表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿 戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它 们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的 实现。
该电子设备还可以包括通信接口930，用于与外界设备进行通信，进行数 据交互传输。各个设备利用不同的总线互相连接，并且可以被安装在公共主板 上或者根据需要以其它方式安装。处理器920可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如， 耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使 用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作 为服务器阵列、一组刀片式服务器、或者多处理器系统)。该总线可以分为地址 总线、数据总线、控制总线等。为便于表示，图12中仅用一条粗线表示，但并 不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器910、处理器920及通信接口930集 成在一块芯片上，则存储器910、处理器920及通信接口930可以通过内部接 口完成相互间的通信。
应理解的是，上述处理器可以是中央处理器(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processing，DSP)、 专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者 晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者是任何常 规的处理器等。值得说明的是，处理器可以是支持进阶精简指令集机器 (advanced RISC machines，ARM)架构的处理器。
本申请实施例提供了一种计算机可读存储介质(如上述的存储器910)，其 存储有计算机指令，该程序被处理器执行时实现本申请实施例中提供的方法。
可选的，存储器910可以包括存储程序区和存储数据区，其中，存储程序 区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据 建图的电子设备的使用所创建的数据等。此外，存储器910可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器 件、或其他非瞬时固态存储器件。在一些实施例中，存储器910可选包括相对 于处理器920远程设置的存储器，这些远程存储器可以通过网络连接至建图的 电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具 体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结 构、材料或者特点包括于本申请的至少一个实施例或示例中。而且，描述的具 体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中 描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相 对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二” 的特征可以明示或隐含地包括至少一个该特征。在本申请的描述中，“多个”的 含义是两个或两个以上，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表 示包括一个或多个(两个或两个以上)用于实现特定逻辑功能或过程的步骤的 可执行指令的代码的模块、片段或部分。并且本申请的优选实施方式的范围包 括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按 基本同时的方式或按相反的顺序，来执行功能。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认 为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机 可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处 理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统) 使用，或结合这些指令执行系统、装置或设备而使用。
应理解的是，本申请的各部分可以用硬件、软件、固件或它们的组合来实 现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指 令执行系统执行的软件或固件来实现。上述实施例方法的全部或部分步骤是可 以通过程序来指令相关的硬件完成，该程序可以存储于一种计算机可读存储介 质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中， 也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块 中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的 形式实现。上述集成的模块如果以软件功能模块的形式实现并作为独立的产品 销售或使用时，也可以存储在一个计算机可读存储介质中。该存储介质可以是 只读存储器，磁盘或光盘等。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于 此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到 其各种变化或替换，这些都应涵盖在本申请的保护范围之内。因此，本申请的 保护范围应以权利要求的保护范围为准。
Claims (8)
1.一种建图方法，其特征在于，包括：
采用多个激光雷达分别对对应的局部区域进行扫描，获得多个局部地图的点云；
根据所述多个局部地图的点云分别构建局部地图，得到多个局部地图；
对所述多个局部地图的点云进行特征提取和几何特征拟合；
根据所述特征提取的结果和几何特征拟合后的结果对所述多个局部地图的点云帧进行相似度评价；其中，相似度评价依次包括：属性相似度评价、拓扑结构相似性评价和ICP评价；具体包括如下步骤：
属性相似度评价：对于待评价的两帧点云，根据它们的几何特征拟合结果，分别构建几何特征属性向量X和Y；采用皮尔逊相关性分析以及几何特征存在性分析判断两帧点云几何形状属性的相似性：保留属性相似度评分排名前15％的帧对，用于拓扑结构相似度评价；
拓扑结构相似性评价：
将同一帧线段特征之间的方向关系描述为平行、垂直和相交三个方向属性；保留方向属性相同的待选帧对；
进行几何特征分布相似性评价，构建分布矩阵；
对于待评价的两个分布矩阵Ed1和Ed2，首先确定主要几何特征在各自分布矩阵中的位置，调整分布矩阵姿态，使得两个分布矩阵中的主要几何特征出现在相近的矩阵索引位置；然后计算Ed1与Ed2之间的分布相似性评分；保留得分排名前10的帧对用于ICP评价；
ICP评价：在筛选出的10个帧对中，确定相似度最高的帧对；
根据所述相似度评价结果对所述多个局部地图进行拼接，获得全局地图。
2.根据权利要求1所述的方法，其特征在于，所述根据所述多个局部地图的点云分别构建局部地图包括：
点云预处理，计算激光雷达相邻扫描线两点之间的俯仰角，将点云分为地面点和非地面点；
特征提取，计算点云平滑度，根据平滑度阈值提取边角点和平面点；
运动估计，通过匹配前后两帧点云的边角点-边角线、平面点-平面块特征关系，估计连续两次扫描之间的位姿变换关系；
地图构建，以较低的频率将点云匹配到地图中，并优化位姿变换，得到局部地图。
3.根据权利要求1所述的方法，其特征在于，所述对所述多个局部地图的点云进行特征提取包括以下至少一种：
z轴校准，通过计算地面点法向量与向量(0,0,1)之间的旋转矩阵Rcalib，消除点云的z轴误差；
点云滤波，采用高度阈值滤波，删除结构特征点云；再对未删除的点云进行三维体素滤波；
点云降维，将点云沿z轴方向投影，得到二维点云；
欧式聚类，对点云进行分割，剔除对于分析建筑结构没有贡献的聚类点集，得到室内结构的二维聚类点集。
4.根据权利要求1所述的方法，其特征在于，所述对所述多个局部地图的点云进行几何特征拟合包括：墙体直线lw拟合、墙体弧线aw拟合、单墙角折线pf拟合、多墙角折线pF拟合、柱体圆弧ac拟合、柱体垂线rc拟合。
5.根据权利要求2所述的方法，其特征在于，所述根据所述相似度评价结果对所述多个局部地图进行拼接，获得全局地图，包括：
根据所述相似度评价的结果获得局部地图之间相似度最高的帧对；
基于所述相似度最高的帧对，确定局部地图之间的重叠区域；
通过重叠区域匹配，对所述多个局部地图进行拼接，获得全局地图。
6.一种建图装置，其特征在于，包括：
点云获取模块，用于接收多个激光雷达分别对对应的局部区域进行扫描，获得的多个局部地图的点云；
局部地图构建模块，用于根据所述多个局部地图的点云分别构建局部地图，得到多个局部地图；
数据分析模块，用于对所述多个局部地图的点云进行特征提取和几何特征拟合；
相似度计算模块，用于根据所述特征提取的结果和几何特征拟合后的结果对所述多个局部地图的点云帧进行相似度评价；其中，相似度评价依次包括：属性相似度评价、拓扑结构相似性评价和ICP评价；具体包括如下步骤：
属性相似度评价：对于待评价的两帧点云，根据它们的几何特征拟合结果，分别构建几何特征属性向量X和Y；采用皮尔逊相关性分析以及几何特征存在性分析判断两帧点云几何形状属性的相似性：保留属性相似度评分排名前15％的帧对，用于拓扑结构相似度评价；
拓扑结构相似性评价：
将同一帧线段特征之间的方向关系描述为平行、垂直和相交三个方向属性；保留方向属性相同的待选帧对；
进行几何特征分布相似性评价，构建分布矩阵；
对于待评价的两个分布矩阵Ed1和Ed2，首先确定主要几何特征在各自分布矩阵中的位置，调整分布矩阵姿态，使得两个分布矩阵中的主要几何特征出现在相近的矩阵索引位置；然后计算Ed1与Ed2之间的分布相似性评分；保留得分排名前10的帧对用于ICP评价；
ICP评价：在筛选出的10个帧对中，确定相似度最高的帧对；
地图拼接模块，同于根据所述相似度评价结果对所述多个局部地图进行拼接，获得全局地图。
7.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任一项所述的方法。
8.一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机指令，所述计算机指令被处理器执行时实现如权利要求1-5中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110369530.3A CN113192174B (zh) | 2021-04-06 | 2021-04-06 | 建图方法、装置及计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110369530.3A CN113192174B (zh) | 2021-04-06 | 2021-04-06 | 建图方法、装置及计算机存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113192174A CN113192174A (zh) | 2021-07-30 |
| CN113192174B true CN113192174B (zh) | 2024-03-26 |
Family
ID=76975064
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110369530.3A Active CN113192174B (zh) | 2021-04-06 | 2021-04-06 | 建图方法、装置及计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113192174B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113776517A (zh) * | 2021-09-03 | 2021-12-10 | Oppo广东移动通信有限公司 | 地图生成方法、装置、系统、存储介质及电子设备 |
| CN116755065B (zh) * | 2023-08-23 | 2023-11-10 | 深圳玩智商科技有限公司 | 一种固态激光雷达结构及其扫描建图方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111508021A (zh) * | 2020-03-24 | 2020-08-07 | 广州视源电子科技股份有限公司 | 一种位姿确定方法、装置、存储介质及电子设备 |
| CN111735479A (zh) * | 2020-08-28 | 2020-10-02 | 中国计量大学 | 一种多传感器联合标定装置及方法 |
| CN111932614A (zh) * | 2020-07-06 | 2020-11-13 | 清华大学 | 一种基于聚类中心特征的激光雷达即时定位与建图方法 |
| CN111968229A (zh) * | 2020-06-28 | 2020-11-20 | 北京百度网讯科技有限公司 | 高精度地图制图方法及装置 |
| WO2020233724A1 (zh) * | 2019-05-23 | 2020-11-26 | 全球能源互联网研究院有限公司 | 一种基于视觉slam的电网作业环境地图的构建方法及系统 |
| CN112347550A (zh) * | 2020-12-07 | 2021-02-09 | 厦门大学 | 耦合式室内三维语义建图及建模方法 |
| CN112507056A (zh) * | 2020-12-21 | 2021-03-16 | 华南理工大学 | 一种基于视觉语义信息的地图构建方法 |
-
2021
- 2021-04-06 CN CN202110369530.3A patent/CN113192174B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020233724A1 (zh) * | 2019-05-23 | 2020-11-26 | 全球能源互联网研究院有限公司 | 一种基于视觉slam的电网作业环境地图的构建方法及系统 |
| CN111508021A (zh) * | 2020-03-24 | 2020-08-07 | 广州视源电子科技股份有限公司 | 一种位姿确定方法、装置、存储介质及电子设备 |
| CN111968229A (zh) * | 2020-06-28 | 2020-11-20 | 北京百度网讯科技有限公司 | 高精度地图制图方法及装置 |
| CN111932614A (zh) * | 2020-07-06 | 2020-11-13 | 清华大学 | 一种基于聚类中心特征的激光雷达即时定位与建图方法 |
| CN111735479A (zh) * | 2020-08-28 | 2020-10-02 | 中国计量大学 | 一种多传感器联合标定装置及方法 |
| CN112347550A (zh) * | 2020-12-07 | 2021-02-09 | 厦门大学 | 耦合式室内三维语义建图及建模方法 |
| CN112507056A (zh) * | 2020-12-21 | 2021-03-16 | 华南理工大学 | 一种基于视觉语义信息的地图构建方法 |
Non-Patent Citations (6)
| Title |
|---|
| "基于单目视觉的工业机器人末端轨迹测量方法";罗哉等;《组合机床与自动化加工技术》;第60-64页 * |
| "Application of a Vision-Based Single Target on Robot Positioning System";Jing Yu et al.;《Sensors》;第1-23页 * |
| "Simultaneously merging multi-robot grid maps at different resolutions";Zutao Jiang et al.;《Multimedia Tools and Applications》;第1-20页 * |
| "地面三维激光扫描点云数据处理及建模";杨希等;《软件》;第230-233页 * |
| "基于三维激光的移动机器人SLAM算法研究";倪志康;《中国优秀硕士学位论文全文数据库信息科技辑》;第8-16页 * |
| 倪志康."基于三维激光的移动机器人SLAM算法研究".《中国优秀硕士学位论文全文数据库信息科技辑》.2021,第8-16页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113192174A (zh) | 2021-07-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220028163A1 (en) | Computer Vision Systems and Methods for Detecting and Modeling Features of Structures in Images | |
| Xu et al. | Pairwise coarse registration of point clouds in urban scenes using voxel-based 4-planes congruent sets | |
| CN109544677B (zh) | 基于深度图像关键帧的室内场景主结构重建方法及系统 | |
| Borrmann et al. | The 3d hough transform for plane detection in point clouds: A review and a new accumulator design | |
| Murali et al. | Indoor Scan2BIM: Building information models of house interiors | |
| US9633281B2 (en) | Point cloud matching method | |
| CN113192174B (zh) | 建图方法、装置及计算机存储介质 | |
| CN114526739B (zh) | 移动机器人室内重定位方法、计算机装置及产品 | |
| Han et al. | CAD-based 3D objects recognition in monocular images for mobile augmented reality | |
| Wei et al. | Automatic coarse registration of point clouds using plane contour shape descriptor and topological graph voting | |
| CN112927353A (zh) | 基于二维目标检测和模型对齐的三维场景重建方法、存储介质及终端 | |
| CN114120149B (zh) | 一种倾斜摄影测量建筑物特征点提取方法、装置、电子设备及介质 | |
| GB2566443A (en) | Cross-source point cloud registration | |
| CN111915517A (zh) | 一种适用于室内光照不利环境下rgb-d相机全局定位方法 | |
| Nguatem et al. | Modeling urban scenes from pointclouds | |
| CN112836698A (zh) | 一种定位方法、装置、存储介质及电子设备 | |
| Sun et al. | Oriented point sampling for plane detection in unorganized point clouds | |
| CN114332134A (zh) | 一种基于密集点云的建筑物立面提取方法和装置 | |
| CN113689535A (zh) | 基于无人机影像的建筑物模型的生成方法和装置 | |
| CN113160401A (zh) | 一种面向物体的视觉slam轻量化语义地图创建方法 | |
| Zhao et al. | Completing point clouds using structural constraints for large-scale points absence in 3D building reconstruction | |
| CN112085842B (zh) | 深度值确定方法及装置、电子设备和存储介质 | |
| CN115239899B (zh) | 位姿图生成方法、高精地图生成方法和装置 | |
| CN116309882A (zh) | 一种面向无人叉车应用的托盘检测和定位方法及系统 | |
| CN116721230A (zh) | 一种三维实景模型的构建方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Jiang Wensong Inventor after: Zhu Zhiyuan Inventor after: Luo Zai Inventor after: Guo Bin Inventor after: Lu Yi Inventor after: Fan Weijun Inventor after: Wang Xueying Inventor after: Hu Xiaofeng Inventor before: Jiang Wensong Inventor before: Du Liangya Inventor before: Luo Zai Inventor before: Guo Bin Inventor before: Lu Yi Inventor before: Fan Weijun Inventor before: Hu Xiaofeng Inventor before: Wang Xueying |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |