CN112347550B - 耦合式室内三维语义建图及建模方法 - Google Patents

耦合式室内三维语义建图及建模方法 Download PDF

Info

Publication number
CN112347550B
CN112347550B CN202011417892.7A CN202011417892A CN112347550B CN 112347550 B CN112347550 B CN 112347550B CN 202011417892 A CN202011417892 A CN 202011417892A CN 112347550 B CN112347550 B CN 112347550B
Authority
CN
China
Prior art keywords
point cloud
semantic
pose
initial
cloud map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011417892.7A
Other languages
English (en)
Other versions
CN112347550A (zh
Inventor
王程
檀锦彬
温程璐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University
Original Assignee
Xiamen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University filed Critical Xiamen University
Priority to CN202011417892.7A priority Critical patent/CN112347550B/zh
Publication of CN112347550A publication Critical patent/CN112347550A/zh
Application granted granted Critical
Publication of CN112347550B publication Critical patent/CN112347550B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/13—Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/04—Constraint-based CAD

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Architecture (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种耦合式室内三维语义建图及建模方法和介质，其中方法包括：获取初始点云数据；提取特征点，并估计初始数据帧对应的位姿，以及根据位姿生成局部点云地图；生成训练数据集；基于深度神经网络和训练数据集对局部点云地图进行语义标注，并将将局部点云地图的语义标注结果反馈到该初始数据帧中；对位姿进行优化以得到第一位姿优化结果；提取语义结构面，并与全局平面进行关联；进行非线性优化，以得到第二位姿优化结果；生成最终点云地图、语义点云地图和建筑物内部语义线结构模型。能够准确地重建出室内环境的语义点云地图和内部线框结构模型；同时，防止在进行基于激光的移动扫描时，因采集平台的剧烈运动而丢失位姿估计。

Description

耦合式室内三维语义建图及建模方法
技术领域
本发明涉及室内三维数字化技术领域，特别涉及一种耦合式室内三维语义建图及建模方法和一种计算机可读存储介质。
背景技术
随着智慧城市时代的到来，获取和更新日益增加的大型建筑物的数字化信息的需求越来越大。
相关技术中，对大规模室内环境进行数字化多采用基于视觉、激光或结构光测距的传感器进行测量；然而，现有的测量方式中，其重建出的点云地图无语义信息，需要后续进行语义分割，这一工作将耗费大量的人力物力；并且，在进行基于激光的移动扫描时，容易因采集平台的剧烈运动而导致位姿估计的丢失。
发明内容
本发明旨在至少在一定程度上解决上述技术中的技术问题之一。为此，本发明的一个目的在于提出一种耦合式室内三维语义建图及建模方法，能够准确地重建出室内环境的语义点云地图和内部线框结构模型，降低建图与建模过程所需耗费的人力物力；同时，防止在进行基于激光的移动扫描时，因采集平台的剧烈运动而丢失位姿估计。
本发明的第二个目的在于提出一种计算机可读存储介质。
为达到上述目的，本发明第一方面实施例提出了一种耦合式室内三维语义建图及建模方法，包括以下步骤：获取激光雷达扫描得到的原始点云数据，并对所述原始点云数据进行预处理，以得到初始点云数据；提取所述初始点云数据中每个初始数据帧对应的特征点，并根据所述特征点估计该初始数据帧对应的位姿，以及根据所述位姿生成局部点云地图；获取原始静态语义数据集，并对所述原始静态语义数据集进行噪声处理，以及根据所述局部点云地图进行误差模拟，以便根据噪声处理后的原始静态语义数据集和误差模拟结果生成训练数据集；基于深度神经网络和所述训练数据集对局部点云地图中的每个点进行语义标注，并将初始点云数据中的初始数据帧变换到局部点云地图的坐标系下，以及根据八叉树搜索将局部点云地图的语义标注结果反馈到该初始数据帧中；根据初始数据帧对应的语义标注结果对其位姿进行优化，以得到第一位姿优化结果；根据语义标注结果对初始数据帧中的点进行分类，并根据主成分分析法提取该初始数据帧中的语义结构面，以及将所述语义结构面与全局平面进行关联；根据关联结果对第一位姿优化结果进行结构约束的非线性优化，以得到第二位姿优化结果；根据所述第二位姿优化结果生成最终点云地图、语义点云地图和建筑物内部语义线结构模型。
根据本发明实施例的耦合式室内三维语义建图及建模方法，首先，获取激光雷达扫描得到的原始点云数据，并对所述原始点云数据进行预处理，以得到初始点云数据；接着，提取所述初始点云数据中每个初始数据帧对应的特征点，并根据所述特征点估计该初始数据帧对应的位姿，以及根据所述位姿生成局部点云地图；然后，获取原始静态语义数据集，并对所述原始静态语义数据集进行噪声处理，以及根据所述局部点云地图进行误差模拟，以便根据噪声处理后的原始静态语义数据集和误差模拟结果生成训练数据集；接着，基于深度神经网络和所述训练数据集对局部点云地图中的每个点进行语义标注，并将初始点云数据中的初始数据帧变换到局部点云地图的坐标系下，以及根据八叉树搜索将局部点云地图的语义标注结果反馈到该初始数据帧中；然后，根据初始数据帧对应的语义标注结果对其位姿进行优化，以得到第一位姿优化结果；接着，根据语义标注结果对初始数据帧中的点进行分类，并根据主成分分析法提取该初始数据帧中的语义结构面，以及将所述语义结构面与全局平面进行关联；然后，根据关联结果对第一位姿优化结果进行结构约束的非线性优化，以得到第二位姿优化结果；接着，根据所述第二位姿优化结果生成最终点云地图、语义点云地图和建筑物内部语义线结构模型；从而实现准确地重建出室内环境的语义点云地图和内部线框结构模型，降低建图与建模过程所需耗费的人力物力；同时，防止在进行基于激光的移动扫描时，因采集平台的剧烈运动而丢失位姿估计。
另外，根据本发明上述实施例提出的耦合式室内三维语义建图及建模方法还可以具有如下附加的技术特征：
可选地，对所述原始点云数据进行预处理，以得到初始点云数据，包括：根据预设帧数对所述原始点云数据中的原始数据帧进行跳帧，以确定待保留帧，并判断该待保留帧中的点数是否小于预设的点数阈值，以及在判断结果为是时跳过该待保留帧，以对原始点云数据进行初步筛选；对初步筛选后的原始点云数据进行三维体素滤波，以得到初始点云数据。
可选地，提取所述初始点云数据中每个初始数据帧对应的特征点，并根据所述特征点估计该初始数据帧对应的位姿，以及根据所述位姿生成局部点云地图，包括：计算所述初始点云数据中任意一个初始数据帧的每个点所对应的雷达线束，并计算任意一条雷达线束中每个点所对应的曲率，以及根据该雷达线束中所有点对应的曲率确定该雷达线束对应的特征点；计算所述初始数据帧中每个特征点对应的配准误差，并对所述配准误差进行累积以形成方程组，以及通过非线性优化最小化所有配准误差，以估计所述初始数据帧对应的位姿；根据所述位姿将该初始数据帧对应的特征点添加到特征点云地图中，以便根据所述初始点云数据中的所有初始数据帧对应的特征点形成最终特征点云地图；根据所述位姿将初始点云数据中的每个初始数据帧累积到初始点云地图中，并根据所述初始点云地图生成局部点云地图。
可选地，获取原始静态语义数据集，并对所述原始静态语义数据集进行噪声处理，以及根据所述局部点云地图进行误差模拟，以便根据噪声处理后的原始静态语义数据集和误差模拟结果生成训练数据集，包括：获取原始静态语义数据集，并对所述原始静态语义数据集进行噪声处理；获取任意一个局部点云地图所对应的位姿序列，并根据所述位姿序列生成待处理位姿序列，以及根据指数映射将待处理位姿序列中每个位姿的旋转向量映射到流形空间中，以得到三维向量，并根据该三维向量进行误差模拟；根据误差模拟结果生成带有误差的局部点云数据，并根据所述局部点云数据和噪声处理后的原始静态语义数据生成训练数据集。
可选地，雷达线束中点对应的曲率根据以下公式计算：
Figure GDA0003562973380000031
其中，c表示点对应的曲率，pi表示第i个点，S表示点pi的邻居点总数，pj表示pi的邻居点。
可选地，根据以下公式计算每个特征点对应的配准误差：
Figure GDA0003562973380000032
Figure GDA0003562973380000033
其中，dline,dplane分别表示线特征点和面特征点对应的误差项，其中，
Figure GDA0003562973380000034
表示第i个线特征点，
Figure GDA0003562973380000035
和
Figure GDA0003562973380000036
是
Figure GDA0003562973380000037
在特征点云地图中最近的两个邻居点；
Figure GDA0003562973380000038
表示第i个面特征点，
Figure GDA0003562973380000039
和
Figure GDA00035629733800000310
是在特征点云地图中最近的三个邻居点。
可选地，根据以下公式进行误差模拟：
Figure GDA00035629733800000311
Figure GDA0003562973380000041
其中，Tk+j表示待模拟出错序列中的第j个位姿，(*)∧表示把三维向量转换为反对称矩阵的运算，Δφj,Δtj表示Tk+j对应的误差分量，Δφ,Δt表示待模拟出错序列的误差分量。
可选地，根据以下公式进行第一位姿优化结果的计算：
Figure GDA0003562973380000042
Figure GDA0003562973380000043
其中，wc表示语义权重，pj点表示pi点在地图中的对应点，
Figure GDA0003562973380000044
分别是pi,pj的语义标签，P(yc|i)表示置信度，ESemantic表示优化时所使用的语义约束下的误差项，T表示待优化位姿，Fs表示两个特征点云中的匹配点，
Figure GDA0003562973380000045
和
Figure GDA0003562973380000046
表示点与其周围邻近点计算得到的协方差矩阵，d表示以欧氏空间距离作为误差度量。
可选地，根据以下公式将所述语义结构面与全局平面进行关联：
Figure GDA0003562973380000047
其中，ws表示结构权重，
Figure GDA0003562973380000048
表示ws对应的三维向量，θ表示当前的语义结构面的法向量和任意一个全局建筑结构面的法向量之间的夹角大小；σθ表示结构权重的阈值。
为达到上述目的，本发明第二方面实施例提出了一种计算机可读存储介质，其上存储有耦合式室内三维语义建图与建模程序，该耦合式室内三维语义建图与建模程序被处理器执行时实现如上述的耦合式室内三维语义建图及建模方法。
根据本发明实施例的计算机可读存储介质，通过存储耦合式室内三维语义建图与建模程序，以使得处理器在执行该耦合式室内三维语义建图与建模程序时，实现如上述的耦合式室内三维语义建图及建模方法，从而实现准确地重建出室内环境的语义点云地图和内部线框结构模型，降低建图与建模过程所需耗费的人力物力；同时，防止在进行基于激光的移动扫描时，因采集平台的剧烈运动而丢失位姿估计。
附图说明
图1为根据本发明实施例的耦合式室内三维语义建图及建模方法的流程示意图；
图2为根据本发明实施例的激光点空间关系示意图；
图3为根据本发明实施例的特征点获取结果示意图；
图4为根据本发明实施例的不同训练数据集对应的结果示意图；
图5为根据本发明实施例的初始数据帧语义标签赋值过程示意图；
图6为根据本发明实施例的全局点云地图优化结果对比示意图；
图7为根据本发明实施例的在线耦合语义建图结果对比示意图；
图8为根据本发明实施例的边界语义结构面示意图；
图9为根据本发明实施例的线结构生成过程示意图；
图10为根据本发明实施例的最终点云地图、语义点云地图和建筑物内部语义线结构模型的生成结果示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
相关技术中，进行语义分割将耗费大量的人力物力，并且，在进行基于激光的移动扫描时，容易因采集平台的剧烈运动而导致位姿估计的丢失；根据本发明实施例的耦合式室内三维语义建图及建模方法，首先，获取激光雷达扫描得到的原始点云数据，并对所述原始点云数据进行预处理，以得到初始点云数据；接着，提取所述初始点云数据中每个初始数据帧对应的特征点，并根据所述特征点估计该初始数据帧对应的位姿，以及根据所述位姿生成局部点云地图；然后，获取原始静态语义数据集，并对所述原始静态语义数据集进行噪声处理，以及根据所述局部点云地图进行误差模拟，以便根据噪声处理后的原始静态语义数据集和误差模拟结果生成训练数据集；接着，基于深度神经网络和所述训练数据集对局部点云地图中的每个点进行语义标注，并将初始点云数据中的初始数据帧变换到局部点云地图的坐标系下，以及根据八叉树搜索将局部点云地图的语义标注结果反馈到该初始数据帧中；然后，根据初始数据帧对应的语义标注结果对其位姿进行优化，以得到第一位姿优化结果；接着，根据语义标注结果对初始数据帧中的点进行分类，并根据主成分分析法提取该初始数据帧中的语义结构面，以及将所述语义结构面与全局平面进行关联；然后，根据关联结果对第一位姿优化结果进行结构约束的非线性优化，以得到第二位姿优化结果；接着，根据所述第二位姿优化结果生成最终点云地图、语义点云地图和建筑物内部语义线结构模型；从而实现准确地重建出室内环境的语义点云地图和内部线框结构模型，降低建图与建模过程所需耗费的人力物力；同时，防止在进行基于激光的移动扫描时，因采集平台的剧烈运动而丢失位姿估计。
为了更好的理解上述技术方案，下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
图1为根据本发明实施例的耦合式室内三维语义建图及建模方法，如图1所示，该耦合式室内三维语义建图及建模方法包括以下步骤：
S101，获取激光雷达扫描得到的原始点云数据，并对原始点云数据进行预处理，以得到初始点云数据。
其中，对原始点云数据进行处理以得到初始点云数据的方式可以有多种。
在一些实施例中，对原始点云数据进行预处理，以得到初始点云数据，包括：
根据预设帧数对原始点云数据中的原始数据帧进行跳帧，以确定待保留帧，并判断该待保留帧中的点数是否小于预设的点数阈值，以及在判断结果为是时跳过该待保留帧，以对原始点云数据进行初步筛选；对初步筛选后的原始点云数据进行三维体素滤波，以得到初始点云数据。
即言，通过跳帧的方式来减少冗余数据，并降低计算量；同时，通过三维体素滤波来降低点云密度，同时减少后续配准阶段的计算量。
S102,提取初始点云数据中每个初始数据帧对应的特征点，并根据特征点估计该初始数据帧对应的位姿，以及根据位姿生成局部点云地图。
也就是说，提取初始点云数据中每个初始数据帧对应的特征点，然后，根据每个初始数据帧对应的特征点计算该初始数据帧对应的位姿；得到位姿之后，根据所有初始数据帧对应的位姿生成初始点云地图，进而可以根据初始点云地图和相应的预设帧数生成局部点云地图。
在一些实施例中，提取初始点云数据中每个初始数据帧对应的特征点，并根据特征点估计该初始数据帧对应的位姿，以及根据位姿生成局部点云地图，包括：计算初始点云数据中任意一个初始数据帧的每个点所对应的雷达线束，并计算任意一条雷达线束中每个点所对应的曲率，以及根据该雷达线束中所有点对应的曲率确定该雷达线束对应的特征点；计算初始数据帧中每个特征点对应的配准误差，并对配准误差进行累积以形成方程组，以及通过非线性优化最小化所有配准误差，以估计初始数据帧对应的位姿；根据位姿将该初始数据帧对应的特征点添加到特征点云地图中，以便根据初始点云数据中的所有初始数据帧对应的特征点形成最终特征点云地图；根据位姿将初始点云数据中的每个初始数据帧累积到初始点云地图中，并根据初始点云地图生成局部点云地图。
作为一种示例，首先，对于初始点云数据中任意一个初始数据帧的每一个点pi，根据以下公式计算该点属于激光雷达的哪一条雷达线束：
LID＝range((θpitch-θlowest)/θresolution)
Figure GDA0003562973380000071
其中LID表示线束编号，range(*)表示限制线束号在合法范围内，是为了避免一些噪声点带来的错误；θpitgch表示激光点与地平面的俯仰角(参照图2所示)；θlowest表示激光雷达的最低视场角，θresolution表示激光雷达的垂直分辨率，这两个参数都可以从激光雷达的出厂说明书中获取；表示将弧度转换为角度，限制角度的范围在-90°到90°之间；pi＝[px,py,pz]表示当前计算线束号的激光点的三维坐标。
接着，在计算得到每个点对应的雷达线束之后，对于任意一条雷达线束，计算其上每个点所对应的曲率，该曲率根据以下公式计算：
Figure GDA0003562973380000072
其中c表示曲率，S表示激光点pi的邻居点总数，pj表示pi的某个邻居点。
然后，根据曲率把该雷达线束均与划分为多个区域，每个区域中的点根据曲率大小进行排序；接着，根据预设的阈值将多个区域划分为两个部分，在小于阈值的部分中，选择其中曲率最小的M个点作为面特征点；而大于阈值的部分，选择其中曲率最大的点作为险特征；特征点提取结果如图3所示。
接着，将获取到的特征点在特征点云地图(这个地图指的是由每一帧的几何特征点通过坐标变换，逐渐累积形成的地图；这里用到的坐标变换在后面称为位姿，对于每一个激光点云帧都有一个对应的位姿，在程序开始时为它设置一个初值，在随后的非线性优化中会不断更新)中通过KD树找到最近的对应点，并根据以下公式计算对应的配准误差：
Figure GDA0003562973380000073
Figure GDA0003562973380000081
其中，dline,dplane分别为线特征点和面特征点对应的误差项；在计算dline时，pi是某个特征点通过位姿变换到特征点云地图的坐标系下的三维坐标，{pj,pk}是pi的两个在特征点云地图中的最近点；在计算时，{pj,pk,ps}是pi的三个在特征点云地图中的最近点。
计算出每个特征点对应的配准误差之后，将他们累积起来形成方程组，然后根据累积得到的方程组进行非线性优化来最小化所有配准误差，以估计出初始数据帧对应的位姿；从而，可以根据位姿将初始数据帧的特征点变换到特征点云地图对应的坐标系下，当所有初始数据帧变换完成之后，即可得到最终的特征点云地图。
同样地，通过上述方式，可以将初始数据帧转换到初始点云地图中，以所有初始数据帧变换完成后得到完整的初始点云地图；然后，根据预设的帧数对初始点云地图进行划分，以生成多个局部点云地图。
S103，获取原始静态语义数据集，并对原始静态语义数据集进行噪声处理，以及根据局部点云地图进行误差模拟，以便根据噪声处理后的原始静态语义数据集和误差模拟结果生成训练数据集。
可以理解，获取原始静态语义数据集(静态扫描指的是雷达设置在固定站点进行旋转扫描，其局部坐标系不发生改变；而原始静态语义数据集指的是对整个点云地图进行标注的静态扫描式激光点云数据集)；为了避免因为静态扫描和移动扫描的数据差异而导致的语义标注错误问题；即对原始静态语义数据集进行噪声处理；接着，对局部点云地图进行误差模拟，以生成带有误差的大量的局部点云数据；进而，可以根据噪声处理后的原始静态语义数据集和误差模拟得到的带有误差的大量局部点云数据生成训练数据集。
在一些实施例中，获取原始静态语义数据集，并对原始静态语义数据集进行噪声处理，以及根据局部点云地图进行误差模拟，以便根据噪声处理后的原始静态语义数据集和误差模拟结果生成训练数据集，包括：获取原始静态语义数据集，并对原始静态语义数据集进行噪声处理；获取任意一个局部点云地图所对应的位姿序列，并根据位姿序列生成待处理位姿序列，以及根据指数映射将待处理位姿序列中每个位姿的旋转向量映射到流形空间中，以得到三维向量，并根据该三维向量进行误差模拟；根据误差模拟结果生成带有误差的局部点云数据，并根据局部点云数据和噪声处理后的原始静态语义数据生成训练数据集。
作为一种示例，在获取到原始静态语义数据集之后，对原始静态语义数据集中的每一个点添加高斯噪声扰动：
pi＝pi+δti
其中，噪声量δti的每一维都随机采样自一个高斯分布
Figure GDA0003562973380000091
并且噪声参数μi和σi的大小根据点pi的语义标签的不同而不同。对于不同语义类的点，设置的大小顺序为：其他>墙面>天花板>地面，该做法的依据是移动扫描时，左右转身的角度一般大于俯仰的角度，以及天花板和其他类中的点分布比较复杂，因此噪声相应地会更大。
作为另一种示例，在移动扫描过程中，存在因为采集设备的剧烈移动而导致位姿估计出错，进而导致建图出错的问题；在这种建图出错的情况发生时，语义标注的结果不准确；因此，需要在训练数据集中增加模拟位姿估计出错生成的建图出错的数据。
如图4所示，(a)为ground truth,(b)为原始静态语义数据集作为训练数据得到的结果，(c)为语义噪声增强后的训练数据得到的结果，(d)为额外增加建图出错的数据作为训练数据得到的结果)。
具体地，以如下方式生成带有误差的局部点云数据：首先，获取组成一个局部点云地图的每一帧所对应的位姿序列{Ti,Ti+1…,Ti+n}，其中，n是组成一个局部点云地图的数据帧的总数，在本发明中它的值为300；Ti是一个4*4的变换矩阵，表示第一阶段中估计得到的第i个点云数据帧所对应的位姿，它的构成为：
Figure GDA0003562973380000092
其中Ri表示位姿矩阵中的旋转分量，是一个3*3的对称矩阵，ti表示位姿矩阵中的平移分量，是一个3*1的列向量。
然后随机选取一个起点k和一个长度m,得到一段待处理的位姿序列{Tk,Tk+1,…,Tk+m}，对位姿的误差模拟只在这部分序列中进行；
然后，通过指数映射，把待处理位姿序列中的每一个位姿的旋转分量映射到流形空间，得到一个三维向量φi＝ln(Rk)∨，目的是根据以下公式对序列中的每个位姿进行均匀地误差模拟：
Figure GDA0003562973380000093
Figure GDA0003562973380000094
其中，Tk+j是需要模拟出错序列中第j个位姿，(*)∧是一种把三维向量转换为反对称矩阵的运算，(*)∨是它的反运算；Δφj,Δtj是Tk+j处模拟的误差分量，基于均匀误差分布的假设进行计算；Δφ,Δt是整个序列模拟出错的分量，它们的每一维都从指定的高斯分布中随机采样生成。
从而，通过上述步骤，可以生成大量带有误差的局部点云数据。
S104，基于深度神经网络和训练数据集对局部点云地图中的每个点进行语义标注，并将初始点云数据中的初始数据帧变换到局部点云地图的坐标系下，以及根据八叉树搜索将局部点云地图的语义标注结果反馈到该初始数据帧中。
S105，根据初始数据帧对应的语义标注结果对其位姿进行优化，以得到第一位姿优化结果。
作为一种示例，在得到训练数据集之后，使用深度神经网络(例如，RandLA-Net、PointNet等，使用该类网络不需要对局部点云地图进行空间划分和降采样，减少语义信息特征的损失)对局部点云地图进行语义标注。其中，局部点云地图中的点分为四个部分：地面、墙面、天花板和其他。
得到语义标记的局部点云地图之后，将语义标签反馈到初始点云数据中，具体为：如图5所示，首先，将初始点云数据划分为多个指定大小的正方体，并通过八叉树将含有语义标签的局部点云地图的每个点落入正方体索引存储起来；接着，用初始数据帧对应的位姿对初始数据帧进行变换，对其到局部点云地图的坐标系下；然后，对和局部点云地图中的点落入到同一个八叉树节点对应的正方体索引的数据点，将其语义标签赋值为该地图点的标签，并通过位姿的反变换还原到局部坐标系下，以实现单帧级别的建筑结构点云语义标注。
获得单帧级别的逐点的语义标签后，根据以下公式计算权重，在之后的非线性优化中计算误差时通过该权重产生语义约束：
Figure GDA0003562973380000101
其中，wc表示语义权重，用于在后续的平面提取和位姿优化中提供语义约束；pj点是当前帧中的pi点在地图中的对应点，
Figure GDA0003562973380000102
分别是pi,pj的语义标签；P(yc|i)是深度神经网络在进行语义标注的时候，得到该点的语义类时的置信度，范围是0到1。
在对位姿进行语义约束的非线性优化时，带有语义信息的几何距离误差根据以下公式进行计算：
Figure GDA0003562973380000103
其中，ESemantic表示优化时所使用的语义约束下的误差项，T是待优化位姿，Fs是两个特征点云中的匹配点(假设其中一对标记为A和B)，wc前面介绍的语义权重，
Figure GDA0003562973380000111
和
Figure GDA0003562973380000112
是点与其周围邻近点计算得到的协方差矩阵，d是欧氏空间距离作为误差度量。
通过非线性优化方法，最小化以上带有语义信息的误差项就能实现在语义约束下的位姿优化。
S106，根据语义标注结果对初始数据帧中的点进行分类，并根据主成分分析法提取该初始数据帧中的语义结构面，以及将语义结构面与全局平面进行关联。
S107，根据关联结果对第一位姿优化结果进行结构约束的非线性优化，以得到第二位姿优化结果。
在一些实施例中，在获得单帧级别的语义约束之后，同样可以利用语义信息对平面提取进行约束，具体做法是：
根据语义标签对点云帧分类，即把点云帧中的所有点分成地面点、墙面点、天花板点和其他点；对除了其他点以外的具有相同语义标签的点，执行主成分分析来提取平面；这样提取到的平面也带有相应的语义标签，记为wc(n)，n为平面的法向量；在下面的描述中为了方便，把上述提取到的含有建筑物结构语义信息的平面称为语义结构面；
利用语义信息辅助平面提取的好处是，主成分分析所处理的地面点、天花板点一般都属于单个平面，而墙面点一般属于四个互相垂直的平面，能够在很大程度上提高平面提取的准确度。
得到语义结构面之后，将会根据以下公式进行结构关联：
Figure GDA0003562973380000113
其中,ws是结构权重，它是一个三维向量
Figure GDA0003562973380000114
反映了当前帧内某个语义结构面的法向量与全局建筑结构面(第一个局部地图中提取到的语义结构面的法向量)法向量
Figure GDA0003562973380000115
之间的平行、相反或垂直关系，之后在计算非线性优化的结构误差时会使用该权重进行加权计算，从而实现结构约束；θ表示当前的语义结构面的法向量和某个全局建筑结构面的法向量之间的夹角大小；σθ表示结构权重的阈值，用来调节结构权重在非线性优化时的贡献量。
在对位姿进行结构约束的非线性优化时，根据以下公式计算语义结构面提供的误差：
Figure GDA0003562973380000121
对位姿进行结构约束的非线性优化时，根据以下公式计算语义结构面提供的误
Figure GDA0003562973380000122
其中，wv表示平面得分，用来描述该平面的可信程度，在提取该平面时已经计算，其值为平面上的所有点到平面距离的方差的倒数，它表示当该方差越大时平面越不可靠，得分越低，使得误差贡献越小；we表示容忍权重,根据以下公式
Figure GDA0003562973380000123
计算，表示当两个平面的距离已经非常小的时候，倾向于直接采用语义优化的结果而不进行结构优化；qπ)表示将平面参数π＝[nT,d]T转化为四元数表示形式q＝[qv,qw]T，使得||q||＝1，为的是能够在流形空间上进行优化；其中qv和qw分别是平面的法向量和常量对应的转化后的值。
然后，根据以下公式计算全局结构性误差，加入非线性优化时的结构项：
Figure GDA0003562973380000124
Figure GDA0003562973380000125
c＝{floor,wall}
得到上述语义和结构误差后，就能对非线性优化过程进行约束，使用L-M算法对位姿进行优化后，能够得到更好的建图和建模的结果(参照图6和图7所示)，其中，图6为根据本发明实施例的全局点云地图优化前后结果示意图，其中(a)为高精度静态扫描的参考点云，作为ground truth，(b)为未优化的现有最先进建图方法的全局地图结果；(c)为根据本发明实施例的优化后的全局地图结果示意图；
图7为根据本发明实施例的在线耦合式语义建图和建模结果示意图，其中(a)为离线非耦合式建图与建模结果，用于对比，(b)为根据本发明实施例的在线耦合式语义建图和建模结果和在线建图结果基础上执行离线建模的结果，同样用于对比。
S108，根据第二位姿优化结果生成最终点云地图、语义点云地图和建筑物内部语义线结构模型。
即言，在得到优化的位姿之后，在线地生成优化后的点云地图和建筑物内部的语义线结构模型。
其中，对于生成优化的点云地图，和生成局部点云地图的流程类似，包括：
用优化后的位姿将原始点云数据帧变换到点云地图的坐标系下(第一帧的坐标系)；然后用八叉树对空间进行3cm边长的正方体划分，把正方体的索引存入树的节点；对于点云数据帧中的每一个点，如果它和地图点落入同一个八叉树节点对应的正方体索引，则不把它加入点云地图中，而是继续处理下一个点。
另外，需要说明的是，由于深度神经网络的语义标注结果无法达到完全正确，所以生成语义点云地图时，还需要处理某个语义标签点云内混入的少量其他标签的点，具体做法是：
1.获取用于提取语义结构面的点云，计算点云中的所有点到语义结构面的距离以及平均值
Figure GDA0003562973380000131
筛选出距离小于1.5倍平均值的点，进入下一步测试：
2.测试条件为，该点与其他的任意语义结构面的距离大于
Figure GDA0003562973380000132
的两倍，并且语义标签与当前语义结构面的语义标签不相同；
3.满足测试条件的点，它的标签会被修改为当前语义结构面的语义标签，并且用于生成最终的语义点云地图。
然后，对于生成建筑物内部的语义线结构模型，具体做法是：
1.获取用于提取语义结构面的点云，计算该点云的轴对齐空间外包围框，即坐标最小值和最大值围起来的一个长方体；
2.用这个包围框来限制语义结构面的范围，具体做法如下：
2.1选取包围框的某一条棱AB，下面用pA,pB表示该棱的两个顶点的空间坐标；
2.2指定一个射线方向
Figure GDA0003562973380000133
(或
Figure GDA0003562973380000134
),那么该射线方向上的所有点的坐标的参数方程可以表示为p＝pA+t*pB；
2.3把该坐标的参数方程代入语义结构面的方程中可以计算出t，当t∈[0,1]的时候，保留该点作为语义结构面的边界点之一；
2.4对所有棱都执行2.1-2.3步骤之后，可以得到一个有边界的语义结构面，它可能有4个顶点或6个顶点(参照图8中(a)所示)，如果不对顶点进行排序，结果还可能为图8中(b)所示，因此还需要根据以下公式的计算结果对这些顶点进行排序：
(pi×pj)*nplane<0
其中，pi,pj分别是待排序的两个顶点，是语义结构面的法向量，根据三维叉积的性质，当上述公式计算的结果成立时，向量位于的左边，那么按照该公式逐一地测试每一个点就能按顺时针的顺序对所有顶点进行排序。
2.5为了下一步实现交线算法的方便，对排序后的点，只保留最长的一对边所对应的四个顶点，作为最终的语义结构面的边界；
经过以上步骤，可以得到一个有限的语义结构面；
3.用两个有限语义结构面的交线作为建筑物内部线结构，测试条件为两个候选平面的中心距离小于阈值并且其中一个结构面距离另一个面最近的两个顶点在朝着该面的方向进行扩展后，与剩余顶点在另一个平面的不同侧，就生成对应的含有语义信息的线结构(过程参照图9所示)。
经过上述五个阶段，就能够从原始的点云数据帧中，在线地进行单帧级别的语义标注和线结构提取，同时地重建出经过优化的原始点云地图、语义点云地图和建筑物内部语义线结构模型(参照图10所示)
综上所述，根据本发明实施例的耦合式室内三维语义建图及建模方法，首先，获取激光雷达扫描得到的原始点云数据，并对所述原始点云数据进行预处理，以得到初始点云数据；接着，提取所述初始点云数据中每个初始数据帧对应的特征点，并根据所述特征点估计该初始数据帧对应的位姿，以及根据所述位姿生成局部点云地图；然后，获取原始静态语义数据集，并对所述原始静态语义数据集进行噪声处理，以及根据所述局部点云地图进行误差模拟，以便根据噪声处理后的原始静态语义数据集和误差模拟结果生成训练数据集；接着，基于深度神经网络和所述训练数据集对局部点云地图中的每个点进行语义标注，并将初始点云数据中的初始数据帧变换到局部点云地图的坐标系下，以及根据八叉树搜索将局部点云地图的语义标注结果反馈到该初始数据帧中；然后，根据初始数据帧对应的语义标注结果对其位姿进行优化，以得到第一位姿优化结果；接着，根据语义标注结果对初始数据帧中的点进行分类，并根据主成分分析法提取该初始数据帧中的语义结构面，以及将所述语义结构面与全局平面进行关联；然后，根据关联结果对第一位姿优化结果进行结构约束的非线性优化，以得到第二位姿优化结果；接着，根据所述第二位姿优化结果生成最终点云地图、语义点云地图和建筑物内部语义线结构模型；从而实现准确地重建出室内环境的语义点云地图和内部线框结构模型，降低建图与建模过程所需耗费的人力物力；同时，防止在进行基于激光的移动扫描时，因采集平台的剧烈运动而丢失位姿估计。
为了实现上述实施例，本发明实施例提出了一种计算机可读存储介质，其上存储有耦合式室内三维语义建图与建模程序，该耦合式室内三维语义建图与建模程序被处理器执行时实现如上述的耦合式室内三维语义建图及建模方法。
根据本发明实施例的计算机可读存储介质，通过存储耦合式室内三维语义建图与建模程序，以使得处理器在执行该耦合式室内三维语义建图与建模程序时，实现如上述的耦合式室内三维语义建图及建模方法，从而实现准确地重建出室内环境的语义点云地图和内部线框结构模型，降低建图与建模过程所需耗费的人力物力；同时，防止在进行基于激光的移动扫描时，因采集平台的剧烈运动而丢失位姿估计。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不应理解为必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种耦合式室内三维语义建图及建模方法，其特征在于，包括以下步骤：
获取激光雷达扫描得到的原始点云数据，并对所述原始点云数据进行预处理，以得到初始点云数据；
提取所述初始点云数据中每个初始数据帧对应的特征点，并根据所述特征点估计该初始数据帧对应的位姿，以及根据所述位姿生成局部点云地图；
获取原始静态语义数据集，并对所述原始静态语义数据集进行噪声处理，以及根据所述局部点云地图进行误差模拟，以便根据噪声处理后的原始静态语义数据集和误差模拟结果生成训练数据集；
基于深度神经网络和所述训练数据集对局部点云地图中的每个点进行语义标注，并将初始点云数据中的初始数据帧变换到局部点云地图的坐标系下，以及根据八叉树搜索将局部点云地图的语义标注结果反馈到该初始数据帧中；
根据初始数据帧对应的语义标注结果对其位姿进行优化，以得到第一位姿优化结果；
根据语义标注结果对初始数据帧中的点进行分类，并根据主成分分析法提取该初始数据帧中的语义结构面，以及将所述语义结构面与全局平面进行关联；
根据关联结果对第一位姿优化结果进行结构约束的非线性优化，以得到第二位姿优化结果；
根据所述第二位姿优化结果生成最终点云地图、语义点云地图和建筑物内部语义线结构模型；
其中，根据以下公式进行第一位姿优化结果的计算：
Figure FDA0003570555270000011
Figure FDA0003570555270000012
其中，wc表示语义权重，pj点表示pi点在地图中的对应点，
Figure FDA0003570555270000013
分别是pi,pj的语义标签，P(yc|i)表示置信度，ESemantic表示优化时所使用的语义约束下的误差项，T表示待优化位姿，Fs表示两个特征点云中的匹配点，
Figure FDA0003570555270000014
和
Figure FDA0003570555270000015
表示点与其周围邻近点计算得到的协方差矩阵，d表示以欧氏空间距离作为误差度量；
根据以下公式将所述语义结构面与全局平面进行关联：
Figure FDA0003570555270000021
其中，ws表示结构权重，
Figure FDA0003570555270000022
表示ws对应的三维向量，θ表示当前的语义结构面的法向量和任意一个全局建筑结构面的法向量之间的夹角大小；σθ表示结构权重的阈值。
2.如权利要求1所述的耦合式室内三维语义建图及建模方法，其特征在于，对所述原始点云数据进行预处理，以得到初始点云数据，包括：
根据预设帧数对所述原始点云数据中的原始数据帧进行跳帧，以确定待保留帧，并判断该待保留帧中的点数是否小于预设的点数阈值，以及在判断结果为是时跳过该待保留帧，以对原始点云数据进行初步筛选；
对初步筛选后的原始点云数据进行三维体素滤波，以得到初始点云数据。
3.如权利要求1所述的耦合式室内三维语义建图及建模方法，其特征在于，提取所述初始点云数据中每个初始数据帧对应的特征点，并根据所述特征点估计该初始数据帧对应的位姿，以及根据所述位姿生成局部点云地图，包括：
计算所述初始点云数据中任意一个初始数据帧的每个点所对应的雷达线束，并计算任意一条雷达线束中每个点所对应的曲率，以及根据该雷达线束中所有点对应的曲率确定该雷达线束对应的特征点；
计算所述初始数据帧中每个特征点对应的配准误差，并对所述配准误差进行累积以形成方程组，以及通过非线性优化最小化所有配准误差，以估计所述初始数据帧对应的位姿；
根据所述位姿将该初始数据帧对应的特征点添加到特征点云地图中，以便根据所述初始点云数据中的所有初始数据帧对应的特征点形成最终特征点云地图；
根据所述位姿将初始点云数据中的每个初始数据帧累积到初始点云地图中，并根据所述初始点云地图生成局部点云地图。
4.如权利要求1所述的耦合式室内三维语义建图及建模方法，其特征在于，获取原始静态语义数据集，并对所述原始静态语义数据集进行噪声处理，以及根据所述局部点云地图进行误差模拟，以便根据噪声处理后的原始静态语义数据集和误差模拟结果生成训练数据集，包括：
获取原始静态语义数据集，并对所述原始静态语义数据集进行噪声处理；
获取任意一个局部点云地图所对应的位姿序列，并根据所述位姿序列生成待处理位姿序列，以及根据指数映射将待处理位姿序列中每个位姿的旋转向量映射到流形空间中，以得到三维向量，并根据该三维向量进行误差模拟；
根据误差模拟结果生成带有误差的局部点云数据，并根据所述局部点云数据和噪声处理后的原始静态语义数据生成训练数据集。
5.如权利要求3所述的耦合式室内三维语义建图及建模方法，其特征在于，雷达线束中点对应的曲率根据以下公式计算：
Figure FDA0003570555270000031
其中，c表示点对应的曲率，pi表示第i个点，S表示点pi的邻居点总数，pj表示pi的邻居点。
6.如权利要求3所述的耦合式室内三维语义建图及建模方法，其特征在于，根据以下公式计算每个特征点对应的配准误差：
Figure FDA0003570555270000032
Figure FDA0003570555270000033
其中，dline,dplane分别表示线特征点和面特征点对应的误差项，其中，
Figure FDA0003570555270000034
表示第i个线特征点，
Figure FDA0003570555270000035
和
Figure FDA0003570555270000036
是
Figure FDA0003570555270000037
在特征点云地图中最近的两个邻居点；
Figure FDA0003570555270000038
表示第i个面特征点，
Figure FDA0003570555270000039
和
Figure FDA00035705552700000310
是在特征点云地图中最近的三个邻居点。
7.如权利要求4所述的耦合式室内三维语义建图及建模方法，其特征在于，根据以下公式进行误差模拟：
Figure FDA00035705552700000311
Figure FDA00035705552700000312
其中，Tk+j表示待模拟出错序列中的第j个位姿，(*)∧表示把三维向量转换为反对称矩阵的运算，Δφj,Δtj表示Tk+j对应的误差分量，Δφ,Δt表示待模拟出错序列的误差分量。
8.一种计算机可读存储介质，其特征在于，其上存储有耦合式室内三维语义建图与建模程序，该耦合式室内三维语义建图与建模程序被处理器执行时实现如权利要求1-7中任一项所述的耦合式室内三维语义建图及建模方法。
CN202011417892.7A 2020-12-07 2020-12-07 耦合式室内三维语义建图及建模方法 Active CN112347550B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011417892.7A CN112347550B (zh) 2020-12-07 2020-12-07 耦合式室内三维语义建图及建模方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011417892.7A CN112347550B (zh) 2020-12-07 2020-12-07 耦合式室内三维语义建图及建模方法

Publications (2)

Publication Number Publication Date
CN112347550A CN112347550A (zh) 2021-02-09
CN112347550B true CN112347550B (zh) 2022-07-15

Family

ID=74427893

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011417892.7A Active CN112347550B (zh) 2020-12-07 2020-12-07 耦合式室内三维语义建图及建模方法

Country Status (1)

Country Link
CN (1) CN112347550B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112991515B (zh) * 2021-02-26 2022-08-19 山东英信计算机技术有限公司 一种三维重建方法、装置及相关设备
CN113192174B (zh) * 2021-04-06 2024-03-26 中国计量大学 建图方法、装置及计算机存储介质
CN113538677B (zh) * 2021-06-30 2023-12-15 深圳市优必选科技股份有限公司 一种定位方法、机器人及存储介质
CN114419278A (zh) * 2022-01-19 2022-04-29 厦门大学 室内三维彩色网格模型生成方法及系统
CN114742893B (zh) * 2022-06-09 2022-10-21 浙江大学湖州研究院 一种基于深度学习的3d激光数据训练与快速定位方法
CN115901621A (zh) * 2022-10-26 2023-04-04 中铁二十局集团第六工程有限公司 一种高层建筑外表面混凝土病害数字化识别方法及系统
CN115600156B (zh) * 2022-11-14 2023-03-28 苏州魔视智能科技有限公司 基于最小树的语义地图融合方法、装置、设备及介质
CN115880690B (zh) * 2022-11-23 2023-08-11 郑州大学 一种在三维重建辅助下进行点云中物体快速标注的方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108230337A (zh) * 2017-12-31 2018-06-29 厦门大学 一种基于移动端的语义slam系统实现的方法
CN109345574A (zh) * 2018-08-31 2019-02-15 西安电子科技大学 基于语义点云配准的激光雷达三维建图方法
CN110243370A (zh) * 2019-05-16 2019-09-17 西安理工大学 一种基于深度学习的室内环境三维语义地图构建方法
CN111179426A (zh) * 2019-12-23 2020-05-19 南京理工大学 基于深度学习的机器人室内环境三维语义地图构建方法
CN111563442A (zh) * 2020-04-29 2020-08-21 上海交通大学 基于激光雷达的点云和相机图像数据融合的slam方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108230337A (zh) * 2017-12-31 2018-06-29 厦门大学 一种基于移动端的语义slam系统实现的方法
CN109345574A (zh) * 2018-08-31 2019-02-15 西安电子科技大学 基于语义点云配准的激光雷达三维建图方法
CN110243370A (zh) * 2019-05-16 2019-09-17 西安理工大学 一种基于深度学习的室内环境三维语义地图构建方法
CN111179426A (zh) * 2019-12-23 2020-05-19 南京理工大学 基于深度学习的机器人室内环境三维语义地图构建方法
CN111563442A (zh) * 2020-04-29 2020-08-21 上海交通大学 基于激光雷达的点云和相机图像数据融合的slam方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
RandLA-Net_Efficient Semantic Segmentation of Large-Scale Point Clouds;Qingyong Hu et al.;《2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR)》;20200805;全文 *
一种基于三维视觉的移动机器人定位与建图方法;陈超等;《现代电子技术》;20200315;第43卷(第06期);全文 *
基于2D-3D语义传递的室内三维点云模型语义分割;熊汉江 等;《武汉大学学报(信息科学版)》;20181205;第43卷(第12期);全文 *

Also Published As

Publication number Publication date
CN112347550A (zh) 2021-02-09

Similar Documents

Publication Publication Date Title
CN112347550B (zh) 耦合式室内三维语义建图及建模方法
Chen et al. Automatic building information model reconstruction in high-density urban areas: Augmenting multi-source data with architectural knowledge
CN111563442B (zh) 基于激光雷达的点云和相机图像数据融合的slam方法及系统
Xu et al. Reconstruction of scaffolds from a photogrammetric point cloud of construction sites using a novel 3D local feature descriptor
CN112288857A (zh) 一种基于深度学习的机器人语义地图物体识别方法
Sohn et al. An implicit regularization for 3D building rooftop modeling using airborne lidar data
CN113916130B (zh) 一种基于最小二乘法的建筑物位置测量方法
Jiang et al. Learned local features for structure from motion of uav images: A comparative evaluation
CN114663880A (zh) 基于多层级跨模态自注意力机制的三维目标检测方法
Omidalizarandi et al. Segmentation and classification of point clouds from dense aerial image matching
CN111815684A (zh) 一种基于统一残差模型的空间多元特征配准优化方法及装置
CN115239899B (zh) 位姿图生成方法、高精地图生成方法和装置
Zeng et al. Integrating as-built BIM model from point cloud data in construction projects
CN114943766A (zh) 重定位方法、装置、电子设备及计算机可读存储介质
Sayed et al. Point clouds reduction model based on 3D feature extraction
Kaleci et al. Plane segmentation of point cloud data using split and merge based method
Mohammadi Point cloud analysis for surface defects in civil structures
CN117237541B (zh) 基于建筑立面点云的多视角投影主体结构建模方法及系统
Yoon et al. UAV-based automated 3D modeling framework using deep learning for building energy modeling
Nguatem et al. Roof reconstruction from point clouds using importance sampling
Dekker et al. Point Cloud Analysis of Railway Infrastructure: A Systematic Literature Review
CN116977572B (zh) 一种多尺度动态图卷积的建筑物立面结构提取方法
US20240028784A1 (en) Segmenting a building scene
Suveg et al. Knowledge based reconstruction of buildings
Garcia et al. Efficient generation of discontinuity-preserving adaptive triangulations from range images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant