CN113379898B - 一种基于语义分割的三维室内场景重建方法 - Google Patents

一种基于语义分割的三维室内场景重建方法 Download PDF

Info

Publication number
CN113379898B
CN113379898B CN202110671249.5A CN202110671249A CN113379898B CN 113379898 B CN113379898 B CN 113379898B CN 202110671249 A CN202110671249 A CN 202110671249A CN 113379898 B CN113379898 B CN 113379898B
Authority
CN
China
Prior art keywords
points
model
plane
point
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110671249.5A
Other languages
English (en)
Other versions
CN113379898A (zh
Inventor
宁小娟
巩亮
马婷
金海燕
隋连升
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN202110671249.5A priority Critical patent/CN113379898B/zh
Publication of CN113379898A publication Critical patent/CN113379898A/zh
Application granted granted Critical
Publication of CN113379898B publication Critical patent/CN113379898B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/13—Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Architecture (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Civil Engineering (AREA)
  • Computer Graphics (AREA)
  • Structural Engineering (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于语义分割的三维室内场景重建方法，具体按照如下步骤实施：步骤1，通过体素滤波采样方法和SIFT特征点提取的方法分别对室内场景进行采样，然后将通过体素滤波采样方法和SIFT特征点提取的方法采样得到的采样点进行融合，对重复的采样点只保留一个作为有效点，获得室内点云数据；步骤2，对步骤1获得的室内点云数据进行平面提取，对提取过平面的数据进行语义分割和精细化分割，将室内场景中的物体区分开来；步骤3，对获得语义等特征的室内场景内环境及外环境进行模型匹配与平面拟合从而完成三维重建。本发明解决了现有重建方法重建效果差、场景理解能力不足的问题，能够高精度地重建室内场景。

Description

一种基于语义分割的三维室内场景重建方法
技术领域
本发明属于计算机视觉及人工智能技术领域，涉及一种基于语义分割的三维室内场景重建方法。
背景技术
室内场景的三维重建技术是智能家居和是室内机器人导航的重要技术支持，是计算机视觉以及人工智能中的核心研究内容之一，具有重要的研究意义和广泛的应用前景。
在三维重建领域中，室内场景因贴近人们生产生活的需要，在近些年来受到广泛的关注。然而由于室内场景较小，物体种类繁多，物体之间较为密集，使得室内场景的三维重建工作存在着巨大的挑战。目前三维重建的方法有很多，如基于二维图像恢复三维结构，基于点云补全恢复三维结构，基于模型替换恢复三维结构等等方法。实现方法虽然有很多种，现有重建方法大多有重建效果差、场景理解能力不足，因此始终没有一种普适性强的方法能够很好的解决这一类问题。
发明内容
本发明的目的是提供一种基于语义分割的三维室内场景重建方法，解决了现有重建方法重建效果差、场景理解能力不足的问题，能够高精度地重建室内场景。
本发明所采用的技术方案是，一种基于语义分割的三维室内场景重建方法，具体按照如下步骤实施：
步骤1，通过体素滤波采样方法和SIFT特征点提取的方法分别对室内场景进行下采样，然后将通过体素滤波采样方法和SIFT特征点提取的方法采样得到的采样点进行融合，对重复的采样点只保留一个作为有效点，获得下采样后的室内点云数据；
步骤2，对步骤1获得的下采样后的室内点云数据进行平面提取，对提取过平面的数据进行语义分割和精细化分割，将室内场景中的物体区分开来；
步骤3，将经过分割的室内场景内环境及外环境进行模型匹配与平面拟合从而完成三维重建。
本发明的特征还在于，
步骤1中通过体素滤波采样方法对室内场景进行下采样，具体为：
读取原始室内场景的点云数据，设定体素栅格边长为L，假设当前输入的点为p(xi,yi,zi)，计算p(xi,yi,zi)对应体素栅格三个坐标轴上的最大最小值，计算公式如(1)所示，从而得到体素栅格的8个顶点坐标：分别是(Xmin,Ymin,Zmin)，(Xmin,Ymin,Zmax)，(Xmin,Ymax,Zmin)，(Xmin,Ymax,Zmax)，(Xmax,Ymin,Zmin)，(Xmax,Ymin,Zmax)，(Xmax,Ymax,Zmin)，(Xmax,Ymax,Zmax)；
Figure BDA0003118878460000021
假设，体素栅格中包含m个点，通过公式(2)来计算m个点的重心(X,Y,Z)，用其重心作为体素栅格中m点，然后遍历所有体素栅格，得到的所有重心作为整个点云数据，从而完成对整个场景的体素滤波下采样；
Figure BDA0003118878460000031
步骤1中通过SIFT特征点提取的方法分别对室内场景进行采样具体为：
将原始室内场景的点云数据通过SIFT算法提取特征点，将提取到的特征点作为整个点云数据，从而得到SIFT特征点提取后的下采样数据。
步骤1将通过体素滤波采样方法和SIFT特征点提取的方法采样得到的采样点进行融合，对重复的采样点只保留一个作为有效点，获得下采样后的室内点云数据具体为：
设置距离阈值，以SIFT特征点为基准，在体素滤波的点云中以距离阈值为半径搜索近邻点，有则删除所有的近邻点，对所有的SIFT特征点搜索完成后，把过滤掉重复点的滤波下采样的点云与SIFT特征点输出到同一个文件中，完成数据融合。
步骤2具体为：
步骤2.1，采用RANSAC平面提取方法对步骤1得到的下采样后的室内场景点云数据进行平面提取；
步骤2.2，将平面提取后的结果输入PointNet网络进行训练和测试，从而完成初步的语义分割；
步骤2.3，对经过初步的语义分割得到语义标签的数据，使用基于投影的区域生长优化算法对同类物体进行进一步的精细化分割。
步骤2.1具体为：
步骤2.1.1，输入步骤1得到的下采样后的室内场景点云数据；
步骤2.1.2，从输入的散乱的点云中随机选取3个点唯一地确定出一个平面，以这三个点为内点，其余点为外点；
步骤2.1.3，然后计算该平面的邻域中外点的法向量与该平面的法向量的偏差以及该外点到平面的距离是否分别小于预先设置的阈值，若小于，则将该点归入内点，并更新平面，否则，继续判断下一个点，直到该平面领域所有的外点都经过计算判断；
步骤2.1.4，判断经步骤2.1.3更新的平面中内点的数量是否满足大于预先设置的平面内点的最小数量，若满足，则成功地提取到了一个平面；
步骤2.1.5，从步骤1得到的室内场景点云数据中剔除掉已经作为步骤2.1.4提取平面中的内点，对剩余点重复执行步骤2.1.2-2.1.5提取平面，直到所有的点都有所属的平面，或者剩余外点的数量小于3，到此成功提取场景中所有平面。
步骤2.2具体为：
步骤2.2.1，将开源数据集S3DIS的6个室内场景数据用步骤1-2.1进行处理，得到6组包括平面特征的室内点云数据，其中，前5组作为训练数据，第6组作为测试数据；将训练数据和测试数据均表示为一个n*10的二阶张量，其中，n表示点云中点的数量，10对应坐标和特征的维度，10个维度包括点云中点的三个坐标x、y、z，颜色R、G、B，三个轴的法向量normal_x、normal_y、normal_z、以及所属平面Plane，其中，所属平面Plane特征是步骤2.1得到的，三个法向量特征是在PointNet神经网络中，通过法向量计算函数得到的；
步骤2.2.2，将训练数据输入到PointNet神经网络框架中训练，得到语义分割网络模型；
步骤2.2.3，将测试数据输入到步骤2.2.2中得到的语义分割网络模型，输出语义分割结果，此时，测试数据的每个点都获得了它的语义分类标签，对应室内场景中每一类物体均被分割。
所述步骤2.3具体为：
步骤2.3.1，把经过语义分割后的点云投影到xoy平面上，把点对之间的空间距离转换到共面点之间的距离；
步骤2.3.2，对投影到平面上的点云用区域生长算法进行聚类，将投影后的点云聚成一团一团的点，每一团点代表一个物体；
步骤2.3.3，把区域生长聚类的结果恢复到点云，完成室内物体的细分割。
步骤3具体为：
步骤3.1，将步骤2中室内场景分割后的结果进行划分：将室内物体划分为内环境场景元素，将房间墙壁上及结构型物体划分为外环境场景元素；
对内环境场景元素进行重建，将内环境的场景元素与对应类别的标准模型库中的标准模型进行匹配，找到最优匹配模型并用该模型替换掉对应的场景元素；
步骤3.2，对外环境场景重建，先对门墙以外的外环境元素使用平面拟合的方式进行重建，门使用模型匹配的方法进行重建，墙面的重建为在平面拟合方法的基础上，将拟合的平面去掉孔洞区域，从而完成墙面的重建。
步骤3.1中对内环境场景元素进行重建具体为：
步骤3.1.1，在公开的三维CAD模型数据集ModelNet40上选取常见形态的桌子、椅子、书架各100个，沙发、门选取各20个，杂物选取50个常见的模型；
步骤3.1.2，将步骤3.1.1选择的CAD模型转化成点云数据，使用均匀采样的方法对CAD模型点云化，获得CAD模型的点云数据，作为模型库；
步骤3.1.3，随机选择一个内环境元素作为待匹配元素，通过使用主成分分析法将待匹配元素与模型库中的每一个同类型的模型进行归一化操作，使待匹配元素与模型具有相同的尺度；
步骤3.1.4，将待匹配元素与模型库中同类型的模型通过SAC-IA算法计算得到待匹配元素的最优的匹配模型和其初始变换矩阵；
步骤3.1.5，将获得初始变换矩阵的最优匹配模型通过ICP算法进行精确匹配，使得待匹配元素点云与最优匹配模型点云对齐，并输出最优的刚性变换矩阵；随后将最优匹配模型的原始CAD模型通过与最优刚性变换矩阵进行矩阵运算，使得最优匹配模型的CAD模型变换到待匹配元素点云的位置并替换掉它，从而完成该待匹配元素的重建工作，重复步骤3.1.3-3.1.5完成对整个室内场景内环境元素的遍历，最终获得室内场景内环境元素的三维重建结果。
步骤3.2具体为：
步骤3.2.1，对非墙面非门元素重建：
选中一个非墙非门的外环境元素，提取该元素的AABB包围盒，求出包围盒的顶点，再对包围盒内部该元素的点进行平面拟合，最后把拟合的平面生成模型，重复该步骤，遍历所有非墙非门的外环境元素，完成对非墙非门元素的三维重建；
步骤3.2.2，门元素的重建工作：
先将不同形态的门元素的CAD模型从ModelNet40数据集中选出并添加到模型库中，然后用步骤3.1.3-3.1.5的模型匹配的方法完成对门元素的三维重建；
步骤3.2.3，墙面的重建工作，先对门窗以及墙面元素求取AABB包围盒，再用步骤3.2.1的方法对墙面拟合并生成模型；然后再去除墙面拟合模型的孔洞区域：根据包围盒顶点的坐标位置关系判断门窗在哪个墙面上，然后再用墙面拟合模型减去门窗区域的所有点，得到带有孔洞区域的墙面拟合模型，从而完成墙面的三维重建。
本发明的有益效果是：
本发明首先使用融合采样的方法，在保留特征点的同时，减少了数据量，增加了运行速度，随后使用PointNet网络的改进方法，增加了对场景的理解力，以较高的准确度对室内物体进行了分割识别，最后，使用模型替换与平面拟合的方法，完整的将室内场景重建出来，重建效果好，解决了现有重建方法重建效果差、场景理解能力不足的问题，丰富了人工智能和计算机视觉的方法体系，支撑了三维视觉领域的发展，为室内点云场景理解重建提供了一种选择。
附图说明
图1是本发明一种基于语义分割的三维室内场景重建方法实施例的步骤1中输入原始数据；
图2是本发明一种基于语义分割的三维室内场景重建方法实施例中基于体素滤波下采样后的数据；
图3是本发明一种基于语义分割的三维室内场景重建方法实施例中基于SIFT特征点提取后的数据；
图4是本发明一种基于语义分割的三维室内场景重建方法实施例中融合后的数据；
图5是本发明一种基于语义分割的三维室内场景重建方法实施例中对融合后的数据基于RANSAC平面提取结果；
图6是本发明一种基于语义分割的三维室内场景重建方法实施例中基于PointNet的初步语义分割；
图7是本发明一种基于语义分割的三维室内场景重建方法实施例中基于投影区域生长对同类物体的细分割；
图8本发明一种基于语义分割的三维室内场景重建方法实施例中得到的内环境重建结果；
图9本发明一种基于语义分割的三维室内场景重建方法实施例中得到的外环境重建结果。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明一种基于语义分割的三维室内场景重建方法，具体按照如下步骤实施：
步骤1，采样前的室内场景如图1所示，通过体素滤波采样方法和SIFT特征点提取的方法分别对室内场景进行采样，然后将通过体素滤波采样方法和SIFT特征点提取的方法采样得到的采样点进行融合，对重复的采样点只保留一个作为有效点，获得室内点云数据；其中，通过体素滤波采样方法对室内场景进行采样，具体为：
读取原始室内场景的点云数据，设定体素栅格边长为L，假设当前输入的点为p(xi,yi,zi)，计算p(xi,yi,zi)对应体素栅格三个坐标轴上的最大最小值，计算公式如(1)所示，从而得到体素栅格的8个顶点坐标：分别是(Xmin,Ymin,Zmin)，(Xmin,Ymin,Zmax)，(Xmin,Ymax,Zmin)，(Xmin,Ymax,Zmax)，(Xmax,Ymin,Zmin)，(Xmax,Ymin,Zmax)，(Xmax,Ymax,Zmin)，(Xmax,Ymax,Zmax)；
Figure BDA0003118878460000091
假设，体素栅格中包含m个点，通过公式(2)来计算m个点的重心(X,Y,Z)，用其重心作为体素栅格中m点，然后遍历所有体素栅格，得到的所有重心作为整个点云数据，从而完成对整个场景的体素滤波下采样，如图2所示；
Figure BDA0003118878460000092
其中，通过SIFT特征点提取的方法分别对室内场景进行采样具体为：
将原始室内场景的点云数据通过SIFT算法提取特征点，将提取到的特征点作为整个点云数据，从而得到SIFT特征点提取后的下采样数据，如图3所示；
其中，将通过体素滤波采样方法和SIFT特征点提取的方法采样得到的采样点进行融合，对重复的采样点只保留一个作为有效点，获得室内点云数据具体为：
设置距离阈值，以SIFT特征点为基准，在体素滤波的点云中以距离阈值为半径搜索近邻点，有则删除所有的近邻点，对所有的SIFT特征点搜索完成后，把过滤掉重复点的滤波下采样的点云与SIFT特征点输出到同一个文件中，完成数据融合，融合后的室内点云如图4所示；
步骤2，对步骤1获得的下采样后的室内点云数据进行平面提取，对提取过平面的数据进行语义分割和精细化分割，将室内场景中的物体区分开来；具体为：
步骤2.1，采用RANSAC平面提取方法对步骤1得到的下采样后的室内场景点云数据进行平面提取；具体为：
步骤2.1.1，输入步骤1得到的下采样后的室内场景点云数据，即就是如图4所示的场景；
步骤2.1.2，从输入的散乱的点云中随机选取3个点唯一地确定出一个平面，以这三个点为内点，其余点为外点；
步骤2.1.3，然后计算该平面的邻域中外点的法向量与该平面的法向量的偏差以及该外点到平面的距离是否分别小于预先设置的阈值，若小于，则将该点归入内点，并更新平面，否则，继续判断下一个点，直到该平面领域所有的外点都经过计算判断；
步骤2.1.4，判断经步骤2.1.3更新的平面中内点的数量是否满足大于预先设置的平面内点的最小数量，若满足，则成功地提取到了一个平面；
步骤2.1.5，从步骤1得到的下采样后的室内场景点云数据中剔除掉已经作为步骤2.1.4提取平面中的内点，对剩余点重复执行步骤2.1.2-2.1.5提取平面，直到所有的点都有所属的平面，或者剩余外点的数量小于3，到此成功提取场景中所有平面，如图5所示；
步骤2.2，将平面提取后的结果输入PointNet网络进行训练和测试，从而完成初步的语义分割；具体为：
步骤2.2.1，将开源数据集S3DIS的6个室内场景数据用步骤1-2.1进行处理，得到6组包括平面特征的室内点云数据，其中，前5组作为训练数据，第6组作为测试数据；将训练数据和测试数据均表示为一个n*10的二阶张量，其中，n表示点云中点的数量，10对应坐标和特征的维度，10个维度包括点云中点的三个坐标x、y、z，颜色R、G、B，三个轴的法向量normal_x、normal_y、normal_z、以及所属平面Plane，其中，所属平面Plane特征是步骤2.1得到的，三个法向量特征是在PointNet神经网络中，通过法向量计算函数得到的；
步骤2.2.2，将训练数据输入到PointNet神经网络框架中训练，得到语义分割网络模型；
步骤2.2.3，将测试数据输入到步骤2.2.2中得到的语义分割网络模型，输出语义分割结果，此时，测试数据的每个点都获得了它的语义分类标签，对应室内场景中每一类物体均被分割，如图6所示；
步骤2.3，对经过初步的语义分割得到语义标签的数据，使用基于投影的区域生长优化算法对同类物体进行进一步的精细化分割；具体为：
步骤2.3.1，把经过语义分割后的点云投影到xoy平面上，把点对之间的空间距离转换到共面点之间的距离；
步骤2.3.2，对投影到平面上的点云用区域生长算法进行聚类，将投影后的点云聚成一团一团的点，每一团点代表一个物体；
步骤2.3.3，把区域生长聚类的结果恢复到点云，完成室内物体的细分割，如图7所示。
步骤3，将经过分割的室内场景内环境及外环境进行模型匹配与平面拟合从而完成三维重建，具体为：
步骤3.1，将步骤2中室内场景分割后的结果进行划分：将室内物体划分为内环境场景元素，将房间墙壁上及结构型物体划分为外环境场景元素；
对内环境场景元素进行重建，将内环境的场景元素与对应类别的标准模型库中的标准模型进行匹配，找到最优匹配模型并用该模型替换掉对应的场景元素，获得如图8所示的结果；
其中，对内环境场景元素进行重建具体为：
步骤3.1.1，在公开的三维CAD模型数据集ModelNet40上选取常见形态的桌子、椅子、书架各100个，沙发、门选取各20个，杂物选取50个常见的模型；
步骤3.1.2，将步骤3.1.1选择的CAD模型转化成点云数据，使用均匀采样的方法对CAD模型点云化，获得CAD模型的点云数据，作为模型库；
步骤3.1.3，随机选择一个内环境元素作为待匹配元素，通过使用主成分分析法将待匹配元素与模型库中的每一个同类型的模型进行归一化操作，使待匹配元素与模型具有相同的尺度；
步骤3.1.4，将待匹配元素与模型库中同类型的模型通过SAC-IA算法计算得到待匹配元素的最优的匹配模型和其初始变换矩阵；
步骤3.1.5，将获得初始变换矩阵的最优匹配模型通过ICP算法进行精确匹配，使得待匹配元素点云与最优匹配模型点云对齐，并输出最优的刚性变换矩阵；随后将最优匹配模型的原始CAD模型通过与最优刚性变换矩阵进行矩阵运算，使得最优匹配模型的CAD模型变换到待匹配元素点云的位置并替换掉它，从而完成该待匹配元素的重建工作，重复步骤3.1.3-3.1.5完成对整个室内场景内环境元素的遍历，最终获得室内场景内环境元素的三维重建结果；
步骤3.2，对外环境场景重建，先对门墙以外的外环境元素使用平面拟合的方式进行重建，门使用模型匹配的方法进行重建，墙面的重建为在平面拟合方法的基础上，将拟合的平面去掉孔洞区域，从而完成墙面的重建，具体为：
步骤3.2.1，对非墙面非门元素重建：
选中一个非墙非门的外环境元素，提取该元素的AABB包围盒，求出包围盒的顶点，再对包围盒内部该元素的点进行平面拟合，最后把拟合的平面生成模型，重复该步骤，遍历所有非墙非门的外环境元素，完成对非墙非门元素的三维重建；
步骤3.2.2，门元素的重建工作：
先将不同形态的门元素的CAD模型从ModelNet40数据集中选出并添加到模型库中，然后用步骤3.1.3-3.1.5的模型匹配的方法完成对门元素的三维重建；
步骤3.2.3，墙面的重建工作，先对门窗以及墙面元素求取AABB包围盒，再用步骤3.2.1的方法对墙面拟合并生成模型；然后再去除墙面拟合模型的孔洞区域：根据包围盒顶点的坐标位置关系判断门窗在哪个墙面上，然后再用墙面拟合模型减去门窗区域的所有点，得到带有孔洞区域的墙面拟合模型，从而完成墙面的三维重建，最后得到外环境重建结果如图9所示。

Claims (7)

1.一种基于语义分割的三维室内场景重建方法，其特征在于，具体按照如下步骤实施：
步骤1，通过体素滤波采样方法和SIFT特征点提取的方法分别对室内场景进行下采样，然后将通过体素滤波采样方法和SIFT特征点提取的方法采样得到的采样点进行融合，对重复的采样点只保留一个作为有效点，获得下采样后的室内点云数据；
步骤2，对步骤1获得的下采样后的室内点云数据进行平面提取，对提取过平面的数据进行语义分割和精细化分割，将室内场景中的物体区分开来；
具体为：
步骤2.1，采用RANSAC平面提取方法对步骤1得到的下采样后的室内场景点云数据进行平面提取；
步骤2.2，将平面提取后的结果输入PointNet网络进行训练和测试，从而完成初步的语义分割；
具体为：
步骤2.2.1，将开源数据集S3DIS的6个室内场景数据用步骤1-2.1进行处理，得到6组包括平面特征的室内点云数据，其中，前5组作为训练数据，第6组作为测试数据；将训练数据和测试数据均表示为一个n*10的二阶张量，其中，n表示点云中点的数量，10对应坐标和特征的维度，10个维度包括点云中点的三个坐标x、y、z，颜色R、G、B，三个轴的法向量normal_x、normal_y、normal_z、以及所属平面Plane，其中，所属平面Plane特征是步骤2.1得到的，三个法向量特征是在PointNet神经网络中，通过法向量计算函数得到的；
步骤2.2.2，将训练数据输入到PointNet神经网络框架中训练，得到语义分割网络模型；
步骤2.2.3，将测试数据输入到步骤2.2.2中得到的语义分割网络模型，输出语义分割结果，此时，测试数据的每个点都获得了它的语义分类标签，对应室内场景中每一类物体均被分割；
步骤2.3，对经过初步的语义分割得到语义标签的数据，使用基于投影的区域生长优化算法对同类物体进行进一步的精细化分割；
具体为：
步骤2.3.1，把经过语义分割后的点云投影到xoy平面上，把点对之间的空间距离转换到共面点之间的距离；
步骤2.3.2，对投影到平面上的点云用区域生长算法进行聚类，将投影后的点云聚成一团一团的点，每一团点代表一个物体；
步骤2.3.3，把区域生长聚类的结果恢复到点云，完成室内物体的细分割；
步骤3，将经过分割的室内场景内环境及外环境进行模型匹配与平面拟合从而完成三维重建；
具体为：
步骤3.1，将步骤2中室内场景分割后的结果进行划分：将室内物体划分为内环境场景元素，将房间墙壁上及结构型物体划分为外环境场景元素；
对内环境场景元素进行重建，将内环境的场景元素与对应类别的标准模型库中的标准模型进行匹配，找到最优匹配模型并用该模型替换掉对应的场景元素；
步骤3.2，对外环境场景重建，先对门墙以外的外环境元素使用平面拟合的方式进行重建，门使用模型匹配的方法进行重建，墙面的重建为在平面拟合方法的基础上，将拟合的平面去掉孔洞区域，从而完成墙面的重建。
2.根据权利要求1所述的一种基于语义分割的三维室内场景重建方法，其特征在于，所述步骤1中通过体素滤波采样方法对室内场景进行下采样，具体为：
读取原始室内场景的点云数据，设定体素栅格边长为L，假设当前输入的点为p(xi，yi，zi)，计算p(xi，yi，zi)对应体素栅格三个坐标轴上的最大最小值，计算公式如(1)所示，从而得到体素栅格的8个顶点坐标：分别是(Xmin,Ymin,Zmin)，(Xmin,Ymin,Zmax)，(Xmin,Ymax,Zmin)，(Xmin,Ymax,Zmax)，(Xmax,Ymin,Zmin)，(Xmax,Ymin,Zmax)，(Xmax,Ymax,Zmin)，(Xmax,Ymax,Zmax)；
Figure FDA0003880415030000031
假设，体素栅格中包含m个点，通过公式(2)来计算m个点的重心(X,Y,Z)，用其重心作为体素栅格中m点，然后遍历所有体素栅格，得到的所有重心作为整个点云数据，从而完成对整个场景的体素滤波下采样；
Figure FDA0003880415030000032
3.根据权利要求1所述的一种基于语义分割的三维室内场景重建方法，其特征在于，所述步骤1中通过SIFT特征点提取的方法分别对室内场景进行采样具体为：
将原始室内场景的点云数据通过SIFT算法提取特征点，将提取到的特征点作为整个点云数据，从而得到SIFT特征点提取后的下采样数据。
4.根据权利要求1所述的一种基于语义分割的三维室内场景重建方法，其特征在于，所述步骤1将通过体素滤波采样方法和SIFT特征点提取的方法采样得到的采样点进行融合，对重复的采样点只保留一个作为有效点，获得室内点云数据具体为：
设置距离阈值，以SIFT特征点为基准，在体素滤波的点云中以距离阈值为半径搜索近邻点，有则删除所有的近邻点，对所有的SIFT特征点搜索完成后，把过滤掉重复点的滤波下采样的点云与SIFT特征点输出到同一个文件中，完成数据融合。
5.根据权利要求1所述的一种基于语义分割的三维室内场景重建方法，其特征在于，所述步骤2.1具体为：
步骤2.1.1，输入步骤1得到的下采样后的室内场景点云数据；
步骤2.1.2，从输入的散乱的点云中随机选取3个点唯一地确定出一个平面，以这三个点为内点，其余点为外点；
步骤2.1.3，然后计算该平面的邻域中外点的法向量与该平面的法向量的偏差以及该外点到平面的距离是否分别小于预先设置的阈值，若小于，则将该点归入内点，并更新平面，否则，继续判断下一个点，直到该平面领域所有的外点都经过计算判断；
步骤2.1.4，判断经步骤2.1.3更新的平面中内点的数量是否满足大于预先设置的平面内点的最小数量，若满足，则成功地提取到了一个平面；
步骤2.1.5，从步骤1得到的下采样后的室内场景点云数据中剔除掉已经作为步骤2.1.4提取平面中的内点，对剩余点重复执行步骤2.1.2-2.1.5提取平面，直到所有的点都有所属的平面，或者剩余外点的数量小于3，到此成功提取场景中所有平面。
6.根据权利要求1所述的一种基于语义分割的三维室内场景重建方法，其特征在于，所述步骤3.1中对内环境场景元素进行重建具体为：
步骤3.1.1，在公开的三维CAD模型数据集ModelNet40上选取常见形态的桌子、椅子、书架各100个，沙发、门选取各20个，杂物选取50个常见的模型；
步骤3.1.2，将步骤3.1.1选择的CAD模型转化成点云数据，使用均匀采样的方法对CAD模型点云化，获得CAD模型的点云数据，作为模型库；
步骤3.1.3，随机选择一个内环境元素作为待匹配元素，通过使用主成分分析法将待匹配元素与模型库中的每一个同类型的模型进行归一化操作，使待匹配元素与模型具有相同的尺度；
步骤3.1.4，将待匹配元素与模型库中同类型的模型通过SAC-IA算法计算得到待匹配元素的最优的匹配模型和其初始变换矩阵；
步骤3.1.5，将获得初始变换矩阵的最优匹配模型通过ICP算法进行精确匹配，使得待匹配元素点云与最优匹配模型点云对齐，并输出最优的刚性变换矩阵；随后将最优匹配模型的原始CAD模型通过与最优刚性变换矩阵进行矩阵运算，使得最优匹配模型的CAD模型变换到待匹配元素点云的位置并替换掉它，从而完成该待匹配元素的重建工作，重复步骤3.1.3-3.1.5完成对整个室内场景内环境元素的遍历，最终获得室内场景内环境元素的三维重建结果。
7.根据权利要求6所述的一种基于语义分割的三维室内场景重建方法，其特征在于，所述步骤3.2具体为：
步骤3.2.1，对非墙面非门元素重建：
选中一个非墙非门的外环境元素，提取该元素的AABB包围盒，求出包围盒的顶点，再对包围盒内部该元素的点进行平面拟合，最后把拟合的平面生成模型，重复该步骤，遍历所有非墙非门的外环境元素，完成对非墙非门元素的三维重建；
步骤3.2.2，门元素的重建工作：
先将不同形态的门元素的CAD模型从ModelNet40数据集中选出并添加到模型库中，然后用步骤3.1.3-3.1.5的模型匹配的方法完成对门元素的三维重建；
步骤3.2.3，墙面的重建工作，先对门窗以及墙面元素求取AABB包围盒，再用步骤3.2.1的方法对墙面拟合并生成模型；然后再去除墙面拟合模型的孔洞区域：根据包围盒顶点的坐标位置关系判断门窗在哪个墙面上，然后再用墙面拟合模型减去门窗区域的所有点，得到带有孔洞区域的墙面拟合模型，从而完成墙面的三维重建。
CN202110671249.5A 2021-06-17 2021-06-17 一种基于语义分割的三维室内场景重建方法 Active CN113379898B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110671249.5A CN113379898B (zh) 2021-06-17 2021-06-17 一种基于语义分割的三维室内场景重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110671249.5A CN113379898B (zh) 2021-06-17 2021-06-17 一种基于语义分割的三维室内场景重建方法

Publications (2)

Publication Number Publication Date
CN113379898A CN113379898A (zh) 2021-09-10
CN113379898B true CN113379898B (zh) 2022-11-11

Family

ID=77577443

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110671249.5A Active CN113379898B (zh) 2021-06-17 2021-06-17 一种基于语义分割的三维室内场景重建方法

Country Status (1)

Country Link
CN (1) CN113379898B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113954066B (zh) * 2021-10-14 2023-02-21 国电南瑞科技股份有限公司 一种基于数字孪生系统的配网作业机器人控制方法及装置
CN114004938B (zh) * 2021-12-27 2022-04-01 中国电子科技集团公司第二十八研究所 一种基于海量数据的城市场景重建方法及装置
CN115239951B (zh) * 2022-06-08 2023-09-15 广东领慧数字空间科技有限公司 一种基于点云数据处理的墙面分割识别方法及系统
CN114926699B (zh) * 2022-07-20 2022-12-06 深圳大学 一种室内三维点云语义分类方法、装置、介质及终端
CN115761172A (zh) * 2022-10-10 2023-03-07 哈尔滨工程大学 一种基于点云语义分割与结构拟合的单体建筑三维重建方法
CN115619963B (zh) * 2022-11-14 2023-06-02 吉奥时空信息技术股份有限公司 一种基于内容感知的城市建筑物实体建模方法
CN115984489B (zh) * 2023-03-21 2023-09-19 广东数字生态科技有限责任公司 一种输电线路的三维重建方法、装置及处理设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109410307A (zh) * 2018-10-16 2019-03-01 大连理工大学 一种场景点云语义分割方法
CN109658449A (zh) * 2018-12-03 2019-04-19 华中科技大学 一种基于rgb-d图像的室内场景三维重建方法
CN110349247A (zh) * 2018-04-08 2019-10-18 哈尔滨工业大学 一种基于语义理解的室内场景cad三维重建方法
CN110660062A (zh) * 2019-08-31 2020-01-07 南京理工大学 一种基于PointNet的点云实例分割方法及系统
CN111986322A (zh) * 2020-07-21 2020-11-24 西安理工大学 一种基于结构分析的点云室内场景布局重建方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109325998B (zh) * 2018-10-08 2023-06-30 香港理工大学 一种基于点云数据的室内3d建模方法、系统及相关装置
US10839606B2 (en) * 2018-12-28 2020-11-17 National Tsing Hua University Indoor scene structural estimation system and estimation method thereof based on deep learning network
CN110264572B (zh) * 2019-06-21 2021-07-30 哈尔滨工业大学 一种融合几何特性与力学特性的地形建模方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110349247A (zh) * 2018-04-08 2019-10-18 哈尔滨工业大学 一种基于语义理解的室内场景cad三维重建方法
CN109410307A (zh) * 2018-10-16 2019-03-01 大连理工大学 一种场景点云语义分割方法
CN109658449A (zh) * 2018-12-03 2019-04-19 华中科技大学 一种基于rgb-d图像的室内场景三维重建方法
CN110660062A (zh) * 2019-08-31 2020-01-07 南京理工大学 一种基于PointNet的点云实例分割方法及系统
CN111986322A (zh) * 2020-07-21 2020-11-24 西安理工大学 一种基于结构分析的点云室内场景布局重建方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
Improved 3D Reconstruction for Images having Moving Object using Semantic Image Segmentation and Binary Masking;Mohammad Nooruddin等;《2018 4th International Conference on Electrical Engineering and Information & Communication Technology (iCEEiCT)》;20181231;第32-37页 *
Three-dimensional reconstruction method of Tang Dynasty building based on point clouds;Wang, YH等;《Optical Engineering》;20151231;第54卷(第12期);第1-11页 *
基于基本形状及其拓扑关系的点云建筑物重建方法;郝雯等;《西安理工大学学报》;20171231;第33卷(第03期);第290-296页 *
基于多信息深度学习的3D点云语义分割;刘友群等;《激光与红外》;20210531;第51卷(第5期);第675-680页 *
基于点云数据的三维目标识别和模型分割方法;牛辰庚等;《图学学报》;20190415(第02期);第64-71页 *
基于相对坐标ICP的室内场景三维重建算法;李策等;《兰州理工大学学报》;20170615(第03期);第102-107页 *
建筑室内空间虚拟场景多视图三维重建方法;曹洁等;《计算机仿真》;20200915(第09期);第308-311、386页 *

Also Published As

Publication number Publication date
CN113379898A (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
CN113379898B (zh) 一种基于语义分割的三维室内场景重建方法
US11971726B2 (en) Method of constructing indoor two-dimensional semantic map with wall corner as critical feature based on robot platform
CN108648233B (zh) 一种基于深度学习的目标识别与抓取定位方法
CN109410321B (zh) 基于卷积神经网络的三维重建方法
CN111915730B (zh) 一种顾及语义从点云自动生成室内三维模型的方法及系统
Hou et al. Revealnet: Seeing behind objects in rgb-d scans
CN108038906B (zh) 一种基于图像的三维四边形网格模型重建方法
CN110827398B (zh) 基于深度神经网络的室内三维点云自动语义分割方法
CN112288857A (zh) 一种基于深度学习的机器人语义地图物体识别方法
CN114926699B (zh) 一种室内三维点云语义分类方法、装置、介质及终端
CN111986322B (zh) 一种基于结构分析的点云室内场景布局重建方法
CN115761172A (zh) 一种基于点云语义分割与结构拟合的单体建筑三维重建方法
Poux et al. Unsupervised segmentation of indoor 3D point cloud: Application to object-based classification
CN107527054B (zh) 基于多视角融合的前景自动提取方法
CN111681274A (zh) 基于深度相机点云数据的3d人体骨骼识别和提取方法
CN105427293A (zh) 室内场景扫描重建的方法及装置
CN112396655B (zh) 一种基于点云数据的船舶目标6d位姿估计方法
CN111582140B (zh) 一种基于激光测量点云的室内物体提取方法
Hu et al. Geometric feature enhanced line segment extraction from large-scale point clouds with hierarchical topological optimization
Yang et al. Automated semantics and topology representation of residential-building space using floor-plan raster maps
Yuan et al. 3D point cloud recognition of substation equipment based on plane detection
Thiemann et al. 3D-symbolization using adaptive templates
Wang et al. Methods of As-is BIM reconstruction using point cloud data for existing buildings
Mehranfar et al. A hybrid top-down, bottom-up approach for 3D space parsing using dense RGB point clouds
CN111402256B (zh) 一种基于模板的三维点云目标检测和姿态估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant