CN113868739A - 一种基于神经网络的多房间室内户型图重建方法 - Google Patents

一种基于神经网络的多房间室内户型图重建方法 Download PDF

Info

Publication number
CN113868739A
CN113868739A CN202111122177.5A CN202111122177A CN113868739A CN 113868739 A CN113868739 A CN 113868739A CN 202111122177 A CN202111122177 A CN 202111122177A CN 113868739 A CN113868739 A CN 113868739A
Authority
CN
China
Prior art keywords
room
points
plane
neural network
house type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202111122177.5A
Other languages
English (en)
Inventor
颜成钢
汪奇挺
朱尊杰
孙垚棋
张继勇
李宗鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202111122177.5A priority Critical patent/CN113868739A/zh
Publication of CN113868739A publication Critical patent/CN113868739A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/13—Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Structural Engineering (AREA)
  • Civil Engineering (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于神经网络的多房间室内户型图重建方法，本发明在室内稠密三维重建模型的基础上使用Mask‑Rcnn神经网络，将拥有多个房间的场景分割为多个单房间小场景，将单个房间中的所有墙面提取出来，将构成墙面所有的点做平面投影，对2D投影平面图的结果做线段拟合，将每面墙用一个2D线段表示，再计算线段与线段的交点得到整体房间的角点，将所得角点按顺序相连，最后将线段沿着Z轴方向拔高得到模型户型图结构。本发明在对场景中的重建时，消除了不同房间之间的干扰，保证了重建后结果的完整性，在对场景中的房间角点计算时，引入了传统的计算方法，对于角点计算的结果相比于神经网络检测的结果更加精确。

Description

一种基于神经网络的多房间室内户型图重建方法
技术领域
本发明属于计算机图形学中的三维模型重建、深度学习领域，是一种充分利用深度学习的室内户型图结构重建方法，可以进一步的完善实时稠密重建的重建效果，未来可应用于AR和VR领域。
背景技术
在虚拟现实(VR)、增强现实(AR)或者混合现实(MR)领域中，往往需要将虚拟的数字化场景、物体或者其他数字化信息和真实环境进行互动，三维重建技术将作为一种将真实场景或者物体转换成虚拟场景或物体的接口，在真实环境与虚拟物体进行交互过程中起着至关重要的作用。
在新房装修的时候装修设计人员都需要将完整的房屋结构绘制一个平面图，然后再基于平面图的信息构建三维的空间结构并且在模型中完成进行房屋的装修设计。现有的三维重建技术虽然能够将完成的稠密三维模型重建出来，但是这个重建过程往往需要拿着传感器缓慢的对整个室内环境中的所有物体以及整个场景进行全方位无死角的扫描，最终才能生成完整的室内稠密模型，这个过程往往十分耗费时间，且稍有不慎就会使得模型中出现一些孔洞。在用户实际使用VR等设备进行现实三维环境稠密重建时，生成的三维模型中不可避免的存在孔洞，此时在孔洞的干扰下，真实场景和虚拟物体进行交互的过程中就会出现错误的互动，影响用户的体验。本专利针对重建后的三维模型不准确有孔洞，无法准确反映出一个室内房屋的整体结构的问题，提出了一种对重建的三维模型上进行户型图结构分析重建的技术。
发明内容
针对现有技术中存在的不足，本发明提供了一种基于神经网络的多房间室内户型图重建方法。
本发明在室内稠密三维重建模型的基础上使用Mask-Rcnn神经网络，将拥有多个房间的场景分割为多个单房间小场景。再将单个房间单独处理，将单个房间中的所有墙面提取出来，将构成墙面所有的点做一个从3D到2D的平面投影，通过对2D投影平面图的结果做线段拟合，将每面墙用一个2D线段表示，再计算线段与线段的交点就可以看做是整体房间的角点，将所得角点按顺序相连，并且将线段沿着Z轴方向拔高3D模型的高度就可以得到模型户型图结构。
一种基于神经网络的多房间室内户型图重建方法，包括以下步骤：
步骤(1)：单房间检测；
使用Mask-Rcnn对多房间的室内稠密三维重建模型进行单个房间检测。
通过Mask-Rcnn神经网络，将所有的房间分割成独立的单个房间，并且用一个bounding-box框出，对每一个独立的房屋打上标签结果。
步骤(2)：单个房间中的所有墙面提取；
通过Ransac平面检测方法对房间中所有的大平面进行检测，计算出所有平面的参数信息，再基于平面参数计算得到该各个平面的法向量数据，将所有法向量平行于Z轴的平面保留作为墙面，所有法向量垂直于Z轴的平面作为地面和天花数据剔除。
步骤(3)：2D投影以及线段拟合；
将3D空间中墙平面所有的点投影到X0Y的2D平面中。并且通过Ransac直线拟合方法，将从3D投影到2D平面后的所有点云数据拟合成数条有长度线段，对每一个墙平面投影得到点做一个有长度的线段拟合；投影后的2D平面即为房间结构的粗略地面区域。
步骤(4)：单房间户型图重建；
对于步骤(3)得到的线段，分别计算线段与线段之间的交点信息。普通的长方体家居房间结构有八个角落顶点(角点)，四个坐落于地面，四个坐落于天花板处，能够看作一个长方体的八个顶点。在得到了地面的四个交点坐标位置后，按照顺序相连形成一个闭环的长方形结构。再对长方形的四条边做Z轴方向的拔高处理，将一个2D长方形拔高为四个2D长方形拼接组成的3D长方体。
步骤(5)整体户型图重建；
将所有单个房间进行组合构成完整的户型图重建。
进一步的，所述的步骤(3)具体方法如下：
并且将步骤(2)所有保留下来的三维点投影至X0Y坐标轴上生成2D坐标点。将所有投影后的点通过Ransac做线段拟合，由于一个点群是由一面3D墙点做投影得到的，因此每一条拟合后的2D线段都对应一个3D的墙面。因为拟合后的线段长度相比较原来的长度有一定的缩短，所以将每一条线段沿着两端延长L的长度以保证该线段会和其他线段相交。将所有延长后的相交的线段两辆计算交点就能得到房间的角点坐标信息。
进一步的，L的长度优选为0.3米。
进一步的，所述的步骤(4)具体方法如下：
对于步骤(3)得到的线段，分别计算线段与线段之间的交点信息。将一条线段上取首尾两个交点，再将这两个点沿着Z轴拔高，拔高的距离通过选取原始的稠密重建模型中的最高点坐标减去最低点坐标获得，生成新的两个点，四个点相连形成一个新的正四边形就是重建后的墙体。依次将所有墙面重建。
本发明有益效果如下：
(1)本发明能够在大型室内场景级模型中户型图结构重建，相比只使用深度学习做室内重建，该方法能得到更好完整准确的室内重建模型，方便与后续的在VR或AR或室内家装设计使用。
(2)本发明在对场景中的重建时，消除了不同房间之间的干扰，保证了重建后结果的完整性。
(3)本发明在对场景中的房间角点计算时，引入了传统的计算方法，对于角点计算的结果相比于神经网络检测的结果更加精确。
附图说明
图1为本发明方法实施例流程示意图。
具体实施方式
下面结合本专利的附图来对发明专利的具体实施进行详细描述。
如图1所示，一种基于神经网络的多房间室内户型图重建方法，包括以下步骤：
步骤(1)：单房间检测；
通过Mask-Rcnn神经网络，我们将所有的房间分割成独立的单个房间，并且用一个bounding-box框出，对每一个独立的房屋打上了标签结果。
步骤(2)：单个房间中的所有墙面提取；
首先通过了Ransac检测方法检测模型场景中所有的平面以获取到所有平面的平面参数。通过平面的法向量朝向，我们将所有法向量平行于Z轴的平面保留作为墙面，所有法向量垂直于Z轴的平面作为地面和天花数据剔除。并且将所有保留下来的三维点投影至X0Y坐标轴上生成2D坐标点。
步骤(3)：2D投影以及线段拟合；
将所有投影后的点通过Ransac做线段拟合，由于一个点群是由一面3D墙点做投影得到的，于是每一条拟合后的2D线段都可以对应一个3D的墙面。因为拟合后的线段长度可能会相比较原来的长度有一定的缩短，所以需要将每一条线段沿着两端略微延长一定的长度(0.3米)以保证该线段会和其他线段相交。将所有延长后的相交的线段两辆计算交点就能得到房间的角点坐标信息。
步骤(4)：单房间户型图重建：
对于步骤(3)得到的线段，分别计算线段与线段之间的交点信息。普通的长方体家居房间结构有八个角落顶点(角点)，四个坐落于地面，四个坐落于天花板处，能够看作一个长方体的八个顶点。在得到了地面的四个交点坐标位置后，按照顺序相连形成一个闭环的长方形结构。将一条线段上取首尾两个交点，再将这两个点沿着Z轴拔高，生成新的两个点，四个点相连形成一个新的正四边形就是重建后的墙体。拔高的距离通过选取原始的稠密重建模型中的最高点坐标减去最低点坐标获得，依次将所有墙面重建。
步骤(5)整体户型图重建；
将所有单个房间进行组合构成完整的户型图重建。

Claims (3)

1.一种基于神经网络的多房间室内户型图重建方法，其特征在于，包括以下步骤：
步骤(1)：单房间检测；
使用Mask-Rcnn对多房间的室内稠密三维重建模型进行单个房间检测；
通过Mask-Rcnn神经网络，将所有的房间分割成独立的单个房间，并且用一个bounding-box框出，对每一个独立的房屋打上标签结果；
步骤(2)：单个房间中的所有墙面提取；
通过Ransac平面检测方法对房间中所有的大平面进行检测，计算出所有平面的参数信息，再基于平面参数计算得到该各个平面的法向量数据，将所有法向量平行于Z轴的平面保留作为墙面，所有法向量垂直于Z轴的平面作为地面和天花数据剔除；
步骤(3)：2D投影以及线段拟合；
将3D空间中墙平面所有的点投影到X0Y的2D平面中；并且通过Ransac直线拟合方法，将从3D投影到2D平面后的所有点云数据拟合成数条有长度线段，对每一个墙平面投影得到点做一个有长度的线段拟合；投影后的2D平面即为房间结构的粗略地面区域；
步骤(4)：单房间户型图重建；
对于步骤(3)得到的线段，分别计算线段与线段之间的交点信息；普通的长方体家居房间结构有八个角落顶点(角点)，四个坐落于地面，四个坐落于天花板处，能够看作一个长方体的八个顶点；在得到了地面的四个交点坐标位置后，按照顺序相连形成一个闭环的长方形结构；再对长方形的四条边做Z轴方向的拔高处理，将一个2D长方形拔高为四个2D长方形拼接组成的3D长方体；
步骤(5)整体户型图重建；
将所有单个房间进行组合构成完整的户型图重建。
2.根据权利要求1所述的一种基于神经网络的多房间室内户型图重建方法，其特征在于，所述的步骤(3)具体方法如下：
并且将步骤(2)所有保留下来的三维点投影至X0Y坐标轴上生成2D坐标点；将所有投影后的点通过Ransac做线段拟合，由于一个点群是由一面3D墙点做投影得到的，因此每一条拟合后的2D线段都对应一个3D的墙面；因为拟合后的线段长度相比较原来的长度有一定的缩短，所以将每一条线段沿着两端延长L的长度以保证该线段会和其他线段相交；将所有延长后的相交的线段两辆计算交点就能得到房间的角点坐标信息。
3.根据权利要求2所述的一种基于神经网络的多房间室内户型图重建方法，其特征在于，L的长度优选为0.3米。
CN202111122177.5A 2021-09-24 2021-09-24 一种基于神经网络的多房间室内户型图重建方法 Withdrawn CN113868739A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111122177.5A CN113868739A (zh) 2021-09-24 2021-09-24 一种基于神经网络的多房间室内户型图重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111122177.5A CN113868739A (zh) 2021-09-24 2021-09-24 一种基于神经网络的多房间室内户型图重建方法

Publications (1)

Publication Number Publication Date
CN113868739A true CN113868739A (zh) 2021-12-31

Family

ID=78993846

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111122177.5A Withdrawn CN113868739A (zh) 2021-09-24 2021-09-24 一种基于神经网络的多房间室内户型图重建方法

Country Status (1)

Country Link
CN (1) CN113868739A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114637006A (zh) * 2022-05-07 2022-06-17 长沙莫之比智能科技有限公司 基于毫米波人员跌倒检测雷达的预警区域自适应调节方法
CN116824132A (zh) * 2023-05-15 2023-09-29 中国科学院大学 平面图分割方法、装置及电子设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114637006A (zh) * 2022-05-07 2022-06-17 长沙莫之比智能科技有限公司 基于毫米波人员跌倒检测雷达的预警区域自适应调节方法
CN116824132A (zh) * 2023-05-15 2023-09-29 中国科学院大学 平面图分割方法、装置及电子设备
CN116824132B (zh) * 2023-05-15 2024-03-12 中国科学院大学 平面图分割方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN109003325A (zh) 一种三维重建的方法、介质、装置和计算设备
KR101135186B1 (ko) 상호작용형 실시간 증강현실 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
CN109544677A (zh) 基于深度图像关键帧的室内场景主结构重建方法及系统
CN107767453B (zh) 一种基于规则约束的建筑物lidar点云重构优化方法
CN113868739A (zh) 一种基于神经网络的多房间室内户型图重建方法
CN103606190A (zh) 单张人脸正面照片自动转换为三维人脸模型的方法
CN108830926B (zh) 三维虚拟地球软件中空间动态粒子模型建立与可视化方法
CN112530005B (zh) 一种三维模型直线结构识别与自动修复方法
CN103780873A (zh) 一种变电站视频监控系统实现3d场景显示的方法
Boom et al. Interactive light source position estimation for augmented reality with an RGB‐D camera
Li 3D indoor scene reconstruction and layout based on virtual reality technology and few-shot learning
CN106408654B (zh) 一种三维地图的创建方法及系统
Zhang et al. Real-Time 3-D Reconstruction for Facilitating the Development of Game-based Virtual Laboratories
Jin et al. High precision indoor model contour extraction algorithm based on geometric information
Huang et al. From BIM to pointcloud: automatic generation of labeled indoor pointcloud
Kunert et al. Efficient point cloud rasterization for real time volumetric integration in mixed reality applications
Savransky et al. Modeling and Rendering Escher‐Like Impossible Scenes
CN114972665A (zh) 一种无人机虚拟仿真中的三维可视化虚拟场景建模方法
CN106960467A (zh) 一种带有骨骼信息的人脸重构方法和系统
CN112052489B (zh) 一种户型图生成方法及系统
Wang et al. Research on 3D Digital Modeling and Virtual Simulation Technology of Ancient Architecture Based on Image Sequence
Sugihara et al. Automatic generation of 3D building models by rectification of building polygons
Sugihara Straight skeleton for automatic generation of 3-D building models with general shaped roofs
Ruan The survey of vision-based 3D modeling techniques
Klavdianos et al. A concise survey for 3D reconstruction of building façades

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20211231