CN113592705A - 一种房型结构分析方法及装置 - Google Patents

一种房型结构分析方法及装置 Download PDF

Info

Publication number
CN113592705A
CN113592705A CN202110843278.5A CN202110843278A CN113592705A CN 113592705 A CN113592705 A CN 113592705A CN 202110843278 A CN202110843278 A CN 202110843278A CN 113592705 A CN113592705 A CN 113592705A
Authority
CN
China
Prior art keywords
dimensional
point cloud
room
furniture
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110843278.5A
Other languages
English (en)
Inventor
虞秀华
刘豪杰
俞俊明
费智翔
刘安
曾呈
白付壮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Cheng Ming Rong Xin Technology Co ltd
Original Assignee
Shanghai Cheng Ming Rong Xin Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Cheng Ming Rong Xin Technology Co ltd filed Critical Shanghai Cheng Ming Rong Xin Technology Co ltd
Priority to CN202110843278.5A priority Critical patent/CN113592705A/zh
Publication of CN113592705A publication Critical patent/CN113592705A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/2433—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures for measuring outlines by shadow casting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G06T3/608—Rotation of whole images or parts thereof by skew deformation, e.g. two-pass or three-pass rotation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/168—Segmentation; Edge detection involving transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种房型结构分析方法及装置，该方法包括：步骤S1，获取三维物体点云数据以及三维空气点云数据；步骤S2，对三维物体点云识别得到家具点云，并对三维物体点云数据经由二维物体投影得到旋转矫正矩阵，根据旋转矫正矩阵对三维物体点云、三维空气点云以及家具点云进行旋转矫正；步骤S3，结合矫正后的三维物体点云与各点所属家具信息生成抗干扰的二维俯视角物体投影与法向量投影，并分别生成二维房间掩膜、各房间所属的二维角点、角点之间的关联性；步骤S4，依据角点生成房间的局部边界以及楼层的全局边界，并基于边界的角点、平行距离进行优化；步骤S5，融入家具位置与通道位置信息，生成二维房型结构。

Description

一种房型结构分析方法及装置
技术领域
本发明涉及计算机视觉及机器学习技术领域，特别是涉及一种房型结构分析方法及装置。
背景技术
随着计算机技术的普及和广泛发展，人们可以更加方便快捷地获取房源信息。当前在房产交易的平台上，每套房屋会挂接对应的户型图，户型图描述了房屋的整体属性，从户型图上可以很直观地看到整个房屋的格局、规划、朝向和面积大小等信息，是客户了解房屋所必不可少的信息来源。
为了向客户提供真实的房源信息，大多数房产交易平台除了向客户展示户型图外，还会显示该户型图所对应的详细信息，例如包括该户型图的整体详细信息，该户型图由哪些分间构成，以及每个分间的具体信息等。
但是，目前房屋户型图及其详细信息基本是通过线下手动的方式人工录的，人工线下录入的方式不仅耗时耗力且会出现不同的人衡量标准不同导致的差异。并且，房屋的数量很多，每张户型图均通过人工线下录入几乎是不可能完成的任务。
与本发明最接近的现有技术为2019年发表于IEEE主办的ICCV(IEEEInternational Conference on Computer Vision,国际计算机视觉大会)技术方案：“Floor-SP:Inverse CAD for Floorplans by Sequential Room-wise Shortest Path”，即Floor-SP：按顺序房间最短路径进行楼层平面逆向CAD，如图1所示，该技术方案首先对于房间三维扫描的二维投影图实行房间分割，从而将整个楼层的平面图简化为多个单独房间多边形的重构，并将每个房间的掩膜与整体投影一同作为后续处理的输入，而对于每个房间，其先通过神经网络识别房间的角点与角点间的关联，接着构造一个有关于点和线的能量函数，希望通过最小化该能量函数值的方式从而使房屋结构图能有尽可能少的角点与边，并使这些角点与边被更多的房间共用。并在最后循环合并不同房间的结果，从而输出最终的房型结构图。
然而，该技术方案会存在一些不足：例如，当房屋数据不是毛坯房，而是具有家具、住户等干扰项的情况时，简单的二维投影数据往往会变得很“脏”，从而极大地影响后续预测的精确度；基于能量函数的优化伴随有极为强烈的先验，并且往往结构过于简单，其很可能把平行但接近的两堵墙连为一堵，就为了能少一根线；而如果采用的是启发式算法，那么计算所消耗的资源与时间将会十分庞大。
总的来说，现有技术的Floor-SP技术方案存在着一些尚待解决的技术问题：
1.对于数据的投影处理过于简单：作为输入数据的二维图容易受到家具、住户、临时放置物等其它物体的影响，在投影图中除了墙面投影之外还混杂有许多其它的杂点、线，从而极大地影响后续预测的准确性与可靠性；
2.缺乏数据投影前必要的预处理步骤：基于现今主流方法建模得到的三维模型往往遵循于其自身的一个坐标系，而非扫描物体在现实世界中的世界坐标系，更不可能保证输入模型中主要的墙面方向与x轴、y轴相平行。因此如果不能自动地校准输入模型的主方向，可能会使多次预测的结果不同从而影响其可靠性，并且也会与优化过程中主方向大多横平竖直的先验假设相悖；
3.基于强烈先验的能量函数优化：在构造能量函数时通常会基于自身对该物体的先验理解，如应该有尽可能多的角点与线被共用。但这样的先验不仅会使最终输出结果有时过于简单，还会对一些没有预先设想到情形的预测造成困难。并且其使用的启发式优化方法在情况较为复杂时会耗费大量的计算资源与时间。
4.结果缺乏房间内物体信息：在很多基于房型结构，诸如看房或内装情况等应用中，用户除了基础的大房型，往往对于其内部的家具等情况也较为关心。而现有技术对此没有丝毫涉及。
5.缺乏房型中通道信息：房间与房间之间的连通关系，以及门所在的位置也是房型中十分重要的一部分。但现有方法不会产生任何的通道结构，甚至如果在检测中得到了通道的角点，其还有由于与整个墙面的角点同处一条直线上而被能量函数“优化”掉。
发明内容
为克服上述现有技术存在的不足，本发明之目的在于提供一种房型结构分析方法及装置，以基于计算机视觉与场景物体识别技术实现房型结构分析的目的。
为达上述目的，本发明提出一种房型结构分析方法，包括如下步骤：
步骤S1，利用RGBD相机及里程计相机对需要结构分析的房间扫描获得RGBD相机数据和里程计相机数据，并将其转换为三维物体点云数据以及三维空气点云数据；
步骤S2，对三维物体点云识别得到家具点云数据，并对三维物体点云数据经由二维物体投影得到旋转矫正矩阵，根据得到的旋转矫正矩阵对三维物体点云、三维空气点云以及家具点云进行旋转矫正；
步骤S3，结合矫正后的三维物体点云与各点所属家具信息生成抗干扰的二维俯视角物体投影与法向量投影，经由三组神经网络分别生成二维房间掩膜、各房间所属的二维角点、角点之间的关联性；
步骤S4，依据角点生成房间的局部边界以及楼层的全局边界，同时基于边界的角点、平行距离进行优化；
步骤S5，融入家具位置信息与通道位置信息，生成最后的二维房型结构。
优选地，步骤S2进一步包括：
步骤S200，利用稀疏卷积处理所述三维物体点云数据，对处理后的数据基于U-Net网络，先在每次降采样卷积后将通道深度加深，然后对称地进行升采样，并逐步减少通道数，最后在全连接层与Softmax后，取概率最大值所在类别即为该点家具类别分类结果，从而得到家具点云数据；
步骤S201，对原始三维物体点云数据经由二维物体投影得到旋转矫正矩阵，并根据旋转矫正矩阵对三维物体点云、三维空气点云以及家具点云数据进行旋转矫正。
优选地，于步骤S201，根据原始三维物体点云数据，提取地平面作为xy平面，然后将z轴旋转至与地平面垂直方向，并使最低点z轴坐标为0，得到第一变换矩阵；然后将三维物体点云数据投影到二维平面得到投影图像，于投影图像利用霍夫变换检测线段确定线段主方向，根据线段主方向的角度将投影图像的平面绕z轴旋转，并使xy坐标最小值点为坐标原点，得到第二变换矩阵，从而根据第一变换矩阵和第二变换矩阵，得到最终旋转变换矩阵。
优选地，于步骤S201中，在旋转矫正时，按不同角度统计线段的个数与长度，将总长度最长的线段方向视为线段主方向，并将旋转的角度限制在45度以内，将线段的主方向旋转到主方向，或者与主方向垂直的方向上，从而达到微调的目的。
优选地，步骤S3进一步包括：
步骤S300，根据矫正后的三维物体点云，并伴以家具点云提取感兴趣点，从而输出抗噪声的二维俯视角物体投影与二维俯视角法向量投影；
步骤S301，利用经典的Mask-RCNN网络对输入的抗噪声二维俯视角物体投影图计算特征图，结合区域生成网络在生成各房间的候选包围盒的同时，对每个包围盒中的像素进行语义分割，提取其房间掩膜；
步骤S302，根据步骤S301提取的二维房间掩膜以及步骤S300获得的抗噪声二维俯视角物体投影图、抗噪声二维俯视角法向量投影图，基于空洞卷积的卷积层组成编码器对图片提取特征，然后将特征图经过基于ResNet网络结构的解码器，并输入卷积层的两个平行分支，从而得到有角点的二维坐标，以及角点延伸出墙面线段的若干方向的概率置信值；
步骤S303，将步骤S302得到的角点信息与房间掩膜、二维俯视角物体投影、二维俯视角法向量投影结合，在神经网络中结合局部房间信息与整体楼层信息，从而依次对每个房间，预测各角点的所属概率值。
优选地，于步骤S3后，还包括：
步骤S304，将所有房间按照掩膜所占像素值的数量进行排序，遍历计算房间掩膜之间的重合率，对于重合率超过预设阈值的房间，将小房间的掩膜以及角点信息合并入大房间，同时删除重复点。
优选地，步骤S4进一步包括：
步骤S400，针对各房间关联并合并后的角点，基于斜率优化并生成所属于该房间的局部边界；
步骤S401，合并局部边界生成全局边界，分别基于边界线之间的角点、平行边界间距来闭合、合并边界。
优选地，于步骤S400中，锁定所有被多房间共用的角点不变，对单房间局部角点，计算连续两条边的斜率值及其对应的夹角，如其小于预设阀值，则合并为同一条边。
优选地，步骤S5进一步包括：
步骤S500，对优化后的全局边界与空气点云中的通道位置信息进行融合处理；
步骤S501，根据得到的已矫正的三维家具分类点云数据以及经步骤S500融入了通道与门的边界线段信息，生成最后的二维房型结构。
为达到上述目的，本发明还提供一种房型结构分析装置，包括：
点云数据生成单元，用于利用RGBD相机及里程计相机对需要结构分析的房间扫描获得RGBD相机数据和里程计相机数据，并将其转换为三维物体点云数据以及三维空气点云数据；
旋转矫正单元，用于对三维物体点云识别得到家具点云数据，并对三维物体点云经由二维物体投影得到旋转矫正矩阵，根据旋转矫正矩阵对三维物体点云、三维空气点云以及家具点云进行旋转矫正；
房间掩膜及角点提取关联单元，用于结合矫正后的三维物体点云与各点所属家具信息生成抗干扰的二维俯视角物体投影与法向量投影，经由三组神经网络分别生成二维房间掩膜、各房间所属的二维角点、角点之间的关联性；
边界生成单元，用于依据角点生成房间的局部边界以及楼层的全局边界，同时基于边界的角点、平行距离等因素进行优化；
房型结构生成单元，用于融入家具位置信息与通道位置信息，生成最后的二维房型结构。
与现有技术相比，本发明具有如下有益效果：
1、本发明结合基于Submanifold Sparse Convolutional Networks的语义分割网络，为防止诸如某一类的物体中混杂其它类识别点的识别误差，将识别结果除去地板与墙面部分得到相互不连结家具聚类，统计每个聚类内属于不同家具的三维点个数，取投票值最大的一类为该聚类的家具分类，并求得其二维最小包围盒信息，在最后的房型检测结果当中以最小包围盒的方式体现出家具的种类与位置，同时也可以替换为任意的家具模型。
2、本发明结合三维数据采集时的信息，除扫描目标所得的物体点外，将数据收集器与数据点之间的空间定义为空气点，结合房型结构识别结果中墙面线段位置，分歧沿途位置附近空气点所占比例超过阀值的连续长度与连续宽度，在墙面结果线段中挖取并标注通道位置。
3、本发明在局部与全局对角点和边采用更直接的基于几何特征的优化，从而在得到极大计算速度提升的同时，保留相较于基于能量函数的优化更多的细节特征。而该优化方法的计算消耗也仅会随着房间数、房间形状等因素带来的复杂度而线性地提升，从而保持较为稳定的高效率。
4、本发明不是将整个三维楼层点云数据投影到二维作为输入，而是结合语义分割网络的结果，仅将识别出的墙面部分投影到二维平面作为输入，并设立阀值滤去可能存在的噪声与预测误差。这样即使在房间内存在物体，输入投影数据中也仅存在墙面相关信息，能够保持简洁与正确。
5、本发明在预处理阶段结合霍夫变换进行二维直线的检测，通过在二维投影中统计各方向墙面长度和得到三维数据的主方向，旋转主方向保持输入数据主要墙面的方向与坐标轴平行。这不仅能消除数据建模过程中角度偏移带来的影响，使不同角度的输入具有相同的输出结果，还能使墙面方向矫正的横平竖直先验假设更可靠，使结果更鲁棒。
附图说明
图1为现有技术的房型结构分析流程图；
图2为本发明一种房型结构分析方法的步骤流程图；
图3为本发明具体实施例中房型结构分析方法的流程图；
图4为本发明具体实施例中三维点云家具识别网络流程图；
图5为本发明具体实施例中生成旋转矫正矩阵的流程图；
图6为本发明实施例中房间掩膜提取流程图；
图7为本发明具体实施例中单房间角点提取流程图；
图8为本发明具体实施例中多房间角点关联流程图；
图9为本发明具体实施例中局部边界优化示意图；
图10为本发明具体实施例中全局边界优化示意图；
图11为本发明一种房型结构分析装置的系统架构图。
具体实施方式
以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。
图2为本发明一种房型结构分析方法的步骤流程图，图3为本发明具体实施例中房型结构分析方法的流程图。如图2及图3所示，本发明一种房型结构分析方法，包括如下步骤：
步骤S1，利用RGBD相机及里程计相机对所要结构分析的房间扫描获得RGBD相机数据和里程计相机数据，并将其转换为三维物体点云数据以及三维空气点云数据。
在本发明具体实施例中，所述RGBD相机数据和里程计相机数据由现成Slam算法转换为三维物体点云数据，即RGBD相机数据(提供一帧点云)与里程计相机数据(提供相机位置和朝向)通过slam算法融合得到多帧点云(即三维物体点云)，三维空气点云数据，即被观测位置与障碍物之间的空间，则由Octomap算法计算得到，即三维空气点云是相机位置与相机前方物体之间的空间被Octomap均匀划分为等大的立方体，每个立方体对应一个空气点，多帧融合即为空气点云，由于Slam算法与Octomap算法计算三维物体点云数据及三维空气点云数据为现有技术普遍采用的方法，在此不予赘述。
步骤S2，对三维物体点云识别得到家具点云信息，并对三维物体点云数据经由二维物体投影得到旋转矫正矩阵，从而对三维物体点云、三维空气点云以及家具点云进行旋转矫正。
具体地，步骤S2进一步包括：
步骤S200，利用稀疏卷积处理所述三维物体点云数据，对处理后的数据基于U-Net网络，在每次降采样卷积后将通道深度增加32，最后在全连接层与Softmax之后，取概率最大值所在类别即为该点家具类别分类结果，从而得到家具点云数据。
图4为本发明具体实施例中三维点云家具识别网络流程图，如图4所示，该网络的输入为生成的三维物体点云数据，输出则是与输入对应的一个家具点云，但其RGB数据被替换为预测的家具类别，具体地，网络首先对输入的三维物体点云数据进行尺度变换处理，在本发明具体实施例中，针对点云数据在空间中稀疏的特点，本发明利用一种新颖的稀疏卷积来处理点云数据，它只会在存在数据的空间点处进行卷积操作，这样不仅能够提高计算效率，同时能够保证数据的空间信息不会在几次卷积操作后“膨胀”从而变得模糊，即图4中的conv均为稀疏卷积，以替代普通卷积，如图4所示，本发明基于U-Net网络，其骨干网络(backbone)采用ResNet网络结构，先在每次降采样卷积后将通道深度增加32，然后对称地进行升采样，并逐步通道数减少32，最后在全连接层与Softmax之后，取概率最大值所在类别即为该点家具类别分类结果。
对于三维物体点云、三维空气点云以及家具点云的关系，简单的解释就是，三维物体点云是所有被扫到的物体数据，三维空气点云是整个空间中未被物体点云占据的部分，而家具点云则是三维物体点云的其中一部分。
步骤S201，对原始三维物体点云数据经由二维物体投影得到旋转矫正矩阵，并根据旋转矫正矩阵对三维物体点云、三维空气点云以及家具点云进行旋转矫正。
为了便于后续对墙面方向的矫正，同时使结构输出的结果更稳定，本发明需要将上述点云的建筑结构转至墙面的主方向与水平或竖直方向平行。
具体地，如图5所示，于步骤S201，根据原始物体点云文件，即步骤S1获得的三维物体点云数据，通过ransac(随机抽样一致性算法)提取地平面作为xy平面，然后将z轴旋转至与地平面垂直方向，并使最低点z轴坐标为0，得到变换矩阵T1；然后将三维物体点云数据投影到二维平面得到投影图像，于投影图像利用霍夫变换检测线段确定线段主方向(将总长度最长的线段方向视为线段主方向)，根据线段主方向的角度将投影图像的平面绕z轴旋转，即绕z轴旋转至墙面所对应的线段平行于坐标轴主方向(即x轴方向或y轴方向)，并使xy坐标最小值点为坐标原点，得到变换矩阵T2，从而根据变换矩阵T1和T2，得到最终旋转变换矩阵T，即T＝T2*T1。
具体地说，在本实施例中，假设三维物体点云中平行于水平面的是xy平面，垂直于水平面的是z轴，然后再将xy平面绕z轴旋转。首先对于z轴，通过ransac提取平面，因为它会提取出包含点数量最多的面，所以会得到地平面，因为一个楼层中整个地面的点一定会比某面墙的多，将地平面的法向量方向作为z轴，就可以得到第一个旋转矩阵。
对于xy平面的旋转，则将三维物体点云数据投影到二维平面得到投影图像，使某像素的单通道灰度值代表在该平面坐标下不同高度的点数量，并对这张投影图像进行霍夫变换检测线段，由于地板、家具等物体，在投影时会根据家具识别的结果滤去除墙面以外的点，另外由于扫描误差与噪声等因素的存在，霍夫变换的结果中会有许多零散的短线(如果设置线段的最短长度来滤去这些线，则会丢失许多短小的墙角结构)，因此为了抗干扰，本发明按不同角度统计线段的个数与长度，将总长度最长的线段方向视为线段主方向，为了贯彻尽可能保留原数据信息的理念，将旋转的角度限制在45度以内，将数据的主轴(即线段主方向)旋转到坐标轴主方向，即x轴方向或者y轴方向上，从而达到微调的目的，由此得到第二个变换矩阵，并将其左乘上第一个，则得到完整的旋转矫正矩阵。
最后利用最终得到的旋转矫正矩阵对上述三维物体点云、三维空气点云以及家具点云分别进行旋转矫正。
步骤S3，结合矫正后的三维物体点云与各点所属家具信息生成抗干扰的二维俯视角物体投影与法向量投影，经由三组神经网络分别生成二维房间掩膜、各房间所属的二维角点、角点之间的关联性，在本发明中，该三组神经网络分别是房间掩膜提取网络、单房间角点提取网络以及多房间角点关联网络。
具体地，步骤S3进一步包括：
步骤S300，根据矫正后的三维物体点云，并通过家具点云提取感兴趣点，输出抗噪声的二维俯视角物体投影与二维俯视角法向量投影，后续预测中所使用的二维投影图则都是这两张投影。
由于后续网络基于二维轮廓检测独立房间信息与对应角点信息，将三维点云数据投影到二维平面，使某像素的单通道灰度值代表在该平面坐标下不同高度的点数量，得到投影后的二维俯视图片(家具识别过滤后的)。但由于地板、家具等物体，以及扫描误差与噪声等因素的存在，本发明对投影后二维俯视图片如下设立阀值(默认为50)，在过滤非墙面点的同时将墙面点的灰度值增高，从而得到抗噪声的二维俯视角物体投影：
Figure BDA0003179636670000121
同时在投影的过程中也计算了各平面点垂直方向上的平均法向量，输出为另一张三通道投影图，即输出二维俯视角法向量投影。法向量能极大地辅助角点的检测，因为墙面的法向量应平行于地面。在本发明中，角点指的是两面墙交汇的那个墙角，这两面墙的法向量是各平行于地面但是在xy平面上的角度不同，这两两组法向量的线交汇的地方就是墙角。
步骤S301，利用经典的Mask-RCNN网络对输入的抗噪声二维俯视角物体投影图计算特征图，结合区域生成网络(RPN)在生成各房间的候选包围盒的同时，对每个包围盒中的像素进行语义分割，提取其房间掩膜。
如图6所示，对房间的提取属于一个实例分割的任务，本发明中使用该任务领域经典的Mask-RCNN网络对其进行提取。Mask-RCNN网络对输入的抗噪声二维俯视角物体投影图(已矫正)先经由一系列由ResNet101作为骨干(backbone)的特征金字塔网络(FPN)计算特征图，然后结合区域生成网络(RPN)得到带ROI(region of interest)的特征图(FeatureMap)，并在生成各房间的候选包围盒(Box Regression)和分类结果(classification，但这里得到的是score)的同时，对每个包围盒中的像素进行语义分割，提取其房间掩膜(MaskBranch)。
在进行角点计算前进行这一步操作是为了能够把对整个房型的结构检测局部简化为对单个房间的房型检测。考虑到大多数房间的结构都是四方体或是与之类似的集合体，检测能够在较低的难易度达到较高的准确度
步骤S302，根据步骤S301提取的二维房间掩膜以及步骤S300获得的抗噪声二维俯视角物体投影图、抗噪声二维俯视角法向量投影图，基于空洞卷积的卷积层组成编码器encoder对图片提取特征，然后将特征图经过基于ResNet网络结构的解码器decoder，并输入卷积层的两个平行分支，从而得到所有角点的二维坐标，以及角点延伸出墙面线段的若干方向的概率置信值。
在本发明具体实施例中，如图7所示，其输入共有二维房间掩膜、抗噪声二维俯视角物体投影图(已矫正)、抗噪声二维俯视角法向量投影图(已矫正)，输出的角点信息包括有角点的二维坐标，以及角点延伸出墙面线段的36个方向(每10度划分)的概率置信值。
具体地，对步骤S301计算得出的房间掩膜进行膨胀操作，使其能够完全覆盖二维俯视投影与二维法向量投影上该房间的部分。通过基于空洞卷积的卷积层组成encoder(图中所有conv-s1和con-s2部分)对图片提取特征，然后将特征图经过基于ResNet的decoder模块(图中residual部分)，并输入卷积层的两个平行分支。在这里使用空洞卷积是为了能以较少的参数量得到较大的感受野，而不同的stride则能对图像进行压缩。第一分支预测一组置信图，每个置信图表示该房间的不同角点；第二个分支预测角点之间的关联程度，即哪两个角点可能相连为一面墙。这两组分支都经由Sigmoid层将输出结果控制为0-1以内的概率值。
步骤S303，将步骤S302得到的角点信息与房间掩膜、二维俯视角物体投影、二维俯视角法向量投影结合，在神经网络中结合局部房间信息与整体楼层信息，从而依次对每个房间，预测各角点的所属概率值。
在本发明具体实施例中，如图8所示，网络特征提取与推理部分(即图中conv-s1和conv-s2)的主体同样是一系列空洞卷积，其后经由全连接层与Sigmoid层计算得到角点属于该房间的概率值，高于一定阀值(默认为0.5)的角点即认为属于该房间，如某角点对多个房间的概率值都高于阀值，则认为其被共享。
步骤S304，将所有房间按照掩膜所占像素值的数量进行排序，遍历计算房间掩膜之间的重合率，对于重合率较高(默认为30％)的房间，将小房间的掩膜以及角点信息合并入大房间，同时删除重复点。
某些房间的独立性可能不存在一个完全的定论。比如半开放式厨房，其与客厅之间的联通存在但又有所阻隔。对类似这样的房间，掩膜的计算可能会有所重合。在本发明里，将这类情况合并为同一房间，因此，将所有房间按照掩膜所占像素值的数量进行排序，遍历计算房间掩膜之间的重合率，对于重合率较高(默认为30％)的房间，将小房间的掩膜以及角点信息合并入大房间，同时删除重复点。
步骤S4，依据角点生成房间的局部边界以及楼层的全局边界，同时基于边界的角点、平行距离等因素进行优化。
具体地，步骤S4进一步包括：
步骤S400，针对各房间关联并合并后的角点，基于斜率优化并生成所属于该房间的局部边界。
由于单房间结构通常较为简单，且角点围绕边界形成。在本发明中，通过八领域边界跟踪算法计算得到单房间的掩膜边界，并把其角点与边界上的最近点相对应，通过遍历边界的方法得到角点相连结的顺序，将角点依次相连得到边界。
神经网络的预测结果通常由于预测的精度，或者使是受数据的分布而带有一定的偏差；另外为了不漏掉角点预测结果，置信概率的阀值会设的比较低，但这样会得到一些多余的角点。因此需要对各房间的角点预测结果进行一定的优化。如图9所示，锁定所有被多房间共用的角点不变，防止全局结构受到影响，对单房间局部角点，计算连续两条边的斜率值及其对应的夹角(分母加上极小值防止为0)：
Figure BDA0003179636670000141
angle＝arctan(k)
如其小于一定阀值(默认为30度)，则合并为同一条边。另外由于之前已经将点云数据转正，因此可以有大多数墙面平行或垂直于主方向的先验假设，如线段与水平或竖直方向的夹角小于一定阀值(默认为18度)，则将其矫正会水平或竖直边。
步骤S401，合并局部边界生成全局边界，分别基于边界线之间的角点、平行边界间距来闭合、合并边界。
如图10所示，将所有局部边并入一个列表，删除重复边。为高效地计算相交关系，将全局所有边归类为水平边、竖直边以及斜边，如水平边仅与竖直边以及斜边相交。将角点附近未与其它线共用的端点拉至角点处，从而实现墙面结构的闭合。同时由于大多数房型结构的多堵墙会在同一水平面上，遍历平行边与重合边，将间距小于一定阀值(默认为3个像素)的边合并，从而保证结构的简洁性。
步骤S5，融入家具位置信息与通道(门)位置信息，生成最后的二维房型结构。
具体地，步骤S5进一步包括：
步骤S500，对优化后的全局边界与空气点云中的通道位置信息进行融合处理。
对三维空气点云数据进行处理，定义在一定高度以内(默认为0.5米到2米)皆为空气的位置为可通行区域。对照生成的墙面结构数据与可通行区域数据，如对于一段墙面，其某连续长度方向(长度不低于阀值，默认为0.5米)，连续宽度方向(宽度不低于阀值，默认为0.5米)一定范围以内空气点占比超过一定阀值(默认为0.5)，则认为这一段为墙面中的通道结构。
步骤S501，根据得到的已矫正的三维家具分类点云数据以及经步骤S500融入了通道与门的边界线段信息，生成最后的二维房型结构。
在本发明具体实施例中，将家具识别网络的结果除去地板与墙面部分，得到相互不连结家具聚类，统计每个聚类内属于不同家具的三维点个数，取投票值最大的一类为该聚类的家具分类，并求得其二维最小包围盒信息。
图11为本发明一种房型结构分析装置的系统架构图。如图11所示，本发明一种房型结构分析装置，包括：
点云数据生成单元1，用于利用RGBD相机及里程计相机对所要结构分析的房间扫描获得RGBD相机数据和里程计相机数据，并将其转换为三维物体点云数据以及三维空气点云数据。
在本发明具体实施例中，所述RGBD相机数据和里程计相机数据由现成Slam算法转换为三维物体点云数据，即RGBD相机数据(提供一帧点云)与里程计相机数据(提供相机位置和朝向)通过slam算法融合得到多帧点云(即三维物体点云)，三维空气点云数据，即被观测位置与障碍物之间的空间，则由Octomap算法计算得到，即三维空气点云是相机位置与相机前方物体之间的空间被Octomap均匀划分为等大的立方体，每个立方体对应一个空气点，多帧融合即为空气点云，由于Slam算法与Octomap算法计算三维物体点云数据及三维空气点云数据为现有技术普遍采用的方法，在此不予赘述。
旋转矫正单元2，用于对三维物体点云识别得到家具点云信息，并对三维物体点云数据经由二维物体投影得到旋转矫正矩阵，根据得到的旋转矫正矩阵对三维物体点云、三维空气点云以及家具点云进行旋转矫正。
具体地，旋转矫正单元2进一步包括：
家具点云信息识别模块201，用于利用稀疏卷积处理所述三维物体点云数据，对处理后的数据基于U-Net网络，在每次降采样卷积后将通道深度增加32，最后在全连接层与Softmax之后，取概率最大值所在类别即为该点家具类别分类结果，从而得到家具点云数据。
投影及旋转矫正模块202，用于对原始三维物体点云数据经由二维物体投影得到旋转矫正矩阵，并根据旋转矫正矩阵对三维物体点云、三维空气点云以及家具点云进行旋转矫正。
为了便于后续对墙面方向的矫正，同时使结构输出的结果更稳定，本发明需要将点云的建筑结构转至墙面的主方向与水平或竖直方向平行。
在本发明中，根据三维物体点云数据，投影及旋转矫正模块202通过ransac(随机抽样一致性算法)提取地平面作为xy平面，然后将z轴旋转至与地平面垂直方向，并使最低点z轴坐标为0，得到变换矩阵T1；然后将三维物体点云数据投影到二维平面得到投影图像，于投影图像利用霍夫变换检测线段确定线段主方向(将总长度最长的线段方向视为线段主方向)，根据线段主方向的角度将投影图像的平面绕z轴旋转，即绕z轴旋转至墙面所对应的线段平行于坐标轴主方向(即x轴方向或y轴方向)，并使xy坐标最小值点为坐标原点，得到变换矩阵T2，从而根据变换矩阵T1和T2，得到最终旋转变换矩阵T，即T＝T2*T1。
最后利用最终得到的旋转矫正矩阵对上述三维物体点云、三维空气点云以及家具点云分别进行旋转矫正。
房间掩膜及角点提取关联单元3，用于结合矫正后的三维物体点云与各点所属家具信息生成抗干扰的二维俯视角物体投影与法向量投影，经由三组神经网络分别生成二维房间掩膜、各房间所属的二维角点以及角点之间的关联性。该三组神经网络分别是房间掩膜提取网络、单房间角点提取网络以及多房间角点关联网络。
具体地，房间掩膜及角点提取关联单元3进一步包括：
抗噪声处理模块301，用于根据矫正后的三维物体点云，并通过家具点云提取感兴趣点，输出抗噪声的二维俯视角物体投影与二维俯视角法向量投影，后续预测中所使用的二维投影图则都是这两张投影。
由于后续网络基于二维轮廓检测独立房间信息与对应角点信息，将三维点云数据投影到二维平面，使某像素的单通道灰度值代表在该平面坐标下不同高度的点数量，得到投影后的二维俯视图片(家具识别过滤后的)。但由于地板、家具等物体，以及扫描误差与噪声等因素的存在，本发明对投影后二维俯视图片如下设立阀值(默认为50)，在过滤非墙面点的同时将墙面点的灰度值增高，从而得到抗噪声的二维俯视角物体投影：
Figure BDA0003179636670000181
同时在投影的过程中也计算了各平面点竖直方向上的平均法向量，输出为另一张三通道投影图，即输出二维俯视角法向量投影。法向量能极大地辅助角点的检测，因为墙面的法向量应平行于地面，在本发明中，角点指的是两面墙交汇的那个墙角，这两面墙的法向量是各平行于地面但是在xy平面上的角度不同，这两两组法向量的线交汇的地方就是墙角。
房间掩膜提取模块302，用于利用经典的Mask-RCNN网络对输入的抗噪声二维俯视角物体投影图计算特征图，结合区域生成网络(RPN)在生成各房间的候选包围盒的同时，对每个包围盒中的像素进行语义分割，提取其房间掩膜。
在进行角点计算前进行这一步操作是为了能够把对整个房型的结构检测局部简化为对单个房间的房型检测。考虑到大多数房间的结构都是四方体或是与之类似的集合体，检测能够在较低的难易度达到较高的准确度
单房间角点提取模块303，用于根据房间掩膜提取模块302提取的二维房间掩膜以及抗噪声处理模块301获得的抗噪声二维俯视角物体投影图、抗噪声二维俯视角法向量投影图，基于空洞卷积的卷积层组成编码器encoder对图片提取特征，然后将特征图经过基于ResNet网络结构的解码器decoder，并输入卷积层的两个平行分支，从而得到有角点的二维坐标，以及角点延伸出墙面线段的若干方向的概率置信值。
具体地，对房间掩膜提取模块302计算得出的房间掩膜进行膨胀操作，使其能够完全覆盖二维俯视投影与二维法向量投影上该房间的部分。通过基于空洞卷积的卷积层组成encoder对图片提取特征，然后将特征图经过基于ResNet的decoder模块，并输入卷积层的两个平行分支。在这里使用空洞卷积是为了能以较少的参数量得到较大的感受野，而不同的stride则能对图像进行压缩。第一分支预测一组置信图，每个置信图表示该房间的不同角点；第二个分支预测角点之间的关联程度，即哪两个角点可能相连为一面墙。这两组分支都经由Sigmoid层将输出结果控制为0-1以内的概率值。
多房间角点关联模块304，用于将单房间角点提取模块303得到的角点信息与房间掩膜、二维俯视角物体投影、二维俯视角法向量投影结合，在神经网络中结合局部房间信息与整体楼层信息，从而依次对每个房间，预测各角点的所属概率值。
房间信息合并模块305，用于将所有房间按照掩膜所占像素值的数量进行排序，遍历计算房间掩膜之间的重合率，对于重合率较高(默认为30％)的房间，将小房间的掩膜以及角点信息合并入大房间，同时删除重复点。
某些房间的独立性可能不存在一个完全的定论。比如半开放式厨房，其与客厅之间的联通存在但又有所阻隔。对类似这样的房间，掩膜的计算可能会有所重合。在本发明里，将这类情况合并为同一房间，因此，将所有房间按照掩膜所占像素值的数量进行排序，遍历计算房间掩膜之间的重合率，对于重合率较高(默认为30％)的房间，将小房间的掩膜以及角点信息合并入大房间，同时删除重复点。
边界生成单元4，用于依据角点生成房间的局部边界以及楼层的全局边界，同时基于边界的角点、平行距离等因素进行优化。
具体地，边界生成单元4进一步包括：
局部边界生成模块401，用于针对各房间关联并合并后的角点，基于斜率优化并生成所属于该房间的局部边界。
由于单房间结构通常较为简单，且角点围绕边界形成。在本发明中，通过八领域边界跟踪算法计算得到单房间的掩膜边界，并把其角点与边界上的最近点相对应，通过遍历边界的方法得到角点相连结的顺序，将角点依次相连得到边界。
神经网络的预测结果通常由于预测的精度，或者使是受数据的分布而带有一定的偏差；另外为了不漏掉角点预测结果，置信概率的阀值会设的比较低，但这样会得到一些多余的角点。因此需要对各房间的角点预测结果进行一定的优化。锁定所有被多房间共用的角点不变，防止全局结构受到影响，对单房间局部角点，计算连续两条边的斜率值及其对应的夹角(分母加上极小值防止为0)：
Figure BDA0003179636670000201
angle＝arctan(k)
如其小于一定阀值(默认为30度)，则合并为同一条边。另外由于之前已经将点云数据转正，因此可以有大多数墙面平行或垂直于主方向的先验假设，如线段与水平或竖直方向的夹角小于一定阀值(默认为18度)，则将其矫正会水平或竖直边。
全局边界生成模块402，用于合并局部边界生成全局边界，分别基于边界线之间的角点、平行边界间距来闭合、合并边界。
房型结构生成单元5，用于融入家具位置信息与通道(门)位置信息，生成最后的二维房型结构。
具体地，房型结构生成单元5进一步包括：
通道与门提取模块501，用于对优化后的全局边界与空气点云中的通道位置信息进行融合处理。
对三维空气点云数据进行处理，定义在一定高度以内(默认为0.5米到2米)皆为空气的位置为可通行区域。对照生成的墙面结构数据与可通行区域数据，如对于一段墙面，其某连续长度方向(长度不低于阀值，默认为0.5米)，连续宽度方向(宽度不低于阀值，默认为0.5米)一定范围以内空气点占比超过一定阀值(默认为0.5)，则认为这一段为墙面中的通道结构。
最终房型结构生成模块502，用于根据得到的已矫正的三维家具分类点云数据以及经通道与门提取模块501融入了通道与门的边界线段信息，生成最后的二维房型结构。
在本发明具体实施例中，将家具识别网络的结果除去地板与墙面部分，得到相互不连结家具聚类，统计每个聚类内属于不同家具的三维点个数，取投票值最大的一类为该聚类的家具分类，并求得其二维最小包围盒信息。
与现有技术相比，本发明具有如下优点：
1、现有技术只关心房型检测中的墙面部分，对于同样能够表达房型状态的内部情况没有任何处理，本发明结合基于点云的语义分割网络，对常见的桌子、椅子、床、书架、沙发等二十种家具进行识别，并体现在最后的房型检测结果当中。
2、现有技术只关心尽可能简洁的墙面线段结构，并舍弃一切会使点与线数量增加的通道结构，本发明结合三维数据采集时的信息，将数据收集器与数据点之间的空间定义为空气点，并分析房型结构识别结果中墙面位置附近空气点的空间占有率与连通性，在墙面结果线段中挖取并标注通道位置。
3、现有技术使用基于强先验的能量函数来优化各房间的角点与线段，其为了能使结果尽可能简洁会丢失大量的细节特征，并且所使用的启发式优化方法在情况复杂度上升时的计算消耗会急剧增加，本发明在局部与全局对角点和边进行基于几何特征的优化，其相较于基于能量函数的优化能保持更多的细节特征以及有显著的速度提升，当房间数、房间形状等因素带来复杂度的上升时，该优化方法对资源与时间的消耗增加也只是线性的。
4、现有技术对三维数据投影到二维的过程缺乏处理，当原始三维数据包含家具、住户、临时放置物等干扰项时，直接的投影会造成输入数据的混乱。本发明结合基于点云的语义分割网络，仅将识别出的墙面部分投影到二维平面作为输入，并设立阀值滤去可能存在的噪声与预测误差。使得在房间内存在物体时，输入数据能够保持简洁与正确。
5、现有技术并未对原始三维数据的主方向进行矫正，但却在最后的优化过程中采用了横平竖直的先验假设，这可能会使不同角度的输入得到不同的结果并造成错误，本发明结合二维直线的检测，保持输入数据主要墙面的方向与坐标轴平行。这不仅能消除数据建模过程中角度偏移带来的影响，使输出结果更鲁棒，还能使墙面方向矫正的横平竖直先验假设更可靠。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。

Claims (10)

1.一种房型结构分析方法，包括如下步骤：
步骤S1，利用RGBD相机及里程计相机对需要结构分析的房间扫描获得RGBD相机数据和里程计相机数据，并将其转换为三维物体点云数据以及三维空气点云数据；
步骤S2，对三维物体点云识别得到家具点云数据，并对三维物体点云数据经由二维物体投影得到旋转矫正矩阵，根据得到的旋转矫正矩阵对三维物体点云、三维空气点云以及家具点云进行旋转矫正；
步骤S3，结合矫正后的三维物体点云与各点所属家具信息生成抗干扰的二维俯视角物体投影与法向量投影，经由三组神经网络分别生成二维房间掩膜、各房间所属的二维角点、角点之间的关联性；
步骤S4，依据角点生成房间的局部边界以及楼层的全局边界，同时基于边界的角点、平行距离进行优化；
步骤S5，融入家具位置信息与通道位置信息，生成最后的二维房型结构。
2.如权利要求1所述的一种房型结构分析方法，其特征在于，步骤S2进一步包括：
步骤S200，利用稀疏卷积处理所述三维物体点云数据，对处理后的数据基于U-Net网络，先在每次降采样卷积后将通道深度加深，然后对称地进行升采样，并逐步减少通道数，最后在全连接层与Softmax后，取概率最大值所在类别即为该点家具类别分类结果，从而得到家具点云数据；
步骤S201，对原始三维物体点云数据经由二维物体投影得到旋转矫正矩阵，并根据旋转矫正矩阵对三维物体点云、三维空气点云以及家具点云数据进行旋转矫正。
3.如权利要求2所述的一种房型结构分析方法，其特征在于：于步骤S201，根据原始三维物体点云数据，提取地平面作为xy平面，然后将z轴旋转至与地平面垂直方向，并使最低点z轴坐标为0，得到第一变换矩阵；然后将三维物体点云数据投影到二维平面得到投影图像，于投影图像利用霍夫变换检测线段确定线段主方向，根据线段主方向的角度将投影图像的平面绕z轴旋转，并使xy坐标最小值点为坐标原点，得到第二变换矩阵，从而根据第一变换矩阵和第二变换矩阵，得到最终旋转变换矩阵。
4.如权利要求2所述的一种房型结构分析方法，其特征在于：于步骤S201中，在旋转矫正时，按不同角度统计线段的个数与长度，将总长度最长的线段方向视为线段主方向，并将旋转的角度限制在45度以内，将线段的主方向旋转到主方向，或者与主方向垂直的方向上，从而达到微调的目的。
5.如权利要求2所述的一种房型结构分析方法，其特征在于：步骤S3进一步包括：
步骤S300，根据矫正后的三维物体点云，并伴以家具点云提取感兴趣点，从而输出抗噪声的二维俯视角物体投影与二维俯视角法向量投影；
步骤S301，利用经典的Mask-RCNN网络对输入的抗噪声二维俯视角物体投影图计算特征图，结合区域生成网络在生成各房间的候选包围盒的同时，对每个包围盒中的像素进行语义分割，提取其房间掩膜；
步骤S302，根据步骤S301提取的二维房间掩膜以及步骤S300获得的抗噪声二维俯视角物体投影图、抗噪声二维俯视角法向量投影图，基于空洞卷积的卷积层组成编码器对图片提取特征，然后将特征图经过基于ResNet网络结构的解码器，并输入卷积层的两个平行分支，从而得到有角点的二维坐标，以及角点延伸出墙面线段的若干方向的概率置信值；
步骤S303，将步骤S302得到的角点信息与房间掩膜、二维俯视角物体投影、二维俯视角法向量投影结合，在神经网络中结合局部房间信息与整体楼层信息，从而依次对每个房间，预测各角点的所属概率值。
6.如权利要求5所述的一种房型结构分析方法，其特征在于，于步骤S3后，还包括：
步骤S304，将所有房间按照掩膜所占像素值的数量进行排序，遍历计算房间掩膜之间的重合率，对于重合率超过预设阈值的房间，将小房间的掩膜以及角点信息合并入大房间，同时删除重复点。
7.如权利要求6所述的一种房型结构分析方法，其特征在于，步骤S4进一步包括：
步骤S400，针对各房间关联并合并后的角点，基于斜率优化并生成所属于该房间的局部边界；
步骤S401，合并局部边界生成全局边界，分别基于边界线之间的角点、平行边界间距来闭合、合并边界。
8.如权利要求7所述的一种房型结构分析方法，其特征在于：于步骤S400中，锁定所有被多房间共用的角点不变，对单房间局部角点，计算连续两条边的斜率值及其对应的夹角，如其小于预设阀值，则合并为同一条边。
9.如权利要求7所述的一种房型结构分析方法，其特征在于,步骤S5进一步包括：
步骤S500，对优化后的全局边界与空气点云中的通道位置信息进行融合处理；
步骤S501，根据得到的已矫正的三维家具分类点云数据以及经步骤S500融入了通道与门的边界线段信息，生成最后的二维房型结构。
10.一种房型结构分析装置，包括：
点云数据生成单元，用于利用RGBD相机及里程计相机对需要结构分析的房间扫描获得RGBD相机数据和里程计相机数据，并将其转换为三维物体点云数据以及三维空气点云数据；
旋转矫正单元，用于对三维物体点云识别得到家具点云数据，并对三维物体点云经由二维物体投影得到旋转矫正矩阵，根据旋转矫正矩阵对三维物体点云、三维空气点云以及家具点云进行旋转矫正；
房间掩膜及角点提取关联单元，用于结合矫正后的三维物体点云与各点所属家具信息生成抗干扰的二维俯视角物体投影与法向量投影，经由三组神经网络分别生成二维房间掩膜、各房间所属的二维角点、角点之间的关联性；
边界生成单元，用于依据角点生成房间的局部边界以及楼层的全局边界，同时基于边界的角点、平行距离等因素进行优化；
房型结构生成单元，用于融入家具位置信息与通道位置信息，生成最后的二维房型结构。
CN202110843278.5A 2021-07-26 2021-07-26 一种房型结构分析方法及装置 Pending CN113592705A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110843278.5A CN113592705A (zh) 2021-07-26 2021-07-26 一种房型结构分析方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110843278.5A CN113592705A (zh) 2021-07-26 2021-07-26 一种房型结构分析方法及装置

Publications (1)

Publication Number Publication Date
CN113592705A true CN113592705A (zh) 2021-11-02

Family

ID=78249935

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110843278.5A Pending CN113592705A (zh) 2021-07-26 2021-07-26 一种房型结构分析方法及装置

Country Status (1)

Country Link
CN (1) CN113592705A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117011503A (zh) * 2023-08-07 2023-11-07 青岛星美装饰服务有限公司 一种加工数据确定方法、装置、设备和可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117011503A (zh) * 2023-08-07 2023-11-07 青岛星美装饰服务有限公司 一种加工数据确定方法、装置、设备和可读存储介质
CN117011503B (zh) * 2023-08-07 2024-05-28 青岛星美装饰服务有限公司 一种加工数据确定方法、装置、设备和可读存储介质

Similar Documents

Publication Publication Date Title
Yan et al. 3D room layout estimation from a single RGB image
CN110458939B (zh) 基于视角生成的室内场景建模方法
CN109544677B (zh) 基于深度图像关键帧的室内场景主结构重建方法及系统
Xu et al. Reconstruction of scaffolds from a photogrammetric point cloud of construction sites using a novel 3D local feature descriptor
Zhang et al. Online structure analysis for real-time indoor scene reconstruction
CN106023298B (zh) 基于局部泊松曲面重建的点云刚性配准方法
CN111563442A (zh) 基于激光雷达的点云和相机图像数据融合的slam方法及系统
Pantoja-Rosero et al. Generating LOD3 building models from structure-from-motion and semantic segmentation
CN110827398A (zh) 基于深度神经网络的室内三维点云自动语义分割算法
CN112927353A (zh) 基于二维目标检测和模型对齐的三维场景重建方法、存储介质及终端
Bassier et al. Comparison of Wall Reconstruction algorithms from Point Cloud Data for as-built BIM
CN116797742A (zh) 室内场景的三维重建方法及系统
Cai et al. Accurate floorplan reconstruction using geometric priors
Guo et al. Line-based 3d building abstraction and polygonal surface reconstruction from images
Kaufmann et al. ScaleBIM: Introducing a scalable modular framework to transfer point clouds into semantically rich building information models
CN113592705A (zh) 一种房型结构分析方法及装置
Thiemann et al. 3D-symbolization using adaptive templates
Li 3D indoor scene reconstruction and layout based on virtual reality technology and few-shot learning
Hu et al. Geometry updating for digital twins of buildings: a review to derive a new geometry-based object class hierarchy
CN110991230B (zh) 基于旋转候选框的任意方向遥感影像舰船检测方法及系统
Xie et al. Automatic indoor building reconstruction from mobile laser scanning data
CN115131459B (zh) 平面布置图重建方法及装置
Guo et al. Efficient planar surface-based 3D mapping method for mobile robots using stereo vision
Zhang et al. 3D reconstruction of weak feature indoor scenes based on hector SLAM and floorplan generation
Sahebdivani et al. Deep learning based classification of color point cloud for 3D reconstruction of interior elements of buildings

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination