CN110532602B - 一种基于平面图图像的室内自动制图与建模方法 - Google Patents

Abstract

本发明提供了一种基于平面图图像的室内自动制图与建模方法，以平面图图像作为数据源，采用对平面图图像进行实例分割，提取墙体、门窗等各类室内建筑要素的语义类型和几何轮廓，并通过拓扑优化修复等后处理步骤，生成拓扑一致的二维室内地图与三维简易模型。本方法不需要人工设计大量的图像处理规则，直接通过学习获得图像特征，可使用于多种类型的平面图图像识别。本发明的有益效果是：有效地提高了室内可导航空间的一对一检测率，可处理平面图图像上的倾斜建筑元素，满足室内位置服务对公共场所的地图与模型需求。

Description

一种基于平面图图像的室内自动制图与建模方法

技术领域

本发明涉及室内制图与建模技术领域，尤其涉及一种基于平面图图像的室内自动制图与建模方法。

背景技术

近年来室内定位技术与室内位置服务快速发展，对室内地图与空间模型等基础数据的需求也飞速发展。建筑平面图图像是室内制图与建模生产中非常普及的一类数据源。相较于激光点云等测绘与建模方法，平面图是一种更易获取与处理的数据来源。然而，在当前的室内制图与建模生产中，以平面图图像为数据源的室内制图与建模需要专业的制图人员在平面图中提取墙体、房间、门窗等矢量空间要素，过程十分繁琐，效率低下，难以支撑大规模的室内空间数据生产。

目前，主要的平面图图像解析与制图建模技术可在特定的平面图类型上，针对特定的制图要求取得较好的效果，但仍然存在一些问题。例如，房间检测率低，拓扑修复困难，只能处理曼哈顿形态下的平面图或者需要人工设计大量专门的图示符号提取规则，难以泛化到其他类型的平面图图像识别中。而室内位置服务的建模与制图，则十分关注“可导航空间(navigable space)”，即房间检测率是面向室内位置服务的制图与建模的关键质量指标。此外，面向室内位置服务的制图与建模对象往往是大型的，布局较为灵活的空间结构，曼哈顿假设十分约束平面图解析技术在这个制图与建模过程中的应用。因此，考虑一种能够提高房间检测率，并且处理布局更为灵活的室内空间结构的基于平面图的室内制图与建模技术十分必要。

本发明所提出的室内制图与建模方法，以平面图图像作为数据源，采用实例分割方法，简化从图像中提取出来的墙体，从而能够通过简单有效的后处理步骤进行拓扑修复，实现较高的房间一对一检测率，以用于室内导航等位置服务应用。

发明内容

为了解决上述问题，本发明提供了一种基于平面图图像的室内自动制图与建模方法，首先确定分割结果中的邻接空间要素，然后判断邻接空间要素矩形之间的邻接共边。在确定了邻接矩形及其共边之后，对共边应当满足的拓扑约束条件进行建模，设计优化变量和目标函数，实现对共边顶点的位置微调，以移除叠置或相离等邻接矩形之间的拓扑冲突。然后根据拓扑修复完成的矩形，进行房间提取，并通过给定高度，生成三维简易模型。该方法主要包括以下步骤：

S1：对若干个平面图图像进行人工标注真值处理，所述标注真值是指对每个平面图图像中的每个室内建筑要素分别标注类型、检测框和分割区域；以每一个平面图图像作为一个数据，将该若干平面图图像分为训练数据集和测试数据集；所述若干个平面图图像中包括平面图图像本身及该平面图图像旋转某一角度后得到的平面图图像；所述室内建筑要素包括墙体、门、窗和楼梯；所述分割区域由多个分割像素构成；所述检测框为矩形；

S2：利用训练数据集中的数据，对Mask R-CNN模型进行训练，并采用测试数据集中的数据对训练后的Mask R-CNN模型进行验证，当验证精度达到预设精度时，即得到最终的Mask R-CNN模型；所述Mask R-CNN模型用来对输入的平面图图像进行检测和分割处理；

S3：将未知真值的任一平面图图像输入到所述最终的Mask R-CNN模型中，输出所述任一平面图图像中的每一个室内建筑要素的预测值；所述预测值包括该室内建筑要素的类型、检测框和分割区域；

S4：对所述任一平面图图像进行旋转处理，将旋转处理后的所述任一平面图图像输入到所述最终的Mask R-CNN模型中，输出旋转处理后的所述任一平面图图像中的每一个室内建筑要素的预测值；

S5：将步骤S3中的输出和步骤S4中的输出进行取并集处理，得到所述任一平面图图像中每一室内建筑要素的最终预测结果；

S6：采用RANSAC算法和提取线段法对步骤S5中输出的最终预测结果的所述任一平面图图像中的室内建筑要素进行矢量化处理，得到矢量化矩形；所述矢量化处理即为矩形估计；

S7：沿任一矢量化矩形的长边进行双向延伸，若该矩形与其他矩形相交，则相交的两个矩形组成一个邻接矩形组；所述邻接矩形组为所述任意一个矩形以及所述室内地图中的其他矩形与所述任意一个矩形的延长线相交的矩形所构成；延伸长度为一预设阈值；

S8：对每一个邻接矩形组进行共边检测，得到每一个邻接矩形组的最终共边；

S9：以最终的共边顶点移动量作为优化变量，设定共边共线约束、共边对齐约束和共边所连接的两条长边不相交约束；

所述共边共线约束为：

其中，I₁(x_i1,y_i1)，I₂(x_i2,y_i2)，J₁(x_j1,y_j1)和J₂(x_j2,y_j2)为邻接矩形rect_i和rect_j的一对共边上的4个顶点坐标；

所述共边对齐约束为：

所述共边所连接的长边不相交约束为：

S_i和S_j为共边的4个顶点组成的三角形的面积，i＝1,2,3,4，j＝1,2,3,4，且j≠i；

S10：对所述优化变量进行求平方和，构建优化目标函数：

步骤S9中的共边共线约束、共边对齐约束和共边所连接的两条长边不相交约束，以及优化目标函数构成所述邻接矩形的拓扑一致性优化模型；其中δ_n为优化变量，n＝1,2,3,4；

S11：采用非线性优化问题求解器求解所述邻接矩形的拓扑一致性优化模型，得到最优变量，该最优变量用于修复所述邻接矩形的拓扑冲突，进而得到无拓扑冲突的室内边界结果；

S12：所述室内边界结果围成房间闭环，将该室内边界结果所对应的原始平面图图像的完整矩形范围，减去室内建筑要素和外部多边形，即得到该室内地图上所述任一房间的房间区域；对应添加室内建筑要素后，完成室内制图；

S13：根据所述室内地图，按照分别设定的室内建筑要素的高度，通过三维挤出操作，得到室内三维模型。

进一步地，为防止漏掉对狭长墙体的检测与分割，对所述任一平面图图像进行旋转处理；旋转处理的过程为：

S41：以所述任一平面图图像中心为旋转原点，对所述任一平面图图像进行预设角度旋转处理，然后将旋转处理后的平面图图像输入到所述最终的MaskR-CNN模型中，得到所述某个狭长墙体的检测框；所述平面图图像旋转处理时，所述最终的Mask R-CNN模型中的检测框方向不会变动；

S42：当所述狭长墙体的外包框与检测框的交并比达到预设阈值时，输出所述某个狭长墙体的检测与分割结果；所述外包框为不规则形状，所述检测框为矩形；所述交并比为所述外包框的面积与所述检测框的面积的交集面积和所述外包框的面积与所述检测框的面积的并集面积的比值。

进一步地，得到矢量化矩形的过程如下：

S61：将最终预测结果中每个室内建筑要素对应的分割区域，所述分割区域由若干分割像素构成；将每个分割像素转化为对应的二维坐标点，将边界二维坐标点连接起来，形成分割区域对应的凸包，分别计算一一对应的凸包面积与分割区域面积的比值T；当所述比值T大于预设阈值时，则该最终预测结果无效；所述比值T的计算公式为：

area(convex_hull)和area(mask)分别表示凸包的面积与分割像素面积；

S62：在所有最终预测结果中剔除步骤S61中的无效最终预测结果，采用RANSAC算法和提取线段法对剩余的最终预测结果对应的分割区域进行矢量化处理，得到所述剩余的最终预测结果对应的多个矢量化矩形；

S63：通过计算所述矢量化矩形矩形两两之间的交并比、平均倾斜角度、宽度以及矩形中心线的两个端点坐标，对所有所述矢量化矩形矩形进行重复检测，将重复的墙体矩形取并合为一个，使所有所述矢量化矩形矩形之间都不重复，进而得到最终的墙体矢量化矩形。

进一步地，所述矢量化处理的过程为：

对于墙体类室内建筑要素，采用RANSAC算法进行矢量化处理；首先根据任一墙体类室内建筑要素的分割区域对应的若干二维坐标点，得到二维坐标点的中心线，以边界二维坐标点到所述中心线的平均距离作为所述任一室内建筑要素矢量化的矩形宽度的一半，然后将二维坐标点投影到所述中心线上，以两端上的投影位置作为所述矩形的两条短边的中点，从而得到所述任一墙体类室内建筑要素矢量化后对应的墙体矩形；

对于门窗类室内建筑要素，采用提取线段法进行矢量化处理；首先根据任一门窗类室内建筑要素的分割区域，计算所述分割区域与邻近墙体的交集，然后并将交集的墙体边界离散成点，最后计算不同交集上距离最近的点对，该点对之间的连接线段即为门窗的提取线段；该提取线段即为所述任一门窗类室内建筑要素的矢量化结果，然后根据预设的宽度值，沿以所述提取线段为矩形平行于长边的中心线，构建所述门窗类室内建筑要素所对应的矩形。

进一步地，共边检测过程中，存在共边检测冲突的情况，共边检测冲突是指检测到的多个邻接矩形组以同一条短边作为共边；矩形的一条短边至多只能作为一次共边，即该短边与其他一条边一起作为共边或者是该短边不是共边。

进一步地，得到共边的方法如下：

S81：所述邻接矩形组的两个矩形分别为矩形rect_i与矩形rect_j，矩形rect_i的两条长边和两条短边分别为：l_i1、l_i2、s_i1和s_i2，矩形rect_j的两条长边和两条短边分别为：l_j1、l_j2、s_j1和s_j2；

若矩形rect_i的一条短边s_i1以及矩形rect_j位于另一条短边s_i2的同一侧，则短边s_i1为一条备选共边；若同时矩形rect_i的一条短边s_i2以及矩形rect_j也位于另一条短边s_i1的同一侧，则矩形rect_i的两条短边s_i1和s_i2均为备选共边，此时，矩形rect_j位于矩形rect_i的两条短边s_i1和s_i2之间，则确定短边s_i1和s_i2均不是共边；

若矩形rect_i的一条短边s_i2以及矩形rect_j位于另一条短边s_i1的同一侧，则短边s_i2为一条备选共边；若同时矩形rect_i的一条短边s_i1以及矩形rect_j也位于另一条短边s_i2的同一侧，则矩形rect_i的两条短边s_i2和s_i1均为备选共边，此时，矩形rect_j位于矩形rect_i的两条短边s_i1和s_i2之间，则确定短边s_i1和s_i2均不是共边；

若矩形rect_i的一条长边l_i2以及矩形rect_j位于另一条长边l_i1的同一侧，则长边l_i2为一条备选共边；若矩形rect_i的一条短边s_i1和一条长边l_i2同时为备选共边，则延长另一个矩形rect_j的两条长边l_j1和l_j2，若这两条长边l_j1和l_j2的延长线和矩形rect_i的长边l_i2的交点均落在矩形rect_i的长边l_i2上，则确定矩形rect_i的长边l_i2为共边；否则，则确定矩形rect_i的短边s_i1为共边；

若矩形rect_i的一条短边s_i2和一条长边l_i2同时为备选共边，则延长另一个矩形rect_j的两条长边l_j1和l_j2，若这两条长边l_j1和l_j2的延长线和矩形rect_i的长边l_i2的交点均落在矩形rect_i的长边l_i2上，则确定矩形rect_i的长边l_i2为共边；否则，则确定矩形rect_i的短边s_i2为共边；

若矩形rect_i的一条长边l_i1以及矩形rect_j位于另一条长边l_i2的同一侧，则长边l_i1为一条备选共边；若矩形rect_i的一条短边s_i1和一条长边l_i1同时为备选共边，则延长另一个矩形rect_j的两条长边l_j1和l_j2，若这两条长边l_j1和l_j2的延长线和矩形rect_i的长边l_i1的交点均落在矩形rect_i的长边l_i1上，则确定矩形rect_i的长边l_i1为共边；否则，则确定矩形rect_i的短边s_i1为共边；

若矩形rect_i的一条短边s_i2和一条长边l_i1同时为备选共边，则延长另一个矩形rect_j的两条长边l_j1和l_j2，若这两条长边l_j1和l_j2的延长线和矩形rect_i的长边l_i1的交点均落在矩形rect_i的长边l_i1上，则确定矩形rect_i的长边l_i1为共边；否则，则确定矩形rect_i的短边s_i2为共边；

同理，可以得到另一个矩形rect_j的共边，从而得到所述邻接矩形组的两条共边；

S82：若出现共边检测冲突，则通过以下步骤进行处理：

(1)根据存在共边检测冲突的多个邻接矩形组，随机选择其中一个矩形加入到初始核中；

(2)计算所述多个邻接矩形组中的其他矩形到初始核之间的距离以及负相交面积，并根据所述距离及负相交面积对所述其他矩形按照升序进行排序；

(3)选择排序结果中的第一位矩形作为下一个添加到所述初始核里的矩形，根据步骤S1～S2对初始核中的矩形进行共边检测；此时，初始核中只有两个矩形，得到无检测冲突的共边；

(4)采用步骤(2)～(3)的方法，计算所述其他矩形中剩余的矩形到到初始核之间的距离以及负相交面积，并根据所述距离及负相交面积对所述其他矩形按照升序进行排序；将排序结果中的第一位矩形作为下一个添加到所述初始核里的矩形，根据步骤S1～S2对初始核中的矩形进行共边检测；若得到无检测冲突的共边，则该共边即为确定的最终共边；若得到的还是有检测冲突的共边，且两个临接矩形之间的长边不平行，则将长边作为最终共边；所述初始核始终作为一个整体；

(5)根据步骤(1)～(4)的方法，对所有出现共边检测冲突的邻接矩形组进行共边检测，得到无检测冲突的最终共边；

S83：根据步骤S81～S82的方法，对室内地图的所有邻接矩形组进行处理，得到所有邻接矩形的最终共边。

进一步地，所述邻接矩形组会呈现T型、L型或者I型二维分布关系；所述邻接矩形组之间存在着拓扑冲突，所述拓扑冲突包括叠置和相离。

进一步地，所述共边共线约束是指，共边顶点之间形成的三角形面积均为零，确保四个共边的顶点均在同一直线上；所述共边对齐约束是指，在满足共边共线的情况下，一条共边包含、覆盖或等于另一条共边，共边之间不出现相交或者相离冲突；所述共边所连接的两条长边不相交约束是指，在满足了共边共线和共边对齐约束的情况下，当两个邻接矩形的长边不平行且共边均为短边时，与共边相连接的四条长边之间不出现相交冲突。

本发明提供的技术方案带来的有益效果是：有效地提高了室内可导航空间的一对一检测率，可处理平面图图像上的倾斜建筑元素，满足室内位置服务对公共场所的地图与模型需求。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例中一种基于平面图图像的室内自动制图与建模方法的流程图；

图2是本发明实施例中墙体处理示意图；

图3是本发明实施例中旋转示意图；

图4是本发明实施例中合并重复检测墙体的结果的示意图；

图5是本发明实施例中将门窗多边形转化为连接线段的示意图；

图6是本发明实施例中进行拓扑修复的输入数据的示意图；

图7是本发明实施例中邻接矩形的共边检测示意图；

图8是本发明实施例中邻接矩形的共边检测冲突处理示意图；

图9是本发明实施例中进行拓扑修复的优化变量示意图；

图10是本发明实施例中邻接矩形共边满足共线关系后仍存在的拓扑问题示意图；

图11是本发明实施例中判断共边所连接的矩形长边是否相交的原理图；

图12是本发明实施例中在公开数据集CVC-FP上的二维室内地图结果图；

图13是本发明实施例中在公开数据集CVC-FP上的三维室内模型结果图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。

本发明的实施例提供了一种基于平面图图像的室内自动制图与建模方法，其输入为平面图图像，输出为室内地图与模型。本实施例中所采用的平面图数据来源于公开数据集CVC-FP。

请参考图1，图1是本发明实施例中一种基于平面图图像的室内自动制图与建模方法的流程图，具体包括如下步骤：

S1：对若干个平面图图像进行人工标注真值处理，所述标注真值是指对每个平面图图像中的每个室内建筑要素分别标注类型、检测框和分割区域；以每一个平面图图像作为一个数据，将该若干平面图图像分为训练数据集和测试数据集；所述若干个平面图图像中包括平面图图像本身及该平面图图像旋转某一角度后得到的平面图图像；所述室内建筑要素包括墙体、门和窗；所述分割区域由多个分割像素构成；所述检测框为矩形；为降低墙体分割的形状复杂度，本实施例在L型、T型、X型墙体处和I型墙体发生厚度或纹理变化处，对连续的墙体多边形进行切割处理，使墙体的标注结果为分段的近似矩形，如图2所示，图2中(a)所示为未处理的原平面图图像，图2中(b)所示为处理后的矩形墙体图。为了增加平面图图像的数量，可对所述平面图图像中的任一图像再进行裁剪或添加噪声等处理。

S2：利用训练数据集中的数据，对Mask R-CNN模型进行训练，并采用测试数据集中的数据对训练后的Mask R-CNN模型进行验证，当验证精度达到预设精度时，即得到最终的Mask R-CNN模型；所述Mask R-CNN模型用来对输入的平面图图像进行检测和分割处理；

S3：将未知真值的任一平面图图像输入到所述最终的Mask R-CNN模型中，输出所述任一平面图图像中的每一个室内建筑要素的预测值；所述预测值包括该室内建筑要素的类型、检测框和分割区域；

S4：对所述任一平面图图像进行旋转处理，将旋转处理后的所述任一平面图图像输入到所述最终的Mask R-CNN模型中，输出旋转处理后的所述任一平面图图像中的每一个室内建筑要素的预测值；如图3所示，本实施例中，将平面图图像逆时针旋转了45°，图3中(a)所示为未旋转的平面图图像，图3中(b)所示为旋转后的平面图图像；

为防止漏掉对狭长墙体的检测与分割，对所述任一平面图图像进行旋转处理；旋转处理的过程为：

S41：以平面图图像中心为旋转原点，对所述任一平面图图像进行预设角度旋转处理，然后将旋转处理后的平面图图像输入到所述最终的Mask R-CNN模型中，得到所述某个狭长墙体的检测框；所述平面图图像旋转处理时，所述最终的Mask R-CNN模型中的检测框方向不会变动；

S42：当所述狭长墙体的外包框与检测框的交并比达到预设阈值时，输出所述某个狭长墙体的检测与分割结果；所述外包框为不规则形状，所述检测框为矩形；所述交并比为所述外包框的面积与所述检测框的面积的交集面积和所述外包框的面积与所述检测框的面积的并集面积的比值。

S5：将步骤S3中的输出和步骤S4中的输出进行取并集处理，得到所述任一平面图图像中每一室内建筑要素的最终预测结果；

S6：采用RANSAC算法和提取线段的方法对步骤S5中输出的标注最终预测值的所述任一平面图图像中的室内建筑要素进行矩形估计，得到矩形化图像；

所述矢量化处理的过程为：

S61：将最终预测结果中每个室内建筑要素对应的分割区域，所述分割区域由若干分割像素构成；将每个分割像素转化为对应的二维坐标点，将边界二维坐标点连接起来，形成分割区域对应的凸包，分别计算一一对应的凸包面积与分割区域面积的比值T；当所述比值T大于预设阈值时，则该最终预测结果无效，即不对该墙体进行矩形估计；所述比值T的计算公式为：

area(convex_hull)和area(mask)分别表示凸包的面积与分割像素面积；

S62：在所有最终预测结果中剔除步骤S61中的无效最终预测结果，采用RANSAC算法和提取线段法对剩余的最终预测结果对应的分割区域进行矢量化处理，得到所述剩余的最终预测结果对应的多个矢量化矩形；

所述矢量化处理的过程为：

对于墙体类室内建筑要素，采用RANSAC算法进行矢量化处理；首先根据任一墙体类室内建筑要素的分割区域对应的若干二维坐标点，得到二维坐标点的中心线，以边界二维坐标点到所述中心线的平均距离作为所述任一室内建筑要素矢量化的矩形宽度的一半，然后将二维坐标点投影到所述中心线上，以两端上的投影位置作为所述矩形的两条短边的中点，从而得到所述任一墙体类室内建筑要素矢量化后对应的墙体矩形；

如图5所示，对于门窗类室内建筑要素，采用提取线段法进行矢量化处理；首先根据任一门窗类室内建筑要素的分割区域，计算所述分割区域与邻近墙体的交集，然后并将交集的墙体边界离散成点，最后计算不同交集上距离最近的点对，该点对之间的连接线段即为门窗的提取线段；该提取线段即为所述任一门窗类室内建筑要素的矢量化结果，然后根据预设的宽度值，沿以所述提取线段为矩形平行于长边的中心线，构建所述门窗类室内建筑要素所对应的矩形。

S63：通过计算所述矢量化矩形矩形两两之间的交并比、平均倾斜角度、宽度以及矩形中心线的两个端点坐标，对所有所述矢量化矩形矩形进行重复检测，将重复的墙体矩形合并为一个，使所有所述矢量化矩形矩形之间都不重复，进而得到最终的墙体矢量化矩形；如图4所示，图4中(a)所示为重复检测结果，图4中(b)所示为合并后的结果图；

根据以上操作，得到如图6所示的进行拓扑修复的输入数据的示意图；

S7：如图7所示，沿任一矢量化矩形的长边进行双向延伸，若该矩形与其他矩形相交，则相交的两个矩形组成一个邻接矩形组；所述邻接矩形组为所述任意一个矩形以及所述室内地图中的其他矩形与所述任意一个矩形的延长线相交的矩形所构成；延伸长度为一预设阈值；所述邻接矩形组会呈现T型、L型或者I型二维分布关系；所述邻接矩形组之间存在着拓扑冲突，所述拓扑冲突包括叠置和相离。

S8：对每一个邻接矩形组进行共边检测，得到每一个邻接矩形组的最终共边；共边检测过程中，存在共边检测冲突的情况，共边检测冲突是指检测到的多个邻接矩形组以同一条短边作为共边；矩形的一条短边至多只能作为一次共边，即该短边与其他一条边一起作为共边或者是该短边不是共边。

得到共边的方法如下：

S81：所述邻接矩形组的两个矩形分别为矩形rect_i与矩形rect_j，矩形rect_i的两条长边和两条短边分别为：l_i1、l_i2、s_i1和s_i2，矩形rect_j的两条长边和两条短边分别为：l_j1、l_j2、s_j1和s_j2；

若矩形rect_i的一条短边s_i1以及矩形rect_j位于另一条短边s_i2的同一侧，则短边s_i1为一条备选共边；若同时矩形rect_i的一条短边s_i2以及矩形rect_j也位于另一条短边s_i1的同一侧，则矩形rect_i的两条短边s_i1和s_i2均为备选共边，此时，矩形rect_j位于矩形rect_i的两条短边s_i1和s_i2之间，则确定短边s_i1和s_i2均不是共边；

若矩形rect_i的一条短边s_i2以及矩形rect_j位于另一条短边s_i1的同一侧，则短边s_i2为一条备选共边；若同时矩形rect_i的一条短边s_i1以及矩形rect_j也位于另一条短边s_i2的同一侧，则矩形rect_i的两条短边s_i2和s_i1均为备选共边，此时，矩形rect_j位于矩形rect_i的两条短边s_i1和s_i2之间，则确定短边s_i1和s_i2均不是共边；

若矩形rect_i的一条长边l_i2以及矩形rect_j位于另一条长边l_i1的同一侧，则长边l_i2为一条备选共边；若矩形rect_i的一条短边s_i1和一条长边l_i2同时为备选共边，则延长另一个矩形rect_j的两条长边l_j1和l_j2，若这两条长边l_j1和l_j2的延长线和矩形rect_i的长边l_i2的交点均落在矩形rect_i的长边l_i2上，则确定矩形rect_i的长边l_i2为共边；否则，则确定矩形rect_i的短边s_i1为共边；

若矩形rect_i的一条短边s_i2和一条长边l_i2同时为备选共边，则延长另一个矩形rect_j的两条长边l_j1和l_j2，若这两条长边l_j1和l_j2的延长线和矩形rect_i的长边l_i2的交点均落在矩形rect_i的长边l_i2上，则确定矩形rect_i的长边l_i2为共边；否则，则确定矩形rect_i的短边s_i2为共边；

若矩形rect_i的一条长边l_i1以及矩形rect_j位于另一条长边l_i2的同一侧，则长边l_i1为一条备选共边；若矩形rect_i的一条短边s_i1和一条长边l_i1同时为备选共边，则延长另一个矩形rect_j的两条长边l_j1和l_j2，若这两条长边l_j1和l_j2的延长线和矩形rect_i的长边l_i1的交点均落在矩形rect_i的长边l_i1上，则确定矩形rect_i的长边l_i1为共边；否则，则确定矩形rect_i的短边s_i1为共边；

若矩形rect_i的一条短边s_i2和一条长边l_i1同时为备选共边，则延长另一个矩形rect_j的两条长边l_j1和l_j2，若这两条长边l_j1和l_j2的延长线和矩形rect_i的长边l_i1的交点均落在矩形rect_i的长边l_i1上，则确定矩形rect_i的长边l_i1为共边；否则，则确定矩形rect_i的短边s_i2为共边；

同理，可以得到另一个矩形rect_j的共边，从而得到所述邻接矩形组的两条共边；

S82：如图8所示，若出现共边检测冲突，则通过以下步骤进行处理：

(1)根据存在共边检测冲突的多个邻接矩形组，随机选择其中一个矩形加入到初始核中；

(2)计算所述多个邻接矩形组中的其他矩形到初始核之间的距离以及负相交面积，并根据所述距离及负相交面积对所述其他矩形按照升序进行排序；

(3)选择排序结果中的第一位矩形作为下一个添加到所述初始核里的矩形，对初始核中的矩形进行共边检测；此时，初始核中只有两个矩形，得到无检测冲突的共边；

(4)采用步骤(2)～(3)的方法，计算所述其他矩形中剩余的矩形到到初始核之间的距离以及负相交面积，并根据所述距离及负相交面积对所述其他矩形按照升序进行排序；将排序结果中的第一位矩形作为下一个添加到所述初始核里的矩形，对初始核中的矩形进行共边检测；若得到无检测冲突的共边，则该共边即为确定的最终共边；若得到的还是有检测冲突的共边，且两个临接矩形之间的长边不平行，则将长边作为最终共边；所述初始核始终作为一个整体；

(5)根据步骤(1)～(4)的方法，对所有出现共边检测冲突的邻接矩形组进行共边检测，得到无检测冲突的最终共边；

S83：根据步骤S81～S82的方法，对室内地图的所有邻接矩形组进行处理，得到所有邻接矩形的最终共边。

S9：如图9所示，以最终的共边顶点移动量作为优化变量，设定共边共线约束、共边对齐约束和共边所连接的两条长边不相交约束；所述共边共线约束是指，共边顶点之间形成的三角形面积均为零，确保四个共边的顶点均在同一直线上；图9中(a)所示的邻接矩形为L型邻接矩形，图9中(b)所示的邻接矩形为T型邻接矩形；所述共边对齐约束是指，在满足共边共线的情况下，一条共边包含、覆盖或等于另一条共边，共边之间不出现相交或者相离冲突；所述共边所连接的两条长边不相交约束是指，在满足了共边共线和共边对齐约束的情况下，当两个邻接矩形的长边不平行且共边均为短边时，与共边相连接的四条长边之间不出现相交冲突。

共边共线是邻接矩形共边最基本的一个拓扑关系，该约束用以修复共边之间的相交和相离冲突。由于两条共边共线，则共边顶点之间构成的三角形面积应当为零。设一对邻接矩形rect_i和rect_j的一对共边上的4个顶点坐标分别为I₁(x_i1,y_i1)，I₂(x_i2,y_i2)，J₁(x_j1,y_j1)和J₂(x_j2,y_j2)，则三角形ΔI₁I₂J₁和ΔI₁I₂J₂的面积均应为零，因此，所述共边共线约束为：

其中，I₁(x_i1,y_i1)，I₂(x_i2,y_i2)，J₁(x_j1,y_j1)和J₂(x_j2,y_j2)为邻接矩形rect_i和rect_j的一对共边上的4个顶点坐标；通过海伦公式计算所形成的三角形面积，将三角形ΔI₁I₂J₁和ΔI₁I₂J₂的面积约束为零，即I₁、I₂和J₁及I₁、I₂和J₂三点分别在一条直线上。

在满足共边共线约束的情况下，可能还会存在着如图10中(a)所示的共边不对齐的情况，因此，需要增加共边之间的包含或覆盖关系，以便进行共边对齐约束。满足共边共线情况下共边之间的位置分布与向量方向的关系如表1所示：

表1满足共边共线情况下共边之间的位置分布与向量方向的关系

根据表1所总结的满足共边共线情况下共边之间的位置分布与向量方向的关系，当两条共边满足包含、覆盖或相等关系时，共边之间所形成的两组向量方向相同或相反，或是存在零向量；而当共边之间相交、相接或者相离时，则共边之间所形成的两组向量方向相同；因此，可对共边之间的包含、覆盖或相等关系进行约束，即得到所述共边对齐约束：

在满足共边共线和共边对齐约束的情况下，邻接矩形可能还会出现如图10中(b)所示的叠置冲突情况，所述叠置冲突即为与共边相连接的两条长边之间相交。当两个邻接矩形的两组长边不平行且共边均为短边时，就可能会出现与共边相连接的两条长边的相交的情况。为了避免这种情况出现，需要对与共边相连接的两条长边之间的进行不相交约束。

线段相交的判断可以通过线段的4个端点的叉积关系实现，但使用这种思路建立约束的话，便会难以建模。因此采用另一种方法来进行不相交约束的建模。如图11所示，与共边相连接的两条长边为线段AB和CD，共有4个端点，以任意三个端点为一组可构建4个组合，若组合中的任意3个端点不共线，则该3个端点可构成一个面积不为零的三角形；若其中有3个端点共线，则这3个端点构成的区域面积为零。当AB和CD相交或相离时，4个三角形面积均不为零；当AB和CD相接时，则存在3个端点共线的情况。

当线段AB和CD出现如图11中(a)所示的相交时，线段AB和CD的4个端点可组合成4个三角形：ΔABC，ΔABD，ΔACD和ΔBCD，ΔABC与ΔABD的面积之和等于ΔACD和ΔBCD的面积之和，即S_ΔABC+S_ΔABD＝S_ΔACD+S_ΔBCD；由此构建的不相交约束如下：

也即：

而当线段AB和CD出现如图11中(b)的相离和图11中(c)所示的相接时，4个三角形中存在一个三角形的面积是其他3个三角形面积之和，即S_ΔACD＝S_ΔABC+S_ΔABD+S_ΔBCD；由此构建的不相交约束如下：

综上，所述共边所连接的两条长边不相交约束为：

以提高拓扑一致性优化模型的求解速度；其中，所述S_i和S_j分别表示共边的4个顶点组成的三角形的面积，i＝1,2,3,4，j＝1,2,3,4，且j≠i。

在出现共边冲突的情况时，所述共边共线约束、共边对齐约束和共边所连接的两条长边不相交约束不会同时为零；若所述共边共线约束、共边对齐约束和共边所连接的两条长边不相交约束同时为零，则说明没有出现共边冲突。

S10：对所述优化变量进行求平方和，构建优化目标函数：

步骤S9中的共边共线约束、共边对齐约束和共边所连接的两条长边不相交约束，以及优化目标函数构成所述邻接矩形的拓扑一致性优化模型；其中δ_n为优化变量，n＝1,2,3,4；即δ₁、δ₂、δ₃和δ₄均为优化变量；

由于边界要素矩形可以粗略地表示室内地图的平面图上边界要素的几何轮廓，因此拓扑一致性的优化仅仅需要对矩形的顶点坐标进行微调，顶点的移动量δ不宜过大。因此，优化目标函数设置为优化变量δ的平方和，以约束优化变量δ的取值范围，构建的所述邻接矩形的优化目标函数为：

其中δ_n为优化变量，n＝1,2,3,4，即δ₁、δ₂、δ₃和δ₄均为优化变量；

S11：采用非线性优化问题求解器求解所述邻接矩形的拓扑一致性优化模型，例如第三方软件Lingo就可提供非线性优化问题求解器，将拓扑一致性优化模型写成Lingo模型文件，使用Lingo软件进行优化求解，得到最优变量，该最优变量用于修复所述邻接矩形的拓扑冲突，及将共边的顶点沿长边移动，以修复所述邻接矩形之间的叠置或者相离冲突；修复结果如图9所示。

S12：如图12所示，经过拓扑冲突修复后的矩形化图像围成房间闭环，将该矩形化图像对应的原始平面图图像，以任一房间为例，减去室内建筑要素和外部多边形，即得到该室内地图上所述任一房间的房间区域；对应添加室内建筑要素后，完成室内地图；

S13：如图13所示，在完成的室内地图的基础上，分别设定室内建筑要素的高度，通过三维挤出操作，得到室内三维模型。

本发明的有益效果是：有效地提高了室内可导航空间的一对一检测率，可处理平面图图像上的倾斜建筑元素，满足室内位置服务对公共场所的地图与模型需求。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于平面图图像的室内自动制图与建模方法，其特征在于：包括以下步骤：

S1：对若干个平面图图像进行人工标注真值处理，所述标注真值是指对每个平面图图像中的每个室内建筑要素分别标注类型、检测框和分割区域；以每一个平面图图像作为一个数据，将该若干平面图图像分为训练数据集和测试数据集；所述若干个平面图图像中包括平面图图像本身及该平面图图像旋转某一角度后得到的平面图图像；所述室内建筑要素包括墙体、门、窗和楼梯；所述分割区域由多个分割像素构成；所述检测框为矩形；

S2：利用训练数据集中的数据，对Mask R-CNN模型进行训练，并采用测试数据集中的数据对训练后的Mask R-CNN模型进行验证，当验证精度达到预设精度时，即得到最终的MaskR-CNN模型；所述Mask R-CNN模型用来对输入的平面图图像进行检测和分割处理；

S3：将未知真值的任一平面图图像输入到所述最终的Mask R-CNN模型中，输出所述任一平面图图像中的每一个室内建筑要素的预测值；所述预测值包括该室内建筑要素的类型、检测框和分割区域；

S4：对所述任一平面图图像进行旋转处理，将旋转处理后的所述任一平面图图像输入到所述最终的Mask R-CNN模型中，输出旋转处理后的所述任一平面图图像中的每一个室内建筑要素的预测值；

S5：将步骤S3中的输出和步骤S4中的输出进行取并集处理，得到所述任一平面图图像中每一室内建筑要素的最终预测结果；

S6：采用RANSAC算法和提取线段法对步骤S5中输出的最终预测结果的所述任一平面图图像中的室内建筑要素进行矢量化处理，得到矢量化矩形；所述矢量化处理即为矩形估计；

S7：沿任一矢量化矩形的长边进行双向延伸，若该矩形与其他矩形相交，则相交的两个矩形组成一个邻接矩形组；所述邻接矩形组为所述任意一个矩形以及所述室内地图中的其他矩形与所述任意一个矩形的延长线相交的矩形所构成；延伸长度为一预设阈值；

S8：对每一个邻接矩形组进行共边检测，得到每一个邻接矩形组的最终共边；

S9：以最终的共边顶点移动量作为优化变量，设定共边共线约束、共边对齐约束和共边所连接的两条长边不相交约束；

所述共边共线约束为：

其中，I₁(x_i1,y_i1)，I₂(x_i2,y_i2)，J₁(x_j1,y_j1)和J₂(x_j2,y_j2)为邻接矩形rect_i和rect_j的一对共边上的4个顶点坐标；

所述共边对齐约束为：

所述共边所连接的长边不相交约束为：

S_i和S_j为共边的4个顶点组成的三角形的面积，i＝1,2,3,4，j＝1,2,3,4，且j≠i；

S10：对所述优化变量进行求平方和，构建优化目标函数：

步骤S9中的共边共线约束、共边对齐约束和共边所连接的两条长边不相交约束，以及优化目标函数构成所述邻接矩形的拓扑一致性优化模型；其中δ_n为优化变量，n＝1,2,3,4；

S11：采用非线性优化问题求解器求解所述邻接矩形的拓扑一致性优化模型，得到最优变量，该最优变量用于修复所述邻接矩形的拓扑冲突，进而得到无拓扑冲突的室内边界结果；

S12：所述室内边界结果围成房间闭环，将该室内边界结果所对应的原始平面图图像的完整矩形范围，减去室内建筑要素和外部多边形，即得到该室内地图上所述任一房间的房间区域；对应添加室内建筑要素后，完成室内制图；

S13：根据所述室内地图，按照分别设定的室内建筑要素的高度，通过三维挤出操作，得到室内三维模型。

2.如权利要求1所述的一种基于平面图图像的室内自动制图与建模方法，其特征在于：步骤S4中，为防止漏掉对狭长墙体的检测与分割，对所述任一平面图图像进行旋转处理；旋转处理的过程为：

S41：以所述任一平面图图像中心为旋转原点，对所述任一平面图图像进行预设角度旋转处理，然后将旋转处理后的平面图图像输入到所述最终的Mask R-CNN模型中，得到所述某个狭长墙体的检测框；所述平面图图像旋转处理时，所述最终的Mask R-CNN模型中的检测框方向不会变动；

S42：当所述狭长墙体的外包框与检测框的交并比达到预设阈值时，输出所述某个狭长墙体的检测与分割结果；所述外包框为不规则形状，所述检测框为矩形；所述交并比为所述外包框的面积与所述检测框的面积的交集面积和所述外包框的面积与所述检测框的面积的并集面积的比值。

3.如权利要求1所述的一种基于平面图图像的室内自动制图与建模方法，其特征在于：步骤S6中，得到矢量化矩形的过程如下：

S61：将最终预测结果中每个室内建筑要素对应的分割区域，所述分割区域由若干分割像素构成；将每个分割像素转化为对应的二维坐标点，将边界二维坐标点连接起来，形成分割区域对应的凸包，分别计算一一对应的凸包面积与分割区域面积的比值T；当所述比值T大于预设阈值时，则该最终预测结果无效；所述比值T的计算公式为：

area(convex_hull)和area(mask)分别表示凸包的面积与分割像素面积；

S62：在所有最终预测结果中剔除步骤S61中的无效最终预测结果，采用RANSAC算法和提取线段法对剩余的最终预测结果对应的分割区域进行矢量化处理，得到所述剩余的最终预测结果对应的多个矢量化矩形；

S63：通过计算所述矢量化矩形矩形两两之间的交并比、平均倾斜角度、宽度以及矩形中心线的两个端点坐标，对所有所述矢量化矩形矩形进行重复检测，将重复的墙体矩形取并合为一个，使所有所述矢量化矩形矩形之间都不重复，进而得到最终的墙体矢量化矩形。

4.如权利要求3所述的一种基于平面图图像的室内自动制图与建模方法，其特征在于：步骤S62中，所述矢量化处理的过程为：

对于墙体类室内建筑要素，采用RANSAC算法进行矢量化处理；首先根据任一墙体类室内建筑要素的分割区域对应的若干二维坐标点，得到二维坐标点的中心线，以边界二维坐标点到所述中心线的平均距离作为所述任一室内建筑要素矢量化的矩形宽度的一半，然后将二维坐标点投影到所述中心线上，以两端上的投影位置作为所述矩形的两条短边的中点，从而得到所述任一墙体类室内建筑要素矢量化后对应的墙体矩形；

对于门窗类室内建筑要素，采用提取线段法进行矢量化处理；首先根据任一门窗类室内建筑要素的分割区域，计算所述分割区域与邻近墙体的交集，然后并将交集的墙体边界离散成点，最后计算不同交集上距离最近的点对，该点对之间的连接线段即为门窗的提取线段；该提取线段即为所述任一门窗类室内建筑要素的矢量化结果，然后根据预设的宽度值，沿以所述提取线段为矩形平行于长边的中心线，构建所述门窗类室内建筑要素所对应的矩形。

5.如权利要求1所述的一种基于平面图图像的室内自动制图与建模方法，其特征在于：步骤S8中，共边检测过程中，存在共边检测冲突的情况，共边检测冲突是指检测到的多个邻接矩形组以同一条短边作为共边；矩形的一条短边至多只能作为一次共边，即该短边与其他一条边一起作为共边或者是该短边不是共边。

6.如权利要求1所述的一种基于平面图图像的室内自动制图与建模方法，其特征在于：步骤S8中，得到共边的方法如下：

S81：所述邻接矩形组的两个矩形分别为矩形rect_i与矩形rect_j，矩形rect_i的两条长边和两条短边分别为：l_i1、l_i2、s_i1和s_i2，矩形rect_j的两条长边和两条短边分别为：l_j1、l_j2、s_j1和s_j2；

若矩形rect_i的一条短边s_i1以及矩形rect_j位于另一条短边s_i2的同一侧，则短边s_i1为一条备选共边；若同时矩形rect_i的一条短边s_i2以及矩形rect_j也位于另一条短边s_i1的同一侧，则矩形rect_i的两条短边s_i1和s_i2均为备选共边，此时，矩形rect_j位于矩形rect_i的两条短边s_i1和s_i2之间，则确定短边s_i1和s_i2均不是共边；

若矩形rect_i的一条短边s_i2以及矩形rect_j位于另一条短边s_i1的同一侧，则短边s_i2为一条备选共边；若同时矩形rect_i的一条短边s_i1以及矩形rect_j也位于另一条短边s_i2的同一侧，则矩形rect_i的两条短边s_i2和s_i1均为备选共边，此时，矩形rect_j位于矩形rect_i的两条短边s_i1和s_i2之间，则确定短边s_i1和s_i2均不是共边；

若矩形rect_i的一条长边l_i2以及矩形rect_j位于另一条长边l_i1的同一侧，则长边l_i2为一条备选共边；若矩形rect_i的一条短边s_i1和一条长边l_i2同时为备选共边，则延长另一个矩形rect_j的两条长边l_j1和l_j2，若这两条长边l_j1和l_j2的延长线和矩形rect_i的长边l_i2的交点均落在矩形rect_i的长边l_i2上，则确定矩形rect_i的长边l_i2为共边；否则，则确定矩形rect_i的短边s_i1为共边；

若矩形rect_i的一条短边s_i2和一条长边l_i2同时为备选共边，则延长另一个矩形rect_j的两条长边l_j1和l_j2，若这两条长边l_j1和l_j2的延长线和矩形rect_i的长边l_i2的交点均落在矩形rect_i的长边l_i2上，则确定矩形rect_i的长边l_i2为共边；否则，则确定矩形rect_i的短边s_i2为共边；

若矩形rect_i的一条长边l_i1以及矩形rect_j位于另一条长边l_i2的同一侧，则长边l_i1为一条备选共边；若矩形rect_i的一条短边s_i1和一条长边l_i1同时为备选共边，则延长另一个矩形rect_j的两条长边l_j1和l_j2，若这两条长边l_j1和l_j2的延长线和矩形rect_i的长边l_i1的交点均落在矩形rect_i的长边l_i1上，则确定矩形rect_i的长边l_i1为共边；否则，则确定矩形rect_i的短边s_i1为共边；

若矩形rect_i的一条短边s_i2和一条长边l_i1同时为备选共边，则延长另一个矩形rect_j的两条长边l_j1和l_j2，若这两条长边l_j1和l_j2的延长线和矩形rect_i的长边l_i1的交点均落在矩形rect_i的长边l_i1上，则确定矩形rect_i的长边l_i1为共边；否则，则确定矩形rect_i的短边s_i2为共边；

同理，可以得到另一个矩形rect_j的共边，从而得到所述邻接矩形组的两条共边；

S82：若出现共边检测冲突，则通过以下步骤进行处理：

(1)根据存在共边检测冲突的多个邻接矩形组，随机选择其中一个矩形加入到初始核中；

(2)计算所述多个邻接矩形组中的其他矩形到初始核之间的距离以及负相交面积，并根据所述距离及负相交面积对所述其他矩形按照升序进行排序；

(3)选择排序结果中的第一位矩形作为下一个添加到所述初始核里的矩形，根据步骤S1～S2对初始核中的矩形进行共边检测；此时，初始核中只有两个矩形，得到无检测冲突的共边；

(4)采用步骤(2)～(3)的方法，计算所述其他矩形中剩余的矩形到到初始核之间的距离以及负相交面积，并根据所述距离及负相交面积对所述其他矩形按照升序进行排序；将排序结果中的第一位矩形作为下一个添加到所述初始核里的矩形，根据步骤S1～S2对初始核中的矩形进行共边检测；若得到无检测冲突的共边，则该共边即为确定的最终共边；若得到的还是有检测冲突的共边，且两个临接矩形之间的长边不平行，则将长边作为最终共边；所述初始核始终作为一个整体；

(5)根据步骤(1)～(4)的方法，对所有出现共边检测冲突的邻接矩形组进行共边检测，得到无检测冲突的最终共边；

S83：根据步骤S81～S82的方法，对室内地图的所有邻接矩形组进行处理，得到所有邻接矩形的最终共边。

7.如权利要求6所述的一种基于平面图图像的室内自动制图与建模方法，其特征在于：步骤S7中，所述邻接矩形组会呈现T型、L型或者I型二维分布关系；所述邻接矩形组之间存在着拓扑冲突，所述拓扑冲突包括叠置和相离。

8.如权利要求1所述的一种基于平面图图像的室内自动制图与建模方法，其特征在于：步骤S9中，所述共边共线约束是指，共边顶点之间形成的三角形面积均为零，确保四个共边的顶点均在同一直线上；所述共边对齐约束是指，在满足共边共线的情况下，一条共边包含、覆盖或等于另一条共边，共边之间不出现相交或者相离冲突；所述共边所连接的两条长边不相交约束是指，在满足了共边共线和共边对齐约束的情况下，当两个邻接矩形的长边不平行且共边均为短边时，与共边相连接的四条长边之间不出现相交冲突。

Images