CN109785435A - 一种墙体重建方法及装置 - Google Patents

Abstract

本发明提出了一种墙体重建方法，所述方法包括：获取栅格户型图；对所述栅格户型图进行语义分割获得语义分割结果；对所述语义分割结果进行图像后处理获取墙体节点；根据所述墙体节点获取有效正确连接结果；根据所述有效正确连接结果对墙体进行重建。本发明还对应提出了一种墙体重建装置。本发明首先通过语义分割得到墙体相关像素，然后在进行图像后处理获得墙体节点。最后将墙体节点连接起来得到墙体数据，从而快速实现户型图墙体的识别与重建。实现快速端到端的智能家装服务。

Description

一种墙体重建方法及装置

技术领域

本申请涉及家装领域，尤其涉及一种墙体重建方法及装置。

背景技术

在家装装饰设计环节中，随着CAD/CAM技术的发展，设计师可以使用计算机辅助制图软件绘制建筑户型图，然后再借助相关软件进行三维重建等设计，这为建筑设计领域的立体实现带来了极大的便利。但这些基于矢量图的设计环节，设计师需要在设计图纸上实施大量的手工处理，耗时耗力。而且这类软件的使用对象一般为建筑设计人员，对普通人提供的参与价值意义较小。我们知道，矢量图一般需要设计师花费一定时间去自主设计完成，而栅格图像已经成为最为通用、并广泛使用的图像集。

对于建筑户型图的重建研究根据输入数据的不同主要分为两大类：1.基于矢量建筑户型图的识别重建；2.基于建筑栅格户型图像的识别和重建。前者大多数的数据是通过AutoCAD软件生成的文件，如DXF等，这方面研究主要步骤是:a)矢量图预处理分析；b)提取矢量几何图元；c)基本构件识别；d)构件组合。由于矢量图结构的任意性，使得算法的执行效率无法得到保证，尤其是在建筑户型图中包含其他展示构件时，重建时间大大增加。同时，基于矢量建筑户型图的算法，还存在着依赖制图规则的弊端，例如图层名称等字段的规定，导致增大了制图员的学习成本和门槛问题。

基于建筑栅格户型图像的识别，传统算法主要流程是a)图像的预处理，如去噪、平滑等；b)文本提取和剔除；c)图像的矢量化；d)对矢量化的图像做识别和重建。其中最关键的步骤是图像矢量化。这些方法或者必须要人工辅助参与，或者对制图方式和字段定义要求比较严格，同时任何传统算法都只能处理非常清晰，结构明显的栅格图片，例如由CAD导出的图片风格大多数是白色背景，黑色前景的图片。

发明内容

为解决上述技术问题之一，本发明提供了一种墙体重建方法及装置。

本发明实施例第一方面提供了一种墙体重建方法，所述方法包括：

获取栅格户型图；

对所述栅格户型图进行语义分割获得语义分割结果；

对所述语义分割结果进行图像后处理获取墙体节点；

根据所述墙体节点获取有效正确连接结果；

根据所述有效正确连接结果对墙体进行重建。

优选地，对所述栅格户型图进行语义分割获得语义分割结果的过程是基于U型卷积神经网络实现的。

优选地，对所述语义分割结果进行图像后处理获取墙体节点的具体过程为：

根据骨架提取算法对所述语义分割结果进行细化；

根据Harris焦点检测算法将细化后的语义分割结果中的墙体节点进行检测提取。

优选地，根据所述墙体节点获取有效正确连接结果的具体过程为：对所述墙体节点进行最优化求解，并根据线性规划的数学建模方式将所述墙体节点进行连接获得有效正确连接结果。

优选地，在根据所述有效正确连接结果对墙体进行重建之前，所述方法还包括：将所述有效正确连接结果形成结构化数据。

本发明实施例第二方面提供了一种墙体重建装置，所述装置包括处理器，其被配置有处理器可执行的操作指令，以执行如下操作：

获取栅格户型图；

对所述栅格户型图进行语义分割获得语义分割结果；

对所述语义分割结果进行图像后处理获取墙体节点；

根据所述墙体节点获取有效正确连接结果；

根据所述有效正确连接结果对墙体进行重建。

优选地，所述处理器，其被配置有处理器可执行的操作指令，以执行如下操作：基于U型卷积神经网络对所述栅格户型图进行语义分割获得语义分割结果。

优选地，所述处理器，其被配置有处理器可执行的操作指令，以执行如下操作：

根据骨架提取算法对所述语义分割结果进行细化；

根据Harris焦点检测算法将细化后的语义分割结果中的墙体节点进行检测提取。

优选地，所述处理器，其被配置有处理器可执行的操作指令，以执行如下操作：对所述墙体节点进行最优化求解，并根据线性规划的数学建模方式将所述墙体节点进行连接获得有效正确连接结果。

优选地，所述处理器，其被配置有处理器可执行的操作指令，以执行如下操作：将所述有效正确连接结果形成结构化数据。

本发明的有益效果如下：本发明首先通过语义分割得到墙体相关像素，然后在进行图像后处理获得墙体节点。最后将墙体节点连接起来得到墙体数据，从而快速实现户型图墙体的识别与重建。本发明可以在已有大量的栅格户型图数据源上进行监督训练并获得较好的学习效果。应用到户型图的墙体识别及快速重建方向，能够在家装设计环节的墙体重建上实现3倍于传统方法的效率提升。能够在桌面应用程序、web端以及移动端请求上给予客户极大的便利和美好体验，为家装行业赋能。后续可以结合一键式智能布局系统将整个家装设计环节呈现出来，从之前的沉浸式家装体验升华到一键式体验。为实现快速端到端的智能家装服务提供支撑。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本发明实施例所述的墙体重建方法的流程图；

图2为本发明实施例所述的栅格户型图的示意图；

图3为本发明实施例所述的语义分割结果示意图；

图4为本发明实施例所述的对语义分割结果进行细化后的示意图；

图5为本发明实施例所述的墙体节点的示意图；

图6为本发明实施例所述的重建后的墙体示意图；

图7为本发明实施例所述的卷积神经网络示意图。

具体实施方式

为了使本申请实施例中的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

实施例1

如图1所示，本实施例提出了一种墙体重建方法，所述方法包括：

S101、获取栅格户型图，对所述栅格户型图进行语义分割获得语义分割结果。

具体的，如图2所示为获取到的栅格户型图。本实施例采用神经网络结构对建筑栅格户型图进行语义分割处理，优选的采用U型卷积神经网络实现。通过对网络需要的训练数据的清洗及筛选、网络的学习及参数生成进行配置，最终生成语义分割结果，如图3所示。当然，其他的基于深度学习方法的其他种类的神经网络结构也可以实现栅格户型图的像素级表征及学习。但是综合效果来看，还是采用U型卷积神经网络最佳。

如图7所示，本实施例所述的神经网络包括4次下采样，4次上采样，20层左右的卷积操作，一个收缩路径(左边)来捕捉语义和一个扩展路径(右边)来精准定位。

收缩路径采用了经典的卷积网络，在每次下采样之前都重复两次使用了没有补边的3*3卷积，之后跟随了ReLU激活函数与核为2*2，步长为2的池化操作来实现下采样，每次下采样之后都会使特征图数量翻倍。

扩张路径采用上采样(2*2卷积)，可以等分特征通道，同时与来自收缩路径的相应高分辨率的特征图连接，高分辨率的特征图需要裁剪到上采样之后的特征图大小，裁剪的必要性来源于需要对在卷积过程边缘像素丢失的弥补，这种操作相当于把高分辨率的特征图和其对应的更抽象的特征做一个平衡。之后再进行重复两次的3*3卷积并跟随ReLU激活函数，直到最后网络输出。

卷积操作输出特征图大小计算公式如下：

输入图片大小为W×W，卷积核大小为F×F，步长为S，padding的像素数为P(补边)，输出特征图大小为N×N。

S102、对所述语义分割结果进行图像后处理获取墙体节点。

具体的，本实施例所述的图像后处理包括两个过程，分别为骨架提取过程和角点检测过程。其中骨架提取过程采用骨架提取算法对语义分割结果进行细化，如图4所示，然后再利用Harris角点检测算法对语义分割结果中的墙体节点进行检测提取，如图5所示。

其中，本实施例中所述的Harris角点检测算法采用：∑(u,v)＝∑_x,yw(x,y)[I(x+u,y+v)-I(x,y)]²实现。公式中，(u,v)为窗口的偏移量；(x,y)为窗口内所对应的像素坐标位置，窗口有多大，就有多少个位置；w(x,y)是窗口函数，最简单情形就是窗口内的所有像素所对应的w权重系数均为1。

S103、根据所述墙体节点获取有效正确连接结果。

具体的，本实施例在获取了墙体节点之后，利用线性规划的数据建模方法，将检测出来的墙体节点连接起来，获得墙体的节点的有效正确连接结果。在此过程中，还可以将有效正确连接结果形成结构化数据，易于对后续墙体重建的接口读取。

S104、根据所述有效正确连接结果对墙体进行重建。

具体的，本实施例可通过交互模式从网络端请求数据实现墙体重建，重建后的墙体如图6所示。

实施例2

对应实施例1，本实施例还提出了一种墙体重建装置，所述装置包括处理器，其被配置有处理器可执行的操作指令，以执行如下操作：

获取栅格户型图；

对所述栅格户型图进行语义分割获得语义分割结果；

对所述语义分割结果进行图像后处理获取墙体节点；

根据所述墙体节点获取有效正确连接结果；

根据所述有效正确连接结果对墙体进行重建。

具体的，本实施例采用神经网络结构对建筑栅格户型图进行语义分割处理，优选的采用U型卷积神经网络实现。通过对网络需要的训练数据的清洗及筛选、网络的学习及参数生成进行配置，最终生成语义分割结果。当然，其他的基于深度学习方法的其他种类的神经网络结构也可以实现栅格户型图的像素级表征及学习。但是综合效果来看，还是采用U型卷积神经网络最佳。

本实施例所述的神经网络包括4次下采样，4次上采样，20层左右的卷积操作，一个收缩路径(左边)来捕捉语义和一个扩展路径(右边)来精准定位。

收缩路径采用了经典的卷积网络，在每次下采样之前都重复两次使用了没有补边的3*3卷积，之后跟随了ReLU激活函数与核为2*2，步长为2的池化操作来实现下采样，每次下采样之后都会使特征图数量翻倍。

扩张路径采用上采样(2*2卷积)，可以等分特征通道，同时与来自收缩路径的相应高分辨率的特征图连接，高分辨率的特征图需要裁剪到上采样之后的特征图大小，裁剪的必要性来源于需要对在卷积过程边缘像素丢失的弥补，这种操作相当于把高分辨率的特征图和其对应的更抽象的特征做一个平衡。之后再进行重复两次的3*3卷积并跟随ReLU激活函数，直到最后网络输出。

卷积操作输出特征图大小计算公式如下：

输入图片大小为W×W，卷积核大小为F×F，步长为S，padding的像素数为P(补边)，输出特征图大小为N×N。

本实施例所述的图像后处理包括两个过程，分别为骨架提取过程和角点检测过程。其中骨架提取过程采用骨架提取算法对语义分割结果进行细化，然后再利用Harris角点检测算法对语义分割结果中的墙体节点进行检测提取。

其中，本实施例中所述的Harris角点检测算法采用：∑(u,v)＝∑_x,yw(x,y)[I(x+u,y+v)-I(x,y)]²实现。公式中，(u,v)为窗口的偏移量；(x,y)为窗口内所对应的像素坐标位置，窗口有多大，就有多少个位置；w(x,y)是窗口函数，最简单情形就是窗口内的所有像素所对应的w权重系数均为1。

本实施例在获取了墙体节点之后，利用线性规划的数据建模方法，将检测出来的墙体节点连接起来，获得墙体的节点的有效正确连接结果。在此过程中，还可以将有效正确连接结果形成结构化数据，易于对后续墙体重建的接口读取。本实施例可通过交互模式从网络端请求数据实现墙体重建。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种墙体重建方法，其特征在于，所述方法包括：

获取栅格户型图；

对所述栅格户型图进行语义分割获得语义分割结果；

对所述语义分割结果进行图像后处理获取墙体节点；

根据所述墙体节点获取有效正确连接结果；

根据所述有效正确连接结果对墙体进行重建。

2.根据权利要求1所述的方法，其特征在于，对所述栅格户型图进行语义分割获得语义分割结果的过程是基于U型卷积神经网络实现的。

3.根据权利要求1所述的方法，其特征在于，对所述语义分割结果进行图像后处理获取墙体节点的具体过程为：

根据骨架提取算法对所述语义分割结果进行细化；

根据Harris焦点检测算法将细化后的语义分割结果中的墙体节点进行检测提取。

4.根据权利要求1所述的方法，其特征在于，根据所述墙体节点获取有效正确连接结果的具体过程为：对所述墙体节点进行最优化求解，并根据线性规划的数学建模方式将所述墙体节点进行连接获得有效正确连接结果。

5.根据权利要求1所述的方法，其特征在于，在根据所述有效正确连接结果对墙体进行重建之前，所述方法还包括：将所述有效正确连接结果形成结构化数据。

6.一种墙体重建装置，其特征在于，所述装置包括处理器，其被配置有处理器可执行的操作指令，以执行如下操作：

获取栅格户型图；

对所述栅格户型图进行语义分割获得语义分割结果；

对所述语义分割结果进行图像后处理获取墙体节点；

根据所述墙体节点获取有效正确连接结果；

根据所述有效正确连接结果对墙体进行重建。

7.根据权利要求6所述的装置，其特征在于，所述处理器，其被配置有处理器可执行的操作指令，以执行如下操作：基于U型卷积神经网络对所述栅格户型图进行语义分割获得语义分割结果。

8.根据权利要求6所述的装置，其特征在于，所述处理器，其被配置有处理器可执行的操作指令，以执行如下操作：

根据骨架提取算法对所述语义分割结果进行细化；

根据Harris焦点检测算法将细化后的语义分割结果中的墙体节点进行检测提取。

9.根据权利要求6所述的装置，其特征在于，所述处理器，其被配置有处理器可执行的操作指令，以执行如下操作：对所述墙体节点进行最优化求解，并根据线性规划的数学建模方式将所述墙体节点进行连接获得有效正确连接结果。

10.根据权利要求6所述的装置，其特征在于，所述处理器，其被配置有处理器可执行的操作指令，以执行如下操作：将所述有效正确连接结果形成结构化数据。