CN111814575B - 一种基于深度学习和图像处理的户型图识别方法 - Google Patents

Abstract

本发明公开了一种基于深度学习和图像处理的户型图识别方法，涉及人工智能识别技术领域。本发明的基础图类别户型图识别方法与黑白图类别户型图识别方法相同，分两个路径进行，包括：S1、第一路径，获取墙体线段集合L1；S2、第二路径，获取窗户线段集合L2和最外围轮廓的墙体线段集合是L3；S3、融合墙体线段集合L1、窗户线段集合L2和墙体线段集合的结果，去除重复线段；S4、按照前述校正方法对图像进行直线校正；S5、对上述二值图提取轮廓，并输出json文件。本发明针对不同的类别识别户型图的空间位置，结合图像处理和深度学习方法，使得户型图识别的准确率高，而且识别速度快，极大的解放了人力物力，提高了效率。

Description

一种基于深度学习和图像处理的户型图识别方法

技术领域

本发明属于人工智能识别技术领域，特别是涉及一种基于深度学习和图像处理的户型图识别方法。

背景技术

随着经济发展和地产业的高速发展，人们对住房需求日益提升，而住房中户型图的种类繁多，通过人工识别户型图的样式是非常耗时耗力的。而随着计算机视觉和图像处理技术的提升，通过计算机来自动识别户型图，提取户型图中的门窗、墙等结构，不仅能极大的解放人力，提高户型图识别的效率，而且也能避免人工疲劳审核有可能带来的误识别。目前对于户型图的识别，基于霍夫曼变换检测图像中的直线来展开，这种方法很容易受到其他噪声和图像不干净的影响从而造成误检。所以，本发明提出的识别方案，针对多种复杂户型图，有不同的识别方法，而且将深度学习方法和图像处理结合，具有强鲁棒性以及高准确率。

现有户型图识别种类没有细分，一套技术用于所有户型图导致识别准确率不高，仅仅通过颜色、边缘检测和直线检测，没有加入图像后处理导致识别中存在漏检和误检，因此针对以上问题，提供一种基于深度学习和图像处理的户型图识别方法具有重要意义。

发明内容

本发明目的是提出一种基于深度学习和图像处理的户型图识别方法，解决了以上问题。

为解决上述技术问题，本发明是通过以下技术方案实现的：

本发明的一种基于深度学习和图像处理的户型图识别方法，平台系统根据图像识别技术识别出户型图为基础图类别、黑白图类别还是家装图类别，然后分别对应交由基础图类别户型图识别方法、黑白图类别户型图识别方法和家装图户型图识别方法进行户型图识别；

其中，基础图类别户型图识别方法，分两个路径进行，包括如下步骤：

S1、第一路径，获取墙体线段集合L1，包括如下步骤；

S11、基于OCR中的文本检测技术，将户型图中的文本区域检测出来，得到文本在图像中的位置；

S12、对图像进行灰度化处理并进行拉伸，拉大墙体和背景空间的区别，对拉伸的图像进行双边滤波，去噪的同时保留图像的细节特征；

S13、对图像基于canny算子进行边缘检测，然后去除图像中需要校正的噪声轮廓和直线；

S14、对图像进行闭运算，将一些未闭合的线条封闭，根据文本坐标去除文本，然后进行轮廓检测；

S15、基于得到的轮廓，首先基于面积和轮廓长宽比去除长度标记线的轮廓，剩下的就认为是墙体，对这些墙体进行填充以及细化，得到户型图的骨架图；

S16、对于骨架图中的每个轮廓，在水平方向和垂直方向上，如果一条直线的长度大于某个阈值，则将此直线作为基线去校正骨架图中的轮廓线；

S17、对于校正后的图像再进行轮廓提取，得到每个轮廓的组成点，按照顺序将相邻两点连起来，得到墙体线段集合L1；

S2、第二路径，获取窗户线段集合L2和最外围墙体的线段集合L3，包括如下步骤；

S21、将户型图的图像进行HSV变换，二值化以及中值滤波去噪；

S22、同样基于文本坐标去除文本，提取轮廓，得到最外围边缘轮廓和内部门窗轮廓；

S23、对于内部门窗轮廓，基于轮廓的最小外接矩形的长宽比以及面积和矩形图像的方差过滤轮廓，较短边的中点连线被认为是窗户，那么此线段集合是L2；

S24、对于最外围边缘轮廓上的点，按照顺序依次连点构成线段，判断该线段是否是水平或者垂直，若是，那么该线段则被认为是墙体，若不是，则放弃该线段，此步骤得到最 外围墙体的线段集合L3；

S3、融合墙体线段集合L1、窗户线段集合L2和最外围墙体的线段集合L3的结果，去除重复线段；

S4、新建一张全黑的图片，以白色画出融合后的线段，对该图像进行膨胀，将一些靠近的线段连接起来，再按照前述校正方法对图像进行直线校正；

S5、对上述二值图提取轮廓，得到每个轮廓组成的点集，对每个轮廓按顺序存储点集到json文件中，并输出json文件；

其中，黑白图类别户型图识别方法部分与基础图类别户型图识别方法相同，区别在于，步骤S12进行拉伸、步骤S13进行边缘检测、步骤S21进行二值化时采用的阈值需调整至合适；

其中，家装图类别户型图识别方法，包括如下步骤：

P1、收集家装图户型图数据，对户型图进行像素级的标注，标注出每个像素点的空间属性，空间属性包括卧式、门、窗户、墙；

P2、对标注的数据集进行增强，包括对图像加入噪声、改变亮度和对比度、对图像进行旋转；

P3、基于SoloV2图像分割算法对数据集进行训练，得到分割模型；

P4、基于分割模型预测出墙体、门窗的位置，并生成json文件保存位置信息，并输出json文件。

本发明相对于现有技术包括有以下有益效果：

本发明基于户型图的特征将户型图分为三类，针对不同的类别识别户型图的空间位置，结合图像处理和深度学习方法，使得户型图识别的准确率高，而且识别速度快，极大的解放了人力物力，提高了效率。

当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种基于深度学习和图像处理的户型图识别方法的检测流程图；

图2为利用本发明的识别方法对基础图校正前后结果；

图3为利用本发明的识别方法对基础图处理的最后结果；

图4为实施例中的一种基础图图示；

图5为实施例中的一种黑白图图示；

图6为实施例中的一种家装图图示；。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

如图1-5所示，本发明为一种基于深度学习和图像处理的户型图识别方法，其步骤为：平台系统根据图像识别技术识别出户型图为基础图类别、黑白图类别还是家装图类别，然后分别对应交由基础图类别户型图识别方法、黑白图类别户型图识别方法和家装图户型图识别方法进行户型图识别；

其中，基础图类别户型图识别方法，分两个路径进行，包括如下步骤：

S1、第一路径，获取墙体线段集合L1，包括如下步骤；

S11、基于OCR中的文本检测技术，将户型图中的文本区域检测出来，得到文本在图像中的位置；

S12、对图像进行灰度化处理并进行拉伸，拉大墙体和背景空间的区别，对拉伸的图像进行双边滤波，去噪的同时保留图像的细节特征；

S13、对图像基于canny算子进行边缘检测，然后去除图像中需要校正的噪声轮廓和直线；

S14、对图像进行闭运算，将一些未闭合的线条封闭，根据文本坐标去除文本，然后进行轮廓检测；

S15、基于得到的轮廓，首先基于面积和轮廓长宽比去除长度标记线的轮廓，剩下的就认为是墙体，对这些墙体进行填充以及细化，得到户型图的骨架图；

S16、对于骨架图中的每个轮廓，在水平方向和垂直方向上，如果一条直线的长度大于某个阈值，则将此直线作为基线去校正骨架图中的轮廓线；

S17、对于校正后的图像再进行轮廓提取，得到每个轮廓的组成点，按照顺序将相邻两点连起来，得到墙体线段集合L1；

S2、第二路径，获取窗户线段集合L2和最外围墙体的线段集合L3，包括如下步骤；

S21、将户型图的图像进行HSV变换，二值化以及中值滤波去噪；

S22、同样基于文本坐标去除文本，提取轮廓，得到最外围边缘轮廓和内部门窗轮廓；

S23、对于内部门窗轮廓，基于轮廓的最小外接矩形的长宽比以及面积和矩形图像的方差过滤轮廓，较短边的中点连线被认为是窗户，那么此线段集合是L2；

S24、对于最外围边缘轮廓上的点，按照顺序依次连点构成线段，判断该线段是否是水平或者垂直，若是，那么该线段则被认为是墙体，若不是，则放弃该线段，此步骤得到最 外围墙体的线段集合L3；

S3、融合墙体线段集合L1、窗户线段集合L2和最外围墙体的线段集合L3的结果，去除重复线段；

S4、新建一张全黑的图片，以白色画出融合后的线段，对该图像进行膨胀，将一些靠近的线段连接起来，再按照前述校正方法对图像进行直线校正；

S5、对上述二值图提取轮廓，得到每个轮廓组成的点集，对每个轮廓按顺序存储点集到json文件中，并输出json文件；

其中，黑白图类别户型图识别方法部分与基础图类别户型图识别方法相同，区别在于，步骤S12进行拉伸、步骤S13进行边缘检测、步骤S21进行二值化时采用的阈值需调整至合适；

其中，家装图类别户型图识别方法，包括如下步骤：

P1、收集家装图户型图数据，对户型图进行像素级的标注，标注出每个像素点的空间属性，空间属性包括卧式、门、窗户、墙；

P2、对标注的数据集进行增强，包括对图像加入噪声、改变亮度和对比度、对图像进行旋转；

P3、基于SoloV2图像分割算法对数据集进行训练，得到分割模型；

P4、基于分割模型预测出墙体、门窗的位置，并生成json文件保存位置信息，并输出json文件。

本发明相对于现有技术具有有益效果包括：

本发明基于户型图的特征将户型图分为三类，针对不同的类别识别户型图的空间位置，结合图像处理和深度学习方法，使得户型图识别的准确率高，而且识别速度快，极大的解放了人力物力，提高了效率。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (1)

1.一种基于深度学习和图像处理的户型图识别方法，其特征在于，平台系统根据图像识别技术识别出户型图为基础图类别、黑白图类别还是家装图类别，然后分别对应交由基础图类别户型图识别方法、黑白图类别户型图识别方法和家装图户型图识别方法进行户型图识别；

其中，基础图类别户型图识别方法，分两个路径进行，包括如下步骤：

S1、第一路径，获取墙体线段集合L1，包括如下步骤；

S11、基于OCR中的文本检测技术，将户型图中的文本区域检测出来，得到文本在图像中的位置；

S12、对图像进行灰度化处理并进行拉伸，拉大墙体和背景空间的区别，对拉伸的图像进行双边滤波，去噪的同时保留图像的细节特征；

S13、对图像基于canny算子进行边缘检测，然后去除图像中需要校正的噪声轮廓和直线；

S14、对图像进行闭运算，将一些未闭合的线条封闭，根据文本坐标去除文本，然后进行轮廓检测；

S15、基于得到的轮廓，首先基于面积和轮廓长宽比去除长度标记线的轮廓 ，剩下的就认为是墙体，对这些墙体进行填充以及细化，得到户型图的骨架图；

S16、对于骨架图中的每个轮廓，在水平方向和垂直方向上，如果一条直线的长度大于某个阈值，则将此直线作为基线去校正骨架图中的轮廓线；

S17、对于校正后的图像再进行轮廓提取，得到每个轮廓的组成点，按照顺序将相邻两点连起来，得到墙体线段集合L1；

S2、第二路径，获取窗户线段集合L2和最外围墙体的线段集合 L3 ，包括如下步骤；

S21、将户型图的图像进行HSV变换，二值化以及中值滤波去噪；

S22、同样基于文本坐标去除文本，提取轮廓，得到最外围边缘轮廓和内部门窗轮廓；

S23、对于内部门窗轮廓，基于轮廓的最小外接矩形的长宽比以及面积和矩形图像的方差过滤轮廓，较短边的中点连线被认为是窗户，那么此线段集合是L2；

S24、对于最外围边缘轮廓上的点，按照顺序依次连点构成线段，判断该线段是否是水平或者垂直，若是，那么该线段则被认为是墙体，若不是，则放弃该线段，此步骤得到最外围墙体的线段集合 L3 ；

S3、融合墙体线段集合L1、窗户线段集合L2和墙体线段集合是L3的结果，去除重复线段；

S4、新建一张全黑的图片，以白色画出融合后的线段，对该图像进行膨胀，将一些靠近的线段连接起来，再按照前述校正方法对图像进行直线校正；

S5、对上述二值图提取轮廓，得到每个轮廓组成的点集，对每个轮廓按顺序存储点集到json文件中，并输出json文件；

其中，黑白图类别户型图识别方法部分与基础图类别户型图识别方法相同，区别在于，步骤S12进行拉伸、步骤S13进行边缘检测、步骤S21进行二值化时采用的阈值需调整至合适；

其中，家装图类别户型图识别方法，包括如下步骤：

P1、收集家装图户型图数据，对户型图进行像素级的标注，标注出每个像素点的空间属性，空间属性包括卧式、门、窗户、墙；

P2、对标注的数据集进行增强，包括对图像加入噪声、改变亮度和对比度、对图像进行旋转；

P3、基于SoloV2图像分割算法对数据集进行训练，得到分割模型；

P4、基于分割模型预测出墙体、门窗的位置，并生成json文件保存位置信息，并输出json文件。

Images