CN110569712B - 一种检测平面图图像中狭长墙体的方法 - Google Patents

一种检测平面图图像中狭长墙体的方法 Download PDF

Info

Publication number
CN110569712B
CN110569712B CN201910657553.7A CN201910657553A CN110569712B CN 110569712 B CN110569712 B CN 110569712B CN 201910657553 A CN201910657553 A CN 201910657553A CN 110569712 B CN110569712 B CN 110569712B
Authority
CN
China
Prior art keywords
image
rotation
long
plan
predicted value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910657553.7A
Other languages
English (en)
Other versions
CN110569712A (zh
Inventor
尚建嘎
吴怡洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Geosciences
Original Assignee
China University of Geosciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Geosciences filed Critical China University of Geosciences
Priority to CN201910657553.7A priority Critical patent/CN110569712B/zh
Publication of CN110569712A publication Critical patent/CN110569712A/zh
Application granted granted Critical
Publication of CN110569712B publication Critical patent/CN110569712B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/42—Document-oriented image-based pattern recognition based on the type of document
    • G06V30/422—Technical drawings; Geographical maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种检测平面图图像中狭长墙体的方法，以平面图图像中心为旋转原点，对所述平面图图像进行旋转处理，使所述平面图图像上的狭长墙体在水平和垂直方向上产生倾斜；采用最终的Mask R‑CNN模型对输入的旋转图像进行检测和分割，输出所述旋转图像的预测值；再对具有预测值的旋转图像进行所述预设角度的逆旋转变换处理，与步骤S5中具有预测值的所述任一平面图图像进行合并，得到所述任一平面图图像最终的预测值；所述最终的预测值中包括检测出的所述某个狭长墙体的预测值。本发明的有益效果是：提高了平面图图像中狭长墙体的检测精度。

Description

一种检测平面图图像中狭长墙体的方法
技术领域
本发明涉及室内制图与建模技术领域，尤其涉及一种检测平面图图像中狭长墙体的方法。
背景技术
近年来室内定位技术与室内位置服务快速发展，对室内地图与空间模型等基础数据的需求也飞速发展。建筑平面图图像是室内制图与建模生产中非常普及的一类数据源。相较于激光点云等测绘与建模方法，平面图是一种更易获取与处理的数据来源。然而，在当前的室内制图与建模生产中，以平面图图像为数据源的室内制图与建模需要专业的制图人员在平面图中提取墙体、房间、门窗等矢量空间要素，过程十分繁琐，效率低下，难以支撑大规模的室内空间数据生产。
基于平面图图像的室内制图与建模自动化，需要对平面图图像进行几何与语义信息的提取，该过程可通过对平面图进行图像分割实现。利用深度卷积神经网络对图像进行目标检测与分割是目前一种精度较高的、可免于进行大量特征或规则设计的方法。MaskR-CNN则是图像分割中一个经典的实例分割算法。然而，MaskR-CNN中的备选外包框生成与筛选过程，制约了其对条带状狭长对象的检测精度，难以检测到平面图图像上水平或垂直的狭长墙体，而墙体的重构则为室内之制图与建模的关键步骤。因此，原始的MaskR-CNN模型无法直接应用到基于平面图图像的室内制图与建模技术中，需要针对图面上的水平或垂直狭长对象进行改进。
发明内容
为了解决上述问题，本发明提供了一种检测平面图图像中狭长墙体的方法，主要包括以下步骤：
本发明所提出的旋转增强方法，能够令对象检测算法MaskR-CNN在处理平面图图像时，大幅提高水平或垂直狭长对象的检测精度。
S1：对若干个平面图图像进行人工标注真值处理，所述标注真值是指对每个平面图图像中的每个室内边界要素分别标注类型、检测框和分割区域；所述室内边界要素包括墙体、门和窗；所述分割区域由多个分割像素构成；所述检测框为相对图像边框旋转角度为0度的矩形，并紧凑地覆盖住所述分割区域；一个平面图图像及对应的标注真值为一个原始样本；
S2：对步骤S1中所述的若干个平面图图像进行旋转处理，以所述平面图图像中心为旋转中心，对所述平面图图像进行多次不同角度的旋转处理，得到多个旋转图像；所述平面图图像旋转时，标注旋转真值；所述旋转真值中，每个室内边界要素的标注类型与步骤S1中所标注真值中的类型相同，分割区域则与旋转图像一一对应的旋转，检测框不旋转，与步骤S1中所标注真值中的检测框相同；一个述旋转图像及对应的旋转真值为一个旋转样本；
S3：将步骤S1和步骤S2中的所有原始样本和所有旋转样本分为训练数据集和测试数据集；原始样本及对应的旋转样本不可拆分，即一起作为训练数据集中的数据或者测试数据集中的数据；
S4：利用训练数据集中的数据，对Mask R-CNN模型进行训练，并采用测试数据集中的数据对训练后的Mask R-CNN模型进行验证，当验证精度达到预设精度时，即得到最终的Mask R-CNN模型；所述Mask R-CNN模型用来对输入的平面图图像进行检测和分割处理；
S5：将未知真值的任一平面图图像输入到所述最终的Mask R-CNN模型中，输出检测出的所述任一平面图图像中的室内边界要素的预测值；所述预测值包括该室内边界要素的类型、检测框和分割区域；此时，若某个狭长墙体没有被检测与分割出来；
S6：为了检测出所述某个狭长墙体，以步骤S5中所述的任一平面图图像中心为旋转原点，对所述任一平面图图像进行预设角度旋转处理，得到旋转图像，然后将所述旋转图像输入到所述最终的Mask R-CNN模型中，输出所述旋转图像的预测值；再对具有预测值的旋转图像进行所述预设角度的逆旋转变换处理，与步骤S5中具有预测值的所述任一平面图图像进行合并，得到所述任一平面图图像最终的预测值；所述最终的预测值中包括检测出的所述某个狭长墙体的预测值。
进一步地，对所述任一平面图图像旋转处理时，仅仅是室内边界要素的分割区域随所述任一平面图图像发生旋转；所述最终的MaskR-CNN模型中的检测框则不会变动。
进一步地，在对步骤S5中所述的任一平面图图像进行旋转处理前，所述任一平面图图像中的垂直或水平的所述某个狭长墙体呈现狭长状，最终的Mask R-CNN模型不能检测出该狭长墙体；在所述旋转图像中，该狭长墙体发生倾斜，该狭长墙体的长宽在水平和垂直上的映射比缩小，进而所述最终的MaskR-CNN模型检测出该狭长墙体。
进一步地，为了检测得到更多的狭长墙体，对所述平面图图像进行多角度旋转处理。
本发明提供的技术方案带来的有益效果是：提高了平面图图像中狭长墙体的检测精度。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明实施例中一种检测平面图图像中狭长墙体的方法的流程图；
图2是本发明实施例中平面图图像旋转示意图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
平面图图像中的水平或垂直的狭长墙体在不进行旋转增强处理之前，其外包矩形框的长宽的长度比例悬殊，而MaskR-CNN模型在生成备选框时，默认将长宽比控制在0.5到2之间，与水平或垂直狭长墙体的外包框相交的备选框很难得到较高的交并比，导致狭长墙体难以被检测到。而且即使是将备选框的长宽比和尺寸放宽到更大的范围，备选框也无法有效覆盖到水平和垂直的狭长墙体，且增加了大量的计算量。因为狭长墙体难以被检测到，所以平面图图像中原始标注数据的样本数量有限，为避免训练过拟合，需要对标注数据进行增强，以增加样本数据的数量，增强的具体操作包括：裁剪和添加噪声等。
采用MaskR-CNN模型对输入的平面图图像进行室内边界要素检测与分割，提取出室内边界要素的检测框和分割区域；所述分割区域内的室内边界要素周围具有一个外包框；所述室内边界要素包括墙体、门和窗等；所述检测框用来标注每个室内边界要素名称，所述分割区域为完全分割每个室内边界要素的正方形，为能够降低识别的墙体形状复杂度，墙体的标注在拐弯等处进行打断，墙体的标注结果为分段的近似矩形；所述外包框为不规则形状；得到分段的近似矩形；事先调整所述Mask R-CNN模型的生成备选区域的尺度，以便对每个室内边界要素选择大小合适的检测框，便于检测到小尺度下的狭长墙体；
但是对此类狭长墙体进行适度的倾斜之后，其外包框的长宽比更接近于1，大幅提高了此类狭长墙体的外包框与备选框的交并比，从而提高了此类狭长墙体的检测精度。因此，本发明的实施例提供了一种检测平面图图像中狭长墙体的方法。
请参考图1，图1是本发明实施例中一种检测平面图图像中狭长墙体的方法的流程图，具体包括如下步骤：
S1：对若干个平面图图像进行人工标注真值处理，所述标注真值是指对每个平面图图像中的每个室内边界要素分别标注类型、检测框和分割区域；所述室内边界要素包括墙体、门和窗；所述分割区域由多个分割像素构成；所述检测框为相对图像边框旋转角度为0度的矩形，并紧凑地覆盖住所述分割区域；一个平面图图像及对应的标注真值为一个原始样本；
S2：对步骤S1中所述的若干个平面图图像进行旋转处理，以所述平面图图像中心为旋转中心，对所述平面图图像进行多次不同角度的旋转处理，得到多个旋转图像；所述平面图图像旋转时，标注旋转真值；所述旋转真值中，每个室内边界要素的标注类型与步骤S1中所标注真值中的类型相同，分割区域则与旋转图像一一对应的旋转，检测框不旋转，与步骤S1中所标注真值中的检测框相同；一个述旋转图像及对应的旋转真值为一个旋转样本；
S3：将步骤S1和步骤S2中的所有原始样本和所有旋转样本分为训练数据集和测试数据集；原始样本及对应的旋转样本不可拆分，即一起作为训练数据集中的数据或者测试数据集中的数据；
S4：利用训练数据集中的数据，对Mask R-CNN模型进行训练，并采用测试数据集中的数据对训练后的Mask R-CNN模型进行验证，当验证精度达到预设精度时，即得到最终的Mask R-CNN模型；所述Mask R-CNN模型用来对输入的平面图图像进行检测和分割处理；
S5：将未知真值的任一平面图图像输入到所述最终的Mask R-CNN模型中，输出检测出的所述任一平面图图像中的室内边界要素的预测值；所述预测值包括该室内边界要素的类型、检测框和分割区域；此时，若某个狭长墙体没有被检测与分割出来；
S6：为了检测出所述某个狭长墙体，如图2所示，图2中(a)所示为旋转前的图像，以步骤S5中所述的任一平面图图像中心为旋转原点，对所述任一平面图图像进行预设角度旋转处理，得到旋转图像，如图2中(b)所示的为逆时针旋转45度后的旋转图像，然后将所述旋转图像输入到所述最终的Mask R-CNN模型中，输出所述旋转图像的预测值；再对具有预测值的旋转图像进行所述预设角度的逆旋转变换处理，与步骤S5中具有预测值的所述任一平面图图像进行合并，得到所述任一平面图图像最终的预测值；所述最终的预测值中包括检测出的所述某个狭长墙体的预测值。对所述任一平面图图像进行旋转处理时，仅仅是室内边界要素的分割区域随所述任一平面图图像发生旋转；所述最终的Mask R-CNN模型中的检测框则不会变动。在对步骤S5中所述的任一平面图图像进行旋转处理前，所述任一平面图图像中的垂直或水平的所述某个狭长墙体呈现狭长状，最终的Mask R-CNN模型不能检测出该狭长墙体；在所述旋转图像中，该狭长墙体发生倾斜，该狭长墙体的长宽在水平和垂直上的映射比缩小，进而所述最终的Mask R-CNN模型检测出该狭长墙体。为了检测得到更多的狭长墙体，可对所述平面图图像进行多角度旋转处理。
本实施例中分别旋转45、135、225和315度，使平面图图像上的狭长墙体在水平和垂直方向产生一定的倾斜角度，得到旋转增强结果；利用所述Mask R-CNN模型更容易检测到倾斜后的狭长墙体周围的外包框，进而检测到狭长且宽度较小的墙体；对所述旋转增强结果进行逆旋转处理，并对分割区域进行非最大压制或合并处理，去除相同墙体的重复分割结果。
本发明的有益效果是：提高了平面图图像中的水平或垂直狭长对象的检测精度。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种检测平面图图像中狭长墙体的方法，其特征在于：包括以下步骤：
S1：对若干个平面图图像进行人工标注真值处理，所述标注真值是指对每个平面图图像中的每个室内边界要素分别标注类型、检测框和分割区域；所述室内边界要素包括墙体、门和窗；所述分割区域由多个分割像素构成；所述检测框为相对图像边框旋转角度为0度的矩形，并紧凑地覆盖住所述分割区域；一个平面图图像及对应的标注真值为一个原始样本；
S2：对步骤S1中所述的若干个平面图图像进行旋转处理，以任一平面图图像中心为旋转中心，对所述任一平面图图像进行多次不同角度的旋转处理，得到多个旋转图像；所述任一平面图图像旋转时，标注旋转真值；所述旋转真值中，每个室内边界要素的标注类型与步骤S1中所标注真值中的类型相同，分割区域则与旋转图像一一对应的旋转，检测框不旋转，与步骤S1中所标注真值中的检测框相同；一个所 述旋转图像及对应的旋转真值为一个旋转样本；
S3：将步骤S1和步骤S2中的所有原始样本和所有旋转样本分为训练数据集和测试数据集；原始样本及对应的旋转样本不可拆分，即一起作为训练数据集中的数据或者测试数据集中的数据；
S4：利用训练数据集中的数据，对Mask R-CNN模型进行训练，并采用测试数据集中的数据对训练后的Mask R-CNN模型进行验证，当验证精度达到预设精度时，即得到最终的MaskR-CNN模型；所述Mask R-CNN模型用来对输入的平面图图像进行检测和分割处理；
S5：将未知真值的任一平面图图像输入到所述最终的Mask R-CNN模型中，输出检测出的所述任一平面图图像中的室内边界要素的预测值；所述预测值包括该室内边界要素的类型、检测框和分割区域；此时，若某个狭长墙体没有被检测与分割出来；
S6：为了检测出所述某个狭长墙体，以步骤S5中所述的任一平面图图像中心为旋转原点，对所述任一平面图图像进行预设角度旋转处理，得到旋转图像，然后将所述旋转图像输入到所述最终的Mask R-CNN模型中，输出所述旋转图像的预测值；再对具有预测值的旋转图像进行所述预设角度的逆旋转变换处理，与步骤S5中具有预测值的所述任一平面图图像进行合并，得到所述任一平面图图像最终的预测值；所述最终的预测值中包括检测出的所述某个狭长墙体的预测值。
2.如权利要求1所述的一种检测平面图图像中狭长墙体的方法，其特征在于：对所述任一平面图图像进行旋转处理时，仅仅是室内边界要素的分割区域随所述任一平面图图像发生旋转；所述最终的Mask R-CNN模型中的检测框则不会变动。
3.如权利要求1所述的一种检测平面图图像中狭长墙体的方法，其特征在于：在对步骤S5中所述的任一平面图图像进行旋转处理前，所述任一平面图图像中的垂直或水平的所述某个狭长墙体呈现狭长状，最终的Mask R-CNN模型不能检测出该狭长墙体；在所述旋转图像中，该狭长墙体发生倾斜，该狭长墙体的长宽在水平和垂直上的映射比缩小，进而所述最终的Mask R-CNN模型检测出该狭长墙体。
4.如权利要求1所述的一种检测平面图图像中狭长墙体的方法，其特征在于：为了检测得到更多的狭长墙体，对所述平面图图像进行多角度旋转处理。
CN201910657553.7A 2019-07-19 2019-07-19 一种检测平面图图像中狭长墙体的方法 Active CN110569712B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910657553.7A CN110569712B (zh) 2019-07-19 2019-07-19 一种检测平面图图像中狭长墙体的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910657553.7A CN110569712B (zh) 2019-07-19 2019-07-19 一种检测平面图图像中狭长墙体的方法

Publications (2)

Publication Number Publication Date
CN110569712A CN110569712A (zh) 2019-12-13
CN110569712B true CN110569712B (zh) 2022-05-10

Family

ID=68773189

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910657553.7A Active CN110569712B (zh) 2019-07-19 2019-07-19 一种检测平面图图像中狭长墙体的方法

Country Status (1)

Country Link
CN (1) CN110569712B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112560675B (zh) * 2020-12-15 2022-06-21 三峡大学 Yolo与旋转-融合策略相结合的鸟类视觉目标检测方法
CN112733622B (zh) * 2020-12-25 2023-07-04 广西慧云信息技术有限公司 一种禾本科植物分蘖数量计数方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127204B (zh) * 2016-06-30 2019-08-09 华南理工大学 一种全卷积神经网络的多方向水表读数区域检测算法
CN106980895A (zh) * 2017-02-22 2017-07-25 中国科学院自动化研究所 基于旋转区域的卷积神经网络预测方法
CN109711406A (zh) * 2018-12-25 2019-05-03 中南大学 一种基于多尺度旋转锚点机制的多方向图像文本检测方法
CN109800735A (zh) * 2019-01-31 2019-05-24 中国人民解放军国防科技大学 一种船目标精确检测与分割方法

Also Published As

Publication number Publication date
CN110569712A (zh) 2019-12-13

Similar Documents

Publication Publication Date Title
Mura et al. Piecewise‐planar reconstruction of multi‐room interiors with arbitrary wall arrangements
ES2942621T3 (es) Construcción de modelo en una red neuronal para detección de objetos
Cui et al. Automatic 3-D reconstruction of indoor environment with mobile laser scanning point clouds
Wang et al. Modeling indoor spaces using decomposition and reconstruction of structural elements
Hinks et al. Point cloud data conversion into solid models via point-based voxelization
Zhu et al. Concrete column recognition in images and videos
CN107545207A (zh) 基于图像处理的dm二维码识别方法及装置
CN107122528B (zh) 一种户型图参数化可再编辑建模方法
CN113238578B (zh) 一种电力杆塔无人机巡检路线规划方法及系统
Sharma et al. Edge detection using Moore neighborhood
CN111951284B (zh) 一种基于深度学习的光学遥感卫星图像精细化云检测方法
CN110569712B (zh) 一种检测平面图图像中狭长墙体的方法
JP6781432B2 (ja) 電波伝搬シミュレーションモデルの作成方法、作成システム、作成装置および作成プログラム
CN106062824A (zh) 边缘检测装置、边缘检测方法和程序
Yang et al. Semantic segmentation in architectural floor plans for detecting walls and doors
CN110555122B (zh) 一种基于分段矩形的建筑平面图墙体矢量化方法
WO2021239833A1 (en) A computer implemented method of generating a parametric structural design model
CN111583417B (zh) 一种图像语义和场景几何联合约束的室内vr场景构建的方法、装置、电子设备和介质
Xie et al. Automatic indoor building reconstruction from mobile laser scanning data
Wang et al. Efficient multi-plane extraction from massive 3D points for modeling large-scale urban scenes
Lumban-Gaol et al. A comparative study of point clouds semantic segmentation using three different neural networks on the railway station dataset
CN114758123A (zh) 一种遥感影像目标样本增强方法
Mehranfar et al. A hybrid top-down, bottom-up approach for 3D space parsing using dense RGB point clouds
Kwadjo et al. From PC2BIM: Automatic Model generation from Indoor Point Cloud
CN105741271B (zh) 一种深度图像中物体检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant