CN116490901A - 设施平面图中包括的标记分析装置及方法 - Google Patents

Abstract

根据本发明的一个实施例的设施平面图中包括的标记分析装置可执行获取多个设施平面图的操作；检测多个设施平面图各自包括的矩形及与矩形连接的弧的操作；根据矩形及弧特定窗户区域和门区域的操作；将特定的窗户区域的像素标注为窗户的类别，将特定的门区域的像素标注为门的类别的操作；以及向基于预定的图像分割算法设计的神经网络模型输入多个设施平面图和以像素为单位标注的数据以训练用于导出多个设施平面图中包括的窗户和门的类别及标注的像素的位置的相关关系的神经网络模型的加权值，以此生成根据相关关系判别设施平面图中包括的窗户和门的位置及类别的神经网络模型的操作。

Description

设施平面图中包括的标记分析装置及方法

技术领域

本发明涉及设施平面图中包括的标记分析装置及方法。

背景技术

现有的获取三维空间信息的方法有利用全景相机的拍照方式。这就存在为了获取三维空间信息而必须亲自前往相关场所拍摄照片，拍摄于照片的实际场所的物品等暴露而可能侵犯隐私的问题。此外，利用全景相机拍照成本高昂，拍摄的图像由二维图像数据组成，存在无法提取和利用实际空间物理信息的问题。

另外，现有的三维空间信息获取方法有通过手工方式进行的三维建模文件制作方式。这需要专业人员亲自进行建模，因此存在人工成本高、制作时间长的问题。

因此，作为一种无需直接拍摄三维空间就能从二维平面图的信息中自动提取三维空间信息的技术有韩国授权专利公报第10-1638378号(基于二维图形的三维自动立体建模方法及程序)。韩国授权专利公报第10-1638378号基于二维平面图给出的空间信息和数值进行三维建模，因此可以提供高可信度的三维空间信息。

不过，在平面图中窗户和门的标记都构成为矩形。为了训练自动区分这些窗户和门的标记的神经网络，在使用边界框(bounding box)进行标注时存在一个局限性，即以往必须手动指定边界框，然后对其进行标注，再加上边界框只能以不可旋转的矩形形态进行标注。

由于具有这种局限性，因此若在平面图上门和窗户标记对角线配置，或者门和窗户的标记与其他标记相邻的情况下无法准确地标注，因此存在无法提高神经网络训练准确度的问题。

发明内容

技术问题

本发明的实施例要解决的课题是提供一种在平面图上自动区分门和窗户标记，以像素为单位对所区分的门和窗户的区域进行标注，以此提高用于在平面图区分窗户和门的训练的准确度的技术。

但本发明的实施例要实现的技术课题不限于以上所述的课题，可在本领域普通技术人员显而易见的范围内从以下要说明的内容导出各种技术课题。

技术方案

根据本发明的一个实施例的设施平面图中包括的标记分析装置包括：一个以上的存储器，其存储使得执行预定的操作的指令；以及一个以上的处理器，其可操作地连接于所述一个以上的存储器且构成为运行所述指令，所述处理器执行的操作可包括：获取多个设施平面图的操作；检测与所述多个设施平面图各自包括的矩形及与所述矩形连接的弧的操作；根据所述矩形及所述弧特定窗户区域和门区域的操作；将特定的所述窗户区域的像素标注为窗户的类别，将特定的所述门区域的像素标注为门的类别的操作；以及向基于预定的图像分割算法设计的神经网络模型输入所述多个设施平面图及以像素为单位标注的数据以训练导出所述多个设施平面图中包括的窗户和门的类别及标注的所述像素的位置的相关关系的所述神经网络模型的加权值，以此生成根据所述相关关系判别设施平面图中包括的窗户和门的位置及类别的神经网络模型的操作。

并且，检测的所述操作可包括：将设施平面图中包括的除黑色以外的所有部分变成白色的操作；以及根据所述黑色构成的线段或连接白色区域边缘的轮廓检测所述矩形及所述弧的操作。

并且，检测的所述操作可包括：去除所述设施平面图中包括的文字的操作。

并且，变成所述白色的操作可包括：对于设施平面图中包括的像素的RG B信息为(0，0，0)的像素保持RGB信息，将设施平面图中包括的像素的RGB信息不是(0，0，0)的像素的RGB信息变成(255，255，255)的操作。

并且，特定所述窗户区域和门区域的操作可包括：将所述矩形中与所述弧连接的第一矩形检测为门区域的操作；以及将所述矩形中未与所述弧连接的第二矩形检测为窗户区域的操作。

并且，在检测为所述门区域的操作中，存在与所述第一矩形连接且构成垂直的线段，所述弧与所述第一矩形的末端及所述线段的末端连接的情况下，可将所述第一矩形检测为门区域。

并且，特定所述窗户区域和门区域的操作可包括：所述矩形中宽度小于预设值或大于预设值的情况下从所述检测去除的操作。

并且，标注的所述操作可包括：将所述窗户及所述门以外的所有区域的像素标注为空的类别的操作。

并且，检测的所述操作可包括：生成从所述设施平面图通过OCR检测算法去除了文字的第一平面图的操作；生成通过以下数学式1及数学式2变换了所述第一平面图的像素信息的第二平面图的操作；

[数学式1]

dst(I)＝round(max(0，min(α*src(I)-β，255)))

(src(I)：像素信息的变更前元素值(x，y，z)，α：10，β：-350，dst(I)：像素信息的变更后元素值(x′，y′，z′))

[数学式2]

Y＝0.5*R+O.3334*G+0.1667*B

(R：在数学式1求出的dst(I)的(x′，y′，z′)中的x′，G：在数学式1求出的dst(I)的(x′，y′，z′)中的y′，B：在数学式1求出的dst(I)的(x′，y′，z′)中的z′，Y：一维元素值)

生成构成所述第二平面图的线段构成的矩形中仅大于预设宽度或小于预设宽度的部分用黑色示出的第三平面图的操作；生成将构成所述第一平面图的像素中颜色元素值为0以上30以下、彩度元素值为80以上220以下、明度元素值为150以上225以下的值的像素变换成白色的第四平面图的操作；生成在所述第一平面图适用所述第三平面图的黑色区域和所述第四平面图的白色区域的第五平面图的操作；生成通过以下数学式3至数学式5变换了所述第五平面图的像素信息的第六平面图的操作；

[数学式3]

dst(I)＝round(max(0，min(α*src(I)-β，255)))

(src(I)：像素信息的变更前元素值(x，y，z)，α：3，β：-350，dst(I)：像素信息的变更后元素值(x′，y′，z′))

[数学式4]

Y＝0.5*R+0.3334*G+0.1667*B

(R：在数学式3求出的dst(I)的(x′，y′，z′)中的x′，G：在数学式3求出的dst(I)的(x′，y′，z′)中的y′，B：在数学式3求出的dst(I)的(x′，y′，z′)中的z′，Y：一维元素值)

[数学式5]

Y′＝(Y＜40，Y′＝oor Y≥40，Y′＝255)

(Y：在数学式4求出的一维元素值)

生成连接所述第六平面图的白色区域边缘的轮廓检测矩形的操作。

并且，检测的所述操作可包括：生成在所述设施平面图通过OCR检测算法去除文字了的第一平面图的操作；生成通过以下数学式6至数学式8变换了所述第二平面图的像素信息的第七平面图的操作；

[数学式6]

dst(I)＝round(max(0，min(α*src(I)-β，255)))

(src(I)：像素信息的变更前元素值(x，y，z)，α：57，β：-12500，dst(I)：像素信息的变更后元素值(x′，y′，z′))

[数学式7]

Y＝0.5*R+0.3334*G+0.1667*B

(R：在数学式6求出的dst(I)的(x′，y′，z′)中的x′，G：在数学式6求出的dst(I)的(x′，y′，z′)中的y′，B：在数学式6求出的dst(I)的(x′，y′，z′)中的z′，Y：一维元素值)

[数学式8]

Y′＝(Y＝0，Y′＝oor Y≠0，Y′＝255)

(Y：在数学式7求出的一维元素值)

生成连接了所述第七平面图的白色区域边缘的轮廓的操作；以及根据道格拉斯-普克算法对所述轮廓近似化以检测近似化的所述轮廓中相当于凸包(Convex hull)的轮廓，将所述凸包(Convex hull)构成的宽度在预定范围以内的情况检测为弧的操作。

并且，生成所述神经网络模型的操作可包括：设置成向根据Mask R-CN N算法设计的神经网络的输入层输入所述多个设施平面图，设置成向输出层输入所述多个设施平面图中包括的窗户和门的类别及标注的所述像素的位置以训练用于导出所述多个设施平面图中包括的窗户和门的类别及标注的所述像素的位置之间的相关关系的神经网络的加权值的操作。

根据本发明的一个实施例，可包括包含所述装置生成的神经网络模型的装置。

根据本发明的一个实施例的由设施平面图中包括的标记分析装置执行的设施平面图中包括的标记分析方法可包括：获取多个设施平面图的步骤；检测与所述多个设施平面图各自包括的矩形及与所述矩形连接的弧的步骤；根据所述矩形及所述弧特定窗户区域和门区域的步骤；将特定的所述窗户区域的像素标注为窗户的类别，将特定的所述门区域的像素标注为门的类别的步骤；以及向基于预定的图像分割(image segmentation)算法设计的神经网络模型输入所述多个设施平面图及以像素为单位标注的数据以训练用于导出所述多个设施平面图中包括的窗户和门的类别及标注的所述像素的位置的相关关系的所述神经网络模型的加权值，以此生成根据所述相关关系判别设施平面图中包括的窗户和门的位置及类别的神经网络模型的步骤。

技术效果

根据本发明的实施例，能够生成在平面图上自动区分门和窗户标记并以像素为单位对所区分的门和窗户的区域进行标注以在平面图中准确地区分窗户和门的模型。

根据本发明的实施例生成的图像分割模型和韩国授权专利公报第10-1638378号(基于二维图的三维自动立体建模方法及程序)的技术一起使用的情况下，能够更准确地区分二维平面图的门和窗户，因此能够执行高效率的三维建模。

此外，还可提供通过本说明书直接或间接了解到的多种效果。

附图说明

图1为设施平面图的示例图。

图2为根据本发明的一个实施例的设施平面图中包括的标记分析装置的功能框图。

图3至图5为根据本发明的一个实施例的设施平面图中包括的标记分析装置通过对设施平面图进行变换检测门和窗户并进行标注的操作的示例图。

图6为示出根据本发明的一个实施例的设施平面图中包括的标记分析装置生成的神经网络模型从设施平面图区分门和窗户的结果的示例图。

图7为使用根据本发明的一个实施例的设施平面图中包括的标记分析装置生成的神经网络模型及韩国授权专利公报第10-1638378号的技术从二维平面图执行三维建模的三维图的示例图。

图8为根据本发明的一个实施例的设施平面图中包括的标记分析方法的流程图。

具体实施方式

参见附图及结合附图具体说明的下述实施例可明确本发明的优点、特征及其实现方法。但是本发明并不局限于以下公开的实施例，而是可以以不同的多种方式实现，本实施例只是使得本发明公开完整，向本发明所属技术领域的普通技术人员完整地传达发明的范畴，本发明的范畴由权利要求定义。

在说明本发明的实施例时，对公知功能或构成的具体说明除实际需要的情况以外予以省略。并且，下述术语是考虑到在本发明的实施例中的功能而定义的术语，可能因使用者、运用者的意图或惯例等而异。因此其定义应以本说明书整体内容为基础。

附图所示且以下说明的功能块只是可实现的例而已。在其他实现中，在不超出详细说明的思想及范围的范围内可使用其他功能块。并且，虽然本发明的一个以上的功能块被表示成独立块，但本发明的功能块中一个以上可以是执行同一功能的多种硬件及软件构成的组合。

此外，包括某些构成要素这类表述是开放型的表述，只是单纯指代存在该些构成要素，不得理解为排除额外的构成要素。

并且，当提到某个构成要素连接或接入到其他构成要素的情况下，虽然可能直接连接或接入到该其他构成要素，但应理解中间还可能存在其他构成要素。

并且，‘第一、第二’等表述只是用于区分多个构成，不限定构成之间的顺序或其他特征。

以下参见附图对本发明的实施例进行说明。

图1为设施平面图的示例图。

参照图1，设施平面图中窗户和门的标记均包括矩形形态的标记。为了训练自动区分这种窗户和门的标记的神经网络，用边界框(bounding box)标注的情况下，边界框只能标注成不能旋转的矩形形态。并且，平面图上门和窗户标记对角线配置或门和窗户的标记与其他标记相邻的情况下无法准确地标注，因此具有无法提高神经网络训练准确度的问题。

本发明的实施例提出一种用于在平面图上自动区分门和窗户标记，对区分的门和窗户区域以像素为单位进行标注，以提高用于在平面图区分窗户和门的训练的准确度的技术。

图2为根据本发明的一个实施例的设施平面图中包括的标记分析装置100的功能框图。

参照图2，根据一个实施例的设施平面图中包括的标记分析装置100可包括存储器110、处理器120、输入接口130、显示部140及通信接口150。

存储器110可包括训练数据DB 111、神经网络模型113及指令DB 115。

训练数据DB 111可包括关于设施平面图的多个图像文件。设施平面图可通过外部服务器、外部DB获取或从网络上的图像获取。在此，设施平面图可以由多个像素(例如，横向M个、竖向N个构成为矩阵形态的M*N个像素)构成，各像素可包括由表示R(Red)、G(Green)、B(Blue)的固有颜色的RGB元素值(x，y，z)构成的像素信息，或表示颜色、彩度、明度的HSV信息。

神经网络模型113可包括判别所输入的设施平面图内部包括的门/窗户标记的类别及位置的神经网络模型。神经网络模型可通过下述处理器120的操作生成并存储于存储器110。

指令DB 115可存储能够使得执行处理器120的操作的指令。例如，指令DB 115可存储使得执行与下述处理器120的操作对应的操作的计算机代码。

处理器120可控制包含于设施平面图中包括的标记分析装置100的构成也就是存储器110、输入接口130、显示部140及通信接口150的整体操作。处理器120可包括标记判别模块121、标注模块123、训练模块125及控制模块127。处理器120可运行存储于存储器110的指令以驱动标记判别模块121、标注模块123、训练模块125及控制模块127，可以将通过标记判别模块121、标注模块123、训练模块125及控制模块127执行的操作理解为由处理器120执行的操作。

标记判别模块121可对训练数据DB 111中包括的多个设施平面图分别特定设施平面图中包括的窗户区域和门区域。

标记判别模块121可根据检测文字的算法(例如，OCR检测算法)检测设施平面图中包括的文字后予以去除，将设施平面图中包括的颜色中除黑色以外的所有部分变成白色。例如，标记判别模块121可执行保持设施平面图中包括的像素的RGB信息为(0，0，0)的像素的RGB信息，将设施平面图中包括的像素的RGB信息不是(0，0，0)的像素的RGB信息转换成(255，255，255)的操作。

之后，标记判别模块121可执行根据由黑色构成的线段或连接白色区域边缘的轮廓检测矩形和弧的操作。在此，标记判别模块121可以在矩形中宽度小于预设值或大于预设值的情况下判别为非门、窗户的矩形，从门、窗户的检测对象中排除该矩形。在此，可根据将用于训练的设施平面图中包括的门、窗户标记的宽度确定预设值的范围，标记的宽度可随设施平面图的图像大小而异，因此可根据将用于训练的设施平面图的图像大小进行确定。

并且，标记判别模块121可在矩形中有与弧连接的第一矩形的情况下，若存在与第一矩形连接构成垂直的线段且此时在第一矩形的末端及所述线段的末端连接有弧，则将第一长方判别为形门区域。标记判别模块121可将矩形中并未与弧连接的第二矩形判别为窗户区域。

上述标记判别模块121的操作可适合设施平面图相当于高画质的原件的情况。另外，后续同时结合图3至图5对标记判别模块121从包含很多噪声的设施平面图检测门和窗户的操作进行说明。

标注模块123可将由标记判别模块121特定的窗户区域的像素标注为窗户的类别，将由标记判别模块121特定的门区域的像素标注为门的类别。并且，标注模块123可将窗户和门以外的所有区域的像素标注为空(null)的类别。标注模块123可通过对相当于相同类别的像素区域，在该像素区域适用关于相同颜色的RGB信息，对相当于不同类别的像素区域之间，在像素区域适用关于不同的颜色的RGB信息的方式进行标注。例如，标注模块123可将设施平面图中窗户所在的像素区域变成黄色，将门所在的像素区域变成红色，将其余的像素区域变成黑色以变更像素信息，标注各个类别(例如，窗户、门、其余区域)。

训练模块125可通过向基于图像分割算法设计的神经网络模型输入多个设施平面图和以像素为单位标注的数据使得训练用于导出多个设施平面图中包括的窗户和门的类别及标注的像素位置的相关关系的神经网络模型的加权值，生成根据相关关系判别设施平面图中包括的窗户和门的位置及类别的神经网络模型。

训练模块125设置成多个设施平面图输入到根据图像分割算法中Mask R-CNN算法设计的神经网络的输入层，设置成多个设施平面图中包括的窗户/门/背景(background)的类别及标注的像素的位置输入到输出层，以执行训练用于导出多个设施平面图中包括的窗户和门的类别及标注的像素的位置之间的相关关系的神经网络的加权值的操作。

控制模块127可向训练完的神经网络模型输入设施平面图以特定门和窗户的区域，通过韩国授权专利公报第10-1638378号的技术根据二维平面图给出的空间的信息和数值三维建模以提供关于二维设施平面图的三维空间信息。

输入接口130可接收所输入的将用于训练或检测的设施平面图。

显示部140可包括包含显示板以输出图像的硬件构成。

通信接口150能够通过与外部装置通信收发信息。为此，通信接口150可包括无线通信模块或有线通信模块。

以下结合图3至图5说明上述标记判别模块121的更具体的操作。

图3至图5为根据本发明的一个实施例的设施平面图中包括的标记分析装置通过对设施平面图的变换检测门和窗户并进行标注的操作的示例图。

参照图3(a)，标记判别模块121可生成通过OCR检测算法从设施平面图去除了文字的第一平面图。

参照图3(b)，标记判别模块121为了将第一平面图变换成黑白颜色而可生成通过以下数学式1及数学式2变换了第一平面图的像素信息的第二平面图。

[数学式1]

dst(I)＝round(max(0，min(α*src(I)-β，255)))

(src(I)：像素信息的变更前元素值(x，y，z)，α：10，β：-350，dst(I)：像素信息的变更后元素值(x′，y′，z′))

[数学式2]

Y＝0.5*R+0.3334*G+0.1667*B

(R：在数学式1求出的dst(I)的(x′，y′，z′)中的x′，G：在数学式1求出的dst(I)的(x′，y′，z′)中的y′，B：在数学式1求出的dst(I)的(x′，y′，z′)中的z′，Y：一维元素值)

从而，查看变换的图3(b)的第二平面图，黑色线段中部分断开，这是因为设施平面图的图像中有噪声插入，因此原本为黑色部分的像素信息通过上传/下载/压缩等发生了信息变换，从而非RGB信息具有非(0，0，0)的值。从而标记判别模块121可通过下述操作去除噪声信息。

参照图3(c)，标记判别模块121可生成将构成第二平面图的线段构成的矩形中比预设宽度大或比预设宽度小的部分用黑色示出的第三平面图。第三平面图用于将相比于门和窗户的区域宽度明显更大或更小的区域视为离群值予以去除。

参照图3(d)，标记判别模块121可生成将构成第一平面图的像素中颜色元素值为0以上30以下、彩度元素值为80以上220以下、明度元素值为150以上225以下的值的像素变换成白色的第四平面图。标记判别模块121可基于第一平面图中包括的HSV信息执行该操作，HSV信息可从RGB信息变换导出。第四平面图以颜色变化急剧的边缘区域为基准区分颜色。

参照图4(a)，标记判别模块121可生成在第一平面图适用第三平面图的黑色区域和第四平面图的白色区域的第五平面图。适用图3(c)第三平面图是为了将相比于门和窗户的区域宽度极大的区域或极小的区域视为离群值予以去除。适用图3(d)的第四平面图是着眼于通常噪声发生于颜色变化急剧的像素区域的点，以颜色变化急剧的边缘为基准将设施平面图的颜色区分为黑白，并将其合成到第一平面图如图4(a)增大原件的颜色对比以衰减噪声的影响力。

参照图4(b)，标记判别模块121可通过以下数学式3至数学式5生成变换了第五平面图的像素信息的第六平面图。

[数学式3]

dst(I)＝round(max(0，min(α*src(I)-β，255)))

(src(I)：像素信息的变更前元素值(x，y，z)，α：3，β：-350，dst(I)：像素信息的变更后元素值(x′，y′，z′))

[数学式4]

Y＝0.5*R+0.3334*G+0.1667*B

(R：在数学式3求出的dst(I)的(x′，y′，z′)中的x′，G：在数学式3求出的dst(I)的(x′，y′，z′)中的y′，B：在数学式3求出的dst(I)的(x′，y′，z′)中的z′，Y：一维元素值)

[数学式5]

Y′＝(Y＜40，Y′＝oor Y≥40，Y′＝255)

(Y：在数学式4求出的一维元素值)

相比于数学式1将除了黑色部分以外的部分均变成白色，数学式3向白色和黑色侧对颜色进行两极化，数学式4将两极化的颜色变成灰度，数学式5将两极化的灰度变成黑白。因此能够确认生成的图4(b)的第六平面图中所有黑色线段无断开地发生了变换。在此，标记判别模块121还可进一步适用减少第六平面图中白色部分的形态学侵蚀(morphologyerode)运算最小化噪声。

参照图4(c)及图4(d)，标记判别模块121可生成连接第六平面图的白色区域边缘的轮廓以从设施平面图检测可能相当于窗户或门标记的矩形区域。

标记判别模块121在轮廓构成的图形为矩形的情况下，根据矩形的宽度或矩形的横/竖之比判别相当于窗户或门区域的矩形。

例如，以设施平面图的图像宽度为923，图像高度为676的情况为基准(数字可用比例代替，因此省略单位)适用的情况下，可按以下条件在图4(b)中排除白色区域，可以如图4(c)检测相当于门或窗户的四角形区域。

a.轮廓形成的图形的宽度大于1,000的情况下除外

b.轮廓形成的四角形的宽度或高度的最小值大于10的情况下除外

c.轮廓形成的图形的宽度异常小的情况下(例如，40以下)除外

d.轮廓形成的最小单位四角形的宽度和轮廓形成的图形的宽度超过误差范围而不同的情况下除外

e.轮廓形成的最小单位四角形的宽度和高度比为x：1(x为0.5以上2以下)的情况下除外

参照图5(a)，标记判别模块121可生成通过以下数学式6至数学式8变换了第二平面图的像素信息的第七平面图。

[数学式6]

dst(I)＝round(max(O，min(α*src(I)-β，255)))

(src(I)：像素信息的变更前元素值(x，y，z)，α：57，β：-12500，dst(I)：像素信息的变更后元素值(x′，y′，z′))

[数学式7]

Y＝0.5*R+0.3334*G+0.1667*B

(R：在数学式6求出的dst(I)的(x′，y′，z′)中的x′，G：在数学式6求出的dst(I)的(x′，y′，z′)中的y′，B：在数学式6求出的dst(I)的(x′，y′，z′)中的z′，Y：一维元素值)

[数学式8]

Y′＝(Y＝0，Y′＝oor Y≠0，Y′＝255)

(Y：在数学式7求出的一维元素值)

数学式6可以以设施平面图的颜色和彩度为基准对像素信息的颜色进行两极化，数学式7将两极化的颜色变成灰度，数学式8将灰度变成黑白。

参照图5(b)，标记判别模块121可生成连接了第七平面图的白色区域边缘的轮廓，根据道格拉斯-普克(Douglas-Peucker)算法将跳动形态的轮廓近似化(例如，Douglas-Peucker算法的epsilon指数为相当于轮廓形成的轮廓的总长度的0.02＝1/50的值)变成光滑后，检测近似化的轮廓中相当于凸包(Convex hull)的轮廓，相当于凸包(Convex hull)的轮廓构成的宽度在预定范围以内的情况下检测为弧。例如，凸包的宽度大于200且小于800，将近似化的轮廓地点为10个以下的情况检测为弧。

参照图5(b)，标记判别模块121可将图4(c)检测的矩形中与图5(b)的弧相邻的矩形检测为门，将其余矩形检测为窗户，标注模块123可基于检测到的信息进行标注。

参照图5(d)，训练模块125向基于图像分割算法设计的神经网络模型输入多个设施平面图(图1)和以像素为单位标注的数据(图5(d))，以训练用于导出多个设施平面图中包括的窗户和门的类别及标注的像素位置的相关关系的神经网络模型的加权值，以此生成根据相关关系判别设施平面图中包括的窗户和门的位置及类别的神经网络模型。

图6为示出根据本发明的一个实施例的设施平面图中包括的标记分析装置100生成的神经网络模型从设施平面图区分门和窗户的结果的示例图。

参照图6可知能够以像素为单位检测输入到神经网络模型的新的平面图中包括的窗户和门的位置，而且能够以高准确度检测类别。这种神经网络模型可以如图7与韩国授权专利公报第10-1638378号的技术结合。

图7为使用根据本发明的一个实施例的设施平面图中包括的标记分析装置100生成的神经网络模型及韩国授权专利公报第10-1638378号的技术从二维平面图执行三维建模的三维图的示例图。

参照图7，根据本发明的一个实施例的设施平面图中包括的标记分析装置100生成在平面图上自动区分门和窗户标记，以像素为单位对区分的门和窗户本身进行标注以从平面图准确地区分窗户和门的模型，并与韩国授权专利公报第10-1638378号(基于二维图的三维自动立体建模方法及程序)的技术结合，以更准确地区分二维平面图(图7(a))的门和窗户以执行高效率的三维建模(图7(b)、图7(c))。

图8为根据本发明的一个实施例的设施平面图中包括的标记分析方法的流程图。图8的设施平面图中包括的标记分析方法的步骤可由通过图1说明的设施平面图中包括的标记分析装置100执行，以下对各步骤进行说明。

输入接口130获取多个设施平面图(S810)。标记判别模块121检测多个设施平面图各自包括的矩形及与矩形连接的弧(S820)。标记判别模块121根据矩形及弧特定窗户区域和门区域(S830)。标注模块123将特定的窗户区域的像素标注为窗户的类别，将特定的门区域的像素标注为门的类别(S840)。训练模块125向基于图像分割算法设计的神经网络模型输入多个设施平面图和以像素为单位标注的数据以训练用于导出多个设施平面图中包括的窗户和门的类别及标注的像素的位置的相关关系的神经网络模型的加权值，以此生成根据相关关系判别设施平面图中包括的窗户和门的位置及类别的神经网络模型(S850)。

另外，作为上述各步骤的主体的构成要素实施相应步骤的过程已经结合图1至图7进行了说明，因此省略重复说明。

上述本发明的实施例可通过各种手段实现。例如，本发明的实施例可通过硬件、固件(firmware)、软件或其结合等实现。

通过硬件实现的情况下，本发明的实施例的方法可通过一个以上的ASIC s(Application Specific Integrated Circuits，专用集成电路)、DSPs(Digital Sign alProcessors，数字信号处理器)、DSPDs(Digital Signal Processing Devices，数字信号处理设备)、PLDs(Programmable Logic Devices，可编程逻辑器件)、FPGAs(FieldProgrammable Gate Arrays，现场可编程门阵列)、处理器、控制器、微控制器、微处理器等实现。

通过固件或软件实现的情况下，根据本发明的实施例的方法可通过执行以上说明的功能或操作的模块、步骤或函数等形态实现。存储有软件代码等的计算机程序可存储于计算机可读存储介质或存储器单元被处理器驱动。存储器单元位于处理器内部或外部，可通过公知的各种手段与处理器收发数据。

并且，本发明所附框图的各框与流程图的各步骤的组合还可通过计算机程序指令实现。这些计算机程序指令可搭载于通用计算机、专用计算机或其他可编程数据处理设备的编码处理器，因此通过计算机或其他可编程数据处理设备的编码处理器执行的该指令生成执行框图的各框或流程图的各步骤说明的功能的手段。这些计算机程序指令还可以存储于为了通过特定方法实现功能而能够指向计算机或其他可编程数据处理设备的计算机可用或计算机可读存储器，因此存储于该计算机可用或计算机可读存储器的指令还可生产包括执行框图的各框或流程图的各步骤中说明的功能的指令手段的制造品目。计算机程序指令还可搭载于计算机或其他可编程数据处理设备上，因此在计算机或其他可编程数据处理设备上执行一系列操作步骤生成通过计算机执行的处理，计算机或其他可编程数据处理设备执行的指令可提供用于执行框图的各框及流程图的各步骤说明的功能的步骤。

此外，各块或各步骤可以表示包括用于执行特定逻辑功能的一个或多个可运行指令的模块、段或代码的一部分。另外，需要注意的是在几种替代实施例中，在框或步骤提到的功能也可脱离顺序发生。例如，连续示出的两个框或步骤实际上可实质性地同时执行，或者这些框或步骤时而可根据相应的功能按反向顺序执行。

如上所述，本发明所属技术领域的普通技术人员应当理解本发明在不变更其技术思想或必要特征的前提下可以以其他具体方式实施。因此应理解以上记载的实施例为全面示例而不是进行限定。本发明的范围由所附权利要求范围示出而不是详细说明，应解释权利要求范围的意思及范围和从其等价概念导出的所有变更或变形的方式也包含于本发明的范围。

Claims (14)

1.一种设施平面图中包括的标记分析装置，其中，包括：

一个以上的存储器，其存储使得执行预定的操作的指令；以及

一个以上的处理器，其可操作地连接于所述一个以上的存储器且构成为运行所述指令，

所述处理器执行的操作包括：

获取多个设施平面图的操作；

检测与所述多个设施平面图各自包括的矩形及与所述矩形连接的弧的操作；

根据所述矩形及所述弧特定窗户区域和门区域的操作；

将特定的所述窗户区域的像素标注为窗户的类别，将特定的所述门区域的像素标注为门的类别的操作；以及

向基于预定的图像分割算法设计的神经网络模型输入所述多个设施平面图及以像素为单位标注的数据以训练导出所述多个设施平面图中包括的窗户和门的类别及标注的所述像素的位置的相关关系的所述神经网络模型的加权值，以此生成根据所述相关关系判别设施平面图中包括的窗户和门的位置及类别的神经网络模型的操作。

2.根据权利要求1所述的设施平面图中包括的标记分析装置，其中，检测的所述操作包括：

将设施平面图中包括的除黑色以外的所有部分变成白色的操作；以及

根据所述黑色构成的线段或连接白色区域边缘的轮廓检测所述矩形及所述弧的操作。

3.根据权利要求2所述的设施平面图中包括的标记分析装置，其中，检测的所述操作还包括：

去除所述设施平面图中包括的文字的操作。

4.根据权利要求2所述的设施平面图中包括的标记分析装置，其中，变成所述白色的操作包括：

对于设施平面图中包括的像素的RGB信息为(0，0，0)的像素保持RGB信息，将设施平面图中包括的像素的RGB信息不是(0，0，0)的像素的RGB信息变成(255，255，255)的操作。

5.根据权利要求1所述的设施平面图中包括的标记分析装置，其中，特定所述窗户区域和门区域的操作包括：

将所述矩形中与所述弧连接的第一矩形检测为门区域的操作；以及

将所述矩形中未与所述弧连接的第二矩形检测为窗户区域的操作。

6.根据权利要求5所述的设施平面图中包括的标记分析装置，其中：

在检测为所述门区域的操作中，存在与所述第一矩形连接且构成垂直的线段，所述弧与所述第一矩形的末端及所述线段的末端连接的情况下，将所述第一矩形检测为门区域。

7.根据权利要求5所述的设施平面图中包括的标记分析装置，其中，特定所述窗户区域和门区域的操作还包括：

所述矩形中宽度小于预设值或大于预设值的情况下从所述检测去除的操作。

8.根据权利要求1所述的设施平面图中包括的标记分析装置，其中，标注的所述操作包括：

将所述窗户及所述门以外的所有区域的像素标注为空的类别的操作。

9.根据权利要求1所述的设施平面图中包括的标记分析装置，其中，检测的所述操作包括：

生成从所述设施平面图通过OCR检测算法去除了文字的第一平面图的操作；

生成通过以下数学式1及数学式2变换了所述第一平面图的像素信息的第二平面图的操作；

[数学式1]

dst(I)＝round(max(0，min(α*src(I)-β，255)))

(src(I)：像素信息的变更前元素值(x，y，z)，α：10，β：-350，dst(I)：像素信息的变更后元素值(x'，y'，z'))，

[数学式2]

Y＝0.5*R+0.3334*G+0.1667*B

(R：在数学式1求出的dst(I)的(x'，y'，z')中的x'，G：在数学式1求出的dst(I)的(x'，y'，z')中的y'，B：在数学式1求出的dst(I)的(x'，y'，z')中的z'，Y：一维元素值)，

生成构成所述第二平面图的线段构成的矩形中仅大于预设宽度或小于预设宽度的部分用黑色示出的第三平面图的操作；

生成将构成所述第一平面图的像素中颜色元素值为0以上30以下、彩度元素值为80以上220以下、明度元素值为150以上225以下的值的像素变换成白色的第四平面图的操作；

生成在所述第一平面图适用所述第三平面图的黑色区域和所述第四平面图的白色区域的第五平面图的操作；

生成通过以下数学式3至数学式5变换了所述第五平面图的像素信息的第六平面图的操作；

[数学式3]

dst(I)＝round(max(0，min(α*src(I)-β，255)))

(src(I)：像素信息的变更前元素值(x，y，z)，α：3，β：-350，dst(I)：像素信息的变更后元素值(x'，y'，z'))，

[数学式4]

Y＝0.5*R+0.3334*G+0.1667*B

(R：在数学式3求出的dst(I)的(x'，y'，z')中的x'，G：在数学式3求出的dst(I)的(x'，y'，z')中的y'，B：在数学式3求出的dst(I)的(x'，y'，z')中的z'，Y：一维元素值)，

[数学式5]

Y′＝(Y＜40，Y′＝oor Y≥40，Y′＝255)

(Y：在数学式4求出的一维元素值)，

生成连接所述第六平面图的白色区域边缘的轮廓检测矩形的操作。

10.根据权利要求1所述的设施平面图中包括的标记分析装置，其中，检测的所述操作包括：

生成在所述设施平面图通过OCR检测算法去除文字了的第一平面图的操作；

生成通过以下数学式6至数学式8变换了所述第二平面图的像素信息的第七平面图的操作；

[数学式6]

dst(I)＝round(max(0，min(α*src(I)-β，255)))(src(I)：像素信息的变更前元素值(x，y，z)，α：57，β：-12500，dst(I)：像素信息的变更后元素值(x'，y'，z'))，

[数学式7]

Y＝0.5*R+0.3334*G+0.1667*B

(R：在数学式6求出的dst(I)的(x'，y'，z')中的x'，G：在数学式6求出的dst(I)的(x'，y'，z')中的y'，B：在数学式6求出的dst(I)的(x'，y'，z')中的z'，Y：一维元素值)，

[数学式8]

Y′＝(Y＝O，Y′＝oor Y≠O，Y′＝255)

(Y：在数学式7求出的一维元素值)，

生成连接了所述第七平面图的白色区域边缘的轮廓的操作；以及

根据道格拉斯-普克算法对所述轮廓近似化以检测近似化的所述轮廓中相当于凸包(Convex hull)的轮廓，将所述凸包(Convex hull)构成的宽度在预定范围以内的情况检测为弧的操作。

11.根据权利要求1所述的设施平面图中包括的标记分析装置，其中，生成所述神经网络模型的操作包括：

设置成向根据Mask R-CNN算法设计的神经网络的输入层输入所述多个设施平面图，设置成向输出层输入所述多个设施平面图中包括的窗户和门的类别及标注的所述像素的位置以训练用于导出所述多个设施平面图中包括的窗户和门的类别及标注的所述像素的位置之间的相关关系的神经网络的加权值的操作。

12.一种装置，包括由根据权利要求1至11中任一项所述的设施平面图中包括的标记分析装置生成的神经网络模型。

13.一种设施平面图中包括的标记分析方法，是由设施平面图中包括的标记分析装置执行的方法，其中，包括：

获取多个设施平面图的步骤；

检测与所述多个设施平面图各自包括的矩形及与所述矩形连接的弧的步骤；

根据所述矩形及所述弧特定窗户区域和门区域的步骤；

将特定的所述窗户区域的像素标注为窗户的类别，将特定的所述门区域的像素标注为门的类别的步骤；以及

向基于预定的图像分割算法设计的神经网络模型输入所述多个设施平面图及以像素为单位标注的数据以训练用于导出所述多个设施平面图中包括的窗户和门的类别及标注的所述像素的位置的相关关系的所述神经网络模型的加权值，以此生成根据所述相关关系判别设施平面图中包括的窗户和门的位置及类别的神经网络模型的步骤。

14.一种计算机程序，存储于计算机可读存储介质，使得处理器执行根据权利要求13所述的方法。