CN113469087A - 建筑图纸中的图框检测方法、装置、设备及介质 - Google Patents

Abstract

本发明实施例公开了一种建筑图纸中的图框检测方法、装置、设备及介质。该方法包括：采用形态学算法对标准建筑图纸进行预识别，并根据预识别结果在标准建筑图纸中截取得到至少一个备选图框检测区域；针对各备选图框检测区域，执行下述各图框检测处理操作：在备选图框检测区域中提取出多尺度的基础图像特征；在各特征中提取得到多尺度的高维度图像特征，并增强各高维度图像特征的图像特征质量；将高维度图像特征进行特征融合得到多通道的融合图像特征；根据融合图像特征获取图框识别结果。在上述技术方案中，通过对各备选图框检测区域进行图框检测处理，实现了对建筑图纸中的图框进行快速精准检测，提高了检测效率，并且避免了出现图框漏检的问题。

Description

建筑图纸中的图框检测方法、装置、设备及介质

技术领域

本发明实施例涉及图像处理技术领域，尤其涉及一种建筑图纸中的图框检测方法、装置、设备及介质。

背景技术

随着人工智能技术的快速发展，人工智能技术已经被广泛应用于工业制造、信息家电(即计算机、通信和消费类电子产品，又称3C产品)以及生物医疗等行业领域内。在我国基础建设转型中，建筑行业作为传统行业的巨头，也不可避免的卷入智能化转型的浪潮中。

目前，关于建筑行业，尤其是关于建筑图纸的审核，主要是通过专业的审图专家进行人工审核，并且建筑图纸中可能包含较多的图纸内容辅助线及辅助图框，以住宅项目图纸为例，图纸中包括图像目录及建筑设计说明等图框信息，这就使得审图专家在进行图纸审核之前，还需要先在建筑图纸中找到有用的图框信息，由于人为进行图框检测，导致图框检测的工作量大且检测效率低，并且容易出现图框漏检的问题，尤其是对小目标图框的检测。因此，如何实现对建筑图纸中的图框进行快速精准检测，提高检测效率，以及避免出现图框漏检的问题是亟待解决的问题。

发明内容

本发明实施例提供一种建筑图纸中的图框检测方法、装置、设备及介质，以实现对建筑图纸中的图框进行快速精准检测，提高检测效率，以及避免出现图框漏检的问题。

第一方面，本发明实施例提供了一种建筑图纸中的图框检测方法，包括：

采用形态学算法对标准建筑图纸进行预识别，并根据预识别结果，在标准建筑图纸中截取得到至少一个备选图框检测区域，所述标准建筑图纸中包括至少一个图像尺寸小于或等于预设标准识别尺寸的小图框；

针对每个备选图框检测区域，执行下述各图框检测处理操作：

在备选图框检测区域中，提取出多尺度的基础图像特征；

在保持基础图像特征不缺失的基础上，在各基础图像特征中提取得到多尺度的高维度图像特征，并增强各高维度图像特征的图像特征质量；

在保持高维度图像特征不缺失的基础上，将多尺度的高维度图像特征进行特征融合，得到多通道的融合图像特征；

根据多通道的融合图像特征，获取备选图框检测区域的图框识别结果。

第二方面，本发明实施例还提供了一种建筑图纸中的图框检测装置，包括：

标准建筑图纸预识别模块，用于采用形态学算法对标准建筑图纸进行预识别，并根据预识别结果，在标准建筑图纸中截取得到至少一个备选图框检测区域，所述标准建筑图纸中包括至少一个图像尺寸小于或等于预设标准识别尺寸的小图框；

重复执行模块，用于针对每个备选图框检测区域，重复触发执行图框检测模块；

所述图框检测模块包括：

基础图像特征提取单元，用于在备选图框检测区域中，提取出多尺度的基础图像特征；

高维度图像特征获取单元，用于在保持基础图像特征不缺失的基础上，在各基础图像特征中提取得到多尺度的高维度图像特征，并增强各高维度图像特征的图像特征质量；

融合图像特征生成单元，用于在保持高维度图像特征不缺失的基础上，将多尺度的高维度图像特征进行特征融合，得到多通道的融合图像特征；

图框识别结果获取单元，用于根据多通道的融合图像特征，获取备选图框检测区域的图框识别结果。

第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明任意实施例所述的建筑图纸中的图框检测方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所述的建筑图纸中的图框检测方法。

本发明实施例提供的技术方案中，采用形态学算法对标准建筑图纸进行预识别，并根据预识别结果，在标准建筑图纸中截取得到至少一个备选图框检测区域，然后针对每个备选图框检测区域，执行下述各图框检测处理操作：首先在备选图框检测区域中提取出多尺度的基础图像特征，其次在保持基础图像特征不缺失的基础上，在各基础图像特征中提取得到多尺度的高维度图像特征，并对各高维度图像特征进行图像特征质量增强，然后在保持高维度图像特征不缺失的基础上，将多尺度的高维度图像特征进行特征融合，得到多通道的融合图像特征，最后根据多通道的融合图像特征，获取备选图框检测区域的图框识别结果。根据采用形态学算法得到的标准建筑图纸的预识别结果，在标准建筑图纸中截取备选图框检测区域，并对各备选图框检测区域提取的多尺度特征进行处理，获取备选图框检测区域的图框识别结果，实现了对建筑图纸中的图框进行快速精准检测，提高了检测效率，并且避免了出现图框漏检的问题。

附图说明

图1a是本发明实施例一中的一种建筑图纸中的图框检测方法的流程示意图；

图1b是本发明实施例一中的一种用于获取备选图框检测区域的图框识别结果的模型结构示意图；

图2a是本发明实施例二中的一种建筑图纸中的图框检测方法的流程示意图；

图2b是本发明实施例二中的一种标准建筑图纸的示意图；

图2c是本发明实施例二中的一种图框区域示意图；

图2d是本发明实施例二中的一种备选图框检测区域的示意图；

图2e是本发明实施例二中的一种备选图框检测区域的图框识别结果示意图；

图3是本发明实施例三中的一种建筑图纸中的图框检测装置的结构示意图；

图4是本发明实施例四中的一种计算机设备的硬件结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

实施例一

图1a是本发明实施例一提供的一种建筑图纸中的图框检测方法的流程图，本发明实施例可适用于对建筑图纸中的图框进行快速精准检测的情况，该方法可以由本发明实施例提供的建筑图纸中的图框检测装置来执行，该装置可采用软件和/或硬件的方式实现，并一般可集成在计算机设备中。

如图1a所示，本实施例提供的一种建筑图纸中的图框检测方法，具体包括：

S110、采用形态学算法对标准建筑图纸进行预识别，并根据预识别结果，在标准建筑图纸中截取得到至少一个备选图框检测区域，标准建筑图纸中包括至少一个图像尺寸小于或等于预设标准识别尺寸的小图框。

形态学算法，指的是一种通过一定形态的结构元素度量和提取图像中的对应形状，以达到对图像进行分析和识别的算法。在本发明实施例中，形态学算法用于获取标准建筑图纸的图框信息。

标准建筑图纸，指的是包含多个图框(如与建筑平面图对应的小图框、建筑设计说明图框等辅助图框)的建筑工程图纸。

预识别结果，指的是采用形态学算法在标准建筑图纸中识别出的至少一个图像尺寸小于或等于预设标准识别尺寸的小图框。其中，预设标准识别尺寸，指的是预先设定的一个可以通过形态学算法识别出的图框的最大尺寸。

备选图框检测区域，指的是在标准建筑图纸中截取的区域。

可以理解的是，在标准建筑图纸中可能包括多个图框，例如，对于住宅项目的标准建筑图纸，其中可能包括图像目录、建筑设计说明等图框，故在对建筑图纸进行审核之前，首先需要智能检测出标准建筑图纸中的各图框是需要进行审核的待审核图框还是仅用于介绍说明的辅助图框，这对基于人工智能算法实现建筑图纸的自动审核是至关重要的。

采用形态学算法对标准建筑图纸进行预识别，得到至少一个小于或等于预设标准识别尺寸的小图框，然后根据识别得到的小图框，在标准建筑图纸中截取至少一个备选图框检测区域，然后对该区域进行图框检测，获取图框识别结果，能够有效地避免了由于图像分辨率过高导致漏检的问题，提高图框检测效果。

S120、针对每个备选图框检测区域，执行各图框检测处理操作，获取各备选图框检测区域的图框识别结果。

图框识别结果，指的是各备选图框检测区域进行图框检测后得到的结果，其中至少可以包括针对各备选图框检测区域的图框类型(如待审核图框以及说明图框、图像目录图框等辅助图框)以及各图框在备选图框检测区域中的位置坐标等。

分别对各备选图框检测区域进行图框检测处理操作，得到各备选图框检测区域的图框识别结果。

现有技术中，在进行图框检测时，通常是采用传统的图像边缘检测算法，如Canny算子、Prewitt算子、Sobel算子、霍夫变换或DPM(Deformable Parts Model，离散颗粒模型)等，从图像中识别出具有几何形状的图框，或者是基于SSD(Single Shot MultiBoxDetector)算法、Faster R-CNN(Faster Regions with Convolutional Neural Network，基于快速域的卷积神经网络)、Mask R-CNN(Mask Regions with Convolutional NeuralNetwork，基于掩模域的卷积神经网络)或YOLO-v3(You Only Look Once-version3)算法等目标检测算法对图像中的图框进行检测，但是，前者需要专业的审图人员对识别得到的图框进行人为区分，以确定哪些图框为待审核图框，后者在图框检测过程中，对于小目标图框容易产生漏检，并且检测速度慢，无法实现图框的实时检测。因此，为了解决上述问题，在本发明实施例中，针对每个备选图框检测区域，可以具体执行如下S121-S124操作：

S121、在备选图框检测区域中，提取出多尺度的基础图像特征。

其中，基础图像特征，指的是在备选图框检测区域中提取的多个不同尺度下的图像特征。可以采用现有技术中的任一种特征提取方法，如残差网络(Residual Network，ResNet)，从备选图框检测区域中提取出多尺度的基础图像特征，本发明实施例对此不做具体限定。

可选的，在备选图框检测区域中，提取出多通道的基础图像特征，可以包括：将备选图框检测区域输入至轻量级网络中，并对轻量级网络的多个瓶颈层的输出结果输入至路径聚合网络，得到多通道的基础图像特征；其中，不同瓶颈层用于输出不同尺度的基础图像特征。

轻量级网络，用于提取备选图框检测区域中的多尺度的图像特征。

瓶颈层，指的是轻量级网络中的网络层，用于输出设定尺度下的图像特征。

路径聚合网络(Path Aggregation Network，PANet)，用于对轻量级网络的多个瓶颈层的输出结果进行特征聚合，它能够将底层特征向高层特征聚合，有效地保留了低维尺度下的特征信息，能够更好的对图框进行定位，提高图框的检测效果。

可以理解的是，一个轻量级网络中可以设置多个瓶颈层，不同的瓶颈层可以输出不同尺度下的图像特征。本发明实施例中，轻量级网络可以是一个包含多个瓶颈层(bottleneck)的MobileNetV2网络，当输入建筑平面图时，各瓶颈层即可分别输出不同设定尺度下的图像特征，并通过路径聚合网络对多个瓶颈层的输出结果进行聚合，得到不同尺度下的多通道的基础图像特征。

S122、在保持基础图像特征不缺失的基础上，在各基础图像特征中提取得到多尺度的高维度图像特征，并增强各高维度图像特征的图像特征质量。

高维度图像特征，指的是基础图像特征中的高维尺度下的图像特征。

图像特征质量，用于衡量图像特征能够表征备选图框检测区域的程度。

为了增大图框的检测区域，提高基础图像特征在备选图框检测区域上映射的区域大小，因此，在保持基础图像特征不缺失的基础上，可以提取各基础图像特征中的多尺度的高维度图像特征，并增强图像特征质量，以提高高维度图像特征的分辨率，使高维度图像特征能够更好的应用于备选图框检测区域中的小图框检测。

可选的，在保持基础图像特征不缺失的基础上，在各基础图像特征中提取得到多通道的高维度图像特征，可以包括：将多通道的基础图像特征输入至空间金字塔池化网络中，通过空间金字塔池化网络在多尺度的多通道的基础图像特征中，提取得到标准尺度的多通道的高维度图像特征。

空间金字塔池化网络(Spatial Pyramid Pooling Network，简称SPP-Net)，用于在多尺度特征中提取出固定尺度的特征。在本发明实施例中，SPP-Net用于获取基础图像特征中的高维度图像特征。

通常情况下，可以采用FCN(Fully Convolutional Networks，全卷积网络)进行高维度特征提取，但是对于输入的不同的图像特征，可能具有不同的分辨率，容易导致在输出固定尺度的图像特征时出现图像中的几何形状发生变化、图像信息丢失等情况，严重影响了输出结果的准确性。因此，在本发明实施例中，为了避免基础图像特征中的小目标图框等图像信息的丢失，同时增加基础图像特征的感受野，可以采用空间金字塔池化网络提取多通道的基础图像特征中的高维空间特征信息，得到标准尺度的多通道的高维度图像特征，既不需要限制输入的基础图像特征的分辨率大小，也能够有效避免基础图像特征的缺失。

进一步的，增强各高维度图像特征的图像特征质量，可以包括：将多通道的高维度图像特征输入至亚像素卷积网络中，通过亚像素卷积网络将各低分辨率的高维图像特征分别插入到高分辨率特征谱中，以增强各高维度图像特征的特征质量。

亚像素卷积网络(Sub-pixel Convolution)，用于将低分辨率图像通过亚像素卷积处理生成高分辨率图像，在本发明实施例中，亚像素卷积网络用于提高高维度图像特征的分辨率。

高分辨率特征谱，用于增强高维度图像特征的特征质量。

为了使高维度图像特征能够包含更多的特征信息，提高特征质量，可以通过亚像素卷积网络提高各高维度图像特征的分辨率，具体为：将多通道的高维度图像特征输入至亚像素卷积网络中，分别将各低分辨率的高维图像特征，按照特定位置周期性地插入到高分辨率特征谱中。

S123、在保持高维度图像特征不缺失的基础上，将多尺度的高维度图像特征进行特征融合，得到多通道的融合图像特征。

其中，融合图像特征，指的是将多尺度的高维度图像特征进行融合后得到的图像特征，能够表征备选图框检测区域中的高维尺度特征。

可以理解的是，对于低维尺度的多通道基础图像特征，具有丰富的细节信息以及较小的感受野，适合对小目标进行检测；而对于高维尺度的多通道基础图像特征，具有较高的图像语义信息以及较大的感受野，适合对大目标进行检测。因此，在本发明实施例中，为了使提取的特征能够更好地描述备选图框检测区域，进而提高备选图框检测区域中的图框检测效果，并且避免出现图框漏检的问题，可以在保持高维度图像特征不缺失的基础上，融合不同尺度下的高维度图像特征，得到多通道的融合图像特征。

可选的，在保持高维度图像特征不缺失的基础上，将多通道的高维度图像特征进行特征融合，得到多通道的融合图像特征，可以包括：使用设定通道数的1*1的卷积核对多通道的高维度图像特征进行卷积处理，得到多通道的融合图像特征。

设定通道数，指的是一个预先确定的卷积核的数量，例如，设定通道数可以是256。

在融合多通道的高维度图像特征时，可以采用设定通道数的1*1的卷积核进行卷积处理，能够保留高维度图像特征中的低维尺度下的图像特征，避免高维度图像特征中边界特征等细节信息的丢失。

S124、根据多通道的融合图像特征，获取备选图框检测区域的图框识别结果。

可选的，根据多通道的融合图像特征，获取备选图框检测区域的图框识别结果，可以包括：将多通道的融合图像特征分别输入至分类网络和定位网络中，并通过分类网络输出的分类结果，以及定位网络输出的定位结果，在备选图框检测区域中标识出图框所在的区域位置坐标。

分类网络，用于对多通道的融合图像特征进行分类，确定各图框对应的图框类型(如待审核图框或辅助图框)。

定位网络，用于对多通道的融合图像特征进行定位，确定各图框在备选图框检测区域中的位置坐标。

其中，分类网络或定位网络均可采用现有技术中的任一种具有分类和/或定位能力的机器学习模型，如使用SSD算法进行分类和定位，本发明实施例对此不做具体限定。一种可选的实施方式，分类网络可以是一种具有2个3*3的卷积核和softmax函数的网络结构的模型，定位网络可以是一种具有3个3*3的卷积核和2个1*1的卷积核的网络结构的模型。

将多通道的融合图像特征分别输入至分类网络和定位网络中，可以根据网络输出的结果确定图框是否为待审核的图框以及在备选图框检测区域中的位置，并且可以在备选图框检测区域中标识出图框所在的区域位置坐标。

作为一种具体的实施方式，图1b提供了一种用于获取备选图框检测区域的图框识别结果的模型结构示意图。首先，将备选图框检测区域输入至轻量级网络MobileNetV2中，由于轻量级网络MobileNetV2中的第一瓶颈层bottleneck1、第二瓶颈层bottleneck2、第四瓶颈层bottleneck4以及第六瓶颈层bottleneck6的输出结果分别为输入的备选图框检测区域的分辨率的1/4、1/8、1/16以及1/32，因此可以获取这四个瓶颈层的输出结果，并将输出结果输入至路径聚合网络PANet，得到多通道的基础图像特征；其次，将多通道的基础图像特征输入至空间金字塔池化网络SPP-Net中，通过空间金字塔池化网络在多尺度的多通道的基础图像特征中，提取得到标准尺度的多通道的高维度图像特征，并将多通道的高维度图像特征输入至亚像素卷积网络中，通过亚像素卷积网络将各低分辨率的高维图像特征分别插入到高分辨率特征谱中，增强了各高维度图像特征的特征质量；然后，使用设定通道数为256的1*1的卷积核对多通道的高维度图像特征进行卷积处理，得到多通道的融合图像特征，将多通道的融合图像特征分别输入至分类网络和定位网络中，并根据分类网络输出的分类结果，以及定位网络输出的定位结果，输出备选图框检测区域的图框识别结果。

本发明实施例提供的技术方案，采用形态学算法对标准建筑图纸进行预识别，并根据预识别结果，在标准建筑图纸中截取得到至少一个备选图框检测区域，然后针对每个备选图框检测区域，执行下述各图框检测处理操作：首先在备选图框检测区域中提取出多尺度的基础图像特征，其次在保持基础图像特征不缺失的基础上，在各基础图像特征中提取得到多尺度的高维度图像特征，并对各高维度图像特征进行图像特征质量增强，然后在保持高维度图像特征不缺失的基础上，将多尺度的高维度图像特征进行特征融合，得到多通道的融合图像特征，最后根据多通道的融合图像特征，获取备选图框检测区域的图框识别结果。根据采用形态学算法得到的标准建筑图纸的预识别结果，在标准建筑图纸中截取备选图框检测区域，并对各备选图框检测区域提取的多尺度特征进行处理，获取备选图框检测区域的图框识别结果，实现了对建筑图纸中的图框进行快速精准检测，提高了检测效率，并且避免了人为原因导致的图框漏检的问题。

实施例二

图2a是本发明实施例二提供的一种建筑图纸中的图框检测方法的流程图。本实施例在上述实施例的基础上进行具体化，其中，可以将采用形态学算法对标准建筑图纸进行预识别，并根据预识别结果，在标准建筑图纸中截取得到至少一个备选图框检测区域，具体为：

对标准建筑图纸进行二值化处理，得到二值化图像；

对二值化图像进行腐蚀和/或膨胀处理，以平滑二值化图像中的物体边界；

对处理后的二值化图像进行边缘点检测，得到多个边缘点，并根据检测到的各边缘点进行连通域检测，获取检测到的各连通域在二值化图像中的位置坐标范围；

根据各位置坐标范围，在标准建筑图纸中截取得到与各连通域分别对应的备选图框检测区域。

进一步的，针对每个备选图框检测区域，执行各图框检测处理操作，具体可以包括：

将每个备选图框检测区域分别输入至预先训练的图框识别模型中，获取图框识别模型针对每个备选图框检测区域输出的图框识别结果；

其中，图框识别模型中具体包括：轻量级网络、路径聚合网络、空间金字塔池化网络、亚像素卷积网络、1*1的卷积核、分类网络以及定位网络；

图框识别模型在训练时使用的训练样本包括：预先标注有每一户建筑平面图所在图框位置的标准建筑图纸。

如图2a所示，本实施例提供的一种建筑图纸中的图框检测方法，具体包括：

S210、对标准建筑图纸进行二值化处理，得到二值化图像。

其中，标准建筑图纸中包括至少一个图像尺寸小于或等于预设标准识别尺寸的小图框。示例性的，图2b提供了一种标准建筑图纸的示意图，其中包括四个图像尺寸小于或等于预设标准识别尺寸的小图框。

二值化处理，指的是将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的黑白效果。

由于形态学算法仅针对二值化图像，因此在对标准建筑图纸进行图框检测之前，需要对标准建筑图纸进行二值化处理。

S220、对二值化图像进行腐蚀和/或膨胀处理，以平滑二值化图像中的物体边界。

腐蚀和/或膨胀处理，是形态学算法中的基本变换。腐蚀是一种消除边界点，使边界向内部收缩的过程，可以有效地消除图像中小且无意义的物体；膨胀是将与物体接触的所有边界点合并到该物体中，使边界向外部扩张的过程，可以有效地填补物体中的空洞。

对二值化图像进行腐蚀和/或膨胀处理，能够使二值化图像中的物体边界比较平滑，进而使提取的图像特征连续且不会出现过多的断点。

S230、对处理后的二值化图像进行边缘点检测，得到多个边缘点，并根据检测到的各边缘点进行连通域检测，获取检测到的各连通域在二值化图像中的位置坐标范围。

边缘点检测，用于检测图像中的各物体的边缘点，也就是检测图像中灰度变化最明显的地方。

连通域检测，用于检测图像中的各连通域。

连通域(Connected Component)，指的是图像中具有相同像素值且位置相邻的前景像素点组成的图像区域。

对平滑处理后的二值化图像进行边缘点检测，并根据检测到的各边缘点进行连通域检测，获取检测到的各连通域在二值化图像中的位置坐标范围，也就是在二值化图像中提取出前景目标，即白色像素对应的部分。示例性的，图2c是图2b对应的二值化图像在进行连通域检测后得到的效果示意图，也就是对图2c进行形态学算法预识别后，得到的图框区域示意图，其中包括多个连通域。

S240、根据各位置坐标范围，在标准建筑图纸中截取得到与各连通域分别对应的备选图框检测区域。

在采用形态学算法(二值化处理、腐蚀和/或膨胀处理、边缘点检测以及连通域检测)对标注建筑图纸进行预识别后，可以得到标准建筑图纸中各图框的位置信息，根据各位置坐标范围映射至标准建筑图纸中的位置进行截取，然后再对截取后得到的至少一个备选图框检测区域进行图框检测，能够避免由于图像分辨率过高导致漏检的问题，提高图框检测效果。

S250、将每个备选图框检测区域分别输入至预先训练的图框识别模型中，获取图框识别模型针对每个备选图框检测区域输出的图框识别结果。

其中，图框识别模型中具体包括：轻量级网络、路径聚合网络、空间金字塔池化网络、亚像素卷积网络、1*1的卷积核、分类网络以及定位网络；

图框识别模型在训练时使用的训练样本包括：预先标注有每一户建筑平面图所在图框位置的标准建筑图纸。

图框识别模型，用于对各输入的备选图框检测区域进行图框检测，并输出图框识别结果。

可以使用预先标注有各图框(如每一户建筑平面图)的位置信息的标准建筑图纸进行模型训练，得到的具有图框检测能力的图框识别模型，然后将各备选图框检测区域分别输入至图框识别模型中，输出图框识别结果。示例性的，将图2d提供的两个备选图框检测区域分别输入至预先训练的图框识别模型中，可以获取图2e所示的针对每个备选图框检测区域输出的图框识别结果，其中，两个图框frame对应的置信度分别为0.92和0.93。

本实施例未尽详细解释之处请参见前述实施例，在此不再赘述。

需要说明的是，图2b、图2c、图2d以及图2e分别为本实施例中的一种标准建筑图纸、图框区域、备选图框检测区域以及备选图框检测区域的图框识别结果的黑白示意图，仅作为图框或图框区域的示例，其中包含的文字内容不作为保护范围，不进行具体限定。

上述技术方案，采用形态学算法对标准建筑图纸进行二值化处理、腐蚀和/或膨胀处理、边缘点检测及连通域检测，获取检测到的各连通域在二值化图像中的位置坐标范围，并根据各位置坐标范围在标准建筑图纸中截取得到与各连通域分别对应的备选图框检测区域，然后将每个备选图框检测区域分别输入至预先训练的图框识别模型中，获取图框识别模型针对每个备选图框检测区域输出的图框识别结果。采用形态学算法对标准建筑图纸进行处理确定各连通域的位置坐标范围，并在标准建筑图纸中截取备选图框检测区域，有效地避免了由于图像分辨率过高导致漏检的问题，提高了图框检测效果，并且通过预先训练的图框识别模型获取图框识别结果，实现了基于人工智能算法对建筑图纸中的图框进行快速精准检测，提高了检测效率，并且避免了人为原因导致的图框漏检的问题。

实施例三

图3是本发明实施例三提供的一种建筑图纸中的图框检测装置的结构示意图，本发明实施例可适用于对建筑图纸中的图框进行快速精准检测的情况，该装置可采用软件和/或硬件的方式实现，并一般可集成在计算机设备中。

如图3所示，该建筑图纸中的图框检测装置具体包括：标准建筑图纸预识别模块310、重复执行模块320及图框检测模块330。其中，

标准建筑图纸预识别模块310，用于采用形态学算法对标准建筑图纸进行预识别，并根据预识别结果，在标准建筑图纸中截取得到至少一个备选图框检测区域，所述标准建筑图纸中包括至少一个图像尺寸小于或等于预设标准识别尺寸的小图框；

重复执行模块320，用于针对每个备选图框检测区域，重复触发执行图框检测模块330；

所述图框检测模块330包括：

基础图像特征提取单元331，用于在备选图框检测区域中，提取出多尺度的基础图像特征；

高维度图像特征获取单元332，用于在保持基础图像特征不缺失的基础上，在各基础图像特征中提取得到多尺度的高维度图像特征，并增强各高维度图像特征的图像特征质量；

融合图像特征生成单元333，用于在保持高维度图像特征不缺失的基础上，将多尺度的高维度图像特征进行特征融合，得到多通道的融合图像特征；

图框识别结果获取单元334，用于根据多通道的融合图像特征，获取备选图框检测区域的图框识别结果。

本发明实施例提供的技术方案，采用形态学算法对标准建筑图纸进行预识别，并根据预识别结果，在标准建筑图纸中截取得到至少一个备选图框检测区域，然后针对每个备选图框检测区域，执行下述各图框检测处理操作：首先在备选图框检测区域中提取出多尺度的基础图像特征，其次在保持基础图像特征不缺失的基础上，在各基础图像特征中提取得到多尺度的高维度图像特征，并对各高维度图像特征进行图像特征质量增强，然后在保持高维度图像特征不缺失的基础上，将多尺度的高维度图像特征进行特征融合，得到多通道的融合图像特征，最后根据多通道的融合图像特征，获取备选图框检测区域的图框识别结果。根据采用形态学算法得到的标准建筑图纸的预识别结果，在标准建筑图纸中截取备选图框检测区域，并对各备选图框检测区域提取的多尺度特征进行处理，获取备选图框检测区域的图框识别结果，实现了对建筑图纸中的图框进行快速精准检测，提高了检测效率，并且避免了人为原因导致的图框漏检的问题。

可选的，标准建筑图纸预识别模块310，具体用于对所述标准建筑图纸进行二值化处理，得到二值化图像；对所述二值化图像进行腐蚀和/或膨胀处理，以平滑二值化图像中的物体边界；对处理后的二值化图像进行边缘点检测，得到多个边缘点，并根据检测到的各边缘点进行连通域检测，获取检测到的各连通域在二值化图像中的位置坐标范围；根据各所述位置坐标范围，在标准建筑图纸中截取得到与各连通域分别对应的备选图框检测区域。

可选的，基础图像特征提取单元331，具体用于将所述备选图框检测区域输入至轻量级网络中，并对所述轻量级网络的多个瓶颈层的输出结果输入至路径聚合网络，得到多通道的基础图像特征；其中，不同瓶颈层用于输出不同尺度的基础图像特征。

可选的，高维度图像特征获取单元332，具体用于将所述多通道的基础图像特征输入至空间金字塔池化网络中，通过空间金字塔池化网络在多尺度的多通道的基础图像特征中，提取得到标准尺度的多通道的高维度图像特征。

可选的，高维度图像特征获取单元332，具体用于将所述多通道的高维度图像特征输入至亚像素卷积网络中，通过亚像素卷积网络将各低分辨率的高维图像特征分别插入到高分辨率特征谱中，以增强各高维度图像特征的特征质量。

可选的，融合图像特征生成单元333，具体用于使用设定通道数的1*1的卷积核对所述多通道的高维度图像特征进行卷积处理，得到多通道的融合图像特征。

可选的，图框识别结果获取单元334，具体用于将所述多通道的融合图像特征分别输入至分类网络和定位网络中，并通过分类网络输出的分类结果，以及定位网络输出的定位结果，在所述备选图框检测区域中标识出图框所在的区域位置坐标。

作为一种可选的实施方式，图框检测模块330，具体用于将每个备选图框检测区域分别输入至预先训练的图框识别模型中，获取所述图框识别模型针对每个备选图框检测区域输出的图框识别结果；其中，所述图框识别模型中具体包括：轻量级网络、路径聚合网络、空间金字塔池化网络、亚像素卷积网络、1*1的卷积核、分类网络以及定位网络；所述图框识别模型在训练时使用的训练样本包括：预先标注有每一户建筑平面图所在图框位置的标准建筑图纸。

上述建筑图纸中的图框检测装置可执行本发明任意实施例所提供的建筑图纸中的图框检测方法，具备执行建筑图纸中的图框检测方法相应的功能模块和有益效果。

实施例四

图4为本发明实施例四提供的一种计算机设备的硬件结构示意图。图4示出了适于用来实现本发明实施方式的示例性计算机设备12的框图。图4显示的计算机设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图4所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如系统存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。

计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图4中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的一种建筑图纸中的图框检测方法。也即，所述处理单元执行所述程序时实现：

采用形态学算法对标准建筑图纸进行预识别，并根据预识别结果，在标准建筑图纸中截取得到至少一个备选图框检测区域，所述标准建筑图纸中包括至少一个图像尺寸小于或等于预设标准识别尺寸的小图框；

针对每个备选图框检测区域，执行下述各图框检测处理操作：

在备选图框检测区域中，提取出多尺度的基础图像特征；

在保持基础图像特征不缺失的基础上，在各基础图像特征中提取得到多尺度的高维度图像特征，并增强各高维度图像特征的图像特征质量；

在保持高维度图像特征不缺失的基础上，将多尺度的高维度图像特征进行特征融合，得到多通道的融合图像特征；

根据多通道的融合图像特征，获取备选图框检测区域的图框识别结果。

实施例五

本发明实施例五提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请所有发明实施例提供的一种建筑图纸中的图框检测方法：也即，该程序被处理器执行时实现：

采用形态学算法对标准建筑图纸进行预识别，并根据预识别结果，在标准建筑图纸中截取得到至少一个备选图框检测区域，所述标准建筑图纸中包括至少一个图像尺寸小于或等于预设标准识别尺寸的小图框；

针对每个备选图框检测区域，执行下述各图框检测处理操作：

在备选图框检测区域中，提取出多尺度的基础图像特征；

在保持基础图像特征不缺失的基础上，在各基础图像特征中提取得到多尺度的高维度图像特征，并增强各高维度图像特征的图像特征质量；

在保持高维度图像特征不缺失的基础上，将多尺度的高维度图像特征进行特征融合，得到多通道的融合图像特征；

根据多通道的融合图像特征，获取备选图框检测区域的图框识别结果。

可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言(诸如Java、Smalltalk、C++)，还包括常规的过程式程序设计语言(诸如“C”语言或类似的程序设计语言)。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络(包括局域网(LAN)或广域网(WAN))，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (11)

1.一种建筑图纸中的图框检测方法，其特征在于，包括：

采用形态学算法对标准建筑图纸进行预识别，并根据预识别结果，在标准建筑图纸中截取得到至少一个备选图框检测区域，所述标准建筑图纸中包括至少一个图像尺寸小于或等于预设标准识别尺寸的小图框；

针对每个备选图框检测区域，执行下述各图框检测处理操作：

在备选图框检测区域中，提取出多尺度的基础图像特征；

在保持基础图像特征不缺失的基础上，在各基础图像特征中提取得到多尺度的高维度图像特征，并增强各高维度图像特征的图像特征质量；

在保持高维度图像特征不缺失的基础上，将多尺度的高维度图像特征进行特征融合，得到多通道的融合图像特征；

根据多通道的融合图像特征，获取备选图框检测区域的图框识别结果。

2.根据权利要求1所述的方法，其特征在于，采用形态学算法对标准建筑图纸进行预识别，并根据预识别结果，在标准建筑图纸中截取得到至少一个备选图框检测区域，包括：

对所述标准建筑图纸进行二值化处理，得到二值化图像；

对所述二值化图像进行腐蚀和/或膨胀处理，以平滑二值化图像中的物体边界；

对处理后的二值化图像进行边缘点检测，得到多个边缘点，并根据检测到的各边缘点进行连通域检测，获取检测到的各连通域在二值化图像中的位置坐标范围；

根据各所述位置坐标范围，在标准建筑图纸中截取得到与各连通域分别对应的备选图框检测区域。

3.根据权利要求1所述的方法，其特征在于，在备选图框检测区域中，提取出多通道的基础图像特征，包括：

将所述备选图框检测区域输入至轻量级网络中，并对所述轻量级网络的多个瓶颈层的输出结果输入至路径聚合网络，得到多通道的基础图像特征；

其中，不同瓶颈层用于输出不同尺度的基础图像特征。

4.根据权利要求3所述的方法，其特征在于，在保持基础图像特征不缺失的基础上，在各基础图像特征中提取得到多通道的高维度图像特征，包括：

将所述多通道的基础图像特征输入至空间金字塔池化网络中，通过空间金字塔池化网络在多尺度的多通道的基础图像特征中，提取得到标准尺度的多通道的高维度图像特征。

5.根据权利要求4所述的方法，其特征在于，增强各高维度图像特征的图像特征质量，包括：

将所述多通道的高维度图像特征输入至亚像素卷积网络中，通过亚像素卷积网络将各低分辨率的高维图像特征分别插入到高分辨率特征谱中，以增强各高维度图像特征的特征质量。

6.根据权利要求1所述的方法，其特征在于，在保持高维度图像特征不缺失的基础上，将多通道的高维度图像特征进行特征融合，得到多通道的融合图像特征，包括：

使用设定通道数的1*1的卷积核对所述多通道的高维度图像特征进行卷积处理，得到多通道的融合图像特征。

7.根据权利要求1所述的方法，其特征在于，根据多通道的融合图像特征，获取备选图框检测区域的图框识别结果，包括：

将所述多通道的融合图像特征分别输入至分类网络和定位网络中，并通过分类网络输出的分类结果，以及定位网络输出的定位结果，在所述备选图框检测区域中标识出图框所在的区域位置坐标。

8.根据权利要求1-7任一项所述的方法，其特征在于，针对每个备选图框检测区域，执行各图框检测处理操作，具体包括：

将每个备选图框检测区域分别输入至预先训练的图框识别模型中，获取所述图框识别模型针对每个备选图框检测区域输出的图框识别结果；

其中，所述图框识别模型中具体包括：轻量级网络、路径聚合网络、空间金字塔池化网络、亚像素卷积网络、1*1的卷积核、分类网络以及定位网络；

所述图框识别模型在训练时使用的训练样本包括：预先标注有每一户建筑平面图所在图框位置的标准建筑图纸。

9.一种建筑图纸中的图框检测装置，其特征在于，包括：

标准建筑图纸预识别模块，用于采用形态学算法对标准建筑图纸进行预识别，并根据预识别结果，在标准建筑图纸中截取得到至少一个备选图框检测区域，所述标准建筑图纸中包括至少一个图像尺寸小于或等于预设标准识别尺寸的小图框；

重复执行模块，用于针对每个备选图框检测区域，重复触发执行图框检测模块；

所述图框检测模块包括：

基础图像特征提取单元，用于在备选图框检测区域中，提取出多尺度的基础图像特征；

高维度图像特征获取单元，用于在保持基础图像特征不缺失的基础上，在各基础图像特征中提取得到多尺度的高维度图像特征，并增强各高维度图像特征的图像特征质量；

融合图像特征生成单元，用于在保持高维度图像特征不缺失的基础上，将多尺度的高维度图像特征进行特征融合，得到多通道的融合图像特征；

图框识别结果获取单元，用于根据多通道的融合图像特征，获取备选图框检测区域的图框识别结果。

10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-8中任一所述的方法。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一所述的方法。

Images