CN110909650B - 基于领域知识和目标检测的cad图纸识别方法和装置 - Google Patents

Abstract

本申请公开了基于领域知识和目标检测的CAD图纸识别方法和装置，其中，该装置包括：CAD图纸解析模块用于获取待识别CAD图纸中的图纸信息，并将待识别CAD图纸转换为多张待识别像素图；目标检测模块用于对多张待识别像素图进行聚合类构件识别，确定待识别CAD图纸内构件的构件信息集合；建筑空间文件解析模块用于获取待识别CAD图纸内的空间信息；系统信息融合模块用于根据空间信息和构件信息集合，得到构件在建筑空间中的坐标位置信息，并结合图纸信息，通过搜索构件的拓扑，确定构件系统信息，融合坐标位置信息和构件系统信息，生成构件识别信息。通过本申请中的技术方案，提高了构件识别和信息提取的准确率，增强CAD图纸识别的扩展性。

Description

基于领域知识和目标检测的CAD图纸识别方法和装置

技术领域

本申请涉及图纸检测的技术领域，具体而言，涉及基于领域知识和目标检测的CAD图纸识别装置和基于领域知识和目标检测的CAD图纸识别方法。

背景技术

伴随着经济的迅速发展，建筑行业也得到了大力发展。建筑行业不仅只是建造楼房，还包括前期图纸设计、施工、验收和后期运维，每一阶段都至关重要，需要遵循相应的国家规范，并且有相关国家部门对其进行监管和审查。在图纸设计阶段，除了设计建筑结构外，还需要设计电气、暖通、水等不同专业的系统，如火灾自动报警系统和水喷雾灭火系统等，对于保障居民的安全至关重要。在设计阶段，政府指定审图机构会对不同专业系统图纸进行审查，检查是否符合国家规范要求。

而现有技术中，通常是使用广度遍历优先算法，依次计算CAD图纸中关键元素与周围元素的属性关系，再与标准模板库里的符号进行匹配，以实现对CAD图纸中构件的识别。但是，并不能很好的处理CAD图纸中，构件符号变形情况，且由于是使用广度遍历优先算法，CAD图纸识别的效率较慢，同时还存在着扩展性差的问题。

发明内容

本申请的目的在于：利用基于深度学习的目标检测算法，对CAD图纸中的构件进行识别，提高了构件识别和信息提取的准确率，增强CAD图纸识别的扩展性。

本申请第一方面的技术方案是：提供了基于领域知识和目标检测的CAD图纸识别装置，该识别装置用于对待识别CAD图纸中的构件进行定位，该装置包括：CAD图纸解析模块，目标检测模块，建筑空间文件解析模块，系统信息融合模块；CAD图纸解析模块用于获取待识别CAD图纸中的图纸信息，并将待识别CAD图纸转换为多张待识别像素图；目标检测模块用于根据目标检测模型，对多张待识别像素图进行聚合类构件识别，确定待识别CAD图纸内构件的构件信息集合，其中，构件信息集合包括构件的类别信息与构件的位置信息；建筑空间文件解析模块用于获取待识别CAD图纸内的空间信息；系统信息融合模块用于根据空间信息和构件信息集合，得到构件在建筑空间中的坐标位置信息，并结合图纸信息，通过搜索构件的拓扑，展开得到构件线路，确定构件系统信息，融合坐标位置信息和构件系统信息，生成构件识别信息。

上述任一项技术方案中，进一步地，CAD图纸解析模块获取图纸信息之后，还用于：利用领域知识数据库，将待识别CAD图纸中的构件分解为基础元素；对基础元素的类别进行识别，并将类别为文字或填充物的基础元素的显示属性设置为隐藏，其中，基础元素的类别包括文字、填充物、直线段和圆弧。

上述任一项技术方案中，进一步地，CAD图纸解析模块，具体包括：图纸转换单元和图纸分割单元；图纸转换单元用于调用转换接口函数，将待识别CAD图纸转换为第一像素图；图纸分割单元用于根据分割框和预设重叠宽度，按照由左至右的分割顺序，依次将第一像素图分割为多张第二像素图，记作待识别像素图。

上述任一项技术方案中，进一步地，目标检测模块具体包括：特征提取单元，候选框生成单元，分类单元；特征提取单元用于利用特征提取模型中的每一层卷积神经网络，依次对每一张待识别像素图进行特征提取，并将当前层提取到的特征和前几层提取到的特征，输入至下一层卷积神经网络，将最后一层卷积神经网络提取出的特征记作该待识别像素图的图像特征信息；候选框生成单元用于根据滑动窗口和anchor机制，生成图像特征信息的候选框，并对候选框进行调整，并根据调整后的候选框确定位置信息；分类单元用于根据图像特征信息和候选框，确定构件的类别信息。

上述任一项技术方案中，进一步地，识别装置还包括：结果合并模块；结果合并模块用于计算相邻两张待识别像素图中构件的性能度量指标重叠度，当判定性能度量指标重叠度大于预设阈值时，将两个构件进行合并。

本申请第二方面的技术方案是：提供了基于领域知识和目标检测的CAD图纸识别方法，该方法用于对待识别CAD图纸中的构件进行定位，该方法包括：步骤1，获取待识别CAD图纸中的图纸信息，并将待识别CAD图纸转换为多张待识别像素图；步骤2，根据目标检测模型，对多张待识别像素图进行聚合类构件识别，确定待识别CAD图纸内构件的构件信息集合，其中，构件信息集合包括构件的类别信息与构件的位置信息；步骤3，获取待识别CAD图纸内的空间信息；步骤4，根据空间信息和构件信息集合，得到构件在建筑空间中的坐标位置信息，并结合图纸信息，通过搜索构件的拓扑，展开得到构件线路，确定构件系统信息，融合坐标位置信息和构件系统信息，生成构件识别信息。

上述任一项技术方案中，进一步地，获取待识别CAD图纸中的图纸信息之后，还包括：步骤101，利用领域知识数据库，将待识别CAD图纸中的构件分解为基础元素；步骤102，对基础元素的类别进行识别，并将类别为文字或填充物的基础元素的显示属性设置为隐藏，其中，基础元素的类别包括文字、填充物、直线段和圆弧。

上述任一项技术方案中，进一步地，将待识别CAD图纸转换为多张待识别像素图，具体包括：步骤111，调用转换接口函数，将待识别CAD图纸转换为第一像素图；步骤112，根据分割框和预设重叠宽度，按照由左至右的分割顺序，依次将第一像素图分割为多张第二像素图，记作待识别像素图。

上述任一项技术方案中，进一步地，步骤2具体包括：步骤21，利用特征提取模型中的每一层卷积神经网络，依次对每一张待识别像素图进行特征提取，并将当前层提取到的特征和前几层提取到的特征，输入至下一层卷积神经网络，将最后一层卷积神经网络提取出的特征记作该待识别像素图的图像特征信息；步骤22，根据滑动窗口和anchor机制，生成图像特征信息的候选框，并对候选框进行调整，并根据调整后的候选框确定位置信息；步骤23，根据图像特征信息和候选框，确定构件的类别信息。

上述任一项技术方案中，进一步地，步骤2之后，还包括：步骤24，计算相邻两张待识别像素图中构件的性能度量指标重叠度，当判定性能度量指标重叠度大于预设阈值时，将两个构件进行合并。

本申请的有益效果是：

本申请实现了CAD图纸的构件识别和构件信息提取装置，利用图纸的领域知识和基于深度学习的目标检测，对CAD图纸进行图纸预处理、图纸分割、目标检测、结果合并、系统信息提取和坐标位置确定等操作，对CAD图纸中的构件，按照专业领域进行识别，相较于现有的构件识别方法，提高了构件识别准确率和信息提取的准确率，增强CAD图纸识别的扩展性。

通过本申请中的识别方法和装置，可以针对火灾自动报警专业、气体灭火专业、泡沫灭火专业、自动喷水灭火专业和给排水专业等具有专业技术领域的CAD图纸，进行目标构件的识别，并利用构件信息集合、图纸信息与建筑空间信息，融合生成CAD图纸的构件识别信息，该构件识别信息可用于规范自动化检查。

附图说明

本申请的上述和/或附加方面的优点在结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是根据本申请的一个实施例的基于领域知识和目标检测的CAD图纸识别装置的示意图；

图2是根据本申请的一个实施例的IOU计算方式的示意图；

图3是根据本申请的一个实施例的候选框的示意图；

图4是根据本申请的一个实施例的线段合并的示意图；

图5是根据本申请的一个实施例的R-tree空间索引结构的示意图；

图6是根据本申请的一个实施例的基于领域知识和目标检测的CAD图纸识别方法的示意流程图。

具体实施方式

为了能够更清楚地理解本申请的上述目的、特征和优点，下面结合附图和具体实施方式对本申请进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互结合。

在下面的描述中，阐述了很多具体细节以便于充分理解本申请，但是，本申请还可以采用其他不同于在此描述的其他方式来实施，因此，本申请的保护范围并不受下面公开的具体实施例的限制。

本申请针对火灾自动报警专业、气体灭火专业、泡沫灭火专业、自动喷水灭火专业和给排水专业图纸中的构件识别与信息提取问题，提出了CAD图纸的构件识别与语义信息提取方法，实现了构件识别、构件与线路匹配和构件与建筑空间信息匹配等功能。

实施例1：

以下结合图1至图5对实施例1进行说明。

如图1所示，本实施例提供了一种基于领域知识和目标检测的CAD图纸识别装置，该识别装置用于对待识别CAD图纸中的构件进行定位，该装置包括：CAD图纸解析模块10、目标检测模块20、建筑空间文件解析模块30、系统信息融合模块。

CAD图纸解析模块10，通过调用AutoCAD软件接口，解析待识别CAD图纸，获取待识别CAD图纸中的图纸信息，其中，图纸信息包括图纸内矢量元素的位置、类别、图层以及关联信息，该图纸信息为矢量空间的图纸基础几何元素的描述信息，在其基础上进行基于图纸情景的语义信息整合，可用于待识别CAD图纸中的构件识别和语义信息提取。

在CAD图纸解析模块10中设置图纸预处理单元，在获取到图纸信息之后，图纸预处理单元利用本实施例中所涉及的电气、暖通、水等不同专业的领域知识数据库，对待识别CAD图纸进行预处理操作，包括基于领域知识的背景噪声信息滤除、预识别、图层整合等。

首先，将待识别CAD图纸中的构件分解到最小单位，称其为基础元素，基础元素分为四类：文字、填充物、直线段和圆弧。每个基础元素有一个类别属性，标志着其类别，其中，基础元素还具有一个显示属性，可以选择为显示或隐藏，该显示属性可以设置该基础元素在图纸中是隐藏或是显示。

然后，对基础元素的类别进行识别，并将类别为“文字”或者“填充物”的基础元素的显示属性设为隐藏，使对应的基础元素在图纸中隐藏。

此操作可以大幅度减少图纸中的遮挡情况，降低目标(构件)检测的难度，进而提高识别准确率。

在CAD图纸解析模块10中，具体包括：图纸转换单元11和图纸分割单元12，由图纸转换单元11调用CAD软件中的转换接口函数Autodesk.AutoCAD.*，将待识别CAD图纸自动转为像素图，记作第一像素图。

由于实际项目中的待识别CAD图纸面积很大，包含的构件(基础元素)数量较多(显示属性为显示的构件)，因此，待识别CAD图纸转为第一像素图时，为保证第一像素图中每个构件尽量清晰，从而可以更好的被识别出，需要将第一像素图的像素设置的大一些。通常一张待识别CAD图纸转为第一像素图后，占据十几兆内存。如果将此第一像素图直接作为目标检测模块20的输入数据，则在检测运算过程中，可能因数据量过大，导致内存溢出。

为解决此问题，得到第一像素图之后，由图纸分割单元12对第一像素图进行分割，将第一像素图分割成多张第二像素图，将第二像素图作为待识别像素图，因此，利用CAD图纸解析模块10，可以将待识别CAD图纸转换为多张待识别像素图，并按顺序依次传入目标检测模块20，可以大大降低运算量峰值，避免内存溢出。

在图纸分割单元12根据分割窗，按照由左至右、由上至下的分割顺序对第一像素图进行分割时，考虑到在分割位置可能存在聚合类构件，导致聚合类构件被分割到相邻两张待识别像素图中，进而影响构件识别效果。

因此，在分割图纸时，设定预设重叠宽度(300像素)，即每两张相邻的待识别像素图之间，有300像素宽度的重叠区域。例如某张待识别像素图切片为第一像素图的横向6000像素到8000像素，纵向5000像素到9000像素，则下一张待识别像素图的切片为第一张像素图的横向7700像素到9700像素，纵向同样为5000像素到9000像素，即图纸分割单元12根据预设重叠宽度和分割窗，依次对第一像素图进行分割，生成多张待识别像素图。

因此，当某个构件恰好出现在待识别像素图的分割部位时，在一张图片有该构件部分图像，在相邻图片存在其完整图像。

目标检测模块20利用基于深度学习的目标检测模型，对多张待识别像素图进行聚合类构件识别，其输入数据为图纸转换单元11产生的待识别像素图，输出为构件信息集合，以便确定待识别CAD图纸内构件的类别信息与位置信息。

进一步地，该目标检测模块20具体包括：特征提取单元21，候选框生成单元22，分类单元23；

特征提取单元21用于利用特征提取模型中的每一层卷积神经网络，依次对每一张待识别像素图进行特征提取，并将当前层提取到的特征和前几层提取到的特征，输入至下一层卷积神经网络，将最后一层卷积神经网络提取出的特征记作该待识别像素图的图像特征信息；

具体地，对于任一张待识别像素图而言，使用全卷积神经网络Resnet50作为特征提取模型，提取待识别像素图的图像特征信息。

考虑到在普通卷积网络中，卷积层的输入来自上一层输出的特征图，而卷积操作会保留图像主要特征，掉丢次要特征，所以随着网络模型层数增加，特征损失越来越多，导致“欠拟合”。

Resnet50的近路连接结构可以将前几层卷积神经网络提取到的特征，作为当前层卷积神经网络的输入，加到当前特征，缓解特征丢失问题。

候选框生成单元22用于根据滑动窗口和anchor机制，生成图像特征信息的候选框，并对候选框进行调整；

具体地，候选框生成单元22，其功能是为图像生成包含目标物体的候选框及得分，输入为特征提取部分提取到的图像特征信息，输出分为两部分，第一部分是候选框，第二部分是每个候选框对应的分数。候选框生成部分的最终目的是尽可能多地提取包含目标物的区域，此处的目标物为待识别CAD图纸中的待识别的构件，如火灾报警器、感烟装置、报警按钮等。

下面介绍候选框及候选框调整过程。

1、利用滑动窗口和anchor机制生成候选框。假设特征提取单元21得到的特征图尺寸为N*M。通过使用滑动窗口在特征图上进行遍历，得到所有可能出现目标物体的区域，滑动窗口的尺寸为n*m。接下来利用anchor机制，在每一个滑动窗口生成多个候选框。anchor机制指在滑动窗口内按照不同尺寸和比例生成不同形状候选框，通常设定3种尺寸和3种比例(1:1、1:2与2:1)共计九种候选框

2、得到每一个候选框的置信度和调整参数。依次利用区域选取网络(RegionProposal Network，RPN)对选出的候选框进行评分，RPN中卷积层的卷积核尺寸与滑动窗口尺寸一致，同样是n*m，数量为K。RPN的输入是每一个滑动窗口在特征图中对应的区域，由于输入的特征图尺寸和卷积核尺寸一致，卷积之后特征图尺寸变为1*1*K，再经过激活函数后传入分类层与边框回归层两个分支。

3、对候选框进行过滤。上一步骤得到的候选框数量巨大，有很多候选框相互重叠，并且有的前景评分很低，所以需要进行精简，减少候选框数量。

非极大值抑制方法是解决目标检测中候选框冗余问题的经典算法。假设有n个候选框，并且每个都有前景评分，将其放到列表list中。首先从list中选出前景评分最大的候选框A，然后在剩余候选框中找到与A的IOU大于0.6的候选框B。其中IOU(Intersectionover Union)是目标检测领域常使用的一种度量指标，用来衡量两个候选框重合比例。如图2所示，IOU等于两个候选框的交集除以两个候选框并集的结果。在非极大值抑制方法中，当IOU大于0.6时，认为两个候选框重叠部分过大，只留下一个候选框即可。将B从list中去掉。重复此操作直到list中没有与候选框A的IOU大于0.6的候选框。将A从list列表中拿走放到另一个列表list2中。在list中重新找到前景评分最大的候选框，然后重复上述操作，直到list中为空。此时list2列表中得到过滤后的候选框。

4、调整候选框的坐标与尺寸。在目标检测任务中，既要正确识别出构件类别，又需要得到构件在图纸中的准确的坐标信息。

如图3所示，边界框1代表目标检测模型给出的候选框，边界框2代表物体真是的候选框，边界框1虽然包含了猫的一部分，但并没有将猫完全包括在内，所以不是准确的候选框，需要对边界框1进行调整，如平移和缩放，使边界框1更加接近包括完整物体的真实边界框2。

候选框由四个参数(x,y,w,h)表示，其中，x与y表示候选框中心点在特征图的横纵坐标，w与h表示候选框的宽度与高度。目标检测模型中的边框回归层分支，会根据大量数据的训练结果，输出四个调整参数(Δxcenter,Δycenter,Δwidth,Δheight)，依次对应着候选框四个参数(x,y,w,h)的变化量，通过对候选框的调整，将两者相加，可以使得候选框位置更加接近真实边界框，进而根据调整后的候选框确定位置信息。

分类单元23，用于根据图像特征信息和候选框，确定构件的类别信息。

具体的，该部分的输入数据包括两部分，第一部分是特征提取单元21从待识别像素图中提取到的特征图(图像特征信息)，第二部分输入是候选框生成单元22得到的位置信息。以上信息将输入最后的三层分类全连接网络，得到该区域构件的具体类别，即确定类别信息。

本实施例，在目标检测模块20的识别结构中，使用包围构件的矩形代表构件，方便后续操作。

进一步地，该识别装置还包括：结果合并模块50；结果合并模块50用于计算相邻两张待识别像素图中构件的性能度量指标重叠度，当判定性能度量指标重叠度大于预设阈值时，将两个构件进行合并，更新构件信息集合。

具体地，结果合并模块50，用于将目标检测模块20识别出的结果进行合并，然后把构件在像素图的坐标，利用CAD图纸和JPG图纸的比例，转换成图像坐标，用于计算像素图与矢量图之间的坐标对应关系。

在目标检测部分给出的结果中，每条识别结果包括代表构件的矩形坐标信息、构件类别和本条结果的置信度，其中，置信度是目标检测模型对本条结果正确性的评估得分，取值范围为0-1.0，接下来需要将结果合并，并将像素坐标转换为原图纸坐标，根据合并的结果，更新构件信息集合。

当某构件同时出现在相邻两个图形切片中，并被目标检测模型同时识别出时，需要将两个结果合并。由于此问题与目标检测部分中的候选框合并问题类似，本文参照非极大值抑制方法对结果进行合并。对于相邻图片中的两个识别结果，首先计算两个结果的性能度量指标重叠度IOU(Intersection over Union)，接下来利用IOU的值进行判断。

1、如果IOU大于0.3时，则认为两个结果是同一个构件的识别结果，需要将结果合并。

1)如果在两个结果中该构件的类别名称一致，则将两个矩形框合并为一个，代表该构件在图像中的位置，置信度取两个结果中较大的值。

2)如果在两个结果中该构件的类别不一致，则需要查看目标检测模型给出的置信度评分，选择置信度评分高的结果为最终结果，将另一个结果丢弃。

2、如果IOU等于或小于0.3，则认为这两个结果是两个构件的结果，不需要合并。

建筑空间文件解析模块30，读取保存建筑空间信息的json文件，获取待识别CAD图纸别结果内空间信息，并整合到CAD图纸内，用于多专业信息融模块。该模块对空间信息的获取为现有技术，此处不再赘述，该模块只提供对识别好的建筑空间信息读取功能，不提供针对建筑图自动纸获取建筑空间信息的方法。

系统信息融合模块40用于根据空间信息和构件信息集合，得到构件在建筑空间中的坐标位置信息，并结合图纸信息，通过搜索构件的拓扑，展开得到构件线路，确定构件系统信息，融合坐标位置信息和构件系统信息，生成构件识别信息。具体包括：

1、确定构件系统信息。根据图纸信息和构件信息集合，确定构件与线路之间的连接关系，通过搜索构件的拓扑，展开得到构件线路，确定构件的系统信息，其中，系统信息包括构件的空间名称、空间大小、空间位置(位置信息)和类别信息，系统信息可用于建筑运维阶段，待识别CAD图纸中构件线路的故障分析。

更具体的，利用CAD图纸解析模块10得到的图纸信息，和结果合并模块50得到的所有构件的类别信息与坐标信息，得到电气、暖通、水等不同专业系统的系统信息，包括构件所在空间名称、空间大小、构件在空间位置和构件类别等信息，系统信息指特定构件组成的闭合系统，例如电路系统，排风系统。

本模块首先利用本专利方法面向的几类专业图纸的领域知识，使用线段的“颜色”属性对图纸中的所有线段进行过滤，只留下可能是组成电气电路系统的线路的线段。

然后对线段进行合并，利用R-tree空间索引结构，找到与某个线段距离较近的其它线段，然后将多段线段合并为一个线段或者多线段。

线段合并分为两种情况，一种是两个线段连接，则将其合并为一个多线段。另一种情况为将两个未连接的线段合并为一个线段，如图4所示。

合并操作完成以后，利用R-tree空间索引结构，找到与构件连接的线路，然后利用构件与线路的连接关系复原电路的结构信息，遍历得到图纸内完整的系统信息。

本专利使用了R-tree空间索引结构提高效率，R-tree空间索引是一种树数据结构，常用于存储空间对象，其结构如图5所示。它使用矩形表示空间，将整个空间分割成大大小小多个矩形，将小的空间作为叶子结点，并将多个距离较近的叶子节点用一个较大空间包围起来，将这个较大的空间作为上一级目录。

在本实施例中，因为构件由矩形表示，矩形可以看作小的围合空间，所以将表示构件的矩形当作叶子节点，建筑空间信息看作上一级节点。遍历建筑空间信息时，可以快速找到每个在空间内或者与空间边界相交的构件，而不用查询所有的构件与该空间的位置信息，大大降低查找时间。通过使用R-tree空间索引，可以快速得到可能与构件连接的线段，然后再判断两者是否连接。

2、确定坐标位置信息。根据空间信息和构件信息集合，得到构件在建筑空间中的坐标位置信息。

更具体的，将不同专业建筑空间文件解析模块30得到的建筑空间信息和、得到全部专业的构件信息集合进行拼接融合，即可得到构件在建筑空间中的坐标位置信息。同一个建筑会针对水电、建筑、防火、机电、排风等不同专业存在多张图纸，本模块将不同专业的图纸信息融合到同一空间内。

本模块利用R-tree空间索引结构，通过将代表构件的矩形也看作是小的空间，从而快速得到每个建筑空间内部或边界上的构件信息，最后对两者的关系进行判断。

本模块可以得到每个构件所在空间名称和与空间的相对位置信息(如构件在空间的内部、在空间的边界上、在空间的外部等)。该信息可以用于多种消防规范条款的检查，如检查卧室中是否设置了感烟探测器。

3、融合生成构件识别信息。待得到构件在建筑空间中的坐标位置信息和构件系统信息之后，对上述两个信息进行拼接融合，生成构件识别信息，以便于按照相应的领域，对待识别CAD图纸中的构件进行识别，提高构件识别和信息提取的准确率。

实施例2：

如图6所示，本实施例提供了一种基于领域知识和目标检测的CAD图纸识别方法，该识别方法用于对待识别CAD图纸中的构件进行定位，该方法包括：

步骤1，获取待识别CAD图纸中的图纸信息，并将待识别CAD图纸转换为多张待识别像素图；

具体的，通过调用AutoCAD软件接口，解析待识别CAD图纸，获取待识别CAD图纸中的图纸信息，其中，图纸信息包括图纸内矢量元素的位置、类别、图层以及关联信息，该图纸信息为矢量空间的图纸基础几何元素的描述信息，在其基础上进行基于图纸情景的语义信息整合，可用于待识别CAD图纸中的构件识别和语义信息提取。

再获取到图纸信息之后，利用本实施例中所涉及的电气、暖通、水等不同专业的领域知识数据库，对待识别CAD图纸进行预处理操作，包括基于领域知识的背景噪声信息滤除、预识别、图层整合等。

步骤101，将待识别CAD图纸中的构件分解到最小单位，称其为基础元素，基础元素分为四类：文字、填充物、直线段和圆弧。每个基础元素有一个类别属性，标志着其类别，其中，基础元素还具有一个显示属性，可以选择为显示或隐藏，该显示属性可以设置该基础元素在图纸中是隐藏或是显示。

步骤102，对基础元素的类别进行识别，并将类别为“文字”或者“填充物”的基础元素的显示属性设为隐藏，使对应的基础元素在图纸中隐藏。

此操作可以大幅度减少图纸中的遮挡情况，降低目标(构件)检测的难度，进而提高识别准确率。

进一步的，将待识别CAD图纸转换为多张待识别像素图，具体包括：

步骤111，调用转换接口函数，将待识别CAD图纸转换为第一像素图；

具体的，调用CAD软件中的转换接口函数Autodesk.AutoCAD.*，将待识别CAD图纸自动转为像素图，记作第一像素图。

步骤112，根据分割框和预设重叠宽度，按照由左至右的分割顺序，依次将第一像素图分割为多张第二像素图，记作待识别像素图。

具体的，由于实际项目中的待识别CAD图纸面积很大，包含的构件(基础元素)数量较多(显示属性为显示的构件)，因此，待识别CAD图纸转为第一像素图时，为保证第一像素图中每个构件尽量清晰，从而可以更好的被识别出，需要将第一像素图的像素设置的大一些。通常一张待识别CAD图纸转为第一像素图后，占据十几兆内存。如果将此第一像素图直接作为目标检测的输入数据，则在检测运算过程中，可能因数据量过大，导致内存溢出。

为解决此问题，得到第一像素图之后，对第一像素图进行分割，将第一像素图分割成多张第二像素图，将第二像素图作为待识别像素图，可以将待识别CAD图纸转换为多张待识别像素图，并按顺序依次进行目标检测，可以大大降低运算量峰值，避免内存溢出。

在根据分割窗，按照由左至右、由上至下的分割顺序对第一像素图进行分割时，考虑到在分割位置可能存在聚合类构件，导致聚合类构件被分割到相邻两张待识别像素图中，进而影响构件识别效果。

因此，在分割图纸时，设定预设重叠宽度(300像素)，即每两张相邻的待识别像素图之间，有300像素宽度的重叠区域。例如某张待识别像素图切片为第一像素图的横向6000像素到8000像素，纵向5000像素到9000像素，则下一张待识别像素图的切片为第一张像素图的横向7700像素到9700像素，纵向同样为5000像素到9000像素，即根据预设重叠宽度和分割窗，依次对第一像素图进行分割，生成多张待识别像素图。

因此，当某个构件恰好出现在待识别像素图的分割部位时，在一张图片有该构件部分图像，在相邻图片存在其完整图像。

步骤2，利用基于深度学习的目标检测模型，对多张待识别像素图进行聚合类构件识别，其输入数据为图纸转换产生的待识别像素图，输出为构件信息集合，以便确定待识别CAD图纸内构件的类别信息与位置信息。

进一步地，步骤2具体包括：

步骤21，利用特征提取模型中的每一层卷积神经网络，依次对每一张待识别像素图进行特征提取，并将当前层提取到的特征和前几层提取到的特征，输入至下一层卷积神经网络，将最后一层卷积神经网络提取出的特征记作该待识别像素图的图像特征信息；

具体地，对于任一张待识别像素图而言，使用全卷积神经网络Resnet50作为特征提取模型，提取待识别像素图的图像特征信息。

考虑到在普通卷积网络中，卷积层的输入来自上一层输出的特征图，而卷积操作会保留图像主要特征，掉丢次要特征，所以随着网络模型层数增加，特征损失越来越多，导致“欠拟合”。因此，增添了近路连接(skip connection)结构。

Resnet50的近路连接结构可以将前几层卷积神经网络提取到的特征，作为当前层卷积神经网络的输入，加到当前特征，缓解特征丢失问题。

步骤22，根据滑动窗口和anchor机制，生成图像特征信息的候选框，并对候选框进行调整；

具体地，该步骤是为图像生成包含目标物体的候选框及得分，输入为特征提取部分提取到的图像特征信息，输出分为两部分，第一部分是候选框，第二部分是每个候选框对应的分数。候选框生成部分的最终目的是尽可能多地提取包含目标物的区域，此处的目标物为待识别CAD图纸中的待识别的构件，如火灾报警器、感烟装置、报警按钮等。

下面介绍候选框及候选框调整过程。

1、利用滑动窗口和anchor机制生成候选框。假设特征提取得到的特征图尺寸为N*M。通过使用滑动窗口在特征图上进行遍历，得到所有可能出现目标物体的区域，滑动窗口的尺寸为n*m。接下来利用anchor机制，在每一个滑动窗口生成多个候选框。anchor机制指在滑动窗口内按照不同尺寸和比例生成不同形状候选框，通常设定3种尺寸和3种比例(1:1、1:2与2:1)共计九种候选框

2、得到每一个候选框的置信度和调整参数。依次利用区域选取网络(RegionProposal Network，RPN)对选出的候选框进行评分，RPN中卷积层的卷积核尺寸与滑动窗口尺寸一致，同样是n*m，数量为K。RPN的输入是每一个滑动窗口在特征图中对应的区域，由于输入的特征图尺寸和卷积核尺寸一致，卷积之后特征图尺寸变为1*1*K，再经过激活函数后传入分类层与边框回归层两个分支。

3、对候选框进行过滤。上一步骤得到的候选框数量巨大，有很多候选框相互重叠，并且有的前景评分很低，所以需要进行精简，减少候选框数量。

非极大值抑制方法是解决目标检测中候选框冗余问题的经典算法。假设有n个候选框，并且每个都有前景评分，将其放到列表list中。首先从list中选出前景评分最大的候选框A，然后在剩余候选框中找到与A的IOU大于0.6的候选框B。其中IOU(Intersectionover Union)是目标检测领域常使用的一种度量指标，用来衡量两个候选框重合比例。

IOU等于两个候选框的交集除以两个候选框并集的结果。在非极大值抑制方法中，当IOU大于0.6时，认为两个候选框重叠部分过大，只留下一个候选框即可。将B从list中去掉。重复此操作直到list中没有与候选框A的IOU大于0.6的候选框。将A从list列表中拿走放到另一个列表list2中。在list中重新找到前景评分最大的候选框，然后重复上述操作，直到list中为空。此时list2列表中得到过滤后的候选框。

4、调整候选框的坐标与尺寸。在目标检测任务中，既要正确识别出构件类别，又需要得到构件在图纸中的准确的坐标信息。

候选框由四个参数(x,y,w,h)表示，其中，x与y表示候选框中心点在特征图的横纵坐标，w与h表示候选框的宽度与高度。目标检测模型中的边框回归层分支，会根据大量数据的训练结果，输出四个调整参数(Δxcenter,Δycenter,Δwidth,Δheight)，依次对应着候选框四个参数(x,y,w,h)的变化量，通过对候选框的调整，将两者相加，可以使得候选框位置更加接近真实边界框，进而根据调整后的候选框确定位置信息。

步骤23，根据图像特征信息和候选框，确定构件的类别信息。

具体的，该部分的输入数据包括两部分，第一部分是从待识别像素图中提取到的特征图(图像特征信息)，第二部分输入是得到的位置信息。以上信息将输入最后的三层分类全连接网络，得到该区域构件的具体类别，即确定类别信息。

本实施例，在识别结构中，使用包围构件的矩形代表构件，方便后续操作。

进一步地，步骤2之后还包括：

步骤24计算相邻两张待识别像素图中构件的性能度量指标重叠度，当判定性能度量指标重叠度大于预设阈值时，将两个构件进行合并，更新构件信息集合。

具体地，将识别出的结果进行合并，然后把构件在像素图的坐标，利用CAD图纸和JPG图纸的比例，转换成图像坐标，用于计算像素图与矢量图之间的坐标对应关系。

在目标检测部分给出的结果中，每条识别结果包括代表构件的矩形坐标信息、构件类别和本条结果的置信度，其中，置信度是目标检测模型对本条结果正确性的评估得分，取值范围为0-1.0，接下来需要将结果合并，并将像素坐标转换为原图纸坐标，根据合并结构，更新构件信息集合。

当某构件同时出现在相邻两个图形切片中，并被目标检测模型同时识别出时，需要将两个结果合并。由于此问题与目标检测部分中的候选框合并问题类似，本文参照非极大值抑制方法对结果进行合并。对于相邻图片中的两个识别结果，首先计算两个结果的性能度量指标重叠度IOU(Intersection over Union)，接下来利用IOU的值进行判断。

1、如果IOU大于0.3时，则认为两个结果是同一个构件的识别结果，需要将结果合并。

1)如果在两个结果中该构件的类别名称一致，则将两个矩形框合并为一个，代表该构件在图像中的位置，置信度取两个结果中较大的值。

2)如果在两个结果中该构件的类别不一致，则需要查看目标检测模型给出的置信度评分，选择置信度评分高的结果为最终结果，将另一个结果丢弃。

2、如果IOU等于或小于0.3，则认为这两个结果是两个构件的结果，不需要合并。

步骤3，获取待识别CAD图纸内的空间信息；

具体的，读取保存建筑空间信息的json文件，获取待识别CAD图纸别结果内空间信息，并整合到CAD图纸内。对空间信息的获取为现有技术，此处不再赘述，此处只提供对识别好的建筑空间信息读取功能，不提供针对建筑图自动纸获取建筑空间信息的方法。

步骤4，根据所述空间信息和所述构件信息集合，得到所述构件在建筑空间中的坐标位置信息，并结合所述图纸信息，通过搜索构件的拓扑，展开得到构件线路，确定构件系统信息，融合所述坐标位置信息和所述构件系统信息，生成构件识别信息。具体包括：

步骤41，根据图纸信息和构件信息集合，确定构件与线路之间的连接关系，通过搜索构件的拓扑，展开得到构件线路，确定系统信息，其中，系统信息包括构件的空间名称、空间大小、空间位置(位置信息)和类别信息，系统信息可用于建筑运维阶段，待识别CAD图纸中构件线路的故障分析。

更具体地，利用得到的图纸信息和所有构件的类别信息与坐标信息，得到电气、暖通、水等不同专业系统的系统信息，包括构件所在空间名称、空间大小、构件在空间位置和构件类别等信息，系统信息指特定构件组成的闭合系统，例如电路系统，排风系统。

首先利用本实施例中的方法面向的几类专业图纸的领域知识，使用线段的“颜色”属性对图纸中的所有线段进行过滤，只留下可能是组成电气电路系统的线路的线段。

然后对线段进行合并，利用R-tree空间索引结构，找到与某个线段距离较近的其它线段，然后将多段线段合并为一个线段或者多线段。

线段合并分为两种情况，一种是两个线段连接，则将其合并为一个多线段。另一种情况为将两个未连接的线段合并为一个线段。

合并操作完成以后，利用R-tree空间索引结构，找到与构件连接的线路，然后利用构件与线路的连接关系复原电路的结构信息，遍历得到图纸内完整的系统信息。

本专利使用了R-tree空间索引结构提高效率，R-tree空间索引是一种树数据结构，常用于存储空间对象。它使用矩形表示空间，将整个空间分割成大大小小多个矩形，将小的空间作为叶子结点，并将多个距离较近的叶子节点用一个较大空间包围起来，将这个较大的空间作为上一级目录。

在本实施例中，因为构件由矩形表示，矩形可以看作小的围合空间，所以将表示构件的矩形当作叶子节点，建筑空间信息看作上一级节点。遍历建筑空间信息时，可以快速找到每个在空间内或者与空间边界相交的构件，而不用查询所有的构件与该空间的位置信息，大大降低查找时间。通过使用R-tree空间索引，可以快速得到可能与构件连接的线段，然后再判断两者是否连接。

步骤42，根据空间信息和构件信息集合，得到构件在建筑空间中的坐标位置信息。

具体的，将不同专业建筑空间文件解析得到的建筑空间信息和、得到全部专业的构件信息集合进行拼接融合，即可得到构件在建筑空间中的坐标位置信息。同一个建筑会针对水电、建筑、防火、机电、排风等不同专业存在多张图纸，实现了将不同专业的图纸信息融合到同一空间内。

步骤43，对构件在建筑空间中的坐标位置信息和构件系统信息进行拼接融合，生成构件识别信息，以便于按照相应的领域，对待识别CAD图纸中的构件进行识别，提高构件识别和信息提取的准确率。

以上结合附图详细说明了本申请的技术方案，本申请提出了一种基于领域知识和目标检测的CAD图纸识别方法和装置，其中，该装置包括：CAD图纸解析模块用于获取待识别CAD图纸中的图纸信息，并将待识别CAD图纸转换为多张待识别像素图；目标检测模块用于对多张待识别像素图进行聚合类构件识别，确定待识别CAD图纸内构件的构件信息集合；建筑空间文件解析模块用于获取待识别CAD图纸内的空间信息；系统信息融合模块用于根据空间信息和构件信息集合，得到构件在建筑空间中的坐标位置信息，并结合图纸信息，通过搜索构件的拓扑，确定构件系统信息，融合坐标位置信息和构件系统信息，生成构件识别信息。通过本申请中的技术方案，提高了构件识别和信息提取的准确率，增强CAD图纸识别的扩展性。

本申请中的步骤可根据实际需求进行顺序调整、合并和删减。

本申请装置中的单元可根据实际需求进行合并、划分和删减。

尽管参考附图详地公开了本申请，但应理解的是，这些描述仅仅是示例性的，并非用来限制本申请的应用。本申请的保护范围由附加权利要求限定，并可包括在不脱离本申请保护范围和精神的情况下针对发明所作的各种变型、改型及等效方案。

Claims (10)

1.基于领域知识和目标检测的CAD图纸识别装置，该识别装置用于对待识别CAD图纸中的构件进行定位，其特征在于，该装置包括：CAD图纸解析模块，目标检测模块，建筑空间文件解析模块和系统信息融合模块；

所述CAD图纸解析模块用于获取所述待识别CAD图纸中的图纸信息，并将所述待识别CAD图纸转换为多张待识别像素图；

所述目标检测模块用于根据目标检测模型，对多张所述待识别像素图进行聚合类构件识别，确定所述待识别CAD图纸内构件的构件信息集合，其中，所述构件信息集合包括构件的类别信息与构件的位置信息；

所述建筑空间文件解析模块用于获取所述待识别CAD图纸内的空间信息；

所述系统信息融合模块用于根据所述空间信息和所述构件信息集合，得到所述构件在建筑空间中的坐标位置信息，并结合所述图纸信息，通过搜索构件的拓扑，展开得到构件线路，确定构件系统信息，融合所述坐标位置信息和所述构件系统信息，生成构件识别信息，该过程具体包括：

根据所述图纸信息和所述构件信息集合，确定构件与线路之间的连接关系，通过搜索构件的拓扑，展开得到构件线路，确定所述构件系统信息；首先利用专业图纸的领域知识，使用线段的“颜色”属性对图纸中的所有线段进行过滤，只留下组成电气电路系统的线路的线段；然后对线段进行合并，利用R-tree空间索引结构，找到与某个线段距离较近的其它线段，然后将多段线段合并为一个线段或者多线段；

合并操作完成以后，利用R-tree空间索引结构，找到与构件连接的线路，然后利用构件与线路的连接关系复原电路的结构信息，遍历得到图纸内完整的系统信息；根据所述空间信息和所述构件信息集合，得到构件在建筑空间中的所述坐标位置信息；将不同专业建筑空间文件解析得到的建筑空间信息和全部专业的构件信息集合进行拼接融合，即可得到构件在建筑空间中的坐标位置信息；同一个建筑会针对水电、建筑、防火、机电、排风不同专业存在多张图纸，实现了将不同专业的图纸信息融合到同一空间内；

对构件在建筑空间中的所述坐标位置信息和所述构件系统信息进行拼接融合，生成所述构件识别信息。

2.如权利要求1所述的基于领域知识和目标检测的CAD图纸识别装置，其特征在于，CAD图纸解析模块获取图纸信息之后，还用于：

利用领域知识数据库，将所述待识别CAD图纸中的构件分解为基础元素；

对所述基础元素的类别进行识别，并将类别为文字或填充物的基础元素的显示属性设置为隐藏，其中，所述基础元素的类别包括文字、填充物、直线段和圆弧。

3.如权利要求2所述的基于领域知识和目标检测的CAD图纸识别装置，其特征在于，所述CAD图纸解析模块，具体包括：图纸转换单元和图纸分割单元；

所述图纸转换单元用于调用转换接口函数，将所述待识别CAD图纸转换为第一像素图；

所述图纸分割单元用于根据分割框和预设重叠宽度，按照由左至右的分割顺序，依次将所述第一像素图分割为多张第二像素图，记作所述待识别像素图。

4.如权利要求1所述的基于领域知识和目标检测的CAD图纸识别装置，其特征在于，所述目标检测模块具体包括：特征提取单元，候选框生成单元，分类单元；

所述特征提取单元用于利用特征提取模型中的每一层卷积神经网络，依次对每一张所述待识别像素图进行特征提取，并将当前层提取到的特征和前几层提取到的特征，输入至下一层卷积神经网络，将最后一层卷积神经网络提取出的特征记作该待识别像素图的图像特征信息；

所述候选框生成单元用于根据滑动窗口和anchor机制，生成所述图像特征信息的候选框，并对所述候选框进行调整，并根据调整后的所述候选框确定所述位置信息；

所述分类单元用于根据所述图像特征信息和所述候选框，确定构件的所述类别信息。

5.如权利要求4所述的基于领域知识和目标检测的CAD图纸识别装置，其特征在于，所述识别装置还包括：结果合并模块；

所述结果合并模块用于计算相邻两张所述待识别像素图中构件的性能度量指标重叠度，当判定所述性能度量指标重叠度大于预设阈值时，将两个所述构件进行合并，更新所述构件信息集合。

6.基于领域知识和目标检测的CAD图纸识别方法，其特征在于，该方法用于对待识别CAD图纸中的构件进行定位，该方法包括：

步骤1，获取所述待识别CAD图纸中的图纸信息，并将所述待识别CAD图纸转换为多张待识别像素图；

步骤2，根据目标检测模型，对多张所述待识别像素图进行聚合类构件识别，确定所述待识别CAD图纸内构件的构件信息集合，其中，所述构件信息集合包括构件的类别信息与构件的位置信息；

步骤3，获取所述待识别CAD图纸内的空间信息；

步骤4，根据所述空间信息和所述构件信息集合，得到所述构件在建筑空间中的坐标位置信息，并结合所述图纸信息，通过搜索构件的拓扑，展开得到构件线路，确定构件系统信息，融合所述坐标位置信息和所述构件系统信息，生成构件识别信息，其中，所述步骤4具体包括：

步骤41，根据所述图纸信息和所述构件信息集合，确定构件与线路之间的连接关系，通过搜索构件的拓扑，展开得到构件线路，确定所述构件系统信息；首先利用专业图纸的领域知识，使用线段的“颜色”属性对图纸中的所有线段进行过滤，只留下组成电气电路系统的线路的线段；然后对线段进行合并，利用R-tree空间索引结构，找到与某个线段距离较近的其它线段，然后将多段线段合并为一个线段或者多线段；

合并操作完成以后，利用R-tree空间索引结构，找到与构件连接的线路，然后利用构件与线路的连接关系复原电路的结构信息，遍历得到图纸内完整的系统信息；

步骤42，根据所述空间信息和所述构件信息集合，得到构件在建筑空间中的所述坐标位置信息；将不同专业建筑空间文件解析得到的建筑空间信息和全部专业的构件信息集合进行拼接融合，即可得到构件在建筑空间中的坐标位置信息；同一个建筑会针对水电、建筑、防火、机电、排风不同专业存在多张图纸，实现了将不同专业的图纸信息融合到同一空间内；

步骤43，对构件在建筑空间中的所述坐标位置信息和所述构件系统信息进行拼接融合，生成所述构件识别信息。

7.如权利要求6所述的基于领域知识和目标检测的CAD图纸识别方法，其特征在于，获取所述待识别CAD图纸中的图纸信息之后，还包括：

步骤101，利用领域知识数据库，将所述待识别CAD图纸中的构件分解为基础元素；

步骤102，对所述基础元素的类别进行识别，并将类别为文字或填充物的基础元素的显示属性设置为隐藏，其中，所述基础元素的类别包括文字、填充物、直线段和圆弧。

8.如权利要求7所述的基于领域知识和目标检测的CAD图纸识别方法，其特征在于，将所述待识别CAD图纸转换为多张待识别像素图，具体包括：

步骤111，调用转换接口函数，将所述待识别CAD图纸转换为第一像素图；

步骤112，根据分割框和预设重叠宽度，按照由左至右的分割顺序，依次将所述第一像素图分割为多张第二像素图，记作所述待识别像素图。

9.如权利要求6所述的基于领域知识和目标检测的CAD图纸识别方法，其特征在于，步骤2具体包括：

步骤21，利用特征提取模型中的每一层卷积神经网络，依次对每一张所述待识别像素图进行特征提取，并将当前层提取到的特征和前几层提取到的特征，输入至下一层卷积神经网络，将最后一层卷积神经网络提取出的特征记作该待识别像素图的图像特征信息；

步骤22，根据滑动窗口和anchor机制，生成所述图像特征信息的候选框，并对所述候选框进行调整，并根据调整后的所述候选框确定所述位置信息；

步骤23，根据所述图像特征信息和所述候选框，确定构件的所述类别信息。

10.如权利要求9所述的基于领域知识和目标检测的CAD图纸识别方法，其特征在于，步骤2之后，还包括：

步骤24，计算相邻两张所述待识别像素图中构件的性能度量指标重叠度，当判定所述性能度量指标重叠度大于预设阈值时，将两个所述构件进行合并，更新所述构件信息集合。

Images