CN109117715A - 一种基于ssd模型的建筑图纸非构件识别方法 - Google Patents

Abstract

本发明公开了一种基于SSD模型的建筑图纸非构件识别方法，首先使用Python的渲染库MuPDF将建筑图纸从PDF格式转为JPG格式，同时通过灰度化、膨胀腐蚀等方法对建筑图纸进行预处理。然后按照不同的衰减学习率，采用SSD算法对预处理后的建筑图纸进行训练，比较不同衰减学习率下模型的收敛速度及识别准确率，获得最优非构件检测模型集。本发明方法有效的改进了建筑图纸的非构件检测方法，使得训练的收敛速度加快，同时提高了建筑图纸中非构件的识别准确率，增加非构件检测模型的使用价值。

Description

一种基于SSD模型的建筑图纸非构件识别方法

技术领域

本发明属于图像处理和图像识别领域，特别设计一种SSD模型的建筑图纸非构件识别方法。

背景技术

本发明中的建筑图纸非构件识别方法对传统的有监督的建筑图纸识别有重大的作用和意义。在面对建筑图纸的识别问题的时候，研究者们会选择通过图纸预处理或者调整训练模型的参数，从而加快收敛速度并且提高识别的准确率，优化SSD模型为相关系统提供高效的知识服务和个性化的工作分配方案。

冯万利，朱全银等人已有的研究基础包括：Wanli Feng.Research ofthemestatement extraction for chinese literature based on lexicalchain.International Journal of Multimedia and Ubiquitous Engineering,Vol.11,No.6(2016),pp.379-388；Wanli Feng,Ying Li,Shangbing Gao,Yunyang Yan,JianxunXue.A novel flame edge detection algorithm via a novel active contourmodel.International Journal ofHybrid Information Technology,Vol.9,No.9(2016),pp.275-282；刘金岭,冯万利.基于属性依赖关系的模式匹配方法[J].微电子学与计算机,2011,28(12):167-170；刘金岭,冯万利,张亚红.初始化簇类中心和重构标度函数的文本聚类[J].计算机应用研究,2011,28(11):4115-4117；刘金岭,冯万利,张亚红.基于重新标度的中文短信文本聚类方法[J].计算机工程与应用,2012,48(21):146-150.；朱全银,潘禄,刘文儒,等.Web科技新闻分类抽取算法[J].淮阴工学院学报,2015,24(5):18-24；李翔,朱全银.联合聚类和评分矩阵共享的协同过滤推荐[J].计算机科学与探索,2014,8(6):751-759；Quanyin Zhu,Sunqun Cao.ANovel Classifier-independent Feature SelectionAlgorithm for Imbalanced Datasets.2009,p:77-82；Quanyin Zhu,Yunyang Yan,JinDing,Jin Qian.The Case Study for Price Extracting of Mobile Phone SellOnline.2011,p:282-285；Quanyin Zhu,Suqun Cao,Pei Zhou,Yunyang Yan,HongZhou.Integrated Price Forecast based on Dichotomy Backfilling and DisturbanceFactor Algorithm.International Review on Computers and Software,2011,Vol.6(6):1089-1093；朱全银，冯万利等人申请、公开与授权的相关专利：冯万利,邵鹤帅,庄军.一种智能冷藏车状态监测无线网络终端装置:CN203616634U[P].2014；朱全银，胡蓉静，何苏群，周培等.一种基于线性插补与自适应滑动窗口的商品价格预测方法.中国专利:ZL2011 1 0423015.5,2015.07.01；朱全银，曹苏群，严云洋，胡蓉静等，一种基于二分数据修补与扰乱因子的商品价格预测方法.中国专利:ZL 2011 1 0422274.6,2013.01.02；李翔，朱全银，胡荣林，周泓.一种基于谱聚类的冷链物流配载智能推荐方法.中国专利公开号:CN105654267A,2016.06.08。

图像处理：

由于专业的建筑图纸分辨率高，所含有的像素点极多，在批量处理专业的建筑图纸时，计算机会消耗大量资源。通过灰度化、膨胀腐蚀、边缘检测、二值化等操作对彩色图像进行预处理，可以很好地解决这些问题。本发明主要通过灰度化、膨胀腐蚀等方法，从而提高模型的训练效率，而处理后的图像仍然完好地保留图像的特征与内容。

SSD目标检测算法

SSD目标检测算法，在训练速度上对Faster-Rcnn算法有明显的优势，而对于YOLO算法有明显的精度优势，而为了提高收敛速度和识别的准确率，除了提高训练集的规模外，还对模型的网络参数进行微调。这里优化SSD目标检测算法，则是通过调整SSD模型训练的衰减学习率。衰减学习率一般要求范围在[0.001,0.1]，衰减步数一般在20万步-30万步，初始学习率一般范围在[0.001,0.01]，衰减率一般固定在[0.8,0.9]，符合SSD目标检测算法的应用要求。

传统的图纸训练方法都是通过消耗大量的计算机资源与大量时间来训练数据集，最终的收敛速度很慢，同时导致最终的识别准确率也不高，从而建筑图纸的训练与识别效果并不乐观，因此运用这类图纸训练与识别方法取得的效果并不能达到应用需求。

发明内容

发明目的：针对上述存在的问题，本发明提供一张通过对建筑图纸进行灰度化、膨胀腐蚀等预处理方法和调整SSD目标检测模型训练的衰减学习率，为待识别的建筑图纸进行目标检测的SSD模型的建筑图纸非构件识别方法。

技术方案：本发明提出一种基于SSD模型的建筑图纸非构件识别方法，包括如下步骤：

(1)遍历所有PDF格式的建筑图纸，获得原始图纸文件信息集和图纸文件集G1、G2，同时对G2进行格式转换和图纸预处理，获得预处理后的JPG格式的图纸文件集G3；

(2)采用SSD算法对JPG格式的图纸文件集G3进行训练，获得非构件检测模型f，输出建筑图纸构件信息集G4；

(3)等梯度调整衰减学习率decayed_learning_rate，获得最优检测模型集G5；

(4)输出最优检测模型集G5。

进一步的，所述步骤(1)中的获得预处理后的JPG格式的图纸文件集G3具体方法为：

(1.1)定义Text为单张图纸信息集，定义id，name分别为单张图纸的编号、名称，并且满足关系Text＝{id,name}；

(1.2)定义G1、G2分别为原始图纸文件信息集和图纸文件集，G1＝{Text₁,Text₂,…,Text_A}，G2＝{name1,name2,…,name_A}，Text_a为G1中第a个图纸信息数据，name_a为G2中第a个图纸名称数据，其中，A＝Card(G1)，变量a∈[1,A]；

(1.3)定义循环变量j1用来遍历G2，j1赋值为0；

(1.4)遍历G2，得出建筑图纸的总数A；

(1.5)使用Python的渲染库MuPDF对G2中所有PDF格式的建筑图纸转换为JPG格式；

(1.6)如果j1<A，转到步骤(1.7)，否则转到步骤(1.12)；

(1.7)使用Python的第三方库OpenCV对name_a进行灰度化处理；

(1.8)使用OpenCV对name_a进行膨胀处理，迭代次数为2；.

(1.9)使用OpenCV对name_a进行腐蚀处理，迭代次数为1；

(1.10)使用OpenCV对name_a进行膨胀处理，迭代次数为2，合并图像区域；

(1.11)j1＝j1+1，转到步骤(1.6)；

(1.12)获得预处理后的JPG格式的图纸文件集G3。

进一步的，所述步骤(2)中获得非构件检测模型f，输出建筑图纸构件信息集G4的具体方法为：

(2.1)定义C1、C2分别为单张图纸构件类别信息集、识别准确率信息集，定义class、scoring分别为单个构件的类别、识别准确率，C1＝{class₁,class₂,…,class_D}，class_d为C1中的第d个类别，其中，D＝Card(C1)，C2＝{scoring₁,scoring₂,…,scoring_E}，scoring_e为C2中的第e个识别准确率，其中，E＝Card(C2)；

(2.2)定义Data为单张构件数据集，并且满足关系Data＝{C1,C2}，定义建筑图纸测试集、训练集为R1、R2，R1、R2赋初值为0，定义循环变量j2用来遍历G3，j2赋初值为0；

(2.3)对建筑图纸name_a使用标注工具LabelImg对门、底层楼梯、中间层楼梯、顶层楼梯、墙壁进行标注，生成与name_a同名的XML文件，获得XML文件集R3；

(2.4)j2＝j2+1；

(2.5)如果j2<A，转到步骤(2.3)，否则转到步骤(2.6)；

(2.6)将G3中的建筑图纸和R3中对应的XML文件按照3:7的比例分别放入R1和R2中；

(2.7)分别使用xml_to_csv.py和generate_tfrecord.py对R1和R2中的XML文件分别转换为CSV格式文件和TFRecord格式文件，分别得到测试数据集R4和训练数据集R5；

(2.8)使用SSD算法对R4、R5进行训练，获得非构件识别模型f；

(2.9)将所得构件识别模型f对建筑图纸进行构件检测，获得建筑图纸构件信息集G4，其中，G4＝{Data₁,Data₂…,Data_A}，Data_a为G4中的第a张图纸的构件信息集，同时以CSV格式导出。

进一步的，所述步骤(3)中获得最优检测模型集G5的具体方法为：

(3.1)定义衰减学习率为decayed_learning_rate，衰减学习率阈值为H₁，H₂，其中，decayed_learning_rate∈[H₁,H₂]；

(3.2)定义迭代次数为step，平均识别准确率为accuracy，非构件识别模型集为F，学习率梯度为t1，F＝{f1,f2…,f_G}，其中，t1∈[H₁,H₂]，f_g为F中的第g个模型，G＝(H2-H1)/t1；

(3.3)定义循环变量j3遍历F，赋初值为0；

(3.4)decayed_learning_rate_g＝H2；

(3.5)采用SSD算法对R3，R4重新训练生成非构件识别模型f_g，同时获取模型训练收敛时的迭代次数step_g和单张图纸构件的平均识别准确率accuracy_g，其中，accuracy_g＝(scoring1+scoring2+…scoring_E)/E；

(3.6)使用exponential_decay函数按t1等梯度减小decayed_learning_rate；

(3.7)j3＝j3+1；

(3.8)如果j3<G，转到步骤(3.5)，否则转到步骤(3.9)；

(3.9)比较不同decayed_learning_rated对应非构件检测模型的step_g和accuracy_g，获得最优检测模型集G5。

本发明主要通过灰度化、膨胀腐蚀操作对建筑图纸进行预处理操作，同时通过采用SSD算法模型训练处理好的标准数据集，并且通过调整SSD模型的衰减学习率，比较各自收敛时的迭代步数及平均识别准确率，获得最终的最优检测模型集。

本发明采用上述技术方案，具有以下有益效果：本发明方法利用已有的建筑平面图和建筑施工平面图，有效的基于SSD目标检测模型识别结果，具体的：本发明利用灰度化、膨胀腐蚀等方法对建筑图纸进行预处理，提高图纸训练的效率。，先将衰减学习率设为最高阈值，通过不断等梯度减小SSD模型训练的衰减学习率，比较不同衰减学习率对应的收敛速度及识别准确率，从而获得最优的检测模型集。

附图说明

图1为本发明的整体流程图；

图2为图1中建筑图纸预处理方法的流程图；

图3为图1中建筑图纸非构件检测模型生成的流程图；

图4为图1中非构件检测模型衰减学习率优化的流程图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

如图1-4所示，本发明提供一种基于SSD模型的建筑图纸非构件识别方法，包括如下步骤：

步骤1：遍历所有PDF格式的建筑图纸，获得原始图纸文件信息集和图纸文件集G1、G2，同时对G2进行格式转换和图纸预处理，获得预处理后的JPG格式的图纸文件集G3，具体方法如图2：

步骤1.1：定义Text为单张图纸信息集，定义id，name分别为单张图纸的编号、名称，并且满足关系Text＝{id,name}；

步骤1.2：定义G1、G2分别为原始图纸文件信息集和图纸文件集，G1＝{Text1,Text2,…,TextA}，G2＝{name1,name2,…,nameA}，Texta为G1中第a个图纸信息数据，namea为G2中第a个图纸名称数据，其中，A＝Card(G1)，变量a∈[1,A]；

步骤1.3：定义循环变量j1用来遍历G2，j1赋值为0；

步骤1.4：遍历G2，得出建筑图纸的总数A；

步骤1.5：使用Python的渲染库MuPDF对G2中所有PDF格式的建筑图纸转换为JPG格式；

步骤1.6：如果j1<A，转到步骤1.7，否则转到步骤1.12；

步骤1.7：使用Python的第三方库OpenCV对namea进行灰度化处理；

步骤1.8：使用OpenCV对namea进行膨胀处理，迭代次数为2；.

步骤1.9：使用OpenCV对namea进行腐蚀处理，迭代次数为1；

步骤1.10：使用OpenCV对namea进行膨胀处理，迭代次数为2，合并图像区域；

步骤1.11：j1＝j1+1，转到步骤1.6；

步骤1.12：获得预处理后的JPG格式的图纸文件集G3

步骤2：采用SSD算法对JPG格式的图纸文件集G3进行训练，获得非构件检测模型f，输出建筑图纸构件信息集G4，具体方法如图3：

步骤2.1：定义C1、C2分别为单张图纸构件类别信息集、识别准确率信息集，定义class、scoring分别为单个构件的类别、识别准确率，C1＝{class1,class2,…,classD}，classd为C1中的第d个类别，其中，D＝Card(C1)，C2＝{scoring1,scoring2,…,scoringE}，scoringe为C2中的第e个识别准确率，其中，E＝Card(C2)；

步骤2.2：定义Data为单张构件数据集，并且满足关系Data＝{C1,C2}，定义建筑图纸测试集、训练集为R1、R2，R1、R2赋初值为0，定义循环变量j2用来遍历G3，j2赋初值为0；

步骤2.3：对建筑图纸name_a使用标注工具LabelImg对门、底层楼梯、中间层楼梯、顶层楼梯、墙壁进行标注，生成与name_a同名的XML文件，获得XML文件集R3；

步骤2.4：j2＝j2+1；

步骤2.5：如果j2<A，转到步骤2.3，否则转到步骤2.6；

步骤2.6：将G3中的建筑图纸和R3中对应的XML文件按照3:7的比例分别放入R1和R2中；

步骤2.7：分别使用xml_to_csv.py和generate_tfrecord.py对R1和R2中的XML文件分别转换为CSV格式文件和TFRecord格式文件，分别得到测试数据集R4和训练数据集R5；

步骤2.8：使用SSD算法对R4、R5进行训练，获得非构件识别模型f；

步骤2.9：将所得构件识别模型f对建筑图纸进行构件检测，获得建筑图纸构件信息集G4，其中，G4＝{Data₁,Data₂…,Data_A}，Dataa为G4中的第a张图纸的构件信息集，同时以CSV格式导出。

步骤3：等梯度调整衰减学习率decayed_learning_rate，获得最优检测模型fg和对应的衰减学习率decayed_learning_rate，具体方法如图4：

步骤3.1：定义衰减学习率为decayed_learning_rate，衰减学习率阈值为H1，H2，其中，decayed_learning_rate∈[H1,H2]；

步骤3.2：定义迭代次数为step，平均识别准确率为accuracy，非构件识别模型集为F，学习率梯度为t1，F＝{f1,f2…,fG}，其中，t1∈[H1,H2]，fg为F中的第g个模型，G＝(H2-H1)/t1；

步骤3.3：定义循环变量j3遍历F，赋初值为0；

步骤3.4：decayed_learning_rateg＝H2；

步骤3.5：采用SSD算法对R3，R4重新训练生成非构件识别模型fg，同时获取模型训练收敛时的迭代次数stepg和单张图纸构件的平均识别准确率accuracyg，其中，accuracyg＝(scoring1+scoring2+…scoringE)/E；

步骤3:6：使用exponential_decay函数按t1等梯度减小decayed_learning_rate；

步骤3.7：j3＝j3+1；

步骤3.8：如果j3<G，转到步骤3.5，否则转到步骤3.9；

步骤3.9：比较不同decayed_learning_rated对应非构件检测模型的step_g和accuracy_g，获得最优检测模型集G5。

步骤4：输出最优检测模型集G5。

通过对226张平均分辨率为10000×8000的建筑图纸进行处理，首先使用灰度化、膨胀腐蚀等方法获得预处理后的灰度建筑图纸，再通过LabelImg为建筑图纸中的门、楼梯、墙壁等进行标注生成xml文件，同时生成标准数据集TFRecords格式文件，通过采用SSD目标检测模型对数据集和训练图纸进行训练，同时不断等梯度减小衰减学习率，从而获得最优的非构件检测模型集。改进的建筑图纸非构件识别方法加快了收敛速度，即收敛时的迭代次数从14万降至6万，同时提高了非构件的识别准确率，最后非构件的平均识别准确率达到95％。

Claims (4)

1.一种基于SSD模型的建筑图纸非构件识别方法，其特征在于，包括如下步骤：

(1)遍历所有PDF格式的建筑图纸，获得原始图纸文件信息集和图纸文件集G1、G2，同时对G2进行格式转换和图纸预处理，获得预处理后的JPG格式的图纸文件集G3；

(2)采用SSD算法对JPG格式的图纸文件集G3进行训练，获得非构件检测模型f，输出建筑图纸构件信息集G4；

(3)等梯度调整衰减学习率decayed_learning_rate，获得最优检测模型集G5；

(4)输出最优检测模型集G5。

2.根据权利要求1所述的一种基于SSD模型的建筑图纸非构件识别方法，其特征在于，所述步骤(1)中的获得预处理后的JPG格式的图纸文件集G3具体方法为：

(1.1)定义Text为单张图纸信息集，定义id，name分别为单张图纸的编号、名称，并且满足关系Text＝{id,name}；

(1.2)定义G1、G2分别为原始图纸文件信息集和图纸文件集，G1＝{Text₁,Text₂,…,Text_A}，G2＝{name1,name2,…,name_A}，Text_a为G1中第a个图纸信息数据，name_a为G2中第a个图纸名称数据，其中，A＝Card(G1)，变量a∈[1,A]；

(1.3)定义循环变量j1用来遍历G2，j1赋值为0；

(1.4)遍历G2，得出建筑图纸的总数A；

(1.5)使用Python的渲染库MuPDF对G2中所有PDF格式的建筑图纸转换为JPG格式；

(1.6)如果j1<A，转到步骤(1.7)，否则转到步骤(1.12)；

(1.7)使用Python的第三方库OpenCV对name_a进行灰度化处理；

(1.8)使用OpenCV对name_a进行膨胀处理，迭代次数为2；.

(1.9)使用OpenCV对name_a进行腐蚀处理，迭代次数为1；

(1.10)使用OpenCV对name_a进行膨胀处理，迭代次数为2，合并图像区域；

(1.11)j1＝j1+1，转到步骤(1.6)；

(1.12)获得预处理后的JPG格式的图纸文件集G3。

3.根据权利要求1所述的一种基于SSD模型的建筑图纸非构件识别方法，，其特征在于，所述步骤(2)中获得非构件检测模型f，输出建筑图纸构件信息集G4的具体方法为：

(2.1)定义C1、C2分别为单张图纸构件类别信息集、识别准确率信息集，定义class、scoring分别为单个构件的类别、识别准确率，C1＝{class₁,class₂,…,class_D}，class_d为C1中的第d个类别，其中，D＝Card(C1)，C2＝{scoring₁,scoring₂,…,scoring_E}，scoring_e为C2中的第e个识别准确率，其中，E＝Card(C2)；

(2.2)定义Data为单张构件数据集，并且满足关系Data＝{C1,C2}，定义建筑图纸测试集、训练集为R1、R2，R1、R2赋初值为0，定义循环变量j2用来遍历G3，j2赋初值为0；

(2.3)对建筑图纸name_a使用标注工具LabelImg对门、底层楼梯、中间层楼梯、顶层楼梯、墙壁进行标注，生成与name_a同名的XML文件，获得XML文件集R3；

(2.4)j2＝j2+1；

(2.5)如果j2<A，转到步骤(2.3)，否则转到步骤(2.6)；

(2.6)将G3中的建筑图纸和R3中对应的XML文件按照3:7的比例分别放入R1和R2中；

(2.7)分别使用xml_to_csv.py和generate_tfrecord.py对R1和R2中的XML文件分别转换为CSV格式文件和TFRecord格式文件，分别得到测试数据集R4和训练数据集R5；

(2.8)使用SSD算法对R4、R5进行训练，获得非构件识别模型f；

(2.9)将所得构件识别模型f对建筑图纸进行构件检测，获得建筑图纸构件信息集G4，其中，G4＝{Data₁,Data₂…,Data_A}，Data_a为G4中的第a张图纸的构件信息集，同时以CSV格式导出。

4.根据权利要求1所述的一种基于SSD模型的建筑图纸非构件识别方法，，其特征在于，所述步骤(3)中获得最优检测模型集G5的具体方法为：

(3.1)定义衰减学习率为decayed_learning_rate，衰减学习率阈值为H₁，H₂，其中，decayed_learning_rate∈[H₁,H₂]；

(3.2)定义迭代次数为step，平均识别准确率为accuracy，非构件识别模型集为F，学习率梯度为t1，F＝{f1,f2…,f_G}，其中，t1∈[H₁,H₂]，f_g为F中的第g个模型，G＝(H2-H1)/t1；

(3.3)定义循环变量j3遍历F，赋初值为0；

(3.4)decayed_learning_rate_g＝H2；

(3.5)采用SSD算法对R3，R4重新训练生成非构件识别模型f_g，同时获取模型训练收敛时的迭代次数step_g和单张图纸构件的平均识别准确率accuracy_g，其中，accuracy_g＝(scoring1+scoring2+…scoring_E)/E；

(3.6)使用exponential_decay函数按t1等梯度减小decayed_learning_rate；

(3.7)j3＝j3+1；

(3.8)如果j3<G，转到步骤(3.5)，否则转到步骤(3.9)；

(3.9)比较不同decayed_learning_rated对应非构件检测模型的step_g和accuracy_g，获得最优检测模型集G5。