CN111914612B - 一种基于改进的卷积神经网络的施工图图元自适应识别方法 - Google Patents

一种基于改进的卷积神经网络的施工图图元自适应识别方法 Download PDF

Info

Publication number
CN111914612B
CN111914612B CN202010436478.4A CN202010436478A CN111914612B CN 111914612 B CN111914612 B CN 111914612B CN 202010436478 A CN202010436478 A CN 202010436478A CN 111914612 B CN111914612 B CN 111914612B
Authority
CN
China
Prior art keywords
construction
construction drawing
image
primitive
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010436478.4A
Other languages
English (en)
Other versions
CN111914612A (zh
Inventor
朱全银
宋厚厚
胡凌宇
冯万利
宗慧
李翔
周泓
俞扬信
朱良生
马思伟
申奕
卞文文
吴斌
冯远航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaiyin Institute of Technology
Original Assignee
Huaiyin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaiyin Institute of Technology filed Critical Huaiyin Institute of Technology
Priority to CN202010436478.4A priority Critical patent/CN111914612B/zh
Publication of CN111914612A publication Critical patent/CN111914612A/zh
Application granted granted Critical
Publication of CN111914612B publication Critical patent/CN111914612B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/42Document-oriented image-based pattern recognition based on the type of document
    • G06V30/422Technical drawings; Geographical maps
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/10Machine learning using kernel methods, e.g. support vector machines [SVM]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Abstract

发明公开了一种基于改进的卷积神经网络的施工图图元自适应识别方法,包括:采集施工图图纸文件D1,构成施工图图像数据集D4,进行预处理,得到数据集D5;对D5进行数据增强,使用LabelImg对数据增强后的数据集D6进行标注,将标注后的数据集D7分为训练集D8与测试集D9;使用BN算法和PReLU激活函数改进卷积神经网络,将D8输入预训练模型中进行训练,得到施工图图元自适应识别模型ARM;将D9输入ARM,输出图元识别结果集PT Result;开放施工图图元自适应识别接口ARM API,用户通过Web平台上传施工图图纸Drawing,ARM API对Drawing进行图元自适应识别,将识别出的图元信息Primitive Info返回Web平台。本发明可对施工图中的图元进行自适应识别,可识别多个目标,精准度高,提高了施工图图元的识别率。

Description

一种基于改进的卷积神经网络的施工图图元自适应识别方法
技术领域
本发明属于图像识别技术领域,特别涉及一种基于改进的卷积神经网络的施工图图元自适应识别方法。
背景技术
近年来,经济发展迅速,建筑业如火如荼。但是,建筑业同时也面临着更多的人力需求以及人工审图效率低下的问题,施工图审图的成本一直居高不下。如何在施工图审图工作中引入现代模式识别技术,提高审图效率,成为了工程界的一大焦点。传统的审图工作需要审图专家根据施工图的图元和签章进行一一审查。如果施工图图纸数量很大,则需要耗费大量的人力资源,而且审图的效率和准确性也不理想。如果能帮助审图专家识别出施工图图纸中的图元,那么就减少了审图专家的工作量,提高了审图效率,从而推动了审图单位的发展。
冯万利,朱全银等人已有的研究基础包括:Wanli Feng.Research of themestatement extraction for chinese literature based on lexicalchain.International Journal of Multimedia and Ubiquitous Engineering,Vol.11,No.6(2016),pp.379-388;Wanli Feng,Ying Li,Shangbing Gao,Yunyang Yan,JianxunXue.A novel flame edge detection algorithm via a novel active contourmodel.International Journal of Hybrid Information Technology,Vol.9,No.9(2016),pp.275-282;刘金岭,冯万利.基于属性依赖关系的模式匹配方法[J].微电子学与计算机,2011,28(12):167-170;刘金岭,冯万利,张亚红.初始化簇类中心和重构标度函数的文本聚类[J].计算机应用研究,2011,28(11):4115-4117;刘金岭,冯万利,张亚红.基于重新标度的中文短信文本聚类方法[J].计算机工程与应用,2012,48(21):146-150.;朱全银,潘禄,刘文儒,等.Web科技新闻分类抽取算法[J].淮阴工学院学报,2015,24(5):18-24;李翔,朱全银.联合聚类和评分矩阵共享的协同过滤推荐[J].计算机科学与探索,2014,8(6):751-759;Quanyin Zhu,Sunqun Cao.A Novel Classifier-independent FeatureSelection Algorithm for Imbalanced Datasets.2009,p:77-82;Quanyin Zhu,YunyangYan,Jin Ding,Jin Qian.The Case Study for Price Extracting of Mobile PhoneSell Online.2011,p:282-285;Quanyin Zhu,Suqun Cao,Pei Zhou,Yunyang Yan,HongZhou.Integrated Price Forecast based on Dichotomy Backfilling and DisturbanceFactor Algorithm.International Review on Computers and Software,2011,Vol.6(6):1089-1093;朱全银,冯万利等人申请、公开与授权的相关专利:冯万利,邵鹤帅,庄军.一种智能冷藏车状态监测无线网络终端装置:CN203616634U[P].2014;朱全银,胡蓉静,何苏群,周培等.一种基于线性插补与自适应滑动窗口的商品价格预测方法.中国专利:ZL201110423015.5,2015.07.01;朱全银,曹苏群,严云洋,胡蓉静等,一种基于二分数据修补与扰乱因子的商品价格预测方法.中国专利:ZL 201110422274.6,2013.01.02;李翔,朱全银,胡荣林,周泓.一种基于谱聚类的冷链物流配载智能推荐方法.中国专利公开号:CN105654267A,2016.06.08;朱全银,辛诚,李翔,许康等人,一种基于K-means和LDA双向验证的网络行为习惯聚类方法.中国专利公开号:CN 106202480 A,2016.12.07。
神经网络算法:
神经网络算法是一种模仿生物神经网络的结构和功能的数学模型或计算模型。神经网络算法主要结构为输入层,隐藏层和输出层。输入层负责输入特征值,输出层则是输出预测结果或分类结果。隐藏层由连接的神经元组成。在深度学习中,为了加深神经网络,增加神经网络层数,引入了激活函数。激活函数通过抛弃部分神经元,达到加深神经网络并提高预测或分类准确率的目的。
交叉熵损失函数:
交叉熵损失函数可以衡量真实结果与预测结果的相似性。和其他损失函数一样,交叉熵损失函数作用是更新神经元连接之间的权值,以达到减少训练误差的目的。与方差损失函数相比,交叉熵损失函数克服了学习速度慢的问题。主要作为由ReLu、Softmax等函数作为输出层函数情况下的损失函数。
文献“申请公布号是CN102693334A的中国发明专利”公开了一种基于CAD电子图纸的动态构件识别方法。该方法通过使用鼠标、键盘等交互设备手动抓取CAD图纸上的二维数据;在某个相近领域通过遍历的方式来查找候选图元信息;进一步提取排序结果中最优的图元信息反馈给客户。对于该方法来说,这个过程不仅较为繁琐,而且候选图元信息的排序方式容易受人为操作的影响。
文献“申请公布号是CN109063634A的中国发明专利”公开了在电力监控中采用霍夫圆变换识别目标物体区域电气符号的方法。该方法在进行图元识别时,对于带圆形轮廓的电气图案,采用霍夫圆变换来进行识别;将识别结果与预先设定的判断标准进行比较,得到一个判断结果;根据该判断结果,根据预先设定的逻辑关系,得到一个设备运行状态或设备所处位置的识别结果;然后将判断结果显示并返回识别结果。该方法主要基于对物体区域电气符号的识别,无法对整体施工图进行图元识别定位。
文献“申请公布号是CN110796016A的中国发明专利”公开了一种工程图纸、电子设备及相关产品的识别方法。该方法通过获取针对目标图元的目标图像,对目标图像进行特征提取,得到目标特征集,将目标特征集与预设模板图元的预设特征集进行匹配在,在目标特征集与预设特征集匹配成功时,将预设模板图元对应的图元内容作为目标图元的目标图元内容,获取需要识别的图元的图像,提取该图像特征,对该特征进行识别,得到该图元对应的图元内容。该方法主要针对工程图纸、电子设备及相关产品进行的识别,无法对施工图图纸进行图元识别。
文献“申请公布号是CN108268862A的中国发明专利”公开了基于建筑图纸的门和窗自动识别方法。通过读取墙所在图层的信息以根据每一个表示门的图元找出所有门的门线,并找出组成门的门墙的端点的坐标数据对应写入一个门墙点集,以及根据每一个表示窗的图元找出所有窗的窗线,并找出组成窗的窗墙的端点的坐标数据对应写入一个窗墙点集;根据每一个门墙点集对应生成一个门墙轮廓线并输出,根据每一个窗墙点集对应生成一个窗墙轮廓线并输出。该方法主要基于对建筑图纸的门和窗的识别,缺乏对建筑图纸中其它图元的识别效果。
文献“申请公布号是CN110728260A的中国发明专利”公开了一种电气施工图的识别方法及装置。该方法通过对待识别电气施工图中的文字数据、线条数据、缺口信息等特征进行识别,然后再根据线条数据和缺口信息等特征对电气器件信息进行识别,然后最后将文字数据与电气器件信息进行匹配,最终得到电气施工图识别结果。该方法主要基于对电气符号的识别,缺乏对整体施工图图元的识别效果。
发明内容
发明目的:针对现有技术中存在的问题,本发明提出一种基于改进的卷积神经网络的施工图图元自适应识别方法,利用已有的施工图图纸,利用机器学习和图像数据挖掘技术识别施工图图纸中的图元。
技术方案:为解决上述技术问题,本发明提供一种基于改进的卷积神经网络的施工图图元自适应识别方法,具体步骤如下:
(1)采集施工图图纸文件D1,从D1中筛选出pdf格式的施工图图纸文件D2,将pdf格式的施工图图纸文件D2转换成jpg格式的施工图图像D3,构成施工图图像数据集D4,对D4进行预处理,得到预处理后的施工图图像数据集D5;
(2)对预处理后的施工图图像数据集D5进行数据增强,利用LabelImg工具对数据增强后的施工图图像数据集D6进行标注,将标注后的施工图图像数据集D7分为施工图图像训练集D8与施工图图像测试集D9;
(3)在卷积神经网络的卷积层中卷积操作后,使用BN算法进行批量归一化处理,通过PReLU激活函数进行非线性输出,得到改进后的卷积神经网络Improved CNN,将施工图图像训练集D8输入预训练模型中进行训练,得到施工图图元自适应识别模型ARM;
(4)将施工图图像测试集D9输入施工图图元自适应识别模型ARM,输出施工图图元识别结果集PT Result;
(5)开放施工图图元自适应识别接口ARM API,用户通过Web平台上传施工图图纸Drawing,施工图图元自适应识别接口ARM API对用户上传的施工图图纸Drawing进行图元自适应识别,并将识别出的施工图图元信息Primitive Info返回Web平台。
进一步的,所述步骤(1)中得到预处理后的施工图图像数据集D5的具体步骤如下:
(1.1)在各大建筑网站中利用BeautifulSoup库爬取施工图图纸文件,得到施工图图纸文件D1;
(1.2)从D1中筛选出pdf格式的施工图图纸文件D2;
(1.3)剔除D2中部分不清晰和有残缺的施工图图纸文件;
(1.4)利用PyMuPDF库,将施工图图纸文件D2等比例格式转换为jpg格式的施工图图像D3;
(1.5)得到由施工图图像D3组成的施工图图像数据集D4;
(1.6)计算施工图图像数据集D4的数据集大小,赋值给Size1;
(1.7)定义循环变量S1,用于遍历施工图图像数据集D4,S1∈[1,Size1],并赋初值为1;
(1.8)如果S1≤Size1,则进入步骤(1.9),否则进入步骤(1.15);
(1.9)使用OpenCV运行库对D4S1进行图像灰度化;
(1.10)对D4S1进行直方图均衡化;
(1.11)对D4S1进行灰度拉伸;
(1.12)使用OpenCV运行库对D4S1进行图像二值化;
(1.13)对D4S1进行图像边缘检测分割;
(1.14)令S1=S1+1,进入步骤(1.8);
(1.15)得到预处理后的施工图图像数据集D5。
进一步的,所述步骤(2)中对预处理后的施工图图像数据集D5进行数据增强,利用LabelImg工具对数据增强后的施工图图像数据集D6进行标注,将标注后的施工图图像数据集D7分为施工图图像训练集D8与施工图图像测试集D9的具体步骤如下:
(2.1)输入预处理后的施工图图像数据集D5,其大小为Size1;
(2.2)定义循环变量S2,用于遍历预处理后的施工图图像数据集D5,S2∈[1,Size1],并赋初值为1;
(2.3)如果S2≤Size1,则进入步骤(2.4),否则进入步骤(2.16);
(2.4)输入施工图图像D5S2
(2.5)对施工图图像D5S2进行编码,并进行读取与展示;
(2.6)对施工图图像D5S2进行压缩或者放大,得到施工图图像D5S2I
(2.7)获取施工图图像D5S2I,对施工图图像D5S2I失真处进行裁剪,得到施工图图像D5S2Ⅱ
(2.8)对D5S2Ⅱ进行翻转;
(2.9)对D5S2Ⅱ进行转置;
(2.10)对D5S2Ⅱ进行Gamma调整;
(2.11)对D5S2Ⅱ进行移位;
(2.12)对D5S2Ⅱ进行反射;
(2.13)得到施工图图像D5S2Ⅲ
(2.14)获取施工图图像D5S2Ⅲ,对施工图图像D5S2Ⅲ添加噪音数据并进行模糊处理,得到施工图图像D5S2Ⅳ
(2.15)S2=S2+1,进入步骤(2.3);
(2.16)施工图图像数据增强结束,得到数据增强后的施工图数据集D6,D6的数据集大小为Size2;
(2.17)定义循环变量S3,用于遍历数据增强后的施工图图像数据集D6,S3∈[1,Size2],并赋初值为1;
(2.18)如果S3≤Size2,则进入步骤(2.19),否则进入步骤(2.22);
(2.19)输入施工图图像D6S3
(2.20)利用LabelImg工具对施工图图像D6S3进行标注;
(2.21)S3=S3+1,进入步骤(2.18);
(2.22)得到标注后的施工图图像数据集D7和施工图图像标签集LS;
(2.23)按照7:3的比例将标注后的施工图图像数据集D7分为施工图图像训练集D8与施工图图像测试集D9。
进一步的,所述步骤(3)中得到施工图图元自适应识别模型ARM的具体步骤如下:
(3.1)在卷积神经网络的卷积层中卷积操作后,使用BN算法进行批量归一化处理;
(3.2)通过PReLU激活函数进行非线性输出;
(3.3)得到改进后的卷积神经网络Improved CNN;
(3.4)输入施工图图像训练集D8;
(3.5)设施工图图像训练集D8的数据集大小为Size3,Size3=1/7Size2;
(3.6)定义循环变量S4,用于遍历施工图图像训练集D8,S4∈[1,Size3],并赋初值为1;
(3.7)如果S4≤Size3,则进入步骤(3.8),否则进入步骤(3.17);
(3.8)输入施工图图像D8S4
(3.9)使用改进后的卷积神经网络Improved CNN的卷积层提取D8S4的特征矩阵FM;
(3.10)将特征矩阵FM分批,每批包含施工图图元的特征张量集FT,假设标签集为L;
(3.11)特征张量集FM经过PReLU激活函数,输出张量集FT1;
(3.12)张量集FT1经过第一层池化层与PReLU激活函数后输出张量集FT2;
(3.13)张量集FT2经过第二层池化与归一化处理,输出张量集FT3;
(3.14)张量集FT3经过softmax激励函数后输出新标签集LN;
(3.15)计算标签集L与新标签集LN之间的损失,更新神经网络连接函数的权值;
(3.16)S4=S4+1,进入步骤(3.7);
(3.17)施工图图元自适应识别模型ARM训练完成。
进一步的,所述步骤(4)中将施工图图像测试集D9输入施工图图元自适应识别模型ARM,输出施工图图元识别结果集PT Result的具体步骤如下:
(4.1)加载步骤3中训练好的施工图图元自适应识别模型ARM;
(4.2)输入施工图图像测试集D9;
(4.3)设施工图图像测试集D9的数据集大小为Size4,Size4=1/3Size2;
(4.4)定义循环变量S5,用于遍历施工图图像测试集D9,S5∈[1,Size4],并赋初值为1;
(4.5)如果S5≤Size4,则进入步骤(4.6),否则进入步骤(4.13);
(4.6)输入施工图测试图像D9S5
(4.7)利用施工图图元自适应识别模型ARM对施工图测试图像D9S5进行图元识别和定位,并用矩形框框出其位置;
(4.8)取出步骤3中的输出张量Tensor;
(4.9)将张量Tensor输入SVM分类器;
(4.10)根据分类,标出施工图图元类别PT;
(4.11)S5=S5+1,进入步骤(4.5);
(4.12)得到施工图图元识别结果集PT Result。
进一步的,所述步骤(5)中开放施工图图元自适应识别接口ARM API,用户通过Web平台上传施工图图纸Drawing,施工图图元自适应识别接口ARM API对用户上传的施工图图纸Drawing进行图元自适应识别,并将识别出的施工图图元信息Primitive Info返回Web平台的具体步骤如下:
(5.1)开放施工图图元自适应识别接口ARM API;
(5.2)创建线程池Thread Pool;
(5.3)判断线程池Thread Pool所有任务是否执行完毕,如果所有任务执行完毕,则进入步骤(5.9),否则进入步骤(5.4);
(5.4)用户通过Web平台上传施工图图纸Drawing;
(5.5)子线程Child Thread获取任务处理;
(5.6)施工图图元自适应识别接口ARM API调用施工图图元自适应识别模型ARM对用户上传的施工图图纸Drawing进行图元自适应识别;
(5.7)将识别出的施工图图元信息Primitive Info返回Web平台;
(5.8)结束该子进程Child Thread,进入步骤(5.3);
(5.9)关闭线程池Thread Pool;
(5.10)施工图图元自适应识别结束。
本发明采用上述技术方案,具有以下有益效果:
本发明方法基于施工图图像数据集,利用改进的卷积神经网络进行目标检测和特征提取,得到了施工图图元自适应识别模型,实现了对施工图图纸的自适应图元识别。本方法改变了传统检测以及图元识别方法的局限性,结合改进的卷积神经网络及施工图图元自适应识别技术,有效地提高了施工图图元识别的精度和准确率。本发明提出的施工图图元自适应识别方法减少了审图专家的工作量,缩减了施工图图元提取的工作时长,提高了施工图图元的识别率。
附图说明
图1为本发明的总体流程图;
图2为具体实施例中施工图图像数据集获取及预处理的流程图;
图3为具体实施例中对施工图图像数据增强及分成训练集和测试集的流程图;
图4为具体实施例中训练施工图图元自适应识别模型的流程图;
图5为具体实施例中对施工图图像测试集进行图元识别的流程图;
图6为具体实施例中用施工图图元自适应识别接口进行图元识别的流程图。
具体实施方式
下面结合工程国家标准的具体实施例,进一步阐明本发明,应理解这些实施例仅用于说明本发明而不用于限制本发明的范围,在阅读了本发明之后,本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
如图1-6所示,本发明所述的一种基于改进的卷积神经网络的施工图图元自适应识别方法,包括如下步骤:
步骤1:采集施工图图纸文件D1,从D1中筛选出pdf格式的施工图图纸文件D2,将pdf格式的施工图图纸文件D2转换成jpg格式的施工图图像D3,构成施工图图像数据集D4,对D4进行预处理,得到预处理后的施工图图像数据集D5。
步骤1.1:在各大建筑网站中利用BeautifulSoup库爬取施工图图纸文件,得到施工图图纸文件D1;
步骤1.2:从D1中筛选出pdf格式的施工图图纸文件D2;
步骤1.3:剔除D2中部分不清晰和有残缺的施工图图纸文件;
步骤1.4:利用PyMuPDF库,将施工图图纸文件D2等比例格式转换为jpg格式的施工图图像D3;
步骤1.5:得到由施工图图像D3组成的施工图图像数据集D4;
步骤1.6:计算施工图图像数据集D4的数据集大小,赋值给Size1;
步骤1.7:定义循环变量S1,用于遍历施工图图像数据集D4,S1∈[1,Size1],并赋初值为1;
步骤1.8:如果S1≤Size1,则进入步骤1.9,否则进入步骤1.15;
步骤1.9:使用OpenCV运行库对D4S1进行图像灰度化;
步骤1.10:对D4S1进行直方图均衡化;
步骤1.11:对D4S1进行灰度拉伸;
步骤1.12:使用OpenCV运行库对D4S1进行图像二值化;
步骤1.13:对D4S1进行图像边缘检测分割;
步骤1.14:令S1=S1+1,进入步骤1.8;
步骤1.15:得到预处理后的施工图图像数据集D5。
步骤2:对预处理后的施工图图像数据集D5进行数据增强,利用LabelImg工具对数据增强后的施工图图像数据集D6进行标注,将标注后的施工图图像数据集D7分为施工图图像训练集D8与施工图图像测试集D9。
步骤2.1:输入预处理后的施工图图像数据集D5,其大小为Size1;
步骤2.2:定义循环变量S2,用于遍历预处理后的施工图图像数据集D5,S2∈[1,Size1],并赋初值为1;
步骤2.3:如果S2≤Size1,则进入步骤2.4,否则进入步骤2.16;
步骤2.4:输入施工图图像D5S2
步骤2.5:对施工图图像D5S2进行编码,并进行读取与展示;
步骤2.6:对施工图图像D5S2进行压缩或者放大,得到施工图图像D5S2I
步骤2.7:获取施工图图像D5S2I,对施工图图像D5S2I失真处进行裁剪,得到施工图图像D5S2Ⅱ
步骤2.8:对D5S2Ⅱ进行翻转;
步骤2.9:对D5S2Ⅱ进行转置;
步骤2.10:对D5S2Ⅱ进行Gamma调整;
步骤2.11:对D5S2Ⅱ进行移位;
步骤2.12:对D5S2Ⅱ进行反射;
步骤2.13:得到施工图图像D5S2Ⅲ
步骤2.14:获取施工图图像D5S2Ⅲ,对施工图图像D5S2Ⅲ添加噪音数据并进行模糊处理,得到施工图图像D5S2Ⅳ
步骤2.15:S2=S2+1,进入步骤2.3;
步骤2.16:施工图图像数据增强结束,得到数据增强后的施工图数据集D6,D6的数据集大小为Size2;
步骤2.17:定义循环变量S3,用于遍历数据增强后的施工图图像数据集D6,S3∈[1,Size2],并赋初值为1;
步骤2.18:如果S3≤Size2,则进入步骤2.19,否则进入步骤2.22;
步骤2.19:输入施工图图像D6S3
步骤2.20:利用LabelImg工具对施工图图像D6S3进行标注;
步骤2.21:S3=S3+1,进入步骤2.18;
步骤2.22:得到标注后的施工图图像数据集D7和施工图图像标签集LS;
步骤2.23:按照7:3的比例将标注后的施工图图像数据集D7分为施工图图像训练集D8与施工图图像测试集D9。
步骤3:在卷积神经网络的卷积层中卷积操作后,使用BN算法进行批量归一化处理,通过PReLU激活函数进行非线性输出,得到改进后的卷积神经网络Improved CNN,将施工图图像训练集D8输入预训练模型中进行训练,得到施工图图元自适应识别模型ARM;
步骤3.1:在卷积神经网络的卷积层中卷积操作后,使用BN算法进行批量归一化处理;
步骤3.2:通过PReLU激活函数进行非线性输出;
步骤3.3:得到改进后的卷积神经网络Improved CNN;
步骤3.4:输入施工图图像训练集D8;
步骤3.5:设施工图图像训练集D8的数据集大小为Size3,Size3=1/7Size2;
步骤3.6:定义循环变量S4,用于遍历施工图图像训练集D8,S4∈[1,Size3],并赋初值为1;
步骤3.7:如果S4≤Size3,则进入步骤3.8,否则进入步骤3.17;
步骤3.8:输入施工图图像D8S4
步骤3.9:使用改进后的卷积神经网络Improved CNN的卷积层提取D8S4的特征矩阵FM;
步骤3.10:将特征矩阵FM分批,每批包含施工图图元的特征张量集FT,假设标签集为L;
步骤3.11:特征张量集FM经过PReLU激活函数,输出张量集FT1;
步骤3.12:张量集FT1经过第一层池化层与PReLU激活函数后输出张量集FT2;
步骤3.13:张量集FT2经过第二层池化与归一化处理,输出张量集FT3;
步骤3.14:张量集FT3经过softmax激励函数后输出新标签集LN;
步骤3.15:计算标签集L与新标签集LN之间的损失,更新神经网络连接函数的权值;
步骤3.16:S4=S4+1,进入步骤3.7;
步骤3.17:施工图图元自适应识别模型ARM训练完成。
步骤4:将施工图图像测试集D9输入施工图图元自适应识别模型ARM,输出施工图图元识别结果集PT Result。
步骤4.1:加载步骤3中训练好的施工图图元自适应识别模型ARM;
步骤4.2:输入施工图图像测试集D9;
步骤4.3:设施工图图像测试集D9的数据集大小为Size4,Size4=1/3Size2;
步骤4.4:定义循环变量S5,用于遍历施工图图像测试集D9,S5∈[1,Size4],并赋初值为1;
步骤4.5:如果S5≤Size4,则进入步骤4.6,否则进入步骤4.13;
步骤4.6:输入施工图测试图像D9S5
步骤4.7:利用施工图图元自适应识别模型ARM对施工图测试图像D9S5进行图元识别和定位,并用矩形框框出其位置;
步骤4.8:取出步骤3中的输出张量Tensor;
步骤4.9:将张量Tensor输入SVM分类器;
步骤4.10:根据分类,标出施工图图元类别PT;
步骤4.11:S5=S5+1,进入步骤4.5;
步骤4.12:得到施工图图元识别结果集PT Result。
步骤5:开放施工图图元自适应识别接口ARM API,用户通过Web平台上传施工图图纸Drawing,施工图图元自适应识别接口ARM API对用户上传的施工图图纸Drawing进行图元自适应识别,并将识别出的施工图图元信息Primitive Info返回Web平台。
步骤5.1:开放施工图图元自适应识别接口ARM API;
步骤5.2:创建线程池Thread Pool;
步骤5.3:判断线程池Thread Pool所有任务是否执行完毕,如果所有任务执行完毕,则进入步骤5.9,否则进入步骤5.4;
步骤5.4:用户通过Web平台上传施工图图纸Drawing;
步骤5.5:子线程Child Thread获取任务处理;
步骤5.6:施工图图元自适应识别接口ARM API调用施工图图元自适应识别模型ARM对用户上传的施工图图纸Drawing进行图元自适应识别;
步骤5.7:将识别出的施工图图元信息Primitive Info返回Web平台;
步骤5.8:结束该子进程Child Thread,进入步骤5.3;
步骤5.9:关闭线程池Thread Pool;
步骤5.10:施工图图元自适应识别结束。
通过对5136张施工图图纸进行数据处理,得到施工图图像数据集。对施工图图像数据集进行预处理和数据增强,利用LabelImg工具对施工图图像进行标注,然后分成训练集和测试集。在卷积神经网络中使用BN算法进行批量归一化处理,通过PReLU激活函数进行非线性输出,得到改进后的卷积神经网络Improved CNN,将训练集输入预训练模型中进行训练,得到施工图图元自适应识别模型。最后将测试集输入施工图图元自适应识别模型ARM,输出施工图图元识别结果集PT Result。该方法在结果上取得了98%的准确率,提高了施工图图元的识别率。
下表为本发明所涉及的步骤中所有的变量。
表1 变量表
/>
/>
本发明可与计算机系统结合,从而完成施工图图元的识别。
本发明创造性的提出了一种基于改进的卷积神经网络的施工图图元自适应识别方法,通过训练施工图图元自适应识别模型对施工图图纸进行识别,得到施工图图元的识别结果。
本发明提出的一种基于改进的卷积神经网络的施工图图元自适应识别方法,可以用于施工图图纸的图元识别与分类。
以上所述仅为本发明的实施例子而己,并不用于限制本发明。凡在本发明的原则之内,所作的等同替换,均应包含在本发明的保护范围之内。本发明未作详细阐述的内容属于本专业领域技术人员公知的已有技术。

Claims (4)

1.一种基于改进的卷积神经网络的施工图图元自适应识别方法,其特征在于,具体步骤如下:
(1)采集施工图图纸文件D1,从D1中筛选出pdf格式的施工图图纸文件D2,将pdf格式的施工图图纸文件D2转换成jpg格式的施工图图像D3,构成施工图图像数据集D4,对D4进行预处理,得到预处理后的施工图图像数据集D5;
(2)对预处理后的施工图图像数据集D5进行数据增强,利用LabelImg工具对数据增强后的施工图图像数据集D6进行标注,将标注后的施工图图像数据集D7分为施工图图像训练集D8与施工图图像测试集D9;
(3)在卷积神经网络的卷积层中卷积操作后,使用BN算法进行批量归一化处理,通过PReLU激活函数进行非线性输出,得到改进后的卷积神经网络Improved CNN,将施工图图像训练集D8输入预训练模型中进行训练,得到施工图图元自适应识别模型ARM;具体步骤为:
(3.1)在卷积神经网络的卷积层中卷积操作后,使用BN算法进行批量归一化处理;
(3.2)通过PReLU激活函数进行非线性输出;
(3.3)得到改进后的卷积神经网络Improved CNN;
(3.4)输入施工图图像训练集D8;
(3.5)设施工图图像训练集D8的数据集大小为Size3,Size3=1/7Size2,其中Size2为D6的数据集大小;
(3.6)定义循环变量S4,用于遍历施工图图像训练集D8,S4∈[1,Size3],并赋初值为1;
(3.7)如果S4≤Size3,则进入步骤(3.8),否则进入步骤(3.17);
(3.8)输入施工图图像D8S4
(3.9)使用改进后的卷积神经网络Improved CNN的卷积层提取D8S4的特征矩阵FM;
(3.10)将特征矩阵FM分批,每批包含施工图图元的特征张量集FT,假设标签集为L;
(3.11)特征张量集FM经过PReLU激活函数,输出张量集FT1;
(3.12)张量集FT1经过第一层池化层与PReLU激活函数后输出张量集FT2;
(3.13)张量集FT2经过第二层池化与归一化处理,输出张量集FT3;
(3.14)张量集FT3经过softmax激励函数后输出新标签集LN;
(3.15)计算标签集L与新标签集LN之间的损失,更新神经网络连接函数的权值;
(3.16)S4=S4+1,进入步骤(3.7);
(3.17)施工图图元自适应识别模型ARM训练完成;
(4)将施工图图像测试集D9输入施工图图元自适应识别模型ARM,输出施工图图元识别结果集PT Result;具体步骤为:
(4.1)加载步骤3中训练好的施工图图元自适应识别模型ARM;
(4.2)输入施工图图像测试集D9;
(4.3)设施工图图像测试集D9的数据集大小为Size4,Size4=1/3Size2;
(4.4)定义循环变量S5,用于遍历施工图图像测试集D9,S5∈[1,Size4],并赋初值为1;
(4.5)如果S5≤Size4,则进入步骤(4.6),否则进入步骤(4.13);
(4.6)输入施工图测试图像D9S5
(4.7)利用施工图图元自适应识别模型ARM对施工图测试图像D9S5进行图元识别和定位,并用矩形框框出其位置;
(4.8)取出步骤3中的输出张量Tensor,其中,Tensor∈FT3;
(4.9)将张量Tensor输入SVM分类器;
(4.10)根据分类,标出施工图图元类别PT;
(4.11)S5=S5+1,进入步骤(4.5);
(4.12)得到施工图图元识别结果集PT Result;
(5)开放施工图图元自适应识别接口ARM API,用户通过Web平台上传施工图图纸Drawing,施工图图元自适应识别接口ARM API对用户上传的施工图图纸Drawing进行图元自适应识别,并将识别出的施工图图元信息Primitive Info返回Web平台。
2.根据权利要求1所述的一种基于改进的卷积神经网络的施工图图元自适应识别方法,其特征在于,所述步骤(1)中得到预处理后的施工图图像数据集D5的具体步骤为:
(1.1)在各大建筑网站中利用BeautifulSoup库爬取施工图图纸文件,得到施工图图纸文件D1;
(1.2)从D1中筛选出pdf格式的施工图图纸文件D2;
(1.3)剔除D2中部分不清晰和有残缺的施工图图纸文件;
(1.4)利用PyMuPDF库,将施工图图纸文件D2等比例格式转换为jpg格式的施工图图像D3;
(1.5)得到由施工图图像D3组成的施工图图像数据集D4;
(1.6)计算施工图图像数据集D4的数据集大小,赋值给Size1;
(1.7)定义循环变量S1,用于遍历施工图图像数据集D4,S1∈[1,Size1],并赋初值为1;
(1.8)如果S1≤Size1,则进入步骤(1.9),否则进入步骤(1.15);
(1.9)使用OpenCV运行库对D4S1进行图像灰度化,其中,D4S1为施工图图像;
(1.10)对D4S1进行直方图均衡化;
(1.11)对D4S1进行灰度拉伸;
(1.12)使用OpenCV运行库对D4S1进行图像二值化;
(1.13)对D4S1进行图像边缘检测分割;
(1.14)令S1=S1+1,进入步骤(1.8);
(1.15)得到预处理后的施工图图像数据集D5。
3.根据权利要求1所述的一种基于改进的卷积神经网络的施工图图元自适应识别方法,其特征在于,所述步骤(2)中对预处理后的施工图图像数据集D5进行数据增强,利用LabelImg工具对数据增强后的施工图图像数据集D6进行标注,将标注后的施工图图像数据集D7分为施工图图像训练集D8与施工图图像测试集D9的具体步骤为:
(2.1)输入预处理后的施工图图像数据集D5,其大小为Size1;
(2.2)定义循环变量S2,用于遍历预处理后的施工图图像数据集D5,S2∈[1,Size1],并赋初值为1;
(2.3)如果S2≤Size1,则进入步骤(2.4),否则进入步骤(2.16);
(2.4)输入施工图图像D5S2
(2.5)对施工图图像D5S2进行编码,并进行读取与展示;
(2.6)对施工图图像D5S2进行压缩或者放大,得到施工图图像D5S2I
(2.7)获取施工图图像D5S2I,对施工图图像D5S2I失真处进行裁剪,得到施工图图像D5S2Ⅱ
(2.8)对D5S2Ⅱ进行翻转;
(2.9)对D5S2Ⅱ进行转置;
(2.10)对D5S2Ⅱ进行Gamma调整;
(2.11)对D5S2Ⅱ进行移位;
(2.12)对D5S2Ⅱ进行反射;
(2.13)得到施工图图像D5S2Ⅲ
(2.14)获取施工图图像D5S2Ⅲ,对施工图图像D5S2Ⅲ添加噪音数据并进行模糊处理,得到施工图图像D5S2Ⅳ
(2.15)S2=S2+1,进入步骤(2.3);
(2.16)施工图图像数据增强结束,得到数据增强后的施工图数据集D6,D6的数据集大小为Size2;
(2.17)定义循环变量S3,用于遍历数据增强后的施工图图像数据集D6,S3∈[1,Size2],并赋初值为1;
(2.18)如果S3≤Size2,则进入步骤(2.19),否则进入步骤(2.22);
(2.19)输入施工图图像D6S3
(2.20)利用LabelImg工具对施工图图像D6S3进行标注;
(2.21)S3=S3+1,进入步骤(2.18);
(2.22)得到标注后的施工图图像数据集D7和施工图图像标签集LS;
(2.23)按照7:3的比例将标注后的施工图图像数据集D7分为施工图图像训练集D8与施工图图像测试集D9。
4.根据权利要求1所述的一种基于改进的卷积神经网络的施工图图元自适应识别方法,其特征在于,所述步骤(5)中开放施工图图元自适应识别接口ARM API,用户通过Web平台上传施工图图纸Drawing,施工图图元自适应识别接口ARM API对用户上传的施工图图纸Drawing进行图元自适应识别,并将识别出的施工图图元信息PrimitiveInfo返回Web平台的具体步骤为:
(5.1)开放施工图图元自适应识别接口ARM API;
(5.2)创建线程池Thread Pool;
(5.3)判断线程池Thread Pool所有任务是否执行完毕,如果所有任务执行完毕,则进入步骤(5.9),否则进入步骤(5.4);
(5.4)用户通过Web平台上传施工图图纸Drawing;
(5.5)子线程Child Thread获取任务处理;
(5.6)施工图图元自适应识别接口ARM API调用施工图图元自适应识别模型ARM对用户上传的施工图图纸Drawing进行图元自适应识别;
(5.7)将识别出的施工图图元信息Primitive Info返回Web平台;
(5.8)结束子线程Child Thread,进入步骤(5.3);
(5.9)关闭线程池Thread Pool;
(5.10)施工图图元自适应识别结束。
CN202010436478.4A 2020-05-21 2020-05-21 一种基于改进的卷积神经网络的施工图图元自适应识别方法 Active CN111914612B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010436478.4A CN111914612B (zh) 2020-05-21 2020-05-21 一种基于改进的卷积神经网络的施工图图元自适应识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010436478.4A CN111914612B (zh) 2020-05-21 2020-05-21 一种基于改进的卷积神经网络的施工图图元自适应识别方法

Publications (2)

Publication Number Publication Date
CN111914612A CN111914612A (zh) 2020-11-10
CN111914612B true CN111914612B (zh) 2024-03-01

Family

ID=73237567

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010436478.4A Active CN111914612B (zh) 2020-05-21 2020-05-21 一种基于改进的卷积神经网络的施工图图元自适应识别方法

Country Status (1)

Country Link
CN (1) CN111914612B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112613097A (zh) * 2020-12-15 2021-04-06 中铁二十四局集团江苏工程有限公司 一种基于计算机视觉的bim快速化建模方法
CN112989923A (zh) * 2021-01-20 2021-06-18 上海品览智造科技有限公司 一种cad立面图中立面窗有无遮挡的精准判断的方法
CN113094791B (zh) * 2021-04-13 2024-02-20 笔天科技(广州)有限公司 一种基于矩阵运算的建筑数据分析处理方法
CN114357545A (zh) * 2021-12-15 2022-04-15 北京构力科技有限公司 用于布置施工图标注位置的方法和产品
CN114840900B (zh) * 2022-05-18 2023-06-20 滁州学院 一种基于i-GBDT技术的衍生式BIM构件自动生成方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609687A (zh) * 2012-01-31 2012-07-25 华中科技大学 一种地铁施工图纸及工程参数自动识别方法
CN107742117A (zh) * 2017-11-15 2018-02-27 北京工业大学 一种基于端到端模型的人脸表情识别方法
CN108319988A (zh) * 2017-01-18 2018-07-24 华南理工大学 一种用于手写汉字识别的深度神经网络的加速方法
CN108446689A (zh) * 2018-05-30 2018-08-24 南京开为网络科技有限公司 一种人脸识别方法
CN108596258A (zh) * 2018-04-27 2018-09-28 南京邮电大学 一种基于卷积神经网络随机池化的图像分类方法
CN108960273A (zh) * 2018-05-03 2018-12-07 淮阴工学院 一种基于深度学习的贫困生认定方法
CN109002841A (zh) * 2018-06-27 2018-12-14 淮阴工学院 一种基于Faster-RCNN模型的建筑构件提取方法
CN109117715A (zh) * 2018-06-27 2019-01-01 淮阴工学院 一种基于ssd模型的建筑图纸非构件识别方法
CN109997154A (zh) * 2017-10-30 2019-07-09 上海寒武纪信息科技有限公司 信息处理方法及终端设备
CN110321873A (zh) * 2019-07-12 2019-10-11 苏州惠邦医疗科技有限公司 基于深度学习卷积神经网络的敏感图片识别方法及系统
CN110502984A (zh) * 2019-07-11 2019-11-26 万翼科技有限公司 图纸审查方法、装置、计算机设备和存储介质
CN111062384A (zh) * 2019-11-08 2020-04-24 博云视觉(北京)科技有限公司 一种基于深度学习的车窗精确定位方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10417788B2 (en) * 2016-09-21 2019-09-17 Realize, Inc. Anomaly detection in volumetric medical images using sequential convolutional and recurrent neural networks
EP3596659A4 (en) * 2017-03-17 2021-01-27 Magic Leap, Inc. SPACE LAYOUT APPRAISAL METHODS AND TECHNIQUES
CN108062551A (zh) * 2017-06-28 2018-05-22 浙江大学 一种基于邻接矩阵的图特征提取系统、图分类系统和方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609687A (zh) * 2012-01-31 2012-07-25 华中科技大学 一种地铁施工图纸及工程参数自动识别方法
CN108319988A (zh) * 2017-01-18 2018-07-24 华南理工大学 一种用于手写汉字识别的深度神经网络的加速方法
CN109997154A (zh) * 2017-10-30 2019-07-09 上海寒武纪信息科技有限公司 信息处理方法及终端设备
CN107742117A (zh) * 2017-11-15 2018-02-27 北京工业大学 一种基于端到端模型的人脸表情识别方法
CN108596258A (zh) * 2018-04-27 2018-09-28 南京邮电大学 一种基于卷积神经网络随机池化的图像分类方法
CN108960273A (zh) * 2018-05-03 2018-12-07 淮阴工学院 一种基于深度学习的贫困生认定方法
CN108446689A (zh) * 2018-05-30 2018-08-24 南京开为网络科技有限公司 一种人脸识别方法
CN109002841A (zh) * 2018-06-27 2018-12-14 淮阴工学院 一种基于Faster-RCNN模型的建筑构件提取方法
CN109117715A (zh) * 2018-06-27 2019-01-01 淮阴工学院 一种基于ssd模型的建筑图纸非构件识别方法
CN110502984A (zh) * 2019-07-11 2019-11-26 万翼科技有限公司 图纸审查方法、装置、计算机设备和存储介质
CN110321873A (zh) * 2019-07-12 2019-10-11 苏州惠邦医疗科技有限公司 基于深度学习卷积神经网络的敏感图片识别方法及系统
CN111062384A (zh) * 2019-11-08 2020-04-24 博云视觉(北京)科技有限公司 一种基于深度学习的车窗精确定位方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Alcoholism identification via convolutional neural network based on parametric ReLU, dropout, and batch normalization;Shui-Hua Wang 等;《Neural computing and applications》;第32卷;665-680 *

Also Published As

Publication number Publication date
CN111914612A (zh) 2020-11-10

Similar Documents

Publication Publication Date Title
CN111914612B (zh) 一种基于改进的卷积神经网络的施工图图元自适应识别方法
CN111753828B (zh) 一种基于深度卷积神经网络的自然场景水平文字检测方法
JP2009514110A (ja) ポーズによるヒト検出
CN109034186B (zh) 基于da-rbm分类器模型的手写数据识别方法
CN111475613A (zh) 案件分类方法、装置、计算机设备及存储介质
CN111898550B (zh) 建立表情识别模型方法、装置、计算机设备及存储介质
CN111161207A (zh) 一种集成的卷积神经网络织物疵点分类方法
CN109685065A (zh) 试卷内容自动分类的版面分析方法、系统
CN112668482B (zh) 人脸识别训练方法、装置、计算机设备及存储介质
CN111753087A (zh) 舆情文本分类方法、装置、计算机设备和存储介质
CN112836509A (zh) 一种专家系统知识库构建方法及系统
CN113837307A (zh) 数据相似度计算方法、装置、可读介质及电子设备
Cui et al. Real-time detection of wood defects based on SPP-improved YOLO algorithm
CN112102049A (zh) 一种模型训练方法、业务处理方法、装置及设备
CN117011274A (zh) 自动化玻璃瓶检测系统及其方法
CN112839185A (zh) 用于处理图像的方法、装置、设备和介质
CN114936395A (zh) 一种户型图识别方法、装置、计算机设备及存储介质
CN111798376B (zh) 图像识别方法、装置、电子设备及存储介质
Wang et al. Design and implementation of handwritten digit recognition based on K-nearest neighbor algorithm
Liang et al. Feature construction using genetic programming for figure-ground image segmentation
CN114417938A (zh) 一种利用知识向量嵌入的电磁目标分类方法
Hu et al. Computer Vision in Predicting Thermal Diffusivity of Subsurface Rocks
CN111428510A (zh) 一种基于口碑的p2p平台风险分析方法
CN113469237A (zh) 用户意图识别方法、装置、电子设备及存储介质
Kumar et al. Image classification in python using Keras

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant