CN111524131A - 基于区块链与bim的墙壁裂缝检测系统 - Google Patents
基于区块链与bim的墙壁裂缝检测系统 Download PDFInfo
- Publication number
- CN111524131A CN111524131A CN202010383721.0A CN202010383721A CN111524131A CN 111524131 A CN111524131 A CN 111524131A CN 202010383721 A CN202010383721 A CN 202010383721A CN 111524131 A CN111524131 A CN 111524131A
- Authority
- CN
- China
- Prior art keywords
- wall crack
- wall
- depth
- encoder
- crack
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 64
- 230000011218 segmentation Effects 0.000 claims abstract description 42
- 238000013528 artificial neural network Methods 0.000 claims abstract description 40
- 238000000034 method Methods 0.000 claims abstract description 21
- 238000004364 calculation method Methods 0.000 claims abstract description 11
- 238000012544 monitoring process Methods 0.000 claims description 27
- 238000005516 engineering process Methods 0.000 claims description 19
- 238000012800 visualization Methods 0.000 claims description 15
- 238000012163 sequencing technique Methods 0.000 claims description 7
- 230000007246 mechanism Effects 0.000 claims description 5
- 230000002159 abnormal effect Effects 0.000 claims description 4
- 238000009877 rendering Methods 0.000 claims description 4
- 239000013598 vector Substances 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 6
- 238000012545 processing Methods 0.000 abstract description 6
- 230000005540 biological transmission Effects 0.000 description 7
- 238000010276 construction Methods 0.000 description 7
- 238000013461 design Methods 0.000 description 7
- 238000007726 management method Methods 0.000 description 6
- 238000005336 cracking Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000004568 cement Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000003449 preventive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/13—Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/08—Construction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8854—Grading and classifying of flaws
- G01N2021/8874—Taking dimensions of defect into account
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8854—Grading and classifying of flaws
- G01N2021/8877—Proximity analysis, local statistics
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Security & Cryptography (AREA)
- Evolutionary Computation (AREA)
- Business, Economics & Management (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Bioethics (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Economics (AREA)
- Mathematical Analysis (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Architecture (AREA)
- Civil Engineering (AREA)
- Human Resources & Organizations (AREA)
- Structural Engineering (AREA)
- Computational Mathematics (AREA)
- Marketing (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
Abstract
本发明公开了一种基于区块链与BIM的墙壁裂缝检测系统。该系统包括墙壁裂缝分割编码器、墙壁裂缝分割解码器、墙壁裂缝深度第一编码器、墙壁裂缝深度第二编码器、全连接层、墙壁裂缝面积估计单元、墙壁裂缝等级估计单元,系统还包括计算集群,计算集群中所有节点加载墙壁裂缝检测深度神经网络所需参数,对于图像采集单元发送的图像数据,在计算集群中配置墙壁裂缝检测区块链私链,并执行网络推理,得到墙壁裂缝等级估计结果,并发送至建筑信息模型。利用本发明,在墙壁裂缝检测中,不仅结果反馈多元,而且提高了检测结果的实用性、检测结果精度以及数据处理过程中安全性能。
Description
技术领域
本发明涉及区块链、人工智能、BIM、智慧工地技术领域,具体涉及一种基于区块链与BIM的墙壁裂缝检测系统。
背景技术
由于工地复杂的现场环境,水泥混凝土比例失衡会产生杂乱裂缝,凝固之后墙面收缩程度不同会产生竖裂缝,前期地基不稳固、地基下沉会产生斜裂缝等,一旦墙体发生开裂,不仅墙面被判定为不合格造成经济损失,而且会存在很大的安全隐患。由此可见,针对工地中建设中的墙体进行裂缝检测非常必要。对于已经投入使用的建筑,需要根据建筑存在的问题以及状态进行修葺才能维持更长的使用年限。墙体状态能够直接反应建筑存在的问题,因此,对于已经投入使用的建筑进行墙体裂缝识别也非常必要。
当前检测墙体开裂的方法主要依靠人工巡查,当面通知,立即解决。也就是说,目前对墙面裂缝的检测还停留在人工判别的基础上。但是墙体众多,裂缝的尺寸种类各不相同,人工判别不但成本高昂,其效率和准确性也难以满足对数量庞大的墙体设施持续监测的需求。一些研究提出采用计算机视觉的方法对裂缝进行检测。但由于检测处在自然光条件下,外界环境干扰较多,加上其特征选取的不够精准,导致其检测鲁棒性很低,无法满足实际应用的需求。并且,用于计算的硬件集群,信息易被泄露、安全性能较低。因此,现有墙壁裂缝检测领域存在检测精度低、检测结果实用性差、结果反馈单一、安全性能较低的问题。
发明内容
本发明的目的在于针对上述现有技术存在的缺陷,提出一种基于区块链与BIM的墙壁裂缝检测系统,不仅结果反馈多元,而且提高了检测精度、检测结果实用性和数据处理过程中安全性能。
一种基于区块链与BIM的墙壁裂缝检测系统,该系统包括:
墙壁裂缝分割单元,用于对墙壁裂缝彩色图像进行分析,得到墙壁裂缝遮罩,该单元包括:墙壁裂缝分割编码器、墙壁裂缝分割解码器;
墙壁裂缝深度第一编码器,用于对墙壁裂缝深度图进行编码提取特征,得到第一特征图;
墙壁裂缝深度第二编码器,用于对第一特征图与墙壁裂缝分割编码器的输出接合得到的联合特征图进行编码提取特征,得到墙壁裂缝深度特征图;
全连接层,用于对墙壁裂缝深度特征图展开后得到的特征向量进行加权分类,得到墙壁裂缝深度估计结果;
墙壁裂缝面积估计单元,用于对墙壁裂缝遮罩进行连通域分析,求取墙壁裂缝面积,得到墙壁裂缝面积估计结果;
墙壁裂缝等级估计单元,用于对墙壁裂缝深度估计结果与墙壁裂缝面积估计结果进行综合分析,得到墙壁裂缝等级估计结果;
系统还包括计算集群,对于图像采集单元发送的图像数据,在计算集群中配置墙壁裂缝检测区块链私链,并执行网络推理,得到墙壁裂缝等级估计结果,并发送至建筑信息模型。
墙壁裂缝分割编码器,用于对墙壁裂缝彩色图像进行编码,得到墙壁裂缝语义特征图;
所述墙壁裂缝分割解码器,用于对墙壁裂缝语义特征图进行解码表征,得到墙壁裂缝遮罩。
对于图像采集单元发送的图像数据,在计算集群中配置墙壁裂缝检测区块链私链包括:
墙壁裂缝分割编码器、墙壁裂缝分割解码器、墙壁裂缝深度第一编码器、墙壁裂缝深度第二编码器、全连接层、墙壁裂缝面积估计单元、墙壁裂缝等级估计单元是墙壁裂缝检测深度神经网络的主要组成模块;
计算集群中所有节点加载墙壁裂缝检测深度神经网络所需参数,对于图像采集单元发送的图像数据,从计算集群中选择多个可用节点,将分别分布于不同可用节点的墙壁裂缝分割编码器、墙壁裂缝分割解码器、墙壁裂缝深度第一编码器、墙壁裂缝深度第二编码器、全连接层、墙壁裂缝面积估计单元、墙壁裂缝等级估计单元所需参数作为对应节点的区块数据,按照墙壁裂缝检测深度神经网络推理顺序将对应节点的区块连接,生成墙壁裂缝检测区块链私链。
选择多个可用节点包括:
随机生成M个随机数,随机数取值范围为[1,N],N为可用节点个数;
对M个随机数进行频率统计,将随机数按照出现频次进行排序,若频次相同则对相应数值按数值大小进行排序,取前B个随机数对应索引的节点作为选择的可用节点,B为区块个数。
区块链私链中的区块对其要传输至下一区块的神经网络推理中间结果数据进行加密,对其从上一区块接收到的神经网络推理中间结果数据进行解密。
区块采用RSA加密机制进行加密、解密操作。
对墙壁裂缝分割编码器、墙壁裂缝分割解码器、墙壁裂缝深度第一编码器、墙壁裂缝深度第二编码器、全连接层、墙壁裂缝面积估计单元、墙壁裂缝等级估计单元分别进行适当细分,将分别分布于不同节点的细分后的每一模块的参数作为区块数据,按照墙壁裂缝检测深度神经网络推理顺序,生成墙壁裂缝检测区块链私链。
图像采集单元采集的图像数据包括墙壁裂缝彩色图像以及墙壁裂缝深度图。
系统还包括可视化单元,建筑信息模型包括建筑三维模型建模信息、监控区域信息、墙壁裂缝等级估计结果,利用可视化单元进行建筑信息模型的可视化。
可视化单元包括:
初始化模块,用于从建筑信息模型获取建筑三维模型建模信息,结合Web GIS技术对建筑信息模型进行渲染,展示在前台Web页面,得到建筑信息模型的初始展示结果;
数据获取模块,用于从建筑信息模型获取监控区域信息、墙壁裂缝等级估计结果;
可视化模块,用于从根据监控区域信息的地理位置将监控区域信息、墙壁裂缝等级估计结果匹配至初始展示结果中,并根据异常预警信息对监控区域进行警示标记。
本发明与现有技术相比,具有以下有益效果:
1.本发明采用深度神经网络对墙壁裂缝进行检测,相比于传统的基于计算机视觉技术的识别技术,其使用大量样本,具有更好的泛化性能,提高了系统的稳定性和准确性。
2.本发明对深度神经网络输出的墙壁裂缝遮罩进行后处理得到墙壁裂缝面积,并综合墙壁裂缝面积与墙壁裂缝深度得到墙壁裂缝等级估计结果,所得结果更贴合实际评估标准。
3.本发明基于区块链技术,对墙壁裂缝检测深度神经网络进行合理划分,针对每个网络推理请求,动态生成区块链私链,相比于传统的单机执行,不仅提高了系统的并行性能,而且具有更好的容错性能。
4.本发明的区块链私链根据计算集群中可用节点实时生成,不易被篡改和攻击,具有更高的保密性能。
5.本发明对网络推理区块链私链之间的数据进行加密,防止区块链私链区块之间传输数据的泄露,保证传输数据的保密性,而且张量混淆加密操作计算方便,计算量小,在提高保密性能的同时不会增加系统负担。
6.本发明基于BIM技术设计建筑信息模型存储墙壁裂缝检测结果,并对建筑信息模型进行可视化,相比于传统的结果反馈,本发明的反馈结果更加多元化,包括建筑三维展示、警示标记、监控区域图像,能够使监管人员更加清晰明确地了解建筑中墙壁的裂缝情况。
附图说明
图1为本发明系统的神经网络结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图以及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明提供一种基于区块链与BIM的墙壁裂缝检测系统。首先,通过彩色面阵相机提取图像特征,得到墙壁裂缝的遮罩图像,然后运用深度传感器获取裂缝的深度信息,将深度信息与裂缝的区域大小信息融合,最终获得墙壁裂缝的开裂程度信息。图1为本发明系统的神经网络结构图。下面通过具体实施例来进行说明。
实施例一:
基于区块链与BIM的墙壁裂缝检测系统,该系统基于建筑信息模型进行墙壁裂缝检测。本发明的建筑信息模型包括需要维护管理的建筑的建模信息、监控区域信息、墙壁裂缝检测数据。
具体地,建筑信息模型(Building Information Modeling)是应用于建筑工程设计、建造、管理的数据化新工具,该信息模型集成了建筑项目周期内所有建筑数据。结合WebGIS等技术使用可视化软件可以实现建筑信息模型的可视化,为建筑设计、建筑管理提供便利。
本发明结合BIM技术对墙壁裂缝检测结果进行实时展示,并为监管人员提供预警信息。因此,本发明设计了建筑信息模型。本发明的建筑信息模型基于BIM技术。需要维护管理的建筑的建模信息包括建筑物内部结构信息,这些类型信息中同时包含相应的地理位置信息,结合Web GIS技术通过可视化软件可以对建筑物进行三维还原展示。监控区域信息包括监控区域地理位置信息、监控视觉传感器地理位置信息、监控视觉传感器摄取的图像、坐标变换矩阵。监控区域信息用于在可视化的建筑信息模型中还原监控区域图像。坐标变化矩阵用于将监控图像转换为可视化效果更好的图像,例如俯视图等。将墙壁裂缝检测数据集成到匹配的监控区域,以供监管人员查看。在本发明中,墙壁裂缝检测结果实时传输至建筑信息模型。
下面对如何获得墙壁裂缝检测结果进行详细说明。本发明通过对传感器采集到的一系列数据进行处理,采用深度学习的方法,得到墙壁裂缝的遮罩图像,然后运用深度传感器获取裂缝的深度信息,将深度信息与裂缝的面积信息融合,最终获得墙壁裂缝的开裂程度信息。需要说明的是,只若判别墙壁有无裂缝,不利于工地的高效管理。而墙壁裂缝的开裂等级信息真实的反应了建筑物的危险等级,该等级信息能够更好的帮助管理者做好统筹和安排。
本发明的墙壁裂缝检测深度神经网络包括墙壁裂缝语义分割子网络和墙壁裂缝深度估计子网络。墙壁裂缝语义分割子网络包括墙壁裂缝分割编码器、墙壁裂缝分割解码器;墙壁裂缝编码器用于对墙壁裂缝彩色图像编码提取特征,得到墙壁裂缝语义特征图;墙壁裂缝分割解码器,用于对墙壁裂缝语义特征图解码表征,得到墙壁裂缝遮罩。墙壁裂缝等级估计子网络包括墙壁裂缝深度第一编码器、墙壁裂缝深度第二编码器、全连接层;墙壁裂缝深度第一编码器,用于对墙壁裂缝深度图进行编码提取特征,得到第一特征图;墙壁裂缝深度第二编码器,用于对第一特征图与墙壁裂缝语义特征图接合得到的联合特征图进行编码提取特征,得到墙壁裂缝深度特征图;全连接层,用于对墙壁裂缝深度特征图进行加权分类,得到墙壁裂缝深度估计结果。
具体地,本发明的墙壁裂缝语义分割子网络,如图1所示:首先通过墙壁裂缝分割编码器EncoderA提取墙壁裂缝遮罩的墙壁裂缝语义特征图FeatureMapA,将得到的墙壁裂缝语义特征图输入墙壁裂缝分割解码器DecoderA,即可得到墙壁裂缝遮罩。需要说明的是,墙壁裂缝遮罩不但包含了当前像素是否为裂缝,而且还间接的得到了墙壁裂缝的所在位置信息。
在训练过程中,墙壁裂缝语义分割子网络输入的是彩色图片,输出是墙壁裂缝的遮罩信息,监督信息是经过人工标注的二值图像。所述二值图像指的是,墙壁裂缝的像素值标注为1,其他的背景像素信息标注为0。采用交叉熵损失对网络进行训练,即可得到墙壁裂缝的遮罩信息。至此,完成墙壁裂缝遮罩信息的提取。
墙壁裂缝的等级不但包括该裂缝有多深,而且还需要考虑当前的墙壁裂缝的面积大小信息。裂缝越深,表示该建筑越危险,裂缝等级越高;相应的,在裂缝深度一定的前提下,裂缝的面积越大,裂缝等级越高。
得到墙壁裂缝的遮罩信息以后,通过轮廓查找以及轮廓面积计算等后处理方式,得到墙壁裂缝的面积信息。并根据面积等级标准,确定墙壁裂缝的面积等级信息。因此,本发明设计了墙壁裂缝面积估计单元,用于对墙壁裂缝遮罩进行连通域分析,求取墙壁裂缝面积,然后将面积映射到面积等级,该面积等级即面积估计结果。具体地,实施者可以根据墙壁裂缝在图片中的占比设置对应的墙壁裂缝面积等级。
本发明的墙壁裂缝深度估计子网络,如图1所示:输入信息是深度传感器获取的深度信息,经过墙壁裂缝深度第一编码器EncoderB提取深度信息的特征,得到第一特征图FeatureMapB,该特征图包含了墙壁裂缝的深度信息。进一步的,由于FeatureMapA已经包含了裂缝区域的位置信息,因此将FeatureMapB与FeatureMapA包含的信息融合起来后,经过墙壁裂缝深度第二编码器EncoderC得到墙壁裂缝深度特征图FeatureMapC,来确定当前墙壁裂缝的开裂深度等级信息,同时排除了非裂缝区域的干扰信息。需要说明的是,FeatureMapB和FeatureMapA的信息融合是通过concat操作来实现的。concat操作需要两个特征图的尺寸保持一致。最后通过全连接层,得到墙壁裂缝的开裂深度等级信息,即墙壁裂缝深度估计结果。
针对墙壁裂缝深度估计子网络的训练过程,输入为深度传感器获取的墙壁裂缝的深度信息,输出为墙壁裂缝的深度等级信息。需要说明的是,本发明将墙壁裂缝的深度分为4个等级:无裂缝,其图像标签为0;轻微裂缝,其图像标签为1;中等裂缝,其图像标签为2;严重裂缝,其图像标签为3。标注信息由人工标注生成。具体的等级划分方法,实施者可以根据实际情况设置。例如,对于墙壁裂缝深度小于1mm的视为轻微裂缝,墙壁裂缝深度在1-2mm之间的,视为中等程度裂缝,需要加速修葺,对于墙壁裂缝深度超过2mm的,视为严重裂缝,应当重建或立即进行修葺。网络最终输出的数字索引代表了墙壁裂缝深度的不同等级信息。墙壁裂缝深度等级判别模块的损失函数采用交叉熵损失函数,对网络参数进行迭代更新。在墙壁裂缝等级估计单元,将裂缝深度等级和前述裂缝面积等级通过add操作相加起来,得到最终的墙壁裂缝等级。至此,完成墙壁裂缝的等级划分。
在神经网络中,编码器用于对输入的多通道二维数据进行特征提取,解码器对特征图进行上采样重构还原。编码器可以采用CNN Block、Res Block等。编码器、解码器可以有多种实现,本发明为了兼顾大小目标的尺寸,建议采用沙漏网络来提取特征,实施者也可根据图像大小和显存占用选取合适的神经网络内部的模块设计,如Residual Block、Bottleneck Block、CNN Block等。本发明的编码器、解码器、全连接网络具体采用何种网络设计,实施者可以根据具体实施需求选择,其模块化思想为本发明保护内容。
为了提高本发明系统的保密性能,防止数据泄露,本发明结合区块链技术设计了区块链私链。
在此,针对本发明区块链技术与DNN技术结合进行详细阐述。区块链采用块分割数据,使用链式数据结构,将数据作为块进行验证和存储,整个数据结构汇总不存在中心化的硬件和管理机构,实现了去中心化。一代区块链技术主要在分布式账本上进行应用,二代区块链技术主要实现智能合约,三代区块链技术可以将区块链思想与其他领域技术结合,有越来越多的呈现形式,更加注重为系统功能服务。区块链私链完整地继承了公链的特性,而且私链没有博弈机制的束缚,更关注实际应用的数据传输、加解密处理,能够更好地与其他领域的技术结合。对于人工智能中的深度神经网络计算而言,不必要存储中间结果数据,保留链式的逻辑以匹配神经网络前向传播的原理。
本发明考虑到了若将数据直接上传到计算集群进行处理,上传过程以及处理过程会产生明文的图像数据内容泄露问题,因此使用区块链私链的形式,将深度神经网络的不同模块作为区块,进行分散的推理,并对区块之间传输的数据进行加密处理,从而实现并行推理、容错、防止数据泄露的优秀性能。
基于上述思想,首先需要将墙壁裂缝分割编码器、墙壁裂缝分割解码器、墙壁裂缝深度第一编码器、墙壁裂缝深度第二编码器、全连接层、墙壁裂缝面积估计单元、墙壁裂缝等级估计单元作为网络的不同模块。如此,根据图1中所示的神经网络的推理顺序,即可得到墙壁裂缝检测深度神经网络推理链。需要说明的是,严格意义上,墙壁裂缝面积估计单元、墙壁裂缝等级估计单元属于对网络输出的后处理方式,但是从广义上讲,这两个单元也可以归于墙壁裂缝检测深度神经网络。本发明为了使各单元与后续区块链私链之间的关系更加清楚,采用广义的阐述方式,将上述两个单元归于本发明的深度神经网络。
实施者应当知道,每一帧从图像采集单元接收到的图像视为一个推理请求。系统还包括计算集群,计算集群中的所有节点载入墙壁裂缝检测深度神经网络所需权重、参数。计算集群是由多个计算节点组成的计算机集群,用于大数据计算。该计算集群可以是公有云,公有云的一个主机实例作为一个计算节点。针对每一个墙壁裂缝检测深度神经网络推理请求,从计算集群中选择多个可用节点,将分别分布于不同可用节点的墙壁裂缝分割编码器、墙壁裂缝分割解码器、墙壁裂缝深度第一编码器、墙壁裂缝深度第二编码器、全连接层、墙壁裂缝面积估计单元、墙壁裂缝等级估计单元所需权重、参数作为区块数据,如此即可得到分布于不同节点的多个区块。多个区块分别是墙壁裂缝分割编码器区块、墙壁裂缝分割解码器区块、墙壁裂缝深度第一编码器区块、墙壁裂缝深度第二编码器区块、全连接层区块、墙壁裂缝面积估计单元区块、墙壁裂缝等级估计单元区块。根据墙壁裂缝检测深度神经网络推理顺序,将上述区块连接,生成墙壁裂缝检测区块链私链,并执行墙壁裂缝检测深度神经网络推理,即可得到墙壁裂缝等级。
在选择可用节点以及进行节点排序时,随机生成M个随机数,随机数取值范围为[1,N],N为可用节点个数;对M个随机数进行频率统计,将随机数按照出现频次进行排序,若频次相同则对相应数值按数值大小进行排序,取前B个随机数对应索引的节点作为选择的可用节点,B为区块个数。具体地,在本实施例中,若可用节点有10个,随机生成100个[1,10]数字,将数值汇总后,按数值出现频率进行排序,频率若相同则按照数值大小排序。例如,数字6出现的频率最高,数字2次之,数字9出现的频率最低,那么本次节点索引选择顺序分别为[6,2,......,9]。取索引为6的节点,将节点中墙壁裂缝分割编码器所需权重等参数作为第一区块的区块数据;取索引为2的节点,将节点中墙壁裂缝分割解码器所需权重等参数作为第二区块的区块数据,并与第一区块链接,以此类推,按照神经网络推理顺序,生成了对应的墙壁裂缝检测区块链私链。神经网络推理顺序与区块链私链的链序是一致的。由此可见,在计算集群中可以同时存在多个针对不同请求生成的墙壁裂缝检测区块私链,并且,该区块私链是动态生成的,不易被攻击破解,保密性能更好。在根据推理顺序得到区块链私链后,同时根据推理顺序对推理请求进行网络推理计算。
神经网络的某些模块很难一次性放进一个节点,即某些模块的运算量较大,很难在短时间内完成计算。因此,可以事先将区块即上述编码器、解码器等单元进一步切分。对于进一步切分的粒度,实施者可以根据具体实施情况进行调整。在本实施例中,优选地,将墙壁裂缝分割编码器切分为3块,将墙壁裂缝分割解码器切分为3块,将墙壁裂缝深度第一编码器分为3块,将墙壁裂缝深度第二编码器分为3块,全连接层分为4块,其余单元可以不用切分。如此,根据神经网络的推理顺序,即可得到更加细分的墙壁裂缝检测深度神经网络推理链。相应地,针对每一个墙壁裂缝检测深度神经网络推理请求,从计算集群中选择多个可用节点,将分别分布于不同可用节点的细分后的子模块所需权重、参数作为区块数据,按照墙壁裂缝检测深度神经网络推理顺序,生成墙壁裂缝检测区块链私链。
同时,可以将图像采集单元作为区块,将其加入区块链私链,也就是说将相机端加入区块链私链,其中的相机参数作为区块数据。这样做的目的是通过后续的加密策略保证图像采集单元的输出是保密的,不易被截获、篡改。也可以将接收墙壁裂缝检测结果的监控中心所在节点加入区块链私链,这样做的目的是保证监控中心与计算集群之间数据传输的安全性。
进一步地,为了保证各个区块所接收到数据的完整性和安全性,防止在数据在传输过程中被攻击和篡改,需要对区块间传输的数据进行加密。也就是说,区块链私链节点到节点之间的数据传输是需要使用加密手段的,在此优选地使用RSA加密机制。
将上述加密算法应用到所有区块之间待传输的数据,完成对数据的加密操作。在数据输入到下一个区块之后,按照加密规则的逆向推理对其进行解密,从而完成了数据在计算节点之间的加密传输。
需要说明的是,墙壁裂缝检测深度神经网络模块之间即区块之间传输数据所需的加密参数应由可信节点生成。该可信节点可以是固定的,例如可以设置主节点,定期广播加密参数和分配表,以防加密参数被破解。然而,固定可信节点容易被攻击,因此,优选地,由计算集群中执行区块链私链的最后一个区块所在节点生成下一推理请求所需加密参数,并广播至计算集群中所有节点、终端集群以及监控中心。
为了直观地呈现监管建筑物的BIM信息状态,使工地管理者能够直观地获取当前区域的摄像机感知信息以及网络估计的墙壁裂缝的信息,本发明结合Web GIS可视化技术,利用可视化单元将上述BIM信息模型通过Web GIS技术在Web进行展示。
可视化单元,用于从建筑信息模型获取数据,结合Web GIS对建筑信息模型进行渲染,将墙壁裂缝情况展示在前台Web页面,可视化单元包括:
初始化模块,用于从建筑信息模型获取建筑建模所需信息,结合Web GIS技术对建筑信息模型进行渲染,展示在前台Web页面,得到建筑信息模型的初始展示结果。
数据获取模块,用于从建筑信息模型获取监控区域信息、墙壁裂缝检测结果。
墙壁裂缝可视化模块,用于从根据监控区域信息的地理位置将监控区域信息、墙壁裂缝检测结果匹配至初始展示结果中,并根据异常预警信息对监控区域进行警示标记。
当预测到有墙壁裂缝等级估计结果较高时,可以发出异常预警信息至BIM中,根据监控区域位置在可视化结果中进行警示标记,以便监管人员按照其地理位置坐标采取相应的预防与急救措施。
以上实施例仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于区块链与BIM的墙壁裂缝检测系统,其特征在于,该系统包括:
墙壁裂缝分割单元,用于对墙壁裂缝彩色图像进行分析,得到墙壁裂缝遮罩,该单元包括:墙壁裂缝分割编码器、墙壁裂缝分割解码器;
墙壁裂缝深度第一编码器,用于对墙壁裂缝深度图进行编码提取特征,得到第一特征图;
墙壁裂缝深度第二编码器,用于对第一特征图与墙壁裂缝分割编码器的输出接合得到的联合特征图进行编码提取特征,得到墙壁裂缝深度特征图;
全连接层,用于对墙壁裂缝深度特征图展开后得到的特征向量进行加权分类,得到墙壁裂缝深度估计结果;
墙壁裂缝面积估计单元,用于对墙壁裂缝遮罩进行连通域分析,求取墙壁裂缝面积,得到墙壁裂缝面积估计结果;
墙壁裂缝等级估计单元,用于对墙壁裂缝深度估计结果与墙壁裂缝面积估计结果进行综合分析,得到墙壁裂缝等级估计结果;
系统还包括计算集群,对于图像采集单元发送的图像数据,在计算集群中配置墙壁裂缝检测区块链私链,并执行网络推理,得到墙壁裂缝等级估计结果,并发送至建筑信息模型。
2.如权利要求1所述的系统,其特征在于,所述墙壁裂缝分割编码器,用于对墙壁裂缝彩色图像进行编码,得到墙壁裂缝语义特征图;
所述墙壁裂缝分割解码器,用于对墙壁裂缝语义特征图进行解码表征,得到墙壁裂缝遮罩。
3.如权利要求1所述的系统,其特征在于,所述对于图像采集单元发送的图像数据,在计算集群中配置墙壁裂缝检测区块链私链包括:
墙壁裂缝分割编码器、墙壁裂缝分割解码器、墙壁裂缝深度第一编码器、墙壁裂缝深度第二编码器、全连接网络、墙壁裂缝面积估计单元、墙壁裂缝等级估计单元是墙壁裂缝检测深度神经网络的主要组成模块;
计算集群中所有节点加载墙壁裂缝检测深度神经网络所需参数,对于图像采集单元发送的图像数据,从计算集群中选择多个可用节点,将分别分布于不同可用节点的墙壁裂缝分割编码器、墙壁裂缝分割解码器、墙壁裂缝深度第一编码器、墙壁裂缝深度第二编码器、全连接网络、墙壁裂缝面积估计单元、墙壁裂缝等级估计单元所需参数作为对应节点的区块数据,按照墙壁裂缝检测深度神经网络推理顺序将对应节点的区块连接,生成墙壁裂缝检测区块链私链。
4.如权利要求3所述的系统,其特征在于,所述选择多个可用节点包括:
随机生成M个随机数,随机数取值范围为[1,N],N为可用节点个数;
对M个随机数进行频率统计,将随机数按照出现频次进行排序,若频次相同则对相应数值按数值大小进行排序,取前B个随机数对应索引的节点作为选择的可用节点,B为区块个数。
5.如权利要求1-4任一项所述的系统,其特征在于,所述区块链私链中的区块对其要传输至下一区块的神经网络推理中间结果数据进行加密,对其从上一区块接收到的神经网络推理中间结果数据进行解密。
6.如权利要求5所述的系统,其特征在于,所述区块采用RSA加密机制进行加密、解密操作。
7.如权利要求5所述的系统,其特征在于,对墙壁裂缝分割编码器、墙壁裂缝分割解码器、墙壁裂缝深度第一编码器、墙壁裂缝深度第二编码器、全连接层、墙壁裂缝面积估计单元、墙壁裂缝等级估计单元分别进行适当细分,将分别分布于不同节点的细分后的每一模块的参数作为区块数据,按照墙壁裂缝检测深度神经网络推理顺序,生成墙壁裂缝检测区块链私链。
8.如权利要求1所述的系统,其特征在于,所述图像采集单元采集的图像数据包括墙壁裂缝区域彩色图像以及墙壁裂缝区域深度图像。
9.如权利要求1所述的系统,其特征在于,系统还包括可视化单元,建筑信息模型包括建筑三维模型建模信息、监控区域信息、墙壁裂缝等级估计结果,利用可视化单元进行建筑信息模型的可视化。
10.如权利要求9所述的系统,其特征在于,所述可视化单元包括:
初始化模块,用于从建筑信息模型获取建筑三维模型建模信息,结合Web GIS技术对建筑信息模型进行渲染,展示在前台Web页面,得到建筑信息模型的初始展示结果;
数据获取模块,用于从建筑信息模型获取监控区域信息、墙壁裂缝等级估计结果;
可视化模块,用于从根据监控区域信息的地理位置将监控区域信息、墙壁裂缝等级估计结果匹配至初始展示结果中,并根据异常预警信息对监控区域进行警示标记。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010383721.0A CN111524131A (zh) | 2020-05-08 | 2020-05-08 | 基于区块链与bim的墙壁裂缝检测系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010383721.0A CN111524131A (zh) | 2020-05-08 | 2020-05-08 | 基于区块链与bim的墙壁裂缝检测系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111524131A true CN111524131A (zh) | 2020-08-11 |
Family
ID=71905231
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010383721.0A Withdrawn CN111524131A (zh) | 2020-05-08 | 2020-05-08 | 基于区块链与bim的墙壁裂缝检测系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111524131A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112748116A (zh) * | 2020-12-23 | 2021-05-04 | 郑州金惠计算机系统工程有限公司 | 一种医用纱布表面缺陷在线检测方法与装置 |
WO2022221965A1 (es) * | 2021-04-21 | 2022-10-27 | Romero Oestreicher Pablo Eduardo | Procedimiento para la aplicacion de la metodologia sb2 |
-
2020
- 2020-05-08 CN CN202010383721.0A patent/CN111524131A/zh not_active Withdrawn
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112748116A (zh) * | 2020-12-23 | 2021-05-04 | 郑州金惠计算机系统工程有限公司 | 一种医用纱布表面缺陷在线检测方法与装置 |
WO2022221965A1 (es) * | 2021-04-21 | 2022-10-27 | Romero Oestreicher Pablo Eduardo | Procedimiento para la aplicacion de la metodologia sb2 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101044761B (zh) | 安全处理输入图像的方法 | |
CN111428694A (zh) | 基于区块链的智慧工地异常烟雾监测系统 | |
CN101044759B (zh) | 安全处理输入图像的方法 | |
CN111461075A (zh) | 结合深度神经网络与区块链的护栏翻越检测方法 | |
CN111524131A (zh) | 基于区块链与bim的墙壁裂缝检测系统 | |
CN106326997A (zh) | 一种用于自然灾害下电力抢修的gis数据库的建立方法 | |
CN111414499A (zh) | 基于区块链与bim的作业人员安全带佩戴检测系统 | |
CN111583068A (zh) | 结合区块链的施工区域人员停留时间热度统计方法 | |
CN115019008B (zh) | 一种智能3d模型设计分析服务管理平台 | |
Lin et al. | A reversible watermarking for authenticating 2D vector graphics based on bionic spider web | |
CN111414503A (zh) | 基于区块链与cim的木材堆积检测系统 | |
CN111414501A (zh) | 基于区块链与cim的木材易燃风险预测系统 | |
CN117692611B (zh) | 基于5g的安防图像传输方法及系统 | |
Su et al. | Visualized multiple image selection encryption based on log chaos system and multilayer cellular automata saliency detection | |
Li et al. | Study on copyright authentication of GIS vector data based on Zero-watermarking | |
Chern et al. | Impact of loss functions on semantic segmentation in far‐field monitoring | |
CN111476208A (zh) | 利用区块链的智慧工地施工人员聚集监测系统 | |
CN111414500A (zh) | 基于区块链与bim的钢丝绳断裂预警系统 | |
Dentoni et al. | A comprehensive methodology for the visual impact assessment of mines and quarries | |
CN112734612A (zh) | 基于gis和区块链技术的城市地下空间监测技术方案 | |
Chang et al. | Safety risk assessment of electric power operation site based on variable precision rough set | |
CN111414504A (zh) | 基于区块链与cim的工地漫水检测系统 | |
Oświȩcimka et al. | Multifractal cross-correlation effects in two-variable time series of complex network vertex observables | |
CN111414502A (zh) | 基于区块链与bim的钢丝绳毛刺检测系统 | |
CN111539373A (zh) | 结合区块链与dnn的施工人员安全鞋穿戴检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20200811 |
|
WW01 | Invention patent application withdrawn after publication |