CN111414502A - 基于区块链与bim的钢丝绳毛刺检测系统 - Google Patents
基于区块链与bim的钢丝绳毛刺检测系统 Download PDFInfo
- Publication number
- CN111414502A CN111414502A CN202010383719.3A CN202010383719A CN111414502A CN 111414502 A CN111414502 A CN 111414502A CN 202010383719 A CN202010383719 A CN 202010383719A CN 111414502 A CN111414502 A CN 111414502A
- Authority
- CN
- China
- Prior art keywords
- wire rope
- steel wire
- neural network
- encoder
- burr detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 229910000831 Steel Inorganic materials 0.000 title claims abstract description 118
- 239000010959 steel Substances 0.000 title claims abstract description 118
- 238000001514 detection method Methods 0.000 title claims abstract description 92
- 238000013528 artificial neural network Methods 0.000 claims abstract description 63
- 238000000034 method Methods 0.000 claims abstract description 18
- 238000007781 pre-processing Methods 0.000 claims abstract description 14
- 238000012544 monitoring process Methods 0.000 claims description 24
- 238000010276 construction Methods 0.000 claims description 21
- 238000005516 engineering process Methods 0.000 claims description 18
- 230000007246 mechanism Effects 0.000 claims description 15
- 238000002372 labelling Methods 0.000 claims description 12
- 238000012800 visualization Methods 0.000 claims description 12
- 238000011176 pooling Methods 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 5
- 230000002159 abnormal effect Effects 0.000 claims description 4
- 238000009877 rendering Methods 0.000 claims description 4
- 230000008521 reorganization Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 8
- 238000012545 processing Methods 0.000 abstract description 5
- 208000010392 Bone Fractures Diseases 0.000 description 9
- 206010017076 Fracture Diseases 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 8
- 238000013461 design Methods 0.000 description 6
- 238000005286 illumination Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000006798 recombination Effects 0.000 description 2
- 238000005215 recombination Methods 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 229910001294 Reinforcing steel Inorganic materials 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000004566 building material Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 239000011148 porous material Substances 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000003449 preventive effect Effects 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/483—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/08—Construction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/41—Analysis of texture based on statistical description of texture
- G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Economics (AREA)
- Tourism & Hospitality (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Health & Medical Sciences (AREA)
- General Business, Economics & Management (AREA)
- Probability & Statistics with Applications (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于区块链与BIM的钢丝绳毛刺检测系统。该系统包括:图像预处理单元、第一编码器、权重获取单元、权重附加单元、第二编码器、第一全连接网络,系统还包括计算集群,计算集群中所有节点加载训练好的钢丝绳毛刺检测深度神经网络所需参数,对于接收到的钢丝绳图像,在计算集群中配置钢丝绳检测深度神经网络区块链私链,并执行网络推理,得到钢丝绳毛刺检测结果。利用本发明,在钢丝绳毛刺检测中,不仅结果反馈多元,而且提高了检测精度和数据处理过程中安全性能。
Description
技术领域
本发明属于区块链、人工智能技术领域,具体涉及一种基于区块链与BIM的钢丝绳毛刺检测系统。
背景技术
随着我国经济的蓬勃快速发展,房地产以及建筑相关的行业也正在扮演越来越重要的角色。目前建筑工地的数量在不断的增多,随之而来的,工地内部的管理问题也日益突出。现代建筑由于其建筑高度越来越高,塔吊不可或缺。其承担了向高层运输钢筋、混凝土、钢管等施工原材料的重要作用。
塔吊钢丝绳是由多根细的钢丝通过特殊的设备编制而成的。钢丝绳随着运行次数的增加会产生磨损,其边缘处的钢丝会断裂,在外界拉力的作用下断裂的钢丝会呈向外扩散的趋势,不再紧贴在钢丝绳主体,从而产生断裂毛刺。若不及时进行修复或者更换,钢丝断线会越来越多,从而直接影响塔吊作用的安全性,大大增加重物掉落风险。
由于塔吊钢丝绳两端都是卷轴设备,最终是一层层的堆叠在一起,细微断线与毛刺无法及时发现。而运行过程中,作业空间有限,加之视野不足,单靠人工检测塔吊钢丝绳毛刺是不现实的。而且,目前的监督系统通常只返回异常结果,结果反馈单一。并且,用于计算的硬件系统,信息易被泄露、安全性能较低。
因此,现有钢丝绳毛刺检测存在检测效率低、结果反馈单一、安全性能较低的问题。
发明内容
本发明的目的在于针对上述现有技术存在的缺陷,提出一种基于区块链与BIM的钢丝绳毛刺检测系统,不仅结果反馈多元,而且提高了检测精度和数据处理过程中安全性能。
一种基于区块链与BIM的钢丝绳毛刺检测系统,该系统包括:
图像预处理单元,用于对钢丝绳图像进行同态滤波,对滤波后的图像进行阈值化处理提取钢丝绳区域,得到钢丝绳区域图像;
样本标注单元,用于对待训练的钢丝绳区域图像样本进行角点检测,根据角点检测结果将图像样本标注为具有毛刺的样本或没有毛刺的样本;
第一编码器,用于对钢丝绳区域图像进行初始特征提取,扩增通道;
权重获取单元,用于基于注意力机制获取第一编码器输出特征的空间权重;
权重附加单元,用于将空间权重附加到第一编码器输出的特征上,增强钢丝绳区域的权重;
第二编码器,用于对权重附加单元输出的张量进行编码,提取特征;
第一全连接网络,用于对第二编码器输出的特征进行加权分类,输出钢丝绳毛刺检测结果;
图像预处理单元、第一编码器、权重获取单元、权重附加单元、第二编码器、第一全连接网络是钢丝绳毛刺检测深度神经网络的主要组成模块;
系统还包括计算集群,对于接收到的钢丝绳图像,在计算集群中配置钢丝绳毛刺检测深度神经网络区块链私链,并执行网络推理,得到钢丝绳毛刺检测结果,并发送至工地区域建筑信息模型。
进一步地,样本标注单元对带训练的钢丝绳区域图像样本进行标注后,输入钢丝绳毛刺检测深度神经网络,基于交叉熵损失函数进行训练,得到训练好的钢丝绳毛刺检测深度神经网络。
进一步地,权重获取单元具体包括:池化模块,用于对第一编码器输出张量分别进行通道维度的最大池化和平均池化,得到相应的特征图;第三编码器,用于对池化模块输出的特征图接合得到的张量进行特征提取;激活模块,用于对第三编码器的输出进行激活归一化,得到空间权重。
进一步地,对于接收到的钢丝绳图像,在计算集群中配置钢丝绳毛刺检测深度神经网络区块链私链包括:
计算集群中所有节点加载训练好的钢丝绳毛刺检测深度神经网络所需参数;
对于接收到的钢丝绳图像,从计算集群中选择多个可用节点,将分别分布于不同可用节点的图像预处理单元、第一编码器、权重获取单元、权重附加单元、第二编码器、第一全连接网络是钢丝绳毛刺检测深度神经网络所需参数作为对应节点的区块数据,按照钢丝绳毛刺检测深度神经网络推理顺序将区块连接,生成钢丝绳毛刺检测深度神经网络区块链私链。
进一步地,区块链私链中的区块对其要传输至下一区块的神经网络推理中间结果数据进行加密,对其从上一区块接收到的神经网络推理中间结果数据进行解密。
进一步地,区块进行加密、解密操作的遵循的加密机制包括特征图重组加密机制:
设区块输出的张量尺寸为C*H*W,将张量在H维度或在W维度进行重组,根据随机数序列中数值的大小索引,对H维度或W维度的数据进行重新排列。
进一步地,对图像预处理单元、第一编码器、权重获取单元、权重附加单元、第二编码器、第一全连接网络分别进行适当细分,将分别分布于不同节点的细分后的每一模块的参数作为区块数据,按照钢丝绳毛刺检测深度神经网络推理顺序,生成钢丝绳毛刺检测深度神经网络区块链私链。
进一步地,工地区域建筑信息模型基于BIM技术构建,包括工地场景建模信息、监控区域信息、钢丝绳毛刺检测结果。
进一步地,系统利用可视化单元结合Web GIS技术对工地区域建筑信息模型进行可视化,可视化单元包括:
初始化模块,用于从工地区域建筑信息模型获取工地场景建模信息,结合Web GIS技术对工地区域建筑信息模型进行渲染,展示在前台Web页面,得到工地区域建筑信息模型的初始展示结果;
数据获取模块,用于从工地区域建筑信息模型获取监控区域信息、钢丝绳毛刺检测结果;
可视化模块,用于从根据监控区域信息的地理位置将监控区域信息、钢丝绳毛刺检测结果匹配至初始展示结果中,并根据异常预警信息对监控区域进行警示标记。
进一步地,该系统包括数据采集单元,用于采集钢丝绳图像。
本发明与现有技术相比,具有以下有益效果:
1.本发明采用深度神经网络对钢丝绳图像进行分析,得到钢丝绳毛刺检测结果,相比于传统的人工监测方式,不仅检测效率更高,而且可以获得较高的检测精度。
2.本发明基于角点检测的方式对预处理后的钢丝绳图像进行自动标注,相比于传统的人工标注方法,不仅标注结果更加客观,标注精度更高,而且也提高了标注效率。
3.本发明基于区块链技术,对钢丝绳断毛刺检测深度神经网络进行合理划分,针对每个网络推理请求,动态生成区块链私链,相比于传统的单机执行,不仅提高了系统的并行性能,而且具有更好的容错性能。
4.本发明的区块链私链根据服务器集群中可用节点实时生成,不易被篡改和攻击,具有更高的保密性能。
5.本发明对网络推理区块链私链之间的数据进行加密,防止区块链私链区块之间传输数据的泄露,保证传输数据的保密性,而且特征图重组加密方法对系统负担小,加密解密速度快。
6.本发明基于BIM技术设计工地区域建筑信息模型存储钢丝绳毛刺检测结果,并对工地区域建筑信息模型进行可视化,相比于传统的结果反馈,本发明的反馈结果更加多元化,包括工地区域三维展示、警示标记、钢丝绳图像,能够使监管人员更加清晰明确地了解钢丝绳状态。
附图说明
图1为本发明系统的神经网络结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图以及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明提供一种基于区块链与BIM的钢丝绳毛刺检测系统,采用基于注意力机制的深度神经网络,通过样本自动标注的方法,生成样本信息,并对采集到的图像信息进行分类,从而判断钢丝绳的断丝毛刺情况。本发明建立BIM建筑信息模型,通过Web GIS将预测到的当前区域钢丝绳断线信息在Web端显示并发出预警。为了防止深度神经网络被篡改,本发明采用区块链的思想对所述的基于注意力机制的深度神经网络每个模块进行加密,并实现各个模块的分布式计算,从而增强深度神经网络的数据安全性,稳定性和容灾性。图1为本发明系统的神经网络结构图。下面通过具体实施例来进行说明。
实施例一:
基于区块链与BIM的钢丝绳断裂预警预测系统,该系统基于工地区域建筑信息模型进行钢丝绳毛刺检测。工地区域建筑信息模型包括工地场景建模信息、监控区域信息、钢丝绳毛刺检测结果。
具体地,建筑信息模型(Building Information Modeling)是应用于建筑工程设计、建造、管理的数据化新工具,该信息模型集成了建筑项目周期内所有建筑数据。结合WebGIS等技术使用可视化软件可以实现建筑信息模型的可视化,为建筑设计、建筑管理提供便利。
本发明结合BIM对钢丝绳毛刺检测情况进行实时展示,并为监管人员提供预警信息。因此,本发明设计了工地区域建筑信息模型。工地区域建筑信息模型基于BIM技术,包括工地场景建模信息、监控区域信息、人员密度数据。其中,工地场景建模信息包括工地建筑物信息、工地建材放置信息、工人工作区域信息等各种工地场景信息,这些类型信息中同时包含相应的地理位置信息,结合Web GIS技术通过可视化软件可以对工地的三维场景进行还原展示。监控区域信息包括监控区域地理位置信息、监控视觉传感器地理位置信息、监控视觉传感器摄取的图像、坐标变换矩阵。监控区域信息用于在可视化的工地区域建筑信息模型中还原监控区域图像。坐标变化矩阵用于将监控图像转换为可视化效果更好的图像,例如俯视图等。钢丝绳毛刺检测结果集成到匹配的监控区域,以供监管人员查看。在本发明中,钢丝绳毛刺检测结果实时传输至工地区域建筑信息模型。
下面对如何获得钢丝绳毛刺检测结果进行详细说明。本发明通过对传感器采集到的一系列数据进行处理,采用深度学习的方法,提取传感器感知信息的特征,达到检测钢丝绳毛刺的目的。
众所周知,钢丝绳是由多根细的钢丝通过特殊的设备编制而成的。当钢丝绳磨损之后,边缘的钢丝会断裂,即出现断丝现象,在外界拉力的作用下断丝会呈向外扩散的趋势,不再紧贴在钢丝绳主体,从而产生断裂毛刺。
本发明中采用的是彩色面阵相机,相机设置在塔吊的水平龙门架的滑轮处,来拍摄与地面垂直部位的钢丝绳图像。另外,由于所关注的钢丝绳毛刺信息目标较小,考虑到普通彩色面阵相机分辨率不会非常高,本发明中面阵相机只关注一小截钢丝绳的区域,然后在作业过程中,通过钢丝绳的运动来达到对处于作业范围内的钢丝绳的处理。
采用面阵彩色相机采集图像信息,目的是全面兼顾钢丝绳的断裂产生的毛刺信息。另外,通过设置图像采集设备的软触发拍照机制,来获取图像信息。当塔吊开始运转时,通过软触发间隔一定的时间采集一次图像。设置的触发时间采集的相邻两张图像要有一定区域的重叠,防止漏拍。当塔吊停止运转时,停止采集图像。
由于工地作业场景复杂,光照不稳定,因此采用预处理模块对摄像头采集的图片进行预处理。具体的,首先采用同态滤波算法,去除坏境光照的干扰,解决光照不均匀的问题。需要说明的是,同态滤波算法的原理是公知的,利用非线性算子对灰度图像进行非线性映射,解耦照射分量和反射分量:通过傅里叶变换将解耦的照射分量和反射分量变换至频域;利用高斯高通滤波器分别对照射分量的频域数据和反射分量的频域数据进行滤波,得到滤波频域数据:对滤波频域数据进行傅里叶反变换、指数变换,得到同态滤波后图像。
进一步地,根据钢丝绳区域与背景对比明显的特征,采用大津阈值法,从而得到阈值化后的二值图像,其中白色区域代表钢丝绳区域,黑色区域代表背景区域。提取钢丝绳区域前景,从而将其从背景中分离出来,最终获得了去除了背景干扰信息的钢丝绳区域图像。该区域包括钢丝绳主体以及由于断裂产生的向外扩张的毛刺区域。
众所周知,正常的钢丝绳边缘时平滑的,没有凸起或者凹陷,而由于断裂后产生毛刺的钢丝绳边缘会存在凸起,形成清晰的角点特征。因此,本发明根据钢丝绳边缘是否存在角点来自动标注样本。采用边缘检测算法,获取钢丝绳区域的边缘信息。
角点检测是使用一个固定窗口在图像上进行任意方向上的滑动,比较滑动前与滑动后两种情况,窗口中的像素灰度变化程度,如果存在任意方向上的滑动,都有着较大灰度变化,那么我们可以认为该窗口中存在角点。
具体角点的计算方式采用OpenCV中Harris corner角点检测方法。其中,需要自定义角点检测参数来确定检测出来的角点数量。定义角点检测的邻域大小blocksize,该blocksize代表角点的搜索范围大小;ksize指的是使用Sobel衍生物的孔径参数;k指的是哈里斯检测器自由参数,其中0.04<k<0.06。
实施者可以根据上述三个参数,以及现场的实际情况来确定检测出来的角点数量。本事实例中三个参数的取值分别为blocksize=3,ksize=3,k=0.045。若当前图像检测出的角点数量大于0,则说明存在毛刺,并将其标注为负样本;反之,若当前图像检测出的角点数量为0,将其标注为正样本。
至此,完成图像自动标注过程。
由于断裂产生的毛刺区域目标范围较小,与正常样本区别不明显,另外,毛刺的具体位置也不固定,若采用普通分类网络对本发明数据进行处理,准确率不能满足要求。因此,本发明采用基于空间注意力机制的深度神经网络分类算法提取图像样本的特征,聚焦由于断裂产生的毛刺信息,过滤其他干扰信息。
对第一编码器输出的信息进行处理:假设当前featureMap的尺寸为N*H*W,其中N为通道数,H,W分别为高和宽。在每个像素位置增加一个权重βn,来代表该像素与关键信息的相关程度,该权重βn越大,代表相关程度越高,对分类结果的贡献越大。也就是空间域注意力机制需要注意到该位置的像素信息,其中n代表像素位置索引。
空间注意力是以通道为单位进行最大和平均迟化。具体的,如图1所示,池化模块对现有的特征图进行基于通道的平均池化和最大池化,并将两者的结果进行concat得到了尺寸为2*w*h特征图,之后再采用第三编码器将其降成1*w*h的特征图,最后通过激活模块的激活函数得到空间权重,再在权重附加单元将该权重和输入特征进行点积,从而实现空间注意力机制,通过迭代学习,更新参数βn,即可得到基于空间域的注意力表示,继而增强对不同位置的细小毛刺信息的表征能力。进一步的通过第二编码器继续对权重附加单元输出的特征图提取特征,并利用第一全连接网络进行加权分类。在训练时,钢丝绳毛刺检测深度神经网络的输入是钢丝绳区域图像,标注数据是是否有毛刺,利用交叉熵损失函数对该网络进行训练。模型训练完成后,通过模型预测,即可实现对塔吊钢丝绳的实时监测,当检测到有断裂风险信息时,立即发出警告,并提醒施工人员采取相应的措施,从而减少因此带来的经济损失。
在神经网络中,编码器用于对输入的多通道二维数据进行特征提取。编码器可以采用CNN Block、Res Block等。编码器、解码器可以有多种实现,本发明为了兼顾大小目标的尺寸,建议采用沙漏网络来提取特征,实施者也可根据图像大小和显存占用选取合适的神经网络内部的模块设计,如Residual Block、Bottleneck Block、CNN Block等。本发明的编码器、解码器、全连接网络具体采用何种网络设计,实施者可以根据具体实施需求选择,其模块化思想为本发明保护内容。
为了提高本发明系统的保密性能,防止数据泄露,本发明结合区块链技术设计了区块链私链。
在此,针对本发明区块链技术与DNN技术结合进行详细阐述。区块链采用块分割数据,使用链式数据结构,将数据作为块进行验证和存储,整个数据结构汇总不存在中心化的硬件和管理机构,实现了去中心化。一代区块链技术主要在分布式账本上进行应用,二代区块链技术主要实现智能合约,三代区块链技术可以将区块链思想与其他领域技术结合,有越来越多的呈现形式,更加注重为系统功能服务。区块链私链完整地继承了公链的特性,而且私链没有博弈机制的束缚,更关注实际应用的数据传输、加解密处理,能够更好地与其他领域的技术结合。对于人工智能中的深度神经网络计算而言,不必要存储中间结果数据,保留链式的逻辑以匹配神经网络前向传播的原理。
本发明考虑到了若将数据直接上传到进行处理,上传过程以及处理过程会产生明文的图像数据内容泄露问题,因此使用区块链私链的形式,将深度神经网络的不同模块作为区块,进行分散的推理,并对区块之间传输的数据进行加密处理,从而实现并行推理、容错、防止数据泄露的优秀性能。
基于上述思想,首先需要将钢丝绳毛刺检测深度神经网络进行模块划分,将图像预处理单元、第一编码器、权重获取单元、权重附加单元、第二编码器、第一全连接网络作为网络的不同模块。如此,根据图1中所示的神经网络的推理顺序,即可得到钢丝绳毛刺检测深度神经网络推理链。
系统还包括服务器集群,服务器集群中的所有节点载入钢丝绳毛刺检测深度神经网络所需权重、参数;针对每一个钢丝绳毛刺检测深度神经网络推理请求,从服务器集群中选择多个可用节点,将分别分布于不同可用节点的图像预处理单元、第一编码器、权重获取单元、权重附加单元、第二编码器、第一全连接网络所需权重、参数作为对应节点的区块数据。如此可以得到分布于不同节点的图像预处理单元区块、第一编码器区块、权重获取单元区块、权重附加单元区块、第二编码器区块、第一全连接网络区块。根据钢丝绳毛刺检测深度神经网络推理顺序将上述区块连接,生成钢丝绳毛刺检测深度神经网络推理区块链私链,并执行钢丝绳毛刺检测深度神经网络推理。区块链私链链序与网络推理链序是一致的,如图1所示。
在选择可用节点以及进行节点排序时,优选地,对服务器集群中可用的节点进行随机排序,从中挑选与区块数相同个数的计算节点。例如,可用节点有10个,从中挑选6个节点,随机取一节点,将节点中图像预处理单元所需参数作为区块数据;随机取另一节点,将节点中第一编码器所需权重等参数作为区块数据,并与上一区块链接,以此类推,根据神经网络推理顺序,生成了对应的钢丝绳毛刺检测深度神经网络推理区块链私链。由此可见,在服务器集群中可以同时存在多个针对不同请求生成的钢丝绳毛刺检测深度神经网络推理区块私链,并且,该区块私链是动态生成的,不易被攻击破解,保密性能更好。在根据推理顺序得到区块链私链后,同时根据推理顺序对推理请求进行网络推理计算。
神经网络的某些模块很难一次性放进一个节点,即某些模块的运算量较大,很难在短时间内完成计算。因此,可以事先将区块即上述编码器、解码器进一步切分。对于进一步切分的粒度,实施者可以根据具体实施情况进行调整。在本实施例中,优选地,将第一编码器切分为3块,将权重获取单元切分为3块,将第二编码器分为3块,第一全连接网络分为4块,其余单元可以不用划分。如此,根据神经网络的推理顺序,即可得到更加细分的钢丝绳毛刺检测深度神经网络推理链。相应地,针对每一个钢丝绳毛刺检测深度神经网络推理请求,从服务器集群中选择多个可用节点,将分别分布于不同可用节点的细分后的钢丝绳分割编码器、钢丝绳分割解码器、断丝毛刺区域提取单元、断丝毛刺区域提取单元、边缘信息提取单元、全连接层的子模块所需权重、参数作为区块数据,根据钢丝绳毛刺检测深度神经网络推理顺序,生成钢丝绳毛刺检测深度神经网络推理区块链私链。
同时,可以将数据采集单元作为区块,将其加入区块链私链,这样做的目的是通过后续的加密策略保证图像采集单元的输出是保密的,不易被截获、篡改。另外,也可以将接收检测数据的监控中心加入区块链私链,这样做的目的是保证服务器集群与监控中心之间数据传输的保密性,防止数据泄露。
进一步地,为了保证各个区块所接收到数据的完整性和安全性,防止在数据在传输过程中被攻击和篡改,需要对区块间传输的数据进行加密。也就是说,区块链私链节点到节点之间的数据传输是需要使用加密手段的,在此优选地使用特征图重组加密机制。
具体地,若某一区块输出的张量尺寸为C*H*W,C、H、W分别为张量的通道数、高、宽。那么,将张量在H维度也就是高这一维度进行重组。根据随机数序列的大小索引,对H维度的数据进行重新排列。例如,针对H维度的5行数据生成的随机数序列为5,3,4,1,2,那么,将5行数据按照随机数序列的大小索引[5,3,4,1,2]排列,即原第5行数据作为第1行数据,原第3行数据作为第2行数据,以此类推。也可以在W维度也就是宽这一维度进行重组,方法与H维度相似。如果某一模块的输出为向量,针对向量的元素生成随机数序列进行重组即可。如果向量维度很高,将其变换为二维,进行相应变换即可。如果某一模块的输出为一个数据,对其二进制位进行位重组即可,也可以使用通用加密算法。
将上述加密算法应用到所有区块之间待传输的数据,完成对数据的加密操作。在数据输入到下一个区块之后,按照加密规则的逆向推理对其进行解密,从而完成了数据在计算节点之间的加密传输。
需要说明的是,钢丝绳毛刺检测深度神经网络模块之间即区块之间传输数据所需的加密参数应由可信节点生成。该可信节点可以是固定的,例如可以设置主节点,定期广播加密参数和分配表,以防加密参数被破解。然而,固定可信节点容易被攻击,因此,优选地,由区块链私链的最后一个区块所在节点生成下一推理请求所需加密参数,并广播至服务器集群中所有节点。
为了直观地呈现当前工地区域的BIM信息状态,使工地管理者能够直观地获取当前区域的摄像机感知信息以及网络输出的钢丝绳毛刺检测的信息,本发明结合Web GIS可视化技术,将上述BIM信息模型通过Web GIS技术在Web进行展示。
可视化单元,用于从工地区域建筑信息模型获取数据,结合Web GIS对工地区域建筑信息模型进行渲染,将钢丝绳断裂情况展示在前台Web页面。
初始化模块,用于从工地区域建筑信息模型获取工地场景建模信息,结合Web GIS技术对工地区域建筑信息模型进行渲染,展示在前台Web页面,得到工地区域建筑信息模型的初始展示结果。
数据获取模块,用于从工地区域建筑信息模型获取监控区域信息、钢丝绳毛刺检测情况。
钢丝绳毛刺检测可视化模块,用于从根据监控区域信息的地理位置将监控区域信息、钢丝绳毛刺检测情况匹配至初始展示结果中,并根据异常预警信息对监控区域进行警示标记。
同时,当检测到钢丝绳毛刺较多时,可以发出警报,以便监管人员按照其地理位置坐标采取相应的预防与急救措施。
以上实施例仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于区块链与BIM的钢丝绳毛刺检测系统,其特征在于,该系统包括:
图像预处理单元,用于对钢丝绳图像进行同态滤波,对滤波后的图像进行阈值化处理提取钢丝绳区域,得到钢丝绳区域图像;
样本标注单元,用于对待训练的钢丝绳区域图像样本进行角点检测,根据角点检测结果将图像样本标注为具有毛刺的样本或没有毛刺的样本;
第一编码器,用于对钢丝绳区域图像进行初始特征提取,扩增通道;
权重获取单元,用于基于注意力机制获取第一编码器输出特征的空间权重;
权重附加单元,用于将空间权重附加到第一编码器输出的特征上,增强钢丝绳区域的权重;
第二编码器,用于对权重附加单元输出的张量进行编码,提取特征;
第一全连接网络,用于对第二编码器输出的特征进行加权分类,输出钢丝绳毛刺检测结果;
图像预处理单元、第一编码器、权重获取单元、权重附加单元、第二编码器、第一全连接网络是钢丝绳毛刺检测深度神经网络的主要组成模块;
系统还包括计算集群,对于接收到的钢丝绳图像,在计算集群中配置钢丝绳毛刺检测深度神经网络区块链私链,并执行网络推理,得到钢丝绳毛刺检测结果,并发送至工地区域建筑信息模型。
2.如权利要求1所述的系统,其特征在于,样本标注单元对带训练的钢丝绳区域图像样本进行标注后,输入钢丝绳毛刺检测深度神经网络,基于交叉熵损失函数进行训练,得到训练好的钢丝绳毛刺检测深度神经网络。
3.如权利要求1所述的系统,其特征在于,所述空间权重获取单元具体包括:池化模块,用于对第一编码器输出张量分别进行通道维度的最大池化和平均池化,得到相应的特征图;第三编码器,用于对池化模块输出的特征图接合得到的张量进行特征提取;激活模块,用于对第三编码器的输出进行激活归一化,得到空间权重。
4.如权利要求1所述的系统,其特征在于,所述对于接收到的钢丝绳图像,在计算集群中配置钢丝绳检测深度神经网络区块链私链包括:
计算集群中所有节点加载训练好的钢丝绳毛刺检测深度神经网络所需参数;
对于接收到的钢丝绳图像,从计算集群中选择多个可用节点,将分别分布于不同可用节点的图像预处理单元、第一编码器、权重获取单元、权重附加单元、第二编码器、第一全连接网络是钢丝绳毛刺检测深度神经网络所需参数作为对应节点的区块数据,按照钢丝绳毛刺检测深度神经网络推理顺序将区块连接,生成钢丝绳毛刺检测深度神经网络区块链私链。
5.如权利要求4所述的系统,其特征在于,所述区块链私链中的区块对其要传输至下一区块的神经网络推理中间结果数据进行加密,对其从上一区块接收到的神经网络推理中间结果数据进行解密。
6.如权利要求5所述的系统,其特征在于,所述区块进行加密、解密操作的遵循的加密机制包括特征图重组加密机制:
设区块输出的张量尺寸为C*H*W,将张量在H维度或在W维度进行重组,根据随机数序列中数值的大小索引,对H维度或W维度的数据进行重新排列。
7.如权利要求1所述的系统,其特征在于,对图像预处理单元、第一编码器、权重获取单元、权重附加单元、第二编码器、第一全连接网络分别进行适当细分,将分别分布于不同节点的细分后的每一模块的参数作为区块数据,按照钢丝绳毛刺检测深度神经网络推理顺序,生成钢丝绳毛刺检测深度神经网络区块链私链。
8.如权利要求1所述的系统,其特征在于,所述工地区域建筑信息模型基于BIM技术构建,包括工地场景建模信息、监控区域信息、钢丝绳毛刺检测结果。
9.如权利要求1所述的系统,其特征在于,系统利用可视化单元结合Web GIS技术对工地区域建筑信息模型进行可视化,可视化单元包括:
初始化模块,用于从工地区域建筑信息模型获取工地场景建模信息,结合Web GIS技术对工地区域建筑信息模型进行渲染,展示在前台Web页面,得到工地区域建筑信息模型的初始展示结果;
数据获取模块,用于从工地区域建筑信息模型获取监控区域信息、钢丝绳毛刺检测结果;
可视化模块,用于从根据监控区域信息的地理位置将监控区域信息、钢丝绳毛刺检测结果匹配至初始展示结果中,并根据异常预警信息对监控区域进行警示标记。
10.如权利要求1所述的系统,其特征在于,该系统包括数据采集单元,用于采集钢丝绳图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010383719.3A CN111414502A (zh) | 2020-05-08 | 2020-05-08 | 基于区块链与bim的钢丝绳毛刺检测系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010383719.3A CN111414502A (zh) | 2020-05-08 | 2020-05-08 | 基于区块链与bim的钢丝绳毛刺检测系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111414502A true CN111414502A (zh) | 2020-07-14 |
Family
ID=71493800
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010383719.3A Withdrawn CN111414502A (zh) | 2020-05-08 | 2020-05-08 | 基于区块链与bim的钢丝绳毛刺检测系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111414502A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023063874A1 (en) * | 2021-10-14 | 2023-04-20 | Exo Imaging, Inc. | Method and system for image processing based on convolutional neural network |
-
2020
- 2020-05-08 CN CN202010383719.3A patent/CN111414502A/zh not_active Withdrawn
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023063874A1 (en) * | 2021-10-14 | 2023-04-20 | Exo Imaging, Inc. | Method and system for image processing based on convolutional neural network |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Mansouri et al. | A novel one-dimensional sine powered chaotic map and its application in a new image encryption scheme | |
CN111461075A (zh) | 结合深度神经网络与区块链的护栏翻越检测方法 | |
CN111414499A (zh) | 基于区块链与bim的作业人员安全带佩戴检测系统 | |
CN101615286B (zh) | 一种基于图像灰度游程直方图分析的盲信息隐藏检测方法 | |
CN102722858B (zh) | 基于对称邻域信息的盲隐写分析方法 | |
Ping et al. | Generating visually secure encrypted images by partial block pairing-substitution and semi-tensor product compressed sensing | |
CN103049739A (zh) | 一种输电线路智能监控中树木检测方法 | |
Liu et al. | Image encryption via complementary embedding algorithm and new spatiotemporal chaotic system | |
CN108875389B (zh) | 一种基于混沌映射的动态s盒构造与图像加密方法 | |
CN111414500A (zh) | 基于区块链与bim的钢丝绳断裂预警系统 | |
CN111627006A (zh) | 基于区块链和cim的集装箱锁孔堵塞检测方法 | |
GB2607440A (en) | Method and apparatus for determining encryption mask, device and storage medium | |
Su et al. | Visualized multiple image selection encryption based on log chaos system and multilayer cellular automata saliency detection | |
CN111583068A (zh) | 结合区块链的施工区域人员停留时间热度统计方法 | |
CN111414502A (zh) | 基于区块链与bim的钢丝绳毛刺检测系统 | |
CN111524131A (zh) | 基于区块链与bim的墙壁裂缝检测系统 | |
CN111414503A (zh) | 基于区块链与cim的木材堆积检测系统 | |
CN111414501A (zh) | 基于区块链与cim的木材易燃风险预测系统 | |
CN113780237A (zh) | 一种地下管线的防外力破坏预警方法、装置及系统 | |
KR20210119982A (ko) | 센서 장치, 암호화 방법 | |
CN111414504A (zh) | 基于区块链与cim的工地漫水检测系统 | |
CN113139922B (zh) | 图像去雾方法及去雾装置 | |
CN111539373A (zh) | 结合区块链与dnn的施工人员安全鞋穿戴检测方法 | |
CN111563669A (zh) | 基于区块链的智慧工地钢材堆积高度预警系统 | |
CN111553270A (zh) | 基于区块链的智慧工地水泥袋堆积监测系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20200714 |
|
WW01 | Invention patent application withdrawn after publication |