CN111414499A - 基于区块链与bim的作业人员安全带佩戴检测系统 - Google Patents
基于区块链与bim的作业人员安全带佩戴检测系统 Download PDFInfo
- Publication number
- CN111414499A CN111414499A CN202010382855.0A CN202010382855A CN111414499A CN 111414499 A CN111414499 A CN 111414499A CN 202010382855 A CN202010382855 A CN 202010382855A CN 111414499 A CN111414499 A CN 111414499A
- Authority
- CN
- China
- Prior art keywords
- safety belt
- encoder
- segmentation
- channel
- operator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 100
- 230000011218 segmentation Effects 0.000 claims abstract description 80
- 238000013528 artificial neural network Methods 0.000 claims abstract description 56
- 238000012544 monitoring process Methods 0.000 claims abstract description 37
- 238000010276 construction Methods 0.000 claims description 27
- 238000005516 engineering process Methods 0.000 claims description 18
- 230000007246 mechanism Effects 0.000 claims description 18
- 238000011176 pooling Methods 0.000 claims description 17
- 238000012800 visualization Methods 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 9
- 125000004122 cyclic group Chemical group 0.000 claims description 7
- 230000002159 abnormal effect Effects 0.000 claims description 5
- 238000009877 rendering Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 238000000034 method Methods 0.000 abstract description 14
- 238000004364 calculation method Methods 0.000 abstract description 7
- 238000012545 processing Methods 0.000 abstract description 7
- 230000008569 process Effects 0.000 abstract description 5
- 230000005540 biological transmission Effects 0.000 description 7
- 238000013461 design Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 238000007726 management method Methods 0.000 description 5
- 229910000831 Steel Inorganic materials 0.000 description 3
- 239000010959 steel Substances 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000003449 preventive effect Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/483—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/08—Construction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于区块链与BIM的作业人员安全带佩戴检测系统。该系统包括:作业人员检测编码器、作业人员定位单元、安全带分割第一编码器、通道权重附加单元、安全带分割第二编码器、安全带分割第一解码器、空间权重附加单元、安全带分割第二解码器,系统还包括计算集群,计算集群中所有节点加载安全带佩戴检测深度神经网络所需参数,对于接收到的监控区域图像,在计算集群中配置安全带佩戴检测深度神经网络区块链私链,并执行网络推理,得到安全带佩戴检测结果。利用本发明,在作业人员安全带佩戴检测中,不仅结果反馈多元,而且提高了检测精度和数据处理过程中安全性能。
Description
技术领域
本发明属于区块链、人工智能、BIM、智慧工地技术领域,具体涉及一种基于区块链与BIM的作业人员全带佩戴检测系统。
背景技术
随着我国经济的蓬勃快速发展,房地产以及建筑相关的行业也正在扮演越来越重要的角色。因此,目前建筑工地的数量在不断的增多,随之而来的,工地内部的管理问题也日益突出。由于城市中建筑的高度越来越高,正在建设的建筑工地内,作业人员高空以及悬空作业不可避免;而已经建设完成的建筑外侧需要修缮,也需要作业人员悬空作业。在高空悬空作业过程中,虽有稳固的钢结构进行支撑,但稳定性难以保证,也会有掉落风险。因此,高空悬空作业者必须佩戴安全带,这是作业管理规则中的一项重要规定。
然而,由于佩戴安全带后活动范围受限,行动不自由,加上夏日的炎热,佩戴安全带会给作业人员造成许多不便。有的作业人员盲目相信钢结构的稳固,为了施工方便舒适,在高空作业时选择不佩戴安全带,从而引发掉落风险。
目前虽然工地内已经配备了监控摄像头,但这些摄像头只记录不判断,没有充分发挥其作用,只能通过事后的视频回放来调查异常情况及取证,没有对采集的图像进行处理,也就无法实时判断及报警。因此就需要工作人员不断的查看检测场景内的活动,日夜值守,工作量繁重,易受到人体感官疲劳的影响,从而容易出现漏检和误检的情况,失去了监控系统进行现场实时监控的意义。近年来,也有许多方案基于深度神经网络进行目标检测。然而,一方面安全带区域所占的比例较小;另一方面,安全带纹理信息不明显,有些可能还与作业人员的工作服颜色相近。基于安全带的这些特征,传统的深度神经网络并不能很好的处理这些细微的差别。而且,目前的监督系统通常只返回异常结果,结果反馈单一。并且,用于计算的硬件系统,信息易被泄露、安全性能较低。
因此,现有作业人员安全带佩戴检测存在检测精度不高、结果反馈单一、安全性能较低的问题。
发明内容
本发明的目的在于针对上述现有技术存在的缺陷,提出一种基于区块链与BIM的作业人员安全带佩戴检测系统,不仅结果反馈多元,而且提高了检测精度和数据处理过程中安全性能。
一种基于区块链与BIM的作业人员安全带佩戴检测系统,该系统包括:
作业人员检测编码器,用于对监控区域图像进行编码提取特征;
作业人员定位单元,用于利用第一全连接网络对作业人员检测编码器的输出进行加权分类,输出作业人员的包围框信息;
安全带分割第一编码器,用于对利用作业人员包围框信息分割出来的施工人员图像进行编码,提取特征;
通道权重附加单元,用于将通道权重附加在安全带分割编码器输出特征的通道上,得到通道增强特征;
安全带分割第二编码器,用于对通道增强特征进行编码,提取特征;
安全带分割第一解码器,用于对安全带分割第二编码器输出的特征进解码,提取特征;
空间权重附加单元,用于将空间权重附加在安全带分割第一解码器输出特征的对应特征元素位置,得到空间增强特征;
安全带分割第二解码器,用于对空间增强特征进行上采样解码,得到安全带分割遮罩图像;
系统还包括服务器集群,对于接收到的监控区域图像,在服务器集群中配置安全带佩戴检测深度神经网络区块链私链,并执行网络推理,得到安全带佩戴检测结果,发送至作业区域建筑信息模型。
进一步地,该系统还包括通道权重获取单元,用于获取安全带分割第一编码器输出通道对应的通道权重,包括:全局池化模块,用于对安全带分割第一编码器输出张量的每个通道内的特征值进行相加平均;瓶颈模块,用于采用全连接层建模全局池化模块输出的通道间相关性,输出一组通道权重;第一,用于对瓶颈模块输出的通道权重进行归一化。
进一步地,该系统还包括空间权重获取单元,用于获取安全带分割第一解码器输出特征图对应的空间权重,包括:池化模块,用于对安全带分割第一解码器输出张量分别进行通道维度的最大池化和平均池化,得到相应的特征图;第三编码器,用于对池化模块输出的特征图接合得到的张量进行特征提取;第二激活模块,用于对第三编码器的输出进行激活归一化,得到空间权重。
进一步地,对于接收到的监控区域图像,在服务器集群中配置安全带佩戴检测区块链私链包括:
作业人员检测编码器、作业人员定位单元、安全带分割第一编码器、通道权重获取单元、通道权重附加单元、安全带分割第二编码器、安全带分割第一解码器、空间权重获取单元、空间权重附加单元、安全带分割第二解码器是安全带佩戴检测深度神经网络的主要组成模块;
服务器集群中所有节点加载安全带佩戴检测深度神经网络所需参数;
对于接收到的监控区域图像,从服务器集群中选择多个可用节点,将分别分布于不同可用节点的作业人员检测编码器、作业人员定位单元、安全带分割第一编码器、通道权重获取单元、通道权重附加单元、安全带分割第二编码器、安全带分割第一解码器、空间权重获取单元、空间权重附加单元、安全带分割第二解码器所需参数作为对应节点的区块数据,按照安全带佩戴检测深度神经网络推理顺序将节点区块连接,生成安全带佩戴检测深度神经网络区块链私链。
进一步地,区块链私链中的区块对其要传输至下一区块的神经网络推理中间结果数据进行加密,对其从上一区块接收到的神经网络推理中间结果数据进行解密。
进一步地,区块采用张量混淆加密机制进行加密、解密操作。
进一步地,对作业人员检测编码器、作业人员定位单元、安全带分割第一编码器、通道权重获取单元、通道权重附加单元、安全带分割第二编码器、安全带分割第一解码器、空间权重获取单元、空间权重附加单元、安全带分割第二解码器分别进行适当细分,将分别分布于不同节点的细分后的每一模块的参数作为对应节点的区块数据,按照安全带佩戴检测深度神经网络推理顺序将区块节点连接,生成安全带佩戴检测深度神经网络区块链私链。
进一步地,作业区域建筑信息模型包括作业区域场景建模信息、监控区域信息、安全带佩戴检测结果。
进一步地,系统利用可视化单元结合Web GIS技术对作业区域建筑信息模型进行可视化,可视化单元包括:
初始化模块,用于从作业区域建筑信息模型获取作业区域场景建模信息,结合WebGIS技术对作业区域建筑信息模型进行渲染,展示在前台Web页面,得到作业区域建筑信息模型的初始展示结果;
数据获取模块,用于从作业区域建筑信息模型获取监控区域信息、安全带佩戴检测结果;
可视化模块,用于从根据监控区域信息的地理位置将监控区域信息、安全带佩戴检测结果匹配至初始展示结果中,并根据异常预警信息对监控区域进行警示标记。
进一步地,张量混淆加密机制包括:
随机生成C组随机数,每一组包括两个随机数值,其中C为区块所在节点输出张量的通道数;
根据两个随机数值分别对张量的宽、高方向进行循环移位操作。
本发明与现有技术相比,具有以下有益效果:
1.本发明采用深度神经网络对监控区域图像进行分析,得到作业人员安全带分割遮罩,从而判断作业人员是否佩戴安全带,相比于传统的人工监督,不仅检测效率更高,而且可以获得较高的检测精度。
2.本发明首先利用作业人员检测子网络来回归作业人员包围框,分割出作业人员图像,作为第二阶段安全带分割子网络的输入,能够有效降低网络训练所需时间,并提高第二阶段的检测精度。
3.本发明在安全带分割子网络的编码阶段,利用注意力机制增强关键通道,能够提高编码提取出来的特征的表征能力,在安全带分割子网络的解码阶段,利用注意力机制增强关键区域的权重,将注意力集中在感兴趣区域,能够提高安全带分割的精度。
4.本发明基于区块链技术,对安全带佩戴检测深度神经网络进行合理划分,针对每个网络推理请求,动态生成区块链私链,相比于传统的单机执行,不仅提高了系统的并行性能,而且具有更好的容错性能。
5.本发明的区块链私链根据服务器集群中可用节点实时生成,不易被篡改和攻击,具有更高的保密性能。
6.本发明对网络推理区块链私链之间的数据进行加密,防止区块链私链区块之间传输数据的泄露,保证传输数据的保密性,而且张量混淆加密操作计算方便,计算量小,在提高保密性能的同时不会增加系统负担。
7.本发明基于BIM技术设计作业区域建筑信息模型存储安全带佩戴检测结果,并对作业区域建筑信息模型进行可视化,相比于传统的结果反馈,本发明的反馈结果更加多元化,包括作业区域三维展示、警示标记、安全带佩戴检测结果,能够使监管人员更加清晰明确地了解作业区域内作业人员安全带佩戴情况。
附图说明
图1为本发明系统的神经网络结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图以及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明提供一种基于区块链与BIM的作业人员安全带佩戴检测系统,采用作业人员目标检测子网络以及基于双注意力机制的深度神经网络,对作业人员佩戴的安全带进行目标分割。本发明建立BIM建筑信息模型,通过Web GIS将检测到的当前区域作业人员佩戴安全带的信息在Web端显示并发出预警。为了防止深度神经网络被篡改,本发明采用区块链的思想对深度神经网络每个模块进行加密,并实现各个模块的分布式计算,从而增强深度神经网络的安全性、稳定性、容灾性。图1为本发明系统的神经网络结构图。下面通过具体实施例来进行说明。
实施例一:
基于区块链与BIM的作业人员安全带佩戴检测系统,该系统基于作业区域建筑信息模型进行作业人员安全带佩戴检测。作业区域建筑信息模型包括作业区域场景建模信息、监控区域信息、安全带佩戴检测结果。
具体地,建筑信息模型(Building Information Modeling)是应用于建筑工程设计、建造、管理的数据化新工具,该信息模型集成了建筑项目周期内所有建筑数据。结合WebGIS等技术使用可视化软件可以实现建筑信息模型的可视化,为建筑设计、建筑管理提供便利。
本发明结合BIM对安全带佩戴检测结果进行实时展示,并为监管人员提供预警信息。因此,本发明设计了作业区域建筑信息模型。作业区域建筑信息模型基于BIM技术,包括作业区域场景建模信息、监控区域信息、安全带佩戴检测信息。其中,作业区域场景建模信息包括用于建模作业区域建筑物的各种信息,这些类型信息中同时包含相应的地理位置信息,结合Web GIS技术通过可视化软件可以对作业区域三维场景进行还原展示。监控区域信息包括监控区域地理位置信息、监控视觉传感器地理位置信息、监控视觉传感器摄取的图像、坐标变换矩阵。监控区域信息用于在可视化的作业区域建筑信息模型中还原监控区域图像。坐标变化矩阵用于将监控图像转换为可视化效果更好的图像,例如俯视图等。安全带佩戴检测信息包括监控区域内作业人员是否佩戴安全带,用于集成到匹配的监控区域,以供监管人员查看。在本发明中,安全带佩戴结果实时传输至作业区域建筑信息模型。
下面对如何获得安全带佩戴检测进行详细说明。本发明中采用彩色面阵相机完成图像的采集。室外高空作业人员作业区域在半空中,因此将相机可以在建筑物的顶端或中间层架设相机,该相机视野范围包括建筑物的某一侧面。由于一个相机视野不够大,因此,采用两个彩色相机分别兼顾建筑物的上半部分和下半部分。在工地建设中,高空或悬空作业人员一般都在建筑物顶部,可以在建筑物顶部架设相机,相机视野范围包括建筑物顶部所有区域,也可以在工地的塔吊上架设相机,该相机的视野范围是建筑物顶部。以上是采集监控区域图像的一些实施方式,实施者可以根据实施情况,调整相应的相机架设方式,只要能够获得需要监控区域的作业人员图像即可。
由于各个建筑物的高度和宽度是不尽相同的,实施者可根据需要增加相机数量以获得更大的拍摄视野。另外,每个相机采集的图像可以同时以批处理的方式输入到本发明所述的网络进行异常检测。
本发明首先采用目标检测网络来检测作业人员,因此设计了作业人员检测子网络检测指定区域是否有作业人员在作业。如图1所示,作业人员检测子网络包括作业人员检测编码器、作业人员定位单元。作业人员检测编码器的输入是采集到的监控区域图像,该编码器提取图像特征,然后将特征输入作业人员定位单元的第一全连接网络中,计算作业工人所在的区域坐标信息。
在作业人员检测子网络的训练过程中,标注信息是作业人员所在的位置信息(x,y,width,height)及其类别索引1,背景的类别索引为0,采用L1损失函数,根据梯度下降的原理,最终得到施工作业人员的包围框。
在作业人员定位单元还要经过后处理操作。后处理操作是:若检测到作业人员的个数为零,不做处理,也不触发安全带分割子网络;当检测到有作业人员作业时,触发安全带分割子网络,该子网络用来分割作业人员佩戴的安全带区域。另外,根据检测到的作业人员的包围框,将作业人员的区域截取出来,输入到安全带分割子网络中。
检测到有人员作业时,需要进一步采用本发明所述分割算法检测工作人员是否佩戴安全带。安全带分割子网络是采用基于双注意力机制的深度神经网络来实现的。由于安全带区域相对较小,纹理信息不明显,可能与作业人员的外衣颜色相近,采用一般的网络准确性较低。因此,本发明采用基于双注意力机制的深度学习方法,提取图像传感器感知信息的特征和解码器的空间域信息,聚焦感兴趣信息,从而可以预测安全带区域的遮罩信息。
本发明双注意力的安全带分割子网络指的是:在语义分割的编码阶段采用基于通道域的注意力机制,增强编码器的特征表征能力;在语义分割的解码阶段采用基于空间域的注意力机制,增强真正安全带目标位置的准确性。
众所周知,每个通道的特征表示上一层特征图在不同卷积核上的分量,每个分量对于关键信息的贡献程度是不尽相同的,在编码阶段,不同的通道对结果的贡献程度不同,因此采用通道注意力可以过滤掉干扰信息,得到更加精确的特征表示。
因此,本发明在编码阶段,首先通过安全带分割第一编码器提取特征。在该输出特征的每个通道上的信号都增加一个权重αn,来代表该通道与安全带信息的相关度,该权重αn越大,则表示相关度越高,也就是通道注意力机制需要注意的通道信息。其中n代表通道索引。最终得到了施加了通道注意力机制的通道增强特征。
具体的,如图1所示:在通道权重获取单元,首先利用全局池化模块在当前每个通道特征图进行全局平均池化,紧接着在瓶颈模块利用两个全连接层组成一个Bottleneck结构去建模通道间的相关性,确定某个通道的显著性,并输出和输入特征通道相同数目的权重。进一步的,在第一激活模块采用激活函数,将上步得到的权重归一化,得到0-1之间归一化的权重。最后利用通道权重附加单元通过一个Scale的操作来将归一化后的权重加权到每个通道的特征上:Xc=Sc*Uc,从而可以实现对关键通道域的注意力增强,提升编码器的表征能力,从而获得与安全带相关的更加准确的特征表示。得到通道增强特征后用安全带分割第二编码器对其提取特征,得到的结果输入到安全带第一解码器中。
在解码阶段,由于在上采样后的特征图需要安全带区域所在的位置,因此通过空间域的注意力机制,可以过滤与目标不相干的背景纹理信息,聚焦安全带目标像素所在的位置。因此在解码阶段,每个像素位置增加一个权重βn,来代表该像素与关键信息的相关程度,该权重βn越大,代表相关程度越高。也就是空间域注意力机制需要注意到该位置的像素信息,其中n代表像素位置索引。对安全带分割第一解码器输出的信息进行处理:假设当前安全带分割第一解码器输出的张量的尺寸为N*H*W,其中N为通道数,H,W分别为高和宽。在每个像素位置增加一个权重βn,来代表该像素与关键信息的相关程度,该权重越大,代表相关程度越高,对安全带像素分类结果的贡献越大。也就是空间域注意力机制需要注意到该位置的像素信息,其中n代表像素位置索引。具体的,如图1所示,在空间权重获取单元,利用池化模块对现有的特征图进行基于通道的平均池化和最大池化,并将两者的结果进行结合(concat)得到了尺寸为2*w*h特征图,之后再在第三编码器采用卷积模块将其降成1*w*h的特征图,最后在第二激活模块通过激活函数得到空间权重,再在空间权重附加单元将该权重和输入特征进行点积,得到施加了空间注意力机制的增强空间特征。对增强空间特征采用安全带分割第二解码器继续进行解码操作,最终得到准确的安全带分割信息。
安全带分割网络的损失函数为:其中,i为训练集对应的索引,为预测值,yi为真实值,N为样本数量。采用随机梯度下降法对参数进行优化,可以得到基于双注意力机制的安全带分割模型。当有工作人员作业时,上述模型可以有效过滤掉干扰信息,提高分割的准确性。
在神经网络中,编码器用于对输入的多通道二维数据进行特征提取,解码器用于对特征进行上采样重构。编码器、解码器可以采用CNN Block、Res Block等。编码器、解码器可以有多种实现,本发明为了兼顾大小目标的尺寸,建议采用沙漏网络来提取特征,实施者也可根据图像大小和显存占用选取合适的神经网络内部的模块设计,如Residual Block、Bottleneck Block、CNN Block等。本发明的编码器、解码器、全连接网络具体采用何种网络设计,实施者可以根据具体实施需求选择,其模块化思想为本发明保护内容。
为了提高本发明系统的保密性能,防止数据泄露,本发明结合区块链技术设计了区块链私链。
在此,针对本发明区块链技术与DNN技术结合进行详细阐述。区块链采用块分割数据,使用链式数据结构,将数据作为块进行验证和存储,整个数据结构汇总不存在中心化的硬件和管理机构,实现了去中心化。一代区块链技术主要在分布式账本上进行应用,二代区块链技术主要实现智能合约,三代区块链技术可以将区块链思想与其他领域技术结合,有越来越多的呈现形式,更加注重为系统功能服务。区块链私链完整地继承了公链的特性,而且私链没有博弈机制的束缚,更关注实际应用的数据传输、加解密处理,能够更好地与其他领域的技术结合。对于人工智能中的深度神经网络计算而言,不必要存储中间结果数据,保留链式的逻辑以匹配神经网络前向传播的原理。
本发明考虑到了若将数据直接上传到进行处理,上传过程以及处理过程会产生明文的图像数据内容泄露问题,因此使用区块链私链的形式,将深度神经网络的不同模块作为区块,进行分散的推理,并对区块之间传输的数据进行加密处理,从而实现并行推理、容错、防止数据泄露的优秀性能。
基于上述思想,首先需要将安全带佩戴检测深度神经网络进行模块划分,将作业人员检测编码器、作业人员定位单元、安全带分割第一编码器、通道权重附加单元、安全带分割第二编码器、安全带分割第一解码器、空间权重附加单元、安全带分割第二解码器作为网络的不同模块。如此,根据图1中所示的神经网络的推理顺序,即可得到安全带佩戴检测深度神经网络推理链。
系统还包括服务器集群,服务器集群中的所有节点载入安全带佩戴检测深度神经网络所需权重、参数;针对每一个安全带佩戴检测深度神经网络推理请求,从服务器集群中选择多个可用节点,将分别分布于不同可用节点的作业人员检测编码器、作业人员定位单元、安全带分割第一编码器、通道权重附加单元、安全带分割第二编码器、安全带分割第一解码器、空间权重附加单元、安全带分割第二解码器所需权重、参数作为对应节点的区块数据,如此可以得到作业人员检测编码器区块、作业人员定位单元区块、安全带分割第一编码器区块、通道权重附加单元区块、安全带分割第二编码器区块、安全带分割第一解码器区块、空间权重附加单元区块、安全带分割第二解码器区块。根据安全带佩戴检测深度神经网络推理顺序将上述区块连接,生成安全带佩戴检测深度神经网络推理区块链私链,并执行安全带佩戴检测深度神经网络推理。区块链私链链序与网络推理链序是一致的,网络推理链序如图1所示。
在选择可用节点以及进行节点排序时,优选地,对服务器集群中可用的节点进行随机排序,从中挑选与区块数相同个数的计算节点。例如,可用节点有10个,从中挑选8个节点,随机取一节点,将节点中作业人员检测编码器所需权重等参数作为区块数据;随机取另一节点,将节点中作业人员定位单元所需权重等参数作为区块数据,并与上一区块链接,以此类推,根据神经网络推理顺序,生成了对应的安全带佩戴检测深度神经网络推理区块链私链。由此可见,在服务器集群中可以同时存在多个针对不同请求生成的安全带佩戴检测深度神经网络推理区块私链,并且,该区块私链是动态生成的,不易被攻击破解,保密性能更好。在根据推理顺序得到区块链私链后,同时根据推理顺序对推理请求进行网络推理计算。
需要说明的是,由于本发明的神经网络还包括通道权重获取单元、空间权重获取单元,相应地根据两单元在神经网络中的位置,将其加入区块链私链即可。
神经网络的某些模块很难一次性放进一个节点,即某些模块的运算量较大,很难在短时间内完成计算。因此,可以事先将区块即上述编码器、解码器进一步切分。对于进一步切分的粒度,实施者可以根据具体实施情况进行调整。在本实施例中,优选地,将作业人员检测编码器切分为3块,将作业人员定位单元切分为4块,将安全带分割第一编码器分为3块,将通道权重获取单元分为3块,将安全带分割第二编码器分为3块,将安全带分割第一解码器分为3块,将空间权重获取单元分为3块,将安全带分割第二解码器分为3块,其余单元可以不用切分。如此,根据神经网络的推理顺序,即可得到更加细分的安全带佩戴检测深度神经网络推理链。相应地,针对每一个安全带佩戴检测深度神经网络推理请求,从服务器集群中选择多个可用节点,将分别分布于不同可用节点的细分后的作业人员定位单元的子模块所需权重、参数作为区块数据,根据安全带佩戴检测深度神经网络推理顺序,生成安全带佩戴检测深度神经网络推理区块链私链。
同时,可以将数据采集单元作为区块,将其加入区块链私链,这样做的目的是通过后续的加密策略保证图像采集单元的输出是保密的,不易被截获、篡改。也可以将接收检测数据的监控中心加入区块链,防止服务器集群与监控中心之间数据泄露。
进一步地,为了保证各个区块所接收到数据的完整性和安全性,防止在数据在传输过程中被攻击和篡改,需要对区块间传输的数据进行加密。也就是说,区块链私链节点到节点之间的数据传输是需要使用加密手段的,在此优选地使用张量混淆加密机制。
具体地,本发明通过对当前区块或计算节点输出的特征图进行张量混淆来完成加密。具体混淆的方式为,针对当前特征图的每个通道,其尺寸为H×W。选取一组的随机数组合对当前特征图进行循环移位,其中每组有两个随机数值,共有C组,分别针对特征图的宽高进行操作,C代表当前特征图的通道数。
举例说明,假设当前对索引为i的特征图进行移位操作,当前的随机数组合为(m,n),其中,m<W,n<H。当m为奇数时,向左循环移位,移位步长为m,否则向右循环移位。假设原始图像水平方向上数据为011010001,当m的值为2,偶数,根据规则向右循环移位步长为2,移位后为010110100;当m为3时,奇数,向左移位后为110100010。图像垂直方向同理:当n为奇数时,向下循环移位,否则向上循环移位,移位步长为n。针对中间结果是一维的,利用参数m进行左右方向的循环移位即可。
将上述加密算法应用到所有区块之间待传输的数据,完成对数据的加密操作。在数据输入到下一个区块之后,按照加密规则的逆向推理对其进行解密,从而完成了数据在计算节点之间的加密传输。
需要说明的是,安全带佩戴检测深度神经网络模块之间即区块之间传输数据所需的加密参数应由可信节点生成。该可信节点可以是固定的,例如可以设置主节点,定期广播加密参数和分配表,以防加密参数被破解。然而,固定可信节点容易被攻击,因此,优选地,由区块链私链的最后一个区块所在节点生成下一推理请求所需加密参数,并广播至服务器集群中所有节点。
为了直观地呈现当前工地区域的BIM信息状态,使工地管理者能够直观地获取当前区域的摄像机感知信息以及网络预测是否有人未佩戴安全带的信息,本发明结合WebGIS可视化技术,将上述BIM信息模型通过Web GIS技术在Web进行展示。
可视化单元,用于从作业区域建筑信息模型获取数据,结合Web GIS对作业区域建筑信息模型进行渲染,将钢丝绳断裂情况展示在前台Web页面。可视化单元包括:
初始化模块,用于从作业区域建筑信息模型获取工地场景建模信息,结合Web GIS技术对作业区域建筑信息模型进行渲染,展示在前台Web页面,得到作业区域建筑信息模型的初始展示结果。
数据获取模块,用于从作业区域建筑信息模型获取监控区域信息、安全带佩戴检测信息。
安全带佩戴检测可视化模块,用于从根据监控区域信息的地理位置将监控区域信息、安全带佩戴检测情况匹配至初始展示结果中,并根据异常预警信息对监控区域进行警示标记。
同时,当检测到有人未佩戴安全带时,可以发出警报,以便监管人员按照其地理位置坐标采取相应的预防与急救措施。
以上实施例仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于区块链与BIM的作业人员安全带佩戴检测系统,其特征在于,该系统包括:
作业人员检测编码器,用于对监控区域图像进行编码提取特征;
作业人员定位单元,用于利用第一全连接网络对作业人员检测编码器的输出进行加权分类,输出作业人员的包围框信息;
安全带分割第一编码器,用于对利用作业人员包围框信息分割出来的施工人员图像进行编码,提取特征;
通道权重附加单元,用于将通道权重附加在安全带分割编码器输出特征的通道上,得到通道增强特征;
安全带分割第二编码器,用于对通道增强特征进行编码,提取特征;
安全带分割第一解码器,用于对安全带分割第二编码器输出的特征进解码,提取特征;
空间权重附加单元,用于将空间权重附加在安全带分割第一解码器输出特征的对应特征元素位置,得到空间增强特征;
安全带分割第二解码器,用于对空间增强特征进行上采样解码,得到安全带分割遮罩图像;
系统还包括服务器集群,对于接收到的监控区域图像,在服务器集群中配置安全带佩戴检测深度神经网络区块链私链,并执行网络推理,得到安全带佩戴检测结果,发送至作业区域建筑信息模型。
2.如权利要求1所述的系统,其特征在于,该系统还包括通道权重获取单元,用于获取安全带分割第一编码器输出通道对应的通道权重,包括:全局池化模块,用于对安全带分割第一编码器输出张量的每个通道内的特征值进行相加平均;瓶颈模块,用于采用全连接层建模全局池化模块输出的通道间相关性,输出一组通道权重;激活模块,用于对瓶颈模块输出的通道权重进行归一化。
3.如权利要求2所述的系统,其特征在于,该系统还包括空间权重获取单元,用于获取安全带分割第一解码器输出特征图对应的空间权重,包括:池化模块,用于对安全带分割第一解码器输出张量分别进行通道维度的最大池化和平均池化,得到相应的特征图;第三编码器,用于对池化模块输出的特征图接合得到的张量进行特征提取;激活模块,用于对第三编码器的输出进行激活归一化,得到空间权重。
4.如权利要求1所述的系统,其特征在于,所述对于接收到的监控区域图像,在服务器集群中配置安全带佩戴检测区块链私链包括:
作业人员检测编码器、作业人员定位单元、安全带分割第一编码器、通道权重获取单元、通道权重附加单元、安全带分割第二编码器、安全带分割第一解码器、空间权重获取单元、空间权重附加单元、安全带分割第二解码器是安全带佩戴检测深度神经网络的主要组成模块;
服务器集群中所有节点加载安全带佩戴检测深度神经网络所需参数;
对于接收到的监控区域图像,从服务器集群中选择多个可用节点,将分别分布于不同可用节点的作业人员检测编码器、作业人员定位单元、安全带分割第一编码器、通道权重获取单元、通道权重附加单元、安全带分割第二编码器、安全带分割第一解码器、空间权重获取单元、空间权重附加单元、安全带分割第二解码器所需参数作为对应节点的区块数据,按照安全带佩戴检测深度神经网络推理顺序将节点区块连接,生成安全带佩戴检测深度神经网络区块链私链。
5.如权利要求1-4任一项所述的系统,其特征在于,所述区块链私链中的区块对其要传输至下一区块的神经网络推理中间结果数据进行加密,对其从上一区块接收到的神经网络推理中间结果数据进行解密。
6.如权利要求5所述的系统,其特征在于,所述区块采用张量混淆加密机制进行加密、解密操作。
7.如权利要求1所述的系统,其特征在于,对作业人员检测编码器、作业人员定位单元、安全带分割第一编码器、通道权重附加单元、安全带分割第二编码器、安全带分割第一解码器、空间权重附加单元、安全带分割第二解码器分别进行适当细分,将分别分布于不同节点的细分后的每一模块的参数作为对应节点的区块数据,按照安全带佩戴检测深度神经网络推理顺序将节点区块连接,生成安全带佩戴检测深度神经网络区块链私链。
8.如权利要求1所述的系统,其特征在于,所述作业区域建筑信息模型包括作业区域场景建模信息、监控区域信息、安全带佩戴检测结果。
9.如权利要求8所述的系统,其特征在于,系统利用可视化单元结合Web GIS技术对作业区域建筑信息模型进行可视化,可视化单元包括:
初始化模块,用于从作业区域建筑信息模型获取作业区域场景建模信息,结合Web GIS技术对作业区域建筑信息模型进行渲染,展示在前台Web页面,得到作业区域建筑信息模型的初始展示结果;
数据获取模块,用于从作业区域建筑信息模型获取监控区域信息、安全带佩戴检测结果;
可视化模块,用于从根据监控区域信息的地理位置将监控区域信息、安全带佩戴检测结果匹配至初始展示结果中,并根据异常预警信息对监控区域进行警示标记。
10.如权利要求6所述的系统,其特征在于,所述张量混淆加密机制包括:
随机生成C组随机数,每一组包括两个随机数值,其中C为区块所在节点输出张量的通道数;
根据两个随机数值分别对张量的宽、高方向进行循环移位操作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010382855.0A CN111414499A (zh) | 2020-05-08 | 2020-05-08 | 基于区块链与bim的作业人员安全带佩戴检测系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010382855.0A CN111414499A (zh) | 2020-05-08 | 2020-05-08 | 基于区块链与bim的作业人员安全带佩戴检测系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111414499A true CN111414499A (zh) | 2020-07-14 |
Family
ID=71493801
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010382855.0A Withdrawn CN111414499A (zh) | 2020-05-08 | 2020-05-08 | 基于区块链与bim的作业人员安全带佩戴检测系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111414499A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112232142A (zh) * | 2020-09-27 | 2021-01-15 | 浙江大华技术股份有限公司 | 一种安全带识别方法、设备及计算机可读存储介质 |
CN113392708A (zh) * | 2021-05-13 | 2021-09-14 | 上海湃道智能科技有限公司 | 安全带检测方法 |
CN116522565A (zh) * | 2023-07-04 | 2023-08-01 | 深圳华建电力工程设计有限公司 | 一种基于bim的电力工程设计配电网规划方法及计算机设备 |
-
2020
- 2020-05-08 CN CN202010382855.0A patent/CN111414499A/zh not_active Withdrawn
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112232142A (zh) * | 2020-09-27 | 2021-01-15 | 浙江大华技术股份有限公司 | 一种安全带识别方法、设备及计算机可读存储介质 |
CN113392708A (zh) * | 2021-05-13 | 2021-09-14 | 上海湃道智能科技有限公司 | 安全带检测方法 |
CN116522565A (zh) * | 2023-07-04 | 2023-08-01 | 深圳华建电力工程设计有限公司 | 一种基于bim的电力工程设计配电网规划方法及计算机设备 |
CN116522565B (zh) * | 2023-07-04 | 2024-01-12 | 深圳华建电力工程技术有限公司 | 一种基于bim的电力工程设计配电网规划方法及计算机设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111414499A (zh) | 基于区块链与bim的作业人员安全带佩戴检测系统 | |
CN105447458B (zh) | 一种大规模人群视频分析系统和方法 | |
CN110087099B (zh) | 一种保护隐私的监控方法和系统 | |
Tingzon et al. | Mapping poverty in the Philippines using machine learning, satellite imagery, and crowd-sourced geospatial information | |
CN111428694A (zh) | 基于区块链的智慧工地异常烟雾监测系统 | |
CN101044761B (zh) | 安全处理输入图像的方法 | |
CN111461075A (zh) | 结合深度神经网络与区块链的护栏翻越检测方法 | |
KR20130139622A (ko) | 융합보안 관제 시스템 및 방법 | |
CN111563433A (zh) | 基于区块链的智慧工地漫水监测系统 | |
CN104636764B (zh) | 一种图像隐写分析方法以及其装置 | |
CN103747271A (zh) | 一种基于混合感知哈希的视频篡改检测方法和装置 | |
Penkova | Principal component analysis and cluster analysis for evaluating the natural and anthropogenic territory safety | |
CN111583068A (zh) | 结合区块链的施工区域人员停留时间热度统计方法 | |
CN105844846A (zh) | 一种基于Ibeacon技术的安全监控方法、装置及系统 | |
KR20210121025A (ko) | 센서 장치, 암호화 방법 | |
CN111524131A (zh) | 基于区块链与bim的墙壁裂缝检测系统 | |
Wang et al. | An image encryption scheme using bit-plane cross-diffusion and spatiotemporal chaos system with nonlinear perturbation | |
CN111414500A (zh) | 基于区块链与bim的钢丝绳断裂预警系统 | |
CN111523434A (zh) | 基于区块链与bim的工地人员异常聚集检测系统 | |
CN111414504A (zh) | 基于区块链与cim的工地漫水检测系统 | |
CN111414503A (zh) | 基于区块链与cim的木材堆积检测系统 | |
CN111476208A (zh) | 利用区块链的智慧工地施工人员聚集监测系统 | |
CN111414501A (zh) | 基于区块链与cim的木材易燃风险预测系统 | |
WO2021084944A1 (ja) | 情報処理システム、情報処理方法、撮像装置、情報処理装置 | |
CN111461074A (zh) | 结合区块链与深度学习的通道阻塞检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20200714 |
|
WW01 | Invention patent application withdrawn after publication |