CN111539373A - 结合区块链与dnn的施工人员安全鞋穿戴检测方法 - Google Patents

结合区块链与dnn的施工人员安全鞋穿戴检测方法 Download PDF

Info

Publication number
CN111539373A
CN111539373A CN202010383200.5A CN202010383200A CN111539373A CN 111539373 A CN111539373 A CN 111539373A CN 202010383200 A CN202010383200 A CN 202010383200A CN 111539373 A CN111539373 A CN 111539373A
Authority
CN
China
Prior art keywords
key point
constructor
safety
safety shoe
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010383200.5A
Other languages
English (en)
Inventor
魏辉辉
张小芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202010383200.5A priority Critical patent/CN111539373A/zh
Publication of CN111539373A publication Critical patent/CN111539373A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Graphics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Remote Sensing (AREA)
  • Alarm Systems (AREA)

Abstract

本发明公开了一种结合区块链与DNN的施工人员安全鞋穿戴检测方法,包括:构建施工人员安全鞋穿戴检测深度神经网络;设置关键点匹配单元,用于对施工人员关键点与安全鞋关键点进行位置匹配,得到安全鞋穿戴检测结果;在终端集群、服务器集群上加载训练好的施工人员安全鞋穿戴检测深度神经网络所需参数以及关键点匹配单元所需参数,针对每一个施工人员安全鞋穿戴检测深度神经网络推理请求,生成施工人员安全鞋穿戴检测区块链私链,并执行网络推理。利用本发明,在工地安全监测中,提高了安全鞋穿戴检测精度、检测效率以及数据处理传输过程中的安全性、保密性。

Description

结合区块链与DNN的施工人员安全鞋穿戴检测方法
技术领域
本发明涉及人工智能、区块链、CIM、智慧工地技术领域,具体涉及一种结合区块链与DNN的施工人员安全鞋穿戴检测方法。
背景技术
随着我国社会经济和科学技术的迅捷发展,施工场地里以人力资源为主的传统检测和管理方法已经出现许多局限性,例如人员进行检测和管理工作成本过高,检测和管理的工作效率低下,检测的准确性不高易受到主观因素的影响,人力资源的缺乏导致对管理的不力等问题。施工场地内存在例如工人安全用具佩戴不规范,施工过程中安全用具脱落等众多安全问题,但依靠人力进行实时监督成本过高,且效率低下,会受到监督人员主观因素以及如环境、遮挡等客观因素的影响。
一些研究利用目标识别对施工人员是否佩戴安全设施进行检测,然而利用目标识别的方法通常只能得到图像中是否有相应安全设施的结果,没有进行进一步的匹配,而且检测精度较低,鲁棒性较差。而且,目前的施工人员安全检测通常只返回异常结果,结果反馈单一。并且,用于计算的服务器集群,信息易被泄露、安全性能较低。
因此,现有施工人员安全鞋穿戴检测技术存在检测精度和检测效率低下、结果反馈单一、数据处理及传输过程中安全性能低的问题。
发明内容
本发明提供了一种结合区块链与DNN的施工人员安全鞋穿戴检测方法,不仅结果反馈多元,而且提高了检测精度、检测效率和数据处理传输过程中的安全性、保密性。
一种结合区块链与DNN的施工人员安全鞋穿戴检测方法,该方法包括:
构建施工人员安全鞋穿戴检测深度神经网络,网络的输入为终端集群的终端节点采集的施工人员图像,网络的输出结果为施工人员关键点热力图与安全鞋关键点热力图;
设置关键点匹配单元,用于对施工人员关键点与安全鞋关键点进行位置匹配,得到安全鞋穿戴检测结果;
针对每一个施工人员安全鞋穿戴检测深度神经网络推理请求,在终端集群、服务器集群上配置施工人员安全鞋穿戴检测区块链私链,执行网络推理,得到安全鞋穿戴检测结果;
其中,施工人员安全鞋穿戴检测深度神经网络由多个模块组成,包括:
共享特征编码器,用于对施工人员图像进行编码,提取共享特征;
施工人员关键点编码器,用于对共享特征编码器的输出进行编码,提取施工人员关键点特征;
施工人员关键点解码器,用于对施工人员关键点特征进行解码,得到施工人员关键点热力图;
安全鞋关键点编码器,用于对共享特征编码器的输出进行编码,提取安全鞋关键点特征;
安全鞋关键点解码器,用于对安全鞋关键点特征进行解码还原,得到安全鞋关键点热力图。
配置施工人员安全鞋穿戴检测区块链私链包括:
在终端集群、服务器集群上加载训练好的施工人员安全鞋穿戴检测深度神经网络所需参数以及关键点匹配单元所需参数;
从终端集群与服务器集群中选择多个可用节点,将分别分布于不同可用节点的共享特征编码器、施工人员关键点编码器、施工人员关键点解码器、安全鞋关键点编码器、安全鞋关键点解码器、关键点匹配单元所需参数作为对应终端、节点的区块数据,按照施工人员安全鞋穿戴检测深度神经网络推理顺序以及网络与关键点匹配单元之间的推理顺序将区块连接,生成施工人员安全鞋穿戴检测区块链私链,并执行施工人员安全鞋穿戴检测推理。
在终端集群上加载共享特征编码器所需参数,终端节点作为施工人员安全鞋穿戴检测区块链私链的第一区块。
区块链私链中的区块对其要传输至下一区块的神经网络推理中间结果数据进行加密,对其从上一区块接收到的神经网络推理中间结果数据进行解密。
区块采用DES算法进行加密、解密。
在网络输出施工人员关键点热力图、安全鞋关键点热力图后,进行关键点回归得到施工人员关键点、安全鞋关键点,利用关键点匹配单元对两类关键点进行位置匹配,得到施工人员安全鞋佩戴检测结果。
构建城市工地信息模型,城市工地信息模型包括:城市工地三维建模信息、监控区域信息、施工人员安全鞋穿戴检测结果信息;结合Web GIS技术对城市工地信息模型进行渲染,展示在前台页面。
对共享特征编码器、施工人员关键点编码器、施工人员关键点解码器、安全鞋关键点编码器、安全鞋关键点解码器分别进行适当细分,将分别分布于不同节点的细分后的每一模块的参数作为区块数据,按照施工人员安全鞋穿戴检测深度神经网络推理顺序,生成施工人员安全鞋穿戴检测区块链私链。
施工人员关键点为施工人员脚踝关键点。
本发明的有益效果在于:
1.本发明采用深度神经网络对施工人员图像进行分析,相比于传统的基于目标识别的分析方法,具有更准确的结果响应和更高的检测效率。
2.本发明基于区块链技术,对施工人员安全鞋穿戴检测深度神经网络进行合理划分,针对每个网络推理请求,动态生成区块链私链,相比于传统的单机执行,不仅提高了系统的并行性能,而且由于区块链私链是动态的,当某一节点出现故障,系统能够及时感知,不会影响其他推理请求的计算,具有更好的容错性能。
3.本发明的区块链私链根据服务器集群中可用节点实时生成,相比于传统的固定分配,不易被攻击破解,提高了系统数据的保密性能。
4.本发明对网络推理区块链私链之间的数据进行加密,防止区块链私链区块之间传输数据的泄露,保证传输数据的保密性。
5.本发明基于CIM技术设计城市工地信息模型存储施工人员安全鞋穿戴检测结果,并对城市工地信息模型进行可视化,相比于传统的结果反馈,本发明的反馈结果更加多元化,包括工地区域三维展示、警示标记、监控区域图像,能够使监管人员更加清晰明确地了解施工人员安全鞋穿戴情况。
附图说明
图1为本发明方法的施工人员安全鞋穿戴检测深度神经网络结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图以及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明提供一种结合区块链的智慧工地施工人员安全鞋穿戴检测方法。图1为本发明方法的深度神经网络结构图。下面通过具体实施例来进行说明。
实施例一:
一种结合区块链与DNN的施工人员安全鞋穿戴检测方法,该方法包括:
构建施工人员安全鞋穿戴检测深度神经网络,网络的输入为终端集群的终端节点采集的施工人员图像,网络的输出结果为施工人员关键点与安全鞋关键点。
本发明的主要目的为实现施工场地内施工人员安全鞋穿戴的检测。基于计算机视觉检测技术具有非接触、高效性和经济性等显著优势,在施工场地各类检测管理应用方面有着广泛的应用前景。终端集群为工地中具有采集图像功能的终端互连组成的集群。在本实施例中,终端为具有一定计算能力的相机,可以采集监控区域的图像,得到施工人员图像。
施工人员安全鞋穿戴检测深度神经网络由多个模块组成,包括:共享特征编码器、施工人员关键点编码器、施工人员关键点解码器、安全鞋关键点编码器、安全鞋关键点解码器。
需要说明的是,编码器、解码器可以有多种实现,本发明为了兼顾大小目标的尺寸,建议采用沙漏网络来提取特征,实施者也可根据图像大小和显存占用选取合适的神经网络内部的模块设计,如Residual Block、Bottleneck Block、CNN Block等。本发明的编码器、解码器具体采用何种网络设计,实施者可以根据具体实施需求选择,其模块化思想为本发明保护内容。
共享特征编码器,用于对施工人员图像进行编码,提取共享特征。以监控施工场地内某一区域的摄像头为例,摄像头采集施工场地内某一区域内的图像,作为待识别样本;将样本送入共享特征编码器中,进行编码操作,得到特征图(Feature maps)。上述特征图作为输入送到两条分支。
施工人员关键点编码器,用于对共享特征编码器的输出进行编码,提取施工人员关键点特征;施工人员关键点解码器,用于对施工人员关键点特征进行解码,得到施工人员关键点热力图。第一条分支进行施工人员关键点热图获取,输入到施工人员关键点编码器、施工人员关键点解码器中,获取施工人员关键点信息的热力图(Heatmap1)。将施工人员左右脚踝的两个点作为关键点,类别有两类目标。以关键点为中心进行高斯模糊操作,得到关键点的Heatmap,可以作为标注信息。每个关键点对应一个峰值,根据峰值利用二维的softargmax进行关键点回归,即可得到关键点位置坐标信息。
安全鞋关键点编码器,用于对共享特征编码器的输出进行编码,提取安全鞋关键点特征;安全鞋关键点解码器,用于对安全鞋关键点特征进行解码还原,得到安全鞋关键点热力图。第二条分支进行安全鞋关键点热图获取,输入到安全鞋关键点编码器、安全鞋关键点解码器中,得到安全鞋关键点信息的热力图(Heatmap2)。将鞋尖、鞋跟、鞋中心位置作为关键点,类别有三类目标。以关键点为中心进行高斯模糊操作,得到关键点的Heatmap,可以作为标注信息。每个关键点对应一个峰值,根据峰值利用二维的softargmax进行关键点回归,即可得到关键点位置坐标信息。
对施工人员关键点热力图、安全鞋关键点热力图进行关键点位置回归,得到施工人员关键点、安全鞋关键点。需要对施工人员关键点与安全鞋关键点进行位置匹配,得到施工人员是否穿戴安全鞋的检测结果。
将施工人员关键点位置与安全鞋关键点位置进行位置匹配运算,得到施工人员是否穿戴安全鞋的检测结果。匹配运算利用KM算法寻找最优匹配,具体思路为:对安全鞋的一组关键点,本实施例选择安全鞋中心的关键点作为匹配元素,寻找距离最近的人员脚踝关键点,通过KM算法解决冲突问题,得到关键点匹配的最优解。例如选择安全鞋中心位置的关键点代表安全鞋进行匹配,按照各安全鞋中心位置关键点到各脚踝关键点的距离对安全鞋关键点分配相应权重,并取最大权重赋值给安全鞋中心位置关键点。脚踝关键点权重赋值为0。为每个安全鞋中心位置关键点匹配一条最大权重边,当出现冲突时,对参与冲突的安全鞋中心位置关键点权重减一,脚踝关键点权重加一,继续进行最大权重匹配。最终匹配得到的结果就是最优匹配。如此,可以得到安全鞋中心关键点与脚踝关键点的匹配结果。脚踝关键点集合中没有对应安全鞋关键点匹配的即为未穿戴安全鞋。根据匹配结果,将安全鞋穿戴的检测结果发送至城市工地信息模型。
施工人员安全鞋穿戴检测深度神经网络训练的方法为以相机拍摄到的多帧图像作为训练数据集,预先生成热力图,使用均方误差损失函数进行训练。首先准备训练数据集,采集包含穿戴安全鞋的施工人员在内的多帧图像。将每一类关键点的坐标用热力图表示。具体方法为:对图片中每个像素点都给一个概率,表示该点属于对应类别关键点的概率。距离关键点位置越近,像素点的概率越接近1;反之,像素点的概率接近0。可以使用高斯函数进行模拟,以关键点为中心进行高斯模糊,得到各关键点的热力图,可以作为标注信息。将训练样本以及标注数据输入施工人员安全鞋穿戴检测深度神经网络中,利用均方差损失函数,采用随机梯度下降法进行网络的训练。
为了提高本发明系统的保密性能,防止数据泄露,并提高系统的并行性,本发明结合区块链技术设计了区块链私链。按照链式逻辑进行推理,结合区块链技术,能提高工作效率,解决数据处理内存不足的问题。分布式存储可以在云端进行,分布式计算在多个相机端、云端服务器进行。每个设备负责一部分工作,降低了工作负荷。分布式思想的使用,拥有信息加密、高容灾等优秀性能。
在此,针对本发明区块链技术与DNN技术结合进行详细阐述。区块链采用块分割数据,使用链式数据结构,将数据作为块进行验证和存储,整个数据结构汇总不存在中心化的硬件和管理机构,实现了去中心化。一代区块链技术主要在分布式账本上进行应用,二代区块链技术主要实现智能合约,三代区块链技术可以将区块链思想与其他领域技术结合,有越来越多的呈现形式,更加注重为系统功能服务。区块链私链完整地继承了公链的特性,而且私链没有博弈机制的束缚,更关注实际应用的数据传输、加解密处理,能够更好地与其他领域的技术结合。对于AI中的深度神经网络计算而言,不必要存储中间结果数据,保留链式的逻辑以匹配神经网络前向传播的原理。
本发明考虑到了若将数据直接上传到服务器集群进行处理,上传过程以及处理过程会产生明文的图像数据内容泄露问题,因此使用区块链私链的形式,将深度神经网络的不同模块作为区块,进行分散的推理,并对区块之间传输的数据进行加密处理,从而实现并行推理、容错、防止数据泄露的优秀性能。
基于上述思想,首先需要将施工人员安全鞋穿戴检测深度神经网络进行模块划分。将共享特征编码器、施工人员关键点编码器、施工人员关键点解码器、安全鞋关键点编码器、安全鞋关键点解码器作为网络的不同模块。如此,根据图1中所示的神经网络的推理顺序,即可得到施工人员安全鞋穿戴检测深度神经网络推理链。
一般工地的供电环境不稳定,没有无尘环境,在工地设置服务器会出现宕机等问题,需要经常维护维护。而由于摄像机终端本身硬件性能的限制,仅依靠摄像机对于施工场地内多位置多方位的摄像头采集图像信息进行处理,会出现内存不足等问题。因此,本发明综合考虑这两方面因素,使用终端集群和服务器集群进行数据处理。服务器集群可以是云端服务器集群。
终端集群、服务器集群中的所有节点载入施工人员安全鞋穿戴检测深度神经网络所需权重等参数以及关键点匹配单元所需参数。针对每一个施工人员安全鞋穿戴检测深度神经网络推理请求,从终端集群和服务器集群中选择多个可用节点,将分别分布于不同可用节点的共享特征编码器、施工人员关键点编码器、施工人员关键点解码器、安全鞋关键点编码器、安全鞋关键点解码器、关键点匹配单元所需参数作为对应节点的区块数据。如此可以得到分布于不同节点的共享特征编码器区块、施工人员关键点编码器区块、施工人员关键点解码器区块、安全鞋关键点编码器区块、安全鞋关键点解码器区块、关键点匹配单元区块。根据施工人员安全鞋穿戴检测深度神经网络推理顺序,将上述区块连接,生成施工人员安全鞋穿戴检测区块链私链,并执行施工人员安全鞋穿戴检测深度神经网络推理。在选择可用节点以及进行节点排序时,优选地,对终端集群以及服务器集群中可用的节点进行随机排序,从中挑选与区块数相同个数的计算节点。例如,可用节点有10个,从中挑选6个节点,随机取一节点,将节点中共享特征编码器所需权重等参数作为区块数据,得到第一区块;随机取另一节点,将节点中施工人员关键点编码器所需权重等参数作为区块数据,并与上一区块(也就是第一区块)链接,以此类推,根据神经网络推理顺序,生成了对应的施工人员安全鞋穿戴检测区块链私链。区块链链序与网络推理链序是一致的,网络推理链序如图1所示。由此可见,可以同时存在多个针对不同请求生成的施工人员安全鞋穿戴检测区块链私链,并且,该区块链私链是动态生成的,不易被攻击破解,保密性能更好。在可用节点选择中,还可以使用shuffle函数打乱节点顺序。具体操作为将节点按编号顺序依次排列作为函数输入,经shuffle函数运算,得到重新排序的节点序列。
为了兼顾终端集群的计算能力,本发明提供一种优选的实施方式,将共享特征编码器置于终端即相机端进行计算。因此,在终端集群的终端节点载入关键点匹配单元算法所需参数即可,且不必为共享特征编码器分配相应的可用节点。在终端对采集的图像通过共享特征编码器进行编码处理后,将编码结果发送至服务器集群进行处理。经过共享特征编码器处理后的结果不再是原始图像,不仅更加有利于传输数据的保密,而且传输数据量也有一定程度的降低,传输速率更快。
如果将可用节点选择操作置于一个节点进行,当该节点发生故障,那么该服务器内的神经网络推理操作陷入停滞。而且,当把计算集中在一个节点时,很容易被攻击和破解。因此,为了实现区块链的去中心化,在每一个深度神经网络推理请求的推理过程结束之后,可以由最后一个节点执行可用节点选择操作。
在对深度神经网络进行模块划分时,神经网络的某些模块很难一次性放进一个节点,即某些模块的运算量较大,很难在短时间内完成计算。因此,可以对共享特征编码器、施工人员关键点编码器、施工人员关键点解码器、安全鞋关键点编码器、安全鞋关键点解码器分别进行适当细分,增加神经网络切分块数,减小任务粒度,提高并行性。即可得到共享特征编码器子模块组、施工人员关键点编码器子模块组、施工人员关键点解码器子模块组、安全鞋关键点编码器子模块组、安全鞋关键点解码器子模块组。如此,根据神经网络的推理顺序,即可得到更加细分的施工人员安全鞋穿戴检测深度神经网络推理链。相应地,针对每一个施工人员安全鞋穿戴检测深度神经网络推理请求,从服务器集群中选择多个可用节点,将分别分布于不同可用节点的细分后的共享特征编码器、施工人员关键点编码器、施工人员关键点解码器、安全鞋关键点编码器、安全鞋关键点解码器的子模块组所需权重、参数作为区块数据,根据施工人员安全鞋穿戴检测深度神经网络推理顺序,生成施工人员安全鞋穿戴检测区块链私链。
进一步地,为了保证各个区块所接收到数据的完整性和安全性,防止在数据在传输过程中被攻击和篡改,需要对区块间传输的数据进行加密。本发明使用DES加密处理:即把传输的64位明文输入块变为64位的密文输出块,所使用的密钥也是64位。首先利用置换表,把输入的64位数据块按位重新组合,并把输出分为L0、R0两部分,每部分各长32位。置换表中存储其置换规则,例如将输入的第58位换到第一位,第50位换到第2位。L0、R0则是换位输出后的两部分,L0是输出的左32位,R0是右32位。经过16次迭代运算后,得到L16、R16,将此作为输入,进行逆置换,逆置换正好是初始置换的逆运算,由此即得到密文输出。实际应用中,应避开使用第8,16,24,......64位作为有效数据位,而使用其它的56位作为有效数据位,才能保证DES算法安全可靠地发挥作用。因为第8、16、24、......64位8个位并未参与DES运算。对所有区块之间的数据传输进行加密、解密操作,可能保证最完备的保密性能。当下一区块所在节点收到经过加密的结果后,首先进行解密操作,然后进行后续处理。
BIM(Building Information Modeling)技术是一种应用于工程设计、建造、管理的数据化工具,通过对建筑的数据化、信息化模型整合,在项目策划、运行和维护的全生命周期过程中进行共享和传递,使工程技术人员对各种建筑信息做出正确理解和高效应对,为设计团队以及包括建筑、运营单位在内的各方建设主体提供协同工作的基础,在提高生产效率、节约成本和缩短工期方面发挥重要作用。CIM(City Information Modeling,城市信息模型)是BIM的进一步升级,其建模范围扩张到城市的某一区域甚至争做城市。
采用CIM和计算机视觉相结合的形式,能有效的提高工作效率。将安全鞋检测信息传输到城市工地信息模型中,利用Web GIS进行可视化处理,将网络输出结果在城市工地信息模型的空间模型中显示为人员位置信息与安全鞋检测位置信息,便于管理人员了解施工人员位置及其安全用具佩戴信息并采取相应的安全管理措施。信息交换模块是一种CIM的数据库的访问模块,可以是多种形式,在此举例:可以是RESTful、MQ等多种信息交换形式。
本发明结合CIM对施工人员安全鞋穿戴检测结果进行实时展示。因此,本发明设计了城市工地信息模型。城市工地信息模型基于CIM技术,包括城市工地三维建模信息、监控区域信息、施工人员安全鞋穿戴检测结果。其中,城市工地建模信息包括各个工地的工地建筑物信息、工地建材放置信息、工人工作区域信息等各种工地场景信息,这些类型信息中同时包含相应的地理位置信息,结合Web GIS技术通过可视化软件可以对工地的三维场景进行还原展示。监控区域信息包括监控区域地理位置信息监控视觉传感器摄取的图像、坐标变换矩阵。监控区域信息用于在可视化的工地区域建筑信息模型中还原监控区域图像。坐标变化矩阵用于将监控图像转换为可视化效果更好的图像,例如俯视图等。施工人员安全鞋穿戴检测结果,用于将施工人员安全鞋穿戴检测结果集成到匹配的监控区域,以供监管人员查看。在本发明中,施工人员安全鞋穿戴检测结果实时传输至城市工地信息模型。
本发明的方法还包括使用可视化单元结合Web GIS技术对城市工地信息模型进行可视化,展示在监控页面。具体地,可视化单元包括:初始化模块,用于从城市工地信息模型获取城市内各地标信息,结合Web GIS技术对城市工地信息模型进行渲染,展示在前台Web页面,得到城市工地信息模型的初始可视化结果;数据获取模块,用于从城市工地信息模型获取监控区域信息以及检测结果;安全鞋穿戴可视化模块,用于将监控区域信息以及安全鞋穿戴检测结果集成在城市工地信息模型的初始可视化结果。管理员可以通过可视化结果对区域内工地安全鞋穿戴详情进行查看。
以上实施例仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (9)

1.一种结合区块链与DNN的施工人员安全鞋穿戴检测方法,其特征在于,该方法包括:
构建施工人员安全鞋穿戴检测深度神经网络,网络的输入为终端集群的终端节点采集的施工人员图像,网络的输出结果为施工人员关键点热力图与安全鞋关键点热力图;
设置关键点匹配单元,用于对施工人员关键点与安全鞋关键点进行位置匹配,得到安全鞋穿戴检测结果;
针对每一个施工人员安全鞋穿戴检测深度神经网络推理请求,在终端集群、服务器集群上配置施工人员安全鞋穿戴检测区块链私链,执行网络推理,得到安全鞋穿戴检测结果;
其中,施工人员安全鞋穿戴检测深度神经网络由多个模块组成,包括:
共享特征编码器,用于对施工人员图像进行编码,提取共享特征;
施工人员关键点编码器,用于对共享特征编码器的输出进行编码,提取施工人员关键点特征;
施工人员关键点解码器,用于对施工人员关键点特征进行解码,得到施工人员关键点热力图;
安全鞋关键点编码器,用于对共享特征编码器的输出进行编码,提取安全鞋关键点特征;
安全鞋关键点解码器,用于对安全鞋关键点特征进行解码还原,得到安全鞋关键点热力图。
2.如权利要求1所述的方法,其特征在于,所述配置施工人员安全鞋穿戴检测区块链私链包括:
在终端集群、服务器集群上加载训练好的施工人员安全鞋穿戴检测深度神经网络所需参数以及关键点匹配单元所需参数;
从终端集群与服务器集群中选择多个可用节点,将分别分布于不同可用节点的共享特征编码器、施工人员关键点编码器、施工人员关键点解码器、安全鞋关键点编码器、安全鞋关键点解码器、关键点匹配单元所需参数作为对应终端、节点的区块数据,按照施工人员安全鞋穿戴检测深度神经网络推理顺序以及网络与关键点匹配单元之间的推理顺序将区块连接,生成施工人员安全鞋穿戴检测区块链私链,并执行施工人员安全鞋穿戴检测推理。
3.如权利要求2所述的方法,其特征在于,在终端集群上加载共享特征编码器所需参数,终端节点作为施工人员安全鞋穿戴检测深度神经网络区块链私链的第一区块。
4.如权利要求2所述的方法,其特征在于,所述区块链私链中的区块对其要传输至下一区块的神经网络推理中间结果数据进行加密,对其从上一区块接收到的神经网络推理中间结果数据进行解密。
5.如权利要求4所述的方法,其特征在于,区块采用DES算法进行加密、解密。
6.如权利要求1所述的方法,其特征在于,在网络输出施工人员关键点热力图、安全鞋关键点热力图后,进行关键点回归得到施工人员关键点、安全鞋关键点,利用关键点匹配单元对两类关键点进行位置匹配,得到施工人员安全鞋佩戴检测结果。
7.如权利要求1所述的方法,其特征在于,构建城市工地信息模型,城市工地信息模型包括:城市工地三维建模信息、监控区域信息、施工人员安全鞋穿戴检测结果信息;结合WebGIS技术对城市工地信息模型进行渲染,展示在前台页面。
8.如权利要求1所述的方法,其特征在于,对共享特征编码器、施工人员关键点编码器、施工人员关键点解码器、安全鞋关键点编码器、安全鞋关键点解码器分别进行适当细分,将分别分布于不同节点的细分后的每一模块的参数作为区块数据,按照施工人员安全鞋穿戴检测深度神经网络推理顺序,生成施工人员安全鞋穿戴检测区块链私链。
9.如权利要求1-8任意一项所述的方法,其特征在于,所述施工人员关键点为施工人员脚踝关键点。
CN202010383200.5A 2020-05-08 2020-05-08 结合区块链与dnn的施工人员安全鞋穿戴检测方法 Withdrawn CN111539373A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010383200.5A CN111539373A (zh) 2020-05-08 2020-05-08 结合区块链与dnn的施工人员安全鞋穿戴检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010383200.5A CN111539373A (zh) 2020-05-08 2020-05-08 结合区块链与dnn的施工人员安全鞋穿戴检测方法

Publications (1)

Publication Number Publication Date
CN111539373A true CN111539373A (zh) 2020-08-14

Family

ID=71977596

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010383200.5A Withdrawn CN111539373A (zh) 2020-05-08 2020-05-08 结合区块链与dnn的施工人员安全鞋穿戴检测方法

Country Status (1)

Country Link
CN (1) CN111539373A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113435656A (zh) * 2021-07-06 2021-09-24 郑州航空工业管理学院 一种工程进度视觉管理方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113435656A (zh) * 2021-07-06 2021-09-24 郑州航空工业管理学院 一种工程进度视觉管理方法及系统
CN113435656B (zh) * 2021-07-06 2023-05-30 郑州航空工业管理学院 一种工程进度视觉管理方法及系统

Similar Documents

Publication Publication Date Title
Mansouri et al. A novel one-dimensional sine powered chaotic map and its application in a new image encryption scheme
CN110032878B (zh) 一种安全的特征工程方法和装置
CN101044761B (zh) 安全处理输入图像的方法
CN111461075A (zh) 结合深度神经网络与区块链的护栏翻越检测方法
CN101044760B (zh) 安全处理一系列输入图像的方法和系统
CN111428694A (zh) 基于区块链的智慧工地异常烟雾监测系统
CN111583068A (zh) 结合区块链的施工区域人员停留时间热度统计方法
CN111563433A (zh) 基于区块链的智慧工地漫水监测系统
CN109413178B (zh) 一种基于物联网的区块链数据收录方法及数据收录系统
CN112394974A (zh) 代码变更的注释生成方法、装置、电子设备及存储介质
CN112686393A (zh) 一种联邦学习系统
CN111414499A (zh) 基于区块链与bim的作业人员安全带佩戴检测系统
CN111461074A (zh) 结合区块链与深度学习的通道阻塞检测方法
Ge et al. Image encryption application of chaotic sequences incorporating quantum keys
CN111539373A (zh) 结合区块链与dnn的施工人员安全鞋穿戴检测方法
CN111476208A (zh) 利用区块链的智慧工地施工人员聚集监测系统
CN111524131A (zh) 基于区块链与bim的墙壁裂缝检测系统
Wang et al. Privacy-preserving outsourced feature extractions in the cloud: A survey
CN116506230B (zh) 基于rsa非对称加密的数据采集方法、系统
CN111523434A (zh) 基于区块链与bim的工地人员异常聚集检测系统
CN111414501A (zh) 基于区块链与cim的木材易燃风险预测系统
CN117094412A (zh) 针对非独立同分布医疗场景下的联邦学习方法和装置
CN109409111B (zh) 一种面向加密图像的模糊搜索方法
CN116760528A (zh) 一种基于多密钥同态共享下的多方资产交付方法和装置
Diallo et al. Nomad: A framework for developing mission-critical cloud-based applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20200814

WW01 Invention patent application withdrawn after publication