CN111461075A - 结合深度神经网络与区块链的护栏翻越检测方法 - Google Patents

结合深度神经网络与区块链的护栏翻越检测方法 Download PDF

Info

Publication number
CN111461075A
CN111461075A CN202010384847.XA CN202010384847A CN111461075A CN 111461075 A CN111461075 A CN 111461075A CN 202010384847 A CN202010384847 A CN 202010384847A CN 111461075 A CN111461075 A CN 111461075A
Authority
CN
China
Prior art keywords
guardrail
key point
neural network
detection
crossing detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010384847.XA
Other languages
English (en)
Inventor
于珂
任琼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202010384847.XA priority Critical patent/CN111461075A/zh
Publication of CN111461075A publication Critical patent/CN111461075A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Bioethics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种结合深度神经网络与区块链的护栏翻越检测方法，包括：搭建护栏翻越检测深度神经网络，网络的输入为采集的监控区域图像，网络的输出结果为是否有人翻越围栏的检测结果，网络包括：人员关键点检测编码器、人员关键点检测解码器、关键点回归单元、后处理单元；在服务器集群上加载训练好的护栏翻越检测深度神经网络所需参数，针对每一个护栏翻越检测深度神经网络推理请求，配置护栏翻越检测深度神经网络推理区块链私链，并执行护栏翻越检测推理。利用本发明，在工地限制区域人员翻越监测中，提高了检测精度、检测效率以及数据处理传输过程中的安全性、保密性。

Description

结合深度神经网络与区块链的护栏翻越检测方法
技术领域
本发明涉及人工智能、区块链、CIM、智慧工地技术领域，具体涉及一种结合深度神经网络与区块链的护栏翻越检测方法。
背景技术
随着我国社会经济和科学技术的迅捷发展，施工场地里以人力资源为主的传统检测和管理方法已经出现许多局限性，例如人员进行检测和管理工作成本过高，检测和管理的工作效率低下，检测的准确性不高易受到主观因素的影响，人力资源的缺乏导致对管理的不力等问题。
建筑工地施工场所，具有一定的危险性。如果有外来人员通过翻越护栏进入施工场地限制区域，不进会导致影响施工进度，干扰施工作业环境，造成工地财产损失，而且可能出现人员伤亡。因此，在智慧工地工程中，护栏翻越检测十分必要。然而，依靠人力进行实时监督成本过高，且效率低下，会受到监督人员主观因素的影响。而且，目前的工地各种危险因素检测通常只返回异常结果，结果反馈单一。并且，用于计算的系统，信息易被泄露、安全性能较低。
因此，现有护栏翻越检测技术存在检测精度和检测效率低下、结果反馈单一、数据处理及传输过程中安全性能低的问题。
发明内容
本发明提供了一种结合深度神经网络与区块链的护栏翻越检测方法，不仅结果反馈多元，而且提高了护栏翻越检测精度、检测效率和数据处理传输过程中的安全性、保密性。
一种结合深度神经网络与区块链的护栏翻越检测方法，该方法包括：
搭建护栏翻越检测深度神经网络，网络的输入为采集的监控区域图像，网络的输出结果为是否有人翻越围栏的检测结果；
在服务器集群上加载训练好的护栏翻越检测深度神经网络所需参数，针对每一个护栏翻越检测深度神经网络推理请求，配置护栏翻越检测深度神经网络推理区块链私链，并执行护栏翻越检测推理；
其中，护栏翻越检测深度神经网络由多个模块组成，包括：
人员关键点检测编码器，用于对监控区域图像进行特征提取；
人员关键点检测解码器，用于对人员关键点检测编码器输出的特征图进行解码表征，得到人员关键点热图；
关键点回归单元，对人员关键点热图进行关键点回归，得到关键点坐标，并将关键点坐标投影到城市工地信息模型地面二维坐标系；
后处理单元，用于根据投影到城市工地信息模型地面的关键点坐标与护栏感兴趣区域的位置关系，判断是否存在护栏翻越事件。
人员关键点包括人体根节点。
所述后处理单元包括：
事件监测模块，用于持续监测关键点坐标是否在护栏感兴趣区域这一事件；
事件累积计算模块，根据遗忘算法计算事件累积结果X＝αx+βx′，其中x为当前监控图像帧的事件结果，x′为之前帧累加结果，X为事件累加结果，α为调整当前结果对累积结果影响程度的系数，当事件累积呈上升趋势，称为上升系数，当事件累积呈下降趋势时，称为衰减系数，β为遗忘系数，0<α+β≤1；
系数调整模块，用于调整α、β，α初始化值为α1，β初始化值为β1；当事件累积结果达到达标值后，调整α为α2，使其快速达到达标上限阈值，其中0≤α1<α2≤1；当事件累积结果低于达标值时，调整β为β2，0≤β2<β1≤1使事件累积状态快速回归初始状态。
配置护栏翻越检测深度神经网络推理区块链私链包括：从服务器集群中选择多个可用节点，将分别分布于不同可用节点的人员关键点检测编码器、人员关键点检测解码器、关键点回归单元、后处理单元所需参数作为对应节点的区块数据，按照护栏翻越检测深度神经网络推理链序，将节点区块连接，生成护栏翻越检测深度神经网络推理区块链私链。
所述区块链私链中的区块对其要传输至下一区块的神经网络推理中间结果数据进行加密，对其从上一区块接收到的神经网络推理中间结果数据进行解密。
采用BlowFish算法进行加密、解密操作。
基于CIM技术构建城市工地信息模型，城市工地信息模型包括：城市工地三维建模信息、监控区域信息、护栏翻越检测结果信息；结合Web GIS技术对城市工地信息模型进行渲染，展示在前台页面。
对人员关键点检测编码器、人员关键点检测解码器、关键点回归单元、后处理单元分别进行适当细分，将分别分布于不同节点的细分后的每一模块的参数作为区块数据，按照护栏翻越检测深度神经网络推理顺序，生成护栏翻越检测深度神经网络推理区块链私链。
本发明的有益效果在于：
1.本发明采用深度神经网络对监控的护栏区域图像进行分析，相比于人工监督方法，具有更准确的结果响应和更高的检测效率。
2.本发明采用后处理单元持续对人员关键点与护栏感兴趣区域位置关系进行监测，并利用一段时间内的事件累积结果判断是否有人翻越护栏，不仅能够提高检测精度，而且能够防止误检带来的结果震荡。
3.本发明基于区块链技术，对护栏翻越检测深度神经网络进行合理划分，针对每个网络推理请求，动态生成区块链私链，相比于传统的单机执行，不仅提高了系统的并行性能，而且由于区块链私链是动态的，当某一节点出现故障，系统能够及时感知，不会影响其他推理请求的计算，具有更好的容错性能。
4.本发明的区块链私链根据服务器集群中可用节点实时生成，相比于传统的固定分配，不易被攻击破解，提高了系统数据的保密性能。
5.本发明对网络推理区块链私链之间的数据进行加密，防止区块链私链区块之间传输数据的泄露，保证传输数据的保密性。
6.本发明基于CIM技术设计城市工地信息模型存储护栏翻越检测结果，并对城市工地信息模型进行可视化，相比于传统的结果反馈，本发明的反馈结果更加多元化，包括工地区域三维展示、警示标记、监控区域图像，能够使监管人员更加清晰明确地了解护栏翻越情况。
附图说明
图1为本发明方法的护栏翻越检测深度神经网络结构图。
图2为后处理单元事件累积结果示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供一种结合区块链的智慧工地护栏翻越检测方法。该方法基于CIM、区块链技术，实现施工场地翻越护栏检测。首先，利用摄像头采集施工场地限制区域护栏或围栏方向的图像，送入卷积神经网络进行编码解码处理输出图像中人的关键点热图。将由关键点热图获得的人员关键点检测坐标投影到CIM坐标系中，结合城市工地信息模型CIM中护栏的感兴趣区域，得到护栏附近人员检测的结果，根据检测结果的后处理，判断翻越护栏检测。采用区块链原理，将网络拆分为子模块，通过随机分配到计算节点后进行运算。图1为本发明方法的深度神经网络结构图。下面通过具体实施例来进行说明。
实施例一：
一种结合深度神经网络与区块链的护栏翻越检测方法，该方法包括：
构建护栏翻越检测深度神经网络，网络的输入为采集的监控区域图像，网络的输出结果为限制区域附近人员是否翻越护栏的检测结果。
本发明的主要目的为实现施工场地内护栏翻越的检测。基于计算机视觉检测技术具有非接触、高效性和经济性等显著优势，在施工场地各类检测管理应用方面有着广泛的应用前景。终端集群为工地中具有采集图像功能的终端互连组成的集群。在本实施例中，终端为具有一定计算能力的相机，可以采集监控区域的图像。
护栏翻越检测深度神经网络由多个模块组成，包括：人员关键点检测编码器、人员关键点检测解码器、关键点回归单元、后处理单元。
人员关键点检测编码器，用于对监控区域图像进行特征提取；人员关键点检测解码器，用于对人员关键点检测编码器输出的特征图进行解码表征，得到人员关键点热图；关键点回归单元，对人员关键点热图进行关键点回归，得到关键点坐标，并将关键点坐标投影到城市工地信息模型地面的二维坐标系。
护栏翻越检测网络的工作内容为：摄像头采集施工场地限制区域护栏附近的多帧图像，作为待识别样本。将采集的样本作为输入，送入人员关键点检测编码器-人员关键点检测解码器中，输出该帧样本图像的人员关键点热图Heatmap。由人员关键点热图Heatmap峰值点通过softargmax计算关键点坐标，投影到城市工地模型中地面的二维坐标系中，结合城市工地信息模型中护栏中心点在地面投影的坐标信息，得到护栏周围人员检测的结果。具体地，判断人体根结点是否在护栏感兴趣区域内。护栏感兴趣区域可以根据城市工地信息模型中护栏的坐标信息获得。护栏感兴趣区域应当比护栏的精准坐标区域大，实施者可以自行调整。实施者可以根据实施场景适当对护栏的精准坐标区域进行扩大，得到护栏感兴趣区域。
人员关键点检测编码器-人员关键点检测解码器训练的方法为以MSCOCO人体姿态数据集作为训练数据集。通过训练，使网络学习到人体关键点检测。具体训练方法如下：训练数据集的准备，首先以MSCOCO人体姿态数据集作为训练数据集，关键点位置为人体根节点(即左右髋骨中心点)。对训练数据集作特征标注，热力图训练为关键点的真实位置(Ground truth)热力图进行标注，其热力图的产生通过对关键点位置进行高斯模糊。通过均方误差损失函数，随机梯度下降法进行训练。
根据人员检测结果的后处理，输出翻越护栏检测的结果。当人员在护栏附近长时间停留，即判断存在翻越护栏行为。由于本网络仅对一帧图像进行处理得到结果，为防止误检测或者检测到的人员停留信息浮动导致检测结果的浮动，本发明在网络的后处理上采用如下图方式对人员检测信息进行处理。
后处理单元，用于判断是否存在护栏翻越事件，包括：事件监测模块，用于持续监测关键点坐标是否在护栏感兴趣区域这一事件；事件累积计算模块，根据遗忘算法计算事件累积结果X＝αx+βx′，其中x为当前监控图像帧的事件结果，x′为之前帧累加结果，X为事件累加结果，α为调整当前结果对累积结果影响程度的系数，当事件累积呈上升趋势，称为上升系数，当事件累积呈下降趋势时，称为衰减系数，β为遗忘系数，0<α+β≤1；系数调整模块，用于调整α、β，α初始化值为α1，β初始化值为β1；当事件累积结果达到达标值后，调整α为α2，使其快速达到达标上限阈值，其中0≤α1<α2≤1；当事件累积结果低于达标值时，调整β为β2，0≤β2<β1≤1使事件累积状态快速回归初始状态。根据事件累积结果判断是否存在护栏翻越事件。
具体地，后处理单元事件累积结果示例图如图2，横轴坐标为时间(T)，纵轴坐标为事件累积结果(R)，即对检测结果进行累加，利用遗忘算法进行统计的结果，遗忘算法的计算公式为：X＝ax+βx′,其中x为当前帧结果，x′为之前帧累加结果，X为当前累加结果，α为上升系数(事件消失时衰减系数)，β为遗忘系数。
整个后处理的上升和衰减分为四个阶段：α初始化值为α1，β初始化值为β1，在t0-t1时间段内，事件发生，即存在有人员在护栏附近，这个时间段的上升系数较小，其目的为防止误检测，当人员在护栏附近停留达到t1时间后，事件累加结果达到达标值，才判断有人员翻越护栏行为的发生。在t1-t2时间段内，上升系数较大调整为α2，其目的为使事件累加结果快速达到阈值，防止累加结果在达标值附近浮动影响翻越护栏的判断结果。设定一个达标上限阈值，累加结果在达标值到阈值之间，持续表示翻越护栏行为的存在，其目的为解决翻越过程中位置变化导致的检测浮动。在t3-t4时间段内，事件消失，累积结果衰减，遗忘系数保持不变，其目的为防止如tx时刻的抖动对判断结果的影响。在t4-t5时间段内，判断结果为翻越结束，遗忘系数调整为β2，其目的为使事件累积结果快速回到初始状态。
需要说明的是，编码器、解码器可以有多种实现，本发明为了兼顾大小目标的尺寸，建议人员关键点检测编码器-人员关键点检测解码器采用沙漏网络来提取特征，实施者也可根据图像大小和显存占用选取合适的神经网络内部的模块设计，如Residual Block、Bottleneck Block、CNN Block等。本发明的编码器、解码器具体采用何种网络设计，实施者可以根据具体实施需求选择，其模块化思想为本发明保护内容。
为了提高本发明系统的保密性能，防止数据泄露，并提高系统的并行性，本发明结合区块链技术设计了区块链私链。按照链式逻辑进行推理，结合区块链技术，能提高工作效率，解决数据处理内存不足的问题。分布式存储可以在云端进行，分布式计算在多个相机端、云端服务器进行。每个设备负责一部分工作，降低了工作负荷。分布式思想的使用，拥有信息加密、高容灾等优秀性能。
在此，针对本发明区块链技术与DNN技术结合进行详细阐述。区块链采用块分割数据，使用链式数据结构，将数据作为块进行验证和存储，整个数据结构汇总不存在中心化的硬件和管理机构，实现了去中心化。一代区块链技术主要在分布式账本上进行应用，二代区块链技术主要实现智能合约，三代区块链技术可以将区块链思想与其他领域技术结合，有越来越多的呈现形式，更加注重为系统功能服务。区块链私链完整地继承了公链的特性，而且私链没有博弈机制的束缚，更关注实际应用的数据传输、加解密处理，能够更好地与其他领域的技术结合。对于深度神经网络计算而言，不必要存储中间结果数据，保留链式的逻辑以匹配神经网络前向传播的原理。
本发明考虑到了若将数据直接上传到服务器集群进行处理，上传过程以及处理过程会产生明文的图像数据内容泄露问题，因此使用区块链私链的形式，将深度神经网络的不同模块作为区块，进行分散的推理，并对区块之间传输的数据进行加密处理，从而实现并行推理、容错、防止数据泄露的优秀性能。
基于上述思想，首先需要将护栏翻越检测深度神经网络进行模块划分。将人员关键点检测编码器、人员关键点检测解码器、关键点回归单元、后处理单元作为网络的不同模块。如此，根据图1中所示的神经网络的推理顺序，即可得到护栏翻越检测深度神经网络推理链。
一般工地的供电环境不稳定，没有无尘环境，在工地设置服务器会出现宕机等问题，需要经常维护维护。而由于摄像机终端本身硬件性能的限制，仅依靠摄像机对于施工场地内多位置多方位的摄像头采集图像信息进行处理，会出现内存不足等问题。因此，本实施例综合考虑这两方面因素，服务器集群使用公有云，公有云一个云主机实例作为一个服务器节点。
服务器集群中的所有节点载入护栏翻越检测深度神经网络所需权重等参数以及关键点匹配单元所需参数。针对每一个护栏翻越检测深度神经网络推理请求，从服务器集群中选择多个可用节点，将终端的相机参数以及分别分布于不同可用节点的人员关键点检测编码器、人员关键点检测解码器、关键点回归单元、后处理单元所需参数作为对应节点的区块数据。如此可以得到终端相机区块以及分布于不同可用节点的人员关键点检测编码器区块、人员关键点检测解码器区块、关键点回归单元区块、后处理单元区块。根据护栏翻越检测深度神经网络推理顺序，将上述区块连接，即可生成护栏翻越检测深度神经网络推理区块链私链。在选择可用节点以及进行节点排序时，优选地，对终端集群以及服务器集群中可用的节点进行随机排序，从中挑选与区块数相同个数的计算节点。例如，可用节点有10个，从中挑选4个节点，随机取一节点，将节点中人员关键点检测编码器所需权重等参数作为区块数据，将该区块连接到终端区块；随机取另一节点，将节点中人员关键点检测解码器所需权重等参数作为区块数据，并与上一区块(即人员关键点检测编码器)链接，以此类推，根据神经网络推理顺序，生成了对应的护栏翻越检测深度神经网络推理区块链私链。由此可见，可以同时存在多个针对不同请求生成的护栏翻越检测深度神经网络推理区块链私链，并且，该区块链私链是动态生成的，不易被攻击破解，保密性能更好。在可用节点选择中，首先产生一个新的随机数种子，可利用IP、Global Time等方式选择，在此不做赘述。选择好随机数种子后，利用平方取中法进行随机数的产生。此法开始取一个2s位的整数，称为种子，将其平方，得4s位整数(不足4s位时高位补0)，然后取此4s位的中间2s位作为下一个种子数，并对此数规范化(即化成小于1的2s位的实数值)，即为第一个(0，1)上的随机数。以此类推，即可得到一系列随机数。将随机数分配至可用节点，按照随机数的大小对节点进行排序，再将节点中的对应的编码器、解码器等单元进行连接。
需要说明的是，后处理单元是对事件进行持续监测，因此，后处理单元的节点选择可以根据实施情况灵活调整。例如，可以固定时间间隔更换一次。针对每一个网络推理请求得到的节点分配，可以在需要调整该单元节点时再按照网络推理请求得到的节点分配更换计算节点。另外，也可以将接收检测结果的监控中心所在节点加入区块链私链，这样做可以保证两者之间数据传输的安全性能，防止数据泄露。
如果将可用节点选择操作置于一个节点进行，当该节点发生故障，那么该服务器内的神经网络推理操作陷入停滞。而且，当把计算集中在一个节点时，很容易被攻击和破解。因此，为了实现区块链的去中心化，在每一个深度神经网络推理请求的推理过程结束之后，可以由最后一个节点执行可用节点选择操作。
在对深度神经网络进行模块划分时，神经网络的某些模块很难一次性放进一个节点，即某些模块的运算量较大，很难在短时间内完成计算。因此，可以对人员关键点检测编码器、人员关键点检测解码器、关键点回归单元、后处理单元分别进行适当细分，增加神经网络切分块数，减小任务粒度，提高并行性。即可得到人员关键点检测编码器、人员关键点检测解码器、关键点回归单元、后处理单元对应的子模块组。如此，根据神经网络的推理顺序，即可得到更加细分的护栏翻越检测深度神经网络推理链。相应地，针对每一个护栏翻越检测深度神经网络推理请求，从服务器集群中选择多个可用节点，将分别分布于不同可用节点的细分后的人员关键点检测编码器、人员关键点检测解码器、关键点回归单元、后处理单元的子模块所需权重、参数作为区块数据，根据护栏翻越检测深度神经网络推理顺序，生成护栏翻越检测深度神经网络推理区块链私链。
进一步地，为了保证各个区块所接收到数据的完整性和安全性，防止在数据在传输过程中被攻击和篡改，需要对区块间传输的数据进行加密。本发明使用BLOWFISH加密处理：其中节点到节点之间的数据传输是需要使用加密手段的。在此使用BLOWFISH加密算法的机制:对于64Bit长度的字符串，BlowFish算法使用两个“盒”——unsignedlongpbox和unsignedlongsbox，以及一个核心加密函数:BF_En进行加密。该函数输入64位信息，运算后，以64位密文的形式输出。用BlowFish算法加密信息，需要两个过程：密钥预处理和信息加密。密钥预处理：BlowFish算法的源密钥——pbox和sbox是固定的。加密一个信息时，需选择一个key，用这个key对pbox和sbox进行变换，得到下一步信息加密所要用的key_pbox和key_sbox。具体的变换算法如下：用sbox填充key_sbox，用自己选择的key，8个一组地去异或pbox，用异或的结果填充key_pbox，key可以循环使用，循环直到key_pbox填充完毕；用BF_En加密一个全0的64位信息，用输出的结果替换key_pbox[0]和key_pbox[1],i＝0；用BF_En加密替换后的key_pbox[i],key_pbox[i+1]，用输出替代key_pbox[i+2]和key_pbox[i+3]；重复上一步，直到key_pbox全部被替换；用key_pbox[16]和key_pbox[17]做首次输入(相当于上面的全0的输入)，用类似的方法，替换key_sbox信息加密。信息加密就是用函数把待加密信息x分成32位的两部分，BF_En对输入信息进行变换。用BlowFish算法解密，同样也需要两个过程：密钥预处理、信息解密。密钥预处理的过程与加密时完全相同。信息解密的过程就是把信息加密过程的key_pbox逆序使用即可。
BIM(Building Information Modeling)技术是一种应用于工程设计、建造、管理的数据化工具，通过对建筑的数据化、信息化模型整合，在项目策划、运行和维护的全生命周期过程中进行共享和传递，使工程技术人员对各种建筑信息做出正确理解和高效应对，为设计团队以及包括建筑、运营单位在内的各方建设主体提供协同工作的基础，在提高生产效率、节约成本和缩短工期方面发挥重要作用。CIM(City Information Modeling，城市信息模型)是BIM的进一步升级，其建模范围扩张到城市的某一区域甚至争做城市。
采用CIM和计算机视觉相结合的形式，能有效的提高工作效率。将护栏翻越检测信息传输到城市工地信息模型中，利用Web GIS进行可视化处理，将网络输出结果在城市工地信息模型的空间模型中显示为人员位置信息与护栏翻越检测位置信息，便于管理人员了解工地周边安全并采取相应的安全管理措施。信息交换模块是一种CIM的数据库的访问模块，可以是多种形式，在此举例：可以是RESTful、MQ等多种信息交换形式。
本发明结合CIM对护栏翻越检测结果进行实时展示。因此，本发明设计了城市工地信息模型。城市工地信息模型基于CIM技术，包括城市工地三维建模信息、监控区域信息、护栏翻越检测结果。其中，城市工地建模信息包括各个工地的工地建筑物信息、工地建材放置信息、工人工作区域信息等各种工地场景信息，这些类型信息中同时包含相应的地理位置信息，结合Web GIS技术通过可视化软件可以对工地的三维场景进行还原展示。监控区域信息包括监控区域地理位置信息监控视觉传感器摄取的图像、坐标变换矩阵。监控区域信息用于在可视化的工地区域建筑信息模型中还原监控区域图像。坐标变化矩阵用于将监控图像转换为可视化效果更好的图像，例如俯视图等。护栏翻越检测结果，用于将护栏翻越检测结果集成到匹配的监控区域，以供监管人员查看。在本发明中，护栏翻越检测结果实时传输至城市工地信息模型。
本发明的方法还包括使用可视化单元结合Web GIS技术对城市工地信息模型进行可视化，展示在监控页面。具体地，可视化单元包括：初始化模块，用于从城市工地信息模型获取城市内各地标信息，结合Web GIS技术对城市工地信息模型进行渲染，展示在前台Web页面，得到城市工地信息模型的初始可视化结果；数据获取模块，用于从城市工地信息模型获取监控区域信息以及检测结果；护栏翻越检测可视化模块，用于将监控区域信息以及护栏翻越检测结果集成在城市工地信息模型的初始可视化结果。管理员可以通过可视化结果对区域内护栏周围是否有人翻越进行查看。
以上实施例仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种结合深度神经网络与区块链的护栏翻越检测方法，其特征在于，该方法包括：
搭建护栏翻越检测深度神经网络，网络的输入为采集的监控区域图像，网络的输出结果为是否有人翻越围栏的检测结果；
在服务器集群上加载训练好的护栏翻越检测深度神经网络所需参数，针对护栏翻越检测深度神经网络推理请求，配置护栏翻越检测深度神经网络推理区块链私链，并执行护栏翻越检测推理；
其中，护栏翻越检测深度神经网络由多个模块组成，包括：
人员关键点检测编码器，用于对监控区域图像进行特征提取；
人员关键点检测解码器，用于对人员关键点检测编码器输出的特征图进行解码表征，得到人员关键点热图；
关键点回归单元，对人员关键点热图进行关键点回归，得到关键点坐标，并将关键点坐标投影到城市工地信息模型地面二维坐标系；
后处理单元，用于根据投影到城市工地信息模型地面的关键点坐标与护栏感兴趣区域的位置关系，判断是否存在护栏翻越事件。
2.如权利要求1所述的方法，其特征在于，所述人员关键点包括人体根节点。
3.如权利要求1所述的方法，其特征在在于，所述后处理单元包括：
事件监测模块，用于持续监测关键点坐标是否在护栏感兴趣区域这一事件；
事件累积计算模块，根据遗忘算法计算事件累积结果X＝αx+βx′，其中x为当前监控图像帧的事件结果，x′为之前帧累加结果，X为事件累加结果，α为调整当前结果对累积结果影响程度的系数，当事件累积呈上升趋势，称为上升系数，当事件累积呈下降趋势时，称为衰减系数，β为遗忘系数，0<α+β≤1；
系数调整模块，用于调整α、β，α初始化值为α1，β初始化值为β1；当事件累积结果达到达标值后，调整α为α2，使其快速达到达标上限阈值，其中0≤α1<α2≤1；当事件累积结果低于达标值时，调整β为β2，0≤β2<β1≤1使事件累积状态快速回归初始状态。
4.如权利要求1所述的方法，其特征在于，所述配置护栏翻越检测区块链私链包括：从服务器集群中选择多个可用节点，将分别分布于不同可用节点的人员关键点检测编码器、人员关键点检测解码器、关键点回归单元、后处理单元所需参数作为对应节点的区块数据，按照护栏翻越检测深度神经网络推理链序，将节点区块连接，生成护栏翻越检测深度神经网络推理区块链私链。
5.如权利要求4所述的方法，其特征在于，所述区块链私链中的区块对其要传输至下一区块的神经网络推理中间结果数据进行加密，对其从上一区块接收到的神经网络推理中间结果数据进行解密。
6.如权利要求5所述的方法，其特征在于，采用BlowFish算法进行加密、解密操作。
7.如权利要求1所述的方法，其特征在于，基于CIM技术构建城市工地信息模型，城市工地信息模型包括：城市工地三维建模信息、监控区域信息、护栏翻越检测结果信息；结合WebGIS技术对城市工地信息模型进行渲染，展示在前台页面。
8.如权利要求1所述的方法，其特征在于，对人员关键点检测编码器、人员关键点检测解码器、关键点回归单元、后处理单元分别进行适当细分，将分别分布于不同节点的细分后的每一模块的参数作为区块数据，按照护栏翻越检测深度神经网络推理顺序，生成护栏翻越检测深度神经网络推理区块链私链。
CN202010384847.XA 2020-05-09 2020-05-09 结合深度神经网络与区块链的护栏翻越检测方法 Withdrawn CN111461075A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010384847.XA CN111461075A (zh) 2020-05-09 2020-05-09 结合深度神经网络与区块链的护栏翻越检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010384847.XA CN111461075A (zh) 2020-05-09 2020-05-09 结合深度神经网络与区块链的护栏翻越检测方法

Publications (1)

Publication Number Publication Date
CN111461075A true CN111461075A (zh) 2020-07-28

Family

ID=71685445

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010384847.XA Withdrawn CN111461075A (zh) 2020-05-09 2020-05-09 结合深度神经网络与区块链的护栏翻越检测方法

Country Status (1)

Country Link
CN (1) CN111461075A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112150152A (zh) * 2020-10-09 2020-12-29 浙江专线宝网阔物联科技有限公司 基于区块链与模糊认知映射融合的b-f神经网络可追溯算法
CN112183397A (zh) * 2020-09-30 2021-01-05 四川弘和通讯有限公司 基于空洞卷积神经网络的坐防护栏行为的识别方法
CN112434627A (zh) * 2020-11-30 2021-03-02 浙江大华技术股份有限公司 行人翻越道路护栏的检测方法、装置以及存储介质
CN112016528B (zh) * 2020-10-20 2021-07-20 成都睿沿科技有限公司 行为识别方法、装置、电子设备及可读存储介质
CN115019261A (zh) * 2022-08-10 2022-09-06 山东美特钢材有限公司 一种基于神经网络的行人翻越交通护栏的检测识别方法
CN117994862A (zh) * 2024-04-01 2024-05-07 金钱猫科技股份有限公司 一种工地围栏翻越行为检测方法及装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112183397A (zh) * 2020-09-30 2021-01-05 四川弘和通讯有限公司 基于空洞卷积神经网络的坐防护栏行为的识别方法
CN112150152A (zh) * 2020-10-09 2020-12-29 浙江专线宝网阔物联科技有限公司 基于区块链与模糊认知映射融合的b-f神经网络可追溯算法
CN112150152B (zh) * 2020-10-09 2023-08-08 浙江专线宝网阔物联科技有限公司 基于区块链与模糊认知映射融合的b-f神经网络可追溯算法
CN112016528B (zh) * 2020-10-20 2021-07-20 成都睿沿科技有限公司 行为识别方法、装置、电子设备及可读存储介质
CN112434627A (zh) * 2020-11-30 2021-03-02 浙江大华技术股份有限公司 行人翻越道路护栏的检测方法、装置以及存储介质
CN112434627B (zh) * 2020-11-30 2023-04-07 浙江大华技术股份有限公司 行人翻越道路护栏的检测方法、装置以及存储介质
CN115019261A (zh) * 2022-08-10 2022-09-06 山东美特钢材有限公司 一种基于神经网络的行人翻越交通护栏的检测识别方法
CN117994862A (zh) * 2024-04-01 2024-05-07 金钱猫科技股份有限公司 一种工地围栏翻越行为检测方法及装置

Similar Documents

Publication Publication Date Title
CN111461075A (zh) 结合深度神经网络与区块链的护栏翻越检测方法
US9910993B2 (en) Simulation and virtual reality based cyber behavioral systems
Suma et al. Enabling next generation logistics and planning for smarter societies
CN111428694A (zh) 基于区块链的智慧工地异常烟雾监测系统
CN101044761B (zh) 安全处理输入图像的方法
CN111583068A (zh) 结合区块链的施工区域人员停留时间热度统计方法
CN103607388A (zh) 一种apt威胁预测方法及系统
CN107507275B (zh) 基于大数据的输电线路跳闸影响范围确定的方法及装置
CN111414499A (zh) 基于区块链与bim的作业人员安全带佩戴检测系统
JP2022033002A (ja) ブロックチェーンに基づく入札応札情報処理方法、システム、装置および媒体
CN105701418B (zh) 一种基于空间序列数据分析的用户轨迹隐私保护方法
Kotenko et al. Creating new-generation cybersecurity monitoring and management systems
CN111461074A (zh) 结合区块链与深度学习的通道阻塞检测方法
CN111476208A (zh) 利用区块链的智慧工地施工人员聚集监测系统
Hohl et al. Spatiotemporal domain decomposition for massive parallel computation of space-time kernel density
CN112989394B (zh) 一种矢量地理数据加密、解密方法及系统
CN111524131A (zh) 基于区块链与bim的墙壁裂缝检测系统
CN113902135A (zh) 样本数据量联合扩充方法、装置、设备、系统及存储介质
CN111523434A (zh) 基于区块链与bim的工地人员异常聚集检测系统
CN111553269A (zh) 基于区块链的智慧工地车辆堵塞监测系统
CN111414503A (zh) 基于区块链与cim的木材堆积检测系统
CN107005576A (zh) 从服务器日志生成用于链接标识符的桥接匹配标识符
CN105117900A (zh) 一种进度信息获取方法、装置及终端设备
CN111414501A (zh) 基于区块链与cim的木材易燃风险预测系统
CN111414504A (zh) 基于区块链与cim的工地漫水检测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20200728

WW01 Invention patent application withdrawn after publication