CN111523434A - 基于区块链与bim的工地人员异常聚集检测系统 - Google Patents

基于区块链与bim的工地人员异常聚集检测系统 Download PDF

Info

Publication number
CN111523434A
CN111523434A CN202010308495.XA CN202010308495A CN111523434A CN 111523434 A CN111523434 A CN 111523434A CN 202010308495 A CN202010308495 A CN 202010308495A CN 111523434 A CN111523434 A CN 111523434A
Authority
CN
China
Prior art keywords
personnel
neural network
information
data
building
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010308495.XA
Other languages
English (en)
Inventor
李亚茹
夏南南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202010308495.XA priority Critical patent/CN111523434A/zh
Publication of CN111523434A publication Critical patent/CN111523434A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9538—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/606—Protecting data by securing the transmission between two devices or processes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Bioethics (AREA)
  • Computing Systems (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Emergency Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于区块链与BIM的工地人员异常聚集检测系统。该系统包括：图像采集单元、人员密度热图获取单元、人员密度估计单元、可视化单元、异常预警单元，服务器集群中的所有节点载入人员定位深度神经网络所需参数；针对每一个人员定位深度神经网络推理请求，从服务器集群中选择多个可用节点，将分别分布于不同可用节点的人员定位编码器、联合特征提取编码器、人员定位解码器所需参数作为区块数据，生成人员定位深度神经网络推理区块链私链，并执行人员定位深度神经网络推理，从而实现工地人员异常聚集检测。利用本发明，在工地人员异常聚集检测中，不仅结果反馈多元，而且提高了检测精度和数据处理过程中安全性能。

Description

基于区块链与BIM的工地人员异常聚集检测系统
技术领域
本发明属于区块链、BIM技术领域，具体涉及一种基于区块链与BIM的工地人员异常聚集检测系统。
背景技术
近年来，建筑、房地产行业飞速发展。随着建筑工程数量的不断增多，工地人员安全备受关注。在工地中，人员异常聚集易引发安全事故，因此，工地内部的人员管理迫在眉睫。
工地内都配备了监控摄像头。目前，工地人员异常聚集检测主要是依靠监控人员观看监控摄像头返回的监控画面完成。监控人员需要日夜值守，不仅容易出现忽略异常聚集的漏检情况，而且效率很低。另一方面，随着视频数据指数级增长，在进行视频回放查证时，从中获取有用的信息或情报非常困难。
一些研究使用滑动窗口来检测场景中的人群，并统计人数。在人员检测方面，通过训练一个分类器，利用从行人全身提取到HOG或者边缘等特征检测行人。但这种方法主要适用于稀疏人群，随着人群密度的提升，人与人之间的遮挡越来越严重，其检测精度也大大降低。
而且，目前的人员异常聚集检测通常只返回异常区域位置信息，结果反馈单一。并且，用于计算的服务器集群，信息易被泄露、安全性能较低。
因此，现有人员聚集检测领域存在结果反馈单一、检测精度低、安全性能较低的问题。
发明内容
本发明的目的在于针对上述现有技术存在的缺陷，提出一种基于区块链与BIM的工地人员异常聚集检测系统，不仅结果反馈多元，而且提高了检测精度和数据处理过程中安全性能。
一种基于区块链与BIM的工地人员异常聚集检测系统，该系统基于工地区域建筑信息模型进行工地人员异常聚集检测，该系统包括：
图像采集单元，用于获取包含深度信息的监控区域彩色图像；
人员密度热图获取单元，用于基于人员定位深度神经网络对监控区域彩色图像进行分析，获得人员密度热图，人员定位深度神经网络包括人员定位编码器、联合特征提取编码器、人员定位解码器；
人员密度估计单元，用于对人员密度热图中的热斑进行位置回归、计数，得到人员密度估计结果；
可视化单元，用于从工地区域建筑信息模型获取数据，结合Web GIS对工地区域建筑信息模型进行渲染，将工地人员聚集情况展示在前台页面；
异常预警单元，用于当人员密度估计结果超过设定阈值时，发送异常预警信息至前台页面；
系统还包括服务器集群，服务器集群中的所有节点载入人员定位深度神经网络所需参数；针对每一个人员定位深度神经网络推理请求，从服务器集群中选择多个可用节点，将分别分布于不同可用节点的人员定位编码器、联合特征提取编码器、人员定位解码器所需参数作为区块数据，按照人员定位深度神经网络推理顺序，生成人员定位深度神经网络推理区块链私链，并执行人员定位深度神经网络推理。
进一步地，区块链私链中的区块对其要传输至下一区块的神经网络推理中间结果数据进行加密，对其从上一区块接收到的神经网络推理中间结果数据进行解密。
进一步地，区块采用张量混淆加密机制进行加密、解密操作。
进一步地，对人员定位编码器、联合特征提取编码器、人员定位解码器分别进行适当细分，将分别分布于不同节点的细分后的每一模块的参数作为区块数据，按照人员定位深度神经网络推理顺序，生成人员定位深度神经网络推理区块链私链。
进一步地，人员定位编码器，用于对从监控区域彩色图像提取的多通道数据进行特征编码，得到初始人员密度特征；
联合特征提取编码器，用于对初始人员密度特征与深度信息按通道接合后的特征进行特征提取；
人员定位解码器，用于对联合特征提取解码器的输出进行解码，得到人员密度热图。
进一步地，工地区域建筑信息模型包括工地场景建模信息、监控区域信息、人员密度数据。
进一步地，可视化单元包括：
初始化模块，用于从工地区域建筑信息模型获取工地场景建模信息，结合Web GIS技术对工地区域建筑信息模型进行渲染，展示在前台Web页面，得到工地区域建筑信息模型的初始展示结果；
数据获取模块，用于从工地区域建筑信息模型获取监控区域信息、人员密度数据；
人员聚集情况可视化模块，用于从根据监控区域信息的地理位置将监控区域信息、人员密度数据匹配至初始展示结果中，并根据异常预警信息对监控区域进行警示标记。
进一步地，张量混淆加密机制包括：
随机生成C组随机数，每一组包括两个随机数值，其中C为区块所在节点输出张量的通道数；
根据两个随机数值分别对张量的宽、高方向进行循环移位操作。
本发明与现有技术相比，具有以下有益效果：
1.本发明采用深度神经网络对监控区域图像进行分析，得到人员密度热图，相比于传统的基于分类器进行人员检测，不仅检测效率更高，而且在高密集人群环境下也可以获得较高的检测精度。
2.本发明基于区块链技术，对人员定位深度神经网络进行合理划分，针对每个网络推理请求，动态生成区块链私链，相比于传统的单机执行，不仅提高了系统的并行性能，而且具有更好的容错性能。
3.本发明的区块链私链根据服务器集群中可用节点实时生成，不易被篡改和攻击，具有更高的保密性能。
4.本发明对网络推理区块链私链之间的数据进行加密，防止区块链私链区块之间传输数据的泄露，保证传输数据的保密性，而且张量混淆加密操作计算方便，计算量小，在提高保密性能的同时不会增加系统负担。
5.本发明基于BIM技术设计工地区域建筑信息模型存储工地人员异常聚集检测结果，并对工地区域建筑信息模型进行可视化，相比于传统的结果反馈，本发明的反馈结果更加多元化，包括工地区域三维展示、警示标记、监控区域图像，能够使监管人员更加清晰明确地了解异常聚集情况。
附图说明
图1为本发明系统的神经网络结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供一种基于区块链与BIM的工地人员异常聚集检测系统。图1为本发明系统的神经网络结构图。下面通过具体实施例来进行说明。
实施例一：
基于区块链与BIM的工地人员异常聚集检测系统，该系统基于工地区域建筑信息模型进行工地人员异常聚集检测。工地区域建筑信息模型包括工地场景建模信息、监控区域信息、人员密度数据。
具体地，建筑信息模型(Building Information Modeling)是应用于建筑工程设计、建造、管理的数据化新工具，该信息模型集成了建筑项目周期内所有建筑数据。结合WebGIS等技术使用可视化软件可以实现建筑信息模型的可视化，为建筑设计、建筑管理提供便利。
本发明结合BIM对工地人员异常聚集检测结果进行实时展示，并为监管人员提供预警信息。因此，本发明设计了工地区域建筑信息模型。工地区域建筑信息模型基于BIM技术，包括工地场景建模信息、监控区域信息、人员密度数据。其中，工地场景建模信息包括工地建筑物信息、工地建材放置信息、工人工作区域信息等各种工地场景信息，这些类型信息中同时包含相应的地理位置信息，结合Web GIS技术通过可视化软件可以对工地的三维场景进行还原展示。监控区域信息包括监控区域地理位置信息、监控视觉传感器地理位置信息、监控视觉传感器摄取的图像、坐标变换矩阵。监控区域信息用于在可视化的工地区域建筑信息模型中还原监控区域图像。坐标变化矩阵用于将监控图像转换为可视化效果更好的图像，例如俯视图等。人员密度数据包括监控区域内人员的密度估计结果，用于将人员密度估计结果集成到匹配的监控区域，以供监管人员查看。在本发明中，人员密度估计结果实时传输至工地区域建筑信息模型。
下面对如何获得人员密度数据进行详细说明。本发明通过对传感器采集到的一系列数据进行处理，采用深度学习的方法，提取传感器感知信息的特征，达到预测人群异常聚集的目的。
根据生活常识，距离相机较近的物体在图像中呈现的目标尺寸较大，相反的，较远的物体在图像中的尺寸较小。深度信息表征了物体与摄像位置之间的距离。为了平衡距离对密度图估计不准确的影响，本发明将深度信息特征与密度信息特征结合起来，提高人群密度估计的准确性。因此，本发明包括图像采集单元。
图像采集单元，用于获取包含深度信息的监控区域彩色图像。图像采集单元可以使用RGB-D相机。
由于在视频画面中，工地中的人员是不断移动的，而其他的背景相对固定。因此，本发明基于深度学习得到正在移动人员的遮罩信息，并通过几何自适应高斯方法得到当前图像人群的密度图。
人员密度热图获取单元，用于基于人员定位深度神经网络对监控区域彩色图像进行分析，获得人员密度热图。
人员定位深度神经网络包括人员定位编码器、联合特征提取编码器、人员定位解码器。
人员定位编码器，用于对从监控区域彩色图像提取的多通道数据进行特征编码，得到初始人员密度特征。
如图1所示，首先通过人员定位编码器提取彩色图片的密度特征，通过一系列卷积和池化操作，得到一组高H，宽为W，通道数为C1的密度特征F_1。
在神经网络中，编码器用于对输入的多通道二维数据进行特征提取。编码器可以采用CNN Block、Res Block等。编码器、解码器可以有多种实现，本发明为了兼顾大小目标的尺寸，建议采用沙漏网络来提取特征，实施者也可根据图像大小和显存占用选取合适的神经网络内部的模块设计，如Residual Block、Bottleneck Block、CNN Block等。本发明的编码器、解码器、全连接网络具体采用何种网络设计，实施者可以根据具体实施需求选择，其模块化思想为本发明保护内容。
联合特征提取编码器，用于将初始人员密度特征与深度信息按通道接合后的特征进行特征提取。
如前所述，图像中目标与监控装置的距离对密度图精度影响很大。为了提高人员密度图精度，本发明将深度信息作为人员定位深度神经网络的输入。具体地，将通过深度传感器得到物体的深度信息采用reshape操作得到一组高为H，宽为W，通道数为C2的深度信息特征F_2。
将密度特征与深度信息特征采用结合/接合(concatenate)操作将其连接到一起形成一组新的特征F_3。需要说明的是，F_1和F_2的尺寸必须一致，融合后的特征宽高与原始特征一致，通道数变为C1+C2。
人员定位解码器，用于对联合特征提取解码器的输出进行解码，得到人员密度热图。
融合后的特征结合了密度特征和深度特征，通过人员定位解码器操作，将预测的密度图尺寸恢复到与输入的彩色图像尺寸一致，以便于损失函数在对应的位置计算损失，进而迭代更新网络权重。人员密度热图中，每一热斑代表人员的置信度。
人员密度热图获取单元是基于神经网络实现的。下面对人员定位深度神经网络的训练进行说明。
训练神经网络，需要准备一定数量的带有标注的样本数据集。在此，可以根据常用的数据集作为样本数据集。常用的数据集包括：Mall Dataset、UCSD Dataset、Zhang等人引入的WorldExpo’10crowd counting dataset(Cross-scene Crowd Counting via DeepConvolutional Neural Networks)；Zhang等(Single-image crowd counting via multi-column convolutional neural network)引入的大规模人群统计数据集ShanghaiTech。
同时，对于自主生成样本数据集的，由于工地人员众多，所在区域分散，所以待检测场景复杂，标注成本高昂，可以采用自动标注的方法对样本进行标注。
具体地，在训练过程中，需要根据损失函数对网络权重进行更新。本发明的人员密度估计的损失函数为：
Figure BDA0002456692470000041
其中，yt是真实值，
Figure BDA0002456692470000042
为预测值，fdepth为深度信息的特征值，α为深度信息所占的权重，α的取值范围是0≤α≤1。
神经网络的训练过程是公知的。在此，本发明给出一种训练方法：选取10000张有效的标注按照8:1:1的比例分为训练集，验证集和测试集。采用随机梯度下降法对参数进行优化，目标误差为0.00001，初始学习率为0.001，为防止模型陷入局部极小值，学习率需要按照每100个iteration降低10倍的方式进行递减。
至此，得到了训练好的人员定位深度神经网络，可以得到监控区域内的人员密度热图。如果想得到人员密度，需要对人员密度热图进行后处理以及人数统计计算。
人员密度估计单元，用于对人员密度热图中的热斑进行位置回归、计数，得到人员密度估计结果。
具体地，通过计算积分的方式根据密度图某一位置的热度可以推算出此区域的人数信息。对人员密度热图进行后处理，采用非极大值抑制、softargmax等方法对人员进行关键点位置回归操作，对得到的热斑坐标进行统计，从而得到人员计数。一般情况下，监控摄像头的视野是固定的，可以将人员计数作为人员密度估计结果。另外，也可以结合监控区域面积，计算单位面积的人员数，从而得到人员密度估计结果。根据人员密度估计结果，需要进一步判断是否有人员异常聚集的情况发生。本发明设计了异常预警单元来进行人员聚集异常报警。
异常预警单元，用于当人员密度估计结果超过设定阈值时，发送异常预警信息至前台页面。
具体地，在异常预警单元中，需要设定人员密度阈值，当人员密度超过设定阈值时，将异常预警信息反馈至前台页面。本发明的可视化是基于工地区域建筑信息模型的三维展示，前台页面接收到异常预警信息后，根据异常预警信息包含的相应区域的地理位置信息，在三维展示中进行警示标记即可。监控人员根据警示标记对相应位置的人员聚集情况进行点击查看。
为了提高本发明系统的保密性能，防止数据泄露，本发明结合区块链技术设计了区块链私链。
在此，针对本发明区块链技术与DNN技术结合进行详细阐述。区块链采用块分割数据，使用链式数据结构，将数据作为块进行验证和存储，整个数据结构汇总不存在中心化的硬件和管理机构，实现了去中心化。一代区块链技术主要在分布式账本上进行应用，二代区块链技术主要实现智能合约，三代区块链技术可以将区块链思想与其他领域技术结合，有越来越多的呈现形式，更加注重为系统功能服务。区块链私链完整地继承了公链的特性，而且私链没有博弈机制的束缚，更关注实际应用的数据传输、加解密处理，能够更好地与其他领域的技术结合。对于AI计算而言，不必要存储中间结果数据，保留链式的逻辑以匹配神经网络前向传播的原理。
本发明考虑到了若将数据直接上传到进行处理，上传过程以及处理过程会产生明文的图像数据内容泄露问题，因此使用区块链私链的形式，将深度神经网络的不同模块作为区块，进行分散的推理，并对区块之间传输的数据进行加密处理，从而实现并行推理、容错、防止数据泄露的优秀性能。
基于上述思想，首先需要将人员定位深度神经网络进行模块划分，将人员定位编码器、联合特征提取编码器、人员定位解码器作为网络的不同模块。如此，根据图1中所示的神经网络的推理顺序，即可得到人员定位深度神经网络推理链。
系统还包括服务器集群，服务器集群中的所有节点载入人员定位深度神经网络所需权重、参数；针对每一个人员定位深度神经网络推理请求，从服务器集群中选择多个可用节点，将分别分布于不同可用节点的人员定位编码器、联合特征提取编码器、人员定位解码器所需权重、参数作为区块数据，根据人员定位深度神经网络推理顺序，生成人员定位深度神经网络推理区块链私链，并执行人员定位深度神经网络推理。
在选择可用节点以及进行节点排序时，优选地，对服务器集群中可用的节点进行随机排序，从中挑选与区块数相同个数的计算节点。例如，可用节点有6个，从中挑选3个节点，随机取一节点，将节点中人员定位编码器所需权重等参数作为区块数据；随机取另一节点，将节点中联合特征提取编码器所需权重等参数作为区块数据，并与上一区块链接，以此类推，根据神经网络推理顺序，生成了对应的人员定位深度神经网络推理区块链私链。由此可见，在服务器集群中可以同时存在多个针对不同请求生成的人员定位深度神经网络推理区块私链，并且，该区块私链是动态生成的，不易被攻击破解，保密性能更好。在根据推理顺序得到区块链私链后，同时根据推理顺序对推理请求进行网络推理计算。
神经网络的某些模块很难一次性放进一个节点，即某些模块的运算量较大，比如人员定位解码器，很难在短时间内完成计算。因此，可以事先将区块即上述编码器、解码器进一步切分。对于进一步切分的粒度，实施者可以根据具体实施情况进行调整。在本实施例中，优选地，将人员定位编码器切分为3块，将联合特征提取编码器切分为3块，将人员定位解码器节分为3块。如此，根据神经网络的推理顺序，即可得到更加细分的人员定位深度神经网络推理链。相应地，针对每一个人员定位深度神经网络推理请求，从服务器集群中选择多个可用节点，将分别分布于不同可用节点的细分后的人员定位编码器、联合特征提取编码器、人员定位解码器的子模块组所需权重、参数作为区块数据，根据人员定位深度神经网络推理顺序，生成人员定位深度神经网络推理区块链私链。
同时，可以将图像采集单元作为区块，将其加入区块链私链，这样做的目的是通过后续的加密策略保证图像采集单元的输出是保密的，不易被截获、篡改。
此外，还可以将进行密度特征、深度信息接合操作单独作为一个区块，降低神经网络结构与其他操作之间的耦合度。然而，如果考虑到降低区块链私链的复杂度，可以将接合操作置于人员定位编码器所在的区块，也可以将接合操作置于联合特征提取编码器所在区块。实施者可以根据实施环境具体选择相应的方式。
进一步地，为了保证各个区块所接收到数据的完整性和安全性，防止在数据在传输过程中被攻击和篡改，需要对区块间传输的数据进行加密。也就是说，区块链私链节点到节点之间的数据传输是需要使用加密手段的，在此优选地使用张量混淆加密机制。
具体地，本发明通过对当前区块或计算节点输出的特征图进行张量混淆来完成加密。具体混淆的方式为，针对当前特征图的每个通道，其尺寸为H×W。选取一组的随机数组合对当前特征图进行循环移位，其中每组有两个随机数值，共有C组，分别针对特征图的宽高进行操作，C代表当前特征图的通道数。
举例说明，假设当前对索引为i的特征图进行移位操作，当前的随机数组合为(m,n)，当m为奇数时，向左循环移位m位，否则向右循环移位m位；当n为奇数时，向下循环移位n位，否则向上循环移位n位。针对中间结果是一维的，利用参数m进行左右方向的循环移位即可。
将上述加密算法应用到所有区块之间待传输的数据，完成对数据的加密操作。在数据输入到下一个区块之后，按照加密规则的逆向推理对其进行解密，从而完成了数据在计算节点之间的加密传输。
需要说明的是，人员定位深度神经网络模块之间即区块之间传输数据所需的加密参数应由可信节点生成。该可信节点可以是固定的，例如可以设置主节点，定期广播加密参数和分配表，以防加密参数被破解。然而，固定可信节点容易被攻击，因此，优选地，由区块链私链的最后一个区块所在节点生成下一推理请求所需加密参数，并广播至服务器集群中所有节点。
为了直观地呈现当前工地区域的BIM信息状态，使工地管理者能够直观地获取当前区域的摄像机感知信息以及网络预测是否有人员异常聚集的信息，本发明结合Web GIS可视化技术，将上述BIM信息模型通过Web GIS技术在Web进行展示。
可视化单元，用于从工地区域建筑信息模型获取数据，结合Web GIS对工地区域建筑信息模型进行渲染，将工地人员聚集情况展示在前台Web页面。
初始化模块，用于从工地区域建筑信息模型获取工地场景建模信息，结合Web GIS技术对工地区域建筑信息模型进行渲染，展示在前台Web页面，得到工地区域建筑信息模型的初始展示结果。
数据获取模块，用于从工地区域建筑信息模型获取监控区域信息、人员密度数据。
人员聚集情况可视化模块，用于从根据监控区域信息的地理位置将监控区域信息、人员密度数据匹配至初始展示结果中，并根据异常预警信息对监控区域进行警示标记。
同时，当预测到有人员异常聚集时，可以发出警报，以便监管人员按照其地理位置坐标对其进行相应的疏导。
本发明采用深度神经网络对监控区域图像进行分析，得到人员密度热图，相比于传统的基于分类器进行人员检测，不仅检测效率更高，而且在高密集人群环境下也可以获得较高的检测精度。本发明基于区块链技术，对人员定位深度神经网络进行合理划分，针对每个网络推理请求，动态生成区块链私链，相比于传统的单机执行，不仅提高了系统的并行性能，而且具有更好的容错性能。本发明的区块链私链根据服务器集群中可用节点实时生成，不易被篡改和攻击，具有更高的保密性能。本发明对网络推理区块链私链之间的数据进行加密，防止区块链私链区块之间传输数据的泄露，保证传输数据的保密性，而且张量混淆加密操作计算方便，计算量小，在提高保密性能的同时不会增加系统负担。本发明基于BIM技术设计工地区域建筑信息模型存储工地人员异常聚集检测结果，并对工地区域建筑信息模型进行可视化，相比于传统的结果反馈，本发明的反馈结果更加多元化，包括工地区域三维展示、警示标记、监控区域图像，能够使监管人员更加清晰明确地了解异常聚集情况。
以上实施例仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于区块链与BIM的工地人员异常聚集检测系统，其特征在于，该系统基于工地区域建筑信息模型进行工地人员异常聚集检测，该系统包括：
图像采集单元，用于获取包含深度信息的监控区域彩色图像；
人员密度热图获取单元，用于基于人员定位深度神经网络对监控区域彩色图像进行分析，获得人员密度热图，人员定位深度神经网络包括人员定位编码器、联合特征提取编码器、人员定位解码器；
人员密度估计单元，用于对人员密度热图中的热斑进行位置回归、计数，得到人员密度估计结果；
可视化单元，用于从工地区域建筑信息模型获取数据，结合Web GIS对工地区域建筑信息模型进行渲染，将工地人员聚集情况展示在前台页面；
异常预警单元，用于当人员密度估计结果超过设定阈值时，发送异常预警信息至前台页面；
系统还包括服务器集群，服务器集群中的所有节点载入人员定位深度神经网络所需参数；针对每一个人员定位深度神经网络推理请求，从服务器集群中选择多个可用节点，将分别分布于不同可用节点的人员定位编码器、联合特征提取编码器、人员定位解码器所需参数作为区块数据，按照人员定位深度神经网络推理顺序，生成人员定位深度神经网络推理区块链私链，并执行人员定位深度神经网络推理。
2.如权利要求1所述的系统，其特征在于，所述区块链私链中的区块对其要传输至下一区块的神经网络推理中间结果数据进行加密，对其从上一区块接收到的神经网络推理中间结果数据进行解密。
3.如权利要求2所述的系统，其特征在于，所述区块采用张量混淆加密机制进行加密、解密操作。
4.如权利要求1-3任一项所述的系统，其特征在于，对人员定位编码器、联合特征提取编码器、人员定位解码器分别进行适当细分，将分别分布于不同节点的细分后的每一模块的参数作为区块数据，按照人员定位深度神经网络推理顺序，生成人员定位深度神经网络推理区块链私链。
5.如权利要求1-3任一项所述的系统，其特征在于，所述人员定位编码器，用于对从监控区域彩色图像提取的多通道数据进行特征编码，得到初始人员密度特征；
联合特征提取编码器，用于对初始人员密度特征与深度信息按通道接合后的特征进行特征提取；
人员定位解码器，用于对联合特征提取解码器的输出进行解码，得到人员密度热图。
6.如权利要求1-3任一项所述的系统，其特征在于，所述工地区域建筑信息模型包括工地场景建模信息、监控区域信息、人员密度数据。
7.如权利要求1所述的系统，其特征在于，所述可视化单元包括：
初始化模块，用于从工地区域建筑信息模型获取工地场景建模信息，结合Web GIS技术对工地区域建筑信息模型进行渲染，展示在前台Web页面，得到工地区域建筑信息模型的初始展示结果；
数据获取模块，用于从工地区域建筑信息模型获取监控区域信息、人员密度数据；
人员聚集情况可视化模块，用于从根据监控区域信息的地理位置将监控区域信息、人员密度数据匹配至初始展示结果中，并根据异常预警信息对监控区域进行警示标记。
8.如权利要求3所述的系统，其特征在于，所述张量混淆加密机制包括：
随机生成C组随机数，每一组包括两个随机数值，其中C为区块所在节点输出张量的通道数；
根据两个随机数值分别对张量的宽、高方向进行循环移位操作。
CN202010308495.XA 2020-04-18 2020-04-18 基于区块链与bim的工地人员异常聚集检测系统 Withdrawn CN111523434A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010308495.XA CN111523434A (zh) 2020-04-18 2020-04-18 基于区块链与bim的工地人员异常聚集检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010308495.XA CN111523434A (zh) 2020-04-18 2020-04-18 基于区块链与bim的工地人员异常聚集检测系统

Publications (1)

Publication Number Publication Date
CN111523434A true CN111523434A (zh) 2020-08-11

Family

ID=71903389

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010308495.XA Withdrawn CN111523434A (zh) 2020-04-18 2020-04-18 基于区块链与bim的工地人员异常聚集检测系统

Country Status (1)

Country Link
CN (1) CN111523434A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112560627A (zh) * 2020-12-09 2021-03-26 江苏集萃未来城市应用技术研究所有限公司 基于神经网的工地人员异常行为实时检测方法
CN114677563A (zh) * 2022-04-08 2022-06-28 李燕秋 基于区块链的神经网络在线学习方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112560627A (zh) * 2020-12-09 2021-03-26 江苏集萃未来城市应用技术研究所有限公司 基于神经网的工地人员异常行为实时检测方法
CN114677563A (zh) * 2022-04-08 2022-06-28 李燕秋 基于区块链的神经网络在线学习方法及系统

Similar Documents

Publication Publication Date Title
Khan et al. SMSH: Secure surveillance mechanism on smart healthcare IoT system with probabilistic image encryption
CN101044761B (zh) 安全处理输入图像的方法
CN111428694A (zh) 基于区块链的智慧工地异常烟雾监测系统
CN111563433A (zh) 基于区块链的智慧工地漫水监测系统
CN104636764B (zh) 一种图像隐写分析方法以及其装置
CN111461075A (zh) 结合深度神经网络与区块链的护栏翻越检测方法
CN111523434A (zh) 基于区块链与bim的工地人员异常聚集检测系统
CN110933040B (zh) 基于区块链的数据上链方法、装置、设备及介质
CN102932650A (zh) 视频数据完整性保护和验证方法、设备和系统
CN112073444B (zh) 数据集的处理方法、装置和服务器
CN111414499A (zh) 基于区块链与bim的作业人员安全带佩戴检测系统
CN111583068A (zh) 结合区块链的施工区域人员停留时间热度统计方法
CN108876062B (zh) 一种犯罪事件智能预测的大数据方法及装置
CN112989394B (zh) 一种矢量地理数据加密、解密方法及系统
CN111414503A (zh) 基于区块链与cim的木材堆积检测系统
Chern et al. Impact of loss functions on semantic segmentation in far‐field monitoring
WO2021084944A1 (ja) 情報処理システム、情報処理方法、撮像装置、情報処理装置
CN111476208A (zh) 利用区块链的智慧工地施工人员聚集监测系统
CN111414504A (zh) 基于区块链与cim的工地漫水检测系统
CN111461074A (zh) 结合区块链与深度学习的通道阻塞检测方法
CN111524131A (zh) 基于区块链与bim的墙壁裂缝检测系统
CN111414501A (zh) 基于区块链与cim的木材易燃风险预测系统
CN116506230B (zh) 基于rsa非对称加密的数据采集方法、系统
CN111414500A (zh) 基于区块链与bim的钢丝绳断裂预警系统
CN111507270A (zh) 基于区块链与深度学习的车辆违法行为检测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20200811

WW01 Invention patent application withdrawn after publication