CN111553269A - 基于区块链的智慧工地车辆堵塞监测系统 - Google Patents
基于区块链的智慧工地车辆堵塞监测系统 Download PDFInfo
- Publication number
- CN111553269A CN111553269A CN202010344911.1A CN202010344911A CN111553269A CN 111553269 A CN111553269 A CN 111553269A CN 202010344911 A CN202010344911 A CN 202010344911A CN 111553269 A CN111553269 A CN 111553269A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- construction site
- monitoring
- jam
- vehicle wheel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 87
- 238000010276 construction Methods 0.000 claims abstract description 101
- 238000010586 diagram Methods 0.000 claims abstract description 69
- 238000013528 artificial neural network Methods 0.000 claims abstract description 50
- 238000000034 method Methods 0.000 claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000005516 engineering process Methods 0.000 claims description 25
- 238000012800 visualization Methods 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 14
- 230000009466 transformation Effects 0.000 claims description 10
- 238000009877 rendering Methods 0.000 claims description 5
- 230000002441 reversible effect Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 7
- 230000005540 biological transmission Effects 0.000 description 9
- 238000013461 design Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 239000004566 building material Substances 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 241000238631 Hexapoda Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 108010076504 Protein Sorting Signals Proteins 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000003915 air pollution Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000001179 sorption measurement Methods 0.000 description 1
- 238000010977 unit operation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/08—Construction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
- H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/50—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols using hash chains, e.g. blockchains or hash trees
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Computer Security & Cryptography (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Signal Processing (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- General Business, Economics & Management (AREA)
- Bioethics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Tourism & Hospitality (AREA)
- Artificial Intelligence (AREA)
- Marketing (AREA)
- Entrepreneurship & Innovation (AREA)
- Game Theory and Decision Science (AREA)
- Multimedia (AREA)
- Educational Administration (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Development Economics (AREA)
- Remote Sensing (AREA)
- Primary Health Care (AREA)
Abstract
本发明公开了一种基于区块链的智慧工地车辆堵塞监测系统，包括终端集群与计算集群，计算集群载入搭建智慧工地车辆热力图预测深度神经网络所需参数以及车辆堵塞判断单元所需参数，配置智慧工地车辆堵塞监测区块链私链，并执行智慧工地车辆堵塞监测推理，实现智慧工地车辆堵塞监测；其中，智慧工地车辆堵塞监测深度神经网络的输入为终端采集的监控区域车辆图像，输出包括车辆车轮热力图；车辆堵塞判断单元，用于对滑动时间窗口内的车辆车轮热力图进行分析，判断工地内是否存在车辆堵塞。利用本发明，在工地环境监测中，提高了工地车辆堵塞监测精度、监测效率以及数据处理传输过程中的安全性、保密性。
Description
技术领域
本发明涉及人工智能、区块链、CIM、智慧工地技术领域，具体涉及一种基于区块链的智慧工地车辆堵塞监测系统。
背景技术
随着我国经济的发展和城市化进程的推进，越来越多的城市建设项目催生了越来越多的施工场所即工地。在城市建设项目中，效率是非常重要的一个指标。而建材运输调度效率也直接影响着工地的施工效率。一方面，高效的施工效率要求更多的货车来运输建材，一方面，更多的货车也容易造成工地场内车辆堵塞，大大地延缓建筑作业的进度，降低施工效率。而且场内车辆堵塞也会引起空气污染以及噪音污染等问题。因此，工地内车辆堵塞监测十分重要。
传统的检测车辆拥堵方法采用特征提取，并根据特征点计算排队长度，通过车速、排队长度与设定阈值的关系来判断，该类方法实时性不强，并且计算过于复杂，对参数的准确性要求高，应用前景较差。而且，目前的工地情况监测通常只返回异常结果，结果反馈单一。并且，用于计算的集群，信息易被泄露、安全性能较低。因此，现有工地车辆堵塞监测技术存在监测实时性差和监测效率低下、结果反馈单一、数据处理及传输过程中安全性能低的问题。
得益于人工智能、物联网等技术的发展，智慧工地成为了一种崭新的工程全生命周期管理理念。本发明就智慧工地中车辆堵塞监测，从结果反馈、监测精度效率以及系统安全性等方面对现有技术进行改进。
发明内容
本发明提供了一种基于区块链的智慧工地车辆堵塞监测系统，不仅结果反馈多元，而且提高了监测精度、监测效率和数据处理传输过程中的安全性、保密性。
一种基于区块链的智慧工地车辆堵塞监测系统，包括终端集群与计算集群，计算集群载入搭建智慧工地车辆热力图预测深度神经网络所需参数以及车辆堵塞判断单元所需参数，配置智慧工地车辆堵塞监测区块链私链，并执行智慧工地车辆堵塞监测推理；
其中，智慧工地车辆热力图预测深度神经网络的输入为终端采集的监控区域车辆图像，输出包括车辆车轮热力图，由多个模块组成，包括车辆车轮热度编码器、车辆车轮热度解码器；所述车辆车轮热度编码器用于对终端采集的监控区域车辆图像进行编码提取特征，得到车辆车轮热度特征图；车辆车轮解码器用于对车辆车轮特征图进行解码还原，得到车辆车轮热力图，车辆车轮热力图中的热斑代表车辆车轮中心位置的置信度；
车辆堵塞判断单元，用于对滑动时间窗口内的车辆车轮热力图进行分析，判断工地内是否存在车辆堵塞，包括：车辆热度图获取模块，用于对滑动时间窗口内的车辆车轮热力图进行叠加，得到车辆热度图；车辆堵塞判断模块，用于利用设定阈值对车辆热度图进行阈值化处理，根据阈值化结果判断是否存在车辆堵塞。
采用遗忘算法对车辆车轮热力图进行叠加，得到车辆热度图：当前时间窗口最终车辆热度图＝上一时间窗口的车辆热度图*(1-α)+当前时间窗口车辆热度图*α，其中，α为遗忘系数。
配置智慧工地车辆堵塞监测区块链私链包括：针对终端发送的监控区域车辆图像，从计算集群中选择多个可用节点，将终端的相机参数以及分别分布于不同可用节点的车辆车轮编码器、车辆车轮解码器、车辆堵塞判断单元所需参数作为对应终端或节点的区块数据，根据智慧工地车辆热力图预测深度神经网络推理顺序以及车辆堵塞判断单元与智慧工地车辆堵塞监测深度神经网络之间的运算顺序将区块连接，生成智慧工地车辆堵塞监测区块链私链。
区块链私链中的区块对其要传输至下一区块的中间结果数据进行加密，对其从上一区块接收到的中间结果数据进行解密。
加密、解密方法包括：针对每一个网络推理请求，生成张量旋转参数表，并发送至区块链私链所在节点，私链中所有节点按照该参数表对待传输张量进行旋转变换完成加密，并按照该参数表对其接收到的张量数据进行反向旋转变换完成解密；张量旋转参数表中存储每一区块输出张量的旋转参数，旋转参数包括每一区块待传输张量的各通道对应的旋转角度。
基于CIM技术构建城市工地信息模型，城市工地信息模型包括：城市工地三维空间建模信息、监控区域信息、智慧工地车辆堵塞监测结果信息；利用可视化单元结合Web GIS技术对城市工地信息模型进行渲染，展示在前台页面。
可视化单元包括：
初始化模块，用于从城市工地信息模型获取城市工地三维空间建模信息，结合WebGIS技术对城市工地信息模型进行渲染，展示在前台Web页面，得到城市工地信息模型的初始可视化结果；
数据获取模块，用于从城市工地信息模型获取监控区域信息以及智慧工地车辆堵塞监测结果信息；
堵塞情况可视化模块，用于根据地理位置将监控区域信息以及智慧工地车辆堵塞监测结果集成在城市工地信息模型的初始可视化结果。
对车辆车轮编码器、车辆车轮解码器分别进行适当细分，将分别分布于不同节点的细分后的每一模块的参数作为区块数据，按照智慧工地车辆热力图预测深度神经网络推理顺序以及网络与车辆堵塞判断单元之间的运算顺序，生成智慧工地车辆堵塞监测区块链私链。
本发明的有益效果在于：
1.本发明采用深度神经网络对监控区域的车辆图像进行分析，相比于传统的计算排队长度的方法，能够应对庞大的数据量，具有更准确的结果响应和更高的监测效率。
2.本发明基于区块链技术，对智慧工地车辆热力图预测深度神经网络以及车辆堵塞判断单元进行合理划分，针对每个网络推理请求，动态生成区块链私链，相比于传统的单机执行，不仅提高了系统的并行性能，而且由于区块链私链是动态的，当某一节点出现故障，系统能够及时感知，不会影响其他推理请求的计算，具有更好的容错性能。
3.本发明的区块链私链根据计算集群中可用节点实时生成，相比于传统的固定分配，不易被攻击破解，提高了系统数据的保密性能。
4.本发明对网络推理区块链私链之间的数据进行加密，防止区块链私链区块之间传输数据的泄露，保证传输数据的保密性，而且字节遮罩加密机制计算量小，在提高保密性能和安全性能的同时不会增加系统负担。
5.本发明基于CIM技术设计城市工地信息模型存储工地车辆堵塞监测结果，并对城市工地信息模型进行可视化，相比于传统的结果反馈，本发明的反馈结果更加多元化，包括工地区域三维展示、警示标记、监控区域图像，能够使监管人员更加清晰明确地了解工地车辆堵塞情况。
附图说明
图1为本发明系统的智慧工地车辆热力图预测深度神经网络结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
深度学习作为一种新的机器学习方法受到研究人员和商业人士的广泛关注。智能交通往往与物联网技术相结合，这也随之带来了巨大的交通数据量，仅一所城市，每天产生的数据量接近TB级。传统的方法根本无法解决如此庞大的数据量，通过深度学习进行交通大数据分析、预测已成为必然趋势。深度学习是一种包含多个隐藏层的神经网络，通过学习一种深层的非线性网络结构来实现复杂的计算，从而更好地还原工地场内车辆的流动情况，进一步达到检测车辆堵塞的目的。综上所述，本发明提出了一种基于卷积神经网络与区块链的方法来检测工地场内车辆堵塞情况。首先，通过卷积神经网络对图像提取特征，生成车辆车轮的热力图，然后通过热力图的相加作为时序信息，用阈值法来判断该时段车辆的拥塞情况，同时采用区块链技术，加强对推理过程中数据的保护。图1为本发明系统的深度神经网络结构图。下面通过具体实施例来进行说明。
实施例一：
一种基于区块链的智慧工地车辆堵塞监测系统，包括终端集群与计算集群，计算集群载入智慧工地车辆热力图预测深度神经网络以及车辆堵塞判断单元所需参数，通过配置智慧工地车辆堵塞监测区块链私链，执行智慧工地车辆堵塞监测推理。终端设置于监控区域，能够采集监控区域图像，并具有一定的计算能力。
本发明主要对工地场内车辆堵塞进行检测，实现对车辆拥堵的预警。本发明基于深度神经网络实现车辆堵塞监测，具体采用预测车辆车轮热力图的深度神经网络。如此设计智慧工地车辆热力图预测深度神经网络、没有使用图像分类网络和目标检测网络的原因是：传统图像分类无法感知信号序列的前后因果，导致误检率较高，没有实用意义；通过热力图，可以知道车辆的分布信息，而使用检测框的方法，其结果是不定长的，也无法判断每帧图像中的车辆是否为相同车辆；网络之所以检测车辆车轮，是为了方便摄像头采集的图像在CIM坐标系上的投影，并且车轮相比车的其他部位拥有更显而易见的特征。
智慧工地车辆热力图预测深度神经网络会直接得到车辆的车轮热力图，车轮热力图以车辆车轮的中心点产生。车辆热力图预测深度神经网络包括车辆车轮热度编码器、车辆车轮热度解码器。
车辆热力图预测网络的训练过程如下：通过采集的图像和热力图标签，端到端地训练车辆车轮热度编码器、车辆车轮热度解码器。车辆车轮热度编码器对图像进行特征提取，输入为经过归一化处理的图像数据，输出为车辆车轮热度特征图；车辆车轮热度解码器是对车辆车轮热度特征图Feature map进行上采样并最终生成车辆车轮热力图(heatmap)，其输入为车辆车轮热度编码器产生的Feature map，输出为图中所有车辆的车轮热力图。摄像头采集的图像要经过归一化处理，将图片矩阵的值域变为[0,1]之间的浮点数，以便模型更好地收敛。标签为图像中所有的车辆车轮热力图，通过以车辆车轮的中心位置使用高斯核产生热力图，具体的细节不在本发明讨论范围内。标签同样经过归一化处理，以便更快的收敛。Loss函数采用Heatmaps Loss其数学公式为：
其中，Pcij代表类别C的车辆车轮在位置(i,j)处的得分，得分越高就越可能是车辆车轮的中心。ycij表示真值ground truth的Heatmaps，即标注数据。N代表ground truth中的车轮数量。在此说明，得分即热力图归一化处理后的像素值。
需要说明的是编码器、解码器的实现有多种，实施者可根据图像大小和显存占用选取合适的神经网络内部的模块设计，如Residual Block、Bottleneck Block、CNN Block等。本发明的编码器、解码器具体采用何种网络设计，实施者可以根据具体实施需求选择，其模块化思想为本发明保护内容。本发明为了兼顾车辆检测效率及不同大小的目标，建议采用沙漏网络的block设计或套用ResNet50、EfficientNet等网络来提取特征。需要注意的是，由于热力图本身的特点，网络输出的热力图其像素值符合高斯分布，其值域在[0,1]之间。
热力图生成后，采用滑动时间窗口机制利用车辆堵塞判断单元进行车辆堵塞判断。一种实施例是，每一秒采一帧车辆图像，利用车辆热图获取模块将每30帧的热力图进行相加即像素值的加法运算，每张热力图以队列的方式相加。车辆堵塞判断单元对相加的热力图结果，通过车辆堵塞判断模块采用阈值化方法，得到车辆是否堵塞，该阈值通过训练得到的车辆车轮得分结果来确定。
以一个摄像头、采集图片速度为每秒一帧为例，30秒采集的图像为30张，经过车辆车轮热力图预测模块后，得到30张车辆车轮热力图，然后将这30张热力图相加，得到1张车辆热度图，然后通过确定的阈值进行处理，结合CIM地理位置信息，若得到的结果为二值化图，说明该时段该地区车辆拥堵，若为单值图，说明该时段该地区车辆可以畅行。在车辆堵塞检测系统中，可以设置该阈值。以阈值设置为24为例，车辆热度图大于24的像素值变为1，反之变为0。
为了提高车辆堵塞检测的准确率，采用遗忘系数方法。因为每三十帧相加，对于每两个连续的车辆热度图，采用以下公式，来作为后面的热度图结果：
后30帧的热度图＝前30帧的热度图*(1-α)+后30帧的热度图*α
α为遗忘系数，取0.05。以一个摄像头、采集图片速度为每秒一帧为例，31秒采集的图像为31张，前三十张为前30帧的热度图，后三十张为后30帧的热度图，有重叠。
本发明考虑到了当下工地不可能搭建临时机房用于车辆堵塞监测的计算，且工地供电不稳定、没有无尘环境，所以机架服务器放在工地是容易宕机的(湿度低导致静电、湿度高导致连接器老化、灰尘导致静电吸附、昆虫、老鼠等动物导致链路损坏，不适合集中计算)，所以采用计算集群计算。为了提高本发明系统的保密性能，防止数据泄露，并提高系统的并行性，本发明结合区块链技术设计了区块链私链。分布式存储可以在进行，分布式计算在多个相机端、服务器进行。每个设备负责一部分工作，降低了工作负荷。分布式以及区块链私链思想的使用，拥有信息加密、高容灾等优秀性能。
在此，针对本发明区块链技术与DNN技术结合进行详细阐述。区块链采用块分割数据，使用链式数据结构，将数据作为块进行验证和存储，整个数据结构汇总不存在中心化的硬件和管理机构，实现了去中心化。一代区块链技术主要在分布式账本上进行应用，二代区块链技术主要实现智能合约，三代区块链技术可以将区块链思想与其他领域技术结合，有越来越多的呈现形式，更加注重为系统功能服务。区块链私链完整地继承了公链的特性，而且私链没有博弈机制的束缚，更关注实际应用的数据传输、加解密处理，能够更好地与其他领域的技术结合。对于深度神经网络计算而言，不必要存储中间结果数据，保留链式的逻辑以匹配神经网络前向传播的原理。
本发明考虑到了若将数据直接上传到计算集群进行处理，上传过程以及处理过程会产生明文的图像数据内容泄露问题，因此使用区块链私链的形式，将深度神经网络的不同模块作为区块，进行分散的推理，并对区块之间传输的数据进行加密处理，从而实现并行推理、容错、防止数据泄露的优秀性能。
基于上述思想，首先需要将智慧工地车辆热力图预测深度神经网络进行模块划分。将车辆车轮热度编码器、车辆车轮热度解码器作为网络的不同模块。如此，根据图1中所示的神经网络的推理顺序，即可得到智慧工地车辆热力图预测深度神经网络推理链。
计算集群中的所有节点载入智慧工地车辆热力图预测深度神经网络以及车辆堵塞判断单元所需权重等参数。针对每一个智慧工地车辆热力图预测深度神经网络推理请求，从计算集群中选择多个可用节点，将分别分布于不同可用节点的智慧工地车辆热力图预测深度神经网络以及车辆堵塞判断单元所需参数作为对应节点的区块数据。如此可以得到分布于不同节点的车辆车轮热度编码器区块、车辆车轮热度解码器区块、车辆堵塞判断单元区块。根据智慧工地车辆热力图预测深度神经网络推理顺序，将区块连接，生成智慧工地车辆堵塞监测区块链私链，并执行智慧工地车辆热力图预测深度神经网络推理。在选择可用节点以及进行节点排序时，优选地，对计算集群中可用的节点进行随机排序，从中挑选与区块数相同个数的计算节点。例如，可用节点有10个，从中挑选4个节点，首先，将推理请求对应对端的相机参数作为区块数据，该区块为第一区块；随机从4个节点中取一节点，将节点中车辆车轮热度编码器所需权重等参数作为区块数据，将其链接到终端所在区块；随机取另一节点，将节点中车辆车轮热度解码器所需权重等参数作为区块数据，并与上一区块(即编码器区块)链接；然后，再随机取一节点，将车辆热度图获取模块所需参数作为区块数据，并与上一区块(即解码器区块)连接；以此类推，根据神经网络推理顺序，生成了对应的智慧工地车辆堵塞监测区块链私链。由此可见，可以同时存在多个针对不同请求生成的智慧工地车辆堵塞监测区块链私链，并且，该区块链私链是动态生成的，不易被攻击破解，保密性能更好。
在可用节点选择中，节点的选择是随机化的，实施者可以根据需要选择随机方法。一种实施例是采用均值哈希方法，首先对摄像头采集的图像数据提取R单波段，再进行采样，采样到固定的大小，然后计算像素的均值，通过设置均值为阈值来进行二值化处理，再把二值化的数据进行Flatten操作变为一维序列数据，然后转换为二进制数据，来作为随机数的种子，生成随机数序列，以随机数序列中的数值大小索引选择可用节点。每次按照新的顺序进行链式推理，进一步增加被解密的难度。
需要说明的是，由于车辆堵塞判断单元是针对滑动时间窗口的热力图进行分析，因此，车辆热度图获取模块的节点选择可以根据实际情况设置为半灵活选择，例如每天更换一次节点。如果滑动时间窗口之间没有重叠，则可以灵活选择节点，即针对每一段滑动时间窗口内的图像数据，选择一次节点即可。车辆堵塞判断模块可以根据滑动窗口的步长更新节点选择。
如果将可用节点选择操作置于一个节点进行，当该节点发生故障，那么神经网络推理操作陷入停滞。而且，当把计算集中在一个节点时，很容易被攻击和破解。因此，为了实现区块链的去中心化，在每一个深度神经网络推理请求的推理过程结束之后，可以由最后一个节点执行可用节点选择操作。
将终端所在节点加入区块链私链，相机参数作为区块数据。这样做的目的是通过加密策略保证终端的输出是保密的，不易被截获、篡改。还可以将接收监测结果的监控中心所在节点加入区块链私链，这样做的目的是保证系统分析结果能够安全地传输到监控中心。
在对深度神经网络进行模块划分时，神经网络的某些模块很难一次性放进一个节点，即某些模块的运算量较大，很难在短时间内完成计算。因此，可以对智慧工地车辆热力图预测深度神经网络的模块分别进行适当细分，增加神经网络切分块数，减小任务粒度，提高并行性。即可得到车辆车轮热度编码器子模块组、车辆车轮热度解码器子模块组。如此，根据神经网络的推理顺序，即可得到更加细分的智慧工地车辆热力图预测深度神经网络推理链。相应地，针对每一个智慧工地车辆热力图预测深度神经网络推理请求，从计算集群中选择多个可用节点，将分别分布于不同可用节点的细分后的编码器、解码器子模块所需权重、参数作为区块数据，根据智慧工地车辆热力图预测深度神经网络推理顺序以及与车辆堵塞单元的运算顺序，生成智慧工地车辆堵塞监测区块链私链。
进一步地，为了保证各个区块所接收到数据的完整性和安全性，防止在数据在传输过程中被攻击和篡改，需要对区块间传输的数据进行加密。具体地，本发明采用张量混淆加密机制对区块之间的传输数据进行加密、解密。具体地，本发明使用的张量混淆加密方法为对张量进行旋转变换。张量旋转变换加密，即对节点产生的数据进行有规则的旋转变换，并将变换后的数据传送到下一节点，从而起到加密的作用，下一节点通过密钥再进行Tensor的转回以进行计算。针对每一个网络推理请求，生成张量旋转参数表，并发送至区块链私链所在节点，私链中所有节点按照该参数表对待传输张量进行旋转，并按照该参数表解析其接收到的张量数据；张量旋转参数表中存储每一区块输出张量的旋转参数。旋转参数包括每一区块待传输张量的各通道对应的旋转角度，即旋转参数个数为所有区块的通道数之和。如果某一区块的待传输张量为64通道的特征图，则需要生成64个旋转角度。一般情况下，旋转角度为90度、180度、270度、360度。下一区块收到加密的张量数据后，按照张量旋转参数表对其进行反向旋转变换即可。对于输出为单个数据的，采用通用加密算法即可。
进一步地，为了降低加密解密操作的计算量。可以针对一个区块输出的张量设置一个旋转参数，也可以针对所有区块输出的张量设置一个旋转参数。例如，上一节点输出数据为形状[512,512,3](分别表示张量的宽、高、通道数)的张量，我们把节点1产生的形状为[512,512,3]的Tensor进行顺时针90°旋转，因此该Tensor内的数据将发生变化，其旋转方向、旋转角度信息就可以作为密钥。在传送到下一节点后，下一节点通过广播的密钥进行相反变换(该例即为逆时针旋转90°)后才能进行正确计算。
对所有区块之间的数据传输进行加密、解密操作，可能保证最完备的保密性能。当下一区块所在节点收到经过加密的结果后，首先进行解密操作，然后进行后续处理。
CIM(City Information Modeling，城市信息模型)技术是以三维城市空间地理信息为基础，叠加城市建筑、地上地下设施的CIM信息以及城市物联网信息，构建起三维数字空间的城市信息模型。本发明基于CIM技术对智慧工地车辆堵塞监测结果进行展示和预警。通过CIM城市信息模型结合Web GIS技术将工地车辆堵塞监测系统的结果展现在Web中，实现工地状况以及数据的可视化。在本发明系统中，CIM技术通过构建城市区域内建筑的三维模型，实现对城市中建筑的数据化、信息化，为后续工地车辆堵塞监测提供地理位置信息，并结合DNN技术，实现全天候工地交通监测，应用方便，成本低。
因此，本发明设计了城市工地信息模型。城市工地信息模型主要包含三维城市空间模型和区域内工地信息，会随着施工进度的不断推进，实时更新其模型和信息内容。城市工地信息模型基于CIM技术，包括工地三维空间建模信息、监控区域信息、工地车辆堵塞监测结果。其中，工地三维空间建模信息包括区域内各个工地的工地建筑物信息、工地建材放置信息、工人工作区域信息等各种工地场景信息，这些类型信息中同时包含相应的地理位置信息，结合Web GIS技术通过可视化软件可以对城市区域内各个工地的三维场景进行还原展示。监控区域信息包括监控区域地理位置信息监控视觉传感器摄取的图像、坐标变换矩阵。监控区域信息用于在可视化的工地区域建筑信息模型中还原监控区域图像。坐标变化矩阵用于将监控图像转换为可视化效果更好的图像，例如俯视图等。工地车辆堵塞监测结果，用于将工地车辆堵塞监测结果集成到匹配的监控区域，以供监管人员查看。在本发明中，工地车辆堵塞监测结果实时传输至城市工地信息模型。
本发明的系统还包括使用可视化单元结合Web GIS技术对城市工地信息模型进行可视化，展示在监控页面。具体地，可视化单元包括：初始化模块，用于从城市工地信息模型获取工地三维空间建模信息，结合Web GIS技术对城市工地信息模型进行渲染，展示在前台Web页面，得到城市工地信息模型的初始可视化结果；数据获取模块，用于从城市工地信息模型获取监控区域信息；车辆堵塞情况可视化模块，用于将监控区域信息以及工地车辆堵塞监测结果集成在城市工地信息模型的初始可视化结果。管理员可以通过可视化结果对区域内工地场内交通详情进行查看。
以上实施例仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于区块链的智慧工地车辆堵塞监测系统，包括终端集群与计算集群，其特征在于，计算集群载入搭建智慧工地车辆热力图预测深度神经网络所需参数以及车辆堵塞判断单元所需参数，配置智慧工地车辆堵塞监测区块链私链，并执行智慧工地车辆堵塞监测推理；
其中，智慧工地车辆热力图预测深度神经网络的输入为终端采集的监控区域车辆图像，输出包括车辆车轮热力图，由多个模块组成，包括车辆车轮热度编码器、车辆车轮热度解码器；所述车辆车轮热度编码器用于对终端采集的监控区域车辆图像进行编码提取特征，得到车辆车轮热度特征图；车辆车轮解码器用于对车辆车轮特征图进行解码还原，得到车辆车轮热力图，车辆热力图中的热斑代表车辆车轮中心位置的置信度；
车辆堵塞判断单元，用于对滑动时间窗口内的车辆车轮热力图进行分析，判断工地内是否存在车辆堵塞，包括：车辆热度图获取模块，用于对滑动时间窗口内的车辆车轮热力图进行叠加，得到车辆热度图；车辆堵塞判断模块，用于利用设定阈值对车辆热度图进行阈值化处理，根据阈值化结果判断是否存在车辆堵塞。
2.如权利要求1所述的系统，其特征在于，采用遗忘算法对车辆车轮热力图进行叠加，得到车辆热度图：当前时间窗口最终车辆热度图＝上一时间窗口的车辆热度图*(1-α)+当前时间窗口车辆热度图*α，其中，α为遗忘系数。
3.如权利要求1所述的系统，其特征在于，所述配置智慧工地车辆堵塞监测区块链私链包括：针对终端发送的监控区域车辆图像，从计算集群中选择多个可用节点，将终端的相机参数以及分别分布于不同可用节点的车辆车轮编码器、车辆车轮解码器、车辆堵塞判断单元所需参数作为对应终端、节点的区块数据，根据智慧工地车辆热力图预测深度神经网络推理顺序以及车辆堵塞判断单元与智慧工地车辆堵塞监测深度神经网络之间的运算顺序将区块连接，生成智慧工地车辆堵塞监测区块链私链。
4.如权利要求3所述的系统，其特征在于，所述区块链私链中的区块对其要传输至下一区块的中间结果数据进行加密，对其从上一区块接收到的中间结果数据进行解密。
5.如权利要求4所述的系统，其特征在于，加密、解密方法包括：针对每一个网络推理请求，生成张量旋转参数表，并发送至区块链私链所在节点，私链中所有节点按照该参数表对待传输张量进行旋转变换完成加密，并按照该参数表对其接收到的张量数据进行反向旋转变换完成解密；张量旋转参数表中存储每一区块输出张量的旋转参数，旋转参数包括每一区块待传输张量的各通道对应的旋转角度。
6.如权利要求1所述的系统，其特征在于，基于CIM技术构建城市工地信息模型，城市工地信息模型包括：城市工地三维空间建模信息、监控区域信息、智慧工地车辆堵塞监测结果信息；利用可视化单元结合Web GIS技术对城市工地信息模型进行渲染，展示在前台页面。
7.如权利要求6所述的系统，其特征在于，所述可视化单元包括：
初始化模块，用于从城市工地信息模型获取城市工地三维空间建模信息，结合Web GIS技术对城市工地信息模型进行渲染，展示在前台Web页面，得到城市工地信息模型的初始可视化结果；
数据获取模块，用于从城市工地信息模型获取监控区域信息以及智慧工地车辆堵塞监测结果信息；
堵塞情况可视化模块，用于根据地理位置将监控区域信息以及智慧工地车辆堵塞监测结果集成在城市工地信息模型的初始可视化结果。
8.如权利要求1-7任一项所述的系统，其特征在于，对车辆车轮编码器、车辆车轮解码器、车辆堵塞单元分别进行适当细分，将分别分布于不同节点的细分后的每一模块的参数作为对应节点的区块数据，按照智慧工地车辆热力图预测深度神经网络推理顺序以及网络与车辆堵塞判断单元之间的运算顺序，生成智慧工地车辆堵塞监测区块链私链。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010344911.1A CN111553269A (zh) | 2020-04-27 | 2020-04-27 | 基于区块链的智慧工地车辆堵塞监测系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010344911.1A CN111553269A (zh) | 2020-04-27 | 2020-04-27 | 基于区块链的智慧工地车辆堵塞监测系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111553269A true CN111553269A (zh) | 2020-08-18 |
Family
ID=72003147
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010344911.1A Withdrawn CN111553269A (zh) | 2020-04-27 | 2020-04-27 | 基于区块链的智慧工地车辆堵塞监测系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111553269A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113762135A (zh) * | 2021-09-02 | 2021-12-07 | 中远海运科技股份有限公司 | 一种基于视频的交通拥堵检测方法及装置 |
| CN114911239A (zh) * | 2022-05-27 | 2022-08-16 | 上海伯镭智能科技有限公司 | 一种无人驾驶矿车的异常识别方法及系统 |
-
2020
- 2020-04-27 CN CN202010344911.1A patent/CN111553269A/zh not_active Withdrawn
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113762135A (zh) * | 2021-09-02 | 2021-12-07 | 中远海运科技股份有限公司 | 一种基于视频的交通拥堵检测方法及装置 |
| CN113762135B (zh) * | 2021-09-02 | 2024-07-23 | 中远海运科技股份有限公司 | 一种基于视频的交通拥堵检测方法及装置 |
| CN114911239A (zh) * | 2022-05-27 | 2022-08-16 | 上海伯镭智能科技有限公司 | 一种无人驾驶矿车的异常识别方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | V2X-Sim: Multi-agent collaborative perception dataset and benchmark for autonomous driving | |
| CN111428694A (zh) | 基于区块链的智慧工地异常烟雾监测系统 | |
| CN111563433A (zh) | 基于区块链的智慧工地漫水监测系统 | |
| Wang et al. | TrafficChain: A blockchain-based secure and privacy-preserving traffic map | |
| CN110413652B (zh) | 一种基于边缘计算的大数据隐私化检索方法 | |
| CN111461075A (zh) | 结合深度神经网络与区块链的护栏翻越检测方法 | |
| CN111611948A (zh) | 基于cim与区块链的城市垃圾桶满溢检测方法 | |
| CN111553269A (zh) | 基于区块链的智慧工地车辆堵塞监测系统 | |
| CN116384255B (zh) | 一种基于多源数据融合的园区危险态势感知方法及系统 | |
| Chen et al. | MDFD: A multi-source data fusion detection framework for Sybil attack detection in VANETs | |
| CN111524131A (zh) | 基于区块链与bim的墙壁裂缝检测系统 | |
| CN111583068A (zh) | 结合区块链的施工区域人员停留时间热度统计方法 | |
| Zhou et al. | Land deformation prediction via slope-aware graph neural networks | |
| Li et al. | Methods for landslide detection based on lightweight YOLOv4 convolutional neural network | |
| CN111476208A (zh) | 利用区块链的智慧工地施工人员聚集监测系统 | |
| CN111414499A (zh) | 基于区块链与bim的作业人员安全带佩戴检测系统 | |
| Chern et al. | Impact of loss functions on semantic segmentation in far‐field monitoring | |
| CN113902135A (zh) | 样本数据量联合扩充方法、装置、设备、系统及存储介质 | |
| Yasuno et al. | One-class Damage Detector Using Deeper Fully-Convolutional Data Descriptions for Civil Application | |
| CN114548572A (zh) | 城市路网交通状态的预测方法、装置、设备及介质 | |
| Xia et al. | Computer vision based first floor elevation estimation from mobile LiDAR data | |
| CN111461074A (zh) | 结合区块链与深度学习的通道阻塞检测方法 | |
| Statsenko et al. | Developing software and hardware for automation of ground urban transport traffic management | |
| CN111523434A (zh) | 基于区块链与bim的工地人员异常聚集检测系统 | |
| Chen et al. | Resilience assessment of multimodal urban transport networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20200818 |