CN111461074A - 结合区块链与深度学习的通道阻塞检测方法 - Google Patents

结合区块链与深度学习的通道阻塞检测方法 Download PDF

Info

Publication number
CN111461074A
CN111461074A CN202010384825.3A CN202010384825A CN111461074A CN 111461074 A CN111461074 A CN 111461074A CN 202010384825 A CN202010384825 A CN 202010384825A CN 111461074 A CN111461074 A CN 111461074A
Authority
CN
China
Prior art keywords
neural network
pedestrian
channel blockage
blockage detection
deep neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010384825.3A
Other languages
English (en)
Inventor
于珂
任琼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202010384825.3A priority Critical patent/CN111461074A/zh
Publication of CN111461074A publication Critical patent/CN111461074A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29Geographical information databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/602Providing cryptographic facilities or services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53Recognition of crowd images, e.g. recognition of crowd congestion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Bioethics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种结合区块链与深度学习的通道阻塞检测方法,包括:构建通道阻塞检测深度神经网络,网络的输入为采集的监控区域图像,网络的输出结果为通道是否阻塞的检测结果;在服务器集群上加载训练好的通道阻塞检测深度神经网络所需参数,针对通道阻塞检测深度神经网络推理请求,配置通道阻塞检测深度神经网络推理区块链私链,并执行通道阻塞检测深度神经网络推理。利用本发明,在工地通道阻塞情况监测中,提高了通道阻塞检测精度、检测效率以及数据处理传输过程中的安全性、保密性。

Description

结合区块链与深度学习的通道阻塞检测方法
技术领域
本发明涉及人工智能、区块链、CIM技术领域,具体涉及一种结合区块链与深度学习的通道阻塞检测方法。
背景技术
随着我国社会经济和科学技术的迅捷发展,施工场地里以人力资源为主的传统检测和管理方法已经出现许多局限性,例如行人进行检测和管理工作成本过高,检测和管理的工作效率低下,检测的准确性不高易受到主观因素的影响,人力资源的缺乏导致对管理的不力等问题。施工场地内存在例如施工场地内通道被施工用料或机器设备阻碍道路等问题,会导致施工效率受影响,或者阻碍行人正常通行,但依靠人力进行实时监督成本过高,且效率低下,会受到监督行人主观因素以及如环境、视线遮挡等客观因素的影响。而且,目前的工地各种环境因素检测通常只返回异常结果,结果反馈单一。并且,用于计算的计算集群,信息易被泄露、安全性能较低。
因此,现有通道阻塞检测技术存在检测精度和检测效率低下、结果反馈单一、数据处理及传输过程中安全性能低的问题。
发明内容
本发明提供了一种结合区块链与深度学习的通道阻塞检测方法,不仅结果反馈多元,而且提高了检测精度、检测效率和数据处理传输过程中的安全性、保密性。
一种结合区块链与深度学习的通道阻塞检测方法,该方法包括:
构建通道阻塞检测深度神经网络,网络的输入为采集的监控区域图像,网络的输出结果为通道是否阻塞的检测结果;
在服务器集群上加载训练好的通道阻塞检测深度神经网络所需参数,针对通道阻塞检测深度神经网络推理请求,配置通道阻塞检测深度神经网络推理区块链私链,并执行通道阻塞检测深度神经网络推理;
其中,通道阻塞检测深度神经网络由多个模块组成,包括:
行人关键点编码器,用于对监控区域图像进行编码,提取行人关键点特征图;
行人关键点解码器,用于对行人关键点特征图进行解码表征,得到行人关键点热图;
行人移动轨迹获取单元,用于对滑动时间窗口内的行人关键点热图进行叠加,得到行人移动轨迹热图;
第一编码器、第二编码器权重共享,构成孪生神经网络,用于对行人移动轨迹热图进行特征提取,得到行人轨迹特征向量;
距离衡量单元,用于将孪生神经网络输出的特征向量之间的距离与设定阈值进行比较,输出通道是否阻塞的检测结果。
在模拟器分别不同视角下模拟有障碍物、无障碍物情境下使用寻路算法生成人员移动轨迹,根据人员移动轨迹生成行人轨迹热力图,作为训练样本集,并进行是否有障碍物的标记,训练所述孪生神经网络。
生成通道阻塞检测深度神经网络推理区块链私链包括:从服务器集群中选择多个可用节点,将分别分布于不同可用节点的行人关键点编码器、行人关键点解码器、行人移动轨迹获取单元、第一编码器、第二编码器、距离衡量单元所需参数作为对应节点的区块数据,按照通道阻塞检测深度神经网络推理顺序将节点区块连接,生成通道阻塞检测深度神经网络推理区块链私链。
区块链私链中的区块对其要传输至下一区块的神经网络推理中间结果数据进行加密,对其从上一区块接收到的神经网络推理中间结果数据进行解密。
采用RSA加密机制进行加密、解密操作。
从服务器集群中选择多个可用节点包括:
利用随机数种子根据线性同余法生成随机数序列;
根据随机数序列中随机数数值的大小索引依次选取对应索引的可用节点。
基于CIM技术构建城市工地信息模型,城市工地信息模型包括:城市工地三维建模信息、监控区域信息、通道阻塞检测结果信息;结合Web GIS技术对城市工地信息模型进行渲染,展示在前台页面。
对行人关键点编码器、行人关键点解码器、行人移动轨迹获取单元、第一编码器、第二编码器、距离衡量单元分别进行适当细分,将分别分布于不同节点的细分后的每一模块的参数作为区块数据,按照通道阻塞检测深度神经网络推理顺序,生成通道阻塞检测深度神经网络推理区块链私链。
本发明的有益效果在于:
1.本发明采用深度神经网络对监控通道区域的行人图像进行分析,相比于人工监督,具有更准确的结果响应和更高的检测效率。
2.本发明的深度神经网络结构包括两个部分,其中通道阻塞判断子网络的训练数据在模拟器中产生,不仅可以获得大量的训练样本,而且与第一部分的行人轨迹检测子网络的训练可以相互做到工况隔离,提高网络的整体训练效率。
3.本发明基于区块链技术,对通道阻塞检测深度神经网络进行合理划分,针对每个网络推理请求,动态生成区块链私链,相比于传统的单机执行,不仅提高了系统的并行性能,而且由于区块链私链是动态的,当某一节点出现故障,系统能够及时感知,不会影响其他推理请求的计算,具有更好的容错性能。
4.本发明的区块链私链根据服务器集群中可用节点实时生成,相比于传统的固定分配,不易被攻击破解,提高了系统数据的保密性能。
5.本发明对网络推理区块链私链之间的数据进行加密,防止区块链私链区块之间传输数据的泄露,保证传输数据的保密性。
6.本发明基于CIM技术设计城市工地信息模型存储通道阻塞检测结果,并对城市工地信息模型进行可视化,相比于传统的结果反馈,本发明的反馈结果更加多元化,包括工地区域三维展示、警示标记、监控区域图像,能够使监管行人更加清晰明确地了解工地的通道阻塞情况。
附图说明
图1为本发明方法的通道阻塞检测深度神经网络结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图以及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明提供一种结合区块链与深度学习的通道阻塞检测方法。图1为本发明方法的深度神经网络结构图。下面通过具体实施例来进行说明。
实施例一:
一种结合区块链与深度学习的通道阻塞检测方法,该方法包括:
构建通道阻塞检测深度神经网络,网络的输入为采集的监控区域图像,网络的输出结果为监控区域的通道是否阻塞的检测结果。
本发明的主要目的为实现施工场地内通道阻塞的检测。基于计算机视觉检测技术具有非接触、高效性和经济性等显著优势,在施工场地各类检测管理应用方面有着广泛的应用前景。终端集群为工地中具有采集图像功能的终端互连组成的集群。在本实施例中,终端为具有一定计算能力的相机,可以采集监控区域的图像,得到施工行人图像。
通道阻塞检测深度神经网络由多个模块组成,包括:行人关键点编码器、行人关键点解码器、行人移动轨迹获取单元、第一编码器、第二编码器、距离衡量单元。
行人关键点编码器用于对监控区域图像进行编码,提取行人关键点特征图。
行人关键点解码器,用于对行人关键点特征图进行解码表征,得到行人关键点热图。
行人移动轨迹获取单元,用于对滑动时间窗口内的行人关键点热图进行叠加,得到行人移动轨迹热力图。
第一编码器、第二编码器权重共享,构成孪生神经网络,用于对行人轨迹热力图进行特征提取,得到行人轨迹特征向量。
距离衡量单元,用于根据孪生神经网络输出的特征向量之间的距离,输出通道是否阻塞的检测结果。
需要说明的是,编码器、解码器可以有多种实现,本发明为了兼顾大小目标的尺寸,建议采用沙漏网络来提取特征,实施者也可根据图像大小和显存占用选取合适的神经网络内部的模块设计,如Residual Block、Bottleneck Block、CNN Block等。本发明的编码器、解码器具体采用何种网络设计,实施者可以根据具体实施需求选择,其模块化思想为本发明保护内容。
行人关键点编码器、行人关键点解码器、行人轨迹获取单元构成行人轨迹检测子网络。行人轨迹检测子网络的输入为采集的监控区域样本图像,输出为时间窗口内行人的移动轨迹热力图。时间窗口的大小,实施者可以根据实施场景自行设置。一种实施方式是,时间窗口大小为10秒,步长为5秒。孪生神经网络与距离衡量单元构成通道阻塞判断子网络,其输入为不同时间段的行人移动轨迹热力图,输出为通道阻碍物检测结果。
下面对行人轨迹检测子网络进行详细说明。行人轨迹检测子网络的工作内容为:摄像头采集施工场地监控通道区域的连续多帧图像,作为待识别样本。样本作为输入送入行人关键点编码器、行人关键点解码器中进行特征提取并生成行人检测的行人关键点热力图(heatmap)。行人关键点热力图作为输入按照时序送入行人轨迹获取单元进行热度叠加。具体地,可以利用遗忘算法计算,输出10S(时间窗口)内行人的移动轨迹。基于遗忘算法的计算公式为:X=αx+(1-α)x′,其中x为当前帧热力图,x′为之前帧叠加热力图,X为叠加计算结果,α为遗忘系数。举例说明,时间窗口大小为10秒,步长为5秒时,对于1-15秒之间的图像,1-10秒为第一个时间窗口,将其进行热度叠加,得到x′,6-15秒为第二个时间窗口,将其进行热度叠加,得到x。一种实施方式是,α的值取0.05。
通道阻塞判断子网络的工作内容为:不同时间段的行人移动轨迹热力图作为输入,送入孪生神经网络中,即输入第一编码器、第二编码器进行特征提取,输出为特征向量。两个不同时间段的特征向量作为输入送入距离衡量单元,输出两个时间段的行人移动轨迹的欧式距离,即轨迹相似度。可以设定一个经验阈值对轨迹的欧式距离进行判断,输出通道阻碍物检测结果。也可以将轨迹相似度最高的样本的标注结果作为判断结果。孪生网络的编码器为共享权重的编码器。欧式距离计算公式为
Figure BDA0002483427030000041
其中n为向量维度,xi与yi为向量内的点。
通道阻塞判断子网络用于训练的样本数据集是在模拟器中使用寻路算法生成的。具体地,可以使用A*算法。使用A*算法在模拟器中分别生成有阻碍物场景下的行人移动轨迹与无阻碍物场景下的行人移动轨迹,作为训练数据集。使用均方差损失函数进行网络的训练。具体训练方法如下:首先准备训练数据集,模拟出移动轨迹,例如在游戏内进行多人移动或单人移动的模拟,并且以不同视角下的各组模拟情况组成训练集。A*算法具体内容为:A*(A-Star)算法是一种静态路网中求解最短路径最有效的直接搜索方法,公式表示为:f(n)=g(n)+h(n),其中,f(n)是从初始点经由节点n到目标点的距离估计,g(n)是在模拟空间中从初始点到节点n的实际距离,h(n)是从节点n到目标状态的最佳路径的估计距离。在模拟通道上放置阻碍物,算法所得的最佳路径也会改变,以有、无阻碍物两种情况作为训练场景,并进行通道上起始区域初始点与结束区域目标点的变换,通过A*算法得到训练数据集。实施者应当知道,得到行人移动轨迹后可以将其转换为行人轨迹热力图,作为样本数据集,同时根据是否有阻碍物对样本进行标注。使用对比损失函数以及随机梯度下降法进行网络的训练。对比损失函数的计算公式为
Figure BDA0002483427030000042
Figure BDA0002483427030000043
其中,DW=d12,即样本之间的距离,Y为样本匹配判断的标签,Y=1时样本相似,Y=0时样本不相似,m为设定的阈值,N为样本的个数。对于阈值的设定,将不相似情况下距离超过阈值的Loss看作0,即满足不相似样本距离足够远的条件,相似情况下距离超过阈值的Loss增加,进行训练。对距离低于阈值的Loss,通过训练使相似样本距离近,不相似样本距离远。
为了提高本发明系统的保密性能,防止数据泄露,并提高系统的并行性,本发明结合区块链技术设计了区块链私链。按照链式逻辑进行推理,结合区块链技术,能提高工作效率,解决数据处理内存不足的问题。分布式存储可以在云端进行,分布式计算在多个相机端、云端服务器进行。每个设备负责一部分工作,降低了工作负荷。分布式思想的使用,拥有信息加密、高容灾等优秀性能。
在此,针对本发明区块链技术与DNN技术结合进行详细阐述。区块链采用块分割数据,使用链式数据结构,将数据作为块进行验证和存储,整个数据结构汇总不存在中心化的硬件和管理机构,实现了去中心化。一代区块链技术主要在分布式账本上进行应用,二代区块链技术主要实现智能合约,三代区块链技术可以将区块链思想与其他领域技术结合,有越来越多的呈现形式,更加注重为系统功能服务。区块链私链完整地继承了公链的特性,而且私链没有博弈机制的束缚,更关注实际应用的数据传输、加解密处理,能够更好地与其他领域的技术结合。对于AI的深度神经网络计算而言,不必要存储中间结果数据,保留链式的逻辑以匹配神经网络前向传播的原理。
本发明考虑到了若将数据直接上传到服务器集群进行处理,上传过程以及处理过程会产生明文的图像数据内容泄露问题,因此使用区块链私链的形式,将深度神经网络的不同模块作为区块,进行分散的推理,并对区块之间传输的数据进行加密处理,从而实现并行推理、容错、防止数据泄露的优秀性能。
基于上述思想,首先需要将通道阻塞检测深度神经网络进行模块划分。将行人关键点编码器、行人关键点解码器、行人移动轨迹获取单元、第一编码器、第二编码器、距离衡量单元作为网络的不同模块。如此,根据图1中所示的神经网络的推理顺序,即可得到通道阻塞检测深度神经网络推理链。
一般工地的供电环境不稳定,没有无尘环境,在工地设置服务器会出现宕机等问题,需要经常维护维护。而由于摄像机终端本身硬件性能的限制,仅依靠摄像机对于施工场地内多位置多方位的摄像头采集图像信息进行处理,会出现内存不足等问题。因此,本发明综合考虑这两方面因素,使用终端集群和服务器集群进行数据处理。服务器集群可以是云端服务器集群。
服务器集群中的所有节点载入通道阻塞检测深度神经网络所需权重等参数以及关键点匹配单元所需参数。针对通道阻塞检测深度神经网络推理请求,从服务器集群中选择多个可用节点。实施者应当清楚,每一帧待检测图像即为一个推理请求。将分别分布于不同可用节点的行人关键点编码器、行人关键点解码器、行人移动轨迹获取单元、第一编码器、第二编码器、距离衡量单元所需参数作为对应节点的区块数据。如此可以得到分布于不同可用节点的行人关键点编码器区块、行人关键点解码器区块、行人移动轨迹获取单元区块、第一编码器区块、第二编码器区块、距离衡量单元区块。根据通道阻塞检测深度神经网络推理顺序将上述区块连接,生成通道阻塞检测深度神经网络推理区块链私链,并执行通道阻塞检测深度神经网络推理。在选择可用节点以及进行节点排序时,优选地,对服务器集群中可用的节点进行随机排序,从中挑选与区块数相同个数的计算节点。例如,可用节点有10个,从中挑选6个节点,随机取一节点,将节点中行人关键点编码器所需权重等参数作为第一区块的区块数据;随机取另一节点,将节点中行人关键点解码器所需权重等参数作为第一区块的区块数据,并与上一区块(即第一区块)链接,以此类推,根据神经网络推理顺序,生成了对应的通道阻塞检测深度神经网络推理区块链私链。区块链链序与网络推理链序一致,网络推理链序如图1所示。由此可见,可以同时存在多个针对不同请求生成的通道阻塞检测深度神经网络推理区块链私链,并且,该区块链私链是动态生成的,不易被攻击破解,保密性能更好。
需要说明的是,行人移动轨迹获取单元是对一段时间的行人关键点热图进行叠加。因此对于该模块的计算节点选择,实施者可以根据滑动窗口设置。如果滑动窗口之间没有重叠,那么可以滑动窗口向前移动一次,该模块的计算节点改变一次。如果滑动窗口之间有重叠,实施者可以设置固定时间更换一次,例如一天更换一次。相应地,孪生神经网络的第一编码器、第二编码器也是同样的节点更换频次。
在可用节点选择中,对可用的节点进行排序,将行人关键点编码器、行人关键点解码器、行人移动轨迹获取单元、第一编码器、第二编码器、距离衡量单元的编号顺序通过随机种子的方法打乱重新排序,最后送入序号相对应的节点进行运算。其具体方法为:首先产生一个新的随机数种子,可利用IP、Global Time等方式选择,在此不做赘述。选择好随机数种子后,利用线性同余法进行随机数的产生,产生的随机数个数应与可用节点个数相等。将种子设为X0,利用X(n+1)=(a*X(n)+b)mod c产生X(n+1),将随机数按序号分配给任务模块,如:行人关键点编码器对应X0,行人关键点解码器对应X1等等,按照随机数的大小对任务块进行排序,再将任务块分配给节点。从另一个角度说明,也就是根据随机数序列中随机数数值的大小索引来选取可用节点。
进一步地,可以将采集图像的终端以及接受数据的监控中心加入区块链私链,终端即为第一区块,其中的相机参数可以作为区块数据,监控中心作为最后一个区块,实施者可以根据需求设置相应的区块数据。这样做的目的是为了通过后续的加密机制保证终端与服务器集群之间、服务器集群与监控中心之间的传输数据不被泄露。
如果将可用节点选择操作置于一个节点进行,当该节点发生故障,那么该服务器内的神经网络推理操作陷入停滞。而且,当把计算集中在一个节点时,很容易被攻击和破解。因此,为了实现区块链的去中心化,在每一个深度神经网络推理请求的推理过程结束之后,可以由最后一个节点执行可用节点选择操作。
在对深度神经网络进行模块划分时,神经网络的某些模块很难一次性放进一个节点,即某些模块的运算量较大,很难在短时间内完成计算。因此,可以对行人关键点编码器、行人关键点解码器、第一编码器、第二编码器分别进行适当细分,增加神经网络切分块数,减小任务粒度,提高并行性。即可得到相应编码器、解码器的子模块组。如此,根据神经网络的推理顺序,即可得到更加细分的通道阻塞检测深度神经网络推理链。相应地,针对每一个通道阻塞检测深度神经网络推理请求,从服务器集群中选择多个可用节点,将分别分布于不同可用节点的细分后的行人关键点编码器、行人关键点解码器、第一编码器、第二编码器的子模块与行人轨迹获取单元、距离衡量单元所需权重、参数作为区块数据,根据通道阻塞检测深度神经网络推理顺序,生成通道阻塞检测深度神经网络推理区块链私链。
进一步地,为了保证各个区块所接收到数据的完整性和安全性,防止在数据在传输过程中被攻击和篡改,需要对区块间传输的数据进行加密。本发明使用RSA加密处理,RSA为公开密钥密码体制。即使用不同的加密密钥与解密密钥,是一种“由已知加密密钥推导出解密密钥在计算上是不可行的”密码体制。具体加密方法为:先生成一对RSA密钥,其中之一是保密密钥,由用户保存;另一个为公开密钥,可对外公开,加密密钥(即公开密钥)是公开信息,而解密密钥(即秘密密钥)是需要保密的。加密算法和解密算法也都是公开的。虽然解密密钥是由公开密钥决定的,由于无法计算出大数n的欧拉函数phi(N),所以不能根据公开密钥计算出解密密钥。为提高保密强度,RSA密钥至少为500位长,一般推荐使用1024位。对所有区块之间的数据传输进行加密、解密操作,可能保证最完备的保密性能。当下一区块所在节点收到经过加密的结果后,首先进行解密操作,然后进行后续处理。
BIM(Building Information Modeling)技术是一种应用于工程设计、建造、管理的数据化工具,通过对建筑的数据化、信息化模型整合,在项目策划、运行和维护的全生命周期过程中进行共享和传递,使工程技术行人对各种建筑信息做出正确理解和高效应对,为设计团队以及包括建筑、运营单位在内的各方建设主体提供协同工作的基础,在提高生产效率、节约成本和缩短工期方面发挥重要作用。CIM(City Information Modeling,城市信息模型)是BIM的进一步升级,其建模范围扩张到城市的某一区域甚至争做城市。
采用CIM和计算机视觉相结合的形式,能有效的提高工作效率。将通道阻塞信息传输到城市工地信息模型中,利用Web GIS进行可视化处理,将网络输出结果在城市工地信息模型的空间模型中显示,便于管理行人了解通道堵塞情况并采取相应的安全管理措施。信息交换模块是一种CIM的数据库的访问模块,可以是多种形式,在此举例:可以是RESTful、MQ等多种信息交换形式。
本发明结合CIM对通道阻塞检测结果进行实时展示。因此,本发明设计了城市工地信息模型。城市工地信息模型基于CIM技术,包括城市工地三维建模信息、监控区域信息、通道阻塞检测结果。其中,城市工地建模信息包括各个工地的工地建筑物信息、工地建材放置信息、工人工作区域信息等各种工地场景信息,这些类型信息中同时包含相应的地理位置信息,结合Web GIS技术通过可视化软件可以对工地的三维场景进行还原展示。监控区域信息包括监控区域地理位置信息监控视觉传感器摄取的图像、坐标变换矩阵。监控区域信息用于在可视化的工地区域建筑信息模型中还原监控区域图像。坐标变化矩阵用于将监控图像转换为可视化效果更好的图像,例如俯视图等。通道阻塞检测结果,用于将通道阻塞检测结果集成到匹配的监控区域,以供监管行人查看。在本发明中,通道阻塞检测结果实时传输至城市工地信息模型。
本发明的方法还包括使用可视化单元结合Web GIS技术对城市工地信息模型进行可视化,展示在监控页面。具体地,可视化单元包括:初始化模块,用于从城市工地信息模型获取城市工地三维建模信息,结合Web GIS技术对城市工地信息模型进行渲染,展示在前台Web页面,得到城市工地信息模型的初始可视化结果;数据获取模块,用于从城市工地信息模型获取监控区域信息以及检测结果;通道阻塞情况可视化模块,用于将监控区域信息以及通道阻塞检测结果集成在城市工地信息模型的初始可视化结果。管理员可以通过可视化结果对区域内工地通道的占用详情进行查看。
以上实施例仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.一种结合区块链与深度学习的通道阻塞检测方法,其特征在于,该方法包括:
构建通道阻塞检测深度神经网络,网络的输入为采集的监控区域图像,网络的输出结果为通道是否阻塞的检测结果;
针对通道阻塞检测深度神经网络推理请求,生成通道阻塞检测深度神经网络推理区块链私链,并执行通道阻塞检测深度神经网络推理,得到通道阻塞检测结果;
其中,通道阻塞检测深度神经网络由多个模块组成,包括:
行人关键点编码器,用于对监控区域图像进行编码,提取行人关键点特征图;
行人关键点解码器,用于对行人关键点特征图进行解码表征,得到行人关键点热图;
行人移动轨迹获取单元,用于对滑动时间窗口内的行人关键点热图进行叠加,得到行人移动轨迹热图;
第一编码器、第二编码器权重共享,构成孪生神经网络,用于对行人移动轨迹热图进行特征提取,得到行人轨迹特征向量;
距离衡量单元,用于将孪生神经网络输出的特征向量之间的距离与设定阈值进行比较,输出通道是否阻塞的检测结果。
2.如权利要求1所述的方法,其特征在于,在模拟器分别不同视角下模拟有障碍物、无障碍物情境下使用寻路算法生成人员移动轨迹,根据人员移动轨迹生成行人轨迹热力图,作为训练样本集,并进行是否有障碍物的标记,训练所述孪生神经网络。
3.如权利要求1所述的方法,其特征在于,所述生成通道阻塞检测深度神经网络推理区块链私链包括:
在服务器集群上加载训练好的通道阻塞检测深度神经网络所需参数;
从服务器集群中选择多个可用节点,将分别分布于不同可用节点的行人关键点编码器、行人关键点解码器、行人移动轨迹获取单元、第一编码器、第二编码器、距离衡量单元所需参数作为对应节点的区块数据,按照通道阻塞检测深度神经网络推理顺序将节点区块连接,生成通道阻塞检测区块链私链。
4.如权利要求3所述的方法,其特征在于,所述区块链私链中的区块对其要传输至下一区块的神经网络推理中间结果数据进行加密,对其从上一区块接收到的神经网络推理中间结果数据进行解密。
5.如权利要求4所述的方法,其特征在于,采用RSA加密机制进行加密、解密操作。
6.如权利要求3所述的方法,其特征在于,所述从服务器集群中选择多个可用节点包括:
利用随机数种子根据线性同余法生成随机数序列;
根据随机数序列中随机数数值的大小索引依次选取对应索引的可用节点。
7.如权利要求1所述的方法,其特征在于,基于CIM技术构建城市工地信息模型,城市工地信息模型包括:城市工地三维建模信息、监控区域信息、通道阻塞检测结果信息;结合WebGIS技术对城市工地信息模型进行渲染,展示在前台页面。
8.如权利要求1所述的方法,其特征在于,对行人关键点编码器、行人关键点解码器、行人移动轨迹获取单元、第一编码器、第二编码器、距离衡量模块分别进行适当细分,将分别分布于不同节点的细分后的每一模块的参数作为区块数据,按照通道阻塞检测深度神经网络推理顺序,生成通道阻塞检测深度神经网络推理区块链私链。
CN202010384825.3A 2020-05-09 2020-05-09 结合区块链与深度学习的通道阻塞检测方法 Withdrawn CN111461074A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010384825.3A CN111461074A (zh) 2020-05-09 2020-05-09 结合区块链与深度学习的通道阻塞检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010384825.3A CN111461074A (zh) 2020-05-09 2020-05-09 结合区块链与深度学习的通道阻塞检测方法

Publications (1)

Publication Number Publication Date
CN111461074A true CN111461074A (zh) 2020-07-28

Family

ID=71681276

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010384825.3A Withdrawn CN111461074A (zh) 2020-05-09 2020-05-09 结合区块链与深度学习的通道阻塞检测方法

Country Status (1)

Country Link
CN (1) CN111461074A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114118438A (zh) * 2021-10-18 2022-03-01 华北电力大学 一种基于区块链的隐私保护机器学习训练与推理方法及系统
CN116599640A (zh) * 2023-04-03 2023-08-15 深圳市创载网络科技有限公司 一种用于系统集成中数码资源安全存储方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114118438A (zh) * 2021-10-18 2022-03-01 华北电力大学 一种基于区块链的隐私保护机器学习训练与推理方法及系统
CN114118438B (zh) * 2021-10-18 2023-07-21 华北电力大学 一种基于区块链的隐私保护机器学习训练与推理方法及系统
CN116599640A (zh) * 2023-04-03 2023-08-15 深圳市创载网络科技有限公司 一种用于系统集成中数码资源安全存储方法及系统
CN116599640B (zh) * 2023-04-03 2024-04-19 深圳市创载网络科技有限公司 一种用于系统集成中数码资源安全存储方法及系统

Similar Documents

Publication Publication Date Title
EP3338205B1 (en) Simulation and virtual reality based cyber behavioral system
CN111461075A (zh) 结合深度神经网络与区块链的护栏翻越检测方法
Wang et al. A novel image encryption scheme based on Brownian motion and PWLCM chaotic system
CN101044761B (zh) 安全处理输入图像的方法
CN111428694A (zh) 基于区块链的智慧工地异常烟雾监测系统
Lee et al. Firm-based measurements of market power in transmission-constrained electricity markets
CN111563433A (zh) 基于区块链的智慧工地漫水监测系统
CN111583068A (zh) 结合区块链的施工区域人员停留时间热度统计方法
CN111461074A (zh) 结合区块链与深度学习的通道阻塞检测方法
CN111611937A (zh) 基于bim和神经网络的监狱人员异常行为监测方法
Zenonos et al. Coordinating measurements for air pollution monitoring in participatory sensing settings
Zhao et al. Application of digital twin combined with artificial intelligence and 5G technology in the art design of digital museums
CN111414499A (zh) 基于区块链与bim的作业人员安全带佩戴检测系统
CN111476208A (zh) 利用区块链的智慧工地施工人员聚集监测系统
Zhang et al. Joint intelligence ranking by federated multiplicative update
CN111523434A (zh) 基于区块链与bim的工地人员异常聚集检测系统
VijayaChandra et al. Numerical formulation and simulation of social networks using graph theory on social cloud platform
CN107005576A (zh) 从服务器日志生成用于链接标识符的桥接匹配标识符
CN111553269A (zh) 基于区块链的智慧工地车辆堵塞监测系统
CN111524131A (zh) 基于区块链与bim的墙壁裂缝检测系统
CN111414501A (zh) 基于区块链与cim的木材易燃风险预测系统
Dupre et al. A human and group behavior simulation evaluation framework utilizing composition and video analysis
CN111414503A (zh) 基于区块链与cim的木材堆积检测系统
CN117094412A (zh) 针对非独立同分布医疗场景下的联邦学习方法和装置
CN111539373A (zh) 结合区块链与dnn的施工人员安全鞋穿戴检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20200728

WW01 Invention patent application withdrawn after publication