CN111583228A - 结合区块链的智慧工地积土裸露检测方法 - Google Patents

Abstract

本发明公开了一种结合区块链的智慧工地积土裸露检测方法，包括：构建施工人员积土裸露检测深度神经网络；在服务器集群上加载训练好的施工人员积土裸露检测深度神经网络以及后处理单元所需参数以及后处理单元所需参数，针对每一个施工人员积土裸露检测深度神经网络推理请求，生成施工人员积土裸露检测区块链私链，并执行网络推理，得到积土裸露检测结果。利用本发明，在工地环境监测中，提高了积土裸露检测精度、检测效率以及数据处理传输过程中的安全性、保密性。

Description

结合区块链的智慧工地积土裸露检测方法

技术领域

本发明涉及人工智能、区块链、CIM、智慧工地技术领域，具体涉及一种结合区块链的智慧工地积土裸露检测方法。

背景技术

随着我国社会经济和科学技术的迅速发展，施工场地里以人力资源为主的传统检测和管理方法已经出现许多局限性，例如人员进行检测和管理工作成本过高，检测和管理的工作效率低下，检测的准确性不高易受到主观因素的影响，人力资源的缺乏导致对管理的不力等问题。施工场地内存在例如施工场地内通常存在尘土堆积的情况，如果不使用覆盖物遮挡，易受到环境因素影响造成大面积扬尘等环境问题，但依靠人力进行实时监督成本过高，且效率低下，会受到监督人员主观因素以及如环境、视线遮挡等客观因素的影响。而且，目前的工地各种环境因素检测通常只返回异常结果，结果反馈单一。并且，用于计算的硬件集群，信息易被泄露、安全性能较低。

因此，现有积土裸露检测技术存在检测精度和检测效率低下、结果反馈单一、数据处理及传输过程中安全性能低的问题。

发明内容

本发明提供了一种结合区块链的智慧工地积土裸露检测方法，不仅结果反馈多元，而且提高了检测精度、检测效率和数据处理传输过程中的安全性、保密性。

一种结合区块链的智慧工地积土裸露检测方法，该方法包括：

构建积土裸露检测深度神经网络，网络的输入为施工场地图像，网络的输出结果包括积土语义分割图、覆盖物语义分割图；

在服务器集群上加载训练好的积土裸露检测深度神经网络以及后处理单元所需参数，针对每一个积土裸露检测深度神经网络推理请求，配置积土裸露检测区块链私链，并执行积土裸露检测推理，得到积土裸露检测结果；

后处理单元，用于对网络输出结果进行后处理，得到积土裸露检测结果，包括：

形态学处理模块，用于对积土语义分割图进行开运算，对覆盖物语义分割图进行闭运算；

裸露积土遮罩获取模块，用于将形态学处理模块处理后的积土语义分割图、覆盖物语义分割图进行点对点相减操作，得到裸露积土遮罩；

积土裸露判断模块，用于计算裸露积土遮罩与开运算后积土语义分割图中积土面积的交并比，并将面积交并比与设定阈值进行比较，得到积土裸露检测结果。

进一步地，积土裸露检测深度神经网络由多个模块组成，包括：

第一特征编码器，用于对施工场地图像的RGB三通道数据进行特征提取，得到第一特征图；

第二特征编码器，用于对施工场地图像的热成像进行特征提取，得到第二特征图；

积土语义分割解码器，用于对第一特征图与第二特征图接合后得到的联合特征图进行解码表征，得到积土语义分割图，用于区分积土区域与其他元素的语义；

覆盖物语义分割解码器，用于对第一特征图与第二特征图接合后得到的联合特征图进行解码表征，得到覆盖物语义分割图，区分覆盖物区域与其他元素的语义。

进一步地，配置积土裸露检测区块链私链包括：从服务器集群中选择多个可用节点，将分别分布于不同可用节点的第一特征编码器、第二特征编码器、积土语义分割解码器、覆盖物分割解码器、后处理单元所需参数作为对应节点的区块数据，按照积土裸露检测深度神经网络推理顺序以及积土裸露检测深度神经网络与后处理单元之间的计算顺序将节点区块连接，生成积土裸露检测区块链私链。

进一步地，区块链私链中的区块对其要传输至下一区块的中间结果数据进行加密，对其从上一区块接收到的中间结果数据进行解密。

进一步地，采用DES加密机制进行加密、解密操作。

进一步地，对第一特征编码器、第二特征编码器、积土语义分割解码器、覆盖物语义分割解码器、后处理单元分别进行适当细分，将分别分布于不同节点的细分后的每一模块的参数作为对应节点的区块数据，按照积土裸露检测深度神经网络推理顺序将区块连接，生成积土裸露检测区块链私链。

进一步地，基于CIM技术构建城市工地信息模型，城市工地信息模型包括：城市工地三维建模信息、施工场地信息、积土裸露检测结果信息；结合Web GIS技术对城市工地信息模型进行渲染，展示在前台页面。

进一步地，将采集施工场地图像的终端加入区块链私链，采集施工场地图像的终端作为第一区块，终端中的相机参数作为区块数据。

本发明的有益效果在于：

1.本发明采用深度神经网络对施工场地图像进行分析，相比于传统的人工监督方式，具有更准确的结果响应和更高的检测效率。

2.本发明对语义分割深度神经网络输出的语义分割图进行后处理分析，利用形态学处理技术、交并比分析技术来获得积土裸露率，从而得出积土裸露判断结果，使积土裸露检测结果更具实用意义。

3.本发明基于区块链技术，对积土裸露检测深度神经网络进行合理划分，针对每个网络推理请求，动态生成区块链私链，相比于传统的单机执行，不仅提高了系统的并行性能，而且由于区块链私链是动态的，当某一节点出现故障，系统能够及时感知，不会影响其他推理请求的计算，具有更好的容错性能。

4.本发明的区块链私链根据服务器集群中可用节点实时生成，相比于传统的固定分配，不易被攻击破解，提高了系统数据的保密性能。

5.本发明对网络推理区块链私链之间的数据进行加密，防止区块链私链区块之间传输数据的泄露，保证传输数据的保密性，而且DES加密操作计算方便，计算量小，在提高保密性能和安全性能的同时不会增加系统负担。

6.本发明基于CIM技术设计城市工地信息模型存储积土裸露检测结果，并对城市工地信息模型进行可视化，相比于传统的结果反馈，本发明的反馈结果更加多元化，包括工地区域三维展示、警示标记、施工场地图像，能够使监管人员更加清晰明确地了解积土裸露情况。

附图说明

图1为本发明方法的积土裸露检测深度神经网络结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供一种结合区块链的智慧工地积土裸露检测方法。首先，利用摄像头采集施工场地各区域的RGB图像与热成像，送入卷积神经网络进行编码处理输出特征图，特征图联合后进行分别送入积土语义分割解码器与覆盖物语义分割解码器得到积土语义分割图与覆盖物语义分割图。对语义分割图进行减操作后，得到裸露积土的语义分割图，通过裸露积土的Mask与积土的Mask计算交并比IoU，得到积土裸露检测的结果。图1为本发明方法的深度神经网络结构图。下面通过具体实施例来进行说明。

实施例一：

一种结合区块链的智慧工地积土裸露检测方法，该方法包括：

构建积土裸露检测深度神经网络，网络的输入为采集的施工场地图像，网络的输出结果包括积土语义分割图、覆盖物语义分割图。

本发明的主要目的为实现施工场地内积土裸露的检测。基于计算机视觉检测技术具有非接触、高效性和经济性等显著优势，在施工场地各类检测管理应用方面有着广泛的应用前景。在本实施例中，终端为具有一定计算能力的相机，可以采集监控区域的图像，在本实施例中，采用航拍无人机采集施工场地各区域图像。

积土裸露检测深度神经网络由多个模块组成，包括：第一特征编码器、第二特征编码器、积土语义分割解码器、覆盖物语义分割解码器。

需要说明的是，编码器、解码器可以有多种实现，本发明为了兼顾大小目标的尺寸，建议采用沙漏网络来提取特征，实施者也可根据图像大小和显存占用选取合适的神经网络内部的模块设计，如Residual Block、Bottleneck Block、CNN Block等。本发明的编码器、解码器具体采用何种网络设计，实施者可以根据具体实施需求选择，其模块化思想为本发明保护内容。

第一特征编码器，用于对施工场地图像的RGB三通道数据进行特征提取，得到第一特征图。第二特征编码器，用于对施工场地图像的热成像进行特征提取，得到第二特征图。积土语义分割解码器，用于对第一特征图与第二特征图接合后得到的联合特征图进行解码表征，得到积土语义分割图，用于区分积土区域与其他元素的语义。覆盖物语义分割解码器，用于对第一特征图与第二特征图接合后得到的联合特征图进行解码表征，得到覆盖物语义分割图，区分覆盖物区域与其他元素的语义。对于两个分支的语义分割，在训练过程中对不同类别作不同的one-hot编码处理。例如，在本实施例中，积土语义分割分支，积土通道编码为1，无关项通道编码为0；覆盖物语义分割分支，覆盖物通道编码为4，无关项通道编码为2。网络工作过程中，输出的语义分割图通过argmax处理，得到编码值。

对于进行接合操作的特征图要求大小一致。在得到积土语义分割图以后，为了获得更准确的结果响应，本发明利用后处理单元对语义分割图进行分析。后处理单元将覆盖物语义分割图与积土语义分割图进行作减运算，得到裸露积土语义分割图，通过计算裸露积土Mask与积土Mask的IoU(Intersection over Union，交并比)，得到积土检测的结果。

后处理单元包括：形态学处理模块，用于对积土语义分割图进行开运算，对覆盖物语义分割图进行闭运算；裸露积土遮罩获取模块，用于将形态学处理模块处理后的积土语义分割图、覆盖物语义分割图进行点对点相减操作，得到裸露积土遮罩；积土裸露判断模块，用于计算裸露积土遮罩与开运算后积土遮罩的面积交并比，并将面积交并比与设定阈值进行比较，得到积土裸露检测结果。

形态学处理模块，其具体内容为：在减运算之前，对积土语义分割图进行开运算，即先腐蚀后膨胀，其目的为消除误检测小区域；对覆盖物语义分割图进行闭运算，即先膨胀后腐蚀，其目的为填充内部误检测小区域。例如：在覆盖物上有散落的小块土，积土语义分割图通过开运算使小块土区域不计入积土Mask中，覆盖物语义分割图通过闭运算则把因小块土未检测到的覆盖物小区域填充。

上述图像膨胀操作，其具体方法为：用一个卷积模板或卷积核B对图像A进行膨胀处理，B的形状可以为正方形或者圆形，且模板B有一个锚点作为origin point。通过模板B与图像A卷积运算，扫描图像A中所有对应模板B大小的区域，将区域内最大像素值提取，并代替锚点位置的像素值，最终得到图像膨胀的处理结果。需要说明的是，在本发明中，图像A经过二值化处理后进行图像膨胀后处理，因此模板B也选择二值化的图像。图像腐蚀操与膨胀操作类似，但利用模板B扫描图像A时，将作为将区域内最小像素值提取，并代替锚点位置的像素值。

裸露积土遮罩获取模块具体内容为：用闭运算后的覆盖物语义分割图减去开运算后的积土语义分割图，得到的图像包含1、2、3、4四个编码值，作二值化处理，为1的仍为1，其余的设为0，即可得到裸露积土的语义分割图，即裸露积土遮罩。

积土裸露判断模块，具体方法为：裸露积土的Mask与开运算处理后的积土Mask计算IoU，设置一个经验阈值以判断积土是否裸露。当大于阈值时，即判断该施工区域的积土裸露过多，应当注意及时整改。本实施例中设置为0.5，实施者可根据实际情况合理调整。

为了提高本发明方法的保密性能，防止数据泄露，并提高并行性，本发明结合区块链技术设计了区块链私链。按照链式逻辑进行推理，结合区块链技术，能提高工作效率，解决数据处理内存不足的问题。分布式存储可以在云端进行，分布式计算在多个相机端、云端服务器进行。每个设备负责一部分工作，降低了工作负荷。分布式思想的使用，拥有信息加密、高容灾等优秀性能。

在此，针对本发明区块链技术与DNN技术结合进行详细阐述。区块链采用块分割数据，使用链式数据结构，将数据作为块进行验证和存储，整个数据结构汇总不存在中心化的硬件和管理机构，实现了去中心化。一代区块链技术主要在分布式账本上进行应用，二代区块链技术主要实现智能合约，三代区块链技术可以将区块链思想与其他领域技术结合，有越来越多的呈现形式，更加注重为系统功能服务。区块链私链完整地继承了公链的特性，而且私链没有博弈机制的束缚，更关注实际应用的数据传输、加解密处理，能够更好地与其他领域的技术结合。对于AI的深度神经网络计算而言，不必要存储中间结果数据，保留链式的逻辑以匹配神经网络前向传播的原理。

本发明考虑到了若将数据直接上传到服务器集群进行处理，上传过程以及处理过程会产生明文的图像数据内容泄露问题，因此使用区块链私链的形式，将深度神经网络的不同模块作为区块，进行分散的推理，并对区块之间传输的数据进行加密处理，从而实现并行推理、容错、防止数据泄露的优秀性能。

基于上述思想，首先需要将积土裸露检测深度神经网络进行模块划分。将第一特征编码器、第二特征编码器、积土语义分割解码器、覆盖物语义分割解码器作为网络的不同模块。如此，根据图1中所示的神经网络的推理顺序，即可得到积土裸露检测深度神经网络推理链。

一般工地的供电环境不稳定，没有无尘环境，在工地设置服务器会出现宕机等问题，需要经常维护维护。而由于终端本身硬件性能的限制，仅依靠终端对于施工场地内多位置多方位的图像信息进行处理，会出现内存不足等问题。因此，本发明综合考虑这两方面因素，使用服务器集群进行数据处理。服务器集群可以是云端服务器集群。

服务器集群中的所有节点载入积土裸露检测深度神经网络所需权重等参数以及后处理单元所需参数。针对每一个积土裸露检测深度神经网络推理请求，从服务器集群中选择多个可用节点，将分别分布于第一特征编码器、第二特征编码器、积土语义分割解码器、后处理单元所需参数作为对应节点的区块数据。如此可以得到别分布于第一特征编码器区块、第二特征编码器区块、积土语义分割解码器区块、后处理单元区块。根据积土裸露检测深度神经网络推理顺序，将上述区块连接，生成积土裸露检测区块链私链，并执行积土裸露检测深度神经网络推理。区块链链序与网络推理链序是一致的。在选择可用节点以及进行节点排序时，优选地，对终端集群以及服务器集群中可用的节点进行随机排序，从中挑选与区块数相同个数的计算节点。例如，可用节点有10个，从中挑选4个节点，随机取一节点，将节点中第一特征编码器所需权重等参数作为区块数据，得到第一区块；随机取另一节点，将节点中第二特征编码器所需权重等参数作为区块数据，得到第二区块；再随机取另一节点，将节点中积土语义分割解码器所需权重等参数作为区块数据，并与第一特征编码器所在区块(即第一区块)链接，以此类推，根据神经网络推理顺序，生成了对应的积土裸露检测区块链私链。由此可见，可以同时存在多个针对不同请求生成的积土裸露检测区块链私链，并且，该区块链私链是动态生成的，不易被攻击破解，保密性能更好。在可用节点选择中，还可以使用shuffle函数打乱节点顺序。具体操作为将节点按编号顺序依次排列作为函数输入，经shuffle函数运算，得到重新排序的节点序列。

此外，还可以将采集图像的终端加入区块链私链，将接收检测结果的监控中心也加入区块链私链，这样做的目的是保证之间数据传输的安全性。终端的相机参数可以作为区块数据。监控中心的区块数据，实施者可以自行调整选择。

如果将可用节点选择操作置于一个节点进行，当该节点发生故障，那么该服务器内的神经网络推理操作陷入停滞。而且，当把计算集中在一个节点时，很容易被攻击和破解。因此，为了实现区块链的去中心化，在每一个深度神经网络推理请求的推理过程结束之后，可以由最后一个节点执行可用节点选择操作。

在对深度神经网络进行模块划分时，神经网络的某些模块很难一次性放进一个节点，即某些模块的运算量较大，很难在短时间内完成计算。因此，可以对第一特征编码器、第二特征编码器、积土语义分割解码器分别进行适当细分，增加神经网络切分块数，减小任务粒度，提高并行性。即可得到相应编码器、解码器的子模块组。如此，根据神经网络的推理顺序，即可得到更加细分的积土裸露检测深度神经网络推理链。相应地，针对每一个积土裸露检测深度神经网络推理请求，从服务器集群中选择多个可用节点，将分别分布于不同可用节点的细分后的第一特征编码器、第二特征编码器、积土语义分割解码器的子模块所需权重、参数作为区块数据，根据积土裸露检测深度神经网络推理顺序，生成积土裸露检测区块链私链。

进一步地，为了保证各个区块所接收到数据的完整性和安全性，防止在数据在传输过程中被攻击和篡改，需要对区块间传输的数据进行加密。本发明使用DES加密处理：即把传输的64位明文输入块变为64位的密文输出块，所使用的密钥也是64位。首先利用置换表，把输入的64位数据块按位重新组合，并把输出分为L0、R0两部分，每部分各长32位。置换表中存储其置换规则，例如将输入的第58位换到第一位,第50位换到第2位。L0、R0则是换位输出后的两部分，L0是输出的左32位，R0是右32位。经过16次迭代运算后，得到L16、R16，将此作为输入，进行逆置换，逆置换正好是初始置换的逆运算，由此即得到密文输出。实际应用中，应避开使用第8，16，24，......64位作为有效数据位，而使用其它的56位作为有效数据位，才能保证DES算法安全可靠地发挥作用。因为第8、16、24、......64位8个位并未参与DES运算。对所有区块之间的数据传输进行加密、解密操作，可能保证最完备的保密性能。当下一区块所在节点收到经过加密的结果后，首先进行解密操作，然后进行后续处理。

BIM(Building Information Modeling)技术是一种应用于工程设计、建造、管理的数据化工具，通过对建筑的数据化、信息化模型整合，在项目策划、运行和维护的全生命周期过程中进行共享和传递，使工程技术人员对各种建筑信息做出正确理解和高效应对，为设计团队以及包括建筑、运营单位在内的各方建设主体提供协同工作的基础，在提高生产效率、节约成本和缩短工期方面发挥重要作用。CIM(City Information Modeling，城市信息模型)是BIM的进一步升级，其建模范围扩张到城市的某一区域甚至整座城市。

采用CIM和计算机视觉相结合的形式，能有效的提高工作效率。将积土裸露检测信息传输到城市工地信息模型中，利用Web GIS进行可视化处理，将神经网络输出结果在城市工地信息模型的空间模型进行展示，便于管理人员了解各施工场地的积土覆盖情况并采取相应的管理措施。信息交换模块是一种CIM的数据库的访问模块，可以是多种形式，在此举例：可以是RESTful、MQ等多种信息交换形式。

本发明结合CIM对积土裸露检测结果进行实时展示。因此，本发明设计了城市工地信息模型。城市工地信息模型基于CIM技术，包括城市工地三维建模信息、监测项信息、积土裸露检测结果。其中，城市工地建模信息包括各个工地的工地建筑物信息、工地建材放置信息、工人工作区域信息等各种工地场景信息，这些类型信息中同时包含相应的地理位置信息，结合Web GIS技术通过可视化软件可以对工地的三维场景进行还原展示。巡检区域信息包括巡检区域地理位置信息、视觉传感器摄取的图像、坐标变换矩阵。巡检区域信息用于在可视化的城市工地信息模型中还原监测项信息，在本发明中具体为施工场地的积土裸露监测信息。坐标变化矩阵用于将摄取的图像转换为可视化效果更好的图像，例如俯视图等。积土裸露检测结果，用于将积土裸露检测结果集成到匹配的区域，以供监管人员查看。当判定为积土裸露时，可以在相应区域进行警示标记。在本发明中，积土裸露检测结果实时传输至城市工地信息模型。

本发明的方法还包括使用可视化单元结合Web GIS技术对城市工地信息模型进行可视化，展示在监控页面。具体地，可视化单元包括：初始化模块，用于从城市工地信息模型获取各个工地的建筑场景信息，结合Web GIS技术对城市工地信息模型进行渲染，展示在前台Web页面，得到城市工地信息模型的初始可视化结果；数据获取模块，用于从城市工地信息模型获取巡检区域信息以及检测结果；积土裸露检测可视化模块，用于将巡检区域信息以及积土检测结果集成在城市工地信息模型的初始可视化结果。管理员可以通过可视化结果对区域内工地积土裸露详情进行查看。

以上实施例仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种结合区块链的智慧工地积土裸露检测方法，其特征在于，该方法包括：

构建积土裸露检测深度神经网络，网络的输入为施工场地图像，网络的输出结果包括积土语义分割图、覆盖物语义分割图；

在服务器集群上加载训练好的积土裸露检测深度神经网络以及后处理单元所需参数，针对每一个积土裸露检测深度神经网络推理请求，配置积土裸露检测区块链私链，并执行积土裸露检测推理，得到积土裸露检测结果；

后处理单元，用于对网络输出结果进行后处理，得到积土裸露检测结果，包括：

形态学处理模块，用于对积土语义分割图进行开运算，对覆盖物语义分割图进行闭运算；

裸露积土遮罩获取模块，用于将形态学处理模块处理后的积土语义分割图、覆盖物语义分割图进行点对点相减操作，得到裸露积土遮罩；

积土裸露判断模块，用于计算裸露积土遮罩与开运算后积土语义分割图中积土面积的交并比，并将面积交并比与设定阈值进行比较，得到积土裸露检测结果。

2.如权利要求1所述的方法，积土裸露检测深度神经网络由多个模块组成，包括：

第一特征编码器，用于对施工场地图像的RGB三通道数据进行特征提取，得到第一特征图；

第二特征编码器，用于对施工场地图像的热成像进行特征提取，得到第二特征图；

积土语义分割解码器，用于对第一特征图与第二特征图接合后得到的联合特征图进行解码表征，得到积土语义分割图，用于区分积土区域与其他元素的语义；

覆盖物语义分割解码器，用于对第一特征图与第二特征图接合后得到的联合特征图进行解码表征，得到覆盖物语义分割图，区分覆盖物区域与其他元素的语义。

3.如权利要求1所述的方法，其特征在于，所述配置积土裸露检测区块链私链包括：从服务器集群中选择多个可用节点，将分别分布于不同可用节点的第一特征编码器、第二特征编码器、积土语义分割解码器、覆盖物分割解码器、后处理单元所需参数作为对应节点的区块数据，按照积土裸露检测深度神经网络推理顺序以及积土裸露检测深度神经网络与后处理单元之间的计算顺序将节点区块连接，生成积土裸露检测区块链私链。

4.如权利要求3所述的方法，其特征在于，所述区块链私链中的区块对其要传输至下一区块的中间结果数据进行加密，对其从上一区块接收到的中间结果数据进行解密。

5.如权利要求4所述的方法，其特征在于，采用DES加密机制进行加密、解密操作。

6.如权利要求1所述的方法，其特征在于，对第一特征编码器、第二特征编码器、积土语义分割解码器、覆盖物语义分割解码器、后处理单元分别进行适当细分，将分别分布于不同节点的细分后的每一模块的参数作为对应节点的区块数据，按照积土裸露检测深度神经网络推理顺序将区块连接，生成积土裸露检测区块链私链。

7.如权利要求1所述的方法，其特征在于，基于CIM技术构建城市工地信息模型，城市工地信息模型包括：城市工地三维建模信息、施工场地信息、积土裸露检测结果信息；结合WebGIS技术对城市工地信息模型进行渲染，展示在前台页面。

8.如权利要求2所述的方法，其特征在于，将采集施工场地图像的终端加入区块链私链，采集施工场地图像的终端作为第一区块，终端中的相机参数作为区块数据。

Images