CN117671396B - 施工进度的智能监控预警系统及方法 - Google Patents

Abstract

本申请公开了一种施工进度的智能监控预警系统及方法，其通过部署于施工现场的多个监控终端设备分别采集不同的施工局部区域监控视频，并在后端引入基于人工智能的数据处理和视频语义理解技术来进行这些施工局部区域监控视频的语义分析和关联，以此来进行施工进度的检测和异常程度的判断，并在异常程度超过预期时发出预警信号。这样，能够实现对施工进度的实时监测和预警，并根据施工进度的实际情况来提供相应的预警提示，以提高对施工进度异常情况的及时响应能力，从而帮助项目管理人员及时采取措施解决问题，确保施工项目按时完成。

Description

施工进度的智能监控预警系统及方法

技术领域

本申请涉及智能预警领域，且更为具体地，涉及一种施工进度的智能监控预警系统及方法。

背景技术

在建筑施工项目中，施工进度监控是建筑施工项目管理中的重要环节。通过对施工进度进行监控，可以及时了解施工工序的完成情况，发现潜在的延误或异常情况，并采取相应的措施进行调整和管理，以确保项目按时完成。

然而，传统的施工进度监控方式通常依赖于人工观察和手动记录，这种方式需要大量的人力投入，例如人工观察、记录和分析施工现场的情况，这不仅增加了人力成本，还容易出现人为错误和疏漏。同时，人工监控的方式无法实时获取施工现场的状态信息且容易受到个人经验和主观意识的影响，导致监控结果的时效性较差，无法及时发现和处理施工进度的异常情况，还会使得监控结果的准确性和效率不高。

因此，期望一种优化的施工进度的智能监控预警系统。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种施工进度的智能监控预警系统及方法，其通过部署于施工现场的多个监控终端设备分别采集不同的施工局部区域监控视频，并在后端引入基于人工智能的数据处理和视频语义理解技术来进行这些施工局部区域监控视频的语义分析和关联，以此来进行施工进度的检测和异常程度的判断，并在异常程度超过预期时发出预警信号。这样，能够实现对施工进度的实时监测和预警，并根据施工进度的实际情况来提供相应的预警提示，以提高对施工进度异常情况的及时响应能力，从而帮助项目管理人员及时采取措施解决问题，确保施工项目按时完成。

根据本申请的一个方面，提供了一种施工进度的智能监控预警系统，其包括：施工区域监控视频采集模块，用于获取由被监控施工现场的多个监控终端设备采集的施工局部区域监控视频的集合，其中，所述多个监控终端设备分别部署于多个不同的施工区域；局部区域施工状态特征提取模块，用于将所述施工局部区域监控视频的集合中的各个施工局部区域监控视频通过基于深度神经网络模型的局部区域施工状态时序关联特征提取器以得到多个施工局部区域状态特征图；局部区域状态特征降噪模块，用于将所述多个施工局部区域状态特征图分别通过降噪稀疏器以得到多个降噪后施工局部区域状态特征图；施工状态语义差异度量模块，用于对所述多个降噪后施工局部区域状态特征图中任意两个降噪后施工局部区域状态特征图进行施工状态语义差异度量分析以得到施工状态语义度量向量；施工进度语义分析模块，用于融合所述多个降噪后施工局部区域状态特征图和所述施工状态语义度量向量以得到施工进度语义特征；施工进度检测预警模块，用于基于所述施工进度语义特征，确定施工进度的异常程度等级，并确定是否产生施工进度预警提示信号。

根据本申请的另一个方面，提供了一种施工进度的智能监控预警方法，其包括：获取由被监控施工现场的多个监控终端设备采集的施工局部区域监控视频的集合，其中，所述多个监控终端设备分别部署于多个不同的施工区域；将所述施工局部区域监控视频的集合中的各个施工局部区域监控视频通过基于深度神经网络模型的局部区域施工状态时序关联特征提取器以得到多个施工局部区域状态特征图；将所述多个施工局部区域状态特征图分别通过降噪稀疏器以得到多个降噪后施工局部区域状态特征图；对所述多个降噪后施工局部区域状态特征图中任意两个降噪后施工局部区域状态特征图进行施工状态语义差异度量分析以得到施工状态语义度量向量；融合所述多个降噪后施工局部区域状态特征图和所述施工状态语义度量向量以得到施工进度语义特征；基于所述施工进度语义特征，确定施工进度的异常程度等级，并确定是否产生施工进度预警提示信号。

与现有技术相比，本申请提供的一种施工进度的智能监控预警系统及方法，其通过部署于施工现场的多个监控终端设备分别采集不同的施工局部区域监控视频，并在后端引入基于人工智能的数据处理和视频语义理解技术来进行这些施工局部区域监控视频的语义分析和关联，以此来进行施工进度的检测和异常程度的判断，并在异常程度超过预期时发出预警信号。这样，能够实现对施工进度的实时监测和预警，并根据施工进度的实际情况来提供相应的预警提示，以提高对施工进度异常情况的及时响应能力，从而帮助项目管理人员及时采取措施解决问题，确保施工项目按时完成。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1为根据本申请实施例的施工进度的智能监控预警系统的框图。

图2为根据本申请实施例的施工进度的智能监控预警系统的系统架构图。

图3为根据本申请实施例的施工进度的智能监控预警系统的训练模块的框图。

图4为根据本申请实施例的施工进度的智能监控预警系统中施工进度语义分析模块的框图。

图5为根据本申请实施例的施工进度的智能监控预警系统中施工进度检测预警模块的框图。

图6为根据本申请实施例的施工进度的智能监控预警方法的流程图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。

虽然本申请对根据本申请的实施例的系统中的某些模块做出了各种引用，然而，任何数量的不同模块可以被使用并运行在用户终端和/或服务器上。所述模块仅是说明性的，并且所述系统和方法的不同方面可以使用不同模块。

本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，根据需要，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

传统的施工进度监控方式通常依赖于人工观察和手动记录，这种方式需要大量的人力投入，例如人工观察、记录和分析施工现场的情况，这不仅增加了人力成本，还容易出现人为错误和疏漏。同时，人工监控的方式无法实时获取施工现场的状态信息且容易受到个人经验和主观意识的影响，导致监控结果的时效性较差，无法及时发现和处理施工进度的异常情况，还会使得监控结果的准确性和效率不高。因此，期望一种优化的施工进度的智能监控预警系统。

在本申请的技术方案中，提出了一种施工进度的智能监控预警系统。图1为根据本申请实施例的施工进度的智能监控预警系统的框图。图2为根据本申请实施例的施工进度的智能监控预警系统的系统架构图。如图1和图2所示，根据本申请的实施例的施工进度的智能监控预警系统300，包括：施工区域监控视频采集模块310，用于获取由被监控施工现场的多个监控终端设备采集的施工局部区域监控视频的集合，其中，所述多个监控终端设备分别部署于多个不同的施工区域；局部区域施工状态特征提取模块320，用于将所述施工局部区域监控视频的集合中的各个施工局部区域监控视频通过基于深度神经网络模型的局部区域施工状态时序关联特征提取器以得到多个施工局部区域状态特征图；局部区域状态特征降噪模块330，用于将所述多个施工局部区域状态特征图分别通过降噪稀疏器以得到多个降噪后施工局部区域状态特征图；施工状态语义差异度量模块340，用于对所述多个降噪后施工局部区域状态特征图中任意两个降噪后施工局部区域状态特征图进行施工状态语义差异度量分析以得到施工状态语义度量向量；施工进度语义分析模块350，用于融合所述多个降噪后施工局部区域状态特征图和所述施工状态语义度量向量以得到施工进度语义特征；施工进度检测预警模块360，用于基于所述施工进度语义特征，确定施工进度的异常程度等级，并确定是否产生施工进度预警提示信号。

特别地，所述施工区域监控视频采集模块310，用于获取由被监控施工现场的多个监控终端设备采集的施工局部区域监控视频的集合，其中，所述多个监控终端设备分别部署于多个不同的施工区域。应可以理解，随着监控终端设备的普及和视频分析技术的发展，利用视频数据进行施工进度的智能监控和预警成为一种可行的方案。因此，在本申请的技术方案中，首先，通过分别部署于多个不同的施工区域的多个监控终端设备来获取施工局部区域监控视频的集合。

特别地，所述局部区域施工状态特征提取模块320，用于将所述施工局部区域监控视频的集合中的各个施工局部区域监控视频通过基于深度神经网络模型的局部区域施工状态时序关联特征提取器以得到多个施工局部区域状态特征图。考虑到所述施工局部区域监控视频的集合中的各个施工局部区域监控视频中都存在有关于该局部区域中的施工状态的时序语义信息。因此，为了能够从不同施工局部区域的监控视频中提取出有关于施工过程中的状态语义和变化特征，在本申请的技术方案中，将所述施工局部区域监控视频的集合中的各个施工局部区域监控视频通过基于深度神经网络模型的局部区域施工状态时序关联特征提取器以得到多个施工局部区域状态特征图。特别地，通过所述基于深度神经网络模型的局部区域施工状态时序关联特征提取器进行局部视频的特征分析和处理，能够更好地理解施工过程中的状态变化，例如建筑物的拆除、构件的安装等。这样，所述多个施工局部区域状态特征图能够更准确地反映多个不同局部施工区域的施工进度时序变化情况，以便于后续判断施工进度的异常程度并产生预警提示信号。具体地，将所述施工局部区域监控视频的集合中的各个施工局部区域监控视频通过基于深度神经网络模型的局部区域施工状态时序关联特征提取器以得到所述多个施工局部区域状态特征图，包括：使用所述基于深度神经网络模型的局部区域施工状态时序关联特征提取器的各层在层的正向传递中分别对输入数据进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述基于深度神经网络模型的局部区域施工状态时序关联特征提取器的最后一层的输出为所述多个施工局部区域状态特征图，所述基于深度神经网络模型的局部区域施工状态时序关联特征提取器的第一层的输入为所述施工局部区域监控视频的集合中的各个施工局部区域监控视频。

值得注意的是，三维卷积神经网络（3D Convolutional Neural Network）是卷积神经网络（CNN）的一种扩展形式，用于处理具有时空关联性的三维数据，例如视频、医学图像、动态体积数据等。与二维卷积神经网络（2D CNN）相比，三维卷积神经网络引入了时间维度，以捕捉时序信息。它在空间维度和时间维度上应用卷积操作，以提取时空特征。以下是三维卷积神经网络模型的一般结构：输入：三维卷积神经网络的输入通常是一个形状为[Batch Size, Channels, Depth, Height, Width] 的五维张量，其中 Batch Size 表示批量大小，Channels 表示通道数，Depth 表示深度（时间维度），Height 表示高度，Width表示宽度；卷积层：三维卷积层在输入数据的空间维度和时间维度上应用卷积操作，以提取时空特征。卷积核的大小通常是三个维度上的窗口大小，卷积操作通过滑动卷积核并执行逐元素相乘和求和的操作来计算输出特征图；池化层：池化层用于减少特征图的空间维度，同时保留重要的特征。常见的池化操作有最大池化和平均池化；批归一化层：批归一化层用于规范化输入数据，加速训练过程，并提高模型的鲁棒性；激活函数：通常，在卷积层或全连接层之后，会应用非线性激活函数，如ReLU，以引入非线性特征；全连接层：全连接层用于将卷积层的输出特征图转换为模型的最终输出。全连接层将特征图展平为一维向量，并通过一系列全连接层和激活函数进行信息的传递和转换；输出：最后一个全连接层的输出通常通过softmax函数进行归一化，以产生模型的预测结果。

特别地，所述局部区域状态特征降噪模块330，用于将所述多个施工局部区域状态特征图分别通过降噪稀疏器以得到多个降噪后施工局部区域状态特征图。应可以理解，为了突出所述施工局部区域状态特征图中具有更重要的关于局部区域施工状态语义和动态变化特征的语义部分，并减少噪声和不相关的信息干扰，在本申请的技术方案中，进一步将所述多个施工局部区域状态特征图分别通过降噪稀疏器以得到多个降噪后施工局部区域状态特征图。应可以理解，通过所述降噪稀疏器对不同施工局部区域的状态特征图进行处理，可以去除与施工进度检测无关的噪声和冗余信息，保留施工状态的关键特征。这样，所述多个降噪后施工局部区域状态特征图可以更准确地反映施工局部区域的施工状态变化，帮助系统更精确地判断施工进度的异常程度，并产生相应的预警提示信号。具体地，将所述多个施工局部区域状态特征图分别通过降噪稀疏器以得到多个降噪后施工局部区域状态特征图，包括：将所述多个施工局部区域状态特征图分别通过降噪稀疏器以如下降噪公式进行处理以得到所述多个降噪后施工局部区域状态特征图；其中，所述降噪公式为：；其中，/>为所述多个施工局部区域状态特征图中的各个施工局部区域状态特征图，/>表示按位置点乘，/>为门限特征图，/>为所述多个降噪后施工局部区域状态特征图中的各个降噪后施工局部区域状态特征图，/>为每个所述施工局部区域状态特征图中各个位置的特征值，为所述门限特征图中各个位置的特征值，/>和/>为超参数，/>表示门限函数的条件集合。

特别地，所述施工状态语义差异度量模块340，用于对所述多个降噪后施工局部区域状态特征图中任意两个降噪后施工局部区域状态特征图进行施工状态语义差异度量分析以得到施工状态语义度量向量。应可以理解，在施工进度监控中，不同的施工局部区域可能存在着不同的状态变化。因此，为了能够量化不同施工局部区域之间的状态语义差异程度，以此来更为准确地反映出施工进度情况，在本申请的技术方案中，进一步计算所述多个降噪后施工局部区域状态特征图中任意两个降噪后施工局部区域状态特征图的施工状态语义差异度量系数以得到施工状态语义度量向量。特别地，通过计算不同的两个所述降噪后施工局部区域状态特征图之间的差异度量系数，可以衡量不同施工局部区域之间的施工状态特征差异程度，也就是说，这些差异度量系数可以反映施工的不同局部区域之间的施工状态变化情况，例如施工进度的快慢、施工质量的好坏等，并提供更全面的施工进度信息，以利于更准确地判断施工进度的异常程度，并产生相应的预警提示。具体地，计算所述多个降噪后施工局部区域状态特征图中任意两个降噪后施工局部区域状态特征图的施工状态语义差异度量系数以得到所述施工状态语义度量向量，包括：以如下差异度量公式计算所述多个降噪后施工局部区域状态特征图中任意两个降噪后施工局部区域状态特征图的施工状态语义差异度量系数以得到所述施工状态语义度量向量；其中，所述公式为：；其中，/>是第一全局交叉熵加权系数，是第一初始特征图中的第/>个位置的值，/>是第二初始特征图中的第个位置的值，/>是所述第一初始特征图和所述第二初始特征图的宽度，/>是所述第一初始特征图和所述第二初始特征图的高度，第一初始特征图和所述第二初始特征图具有相同的高度和宽度，且/>是所述卷积神经网络的通道数。

特别地，所述施工进度语义分析模块350，用于融合所述多个降噪后施工局部区域状态特征图和所述施工状态语义度量向量以得到施工进度语义特征。特别地，在本申请的一个具体示例中，如图4所示，所述施工进度语义分析模块350，包括：全局施工状态语义聚合单元351，用于将所述多个降噪后施工局部区域状态特征图按照所述多个监控终端设备所在的空间位置维度进行聚合以得到施工全局状态特征图；施工状态多维度特征融合单元352，用于使用元网络逐通道响应融合模块对所述施工状态语义度量向量和所述施工全局状态特征图进行处理以得到施工进度语义特征图作为所述施工进度语义特征。

具体地，所述全局施工状态语义聚合单元351，用于将所述多个降噪后施工局部区域状态特征图按照所述多个监控终端设备所在的空间位置维度进行聚合以得到施工全局状态特征图。考虑到由于在实际进行施工现场监控的过程中，每个监控终端设备都会对于施工局部区域的施工状态进行监测，而各个施工局部区域的施工状态语义之间具有着关联关系。因此，为了能够综合考虑不同施工局部区域的状态信息，以更全面地了解整个施工项目的进度情况，需要将各个局部区域的状态语义特征信息整合到一个施工全局状态特征图中。具体地，在本申请的技术方案中，进一步将所述多个降噪后施工局部区域状态特征图按照所述多个监控终端设备所在的空间位置维度进行聚合以得到施工全局状态特征图。

具体地，所述施工状态多维度特征融合单元352，用于使用元网络逐通道响应融合模块对所述施工状态语义度量向量和所述施工全局状态特征图进行处理以得到施工进度语义特征图作为所述施工进度语义特征。应可以理解，所述施工状态语义度量向量和所述施工全局状态特征图分别提供了不同层面的施工进度信息。具体来说，所述施工状态语义度量向量反映了不同的施工局部区域的施工状态语义之间的差异信息。而所述施工全局状态特征图则综合了各个施工局部区域的状态语义特征信息，展示了整个施工项目的进度情况。因此，为了能够更全面地理解整个施工进度，需要将这两种信息进行融合。基于此，在本申请的技术方案中，进一步使用元网络逐通道响应融合模块对所述施工状态语义度量向量和所述施工全局状态特征图进行处理以得到施工进度语义特征图。特别地，所述元网络逐通道响应融合模块可以将所述施工状态语义度量向量和所述施工全局状态特征图进行逐通道融合，以便于可以充分利用两者的优势，提供更准确、全面的施工进度语义特征图。这里，所述施工进度语义特征图可以更为充分地反映出施工进度的整体情况，包括各个局部区域的状态变化和整体的施工进度趋势之间的融合特征信息。这有助于项目管理人员更好地了解施工进度的状态，及时发现潜在问题，并采取相应的措施。更具体地，使用元网络逐通道响应融合模块对所述施工状态语义度量向量和所述施工全局状态特征图进行处理以得到施工进度语义特征图作为所述施工进度语义特征，包括：将所述施工全局状态特征图通过所述参数引导跨模态编码器的卷积神经网络模型中进行处理以得到施工全局状态增强语义特征图；将所述施工状态语义度量向量通过所述参数引导跨模态编码器的第一卷积层后再通过ReLU函数进行线性修正处理以得到线性修正后施工状态语义度量向量；将所述线性修正后施工状态语义度量向量通过所述参数引导跨模态编码器的第二卷积层后再通过Sigmoid 函数进行处理以得到归一化后施工状态语义度量向量；以所述归一化后施工状态语义度量向量对所述施工全局状态增强语义特征图进行沿通道维度的加权融合以得到所述施工进度语义特征图。

值得一提的是，在本申请的其他具体示例中，还可以通过其他方式融合所述多个降噪后施工局部区域状态特征图和所述施工状态语义度量向量以得到施工进度语义特征，例如：输入所述多个降噪后施工局部区域状态特征图和所述施工状态语义度量向量；将多个降噪后的施工局部区域状态特征图进行融合。融合的方式可以是简单的元素级加法、加权求和或者通过卷积等方式进行特征融合操作；将施工状态语义度量向量与融合后的特征图进行融合。可以通过将施工状态语义度量向量进行扩展，使其与特征图的空间维度相匹配，然后将两者进行拼接或者逐元素相乘等操作。

特别地，所述施工进度检测预警模块360，用于基于所述施工进度语义特征，确定施工进度的异常程度等级，并确定是否产生施工进度预警提示信号。特别地，在本申请的一个具体示例中，如图5所示，所述施工进度检测预警模块360，包括：施工进度异常程度检测单元361，用于将所述施工进度语义特征图通过分类器以得到分类结果，所述分类结果用于表示施工进度的异常程度等级；施工进度预警单元362，用于响应于所述施工进度的异常程度等级大于预定阈值，产生施工进度预警提示信号。

具体地，所述施工进度异常程度检测单元361，用于将所述施工进度语义特征图通过分类器以得到分类结果，所述分类结果用于表示施工进度的异常程度等级。具体地，在本申请的技术方案中，所述分类器的标签为施工进度的异常程度等级标签。这样，能够实现对施工进度的实时监测和预警，并根据施工进度的实际情况来提供相应的预警提示，以提高对施工进度异常情况的及时响应能力。更具体地，将所述施工进度语义特征图通过分类器以得到分类结果，所述分类结果用于表示施工进度的异常程度等级，包括：将所述施工进度语义特征图基于行向量或列向量展开为分类特征向量；使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。

具体地，所述施工进度预警单元362，用于响应于所述施工进度的异常程度等级大于预定阈值，产生施工进度预警提示信号。也就是，在本申请的一个具体示例中，在得到所述分类结果后，可以基于所述分类结果来进行施工进度的检测和异常程度的判断，并在响应于所述施工进度的异常程度等级大于预定阈值，产生施工进度预警提示信号。

值得一提的是，在本申请的其他具体示例中，还可以通过其他方式基于所述施工进度语义特征，确定施工进度的异常程度等级，并确定是否产生施工进度预警提示信号，例如：输入所述施工进度语义特征；对施工进度的语义特征进行异常程度评估。常见的方法包括基于规则的阈值判断、基于统计的离群值检测、基于机器学习的异常检测等。评估的结果可以是一个异常程度的数值或者一个异常程度等级；根据实际需求和异常程度等级，确定预警阈值；将异常程度与预警阈值进行比较，判断是否产生施工进度预警提示信号。如果异常程度超过或等于预警阈值，则产生预警提示信号；否则，不产生预警提示信号。

应可以理解，在利用上述神经网络模型进行推断之前，需要对所述基于深度神经网络模型的局部区域施工状态时序关联特征提取器、所述降噪稀疏器、所述元网络逐通道响应融合模块和所述分类器进行训练。也就是说，根据本申请的施工进度的智能监控预警系统300，还包括训练模块400，用于对所述基于深度神经网络模型的局部区域施工状态时序关联特征提取器、所述降噪稀疏器、所述元网络逐通道响应融合模块和所述分类器进行训练。

图3为根据本申请实施例的施工进度的智能监控预警系统的训练模块的框图。如图3所示，根据本申请实施例的施工进度的智能监控预警系统300，包括：训练模块400，包括：训练数据获取单元410，用于获取训练数据，所述训练数据包括由被监控施工现场的多个监控终端设备采集的训练施工局部区域监控视频的集合，其中，所述多个监控终端设备分别部署于多个不同的施工区域；训练局部区域施工状态特征提取单元420，用于将所述训练施工局部区域监控视频的集合中的各个训练施工局部区域监控视频通过基于深度神经网络模型的局部区域施工状态时序关联特征提取器以得到多个训练施工局部区域状态特征图；训练局部区域状态特征降噪单元430，用于将所述多个训练施工局部区域状态特征图分别通过降噪稀疏器以得到多个训练降噪后施工局部区域状态特征图；训练施工状态语义差异度量单元440，用于计算所述多个训练降噪后施工局部区域状态特征图中任意两个训练降噪后施工局部区域状态特征图的施工状态语义差异度量系数以得到训练施工状态语义度量向量；训练全局施工状态语义聚合单元450，用于将所述多个训练降噪后施工局部区域状态特征图按照所述多个监控终端设备所在的空间位置维度进行聚合以得到训练施工全局状态特征图；施工状态多维度特征融合单元460，用于使用元网络逐通道响应融合模块对所述训练施工状态语义度量向量和所述训练施工全局状态特征图进行处理以得到训练施工进度语义特征图；优化单元470，用于对所述训练施工进度语义特征图进行优化以得到优化训练施工进度语义特征图；分类损失单元480，用于将所述优化训练施工进度语义特征图通过分类器以得到分类损失函数值；训练单元490，用于基于所述分类损失函数值对所述基于深度神经网络模型的局部区域施工状态时序关联特征提取器、所述降噪稀疏器、所述元网络逐通道响应融合模块和所述分类器进行训练。

特别地，在本申请的技术方案中，所述训练施工全局状态特征图表达所述被监控施工现场的多个监控终端设备采集的施工局部区域监控视频的集合视频时序关联图像语义特征，其各个特征矩阵之间遵循所述施工局部区域监控视频的各个视频帧的图像语义时序集合分布，而所述施工状态语义度量向量表达各个施工局部区域监控视频的时序图像语义差异度量，因此，当使用元网络逐通道响应融合模块对所述训练施工状态语义度量向量和所述训练施工全局状态特征图进行处理时，所述训练施工进度语义特征图在其通道维度上同时受到每个所述施工局部区域监控视频的视频内帧图像语义时序集合分布和多个所述施工局部区域监控视频的视频间时序图像语义差异分布的约束，从而使得所述训练施工进度语义特征图的各个特征值在概率密度域下的概率密度表示稀疏化，从而影响通过分类器进行分类时的回归收敛效果。基于此，本申请的申请人对所述训练施工进度语义特征图进行优化，表示为：/>；其中/>是所述训练施工进度语义特征图，表示所述训练施工进度语义特征图的逐位置平方图，/>为参数可训练的中间权重图，例如基于所述训练施工进度语义特征图的通道分布稀疏性，初始设置为其每个特征矩阵的特征值为所述训练施工进度语义特征图的相应特征矩阵的特征值均值，此外，/>为所有特征值为1的单位图，/>表示过渡图，/>表示过渡图的逐位置平方图，/>表示按位置相加，/>表示按位置点乘，/>是所述优化训练施工进度语义特征图。这里，为了优化所述训练施工进度语义特征图/>的稀疏概率密度在整体概率空间内的分布均匀性和一致性，通过类标准柯西分布式的尾部分布加强机制，来对所述施工进度语义特征图/>在高维特征空间内的距离式空间分布进行基于空间角度倾斜式的距离分布优化，以实现所述训练施工进度语义特征图/>的各个局部特征分布的距离弱相关的特征分布空间共振，从而提升所述训练施工进度语义特征图/>整体在概率密度分布层面相对于回归概率收敛的均匀性和一致性，提升分类收敛效果，即分类收敛的速度和分类值的准确性。这样，能够实现对施工进度的实时监测和预警，并根据施工进度的实际情况来提供相应的预警提示，以提高对施工进度异常情况的及时响应能力，从而帮助项目管理人员及时采取措施解决问题，确保施工项目按时完成。

如上所述，根据本申请实施例的施工进度的智能监控预警系统300可以实现在各种无线终端中，例如具有施工进度的智能监控预警算法的服务器等。在一种可能的实现方式中，根据本申请实施例的施工进度的智能监控预警系统300可以作为一个软件模块和/或硬件模块而集成到无线终端中。例如，该施工进度的智能监控预警系统300可以是该无线终端的操作系统中的一个软件模块，或者可以是针对于该无线终端所开发的一个应用程序；当然，该施工进度的智能监控预警系统300同样可以是该无线终端的众多硬件模块之一。

替换地，在另一示例中，该施工进度的智能监控预警系统300与该无线终端也可以是分立的设备，并且该施工进度的智能监控预警系统300可以通过有线和/或无线网络连接到该无线终端，并且按照约定的数据格式来传输交互信息。

进一步地，还提供一种施工进度的智能监控预警方法。

图6为根据本申请实施例的施工进度的智能监控预警方法的流程图。如图6所示，根据本申请实施例的施工进度的智能监控预警方法，包括步骤：S1，获取由被监控施工现场的多个监控终端设备采集的施工局部区域监控视频的集合，其中，所述多个监控终端设备分别部署于多个不同的施工区域；S2，将所述施工局部区域监控视频的集合中的各个施工局部区域监控视频通过基于深度神经网络模型的局部区域施工状态时序关联特征提取器以得到多个施工局部区域状态特征图；S3，将所述多个施工局部区域状态特征图分别通过降噪稀疏器以得到多个降噪后施工局部区域状态特征图；S4，对所述多个降噪后施工局部区域状态特征图中任意两个降噪后施工局部区域状态特征图进行施工状态语义差异度量分析以得到施工状态语义度量向量；S5，融合所述多个降噪后施工局部区域状态特征图和所述施工状态语义度量向量以得到施工进度语义特征；S6，基于所述施工进度语义特征，确定施工进度的异常程度等级，并确定是否产生施工进度预警提示信号。

综上，根据本申请实施例的施工进度的智能监控预警方法被阐明，其通过部署于施工现场的多个监控终端设备分别采集不同的施工局部区域监控视频，并在后端引入基于人工智能的数据处理和视频语义理解技术来进行这些施工局部区域监控视频的语义分析和关联，以此来进行施工进度的检测和异常程度的判断，并在异常程度超过预期时发出预警信号。这样，能够实现对施工进度的实时监测和预警，并根据施工进度的实际情况来提供相应的预警提示，以提高对施工进度异常情况的及时响应能力，从而帮助项目管理人员及时采取措施解决问题，确保施工项目按时完成。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (8)

1.一种施工进度的智能监控预警系统，其特征在于，包括：施工区域监控视频采集模块，用于获取由被监控施工现场的多个监控终端设备采集的施工局部区域监控视频的集合，其中，所述多个监控终端设备分别部署于多个不同的施工区域；局部区域施工状态特征提取模块，用于将所述施工局部区域监控视频的集合中的各个施工局部区域监控视频通过基于深度神经网络模型的局部区域施工状态时序关联特征提取器以得到多个施工局部区域状态特征图；局部区域状态特征降噪模块，用于将所述多个施工局部区域状态特征图分别通过降噪稀疏器以得到多个降噪后施工局部区域状态特征图；施工状态语义差异度量模块，用于对所述多个降噪后施工局部区域状态特征图中任意两个降噪后施工局部区域状态特征图进行施工状态语义差异度量分析以得到施工状态语义度量向量；施工进度语义分析模块，用于融合所述多个降噪后施工局部区域状态特征图和所述施工状态语义度量向量以得到施工进度语义特征；施工进度检测预警模块，用于基于所述施工进度语义特征，确定施工进度的异常程度等级，并确定是否产生施工进度预警提示信号；

其中，所述施工状态语义差异度量模块，用于：计算所述多个降噪后施工局部区域状态特征图中任意两个降噪后施工局部区域状态特征图的施工状态语义差异度量系数以得到所述施工状态语义度量向量；

其中，所述施工状态语义差异度量模块，用于：以如下差异度量公式计算所述多个降噪后施工局部区域状态特征图中任意两个降噪后施工局部区域状态特征图的施工状态语义差异度量系数以得到所述施工状态语义度量向量；其中，所述公式为：

，

其中，是第一全局交叉熵加权系数，/>是第一初始特征图中的第/>个位置的值，/>是第二初始特征图中的第/>个位置的值，/>是所述第一初始特征图和所述第二初始特征图的宽度，/>是所述第一初始特征图和所述第二初始特征图的高度，第一初始特征图和所述第二初始特征图具有相同的高度和宽度，且/>是卷积神经网络的通道数。

2.根据权利要求1所述的施工进度的智能监控预警系统，其特征在于，所述深度神经网络模型为三维卷积神经网络模型。

3.根据权利要求2所述的施工进度的智能监控预警系统，其特征在于，所述局部区域状态特征降噪模块，用于：将所述多个施工局部区域状态特征图分别通过降噪稀疏器以如下降噪公式进行处理以得到所述多个降噪后施工局部区域状态特征图；其中，所述降噪公式为：

，

其中，为所述多个施工局部区域状态特征图中的各个施工局部区域状态特征图，表示按位置点乘，/>为门限特征图，/>为所述多个降噪后施工局部区域状态特征图中的各个降噪后施工局部区域状态特征图，/>为每个所述施工局部区域状态特征图中各个位置的特征值，/>为所述门限特征图中各个位置的特征值，/>和/>为超参数，/>表示门限函数的条件集合。

4.根据权利要求3所述的施工进度的智能监控预警系统，其特征在于，所述施工进度语义分析模块，包括：全局施工状态语义聚合单元，用于将所述多个降噪后施工局部区域状态特征图按照所述多个监控终端设备所在的空间位置维度进行聚合以得到施工全局状态特征图；施工状态多维度特征融合单元，用于使用元网络逐通道响应融合模块对所述施工状态语义度量向量和所述施工全局状态特征图进行处理以得到施工进度语义特征图作为所述施工进度语义特征。

5.根据权利要求4所述的施工进度的智能监控预警系统，其特征在于，所述施工状态多维度特征融合单元，用于：将所述施工全局状态特征图通过所述参数引导跨模态编码器的卷积神经网络模型中进行处理以得到施工全局状态增强语义特征图；将所述施工状态语义度量向量通过所述参数引导跨模态编码器的第一卷积层后再通过ReLU函数进行线性修正处理以得到线性修正后施工状态语义度量向量；将所述线性修正后施工状态语义度量向量通过所述参数引导跨模态编码器的第二卷积层后再通过Sigmoid 函数进行处理以得到归一化后施工状态语义度量向量；以所述归一化后施工状态语义度量向量对所述施工全局状态增强语义特征图进行沿通道维度的加权融合以得到所述施工进度语义特征图。

6.根据权利要求5所述的施工进度的智能监控预警系统，其特征在于，所述施工进度检测预警模块，包括：施工进度异常程度检测单元，用于将所述施工进度语义特征图通过分类器以得到分类结果，所述分类结果用于表示施工进度的异常程度等级；施工进度预警单元，用于响应于所述施工进度的异常程度等级大于预定阈值，产生施工进度预警提示信号。

7.根据权利要求6所述的施工进度的智能监控预警系统，其特征在于，还包括用于对所述基于深度神经网络模型的局部区域施工状态时序关联特征提取器、所述降噪稀疏器、所述元网络逐通道响应融合模块和所述分类器进行训练的训练模块；其中，所述训练模块，包括：训练数据获取单元，用于获取训练数据，所述训练数据包括由被监控施工现场的多个监控终端设备采集的训练施工局部区域监控视频的集合，其中，所述多个监控终端设备分别部署于多个不同的施工区域；训练局部区域施工状态特征提取单元，用于将所述训练施工局部区域监控视频的集合中的各个训练施工局部区域监控视频通过基于深度神经网络模型的局部区域施工状态时序关联特征提取器以得到多个训练施工局部区域状态特征图；训练局部区域状态特征降噪单元，用于将所述多个训练施工局部区域状态特征图分别通过降噪稀疏器以得到多个训练降噪后施工局部区域状态特征图；训练施工状态语义差异度量单元，用于计算所述多个训练降噪后施工局部区域状态特征图中任意两个训练降噪后施工局部区域状态特征图的施工状态语义差异度量系数以得到训练施工状态语义度量向量；训练全局施工状态语义聚合单元，用于将所述多个训练降噪后施工局部区域状态特征图按照所述多个监控终端设备所在的空间位置维度进行聚合以得到训练施工全局状态特征图；施工状态多维度特征融合单元，用于使用元网络逐通道响应融合模块对所述训练施工状态语义度量向量和所述训练施工全局状态特征图进行处理以得到训练施工进度语义特征图；优化单元，用于对所述训练施工进度语义特征图进行优化以得到优化训练施工进度语义特征图；分类损失单元，用于将所述优化训练施工进度语义特征图通过分类器以得到分类损失函数值；训练单元，用于基于所述分类损失函数值对所述基于深度神经网络模型的局部区域施工状态时序关联特征提取器、所述降噪稀疏器、所述元网络逐通道响应融合模块和所述分类器进行训练。

8.一种施工进度的智能监控预警方法，其特征在于，包括：获取由被监控施工现场的多个监控终端设备采集的施工局部区域监控视频的集合，其中，所述多个监控终端设备分别部署于多个不同的施工区域；将所述施工局部区域监控视频的集合中的各个施工局部区域监控视频通过基于深度神经网络模型的局部区域施工状态时序关联特征提取器以得到多个施工局部区域状态特征图；将所述多个施工局部区域状态特征图分别通过降噪稀疏器以得到多个降噪后施工局部区域状态特征图；对所述多个降噪后施工局部区域状态特征图中任意两个降噪后施工局部区域状态特征图进行施工状态语义差异度量分析以得到施工状态语义度量向量；融合所述多个降噪后施工局部区域状态特征图和所述施工状态语义度量向量以得到施工进度语义特征；基于所述施工进度语义特征，确定施工进度的异常程度等级，并确定是否产生施工进度预警提示信号；

其中，对所述多个降噪后施工局部区域状态特征图中任意两个降噪后施工局部区域状态特征图进行施工状态语义差异度量分析以得到施工状态语义度量向量，包括：计算所述多个降噪后施工局部区域状态特征图中任意两个降噪后施工局部区域状态特征图的施工状态语义差异度量系数以得到所述施工状态语义度量向量；

其中，对所述多个降噪后施工局部区域状态特征图中任意两个降噪后施工局部区域状态特征图进行施工状态语义差异度量分析以得到施工状态语义度量向量，包括：以如下差异度量公式计算所述多个降噪后施工局部区域状态特征图中任意两个降噪后施工局部区域状态特征图的施工状态语义差异度量系数以得到所述施工状态语义度量向量；其中，所述公式为：

，

其中，是第一全局交叉熵加权系数，/>是第一初始特征图中的第/>个位置的值，/>是第二初始特征图中的第/>个位置的值，/>是所述第一初始特征图和所述第二初始特征图的宽度，/>是所述第一初始特征图和所述第二初始特征图的高度，第一初始特征图和所述第二初始特征图具有相同的高度和宽度，且/>是卷积神经网络的通道数。