CN116758493A - 基于图像处理的隧道施工监测方法、装置及可读存储介质 - Google Patents

Abstract

本发明提供的一种基于图像处理的隧道施工监测方法、装置及可读存储介质，涉及图像处理技术领域。首先，得到进出隧道的施工人员信息和施工人员的流动信息；接着，基于施工人员信息识别对应施工人员的工种属性，并根据施工人员的工种属性及施工人员的流动信息创建出不同工种属性的施工人员在隧道中流动的矢量流动热力图；然后，在矢量流动热力图异常时通过获取异常地点的目标视频图像信息；最后，对异常地点的目标视频图像信息进行人体行为检测分析，并基于分析得到的人体行为判定隧道的施工环境是否存在施工隐患。上述方式通过对不同工种属性的施工人员在隧道中的异常流动进行监控确定施工隐患，从而及时发现施工隐患，确保隧道安全施工。

Description

基于图像处理的隧道施工监测方法、装置及可读存储介质

技术领域

本发明涉及图像处理技术领域，具体而言，涉及一种基于图像处理的隧道施工监测方法、装置及可读存储介质。

背景技术

隧道施工因施工环境比较封闭，在隧道某处出现施工隐患时往往无法及时发现，这些隐患很可能发展成影响隧道安全施工的重大事件，为此对隧道中的施工隐患进行及时排除是保证隧道施工隐患的一项重要工作。如何及时发现隧道中的施工隐患成为本领域技术人员急需要解决的技术问题。

发明内容

为了至少克服现有技术中的上述不足，第一方面，本发明提供一种基于图像处理的隧道施工监测方法，应用于隧道施工监测系统中的计算机设备，所述隧道施工监测系统还包括与所述计算机设备通信连接的图像采集设备，所述图像采集设备至少设置在隧道的进出口及所述隧道的各个施工区域，所述图像采集设备的图像采集方向可调整，所述方法包括：

对所述图像采集设备采集的视频图像信息进行分析，得到进出所述隧道的施工人员信息和所述隧道的各个施工区域中施工人员的流动信息；

基于所述隧道的施工人员信息识别对应施工人员的工种属性；

根据施工人员的工种属性及所述隧道的各个施工区域中施工人员的流动信息创建出不同工种属性的施工人员在所述隧道中流动的矢量流动热力图，其中，所述矢量流动热力图包括不同时刻下施工人员在所述隧道中的位置、运动方向及运动速度；

对所述不同工种属性的施工人员在所述隧道中流动的矢量流动热力图进行分析，判断所述矢量流动热力图是否异常，在所述矢量流动热力图异常时通过调整所述图像采集设备的图像采集方向获取异常地点的目标视频图像信息；

对所述异常地点的目标视频图像信息进行人体行为检测分析，并基于分析得到的人体行为判定所述隧道的施工环境是否存在施工隐患。

上述方式可以通过对不同工种属性的施工人员在隧道中的异常流动进行监控确定施工隐患，从而及时发现施工隐患，确保隧道安全施工。

在一种可能的实现方式中，所述对所述图像采集设备采集的视频图像信息进行分析，得到进出所述隧道的施工人员信息和所述隧道的各个施工区域中施工人员的流动信息的步骤，包括：

通过图像采集设备对隧道进行图像采集，获取所述隧道的视频图像信息，其中，所述视频图像信息包括施工人员特征信息和隧道背景特征信息；

基于训练好的人体轮廓检测规则在所述视频图像信息中进行检测，确定出所述视频图像信息中的施工人员；

基于所述施工人员在所述视频图像信息中的位置区域，确定所述施工人员的头部在所述视频图像信息中的头部位置子区域和所述施工人员的躯体在所述视频图像信息中的躯体位置子区域；

基于所述头部位置子区域、所述躯体位置子区域、所述隧道背景特征信息和训练好的图像曝光参数，对曝光处理后的视频图像信息进行检测得到所述头部位置子区域对应的头部防护帽信息和所述躯体位置子区域对应的躯体防护服信息，所述图像曝光参数用于将因所述隧道的亮度不够而导致的画面模糊变得清晰；

基于所述头部防护帽信息和所述躯体防护服信息，确定所述施工人员的人员信息；

并基于各所述施工人员的人员信息，得到所述隧道的各个施工区域中施工人员的流动信息，其中，所述流动信息包括所述施工人员在不同时刻的位置信息。

在一种可能的实现方式中，所述基于所述施工人员在所述视频图像信息中的位置区域，确定所述施工人员的头部在所述视频图像信息中的头部位置子区域和所述施工人员的躯体在所述视频图像信息中的躯体位置子区域的步骤，包括：

对所述视频图像信息中的所述施工人员进行轮廓区域确定，得到所述施工人员在所述视频图像信息中的位置区域；

基于所述位置区域，修正拟合得到所述施工人员的人形躯体模型区域；

将所述人形躯体模型区域中颈部以上的区域，作为所述头部位置子区域，将所述人形躯体模型区域中颈部以下的区域，作为所述躯体位置子区域。

在一种可能的实现方式中，所述基于所述头部位置子区域、所述躯体位置子区域、所述隧道背景特征信息和训练好的图像曝光参数，对曝光处理后的视频图像信息进行检测得到所述头部位置子区域对应的头部防护帽信息和所述躯体位置子区域对应的躯体防护服信息的步骤，包括：

基于所述图像曝光参数和所述头部位置子区域，得到曝光调整后的头部位置子区域；

基于所述图像曝光参数和所述躯体位置子区域，得到曝光调整后的躯体位置子区域；

基于所述视频图像信息中的所述隧道背景特征信息，确定与所述头部位置子区域对应的第一背景灰阶信息和与所述躯体位置子区域对应的第二背景灰阶信息，其中，所述第一背景灰阶信息为所述头部防护帽信息中的背景灰阶亮度，所述第二背景灰阶信息为所述躯体防护服信息中的背景灰阶亮度；

将所述第一背景灰阶信息和所述曝光调整后的头部位置子区域输入训练好的穿戴物品识别网络，得到所述头部防护帽信息；

将所述第二背景灰阶信息、所述曝光调整后的躯体位置子区域输入所述训练好的穿戴物品识别网络，得到所述躯体防护服信息。

在一种可能的实现方式中，所述根据施工人员的工种属性及所述隧道的各个施工区域中施工人员的流动信息创建出不同工种属性的施工人员在所述隧道中流动的矢量流动热力图的步骤，包括：

从所述隧道的各个施工区域中施工人员的流动信息中确定出各个施工人员在不同时刻的位置信息；

基于所述施工人员的工种属性以及各个施工人员在不同时刻的位置信息创建出不同工种属性的施工人员在所述隧道中流动的矢量流动热力图。

在一种可能的实现方式中，所述对所述不同工种属性的施工人员在所述隧道中流动的矢量流动热力图进行分析，判断所述矢量流动热力图是否异常，在所述矢量流动热力图异常时通过调整所述图像采集设备的图像采集方向获取异常地点的视频图像信息的步骤，包括：

获取所述隧道中各施工区域的当前施工类型；

基于各所述施工区域的当前施工类型获取预先配置的该施工类型对应的施工人员配置信息，其中，所述施工人员配置信息包括不同工种属性的施工人员的组合配置信息；

基于所述不同工种属性的施工人员在所述隧道中流动的矢量流动热力图确定出各所述施工区域中具有的不同工种属性的施工人员的实际组合信息；

将所述施工区域的不同工种属性的施工人员的实际组合信息与该施工区域的施工人员配置信息进行匹配；

在所述实际组合信息和所述施工人员配置信息不匹配时，判定所述矢量流动热力图存在异常，调整异常地点附近的多个图像采集设备的图像采集方向并获取异常地点的多个目标视频图像信息。

在一种可能的实现方式中，所述对所述异常地点的目标视频图像信息进行人体行为检测分析，并基于分析得到的人体行为判定所述隧道的施工环境是否存在施工隐患的步骤，包括：

基于所述多个目标视频图像信息生成所述异常地点的全景视频图像；

将所述全景视频图像输入训练好的隧道施工行为安全检测模型中进检测，得到所述全景视频图像中的各施工人员的人体行为，并基于所述各施工人员的人体行为判定所述隧道的施工环境是否存在施工隐患。

在一种可能的实现方式中，在所述将所述全景视频图像输入训练好的隧道施工行为安全检测模型中进检测，得到所述全景视频图像中的各施工人员的人体行为，并基于所述各施工人员的人体行为判定所述隧道的施工环境是否存在施工隐患的步骤之前，所述方法还包括训练隧道施工行为安全检测模型的步骤：

构建训练隧道施工行为安全检测模型，所述隧道施工行为安全检测模型包括行为检测子模型和安全判定子模型，其中，所述检测子模型和所述安全判定子模型包括神经网络模型；

构建训练样本集，所述训练样本集包括标注标签的隧道全景视频图像样本，所述标签包括人体行为标签和施工隐患标签；

将所述隧道全景视频图像样本输入到构建的隧道施工行为安全检测模型进行训练，得到预测的人体行为和预测的施工隐患；

基于预测的人体行为、预测的施工隐患、人体行为标签及施工隐患标签计算模型损失函数值，在所述模型损失函数值大于或等于预设的模型损失函数阈值时，调整所述行为检测子模型和所述安全判定子模型中的模型参数，并重新输入所述隧道全景视频图像样本进行训练，直到所述模型损失函数值小于预设的模型损失函数阈值，得到训练好的隧道施工行为安全检测模型；

所述隧道施工监测系统中还包括设置在隧道的扬声器，所述扬声器与所述计算机设备通信连接，在判定所述隧道的施工环境存在施工隐患时，所述方法还包括：

对所述隧道存在的施工隐患进行识别；

在识别到的施工隐患需要施工人员撤离时，基于当前所述隧道的通行情况，通过所述扬声器语音提醒不同施工区域的施工人员按照指定的撤离路线从所述隧道撤离。

第二方面，本发明还提供一种基于图像处理的隧道施工监测装置，应用于隧道施工监测系统中的计算机设备，所述隧道施工监测系统还包括与所述计算机设备通信连接的图像采集设备，所述图像采集设备至少设置在隧道的进出口及所述隧道的各个施工区域，所述图像采集设备的图像采集方向可调整，所述装置包括：

第一分析模块，用于对所述图像采集设备采集的视频图像信息进行分析，得到进出所述隧道的施工人员信息和所述隧道的各个施工区域中施工人员的流动信息；

识别模块，用于基于所述隧道的施工人员信息识别对应施工人员的工种属性；

创建模块，用于根据施工人员的工种属性及所述隧道的各个施工区域中施工人员的流动信息创建出不同工种属性的施工人员在所述隧道中流动的矢量流动热力图，其中，所述矢量流动热力图包括不同时刻下施工人员在所述隧道中的位置、运动方向及运动速度；

第二分析模块，用于对所述不同工种属性的施工人员在所述隧道中流动的矢量流动热力图进行分析，判断所述矢量流动热力图是否异常，在所述矢量流动热力图异常时通过调整所述图像采集设备的图像采集方向获取异常地点的目标视频图像信息；

判定模块，对所述异常地点的目标视频图像信息进行人体行为检测分析，并基于分析得到的人体行为判定所述隧道的施工环境是否存在施工隐患。

第三方面，本发明还提供计算机设备，所述计算机设备包括处理器、可读存储介质和通信接口，所述可读存储介质、所述通信接口以及所述处理器之间通过总线系统相连，所述可读存储介质用于存储程序、指令或代码，所述处理器用于执行所述可读存储介质中的程序、指令或代码，以执行第一方面任意一个可能的实现方式中所述的基于图像处理的隧道施工监测方法。

第四方面，本发明实施例提供一种可读存储介质，可读存储介质中存储有指令，当其被执行时，使得计算机执行第一方面任意一个可能的实现方式中的基于图像处理的隧道施工监测方法。

相对于现有技术，本发明提供的上述方案具有以下有益效果：首先，得到进出隧道的施工人员信息和隧道的各个施工区域中施工人员的流动信息；接着，基于隧道的施工人员信息识别对应施工人员的工种属性，并根据施工人员的工种属性及隧道的各个施工区域中施工人员的流动信息创建出不同工种属性的施工人员在隧道中流动的矢量流动热力图；然后，在矢量流动热力图异常时通过调整图像采集设备的图像采集方向获取异常地点的目标视频图像信息；最后，对异常地点的目标视频图像信息进行人体行为检测分析，并基于分析得到的人体行为判定隧道的施工环境是否存在施工隐患。上述方式可以通过对不同工种属性的施工人员在隧道中的异常流动进行监控确定施工隐患，从而及时发现施工隐患，确保隧道安全施工。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要调用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图。

图1为本发明实施例提供的隧道施工监测系统的方框示意图；

图2为本发明实施例提供的基于图像处理的隧道施工监测方法的流程示意图；

图3为图2中的步骤S10的子步骤流程示意图；

图4为本发明实施例提供的基于图像处理的隧道施工监测装置的功能模块示意图；

图5为本发明实施例提供的用于实现上述的基于图像处理的隧道施工监测方法的计算机设备的结构框架示意图。

具体实施方式

下面结合说明书附图对本发明进行具体说明，方法实施例中的具体操作方法也可以应用于装置实施例或系统实施例中。

在介绍本实施例提供的具体解决方案之前，先对该具体解决方案适用的隧道施工监测系统的应用场景进行介绍，请参照图1，在本实施例中，隧道施工监测系统包括通信连接的计算机设备10及图像采集设备20，图像采集设备20可以采集隧道的进口和出口视频图像及隧道中各施工区域的视频图像，并将上述视频图像发送给计算机设备10，由计算机设备10基于上述视频图像判定隧道中施工人员流动情况进行分析处理。图像采集设备20包括图像采集方向可调整的摄像头。

下面结合图1所示的应用场景对本申请实施例提供的基于图像处理的隧道施工监测方法进行示例性说明。请参阅图2，本申请实施例提供的基于图像处理的隧道施工监测方法可以由前述的计算机设备10执行，在其它实施例中，本申请实施例的基于图像处理的隧道施工监测方法中的部分步骤的顺序可以根据实际需要相互交换，或者其中的部分步骤也可以省略或删除，该计算机设备10执行的基于图像处理的隧道施工监测方法的详细步骤介绍如下。

步骤S10，对图像采集设备20采集的视频图像信息进行分析，得到进出隧道的施工人员信息和隧道的各个施工区域中施工人员的流动信息。

在本实施例中，计算机设备10通过对设置在隧道不同位置处的视频图像信息进行分析得到进入隧道的施工人员信息，其中，施工人员信息可以包括施工人员的身体特征信息（比如，面部特征信息）及着装信息（比如，头部防护帽信息和躯体防护服信息）。施工人员的流动信息包括基于施工人员信息确定的施工人员在不同时刻在隧道中的位置信息，其中，施工人员的位置信息可以基于不连续拍摄区域（拍摄时间）拍摄该施工人员的位置信息拟合得到该施工人员在任意时刻的位置信息，如此可以解决拍摄盲区处施工人员的位置信息确定。

步骤S20，基于隧道的施工人员信息识别对应施工人员的工种属性。

在本实施例中，工种属性表征隧道中的不同工作分类，比如包括挖掘施工人员、运输施工人员、勘测施工人员及爆破施工人员等等。不同施工人员配备不同的头部防护帽和躯体防护服。可以通过识别施工人员信息中的头部防护帽信息和躯体防护服信息确定施工人员的工种属性。

步骤S30，根据施工人员的工种属性及隧道的各个施工区域中施工人员的流动信息创建出不同工种属性的施工人员在隧道中流动的矢量流动热力图。

在本实施例中，矢量流动热力图包括不同时刻下施工人员在隧道中的位置、施工人员运动方向及运动速度。

步骤S40，对不同工种属性的施工人员在隧道中流动的矢量流动热力图进行分析，判断矢量流动热力图是否异常，在矢量流动热力图异常时通过调整图像采集设备的图像采集方向获取异常地点的目标视频图像信息。

步骤S50，对异常地点的目标视频图像信息进行人体行为检测分析，并基于分析得到的人体行为判定隧道的施工环境是否存在施工隐患。

上述提供的技术方案，首先，得到进出隧道的施工人员信息和隧道的各个施工区域中施工人员的流动信息；接着，基于隧道的施工人员信息识别对应施工人员的工种属性，并根据施工人员的工种属性及隧道的各个施工区域中施工人员的流动信息创建出不同工种属性的施工人员在隧道中流动的矢量流动热力图；然后，在矢量流动热力图异常时通过调整图像采集设备的图像采集方向获取异常地点的目标视频图像信息；最后，对异常地点的目标视频图像信息进行人体行为检测分析，并基于分析得到的人体行为判定隧道的施工环境是否存在施工隐患。上述方式可以通过对不同工种属性的施工人员在隧道中的异常流动进行监控确定施工隐患，从而及时发现施工隐患，确保隧道安全施工。

进一步地，请参照图3，本实施例中的步骤S10可以通过以下方式实现。

步骤S101，通过图像采集设备20对隧道进行图像采集，获取隧道的视频图像信息。

在本实施例中，视频图像信息包括施工人员特征信息和隧道背景特征信息。

步骤S102，基于训练好的人体轮廓检测规则在视频图像信息中进行检测，确定出视频图像信息中的施工人员。

步骤S103，基于施工人员在视频图像信息中的位置区域，确定施工人员的头部在视频图像信息中的头部位置子区域和施工人员的躯体在视频图像信息中的躯体位置子区域。

在本实施例中，步骤S103可以通过以下方式实现。

首先，对视频图像信息中的施工人员进行轮廓区域确定，得到施工人员在视频图像信息中的位置区域。

对步骤S102中得到施工人员的轮廓区域进行确定，得到施工人员在视频图像信息中的位置区域。

接着，基于位置区域，修正拟合得到施工人员的人形躯体模型区域。

然后，将人形躯体模型区域中颈部以上的区域，作为头部位置子区域，将人形躯体模型区域中颈部以下的区域，作为躯体位置子区域。

步骤S104，基于头部位置子区域、躯体位置子区域、隧道背景特征信息和训练好的图像曝光参数，对曝光处理后的视频图像信息进行检测得到头部位置子区域对应的头部防护帽信息和躯体位置子区域对应的躯体防护服信息，图像曝光参数用于将因所述隧道的亮度不够而导致的画面模糊变得清晰。

在本实施例中，步骤S104可以通过以下方式实现。

首先，基于图像曝光参数和头部位置子区域，得到曝光调整后的头部位置子区域。

接着，基于图像曝光参数和躯体位置子区域，得到曝光调整后的躯体位置子区域。

再接着，基于视频图像信息中的隧道背景特征信息，确定与头部位置子区域对应的第一背景灰阶信息和与躯体位置子区域对应的第二背景灰阶信息。

其中，第一背景灰阶信息为头部防护帽信息中的背景灰阶亮度，第二背景灰阶信息为躯体防护服信息中的背景灰阶亮度。

然后，将第一背景灰阶信息和曝光调整后的头部位置子区域输入训练好的穿戴物品识别网络，得到头部防护帽信息。

最后，将第二背景灰阶信息、曝光调整后的躯体位置子区域输入训练好的穿戴物品识别网络，得到躯体防护服信息。

步骤S105，基于头部防护帽信息和躯体防护服信息，确定施工人员的人员信息。

步骤S106，并基于各施工人员的人员信息，得到所述隧道的各个施工区域中施工人员的流动信息。

其中，所述流动信息包括所述施工人员在不同时刻的位置信息。

进一步地，在本实施例中，步骤S30可以通过以下方式实现。

首先，从隧道的各个施工区域中施工人员的流动信息中确定出各个施工人员在不同时刻的位置信息。

接着，基于施工人员的工种属性以及各个施工人员在不同时刻的位置信息创建出不同工种属性的施工人员在隧道中流动的矢量流动热力图。

基于同一施工人员在不同时刻的位置信息可以确定出施工人员的运动方向及运动速度，由施工人员在不同时刻的位置信息、运动方向及运动速度构建施工人员在隧道中流动的矢量流动热力图。

进一步地，在本实施例中，步骤S40可以通过以下方式实现。

首先，获取隧道中各施工区域的当前施工类型。

接着，基于各所述施工区域的当前施工类型获取预先配置的该施工类型对应的施工人员配置信息。

其中，所述施工人员配置信息包括不同工种属性的施工人员的组合配置信息。在本不同的施工类型下所需不同工种属性的施工人员不同，比如，在勘探阶段，只需要勘探施工人员和少量爆破施工人员。

再接着，基于不同工种属性的施工人员在隧道中流动的矢量流动热力图确定出各施工区域中具有的不同工种属性的施工人员的实际组合信息。

具体地，根据矢量流动热力图中施工人员的运动方向和运动速度判定施工人员是否远离施工区域，将远离的施工人员从施工区域的施工人员中减去得到施工区域中具有的不同工种属性的施工人员的实际组合信息。

然后，将施工区域的不同工种属性的施工人员的实际组合信息与该施工区域的施工人员配置信息进行匹配。

最后，在实际组合信息和施工人员配置信息不匹配时，判定矢量流动热力图存在异常，调整异常地点附近的多个图像采集设备的图像采集方向并获取异常地点的多个目标视频图像信息。

在本实施例中，将实际组合信息中的各工种属性的施工人员数量与施工人员配置信息中各工种属性的施工人员数量进行比较，在人数差异小于施工人员配置信息中对应各工种属性的施工人员数量的预设百分比时，判定实际组合信息和施工人员配置信息匹配，反之，判定实际组合信息和施工人员配置信息不匹配。

进一步地，在本实施例中，步骤S50可以通过以下方式实现。

首先，基于多个目标视频图像信息生成异常地点的全景视频图像。

接着，将全景视频图像输入训练好的隧道施工行为安全检测模型中进检测，得到全景视频图像中的各施工人员的人体行为，并基于各施工人员的人体行为判定隧道的施工环境是否存在施工隐患。

示例性地，在隧道施工环境中可能存在可燃气体时，在检测到的人体行为为吸烟行为，可以判定隧道的施工环境存在施工隐患。

在本实施例中，在步骤S50之前，本实施例提供的基于图像处理的隧道施工监测方法还可以包括训练隧道施工行为安全检测模型的步骤，该步骤可以通过以下方式实现。

构建训练隧道施工行为安全检测模型，所述隧道施工行为安全检测模型包括行为检测子模型和安全判定子模型。

在本实施例中，所述检测子模型和所述安全判定子模型包括神经网络模型。

构建训练样本集，所述训练样本集包括标注标签的隧道全景视频图像样本，所述标签包括人体行为标签和施工隐患标签。

将所述隧道全景视频图像样本输入到构建的隧道施工行为安全检测模型进行训练，得到预测的人体行为和预测的施工隐患。

基于预测的人体行为、预测的施工隐患、人体行为标签及施工隐患标签计算模型损失函数值，在所述模型损失函数值大于或等于预设的模型损失函数阈值时，调整所述行为检测子模型和所述安全判定子模型中的模型参数，并重新输入所述隧道全景视频图像样本进行训练，直到所述模型损失函数值小于预设的模型损失函数阈值，得到训练好的隧道施工行为安全检测模型。

在本实施例中，构建训练隧道施工行为安全检测模型和构建训练样本集的步骤可以同时进行，也可以先后进行，两个步骤之间无明确的先后顺序。

在本实施例中，隧道施工监测系统中还包括设置在隧道的扬声器，所述扬声器与所述计算机设备10通信连接，在判定所述隧道的施工环境存在施工隐患时，本实施例提供的基于图像处理的隧道施工监测方法还包括：

对所述隧道存在的施工隐患进行识别。

在识别到的施工隐患需要施工人员撤离时，基于当前所述隧道的通行情况，通过所述扬声器语音提醒不同施工区域的施工人员按照指定的撤离路线从所述隧道撤离。

请参照图4，图4为本实施例提供的基于图像处理的隧道施工监测装置100的功能模块示意图，本实施例可以根据上述方法实施例对该基于图像处理的隧道施工监测装置100进行功能模块的划分，也即该基于图像处理的隧道施工监测装置100所对应的以下各个功能模块可以用于执行上述的各个方法实施例。其中，该基于图像处理的隧道施工监测装置100可以包括第一分析模块110、识别模块120、创建模块130、第二分析模块140及判定模块150，下面分别对该基于图像处理的隧道施工监测装置100的各个功能模块的功能进行详细阐述。

第一分析模块110，对图像采集设备20采集的视频图像信息进行分析，得到进出隧道的施工人员信息和隧道的各个施工区域中施工人员的流动信息。

在本实施例中，第一分析模块110通过对设置在隧道不同位置处的视频图像信息进行分析得到进入隧道的施工人员信息，其中，施工人员信息可以包括施工人员的身体特征信息（比如，面部特征信息）及着装信息（比如，头部防护帽信息和躯体防护服信息）。施工人员的流动信息包括基于施工人员信息确定的施工人员在不同时刻在隧道中的位置信息，其中，施工人员的位置信息可以基于不连续拍摄区域（拍摄时间）拍摄该施工人员的位置信息拟合得到该施工人员在任意时刻的位置信息，如此可以解决拍摄盲区处施工人员的位置信息确定。

第一分析模块110可以用于执行上述的步骤S10，关于第一分析模块110的详细实现方式可以参照上述针对步骤S10的详细描述即可。

识别模块120，用于基于隧道的施工人员信息识别对应施工人员的工种属性。

在本实施例中，工种属性表征隧道中的不同工作分类，比如包括挖掘施工人员、运输施工人员、勘测施工人员及爆破施工人员等等。不同施工人员配备不同的头部防护帽和躯体防护服。可以通过识别施工人员信息中的头部防护帽信息和躯体防护服信息确定施工人员的工种属性。

其中，识别模块120可以用于执行上述的步骤S20，关于识别模块120的详细实现方式可以参照上述针对步骤S20的详细描述即可。

创建模块130，用于根据施工人员的工种属性及隧道的各个施工区域中施工人员的流动信息创建出不同工种属性的施工人员在隧道中流动的矢量流动热力图。

在本实施例中，矢量流动热力图包括不同时刻下施工人员在隧道中的位置、施工人员运动方向及运动速度。

创建模块130执行上述的步骤S30，关于创建模块130的详细实现方式可以参照上述针对步骤S30的详细描述即可。

第二分析模块140，用于对不同工种属性的施工人员在隧道中流动的矢量流动热力图进行分析，判断矢量流动热力图是否异常，在矢量流动热力图异常时通过调整图像采集设备的图像采集方向获取异常地点的目标视频图像信息。

其中，第二分析模块140可以用于执行上述的步骤S40，关于第二分析模块140的详细实现方式可以参照上述针对步骤S40的详细描述即可。

判定模块150，用于对异常地点的目标视频图像信息进行人体行为检测分析，并基于分析得到的人体行为判定隧道的施工环境是否存在施工隐患。

其中， 判定模块150可以用于执行上述的步骤S50，关于判定模块150的详细实现方式可以参照上述针对步骤S50的详细描述即可。

需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件（比如，开源软件）通过处理元件调用的形式实现。也可以全部以硬件的形式实现。还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，第一分析模块110可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上第一分析模块110的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所描述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

请参照图5，图5示出了本公开实施例提供的用于实现上述的基于图像处理的隧道施工监测方法的计算机设备10的硬件结构示意图，计算机设备10可以在云端服务器上实现。如图5所示，计算机设备10可包括处理器101、可读存储介质102、总线103以及通信接口104。

在具体实现过程中，至少一个处理器101执行可读存储介质102存储的计算机执行指令（例如图4中所示的模块），使得处理器101可以执行如上方法实施例的基于图像处理的隧道施工监测方法，其中，处理器101、可读存储介质102以及通信接口104通过总线103连接，处理器101可以用于控制通信接口104的收发动作。

处理器101的具体实现过程可参见上述计算机设备10执行的各个方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。

可读存储介质102可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器。

总线103可以分为地址总线、数据总线、控制总线等。为便于表示，本发明附图中的总线并不限定仅有一根总线或一种类型的总线。

此外，本发明实施例还提供一种可读存储介质，所述可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上基于图像处理的隧道施工监测方法。

综上所述，本发明实施例提供的技术方案，首先，得到进出隧道的施工人员信息和隧道的各个施工区域中施工人员的流动信息；接着，基于隧道的施工人员信息识别对应施工人员的工种属性，并根据施工人员的工种属性及隧道的各个施工区域中施工人员的流动信息创建出不同工种属性的施工人员在隧道中流动的矢量流动热力图；然后，在矢量流动热力图异常时通过调整图像采集设备的图像采集方向获取异常地点的目标视频图像信息；最后，对异常地点的目标视频图像信息进行人体行为检测分析，并基于分析得到的人体行为判定隧道的施工环境是否存在施工隐患。上述方式可以通过对不同工种属性的施工人员在隧道中的异常流动进行监控确定施工隐患，从而及时发现施工隐患，确保隧道安全施工。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的次序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定次序或者连续次序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

Claims (10)

1.一种基于图像处理的隧道施工监测方法，其特征在于，应用于隧道施工监测系统中的计算机设备，所述隧道施工监测系统还包括与所述计算机设备通信连接的图像采集设备，所述图像采集设备至少设置在隧道的进出口及所述隧道的各个施工区域，所述图像采集设备的图像采集方向可调整，所述方法包括：

对所述图像采集设备采集的视频图像信息进行分析，得到进出所述隧道的施工人员信息和所述隧道的各个施工区域中施工人员的流动信息；

基于所述隧道的施工人员信息识别对应施工人员的工种属性；

根据施工人员的工种属性及所述隧道的各个施工区域中施工人员的流动信息创建出不同工种属性的施工人员在所述隧道中流动的矢量流动热力图，其中，所述矢量流动热力图包括不同时刻下施工人员在所述隧道中的位置、运动方向及运动速度；

对所述不同工种属性的施工人员在所述隧道中流动的矢量流动热力图进行分析，判断所述矢量流动热力图是否异常，在所述矢量流动热力图异常时通过调整所述图像采集设备的图像采集方向获取异常地点的目标视频图像信息；

对所述异常地点的目标视频图像信息进行人体行为检测分析，并基于分析得到的人体行为判定所述隧道的施工环境是否存在施工隐患。

2.如权利要求1所述的基于图像处理的隧道施工监测方法，其特征在于，所述对所述图像采集设备采集的视频图像信息进行分析，得到进出所述隧道的施工人员信息和所述隧道的各个施工区域中施工人员的流动信息的步骤，包括：

通过图像采集设备对隧道进行图像采集，获取所述隧道的视频图像信息，其中，所述视频图像信息包括施工人员特征信息和隧道背景特征信息；

基于训练好的人体轮廓检测规则在所述视频图像信息中进行检测，确定出所述视频图像信息中的施工人员；

基于所述施工人员在所述视频图像信息中的位置区域，确定所述施工人员的头部在所述视频图像信息中的头部位置子区域和所述施工人员的躯体在所述视频图像信息中的躯体位置子区域；

基于所述头部位置子区域、所述躯体位置子区域、所述隧道背景特征信息和训练好的图像曝光参数，对曝光处理后的视频图像信息进行检测得到所述头部位置子区域对应的头部防护帽信息和所述躯体位置子区域对应的躯体防护服信息，所述图像曝光参数用于将因所述隧道的亮度不够而导致的画面模糊变得清晰；

基于所述头部防护帽信息和所述躯体防护服信息，确定所述施工人员的人员信息；

并基于各所述施工人员的人员信息，得到所述隧道的各个施工区域中施工人员的流动信息，其中，所述流动信息包括所述施工人员在不同时刻的位置信息。

3.如权利要求2所述的基于图像处理的隧道施工监测方法，其特征在于，所述基于所述施工人员在所述视频图像信息中的位置区域，确定所述施工人员的头部在所述视频图像信息中的头部位置子区域和所述施工人员的躯体在所述视频图像信息中的躯体位置子区域的步骤，包括：

对所述视频图像信息中的所述施工人员进行轮廓区域确定，得到所述施工人员在所述视频图像信息中的位置区域；

基于所述位置区域，修正拟合得到所述施工人员的人形躯体模型区域；

将所述人形躯体模型区域中颈部以上的区域，作为所述头部位置子区域，将所述人形躯体模型区域中颈部以下的区域，作为所述躯体位置子区域。

4.如权利要求3所述的基于图像处理的隧道施工监测方法，其特征在于，所述基于所述头部位置子区域、所述躯体位置子区域、所述隧道背景特征信息和训练好的图像曝光参数，对曝光处理后的视频图像信息进行检测得到所述头部位置子区域对应的头部防护帽信息和所述躯体位置子区域对应的躯体防护服信息的步骤，包括：

基于所述图像曝光参数和所述头部位置子区域，得到曝光调整后的头部位置子区域；

基于所述图像曝光参数和所述躯体位置子区域，得到曝光调整后的躯体位置子区域；

基于所述视频图像信息中的所述隧道背景特征信息，确定与所述头部位置子区域对应的第一背景灰阶信息和与所述躯体位置子区域对应的第二背景灰阶信息，其中，所述第一背景灰阶信息为所述头部防护帽信息中的背景灰阶亮度，所述第二背景灰阶信息为所述躯体防护服信息中的背景灰阶亮度；

将所述第一背景灰阶信息和所述曝光调整后的头部位置子区域输入训练好的穿戴物品识别网络，得到所述头部防护帽信息；

将所述第二背景灰阶信息、所述曝光调整后的躯体位置子区域输入所述训练好的穿戴物品识别网络，得到所述躯体防护服信息。

5.如权利要求1所述的基于图像处理的隧道施工监测方法，其特征在于，所述根据施工人员的工种属性及所述隧道的各个施工区域中施工人员的流动信息创建出不同工种属性的施工人员在所述隧道中流动的矢量流动热力图的步骤，包括：

从所述隧道的各个施工区域中施工人员的流动信息中确定出各个施工人员在不同时刻的位置信息；

基于所述施工人员的工种属性以及各个施工人员在不同时刻的位置信息创建出不同工种属性的施工人员在所述隧道中流动的矢量流动热力图。

6.如权利要求1所述的基于图像处理的隧道施工监测方法，其特征在于，所述对所述不同工种属性的施工人员在所述隧道中流动的矢量流动热力图进行分析，判断所述矢量流动热力图是否异常，在所述矢量流动热力图异常时通过调整所述图像采集设备的图像采集方向获取异常地点的视频图像信息的步骤，包括：

获取所述隧道中各施工区域的当前施工类型；

基于各所述施工区域的当前施工类型获取预先配置的该施工类型对应的施工人员配置信息，其中，所述施工人员配置信息包括不同工种属性的施工人员的组合配置信息；

基于所述不同工种属性的施工人员在所述隧道中流动的矢量流动热力图确定出各所述施工区域中具有的不同工种属性的施工人员的实际组合信息；

将所述施工区域的不同工种属性的施工人员的实际组合信息与该施工区域的施工人员配置信息进行匹配；

在所述实际组合信息和所述施工人员配置信息不匹配时，判定所述矢量流动热力图存在异常，调整异常地点附近的多个图像采集设备的图像采集方向并获取异常地点的多个目标视频图像信息。

7.如权利要求6所述的基于图像处理的隧道施工监测方法，其特征在于，所述对所述异常地点的目标视频图像信息进行人体行为检测分析，并基于分析得到的人体行为判定所述隧道的施工环境是否存在施工隐患的步骤，包括：

基于所述多个目标视频图像信息生成所述异常地点的全景视频图像；

将所述全景视频图像输入训练好的隧道施工行为安全检测模型中进检测，得到所述全景视频图像中的各施工人员的人体行为，并基于所述各施工人员的人体行为判定所述隧道的施工环境是否存在施工隐患。

8.如权利要求7所述的基于图像处理的隧道施工监测方法，其特征在于，在所述将所述全景视频图像输入训练好的隧道施工行为安全检测模型中进检测，得到所述全景视频图像中的各施工人员的人体行为，并基于所述各施工人员的人体行为判定所述隧道的施工环境是否存在施工隐患的步骤之前，所述方法还包括训练隧道施工行为安全检测模型的步骤：

构建训练隧道施工行为安全检测模型，所述隧道施工行为安全检测模型包括行为检测子模型和安全判定子模型，其中，所述检测子模型和所述安全判定子模型包括神经网络模型；

构建训练样本集，所述训练样本集包括标注标签的隧道全景视频图像样本，所述标签包括人体行为标签和施工隐患标签；

将所述隧道全景视频图像样本输入到构建的隧道施工行为安全检测模型进行训练，得到预测的人体行为和预测的施工隐患；

基于预测的人体行为、预测的施工隐患、人体行为标签及施工隐患标签计算模型损失函数值，在所述模型损失函数值大于或等于预设的模型损失函数阈值时，调整所述行为检测子模型和所述安全判定子模型中的模型参数，并重新输入所述隧道全景视频图像样本进行训练，直到所述模型损失函数值小于预设的模型损失函数阈值，得到训练好的隧道施工行为安全检测模型；

所述隧道施工监测系统中还包括设置在隧道的扬声器，所述扬声器与所述计算机设备通信连接，在判定所述隧道的施工环境存在施工隐患时，所述方法还包括：

对所述隧道存在的施工隐患进行识别；

在识别到的施工隐患需要施工人员撤离时，基于当前所述隧道的通行情况，通过所述扬声器语音提醒不同施工区域的施工人员按照指定的撤离路线从所述隧道撤离。

9.一种基于图像处理的隧道施工监测装置，其特征在于，应用于隧道施工监测系统中的计算机设备，所述隧道施工监测系统还包括与所述计算机设备通信连接的图像采集设备，所述图像采集设备至少设置在隧道的进出口及所述隧道的各个施工区域，所述图像采集设备的图像采集方向可调整，所述装置包括：

第一分析模块，用于对所述图像采集设备采集的视频图像信息进行分析，得到进出所述隧道的施工人员信息和所述隧道的各个施工区域中施工人员的流动信息；

识别模块，用于基于所述隧道的施工人员信息识别对应施工人员的工种属性；

创建模块，用于根据施工人员的工种属性及所述隧道的各个施工区域中施工人员的流动信息创建出不同工种属性的施工人员在所述隧道中流动的矢量流动热力图，其中，所述矢量流动热力图包括不同时刻下施工人员在所述隧道中的位置、运动方向及运动速度；

第二分析模块，用于对所述不同工种属性的施工人员在所述隧道中流动的矢量流动热力图进行分析，判断所述矢量流动热力图是否异常，在所述矢量流动热力图异常时通过调整所述图像采集设备的图像采集方向获取异常地点的目标视频图像信息；

判定模块，对所述异常地点的目标视频图像信息进行人体行为检测分析，并基于分析得到的人体行为判定所述隧道的施工环境是否存在施工隐患。

10.一种可读存储介质，其特征在于，所述可读存储介质中存储有指令，当其被执行时，使得计算机设备执行权利要求1-8中任意一项中所述的基于图像处理的隧道施工监测方法。