CN117804526A - 基于巡检机器人的地下管廊环境检测系统及方法 - Google Patents

Abstract

本发明公开了一种基于巡检机器人的地下管廊环境检测系统及方法，其通过巡检机器人来对地下管廊的环境进行检测和预警。具体来说，通过在巡检机器人上配备各种传感器，如DHT11温湿度传感器、MQ‑7一氧化碳传感器、ZE08‑CH20甲醛传感器等来实时监测地下管廊内的环境数据，包括温湿度、一氧化碳浓度和甲醛浓度等，并且，在巡检机器人上设置有红外成像仪来实时监测地下管廊内的红外热分布情况，以此来为火灾预警提供可靠的依据，以便于及时发现地下管廊内潜在的安全问题。这样，能够通过巡检机器人实时监测地下管廊内的环境情况，提高了环境异常检测的准确性和可靠性，并能够及时发现潜在的安全隐患，为地下管廊的运行和维护提供有力支持。

Description

基于巡检机器人的地下管廊环境检测系统及方法

技术领域

本发明涉及智能化环境检测技术领域，尤其涉及一种基于巡检机器人的地下管廊环境检测系统及方法。

背景技术

地下管廊是城市基础设施中重要的组成部分，用于承载各种管线，如电力、通信、给水、排水和供气等。然而，由于地下环境复杂、通风不良等因素，地下管廊存在一定的安全隐患，如温度过高、湿度过大、气体泄漏等问题，甚至可能引发火灾等严重事故。

地下管廊的安全性直接关系到城市的正常运转和居民的生活质量。但是，由于地下管廊的封闭性、复杂性和隐蔽性，导致其环境监测和火灾预警面临着很大的挑战。传统的人工巡检方式效率低下，费用高昂，而且存在一定的安全隐患。因此，利用机器人进行地下管廊的巡检和环境检测具有重要的意义和价值。

因此，期望一种基于巡检机器人的地下管廊环境检测系统。

发明内容

本发明实施例提供一种基于巡检机器人的地下管廊环境检测系统及方法，其通过巡检机器人来对地下管廊的环境进行检测和预警。具体来说，通过在巡检机器人上配备各种传感器，如 DHT11 温湿度传感器、MQ-7 一氧化碳传感器、ZE08-CH20 甲醛传感器等来实时监测地下管廊内的环境数据，包括温湿度、一氧化碳浓度和甲醛浓度等，并且，在巡检机器人上设置有红外成像仪来实时监测地下管廊内的红外热分布情况，以此来为火灾预警提供可靠的依据，以便于及时发现地下管廊内潜在的安全问题。这样，能够通过巡检机器人实时监测地下管廊内的环境情况，提高了环境异常检测的准确性和可靠性，并能够及时发现潜在的安全隐患，为地下管廊的运行和维护提供有力支持。

本发明实施例还提供了一种基于巡检机器人的地下管廊环境检测系统，其包括：

环境数据采集模块，用于获取由部署于巡检机器人的传感器组采集的预定时间段内多个预定时间点的环境监测数据，其中，所述环境监测数据包括温度值、湿度值、一氧化碳值和甲醛值；

红外图像采集模块，用于获取由部署于所述巡检机器人的红外热成像仪采集的在所述多个预定时间点的红外成像检测图像；

环境参数时序排列模块，用于将所述多个预定时间点的环境监测数据按照时间维度和样本维度排列为环境监测参数时序矩阵；

环境参数时序关联分析模块，用于对所述环境监测参数时序矩阵进行局部区域特征分析以得到环境参数局部时序特征向量的序列；

红外图像特征分析模块，用于通过基于深度神经网络模型的红外图像特征提取器分别对所述多个预定时间点的红外成像检测图像进行特征提取以得到红外图像特征向量的序列；

环境参数-红外图像特征交互关联模块，用于对所述环境参数局部时序特征向量的序列和所述红外图像特征向量的序列进行跨模态的注意力融合编码以得到环境参数-红外图像跨模态交互融合特征；

地下管廊环境检测模块，用于基于所述环境参数-红外图像跨模态交互融合特征，确定地下管廊环境是否存在异常。

本发明实施例还提供了一种基于巡检机器人的地下管廊环境检测方法，其包括：

获取由部署于巡检机器人的传感器组采集的预定时间段内多个预定时间点的环境监测数据，其中，所述环境监测数据包括温度值、湿度值、一氧化碳值和甲醛值；

获取由部署于所述巡检机器人的红外热成像仪采集的在所述多个预定时间点的红外成像检测图像；

将所述多个预定时间点的环境监测数据按照时间维度和样本维度排列为环境监测参数时序矩阵；

对所述环境监测参数时序矩阵进行局部区域特征分析以得到环境参数局部时序特征向量的序列；

通过基于深度神经网络模型的红外图像特征提取器分别对所述多个预定时间点的红外成像检测图像进行特征提取以得到红外图像特征向量的序列；

对所述环境参数局部时序特征向量的序列和所述红外图像特征向量的序列进行跨模态的注意力融合编码以得到环境参数-红外图像跨模态交互融合特征；

基于所述环境参数-红外图像跨模态交互融合特征，确定地下管廊环境是否存在异常。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为本发明实施例中提供的一种基于巡检机器人的地下管廊环境检测系统的框图。

图2为本发明实施例中提供的一种地下综合管廊智能巡检机器人的研究的示意图。

图3为本发明实施例中提供的一种基于巡检机器人的地下管廊环境检测方法的流程图。

图4为本发明实施例中提供的一种基于巡检机器人的地下管廊环境检测方法的系统架构的示意图。

图5为本发明实施例中提供的一种基于巡检机器人的地下管廊环境检测系统的应用场景图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

除非另有说明，本申请实施例所使用的所有技术和科学术语与本申请的技术领域的技术人员通常理解的含义相同。本申请中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本申请的范围。

在本申请实施例记载中，需要说明的是，除非另有说明和限定，术语“连接”应做广义理解，例如，可以是电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

需要说明的是，本申请实施例所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换，以使这里描述的本申请的实施例可以除了在这里图示或描述的那些以外的顺序实施。

在本申请中，主要内容包括：

（1）智能机器人巡检系统的技术研究；

（2）地下综合管廊智能巡检机器人的机械结构设计与分析；

（3）地下综合管廊巡检机器人信息采集技术的研究；

（4）地下综合管廊智能机器人巡检及时准确录入管理系统的研究。

在本发明的一个实施例中，图1为本发明实施例中提供的一种基于巡检机器人的地下管廊环境检测系统的框图。如图1所示，根据本发明实施例的基于巡检机器人的地下管廊环境检测系统100，包括：环境数据采集模块110，用于获取由部署于巡检机器人的传感器组采集的预定时间段内多个预定时间点的环境监测数据，其中，所述环境监测数据包括温度值、湿度值、一氧化碳值和甲醛值；红外图像采集模块120，用于获取由部署于所述巡检机器人的红外热成像仪采集的在所述多个预定时间点的红外成像检测图像；环境参数时序排列模块130，用于将所述多个预定时间点的环境监测数据按照时间维度和样本维度排列为环境监测参数时序矩阵；环境参数时序关联分析模块140，用于对所述环境监测参数时序矩阵进行局部区域特征分析以得到环境参数局部时序特征向量的序列；红外图像特征分析模块150，用于通过基于深度神经网络模型的红外图像特征提取器分别对所述多个预定时间点的红外成像检测图像进行特征提取以得到红外图像特征向量的序列；环境参数-红外图像特征交互关联模块160，用于对所述环境参数局部时序特征向量的序列和所述红外图像特征向量的序列进行跨模态的注意力融合编码以得到环境参数-红外图像跨模态交互融合特征；地下管廊环境检测模块170，用于基于所述环境参数-红外图像跨模态交互融合特征，确定地下管廊环境是否存在异常。

针对上述技术问题，本申请的技术构思为通过巡检机器人来对地下管廊的环境进行检测和预警。具体来说，通过在巡检机器人上配备各种传感器，如 DHT11 温湿度传感器、MQ-7 一氧化碳传感器、ZE08-CH20 甲醛传感器等来实时监测地下管廊内的环境数据，包括温湿度、一氧化碳浓度和甲醛浓度等，并且，在巡检机器人上设置有红外成像仪来实时监测地下管廊内的红外热分布情况，以此来为火灾预警提供可靠的依据，以便于及时发现地下管廊内潜在的安全问题。这样，能够通过巡检机器人实时监测地下管廊内的环境情况，提高了环境异常检测的准确性和可靠性，并能够及时发现潜在的安全隐患，为地下管廊的运行和维护提供有力支持。

具体地，在本申请的技术方案中，首先，获取由部署于巡检机器人的传感器组采集的预定时间段内多个预定时间点的环境监测数据，其中，所述环境监测数据包括温度值、湿度值、一氧化碳值和甲醛值；并且，获取由部署于所述巡检机器人的红外热成像仪采集的在所述多个预定时间点的红外成像检测图像。接着，考虑到所述环境监测数据中的各个数据参数不仅都在时间维度上有着时序的动态变化规律，而且所述环境监测数据中的各个数据参数之间还具有着时序的协同关联关系。因此，在本申请的技术方案中，为了能够捕捉并刻画出所述各个数据参数之间的时序协同关联特征，需要将所述多个预定时间点的环境监测数据按照时间维度和样本维度排列为环境监测参数时序矩阵，以此来整合所述环境监测数据中的各个数据参数在时间维度和样本维度上的分布信息。

在地下管廊环境监测中，所述环境监测数据中的各个数据参数的变化通常具有一定的时序性，即相邻时间点的数据参数之间存在相关性。并且，所述各个数据参数之间的时序协同关联特征在特定的样本维度和时间维度上呈现出特定的变化模式和规律，例如温度和湿度在某一时间段内的波动情况等。因此，在本申请的技术方案中，为了能够更为充分地对于所述环境监测数据中的各个数据参数的时序协同关联变化进行分析和特征提取，需要进一步将所述环境监测参数时序矩阵进行矩阵切分以得到环境参数局部时序矩阵的序列。应可以理解，切分后的所述环境参数局部时序矩阵可以有利于后续更好地捕捉到所述环境监测数据中的各个数据参数之间的局部时序协同特征，例如温度的变化趋势、湿度的波动等，这些局部时序特征对于判断地下管廊环境是否存在异常非常重要。

继而，再将所述环境参数局部时序矩阵的序列分别通过基于卷积神经网络模型的环境参数局部时序特征提取器中进行特征挖掘，以分别提取出所述环境监测数据中的各个局部区域的数据参数之间的局部时序协同关联特征分布信息，从而得到环境参数局部时序特征向量的序列。

然后，为了能够更好地理解所述红外成像检测图像中的热分布语义信息，在本申请的技术方案中，需要将所述多个预定时间点的红外成像检测图像通过基于卷积神经网络模型的红外图像特征提取器中进行特征挖掘，以分别提取出所述各个预定时间点的红外成像检测图像中关于地下管廊内的热分布特征信息，从而得到红外图像特征向量的序列。

在本申请的一个具体实施例中，所述环境参数时序关联分析模块，包括：环境参数时序矩阵切分单元，用于将所述环境监测参数时序矩阵进行矩阵切分以得到环境参数局部时序矩阵的序列；环境参数局部时序特征提取单元，用于将所述环境参数局部时序矩阵的序列分别通过基于卷积神经网络模型的环境参数局部时序特征提取器以得到所述环境参数局部时序特征向量的序列。

其中，所述深度神经网络模型为卷积神经网络模型。

在地下管廊环境检测系统中，环境参数和红外图像是两种不同的数据模态，分别反映了地下管廊的物理环境和热分布情况。这两种模态的数据具有互补性，通过将它们进行跨模态融合，可以综合利用它们的信息，提高地下管廊环境异常检测的准确性和鲁棒性。因此，在本申请的技术方案中，进一步将所述环境参数局部时序特征向量的序列和所述红外图像特征向量的序列通过基于门机制注意力模型的跨模态融合模块以得到环境参数-红外图像跨模态交互融合特征向量。应可以理解，通过使用所述基于门机制注意力模型的跨模态融合模块可以学习到环境参数时序协同特征和红外图像特征之间的相关性和权重分配，该模块通过计算注意力权重，可以自适应地选择环境参数局部时序特征向量和红外图像特征向量的重要程度。这样，较重要的特征向量将得到更高的权重，从而更大程度地影响最终的特征表示。也就是说，通过跨模态融合，所述环境参数-红外图像跨模态交互融合特征向量综合了环境参数和红外图像的信息，具有更全面、更丰富的特征表示能力。

在本申请的一个具体实施例中，所述环境参数-红外图像特征交互关联模块，用于：将所述环境参数局部时序特征向量的序列和所述红外图像特征向量的序列通过基于门机制注意力模型的跨模态融合模块以得到环境参数-红外图像跨模态交互融合特征向量作为所述环境参数-红外图像跨模态交互融合特征。

进一步地，考虑到在地下管廊环境检测系统中，通过巡检机器人采集的环境参数和红外图像数据经过特征提取和跨模态融合后，得到了具有更丰富信息的特征向量，该特征向量包含了地下管廊环境的多个方面，如温湿度、气体浓度、热分布等。因此，再将所述环境参数-红外图像跨模态交互融合特征向量通过分类器以得到分类结果，所述分类结果用于表示地下管廊环境是否存在异常。特别地，若所述分类结果为正常，说明地下管廊环境处于正常状态，没有发现异常情况。而如果分类结果为异常，就意味着地下管廊环境存在异常情况，可能出现温度过高、湿度异常、气体泄漏或火灾等问题，此时能够及时发现潜在的安全隐患，为地下管廊的运行和维护提供有力支持。

在本申请的一个具体实施例中，所述地下管廊环境检测模块，用于：将所述环境参数-红外图像跨模态交互融合特征向量通过分类器以得到分类结果，所述分类结果用于表示地下管廊环境是否存在异常。

在本申请的一个实施例中，所述基于巡检机器人的地下管廊环境检测系统，还包括用于对所述基于卷积神经网络模型的环境参数局部时序特征提取器、所述基于卷积神经网络模型的红外图像特征提取器、所述基于门机制注意力模型的跨模态融合模块和所述分类器进行训练的训练模块。所述训练模块，包括：训练环境数据采集单元，用于获取由部署于巡检机器人的传感器组采集的预定时间段内多个预定时间点的训练环境监测数据，其中，所述训练环境监测数据包括训练温度值、训练湿度值、训练一氧化碳值和训练甲醛值，以及，地下管廊环境是否存在异常的真实值；训练红外图像采集单元，用于获取由部署于所述巡检机器人的红外热成像仪采集的在所述多个预定时间点的训练红外成像检测图像；训练环境参数时序排列单元，用于将所述多个预定时间点的训练环境监测数据按照时间维度和样本维度排列为训练环境监测参数时序矩阵；训练环境参数时序关联分析单元，用于对所述训练环境监测参数时序矩阵进行局部区域特征分析以得到训练环境参数局部时序特征向量的序列；训练红外图像特征分析单元，用于通过基于深度神经网络模型的红外图像特征提取器分别对所述多个预定时间点的训练红外成像检测图像进行特征提取以得到训练红外图像特征向量的序列；训练环境参数-红外图像特征交互关联单元，用于：将所述训练环境参数局部时序特征向量的序列和所述训练红外图像特征向量的序列通过基于门机制注意力模型的跨模态融合模块以得到训练环境参数-红外图像跨模态交互融合特征向量；训练分类单元，用于：将所述训练环境参数-红外图像跨模态交互融合特征向量通过分类器以得到分类损失函数值；预定损失函数计算单元，用于计算所述训练环境参数局部时序特征向量的序列和所述训练红外图像特征向量的序列的预定损失函数值；训练单元，用于计算所述分类损失函数值和所述预定损失函数值的加权和作为损失函数值来对所述基于卷积神经网络模型的环境参数局部时序特征提取器、所述基于卷积神经网络模型的红外图像特征提取器、所述基于门机制注意力模型的跨模态融合模块和所述分类器进行训练。

在本申请的一个具体实施例中，所述训练分类单元，用于：使用所述分类器以如下训练分类公式对所述训练环境参数-红外图像跨模态交互融合特征向量进行处理以生成训练分类结果，其中，所述训练分类公式为：，其中/>表示所述训练环境参数-红外图像跨模态交互融合特征向量，/>至/>为权重矩阵，/>至/>表示偏置矩阵；以及，计算所述训练分类结果与真实值之间的交叉熵值作为所述分类损失函数值。

特别地，在本申请的技术方案中，所述训练环境参数局部时序特征向量的序列表达所述训练环境监测数据的局部时域-样本关联域内的时序-样本交叉维度局部关联特征，而所述训练红外图像特征向量的序列表达所述多个预定时间点的训练红外成像检测图像的图像语义特征，由此，在通过基于门机制注意力模型的跨模态融合模块来对所述训练环境参数局部时序特征向量的序列和所述训练红外图像特征向量的序列进行融合时，需要重点考虑所述训练环境参数局部时序特征向量的序列和所述训练红外图像特征向量的序列的关键跨模态特征在不同时序相关维度分布下的跨模态特征共享性。

也就是，考虑到在不同模态下的训练环境监测数据交叉维度特征和图像语义特征的不同时序相关维度分布角度下，所述训练环境参数局部时序特征向量的序列和所述训练红外图像特征向量的序列之间具有关键关联特征的跨模态特征共享性，由此，为了避免在基于门机制注意力模型的跨模态融合下的跨模态语义特征基于不同时序相关维度的共享分布稀疏化，本申请的申请人针对所述训练环境参数局部时序特征向量的序列和所述训练红外图像特征向量的序列引入预定损失函数，表示为：以如下优化公式计算所述训练环境参数局部时序特征向量的序列和所述训练红外图像特征向量的序列的预定损失函数值；其中，所述优化公式为：其中，/>是所述训练环境参数局部时序特征向量的序列级联得到的第一级联特征向量，且/>是所述训练红外图像特征向量的序列级联得到的第二级联特征向量，/>和/>分别是特征向量的1范数和2范数，/>是界阈值超参数，且特征向量均为行向量形式，/>是预定损失函数值，/>是所述第二级联特征向量的转置向量，/>表示按位置减法，/>表示向量相乘。

具体地，所述训练环境参数局部时序特征向量和所述训练红外图像特征向量之间的共享关键特征的强化可以看作全局特征集合的分布信息压缩，通过在基于所述训练环境参数局部时序特征向量的序列和所述训练红外图像特征向量的序列间的结构表示来重构原始特征流形的相对形状关系的基础上进行关键特征的分布稀疏化控制，可以在强化所述训练环境参数局部时序特征向量的序列和所述训练红外图像特征向量的序列间的共享关键跨模态特征的同时，获得所述训练环境参数-红外图像跨模态交互融合特征向量作为融合特征的稀疏但是有意义的融合流形的几何表示，以提高所述训练环境参数-红外图像跨模态交互融合特征向量对所述训练环境参数局部时序特征向量的序列和所述训练红外图像特征向量的序列的融合表达效果，从而提升所述训练环境参数-红外图像跨模态交互融合特征向量通过分类器得到的分类结果的准确性。这样，能够通过巡检机器人实时监测地下管廊内的环境和火灾情况，以此能够及时发现潜在的安全隐患并进行预警，提高了环境异常检测的准确性和可靠性，为地下管廊的运行和维护提供有力支持。

在本申请的一个实施例中，使用北-GIS-机器视觉定位规划路线。其中，使用北斗-GIS-机器视觉作为定位规划系统，北斗-GIS 提供精准定位并规划路线，使用机器视觉做为辅助系统，机器视觉就是用机器代替人眼来做测量和判断，通过机器视觉，机器人可以自主避开障碍物。

在本申请的一个实施例中，行走装置及转向装置的选择。其中，地下综合管廊存在弯道多、障碍多(防火门等)等特点，智能机器人在管廊内自主巡检时，会经过多种障碍及弯道才能完成整个管廊的巡检工作使用履带式移动方式有助于机器人在管廊内完成各种工作提供了技术支撑。

如图2所示，在本申请的一个实施例中，提供一种地下综合管廊智能巡检机器人的研究，其包括：智能机器人的研究、智能机器人机械结构系统、智能机器人信息采集系统和信息及时准确传递系统。

具体地，在智能机器人检系统的技术研究中，综合管廊，就是地下城市管道综合走廊，即在城市地下建造一个隧道空间，将电力、通信，燃气、供热、给排水等各种工程管线集于一体。地下综合管廊虽然结构较为单一但管廊内有各种设备设施，且属线性工程，人工巡检有较大难度及困难，基于此，公司结合前期研究移动式多功能载物平台的基础上，发散思维，以智能机器人代替人工进行管廊巡检工作。本课题计划采用移动机器人为载体，以可见光摄像机、红外热成像仪等检测仪器为载荷系统,以机器视觉-电磁场-北斗-GIS 的多场景融合作为机器人自动移动和自主巡检的导航系统，从而实现智能机器人自主巡检工作。

在地下综合管廊智能机器人的机械结构设计与分析中，地下管廊短则几公里，长则数十公里，且管廊内部结构复杂，包括多个坡道及转弯处，遇到这种情况，需要机器人能够自主稳定的通过弯道及坡道。此外，管廊内设施多,且布置位置不一，需要机器人具有障碍物检测识别与定位、自主越障等功能。最后，由于机器人巡检工作需要大量精密仪器，所以其稳定行也是必须要考虑的问题。基于此,对机器人的机械结构有很多要求，需要有自主转向系统来让机器人通过弯道，需要有动力系统来支持机器人爬坡，需要有履带式结构协助机器人越障，也需要有避震系统保护机器人所携带的精密仪器。

在地下综合管廊检机器人信息采集术的研究中，机器人巡检过程，首先需要对管廊环境进行检测，包括温湿度、一氧化碳、甲醛等气体进行检测，其次，需要对火灾发出预警信息。基于此，需要在机器人上配备各种传感器，如 DHT11 温湿度传感器、MQ-7 一氧化碳传感器、ZE08-CH20 甲醛传感器等。以及烟雾火灾报警器等。

在地下综合管能机器人及时准确录入管理系统的研究中，由于管廊位于地下，部分区域可能存在信号弱或无信号情况，因此，信息及时准确的传递是必须要考虑的问题，基于此，本项目考虑使用 AP，无线接入点(AP) 是无线局域网的一种典型应用。AP 是 AccessPoint 的简称，就是所谓的“无线访问节点”，无线AP是无线网和有线网之间沟通的桥梁，是组建无线局域网 (WLAN)的核心设备。它主要是提供无线工作站和有线局域网之间的互相访问，这样，在 AP 信号覆盖范围内的无线工作站可以通过它进行相互通信，没有 AP 基本上就无法组建真正意义上可访问Internet的 WLAN。AP在WLAN中就相当于发射基站在移动通信网络中的角色通过AP 对机器人检测的各项数据、图像进行上传，管理人员及时对上传的数据图像进行处理，及时排查各项安全隐患。

综上，基于本发明实施例的基于巡检机器人的地下管廊环境检测系统100被阐明，其能够通过巡检机器人实时监测地下管廊内的环境情况，提高了环境异常检测的准确性和可靠性，并能够及时发现潜在的安全隐患，为地下管廊的运行和维护提供有力支持。

如上所述，根据本发明实施例的基于巡检机器人的地下管廊环境检测系统100可以实现在各种终端设备中，例如用于基于巡检机器人的地下管廊环境检测的服务器等。在一个示例中，根据本发明实施例的基于巡检机器人的地下管廊环境检测系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该基于巡检机器人的地下管廊环境检测系统100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该基于巡检机器人的地下管廊环境检测系统100同样可以是该终端设备的众多硬件模块之一。

替换地，在另一示例中，该基于巡检机器人的地下管廊环境检测系统100与该终端设备也可以是分立的设备，并且该基于巡检机器人的地下管廊环境检测系统100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。

图3为本发明实施例中提供的一种基于巡检机器人的地下管廊环境检测方法的流程图。图4为本发明实施例中提供的一种基于巡检机器人的地下管廊环境检测方法的系统架构的示意图。如图3和图4所示，一种基于巡检机器人的地下管廊环境检测方法，包括：210，获取由部署于巡检机器人的传感器组采集的预定时间段内多个预定时间点的环境监测数据，其中，所述环境监测数据包括温度值、湿度值、一氧化碳值和甲醛值；220，获取由部署于所述巡检机器人的红外热成像仪采集的在所述多个预定时间点的红外成像检测图像；230，将所述多个预定时间点的环境监测数据按照时间维度和样本维度排列为环境监测参数时序矩阵；240，对所述环境监测参数时序矩阵进行局部区域特征分析以得到环境参数局部时序特征向量的序列；250，通过基于深度神经网络模型的红外图像特征提取器分别对所述多个预定时间点的红外成像检测图像进行特征提取以得到红外图像特征向量的序列；260，对所述环境参数局部时序特征向量的序列和所述红外图像特征向量的序列进行跨模态的注意力融合编码以得到环境参数-红外图像跨模态交互融合特征；270，基于所述环境参数-红外图像跨模态交互融合特征，确定地下管廊环境是否存在异常。

在所述基于巡检机器人的地下管廊环境检测方法中，对所述环境监测参数时序矩阵进行局部区域特征分析以得到环境参数局部时序特征向量的序列，包括：将所述环境监测参数时序矩阵进行矩阵切分以得到环境参数局部时序矩阵的序列；将所述环境参数局部时序矩阵的序列分别通过基于卷积神经网络模型的环境参数局部时序特征提取器以得到所述环境参数局部时序特征向量的序列。

本领域技术人员可以理解，上述基于巡检机器人的地下管廊环境检测方法中的各个步骤的具体操作已经在上面参考图1至图2的基于巡检机器人的地下管廊环境检测系统的描述中得到了详细介绍，并因此，将省略其重复描述。

图5为本发明实施例中提供的一种基于巡检机器人的地下管廊环境检测系统的应用场景图。如图5所示，在该应用场景中，首先，获取由部署于巡检机器人的传感器组采集的预定时间段内多个预定时间点的环境监测数据（例如，如图5中所示意的C1），以及，获取由部署于所述巡检机器人的红外热成像仪采集的在所述多个预定时间点的红外成像检测图像（例如，如图5中所示意的C2）；然后，将获取的环境监测数据和红外成像检测图像输入至部署有基于巡检机器人的地下管廊环境检测算法的服务器（例如，如图5中所示意的S）中，其中所述服务器能够基于巡检机器人的地下管廊环境检测算法对所述环境监测数据和所述红外成像检测图像进行处理，以确定地下管廊环境是否存在异常。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于巡检机器人的地下管廊环境检测系统，其特征在于，包括：

环境数据采集模块，用于获取由部署于巡检机器人的传感器组采集的预定时间段内多个预定时间点的环境监测数据，其中，所述环境监测数据包括温度值、湿度值、一氧化碳值和甲醛值；

红外图像采集模块，用于获取由部署于所述巡检机器人的红外热成像仪采集的在所述多个预定时间点的红外成像检测图像；

环境参数时序排列模块，用于将所述多个预定时间点的环境监测数据按照时间维度和样本维度排列为环境监测参数时序矩阵；

环境参数时序关联分析模块，用于对所述环境监测参数时序矩阵进行局部区域特征分析以得到环境参数局部时序特征向量的序列；

红外图像特征分析模块，用于通过基于深度神经网络模型的红外图像特征提取器分别对所述多个预定时间点的红外成像检测图像进行特征提取以得到红外图像特征向量的序列；

环境参数-红外图像特征交互关联模块，用于对所述环境参数局部时序特征向量的序列和所述红外图像特征向量的序列进行跨模态的注意力融合编码以得到环境参数-红外图像跨模态交互融合特征；

地下管廊环境检测模块，用于基于所述环境参数-红外图像跨模态交互融合特征，确定地下管廊环境是否存在异常。

2.根据权利要求1所述的基于巡检机器人的地下管廊环境检测系统，其特征在于，所述环境参数时序关联分析模块，包括：

环境参数时序矩阵切分单元，用于将所述环境监测参数时序矩阵进行矩阵切分以得到环境参数局部时序矩阵的序列；

环境参数局部时序特征提取单元，用于将所述环境参数局部时序矩阵的序列分别通过基于卷积神经网络模型的环境参数局部时序特征提取器以得到所述环境参数局部时序特征向量的序列。

3.根据权利要求2所述的基于巡检机器人的地下管廊环境检测系统，其特征在于，所述深度神经网络模型为卷积神经网络模型。

4.根据权利要求3所述的基于巡检机器人的地下管廊环境检测系统，其特征在于，所述环境参数-红外图像特征交互关联模块，用于：将所述环境参数局部时序特征向量的序列和所述红外图像特征向量的序列通过基于门机制注意力模型的跨模态融合模块以得到环境参数-红外图像跨模态交互融合特征向量作为所述环境参数-红外图像跨模态交互融合特征。

5.根据权利要求4所述的基于巡检机器人的地下管廊环境检测系统，其特征在于，所述地下管廊环境检测模块，用于：将所述环境参数-红外图像跨模态交互融合特征向量通过分类器以得到分类结果，所述分类结果用于表示地下管廊环境是否存在异常。

6.根据权利要求5所述的基于巡检机器人的地下管廊环境检测系统，其特征在于，还包括用于对所述基于卷积神经网络模型的环境参数局部时序特征提取器、所述基于卷积神经网络模型的红外图像特征提取器、所述基于门机制注意力模型的跨模态融合模块和所述分类器进行训练的训练模块。

7.根据权利要求6所述的基于巡检机器人的地下管廊环境检测系统，其特征在于，所述训练模块，包括：

训练环境数据采集单元，用于获取由部署于巡检机器人的传感器组采集的预定时间段内多个预定时间点的训练环境监测数据，其中，所述训练环境监测数据包括训练温度值、训练湿度值、训练一氧化碳值和训练甲醛值，以及，地下管廊环境是否存在异常的真实值；

训练红外图像采集单元，用于获取由部署于所述巡检机器人的红外热成像仪采集的在所述多个预定时间点的训练红外成像检测图像；

训练环境参数时序排列单元，用于将所述多个预定时间点的训练环境监测数据按照时间维度和样本维度排列为训练环境监测参数时序矩阵；

训练环境参数时序关联分析单元，用于对所述训练环境监测参数时序矩阵进行局部区域特征分析以得到训练环境参数局部时序特征向量的序列；

训练红外图像特征分析单元，用于通过基于深度神经网络模型的红外图像特征提取器分别对所述多个预定时间点的训练红外成像检测图像进行特征提取以得到训练红外图像特征向量的序列；

训练环境参数-红外图像特征交互关联单元，用于：将所述训练环境参数局部时序特征向量的序列和所述训练红外图像特征向量的序列通过基于门机制注意力模型的跨模态融合模块以得到训练环境参数-红外图像跨模态交互融合特征向量；

训练分类单元，用于：将所述训练环境参数-红外图像跨模态交互融合特征向量通过分类器以得到分类损失函数值；

预定损失函数计算单元，用于计算所述训练环境参数局部时序特征向量的序列和所述训练红外图像特征向量的序列的预定损失函数值；

训练单元，用于计算所述分类损失函数值和所述预定损失函数值的加权和作为损失函数值来对所述基于卷积神经网络模型的环境参数局部时序特征提取器、所述基于卷积神经网络模型的红外图像特征提取器、所述基于门机制注意力模型的跨模态融合模块和所述分类器进行训练。

8.根据权利要求7所述的基于巡检机器人的地下管廊环境检测系统，其特征在于，所述训练分类单元，用于：

使用所述分类器以如下训练分类公式对所述训练环境参数-红外图像跨模态交互融合特征向量进行处理以生成训练分类结果，其中，所述训练分类公式为：，其中/>表示所述训练环境参数-红外图像跨模态交互融合特征向量，/>至/>为权重矩阵，/>至/>表示偏置矩阵；以及

计算所述训练分类结果与真实值之间的交叉熵值作为所述分类损失函数值。

9.一种基于巡检机器人的地下管廊环境检测方法，其特征在于，包括：

获取由部署于巡检机器人的传感器组采集的预定时间段内多个预定时间点的环境监测数据，其中，所述环境监测数据包括温度值、湿度值、一氧化碳值和甲醛值；

获取由部署于所述巡检机器人的红外热成像仪采集的在所述多个预定时间点的红外成像检测图像；

将所述多个预定时间点的环境监测数据按照时间维度和样本维度排列为环境监测参数时序矩阵；

对所述环境监测参数时序矩阵进行局部区域特征分析以得到环境参数局部时序特征向量的序列；

通过基于深度神经网络模型的红外图像特征提取器分别对所述多个预定时间点的红外成像检测图像进行特征提取以得到红外图像特征向量的序列；

对所述环境参数局部时序特征向量的序列和所述红外图像特征向量的序列进行跨模态的注意力融合编码以得到环境参数-红外图像跨模态交互融合特征；

基于所述环境参数-红外图像跨模态交互融合特征，确定地下管廊环境是否存在异常。

10.根据权利要求9所述的基于巡检机器人的地下管廊环境检测方法，其特征在于，对所述环境监测参数时序矩阵进行局部区域特征分析以得到环境参数局部时序特征向量的序列，包括：

将所述环境监测参数时序矩阵进行矩阵切分以得到环境参数局部时序矩阵的序列；

将所述环境参数局部时序矩阵的序列分别通过基于卷积神经网络模型的环境参数局部时序特征提取器以得到所述环境参数局部时序特征向量的序列。