CN117601143A - 基于多传感器融合的智能巡检机器人及方法 - Google Patents

Abstract

本发明公开了一种基于多传感器融合的智能巡检机器人及方法，其能够实时采集管廊内的温湿度、一氧化碳、甲醛等气体数据，并将数据传输到智能巡检机器人的数据处理模块，以利用数据处理和分析算法来进行多传感数据的时序协同分析，以此来判断管廊内环境是否存在异常情况，并及时发出预警提示。这样，能够利用智能巡检机器人来完成管廊的自动巡检，同时基于管廊内的多传感数据时序协同变化情况来自动进行管廊内的环境监测，以提高巡检效率和准确性，降低人力成本，并实现实时监测和预警，从而提高管廊的安全性和可靠性，保障管廊的正常运行和维护。

Description

基于多传感器融合的智能巡检机器人及方法

技术领域

本发明涉及智能巡检机器人技术领域，尤其涉及一种基于多传感器融合的智能巡检机器人及方法。

背景技术

地下管廊是一种用于集中布置各种管线的地下隧道，其能够将电力、通信、燃气、供热、给排水等各种工程管线集于一体，具有节省土地、保护环境、提高安全性等优点。然而，管廊内的环境复杂多变，存在着火灾、爆炸、中毒等安全隐患，因此，需要定期对管廊内的环境进行巡检和监测。

传统的廊巡检方式主要依赖于人工观察和记录，需要大量的人力投入。在巡检过程中，巡检人员需要进入管廊进行检查和记录，但是管廊内部结构复杂且距离较长，这种巡检方式不仅费时费力，还存在一定的安全风险。同时，人力巡检也容易受到人为因素的影响，如疲劳、注意力不集中等，可能导致漏检或误检，无法全面准确地获取管廊内部的环境信息，例如，某些隐蔽的问题可能被忽略或未及时发现，从而增加了管廊的安全风险。

此外，传统的巡检方式通常是周期性的，无法实时监测管廊环境的变化。一旦出现异常情况，如温度升高、气体泄漏等，可能需要等待下一次巡检才能发现，导致预警响应的延迟，增加了事故的发生概率和损失。

因此，期望一种基于多传感器融合的智能巡检机器人。

发明内容

本发明实施例提供一种基于多传感器融合的智能巡检机器人及方法，其能够实时采集管廊内的温湿度、一氧化碳、甲醛等气体数据，并将数据传输到智能巡检机器人的数据处理模块，以利用数据处理和分析算法来进行多传感数据的时序协同分析，以此来判断管廊内环境是否存在异常情况，并及时发出预警提示。这样，能够利用智能巡检机器人来完成管廊的自动巡检，同时基于管廊内的多传感数据时序协同变化情况来自动进行管廊内的环境监测，以提高巡检效率和准确性，降低人力成本，并实现实时监测和预警，从而提高管廊的安全性和可靠性，保障管廊的正常运行和维护。

本发明实施例还提供了一种基于多传感器融合的智能巡检机器人，其包括：

数据采集模块，用于通过智能巡检机器人的温湿度传感器、一氧化碳传感器和甲醛传感器采集预定时间段内多个预定时间点的温度值、湿度值、一氧化碳值和甲醛值；

数据传输模块，用于将所述多个预定时间点的温度值、湿度值、一氧化碳值和甲醛值输入所述智能巡检机器人的数据处理模块；

数据时序排列模块，用于在所述数据处理模块，将所述多个预定时间点的温度值、湿度值、一氧化碳值和甲醛值分别按照时间维度排列为温度时序输入向量、湿度时序输入向量、一氧化碳时序输入向量和甲醛时序输入向量；

数据时序协同分析模块，用于将所述温度时序输入向量和湿度时序输入向量进行逐位置关联编码后与所述一氧化碳时序输入向量和所述甲醛时序输入向量进行时序协同分析以得到管廊环境融合特征；

管廊环境监测预警模块，用于基于所述管廊环境融合特征，确定管廊内环境是否存在异常并生成预警提示。

本发明实施例还提供了一种基于多传感器融合的智能巡检方法，其包括：

通过智能巡检机器人的温湿度传感器、一氧化碳传感器和甲醛传感器采集预定时间段内多个预定时间点的温度值、湿度值、一氧化碳值和甲醛值；

将所述多个预定时间点的温度值、湿度值、一氧化碳值和甲醛值输入所述智能巡检机器人的数据处理模块；

在所述数据处理模块，将所述多个预定时间点的温度值、湿度值、一氧化碳值和甲醛值分别按照时间维度排列为温度时序输入向量、湿度时序输入向量、一氧化碳时序输入向量和甲醛时序输入向量；

将所述温度时序输入向量和湿度时序输入向量进行逐位置关联编码后与所述一氧化碳时序输入向量和所述甲醛时序输入向量进行时序协同分析以得到管廊环境融合特征；

基于所述管廊环境融合特征，确定管廊内环境是否存在异常并生成预警提示。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为本发明实施例中提供的一种基于多传感器融合的智能巡检机器人的框图。

图2为本发明实施例中提供的地下综合管廊智能巡检机器人的研究的示意图。

图3为本发明实施例中提供的一种基于多传感器融合的智能巡检方法的流程图。

图4为本发明实施例中提供的一种基于多传感器融合的智能巡检方法的系统架构的示意图。

图5为本发明实施例中提供的一种基于多传感器融合的智能巡检机器人的应用场景图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

除非另有说明，本发明实施例所使用的所有技术和科学术语与本发明的技术领域的技术人员通常理解的含义相同。本发明中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本发明的范围。

在本发明实施例记载中，需要说明的是，除非另有说明和限定，术语“连接”应做广义理解，例如，可以是电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

需要说明的是，本发明实施例所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换，以使这里描述的本发明的实施例可以除了在这里图示或描述的那些以外的顺序实施。

在本发明的一个实施例中，图1为本发明实施例中提供的一种基于多传感器融合的智能巡检机器人的框图。如图1所示，根据本发明实施例的基于多传感器融合的智能巡检机器人100，包括：数据采集模块110，用于通过智能巡检机器人的温湿度传感器、一氧化碳传感器和甲醛传感器采集预定时间段内多个预定时间点的温度值、湿度值、一氧化碳值和甲醛值；数据传输模块120，用于将所述多个预定时间点的温度值、湿度值、一氧化碳值和甲醛值输入所述智能巡检机器人的数据处理模块；数据时序排列模块130，用于在所述数据处理模块，将所述多个预定时间点的温度值、湿度值、一氧化碳值和甲醛值分别按照时间维度排列为温度时序输入向量、湿度时序输入向量、一氧化碳时序输入向量和甲醛时序输入向量；数据时序协同分析模块140，用于将所述温度时序输入向量和湿度时序输入向量进行逐位置关联编码后与所述一氧化碳时序输入向量和所述甲醛时序输入向量进行时序协同分析以得到管廊环境融合特征；管廊环境监测预警模块150，用于基于所述管廊环境融合特征，确定管廊内环境是否存在异常并生成预警提示。

为了提高管廊巡检的智能化水平，在本发明的技术方案中，提出了一种基于多传感器融合的智能巡检机器人。该机器人能够实时采集管廊内的温湿度、一氧化碳、甲醛等气体数据，并将数据传输到智能巡检机器人的数据处理模块，以利用数据处理和分析算法来进行多传感数据的时序协同分析，以此来判断管廊内环境是否存在异常情况，并及时发出预警提示。这样，能够利用智能巡检机器人来完成管廊的自动巡检，同时基于管廊内的多传感数据时序协同变化情况来自动进行管廊内的环境监测，以提高巡检效率和准确性，降低人力成本，并实现实时监测和预警，从而提高管廊的安全性和可靠性，保障管廊的正常运行和维护。

具体地，在本发明的技术方案中，首先，通过智能巡检机器人的温湿度传感器、一氧化碳传感器和甲醛传感器采集预定时间段内多个预定时间点的温度值、湿度值、一氧化碳值和甲醛值。相应地，在本发明的一个具体示例中，可以在所述智能巡检机器人上配备各种传感器，如 DHT11 温湿度传感器、MQ-7 一氧化碳传感器和ZE08-CH20 甲醛传感器来完成管廊内的环境监测。继而，在监测各个传感数据后，将所述多个预定时间点的温度值、湿度值、一氧化碳值和甲醛值输入所述智能巡检机器人的数据处理模块，以进行各个传感数据的时序协同分析来进行管廊内环境检测。

接着，考虑到所述管廊内的温度值、湿度值、一氧化碳值和甲醛值都在时间维度上有着各自的时序动态变化规律，因此，为了能够对于这些传感数据进行时序分析以判断管廊内环境是否异常，在本发明的技术方案中，需要在所述数据处理模块，将所述多个预定时间点的温度值、湿度值、一氧化碳值和甲醛值分别按照时间维度排列为温度时序输入向量、湿度时序输入向量、一氧化碳时序输入向量和甲醛时序输入向量，以此来分别整合所述管廊内的温度值、湿度值、一氧化碳值和甲醛值时序分布信息，并将其转换为输入向量，以便于后续的特征分析。

在本发明的一个具体实施例中，所述数据时序协同分析模块，包括：温度-湿度逐位置关联编码单元，用于将所述温度时序输入向量和所述湿度时序输入向量进行逐位置关联编码以得到温度-湿度时序关联向量；向量-图像格式转换单元，用于将所述温度-湿度时序关联向量、所述一氧化碳时序输入向量和所述甲醛时序输入向量分别通过向量-图像格式转换器以得到温度-湿度时序图像、一氧化碳时序图像和甲醛时序图像；数据时序特征提取单元，用于通过基于深度神经网络模型的图像特征提取器分别对所述温度-湿度时序图像、所述一氧化碳时序图像和所述甲醛时序图像进行特征提取以得到温度-湿度时序特征图、一氧化碳时序特征图和甲醛时序特征图；数据时序特征融合单元，用于融合所述温度-湿度时序特征图、所述一氧化碳时序特征图和所述甲醛时序特征图以得到所述管廊环境融合特征。

其中，所述深度神经网络模型为卷积神经网络模型。

特别地，考虑到在进行管廊内的传感数据分析时，由于温度和湿度通常是相互关联的，例如在高温环境下，湿度往往会较低；而在潮湿的环境中，温度可能相对较低。因此，需要将所述温度时序输入向量和湿度时序输入向量进行逐位置关联编码以得到温度-湿度时序关联向量。通过对温度和湿度时序数据进行关联编码，可以提取它们之间的相关性，以用于更好地理解它们之间的相互作用和变化规律，进一步分析和判断管廊环境的状态。

然后，考虑到相对于简单的时序向量表示来说，时序图像数据具有丰富的视觉信息，可以提供更多的信息量，包括传感数据的时序关系、波动情况和趋势变化等，可以帮助人们更容易地观察和理解各个传感数据的时序变化情况。因此，在本发明的技术方案中，进一步将所述温度-湿度时序关联向量、所述一氧化碳时序输入向量和所述甲醛时序输入向量分别通过向量-图像格式转换器以得到温度-湿度时序图像、一氧化碳时序图像和甲醛时序图像，这样的转换方式可以更直观地展示数据的变化趋势和模式，以便于更好地捕捉和分析到每个管廊内环境的传感数据时序动态变化情况。也就是说，通过将所述温度-湿度时序关联向量、所述一氧化碳时序输入向量和所述甲醛时序输入向量转换为时序图像，可以将复杂的数据转化为可视化的形式，使得算法可以更方便地进行分析和判断。

进一步地，使用在图像的隐含特征提取方面具有优异表现性能的基于卷积神经网络模型的图像特征提取器分别对所述温度-湿度时序图像、所述一氧化碳时序图像和所述甲醛时序图像进行特征提取，以分别提取出所述管廊内的温度-湿度时序协同分布特征信息、一氧化碳时序分布特征信息和甲醛时序分布特征信息，从而得到温度-湿度时序特征图、一氧化碳时序特征图和甲醛时序特征图。

在本发明的一个具体实施例中，所述数据时序特征融合单元，包括：多参数时序特征级联融合子单元，用于使用级联融合模块结构来融合所述温度-湿度时序特征图、所述一氧化碳时序特征图和所述甲醛时序特征图以得到管廊环境特征图；特征自相关关联强化子单元，用于将所述管廊环境特征图通过特征自相关关联强化模块以得到自相关强化管廊环境特征图作为所述管廊环境融合特征。

应可以理解，所述温度-湿度时序特征图、所述一氧化碳时序特征图和所述甲醛时序特征图分别代表了不同方面的管廊环境信息时序情况。具体来说，所述温度-湿度时序特征图反映了管廊内的温度和湿度的协同变化趋势和关联性，所述一氧化碳时序特征图反映了一氧化碳浓度的时序变化情况，所述甲醛时序特征图反映了甲醛浓度的时序变化情况。因此，为了能够对于管廊内环境情况进行检测判断以进行异常监测，在本发明的技术方案中，进一步使用级联融合模块结构来融合所述温度-湿度时序特征图、所述一氧化碳时序特征图和所述甲醛时序特征图以得到管廊环境特征图。通过使用所述级联融合模块结构，可以将管廊内各个环境传感参数的时序特征图进行融合，以得到管廊环境的综合特征图，使得融合后的所述管廊环境特征图可以提供更全面的管廊环境状态信息，包括温度、湿度、一氧化碳浓度和甲醛浓度等方面。这有助于更准确地判断管廊环境是否存在异常情况，并为后续的决策和处理提供更可靠的依据。

接着，考虑到所述管廊内的温度-湿度时序协同特征、一氧化碳时序特征和甲醛时序特征之间在不同的时间和空间上呈现出不同的关联性，因此，为了能够进一步提高对于管廊内环境异常检测的精准度，在本发明的技术方案中，进一步将所述管廊环境特征图通过特征自相关关联强化模块以得到自相关强化管廊环境特征图。特别地，这里，所述特征自相关关联强化模块可以通过计算所述管廊环境特征图中不同位置之间的相关性来增强各个参数时序特征之间的关联性，例如空间相关性和时序相关性。这样，能够在保留原始特征信息的基础上，通过增强特征之间的相关性，使得管廊环境的内在模式和结构更加明显和可见。因此，所述自相关强化管廊环境特征图可以提供更丰富和准确的特征表示，有助于更好地理解和分析管廊环境的状态和变化。

在本发明的一个具体实施例中，所述管廊环境监测预警模块，包括：管廊环境监测单元，用于将所述自相关强化管廊环境特征图通过分类器以得到分类结果，所述分类结果用于表示管廊内环境是否存在异常；以及，预警单元，用于基于所述分类结果，确定是否生成预警提示。

进而，再将所述自相关强化管廊环境特征图通过分类器以得到分类结果，所述分类结果用于表示管廊内环境是否存在异常。也就是说，利用经过特征自相关关联强化后的有关于管廊内环境的各传感参数时序融合特征信息来进行分类处理，以此来判断管廊内环境是否存在异常情况，并及时发出预警提示。

在本发明的一个实施例中，所述基于多传感器融合的智能巡检机器人，还包括用于对所述基于卷积神经网络模型的图像特征提取器、所述级联融合模块结构、所述特征自相关关联强化模块和所述分类器进行训练的训练模块。所述训练模块，包括：训练数据采集单元，用于获取训练数据，所述训练数据包括预定时间段内多个预定时间点的训练温度值、训练湿度值、训练一氧化碳值和训练甲醛值；训练数据传输单元，用于将所述多个预定时间点的训练温度值、训练湿度值、训练一氧化碳值和训练甲醛值输入所述智能巡检机器人的数据处理模块；训练数据时序排列单元，用于在所述数据处理模块，将所述多个预定时间点的训练温度值、训练湿度值、训练一氧化碳值和训练甲醛值分别按照时间维度排列为训练温度时序输入向量、训练湿度时序输入向量、训练一氧化碳时序输入向量和训练甲醛时序输入向量；训练温湿度逐位置关联编码单元，用于将所述训练温度时序输入向量和所述训练湿度时序输入向量进行逐位置关联编码以得到训练温度-湿度时序关联向量；训练数据时序向量格式转换单元，用于将所述训练温度-湿度时序关联向量、所述训练一氧化碳时序输入向量和所述训练甲醛时序输入向量分别通过所述向量-图像格式转换器以得到训练温度-湿度时序图像、训练一氧化碳时序图像和训练甲醛时序图像；训练数据时序图像特征提取单元，用于将所述训练温度-湿度时序图像、所述训练一氧化碳时序图像和所述训练甲醛时序图像分别通过所述基于卷积神经网络模型的图像特征提取器以得到训练温度-湿度时序特征图、训练一氧化碳时序特征图和训练甲醛时序特征图；训练数据时序特征融合单元，用于使用所述级联融合模块结构来融合所述训练温度-湿度时序特征图、所述训练一氧化碳时序特征图和所述训练甲醛时序特征图以得到训练管廊环境特征图；训练特征自相关关联强化单元，用于将所述训练管廊环境特征图通过所述特征自相关关联强化模块以得到训练自相关强化管廊环境特征图；特征修正单元，用于对所述训练自相关强化管廊环境特征图展开后得到的训练自相关强化管廊环境特征向量进行特征分布优化以得到优化训练自相关强化管廊环境特征图；分类损失单元，用于将所述优化训练自相关强化管廊环境特征图通过所述分类器以得到分类损失函数值；模型训练单元，用于基于所述分类损失函数值并通过梯度下降的方向传播来对所述基于卷积神经网络模型的图像特征提取器、所述级联融合模块结构、所述特征自相关关联强化模块和所述分类器进行训练。

特别地，在本发明的技术方案中，所述训练温度-湿度时序特征图、训练一氧化碳时序特征图和训练甲醛时序特征图中的每个特征矩阵分别表达相应的训练温度-训练湿度关联值、训练一氧化碳值和训练甲醛值在向量-图像格式转换确定的全局时域下的局部时域的局部时域内-局部时域间时序关联特征，这样，将所述训练温度-湿度时序特征图、所述训练一氧化碳时序特征图和所述训练甲醛时序特征图使用级联融合模块结构来融合并通过特征自相关关联强化模块后，可以基于特征矩阵的多尺度交叉时序关联特征表达来对各个特征矩阵之间的级联通道分布进行约束，使得所述训练自相关强化管廊环境特征图在通道维度上也符合多尺度交叉时序关联分布。这样，所述训练自相关强化管廊环境特征图在整体上就具有了多维度时域上下文的时序关联特征分布性质，这就使得在将所述训练自相关强化管廊环境特征图通过分类器进行分类回归时，需要提升分类回归的效率。

因此，本发明的申请人对所述训练自相关强化管廊环境特征图在通过分类器进行分类回归时，展开后得到的训练自相关强化管廊环境特征向量进行了优化，具体表示为：以如下优化公式对所述训练自相关强化管廊环境特征图展开后得到的训练自相关强化管廊环境特征向量进行了优化；其中，所述优化公式为：其中，/>是所述训练自相关强化管廊环境特征图展开后得到的训练自相关强化管廊环境特征向量的第/>个位置的特征值，/>是所述训练自相关强化管廊环境特征向量的所有特征值的全局均值，且/>是所述训练自相关强化管廊环境特征向量的最大特征值，/>是所述优化训练自相关强化管廊环境特征图展开后得到的优化训练自相关强化管廊环境特征向量的第/>个位置的特征值，/>表示以数值为幂的自然指数函数值。

也就是，通过全局分布参数的正则化仿函数的概念，上述优化基于所述训练自相关强化管廊环境特征向量的全局分布的参数向量式表征，来以回归概率的正则式表达模拟代价函数，从而对所述训练自相关强化管廊环境特征向量在高维特征空间内的特征流形表征对于类回归概率下的基于分类器的权重矩阵的逐点回归特性进行建模，以捕获待分类的训练自相关强化管廊环境特征向量经由分类器模型的参数空间在高维特征流形的场景几何形状下的参数平滑式优化轨迹，提高所述训练自相关强化管廊环境特征向量在所述分类器的分类概率回归下的训练效率。这样，能够利用智能巡检机器人来完成管廊的自动化巡检，同时基于管廊内的多传感数据时序协同变化情况来自动进行管廊内的环境监测，以提高巡检效率和准确性，降低人力成本，并实现实时监测和预警，从而提高管廊的安全性和可靠性，保障管廊的正常运行和维护。

进一步地，在本发明的一个具体实施例中，所述分类损失单元，用于：使用所述分类器以如下训练分类公式对所述优化训练自相关强化管廊环境特征图进行处理以生成训练分类结果，其中，所述训练分类公式为：，其中/>表示将所述优化训练自相关强化管廊环境特征图投影为向量，/>至/>为权重矩阵，/>至/>表示偏置矩阵；以及，计算所述训练分类结果与真实值之间的交叉熵值作为所述分类损失函数值。

本发明的创新点包括但不限于：

1、使用北-GIS-机器视觉定位规划路线，本发明中使用北斗-GIS-机器视觉作为定位规划系统，北斗-GIS 提供精准定位并规划路线，使用机器视觉做为辅助系统，机器视觉就是用机器代替人眼来做测量和判断，通过机器视觉，机器人可以自主避开障碍物。

2、行走装置及转向装置的选择，地下综合管廊存在弯道多、障碍多(防火门等)等特点，智能机器人在会经过多种障碍及弯道才能完成整个管廊的巡检工作管廊内自主巡检时，使用履带式移动方式有助于机器人在管廊内完成各种工作提供了技术支撑。

在本申请的一个实施例中，如图2所示，地下综合管廊智能巡检机器人的研究包括：智能机器人的研究、智能机器人机械结构系统、智能机器人信息采集系统和信息及时准确传递系统。其中，智能机器人的研究以移动机器人为载体，包括：可见光摄像机、红外成像仪和北斗-GIS-机器视觉。智能机器人机械结构系统包括：转向系统、越障系统、稳定系统和动力系统，转向系统包括履带差速系统，越障系统包括履带式，稳定系统包括避震器，动力系统包括步进电机。智能机器人信息采集系统包括：温湿度检测、氧化碳检测、甲醛检测和火灾报警系统，温湿度检测包括DHT11传感器，氧化碳检测包括MQ-7传感器，甲醛检测包括ZE08-CH20传感器, 火灾报警系统包括火灾传感器。信息及时准确传递系统包括AP。

在本发明中，地下综合管廊智能巡检机器人的研究主要内容包括：

（1）智能机器人巡检系统的技术研究；

（2）地下综合管廊智能巡检机器人的机械结构设计与分析；

（3）地下综合管廊巡检机器人信息采集技术的研究；

（4）地下综合管廊智能机器人巡检及时准确录入管理系统的研究。

具体地，在智能机器人巡检系统的技术研究中，综合管廊，就是地下城市管道综合走廊，即在城市地下建造一个隧道空间，将电力、通信，燃气、供热、给排水等各种工程管线集于一体。地下综合管廊虽然结构较为单一但管廊内有各种设备设施，且属线性工程，人工巡检有较大难度及困难，基于此，结合前期研究移动式多功能载物平台的基础上，发散思维，以智能机器人代替人工进行管廊巡检工作。采用移动机器人为载体，以可见光摄像机、红外热成像仪等检测仪器为载荷系统,以机器视觉-电磁场-北斗-GIS的多场景融合作为机器人自动移动和自主巡检的导航系统，从而实现智能机器人自主巡检工作。

在地下综合管廊智能巡检机器人的机械结构设计与分析中，地下管廊短则几公里，长则数十公里，且管廊内部结构复杂，包括多个坡道及转弯处，遇到这种情况，需要机器人能够自主稳定的通过弯道及坡道。此外，管廊内设施多且布置位置不一，需要机器人具有障碍物检测识别与定位、自主越障等功能。最后，由于机器人巡检工作需要大量精密仪器，所以其稳定行也是必须要考虑的问题。基于此，对机器人的机械结构有很多要求，需要有自主转向系统来让机器人通过弯道，需要有动力系统来支持机器人爬坡，需要有履带式结构协助机器人越障，也需要有避震系统保护机器人所携带的精密仪器

在地下综合管廊巡检机器人信息采集技术的研究中，机器人巡检过程，首先需要对管廊环境进行检测，包括温湿度、一氧化碳、甲醛等气体进行检测，其次，需要对火灾发出预警信息。基于此，需要在机器人上配备各种传感器，如DHT11温湿度传感器、MO-7一氧化碳传感器、ZE08-CH20甲醛传感器等以及烟雾火灾报警器等。

在地下综合管廊智能机器人巡检及时准确录入管理系统的研究中，由于管廊位于地下，部分区域可能存在信号弱或无信号情况，因此，信息及时准确的传递是必须要考虑的问题，基于此，考虑使用AP，无线接入点 (AP)是无线局域网的一种典型应用。AP是AccessPoint的简称，就是所谓的“无线访问节点”，无线AP是无线网和有线网之间沟通的桥梁，是组建无线局域网(WLAN)的核心设备它主要是提供无线工作站和有线局域网之间的互相访问，这样，在AP信号覆盖范围内的无线工作站可以通过它进行相互通信，没有AP基本上就无法组建真正意义上可访问Intermet的WLAN。AP在WLAN中就相当于发射基站在移动通信网络中的角色。通过AP对机器人检测的各项数据、图像进行上传，管理人员及时对上传的数据图像进行处理，及时排查各项安全隐患。

综上，基于本发明实施例的基于多传感器融合的智能巡检机器人100被阐明，其能够利用智能巡检机器人来完成管廊的自动巡检，同时基于管廊内的多传感数据时序协同变化情况来自动进行管廊内的环境监测，以提高巡检效率和准确性，降低人力成本，并实现实时监测和预警，从而提高管廊的安全性和可靠性，保障管廊的正常运行和维护。

图3为本发明实施例中提供的一种基于多传感器融合的智能巡检方法的流程图。图4为本发明实施例中提供的一种基于多传感器融合的智能巡检方法的系统架构的示意图。如图3和图4所示，一种基于多传感器融合的智能巡检方法，包括：210，通过智能巡检机器人的温湿度传感器、一氧化碳传感器和甲醛传感器采集预定时间段内多个预定时间点的温度值、湿度值、一氧化碳值和甲醛值；220，将所述多个预定时间点的温度值、湿度值、一氧化碳值和甲醛值输入所述智能巡检机器人的数据处理模块；230，在所述数据处理模块，将所述多个预定时间点的温度值、湿度值、一氧化碳值和甲醛值分别按照时间维度排列为温度时序输入向量、湿度时序输入向量、一氧化碳时序输入向量和甲醛时序输入向量；240，将所述温度时序输入向量和湿度时序输入向量进行逐位置关联编码后与所述一氧化碳时序输入向量和所述甲醛时序输入向量进行时序协同分析以得到管廊环境融合特征；250，基于所述管廊环境融合特征，确定管廊内环境是否存在异常并生成预警提示。

在所述基于多传感器融合的智能巡检方法中，将所述温度时序输入向量和湿度时序输入向量进行逐位置关联编码后与所述一氧化碳时序输入向量和所述甲醛时序输入向量进行时序协同分析以得到管廊环境融合特征，包括：将所述温度时序输入向量和所述湿度时序输入向量进行逐位置关联编码以得到温度-湿度时序关联向量；将所述温度-湿度时序关联向量、所述一氧化碳时序输入向量和所述甲醛时序输入向量分别通过向量-图像格式转换器以得到温度-湿度时序图像、一氧化碳时序图像和甲醛时序图像；通过基于深度神经网络模型的图像特征提取器分别对所述温度-湿度时序图像、所述一氧化碳时序图像和所述甲醛时序图像进行特征提取以得到温度-湿度时序特征图、一氧化碳时序特征图和甲醛时序特征图；融合所述温度-湿度时序特征图、所述一氧化碳时序特征图和所述甲醛时序特征图以得到所述管廊环境融合特征。

本领域技术人员可以理解，上述基于多传感器融合的智能巡检方法中的各个步骤的具体操作已经在上面参考图1至图2的基于多传感器融合的智能巡检机器人的描述中得到了详细介绍，并因此，将省略其重复描述。

图5为本发明实施例中提供的一种基于多传感器融合的智能巡检机器人的应用场景图。如图5所示，在该应用场景中，首先，通过智能巡检机器人的温湿度传感器、一氧化碳传感器和甲醛传感器采集预定时间段内多个预定时间点的温度值（例如，如图5中所示意的C1）、湿度值（例如，如图5中所示意的C2）、一氧化碳值（例如，如图5中所示意的C3）和甲醛值（例如，如图5中所示意的C4）；然后，将获取的温度值、湿度值、一氧化碳值和甲醛值输入至部署有基于多传感器融合的智能巡检算法的服务器（例如，如图5中所示意的S）中，其中所述服务器能够基于多传感器融合的智能巡检算法对所述温度值、所述湿度值、所述一氧化碳值和所述甲醛值进行处理，以确定管廊内环境是否存在异常并生成预警提示。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于多传感器融合的智能巡检机器人，其特征在于，包括：

数据采集模块，用于通过智能巡检机器人的温湿度传感器、一氧化碳传感器和甲醛传感器采集预定时间段内多个预定时间点的温度值、湿度值、一氧化碳值和甲醛值；

数据传输模块，用于将所述多个预定时间点的温度值、湿度值、一氧化碳值和甲醛值输入所述智能巡检机器人的数据处理模块；

数据时序排列模块，用于在所述数据处理模块，将所述多个预定时间点的温度值、湿度值、一氧化碳值和甲醛值分别按照时间维度排列为温度时序输入向量、湿度时序输入向量、一氧化碳时序输入向量和甲醛时序输入向量；

数据时序协同分析模块，用于将所述温度时序输入向量和湿度时序输入向量进行逐位置关联编码后与所述一氧化碳时序输入向量和所述甲醛时序输入向量进行时序协同分析以得到管廊环境融合特征；

管廊环境监测预警模块，用于基于所述管廊环境融合特征，确定管廊内环境是否存在异常并生成预警提示。

2.根据权利要求1所述的基于多传感器融合的智能巡检机器人，其特征在于，所述数据时序协同分析模块，包括：

温度-湿度逐位置关联编码单元，用于将所述温度时序输入向量和所述湿度时序输入向量进行逐位置关联编码以得到温度-湿度时序关联向量；

向量-图像格式转换单元，用于将所述温度-湿度时序关联向量、所述一氧化碳时序输入向量和所述甲醛时序输入向量分别通过向量-图像格式转换器以得到温度-湿度时序图像、一氧化碳时序图像和甲醛时序图像；

数据时序特征提取单元，用于通过基于深度神经网络模型的图像特征提取器分别对所述温度-湿度时序图像、所述一氧化碳时序图像和所述甲醛时序图像进行特征提取以得到温度-湿度时序特征图、一氧化碳时序特征图和甲醛时序特征图；

数据时序特征融合单元，用于融合所述温度-湿度时序特征图、所述一氧化碳时序特征图和所述甲醛时序特征图以得到所述管廊环境融合特征。

3.根据权利要求2所述的基于多传感器融合的智能巡检机器人，其特征在于，所述深度神经网络模型为卷积神经网络模型。

4.根据权利要求3所述的基于多传感器融合的智能巡检机器人，其特征在于，所述数据时序特征融合单元，包括：

多参数时序特征级联融合子单元，用于使用级联融合模块结构来融合所述温度-湿度时序特征图、所述一氧化碳时序特征图和所述甲醛时序特征图以得到管廊环境特征图；

特征自相关关联强化子单元，用于将所述管廊环境特征图通过特征自相关关联强化模块以得到自相关强化管廊环境特征图作为所述管廊环境融合特征。

5.根据权利要求4所述的基于多传感器融合的智能巡检机器人，其特征在于，所述管廊环境监测预警模块，包括：

管廊环境监测单元，用于将所述自相关强化管廊环境特征图通过分类器以得到分类结果，所述分类结果用于表示管廊内环境是否存在异常；以及

预警单元，用于基于所述分类结果，确定是否生成预警提示。

6.根据权利要求5所述的基于多传感器融合的智能巡检机器人，其特征在于，还包括用于对所述基于卷积神经网络模型的图像特征提取器、所述级联融合模块结构、所述特征自相关关联强化模块和所述分类器进行训练的训练模块。

7.根据权利要求6所述的基于多传感器融合的智能巡检机器人，其特征在于，所述训练模块，包括：

训练数据采集单元，用于获取训练数据，所述训练数据包括预定时间段内多个预定时间点的训练温度值、训练湿度值、训练一氧化碳值和训练甲醛值；

训练数据传输单元，用于将所述多个预定时间点的训练温度值、训练湿度值、训练一氧化碳值和训练甲醛值输入所述智能巡检机器人的数据处理模块；

训练数据时序排列单元，用于在所述数据处理模块，将所述多个预定时间点的训练温度值、训练湿度值、训练一氧化碳值和训练甲醛值分别按照时间维度排列为训练温度时序输入向量、训练湿度时序输入向量、训练一氧化碳时序输入向量和训练甲醛时序输入向量；

训练温湿度逐位置关联编码单元，用于将所述训练温度时序输入向量和所述训练湿度时序输入向量进行逐位置关联编码以得到训练温度-湿度时序关联向量；

训练数据时序向量格式转换单元，用于将所述训练温度-湿度时序关联向量、所述训练一氧化碳时序输入向量和所述训练甲醛时序输入向量分别通过所述向量-图像格式转换器以得到训练温度-湿度时序图像、训练一氧化碳时序图像和训练甲醛时序图像；

训练数据时序图像特征提取单元，用于将所述训练温度-湿度时序图像、所述训练一氧化碳时序图像和所述训练甲醛时序图像分别通过所述基于卷积神经网络模型的图像特征提取器以得到训练温度-湿度时序特征图、训练一氧化碳时序特征图和训练甲醛时序特征图；

训练数据时序特征融合单元，用于使用所述级联融合模块结构来融合所述训练温度-湿度时序特征图、所述训练一氧化碳时序特征图和所述训练甲醛时序特征图以得到训练管廊环境特征图；

训练特征自相关关联强化单元，用于将所述训练管廊环境特征图通过所述特征自相关关联强化模块以得到训练自相关强化管廊环境特征图；

特征修正单元，用于对所述训练自相关强化管廊环境特征图展开后得到的训练自相关强化管廊环境特征向量进行特征分布优化以得到优化训练自相关强化管廊环境特征图；

分类损失单元，用于将所述优化训练自相关强化管廊环境特征图通过所述分类器以得到分类损失函数值；

模型训练单元，用于基于所述分类损失函数值并通过梯度下降的方向传播来对所述基于卷积神经网络模型的图像特征提取器、所述级联融合模块结构、所述特征自相关关联强化模块和所述分类器进行训练。

8.根据权利要求7所述的基于多传感器融合的智能巡检机器人，其特征在于，所述分类损失单元，用于：

使用所述分类器以如下训练分类公式对所述优化训练自相关强化管廊环境特征图进行处理以生成训练分类结果，其中，所述训练分类公式为：，其中/>表示将所述优化训练自相关强化管廊环境特征图投影为向量，/>至/>为权重矩阵，至/>表示偏置矩阵；以及

计算所述训练分类结果与真实值之间的交叉熵值作为所述分类损失函数值。

9.一种基于多传感器融合的智能巡检方法，其特征在于，包括：

通过智能巡检机器人的温湿度传感器、一氧化碳传感器和甲醛传感器采集预定时间段内多个预定时间点的温度值、湿度值、一氧化碳值和甲醛值；

将所述多个预定时间点的温度值、湿度值、一氧化碳值和甲醛值输入所述智能巡检机器人的数据处理模块；

在所述数据处理模块，将所述多个预定时间点的温度值、湿度值、一氧化碳值和甲醛值分别按照时间维度排列为温度时序输入向量、湿度时序输入向量、一氧化碳时序输入向量和甲醛时序输入向量；

将所述温度时序输入向量和湿度时序输入向量进行逐位置关联编码后与所述一氧化碳时序输入向量和所述甲醛时序输入向量进行时序协同分析以得到管廊环境融合特征；

基于所述管廊环境融合特征，确定管廊内环境是否存在异常并生成预警提示。

10.一种基于多传感器融合的智能巡检方法，其特征在于，包括：

通过智能巡检机器人的温湿度传感器、一氧化碳传感器和甲醛传感器采集预定时间段内多个预定时间点的温度值、湿度值、一氧化碳值和甲醛值；

将所述多个预定时间点的温度值、湿度值、一氧化碳值和甲醛值输入所述智能巡检机器人的数据处理模块；

在所述数据处理模块，将所述多个预定时间点的温度值、湿度值、一氧化碳值和甲醛值分别按照时间维度排列为温度时序输入向量、湿度时序输入向量、一氧化碳时序输入向量和甲醛时序输入向量；

将所述温度时序输入向量和湿度时序输入向量进行逐位置关联编码后与所述一氧化碳时序输入向量和所述甲醛时序输入向量进行时序协同分析以得到管廊环境融合特征；

基于所述管廊环境融合特征，确定管廊内环境是否存在异常并生成预警提示。