CN117826795A - 地下管廊巡检机器人的自主巡检方法及系统 - Google Patents

Abstract

本申请公开了一种地下管廊巡检机器人的自主巡检方法及系统，其通过使用北斗‑GIS‑机器视觉作为定位规划系统，其中，北斗‑GIS提供精准定位并规划路线，使用机器视觉做为辅助系统来进行巡检环境行进路线图像采集和分析，也就是说，机器视觉就是用机器代替人眼来做测量和判断，以确保行进路线正确且能够自主避开障碍物。

Description

地下管廊巡检机器人的自主巡检方法及系统

技术领域

本申请涉及机器人领域，且更为具体地，涉及一种地下管廊巡检机器人的自主巡检方法及系统。

背景技术

地下综合管廊是城市基础设施的重要组成部分，它集中了电力、通信、水、燃气等多种管线，为城市的正常运行提供了保障。然而，地下管廊的巡检工作却面临着诸多困难，如管廊内环境恶劣、空间狭窄、障碍物多、弯道多等，给人工巡检带来了极大的不便和风险。因此，开发一种能够在地下管廊内自主巡检的智能机器人，具有重要的意义和价值。

然而，传统的地下管廊巡检机器人的巡检方案中使用的定位技术可能无法提供足够高的精度，导致机器人在管廊内的定位不准确，这会影响机器人规划巡检路径和准确避开障碍物的能力。

因此，期望一种优化的地下管廊巡检机器人的自主巡检方案。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种地下管廊巡检机器人的自主巡检方法及系统，其通过使用北斗-GIS-机器视觉作为定位规划系统，其中，北斗-GIS 提供精准定位并规划路线，使用机器视觉做为辅助系统来进行巡检环境行进路线图像采集和分析，也就是说，机器视觉就是用机器代替人眼来做测量和判断，以确保行进路线正确且能够自主避开障碍物。

根据本申请的一个方面，提供了一种地下管廊巡检机器人的自主巡检方法，其包括：

获取由北斗-GIS系统采集的地下管廊巡检机器人在预定时间段内多个预定时间点的定位数据；

获取由部署于所述地下管廊巡检机器人的摄像头采集的所述多个预定时间点的巡检环境行进路线图像；

对所述多个预定时间点的定位数据进行运动时序关联编码以得到位置数据上下文语义特征向量的序列；

对所述多个预定时间点的巡检环境行进路线图像进行巡检环境行进路线语义特征分析以得到巡检环境行进路线图像语义特征向量的序列；

对所述位置数据上下文语义特征向量的序列和所述巡检环境行进路线图像语义特征向量的序列进行特征交互融合分析以得到位置-巡检环境交互融合特征；以及

基于所述位置-巡检环境交互融合特征，生成推荐的实时巡检路径。

根据本申请的另一个方面，提供了一种地下管廊巡检机器人的自主巡检系统，其包括：

定位数据获取模块，用于获取由北斗-GIS系统采集的地下管廊巡检机器人在预定时间段内多个预定时间点的定位数据；

图像获取模块，用于获取由部署于所述地下管廊巡检机器人的摄像头采集的所述多个预定时间点的巡检环境行进路线图像；

定位数据运动时序关联编码模块，用于对所述多个预定时间点的定位数据进行运动时序关联编码以得到位置数据上下文语义特征向量的序列；

巡检环境行进路线语义特征分析模块，用于对所述多个预定时间点的巡检环境行进路线图像进行巡检环境行进路线语义特征分析以得到巡检环境行进路线图像语义特征向量的序列；

特征交互融合分析模块，用于对所述位置数据上下文语义特征向量的序列和所述巡检环境行进路线图像语义特征向量的序列进行特征交互融合分析以得到位置-巡检环境交互融合特征；以及

推荐路径生成模块，用于基于所述位置-巡检环境交互融合特征，生成推荐的实时巡检路径。

与现有技术相比，本申请提供的一种地下管廊巡检机器人的自主巡检方法及系统，其通过使用北斗-GIS-机器视觉作为定位规划系统，其中，北斗-GIS 提供精准定位并规划路线，使用机器视觉做为辅助系统来进行巡检环境行进路线图像采集和分析，也就是说，机器视觉就是用机器代替人眼来做测量和判断，以确保行进路线正确且能够自主避开障碍物。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1为根据本申请实施例的地下管廊巡检机器人的自主巡检方法的流程图；

图2为根据本申请实施例的地下管廊巡检机器人的自主巡检方法的系统架构图；

图3为根据本申请实施例的地下管廊巡检机器人的自主巡检方法的训练阶段的流程图；

图4为根据本申请实施例的地下管廊巡检机器人的自主巡检方法的子步骤S3的流程图；

图5为根据本申请实施例的地下管廊巡检机器人的自主巡检系统的框图；

图6为根据本申请实施例的地下管廊巡检机器人的运行组成框图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。

虽然本申请对根据本申请的实施例的系统中的某些模块做出了各种引用，然而，任何数量的不同模块可以被使用并运行在用户终端和/或服务器上。所述模块仅是说明性的，并且所述系统和方法的不同方面可以使用不同模块。

本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，根据需要，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

考虑到地下综合管廊存在弯道多、障碍多(防火门等)等特点，智能机器人在管廊内自主巡检时，会经过多种障碍及弯道才能完成整个管廊的巡检工作。因此，若在地下管廊巡检机器人的巡检方案中，机器人的定位精度达不到要求，那么很容易会影响机器人的巡检行进路线以及避开障碍物的能力。针对上述问题，本申请的技术构思为通过使用北斗-GIS-机器视觉作为定位规划系统，其中，北斗-GIS 提供精准定位并规划路线，使用机器视觉做为辅助系统来进行巡检环境行进路线图像采集和分析，也就是说，机器视觉就是用机器代替人眼来做测量和判断，以确保行进路线正确且能够自主避开障碍物。

在本申请的技术方案中，提出了一种地下管廊巡检机器人的自主巡检方法。图1为根据本申请实施例的地下管廊巡检机器人的自主巡检方法的流程图。图2为根据本申请实施例的地下管廊巡检机器人的自主巡检方法的系统架构图。如图1和图2所示，根据本申请的实施例的地下管廊巡检机器人的自主巡检方法，包括步骤：S1，获取由北斗-GIS系统采集的地下管廊巡检机器人在预定时间段内多个预定时间点的定位数据；S2，获取由部署于所述地下管廊巡检机器人的摄像头采集的所述多个预定时间点的巡检环境行进路线图像；S3，对所述多个预定时间点的定位数据进行运动时序关联编码以得到位置数据上下文语义特征向量的序列；S4，对所述多个预定时间点的巡检环境行进路线图像进行巡检环境行进路线语义特征分析以得到巡检环境行进路线图像语义特征向量的序列；S5，对所述位置数据上下文语义特征向量的序列和所述巡检环境行进路线图像语义特征向量的序列进行特征交互融合分析以得到位置-巡检环境交互融合特征；以及，S6，基于所述位置-巡检环境交互融合特征，生成推荐的实时巡检路径。

特别地，所述S1，获取由北斗-GIS系统采集的地下管廊巡检机器人在预定时间段内多个预定时间点的定位数据。应可以理解，地下管廊的巡检工作面临着诸多困难，如管廊内环境恶劣、空间狭窄、障碍物多、弯道多等，都会给地下管廊巡检机器人的定位的准确性带来影响，而传统的地下管廊巡检机器人的巡检方案中使用的定位技术可能无法提供足够高的精度，导致机器人在管廊内的定位不准确，这会影响机器人规划巡检路径和准确避开障碍物的能力。因此，在本申请的技术方案中，通过北斗-GIS系统来采集地下管廊巡检机器人在预定时间段内多个预定时间点的定位数据。值得一提的是，北斗-GIS是指将北斗导航卫星系统与地理信息系统（GIS）相结合的应用。北斗是中国自主研发的卫星导航系统，类似于全球定位系统（GPS），可提供全球覆盖的导航、定位和时间服务。而地理信息系统（GIS）是一种用于捕捉、存储、管理、分析和展示地理空间数据的技术。将北斗与GIS相结合，可以为地理空间数据提供定位和导航功能，进一步丰富和增强GIS的应用。

特别地，所述S2，获取由部署于所述地下管廊巡检机器人的摄像头采集的所述多个预定时间点的巡检环境行进路线图像。也就是，通过获取所述多个预定时间点的巡检环境行进路线图像来确定行进路线是否正确，值得一提的是，在摄像头的选型中，可使用更能适应恶劣环境且具有更高清晰度的工业摄像头来进行图像的获取，以及在摄像头的安装过程中，应确定摄像头的稳定性和角度的可调，以此来获取更为清晰和信息更全面的图像。

特别地，所述S3，对所述多个预定时间点的定位数据进行运动时序关联编码以得到位置数据上下文语义特征向量的序列。特别地，在本申请的一个具体示例中，如图4所示，所述S3，包括：S31，将所述多个预定时间点的定位数据进行编码以得到位置数据编码向量的序列；以及，S32将所述位置数据编码向量的序列通过基于转换器的运动编码器以得到所述位置数据上下文语义特征向量的序列。

具体地，所述S31，将所述多个预定时间点的定位数据进行编码以得到位置数据编码向量的序列。应可以理解，所述地下管廊巡检机器人的定位数据通常包含了大量的维度和信息，直接使用原始数据可能会导致计算和存储的负担过重。因此，为了能够对于这些定位数据进行时序关联和语义理解，在本申请的技术方案中，需要将所述多个预定时间点的定位数据进行编码以得到位置数据编码向量的序列。通过对定位数据进行编码，可以将其压缩和降维，减少数据的复杂性和冗余性，提高计算效率。并且，编码过程可以帮助提取和表示所述定位数据中的关键特征，这些特征可以包括位置的坐标、方向、速度等信息。

具体地，所述S32，将所述位置数据编码向量的序列通过基于转换器的运动编码器以得到所述位置数据上下文语义特征向量的序列。考虑到所述多个预定时间点的定位数据之间具有着时序的关联关系，而各个所述位置数据编码向量仅包含了单个时间点的位置编码特征信息，无法捕捉到位置数据之间的上下文关系。因此，在本申请的技术方案中，进一步将所述位置数据编码向量的序列通过基于转换器的运动编码器以得到位置数据上下文语义特征向量的序列。应可以理解，通过基于转换器的运动编码器，可以对位置数据编码特征的序列进行建模，从而将前后时间点的位置数据编码特征联系起来，以捕捉到位置数据之间的上下文关系，这有助于机器人更好地理解位置数据的时序变化和运动趋势。更具体地，将所述位置数据编码向量的序列通过基于转换器的运动编码器以得到所述位置数据上下文语义特征向量的序列，包括：将所述位置数据编码向量的序列进行一维排列以得到全局位置数据编码特征向量；计算所述全局位置数据编码特征向量与所述位置数据编码向量的序列中各个位置数据编码向量的转置向量之间的乘积以得到多个自注意力关联矩阵；分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵；将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过Softmax分类函数以得到多个概率值；分别以所述多个概率值中各个概率值作为权重对所述位置数据编码向量的序列中各个位置数据编码向量进行加权以得到所述位置数据上下文语义特征向量的序列。

值得一提的是，在本申请的其他具体示例中，还可以通过其他方式对所述多个预定时间点的定位数据进行运动时序关联编码以得到位置数据上下文语义特征向量的序列，例如：收集多个预定时间点的定位数据，包括每个时间点的位置坐标信息和时间戳；将收集到的定位数据按照时间戳进行排序，确保数据按照时间顺序排列；从每个时间点的定位数据中提取特征。这些特征可以包括位置坐标、速度、加速度、方向等。可以使用相关的算法或模型来提取这些特征；将特征数据进行时序关联编码，以捕捉位置数据的上下文语义特征。这可以通过使用循环神经网络或长短期记忆网络等模型来实现。这些模型可以对时间序列数据进行建模，捕捉数据之间的时序关系；对于每个时间点，将运动时序关联编码得到的特征向量序列化；将序列化的特征向量组合成位置数据上下文语义特征向量的序列。

特别地，所述S4，对所述多个预定时间点的巡检环境行进路线图像进行巡检环境行进路线语义特征分析以得到巡检环境行进路线图像语义特征向量的序列。考虑到在机器人的巡检过程中，若定位数据不够精准，则会造成巡检路径的错误以及避障能力较差，因此，为了使得机器人能够更好地理解和分析巡检环境，以此来对巡检路径进行实时修正，需要提取和表示巡检环境行进路线图像中的语义信息。基于此，在本申请的技术方案中，进一步将所述多个预定时间点的巡检环境行进路线图像通过基于卷积神经网络模型的巡检环境行进路线图像特征提取器以得到巡检环境行进路线图像语义特征向量的序列。通过所述基于卷积神经网络模型的巡检环境行进路线图像特征提取器，可以从所述各个巡检环境行进路线图像中提取出丰富的语义特征。这些特征可以包括路线、障碍物、管线、标识等与巡检任务相关的信息，有助于机器人对巡检环境进行理解和分析。具体地，使用所述基于卷积神经网络模型的巡检环境行进路线图像特征提取器的各层在层的正向传递中分别对输入数据进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于特征矩阵的池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述基于卷积神经网络模型的巡检环境行进路线图像特征提取器的最后一层的输出为所述巡检环境行进路线图像语义特征向量的序列，所述基于卷积神经网络模型的巡检环境行进路线图像特征提取器的第一层的输入为所述多个预定时间点的巡检环境行进路线图像。

值得注意的是，卷积神经网络（Convolutional Neural Network，CNN）是一种深度学习模型，广泛应用于图像识别、计算机视觉和模式识别等领域。CNN的核心思想是通过卷积层、池化层和全连接层等组件来提取和学习特征，从而实现对输入数据的高效处理和分析。下面是CNN的一般结构和主要组件：卷积层：卷积层是CNN的核心组件之一。它通过使用一组可学习的滤波器（卷积核）对输入数据进行卷积操作，提取局部特征。卷积操作可以有效地捕捉图像中的空间局部性，并保留位置信息；激活函数：卷积层之后通常会添加一个激活函数，如ReLU，用于引入非线性变换，增加模型的表达能力；池化层：池化层用于减小特征图的尺寸，并保留重要的特征。常见的池化操作包括最大池化和平均池化；全连接层：全连接层将前面的卷积层和池化层提取的特征进行扁平化，并连接到输出层，用于进行分类或回归等任务。CNN的训练过程通常使用反向传播算法进行优化，通过最小化损失函数来更新网络参数。在训练过程中，CNN可以学习到输入数据中的特征表示，从而实现对图像、视频等数据的高级分析和理解。

特别地，所述S5，对所述位置数据上下文语义特征向量的序列和所述巡检环境行进路线图像语义特征向量的序列进行特征交互融合分析以得到位置-巡检环境交互融合特征。考虑到所述位置数据上下文语义特征向量的序列表达所述多个预定时间点的定位数据的时序上下文语义关联特征信息，而所述巡检环境行进路线图像语义特征向量的序列表达所述多个预定时间点的巡检环境行进路线图像的图像语义特征信息。也就是说，位置数据和巡检环境行进路线图像都包含了关于巡检任务中的路径规划以及障碍物的重要特征信息，并且它们之间存在着密切的关联。因此，在本申请的技术方案中，进一步使用特征序列间注意力交互融合模块来对所述位置数据上下文语义特征向量的序列和所述巡检环境行进路线图像语义特征向量的序列进行处理以得到位置-巡检环境交互融合特征向量。应可以理解，通过特征序列间注意力交互融合模块，可以实现所述位置数据上下文语义特征向量的序列和所述巡检环境行进路线图像语义特征向量的序列之间的特征信息交互。这样，可以让位置数据和巡检环境的语义信息相互影响和补充，提高特征的表达能力。并且，所述特征序列间注意力交互融合模块通过注意力机制，还可以自动学习位置数据和巡检环境之间的关联程度和重要性。这样可以根据具体的巡检任务需求，对位置数据和巡检环境的特征进行加权和调整，使得融合后的特征更加准确和有效。具体地，使用特征序列间注意力交互融合模块来对所述位置数据上下文语义特征向量的序列和所述巡检环境行进路线图像语义特征向量的序列进行处理以得到位置-巡检环境交互融合特征向量，包括：计算所述位置数据上下文语义特征向量的序列和所述巡检环境行进路线图像语义特征向量的序列中任意两个特征向量之间的相关度以得到位置-巡检环境语义特征矩阵的序列；基于所述位置-巡检环境语义特征矩阵的序列，对所述位置数据上下文语义特征向量的序列和所述巡检环境行进路线图像语义特征向量的序列进行特征交互注意力编码以得到注意力增强位置上下文语义特征向量的序列和注意力增强巡检环境语义特征向量的序列；融合所述位置数据上下文语义特征向量的序列和所述注意力增强位置上下文语义特征向量的序列中相应位置的特征向量以得到位置融合语义特征向量的序列，并融合所述巡检环境行进路线图像语义特征向量的序列和所述注意力增强巡检环境语义特征向量的序列中相应位置的特征向量以得到巡检环境融合语义特征向量的序列；对所述位置融合语义特征向量的序列进行最大值池化处理以得到位置融合最大值池化语义特征向量，并对所述巡检环融合语义特征向量的序列进行最大值池化处理以得到巡检环境融合最大值池化语义特征向量；以及，融合所述位置融合最大值池化语义特征向量和所述巡检环境融合最大值池化语义特征向量以得到所述位置-巡检环境交互融合特征向量。

特别地，所述S6，基于所述位置-巡检环境交互融合特征，生成推荐的实时巡检路径。也就是，在本申请的一个具体示例中，将所述位置-巡检环境交互融合特征向量通过基于解码器的路径规划生成模块以得到推荐的实时巡检路径。也就是说，利用地下管廊巡检机器人的所述定位数据上下文语义关联特征和所述巡检环境行进路线语义特征之间的交互关联特征信息来进行解码回归，以此来对于实时巡检路径进行规划和校正。这样，能够提高地下管廊巡检机器人的巡检效率和安全性，并为地下管廊的维护和管理提供更可靠的支持。具体地，使用所述分类器的多个全连接层对所述位置-巡检环境交互融合特征向量进行全连接编码以得到编码分类特征向量；以及，将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。

应可以理解，在利用上述神经网络模型进行推断之前，需要对所述基于转换器的运动编码器、所述基于卷积神经网络模型的巡检环境行进路线图像特征提取器、所述特征序列间注意力交互融合模块和所述基于解码器的路径规划生成模块进行训练。也就是说，在本申请的地下管廊巡检机器人的自主巡检方法中，还包括训练阶段，用于对所述基于转换器的运动编码器、所述基于卷积神经网络模型的巡检环境行进路线图像特征提取器、所述特征序列间注意力交互融合模块和所述基于解码器的路径规划生成模块进行训练。

图3为根据本申请实施例的地下管廊巡检机器人的自主巡检方法的训练阶段的流程图。如图3所示，根据本申请实施例的地下管廊巡检机器人的自主巡检方法，包括：训练阶段，包括：S110,获取训练数据，所述训练数据包括由北斗-GIS系统采集的地下管廊巡检机器人在预定时间段内多个预定时间点的训练定位数据；以及，由部署于所述地下管廊巡检机器人的摄像头采集的所述多个预定时间点的训练巡检环境行进路线图像；S120,将所述多个预定时间点的训练定位数据进行编码以得到训练位置数据编码向量的序列；S130,将所述训练位置数据编码向量的序列通过基于转换器的运动编码器以得到所述训练位置数据上下文语义特征向量的序列；S140,将所述多个预定时间点的训练巡检环境行进路线图像通过基于卷积神经网络模型的巡检环境行进路线图像特征提取器以得到所述训练巡检环境行进路线图像语义特征向量的序列；S150,使用特征序列间注意力交互融合模块来对所述训练位置数据上下文语义特征向量的序列和所述训练巡检环境行进路线图像语义特征向量的序列进行处理以得到训练位置-巡检环境交互融合特征向量；S160,将所述训练位置-巡检环境交互融合特征向量通过解码器以得到解码损失函数值；S170,计算所述位置数据上下文语义特征向量的序列和所述巡检环境行进路线图像语义特征向量的序列之间的损失函数值；S180,计算所述损失函数值和所述解码损失函数值之间的加权和作为最终损失函数值；S190,基于所述最终损失函数值对所述基于转换器的运动编码器、所述基于卷积神经网络模型的巡检环境行进路线图像特征提取器、所述特征序列间注意力交互融合模块和所述基于解码器的路径规划生成模块进行训练。

特别地，在本申请的技术方案中，所述位置数据上下文语义特征向量的序列表达所述多个预定时间点的定位数据的时序上下文语义关联特征，而所述巡检环境行进路线图像语义特征向量的序列表达所述多个预定时间点的巡检环境行进路线图像的图像语义特征，由此，在使用特征序列间注意力交互融合模块来对所述位置数据上下文语义特征向量的序列和所述巡检环境行进路线图像语义特征向量的序列进行处理后，在基于特征分布时序序列注意力交互来融合所述位置数据上下文语义特征向量的序列和所述巡检环境行进路线图像语义特征向量的序列时，需要重点考虑所述位置数据上下文语义特征向量的序列和所述巡检环境行进路线图像语义特征向量的序列的关键跨模态语义特征在时序方向分布下的跨模态语义特征共享性。也就是，考虑到在不同模态下的位置数据语义特征和图像语义特征的时序方向分布角度下，所述位置数据上下文语义特征向量的序列和所述巡检环境行进路线图像语义特征向量的序列之间具有关键语义关联特征的跨模态语义特征共享性，由此，为了避免在特征分布时序序列注意力交互融合下的跨模态语义特征共享分布稀疏化，本申请的申请人针对所述位置数据上下文语义特征向量的序列和所述巡检环境行进路线图像语义特征向量的序列引入预定损失函数，表示为：

其中，/>是所述位置数据上下文语义特征向量的序列级联得到的第一级联特征向量，且是所述巡检环境行进路线图像语义特征向量的序列级联得到的第二级联特征向量，和/>分别是特征向量的1范数和2范数，/>是界阈值超参数，且特征向量均为行向量形式，/>表示按位置作差，/>表示向量相乘。具体地，所述位置数据上下文语义特征向量和所述巡检环境行进路线图像语义特征向量之间的共享关键特征的强化可以看作全局特征集合的分布信息压缩，通过在基于所述位置数据上下文语义特征向量的序列和所述巡检环境行进路线图像语义特征向量的序列间的结构表示来重构原始特征流形的相对形状关系的基础上进行关键特征的分布稀疏化控制，可以在强化所述位置数据上下文语义特征向量的序列和所述巡检环境行进路线图像语义特征向量的序列间的共享关键跨模态语义特征的同时，获得所述位置-巡检环境交互融合特征向量作为融合特征的稀疏但是有意义的融合流形的几何表示，以提高所述位置-巡检环境交互融合特征向量对所述位置数据上下文语义特征向量的序列和所述巡检环境行进路线图像语义特征向量的序列的融合表达效果，从而提升所述位置-巡检环境交互融合特征向量通过基于解码器的路径规划生成模块得到的推荐的实时巡检路径的数据质量。这样，能够通过使用北斗-GIS-机器视觉作为定位规划系统来支持地下管廊巡检机器人的巡检工作，以提高巡检效率和安全性，并为地下管廊的维护和管理提供更可靠的支持。

综上，根据本申请实施例的地下管廊巡检机器人的自主巡检方法被阐明，其通过使用北斗-GIS-机器视觉作为定位规划系统，其中，北斗-GIS 提供精准定位并规划路线，使用机器视觉做为辅助系统来进行巡检环境行进路线图像采集和分析，也就是说，机器视觉就是用机器代替人眼来做测量和判断，以确保行进路线正确且能够自主避开障碍物。

进一步地，还提供一种地下管廊巡检机器人的自主巡检系统。

图5为根据本申请实施例的地下管廊巡检机器人的自主巡检系统的框图。如图5所示，根据本申请实施例的地下管廊巡检机器人的自主巡检系统300，包括：定位数据获取模块310，用于获取由北斗-GIS系统采集的地下管廊巡检机器人在预定时间段内多个预定时间点的定位数据；图像获取模块320，用于获取由部署于所述地下管廊巡检机器人的摄像头采集的所述多个预定时间点的巡检环境行进路线图像；定位数据运动时序关联编码模块330，用于对所述多个预定时间点的定位数据进行运动时序关联编码以得到位置数据上下文语义特征向量的序列；巡检环境行进路线语义特征分析模块340，用于对所述多个预定时间点的巡检环境行进路线图像进行巡检环境行进路线语义特征分析以得到巡检环境行进路线图像语义特征向量的序列；特征交互融合分析模块350，用于对所述位置数据上下文语义特征向量的序列和所述巡检环境行进路线图像语义特征向量的序列进行特征交互融合分析以得到位置-巡检环境交互融合特征；以及，推荐路径生成模块360，用于基于所述位置-巡检环境交互融合特征，生成推荐的实时巡检路径。

如上所述，根据本申请实施例的地下管廊巡检机器人的自主巡检系统300可以实现在各种无线终端中，例如具有地下管廊巡检机器人的自主巡检法的服务器等。在一种可能的实现方式中，根据本申请实施例的地下管廊巡检机器人的自主巡检系统300可以作为一个软件模块和/或硬件模块而集成到无线终端中。例如，该地下管廊巡检机器人的自主巡检系统300可以是该无线终端的操作系统中的一个软件模块，或者可以是针对于该无线终端所开发的一个应用程序；当然，该地下管廊巡检机器人的自主巡检系统300同样可以是该无线终端的众多硬件模块之一。

替换地，在另一示例中，该地下管廊巡检机器人的自主巡检系统300与该无线终端也可以是分立的设备，并且该地下管廊巡检机器人的自主巡检系统300可以通过有线和/或无线网络连接到该无线终端，并且按照约定的数据格式来传输交互信息。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (9)

1.一种地下管廊巡检机器人的自主巡检方法，其特征在于，包括：

获取由北斗-GIS系统采集的地下管廊巡检机器人在预定时间段内多个预定时间点的定位数据；

获取由部署于所述地下管廊巡检机器人的摄像头采集的所述多个预定时间点的巡检环境行进路线图像；

对所述多个预定时间点的定位数据进行运动时序关联编码以得到位置数据上下文语义特征向量的序列；

对所述多个预定时间点的巡检环境行进路线图像进行巡检环境行进路线语义特征分析以得到巡检环境行进路线图像语义特征向量的序列；

对所述位置数据上下文语义特征向量的序列和所述巡检环境行进路线图像语义特征向量的序列进行特征交互融合分析以得到位置-巡检环境交互融合特征；以及

基于所述位置-巡检环境交互融合特征，生成推荐的实时巡检路径。

2.根据权利要求1所述的地下管廊巡检机器人的自主巡检方法，其特征在于，对所述多个预定时间点的定位数据进行运动时序关联编码以得到位置数据上下文语义特征向量的序列，包括：

将所述多个预定时间点的定位数据进行编码以得到位置数据编码向量的序列；以及

将所述位置数据编码向量的序列通过基于转换器的运动编码器以得到所述位置数据上下文语义特征向量的序列。

3.根据权利要求2所述的地下管廊巡检机器人的自主巡检方法，其特征在于，对所述多个预定时间点的巡检环境行进路线图像进行巡检环境行进路线语义特征分析以得到巡检环境行进路线图像语义特征向量的序列，包括：将所述多个预定时间点的巡检环境行进路线图像通过基于卷积神经网络模型的巡检环境行进路线图像特征提取器以得到所述巡检环境行进路线图像语义特征向量的序列。

4.根据权利要求3所述的地下管廊巡检机器人的自主巡检方法，其特征在于，对所述位置数据上下文语义特征向量的序列和所述巡检环境行进路线图像语义特征向量的序列进行特征交互融合分析以得到位置-巡检环境交互融合特征，包括：使用特征序列间注意力交互融合模块来对所述位置数据上下文语义特征向量的序列和所述巡检环境行进路线图像语义特征向量的序列进行处理以得到位置-巡检环境交互融合特征向量。

5.根据权利要求4所述的地下管廊巡检机器人的自主巡检方法，其特征在于，使用特征序列间注意力交互融合模块来对所述位置数据上下文语义特征向量的序列和所述巡检环境行进路线图像语义特征向量的序列进行处理以得到位置-巡检环境交互融合特征向量，包括：

计算所述位置数据上下文语义特征向量的序列和所述巡检环境行进路线图像语义特征向量的序列中任意两个特征向量之间的相关度以得到位置-巡检环境语义特征矩阵的序列；

基于所述位置-巡检环境语义特征矩阵的序列，对所述位置数据上下文语义特征向量的序列和所述巡检环境行进路线图像语义特征向量的序列进行特征交互注意力编码以得到注意力增强位置上下文语义特征向量的序列和注意力增强巡检环境语义特征向量的序列；

融合所述位置数据上下文语义特征向量的序列和所述注意力增强位置上下文语义特征向量的序列中相应位置的特征向量以得到位置融合语义特征向量的序列，并融合所述巡检环境行进路线图像语义特征向量的序列和所述注意力增强巡检环境语义特征向量的序列中相应位置的特征向量以得到巡检环境融合语义特征向量的序列；

对所述位置融合语义特征向量的序列进行最大值池化处理以得到位置融合最大值池化语义特征向量，并对所述巡检环融合语义特征向量的序列进行最大值池化处理以得到巡检环境融合最大值池化语义特征向量；以及

融合所述位置融合最大值池化语义特征向量和所述巡检环境融合最大值池化语义特征向量以得到所述位置-巡检环境交互融合特征向量。

6.根据权利要求5所述的地下管廊巡检机器人的自主巡检方法，其特征在于，基于所述位置-巡检环境交互融合特征，生成推荐的实时巡检路径，包括：将所述位置-巡检环境交互融合特征向量通过基于解码器的路径规划生成模块以得到推荐的实时巡检路径。

7.根据权利要求6所述的地下管廊巡检机器人的自主巡检方法，其特征在于，还包括训练步骤：用于对所述基于转换器的运动编码器、所述基于卷积神经网络模型的巡检环境行进路线图像特征提取器、所述特征序列间注意力交互融合模块和所述基于解码器的路径规划生成模块进行训练。

8.根据权利要求7所述的地下管廊巡检机器人的自主巡检方法，其特征在于，所述训练步骤，包括：

获取训练数据，所述训练数据包括由北斗-GIS系统采集的地下管廊巡检机器人在预定时间段内多个预定时间点的训练定位数据；以及，由部署于所述地下管廊巡检机器人的摄像头采集的所述多个预定时间点的训练巡检环境行进路线图像；

将所述多个预定时间点的训练定位数据进行编码以得到训练位置数据编码向量的序列；

将所述训练位置数据编码向量的序列通过基于转换器的运动编码器以得到所述训练位置数据上下文语义特征向量的序列；

将所述多个预定时间点的训练巡检环境行进路线图像通过基于卷积神经网络模型的巡检环境行进路线图像特征提取器以得到所述训练巡检环境行进路线图像语义特征向量的序列；

使用特征序列间注意力交互融合模块来对所述训练位置数据上下文语义特征向量的序列和所述训练巡检环境行进路线图像语义特征向量的序列进行处理以得到训练位置-巡检环境交互融合特征向量；

将所述训练位置-巡检环境交互融合特征向量通过解码器以得到解码损失函数值；

计算所述位置数据上下文语义特征向量的序列和所述巡检环境行进路线图像语义特征向量的序列之间的损失函数值；

计算所述损失函数值和所述解码损失函数值之间的加权和作为最终损失函数值；

基于所述最终损失函数值对所述基于转换器的运动编码器、所述基于卷积神经网络模型的巡检环境行进路线图像特征提取器、所述特征序列间注意力交互融合模块和所述基于解码器的路径规划生成模块进行训练。

9.一种地下管廊巡检机器人的自主巡检系统，其特征在于，包括：

定位数据获取模块，用于获取由北斗-GIS系统采集的地下管廊巡检机器人在预定时间段内多个预定时间点的定位数据；

图像获取模块，用于获取由部署于所述地下管廊巡检机器人的摄像头采集的所述多个预定时间点的巡检环境行进路线图像；

定位数据运动时序关联编码模块，用于对所述多个预定时间点的定位数据进行运动时序关联编码以得到位置数据上下文语义特征向量的序列；

巡检环境行进路线语义特征分析模块，用于对所述多个预定时间点的巡检环境行进路线图像进行巡检环境行进路线语义特征分析以得到巡检环境行进路线图像语义特征向量的序列；

特征交互融合分析模块，用于对所述位置数据上下文语义特征向量的序列和所述巡检环境行进路线图像语义特征向量的序列进行特征交互融合分析以得到位置-巡检环境交互融合特征；以及

推荐路径生成模块，用于基于所述位置-巡检环境交互融合特征，生成推荐的实时巡检路径。