CN118097612A - 基于机器视觉的巡检机器人避障系统及方法 - Google Patents

Abstract

公开了一种基于机器视觉的巡检机器人避障系统及方法。其首先通过巡检机器人的双目摄像头采集巡检环境的环境巡检图像，接着，对所述环境巡检图像进行图像分割以得到前景部分和背景部分，然后，对所述前景部分进行形态学处理以得到预处理后前景部分，接着，将所述预处理后前景部分进行分析以得到障碍物的类型和危险程度，最后，基于所述障碍物的类型和危险程度，确定避障策略。这样，可以提高机器人的巡检效率，降低人力风险，为地下综合管廊的管理和维护提供有力支持。

Description

基于机器视觉的巡检机器人避障系统及方法

技术领域

本申请涉及智能避障领域，且更为具体地，涉及一种基于机器视觉的巡检机器人避障系统及方法。

背景技术

地下综合管廊是一种集中布置各类城市管线的地下空间，具有节约土地、保护环境、提高城市管理效率等优点。然而，由于管廊内环境复杂多变，传统的人工巡检存在安全风险和效率低下的问题。因此，开发一种能够在管廊内自主巡检并能够有效避开各种障碍物的智能机器人具有重要意义。目前，国内外已有一些关于巡检机器人的研究，但大多数都是基于激光雷达或超声波传感器等传统传感器来实现避障功能，这些传感器的成本较高，且对于一些复杂的障碍物（如防火门、弯道等）的识别和处理能力较弱。

因此，期望一种基于机器视觉的巡检机器人避障系统。

发明内容

有鉴于此，本申请提出了一种基于机器视觉的巡检机器人避障系统及方法，其可以提高机器人的巡检效率，降低人力风险，为地下综合管廊的管理和维护提供有力支持。

根据本申请的一方面，提供了一种基于机器视觉的巡检机器人避障系统，其包括：

环境巡检图像采集模块，用于通过巡检机器人的双目摄像头采集巡检环境的环境巡检图像；

图像前背景分割模块，用于对所述环境巡检图像进行图像分割以得到前景部分和背景部分；

图像前景部分形态学分析模块，用于对所述前景部分进行形态学处理以得到预处理后前景部分；

障碍物检测模块，用于将所述预处理后前景部分进行分析以得到障碍物的类型和危险程度；以及

避免模块，用于基于所述障碍物的类型和危险程度，确定避障策略。

根据本申请的另一方面，提供了一种基于机器视觉的巡检机器人避障方法，其包括：

通过巡检机器人的双目摄像头采集巡检环境的环境巡检图像；

对所述环境巡检图像进行图像分割以得到前景部分和背景部分；

对所述前景部分进行形态学处理以得到预处理后前景部分；

将所述预处理后前景部分进行分析以得到障碍物的类型和危险程度；以及

基于所述障碍物的类型和危险程度，确定避障策略。

根据本申请的实施例，其首先通过巡检机器人的双目摄像头采集巡检环境的环境巡检图像，接着，对所述环境巡检图像进行图像分割以得到前景部分和背景部分，然后，对所述前景部分进行形态学处理以得到预处理后前景部分，接着，将所述预处理后前景部分进行分析以得到障碍物的类型和危险程度，最后，基于所述障碍物的类型和危险程度，确定避障策略。这样，可以提高机器人的巡检效率，降低人力风险，为地下综合管廊的管理和维护提供有力支持。

根据下面参考附图对示例性实施例的详细说明，本申请的其它特征及方面将变得清楚。

附图说明

包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本申请的示例性实施例、特征和方面，并且用于解释本申请的原理。

图1示出根据本申请的实施例的基于机器视觉的巡检机器人避障系统的框图。

图2示出根据本申请的实施例的基于机器视觉的巡检机器人避障系统中所述障碍物检测模块的框图。

图3示出根据本申请的实施例的基于机器视觉的巡检机器人避障方法的流程图。

图4示出根据本申请的实施例的基于机器视觉的巡检机器人避障方法的架构示意图。

图5示出根据本申请的实施例的基于机器视觉的巡检机器人避障系统的应用场景图。

图6示出地下综合管廊智能巡检机器人的架构示意图。

具体实施方式

下面将结合附图对本申请实施例中的技术方案进行清楚、完整地描述，显而易见地，所描述的实施例仅仅是本申请的部分实施例，而不是全部的实施例。基于本申请实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，也属于本申请保护的范围。

如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。

以下将参考附图详细说明本申请的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

另外，为了更好的说明本申请，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本申请同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本申请的主旨。

具体地，在本申请的技术方案中，提出了一种基于机器人视觉的巡检机器人避障方法，其包括：首先，通过巡检机器人的双目摄像头采集巡检环境的环境巡检图像。接着，对所述环境巡检图像进行图像分割以得到前景部分和背景部分，特别地，这里，所述前景部分为可能存在的障碍物，所述背景部分为可通行区域。然后，对所述前景部分进行形态学处理以得到预处理后前景部分，以此来去除噪声和孤立点，有利于后续提取出障碍物的边缘和轮廓特征信息，同时以便于计算出障碍物的位置和大小，以此来判断障碍物的类型和危险程度。继而，再将所述预处理后前景部分进行分析以得到障碍物的类型和危险程度。特别地，如果障碍物为动态的或者高度超过机器人的一定阈值，则认为是危险障碍物，需要避开；如果障碍物为静态的且高度较低，则认为是安全障碍物，可以越过或绕行。最后，基于所述障碍物的类型和危险程度，确定避障策略，包括停止、后退、转向、绕行等，并通过控制器发送给机器人执行。

相应地，图1示出根据本申请的实施例的基于机器视觉的巡检机器人避障系统的框图示意图。如图1所示，根据本申请实施例的基于机器视觉的巡检机器人避障系统100，包括：环境巡检图像采集模块110，用于通过巡检机器人的双目摄像头采集巡检环境的环境巡检图像；图像前背景分割模块120，用于对所述环境巡检图像进行图像分割以得到前景部分和背景部分；图像前景部分形态学分析模块130，用于对所述前景部分进行形态学处理以得到预处理后前景部分；障碍物检测模块140，用于将所述预处理后前景部分进行分析以得到障碍物的类型和危险程度；以及，避免模块150，用于基于所述障碍物的类型和危险程度，确定避障策略。

考虑到在实际进行巡检机器人的巡检避障过程中，对于所述预处理后前景部分进行分析以判断障碍物的类型和危险程度尤为重要，其是障碍物识别和制定后续避障策略的关键。基于此，本申请的技术构思为在得到图像的预处理后前景部分后，在后端引入图像处理和分析算法来进行所述预处理后前景部分的分析，以此来判断障碍物的类型和危险程度，并根据不同障碍物的类型和危险程度采取不同的避障策略，提高了巡检机器人的安全性和效率。相比传统的基于激光雷达或超声波传感器的避障方法，基于机器视觉的巡检机器人避障系统具有成本低、识别准确和处理灵活等优点，能够提高机器人的巡检效率，降低人力风险，为地下综合管廊的管理和维护提供有力支持。

具体地，在本申请的技术方案中，在将所述预处理后前景部分进行分析以判断障碍物的类型和危险程度的过程中，使用在图像的隐含特征提取方面具有优异表现性能的卷积神经网络模型来进所述预处理后前景部分的特征分析和刻画。特别地，考虑到在实际进行障碍物检测时，不仅需要关注于障碍物的深层语义特征，还应更加关注于障碍物的浅层特征信息，例如障碍物的边缘和轮廓特征，以此来更容易地判断障碍物的位置和大小等信息，从而有利于进行避障策略的制定。因此，在本申请的技术方案中，将所述预处理后前景部分通过基于金字塔网络的图像特征提取器以得到障碍物对象浅层特征图和障碍物对象深层特征图。应可以理解，在巡检机器人避障系统中，通过将所述预处理后的前景部分输入金字塔网络，可以得到关于障碍物对象的浅层特征图和深层特征图。其中，所述浅层特征图通常包含更多的低级特征，如障碍物的边缘和纹理信息，而所述深层特征图则包含更高级的语义信息，如物体的形状和结构。这样，可以获得更丰富和多样化的障碍物特征表示，从而更准确地描述障碍物的特征和属性，以提高障碍物的识别性能。

相应地，如图2所示，所述障碍物检测模块140，包括：障碍物对象多尺度特征提取单元141，用于通过基于深度神经网络模型的图像特征提取器对所述预处理后前景部分进行特征提取以得到障碍物对象浅层特征图和障碍物对象深层特征图；障碍物对象深层特征通道显化单元142，用于对所述障碍物对象深层特征图进行通道显化处理以得到通道显化障碍物对象深层特征图；特征融合单元143，用于融合所述通道显化障碍物对象深层特征图和所述障碍物对象浅层特征图以得到障碍物对象强化融合特征；以及，障碍物类型和危险程度检测单元144，用于基于所述障碍物对象强化融合特征，确定障碍物的类型和危险程度。

其中，所述深度神经网络模型为金字塔网络。值得一提的是，金字塔网络（PyramidNetwork）是一种深度神经网络模型，其主要特点是通过多尺度的特征表示来处理输入数据。金字塔网络的结构类似于金字塔，底部是输入数据的低分辨率表示，而顶部是高分辨率的表示。金字塔网络的主要用途是解决图像处理任务中的尺度变化问题。在障碍物检测中，例如在不同距离和尺寸的障碍物上进行检测，金字塔网络可以通过多尺度特征提取来识别不同大小的障碍物。通过在不同层次的金字塔网络中提取特征，可以捕捉到不同尺度的物体信息，从而提高检测的准确性和鲁棒性。金字塔网络通过多尺度的特征表示来解决尺度变化问题，能够有效地应用于障碍物检测以及其他需要处理不同尺度目标的计算机视觉任务中。

然后，为了进一步增强关于障碍物的特征表示和提取关键信息，在本申请的技术方案中，将所述障碍物对象深层特征图通过通道注意力层以得到通道显化障碍物对象深层特征图。应可以理解，在巡检机器人避障系统中，通过所述通道注意力层的处理，系统可以自动学习并调整每个通道的权重，以突出对障碍物分类和识别具有区分性和重要性的特征通道，而对于无关或冗余的通道进行抑制，从而提供更具有判别性的特征表示。这样，能够增强有关于障碍物的形状和结构等特征表示的表达能力，有助于后续的障碍物分类和危险程度判断，以及制定相应的避障策略。

相应地，所述障碍物对象深层特征通道显化单元142，用于：将所述障碍物对象深层特征图通过通道注意力层以得到所述通道显化障碍物对象深层特征图。值得一提的是，通道注意力层（Channel Attention Layer）是一种在深度神经网络中使用的注意力机制，用于增强网络对不同通道之间的特征关联性的建模能力。它主要用于提取和强化特征图中不同通道之间的相关信息，以帮助网络更好地理解和利用通道间的特征表示。通道注意力层的输入是一个特征图，通常是卷积神经网络中某一层的输出。该特征图由多个通道组成，每个通道表示不同的特征信息。通道注意力层通过学习一个权重向量，对每个通道的特征进行加权，以强调重要的特征通道并抑制不重要的特征通道。通道注意力层的主要思想是通过计算每个通道的重要性权重，来自适应地调整每个通道的特征响应。这可以通过使用全局平均池化或全局最大池化操作来计算每个通道的权重。然后，这些权重被应用于特征图中的每个通道，以加权地融合不同通道的特征表示。通道注意力层的输出是经过加权融合后的特征图，其中重要的特征通道得到了增强，而不重要的特征通道被抑制。这样可以提高网络对于重要特征的关注度，从而提升网络的表达能力和性能。总之，通道注意力层是一种注意力机制，用于增强深度神经网络对不同通道之间特征关联性的建模能力，通过加权融合特征图中的不同通道，以提高网络的表达能力和性能。

进一步地，由于所述障碍物对象浅层特征图和所述通道显化障碍物对象深层特征图分别捕捉到了障碍物的边缘和位置特征以及形状和结构特征信息。通过融合这两个层次的特征，可以综合利用它们的优势，提高障碍物特征的表达能力和判别性，这有助于更为准确地对于障碍物的类型和危险程度进行判断。基于此，在本申请的技术方案中，进一步使用残差信息增强融合模块来融合所述通道显化障碍物对象深层特征图和所述障碍物对象浅层特征图以得到语义掩码强化障碍物对象浅层特征图。应可以理解，残差连接是一种跳跃连接的方式，这种连接方式可以使网络更容易学习到所述通道显化障碍物对象深层特征图和所述障碍物对象浅层特征图中的残差特征信息，即两个特征图之间的差异。通过残差连接，可以利用所述通道显化障碍物对象深层特征图和所述障碍物对象浅层特征图进行语义掩码强化，以增强所述障碍物对象浅层特征图的语义表示能力，使所述障碍物对象浅层特征图更加关注和强调与障碍物相关的掩码强化浅层语义特征信息，提高模型对障碍物的识别能力。

相应地，所述特征融合单元143，用于：使用残差信息增强融合模块来融合所述通道显化障碍物对象深层特征图和所述障碍物对象浅层特征图以得到语义掩码强化障碍物对象浅层特征图作为所述障碍物对象强化融合特征。

继而，再将所述语义掩码强化障碍物对象浅层特征图通过分类器以得到分类结果，所述分类结果用于表示障碍物的类型和危险程度。也就是说，利用语义掩码强化后的有关于障碍物对象的浅层语义特征信息来进行分类处理，以此来判断障碍物的类型和危险程度，并根据不同障碍物的类型和危险程度采取不同的避障策略，以提高巡检机器人的安全性和效率。相比传统的基于激光雷达或超声波传感器的避障方法，基于机器视觉的巡检机器人避障系统具有成本低、识别准确和处理灵活等优点，能够提高机器人的巡检效率，降低人力风险，为地下综合管廊的管理和维护提供有力支持。

相应地，所述障碍物类型和危险程度检测单元144，用于：将所述语义掩码强化障碍物对象浅层特征图通过分类器以得到分类结果，所述分类结果用于表示障碍物的类型和危险程度。

更具体地，所述障碍物类型和危险程度检测单元144，进一步用于：将所述语义掩码强化障碍物对象浅层特征图按照行向量或者列向量展开为分类特征向量；使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，将所述编码分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。

应可以理解，分类器的作用是利用给定的类别、已知的训练数据来学习分类规则和分类器，然后对未知数据进行分类（或预测）。逻辑回归（logistics）、SVM等常用于解决二分类问题，对于多分类问题（multi-class classification），同样也可以用逻辑回归或SVM，只是需要多个二分类来组成多分类，但这样容易出错且效率不高，常用的多分类方法有Softmax分类函数。

进一步地，在本申请的技术方案中，所述的基于机器视觉的巡检机器人避障系统，其还包括用于对所述基于金字塔网络的图像特征提取器、所述通道注意力层、所述残差信息增强融合模块和所述分类器进行训练的训练模块。应可以理解，训练模块在基于机器视觉的巡检机器人避障系统中起着关键的作用。它用于对系统中的各个组件进行训练，以使它们能够有效地执行避障任务并做出准确的决策。具体来说，训练模块用于对以下组件进行训练：1.基于金字塔网络的图像特征提取器：金字塔网络的图像特征提取器是用于提取图像中的障碍物特征的关键组件。通过训练模块，可以对图像特征提取器进行训练，使其能够准确地提取出障碍物的特征，以便后续的障碍物检测和分类。2.通道注意力层：通道注意力层用于增强特征图中不同通道之间的特征关联性。通过训练模块，可以对通道注意力层进行训练，使其能够学习到适合当前任务的通道权重，以更好地捕捉重要的特征通道。3.残差信息增强融合模块：残差信息增强融合模块用于将不同层次的特征进行融合，以提高障碍物检测和分类的性能。通过训练模块，可以对该模块进行训练，使其能够准确地融合特征，并提供有助于决策的增强特征表示。4.分类器：分类器是用于对障碍物进行类型和危险程度分类的组件。通过训练模块，可以对分类器进行训练，使其能够根据提取到的特征准确地对障碍物进行分类，以便机器人能够做出正确的避障决策。综合来说，训练模块在基于机器视觉的巡检机器人避障系统中扮演着关键角色，通过对系统各个组件的训练，提高了系统的性能和准确性，使机器人能够更好地执行避障任务。

其中，在一个示例中，所述训练模块，包括：训练数据采集单元，用于获取训练数据，所述训练数据包括训练预处理后前景部分，以及，所述障碍物的类型和危险程度的真实值；训练障碍物特征提取单元，用于将所述训练预处理后前景部分通过所述基于金字塔网络的图像特征提取器以得到训练障碍物对象浅层特征图和训练障碍物对象深层特征图；训练障碍物深层特征通道强化单元，用于将所述训练障碍物对象深层特征图通过所述通道注意力层以得到训练通道显化障碍物对象深层特征图；训练障碍物深前特征融合单元，用于使用所述残差信息增强融合模块来融合所述训练通道显化障碍物对象深层特征图和所述训练障碍物对象浅层特征图以得到训练语义掩码强化障碍物对象浅层特征图；特征优化单元，用于对所述训练语义掩码强化障碍物对象浅层特征图进行优化以得到优化训练语义掩码强化障碍物对象浅层特征图；分类损失单元，用于将所述优化训练语义掩码强化障碍物对象浅层特征图通过所述分类器以得到分类损失函数值；以及，模型训练单元，用于基于所述分类损失函数值并通过梯度下降的方向传播来对所述基于金字塔网络的图像特征提取器、所述通道注意力层、所述残差信息增强融合模块和所述分类器进行训练。

特别地，在本申请的技术方案中，所述训练障碍物对象浅层特征图和所述训练障碍物对象深层特征图分别表达所述训练预处理后前景部分的基于金字塔网络的不同尺度的浅层和深层图像语义特征，并且，考虑到所述训练障碍物对象深层特征图在所述训练障碍物对象浅层特征图的基础上在特征关联尺度上的语义特征表达增强，进一步通过通道注意力层以在通道维度上提升特征表达。这样，再使用残差信息增强融合模块来融合所述训练通道显化障碍物对象深层特征图和所述训练障碍物对象浅层特征图后，得到的所述训练语义掩码强化障碍物对象浅层特征图不仅具有浅层和深层图像语义特征表示，而且具有基于残差信息的跨尺度和跨深度层间图像残差语义表示，从而提升了所述训练语义掩码强化障碍物对象浅层特征图的表达效果。

但是，考虑到所述训练语义掩码强化障碍物对象浅层特征图在跨尺度和跨深度的图像语义特征上的不同特征关联方式，所述训练语义掩码强化障碍物对象浅层特征图的整体特征分布也会存在相异关联特征分布的表示稀疏化，从而导致将所述训练语义掩码强化障碍物对象浅层特征图通过分类器进行类概率回归映射时，所述语义掩码强化障碍物对象浅层特征图在类概率密度域下的概率密度表示稀疏化，影响所述语义掩码强化障碍物对象浅层特征图在分类回归时的收敛效果。因此，优选地，对所述训练语义掩码强化障碍物对象浅层特征图进行优化。

相应地，在一个示例中，所述特征优化单元，进一步用于：以如下优化公式对所述训练语义掩码强化障碍物对象浅层特征图进行优化以得到所述优化训练语义掩码强化障碍物对象浅层特征图；其中，所述优化公式为：；其中，/>表示所述训练语义掩码强化障碍物对象浅层特征图，/>表示所述训练语义掩码强化障碍物对象浅层特征图/>的逐位置平方图，/>为参数可训练的中间权重图，例如基于所述训练语义掩码强化障碍物对象浅层特征图的整体分布稀疏化，初始设置为其每个特征矩阵的特征值为所述训练语义掩码强化障碍物对象浅层特征图/>的全局特征值均值，此外，/>为所有特征值为1的单位图，/>表示过渡图，/>表示所述过渡图的逐位置平方图，/>表示按位置相加，/>表示按位置点乘，/>表示所述优化训练语义掩码强化障碍物对象浅层特征图。

这里，为了优化所述训练语义掩码强化障碍物对象浅层特征图的稀疏概率密度在整体概率空间内的分布均匀性和一致性，通过类标准柯西分布式的尾部分布加强机制，来对所述训练语义掩码强化障碍物对象浅层特征图/>在高维特征空间内的距离式空间分布进行基于空间角度倾斜式的距离分布优化，以实现所述训练语义掩码强化障碍物对象浅层特征图/>的各个局部特征分布的距离弱相关的特征分布空间共振，从而提升所述训练语义掩码强化障碍物对象浅层特征图/>整体分布一致性，从而提升所述训练语义掩码强化障碍物对象浅层特征图/>在概率密度分布层面相对于回归概率收敛的均匀性和一致性，改进其分类收敛效果，即分类收敛的速度和分类结果的准确性。这样，能够基于巡检机器人采集的环境巡检图像中关于障碍物的特征信息来判断障碍物的类型和危险程度，并根据不同障碍物的类型和危险程度采取不同的避障策略，提高了巡检机器人的安全性和巡检效率，为地下综合管廊的管理和维护提供有力支持。

综上，基于本申请实施例的基于机器视觉的巡检机器人避障系统100被阐明，其可以提高机器人的巡检效率，降低人力风险，为地下综合管廊的管理和维护提供有力支持。

如上所述，根据本申请实施例的所述基于机器视觉的巡检机器人避障系统100可以实现在各种终端设备中，例如具有基于机器视觉的巡检机器人避障算法的服务器等。在一个示例中，基于机器视觉的巡检机器人避障系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该基于机器视觉的巡检机器人避障系统100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该基于机器视觉的巡检机器人避障系统100同样可以是该终端设备的众多硬件模块之一。

替换地，在另一示例中，该基于机器视觉的巡检机器人避障系统100与该终端设备也可以是分立的设备，并且该基于机器视觉的巡检机器人避障系统100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。

图3示出根据本申请的实施例的基于机器视觉的巡检机器人避障方法的流程图。图4示出根据本申请的实施例的基于机器视觉的巡检机器人避障方法的系统架构的示意图。如图3和图4所示，根据本申请实施例的基于机器视觉的巡检机器人避障方法，其包括：S110，通过巡检机器人的双目摄像头采集巡检环境的环境巡检图像；S120，对所述环境巡检图像进行图像分割以得到前景部分和背景部分；S130，对所述前景部分进行形态学处理以得到预处理后前景部分；S140，将所述预处理后前景部分进行分析以得到障碍物的类型和危险程度；以及，S150，基于所述障碍物的类型和危险程度，确定避障策略。

在一种可能的实现方式中，将所述预处理后前景部分进行分析以得到障碍物的类型和危险程度，包括：通过基于深度神经网络模型的图像特征提取器对所述预处理后前景部分进行特征提取以得到障碍物对象浅层特征图和障碍物对象深层特征图；对所述障碍物对象深层特征图进行通道显化处理以得到通道显化障碍物对象深层特征图；融合所述通道显化障碍物对象深层特征图和所述障碍物对象浅层特征图以得到障碍物对象强化融合特征；以及，基于所述障碍物对象强化融合特征，确定障碍物的类型和危险程度。

这里，本领域技术人员可以理解，上述基于机器视觉的巡检机器人避障方法中的各个步骤的具体操作已经在上面参考图1到图2的基于机器视觉的巡检机器人避障系统的描述中得到了详细介绍，并因此，将省略其重复描述。

图5示出根据本申请的实施例的基于机器视觉的巡检机器人避障系统的应用场景图。如图5所示，在该应用场景中，首先，通过巡检机器人的双目摄像头采集巡检环境的环境巡检图像（例如，图5中所示意的D），然后，将所述环境巡检图像输入至部署有基于机器视觉的巡检机器人避障算法的服务器（例如，图5中所示意的S）中，其中，所述服务器能够使用所述基于机器视觉的巡检机器人避障算法对所述环境巡检图像进行处理以得到用于表示障碍物的类型和危险程度的分类结果。

应可以理解，综合管廊，就是地下城市管道综合走廊，即在城市地下建造一个隧道空间，将电力、通信，燃气、供热、给排水等各种工程管线集于一体。地下综合管廊虽然结构较为单一但管廊内有各种设备设施，且属线性工程，人工巡检有较大难度及困难，基于此，本申请结合前期研究移动式多功能载物平台的基础上，发散思维，以智能机器人代替人工进行管廊巡检工作。本申请采用移动机器人为载体，以可见光摄像机、红外热成像仪等检测仪器为载荷系统，以机器视觉-电磁场-北斗-GIS的多场景融合作为机器人自动移动和自主巡检的导航系统，从而实现智能机器人自主巡检工作。

地下管廊短则几公里，长则数十公里，且管廊内部结构复杂，包括多个坡道及转弯处，遇到这种情况，需要机器人能够自主稳定的通过弯道及坡道。此外，管廊内设施多且布置位置不一，需要机器人具有障碍物检测识别与定位、自主越障等功能。最后，由于机器人巡检工作需要大量精密仪器，所以其稳定行也是必须要考虑的问题。基于此，对机器人的机械结构有很多要求，需要有自主转向系统来让机器人通过弯道，需要有动力系统来支持机器人爬坡，需要有履带式结构协助机器人越障，也需要有避震系统保护机器人所携带的精密仪器。

机器人巡检过程，首先需要对管廊环境进行检测，包括温湿度、一氧化碳、甲醛等气体进行检测，其次，需要对火灾发出预警信息。基于此，需要在机器人上配备各种传感器，如DHT11温湿度传感器、MO-7一氧化碳传感器ZE08-CH20甲醛传感器等以及烟雾火灾报警器等。更具体地，地下综合管廊智能巡检机器人的架构如图6所示。

由于管廊位于地下，部分区域可能存在信号弱或无信号情况，因此，信息及时准确的传递是必须要考虑的问题，基于此，本申请进一步使用AP。无线接入点(AP)是无线局域网的一种典型应用，AP是Access Point的简称，就是所谓的“无线访问节点”，无线AP是无线网和有线网之间沟通的桥梁，是组建无线局域网(WLAN)的核心设备它主要是提供无线工作站和有线局域网之间的互相访问，这样，在AP信号覆盖范围内的无线工作站可以通过它进行相互通信，没有AP基本上就无法组建真正意义上可访问Intermet的WLAN。AP在WLAN中就相当于发射基站在移动通信网络中的角色。通过AP对机器人检测的各项数据、图像进行上传，管理人员及时对上传的数据图像进行处理，及时排查各项安全隐患。

相应地，本申请的技术方案具有如下优势：使用北斗-GIS-机器视觉作为定位规划系统，北斗-GIS提供精准定位并规划路线，使用机器视觉作为辅助系统，用机器代替人眼来做测量和判断，通过机器视觉，机器人可以自主避开障碍物；地下综合管廊存在弯道多、障碍多(防火门等)等特点，智能机器人在会经过多种障碍及弯道才能完成整个管廊的巡检工作管廊内自主巡检时，使用履带式移动方式有助于机器人在管廊内完成各种工作提供了技术支撑。

附图中的流程图和框图显示了根据本申请的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种基于机器视觉的巡检机器人避障系统，其特征在于，包括：

环境巡检图像采集模块，用于通过巡检机器人的双目摄像头采集巡检环境的环境巡检图像；

图像前背景分割模块，用于对所述环境巡检图像进行图像分割以得到前景部分和背景部分；

图像前景部分形态学分析模块，用于对所述前景部分进行形态学处理以得到预处理后前景部分；

障碍物检测模块，用于将所述预处理后前景部分进行分析以得到障碍物的类型和危险程度；以及

避免模块，用于基于所述障碍物的类型和危险程度，确定避障策略。

2.根据权利要求1所述的基于机器视觉的巡检机器人避障系统，其特征在于，所述障碍物检测模块，包括：

障碍物对象多尺度特征提取单元，用于通过基于深度神经网络模型的图像特征提取器对所述预处理后前景部分进行特征提取以得到障碍物对象浅层特征图和障碍物对象深层特征图；

障碍物对象深层特征通道显化单元，用于对所述障碍物对象深层特征图进行通道显化处理以得到通道显化障碍物对象深层特征图；

特征融合单元，用于融合所述通道显化障碍物对象深层特征图和所述障碍物对象浅层特征图以得到障碍物对象强化融合特征；以及

障碍物类型和危险程度检测单元，用于基于所述障碍物对象强化融合特征，确定障碍物的类型和危险程度。

3.根据权利要求2所述的基于机器视觉的巡检机器人避障系统，其特征在于，所述深度神经网络模型为金字塔网络。

4.根据权利要求3所述的基于机器视觉的巡检机器人避障系统，其特征在于，所述障碍物对象深层特征通道显化单元，用于：将所述障碍物对象深层特征图通过通道注意力层以得到所述通道显化障碍物对象深层特征图。

5.根据权利要求4所述的基于机器视觉的巡检机器人避障系统，其特征在于，所述特征融合单元，用于：使用残差信息增强融合模块来融合所述通道显化障碍物对象深层特征图和所述障碍物对象浅层特征图以得到语义掩码强化障碍物对象浅层特征图作为所述障碍物对象强化融合特征。

6.根据权利要求5所述的基于机器视觉的巡检机器人避障系统，其特征在于，所述障碍物类型和危险程度检测单元，用于：将所述语义掩码强化障碍物对象浅层特征图通过分类器以得到分类结果，所述分类结果用于表示障碍物的类型和危险程度。

7.根据权利要求6所述的基于机器视觉的巡检机器人避障系统，其特征在于，还包括用于对所述基于金字塔网络的图像特征提取器、所述通道注意力层、所述残差信息增强融合模块和所述分类器进行训练的训练模块。

8.根据权利要求7所述的基于机器视觉的巡检机器人避障系统，其特征在于，所述训练模块，包括：

训练数据采集单元，用于获取训练数据，所述训练数据包括训练预处理后前景部分，以及，所述障碍物的类型和危险程度的真实值；

训练障碍物特征提取单元，用于将所述训练预处理后前景部分通过所述基于金字塔网络的图像特征提取器以得到训练障碍物对象浅层特征图和训练障碍物对象深层特征图；

训练障碍物深层特征通道强化单元，用于将所述训练障碍物对象深层特征图通过所述通道注意力层以得到训练通道显化障碍物对象深层特征图；

训练障碍物深前特征融合单元，用于使用所述残差信息增强融合模块来融合所述训练通道显化障碍物对象深层特征图和所述训练障碍物对象浅层特征图以得到训练语义掩码强化障碍物对象浅层特征图；

特征优化单元，用于对所述训练语义掩码强化障碍物对象浅层特征图进行优化以得到优化训练语义掩码强化障碍物对象浅层特征图；

分类损失单元，用于将所述优化训练语义掩码强化障碍物对象浅层特征图通过所述分类器以得到分类损失函数值；以及

模型训练单元，用于基于所述分类损失函数值并通过梯度下降的方向传播来对所述基于金字塔网络的图像特征提取器、所述通道注意力层、所述残差信息增强融合模块和所述分类器进行训练。

9.一种基于机器视觉的巡检机器人避障方法，其特征在于，包括：

通过巡检机器人的双目摄像头采集巡检环境的环境巡检图像；

对所述环境巡检图像进行图像分割以得到前景部分和背景部分；

对所述前景部分进行形态学处理以得到预处理后前景部分；

将所述预处理后前景部分进行分析以得到障碍物的类型和危险程度；以及

基于所述障碍物的类型和危险程度，确定避障策略。

10.根据权利要求9所述的基于机器视觉的巡检机器人避障方法，其特征在于，将所述预处理后前景部分进行分析以得到障碍物的类型和危险程度，包括：

通过基于深度神经网络模型的图像特征提取器对所述预处理后前景部分进行特征提取以得到障碍物对象浅层特征图和障碍物对象深层特征图；

对所述障碍物对象深层特征图进行通道显化处理以得到通道显化障碍物对象深层特征图；

融合所述通道显化障碍物对象深层特征图和所述障碍物对象浅层特征图以得到障碍物对象强化融合特征；以及

基于所述障碍物对象强化融合特征，确定障碍物的类型和危险程度。