CN117021136A - 一种箱梁巡检机器人 - Google Patents

Abstract

本申请提供一种箱梁巡检机器人，包括：运动平台以及搭载在所述运动平台上的采集模块、控制模块和检测模块；所述控制模块，用于构建箱梁内部地图并进行定位，以及，用于根据预设路线控制运动平台移动，并控制采集模块沿路采集箱梁内壁图像发送至所述检测模块；所述检测模块用于识别所述箱梁内壁图像是否存在病害，在确定箱梁内壁存在病害时，记录当前位置。本申请提供的箱梁巡检机器人，能够在箱梁内部采集箱梁内壁的图像信息，并对图像进行识别判断，确定箱梁内壁病害位置。

Description

一种箱梁巡检机器人

技术领域

本申请涉及桥梁检修领域，尤其涉及一种箱梁巡检机器人。

技术背景

为了保证线路质量与运营安全，高速公路常常采用“以桥代路”的建设方法，其中使用频率最多的桥梁类型为箱梁结构，在桥梁服役的过程中伴随着环境的侵蚀和各类荷载反复作用，会出现的涂层劣化、钢板腐蚀、疲劳开裂等病害问题。

目前，对于连续箱梁内部的检查属于桥梁结构隐蔽性部位的检查，主要依靠人工目测进行观察。但是，箱梁内部的结构坎坷且没有照明设施，采用人工检查的方式不仅会因为内部昏暗且不便行走导致检查效率底下，还会因为箱梁内部顶板过高，无法进行近距离观测与标记，并且受检修人员的主观判断因素影响，导致检查结果不准确。

发明内容

针对上述问题，本申请提供了一种箱梁巡检机器人，该机器人能够在箱梁内部采集箱梁内壁的图像信息，并对图像进行识别判断，确定箱梁内壁病害位置。

为实现本申请的目的，本申请提供如下的技术方案：

本申请提供一种箱梁巡检机器人，包括：运动平台以及搭载在所述运动平台上的采集模块、控制模块和检测模块；

所述控制模块，用于构建箱梁内部地图并进行定位，以及，用于根据预设路线控制运动平台移动，并控制采集模块沿路采集箱梁内壁图像发送至所述检测模块；

所述检测模块用于识别所述箱梁内壁图像是否存在病害，在确定箱梁内壁存在病害时，记录当前位置。

在一种可能的实现方式中，所述控制模块根据激光雷达数据和里程信息构建所述箱梁内部地图，并根据箱梁巡检机器人的移动获取不断更新的所述激光雷达数据和所述里程信息，采用不断更新的所述激光雷达数据和所述里程信息更新所述箱梁内部地图；

所述激光雷达数据通过搭载在所述运动平台上的激光雷达获取；

所述里程信息通过所述运动平台的光电编码器获取。

在一种可能的实现方式中，所述控制模块当所述传感模块探测到预设路线上存在障碍物时，通过所述激光雷达数据与已知箱梁内部地图进行对比识别出所述箱梁内部地图上没有障碍物的区域，并自动创建新的路径。

在一种可能的实现方式中，所述检测模块在接收到所述箱梁内壁图像后，通过全卷积神经网络模型对所述箱梁内壁图像进行特征提取，对病害图像进行Labelme标注和掩膜处理，建立训练数据集，并采用语义分割模型训练病害模型。

在一种可能的实现方式中，所述检测模块对所述箱梁内壁图像进行特征提取时，采用二值化裂缝骨骼提取法区分裂缝灰度级别，保留各个子图像中病害边缘图像并进行精细化处理。

在一种可能的实现方式中，所述控制模块通过生成式对抗网络学习箱梁内壁图像中的几何结构信息，度量真实目标帧和重建的目标帧的相似性，预测深度图和位姿，再通过注意力机制捕获图像中的全局依赖关系，实现箱梁内部环境的3D重构。

在一种可能的实现方式中，所述运动平台还搭载有RGB摄像头；所述控制模块接收t-1，t，t+1三个时刻所述RGB摄像头发送的箱梁内部双目序列图像以及t时刻的箱梁内部图像目标帧，生成所述目标帧的重建图像，并以所述目标帧作为真实标签判断所述目标帧的重建图像的真假程度。

在一种可能的实现方式中，所述控制模块还用于通过自注意力机制捕获全局的依赖关系，对关联全局信息建立长距离的依赖关系。

在一种可能的实现方式中，所述箱梁巡检机器人，还包括：照明模块，用于在箱梁内部提供照明。

本申请的有益效果为：

通过本申请提供的箱梁巡检机器人，能够在箱梁内部获取箱梁内部地图与自身位置信息，根据自身位置信息依照预设路线进行移动并采集箱梁内壁的图像信息，在遇到障碍物时自动调整行进路线；并且能够根据箱梁内壁的图像信息，判断箱梁内壁是否存在病害，同时对箱梁内部进行3D环境重构。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制；

图1为本申请实施例提供的一种箱梁巡检机器人的结构图；

图2为本申请实施例提供的一种箱梁巡检机器人的结构图；

图3为本申请实施例提供的一种箱梁巡检机器人系统架构图；

图4为本申请实施例提供的一种箱梁巡检机器人创建地图示意图；

图5为本申请实施例提供的一种箱梁巡检机器人生成器中位姿估计网络的架构示意图；

图6为本申请实施例提供的一种箱梁巡检机器人生成式对抗网络中判断器的架构示意图；

图7为本申请实施例提供的一种箱梁巡检机器人自注意力机制的架构示意图；

图8为本申请实施例提供的一种箱梁巡检机器人生成器中深度估计网络的架构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征；在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。

实施例1

图1-2为本申请实施例提供的一种箱梁巡检机器人，包括：运动平台1以及搭载在所述运动平台1上的采集模块2、控制模块3和检测模块；

所述控制模块3，用于构建箱梁内部地图并进行定位，以及，用于根据预设路线控制运动平台1移动，并控制采集模块2沿路采集箱梁内壁图像发送至所述检测模块；

所述检测模块用于识别所述箱梁内壁图像是否存在病害，在确定箱梁内壁存在病害时，记录当前位置。

可选的，采用机器人操作系统(ROS)进行构建地图功能包，地图服务器(map_server)能利用激光雷达数据和机器人的里程计信息创建地图，当机器人移动时，slam_gmapping节点都会更新激光雷达和里程数据，并对机器人的位姿估计和地图的计算上获得更优的计算机结果，最后更新地图状态将没有被障碍物占据的网格都加入到地图中，如图4所示；

ROS的导航功能包使用自适应蒙特卡罗定位(AMCL)算法完成机器人定位，AMCL是一种用于在2D环境下移动机器人的概率统计定位方法。这种算法在ROS系统中的具体是通过在已知地图的基础上使用粒子滤波算法跟踪机器人位姿实现的。AMCL定位节点主要使用激光扫描和激光雷达地图，并且它可以通过修改代码以适应其他类型的传感器数据，例如声呐或双目视觉系统。

在一种可能的实施方式中，所述控制模块3根据激光雷达数据和里程信息构建所述箱梁内部地图，并根据箱梁巡检机器人的移动获取不断更新的所述激光雷达数据和所述里程信息，采用不断更新的所述激光雷达数据和所述里程信息，更新所述箱梁内部地图；

所述激光雷达数据通过搭载在所述运动平台1上的激光雷达7获取；

所述里程信息通过所述运动平台1的光电编码器获取。

可选的，激光雷达和双目视觉融合的SLAM重建方法采用一种深度插值算法，并使用语义分割网络deeplabv3+实现了语义图像和激光雷达扫描的融合，激光雷达点提供的准确深度信息用于优化基于特征的V-SLAM的定位精度。并且增加一个稠密建图线程，通过结合姿态和语义信息，同时重建箱梁内部环境的三维语义地图并定位巡检机器人。

其中，深度插值算法：基于投影和插值方法，实现了稀疏激光雷达点云的上采样，并与高分辨率的2D图像进行融合。

可选的，所述光电编码器设置在驱动电机上，用于获取运动平台的里程信息。

在一种可能的实现方式中，所述运动平台上还搭载有传感模块；

所述控制模块根据预设路线控制所述运动平台移动，在所述运动平台移动过程中，当所述传感模块探测到预设路线上存在障碍物时，对所述预设路径进行重新规划。

可选的，所述传感模块，包括：红外防跌落传感器、超声测距传感器。

在一种可能的实施方式中，所述运动平台1上还搭载有传感模块；

所述控制模块3根据预设路线控制所述运动平台1移动，在所述运动平台1移动过程中，当所述传感模块探测到预设路线上存在障碍物时，对所述预设路径进行重新规划。

在一种可能的实施方式中，所述控制模块3当所述传感模块探测到预设路线上存在障碍物时，通过所述激光雷达数据与已知箱梁内部地图进行对比识别出所述箱梁内部地图上没有障碍物的区域，并自动创建新的路径。

可选的，在机器人运行时遇到障碍物，能够对原定路径进行重新规划和计算，导航功能包集会通过激光雷达的扫描数据与已知地图进行对比识别出地图上没有的障碍物并自动创建新的路径。当机器人探测到可能的碰撞时，它会改变运动方向，并尝试向目标移动。

在一种可能的实施方式中，所述检测模块在接收到所述箱梁内壁图像后，通过全卷积神经网络模型对所述箱梁内壁图像进行特征提取，对病害图像进行Labelme标注和掩膜处理，建立训练数据集，并采用语义分割模型训练病害模型。

可选的，通过对基于图像分割的灰度共生矩阵的SSIM算法的相似度阀值判断，实现病害存在与否的区分，并建立卷积神经网络模型进行图像的特征提取，对病害图像进行Labelme标注和掩膜处理，对数据集进行增强扩充，建立训练数据集，并采用基于DeepLabv3+创新设计语义分割模型训练病害模型；该模型为了融合多尺度信息，引入语义分割常用的encoder-decoder。在encoder-decoder架构中，引入可任意控制编码器提取特征的分辨率，通过空洞卷积平衡精度和耗时。同时加入Xception模型，在ASPP和解码模块使用depthwiseseparable convolution，提高encoder-decoder的运行速率和健壮性；最终建立箱梁病害的检测模型，并通过新的检测结果不断更新数据集，优化训练模型，实现病害检测并通过机器学习对结果进行检验校正。

在一种可能的实施方式中，所述检测模块对所述箱梁内壁图像进行特征提取时，采用二值化裂缝骨骼提取法区分裂缝灰度级别，保留各个子图像中病害边缘图像并进行精细化处理。

其中，获取保留各个子图像中病害边缘图像通过预设滑动窗口遍历获得各个子图像的平均阈值通过率函数处理实现；

对病害边缘的精细化处理，通过主次双梯度映射矩阵二值化阈值差值的方法实现；

二值化裂缝骨骼提取法区分裂缝灰度级别解决各种因素导致的图像采集灰度不均匀的情况。

可选的，采用最新的深度神经网络，进行检测模型训练及算法调优，模型的实现、训练和测试在kubeflow上实现。

在一种可能的实施方式中，所述控制模块3通过生成式对抗网络学习箱梁内壁图像中的几何结构信息，度量真实目标帧和重建的目标帧的相似性，预测深度图和位姿，再通过注意力机制捕获图像中的全局依赖关系，实现箱梁内部环境的3D重构。

在一种可能的实施方式中，所述控制模块3接收t-1，t，t+1三个时刻所述RGB摄像头发送的箱梁内部双目序列图像以及t时刻的箱梁内部图像目标帧，生成所述目标帧的重建图像，并以所述目标帧作为真实标签判断所述目标帧的重建图像的真假程度。

其中，生成式对抗网络，包括：生成器和判别器；生成器以双目序列作为输入，学习并预测t-1、t、t+1三个时刻双目图像的位姿变换和多尺度的掩膜。

示例性的，如图5所示，位姿估计网络采用的是编码器-解码器CNN架构，将3帧连续的双目图像堆叠在一起，输入到位姿网络中，经过编码器CNN提取特征，输出3帧图像之间的2个位姿变换；位姿估计网络的编码器由7个步长为2的卷积层和1个步长为1的1×1卷积层组成，输出通道数为6×(N-1)的张量，N为所输入的双目序列的长度；最后，经过全局平均池化后，输出2个6自由度变换；

而对于场景中存在的运动物体和运动遮挡会造成网络预测的位姿不准确的问题，采取解码器输出4个尺度的掩膜对双目序列中存在上述问题的像素区域进行处理的方式；多尺度掩膜是二值图像，由0、1像素组成，白色像素区域为1，黑色像素区域为0；由于多尺度掩膜是以矩阵相乘的形式作用在图像的光度损失函数上，因此在掩膜中的黑色像素区域可以忽略运动物体对于求解正确位姿带来的影响。

其中，如图6所示，判别器以生成器输出的合成目标帧和真实目标帧作为输入，其中目标帧作为真实标签，判别器的作用是通过训练能够准确地分辨出合成目标帧和真实目标帧；

判别器使用CNN架构，其网络由5个步长为2的卷积层组成，输出一个判别评分来表示合成目标帧与目标帧之间的相似程度。判别器针对输入的真实目标帧和合成目标帧提取高层次的特征、使网络学习到图像中的几何结构，更准确地度量图像之间的相似性，同时，判别器增加了自注意力模块，使判别器具有关联图像全局信息的能力，准确地鉴别2张图像的真假程度，使得生成器的深度估计网络和位姿估计网络预测出准确的深度和位姿。

可选的，雷达信息与视觉信息的融合方法具体为：首先，将激光雷达点云投影到相机坐标系中，得到与双目图像对应的稀疏深度图；其次，利用深度插值算法对这个稀疏深度图进行上采样，以得到与双目图像分辨率相匹配的密集深度图，以获得更丰富的深度信息，从而提高后续建图和定位的准确性。

在一种可能的实施方式中，所述控制模块还用于通过自注意力机制捕获全局的依赖关系，对关联全局信息建立长距离的依赖关系。

其中，如图7所示，由于卷积处理的是一个局部领域内的信息，无法对关联全局信息建立长距离的依赖关系，而注意力机制能够捕获全局的依赖关系，因此将自注意力机制结合到GAN的架构中，使网络有效地对图像的空间区域关系建模，学习到图像中的纹理结构，自注意力模块以网络中间层输出的卷积特征图作为输入。

可选的，如图8，所述生成器的深度估计网络采用的是具有跳跃连接的编码器-解码器架构，为了提高网络的鲁棒性，深度估计网络中加入残差块，该网络以一张RGB双目图像作为输入，输出多尺度的稠密深度图；

但基于卷积运算的网络模型无法关联全局信息，建立长距离的、多层级的依赖关系，导致网络预测的深度图出现模糊，尤其在场景几何结构复杂处、边缘细节和远处物体这些地方容易丢失纹理细节的信息，而在深度估计网络的解码器中加入自注意力模块，使得图像每个细节与远处的物体都能得到清晰准确的深度。

在一种可能的实施方式中，所述箱梁巡检机器人，还包括：照明模块8，用于在箱梁内部提供照明。

采用本申请实施例的有益效果如下：通过本申请的箱梁巡检机器人，采用视觉SLAM技术，融合激光雷达技术使机器人在箱梁内未知环境中的自主定位、构图和导航更精准能够获取箱梁内部地图与自身位置信息，根据自身位置信息依照预设路线进行移动并采集箱梁内壁的图像信息，并在移动时不断采集更新的激光雷达数据与里程数据，从而完善箱梁内部地图信息；而箱梁巡检机器人在移动中遇到障碍物时，根据地图中没有障碍物的区域自动调整行进路径；通过结合数字图像处理方法和基于深度学习的计算机视觉方法对箱梁内裂缝等缺陷进行自动识别，使箱梁内缺陷病害检测更精准，同时运用GAN、自注意力机制新技术，实现3D重构箱梁内环境，具有动态性，可操作性展示箱梁内裂缝等缺陷程度与分布，对构箱梁内有更直观的认识，做到对症下药，精准养护。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，模块和方法，可以通过其它的方式实现。例如，以上所描述的模块实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，模块或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

上述实施例仅用于说明本申请的技术方案，而非对其限制。本申请并不局限于上面已经描述并在附图中示意的准确结构，不能认定本申请的具体实施只局限于这些说明。对于本申请所属技术领域的普通技术人员来说，在不脱离本申请构思的前提下，做出的各种改变和变形，都应当视为属于本申请的保护范围。

Claims (10)

1.一种箱梁巡检机器人，其特征在于，包括：运动平台(1)以及搭载在所述运动平台(1)上的采集模块(2)、控制模块(3)和检测模块；

所述控制模块(3)，用于构建箱梁内部地图并进行定位，以及，用于根据预设路线控制运动平台(1)移动，并控制采集模块(2)沿路采集箱梁内壁图像发送至所述检测模块；

所述检测模块用于识别所述箱梁内壁图像是否存在病害，在确定箱梁内壁存在病害时，记录当前位置。

2.根据权利要求1所述的箱梁巡检机器人，其特征在于，所述控制模块(3)根据激光雷达数据和里程信息构建箱梁内部2D地图，再通过双目视觉融合的SLAM重建方法，将视觉信息与箱梁内部2D地图融合，构建箱梁内部3D地图，并根据箱梁巡检机器人的移动获取不断更新的所述激光雷达数据、所述里程信息与所述视觉信息，采用不断更新的所述激光雷达数据、所述里程信息与所述视觉信息更新所述箱梁内部3D地图；

所述激光雷达数据通过搭载在所述运动平台(1)上的激光雷达(7)获取；

所述里程信息通过所述运动平台(1)的光电编码器获取；

所述视觉信息通过所述动平台(1)上的双目RGB摄像头(6)获取。

3.根据权利要求1所述的箱梁巡检机器人，其特征在于，所述运动平台(1)上还搭载有传感模块；

所述控制模块(3)根据预设路线控制所述运动平台(1)移动，在所述运动平台(1)移动过程中，当所述传感模块探测到预设路线上存在障碍物时，对所述预设路径进行重新规划。

4.根据权利要求3所述的箱梁巡检机器人，其特征在于，所述控制模块(3)当所述传感模块探测到预设路线上存在障碍物时，通过激光雷达数据与已知箱梁内部地图进行对比识别出所述箱梁内部地图上没有障碍物的区域，并自动创建新的路径。

5.根据权利要求1所述的箱梁巡检机器人，其特征在于，所述检测模块在接收到所述箱梁内壁图像后，通过全卷积神经网络模型对所述箱梁内壁图像进行特征提取，对病害图像进行Labelme标注和掩膜处理，建立训练数据集，并采用语义分割模型训练病害模型。

6.根据权利要求5所述的箱梁巡检机器人，其特征在于，所述检测模块对所述箱梁内壁图像进行特征提取时，采用二值化裂缝骨骼提取法区分裂缝灰度级别，保留各个子图像中病害边缘图像并进行精细化处理。

7.根据权利要求2所述的箱梁巡检机器人，其特征在于，所述控制模块(3)通过生成式对抗网络学习箱梁内壁图像中的几何结构信息，度量真实目标帧和重建的目标帧的相似性，预测深度图和位姿，再通过注意力机制捕获图像中的全局依赖关系，实现箱梁内部环境的3D重构。

8.根据权利要求7所述的箱梁巡检机器人，其特征在于，所述控制模块(3)接收t-1，t，t+1三个时刻所述RGB摄像头(6)发送的箱梁内部双目序列图像以及t时刻的箱梁内部图像目标帧，生成所述目标帧的重建图像，并以所述目标帧作为真实标签判断所述目标帧的重建图像的真假程度。

9.根据权利要求8所述的箱梁巡检机器人，其特征在于，所述控制模块还用于通过自注意力机制捕获全局的依赖关系，对关联全局信息建立长距离的依赖关系。

10.根据权利要求1所述的箱梁巡检机器人，其特征在于，还包括：照明模块(8)，用于在箱梁内部提供照明。