CN117369460A - 一种车辆螺栓松动故障的智能巡检方法及系统 - Google Patents

Abstract

本发明公开了一种车辆螺栓松动故障的智能巡检方法及系统，首先，根据检修厂的环境图像构建环境地图，在环境地图中设定禁止区域和非跨越区域，然后在环境地图中标记检测点；接着，根据标记的环境地图生成巡检机器人的导航路径，根据导航路径控制巡检机器人移动至各检测点；然后，结合模版匹配算法调控巡检机器人的姿态获取各检测点的最优图像，根据最优图像获取防松标记线并计算其斜度，将斜度与模版图像的防松标记线的斜度进行比较，确定螺栓的松动状态，实现轨道的螺栓状态的故障诊断。该方法通过控制巡检机器人的姿态，使其能够获取到最优的图像，解决了轨道车停靠不准确导致图像质量差的问题，其次，通过对巡检机器人实现自主导航，并采用多种导航方法进行导航控制，提高了巡检机器人的适用性，降低了轨道车辆的维护成本。

Description

一种车辆螺栓松动故障的智能巡检方法及系统

技术领域

本发明涉及轨道车辆车底巡检领域，具体为一种车辆螺栓松动故障的智能巡检方法及系统。

背景技术

动车组车底巡检机器人是一种专门设计用于对高速动车组(如高铁、动车等)进行巡检和检测的机器人。它是一种自主式的移动机械臂，能够在车底环境下进行巡检任务，以确保车辆的安全性和可靠性。通过使用动车组车底巡检机器人，可以实现对动车组车底的快速、准确和可靠的巡检，提高巡检效率，降低人工巡检的风险和工作量。同时，它还可以帮助及早发现和处理潜在的故障和问题，提高动车组的运行安全性和可靠性。车底巡检机器人通常具备以下功能和特点：1.自主导航和定位能力：机器人配备导航和定位系统，如惯性导航系统、激光雷达、视觉传感器等，能够自主进行路径规划、避障和定位，准确到达巡检目标位置。2.视觉检测和传感技术：机器人配备高分辨率摄像头和图像处理算法，能够获取车底区域的图像数据，并对车底进行检测和分析。它可以识别和记录车底的异常情况，如螺栓松动、漏油、损坏等。

目前，国内外现有的车底巡检机器人产品，还存在如下问题。传统智能巡检机器人运动范围往往被限制在单条检修地沟内，只能在单个地沟内进行运动，完成地沟上方指定车辆的车底巡检任务。这种单地沟作业机器人往往会配备滑轨此类专属运动设施，以保证机器人在地沟内运动的稳定性和精确性。通过查阅相关资料可知大部分轨道车辆检修库存在多条检修地沟，可同时停靠多辆待检轨道车辆。传统车底巡检机器人可移植性差，无法进行跨地沟作业，铺设滑动钢轨等专属运动设施，硬件成本过高，不符合实际经济效益。在每一条检修地沟内都放置一辆车底巡检机器人不仅成本高，而且还会造成检修资源的极大浪费。在车底关键部位图像采集方面，车底巡检机器人大部分都是采用机械臂人工示教方法，在机械臂末端搭载相机对车底关键部位图像进行采集。人工示教方法是让机械臂重现标定好的姿态进行图像采集。该方法在一定条件下简单、高效，但其适用性较差，非常依赖于轨道车辆在检修地沟上方的停靠位置精度和车底巡检机器人在检修地沟内的导航定位精度。一旦车辆停靠位置出现偏差或机器人在地沟内定位出现误差，该方法采集到的螺栓图像将会出现关键部位信息不完整、视角偏差等问题，严重影响了螺栓是否松动的故障诊断结果。

发明内容

针对现有技术中存在的问题，本发明提供一种车辆螺栓松动故障的智能巡检方法及系统，适用于检修厂环境的车底巡检机器人的智能巡查，使车底巡检机器人可完全自主式的完成多地沟场景下的车底一级巡检任务。

本发明是通过以下技术方案来实现：

一种车辆螺栓松动故障的智能巡检方法，包括以下步骤：

步骤1、构建检修区域环境地图，将障碍物设定为禁止区域，将地沟设置为非跨越区域；

步骤2、在环境地图中标记各个任务点，并根据任务点生成地最优巡检路径，巡检机器人根据导航路径移动至各任务点；

步骤3、采用模版匹配算法控制巡检机器人的姿态，获取最优的任务点图像；

步骤4、获取任务点图像中的螺栓图像，并在HSV空间下对螺栓图像中的防松标记线进行分割得到防松标记线，提取防松标记线的轮廓，并根据轮廓计算防松标记线的斜度，根据斜度确定螺栓的松动状态。

优选的，步骤1中巡检机器人移动获取检修区的图像，并结合激光SLAM算法构建检修厂的环境地图，在代价地图中将障碍物设置为禁止区域，在地沟的便于设置虚拟墙，使地沟成为非跨越区域。

优选的，步骤2中任务点包括巡检机器人的充电区域、地沟入口的升降平台区域以及各个检测点，根据标记后的各任务点，并结合巡查任务生成各巡查任务的最优巡查路径。

优选的，在地面巡查过程中采用激光SLAM导航对巡查机器人进行导航控制；

在地沟中采用磁条导航对巡查机器人进行导航控制。

优选的，步骤3中采集任务点的图像方法如下：

获取巡检机器人当前姿态下的视野图像，计算当前视野图像与模版图像的特征误差，将特征误差与设定阈值比较，根据特征误差确定图像雅可比矩阵及其伪逆，根据图像雅可比矩阵及其伪逆确定巡检机器人的姿态控制量，根据姿态控制量巡检机器人进行调整，重复上述过程直至特征误差小于设定阈值，将当前的视野图像作为最优的任务点图像。

优选的，当巡检机器人的姿态调整次数大于设定参数，将当前的视野图像作为最优的任务点图像。

优选的，步骤4中获取螺栓图像的方法如下：

获取任务点图像中的感兴趣区域，对感兴趣区域进行裁剪得到螺栓图像；

然后对图像进行双边滤波，并对滤波后的图像进行下采样降低图像分辨率，得到最终的螺栓图像。

优选的，步骤4中获取防松标记线的方法如下：

选取若干放松标记线区域和螺栓表面的像素点，统计各像素点的色相、饱和度、明度的分布，并根据设定的分界阈值对螺栓和防松标记线进行分割，对得到的防松标记线进行形态学处理，得到防松标记线的二值图，对二值图进行轮廓检测，并通过设定的轮廓面积阈值对检测的轮廓进行筛选，得到防松标记线。

优选的，所述螺栓松动状态的确定方法如下：

获取防松标记线的最小外接矩形，根据外接矩形的顶点确定防松标记线的斜度，将斜度与模版图像中放松标记线的斜度比较，当角度差大于设置值，则该螺栓处于松动状态。

一种车辆螺栓松动故障的智能巡检方法的系统，包括，

地图构建模块，用于构建检修区域环境地图，将障碍物设定为禁止区域，将地沟设置为非跨越区域；

路径规划模块，用于在环境地图中标记各个任务点，并根据任务点生成最优巡检路径，巡检机器人根据导航路径移动至各任务点；

图像采集模块，用于采用模版匹配算法控制巡检机器人的姿态，获取最优的任务点图像；

识别模块，用于获取任务点图像中的螺栓图像，并在HSV空间下对螺栓图像中的防松标记线进行分割得到防松标记线，提取防松标记线的轮廓，并根据轮廓计算放松标记线的斜度，根据斜度确定螺栓的松动状态。

与现有技术相比，本发明具有以下有益的技术效果：

本发明提供了一种车辆螺栓松动故障的智能巡检方法，根据检修厂的环境图像构建环境地图，并在环境地图中设定禁止区域和非跨越区域，然后在环境地图中标记检测点，然后根据标记的环境地图生成巡检机器人的导航路径，根据导航路径控制巡检机器人移动至各检测点，然后结合模版匹配算法调控巡检机器人的姿态获取各检测点的最优图像，根据最优图像获取防松标记线并计算其斜度，将斜度与模版图像的防松标记线的斜度进行比较，确定螺栓的松动状态，实现轨道的螺栓状态的故障诊断，该方法通过控制巡检机器人的姿态，使其能够获取到最优的图像，解决了轨道车停靠不准确导致图像质量差的问题，其次，通过对巡检机器人实现自主导航，并采用多种导航方法进行导航控制，提高了巡检机器人的适用性，降低了轨道车辆的维护成本。

附图说明

图1是本发明车辆螺栓松动故障的智能巡检系统总体框图。

图2是本发明的车辆螺栓松动故障的智能巡检的工作流程图。

图3是本发明的跨地沟导航方案框图。

图4是本发明的螺栓图像采集与故障诊断框图。

图5是本发明的螺栓松动故障诊断算法流程图。

具体实施方式

下面结合附图对本发明做进一步的详细说明，所述是对本发明的解释而不是限定。

参见图1，一种车辆螺栓松动故障的智能巡检方法，包括以下步骤：

步骤1，采用激光SLAM算法构建检修区域环境地图，并将地沟设置为不可跨越区域。

具体的，使用激光SLAM算法构建检修厂的环境地图，为了保障地图构建的质量，在检修库场景下使用远程手动遥控巡检机器人进行检修厂的全地图构建，在地图构建过程中，将障碍物设定为禁止区域，沿地沟的两侧设置虚拟墙，将地沟设置为非跨越区域，使巡检机器人无法运动到检修地沟上方。

在环境地图构建过程中会用到代价地图costmap，通过在代价地图中插入Prohibition_layer(禁止区域层)的方法，避免机器人进入障碍物区域，确保导航的安全性和可靠性。具体方法如下：

S1.1、在prohibition_layer中，通过订阅来自雷达节点的禁止区域信息数据。

S1.2、通过接收到的禁止区域信息，prohibition_layer将禁止区域在costmap中进行标记，标记方式是将禁止区域的栅格值设置为一个较大的代价值(cost)，以表示这些区域不可通行。

S1.3、在收到禁止区域信息后，prohibition_layer需要将禁止区域的信息更新到costmap中，使得costmap反映了最新的禁止区域信息。更新过程涉及到对costmap中的相应栅格进行修改，将禁止区域的栅格值更新为设定的较大代价值。

S1.4、禁止区域的信息被更新到costmap中，导航规划算法将会使用这些信息进行路径规划，并尽量规避具有高代价值的区域，包括被标记为禁止区域的区域。

在检测厂中，地沟的入口处设置有升降机，除了将障碍物和地沟表面设置为禁止通行区域，同时将升降机的两侧也设置为禁止通行，避免巡检机器人在导航过程中将升降台面当作可任意通行区域。只有当目标任务点是升降台面区域时才允许巡检机器人抵达，其它情况若巡检机器人通过此区域则无法保证升降台区域是否是升起状态，这将给机体及现场设备带来安全隐患。

步骤2、在环境地图中标记各个任务点，并根据任务点生成地最优巡检路径。

任务点包括巡检机器人的充电柱区域、升降平台位置、地面层各检测点以及轨道车底部各检测点，为了保证各任务点的精确性，通过手动控制车底巡检机器人到达每一处任务点，将巡检机器人的当前位置在环境地图中标记为对应任务点，任务点在栅格地图中的坐标是三维形式，坐标前两位为平面坐标(X,Y)，最后一位数为高度Z，构建的是平面地图Z值取相同值。

在导航路径的生成过程中，共生成三类路径，地上层巡检路径、地沟巡检路径、全区域巡检路径和充电导航路径，根据不同的巡查任务执行不同的巡查路径

地上层巡检路径，用于对检修厂地面层的各任务点进行巡查，在地面巡查过程中采用SLAM导航技术对巡检机器人进行导航。

地沟巡检路径，用于使巡检机器人以最优路径进入地沟，对轨道车的底部进行巡检，在地沟中采用磁条导航方法对巡检机器人进行导航。

全区域巡检路径，用于地上层和地沟的各任务点进行巡查。

充电导航路径，当巡检机器人的电量达到一定阈值，启动充电导航路径，将巡查机器人导航至充电柱区域进行充电。

步骤3、巡检机器人根据导航路径移动至各任务点。

参阅图3，车底巡检机器人接收到上位机发送的地面巡检指令后，巡检机器人按照地上层巡检路径进行巡检，地面环境导航采用激光SLAM导航技术，包括机器人自主定位、检修库环境地图构建和避障路径规划。基于这些技术巡检机器人在检修库地面上执行自动充电和定点导航等任务。当巡检机器人电量不足，不支持完成本次巡检任务时，巡检机器人自动执行充电导航路径，以最优的路径移动至充电柱区域，使用红外对接进行自动充电，待电量充足后继续执行剩余巡检任务。

地面环境下的任务点包括充电桩前的驻车充电区域，各地沟端部的升降平台台面。巡检机器人在地面环境下会根据具体任务指令，不断往返于各个任务点间，此时就需要激光SLAM导航技术来实现巡检机器人在地面环境下的导航作业任务。

巡检机器人获取到待检轨道车辆停靠地沟位置信息后，执行地沟巡检路径首先将巡检机器人导航至地沟端部的升降平台台面上，当机器人安稳停靠在升降台面区域后，台面下降巡检机器人进入到地沟内。

由于地沟为狭长的通道，并其轨道车位于上方形成信号遮挡，激光SLAM在此场景下自身定位精度差，导航效果不理想。考虑到地沟环境具有如下特点：地沟环境非常结构化、无特殊情况不会出现异物、地沟通道狭长笔直，非常适合磁条导航。因此采用磁条导航方案以解决巡检机器人在地沟内的自主运动问题。

巡检机器人在地沟内采用基于磁条导航和RFID识别的导航方法，当巡检机器人乘坐升降平台到达指定检修地沟后，导航控制器以磁传感器所检测到的磁条位置偏差信息为输入进行导航控制。同时RFID读卡器处于自动识别状态，只要采集到任务点处的磁卡ID信息，巡检机器人会立即停靠并进行车底图像采集工作，直至该任务点图像采集完毕后继续沿磁条进行导航。巡检机器人检测到最后一个停靠点的磁片ID信息，待该任务点的图像采集工作完成后将会进行返航操作。机器人返航将会从当前任务点返回到地沟端部的升降平台台面区域，由升降平台将巡检机器人运送至地面环境。

步骤4、巡检机器人根据导航路径移动至任务点，调整巡检机器人的姿态，获取任务点的图像。

如图4所示，巡检机器人到达图像采集点后机械臂和相机开始工作，通过图像的特征误差在视觉伺服控制下调整相机位置对车底关键部位图像进行采集。

巡检机器人成功到达地沟内停靠点，RFID读卡器读取到当前停靠点的磁片ID信息，根据模版匹配算法控制巡检机器人的姿态，根据ID所对应的模板图和示教位姿信息，机械臂各关节运动至初始示教姿态，视觉传感器开始获取当前视野图像。将当前图像和模板图输入基于特征点的视觉伺服控制器中，采用ORB算法进行特征点识别，根据特征点和匹配算法计算出当前图像与模板图像间的特征误差，若当前图像与模板图特征误差超过所设定误差阈值，视觉伺服算法根据特征误差计算图像雅可比矩阵及其伪逆，并通过视觉控制器计算出对应的机械臂伺服控制量。控制量为机械臂的末端速度，视觉伺服算法会不断计算图像误差，持续给定机械臂末端速度控制量，直至图像特征误差小于阈值。为了避免机械臂陷入局部振荡，设置了机械臂运动速度最大调整次数限制，当调整次数超过最大调整次数阈值将会停止调整以当前图像作为最终采集图像。该过程保证了采集到的图片与模板图视角一致，方便后续直接提取图像ROI区域进行故障诊断。

步骤5、根据步骤4采集的图像对螺栓松动故障进行诊断。

参阅图5，采用基于防松标记线检测的方法，对所采集到的图像进行螺栓松动故障诊断，并将诊断结果上传至服务器，具体包括以下步骤：

S5.1、螺栓图片进行预处理操作。

1.螺栓部件ROI区域分割：经视觉伺服采图所采集的图像已经消除了位置误差，每个螺栓在图像中的位置与模板图几乎相同，提前确定好每个螺栓部件在图像中的位置，直接对感兴趣的区域进行裁剪即可得到每个螺栓的局部细节图像。

2.双边滤波：直接采集得到的图像往往存在大量噪声影响图像处理，使用双边滤波对采集到的车底螺栓部件图像进行去噪。

3.下采样：减小图像分辨率，在不影响放松标记线区域分割的前提下可提高图像处理速度。

S5.2、HSV空间下对螺栓图像中的防松标记线进行分割。

1、HSV颜色空间模型表示如下，H(Hue)：色相，S(Saturation)：饱和度，V(Value)：明度。通过选取若干防松标记线区域和螺栓表面在图像中的像素点，统计H、S、V三个分量的分布，选择合适的(H，S，V)数值作为分界阈值，其中V分量作为亮度变换受环境亮度影响较大，因此一般不作为区域分割条件。

2.对模版图像和分割得到图像均进行腐蚀处理，消除了背景区域的噪声点，然后膨胀操作恢复其原本大小比例，对图像进行闭运算操作以得到完整的防松标记线的区域轮廓二值图。

3.对形态学处理后的二值图进行轮廓检测，通过设置轮廓面积阈值对轮廓进行筛选，得到防松标记线。

S5.3、防松标记线角度计算与松动判断：提取轮廓最小外接矩形后，得到矩形的四个顶点在图像平面坐标A：(u₀，v₀)，B：(u₁，v₁)，C：(u₂，v₂)，D：(u₃，v₃)。计算长边距离L，如式所示：

确定长边顶点为点A和点B。计算出直线AB的斜率k，如式所示：

由反正切公式计算得到直线AB与水平方向夹角θ。

θ＝arctan(k)

比较模板图与当前图放松标记线角度，若两者相差3°以内，则认为未存在松动故障，否则存在。

本发明还提供了一种车辆螺栓松动故障的智能巡检方法的系统，包括，

地图构建模块，用于构建检修区域环境地图，将障碍物设定为禁止区域，将地沟设置为非跨越区域；

路径规划模块，用于在环境地图中标记各个任务点，并根据任务点生成地最优巡检路径，巡检机器人根据导航路径移动至各任务点；

图像采集模块，用于采用模版匹配算法控制巡检机器人的姿态，获取最优的任务点图像；

识别模块，用于获取任务点图像中的螺栓图像，并在HSV空间下对螺栓图像中的防松标记线进行分割得到防松标记线，提取防松标记线的轮廓，并根据轮廓计算防松标记线的斜度，根据斜度确定螺栓的松动状态。

本发明的车辆螺栓松动故障的智能巡检方法，实现了检修厂环境下的车底智能巡检机器人的自主导航功能、图像智能采集功能采集、自动回充功能和车底螺栓松动故障诊断功能。使巡检机器人可自主式的完成多地沟场景下的车底一级巡检任务。针对检修库地沟场景，使用激光SLAM导航+磁条导航的复合导航方案，使机器人具备跨地沟导航功能。激光SLAM算法构建环境栅格地图，通过手动调整代价地图的方法将地沟环境在地图中表示成不可到达区域，解决了激光雷达无法将地沟“识别”成障碍物的问题，避免在导航任务中出现横穿地沟的问题；在图像采集过程中，用ORB算法进行特征点识别，用FLANN快速近似最近邻搜索和PROSAC算法对特征点进行筛选匹配。通过推导点特征图像雅可比矩阵，通过控制器将图像特征在像素空间的变化映射到机械臂关键运动空间，以此对机械臂进行伺服控制，即使车辆停靠位置存在误差，仍然可以完成车底图像采集任务，极大的提高了车底巡检机器人的自主性和智能性。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (10)

1.一种车辆螺栓松动故障的智能巡检方法，其特征在于，包括以下步骤：

步骤1、构建检修区域环境地图，将障碍物设定为禁止区域，将地沟设置为非跨越区域；

步骤2、在环境地图中标记各个任务点，并根据任务点生成地最优巡检路径，巡检机器人根据导航路径移动至各任务点；

步骤3、采用模版匹配算法控制巡检机器人的姿态，获取最优的任务点图像；

步骤4、获取任务点图像中的螺栓图像，并在HSV空间下对螺栓图像中的防松标记线进行分割得到防松标记线，提取防松标记线的轮廓，并根据轮廓计算防松标记线的斜度，根据斜度确定螺栓的松动状态。

2.根据权利要求1所述的一种车辆螺栓松动故障的智能巡检方法，其特征在于，步骤1中巡检机器人移动获取检修区的图像，并结合激光SLAM算法构建检修厂的环境地图，在代价地图中将障碍物设置为禁止区域，在地沟的便于设置虚拟墙，使地沟成为非跨越区域。

3.根据权利要求1所述的一种车辆螺栓松动故障的智能巡检方法，其特征在于，步骤2中任务点包括巡检机器人的充电区域、地沟入口的升降平台区域以及各个检测点，根据标记后的各任务点，并结合巡查任务生成各巡查任务的最优巡查路径。

4.根据权利要求3所述的一种车辆螺栓松动故障的智能巡检方法，其特征在于，在地面巡查过程中采用激光SLAM导航对巡查机器人进行导航控制；

在地沟中采用磁条导航对巡查机器人进行导航控制。

5.根据权利要求1所述的一种车辆螺栓松动故障的智能巡检方法，其特征在于，步骤3中采集任务点的图像方法如下：

获取巡检机器人当前姿态下的视野图像，计算当前视野图像与模版图像的特征误差，将特征误差与设定阈值比较，根据特征误差确定图像雅可比矩阵及其伪逆，根据图像雅可比矩阵及其伪逆确定巡检机器人的姿态控制量，根据姿态控制量巡检机器人进行调整，重复上述过程直至特征误差小于设定阈值，将当前的视野图像作为最优的任务点图像。

6.根据权利要求5所述的一种车辆螺栓松动故障的智能巡检方法，其特征在于，当巡检机器人的姿态调整次数大于设定参数，将当前的视野图像作为最优的任务点图像。

7.根据权利要求1所述的一种车辆螺栓松动故障的智能巡检方法，其特征在于，步骤4中获取螺栓图像的方法如下：

获取任务点图像中的感兴趣区域，对感兴趣区域进行裁剪得到螺栓图像；

然后对图像进行双边滤波，并对滤波后的图像进行下采样降低图像分辨率，得到最终的螺栓图像。

8.根据权利要求1所述的一种车辆螺栓松动故障的智能巡检方法，其特征在于，步骤4中获取防松标记线的方法如下：

选取若干放松标记线区域和螺栓表面的像素点，统计各像素点的色相、饱和度、明度的分布，并根据设定的分界阈值对螺栓和防松标记线进行分割，对得到的防松标记线进行形态学处理，得到防松标记线的二值图，对二值图进行轮廓检测，并通过设定的轮廓面积阈值对检测的轮廓进行筛选，得到防松标记线。

9.根据权利要求8所述的一种车辆螺栓松动故障的智能巡检方法，其特征在于，所述螺栓松动状态的确定方法如下：

获取防松标记线的最小外接矩形，根据外接矩形的顶点确定防松标记线的斜度，将斜度与模版图像中放松标记线的斜度比较，当角度差大于设置值，则该螺栓处于松动状态。

10.一种车辆螺栓松动故障的智能巡检方法的系统，其特征在于，包括，

地图构建模块，用于构建检修区域环境地图，将障碍物设定为禁止区域，将地沟设置为非跨越区域；

路径规划模块，用于在环境地图中标记各个任务点，并根据任务点生成最优巡检路径，巡检机器人根据导航路径移动至各任务点；

图像采集模块，用于采用模版匹配算法控制巡检机器人的姿态，获取最优的任务点图像；

识别模块，用于获取任务点图像中的螺栓图像，并在HSV空间下对螺栓图像中的防松标记线进行分割得到防松标记线，提取防松标记线的轮廓，并根据轮廓计算放松标记线的斜度，根据斜度确定螺栓的松动状态。