CN108956173A - 一种基于机械臂的动车螺栓及部件检测的方法及装置 - Google Patents

Abstract

本发明涉及动车检修作业技术领域，尤其涉及一种基于机械臂的动车螺栓及部件检测的方法及装置；终端服务器与检测机器人通过无线的方式进行通讯连接，并向检测机器人发送检测指令，以激活检测机器人，使其在动车底部移动；检测机器人依次扫描动车底部，每处扫描两次，并从扫描的视频中截取图像；检测机器人分别对图像进行处理提取螺栓及部件，当检测螺栓及部件存在丢失故障时，向终端服务器发出预警；终端服务器接收螺栓及部件存在丢失故障的图像，对比扫描两次得到的检测结果，并根据对比的结果进行确认和学习；通过本方法，使得操作人员能够及时了解动车组检测状况，并能及时进行相应的维修，自动化成度高，运行稳定，检测可靠性高。

Description

一种基于机械臂的动车螺栓及部件检测的方法及装置

技术领域

本发明涉及动车检修作业技术领域，尤其涉及一种基于机械臂的动车螺栓及部件检测的方法及装置。

背景技术

随着中国进入“高铁时代”，铁路提速范围的不断扩大，列车速度的大幅度提升，“高铁外交”已成为目前我国外交领域中的一张新名片；高速铁路的快速发展给人们的出行带来便捷，同时。动力效应和振动的大幅度提升，导致列车运行可靠性的要求越来越高。当动车的零部件出现螺栓松动、脱落、转向架部件有划伤、残影纹、异物等，就会影响列车的运行安全。传统的动车组检修作业全部靠人工进行检测，但是由于动车组数量越来越多，可靠性要求越来越高，人工进行全部的检测局限性越来越大，人工检测效率提高的空间越来越小。

发明内容

本发明的目的是提供一种基于机械臂的动车螺栓及部件检测的方法及装置，旨在通过机器人智能化的对动车底部进行检测，有效提高动车螺栓及部件检测效率。

一方面，本发明提供了一种基于机械臂的动车螺栓及部件检测的方法，所述方法包括下述步骤：

终端服务器与检测机器人通过无线的方式进行通讯连接，并向所述检测机器人发送检测指令，以激活所述检测机器人，使其在动车底部移动；

所述检测机器人依次扫描含螺栓及部件区域的动车底部，每处扫描两次，并从扫描的视频中截取图像；

所述检测机器人分别对所述图像进行处理，提取其中的螺栓及部件，当检测螺栓及部件存在丢失故障时，向终端服务器发出预警；

所述终端服务器接收螺栓及部件存在丢失故障的图像，对比该区域扫描两次得到的检测结果，并根据对比的结果进行确认和学习。

可选的，所述检测机器人依次扫描含螺栓及部件区域的动车底部，每处扫描两次，并将扫描得到的图像发送至终端服务器的步骤还包括：

所述检测机器人先通过第一机械手臂进行扫描，并对扫描结果进行识别，截取相对清晰的图像A；再通过第二机械手臂进行扫描，并对扫描结果进行识别，截取相对清晰的图像B；分别将所述图像A和所述图像B进行存储。

可选的，所述检测机器人分别对所述图像进行处理，提取其中的螺栓及部件，当检测螺栓及部件存在丢失故障时，向终端服务器发出预警的步骤还包括：

所述检测机器人对所述图像先进行sobel梯度化预处理；再对所述图像进行CLBP特征提取，提取出图像中的所有螺栓及部件；对所述图像中的所有螺栓及部件进行判定，当检测出螺栓及部件存在丢失故障时，在图像坐标中记下此图像的序列号和故障位置，并发送给终端服务器。

可选的，所述终端服务器接收螺栓及部件存在丢失故障的图像，对比该区域扫描两次得到的检测结果，并根据对比的结果进行确认和学习的步骤还包括：

所述终端服务器接收故障区域两次扫描的图像，分析两个图像的检测结果是否相同；当检测结果相同时，确认该区域为故障区域，通过显示器输出预警信息或通过扬声器发声的方式提示用户进行维修；当检测结果不同时，提示用户进行确认，当用户确认后，将确认结果发送给所述检测机器人进行学习。

另一方面，本发明提供了一种基于机械臂的动车螺栓及部件检测的装置，所述装置包括：

指令发送单元，用于终端服务器与检测机器人通过无线的方式进行通讯连接，并向所述检测机器人发送检测指令，以激活所述检测机器人，使其在动车底部移动；

图像采集单元，用于所述检测机器人依次扫描含螺栓及部件区域的动车底部，每处扫描两次，并从扫描的视频中截取图像；

图像检测单元，用于所述检测机器人分别对所述图像进行处理，提取其中的螺栓及部件，当检测螺栓及部件存在丢失故障时，向终端服务器发出预警；

故障确认单元，用于所述终端服务器接收螺栓及部件存在丢失故障的图像，对比该区域扫描两次得到的检测结果，并根据对比的结果进行确认和学习。

可选的，所述图像采集单元，还用于所述检测机器人先通过第一机械手臂进行扫描，并对扫描结果进行识别，截取相对清晰的图像A；再通过第二机械手臂进行扫描，并对扫描结果进行识别，截取相对清晰的图像B；分别将所述图像A和所述图像B进行存储。

可选的，所述图像检测单元，还用于所述检测机器人对所述图像先进行sobel梯度化预处理；再对所述图像进行CLBP特征提取，提取出图像中的所有螺栓及部件；对所述图像中的所有螺栓及部件进行判定，当检测出螺栓及部件存在丢失故障时，在图像坐标中记下此图像的序列号和故障位置，并发送给终端服务器。

可选的，所述故障确认单元，还用于所述终端服务器接收故障区域两次扫描的图像，分析两个图像的检测结果是否相同；当检测结果相同时，确认该区域为故障区域，通过显示器输出预警信息或通过扬声器发声的方式提示用户进行维修；当检测结果不同时，提示用户进行确认，当用户确认后，将确认结果发送给所述检测机器人进行学习。

第三方面，提供一种计算机可读存储介质，其特征在于，其存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行第一方面提供的所述的方法。

第四方面，提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行第一方面提供的方法。

实施本发明实施例，具有如下有益效果：

在本发明中，轨道部署在动车组检修地沟里面，与动车组保持在同一个垂直平面，检测机器人在轨道上进行前后水平移动，与动车组保持垂直状态；通过检测机器人的第一机械臂和第二机械臂分别对含螺栓及部件区域的动车底部进行扫描，检测是否有螺栓及部件的丢失，当检测到有螺栓及部件丢失时，通过将此区域中第一机械臂和第二机械臂的检测结果进行对比，从而更加保障检测结果的准确性，当检测结果无误时，提示用户进行维修，当检测结果有误时，通过对本次出错点进行学习，从而使检测机器人得到提升；通过本方法，使得操作人员能够及时了解动车组检测状况，并能及时进行相应的维修，自动化成度高，运行稳定，检测可靠性高。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的基于机械臂的动车螺栓及部件检测的方法的流程示意图；

图2是本发明实施例提供的基于机械臂的动车螺栓及部件检测的装置的结构示意图；

图3为本发明系统原理框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

由于现有技术中，动车组检修作业全部靠人工进行检测，但是由于动车组数量越来越多，可靠性要求越来越高，人工进行全部的检测局限性越来越大，人工检测效率提高的空间越来越小；为了解决上述现象，所以有必要，研制一种基于机械臂的动车螺栓及部件检测的方法及装置，检测机器人再轨道上进行前后水平移动，通过第一机械臂和第二机械臂360度的旋转移动，分别对含螺栓及部件区域的动车底部进行扫描，检测是否有螺栓及部件的丢失，使得操作人员能够及时了解动车组检测状况，并能及时进行相应的维修，自动化成度高，运行稳定，检测可靠性高。

本发明具体实施方式提供一种基于机械臂的动车螺栓及部件检测的方法，该方法如图1所示，包括如下步骤：

在步骤S101中，终端服务器与检测机器人通过无线的方式进行通讯连接，并向检测机器人发送检测指令，以激活检测机器人，使其在动车底部移动。

在本发明实施例中，通讯连接可以通过无线通信网络发送，该终端可以具有自身的有线、无线通信设备，例如通过2G、3G、4G、LTE或NR网络发送检测指令，优选地，LTE+LORA技术或WiFi+LORA通信，LTE是3G和4G技术之间的一个过渡，在20MHz频谱带宽下能够提供下行326Mbit/s与上行86Mbit/s的峰值速率。通过LTE基站可以实现服务器与终端之间的远距离通信，而传感器数据则可通过LORA技术传至服务器，从而传输距离大、功耗低、速度快；WiFi是目前使用非常广泛的无线通信技术，其具有传输速度快(最高可达600Mbps)、拥有更宽的带宽等优势，所以在实时性上可以满足项目要求，并且能够传输视频等大数据，让今后系统的延展性更好，从而使用WiFi+LORA通信，不但速度快，而且不会产生后期费用；轨道部署在动车组检修地沟里面，与动车组保持在同一个垂直平面，检测机器人接收到服务器终端发送的检测指令后，通过轨道在动车底部移动，并与动车组保持垂直状态。

在步骤S102中，检测机器人依次扫描含螺栓及部件区域的动车底部，每处扫描两次，并从扫描的视频中截取图像。

检测机器人先通过第一机械手臂进行扫描，并对扫描结果进行识别，其识别包括螺栓、卡簧、开口销、闸片等，但不限于此，截取相对清晰的图像A；检测机器人再通过第二机械手臂进行扫描，并对扫描结果进行识别，截取相对清晰的图像B；检测机器人分别将图像A和图像B进行存储。

在本发明实施例中，检测机器人从动车一端依次向动车另一端检测，因为动车编组固定，同一类型的车辆结构相同，车体零部件结构状态统一，所以便于通过扫描截图的方式获取螺栓及部件精确位置的图像；第一机械臂和第二机械臂均安装与同一个检测机器人上，其第一机械臂和第二机械臂均可以多方向移动，并且还可以360度的旋转，便于全方位的扫描动车底部；检测机器人先通过第一机械手臂进行扫描，并对扫描结果进行识别，从扫描的视频中提取螺栓及部件边缘和几何形状最清晰的图像A；同样第二机械臂也对同样的区域进行扫描，其扫描角度和扫描距离与第一机械臂不同，并对扫描结果进行识别，从扫描的视频中提取螺栓及部件边缘和几何形状最清晰的图像B，将图像A和图像B进行存储，便于后期处理。

在步骤S103中，检测机器人分别对图像进行处理，提取其中的螺栓及部件，当检测螺栓及部件存在丢失故障时，向终端服务器发出预警。

在本发明实施例中，检测机器人对图像先进行sobel梯度化预处理，sobel梯度化预处理不仅保留了图像的边缘梯度信息，而且滤去了不相干的背景灰度信息，使图像中的螺栓及部件纹理更加简洁和具有代表性；由于光线变化不均、物体遮挡以及油渍侵蚀等原因，各个正负样本的目标图像的灰度值不尽相同，故通过对图像进行CLBP特征提取，得到螺栓及部件的特征图像，提取出图像中的所有螺栓及部件；CLBP是LBP的扩展方法，具有更完整的局部特征信息，因而更适合复杂图像特征的提取；最后将提取出来的图像进行判定，当检测出螺栓及部件存在丢失故障时，在图像坐标中记下此图像的序列号和故障位置，并发送给终端服务器。

在步骤S104中，终端服务器接收螺栓及部件存在丢失故障的图像，对比该区域扫描两次得到的检测结果，并根据对比的结果进行确认和学习。

在本发明实施例中，终端服务器接收故障区域两次扫描的图像A和图像B，分析图像A和图像B的检测结果是否相同，当检测结果现同时，默认为该区域确实为故障区域，当用户去该区域检修时，发现该区域没有螺栓及部件丢失时，将这两次图像的处理和分析设置为错误信息，供检测机器人学习；当图像A和图像B的检测结果不同时，通过客户核对图像或去现场查看进行确认，将处理和分析错误的图像设为错误信息，也提供给检测机器人学习；利用图像特征特定分类器进行训练，完成图像特征空间的划分，形成某些具有相似特性的特征分块集合，进而实现图像中目标识别；这种训练方法属于分类判别模型，由数据驱动，通过从底层上的方式对训练样本进行监督学习，在样本的特征空间中生成合适的分类函数，以结构风险最小化为原则，在核函数特征空间中，寻找一个能够满足最优化的特征分类函数对特征进行精确地划分；检测机器人通过多次学习后，其准确率会得到显著的提高，自动化成度高。

针对复杂环境下动车底部螺栓及部件丢失故障的自动检测，提出了一种基于sobel梯度边缘下的CLBP算法，该算法尽可能地保留了目标的边缘信息，过滤了复杂背景的无关干扰信息，可实现复杂环境下螺栓及部件丢失故障的快速检测，为动车零部件的故障检测和安全运行提供一定的安全保障；通过长期实验，对不同曝光时间的图像进行螺栓及部件丢失故障检测，结果表明，该方法检测精度和效率较优，另外，该方法对外部光线环境的变化具有较强的稳健性。

在本发明中，轨道部署在动车组检修地沟里面，与动车组保持在同一个垂直平面，检测机器人在轨道上进行前后水平移动，与动车组保持垂直状态；通过检测机器人的第一机械臂和第二机械臂分别对含螺栓及部件区域的动车底部进行扫描，检测是否有螺栓及部件的丢失，当检测到有螺栓及部件丢失时，通过将此区域中第一机械臂和第二机械臂的检测结果进行对比，从而更加保障检测结果的准确性，当检测结果无误时，提示用户进行维修，当检测结果有误时，通过对本次出错点进行学习，从而使检测机器人得到提升；通过本方法，使得操作人员能够及时了解动车组检测状况，并能及时进行相应的维修，自动化成度高，运行稳定，检测可靠性高。

参阅图2，图2提供一种基于机械臂的动车螺栓及部件检测的装置包括：

指令发送单元21，用于用于终端服务器与检测机器人通过无线的方式进行通讯连接，并向检测检测机器人发送检测指令，以激活机器人，使其在动车底部移动。

图像采集单元22，用于扫描进入道岔区域的车辆信息，并提取当前道岔情况和调车场情况。

可选的，图像采集单元22，用于检测机器人先通过第一机械手臂进行扫描，并对扫描结果进行识别，截取相对清晰的图像A；再通过第二机械手臂进行扫描，并对扫描结果进行识别，截取相对清晰的图像B；分别将图像A和图像B进行存储。

图像检测单元23，用于检测机器人分别对图像进行处理，提取其中的螺栓及部件，当检测螺栓及部件存在丢失故障时，向终端服务器发出预警。

可选的，图像检测单元23，还用于检测机器人对图像先进行sobel梯度化预处理；再对图像进行CLBP特征提取，提取出图像中的所有螺栓及部件；对图像中的所有螺栓及部件进行判定，当检测出螺栓及部件存在丢失故障时，在图像坐标中记下此图像的序列号和故障位置，并发送给终端服务器。

故障确认单元24，用于终端服务器接收螺栓及部件存在丢失故障的图像，对比该区域扫描两次得到的检测结果，并根据对比的结果进行确认和学习。

可选的，故障确认单元24，还用于终端服务器接收故障区域两次扫描的图像，分析两个图像的检测结果是否相同；当检测结果相同时，确认该区域为故障区域，通过显示器输出预警信息或通过扬声器发声的方式提示用户进行维修；当检测结果不同时，提示用户进行确认，当用户确认后，将确认结果发送给检测机器人进行学习。

如图3所示，本发明还包括动车检测机器人系统，该系统由RFID传感器模块、视频数据采集模块、视频数据处理模块、PLC轨道运动控制处理模块、轨道移动模块、轨道机械模块、机械手臂移动控制处理单元、中央处理单元、日志查询模块、报警模块、无线通讯模块以及显示终端组成；所述轨道机械模块部署在动车组检修地沟里面，与动车组保持在同一个垂直平面，PLC轨道运动控制处理模块控制轨道移动模块在轨道机械模块上进行前后水平移动，与动车组保持垂直状态；所述机械手臂移动控制处理单元携带RFID传感器与视频采集模块，控制RFID传感器及视频采集模块的360度的旋转移动状态，控制RFID传感器与视频采集模块近距离采集动车组检修作业所需要的动车部件信息数据；所述RFID传感器模块与视频数据采集模块实时采集由所述的动车组RFID信息、部件视频信息，对动车组RFID信息进行实时分析，部件视频信息进行比对分析，并上传至所述数据处理模块中；所述数据处理模块用于接收所述数据采集模块中的RFID信息与动车部件视频数据信息，结合辅助RFID处理算法、视频比对算法实现对动车组部件的实时检测，对动车组部件的故障数据进行筛选、分析和预警；所述中央处理单元一方面针对由所述数据处理模块上传的动车组部件检测信息进行处理并做相应的日志信息记录，同步上传至所述日志查询模块中保存，另一方面判断动车组部件故障数据信息是否达到预警条件，将发送至所述报警模块中报警，自动完成动车组一级检修作业过程；所述报警模块由驱动电路以及LED报警灯组成，用于接收所述中央处理单元发送的部件故障警报信息；所述无线通讯模块用于承接所述中央处理单元和所述显示终端之间的数据通信；所述显示终端根据所述中央处理单元发送的指令实时的进行预警报警和报警显示；所述电池控制模块具有电量检测功能，电量不足时进行告警或自行进行充电功能，电池控制模块为整个检修系统提供动力支撑；

本发明通过机械手臂控制数据采集模块的移动，达到近距离采集数据的目的，RFID传感器采集动车组RFID信息、视频采集模块采集动车部件信息，将采集的RFID、视频信息进行处理，并将RFID、视频信息以及报警信息发送给动车检测管理控制系统，车辆网络控制系统将检测结果传输到显示模块中，使得操作人员能够及时了解动车组检测状况，并能及时的做出正确的操作指示，完成动车组日常的检修工作，运行稳定，检测可靠性高。

在本发明实施例中，终端的基于机械臂的动车螺栓及部件检测的装置装置的各单元可由相应的硬件或软件单元实现，各单元可以为独立的软、硬件单元，也可以集成为一个软、硬件单元，在此不用以限制本发明。

以上对本发明实施例进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于机械臂的动车螺栓及部件检测的方法，其特征在于，所述方法包括如下步骤：

终端服务器与检测机器人通过无线的方式进行通讯连接，并向所述检测机器人发送检测指令，以激活所述检测机器人，使其在动车底部移动；

所述检测机器人依次扫描含螺栓及部件区域的动车底部，每处扫描两次，并从扫描的视频中截取图像；

所述检测机器人分别对所述图像进行处理，提取其中的螺栓及部件，当检测螺栓及部件存在丢失故障时，向终端服务器发出预警；

所述终端服务器接收螺栓及部件存在丢失故障的图像，对比该区域扫描两次得到的检测结果，并根据对比的结果进行确认和学习。

2.根据权利要求1所述的方法，其特征在于，所述检测机器人依次扫描含螺栓及部件区域的动车底部，每处扫描两次，并将扫描得到的图像发送至终端服务器的步骤还包括：

所述检测机器人先通过第一机械手臂进行扫描，并对扫描结果进行识别，截取相对清晰的图像A；

所述检测机器人再通过第二机械手臂进行扫描，并对扫描结果进行识别，截取相对清晰的图像B；

所述检测机器人分别将所述图像A和所述图像B进行存储。

3.根据权利要求1所述的方法，其特征在于，所述检测机器人分别对所述图像进行处理，提取其中的螺栓及部件，当检测螺栓及部件存在丢失故障时，向终端服务器发出预警的步骤还包括：

所述检测机器人对所述图像先进行sobel梯度化预处理；

所述检测机器人再对所述图像进行CLBP特征提取，提取出图像中的所有螺栓及部件；

所述检测机器人对所述图像中的所有螺栓及部件进行判定，当检测出螺栓及部件存在丢失故障时，在图像坐标中记下此图像的序列号和故障位置，并发送给终端服务器。

4.根据权利要求1所述的方法，其特征在于，所述终端服务器接收螺栓及部件存在丢失故障的图像，对比该区域扫描两次得到的检测结果，并根据对比的结果进行确认和学习的步骤还包括：

所述终端服务器接收故障区域两次扫描的图像，分析两个图像的检测结果是否相同；

当检测结果相同时，确认该区域为故障区域，通过显示器输出预警信息或通过扬声器发声的方式提示用户进行维修；

当检测结果不同时，提示用户进行确认，当用户确认后，将确认结果发送给所述检测机器人进行学习。

5.一种基于机械臂的动车螺栓及部件检测的装置，其特征在于，所述装置包括：

指令发送单元，用于终端服务器与检测机器人通过无线的方式进行通讯连接，并向所述检测机器人发送检测指令，以激活所述检测机器人，使其在动车底部移动；

图像采集单元，用于所述检测机器人依次扫描含螺栓及部件区域的动车底部，每处扫描两次，并从扫描的视频中截取图像；

图像检测单元，用于所述检测机器人分别对所述图像进行处理，提取其中的螺栓及部件，当检测螺栓及部件存在丢失故障时，向终端服务器发出预警；

故障确认单元，用于所述终端服务器接收螺栓及部件存在丢失故障的图像，对比该区域扫描两次得到的检测结果，并根据对比的结果进行确认和学习。

6.如权利要求5所述的装置，其特征在于，

所述图像采集单元，还用于所述检测机器人先通过第一机械手臂进行扫描，并对扫描结果进行识别，截取相对清晰的图像A；再通过第二机械手臂进行扫描，并对扫描结果进行识别，截取相对清晰的图像B；分别将所述图像A和所述图像B进行存储。

7.如权利要求5所述的装置，其特征在于，

所述图像检测单元，还用于所述检测机器人对所述图像先进行sobel梯度化预处理；再对所述图像进行CLBP特征提取，提取出图像中的所有螺栓及部件；对所述图像中的所有螺栓及部件进行判定，当检测出螺栓及部件存在丢失故障时，在图像坐标中记下此图像的序列号和故障位置，并发送给终端服务器。

8.如权利要求5所述的装置，其特征在于，

所述故障确认单元，还用于所述终端服务器接收故障区域两次扫描的图像，分析两个图像的检测结果是否相同；当检测结果相同时，确认该区域为故障区域，通过显示器输出预警信息或通过扬声器发声的方式提示用户进行维修；当检测结果不同时，提示用户进行确认，当用户确认后，将确认结果发送给所述检测机器人进行学习。

9.一种计算机可读存储介质，其特征在于，其存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-4任一项所述的方法。

10.一种计算机程序产品，其特征在于，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行如权利要求1-4任一项所述的方法。