CN116067555B - 一种城市轨道交通用螺栓松动检测系统、方法及存储介质 - Google Patents

Abstract

本发明提供了一种城市轨道交通用螺栓松动检测系统、方法及存储介质，属于螺栓松动检测技术领域，城市轨道交通用螺栓松动检测方法通过系统实现，系统包括：自导航机器人检测小车，设有车轮；电机驱动电路，与车轮的配套电机连接；激光雷达，设于自导航机器人检测小车上；深度相机，设于自导航机器人检测小车上；蓝牙模块电路，与电机驱动电路连接；三轴陀螺仪电路，用于获取自导航机器人检测小车的姿态；麦克风阵列，设于自导航机器人检测小车上；主控处理器，与电机驱动电路、激光雷达、深度相机和麦克风阵列连接。本发明可以实现在地铁电客车股道下地面上自导航进行电客车底部螺栓松动自动检修作业，具有极高的应用和经济价值。

Description

一种城市轨道交通用螺栓松动检测系统、方法及存储介质

技术领域

本发明涉及螺栓松动检测技术领域，尤其是涉及一种城市轨道交通用螺栓松动检测系统、方法及存储介质。

背景技术

近年来，我国城市轨道交通领域建设快速发展，越来越多新建城市轨道交通地铁电客车线路采用全自动无人驾驶GOA4的标准建设。全自动无人驾驶运行的地铁电客车在结束载客运营后，需自动返回车辆段或停车场相应运用库的股道处停放，地铁电客车运营公司检修人员对地铁电客车进行故障检修作业。地铁电客车停在车辆段或停车场的运用库股道上，地铁电客车下面空间狭窄，不利于检修人员对地铁电客车底部进行检修。

目前，地铁电客车下检修主要靠人工目视、手持视频录制等方式进行检修作业，存在的缺点主要有：（1）、检修工作环境差、劳动强度大；（2）、夜晚检修人员容易疲劳，检修人员责任心影响检修质量；（3）、录像视频质量较低，增加视频分析师的复合难度；（4）、信息化作业水平低，检修结果无法用于故障预警和统计分析，无法用于全寿命周期管理。

发明内容

为克服现有技术不足，本发明提供一种城市轨道交通用螺栓松动检测系统、方法及存储介质，可以实现自动检修，至少解决了上述的一个问题。

本发明的具体方案如下：

本发明所设计的城市轨道交通用螺栓松动检测系统的硬件电路由Jetson TX1主控板和STM32运动控制板组成，二者采用串口通讯；自导航机器人检测小车配置4个车轮；配置一个激光雷达；配置一个深度相机摄像头用于建地图；配置一个麦克风阵列，配置一个锂电池组给自导航机器人检测小车供电。配置一个显示屏。

主控处理器：选用英伟达生成的Jetson TX1主控处理器，该主控处理器内置64G固态硬盘，CPU选用ARM Cortex-A57 MPCore 64-bit、1.73GHz四核处理器，GPU选用256-coreNVIDIA Maxwell GPU，运行内存选用4GB 64-bitLPDDR4 Memory，板载存储16GB eMMC5.1+64GSSD固态硬盘空间，拥有40个GPIO引脚数。

电机驱动电路：电机驱动电路选用高性能、低成本、低功耗的意法半导体公司生产的STM32F407VET6处理器，该处理器用于接收Jetson TX1主控处理器的控制信号进而控制驱动四个电机的运动状态。控制程序下载到STM32F407VET6处理器。

STM32运动控制板包含：电源模块电路、蓝牙模块电路、mpu6050电路、电机驱动电路及电机编码器反馈电路、通讯模块等。

电源模块电路：蓄电池组提供DC5V直流电压，选用稳压器RT9013-33GB降压处理后，将DC5V转换成DC3.3V为硬件电路提供稳压电源。

蓝牙模块电路：蓝牙模块通过排针HDR-F-2.54与STM32F407VET6处理器相连接，具有遥控自导航机器人检测小车的功能。

mpu6050电路：此为三轴陀螺仪电路，选用MPU-6050模块进行数据处理，以获取自导航机器人检测小车的姿态，以及获取到模块的加速度、角速度，通过陀螺仪的数据，融合里程计的数据进而实现高精度的定位效果。

电机驱动电路及电机编码器反馈电路：选用AT8236电机驱动芯片，此芯片的VREF引脚接入120Ω电感再接入DC3.3V，电机驱动芯片的IN1、IN2引脚接入STM32F407VET6处理器第39引脚PE8和第40引脚PE9，本发明所设计的自导航机器人检测小车有4个车轮，共设计4个同样的电机驱动电路，即STM32F407VET6处理器共有8个输出引脚接入4个电机驱动电路，进而控制4个电机旋转，从而控制自导航机器人检测小车的运动状态。

电机编码器反馈电路：排针HDR-F-2.54的3和4引脚接入STM32F407VET6处理器引脚，排针HDR-F-2.54的1和6引脚接入电机编码器中。电机编码器反馈电路可以获取电机转速反馈，有了反馈即可闭环PID控制，进而可积分计算里程计。

本发明所设计的硬件电路还需配置一个USBhub扩展板。

激光雷达：选用镭神智能系统有限公司生产的型号为N10P激光雷达，用于自导航机器人检测小车二维地图重建、实时导航避障，此型号的激光雷达可实现360°全方位激光扫描、室内外均可使用、雷达扫描频率可调、同时可输出光强信息、测量半径可达到30m。

深度相机：采用深圳奥比中光科技有限公司生产的Astra相机，具有3D、2D扫描的功能，用于自导航机器人检测小车扫描周围环境进而建立地图，为自导航机器人检测小车自导航提供周围环境的基础数据。

麦克风阵列及智能语音音箱：选用科大讯飞生产的六麦麦克风阵列和智能语音音箱，六麦麦克风阵列采用平面式分布结构，包含六个麦克风输入，可实现360°等效拾音，唤醒分辨率为1度。可以使用麦克风阵列获取原始和降噪音频，获取唤醒角度及主麦号。使用中，自导航机器人检测小车的麦克风阵列因有6个麦克风口，每两个麦克风口与圆心角度为60°，当人在不同角度发出声音时，距声源处比较近的麦克风口为主麦，其余5个麦克风口被屏蔽信号，只有主麦能够输入声音信号；当声源换个其他角度发声时，此时主麦可能换成其他麦克风口输入声音。

当操作者说出语音唤醒词：“你好小楠”，唤醒自导航机器人检测小车，6麦麦克风阵列其中一麦输入声音唤醒词，其余麦输入被屏蔽。自导航机器人检测小车唤醒后，录音时间内说出：小车前进2号股道，根据上面已经建好的地图，运行base.launch后打开RVIZ使用2D导航工具2D NavGoal选取想要的目标点和方向，自动执行导航功能。同时自动启动雷达实时监测周围障碍物功能，当小车距离障碍物小于0.5m且自导航机器人检测小车靠近障碍物的时候，小车自动停下且用户界面有相应提示，此时使小车靠近障碍物IDE语音指令无效，使小车远离障碍物的语音指令有效。自导航行驶过程中；当小车需要暂停时，操作者说出：小车停止，此时小车就暂停行驶，当说出：“小车前进”时，自导航机器人检测小车再继续前进。此导航拥有路径规划和自主避障功能。

通讯模块：N10P激光雷达与通讯扩展板采用UART串口通讯，Astra相机与通讯扩展板采用UVC协议通讯，麦克风阵列与通讯扩展板采用VVUI协议通讯。

本发明所设计的自导航机器人检测小车具有上位机GUI功能，显示城市轨道交通自导航及螺栓松动检测GUI界面等关键信息。

本发明所设计的一种自导航机器人检测小车具有“多机编队”功能，即分布式编队控制中的领航-跟随法实现多机器人编队，指定队形中的某一个机器人作为领航者，其他机器人作为Slave跟随领航者运动。主机和从机都接入同一个WIFI，主机和不同的从机设置的IP地址处于同一网段。先安装terminator工具，将主从机的控制端口使用窗口分割工具安置于同一个终端中。先时间同步操作，主车运行导航功能包，从车中运行多机编队功能包。在主窗口中控制主机的运动进而控制从机的运动。

根据螺栓前视图及其建立的坐标系，实现螺栓松动检测功能。深度相机对地铁电客车底部的螺栓进行拍照，采用openCV对所拍照的螺栓图像进行提取进而实现螺栓松动检测功能。

以上设计完成了城市轨道交通用螺栓松动检测系统的构建。

本发明实施例的第一方面公开了一种城市轨道交通用螺栓松动检测系统，包括：

自导航机器人检测小车，设有车轮，用于行走在车辆段运用库内的地铁电客车下方的地面上；

电机驱动电路，与所述车轮的配套电机连接，以通过控制所述车轮的配套电机工作，进而控制所述自导航机器人检测小车移动；

激光雷达，设于所述自导航机器人检测小车上，用于建立二维导航地图并用于实时导航避障；

深度相机，设于所述自导航机器人检测小车上，用于建立三维导航地图并用于采集地铁电客车底部螺栓的图像；

蓝牙模块电路，与所述电机驱动电路连接；

三轴陀螺仪电路，用于获取自导航机器人检测小车的姿态；

麦克风阵列，设于所述自导航机器人检测小车上，用于语音控制所述自导航机器人检测小车；

主控处理器，与所述电机驱动电路、激光雷达、深度相机和麦克风阵列连接，以分别控制所述电机驱动电路、激光雷达、深度相机和麦克风阵列工作。

在一些实施例中，所述自导航机器人检测小车的硬件电路由所述主控处理器、电源模块电路、网络通讯电路、STM32运动控制板、深度相机、激光雷达和六麦麦克风阵列组成；所述电源模块电路、网络通讯电路、STM32运动控制板、深度相机、激光雷达和六麦麦克风阵列均与所述主控处理器连接；

所述主控处理器用于处理数据；所述电源模块电路提供电源；所述网络通讯模块用于提供网络通讯；STM32运动控制板用于驱动电机前进后退并将数据实时反馈给主控处理器；所述深度相机用于3DSLAM（即时定位与地图构建Simultaneous Localization andMapping，简称SLAM）建地图并自导航和自导航过程中对地铁电客车底部拍照提取螺栓信息，进一步通过程序判断螺栓是否松动；所述激光雷达用于2DSLAM建地图、检测障碍物并根据建好的地图自导航功能；六麦麦克风阵列用于为所述自导航机器人检测小车提供声源定位和语音导航功能。

在一些实施例中，所述STM32运动控制板由所述蓝牙模块电路、电源模块电路、通讯模块、三轴陀螺仪电路、USBhub扩展板电路和电机驱动电路组成；所述三轴陀螺仪电路用于获取所述自导航机器人检测小车的姿态，以及获取到模块的加速度、角速度，通过陀螺仪的数据，融合里程计的数据进而实现高精度的定位效果；所述通讯模块用于提供所述STM32运动控制板与主控处理器和其他外接设备的通讯功能；所述蓝牙模块用于遥控所述自导航机器人检测小车；所述USBhub扩展板电路用于扩展外接设备，执行功能扩展功能，支持系统的二次开发。

在一些实施例中，所述六麦麦克风阵列配置有智能语音音箱，所述六麦麦克风阵列采用平面式分布结构，所述六麦麦克风阵列包含六个麦克风输入，具有360°等效拾音功能，唤醒分辨率为1度，以实现声源定位和语音导航功能。

在一些实施例中，所述主控处理器配置有多机编队模块，所述多机编队模块用于实现分布式编队控制中的领航-跟随法的多机器人编队，指定队形中的某一个自导航机器人检测小车作为领航者，其他自导航机器人检测小车作为Slave跟随领航者运动。

在一些实施例中，所述主控处理器配置有上位机图形用户界面（GUI）模块，所述上位机图形用户界面模块用于显示城市轨道交通自导航及螺栓松动检测图形用户界面。

本发明实施例的第二方面公开了一种城市轨道交通用螺栓松动检测方法，通过上述中任一项所述的城市轨道交通用螺栓松动检测系统实现；

所述城市轨道交通用螺栓松动检测方法包括：

S1.建立坐标系；

其中，坐标原点O为螺杆上表面中心点，y轴为与螺杆上表面垂直的方向且与螺杆中心线重合，x轴为螺杆上表面的水平方向，取螺栓的前视图建立直角坐标系；

S2.确定A点、B点、C点、D点、E点和F点的坐标，以及确定螺杆上表面与螺母上表面之间的垂直距离a；

其中，A点为前视图中螺杆上表面与螺杆左侧边的交点，B点、C点、D点、E点和F点分别为前视图中螺母的不同棱边与螺母上表面的交点；

S3.在螺栓螺母安装后，采用目标检测算法，确定A点、B点、C点、D点、E点和F点的坐标，以及螺杆上表面与螺母上表面之间的垂直距离a1；

S4.在检修时，采集螺栓螺母图像，采用目标检测算法，确定A点、B点、C点、D点、E点和F点的坐标，以及螺杆上表面与螺母上表面之间的垂直距离a2；

S5.比较a1和a2，若a1与a2相等，则螺栓未松动；反之，螺栓松动；

和/或，比较安装后和检修时的A点、B点、C点、D点、E点和F点的坐标，若任意一点的坐标没有发生变化，则螺栓未松动；反之，螺栓松动。

同时，使用所述深度相机拍摄螺栓螺母视频并用格式化工厂软件生成至少500张图片作为训练集，采用目标检测算法，如采用U-net算法提取螺母上表面正六边形轮廓作为标准图像，其在空间具有固定坐标点；

当所述自导航机器人检测小车自导航行走在地铁电客车车底进行螺栓松动检测时，所述深度相机对地铁电客车底部螺栓螺母进行拍照，通过输入二值图、存储轮廓的向量、轮廓层次信息、检索所有轮廓以重建轮廓完整轮廓层次结构和每个轮廓全部像素，并过滤掉不需要的信息，并基于openCV通过目标检测算法生成出检修时螺母上表面的正六边形图像作为检测图像，其在空间具有固定坐标点；

将所述检测图像和标准图像作为对比，若二者完全重合，则螺栓未松动；若二者未完全重合，即存在角度偏移，则螺栓松动。

在一些实施例中，至少采集500张所述检测图像和标准图像作为数据集进行深度学习训练，得到具有深度学习和自监督学习功能的检测模型，所述检测模型用于进行螺栓松动检测；其中，所述检测图像包括螺栓未松动时的检测图像和螺栓松动时的检测图像。

本发明实施例的第三方面公开了一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取所述计算机指令时，所述计算机执行上述的城市轨道交通用螺栓松动检测方法。

综上所述，本发明至少具有以下有益效果：

本发明通过设置自导航机器人检测小车、电机驱动电路、激光雷达、深度相机、蓝牙模块电路、三轴陀螺仪电路、麦克风阵列和主控处理器，可以实现在地铁电客车下的自导航的底部螺栓松动自动检修作业，不需要人工在车底下狭小的空间进行人工检修，提高了检修效率，降低了人力成本，而且检修效果较好和准确性较高。

地铁电客车在载客运行结束后回到车辆段或停车场的库的轨道上停下待检修，目前主要靠人工在车底下狭小的空间进行人工检修，本发明可实现无人值守条件下，自导航机器人检测小车对电客车底部螺栓松动进行自动检修，在城市轨道交通领域具有极高的应用价值。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明中所涉及的硬件电路的示意图。

图2为本发明中所涉及的STM32运动控制板电路的示意图。

图3为本发明中所涉及的通讯模块的示意图。

图4为本发明中所涉及的自导航机器人检测小车功能的示意图。

图5为本发明中所涉及的螺栓前视图及其建立的坐标系的示意图。

图6为本发明中所涉及的基于openCV实现螺栓松动检测流程示意图。

图7为本发明中所涉及的基于目标检测算法实现螺栓松动检测流程示意图。

图8为本发明中所涉及的微控制器U1的示意图。

图9为本发明中所涉及的电机驱动芯片U2的示意图。

图10为本发明中所涉及的电机驱动芯片U3的示意图。

图11为本发明中所涉及的电机驱动芯片U4的示意图。

图12为本发明中所涉及的电机驱动芯片U5的示意图。

图13为本发明中所涉及的排针U6的示意图。

图14为本发明中所涉及的排针U7的示意图。

图15为本发明中所涉及的排针U8的示意图。

图16为本发明中所涉及的排针U9的示意图。

图17为本发明中所涉及的姿态传感器U10的示意图。

具体实施方式

在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本发明实施例的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。

下文的公开提供了许多不同的实施方式或例子用来实现本发明实施例的不同结构。为了简化本发明实施例的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明实施例。此外，本发明实施例可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。

下面结合附图对本发明的实施例进行详细说明。

如图1、图2、图3和图4所示，本发明实施例的第一方面公开了一种城市轨道交通用螺栓松动检测系统，包括：

自导航机器人检测小车，设有车轮，用于行走在地铁电客车下方的地面上；

电机驱动电路，与车轮的配套电机连接，以通过控制车轮的配套电机工作，进而控制自导航机器人检测小车移动；

激光雷达，设于自导航机器人检测小车上，用于建立二维导航地图并用于实时导航避障；

深度相机，设于自导航机器人检测小车上，用于建立三维导航地图并用于采集地铁电客车底部螺栓的图像；

蓝牙模块电路，用于与电机驱动电路连接，以遥控自导航机器人检测小车；

三轴陀螺仪电路，用于获取自导航机器人检测小车的姿态；

麦克风阵列，设于自导航机器人检测小车上，用于语音控制自导航机器人检测小车；

主控处理器，与电机驱动电路、激光雷达、深度相机和麦克风阵列连接，以分别控制电机驱动电路、激光雷达、深度相机和麦克风阵列工作。

在作业时，可以通过与蓝牙模块电路连接的遥控器，或者通过麦克风阵列进行语音遥控，控制自导航机器人检测小车行走在地铁电客车下，行走时按照机器人建好的地图进行导航，通过三轴陀螺仪电路获取自导航机器人检测小车的姿态，以及获取到模块的加速度、角速度，通过这些数据，融合里程计的数据进而实现高精度的定位效果；在行走过程中，通过深度相机对待检测的螺栓进行图像采集，使用下述的城市轨道交通用螺栓松动检测方法，即可完成检测。

在一些实施例中，如图8、图9、图10、图11和图12所示，电机驱动电路包括微控制器U1、电机驱动芯片U2、电感L1、电阻R1、电机驱动芯片U3、电感L2、电阻R2、电机驱动芯片U4、电感L3、电阻R3、电机驱动芯片U5、电感L4和电阻R4；

微控制器U1的引脚40和引脚42分别与电机驱动芯片U2的引脚2和引脚3一一对应连接，电感L1的一端外接电压端3V3，另一端与电机驱动芯片U2的引脚4连接，电机驱动芯片U2的引脚5与电机驱动芯片U3的引脚5连接，微控制器U1的引脚95和引脚96分别与电机驱动芯片U3的引脚2和引脚3一一对应连接，电感L2的一端外接电压端3V3，另一端与电机驱动芯片U3的引脚4连接；

微控制器U1的引脚4和引脚5分别与电机驱动芯片U4的引脚3和引脚2一一对应连接，电感L3的一端外接电压端3V3，另一端与电机驱动芯片U4的引脚4连接，电机驱动芯片U4的引脚5与电机驱动芯片U5的引脚5连接，微控制器U1的引脚44和引脚45分别与电机驱动芯片U5的引脚2和引脚3一一对应连接，电感L4的一端外接电压端3V3，另一端与电机驱动芯片U5的引脚4连接。

本实施例中，微控制器U1的型号为STM32F407VET6，用于接收Jetson TX1主控处理器的控制信号进而控制驱动四个电机的运动状态。可以设置含有蓄电池组的电源模块电路，蓄电池组提供DC5V直流电压，选用稳压器RT9013-33GB降压处理后，将DC5V转换成DC3.3V为电路提供稳压电源。

在一些实施例中，如图13、图14、图15和图16所示，电机驱动电路还包括排针U6、排针U7、排针U8、排针U9、电容C1、电容C2、电容C3和电容C4；排针U6的引脚3和引脚4分别与微控制器U1的引脚92和引脚93一一对应连接，排针U6的引脚1和引脚6分别与机驱动芯片U2的引脚6和引脚8一一对应连接，排针U6的引脚2与电容C1的一端连接后接地，排针U6的引脚5与电容C1的另一端连接后外接电压端5V；

排针U7的引脚3和引脚4分别与微控制器U1的引脚23和引脚24一一对应连接，排针U7的引脚1和引脚6分别与机驱动芯片U5的引脚6和引脚8一一对应连接，排针U7的引脚2与电容C2的一端连接后接地，排针U7的引脚5与电容C2的另一端连接后外接电压端5V；

排针U8的引脚3和引脚4分别与微控制器U1的引脚77和引脚89一一对应连接，排针U8的引脚1和引脚6分别与机驱动芯片U3的引脚6和引脚8一一对应连接，排针U8的引脚2与电容C3的一端连接后接地，排针U8的引脚5与电容C3的另一端连接后外接电压端5V；

排针U9的引脚3和引脚4分别与微控制器U1的引脚29和引脚30一一对应连接，排针U9的引脚1和引脚6分别与机驱动芯片U4的引脚6和引脚8一一对应连接，排针U9的引脚2与电容C4的一端连接后接地，排针U9的引脚5与电容C4的另一端连接后外接电压端5V。

本实施例中，电机驱动芯片U2、电机驱动芯片U3、电机驱动芯片U4金额电机驱动芯片U5选用AT8236电机驱动芯片，分别用于驱动自导航机器人检测小车的4个车轮，从而控制自导航机器人检测小车的运动状态。

在一些实施例中，如图17所示，三轴陀螺仪电路包括姿态传感器U10、电阻R5、电阻R6、电阻R7、电容C5、电容C6、电容C7和电容C8；姿态传感器U10的引脚12与微控制器U1的引脚51连接，姿态传感器U10的引脚23与电阻R6的一端和微控制器U1的引脚47连接，姿态传感器U10的引脚24与电阻R5的一端和微控制器U1的引脚48连接，电阻R6的另一端与电阻R5的另一端连接后外接电压端3V3，姿态传感器U10的引脚13与接地的电容C6连接后外接电压端3V3，姿态传感器U10的引脚20与接地的电容C5连接，姿态传感器U10的引脚8与接地的电容C8连接，姿态传感器U10的引脚9与接地的电阻R7连接。

如图6所示，本发明实施例的第二方面公开了一种城市轨道交通用螺栓松动检测方法，通过上述中任一项所述的城市轨道交通用螺栓松动检测系统实现；

城市轨道交通用螺栓松动检测方法包括：

S1.建立坐标系，如图5所示；

其中，坐标原点O为螺杆上表面中心点，y轴为与螺杆上表面垂直的方向且与螺杆中心线重合，x轴为螺杆上表面的水平方向，取螺栓的前视图建立直角坐标系；

S2.确定A点、B点、C点、D点、E点和F点的坐标，以及确定螺杆上表面与螺母上表面之间的垂直距离a；

其中，A点为前视图中螺杆上表面与螺杆左侧边的交点，B点、C点、D点、E点和F点分别为前视图中螺母的不同棱边与螺母上表面的交点；

S3.在螺栓螺母安装后，采用目标检测算法，确定A点、B点、C点、D点、E点和F点的坐标，以及螺杆上表面与螺母上表面之间的垂直距离a1；

S4.在检修时，采集螺栓螺母图像，采用目标检测算法，确定A点、B点、C点、D点、E点和F点的坐标，以及螺杆上表面与螺母上表面之间的垂直距离a2；

S5.比较a1和a2，若a1与a2相等，则螺栓未松动；反之，螺栓松动；

和/或，比较安装后和检修时的A点、B点、C点、D点、E点和F点的坐标，若任意一点的坐标没有发生变化，则螺栓未松动；反之，螺栓松动。

其中，若采用两种比较方法时，两种比较的结果不一致，则同样认为螺栓松动。

为进一步提高螺栓松动检测的准确率，如图7所示。

S6.使用深度相机拍摄螺栓螺母视频并用格式化工厂软件生成至少500张图片作为训练集，采用目标检测算法（即识别轮廓，筛选轮廓，计算最小外接矩形、中心点、角度），如采用U-net算法提取螺母上表面正六边形轮廓作为标准图像，其在空间具有固定坐标点；

S7.当自导航机器人检测小车行走在地铁电客车车底进行螺栓松动检测时，深度相机对地铁电客车底部螺栓螺母进行拍照，通过输入二值图、存储轮廓的向量、轮廓层次信息、检索所有轮廓以重建轮廓完整轮廓层次结构和每个轮廓全部像素，并过滤掉不需要的信息，并基于openCV通过目标检测算法生成出检修时螺母上表面的正六边形图像作为检测图像，其在空间具有固定坐标点；

S8.将检测图像和标准图像作为对比（二者轮廓和角度是否对齐？），若二者完全重合，则螺栓未松动；若二者未完全重合，即存在角度偏移，则螺栓松动。

其中，S1至S5的方法步骤与S6至S8的方法步骤可以单独执行实现螺栓松动检测，也可以共同执行；当共同执行时，执行S1至S3，同时执行S6；那么在检修时，执行S4和S5，同时执行S7和S8；当任一种方法步骤得到的检测结果为螺栓松动时，则认为螺栓松动。两种方法的结合可以进一步提高螺栓松动检测的准确率。

在一些实施例中，至少采集500张检测图像和标准图像作为数据集进行深度学习训练，得到具有深度学习和自监督学习功能的检测模型，检测模型用于进行螺栓松动检测；其中，检测图像包括螺栓未松动时的检测图像和螺栓松动时的检测图像。

其中，上述方法可以整合成控制程序烧录在主控处理器上。

本发明实施例的第三方面公开了一种计算机可读存储介质，存储介质存储计算机指令，当计算机读取计算机指令时，计算机执行上述的城市轨道交通用螺栓松动检测方法。

在一具体实施例中，在主控器Jetson TX1安装Ubuntu系统，作为自导航机器人检测小车的控制系统，并接入WIFI提供更新下载最新的软件安装程序和驱动程序，并在Ubuntu系统安装ROS(robot operation system)系统，并将控制四个驱动电机的控制程序下载到STM32运动控制板的控制芯片STM32F407VET6处理器里。

去开发者社区官网下载Astra SDK压缩包并解压安装，同时安装相应的驱动程序。并输入相应控制程序指令启动相机，以测试奥比中光Astra深度相机是否安装成功，此相机用于自导航时建立地图。

去官网下载安装N10P激光雷达的ROS—SDK安装包，对安装包解压、安装并进行编译，同时安装对应的驱动程序。并输入相应控制程序指令启动激光雷达，以测试激光雷达程序是否安装成功。

去科大讯飞官网注册平台账号下载SDK离线语音文件，申请新的ID并与ID绑定离线语音资源文件并替换功能包中的对应文件，并输入指令开启语音控制底层、导航、雷达扫描节点和麦克风阵列初始化节点等语音功能包功能。并在程序里设定语音唤醒词为“你好小楠”。

电脑中打开Vmware虚拟机的Ubuntu系统，SSH登陆自导航机器人检测小车远程控制，自导航机器人检测小车接入WIFI网络中。本发明具有激光雷达建图、自主导航、多点导航、激光雷达跟随、多机编队自主导航及电客车地下自导航中智能螺栓松动检测等功能。

根据以上场景模式，模拟对济南轨道交通2号线姜家庄停车场10个全自动车库里停下的地铁电客车进行控制。姜家庄停车场全自动车库门中，2股道-9股道8个股道，每个股道上都停一台地铁电客车。自导航机器人检测小车控制系统可发布话题、订阅话题及接收话题控制自导航机器人检测小车的各种运动状态。

如将本发明所设计的一种自导航机器人检测小车放在济南轨道交通2号线姜家庄停车场2号股道处，输入启动激光雷达建地图指令，同时输入rviz指令可查看实时建图效果，使用键盘控制自导航机器人检测小车运动状态，如控制自导航机器人检测小车的前进、后退、转弯等，激光雷达建图是2D建图，并在地图设置起始点和终止点，建图完成后及时将所建的地图保存起来。环境四周障碍物在地图显示黑色框图，机器人检修小车按照建好的地图执行自导航行驶，智能算法生成小车运行轨迹避开障碍物控制小车行驶。其余股道的激光雷达建图和此类似。

为进一步提高自导航精度和准确性，自导航机器人检测小车同时具有“3D建图”功能，“3D建图”自导航是基于三维空间位置的导航，可显示路线的行进方向、距离、时间、周围环境等，比“2D导航”精度更高。2D导航是栅格地图采用切片方式显示地图，2D导航弊端可能出现导航不准确、路口明显不分等问题，而3D地图导航为矢量地图，地图更能更加丰富导航更加准确。启动3D建图和键盘控制节点，采用深度相机拍摄相应股道的周围环境进行3D建图，具体建图和上述类似并自动保存下来。执行相应操作即可按照建好的3D地图，自导航机器人检测小车即可执行自导航行驶。

本发明所设计的一种自导航机器人检测小车具有“声源定位和语音导航”功能，当操作者说出语音唤醒词：“你好小楠”，唤醒自导航机器人检测小车，6麦麦克风阵列其中一麦输入声音唤醒词，其余麦输入被屏蔽。自导航机器人检测小车唤醒后，录音时间内说出：小车前进2号股道，根据上面已经建好的地图，运行base.launch后打开RVIZ使用2D导航工具2D NavGoal选取想要的目标点和方向，自动执行导航功能。同时自动启动雷达实时监测周围障碍物功能，当小车距离障碍物小于0.5m且自导航机器人检测小车靠近障碍物的时候，小车自动停下且用户界面有相应提示，此时使小车靠近障碍物IDE语音指令无效，使小车远离障碍物的语音指令有效。自导航行驶过程中；当小车需要暂停时，操作者说出：小车停止，此时小车就暂停行驶，当说出：“小车前进”时，自导航机器人检测小车再继续前进。此导航拥有路径规划和自主避障功能。

本发明所设计的一种自导航机器人检测小车具有“多机编队”功能，即分布式编队控制中的领航-跟随法实现多机器人编队，指定队形中的某一个机器人作为领航者，其他机器人作为Slave跟随领航者运动。主机和从机都接入同一个WIFI，主机和不同的从机设置的IP地址处于同一网段。先安装terminator工具，将主从机的控制端口使用窗口分割工具安置于同一个终端中。先时间同步操作，主车运行导航功能包，从车中运行多机编队功能包。在主窗口中控制主机的运动进而控制从机的运动。

地铁电客车车底的检测，主要是检测地铁电客车螺栓是否松动。自导航机器人检测小车还具有智能检测地铁电客车底部螺栓松动的功能，具有深度学习和自监督学习功能，基于openCV实现螺栓松动检测。如图5螺栓前视图及其建立的坐标系所示，在螺杆上表面中心点为y轴且与螺杆中心线重合，水平方向为x轴，取螺杆和螺栓的前视图建立直角坐标系，并在图5标定若干平面坐标。根据坐标的变化，进而判断螺栓是否松动。

该目标检测，需要至少提供几百张地铁电客车底部各种型号的螺栓的“正常螺栓”和“松动螺栓”作为数据集进行深度学习训练且控制程序具有深度学习和自监督学习功能，不断提高螺栓松动检测精度。深度相机安装在自导航机器人检测小车上面，随自导航机器人检测小车行驶在地铁电客车底部，深度相机拍照提取地铁电客车底部螺栓信息来判断是否螺栓松动，并将松动信息在GUI界面显示出来。具体方法是相机在地铁电客车底部螺栓拍视频并裁剪成若干图片作为数据集，进行数据训练，采用目标检测算法，如U-net算法提取螺栓标准图像，后面采用深度相机对螺栓进行拍照通过目标检测算法提取螺栓各点的坐标，根据坐标的变化，参照此可通过基于openCV实现螺栓松动检测。工作原理如下：

首先，如图5所示画出螺栓螺母前视图，在螺杆上表面中心点为坐标原点（0,0）与螺杆上表面垂直方向为y轴且与螺杆中心线重合，螺杆上表面的水平方向为x轴，取螺杆和螺栓的前视图建立直角坐标系，并在图5标定若干平面坐标。如图5所示，确定A点、B点、C点、D点、E点和F点坐标，螺杆上表面与螺母上表面之间的垂直距离设定为a；A点为前视图中螺杆上表面与螺杆左侧边的交点，即前视图的螺母正六边形的棱与螺母上边面的交点分别为B点、C点、D点、E点和F点坐标。

其次，采用上述方法，采用目标检测算法，如U-net算法提取螺栓标准图像并确定A点、B点、C点、D点、E点和F点坐标及螺杆上表面与螺母上表面之间的垂直距离a1，进而确定螺栓原始的各点坐标位置；

同时，使用深度相机拍摄螺栓螺母视频并用格式化工厂软件生成至少500张图片作为训练集，采用目标检测算法（即识别轮廓，筛选轮廓，计算最小外接矩形、中心点、角度），如采用U-net算法提取螺母上表面正六边形轮廓作为标准图像，其在空间具有固定坐标点。

再次，技术人员检修地铁电客车时，采用本发明所设计的自导航机器人检测小车自动导航行驶到电客车需要检修的对应股道处，搭载的深度相机对螺栓螺杆进行拍照，通过输入二值图、存储轮廓的向量、轮廓层次信息、检索所有轮廓并重建嵌套轮廓的完整层次结构和每个轮廓全部像素等过程，过滤掉不需要的信息。采用openCV通过目标检测算法识别图像中螺栓的区域确定A点、B点、C点、D点、E点和F点坐标以及螺杆上表面与螺母上表面之间的垂直距离a2，自行通过目标检测算法实现；

同时，当自导航机器人检测小车行走在地铁电客车车底进行螺栓松动检测时，深度相机对地铁电客车底部螺栓螺母进行拍照，通过输入二值图、存储轮廓的向量、轮廓层次信息、检索所有轮廓以重建轮廓完整轮廓层次结构和每个轮廓全部像素，并过滤掉不需要的信息，并基于openCV通过目标检测算法生成出检修时螺母上表面的正六边形图像作为检测图像，其在空间具有固定坐标点。

最后，比较a1和a2的数值是否相等，若相等，则判断螺栓未松动，若二者数值不相等，则判断螺栓松动。同时，为提高螺栓松动检测精度，原始的A、B点、C点、D点、E点和F点坐标位置发生变化也可判断螺栓发生了松动；

同时，将检测图像和标准图像作为对比（二者轮廓和角度是否对齐？），若二者完全重合，则螺栓未松动；若二者未完全重合，即存在角度偏移，则螺栓松动。

以上所述实施例是用以说明本发明，并非用以限制本发明，所以举例数值的变更或等效元件的置换仍应隶属本发明的范畴。

由以上详细说明，可使本领域普通技术人员明了本发明的确可达成前述目的，实已符合专利法的规定。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，应当指出的是，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

应当注意的是，上述有关流程的描述仅仅是为了示例和说明，而不限定本说明书的适用范围。对于本领域技术人员来说，在本说明书的指导下可以对流程进行各种修正和改变。然而，这些修正和改变仍在本说明书的范围之内。

上文已对基本概念做了描述，显然，对于阅读此申请后的本领域的普通技术人员来说，上述发明披露仅作为示例，并不构成对本申请的限制。虽然此处并未明确说明，但本领域的普通技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议，所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。

同时，本申请使用了特定词语来描述本申请的实施例。例如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例有关的某一特征、结构或特性。因此，应当强调并注意的是，本说明书中在不同位置两次或以上提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

此外，本领域的普通技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的过程、机器、产品或物质的组合，或对其任何新的和有用的改进。因此，本申请的各个方面可以完全由硬件实施、可以完全由软件（包括固件、常驻软件、微代码等）实施、也可以由硬件和软件组合实施。以上硬件或软件均可被称为“单元”、“模块”或“系统”。此外，本申请的各方面可以采取体现在一个或多个计算机可读介质中的计算机程序产品的形式，其中计算机可读程序代码包含在其中。

本申请各部分操作所需的计算机程序代码可以用任意一种或以上程序设计语言编写，包括如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等的面向对象程序设计语言、如C程序设计语言、VisualBasic、Fortran2103、Perl、COBOL2102、PHP、ABAP的常规程序化程序设计语言、如Python、Ruby和Groovy的动态程序设计语言或其它程序设计语言等。该程序代码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网（LAN）或广域网（WAN），或连接至外部计算机（例如通过因特网），或在云计算环境中，或作为服务使用如软件即服务（SaaS）。

此外，除非权利要求中明确说明，本申请所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如，尽管上述各种组件的实现可以体现在硬件设备中，但是它也可以实现为纯软件解决方案，例如，在现有服务器或移动设备上的安装。

同理，应当注意的是，为了简化本申请披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本申请的实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。然而，本申请的该方法不应被解释为反映所申明的客体需要比每个权利要求中明确记载的更多特征的意图。相反，发明的主体应具备比上述单一实施例更少的特征。

Claims (6)

1.一种城市轨道交通用螺栓松动检测方法，其特征在于，包括：

S1.建立坐标系；

其中，坐标原点O为螺杆上表面中心点，y轴为与螺杆上表面垂直的方向且与螺杆中心线重合，x轴为螺杆上表面的水平方向，取螺栓的前视图建立直角坐标系；

S2.确定A点、B点、C点、D点、E点和F点的坐标，以及确定螺杆上表面与螺母上表面之间的垂直距离a；

其中，A点为前视图中螺杆上表面与螺杆左侧边的交点，B点、C点、D点、E点和F点分别为前视图中螺母的不同棱边与螺母上表面的交点；

S3.在螺栓螺母安装后，采用目标检测算法，确定A点、B点、C点、D点、E点和F点的坐标，以及螺杆上表面与螺母上表面之间的垂直距离a1；

S4.在检修时，采集螺栓螺母图像，采用目标检测算法，确定A点、B点、C点、D点、E点和F点的坐标，以及螺杆上表面与螺母上表面之间的垂直距离a2；

S5.比较a1和a2，若a1与a2相等，则螺栓未松动；反之，螺栓松动；

和/或，比较安装后和检修时的A点、B点、C点、D点、E点和F点的坐标，若任意一点的坐标没有发生变化，则螺栓未松动；反之，螺栓松动；

使用深度相机拍摄螺栓螺母视频并用格式化工厂软件生成至少500张图片作为训练集，采用目标检测算法提取螺母上表面正六边形轮廓作为标准图像，其在空间具有固定坐标点；

当自导航机器人检测小车行走在地铁电客车车底进行螺栓松动检测时，深度相机对地铁电客车底部螺栓螺母进行拍照，通过输入二值图、存储轮廓的向量、轮廓层次信息、检索所有轮廓以重建轮廓完整轮廓层次结构和每个轮廓全部像素，并过滤掉不需要的信息，并基于openCV通过目标检测算法生成出检修时螺母上表面的正六边形图像作为检测图像，其在空间具有固定坐标点；

将所述检测图像和标准图像作为对比，若二者完全重合，则螺栓未松动；若二者未完全重合，即存在角度偏移，则螺栓松动；

所述城市轨道交通用螺栓松动检测方法通过城市轨道交通用螺栓松动检测系统实现；

所述城市轨道交通用螺栓松动检测系统包括：

自导航机器人检测小车，设有车轮，用于行走在车辆段运用库内的地铁电客车下方的地面上；

电机驱动电路，与所述车轮的配套电机连接，以通过控制所述车轮的配套电机工作，进而控制所述自导航机器人检测小车移动；

激光雷达，设于所述自导航机器人检测小车上，用于建立二维导航地图并用于实时导航避障；

深度相机，设于所述自导航机器人检测小车上，用于建立三维导航地图并用于采集地铁电客车底部螺栓的图像；

蓝牙模块电路，与所述电机驱动电路连接；

三轴陀螺仪电路，用于获取自导航机器人检测小车的姿态；

麦克风阵列，设于所述自导航机器人检测小车上，用于语音控制所述自导航机器人检测小车；

主控处理器，与所述电机驱动电路、激光雷达、深度相机和麦克风阵列连接，以分别控制所述电机驱动电路、激光雷达、深度相机和麦克风阵列工作；

所述自导航机器人检测小车的硬件电路由所述主控处理器、电源模块电路、网络通讯电路、STM32运动控制板、深度相机、激光雷达和六麦麦克风阵列组成；所述电源模块电路、网络通讯电路、STM32运动控制板、深度相机、激光雷达和六麦麦克风阵列均与所述主控处理器连接；

所述主控处理器用于处理数据；所述电源模块电路提供电源；所述网络通讯模块用于提供网络通讯；STM32运动控制板用于驱动电机前进后退并将数据实时反馈给主控处理器；所述深度相机用于3D建图并自导航和自导航过程中对地铁电客车底部拍照提取螺栓信息，进一步通过程序判断螺栓是否松动；所述激光雷达用于2D建图、检测障碍物并根据建好的地图自导航功能；六麦麦克风阵列用于为所述自导航机器人检测小车提供声源定位和语音导航功能；

所述STM32运动控制板由所述蓝牙模块电路、电源模块电路、通讯模块、三轴陀螺仪电路、USBhub扩展板电路和电机驱动电路组成；所述三轴陀螺仪电路用于获取所述自导航机器人检测小车的姿态，以及获取到模块的加速度、角速度，通过陀螺仪的数据，融合里程计的数据进而实现高精度的定位效果；所述通讯模块用于提供所述STM32运动控制板与主控处理器和其他外接设备的通讯功能；所述蓝牙模块用于遥控所述自导航机器人检测小车；所述USBhub扩展板电路用于扩展外接设备，执行功能扩展功能，支持系统的二次开发。

2.根据权利要求1所述的城市轨道交通用螺栓松动检测方法，其特征在于，至少采集500张所述检测图像和标准图像作为数据集进行深度学习训练，得到具有深度学习和自监督学习功能的检测模型，所述检测模型用于进行螺栓松动检测；其中，所述检测图像包括螺栓未松动时的检测图像和螺栓松动时的检测图像。

3.根据权利要求1所述的城市轨道交通用螺栓松动检测方法，其特征在于，所述六麦麦克风阵列配置有智能语音音箱，所述六麦麦克风阵列采用平面式分布结构，所述六麦麦克风阵列包含六个麦克风输入，具有360°等效拾音功能，唤醒分辨率为1度，以实现声源定位和语音导航功能。

4.根据权利要求1所述的城市轨道交通用螺栓松动检测方法，其特征在于，所述主控处理器配置有多机编队模块，所述多机编队模块用于实现分布式编队控制中的领航-跟随法的多机器人编队，指定队形中的某一个自导航机器人检测小车作为领航者，其他自导航机器人检测小车作为Slave跟随领航者运动。

5.根据权利要求1所述的城市轨道交通用螺栓松动检测方法，其特征在于，所述主控处理器配置有上位机图形用户界面模块，所述上位机图形用户界面模块用于显示城市轨道交通自导航及螺栓松动检测图形用户界面。

6.一种计算机可读存储介质，其特征在于，所述存储介质存储计算机指令，当计算机读取所述计算机指令时，所述计算机执行如权利要求1或2所述的城市轨道交通用螺栓松动检测方法。

Images