CN115201213A - 一种客运索道钢丝绳检测装置及方法 - Google Patents

一种客运索道钢丝绳检测装置及方法 Download PDF

Info

Publication number
CN115201213A
CN115201213A CN202210612364.XA CN202210612364A CN115201213A CN 115201213 A CN115201213 A CN 115201213A CN 202210612364 A CN202210612364 A CN 202210612364A CN 115201213 A CN115201213 A CN 115201213A
Authority
CN
China
Prior art keywords
wire rope
steel wire
module
robot body
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210612364.XA
Other languages
English (en)
Inventor
韩冰
樊卫华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202210612364.XA priority Critical patent/CN115201213A/zh
Publication of CN115201213A publication Critical patent/CN115201213A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/8914—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the material examined
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N2021/8909—Scan signal processing specially adapted for inspection of running sheets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Textile Engineering (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Investigating Or Analyzing Materials By The Use Of Magnetic Means (AREA)

Abstract

本发明公开了一种客运索道钢丝绳检测装置及方法，所述装置包括机器人本体和地面控制端；机器人本体包括挂线运行模块、传感器模块、主控制器模块、电源管理模块和无线通信模块，挂线运行模块用于沿客运索道钢丝绳行进，传感器模块用于采集机器人自身的运行状态信息和钢丝绳的图像，主控制器模块用于控制挂线运行模块的行进、处理采集到的数据等；所述地面控制端通过所述的无线通信模块获取机器人的状态信息和钢丝绳的图像，并通过改进的Faster R‑CNN目标检测模型对钢丝绳图像上的损伤进行检测。相比于传统检测装置，本发明的检测精度和效率更高，使用更为便捷，有效的保障了客运索道的安全性和可靠性。

Description

一种客运索道钢丝绳检测装置及方法
技术领域
本发明涉及特种设备检测技术领域，具体涉及一种客运索道钢丝绳检测装置 及方法。
背景技术
近年来，随着我国旅游行业的快速发展，客运索道作为一种趣味和便利的游 乐设施，其数量和长度都有着显著的增长。钢丝绳是客运索道的重要承载部件， 受索道运行过程中张力以及环境因素影响，常出现磨损、锈蚀、断丝等损伤。这 些损伤对索道的安全运行和游客的生命财产安全有着较大的威胁，因此，定期检 测客运索道钢丝绳的损伤和缺陷，降低索道运行的风险，是索道行业关注和研究 的重点问题。
目前，我国检测索道用钢丝绳的方式以人工检测和弱磁检测技术为主。其中， 人工检测通过目测来检查钢丝绳的断丝、磨损、锈蚀等情况，利用卡尺测量钢丝 绳的直径变化，但人工检测的工作量大、检测效率和准确率较低；弱磁检测技术 根据钢丝绳正常位置和损伤处磁导率的变化，通过测量钢丝绳的磁感应强度来识 别损伤，但弱磁检测的准确度较为依赖工作人员的经验，误检率高，不能可视化 钢丝绳的具体情况，具有一定的局限性。
因此，亟需提出一种准确、高效、便利的客运索道钢丝绳检测方案。
发明内容
本发明的目的在于提供一种客运索道钢丝绳检测装置及方法。
实现本发明目的的技术方案为：第一方面，本发明提供一种客运索道钢丝绳 检测装置，包括机器人本体和地面控制端，所述的机器人本体包括：
主控制器模块，作为机器人本体的决策机构，控制机器人的行进、处理采集 到的数据、协调各模块之间的工作；
挂线运行模块，用于沿客运索道钢丝绳行进；
传感器模块，用于采集机器人本体的运行状态信息和钢丝绳图像，采集到的 信息传送给主控制器模块；
电源管理模块，用于提供机器人本体各用电器件所需的电源，并将电源的供 应情况和储备情况传送给主控制器模块；
无线通信模块，负责机器人本体与地面控制端的信息交互和数据传输；
所述地面控制端通过所述的无线通信模块获取机器人本体的运行状态信息 和钢丝绳表面的图像，进行实时监测，并向机器人本体发送远程控制指令，以及 利用深度学习技术完成对钢丝绳损伤的检测。
第二方面，一种客运索道钢丝绳检测方法，该方法基于第一方面所述客运索 道钢丝绳检测装置，检测方法包括：
机器人本体通过挂线运行模块在客运索道钢丝绳上行进。
在挂线运行模块的行进过程中实时采集钢丝绳的图像。
机器人本体通过远程通信模块将钢丝绳的图像传送到地面控制端。
地面控制端通过改进的Faster R-CNN目标检测模型对钢丝绳的损伤进行检 测。
第三方面，本发明提供一种计算机设备，包括存储器、处理器及存储在存储 器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方 面所述的方法的步骤。
第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序， 该程序被处理器执行时实现第一方面所述的方法的步骤。
与现有技术相比，本发明的有益效果为：本发明通过智能机器人沿客运索道 钢丝绳行进，行进时实时获取机器人的运行状态信息以及索道钢丝绳的图像，并 通过无线通信模块传送给地面控制端，便于地面控制端进行监测和控制；地面控 制端根据钢丝绳的图像，利用深度学习技术完成对钢丝绳损伤的检测。相比于传 统检测装置与方法，本发明的检测精度和效率更高，使用更为便捷，有效的保障 了客运索道的安全性和可靠性。
附图说明
图1为本发明实施例的输电导线缺陷检测装置原理示意图。
图2为本发明一个实施例的挂线运行模块的结构示意图。
图3为ResNet50中残差模块的结构图。
图4为本发明一个实施例的改进的残差模块的结构图。
图5为本发明一个实施例的改进Faster R-CNN模型的检测流程图。
图6为本发明一个实施例的客运索道钢丝绳检测方法的流程图。
具体实施方式
为解决客运索道钢丝绳损伤检测效率低、精度差的问题，本发明提供一种客 运索道钢丝绳检测装置，通过智能机器人沿着客运索道稳定的前进，并采集钢丝 绳表面的图像，精准地检测钢丝绳上出现的磨损、锈蚀、断丝三种损伤。本发明 可以提高客运索道钢丝绳的检测效率和精度，更好地保障客运索道的安全运行。
如图1所示，客运索道钢丝绳检测装置包括机器人本体和地面控制端，所述 的机器人本体包括：
主控制器模块，所述主控制器模块是机器人本体的决策机构，通过算法控制 与协调其它模块的工作，如控制机器人的行进，处理采集到的数据等；
挂线运行模块，所述挂线运行模块用于沿客运索道钢丝绳行进，可实现前进、 后退、暂停等功能；
传感器模块，所述传感器模块用于采集机器人本体的运行状态信息和钢丝绳 图像，采集到的信息会传送给主控制器模块，供其控制和决策；
电源管理模块，所述电源管理模块用于提供机器人本体各用电器件所需的电 源，并将电源的供应情况和储备情况传送给主控制器模块，还可通过无线通信模 块将电源信息传送给地面的工作人员；
无线通信模块，所述无线通信模块负责机器人本体与地面控制端的信息交互 和数据传输；
所述地面控制端通过所述的无线通信模块获取机器人本体的运行状态信息 和钢丝绳表面的图像，进行实时监测，并可向机器人本体发送远程控制指令，以 及利用深度学习技术完成对钢丝绳损伤的检测。
在其中一个实施例中，所述传感器模块包括用于采集钢丝绳表面图像的视觉 传感器、和用于采集机器人本体运行状态信息的IMU，所述的运行状态信息包 括机器人本体的行进速度、行进位移、以及行进方向与水平面的夹角。
在其中一个实施例中，所述的挂线运行模块包含底座、主动轮组、用于带动 主动轮组的驱动电机、从动轮组、用于改变从动轮组高度的顶升装置、设置于主 动轮组、驱动电机和底座之间的主动轮架、设置于顶升装置和底座之间的从动轮 架等。所述的挂线运行模块是机器人本体的行走机构，可牢固的挂载到索道上， 沿着索道稳定行进。
在其中一个实施例中，所述的无线通信模块负责机器人本体与地面控制端之 间的信息交互和数据传输，包含4G模块和无线数传电台。所述的4G模块用于 将钢丝绳图像的传输到地面控制端；所述的无线数传电台用于将采集到的机器人 本体运行状态信息、电源信息传输给地面控制端，并接收地面控制端的控制指令。
在其中一个实施例中，所述的地面控制端用于对机器人的运行状态信息和钢 丝绳的图像进行监测、向机器人本体发送控制指令，通过深度学习技术对钢丝绳 的损伤进行检测等。
所述的地面控制端包含高性能计算机和无线通信模块。所述的无线通信模块 负责地面控制端与机器人本体间的通信交互和数据传输，包括用于接收钢丝绳图 像的4G模块，以及用于接收机器人本体状态信息、电源信息和发送控制指令的 无线数传电台。所述的高性能计算机通过所述的无线通信模块获取机器人本体的 运行状态信息、电源信息和钢丝绳的图像，并实时的对这些信息进行监测、向机 器人本体发送控制指令，所述的高性能计算机还用于对所述钢丝绳的图像进行分 析和处理，通过深度学习技术检测钢丝绳表面的损伤信息。
所述客运索道钢丝绳的损伤指钢丝绳表面出现的断丝、锈蚀、磨损。
所述的地面控制端通过深度学习技术对钢丝绳表面的损伤进行了检测，即通 过改进的Faster R-CNN目标检测模型对钢丝绳图像进行了检测。
改进的Faster R-CNN目标检测模型替换了初始Faster R-CNN目标检测模型 的特征提取网络VGG16，改用性能更优的ResNet50，并对ResNet50的残差模块 进行了改动，即是在残差模块中并联了一个5×5大小的卷积核，以增强模型对多 种尺寸目标的检测能力，提高检测精度。
在Faster R-CNN模型中引入了引入特征图金字塔网络(FPN)，生成多尺度 的特征图，进一步提高模型对多尺寸缺陷目标的检测能力。
进一步的，本发明还提供一种客运索道钢丝绳检测方法，包括以下步骤：
通过智能机器人沿客运索道钢丝绳行进；
在所述机器人本体行进过程中实时采集所述索道钢丝绳的图像，以及所述机 器人本体的运行状态信息；
所述主控制器模块通过算法控制与协调其它模块的工作，如控制机器人的行 进，处理采集到的数据等；
所述机器人本体通过所述无线通信模块将机器人本体的运行状态信息和钢 丝绳的图像传输给所述地面控制端；
所述地面控制端可通过所述无线通信模块向所述机器人本体发送控制指令； 所述地面控制端通过图像处理与深度学习技术检测所述索道钢丝绳的损伤。
所述地面控制端通过深度学习技术检测所述索道钢丝绳的损伤，具体包括： 利用改进的Faster R-CNN目标检测模型检测钢丝绳的损伤情况。
其中，改进的Faster R-CNN目标检测模型对钢丝绳的损伤进行检测的步骤 为：
1)通过改进的ResNet50对输入的钢丝绳图像进行提取，输出钢丝绳图像的 特征图。
2)将特征提取网络输出的特征图送入到FPN中，生成不同尺寸的特征图。
3)将多尺度的特征图输入至RPN(区域建议网络)中，生成预测框(anchors)， 通过softmax函数判断预测框属于前景还是后景，利用边界框回归修正anchors 获得精确的建议框。
4)将特征图和建议框同时输入感兴趣区域池化层，得到固定尺寸的特征图。
5)将感兴趣区域池化层得到的区域建议特征送入全连接层，输出最后的检 测结果，即目标的类别和检测框的精确位置。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、 完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的 实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前 提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
结合图1，本发明实施例的客运索道钢丝绳检测装置包括机器人本体和地面 控制端，机器人本体由主控制器模块、挂线运行模块、传感器模块、电源管理模 块、无线通信模块组成。其中挂线运行模块用于沿客运索道钢丝绳行进，可完成 前进、后退、暂停等功能；传感器模块用于在机器人行进过程中实时采集客运索 道钢丝绳的图像以及机器人自身的运行状态信息；主控制器模块负责控制机器人 的行进、处理采集到的数据、协调各模块之间的工作等；电源管理模块用于提供 机器人本体各部件所需的电源；无线通信模块负责机器人本体和地面控制端之间 的信息交互；地面控制端通过无线通信模块获取采集到的钢丝绳图像和机器人运 行参数，进行监测的同时也可向机器人本体发送控制指令，并通过深度学习技术 检测客运索道钢丝绳的损伤。
客运索道钢丝绳损伤装置包含了一个完整的机器人架构，挂线运行模块是该 机器人架构的行走机构，可沿着索道钢丝绳稳定行进。如图2所示，挂线运行模 块包括可包括底座7、设置于钢丝绳之上的主动轮组1、用于带动主动轮组的驱 动电机3、设置于主动轮组1、驱动电机3和底座7之间的主动轮架5、设置于 钢丝绳之下的从动轮组2、用于改变从动轮组高度的顶升装置4、设置于从动轮 组2、顶升装置4和底座7之间的从动轮架6。
主动轮组1和从动轮组2的轮面均为凹槽状，便于贴合在钢丝绳上。机器人 本体通过驱动电机3带动主动轮组1，实现机器人的前进、后退；通过调节顶升 装置4保证机器人的稳定行进。顶升装置4包括固定端和可调节端，固定端与底 座相连，可调节端采用伺服电动缸结构，改变从动轮组高度的同时也提供一定的 推力，使钢丝绳被牢固的夹在主动轮组和从动轮组之间。
在本发明的一个实施例中，视觉传感器可包括工业相机和镜头，工业相机通 过LAN(Local Area Network，局域网)接口连接主控制器模块，并将采集到的 钢丝绳图像传输到主控模块，再通过无线通信模块将钢丝绳的图像传传输给地面 控制端。
在本发明的一个实施例中，无线通信模块可包括4G模块和无线数传电台， 以及对应的天线配件。无线通信模块负责机器人本体与地面控制端之间的通信， 可实时的将机器人的前进速度、前进距离、电量储备等状态信息反馈给地面控制 端，也可将采集到的钢丝绳图像传输到地面控制端用于远程监控和缺陷检测，机 器人行进过程中，无线通信模块还用于接收地面控制端的指令，便于对机器人的 运行状态进行调整。
在本发明的一个实施例中，电源管理模块可包括电池组和电源管理单元。电 源管理单元将电池组输出的电源转化为机器人各集成器件和电路模块所需要的 电源，同时监测电池组的电源供应情况和储备情况，将电源信息传送给主控制器 模块，也给工作人员提供电量指示。
在本发明的一个实施例中，地面控制端通过无线通信模块获取钢丝绳的图像， 并利用深度学习技术对钢丝绳表面的图像进行缺陷检测。
具体地，利用深度学习技术进行缺陷检测实质上是利用改进的Faster R-CNN 目标检测模型对钢丝绳中的损伤进行检测，原始的Faster R-CNN进行缺陷检测 的步骤为：
S11：特征提取，通过特征提取网络提取待测图像的特征图(feature maps)，Faster R-CNN初始的特征提取网络是VGG16。在进行目标检测任务时，待测图 片经过特征提取网络前向传播，其输出分为两部分，一部分输入到后续的区域建 议网络(RegionProposal Network，RPN)，一部分继续前向传播，得到更高维的 特征图后输入到感兴趣区域池化层(Region of Interest Pooling，ROI Pooling)， 这种机制称为共享卷积层机制。
S12：候选框(proposals)的生成，将feature maps输入至RPN中，通过滑 动窗口操作生成输出为9种不同尺寸的预选框(anchors)，其尺度为(128* 128,256*256,512*512)，长宽比为(1:1,1:2,2:1)。输出的anchors通过softmax 函数判断属于前景还是后景，再利用边界框回归(bounding box regression)修正 anchors获得精确的proposals。
S13：感兴趣区域池化，将feature maps和proposals同时输入ROI Pooling， 提取对应区域建议的特征，可得到固定尺寸的feature maps，再送入后续的全连 接层。
S14：分类和回归，通过ROI Pooling得到的区域建议特征在经过全连接层 后，输出最后的检测结果，即proposal的类别和检测框的精确位置。
在本发明所应用的目标检测任务中，钢丝绳图像中的损伤目标形态变化较大， 既包含尺寸大、跨度大的目标，也包含数量众多的小尺寸目标。为提高模型对多 尺度目标的检测能力，本发明对经典的Faster R-CNN模型进行了改进，其改进 方案如下：
(1)选取性能更优的特征提取网络：选用特征提取网络ResNet50提取待测 钢丝绳图像的特征图，并对ResNet50中的残差模块进行了改进。
残差模块是ResNet50的核心结构，结合图3，为ResNet50中残差模块的结 构图。残差模块通过1×1的卷积核对输入的特征向量进行升维和降维，3×3的小 尺寸卷积核进行特征的提取。但不同大小的卷积核特征提取能力是不同的，在残 差模块中，仅凭3×3的卷积核不能很好地完成对多尺寸的目标进行检测。
为提高模型对多尺寸目标的检测能力，本发明在残差模块中并联了一个5×5 大小的卷积核，其结构图如图4所示。实验表明，通过不同大小的卷积核并联， 可以有效的提高模型对多尺度缺陷目标的检测精度。
(2)引入特征图金字塔网络(Feature Pyramid Networks，FPN)：本发明在 FasterR-CNN中引入了FPN结构，生成多尺度的特征图，进一步提高模型对多 尺寸缺陷目标的检测能力。
结合图5，为本发明实施例的基于改进Faster R-CNN的缺陷检测算法流程图， 其算法步骤为：
S21：特征提取，通过改进的ResNet50对输入的钢丝绳图像进行提取，输出 钢丝绳图像的特征图。
S22：生成多尺寸特征图，将特征提取网络输出的特征图送入到FPN中，生 成不同尺寸的特征图。
S23：候选框的生成：将多尺度的特征图输入至RPN中，生成anchors，通 过softmax函数判断属于前景还是后景，利用边界框回归修正anchors获得精确 的proposals。
S24：感兴趣区域池化，将feature maps和proposals同时输入ROI Pooling， 得到固定尺寸的feature maps。
S25:分类和回归：通过ROI Pooling得到的区域建议特征在经过全连接层后， 输出最后的检测结果，即目标的类别和检测框的精确位置。
综上所述，根据本发明实施例的客运索道钢丝绳检测装置，包括机器人本体 和地面控制端，机器人本体通过挂线运行模块在钢丝绳上行进，通过传感器模块 获取机器人本体的运行状态信息与钢丝绳的图像，机器人本体通过无线通信模块 将传感器模块采集的信息传送给地面控制端，地面控制端可实时对机器人的运行 状态和钢丝绳的图像进行检测，并向机器人本体发送远程控制指令，地面控制端 根据传回的钢丝绳图像，利用改进的Faster R-CNN目标检测模型对钢材表面的 三种损伤进行检测。本发明所述的客运索道钢丝绳检测装置可以高效、高精度的 完成钢丝绳表面损伤的检测，便于相关部门的检测和维护，有效保障客运索道的 安全性和可靠性。
对应上述实施例的客运索道钢丝绳检测装置，本发明还提出一种客运索道钢 丝绳检测方法。
结合图6，本发明实施例的客运索道钢丝绳检测方法包括以下步骤：
S31，机器人本体通过挂线运行模块在客运索道钢丝绳上行进。
S32，在挂线运行模块的行进过程中实时采集钢丝绳的图像。
S33，机器人本体通过远程通信模块将钢丝绳的图像传送到地面控制端。
S34，地面控制端通过改进的Faster R-CNN目标检测模型对钢丝绳的损伤进 行检测。
具体的，改进的Faster R-CNN模型检测步骤为：
S41：特征提取，通过改进的ResNet50对输入的钢丝绳图像进行提取，输出 钢丝绳图像的特征图。
S42：生成多尺寸特征图，将特征提取网络输出的特征图送入到FPN中，生 成不同尺寸的特征图。
S43：候选框的生成，将多尺度的特征图输入至RPN中，生成anchors，通 过softmax函数判断属于前景还是后景，利用边界框回归修正anchors获得精确 的proposals。
S44：感兴趣区域池化，将feature maps和proposals同时输入ROI Pooling， 得到固定尺寸的feature maps。
S45：分类和回归，通过ROI Pooling得到的区域建议特征在经过全连接层 后，输出最后的检测结果，即目标的类别和检测框的精确位置。
根据本发明实施例的客运索道钢丝绳检测方法，由机器人本体在客运索道钢 丝绳上行进，实时采集钢丝绳的图像，并通过无线通信模块传送给地面控制端， 地面控制端通过改进的Faster R-CNN目标检测模型对钢丝绳的损伤进行检测。 本发明所述的检测方法可以快速、便捷的完成钢丝绳的检测，并具有较高的检测 精度和效率。
在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指 示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第 一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的 含义是两个或两个以上，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、 “固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或 成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间 媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本 领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含 义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下” 可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而 且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上 方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征 “之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表 示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具 体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结 构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对 上述术语的示意性表述不必针对相同的实施例或示例。而且，描述的具体特征、 结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此 外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实 施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示 包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的 模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可 以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反 的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认 为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可 读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器 的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用， 或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读 介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、 装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介 质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部 (电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置， 以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可 在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质 进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子 方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。 在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行 系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中 一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对 数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电 路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部 分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算 机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也 可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。 上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实 现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使 用时，也可以存储在一个计算机可读取存储介质中。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是 示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围 内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种客运索道钢丝绳检测装置，其特征在于，包括机器人本体和地面控制端，所述的机器人本体包括：
主控制器模块，作为机器人本体的决策机构，控制机器人的行进、处理采集到的数据、协调各模块之间的工作；
挂线运行模块，用于沿客运索道钢丝绳行进；
传感器模块，用于采集机器人本体的运行状态信息和钢丝绳图像，采集到的信息传送给主控制器模块；
电源管理模块，用于提供机器人本体各用电器件所需的电源，并将电源的供应情况和储备情况传送给主控制器模块；
无线通信模块，负责机器人本体与地面控制端的信息交互和数据传输；
所述地面控制端通过所述的无线通信模块获取机器人本体的运行状态信息和钢丝绳表面的图像，进行实时监测，并向机器人本体发送远程控制指令，以及利用深度学习方法完成对钢丝绳损伤的检测。
2.根据权利要求1所述的客运索道钢丝绳检测装置，其特征在于，所述传感器模块包括用于采集钢丝绳表面图像的视觉传感器、和用于采集机器人本体运行状态信息的IMU，所述的运行状态信息包括机器人本体的行进速度、行进位移、以及行进方向与水平面的夹角。
3.根据权利要求1所述的客运索道钢丝绳检测装置，其特征在于，所述挂线运行模块包括底座、设置于钢丝绳之上的主动轮组、用于带动主动轮组的驱动电机、设置于主动轮组、驱动电机和底座之间的主动轮架、设置于钢丝绳之下的从动轮组、用于改变从动轮组高度的顶升装置、设置于从动轮组、顶升装置和底座之间的从动轮架；所述的挂线运行模块作为机器人本体的行走机构，挂载到索道上。
4.根据权利要求3所述的客运索道钢丝绳检测装置，其特征在于，所述主动轮组和从动轮组的轮面均为凹槽状。
5.根据权利要求3所述的客运索道钢丝绳检测装置，其特征在于，所述顶升装置包括固定端和可调节端，固定端与底座相连，可调节端采用伺服电动缸结构，用于改变从动轮组高度，同时提供一定的推力。
6.根据权利要求1所述的客运索道钢丝绳检测装置，其特征在于，所述的地面控制端通过深度学习方法对钢丝绳表面的损伤进行检测，即通过改进的Faster R-CNN目标检测模型对钢丝绳图像进行检测；
所述改进的Faster R-CNN目标检测模型将初始Faster R-CNN目标检测模型的特征提取网络VGG16替换为ResNet50，并在ResNet50的残差模块中并联一个5×5大小的卷积核；
在Faster R-CNN模型中引入特征图金字塔网络，生成多尺度的特征图。
7.一种客运索道钢丝绳检测方法，其特征在于，该方法基于权利要求1-6任一项所述客运索道钢丝绳检测装置，检测方法包括：
机器人本体通过挂线运行模块在客运索道钢丝绳上行进；
在挂线运行模块的行进过程中实时采集钢丝绳的图像；
机器人本体通过远程通信模块将钢丝绳的图像传送到地面控制端；
地面控制端通过改进的Faster R-CNN目标检测模型对钢丝绳的损伤进行检测。
8.根据权利要求7所述的客运索道钢丝绳检测方法，其特征在于，改进的Faster R-CNN模型的检测步骤为：
通过ResNet50对输入的钢丝绳图像进行提取，输出钢丝绳图像的特征图；
将特征提取网络输出的特征图送入到FPN中，生成不同尺寸的特征图；
将多尺度的特征图输入至区域建议网络中，生成预测框，通过softmax函数判断预测框属于前景还是后景，利用边界框回归修正预测框，获得精确的建议框；
将特征图和建议框同时输入感兴趣区域池化层，得到固定尺寸的特征图；
将感兴趣区域池化层得到的区域建议特征送入全连接层，输出最后的检测结果，即目标的类别和检测框的位置。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求8所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求8所述的方法的步骤。
CN202210612364.XA 2022-05-31 2022-05-31 一种客运索道钢丝绳检测装置及方法 Pending CN115201213A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210612364.XA CN115201213A (zh) 2022-05-31 2022-05-31 一种客运索道钢丝绳检测装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210612364.XA CN115201213A (zh) 2022-05-31 2022-05-31 一种客运索道钢丝绳检测装置及方法

Publications (1)

Publication Number Publication Date
CN115201213A true CN115201213A (zh) 2022-10-18

Family

ID=83577106

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210612364.XA Pending CN115201213A (zh) 2022-05-31 2022-05-31 一种客运索道钢丝绳检测装置及方法

Country Status (1)

Country Link
CN (1) CN115201213A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116840262A (zh) * 2023-05-10 2023-10-03 武汉帕菲勒电气有限公司 一种在线式钢丝绳无损检测系统及方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116840262A (zh) * 2023-05-10 2023-10-03 武汉帕菲勒电气有限公司 一种在线式钢丝绳无损检测系统及方法

Similar Documents

Publication Publication Date Title
CN104567684B (zh) 一种接触网几何参数检测方法及装置
CN111016932B (zh) 节能型空轨系统的轨道巡检车和检测方法
CN102759347B (zh) 一种高铁接触网在线巡检装置、巡检方法以及其检测系统
CN106290388A (zh) 一种绝缘子故障自动检测方法
CN103217111A (zh) 一种非接触式接触线几何参数检测方法
CN104535356A (zh) 一种基于机器视觉的卷筒钢丝绳排绳故障监测方法及系统
CN105158257A (zh) 滑板测量方法及装置
CN111537225A (zh) 一种自供能皮带输送机的皮带状态监测装置和方法
CN111784656A (zh) 一种铁路接触网故障检测方法、装置、电子设备及存储介质
CN111507975B (zh) 一种牵引变电所户外绝缘子异常检测方法
CN112855266A (zh) 采煤机智能监测以及自主协同跟机装置及巡检平台系统
CN111561967A (zh) 弓网运行状态实时在线检测方法及系统
CN115201213A (zh) 一种客运索道钢丝绳检测装置及方法
CN110705414A (zh) 基于深度学习的输电线路施工机械隐患检测方法
CN105857341A (zh) 一种智能铁路轨道巡检机器人
CN115937213A (zh) 一种矿用单轨吊轨道自动巡检机器人可视化缺陷识别系统
CN111127381A (zh) 一种受电弓滑板不平行检测方法
CN113390880A (zh) 输电导线缺陷检测装置和方法
CN110673038A (zh) 一种电池检测方法、装置及系统
CN110264470A (zh) 货运列车篷布监测方法、装置、终端及存储介质
CN211876785U (zh) 一种铝电解槽漏炉智能巡检装置
CN117037063A (zh) 一种基于图像识别的堆煤检测方法及系统
CN111541188A (zh) 输电线路检测装置及方法
CN104101613A (zh) 电缆在线检测系统
CN115774019A (zh) 一种深井高速提升钢丝绳状态智能视觉检测系统与方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination