CN111862083A

CN111862083A - 一种基于视觉-电磁检测的钢丝绳状态综合监测系统及方法

Info

Publication number: CN111862083A
Application number: CN202010759244.3A
Authority: CN
Inventors: 周坪; 周公博; 朱真才; 商学建; 王东旭; 何贞志; 唐超权
Original assignee: China University of Mining and Technology CUMT
Current assignee: China University of Mining and Technology CUMT
Priority date: 2020-07-31
Filing date: 2020-07-31
Publication date: 2020-10-30
Anticipated expiration: 2040-07-31
Also published as: CN111862083B

Abstract

本发明公开了一种基于视觉‑电磁检测的钢丝绳状态综合监测系统及方法，属于机械零部件损伤检测领域。首先通过机器视觉法检测钢丝绳表面的断丝、磨损、锈蚀损伤，利用深度卷积神经网络自适应识别外形正常和异常钢丝绳，并利用改进主干网络的yolov3算法准确识别表面损伤的类型和位置；然后采用电磁检测仪检测钢丝绳的剩余有效截面积以及内部的断丝、磨损、锈蚀等损伤；接着依据检测数据更新所建立的基于视觉‑电磁检测的钢丝绳累积损伤可测模型；最后根据损伤程度对钢丝绳健康状态作出分级评价。本发明结合视觉检测和电磁测量技术，可综合掌握在役钢丝绳的内外部损伤，为钢丝绳的可靠运行提供保障。

Description

一种基于视觉-电磁检测的钢丝绳状态综合监测系统及方法

技术领域

本发明属于机械零部件损伤检测领域，尤其涉及一种基于视觉-电磁检测的钢丝绳状态综合监测系统及方法。

背景技术

钢丝绳广泛应用在各种提升、牵引、承载系统中，如提升机、起重机、索道、斜拉桥等。钢丝绳的健康状况直接关系到人们的生命财产安全。所以，应加强对钢丝绳健康状况的检测。目前存在多种钢丝绳损伤检测方法，如电磁法、视觉法、声发射法、超声导波法等，然而还没有一种方法得到使用者的完全信任。各检测方法都具有一定优缺点，且并不能综合检测钢丝绳内外部状态。其中，视觉法可高效检测钢丝绳表面损伤类型和形貌，但检测精度和效率有待进一步提高；电磁法可检测钢丝绳剩余有效截面积，但在多种缺陷同时存在时难以区分且不易检测断口不明显的断丝(如翘起后搭接)，同时无法掌握损伤的形貌特征。所以，缺乏一种能够同时检测钢丝绳内外部缺陷的综合检测方法，以高效地检测和识别钢丝绳内外部缺陷、掌握钢丝绳的健康状况。

发明内容

发明目的：针对以上问题，本发明提出一种基于视觉与电磁检测的钢丝绳状态综合监测方法和系统，融合机器视觉和电磁检测技术，并引入和改进深度迁移学习算法和目标检测算法，以高效地检测和识别钢丝绳内外部损伤。

技术方案：为实现本发明的目的，本发明所采用的技术方案是：一种基于视觉-电磁检测的钢丝绳状态综合监测方法，包括以下步骤：

第一步：采集绳系统中钢丝绳的图像和电磁数据，所述绳系统是指以钢丝绳为部件的提升、牵引、承载系统；

第二步：对图像数据进行预处理，通过迁移学习TL结合卷积神经网络CNN，构建WR-TLDCNN模型，利用该模型判断钢丝绳外形是否异常；若外形异常，分析异常类型并报警；若外形正常，进入下一步；

第三步：将yolov3模型的原主干网络改为MobileNet网络，构建WR-yolov3模型，将第二步预处理后的图像作为该网络模型的输入，对外形正常钢丝绳的图像进行分析，得到钢丝绳全绳的外部损伤类型和位置；

第四步：根据钢丝绳的电磁数据，检测出钢丝绳内部损伤类型和位置以及全绳各截面的有效截面积；查找全绳最大集中损伤处、最小横截面积，求出动态安全系数，进行状态安全评价，得出钢丝绳的健康状况，并划分危险等级和设定预警阈值；

第五步：重复第一步至第四步，将每轮测量结果与前一轮进行对比，添加新增的损伤类型及位置信息，改变原有损伤的损伤程度，并结合划分的危险等级，对全绳危险程度进行更新并对超出预警阈值的损伤发出预警。

所述第五步中，在输出图像上将损伤用矩形框标记出，并标注其类别和置信度；健康的钢丝绳，不做任何标记。

本发明所述的基于视觉-电磁检测的钢丝绳状态综合监测方法构建了一种在役钢丝绳累积损伤可测模型，包括视觉检测、电磁测量、损伤累积、安全评价和模型更新。

视觉检测；通过深度学习结合迁移学习算法(深度迁移学习)区别钢丝绳外形正常和外形异常；通过改进的目标检测算法WR-yolov3(将yolov3的原主干网络改为适合移动端部署的轻量化网络MobileNet)识别出外形正常钢丝绳表面的缺陷类型和位置；WR-yolov3是一种处理图像数据的目标检测算法，可以识别出钢丝绳表面的多种损伤。

电磁测量；通过永磁装置为钢丝绳励磁，通过电磁检测仪检测出钢丝绳内部缺陷及剩余有效截面积；电磁数据是电磁检测仪检测时直接得到，可直接得出钢丝绳内部损伤类型和剩余有效截面积。

损伤累积；基于视觉检测和电磁测量的结果，得出钢丝绳的损伤类型及分布、全绳各截面的有效金属截面积及其分布。

安全评价；基于视觉检测、电磁测量和损伤累积结果，查找全绳最大集中损伤处、最小横截面积，求出动态安全系数，参见式(1)～式(3)；进行融合与加权评价，得出钢丝绳的健康状况，并划分危险等级和设定预警阈值。

式中，N_max为全绳最大断丝数；N_i为第i个捻距内的断丝数；N_standard为规程规定的一个捻距内的断丝数；A_min为全绳最小剩余横截面积；A_i为第i个捻距内的剩余横截面积；A_standard为规程规定的剩余横截面积；m_amin为全绳动态安全系数；m_a为规程规定的安全系数；F_Ri为破断力；F_i为张力；n为全绳捻距数。

模型更新；将每次的测量结果与前一次的进行对比，添加新增加的损伤类型及位置信息，改变原来已有损伤的损伤程度，并结合划分的危险等级，排列出全绳最危险的若干处损伤，对全绳危险程度进行更新并对超出预警阈值的损伤发出预警。

本发明还提出了一种基于视觉-电磁检测的钢丝绳状态综合监测系统，包括沿钢丝绳的提升或牵引方向依次穿过钢丝绳布置的励磁器、图像采集装置、电磁检测器和张力检测传感器；所述励磁器、图像采集装置、电磁检测器固定在绳系统的机架上或者搭载在可移动的巡检装置上，进行非接触测量，钢丝绳与励磁器、图像采集装置、电磁检测器做相对运动；所述张力检测传感器固定在钢丝绳上；所述图像采集装置、电磁检测器、张力检测传感器采集的数据通过无线传感网传输至上位机。

进一步的，所述图像采集装置包括遮光箱，安装板，若干个相机、光源、L支架、安装架；所述安装板安装在遮光箱内底部；钢丝绳从安装板正中心垂直穿过；所述相机、光源分别通过安装架安装在L支架上，L支架安装在安装板上；所述安装架可移动，所述相机的物距和所述光源距钢丝绳的距离可调节；所述相机、光源呈一定角度均匀分布。

优选的，在光源的安装位置处安装背景板。

通过本发明的系统和方法，可检测出含油污钢丝绳表面的断丝、磨损等损伤。其中在输出图像上将损伤用矩形框标记出，并标注其类别和置信度；而健康的钢丝绳，不做任何标记。另外，损伤类型可在断丝、磨损的基础上进行扩展。通过视觉目标检测，可得出损伤的类型和位置。该检测信息进一步用于钢丝绳累积损伤可测模型的更新以及状态安全评价。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

1)本发明结合视觉检测和电磁测量技术，可综合掌握在役钢丝绳的内外部损伤，特别是对隐性损伤的挖掘，并建立了钢丝绳全绳累积损伤可测模型，可实时的显示和更新钢丝绳状态，及时作出预警；2)采用深度迁移学习算法，克服训练样本少的问题，结合卷积神经网络可高效区分外形正常和外形异常钢丝绳，同时利用改进的目标检测算法，实时识别钢丝绳表面不同类型损伤；3)本发明所提出的方法可代替人工巡检，可判断钢丝绳外形是否异常，可实时发现钢丝绳表面断丝、磨损、锈蚀等损伤和内部断丝、疲劳、锈蚀等损伤，克服了人工巡检的效率低、检测周期长和无法及时发现的问题，可满足实时性的要求。

附图说明

图1为本发明的在役钢丝绳累积损伤可测模型示意图；

图2为本发明的在役钢丝绳健康状态综合检测方法；

图3为本发明的监测系统架构图；

图4为本发明的监测系统在绳系统中的设置图；

图5为本发明的图像采集装置结构图；

图6为本发明的视觉检测算法模型架构；

图7为本发明的视觉目标检测结果示意图；

图中，1-励磁器，2-图像采集装置，3-电磁检测器，4-张力检测传感器，5-机架。

具体实施方式

为使本发明实施例的目的和技术方案更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围：

本发明所述的一种基于视觉-电磁检测的钢丝绳状态综合监测方法，包括以下步骤：

第一步：采集绳系统中钢丝绳的图像和电磁数据；所述绳系统为以钢丝绳为部件的提升、牵引、承载系统，如矿井提升机、电梯、索道、起重机、钢索桥。在采集开始前或采集过程中，对钢丝绳表面的油污进行清理(配置油污清除构件)且对钢丝绳表面的光照进行控制(加遮光盒和光源)。

第二步：对采集的图像数据进行滤波、缩放以及区域提取预处理操作；为了克服样本小的问题，通过迁移学习TL结合卷积神经网络CNN，构建WR-TLDCNN模型，利用该模型判断图像数据中的钢丝绳外形是否异常；若外形异常，分析异常类型并报警；若外形正常，进入第三步。

本实施例中，外形正常时钢丝绳的损伤包括断丝、磨损、锈蚀，外形异常时钢丝绳的损伤包括断股、扭结、弯折；由于外形异常的钢丝绳其断股、扭结、弯折会使钢丝绳发生严重变形，因此与外形正常的钢丝绳差异明显，CNN可自适应区分；同时，TL将边缘、线、角等先验知识迁移到CNN中，使其自适应学习的速度更快；若为外形异常，通过WR-TLDCNN区分出类型后在上位机显示故障，并通过配置的报警器报警；若为外形正常，则转至下一步继续监测。

第三步：钢丝绳状态综合监测与评价；对外形正常钢丝绳的图像数据做进一步分析。将yolov3模型的原主干网络改为适合移动端部署的轻量化网络MobileNet，构建适用于钢丝绳表面损伤检测的网络模型WR-yolov3，将第二步预处理后的图像作为该网络模型的输入，以对外形正常钢丝绳上的断丝、磨损、锈蚀做进一步检测；对外形正常钢丝绳的图像进行分析，得到钢丝绳全绳的外部损伤(断丝、磨损、锈蚀)类型和位置。如图6所示，网络MobileNet的输入为第二步预处理后的图像，输出为S*S*(B*5+C)，即7×7×(2×5+2)的计算张量，S*S表示输入图像被分为7×7的网格，B为每个网格负责目标个数，数字5表示每个网格所负责预测的bbox含五个参数值，包括bbox的中心坐标(x,y)、长和宽(w,h)、置信度(confidence)，C为任务的预测类别。

第四步：根据钢丝绳的电磁数据，检测出钢丝绳内部损伤(断丝、锈蚀)类型和位置以及全绳各截面的有效截面积；查找全绳最大集中损伤处、最小横截面积，求出动态安全系数，进行状态安全评价，得出钢丝绳的健康状况，并划分危险等级和设定预警阈值。

第五步：重复第一步至第四步，将每轮测量结果与前一轮进行对比，添加新增的损伤类型及位置信息，改变原有损伤的损伤程度，并结合划分的危险等级，对全绳危险程度进行更新并对超出预警阈值的损伤发出预警。在输出图像上将损伤用矩形框标记出，并标注其类别和置信度；健康的钢丝绳，不做任何标记。

如图1和图2所示，本发明所述的基于视觉-电磁检测的钢丝绳状态综合监测方法构建了一种在役钢丝绳累积损伤可测模型，包括视觉检测、电磁测量、损伤累积、安全评价和模型更新。

视觉检测；通过深度学习结合迁移学习算法(深度迁移学习)区别钢丝绳外形正常和外形异常；通过改进的目标检测算法WR-yolov3(将yolov3的原主干网络改为适合移动端部署的轻量化网络MobileNet)识别出外形正常钢丝绳表面的缺陷位置和缺陷类型；WR-yolov3是一种处理图像数据的目标检测算法，可以识别出钢丝绳表面的多种损伤。

损伤累积；基于视觉检测和电磁测量的结果，得出钢丝绳的损伤类型及分布、全绳各截面的有效金属截面积及其分布，特别是损伤处的剩余有效截面积。

安全评价；基于视觉检测、电磁测量和损伤累积结果，查找全绳最大集中断丝处、最小横截面积，求出动态安全系数，参见式(1)～式(3)；以矿井提升绳系统为例，结合煤安标准进行融合与加权评价，得出钢丝绳的健康状况，并划分危险等级和设定预警阈值。

模型更新；基于以上数据，更新钢丝绳全绳累积损伤可测模型，并对钢丝绳作出安全评价，从而，结合视觉和电磁检测技术，以视觉法实现表面损伤的定性识别，以电磁法实现表面及内部损伤的定量识别，综合对比以掌握全绳的健康状况；具体为：将每次的测量结果与前一次的进行对比，添加新增加的损伤类型及位置信息，改变原来已有损伤的损伤程度，并结合划分的危险等级，排列出全绳最危险的若干处损伤，对全绳危险程度进行更新并对超出预警阈值的损伤发出预警。

如图3所示，本发明还提出了一种基于视觉-电磁检测的钢丝绳状态综合监测系统，包括沿钢丝绳的提升或牵引方向依次穿过钢丝绳布置的励磁器1、图像采集装置2、电磁检测器3和张力检测传感器4；所述励磁器1、图像采集装置2、电磁检测器3固定在绳系统的机架5上或者搭载在可移动的巡检装置上，进行非接触测量，钢丝绳与励磁器1、图像采集装置2、电磁检测器3做相对运动；所述张力检测传感器4固定在钢丝绳上；所述图像采集装置2、电磁检测器3、张力检测传感器4采集的数据通过无线传感网传输至上位机。上位机用于对采集的数据进行分析和处理，并实时地更新全绳累积损伤可测模型，当全绳危险程度超过设定的安全值(预警阈值)时，发出预警。

如图4所示，为本实施例中的监测系统在绳系统中的设置图。以矿井提升系统为例，沿钢丝绳的提升方向依次布置励磁器1(若为永磁励磁器，则在完全励磁后取下)、图像采集装置2、电磁检测器3，以及钢丝绳张力检测传感器4。在钢丝绳向上提升运行时(即有负载时)采集数据。采集过程中，综合监测系统中的图像采集装置2和电磁检测器3与钢丝绳是相对运动的，即在钢丝绳运动的系统中，如矿井提升系统，图像采集装置2和电磁检测器3固定在机架5上；在钢丝绳静止的系统中，图像采集装置2和电磁检测器3搭载在可移动的巡检平台/装置/机器人上。

如图5所示，所述图像采集装置2包括遮光箱2-1，安装板2-2，若干个相机2-3、光源2-4、L支架2-5、安装架2-6；所述遮光箱2-1用于遮挡自然光源，防止钢丝绳表面光照不均；所述安装板2-2安装在遮光箱2-1内底部，用于安装相机2-3和光源2-4；钢丝绳从安装板2-2正中心垂直穿过；所述相机2-3、光源2-4分别通过安装架2-6安装在L支架2-5上，L支架2-5安装在安装板2-2上；所述安装架2-6可移动，所述相机2-3的物距和所述光源2-4距钢丝绳的距离可调节，通过移动安装架2-6可调整相机2-3的物距以及光源2-4和钢丝绳的距离；所述相机2-3、光源2-4呈一定角度均匀分布，相机2-3使用个数不限，可根据实际要求进行选择，同时光源2-4的安装个数也可根据实际情况进行选择且在光源2-4的安装位置处可根据需要安装背景板。图像采集装置2可装在绳系统中便于采集钢丝绳图像的任何合适的位置，如卷筒出绳口、井口或井架上。

图7为本发明的钢丝绳表面损伤视觉检测结果示意图。通过本发明提出的系统和方法，可检测出含油污钢丝绳表面的断丝、磨损等损伤。其中在输出图像上将损伤用矩形框标记出，并标注其类别和置信度；而健康的钢丝绳，不做任何标记。另外，损伤类型可在断丝、磨损的基础上进行扩展。通过视觉目标检测，可得出损伤的类型和位置。该检测信息进一步用于钢丝绳累积损伤可测模型的更新以及状态安全评价。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims

1.一种基于视觉-电磁检测的钢丝绳状态综合监测方法，其特征在于：所述方法包括以下步骤：

第四步：根据钢丝绳的电磁数据，检测出钢丝绳内部损伤类型和位置以及全绳各截面的有效截面积；查找全绳最大集中损伤处、最小横截面积，求出动态安全系数，进行状态安全评价，并划分危险等级和设定预警阈值；

2.根据权利要求1所述的一种基于视觉-电磁检测的钢丝绳状态综合监测方法，其特征在于：所述第五步中，在输出图像上将损伤用矩形框标记出，并标注其类别和置信度。

3.一种基于视觉-电磁检测的钢丝绳状态综合监测系统，其特征在于：该系统包括沿钢丝绳的提升或牵引方向依次穿过钢丝绳布置的励磁器、图像采集装置、电磁检测器和张力检测传感器；所述励磁器、图像采集装置、电磁检测器固定在绳系统的机架上或者搭载在可移动的巡检装置上，且与钢丝绳不接触，所述张力检测传感器固定在钢丝绳上；所述图像采集装置、电磁检测器、张力检测传感器采集的数据通过无线传感网传输至上位机。

4.根据权利要求3所述的一种基于视觉-电磁检测的钢丝绳状态综合监测系统，其特征在于：所述图像采集装置包括遮光箱，安装板，若干个相机、光源、L支架、安装架；所述安装板安装在遮光箱内底部，钢丝绳从安装板正中心垂直穿过；所述相机、光源分别通过安装架安装在L支架上，L支架安装在安装板上；所述安装架可移动，所述相机的物距和所述光源距钢丝绳的距离可调节；所述相机、光源呈一定角度均匀分布。

5.根据权利要求4所述的一种基于视觉-电磁检测的钢丝绳状态综合监测系统，其特征在于：在光源的安装位置处安装背景板。