CN113326824B - 基于图像处理的推车机异常检测方法 - Google Patents

Abstract

本发明涉及基于图像处理的推车机异常检测方法，属于矿用推车机异常检测技术领域。方法包括以下步骤：（1）连续获取绳式推车机轨道工作图像，得到绳式推车机的实时运行速度；（2）判断其是否小于推车机正常运行速度，若小于，则获取轨外钢丝绳图像，判断轨外钢丝绳是否出现多绳交错情况；（3）若出现，则得到目标区域的面积变化率，并判断其是否大于正常面积变化率；（4）若不大于正常面积变化率，则判断目标区域中各钢丝绳的曲率是否大于设定曲率值；（5）若大于，则判定绳式推车机出现张紧装置故障。本发明实现了对推车机故障的自动检测，相较于现有仅依靠人工排查和仪器探测手段进行异常检测的方法，提高了检测效率。

Description

基于图像处理的推车机异常检测方法

技术领域

本发明涉及矿用推车机异常检测技术领域，具体涉及基于图像处理的推车机异常检测方法。

背景技术

目前，推车机被广泛应用于医疗、车辆维修、工业等行业，推车机的主要类型有机械式推车机、液压式推车机和电动式推车这几种。现有的推车机故障检测方法主要是通过人工排查和仪器探测来判断推车机是否故障，现有的这种检测方法过于依赖人工和经验，消耗的人力物力较多，检测效率也较低。

绳式推车机是液压式推车机类型中的一种，相较于其它类别的推车机的异常检测，绳式推车机的异常检测不但包括推车机自身异常检测，还包括牵引推车机的张紧装置异常检测；可见，绳式推车机相较于其它类别的推车机需要进行异常检测的项目更多，如若按照上述现有的推车机故障检测方法对绳式推车机存在的异常进行检测，那么会消耗更多的人力物力，检测效率也更低。

发明内容

本发明的目的在于提供一种基于图像处理的推车机异常检测方法，用于解决现有绳式推车机异常检测方法存在的检测效率相对较低的问题。

为了解决上述问题，本发明的一种基于图像处理的推车机异常检测方法的技术方案，包括以下步骤：

（1）连续获取绳式推车机轨道工作图像，根据所述绳式推车机轨道工作图像得到绳式推车机的实时运行速度；

（2）判断绳式推车机的实时运行速度是否小于推车机正常运行速度，若小于推车机正常运行速度，则获取轨外钢丝绳图像，根据所述轨外钢丝绳图像判断轨外钢丝绳是否出现多绳交错情况；

（3）若出现，则根据轨外钢丝绳图像得到目标区域的面积变化率，并判断目标区域面积变化率是否大于正常面积变化率；所述目标区域由多绳交错尾端点与各轨道首端点构成的；

（4）若不大于正常面积变化率，则根据轨外钢丝绳图像判断目标区域中各钢丝绳的曲率是否大于设定曲率值；

（5）若大于设定曲率值，则判定绳式推车机出现张紧装置故障。

上述检测方法的有益效果是：本发明获取了绳式推车机轨道工作图像，根据该图像可以得到推车机对应的实时速度，在实时速度小于推车机正常运行速度时，判定推车机存在故障，但不能直接判断出推车机存在的故障类型；本发明进一步结合轨外钢丝绳图像判断轨外钢丝绳是否出现多绳交错情况，在没有出现多绳交错故障情况以及在出现了多绳交错情况但目标区域的面积变化率不大于正常面积变化率时，判定轨外钢丝绳没有出现故障，且很大可能出现了张紧装置故障；但为了准确判断是否出现了张紧装置故障，本发明又结合目标区域中各钢丝绳的曲率是否大于设定曲率值进一步判断是否出现了张紧装置故障，实现了对推车机异常的准确检测；本发明结合拍摄到的绳式推车机轨道工作图像和轨外钢丝绳图像实现了对推车机故障的自动检测，相较于现有仅依靠人工排查和仪器探测手段进行异常检测的方法，提高了检测效率。

进一步地，所述步骤（3）中，若不出现，则根据轨外钢丝绳图像判断目标区域中各钢丝绳的曲率是否大于设定曲率值；若大于设定曲率值，则判定绳式推车机出现张紧装置故障。

进一步地，所述步骤（4）中，若大于正常面积变化率，则判定绳式推车机出现多绳交错故障。

进一步地，所述步骤（2）中，若不小于推车机正常运行速度，则判定绳式推车机未出现故障。

进一步地，所述根据所述轨外钢丝绳图像判断轨外钢丝绳是否出现多绳交错情况的方法包括：

根据所述轨外钢丝绳图像，识别轨外钢丝绳图像中的各钢丝绳；

遍历各钢丝绳的边缘像素点，判断各边缘像素点对应的宽度值是否大于钢丝绳宽度标准值；各边缘像素点对应的宽度值的计算方法包括：过边缘像素点作钢丝绳边缘的垂线，统计垂线上钢丝绳像素点的个数，记为边缘像素点对应的宽度值；

若大于钢丝绳宽度标准值，则判定轨外钢丝绳出现多绳交错情况。

进一步地，所述根据轨外钢丝绳图像判断目标区域中各钢丝绳的曲率是否大于设定曲率值的方法包括：

根据目标区域中各钢丝绳的相邻边缘像素点的位置坐标计算对应边缘像素点的曲率；

求目标区域中各钢丝绳的边缘像素点的曲率的均值，记为目标区域中对应钢丝绳的曲率。

附图说明

图1是本发明的基于图像处理的推车机异常检测方法流程图；

图2是本发明的多绳交错区域示意图；

图3是本发明的目标区域示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行介绍。

基于图像处理的推车机异常检测方法实施例

绳式推车机在工作过程时，由钢丝绳通过张紧装置牵引推车机进行轨道作业；正常情况下，张紧装置始终保持张紧状态，以保证钢丝绳正常牵引推车机作业。本实施例研究的绳式推车机为多轨道绳式推车机，也即能够同时推拉两个以上轨道的矿车的推车机，由于多轨道绳式推车机应用的场景存在轨道个数相对较多且轨道排布交错复杂的特点，多轨道绳式推车机经常出现的故障类型包括两种，一种是多绳交错故障，也即各个轨道对应的钢丝绳之间存在较为严重的交错缠绕情况，由于该较为严重的交错缠绕情况下各钢丝绳之间存在较大运动阻力，因此会导致推车机运行速度受阻；另一种是张紧装置故障，该种情况下，张紧装置由于自身存在故障，无法实现对钢丝绳的张紧，使得钢丝绳处于松弛状态，也会导致推车机运行速度受阻。

本实施例旨在实现对绳式推车机的自动异常检测，以提高对绳式推车机异常检测的效率，如图1所示，本实施例的基于图像处理的推车机异常检测方法包括以下步骤：

（1）连续获取绳式推车机轨道工作图像，根据所述绳式推车机轨道工作图像得到绳式推车机的实时运行速度；

当绳式推车机出现故障时，推车机的实时速度也会受到影响，也就是说，当绳式推车机正常工作，检测到的绳式推车机的实时速度对应正常运行速度；当绳式推车机存在故障时，检测到的绳式推车机的实时速度小于正常运行速度。当绳式推车机正常工作时，其对应的正常运行速度是已知的，可以通过绳式推车机之前正常工作时对应的历史速度数据得到。

本实施例为了得到绳式推车机的实时运行速度，连续获取绳式推车机轨道工作图像，基于稀疏光流法对连续获取的绳式推车机轨道工作图像进行分析。通过稀疏光流法获取运动物体的实时速度是现有技术，此处不再赘述。本实施例的绳式推车机轨道工作图像为推车机在轨道上经过的图像，该绳式推车机轨道工作图像是基于架设在车间上方的相机拍摄得到的。

（2）判断绳式推车机的实时运行速度是否小于推车机正常运行速度，若小于推车机正常运行速度，则获取轨外钢丝绳图像，根据所述轨外钢丝绳图像判断轨外钢丝绳是否出现多绳交错情况；

当绳式推车机的实时速度为正常运行速度时，判定推车机正常工作，不存在故障；当绳式推车机的实时速度小于正常运行速度时，判定推车机存在故障，但是至此还不能判断推车机存在的故障类型，还需要结合其它参数进一步进行判断。

本实施例考虑到多轨道绳式推车机常见的故障类型为多绳交错故障或张紧装置故障，在上述判定出推车机存在故障后，先判断推车机是否存在多绳交错故障，具体判断推车机是否存在多绳交错故障的方法为：

①获取轨外钢丝绳图像，根据所述轨外钢丝绳图像，识别轨外钢丝绳图像中的各钢丝绳；具体的识别方法为：通过语义分割网络对轨外钢丝绳图像进行标注，其中钢丝绳像素点标记为1，其它区域像素点标记为0，获取到标记后的Mask图像，将标记后的Mask图像与原轨外钢丝绳图像相乘，即可得到轨外钢丝绳图像内的各钢丝绳图像；利用语义分割网络实现对目标区域图像的提取是现有技术，此处不再赘述；

②遍历各钢丝绳的边缘像素点，判断各边缘像素点对应的宽度值是否大于钢丝绳宽度标准值；各边缘像素点对应的宽度值的计算方法包括：过边缘像素点作钢丝绳边缘的垂线，统计垂线上钢丝绳像素点的个数，记为边缘像素点对应的宽度值；

③若大于钢丝绳宽度标准值，则判定轨外钢丝绳出现多绳交错情况。如图2所示，对于钢丝绳（参见图中钢丝绳2）上没有与其它钢丝绳（参见图中钢丝绳1）交错的边缘像素点，其对应的垂线（参见图中垂线1）上的像素点个数一定，该边缘像素点对应的宽度值（参见图中d1）即为钢丝绳宽度标准值；对于钢丝绳（参见图中钢丝绳2）上与其它钢丝绳（参见图中钢丝绳1）交错的边缘像素点，其对应的垂线（参见图中垂线2）上的像素点个数有所增大，该边缘像素点对应的宽度值（参见图中d2）大于钢丝绳宽度标准值。

本实施例获取轨外钢丝绳图像的方法与获取绳式推车机轨道工作图像的方法相同，也是基于架设在车间上方的相机拍摄得到的；当然，作为其它实施方式，也可以另外设置一个相机专门采集轨外钢丝绳图像。

（3）若出现，则根据轨外钢丝绳图像得到目标区域的面积变化率，并判断目标区域面积变化率是否大于正常面积变化率；所述目标区域由多绳交错尾端点与各轨道首端点构成的；

当上述判断结果为没有出现多绳交错情况时，基本排除了多绳交错故障的可能性，那么很可能是发生了张紧装置故障，但是为了进一步确定是否发生了张紧装置故障，本实施例还结合目标区域内各钢丝绳的曲率来判断张紧装置是否确实出现了故障，具体过程为：根据目标区域中各钢丝绳的相邻边缘像素点的位置坐标计算对应边缘像素点的曲率；求目标区域中各钢丝绳的边缘像素点的曲率的均值，记为目标区域中对应钢丝绳的曲率；判断目标区域中各钢丝绳的曲率是否大于设定曲率值；若大于，则判定绳式推车机出现张紧装置故障；若不大于，则判定绳式推车机没有出现张紧装置故障。

当张紧装置没有出现故障时，钢丝绳应处于张紧状态，对应的曲率约为0，但是，当张紧装置发生故障时，钢丝绳会出现松弛，曲率会变大，本实施例的设定曲率值为稍大于0的值，具体可以根据经验设定。本实施例计算对应边缘像素点的曲率的公式为：

其中，

为第i个边缘像素点的曲率，

为第i个边缘像素点的横坐标，

为第i个边缘像素点的纵坐标，

为第i-1个边缘像素点的横坐标，

为第i-1个边缘像素点的纵坐标。

当上述判断结果为出现多绳交错情况时，表示轨外钢丝绳出现了多绳交错情况，但是多绳交错情况也存在交错程度较为严重和较为轻微之分，而只有交错程度较为严重，比如说出现了死结时，由于交错之处绳子之间的相互阻力作用较大，才会导致钢丝绳不能以正常速度牵引推车机向前运动，进而影响推车机的实时速度；而交错程度较为轻微时，由于交错之处绳子之间的相互阻力作用较小，绳子交错之处的位置并不会随着推车机不断向前运动而发生变化，也就不会影响钢丝绳以正常速度牵引推车机向前运动。

基于上述考虑，本实施例并未直接将出现多绳交错的情况视为出现了多绳交错故障，而是进一步结合多绳交错尾端点与各轨道首端点构成的目标区域的面积变化情况来判断是否出现了多绳交错故障，也即是否出现了较为严重的多绳交错情况。本实施例中多绳交错尾端点的位置即为对应宽度值大于钢丝绳宽度标准值的最靠近推车机的钢丝绳边缘像素点；由于采集图像的过程中相机位姿不变，各图像中各轨道首端点的位置相同，因此，本实施例通过人工标注的方式确定各轨道首端点。

如图3所示，多绳交错尾端点见图中交错区域尾端点，各轨道首端点分别见图中第一轨道首端点、第二轨道首端点和第三轨道首端点，目标区域见图中目标区域标注，由通过多绳交错尾端点和对应轨道首端点的各钢丝绳以及连接各轨道首端点的边围成，记此时目标区域的面积为标准面积S；目标区域的面积可通过对目标区域内各像素点的面积求和得到，由于各像素点的面积相等，因此，目标区域的面积的大小主要反映的是目标区域内像素点个数的多少，也即目标区域内包括的像素点越多，目标区域的面积越大。

当多绳交错情况较为严重时，随着推车机不断向前运动（即图中标注向后方向的反方向），由于交错之处绳子之间的相互作用较大，钢丝绳不能以正常速度牵引推车机向前运动，使得该交错区域尾端点会不断向前，使得该目标区域的面积逐渐变小，记变小后的面积为S1，对应的面积变化率为：(S-S1)/S；

当多绳交错情况较为轻微时，由于交错之处绳子之间的相互作用较小，随着推车机不断向前运动，交错之处的位置基本不变，该目标区域的面积基本不变，仍为S，对应的面积变化率基本为0。

本实施例通过每帧轨外钢丝绳图像可以得到目标区域的实时面积，根据相邻帧之间或设定个数帧间的面积变化率是否大于正常面积变化率来判断多绳交错的程度是否严重，也即判断是否出现了多绳交错故障；本实施例中正常面积变化率为预设的某一稍大于0的值，可以根据之前推车机正常运行时的历史数据计算得到，也可以根据经验值进行设定。

（4）若不大于正常面积变化率，则根据轨外钢丝绳图像判断目标区域中各钢丝绳的曲率是否大于设定曲率值；

本实施例当判定出目标区域面积变化率大于正常面积变化率，则判定推车机出现多绳交错故障；本实施例当判定出目标区域面积变化率不大于正常面积变化率时，基本排除了多绳交错故障的可能性，那么很可能是发生了张紧装置故障，但是为了进一步确定是否发生了张紧装置故障，本实施例还结合目标区域内各钢丝绳的曲率来判断张紧装置是否确实出现了故障，具体判断张紧装置是否确实出现了故障的过程已经在上述步骤2）中进行了说明，此处不再赘述。

（5）若大于设定曲率值，则判定绳式推车机出现张紧装置故障。

本实施例基于目标区域内各钢丝绳的曲率来判断张紧装置是否确实出现了故障，当目标区域内各钢丝绳的曲率均大于设定曲率值时，判定绳式推车机出现张紧装置故障；当目标区域内各钢丝绳的曲率均不大于设定曲率值时，判定绳式推车机没有出现张紧装置故障。

本实施例在推车机的实时运行速度小于正常运行速度时判定推车机可能发生了多绳交错故障或者张紧装置故障，但是，若在推车机的实时运行速度小于正常运行速度时判定出推车机既没有发生多绳交错故障也没有发生张紧装置故障，那么可以设置报警系统进行报警，由相关人员自行检查故障类型即可。

本实施例获取了绳式推车机轨道工作图像，根据该图像可以得到推车机对应的实时速度，在实时速度小于推车机正常运行速度时，判定推车机存在故障，但不能直接判断出推车机存在的故障类型；本实施例进一步结合轨外钢丝绳图像判断轨外钢丝绳是否出现多绳交错情况，在没有出现多绳交错故障情况以及在出现了多绳交错情况但目标区域的面积变化率不大于正常面积变化率时，判定轨外钢丝绳没有出现故障，且很大可能出现了张紧装置故障；但为了准确判断是否出现了张紧装置故障，本实施例又结合目标区域中各钢丝绳的曲率是否大于设定曲率值进一步判断是否出现了张紧装置故障，实现了对推车机异常的准确检测；本实施例结合拍摄到的绳式推车机轨道工作图像和轨外钢丝绳图像实现了对推车机故障的自动检测，相较于现有仅依靠人工排查和仪器探测手段进行异常检测的方法，提高了检测效率。

需要说明的是，尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

Claims (2)

1.一种基于图像处理的推车机异常检测方法，其特征在于，包括以下步骤：

（1）连续获取绳式推车机轨道工作图像，根据所述绳式推车机轨道工作图像得到绳式推车机的实时运行速度；

（2）判断绳式推车机的实时运行速度是否小于推车机正常运行速度，若小于推车机正常运行速度，则获取轨外钢丝绳图像，根据所述轨外钢丝绳图像判断轨外钢丝绳是否出现多绳交错情况；

（3）若出现，则根据轨外钢丝绳图像得到目标区域的面积变化率，并判断目标区域面积变化率是否大于正常面积变化率；所述目标区域由多绳交错尾端点与各轨道首端点构成；

（4）若不大于正常面积变化率，则根据轨外钢丝绳图像判断目标区域中各钢丝绳的曲率是否大于设定曲率值；

（5）若大于设定曲率值，则判定绳式推车机出现张紧装置故障；

所述步骤（3）中，若不出现，则根据轨外钢丝绳图像判断目标区域中各钢丝绳的曲率是否大于设定曲率值；若大于设定曲率值，则判定绳式推车机出现张紧装置故障；若不大于设定曲率值，则判定绳式推车机没有出现张紧装置故障；

所述步骤（4）中，若大于正常面积变化率，则判定绳式推车机出现多绳交错故障；

所述步骤（2）中，若不小于推车机正常运行速度，则判定绳式推车机未出现故障；所述根据所述轨外钢丝绳图像判断轨外钢丝绳是否出现多绳交错情况的方法包括：

根据所述轨外钢丝绳图像，识别轨外钢丝绳图像中的各钢丝绳；

遍历各钢丝绳的边缘像素点，判断各边缘像素点对应的宽度值是否大于钢丝绳宽度标准值；各边缘像素点对应的宽度值的计算方法包括：过边缘像素点作钢丝绳边缘的垂线，统计垂线上钢丝绳像素点的个数，记为边缘像素点对应的宽度值；

若大于钢丝绳宽度标准值，则判定轨外钢丝绳出现多绳交错情况。

2.根据权利要求1所述的基于图像处理的推车机异常检测方法，其特征在于，所述根据轨外钢丝绳图像判断目标区域中各钢丝绳的曲率是否大于设定曲率值的方法包括：

根据目标区域中各钢丝绳的相邻边缘像素点的位置坐标计算对应边缘像素点的曲率；

求目标区域中各钢丝绳的边缘像素点的曲率的均值，记为目标区域中对应钢丝绳的曲率。

Images