CN117963458A - 一种传送带偏离检测方法、系统及巡检机器人 - Google Patents

Abstract

本发明公开一种传送带偏离检测方法、系统及巡检机器人，涉及视觉分析技术领域，包括：获取巡检图像；检测目标托辊的边缘和与目标托辊同侧的传送带边缘；判断目标托辊支撑传送带一侧的长边缘与传送带边缘是否有交点，以及判断交点位置是否处于目标托辊上设定的支撑范围内，根据判断结果确定传送带是否存在偏离；若不存在偏离，则对偏离潜在因素进行检测；包括对巡检图像中的目标托辊、对应的机架、传送带的起始位置和末端位置均进行外观缺陷检测，通过获取的传送带运行声音进行传送带张紧度异常检测。采用移动式巡检的方式采集传送带和托辊图像，以实时掌握传送带持续变化的位置信息，避免定点监控的局限性。

Description

一种传送带偏离检测方法、系统及巡检机器人

技术领域

本发明涉及视觉分析技术领域，特别是涉及一种传送带偏离检测方法、系统及巡检机器人。

背景技术

带式输送机又称胶带输送机，是以胶带作为牵引机构和承载机构的摩擦传动连续动作式输送设备，在煤矿井下和地面生产系统中广泛应用，具有输送量大、长距离铺设等优势。传送带的起始部分也称为机头，装配有传动装置、皮带张紧装置、卸料装置等，传送带的末端是将皮带绕过机尾滚筒进行换向，并装载物料送机头部，传送带的中段被称为机身部，由机架、托辊架、托辊、调偏托辊架、调偏托辊等组成。机架的作用是用来安装固定上、下层托辊架和上、下层调偏托辊架，调偏托辊架用来安装调偏托辊，上层是槽型托辊，下层是直托辊，托辊架中心有一孔与机架通过螺栓连接，两头能转动，用来调整皮带偏离，主要有槽形托辊组、各类平行托辊组等。

橡胶材质的皮带既是牵引机构，又是承载机构，因此要求皮带要有足够的强度、耐磨性、适当柔性等。皮带强度决定输送机的工作长度，在运行中加强对皮带的维护、减少故障，是提高输送机寿命、降低运输成本的重要措施之一。然而，由于各种因素的影响，如传送带载料受重不均匀、传送带及托辊磨损、传送带张紧力不合适等，导致出现传送皮带偏离的情况。

带式传送带偏离的危害有：1）传送带脱离正常运行轨迹后，会造成内部纤维受力不均断裂变形，影响传送带使用寿命。2）传送带偏离会造成传送带与输送机分离，导致煤炭、矿石等物料漏撒在传送带两侧，给输送机维护人员增加工作量，并给输送机滚筒造成阻力，造成送料口堵料。3）传送带偏离时，输送机机头、机尾在驱动轴作用下发生叠压，这样不仅会使滚筒集中应力过大，而且还会使中部传送带拉扯力大于极限应力，发生断丝现象。4）传送带偏离严重时，会使皮带内部受力不均，发生传送带脱离托辊的现象，造成整个托辊架震动，甚至造成托辊架侧翻的重大事故。

当前传送带偏离检测方式中，由于人工巡检占用工人工作量，巡检距离长，工作环境恶劣，且需要具备丰富的技术经验。目前通过在多处定点设置监控摄像机，在单处或多处传送带正上方设置监控摄像机。但是，在煤矿、冶炼与电力行业，输煤区域需要防尘、防爆，距离长，定点监控需要密集部署，监控设备需要具有高等级的防水防尘能力、防爆认证、煤安认证等资质，造价成本高，使用寿命短；并且定点监控相机视野、焦距固定，盲区多，不易观测细节，无法对可能造成传送带偏离的其他器件的缺陷因素进行检测，不便于做传送带偏离数据的连续性收集，也不可预测偏离可能性趋势。

另外，还有采用偏离检测传感器的方式，通过在传送带正下方或正上方设置一对边缘检测激光发射器，正常运行情况下，皮带与发射器的距离是固定值，激光发射器接收到的反射光可以测定与皮带的距离，当皮带偏离时，偏离一侧的激光反射位置不在皮带上，因此必然有一侧的测距结果大于正常状态。但是，这种方法仅对固定位置的运行情况进行检测，如果覆盖整条传送带机，则需要大幅度提高配置密度，增加运行成本；而且在输煤或矿石原料的工作环境中，粉尘污染严重，附着在传感器的发射端与接收端，增大了误识别的概率。并且，在当前自动化检测的方式中仅仅在传送带偏离事故发生后进行补救措施，往往缺乏对此类事故产生的原因进行检测排查。

发明内容

为了解决上述问题，本发明提出了一种传送带偏离检测方法、系统及巡检机器人，采用移动式巡检的方式采集传送带和托辊图像，以实时掌握传送带持续变化的位置信息，避免定点监控的局限性，同时还实现对引发传送带偏离的潜在因素的检测。

为了实现上述目的，本发明采用如下技术方案：

第一方面，本发明提供一种传送带偏离检测方法，包括：

获取包括单侧托辊与单侧托辊上传送带的巡检图像；

在巡检图像中检测目标托辊的边缘和与目标托辊同侧的传送带边缘；

判断目标托辊支撑传送带一侧的长边缘与传送带边缘是否有交点，以及判断交点位置是否处于目标托辊上设定的支撑范围内，根据判断结果确定传送带是否存在偏离；

若不存在偏离，则对偏离潜在因素进行检测；包括：对巡检图像中的目标托辊、对应的机架、传送带的起始位置和末端位置均进行外观缺陷检测，以及通过获取的传送带运行声音进行传送带张紧度异常检测。

作为可选择的实施方式，将巡检图像的拍摄位置与对应的巡检图像以及巡检图像中的托辊进行一一对应，以在检测到存在偏离时，根据对应的巡检图像对对应的托辊进行报警。

作为可选择的实施方式，对巡检图像进行目标托辊的检测，得到目标托辊外接矩形的顶点坐标，以在巡检图像中沿目标托辊外接矩形进行子图裁剪，对得到的托辊区域子图进行边缘检测，提取托辊边缘。

作为可选择的实施方式，在巡检图像中检测满足传送带边缘特征条件的直线边缘，以提取出与目标托辊同侧的传送带边缘。

作为可选择的实施方式，根据判断结果确定传送带是否存在偏离的过程包括：

交点位置处于目标托辊上设定的支撑范围之内，判断为传送带运行正常；

交点位置超出目标托辊上设定的支撑范围之内，判断为传送带虽在目标托辊上运行，但存在偏离；

若目标托辊支撑传送带一侧的长边缘与传送带边缘无交点，则判断为传送带从目标托辊上脱落，存在偏离。

作为可选择的实施方式，对巡检图像中的目标托辊、对应的机架、传送带的起始位置和末端位置分别进行目标检测，将得到的目标区域子图与模板图像进行特征点匹配，筛选出共有的特征点对，根据特征点对的坐标计算图像偏转角度，由此将得到的目标区域子图进行仿射变换操作，将目标区域子图投影到模板图像的坐标系中，在模板图像中裁剪出与目标区域子图处于相同区域的模板区域子图，计算模板区域子图内包含目标区域子图同位像素的比例，根据比例值进行外观缺陷检测。

作为可选择的实施方式，将获取的传送带运行声音与正常音频样本的波形进行对比，计算传送带运行声音与正常音频样本的波形特征点位置的距离在时域上的累积值，若累积值低于设定阈值，则判断存在运行隐患，否则判断为运行正常；

其中，；/>为波形特征点位置的距离从/>时刻至/>的累积值；/>为传送带运行声音的波形中第k个特征点位置；/>为正常音频样本的波形中第k个特征点位置；/>为特征点位置总数；/>为标准差。

作为可选择的实施方式，根据传送带边缘在各个托辊位置的连续变化，拟合边界位置曲线，并将处于托辊上设定的支撑范围临界值的区段形成偏离检测报告。

第二方面，本发明提供一种传送带偏离检测系统，包括：

获取模块，被配置为获取包括单侧托辊与单侧托辊上传送带的巡检图像；

目标检测模块，被配置为在巡检图像中检测目标托辊的边缘和与目标托辊同侧的传送带边缘；

偏离检测模块，被配置为判断目标托辊支撑传送带一侧的长边缘与传送带边缘是否有交点，以及判断交点位置是否处于目标托辊上设定的支撑范围内，根据判断结果确定传送带是否存在偏离；

潜在因素检测模块，被配置为若不存在偏离，则对偏离潜在因素进行检测；包括：对巡检图像中的目标托辊、对应的机架、传送带的起始位置和末端位置均进行外观缺陷检测，以及通过获取的传送带运行声音进行传送带张紧度异常检测。

第三方面，本发明提供一种巡检机器人，包括：机器人本体和设于机器人本体上的第二方面所述的传送带偏离检测系统。

与现有技术相比，本发明的有益效果为：

本发明提出一种传送带偏离检测方法、系统及巡检机器人，通过巡检的方式，按巡检路径，对整条传送带，以预先配置的焦距与拍摄角度，采集包括单侧托辊、对应的机架与单侧托辊上传送带的巡检图像，保证在视野范围内清晰观测到传送带靠近巡检机器人一侧的完整的一套机架与托辊，可以有效采集传送带从起点到终点所有位置的运行状态，实时掌握传送带持续变化的位置信息，同时，既可观测到传送带的边界位置是否脱离托辊，也可观测到完整的托辊、机架等使用状态，实现对传送带偏离的检测以及潜在因素的检测，排除监控死角，避免定点监控的局限性。

本发明提出一种传送带偏离检测方法、系统及巡检机器人，通过提取目标托辊的边缘和与目标托辊同侧的传送带边缘，判断目标托辊支撑传送带一侧的长边缘与传送带边缘是否有交点，以及判断交点位置是否处于目标托辊上设定的支撑范围内，由此来检测传送带是否存在偏离，同时如果不存在偏离，则对偏离潜在因素进行检测，避免仅在传送带偏离事故发生后进行补救措施，实现对此类事故产生的原因进行检测排查，确保设备运行的安全性和可靠性。

本发明提出一种传送带偏离检测方法、系统及巡检机器人，采用移动式巡检的方式，通过侧向略有仰视的视角采集传送带和托辊图像，不存在传送带边界被遮挡的情况，无盲区，更有效的替代固定点监控；同时巡检方式的连续性可以排除每个托辊、机架的缺陷，预防传送带偏离的隐患；最后再根据传送带边缘在各个托辊位置的连续变化，拟合边界位置曲线，并将处于托辊上设定的支撑范围临界值的区段形成偏离检测报告，对偏离位置临界的托辊进行缺陷排查，能够及时发现并修正传送带偏离，确保传送带正常运行。

本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明实施例1提供的传送带偏离检测方法流程图；

图2为本发明实施例1提供的槽型托辊示意图；

图3为本发明实施例3提供的轨道式巡检机器人主视图；

图4为本发明实施例3提供的轨道式巡检机器人侧视图；

其中，1、托辊，2、机架，3、传送带，4、巡检轨道，5、驱动机构，6、控制模块，7、视觉传感模块。

具体实施方式

下面结合附图与实施例对本发明做进一步说明。

应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“包含”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

实施例1

随着对传统工业的智能化改造，移动式巡检机器人已应用于各个领域。根据驱动方式的不同，分为移动底盘轮式巡检机器人与轨道式巡检机器人。移动底盘轮式巡检机器人多应用于平坦的铺装路面环境，巡检区域路线规则并障碍物较少，如变电站、发电站等；轨道式巡检机器人则应用于地面条件不利于轮式底盘行驶的环境，如矿山隧道、煤矿井下，机器人巡检空间狭小、环境恶劣，与轮式、履带式和悬线式相比，不依赖与地面运行环境的轨道式巡检机器人更能适应长距离、固定线路巡检。轨道式机器人是一种基于“L”形或“工”字形轨道的两轮驱动、多轮支撑的挂轨式驱动结构，依靠驱动轮与轨道之间的摩擦向前运动，支撑轮承载整机质量并实现转弯。轨道式巡检机器人体积小，悬挂在空中不受复杂路面环境限制，不影响行人行走；功耗低更能适应长距离、固定线路巡检。轨道式机器人是巡检系统的核心部分，通过配备可见光摄像机、热成像仪、温湿度传感器、气体检测仪等设备，对电气设备、异常发热、有害性气体检测等进行监控，并可接受来自监控后台下发的巡检任务执行定时定点巡检，上传报告警提示，提高巡检效率，节省成本。

由此，采用巡检机器人对传送带进行偏离检测的优势有：（1）对整条传送带进行无盲区、无死角的检测。（2）同时对传送带进行多样化检测，如：托辊与支架的外观检测、皮带缺陷检测、输料运载状况实时监控、装料口与卸料口堵料检测等，利用相关性可对传送带偏离的诱因进行分析与预防。（3）利用机器人对传送带进行的连续性检测，因此可对传送带的偏离状况进行预测。（4）对于需要防爆要求的特殊工业场景，无需对监控设备进行二次改装，节省成本。

由此，本实施例提出一种传送带偏离检测方法，可依托于巡检机器人来实现，如图1所示，具体包括：

获取包括单侧托辊与单侧托辊上传送带的巡检图像；

在巡检图像中检测目标托辊的边缘和与目标托辊同侧的传送带边缘；

判断目标托辊支撑传送带一侧的长边缘与传送带边缘是否有交点，以及判断交点位置是否处于目标托辊上设定的支撑范围内，根据判断结果确定传送带是否存在偏离；

若不存在偏离，则对偏离潜在因素进行检测；包括：对巡检图像中的目标托辊、对应的机架、传送带的起始位置和末端位置均进行外观缺陷检测，以及通过获取的传送带运行声音进行传送带张紧度异常检测。

在传送带结构中，托辊是不可或缺的零部件，托辊支撑传送带或滚筒使物料能够顺畅地运，能够减少输送带或滚筒与支撑结构之间的摩擦，降低能耗和磨损，能够保护传送带减少弯曲和拉伸，延长使用寿命。传送带与托辊紧密结合，直接在托辊上受输送机的牵引运行。因此，本实施例方法着重检测传送带与托辊之间的位置关系，用以判断传送带运行状态是否发生异常。

在深度学习模型中，将托辊和传送带作为待检测目标，在巡检机器人实时巡检的过程中，通过检测传送带边缘与托辊边缘的位置相关性进行传送带偏离识别。支撑传送带的托辊具有固定的尺寸，并且传送带的宽度是定值，正常的工作状态下，传送带被支撑在托辊的上方由传送电机牵引运行，传送带边界处于槽型托辊两侧滚轮中心的一定范围之内，当传送皮带发生偏离，即可表示为传送带一侧的边界偏离托辊的正常支撑位置。

那么，在采集的巡检图像中会表现为两种情况：其一，传送带边缘超出托辊长边缘中心区域的合理支撑范围，过于靠近托辊的端点；其二，在托辊的支撑边的边缘上检测不到传送带的边缘，即传送带的一侧完全覆盖托辊或已经与托辊脱离。在对托辊与传送带进行图像检测时，如遇到这两种情形均可识别为传送带偏离；同时，在巡检任务时，利用巡检机器人携带的多种传感器，对传送带、托辊滚轴、张紧滚筒进行异常噪音检测，对托辊与机架进行外观磨损、结构变形等外观检测，由此对可能导致传送带偏离的多种潜在因素进行检测。

基于上述技术目的，下面对本实施例的传送带偏离检测方法进行详细阐述。

S1：构建巡检机器人的巡检位置与传送带、托辊及对应机架的对应关系，利用巡检机器人的巡检位置坐标的不同为每个托辊进行唯一编号，用于通过在采集巡检图像时，机器人的位置坐标映射到对应巡检图像中托辊的编号或其实际地理位置，对每次采集的巡检图像都可在系统地图中标定托辊的准确位置，以便在传送带被检出偏离问题时，能够及时在告警信息中报告托辊位置。

巡检机器人的巡检路线途径整个传送带，在巡检过程中，以预先配置的焦距与拍摄角度，采集包括单侧托辊、对应的机架与单侧托辊上传送带的巡检图像，预先配置的焦距与拍摄角度能够保证在视野范围内清晰观测到传送带靠近巡检机器人一侧的完整的一套机架与托辊。

作为可选择的一种实施方式，在对长距离运行的传送带进行检测的过程中，巡检机器人的行驶路线与目标托辊的距离是变动的，为了采集适合视觉分析的目标巡检图像，巡检机器人云台的旋转角度、相机焦距等采集参数随不同的位置进行设置，每个检测位置与被检测目标是一一对应的，在巡检路线预设过程中，人工配置巡检机器人最佳图像采集参数，包括云台、相机等信息进行预存处理，当巡检机器人行驶至该检测位置，通过位置信息调取预存的视觉采集参数进行图像采集。

S2：采用深度学习算法，对巡检图像进行托辊、机架等目标的检测，有效解决了传统处理方法估计不准确性和鲁棒性差的问题。

基于深度卷积神经网络的通用目标检测模型不断拓展应用到目标物体检测领域。目标检测是在图像中根据算法训练模型进行检测，并对目标物体画框标出相对于图像坐标位置。首先是摄像头设备实时采集待检测物体的视频数据，视频数据按帧处理转化为一系列的图像，再对图像进行预处理，然后采用检测模型实现对目标分类与检测，得到图像中托辊与机架等目标的坐标位置。

目前，各种新型网络结构的提出，使得网络模型识别性能不断提高的同时，网络模型的参数和大小也不断增大，对存储资源和计算资源的需求也越来越高，需要轻量化的网络模型做压缩优化处理，才能适用于机器人低功耗低延迟的应用需求。

在本实施例中，采用YOLOv3网络，以Darknet53网络作为主干网络，采用多尺度特征，对小目标更敏感，通过32倍下采样、16倍下采样和8倍下采样的特征图等融合预测检测框和类别置信度。YOLOv3网络输入的是416*416*3的RGB图像，输出三种尺度的特征图，最后输出每个目标物体的类别和边框。YOLOv3网络的多尺度训练一共有3种尺度，分别是13*13，26*26，52*52三种分辨率，分别负责预测大、中、小的物体边框。首先输入的图像被分割成13*13、26*26、52*52的网格，每种分辨率的每个网格分别对应一个多维向量，每个向量包括三个边框，每个边框中包含85个参数，分别是边框的中心位置（x，y）、边框的置信度以及80个类别概率，最后输出每个物体的类别概率和边框。

在本实施例中，将训练图像和测试图像的分辨率预设为416*416，通过训练巡检机器人采集的巡检图像得到的模型在测试集上的测试结果展示目标检测准确率超过了95%。

S3：对巡检图像，经过步骤S2的处理，进行目标托辊的检测，得到目标托辊外接矩形的顶点坐标。

S4：在巡检图像中，沿目标托辊外接矩形进行子图裁剪，对得到的托辊区域子图进行边缘检测，提取托辊边缘。

在目标托辊在托辊区域子图中，呈现的相当于是截面投影，是一个类似于斜向的一个矩形（圆柱体的平面截面），在正常情况下，传送带边缘是与这个矩形的长边相交，那么就需要对托辊的长边进行准确的检测和提取。

由于托辊区域子图也包含了如光照不均匀、背景纹理、噪音等诸多影响因素，因此需要一系列图像处理方法才可以对托辊边缘进行准确的检测，具体包括：对托辊区域子图进行预处理、边缘检测与图像生态学处理，提取完整的托辊边缘，根据圆柱形托矩形截面的长宽比去除噪音与无效边缘结果，托辊区域子图中仅保留托辊边缘信息。其中，涉及的预处理操作是图像处理边缘检测的方法，即经过噪声去除、边缘增强、二值化、区域联通等处理后，边缘检测的结果位于原图实际边缘的位置，并非是因为经过图像处理后引发原图像中目标区域的变形，这是因为本实施例方法的目的是检测传送带是否偏离，因此传送带的边界位置是很重要参考指标，传送带一侧的边界在正常状态下既是由目标托辊承载，所以需要准确求出传送带边缘与目标托辊边缘的相交位置，因此需要在图像处理边缘检测的过程中避免托辊边界的变形。

更进一步地，在对目标托辊进行边缘检测时，主要涉及以下几个关键环节：

（1）滤波：边缘检测算法通常基于图像强度的一阶和二阶导数，但这些导数计算对噪声非常敏感。因此，滤波用于改善与噪声有关的边缘检测器的性能。常见的滤波方法包括高斯滤波，使用离散化的高斯函数产生一组归一化的高斯核，然后基于高斯核对图像灰度矩阵的每一点进行加权求和。滤波过程在降低噪声的同时，也需要尽量减少对边缘强度的损失。

（2）增强：增强边缘的基础是确定图像各点邻域强度的变化值。增强算法可以突出显示邻域或局部强度值有显著变化的点。这通常通过计算梯度幅值来实现，将边缘强度变化明显的点凸显出来。

（3）检测：在增强后的图像中，虽然许多点的梯度幅值较大，但并非所有这样的点都是目标边缘。因此，需要通常通过阈值化来确定哪些点是真正的边缘点，即设定一个或多个阈值，将梯度幅值超过这些阈值的点视为边缘点。

（4）定位：在子像素分辨率上进行估计，并进一步估计边缘的方位，以确定边缘的精确位置。

可以理解的，上述步骤构成边缘检测的基本流程，但具体的实现方法和参数可能会因应用场合和算法的不同而有所差异。在实际应用中，本领域技术人员可以根据具体情况对算法进行调整和优化，以达到最佳的边缘检测效果。

S5：对巡检图像检测与目标托辊同侧的传送带边缘；由于传送带边缘具有明显的长直线特征，所以利用霍夫（Hough）变换算法，在巡检图像中检测满足长直线特征条件的直线边缘，提取出与目标托辊同侧的传送带边缘。

S6：计算从巡检图像中所提取出的传送带边缘与托辊边缘的位置关系，由此推导出传送带是否存在偏离问题。

以图2所示的槽型托辊为例，在正常运行的状态下，传送带3由“凹”形的三个托辊1支撑，托辊1由机架2支撑，传送带3的边缘位于两侧托辊1的中间区域部分，托辊1支撑传送带3一侧的长边缘与传送带3边缘相交，且交点位置位于托辊1中间区域的合理支撑范围内；其中，传送带边缘与托辊边缘的交点位置即是托辊支撑传送带边缘的位置。

基于此，为传送带的偏离检测提供分类依据。

（1）交点位置在目标托辊上中心区域设定的合理支撑范围之内，则判断传送带运行位置正常。

（2）交点位置已越出合理支撑范围，则判断传送带虽然在目标托辊上运行，但存在偏离的事实或隐患。

（3）如果传送带边缘与目标托辊边缘无交点，则此侧的传送带存在从目标托辊上脱落或传送带边缘完全越过目标托辊的可能性，这都是严重偏离的运行状态，应及时告警，停止运行传送带并修复。

S7：根据步骤S6的判断结果，如果判断为传送带偏离，则根据巡检图像中对应的托辊编号发送警报信息，以便及时修复传送带运行状态，并执行步骤S11；如果传送带在正确位置运行，则执行步骤S8，检测其他可能会影响传送带偏离的潜在因素。

在当前自动化检测的方式中，大多仅在传送带偏离事故发生后进行补救措施，往往缺乏对此类事故产生的潜在原因进行检测排查。在日常巡检过程中，除了判断步骤S5所涉及的交点位置外，还应全面筛查：（1）传送带或两侧的托辊及机架是否有异常声音。（2）检查传送带张紧度，传送带张紧度对传送带的运转和偏离都有影响，张紧度过紧或过松，都会使得传送带偏离；对于张紧度的检查，可以通过检查张紧滚筒是否产生过大摩擦力的噪音以及张紧装置是否工作良好等方式进行。（3）检查托辊与机架装置的外观是否有异常缺陷。这些潜在因素目前都是由人工检查，增加人工在恶劣环境下的工作量，并且检出效果与人员的从业经验有密切关联。

S8：采用步骤S2中提及的深度学习模型，对巡检图像中的目标托辊和对应的机架进行目标检测，采用图像配准的方式，将检测结果与模板图像进行比较，以相似度取值对托辊和机架的外观进行缺陷检测；如果相似度值低于一定的阈值，则判断为外观存在磨损、形变、位置移动等运行隐患，向服务端发送提示信息及时维修维护；否则，判断为外观正常，可以继续运行；其中，模板图像是正常使用的完整的设备标准图，无磨损、无形变。

具体地包括：目标区域定位、选取特征区域、特征点检测、特征点匹配、计算仿射变换系数、对巡检图像仿射变换、巡检图像与模板图像相似度比较、得到结果输出。

（1）采用深度学习模型对巡检图像进行目标检测，在巡检图像中标定出托辊与机架区域，并裁剪出目标区域子图。

（2）因实时巡检的图像拍摄角度与模板图像存在差异，所以在进行图像配准检测形变的过程中，需要将巡检图像的目标区域子图做仿射变换操作；

具体地，将目标区域子图与模板图像进行特征点匹配，筛选出共有的特征点对，根据特征点对的坐标计算图像偏转角度，由此可以计算仿射变换矩阵；然后，将巡检图像的目标区域子图投影到模板图像的坐标系中，且与模板图像保持相同的尺度，并计算二者的相似度。

仿射变换保持二维图像的“平直性”和“平行性”，即直线经仿射变换后依然为直线，直线之间的相对位置关系保持不变，平行线经仿射变换后依然为平行线，且直线上点的位置顺序不会发生变化。非共线的三对对应点确定一个唯一的仿射变换，因此将目标区域子图与模板图像进行特征点匹配筛选后，即可求得仿射变换矩阵，即将点仿射变换到点/>后对应的齐次坐标矩阵；然后，再将巡检图像的目标区域坐标映射至模板图像坐标系中进行配准，以求得标定区域内的相似度，以此推断巡检目标是否存在显著磨损与形变等缺陷。

作为可选择的一种实施方式，采用SIFT（Scale-Invariant Feature Transform，尺度不变特征变换）特征点检测方法，包括：

（2-1）构建尺度空间并提取特征点。尺度空间是为了检测在不同尺度下都存在的特征点而构建的，通常通过构建高斯金字塔来实现，进一步建立高斯差分金字塔进行极值检测。特征点是一些包含图像重要信息，不会因光照、尺度、旋转等因素而变化的点，如角点、边缘点等。

（2-2）尺度空间极值检测。在多尺度高斯差分空间中检测极值点（例如在3x3x3区域内寻找极值）作为候选的关键点。

（2-3）定位关键点。通过对候选关键点进行进一步分析，使用泰勒级数展开来精确定位极值点，舍弃低对比度关键点和高边缘响应的关键点，以确保所选取的关键点稳定性和鲁棒性。

（2-4）方向赋值。为每个关键点计算其主方向，通过在关键点周围一定区域内计算梯度方向和幅度累计直方图来实现，使SIFT特征点具有旋转不变性。

（2-5）关键点描述子生成。根据关键点的位置、尺度和方向信息，为每个关键点生成一个独特的描述子，描述子通常是一个向量，包含关键点周围像素区域的统计信息。

（2-6）关键点匹配。对场景图和目标物体图都提取SIFT关键点后，使用匹配算法找出最匹配的两个点，通过比较描述子之间的相似性（如欧氏距离）来确定匹配的关键点对。

（3）巡检图像与模板图像进行相似度比较的方法有多种，如：

均方误差（Mean Squared Error，MSE）：计算两张图像像素之间的差异，并将这些差异的平方求和，最后除以像素数量得到MSE；MSE值越小，两张图像越相似。

结构相似性指数（Structural Similarity Index，SSIM）：通过比较两张图像的亮度、对比度和结构等方面的相似性，给图像打分；SSIM值在0到1之间，1表示两张图像完全相同。

峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）：计算两张图像像素之间的差异，并将这些差异的平方求和后再取对数，PSNR值越高，图像越相似。

直方图比较（Histogram Comparison）：统计两张图像的颜色直方图，按照某种距离度量的标准对两幅图像的直方图进行相似度的测量，以确定相似度。

由于在仿射变换过程中将巡检图像投影到模板图像坐标系，并且与模板图像保持相同的尺度，则基于像素点的图像匹配方法可以更好的预测巡检图像中的目标相较于模板图像是否存在形变。

在对巡检图像中目标区域子图进行仿射变换之后，根据特征点配准的坐标与模板图像中的相同区域对齐，并在模板图像中裁剪对应的模板区域子图；对两幅图像执行图像预处理，对托辊、机架区域进行边缘检测、阈值分割、区域连通等操作，得出目标物与背景分割后的二值化图像，以此计算模板区域子图连通区域内包含目标区域子图同位像素的比例，比例高与阈值则图像相似度高，反之则低，表明巡检位置的设备存在发生形变的可能性。

S9：若传送带的张紧度异常，则输料重量分布不均匀、托辊轴承故障等因素均有可能导致传送带偏离，而该种问题采用常规的视觉监控很难进行异常缺陷检测，但是当传送带具有以上隐患运行时，会产生与正常运行不同的噪音。因此通过巡检机器人上的声音采集传感器采集传送带运行声音，将传送带运行声音与正常音频样本的波形进行比较，通过计算波形之间的相似度，即，计算传送带运行声音与正常音频样本的波形特征点位置的距离在时域信息上的累积值，以该累计值来度量音频的相似性，判断传送带运行状态，若相似度值低于设定的阈值，则判断存在运行隐患，否则判断为运行正常。

相似度为：；

其中，表示波形特征点位置的距离从/>时刻至/>的累积值；/>表示传送带运行声音的波形中第k个特征点位置；/>表示正常音频样本的波形中第k个特征点位置；/>为特征点位置总数；/>表示标准差，即噪音距离可符合某一个范围之中，如遇偶然发生的异常声音，可以避免误检测。

S10：单程的传送带巡检任务的端点可以设定为传送带的机头或机尾。传送带的起始部分称为机头，装配有传动装置、皮带张紧装置、卸料装置等；传送带的末端即是机尾，作用是将皮带绕过滚筒进行换向，并装载物料送至机头方向。在机头或机尾两个端点，因与机身作用的差别，具有独特的设备类型，采用与步骤S8、步骤S9相同的方法，添加滚筒、装料口、卸料口装置的外观缺陷检测、噪声异常检测等巡检任务；同时，巡检机器人传送带端到端的巡检任务过程中，由于传送带的对称性，因此仅沿传送带一侧进行巡检即可获取整个传送带的运行状态。

S11：巡检任务结束后，根据传送带边缘在各个托辊位置的连续变化，拟合边界位置曲线，对于在托辊上临界值的区段形成偏离检测报告，提供给人工检查排除隐患。

本实施例实现了将深度学习算法应用于特定应用场景的巡检机器人，实时掌握传送带持续变化的位置信息，实现对传送带偏离的检测以及潜在因素的检测。在传统工业智能化发展的前景下，本实施例提出的传送带偏离检测方法具有以下优势。

提高安全性和可靠性：传送带偏离可能导致设备的故障、损坏甚至引发火灾等安全问题，通过智能检测方案能够及时发现偏离情况，及时采取措施进行修正，确保设备运行的安全性和可靠性。

减少设备维护和停工成本：传送带偏离如果不及时发现和修正，可能会导致设备的故障和停工等问题，进而增加维护和修复的成本。智能检测方案能够实时监控传送带的运行状态，及时发现偏离情况，避免了设备故障和停工的发生，降低了维护和停工的成本。

提高生产效率和资源利用率：传送带偏离会导致输煤效率降低，产量减少，甚至影响后续的产能。通过智能检测方案，能够及时发现并修正传送带偏离，确保传送带正常运行，提高输送效率和资源利用率，提高生产效率和产量。

数据收集和分析：智能检测方案可以实时获取传送带的运行数据和状态信息，通过对这些数据的收集和分析，可以了解传送带的运行状况、异常情况和故障原因等，为生产管理提供参考和决策依据。

实施例2

本实施例提供一种传送带偏离检测系统，包括：

获取模块，被配置为获取包括单侧托辊与单侧托辊上传送带的巡检图像；

目标检测模块，被配置为在巡检图像中检测目标托辊的边缘和与目标托辊同侧的传送带边缘；

偏离检测模块，被配置为判断目标托辊支撑传送带一侧的长边缘与传送带边缘是否有交点，以及判断交点位置是否处于目标托辊上设定的支撑范围内，根据判断结果确定传送带是否存在偏离；

潜在因素检测模块，被配置为若不存在偏离，则对偏离潜在因素进行检测；包括：对巡检图像中的目标托辊、对应的机架、传送带的起始位置和末端位置均进行外观缺陷检测，以及通过获取的传送带运行声音进行传送带张紧度异常检测。

此处需要说明的是，上述模块对应于实施例1中所述的步骤，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。

实施例3

本实施例提供一种巡检机器人，包括：机器人本体和设于机器人本体上的实施例2所述的传送带偏离检测系统。

如图3-图4所示，机器人本体为轨道式巡检机器人，由驱动机构5驱动，沿巡检轨道4运行，通过视觉传感模块7采集巡检图像，并将巡检图像发生至控制模块6中，在控制模块6中集成有实施例2所述的传送带偏离检测系统，用于执行传送带偏离检测方法。

可以理解的，机器人本体、驱动机构、巡检轨道、视觉传感模块等组件采用常规设计即可，不做赘述。

在更多实施例中，还提供：

一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例1中所述的方法。为了简洁，在此不再赘述。

应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。

一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例1中所述的方法。

实施例1中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。

本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元及算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种传送带偏离检测方法，其特征在于，包括：

获取包括单侧托辊与单侧托辊上传送带的巡检图像；

在巡检图像中检测目标托辊的边缘和与目标托辊同侧的传送带边缘；

判断目标托辊支撑传送带一侧的长边缘与传送带边缘是否有交点，以及判断交点位置是否处于目标托辊上设定的支撑范围内，根据判断结果确定传送带是否存在偏离；

若不存在偏离，则对偏离潜在因素进行检测；包括：对巡检图像中的目标托辊、对应的机架、传送带的起始位置和末端位置均进行外观缺陷检测，以及通过获取的传送带运行声音进行传送带张紧度异常检测。

2.如权利要求1所述的一种传送带偏离检测方法，其特征在于，将巡检图像的拍摄位置与对应的巡检图像以及巡检图像中的托辊进行一一对应，以在检测到存在偏离时，根据对应的巡检图像对对应的托辊进行报警。

3.如权利要求1所述的一种传送带偏离检测方法，其特征在于，对巡检图像进行目标托辊的检测，得到目标托辊外接矩形的顶点坐标，以在巡检图像中沿目标托辊外接矩形进行子图裁剪，对得到的托辊区域子图进行边缘检测，提取托辊边缘。

4.如权利要求1所述的一种传送带偏离检测方法，其特征在于，在巡检图像中检测满足传送带边缘特征条件的直线边缘，以提取出与目标托辊同侧的传送带边缘。

5.如权利要求1所述的一种传送带偏离检测方法，其特征在于，根据判断结果确定传送带是否存在偏离的过程包括：

交点位置处于目标托辊上设定的支撑范围之内，判断为传送带运行正常；

交点位置超出目标托辊上设定的支撑范围之内，判断为传送带虽在目标托辊上运行，但存在偏离；

若目标托辊支撑传送带一侧的长边缘与传送带边缘无交点，则判断为传送带从目标托辊上脱落，存在偏离。

6.如权利要求1所述的一种传送带偏离检测方法，其特征在于，对巡检图像中的目标托辊、对应的机架、传送带的起始位置和末端位置分别进行目标检测，将得到的目标区域子图与模板图像进行特征点匹配，筛选出共有的特征点对，根据特征点对的坐标计算图像偏转角度，由此将得到的目标区域子图进行仿射变换操作，将目标区域子图投影到模板图像的坐标系中，在模板图像中裁剪出与目标区域子图处于相同区域的模板区域子图，计算模板区域子图内包含目标区域子图同位像素的比例，根据比例值进行外观缺陷检测。

7.如权利要求1所述的一种传送带偏离检测方法，其特征在于，将获取的传送带运行声音与正常音频样本的波形进行对比，计算传送带运行声音与正常音频样本的波形特征点位置的距离在时域上的累积值，若累积值低于设定阈值，则判断存在运行隐患，否则判断为运行正常；

其中，；/>为波形特征点位置的距离从/>时刻至/>的累积值；/>为传送带运行声音的波形中第k个特征点位置；/>为正常音频样本的波形中第k个特征点位置；/>为特征点位置总数；/>为标准差。

8.如权利要求1所述的一种传送带偏离检测方法，其特征在于，根据传送带边缘在各个托辊位置的连续变化，拟合边界位置曲线，并将处于托辊上设定的支撑范围临界值的区段形成偏离检测报告。

9.一种传送带偏离检测系统，其特征在于，包括：

获取模块，被配置为获取包括单侧托辊与单侧托辊上传送带的巡检图像；

目标检测模块，被配置为在巡检图像中检测目标托辊的边缘和与目标托辊同侧的传送带边缘；

偏离检测模块，被配置为判断目标托辊支撑传送带一侧的长边缘与传送带边缘是否有交点，以及判断交点位置是否处于目标托辊上设定的支撑范围内，根据判断结果确定传送带是否存在偏离；

潜在因素检测模块，被配置为若不存在偏离，则对偏离潜在因素进行检测；包括：对巡检图像中的目标托辊、对应的机架、传送带的起始位置和末端位置均进行外观缺陷检测，以及通过获取的传送带运行声音进行传送带张紧度异常检测。

10.一种巡检机器人，其特征在于，包括：机器人本体和设于机器人本体上的权利要求1-8任一项所述的传送带偏离检测系统。