CN113283339B - 基于机器视觉的工业矿料运输皮带少料异常监测方法 - Google Patents

Abstract

本发明提供了一种基于机器视觉的工业矿料运输皮带少料异常监测方法，获取工业运输皮带监测视频图像，复杂环境下异常监测图像的特征增强，采用融合两区域特征的皮带感兴趣区域两步提取方法，提取皮带感兴趣区域，采用边缘检测方法提取皮带表面矿料边缘，采用灰度共生矩阵对皮带表面纹理信息进行分析，采用基于Grubbs准则法的粗大误差处理方法对提取的图像特征量进行数据预处理，采用加权排序雷达图的方法将皮带表面纹理信息与矿料边缘信息进行融合，对工业矿料运输皮带少料异常进行判断。本发明实现对工业矿料运输皮带少料异常进行更快、更准、更全面的判断，对提高生产效率，减少异常影响范围具有重大意义。

Description

基于机器视觉的工业矿料运输皮带少料异常监测方法

技术领域

本发明涉及机器视觉、图像处理和异常监测技术领域，特别涉及一种基于机器视觉的工业矿料运输皮带少料异常监测方法。

背景技术

工业矿料皮带运输方式一种较为常见的工业运输方式。在实际生产中，工业矿料运输皮带常因少料异常或由此异常产生的关联反应导致生产线被迫停止运行而进行检修的情况，因此及时的发现少料异常并进行排除是十分必要的。

工业矿料运输皮带异常监测视频是其皮带运输情况的直接表现，对于某一皮带运输过程而言，工业矿料运输皮带异常监测视频图像能够直接反应皮带运行过程中直接图像信息，是判断工业矿料运输皮带少料异常的重要参数之一。但由于工业矿料运输皮带运行环境往往比较恶劣，属于高污染、大扬尘的环境，且工业矿料运输皮带少料异常具有特殊性，使得对工业矿料运输皮带少料异常实现在线监测带来了巨大的挑战。

(1)工业矿料运输皮带少料异常分析：少料异常为一种上下游运输线关联型异常，主要表现为矿料运输线正常运行时，某段皮带出现运输矿料量明显减少的情况。其异常产生原因与该皮带上游运输线有关，主要原因有2种：1.上游皮带正常运行且运输物料量稳定时，下游皮带头下料口堵料，导致下料皮带物料运输量明显减少。2.上游皮带出现少料异常时，下游皮带也将出现少料异常。目前针对工业矿料运输皮带少料异常监测的难点如下：1.工业矿料运输皮带运输矿料流量的无规则周期性变化：在传统的工业矿料运输线中，包含运输皮带、下料口、缓存料仓、破碎机、筛分机等结构组成，其中破碎机与筛分机等结构为间歇性给料，而缓存料仓等结构则具备一定的储料能力，具备对矿料流量进行调整、对矿料流量变化进行缓冲的作用。但是在实际的工业现场，工业矿料运输皮带表面矿料流量依旧呈现一定的无规则周期性变化。在正常情况下，工业矿料运输皮带表面矿料宽度的变化比较明显，在矿料流量到达峰值时，工业矿料运输皮带上矿料宽度占其皮带自身宽度的80％以上，当矿料流量到达低谷时，工业矿料运输皮带上矿料宽度占其皮带自身宽度小于40％。因此工业矿料运输皮带运输矿料流量的无规则周期性变化将给少料异常判断带来较为严重的影响。2.烧结皮带监控图像少料特征的复杂性：由于工业矿料运输皮带在皮带架上呈现内凹U字型结构且烧结矿表面较为粗糙，在工业矿料运输皮带表面矿料流量较小时，内凹U字型结构难以对矿料产生聚集作用，使得矿料在烧结皮带上分布较为疏散，矿料宽度较宽。且由于工业矿料运输皮带属于重型运输设备，其设备本身机械振动较为明显，在矿料流量较大时，其机械振动对矿料产生聚集作用，使矿料聚集分布于皮带中心，而矿料流量较小时，其机械振动反而使得矿料产生不规则运动，使得矿料在皮带表面分布较为松散。而正常工业矿料运输皮带矿料流量变化周期的低谷期的矿料宽度占比与皮带少料异常发生期的矿料宽度占比差异性不大，而在监控图像中的则体现为正常变化周期的低谷期矿料在皮带上的分布较为聚集，而少料异常发生期的矿料在皮带上分布较为松散。因此单一使用矿料宽度无法准备的对不同情况下的少料异常进行判断。

(2)工业矿料运输皮带运行环境分析：工业矿料运输皮带运行环境往往较为恶劣，例如，在烧结皮带运行过程中，烧结矿属于高温矿料，当其冷却不完全时，常需对其进行加水冷却，冷却过程中向上激起的水雾将导致监测图像模糊，而工业矿料运输皮带运输矿料时，因机器震动激起的扬尘也将使得皮带运行环境中的能见度降低，影响监测图像的清晰度，使得通过监控图像对皮带少料异常判断的准确度大大降低。

(3)工业矿料运输皮带运动过程分析：在工业现场为保证工业生产线快速高效的运行，工业矿料运输皮带的运行速度往往较快，因此皮带上烧结矿带表面动态模糊较强，这将对烧结矿表面纹理分析带来较为严重的影响。而且皮带在长期运行过程中常因为劳损导致皮带在皮带架上发生横向偏移，导致皮带在皮带架上做横向无规则周期性运动，使得皮带表面区域无法准确提取。因此对工业矿料运输皮带少料异常识别的快速性与准确性提出了更高的要求。

综合所述，如何克服上述问题，对工业矿料运输皮带进行准确的感兴趣区域提取，且快速、准确的完成对少料异常的识别是保证工业矿料运输皮带稳定运行的关键。

发明内容

本发明提供了一种基于机器视觉的工业矿料运输皮带少料异常监测方法，其目的是为了解决传统的异常监测方法工作人员的工作强度大，不能精确的对工业矿料运输皮带的少料异常进行监测，存在工业矿料运输皮带因横向方向的无规则周期性运动以及外界环境干扰，使得皮带感兴趣区域无法精确提取，影响工业矿料运输皮带运行异常因素多，工业矿料运输皮带运行异常识别速度慢且准确性差的问题。

为了达到上述目的，本发明的实施例提供了一种基于机器视觉的工业矿料运输皮带少料异常监测方法，包括：

步骤1，将工业矿料运输皮带的异常监测摄像头进行相机标定，通过异常监测摄像头实时获取工业矿料运输皮带监测视频图像，对当前工业运输皮带监测视频图像进行畸变矫正，得到当前工业运输皮带监测视频图像的原始图像；

步骤2，对当前工业运输皮带监测视频图像的原始图像进行图像预处理，得到当前特征增强后的图像；

步骤3，对当前特征增强后的图像采用融合两区域特征的皮带感兴趣区域两步提取方法提取皮带感兴趣区域；

步骤4，对所述皮带感兴趣区域采用图像分割方法提取皮带表面矿料区域，采用边缘检测方法提取皮带表面矿料边缘位置数据；

步骤5，对所述皮带表面矿料区域采用灰度共生矩阵对皮带表面纹理信息进行分析，得到皮带表面纹理特征量中的熵与逆差矩；

步骤6，获取15组皮带表面矿料边缘数据与皮带表面纹理特征量中的熵与逆差矩数据作为历史数据，判断所述皮带表面矿料边缘位置数据和所述皮带表面纹理特征量中的熵与逆差矩是否在15组历史数据内；当数据不在15组历史数据内时采用基于Grubbs准则法的粗大误差处理方法对数据进行数据预处理后执行步骤7，当数据在15组历史数据内时，对数据执行步骤7；

步骤7，采用加权排序雷达图方法进行数据信息融合，得到当前工业矿料运输皮带少料异常综合判断指标；

步骤8，设定工业矿料运输皮带少料异常综合判断指标阈值，判断当前工业矿料运输皮带少料异常综合判断指标是否超过工业矿料运输皮带少料异常综合判断指标阈值，当当前工业矿料运输皮带少料异常综合判断指标超过工业矿料运输皮带少料异常综合判断指标阈值时，发出警报，跳转到步骤1继续执行；当当前工业矿料运输皮带少料异常综合判断指标未超过工业矿料运输皮带少料异常综合判断指标阈值时，跳转到步骤1继续执行。

其中，所述步骤2具体包括：

对所述原始图像进行图像降噪、图像去雾和对比度调整的图像预处理操作，得到特征增强后的图像。

其中，所述步骤3具体包括：

步骤31，根据所述特征增强后的图像中工业矿料运输皮带的运动特性，对皮带横向运动范围进行分析，划定皮带左右边缘待检测区域；

步骤32，对所述皮带左右边缘待检测区域采用对应单一方向的一阶离散的微分算子进行边缘提取，获得皮带左右边缘待检测区域图像；

步骤33，对皮带左右边缘待检测区域图像进行边缘完整性检测，选择合适的边缘完整性检测阈值k，对皮带左右边缘待检测区域图像进行从上到下的行扫描，通过判断当前扫描位置左右区域的k行内是否有下一个记录的像素点位置来判断皮带左右边缘待检测区域图像的边缘是否连续，当皮带左右边缘待检测区域图像的边缘为连续时，皮带左右边缘待检测区域图像的边缘完整，当皮带左右边缘待检测区域图像的边缘为不连续时，皮带左右边缘待检测区域图像的边缘不完整。

其中，所述步骤3还包括：

步骤34，对检测到的皮带左右边缘待检测区域图像的不完整边缘进行错误边界剔除；

步骤35，对剔除错误边界后的皮带左右边缘待检测区域图像进行边界修复，对皮带左右边缘待检测区域图像进行从下到上的行扫描，当当前像素点左右上区域范围D内没有灰度值不为零的像素点时，记录当前像素点坐标，将当前像素点与下一个符合条件的像素点间建立连线；

步骤36，对检测到的皮带左右边缘待检测区域图像的完整边缘和边界修复后的皮带左右边缘待检测区域图像进行Hough直线检测，提取出皮带左右边缘待检测区域图像中判定为皮带边缘的直线；

步骤37，对所述皮带边缘的直线采用基于多帧皮带边缘横向跟踪方法对皮带边缘位置进行校正，根据工业矿料运输皮带的特征和连续帧图像间皮带边缘位置运动特征对校正后的皮带边缘位置进行分析，得到皮带边缘实际位置；

步骤38，根据皮带边缘实际位置划分出皮带感兴趣区域。

其中，所述步骤34具体包括：

对皮带左右边缘待检测区域图像采用连通区域分析的方式，得到连通区域轮廓和面积信息，通过删除其面积较小的干扰区域，对检测到的皮带左右边缘待检测区域图像的不完整边缘的错误边界进行去除。

其中，所述步骤37具体包括：

步骤371，获取提取出的皮带边缘的直线的直线数目和提取出的每条皮带边缘的直线的端点坐标；

步骤372，通过皮带边缘斜率变化范围对每条皮带边缘的直线的端点坐标进行判定，当当前皮带边缘的直线的端点坐标不在皮带边缘斜率变化范围内时，将当前皮带边缘的直线进行删除，并更新皮带边缘的直线的直线数目；当当前皮带边缘的直线的端点坐标在皮带边缘斜率变化范围内时，皮带边缘的直线的直线数目不变；

步骤372，当皮带边缘的直线的直线数目小于两条时，皮带边缘的直线提取失败，采用上一帧图像皮带边缘位置作为当前帧图像皮带边缘位置；当皮带边缘的直线直线数目等于两条时，将皮带边缘的两条直线视为当前帧图像皮带边缘位置；当皮带边缘的直线的直线数目大于两条时，选择左检测区域最右直线与右检测区域最左直线作为当前帧图像皮带边缘位置；

步骤373，判断当前帧图像皮带边缘位置的斜率与中心点的位置变化值是否在上一帧图像的皮带边缘位置的斜率与中心点的位置变化范围内，当当前帧图像皮带边缘位置的斜率与中心点的位置变化值在上一帧图像的皮带边缘位置的斜率与中心点的位置变化范围内时，当前帧图像皮带边缘位置检测正确，获得实际皮带边缘位置；当当前帧图像皮带边缘位置的斜率与中心点的位置变化值不在上一帧图像的皮带边缘位置的斜率与中心点的位置变化范围内时，通过前两帧图像皮带边缘位置的偏移量对当前帧图像皮带边缘位置进行校正，获得实际皮带边缘位置。

其中，所述步骤6还包括：

步骤61，分别计算所述皮带表面矿料边缘位置数据的Gn值和所述皮带表面纹理特征量中的熵与逆差矩的Gn值；

Gn值的计算公式，如下所示：

其中，N表示所述皮带表面矿料边缘位置数据或所述皮带表面纹理特征量中的熵与逆差矩数据，

表示16组数据内所述皮带表面矿料边缘位置数据或所述皮带表面纹理特征量中的熵与逆差矩数据的平均值，S为16组数据内所述皮带表面矿料边缘位置数据或所述皮带表面纹理特征量中的熵与逆差矩数据的标准差，16组数据包括15组历史数据和一组新输入的皮带表面矿料边缘位置数据与皮带表面纹理特征量中的熵与逆差矩数据；

步骤62，分别判断所述皮带表面矿料边缘位置数据的Gn值和皮带表面纹理特征量中的熵与逆差矩的Gn值是否大于格拉布斯临界值表中对应临界值；

步骤63，当所述皮带表面矿料边缘位置数据的Gn值大于格拉布斯临界值表中对应临界值时，所述皮带表面矿料边缘位置数据为粗大误差，采用15组历史数据中的皮带表面矿料边缘位置数据的平均值替换所述皮带表面矿料边缘位置数据；当所述皮带表面矿料边缘位置数据的Gn值小于格拉布斯临界值表中对应临界值时，采用当前所述皮带表面矿料边缘位置数据；

步骤64，当所述皮带表面纹理特征量中的熵与逆差矩的Gn值大于格拉布斯临界值表中对应临界值时，所述皮带表面纹理特征量中的熵与逆差矩为粗大误差，采用15组历史数据中的皮带表面纹理特征量中的熵与逆差矩的平均值替换皮带表面纹理特征量中的熵与逆差矩；当皮带表面纹理特征量中的熵与逆差矩的Gn值小于格拉布斯临界值表中对应临界值时，采用当前皮带表面纹理特征量中的熵与逆差矩。

其中，所述步骤7具体包括：

步骤71，获取工业实际生产信息，提取工业实际生产信息中与工业矿料运输皮带少料异常有关的设备和工况关键变量；

步骤72，对提取的设备、提取的工况关键变量和所述步骤6输出的皮带表面矿料边缘位置数据与皮带表面纹理特征量中的熵与逆差矩进行正向标准化处理与归一化处理，获得多个正向标准化处理与归一化处理的指标；

步骤73，计算每个正向标准化处理与归一化处理的指标的变异系数ρ_i和权重值w_i；

每个正向标准化处理与归一化处理的指标的变异系数ρ_i的计算公式，如下所示：

其中，ρ_i表示第i个指标的变异系数，τ_i表示变异调节系数，范围为[0,2]，σ_i表示第i个评价指标的标准差，

表示第i个评价指标的平均值；

每个正向标准化处理与归一化处理的指标的权重值w_i的计算公式，如下所示：

其中，w_i表示第i个指标的权重，∑ρ_i为所有指标的变异系数的和。

其中，所述步骤7还包括：

步骤74，根据计算出的每个正向标准化处理与归一化处理的指标的权重值w_i，计算不同指标间的相邻夹角

不同指标间相邻夹角

的计算公式，如下所示：

步骤75，根据每个正向标准化处理与归一化处理的指标的权重值w_i对加权排序雷达图中各指标位置进行排序，将权重值最大的指标居于中间，将其他指标按权重值的大小递减顺序进行先左后右逐一双侧排序，并根据不同指标间相邻夹角

绘制加权排序雷达图；

步骤76，根据加权排序雷达图的面积与周长关系，计算工业矿料运输皮带少料异常综合判断指标Y；

工业矿料运输皮带少料异常综合判断指标Y的计算公式，如下所示：

其中，Z表示加权排序雷达图中的多边形区域面积。

本发明的上述方案有如下的有益效果：

本发明的上述实施例所述的基于机器视觉的工业矿料运输皮带少料异常监测方法，通过引入机器视觉技术，将线下人工巡检方式改变为线上监测方式，大大降低了一线员工的工作强度，能够精确的对工业矿料运输皮带的少料异常进行监测，通过融合两区域特征的皮带感兴趣区域两步提取方法，解决了工业矿料运输皮带因横向方向的无规则周期性运动以及外界环境干扰，在皮带感兴趣区域可以做到精确提取，通过基于加权排序雷达图的烧结皮带运行异常综合诊断机制，减少了影响工业矿料运输皮带运行的异常因素，使工业矿料运输皮带运行异常的识别速度快，准确性高。

附图说明

图1为本发明的流程图；

图2为本发明融合两区域特征的皮带感兴趣区域两步提取方法的流程图；

图3为本发明基于多帧皮带边缘横向跟踪方法的流程图；

图4(a)、(c)、(e)为本发明的工业运输皮带监测视频图像的原始图像；

图4(b)、(d)、(f)为本发明的原始图像经过特征增强后的图像；

图5(a)为本发明的在原始图像中进行皮带边缘提取的示意图；

图5(b)为本发明的经过融合两区域特征的皮带感兴趣区域两步提取方法提取的皮带感兴趣区域图像的示意图；

图6(a)为本发明的皮带感兴趣区域示意图；

图6(b)为本发明的皮带表面矿料边缘特征图像示意图；

图7为本发明的皮带感兴趣区域提取的皮带纹理特征量中熵与逆差矩的变化曲线示意图；

图8为本发明的少料异常时绘制的加权排序雷达图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

本发明针对现有的异常监测方法工作人员的工作强度大，不能精确的对工业矿料运输皮带的少料异常进行监测，存在工业矿料运输皮带因横向方向的无规则周期性运动以及外界环境干扰，使得皮带感兴趣区域无法精确提取，影响工业矿料运输皮带运行异常因素多，工业矿料运输皮带运行异常识别速度慢且准确性差的问题，提供了一种基于机器视觉的工业矿料运输皮带少料异常监测方法。

如图1至图8所示，本发明的实施例提供了一种基于机器视觉的工业矿料运输皮带少料异常监测方法，包括：步骤1，将工业矿料运输皮带的异常监测摄像头进行相机标定，通过异常监测摄像头实时获取工业矿料运输皮带监测视频图像，对当前工业运输皮带监测视频图像进行畸变矫正，得到当前工业运输皮带监测视频图像的原始图像；步骤2，对当前工业运输皮带监测视频图像的原始图像进行图像预处理，得到当前特征增强后的图像；步骤3，对当前特征增强后的图像采用融合两区域特征的皮带感兴趣区域两步提取方法提取皮带感兴趣区域；步骤4，对所述皮带感兴趣区域采用图像分割方法提取皮带表面矿料区域，采用边缘检测方法提取皮带表面矿料边缘位置数据；步骤5，对所述皮带表面矿料区域采用灰度共生矩阵对皮带表面纹理信息进行分析，得到皮带表面纹理特征量中的熵与逆差矩；步骤6，获取15组皮带表面矿料边缘数据与皮带表面纹理特征量中的熵与逆差矩数据作为历史数据，判断所述皮带表面矿料边缘位置数据和所述皮带表面纹理特征量中的熵与逆差矩是否在15组历史数据内；当数据不在15组历史数据内时采用基于Grubbs准则法的粗大误差处理方法对数据进行数据预处理后执行步骤7，当数据在15组历史数据内时，对数据执行步骤7；步骤7，采用加权排序雷达图方法进行数据信息融合，得到当前工业矿料运输皮带少料异常综合判断指标；步骤8，设定工业矿料运输皮带少料异常综合判断指标阈值，判断当前工业矿料运输皮带少料异常综合判断指标是否超过工业矿料运输皮带少料异常综合判断指标阈值，当当前工业矿料运输皮带少料异常综合判断指标超过工业矿料运输皮带少料异常综合判断指标阈值时，发出警报，跳转到步骤1继续执行；当当前工业矿料运输皮带少料异常综合判断指标未超过工业矿料运输皮带少料异常综合判断指标阈值时，跳转到步骤1继续执行。

本发明的上述实施例所述的基于机器视觉的工业矿料运输皮带少料异常监测方法，通过异常监测摄像头获取工业运输皮带监测视频图像，对工业运输皮带监测视频图像进行畸变矫正，得到原始图像；对原始图像进行进行图像降噪、图像去雾和对比度调整的图像预处理操作，得到复杂环境下特征增强后的图像，采用融合两区域特征的皮带感兴趣区域两步提取方法，提取特征增强后的图像中皮带感兴趣区域，采用边缘检测方法提取皮带感兴趣区域中皮带表面矿料边缘信息，采用灰度共生矩阵对皮带感兴趣区域中皮带表面纹理信息进行提取，采用基于Grubbs准则法的粗大误差处理方法对提取的皮带表面纹理信息与矿料边缘信息进行数据预处理，再采用加权排序雷达图的方法将皮带表面纹理信息与矿料边缘信息进行融合，对工业矿料运输皮带少料异常进行判断，实现对工业矿料运输皮带少料异常进行更快、更准、更全面的判断，对提高生产效率，减少异常影响范围具有重大意义。

其中，所述步骤2具体包括：对所述原始图像进行图像降噪、图像去雾和对比度调整的图像预处理操作，得到特征增强后的图像。

其中，所述步骤3具体包括：步骤31，根据所述特征增强后的图像中工业矿料运输皮带的运动特性，对皮带横向运动范围进行分析，划定皮带左右边缘待检测区域；步骤32，对所述皮带左右边缘待检测区域采用对应单一方向的一阶离散的微分算子进行边缘提取，获得皮带左右边缘待检测区域图像；步骤33，对皮带左右边缘待检测区域图像进行边缘完整性检测，选择合适的边缘完整性检测阈值k，对皮带左右边缘待检测区域图像进行从上到下的行扫描，通过判断当前扫描位置左右区域的k行内是否有下一个记录的像素点位置来判断皮带左右边缘待检测区域图像的边缘是否连续，当皮带左右边缘待检测区域图像的边缘为连续时，皮带左右边缘待检测区域图像的边缘完整，当皮带左右边缘待检测区域图像的边缘为不连续时，皮带左右边缘待检测区域图像的边缘不完整。

其中，所述步骤3还包括：步骤34，对检测到的皮带左右边缘待检测区域图像的不完整边缘进行错误边界剔除；步骤35，对剔除错误边界后的皮带左右边缘待检测区域图像进行边界修复，对皮带左右边缘待检测区域图像进行从下到上的行扫描，当当前像素点左右上区域范围D内没有灰度值不为零的像素点时，记录当前像素点坐标，将当前像素点与下一个符合条件的像素点间建立连线；步骤36，对检测到的皮带左右边缘待检测区域图像的完整边缘和边界修复后的皮带左右边缘待检测区域图像进行Hough直线检测，提取出皮带左右边缘待检测区域图像中判定为皮带边缘的直线；步骤37，对所述皮带边缘的直线采用基于多帧皮带边缘横向跟踪方法对皮带边缘位置进行校正，根据工业矿料运输皮带的特征和连续帧图像间皮带边缘位置运动特征对校正后的皮带边缘位置进行分析，得到皮带边缘实际位置；步骤38，根据皮带边缘实际位置划分出皮带感兴趣区域。

其中，所述步骤34具体包括：对皮带左右边缘待检测区域图像采用连通区域分析的方式，得到连通区域轮廓和面积信息，通过删除其面积较小的干扰区域，对检测到的皮带左右边缘待检测区域图像的不完整边缘的错误边界进行去除。

其中，所述步骤37具体包括：步骤371，获取提取出的皮带边缘的直线的直线数目和提取出的每条皮带边缘的直线的端点坐标；步骤372，通过皮带边缘斜率变化范围对每条皮带边缘的直线的端点坐标进行判定，当当前皮带边缘的直线的端点坐标不在皮带边缘斜率变化范围内时，将当前皮带边缘的直线进行删除，并更新皮带边缘的直线的直线数目；当当前皮带边缘的直线的端点坐标在皮带边缘斜率变化范围内时，皮带边缘的直线的直线数目不变；步骤372，当皮带边缘的直线的直线数目小于两条时，皮带边缘的直线提取失败，采用上一帧图像皮带边缘位置作为当前帧图像皮带边缘位置；当皮带边缘的直线直线数目等于两条时，将皮带边缘的两条直线视为当前帧图像皮带边缘位置；当皮带边缘的直线的直线数目大于两条时，选择左检测区域最右直线与右检测区域最左直线作为当前帧图像皮带边缘位置；步骤373，判断当前帧图像皮带边缘位置的斜率与中心点的位置变化值是否在上一帧图像的皮带边缘位置的斜率与中心点的位置变化范围内，当当前帧图像皮带边缘位置的斜率与中心点的位置变化值在上一帧图像的皮带边缘位置的斜率与中心点的位置变化范围内时，当前帧图像皮带边缘位置检测正确，获得实际皮带边缘位置；当当前帧图像皮带边缘位置的斜率与中心点的位置变化值不在上一帧图像的皮带边缘位置的斜率与中心点的位置变化范围内时，通过前两帧图像皮带边缘位置的偏移量对当前帧图像皮带边缘位置进行校正，获得实际皮带边缘位置。

其中，所述步骤6还包括：步骤61，分别计算所述皮带表面矿料边缘位置数据的Gn值和所述皮带表面纹理特征量中的熵与逆差矩的Gn值；

Gn值的计算公式，如下所示：

其中，N表示所述皮带表面矿料边缘位置数据或所述皮带表面纹理特征量中的熵与逆差矩数据，

表示16组数据内所述皮带表面矿料边缘位置数据或所述皮带表面纹理特征量中的熵与逆差矩数据的平均值，S为16组数据内所述皮带表面矿料边缘位置数据或所述皮带表面纹理特征量中的熵与逆差矩数据的标准差，16组数据包括15组历史数据和一组新输入的皮带表面矿料边缘位置数据与皮带表面纹理特征量中的熵与逆差矩数据；步骤62，分别判断所述皮带表面矿料边缘位置数据的Gn值和皮带表面纹理特征量中的熵与逆差矩的Gn值是否大于格拉布斯临界值表中对应临界值；步骤63，当所述皮带表面矿料边缘位置数据的Gn值大于格拉布斯临界值表中对应临界值时，所述皮带表面矿料边缘位置数据为粗大误差，采用15组历史数据中的皮带表面矿料边缘位置数据的平均值替换所述皮带表面矿料边缘位置数据；当所述皮带表面矿料边缘位置数据的Gn值小于格拉布斯临界值表中对应临界值时，采用当前所述皮带表面矿料边缘位置数据；步骤64，当所述皮带表面纹理特征量中的熵与逆差矩的Gn值大于格拉布斯临界值表中对应临界值时，所述皮带表面纹理特征量中的熵与逆差矩为粗大误差，采用15组历史数据中的皮带表面纹理特征量中的熵与逆差矩的平均值替换皮带表面纹理特征量中的熵与逆差矩；当皮带表面纹理特征量中的熵与逆差矩的Gn值小于格拉布斯临界值表中对应临界值时，采用当前皮带表面纹理特征量中的熵与逆差矩。

其中，所述步骤7具体包括：步骤71，获取工业实际生产信息，提取工业实际生产信息中与工业矿料运输皮带少料异常有关的设备和工况关键变量；步骤72，对提取的设备、提取的工况关键变量和所述步骤6输出的皮带表面矿料边缘位置数据与皮带表面纹理特征量中的熵与逆差矩进行正向标准化处理与归一化处理，获得多个正向标准化处理与归一化处理的指标；步骤73，计算每个正向标准化处理与归一化处理的指标的变异系数ρ_i和权重值w_i；

每个正向标准化处理与归一化处理的指标的变异系数ρ_i的计算公式，如下所示：

其中，ρ_i表示第i个指标的变异系数，τ_i表示变异调节系数，范围为[0,2]，σ_i表示第i个评价指标的标准差，

表示第i个评价指标的平均值；

每个正向标准化处理与归一化处理的指标的权重值w_i的计算公式，如下所示：

其中，w_i表示第i个指标的权重，∑ρ_i为所有指标的变异系数的和。

其中，所述步骤7还包括：步骤74，根据计算出的每个正向标准化处理与归一化处理的指标的权重值w_i，计算不同指标间的相邻夹角

不同指标间相邻夹角

的计算公式，如下所示：

步骤75，根据每个正向标准化处理与归一化处理的指标的权重值w_i对加权排序雷达图中各指标位置进行排序，将权重值最大的指标居于中间，将其他指标按权重值的大小递减顺序进行先左后右逐一双侧排序，并根据不同指标间相邻夹角

绘制加权排序雷达图；

步骤76，根据加权排序雷达图的面积与周长关系，计算工业矿料运输皮带少料异常综合判断指标Y；

工业矿料运输皮带少料异常综合判断指标Y的计算公式，如下所示：

其中，Z表示加权排序雷达图中的多边形区域面积。

本发明的上述实施例所述的基于机器视觉的工业矿料运输皮带少料异常监测方法，图5中的指标包括针对少料异常的环冷机机速(RCS)、皮带机速(BCS)、由烧结皮带运行异常监测图像提取皮带表面矿料宽度(ROW)、图像纹理特征量的熵(ENT)和逆差矩(IDM)。

本发明的上述实施例所述的基于机器视觉的工业矿料运输皮带少料异常监测方法，采用实例验证的方法，在工业现场进行了为期六个月的线上测试，采用误报率与漏报率两项检测指标对所述基于机器视觉的工业矿料运输皮带少料异常监测方法进行精确度测试，表1展示了工业现场两条生产线四条工业矿料运输皮带少料异常监测结果，可知所述基于机器视觉的工业矿料运输皮带少料异常监测方法能够更加准确的对工业矿料运输皮带的少料异常进行监测。

表1工业现场六个月业矿料运输皮带的少料异常监测结果

本发明的上述实施例所述的基于机器视觉的工业矿料运输皮带少料异常监测方法通过引入机器视觉技术，将原有的线下人工巡检方式改变为线上监测方式，大大降低了一线员工的工作强度，并且能够精确的对工业矿料运输皮带的少料异常进行监测；通过融合两区域特征的皮带感兴趣区域两步提取方法，解决了工业矿料运输皮带因横向方向的无规则周期性运动以及外界环境干扰，解决了皮带感兴趣区域无法精确提取的问题；并且使用基于加权排序雷达图的烧结皮带运行异常综合诊断机制，解决了影响工业矿料运输皮带运行异常因素多、工业矿料运输皮带运行异常识别速度慢且准确性差的问题。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种基于机器视觉的工业矿料运输皮带少料异常监测方法，其特征在于，包括：

步骤1，将工业矿料运输皮带的异常监测摄像头进行相机标定，通过异常监测摄像头实时获取工业矿料运输皮带监测视频图像，对当前工业运输皮带监测视频图像进行畸变矫正，得到当前工业运输皮带监测视频图像的原始图像；

步骤2，对当前工业运输皮带监测视频图像的原始图像进行图像预处理，得到当前特征增强后的图像；

步骤3，对当前特征增强后的图像采用融合两区域特征的皮带感兴趣区域两步提取方法提取皮带感兴趣区域；

步骤31，根据所述特征增强后的图像中工业矿料运输皮带的运动特性，对皮带横向运动范围进行分析，划定皮带左右边缘待检测区域；

步骤32，对所述皮带左右边缘待检测区域采用对应单一方向的一阶离散的微分算子进行边缘提取，获得皮带左右边缘待检测区域图像；

步骤33，对皮带左右边缘待检测区域图像进行边缘完整性检测，选择合适的边缘完整性检测阈值k，对皮带左右边缘待检测区域图像进行从上到下的行扫描，通过判断当前扫描位置左右区域的k行内是否有下一个记录的像素点位置来判断皮带左右边缘待检测区域图像的边缘是否连续，当皮带左右边缘待检测区域图像的边缘为连续时，皮带左右边缘待检测区域图像的边缘完整，当皮带左右边缘待检测区域图像的边缘为不连续时，皮带左右边缘待检测区域图像的边缘不完整；

步骤34，对检测到的皮带左右边缘待检测区域图像的不完整边缘进行错误边界剔除；

步骤35，对剔除错误边界后的皮带左右边缘待检测区域图像进行边界修复，对皮带左右边缘待检测区域图像进行从下到上的行扫描，当当前像素点左右上区域范围D内没有灰度值不为零的像素点时，记录当前像素点坐标，将当前像素点与下一个符合条件的像素点间建立连线；

步骤36，对检测到的皮带左右边缘待检测区域图像的完整边缘和边界修复后的皮带左右边缘待检测区域图像进行Hough直线检测，提取出皮带左右边缘待检测区域图像中判定为皮带边缘的直线；

步骤37，对所述皮带边缘的直线采用基于多帧皮带边缘横向跟踪方法对皮带边缘位置进行校正，根据工业矿料运输皮带的特征和连续帧图像间皮带边缘位置运动特征对校正后的皮带边缘位置进行分析，得到皮带边缘实际位置；

步骤38，根据皮带边缘实际位置划分出皮带感兴趣区域；

步骤4，对所述皮带感兴趣区域采用图像分割方法提取皮带表面矿料区域，采用边缘检测方法提取皮带表面矿料边缘位置数据；

步骤5，对所述皮带表面矿料区域采用灰度共生矩阵对皮带表面纹理信息进行分析，得到皮带表面纹理特征量中的熵与逆差矩；

步骤6，获取15组皮带表面矿料边缘位置数据与皮带表面纹理特征量中的熵与逆差矩数据作为历史数据，判断所述皮带表面矿料边缘位置数据和所述皮带表面纹理特征量中的熵与逆差矩是否在15组历史数据内；当数据不在15组历史数据内时采用基于Grubbs准则法的粗大误差处理方法对数据进行数据预处理后执行步骤7，当数据在15组历史数据内时，对数据执行步骤7；

步骤7，采用加权排序雷达图方法进行数据信息融合，得到当前工业矿料运输皮带少料异常综合判断指标；

步骤8，设定工业矿料运输皮带少料异常综合判断指标阈值，判断当前工业矿料运输皮带少料异常综合判断指标是否超过工业矿料运输皮带少料异常综合判断指标阈值，当当前工业矿料运输皮带少料异常综合判断指标超过工业矿料运输皮带少料异常综合判断指标阈值时，发出警报，跳转到步骤1继续执行；当当前工业矿料运输皮带少料异常综合判断指标未超过工业矿料运输皮带少料异常综合判断指标阈值时，跳转到步骤1继续执行。

2.根据权利要求1所述的基于机器视觉的工业矿料运输皮带少料异常监测方法，其特征在于，所述步骤2具体包括：

对所述原始图像进行图像降噪、图像去雾和对比度调整的图像预处理操作，得到特征增强后的图像。

3.根据权利要求2所述的基于机器视觉的工业矿料运输皮带少料异常监测方法，其特征在于，所述步骤34具体包括：

对皮带左右边缘待检测区域图像采用连通区域分析的方式，得到连通区域轮廓和面积信息，通过删除其面积较小的干扰区域，对检测到的皮带左右边缘待检测区域图像的不完整边缘的错误边界进行去除。

4.根据权利要求3所述的基于机器视觉的工业矿料运输皮带少料异常监测方法，其特征在于，所述步骤37具体包括：

步骤371，获取提取出的皮带边缘的直线的直线数目和提取出的每条皮带边缘的直线的端点坐标；

步骤372，通过皮带边缘斜率变化范围对每条皮带边缘的直线的端点坐标进行判定，当当前皮带边缘的直线的端点坐标不在皮带边缘斜率变化范围内时，将当前皮带边缘的直线进行删除，并更新皮带边缘的直线的直线数目；当当前皮带边缘的直线的端点坐标在皮带边缘斜率变化范围内时，皮带边缘的直线的直线数目不变；

步骤372，当皮带边缘的直线的直线数目小于两条时，皮带边缘的直线提取失败，采用上一帧图像皮带边缘位置作为当前帧图像皮带边缘位置；当皮带边缘的直线直线数目等于两条时，将皮带边缘的两条直线视为当前帧图像皮带边缘位置；当皮带边缘的直线的直线数目大于两条时，选择左检测区域最右直线与右检测区域最左直线作为当前帧图像皮带边缘位置；

步骤373，判断当前帧图像皮带边缘位置的斜率与中心点的位置变化值是否在上一帧图像的皮带边缘位置的斜率与中心点的位置变化范围内，当当前帧图像皮带边缘位置的斜率与中心点的位置变化值在上一帧图像的皮带边缘位置的斜率与中心点的位置变化范围内时，当前帧图像皮带边缘位置检测正确，获得实际皮带边缘位置；当当前帧图像皮带边缘位置的斜率与中心点的位置变化值不在上一帧图像的皮带边缘位置的斜率与中心点的位置变化范围内时，通过前两帧图像皮带边缘位置的偏移量对当前帧图像皮带边缘位置进行校正，获得实际皮带边缘位置。

5.根据权利要求4所述的基于机器视觉的工业矿料运输皮带少料异常监测方法，其特征在于，所述步骤6还包括：

步骤61，分别计算所述皮带表面矿料边缘位置数据的Gn值和所述皮带表面纹理特征量中的熵与逆差矩的Gn值；

Gn值的计算公式，如下所示：

其中，N表示所述皮带表面矿料边缘位置数据或所述皮带表面纹理特征量中的熵与逆差矩数据，

表示16组数据内所述皮带表面矿料边缘位置数据或所述皮带表面纹理特征量中的熵与逆差矩数据的平均值，S为16组数据内所述皮带表面矿料边缘位置数据或所述皮带表面纹理特征量中的熵与逆差矩数据的标准差，16组数据包括15组历史数据和一组新输入的皮带表面矿料边缘位置数据与皮带表面纹理特征量中的熵与逆差矩数据；

步骤62，分别判断所述皮带表面矿料边缘位置数据的Gn值和皮带表面纹理特征量中的熵与逆差矩的Gn值是否大于格拉布斯临界值表中对应临界值；

步骤63，当所述皮带表面矿料边缘位置数据的Gn值大于格拉布斯临界值表中对应临界值时，所述皮带表面矿料边缘位置数据为粗大误差，采用15组历史数据中的皮带表面矿料边缘位置数据的平均值替换所述皮带表面矿料边缘位置数据；当所述皮带表面矿料边缘位置数据的Gn值小于格拉布斯临界值表中对应临界值时，采用当前所述皮带表面矿料边缘位置数据；

步骤64，当所述皮带表面纹理特征量中的熵与逆差矩的Gn值大于格拉布斯临界值表中对应临界值时，所述皮带表面纹理特征量中的熵与逆差矩为粗大误差，采用15组历史数据中的皮带表面纹理特征量中的熵与逆差矩的平均值替换皮带表面纹理特征量中的熵与逆差矩；当皮带表面纹理特征量中的熵与逆差矩的Gn值小于格拉布斯临界值表中对应临界值时，采用当前皮带表面纹理特征量中的熵与逆差矩。

6.根据权利要求5所述的基于机器视觉的工业矿料运输皮带少料异常监测方法，其特征在于，所述步骤7具体包括：

步骤71，获取工业实际生产信息，提取工业实际生产信息中与工业矿料运输皮带少料异常有关的设备和工况关键变量；

步骤72，对提取的设备、提取的工况关键变量和所述步骤6输出的皮带表面矿料边缘位置数据与皮带表面纹理特征量中的熵与逆差矩进行正向标准化处理与归一化处理，获得多个正向标准化处理与归一化处理的指标；

步骤73，计算每个正向标准化处理与归一化处理的指标的变异系数ρ_i和权重值w_i；

每个正向标准化处理与归一化处理的指标的变异系数ρ_i的计算公式，如下所示：

其中，ρ_i表示第i个指标的变异系数，τ_i表示变异调节系数，范围为[0,2]，σ_i表示第i个评价指标的标准差，

表示第i个评价指标的平均值；

每个正向标准化处理与归一化处理的指标的权重值w_i的计算公式，如下所示：

其中，w_i表示第i个指标的权重，∑ρ_i为所有指标的变异系数的和。

7.根据权利要求6所述的基于机器视觉的工业矿料运输皮带少料异常监测方法，其特征在于，所述步骤7还包括：

步骤74，根据计算出的每个正向标准化处理与归一化处理的指标的权重值w_i，计算不同指标间的相邻夹角

不同指标间相邻夹角

的计算公式，如下所示：

步骤75，根据每个正向标准化处理与归一化处理的指标的权重值w_i对加权排序雷达图中各指标位置进行排序，将权重值最大的指标居于中间，将其他指标按权重值的大小递减顺序进行先左后右逐一双侧排序，并根据不同指标间相邻夹角

绘制加权排序雷达图；

步骤76，根据加权排序雷达图的面积与周长关系，计算工业矿料运输皮带少料异常综合判断指标Y；

工业矿料运输皮带少料异常综合判断指标Y的计算公式，如下所示：

其中，Z表示加权排序雷达图中的多边形区域面积。

Images