CN108416775A - 一种基于深度学习的矿石粒度检测方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的矿石粒度检测方法，包括：对矿石图像进行双边滤波得到滤波矿石图像，对滤波矿石图像进行旋转扩充变换，得到R张旋转扩充变换图像；将滤波矿石图像和R张旋转扩充变换图像输入YOLOv2模型，得到滤波矿石图像中每个矿石的预测区域和R张旋转扩充变换图像的矿石预测区域；对R张旋转扩充变换图像的矿石预测区域进行旋转变换，得到与滤波矿石图像方向一致的R张扩充图像的矿石预测区域，以滤波矿石图像中每个矿石的预测区域为中心在R张扩充图像中搜索与之对应的R个预测区域，对预测区域的长和宽求和并取平均值，得到每个矿石的粒度。本发明提高了矿石粒度检测的准确性和实时性。

Description

一种基于深度学习的矿石粒度检测方法

技术领域

本发明属于图像处理与模式识别技术领域，更具体地，涉及一种基于深度学习的矿石粒度检测方法。

背景技术

在有色金属冶炼中，矿石解离是一道十分重要的工序，就是对大块矿石进行破碎，将各种有用的矿石颗粒从矿石中解离出来。矿石解离过程一般需要经过数层破碎机，每层破碎机承担不同的作用。矿石的粒度信息是反应选矿过程中各层破碎机工作情况的重要指标，对调节每一层破碎机设备参数有重要参考作用，直接影响整个选矿过程的生产效率。国内行业对矿石粒度采用机械筛分的方法进行测量，即选取一定数量的破碎后的矿石作为测量样本，通过机械筛或振动筛等测量矿石粒度信息分布。但是这种方法存在着耗能耗时、安全系数低及无法实时监控破碎机工作状况一系列问题。近年来，国内外的研究机构均投入大量精力试图用计算机视觉技术对矿石粒度进行检测。应用最为广泛的是基于分水岭变换的分割算法，该算法主要是在阈值分割的结果上进行分水岭变换，将矿石图像分割成单个密闭矿石区域从而进行粒度测量。分水岭变换极易造成过分割和欠分割，凹点匹配法被提出用于解决过分割和欠分割问题，但是由于矿石堆叠的复杂性以及矿石本身形状的复杂性，凹点匹配法鲁棒性很低，容易造成二次的错分割。同时，在平面图像上进行基于阈值图像的分割，堆叠部分将被纳入其中一个矿石的一部分，这将会大大影响粒度的计算。更为严重的情况是，若小矿石全部落在大矿石上将无法被检测出，这也会造成粒度统计结果产生较大的偏差。基于机械筛分和传统分割算法的粒度检测方法越来越不适应工业生产需求，迫切需要一种自动、精准、快速检测矿石粒度的方法。

由此可见，现有技术存在机械筛分效率低、基于传统分割算法的检测方法准确率低、无法分割堆叠矿石的技术问题。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于深度学习的矿石粒度检测方法，由此解决现有技术存在机械筛分效率低、基于传统分割算法的检测方法准确率低、无法分割堆叠矿石的技术问题。

为实现上述目的，本发明提供了一种基于深度学习的矿石粒度检测方法，包括：

(1)采集矿石图像，对矿石图像进行双边滤波得到滤波矿石图像，对滤波矿石图像进行K次角度为α_i的旋转扩充变换，得到R张旋转扩充变换图像；

(2)将滤波矿石图像输入YOLOv2模型，得到滤波矿石图像中每个矿石的预测区域，将R张旋转扩充变换图像输入YOLOv2模型，得到R张旋转扩充变换图像的矿石预测区域；

(3)对R张旋转扩充变换图像的矿石预测区域进行角度为-α_i的旋转变换，得到与滤波矿石图像方向一致的R张扩充图像的矿石预测区域，以滤波矿石图像中每个矿石的预测区域为中心在R张扩充图像的矿石预测区域中利用搜索匹配算法搜索与之对应的R个预测区域，得到滤波矿石图像中每个矿石的R+1个预测区域；

(4)对每个矿石的R+1个预测区域的长和宽求和并取平均值，得到每个矿石的粒度，根据矿石图像的标定比例和每个矿石的粒度得到实际矿石粒度大小，统计矿石粒度分布。

进一步地，角度α_i为：

进一步地，步骤(1)中，α₀＝0，令R＝K，若α_i为90的倍数，令R＝R-1，并跳过此次旋转扩充变换。

进一步地，角度α_i不为90°的倍数。

进一步地，YOLOv2模型为训练好的YOLOv2模型，所述YOLOv2模型的训练方法为：

采集样本矿石图像，每张样本矿石图像中含有若干矿石，对样本矿石图像中矿石区域进行标注，通过旋转样本矿石图像、改变样本矿石图像的饱和度、改变样本矿石图像的曝光度以及色调，产生新的训练图像，利用新的训练图像和样本矿石图像训练YOLOv2卷积神经网络模型，得到训练好的YOLOv2模型。

进一步地，搜索匹配算法的具体实现方式为：

将滤波矿石图像中每个矿石的预测区域根据面积大小升序排列，从面积小的矿石的预测区域开始搜索匹配，依次在R张扩充图像中以滤波矿石图像中该矿石的预测区域的中心为起点，搜索与之对应的R个预测区域的中心，得到一个搜索集，计算搜索集中每个预测区域的中心与滤波矿石图像中该矿石的预测区域的中心的欧式距离，选取欧式距离最小的预测区域，判断它的面积和滤波矿石图像中该矿石的预测区域的面积差值是否在预设区间内，若在预设区间内，选取该区域为匹配区域，否则选取欧式距离第二小的预测区域，同样判断面积差值是否在预设区间，以此类推，直至找到匹配区域，若最终没找到匹配区域，则将欧式距离最小的预测区域作为匹配区域。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

(1)本发明通过对滤波矿石图像进行旋转扩充变换，作多次检测得到矿石预测区域，减少错误位置预测，并且提高了粒度计算的准确性；本发明利用YOLOv2模型提取矿石预测区域，准确率非常高，不仅能准确识别粘连的矿石，还能准确识别出落在大矿石上的小矿石，保证了矿石检测的准确性。同时YOLOv2模型借助GPU强大的并行计算能力，即便本发明中一张图片作了多次检测，其计算速度之快和业界使用传统图像分割方法相当，因此，时效性得到了充分保证。

(2)本发明在训练过程中，通过旋转图像，改变图像饱和度，曝光度以及色调，产生新的训练图像，从而达到扩充样本的目的，避免过拟合。本发明中旋转角度α_i不是90度的倍数，原因在于旋转扩充变换图像最终检测到的矿石区域的矩形框和滤波矿石图像所检测到的矿石区域的矩形框通过旋转-α_i将重合，造成重复检测。本发明中不同图像矿石区域搜索匹配采用从小区域开始进行匹配，并以欧式距离大小为准则，同时考虑面积区域大小差值是否在预设区间内，避免因为矿石堆叠而错误匹配。

附图说明

图1是本发明实施例提供的一种基于深度学习的矿石粒度检测方法的流程图；

图2是本发明实施例提供的YOLOv2模型的Darknet19网络结构图；

图3(a)是本发明实施例提供的没有粘连的矿石图像示意图；

图3(b)是本发明实施例提供的粘连的矿石图像示意图；

图3(c)是本发明实施例提供的粘连严重的矿石图像示意图；

图3(d)是本发明实施例提供的堆叠的矿石图像示意图；

图4是本发明实施例提供的聚类得到的anchor boxes尺度图；

图5是本发明实施例提供的旋转扩充变换原理图；

图6是本发明实施例提供的不同旋转图像同一矿石区域搜索匹配算法的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，一种基于深度学习的矿石粒度检测方法，包括：

(1)采集矿石图像，对矿石图像进行双边滤波得到滤波矿石图像，对滤波矿石图像进行K次角度为α_i的旋转扩充变换，得到R张旋转扩充变换图像；角度α_i为：其中α₀＝0，令R＝K，角度α_i不为90°的倍数，否则，令R＝R-1，跳过此次旋转扩充变换。

(2)将滤波矿石图像输入YOLOv2模型，得到滤波矿石图像中每个矿石的预测区域，将R张旋转扩充变换图像输入YOLOv2模型，得到R张旋转扩充变换图像的矿石预测区域；

(3)对R张旋转扩充变换图像的矿石预测区域进行角度为-α_i的旋转变换，得到与滤波矿石图像方向一致的R张扩充图像的矿石预测区域，以滤波矿石图像中每个矿石的预测区域为中心在R张扩充图像的矿石预测区域中利用搜索匹配算法搜索与之对应的R个预测区域，得到滤波矿石图像中每个矿石的R+1个预测区域；

(4)对每个矿石的R+1个预测区域的长和宽求和并取平均值，即求得矿石的费雷特直径，得到每个矿石的粒度，根据矿石图像的标定比例和每个矿石的粒度得到实际矿石粒度大小，统计矿石粒度分布。

矿石粒度检测方法的具体实现方式包括：

(1)预先训练YOLOv2模型，如图2所示为YOLOv2模型的网络结构Darknet19。该网络包含19个卷积层(Convolution Layer)、5个最大值池化层(Max Pool Layer)，同时借鉴了网中网(Network In Network)的思想，网络使用了全局平均池化(Global AveragePooling)作预测，把1*1的卷积核置于3*3的卷积核之间，用来压缩特征。绝大多数网络使用VGG-16作为特征提取网络来提取特征，VGG-16是一个强大而准确的分类网络，但是其结构过于复杂，224*224的图片进行一次前向传播，其卷积层就需要多达306.0亿次浮点数运算。Darknet19借鉴了VGG-16，网络中使用了较多的3*3卷积核，并在每一次池化操作后把通道数翻倍，同时，在每一次卷积池化操作后，使用批正则化(Batch Normalization)，达到稳定模型训练，加速收敛的目的。Darknet19处理一张图片(由于处理之前进行了缩放，处理速度和图片大小无关)需要进行55.8亿次浮点数运算，比VGG-16快5倍之多，在Imagenet数据集进行测试，Top-5准确率为91.2％，比VGG-16的90％还提高了1.2个百分点，因此本次发明实例使用该结构。所述YOLOv2模型的训练方法为：

采集样本矿石图像，每张样本矿石图像中含有若干矿石，矿石位置随机摆放，粘连和堆叠程度不一，图3(a)是本发明实施例提供的没有粘连的矿石图像示意图，图3(b)是本发明实施例提供的粘连的矿石图像示意图，图3(c)是本发明实施例提供的粘连严重的矿石图像示意图，图3(d)是本发明实施例提供的堆叠的矿石图像示意图；总共样本1200张矿石图像，900张作为训练集L1，200张作为验证集L2，100张作为测试集L3。由于YOLOv2模型训练过程中会对图像进行缩放，最大尺寸为608×608，为了保证矿石特征被充分学习，图像初始尺寸大小统一处理为608×608。之后对图像进行标注，得到xml格式的标注文件，样本矿石图像的数据集制作完成；在YOLOv2模型训练过程中，anchor boxes尺度是根据先验知识选取的，采用k-means方法对训练集L1的bounding boxes进行聚类，权衡模型复杂度和准确率后，本次发明实例中，选取k＝5，聚类得到anchor box尺度为[1.28752907 1.94055233]，[1.81746128 3.15588131]，[2.31996313 4.44013274]，[2.71074405 3.2815625]，[3.35376449 5.07346196]，形状如图4所示；设定angle＝360，令图像在每次迭代中随机旋转0～360°；设置saturation＝1.5，令图像饱和度在每次迭代中随机变化1～1.5倍；设置exposure＝1.5，令图像曝光度在每次迭代中随机变化1～1.5倍；设置hue＝0.1，令图像色调变化范围在-0.1～0.1。这样一来，样本将大大扩充，避免过拟合。最后，设置batch和学习率等相关参数；为了提高训练效率，同时为了避免过拟合或训练发散，训练过程中对loss、IOU及recall等参数进行监控。每隔1/100*max_batches，查看IOU及recall大小，若IOU和recall十分接近1(＞＝0.9)，且loss在很小范围内(±0.1*loss)波动，可视为loss收敛，应及时停止训练；若IOU和recall较小(＜0.9)，而loss变化范围小(±0.1*loss)，这时应减小学习率，继续训练。同时，每隔1/10*max_batches，暂时停止训练，在L2上进行验证，当准确率较之前开始减小时，也应该停止训练，否则继续训练。得到训练好的YOLOv2模型。

(2)采集矿石图像P，对矿石图像进行双边滤波，本次发明实例中选取双边滤波参数为d＝3，sigmaColor＝6，sigmaSpace＝3，得到滤波后的矿石图像P0。进行双边滤波原因在于：工业现场环境非常恶劣，通常粉尘严重，拍摄图像含有不同程度的噪音，必须对现场拍摄的图像进行滤波以消除随机的噪声。双边滤波是一种边缘保留滤波技术，具有良好的滤波效果，同时能较好保留矿石边缘。本次发明实例中，为了最大程度保留矿石图像纹理细节，采用了较小的高斯核。

(3)对矿石图像P0作K次旋转扩充变换，本次发明实例中，令K＝9，因此R＝9，约定正角表示顺时针旋转，则旋转角度α_i(i＝1，2，...，7，8)分别为36°，72°，108°，144°，180°，216°，252°，288°，324°。注意到180°是90的倍数，因此抛弃该次旋转扩充变换，R＝R-1，则R＝8。旋转扩充变换以图像中心为圆点，保持原图像大小不变作旋转，旋转后图像大小会不同程度变大，其余部分用0填充。得到旋转扩充变换后的图像P1、P2，...，P7、P8。旋转扩充变换原理示意图如图5所示。进行旋转扩充变换并在之后进行R+1次检测原因在于：YOLOv2检测到的矿石区域是用一个矩形框表示的，矩形方向和图像方向一致并保持不变，在网络中对矩形作了回归使其尽可能贴近物体边缘。虽然可以用矩形的长和宽来表示矿石大小，但在工业上，更多的是采用费雷特直径来表示矿石粒度。费雷特直径定义为：沿一定方向测得的颗粒投影轮廓两边界平行线间的距离，对于一个颗粒，因所取方向而异，可按若干方向的平均值计算。因此，一次检测得到的矩形的长和宽都可以当作某个方向的费雷特直径。为了得到更多的费雷特直径，我们将滤波矿石图像作角度为α_i的旋转扩充变换，然后将R+1张图像输入网络进行检测，得到2*(R+1)个方向的费雷特直径，最后进行求和取平均，得到矿石的粒度。

(4)将P0、P1、...、P7、P8共9张图依次输入YOLOv2网络，每张图得到对应的矿石区域预测输出，每个矿石区域输出格式为(x，y，w，h，p)，其中，(x，y)为预测框的坐标，该坐标是以图像左上角为原点的；(w，h)是预测框的宽和高；p是该区域是矿石的可信度。

(5)对旋转变换后的图像矿石预测区域作角度为-α_i的旋转变换。旋转扩充变换后图像大小发生了变化，新图像宽和高记为w_i，h_i，滤波矿石图像宽和高记为w₀，h₀。将预测的矿石区域旋转变换为与原图像方向一致的位置。令(x_i，y_i)表示旋转扩充变换图像预测矿石区域坐标，(x₀，y₀)表示旋转-α_i后的矿石区域预测坐标，其中，i＝1，2，3，...，8，为了便于计算，将(x_i，y_i)转换为以图像中心为原点的坐标(x′_i，y′_i)，即：对(x′_i，y′_i)以坐标原点为中心作-α_i角度的旋转变换，变换后的坐标记为(x′₀，y′₀)，则 最后将(x′₀，y′₀)变换为以图像左上角为坐标原点的坐标，即：因此坐标变换公式为：

(6)对于每个矿石，每次检测都能输出一个预测位置和区域。在(5)作了坐标变换的基础上，对滤波矿石图像检测结果和其余8张旋转扩充变换图像预测输出结果依次做搜索匹配。假定滤波矿石图像检测出某块矿石位置及大小信息为(x_m，y_m，w_m，h_m)，检出矿石个数为M，m＝1，2，...，M。搜索匹配流程如图6所示，具体搜索匹配算法为：

(6-1)计算P0中所有矿石预测区域的面积，按照面积大小升序排列，编号为S1，S2，...，SM，从最小区域开始作搜索匹配，令m＝0，i＝0；

(6-2)m＝m+1，若m＞M，匹配结束，否则跳到(6-3)；

(6-3)i＝i+1，若i＞8，跳到(6-2)；

(6-4)以(x_m，y_m)为起点，对Pi预测输出结果在范围内搜索矿石区域，得到一个搜索结果集合D，假设共N个矿石区域，区域表示为(x′_j，y′_j，w′_j，h′_j)，j＝1，2，...，N。若N＝1，则该区域作为P0预测区域的对应矿石区域，并将该区域标记为已处理，后续搜索中将不再纳入其他搜索集中，匹配结束，跳到(6-3)，否则，跳到(6-5)；

(6-5)计算D中区域与(x_m，y_m)的欧式距离，然后按照距离大小升序排列，令j＝0；

(6-6)j＝j+1，若j＞N，令(x′₁，y′₁，w′₁，h′₁)作为匹配区域，跳到(6-3)；

(6-7)若w＇_j*h′_j≥ρ*w_m*h_m，本次实例取ρ＝0.5，则该区域作为匹配区域，跳到(6-3)，否则跳到(6-6)；

由于矿石堆叠严重，在大矿石上可能有多个小矿石，其中心有可能和大矿石很接近，因此，若仅根据预测区域中心距离进行匹配可能造成匹配错误。本发明中采用从小矿石区域开始匹配，并对面积差作了限定范围，从而减小匹配错误的可能。

(7)对每个矿石的9个预测区域的长和宽共计18个数值求和并取平均值，即求得矿石的费雷特直径，将其作为矿石粒度；

(8)根据矿石图像的标定比例求得实际矿石粒度大小，统计矿石粒度分布。

在实践应用中，本发明提供的方法能够快速、准确地检测矿石区域。相较于传统分割方法，用本方法能够检测粘连严重的矿石，同时能检测到落在大矿石上的矿石，矿石粒度检测准确性大大提高。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于深度学习的矿石粒度检测方法，其特征在于，包括：

(1)采集矿石图像，对矿石图像进行双边滤波得到滤波矿石图像，对滤波矿石图像进行K次角度为α_i的旋转扩充变换，得到R张旋转扩充变换图像；

(2)将滤波矿石图像输入YOLOv2模型，得到滤波矿石图像中每个矿石的预测区域，将R张旋转扩充变换图像输入YOLOv2模型，得到R张旋转扩充变换图像的矿石预测区域；

(3)对R张旋转扩充变换图像的矿石预测区域进行角度为-α_i的旋转变换，得到与滤波矿石图像方向一致的R张扩充图像的矿石预测区域，以滤波矿石图像中每个矿石的预测区域为中心在R张扩充图像的矿石预测区域中利用搜索匹配算法搜索与之对应的R个预测区域，得到滤波矿石图像中每个矿石的R+1个预测区域；

(4)对每个矿石的R+1个预测区域的长和宽求和并取平均值，得到每个矿石的粒度，根据矿石图像的标定比例和每个矿石的粒度得到实际矿石粒度大小，统计矿石粒度分布。

2.如权利要求1所述的一种基于深度学习的矿石粒度检测方法，其特征在于，所述角度α_i为：α₀＝0。

3.如权利要求1或2所述的一种基于深度学习的矿石粒度检测方法，其特征在于，所述角度α_i不为90°的倍数。

4.如权利要求1或2所述的一种基于深度学习的矿石粒度检测方法，其特征在于，所述YOLOv2模型为训练好的YOLOv2模型，所述YOLOv2模型的训练方法为：

采集样本矿石图像，每张样本矿石图像中含有若干矿石，对样本矿石图像中矿石区域进行标注，通过旋转样本矿石图像、改变样本矿石图像的饱和度、改变样本矿石图像的曝光度以及色调，产生新的训练图像，利用新的训练图像和样本矿石图像训练YOLOv2卷积神经网络模型，得到训练好的YOLOv2模型。

5.如权利要求1或2所述的一种基于深度学习的矿石粒度检测方法，其特征在于，所述搜索匹配算法的具体实现方式为：

将滤波矿石图像中每个矿石的预测区域根据面积大小升序排列，从面积小的矿石的预测区域开始搜索匹配，依次在R张扩充图像中以滤波矿石图像中该矿石的预测区域的中心为起点，搜索与之对应的R个预测区域的中心，得到一个搜索集，计算搜索集中每个预测区域的中心与滤波矿石图像中该矿石的预测区域的中心的欧式距离，选取欧式距离最小的预测区域，判断它的面积和滤波矿石图像中该矿石的预测区域的面积差值是否在预设区间内，若在预设区间内，选取该区域为匹配区域，否则选取欧式距离第二小的预测区域，同样判断面积差值是否在预设区间，以此类推，直至找到匹配区域，若最终没找到匹配区域，则将欧式距离最小的预测区域作为匹配区域。