CN111161292A - 一种矿石尺度测量方法及应用系统 - Google Patents

Abstract

一种矿石尺度测量方法及应用系统，其中包括：通过摄像头获取皮带上矿石图像；预处理矿石图像为标记图像，标记出尺寸大于阈值的矿石；将标记后的图像分为训练样本和测试样本；使用训练样本训练预设的实例分割网络并获得权重；将测试样本输入至神经网络获得分割结果，并将分割后的图像通过最小覆盖圆算法获得矿石的最长尺寸；根据矿石的尺寸，找到异常大小的矿石并发出警告。本发明解决了矿石块筛选中存在的智能化水平低依赖人工操作，效率低的问题。

Description

一种矿石尺度测量方法及应用系统

技术领域

本发明涉及一种图像检测方法，一种矿石尺度测量方法及应用系统。

背景技术

有色金属是当代能源、信息技术和现代材料的重要组成部分，是现代社会经济和高技术发展的重要基础。目前，我国有色金属矿山的采选规模较小，自动化、信息化程度较低，导致矿物资源利用率不高、生产过程的耗能严重，造成了较大的矿产资源浪费，也使得矿业企业缺乏足够的国际竞争力。由矿山开采出来的矿石，除少数富含有用矿外，绝大多数是含有大量脉石的贫矿。对冶金工业来说，这些贫矿由于有用成分含量低，矿物组成复杂，若直接用来冶炼提取金属，则能耗大，生产成本高。因此，在矿石冶炼之前，必须先经过分选或富集，以抛弃大部分的脉石，使有用矿物的含量达到冶炼要求。选矿工艺中最主要的工序是解离，就是将大块矿石进行破碎和磨细，将各种有用的矿物颗粒从矿石中解离出来。国内行业对矿石异常尺寸检测仍采用大量人工方法，即工人在传送带边观察，一旦出现尺寸较大的矿石块便停止机器运转。但是，这种操作方法存在着一系列问题，比如耗能耗时且效率较低，需要大量人工操作，劳动强度大工作环境恶劣安全系数低，误判可能性较大，无法监控破碎机的工作状况等。近年来计算机应用、图像处理及智能控制等方法快速发展，机器视觉技术己经广泛应用于工业检测方面。近年来，世界上一些国家如美国、加拿大、南非、中国等的研究机构均投入大量的精力试图用计算机视觉技术对矿石尺寸进行检测。其中应用最广的是采用矿石图像分割算法，通过不同的图像分割算法获得矿石的区域大小。但是矿石分割算法存在很多问题，包大部分方法都只针对矿石堆积和重叠不严重，矿石和背景对比度大成像质量较好的矿石图像进行分割处理。对于低信噪比、低对比度以及矿石堆积严重的矿石图像己有的分割方法均无法有效将其正确分割。选矿现场处于高粉尘、高污染等复杂的环境下，图像的信噪比较低，采用传统的图像处理算法这些存在的噪声会直接影响矿石分割的结果。

综上所述，传统的矿石尺寸检测中存在大量人工操作、基于传统分割算法的检测方法存在准确率低、无法分割堆叠矿石的技术问题。

发明内容

对于上述现有技术存在的问题，提出了矿石尺度测量方法，目的为了解决传统矿石尺度测量中存在的效率低，准确率低，无法分割堆叠矿石的技术问题。包括：获取矿石块图像；预处理所述的矿石块图像为标记图像，将所述处理标记图像分为训练样本和测试样本；对异常的标注图像数据进行剔除；使用处理后的训练样本训练预设的二值化MS R-CNN实例分割网络；输入所述的测试样本至所述的实例分割网络，获得实例分割结果，并计算出矿石尺寸大小。

本发明解决技术问题采用如下技术方案：

一种矿石尺度测量方法，用于对矿业生产中矿石进行智能化筛选，具体步骤如下：

a、样本准备阶段：获取矿石块图像，预处理所述的矿石块图像为标记图像，将所述处理标记图像按9∶1分为训练样本和测试样本，对异常的标注图像数据进行剔除后得到训练用的数据集；

b、网络创建阶段：创建二值化MS R-CNN网络；

c、网络训练阶段：将所述二值化MS R-CNN网络在划分好的训练集X上训练；

d、网络运行阶段：通过所述的训练好的二值化MS R-CNN网络对测试样本进行检测获得分割后的矿石边缘轮廓，根据最小覆盖圆算法计算出矿石的尺寸大小。

作为上述方案的进一步描述：

所述步骤a中获取矿石块图像，包括以下步骤：

(1)、在传送带不同角度和高度安装摄像头采集矿石块传输视频流数据；

(2)、按照一定的时间间隔提取视频中的关键帧并保存为图像数据；

所述步骤a中预处理：

(i)、采用标注软件对所述图像数据进行标注，获得并保存标注后的标记数据集；

(ii)、从标注后的数据集中按照9：1分成训练样本和测试样本；

(iii)、对训练样本进行图像增强，所述图像增强包括：对图像进行随机角度旋转、

仿射变换、翻转和噪声处理。

作为上述方案的进一步描述：

所述步骤a中对异常数据剔除，包括以下步骤：

(A)、设置标注框面积阈值，去除面积小于阈值的标注数据，其余标注框面积大于阈值；

(B)、剔除明显错误的数据，根据标注框每个顶点的位置坐标，剔除坐标位置颠倒的顶点所对应的标注框；

作为上述方案的进一步描述：

所述步骤b中创建实例分割网络，包括以下步骤：

(I)选择MS R-CNN实例分割网络框架，采用以ResNet-50为基础的RPN网络作为Backbone network，采用传统的R-CNN头获取分类结果和预测框坐标，采用Mask R-CNN的FCN掩模头和MS R-CNN框架独创的MaskIOU头来获得分割结果。

(II)ResNet-50为基础的RPN网络由3个conv2_x(3个卷积层)，4个conv3_x(3个卷积层)，6个conv4_x(3个卷积层)，3个conv5_x(3个卷积层)组成，第一层是一个7×7的卷积，最后一层是一个全连接层。其中四种不同大小残差块，分别为conv2_x(卷积核1×1，数量64；卷积核3×3，数量64；卷积核1×1，数量256)，conv3_x(卷积核1×1，数量128；卷积核3×3，数量128；卷积核1×1，数量512)，conv4_x(卷积核1×1，数量256；卷积核3×3，数量256；卷积核1×1，数量1024)，conv5_x(卷积核1×1，数量512；卷积核3×3，数量512；卷积核1×1，数量2048)；

(III)R-CNN头由7×7×256的卷积层和两个1024的全连接层构成；

(IV)FCN掩模头由5个14×14×256的卷积层，1个28×28×256的卷积层和1个28×28×80的卷积层构成

(V)MaskIOU头由4个14×14×256的卷积层，1个7×7×256的卷积层，2个1024的全连接层和最后输出c个分割结果的全连接层构成。

作为上述方案的进一步描述：

所述步骤c中训练预设的实例分割网络，包括以下步骤：

(D1)通过kmeans算法聚类获得9个不同大小的锚框，并根据分类种类数量修改R-CNN网络最后一层输出；

(D2)设置网络训练策略，包括：训练batch大小，训练epoch数量，初始化学习率，权重衰减率，优化方法，loss函数；

(D3)调整训练样本图像大小与网络输入大小相同，通过1×1和3×3的卷积核的交替使用的卷积层堆叠结构，其中1×1的卷积核用于特征压缩，根据向前传播计算公式，计算图片对应的网络输出结果，采用Soft-NMS(非极大值抑制算法)用于进行目标检测评分ResNet-50网络由残差块结构组成，其传递函数公式为：

y＝F(x，{W_i})+x

F＝W₂*σ*(W₁x)

其中x为输入张量，F为线性变换和非线性变换，σ为激活函数，W为权重；

根据如下公式调整所述神经网络的学习率LR：

其中，iter为迭代次数，max_iter为最大迭代次数，power为更新梯度；

由上述网络输出结果，计算分类得分，标注框的坐标和大小以及实例分割的边缘框，使用如下损失函数计算网络结果与标注真实值之间的差异：

L＝L_cls+L_box+L_mask

L_mask＝L_cls*S_iou

损失函数由三项构成：

第一项是置信(confidence)的loss，也即分类损失；

第二项是边界框损失，也即回归损失；

第三项是掩模损失，也即分割结果与ground truth的iou分数；

其中p_i为锚点框预测为目标的概率；gt标签

t_i＝{t_x，t_y，t_w，t_h}是一个向量，表示锚点框预测的偏移量；

是和t_i维度一样的向量，表示锚点框相对于gt实际的偏移量；R是smooth-L1函数，

其中σ＝3、

根据反向传播公式，计算权重和偏置项的梯度并更新权重；

其中，L为损失函数，y为网络输出值，

为真实值，W为网络权重，b为偏置项；

作为上述方案的进一步描述：

所述步骤c中二值化改造，包括以下步骤：

(T1)在正向传播过程中，对MS R-CNN中的权值矩阵X中的每个元素进行二值化得到χ^α，并保留原本的χ，即：

其中：χ为原权值矩阵X中的权值；χw表示二值化近似后得到矩阵X^α中的权值；

c_f，w_f，h_f为卷积核的数量、宽度和高度；其中

(T2)在每个二值化卷积层之前增加一个二值化激活层得到节点值P^b，替代原本的Relu激活层，即：

其中，

为二值化网络的第i层的输入值；L(P_(i-1))为第i层二值化激活层得到的值，

c，w，h分别为输入图像的通道数、宽度和高度；

(T3)最后将得到的P^b与权值χ^α在二值化卷积层进行卷积操作，即：

其中，L^b(P^b)为二值化的网络层函数；

为没有任何乘法的卷积操作；λ为缩放比例。

作为上述方案的进一步描述：

所述步骤c中估计二值化权重，包括：

在不失一般性的情况下，假设W，

是

中

的向量，其中，n＝c×w×h，通过下式优化：

得到

的最佳值，由此推出

为最优解，通过采用J的导数相对于α并将其设置为零后用sign(W)代替

可得：

式中：

得出比例因子α^*的最优值。

作为上述方案的进一步描述：

所述步骤d中运行训练好的实例分割网络，包括以下步骤：

(U1)、获取训练后的实例分割网络模型；

(U2)、将测试样本输入到所述网络，并计算出分类结果，标注框位置以及分割结果；

(U3)、根据最小覆盖圆算法，对分割后的结果进行计算，得出最小覆盖圆的直径即为该矿石的图例尺寸；

其中，最小覆盖圆算法：

①、按顺序把点逐一加入，每加入一个点后进入步骤②；

②、若当前i号点在当前的最小圆的外面，则点i一定在前i个点的最小覆盖圆边界上，进入步骤③，否则前i个点的最小覆盖圆与前i-1个点的最小覆盖圆是一样的，则不需要更新，返回步骤①；

③、此时已经确认点i一定在前i个点的最小覆盖圆的边界上，将当前圆的圆心设为第i个点，半径为0，然后重新将前i-1个点加入这个圆中，每加入一个点同时进入步骤④；

④、若当前j号点在当前的最小圆的外面，则说明点j也一定在前j个点的最小覆盖圆边界上，进入步骤⑤以进一步确定该圆，否则前j个点的最小覆盖圆与前i-1个点的最小覆盖圆一致，则不需要更新，返回步骤③；

⑤、确认点i，则j在前j个点的最小覆盖圆的边界上，将当前圆的圆心设为第i个点与第j的点连线的中点，半径为到这两个点的距离，再重新把前j-1个点加入这个圆中，每加入一个点则进入步骤⑥；

⑥、若当前k号点在当前的最小圆的外面，则点k也一定在前k个点的最小覆盖圆边界上，直接求出这三点共圆，否则前k个点的最小覆盖圆与前k-1个点的最小覆盖圆是一样的，则不需要更新；

(U4)、根据摄像头到皮带的安装垂直距离以及安装角度计算出矿石图例尺寸所对应的真实尺寸：

其中，f表示摄像头的焦距，h表示图像中矿石尺寸，H表示摄像头和皮带之间的距离，D表示矿石块实际尺寸；

(U5)、设置矿石尺寸报警阈值和误差阈值，将计算所得的矿石真实尺寸与阈值进行比较，若矿石尺寸大于报警阈值和误差阈值之和，说明矿石块的大小异常，反之大小正常。

作为上述方案的进一步描述：

还包括矿石尺度测量方法的应用系统，具体步骤如下

(P1)视频采集系统：通过摄像头采集皮带图像，并将图像通过消息队列传送到检测识别系统中；

(P2)检测识别系统：接收视频采集系统采集到的视频帧，经过训练后的实例分割网络，输出矿石块的尺寸，将尺寸与设置的报警阈值和误差阈值进行比较，如果矿石块尺寸大于报警阈值和误差阈值之和将产生异常，并通过消息队列告知业务系统；

(P3)业务系统：提供管理功能，所述业务系统负责与远程服务同步参数信息与日志信息，并负责在检测异常时通知生产线停止运转；

(P4)后台生产管理系统：运行于云服务器上的远程服务，负责收集管理所有的检测日志数据。

作为上述方案的进一步描述：

所述检测识别系统，包括：

(Q1)实例分割定位部分：将所述视频采集系统采集的图像送入二值化的MS R-CNN网络并输出网络分类，标注框位置和分割结果；

(Q2)矿石块尺寸测量部分：通过前面所述矿石图例尺寸，摄像头与皮带的垂直高度以及摄像头的焦距，根据式步骤(U4)计算出矿石块的真实大小；

(Q3)消息队列部分：如果所述的矿石块检测大小超过了设置的阈值，并引发异常，发生异常后需要通过消息队列告知业务系统，实现控制皮带停止；

(Q4)日志管理部分：系统会将检测结果和系统运行状态保存在本地日志中。

作为上述方案的进一步描述：

所述业务系统，包括：

提供可视化管理界面以及Web接口，具有设备管理和系统管理功能，其中，设备管理可以添加设备、列出设备、查看日志和导出日志；系统管理可以进行系统参数设置，查看系统操作日志。

作为上述方案的进一步描述：

所述后台生产管理系统，包括：

(R1)数据同步：系统根据数据类型不同采用不同方式的单向同步。其中检测参数需要从远程服务同步到工控机，而日志信息则从工控机同步到远程服务器；

(R2)数据库管理：存储所述业务系统的操作日志和工控机本地系统日志到云端。

如上所述，通过本发明所提供的一种矿石尺度测量方法及应用系统，通过采用标注的矿石图像样本对二值化MS R-CNN实例分割网络的训练，得到训练后的网络模型用于分类、定位和分割出矿石块，并通过最小覆盖圆算法计算出矿石块真实的尺寸大小，不需要采用手工提取复杂特征，检测效率高。本发明突破了传统矿石尺寸检测中大量人工观测和操作导致检测错误率高，提高了系统检测矿石块的准确率，并增强了针对恶劣条件下的检测能力，本发明提出的技术方案更加有利于复杂的工业的使用。

综上，本发明提供了一种矿石尺度测量方法及应用系统，解决了传统矿石尺度测量中存在的效率低，准确率低，无法分割堆叠矿石的技术问题。

附图说明

图1显示为本发明的矿石尺度测量方法步骤示意图；

图2显示为本发明的二值化MS R-CNN网络中骨干网络ResNet-50架构示意图；

图3显示为图1中步骤S1在一实施例中的具体流程图；

图4显示为图1中步骤S2在一实施例中的具体流程图；

图5显示为图1中步骤S3在一实施例中的具体流程图；

图6显示为图1中步骤S4在一实施例中的具体流程图；

图7显示为图1中步骤S5在一实施例中的具体流程图；

图8显示为本发明的一种基于深度学习的矿石尺度测量应用系统模块示意图；

图9显示为MS R-CNN整体网络构架示意图；

图10显示为图8中视频采集系统11在一实施例中的具体模块图；

图11显示为图8中检测识别系统12在一实施例中的具体模块图；

图12显示为检测识别系统多级功能列表；

图13显示为图8中业务系统13在一实施例中的具体模块图；

图14显示为业务系统多级功能列表；

图15显示为图8中后台生产管理系统14在一实施例中的具体模块图。

附图标记：11、视频采集系统；12、检测识别系统；13、业务系统；14、后台生产管理系统；111、视频获取模块；112、视频预处理模块；113、帧提取模块；114、消息队列模块；121、图像预处理模块；122、MS R-CNN网络模块；123、尺寸测量模块；124、消息队列模块；125、日志模块；131、桌面管理页面；132、移动管理页面；133、业务接口；141、数据同步模块；142、数据库存储模块；S1～S5为方法步骤；S11～S13为方法步骤；S21～S23为方法步骤；S31～S32为方法步骤；S51～S53为方法步骤。

具体实施方式

参照图1和图2，显示为本发明的矿石尺度测量方法步骤示意图和MS R-CNN中骨干网络ResNet-50架构示意图，本发明目的在于提供一种矿石尺度测量方法及应用系统，解决传统矿石块尺寸测量方法中存在的过度依赖人工操作导致智能化水平较低，效率不高，误检测率高等问题。传统的图像检测方法也存在准确率低、无法分割堆叠矿石的技术问题，一种基于深度学习的矿石尺度测量方法，包括：

S1、获取矿石块图像，按照一定时间间隔对视频进行取帧转换为图片；

S2、预处理所述的矿石块图像为标记图像，将所述处理标记图像分为训练样本和测试样本；

S3、数据清洗，对异常的标注图像数据进行剔除；

S4、使用处理后训练样本训练预设的二值化MS R-CNN实例分割网络；

S5、输入所述的测试样本至所述的实例分割网络，获得实例分割结果，对分割结果采用最小覆盖圆算法，得到的圆的直径即为矿石的图例尺寸，再通过比例换算得到实际尺寸。

参照图3，显示为图1中步骤S1在一实施例中的具体流程图，如图3所示，包括：

S11、在皮带上方垂直距离为h的位置安装摄像头，摄像头焦距为f，可以在多个角度安装摄像头以达到对矿石块多方位尺度的测量；

S12、设置摄像头参数，由于工业现场扬尘大，对摄像头采集的图像有很大的干扰，因此设置摄像头采用较高的分辨率以捕捉图像的更多特性；设置摄像头帧率，在皮带传输较快时采用较高的摄像头帧率可以使采集的图像更加清晰；根据工业现场的光线特性调整摄像头的饱和度，对比度等参数以达到对矿石的最佳拍摄。

S13、从视频帧中获取矿石块图像，设置固定的时间间隔，按照指定时间间隔抽取关键帧并转换为图像。矿石块图像为训练样本和测试样本的数据源。

参照图4，显示为图1中步骤S2在一实施例中的具体流程图，如图4所示，步骤S2包括：

S21、对图像进行初步筛选，去除过度模糊、过度遮挡、曝光过度、曝光不足等不合格图像，处理图片大小分辨率统一为1280*720的大小。

S22、对合格的图像进行标注，可选的标注工具有Labelme、LabelImg、yolo_mark等工具。标注时采用多边形标注，尽量使标注框和矿石块尺寸贴合，如果存在矿石块重叠的情况，标注未被遮挡的部分。标注后的标注数据保存为.xml格式并与原图像名相同。

S23、按照一定的比例将标注后的数据集拆分为训练集和测试集。

参照图5，显示为图1中步骤S3在一实施例中的具体流程图，如图5所示，步骤S3包括：

S31、由于检测方法用于检测尺寸较大的异常矿石块，因此可以删除较小的标注框。设置矿石块标注面积阈值，若标注的矿石块面积小于该阈值，删除该标记。多边形面积采用定点计算公式：

其中x₁，y₁…x_n，y_n为多边形顶点坐标。

S32、剔除明显错误的数据，根据标注框每个顶点的位置坐标，剔除坐标位置颠倒的顶点所对应的标注框。例如标注框左上角顶点坐标为(x₁，y₁)，标注框右下角顶点坐标为(x₂，y₂)，应满足x₁＜x₂，y₁＞y₂将不满足该规则的标注框剔除。

参照图6，显示为图1中步骤S4在一实施例中的具体流程图，如图6所示，步骤S4包括：

S41、选择神经网络骨干类型，并设置训练神经网络的超参数。可选的神经网络骨干类型有ResNet18、ResNet34、ResNet50、ResNet101、ResNet152，从VGG网络开始，神经网络的层数越来越深，深层次网络可以提取更多的特征，但由于梯度消失的问题，网络的训练效果并没有变好。ResNet引入了残差网络结构(residual network)，通过该结构可以有效的解决梯度消失问题，传统的VGG16网络深度为16层，Top-5错误率为7.3％，而ResNet152网络深度为151层，Top-5错误率只有3.57％，但是ResNet152却与VGG16网络计算量相同。ResNet网络结构由四种不同大小残差块组成，分别为conv2_x(卷积核1x1，数量64；卷积核3x3，数量64；卷积核1x1，数量256)，conv3_x(卷积核1x1，数量128；卷积核3x3，数量128；卷积核1x1，数量512)，conv4_x(卷积核1x1，数量256；卷积核3x3，数量256；卷积核1x1，数量1024)，conv5_x(卷积核1x1，数量512；卷积核3x3，数量512；卷积核1x1，数量2048)。设置训练神经网络的超参数，包括：优化方法(SGD、AdaGrad、RMSProp、Adam)，初始化学习率，权重衰减率等。

S42、根据如下公式调整神经网络的学习率LR：

其中，iter为迭代次数，max_iter为最大迭代次数，power为更新梯度。本次发明实例中，训练的批处理大小为batchsize为4，最大迭代次数设为例如60000次。动量momentum为0.9，设置初始学习率为0.001。在训练模型的时候采用poly策略。来对学习率进行调整。

S43、MS R-CNN网络在ResNet网络基础上添加了传统的R-CNN头获取分类结果和预测框坐标，采用Mask R-CNN的FCN掩模头计算分割结果和MS R-CNN框架独创的MaskIOU头计算分割结果与ground truth的IOU；R-CNN头由7×7×256的卷积层和两个1024的全连接层构成，FCN掩模头由5个14×14×256的卷积层，1个28×28×256的卷积层和1个28×28×80的卷积层构成，MaskIOU头由4个14×14×256的卷积层，1个7×7×256的卷积层，2个1024的全连接层和最后输出c个分割结果的全连接层构成。

S44、选择合适的锚(anchor)大小，由于矿石块有不同的大小和尺寸，因此采用9种不同比例大小的锚，其中比例有{1∶2，1∶1，2∶1}三种，大小有{20，21/3，22/3}三种大小。锚的实际大小是根据训练集中的标注框的边长大小通过Kmeans算法聚类得到，聚类后的锚可以覆盖输入图像32到813像素的图像范围。

S45、网络权重初始化，除了网络的最后一层其余层的权重都采用无偏方式进行初始化，即偏置(bias)为0，方差(var)采用高斯分布(σ＝0.01)，网络最后一层的权重参数考虑样本不平衡分布的问题，权重初始化时采用公式

其中π为超参数，本次发明实例中π设置为0.01，改变模型初始化策略使模型不会偏向更多的负样本；为了实现网络的压缩，进一步减小计算量，采用二值化的方法对网络的输入值与权重进行调整，在正向传播过程中，对MS R-CNN中的权值矩阵X中的每个元素按照下式进行二值化得到χ^α，并保留原本的χ，即：

式中：χ为原权值矩阵X中的权值；χ^α表示二值化近似后得到矩阵X^α中的权值；

c_f，w_f，h_f为卷积核的数量、宽度和高度；其中

在每个二值化卷积层之前增加一个二值化激活层得到节点值P^b，替代原本的Relu激活层，如下式所示，即：

式中：

为二值化网络的第i层的输入值；L(P_(i-1))为第i层二值化激活层得到的值，其由

c，w，h分别为输入图像的通道数、宽度和高度；最后将得到的P^b与权值χw在二值化卷积层进行卷积操作，如下式所示，即：

式中L^b(P^b)为二值化的网络层函数；

为没有任何乘法的卷积操作；λ为缩放比例。

估计二值化权重，包括：

在不失一般性的情况下，我们假设W，

是

中

的向量，其中n＝c×w×h。为了找到

的最佳估计，我们解决了以下优化：

推到可得最优解是

为了找到比例因子αw的最优值，我们采用J的导数相对于α并将其设置为零后用sign(W)代替

可得：

式中：

因此，通过取权值的符号函数值可以简单地实现二元权重卷积核的最佳估计。最佳比例因子是绝对权重值的平均值。

S46、使用如下损失函数计算网络结果与标注真实值之间的差异：

L＝L_cls+L_box+L_mask

L_mask＝L_cls*S_iou

损失函数由三项构成：

第一项是置信(confidence)的loss，也即分类损失；

第二项是边界框损失，也即回归损失；

第三项是掩模损失，也即分割结果与ground truth的iou分数；

其中p_i为锚点框预测为目标的概率；gt标签

t_i＝{t_x，t_y，t_w，t_h}是一个向量，表示锚点框预测的偏移量；

是和t_i维度一样的向量，表示锚点框相对于gt实际的偏移量；R是smooth-L1函数，

其中σ＝3、

S47、判断损失是否大于预设期望值，期望值可在适用的期望值区间内选取，根据前述公式计算网络的输出值与目标值之间的损失，并与实际样本标签进行比较；

S48、若是，则使用神经网络计算损失梯度，当损失大于期望值时，将损失传回网络中，依次求得全卷积层，ResNet网络权重的损失梯度。

S49、若否，则固定神经网络参数，结束训练，当误差等于或小于期望值时，固定深度卷积神经网络参数，结束训练；

参照图7，显示为图1中步骤S5在一实施例中的具体流程图，如图7所示，步骤S5包括：

S51、获取当前的神经网络，该神经网络为当前经过参数调优和预训练的深度卷积神经网络。调取测试样本并调整样本图像大小为网络输入大小，将测试样本数据喂入已经训练好的网络参数的二值化MS R-CNN实例分割网络中。

S52、获取网络的输出结果，分别为：物体类别标签、标注框左上角坐标(x1、y1)，标注框右上角坐标(x2、y2)以及实例分割的结果。

S53、对分割结果采用最小覆盖圆算法，输出为圆的直径，即为矿石的图例尺寸h。

S53、计算矿石块的实际大小：

其中f表示摄像头的焦距，h表示图像中矿石尺寸，H表示摄像头和皮带之间的距离，D表示矿石块实际尺寸。设置矿石尺寸报警阈值和误差阈值，如果出现矿石块检测大小大于设置报警阈值和误差阈值之和，发出异常报警。

参照图8和图9，显示为本发明的一种基于深度学习的矿石尺度测量应用系统模块示意图和MS R-CNN整体网络构架示意图，如7所示，一种基于深度学习的矿石尺度测量应用系统，包括：视频采集系统11，检测识别系统12，业务系统13和后台生产管理系统14；视频采集系统11通过摄像头采集皮带图像，并将图像通过消息队列传送到检测识别系统中；检测识别系统12通过接收视频采集系统采集到的视频帧，经过训练后的二值化MS R-CNN实例分割网络，输出矿石块的尺寸，并将异常尺寸大小的矿石块通过消息队列告知业务系统，检测识别系统12与视频采集系统11连接；业务系统13提供了操作员操作接口，实时状态监控和日志管理等功能，业务系统13与检测识别系统12连接；后台生产管理系统14用于存储系统日志，提供数据同步功能，后台生产管理系统14与业务系统13连接。

参照图10，显示为图8中视频采集系统11在一实施例中的具体模块图，如图10所示，视频采集系统11，包括：视频获取模块111、视频预处理模块112、帧提取模块113、消息队列模块114；视频获取模块111，使用工业摄像机采集矿石传输视频流，并控制摄像头采集视频分辨率与帧率；视频预处理模块112，用于处理采集到的视频流，并根据工业现场环境调整摄像头对比度、饱和度、亮度等参数使采集的视频流更加清晰，有利于增强系统的鲁棒性以及各种工业环境下的检测能力，视频预处理模块112与视频获取模块111连接；帧提取模块113，用于从视频预处理模块112处理后的视频流中提取关键帧并转化为图像，从而获得大量矿石块图片数据集，其中关键帧的提取采用固定时间间隔取帧算法，帧提取模块113与视频预处理模块112连接；消息队列模块114，将提取的关键帧图片打包后存入消息队列，通过消息队列将图片传输到业务系统，消息队列模块114与帧提取模块113连接。

参照图11，显示为图8中检测识别系统12在一实施例中的具体模块图，图12显示为检测识别系统多级功能列表，如图11所示，检测识别系统12包括：图像预处理模块121、MSR-CNN网络模块122、尺寸测量模块123、消息队列模块124、日志模块125；图像预处理模块121，将视频采集系统11传输的图像通过插值法和填零操作调整尺寸为MS R-CNN网络的输入尺寸大小；MS R-CNN网络模块122采用经过良好训练的MS R-CNN网络模型，输入预处理后的图像，输出图像中矿石块的位置和分类，MS R-CNN网络采用ResNet网络作为骨干网络用于提取图像特征，ResNet网络结构由四种不同大小残差块组成，分别为conv2_x(卷积核1x1，数量64；卷积核3x3，数量64；卷积核1x1，数量256)，conv3_x(卷积核1x1，数量128；卷积核3x3，数量128；卷积核1x1，数量512)，conv4_x(卷积核1x1，数量256；卷积核3x3，数量256；卷积核1x1，数量1024)，conv5_x(卷积核1x1，数量512；卷积核3x3，数量512；卷积核1x1，数量2048)，MS R-CNN网络模块122与图像预处理模块121连接；尺寸测量模块123，从MS R-CNN网络模块122输出实例分割结果，然后计算矿石的实际大小，根据公式：

其中f表示摄像头的焦距，h表示图像中矿石尺寸，H表示摄像头和皮带之间的距离，D表示矿石块实际尺寸。尺寸测量模块123与MS R-CNN网络模块122连接；消息队列模块124，将矿石的实际尺寸与设定阈值进行比较，如果矿石的实际尺寸比阈值大，那么发出异常警告，消息队列会将检测结果信息和异常结果传送到业务系统中，消息队列模块124与尺寸测量模块123连接；日志模块125，由于皮带速度极快，因此如果每次检测都请求服务器会导致非常高的时延，无法确保实际环境中的高实时性，为了提高实际环境中的速度并确保性能稳定，检测识别和报警信息记录在设备本地，所有信息都直接记录在工控机系统本地，由日志模块管理。

参照图13，显示为图8中业务系统13在一实施例中的具体模块图，图14显示为业务系统多级功能列表，如图13所示，业务系统13，包括：桌面管理页面131、移动管理页面132、业务接口133；桌面管理页面131将系统运行状态实时显示，随时通知操作员存在异常状况，操作员可以在管理页面修改系统参数，查看系统运行日志以及系统操作日志；移动管理页面132，为了方便监控系统的运行状态，设计了一个移动管理页面，操作员可以在远端监控设备运行状态，在设备出现异常时可以及时停止设备运行；业务接口133，业务接口包括参数设置和日志管理两部分，参数接口向上提供管理页面参数查看和修改的接口，校验参数准确性，向下与检测识别系统连接，将修改后的参数传输到设备以控制设备的正常运转，日志管理负责将操作员的操作记录上传到云端并且获取工控机的日志信息上传到云端，日志管理还提供查阅日志接口，业务接口133与移动管理页面132连接。

参照图15，显示为图8中后台生产管理系统14在一实施例中的具体模块图，如图15所示，后台生产管理系统14，包括：数据同步模块141、数据库存储模块142；数据同步模块141，为了提高实际环境中的速度并确保性能稳定，检测识别和报警信息记录在工控机系统本地，这就涉及到工控机系统和远程服务之间的数据同步，系统根据数据类型不同采用不同方式的单向同步，其中检测参数需要从远程服务同步到工控机，而日志信息则从工控机同步到远程服务器；数据库存储模块142，日志文件和操作记录都由数据库存储模块142保存在SQL服务器中，并提供对上查阅修改的接口，数据库存储模块142与数据同步模块141相互连接。

Claims (10)

1.一种矿石尺度测量方法，用于对矿业生产中矿石进行智能化筛选，其特征在于，具体步骤如下：

a、样本准备阶段：获取矿石块图像，预处理所述的矿石块图像为标记图像，将所述处理标记图像按9∶1分为训练样本和测试样本，对异常的标注图像数据进行剔除后得到训练用的数据集；

b、网络创建阶段：创建二值化MS R-CNN网络；

c、网络训练阶段：将所述二值化MS R-CNN网络在划分好的训练集X上训练；

d、网络运行阶段：通过所述的训练好的二值化MS R-CNN网络对测试样本进行检测获得分割后的矿石边缘轮廓，根据最小覆盖圆算法计算出矿石的尺寸大小。

2.如权利要求1所述的一种矿石尺度测量方法，其特征在于：所述步骤a中获取矿石块图像，包括以下步骤：

(1)、在传送带不同角度和高度安装摄像头采集矿石块传输视频流数据；

(2)、按照一定的时间间隔提取视频中的关键帧并保存为图像数据。

3.如权利要求1所述的一种矿石尺度测量方法，其特征在于，所述步骤a中预处理：

(i)、采用标注软件对所述图像数据进行标注，获得并保存标注后的标记数据集；

(ii)、从标注后的数据集中按照9∶1分成训练样本和测试样本；

(iii)、对训练样本进行图像增强，所述图像增强包括：对图像进行随机角度旋转、仿射变换、翻转和噪声处理。

4.如权利要求1所述的一种矿石尺度测量方法，其特征在于，所述步骤a中对异常数据剔除，包括以下步骤：

(A)、设置标注框面积阈值，去除面积小于阈值的标注数据，其余标注框面积大于阈值；

(B)、剔除明显错误的数据，根据标注框每个顶点的位置坐标，剔除坐标位置颠倒的顶点所对应的标注框。

5.如权利要求1所述的一种矿石尺度测量方法，其特征在于，所述步骤b中创建实例分割网络，包括以下步骤：

(I)选择MS R-CNN实例分割网络框架，采用以ResNet-50为基础的RPN网络作为Backbone network，采用传统的R-CNN头获取分类结果和预测框坐标，采用Mask R-CNN的FCN掩模头和MS R-CNN框架独创的MaskIOU头来获得分割结果。

(II)ResNet-50为基础的RPN网络由3个conv2_x(3个卷积层)，4个conv3_x(3个卷积层)，6个conv4_x(3个卷积层)，3个conv5_x(3个卷积层)组成，第一层是一个7×7的卷积，最后一层是一个全连接层。其中四种不同大小残差块，分别为conv2_x(卷积核1×1，数量64；卷积核3×3，数量64；卷积核1×1，数量256)，conv3_x(卷积核1×1，数量128；卷积核3×3，数量128；卷积核1×1，数量512)，conv4_x(卷积核1×1，数量256；卷积核3×3，数量256；卷积核1×1，数量1024)，conv5_x(卷积核1×1，数量512；卷积核3×3，数量512；卷积核1×1，数量2048)；

(III)R-CNN头由7×7×256的卷积层和两个1024的全连接层构成；

(IV)FCN掩模头由5个14×14×256的卷积层，1个28×28×256的卷积层和1个28×28×80的卷积层构成

(V)MaskIOU头由4个14×14×256的卷积层，1个7×7×256的卷积层，2个1024的全连接层和最后输出c个分割结果的全连接层构成。

6.如权利要求1所述的一种矿石尺度测量方法，其特征在于，所述步骤c中训练预设的实例分割网络，包括以下步骤：

(D1)通过kmeans算法聚类获得9个不同大小的锚框，并根据分类种类数量修改RCNN网络最后一层输出；

(D2)设置网络训练策略，包括：训练batch大小，训练epoch数量，初始化学习率，权重衰减率，优化方法，loss函数；

(D3)调整训练样本图像大小与网络输入大小相同，通过1×1和3×3的卷积核的交替使用的卷积层堆叠结构，其中1×1的卷积核用于特征压缩，根据向前传播计算公式，计算图片对应的网络输出结果，采用Soft-NMS(非极大值抑制算法)用于进行目标检测评分ResNet50网络由残差块结构组成，其传递函数公式为：

y＝F(x，{W_i})+x (1)

F＝W₂*σ*(W₁x) (2)

其中x为输入张量，F为线性变换和非线性变换，σ为激活函数，W为权重；

根据如下公式调整所述神经网络的学习率LR：

其中，iter为迭代次数，max_iter为最大迭代次数，power为更新梯度；

由上述网络输出结果，计算分类得分，标注框的坐标和大小以及实例分割的边缘框，使用如下损失函数计算网络结果与标注真实值之间的差异：

L＝L_cls+L_box+L_mask (4)

L_mask＝L_cls*S_iou (7)

损失函数由三项构成：

第一项是置信(confidence)的loss，也即分类损失；

第二项是边界框损失，也即回归损失；

第三项是掩模损失，也即分割结果与ground truth的iou分数；

其中p_i为锚点框预测为目标的概率；gt标签

t_i＝{t_x，t_y，t_w，t_h}是一个向量，表示锚点框预测的偏移量；

是和t_i维度一样的向量，表示锚点框相对于gt实际的偏移量；R是smooth-L1函数，

其中σ＝3、

根据反向传播公式，计算权重和偏置项的梯度并更新权重；

其中，L为损失函数，y为网络输出值，

为真实值，W为网络权重，b为偏置项。

7.如权利要求1所述的一种矿石尺度测量方法，其特征在于，所述步骤c中二值化改造，包括以下步骤：

(T1)在正向传播过程中，对MS R-CNN中的权值矩阵X中的每个元素进行二值化得到χ^α，并保留原本的χ，即：

其中：χ为原权值矩阵X中的权值；χ^α表示二值化近似后得到矩阵Xα中的权值；

c_f，w_f，h_f为卷积核的数量、宽度和高度；其中

(T2)在每个二值化卷积层之前增加一个二值化激活层得到节点值P^b，替代原本的Relu激活层，即：

P_i ^b＝L(X_(i-1))＝sign(X_(i-1)) (10)

其中，P_i ^b为二值化网络的第i层的输入值；L(P_(i-1))为第i层二值化激活层得到的值，P_i ^b∈{+1，-1}^(c*w*h)，c，w，h分别为输入图像的通道数、宽度和高度；

(T3)最后将得到的P^b与权值χ^α在二值化卷积层进行卷积操作，即：

其中，L^b(P^b)为二值化的网络层函数；

为没有任何乘法的卷积操作；λ为缩放比例。

8.如权利要求1所述的一种矿石尺度测量方法，其特征在于，所述步骤c中估计二值化权重，包括：

在不失一般性的情况下，假设W，P_i ^b是W≈λP_i ^b中

的向量，其中，n＝c×w×h，通过下式优化：

J(P_i ^b，α)＝α²(P_i ^b)^TP_i ^b-2αW^TP_i ^b+W^TW (12)

得到W≈λP_i ^b的最佳值，由此推出(P_i ^b)^*＝sign(W)为最优解，通过采用J的导数相对于α并将其设置为零后用sign(W)代替(P_i ^b)可得：

式中：n＝(P_i ^b)^TP_i ^b，得出比例因子α^*的最优值。

9.如权利要求1所述的一种矿石尺度测量方法，其特征在于，所述步骤d中运行训练好的实例分割网络，包括以下步骤：

(U1)、获取训练后的实例分割网络模型；

(U2)、将测试样本输入到所述网络，并计算出分类结果，标注框位置以及分割结果；

(U3)、根据最小覆盖圆算法，对分割后的结果进行计算，得出最小覆盖圆的直径即为该矿石的图例尺寸；

其中，最小覆盖圆算法：

①、按顺序把点逐一加入，每加入一个点后进入步骤②；

②、若当前i号点在当前的最小圆的外面，则点i一定在前i个点的最小覆盖圆边界上，进入步骤③，否则前i个点的最小覆盖圆与前i-1个点的最小覆盖圆是一样的，则不需要更新，返回步骤①；

③、此时已经确认点i一定在前i个点的最小覆盖圆的边界上，将当前圆的圆心设为第i个点，半径为0，然后重新将前i-1个点加入这个圆中，每加入一个点同时进入步骤④；

④、若当前j号点在当前的最小圆的外面，则说明点j也一定在前j个点的最小覆盖圆边界上，进入步骤⑤以进一步确定该圆，否则前j个点的最小覆盖圆与前i-1个点的最小覆盖圆一致，则不需要更新，返回步骤③；

⑤、确认点i，则j在前j个点的最小覆盖圆的边界上，将当前圆的圆心设为第i个点与第j的点连线的中点，半径为到这两个点的距离，再重新把前j-1个点加入这个圆中，每加入一个点则进入步骤⑥；

⑥、若当前k号点在当前的最小圆的外面，则点k也一定在前k个点的最小覆盖圆边界上，直接求出这三点共圆，否则前k个点的最小覆盖圆与前k-1个点的最小覆盖圆是一样的，则不需要更新；

(U4)、根据摄像头到皮带的安装垂直距离以及安装角度计算出矿石图例尺寸所对应的真实尺寸：

其中，f表示摄像头的焦距，h表示图像中矿石尺寸，H表示摄像头和皮带之间的距离，D表示矿石块实际尺寸；

(U5)、设置矿石尺寸报警阈值和误差阈值，将计算所得的矿石真实尺寸与阈值进行比较，若矿石尺寸大于报警阈值和误差阈值之和，说明矿石块的大小异常，反之大小正常。

10.如权利要求1所述一种矿石尺度测量方法，其特征在于，还包括矿石尺度测量方法的应用系统，具体步骤如下：

(P1)视频采集系统：通过摄像头采集皮带图像，并将图像通过消息队列传送到检测识别系统中；

(P2)检测识别系统：接收视频采集系统采集到的视频帧，经过训练后的实例分割网络，输出矿石块的尺寸，将尺寸与设置的报警阈值和误差阈值进行比较，如果矿石块尺寸大于报警阈值和误差阈值之和将产生异常，并通过消息队列告知业务系统；

(P3)业务系统：提供管理功能，所述业务系统负责与远程服务同步参数信息与日志信息，并负责在检测异常时通知生产线停止运转；

(P4)后台生产管理系统：运行于云服务器上的远程服务，负责收集管理所有的检测日志数据；

所述检测识别系统，包括：

(Q1)实例分割定位部分：将所述视频采集系统采集的图像送入二值化的MS R-CNN网络并输出网络分类，标注框位置和分割结果；

(Q2)矿石块尺寸测量部分：通过前面所述矿石图例尺寸，摄像头与皮带的垂直高度以及摄像头的焦距，根据式步骤(U4)计算出矿石块的真实大小；

(Q3)消息队列部分：如果所述的矿石块检测大小超过了设置的阈值，并引发异常，发生异常后需要通过消息队列告知业务系统，实现控制皮带停止；

(Q4)日志管理部分：系统会将检测结果和系统运行状态保存在本地日志中；

所述业务系统，包括：

提供可视化管理界面以及Web接口，具有设备管理和系统管理功能，其中，设备管理可以添加设备、列出设备、查看日志和导出日志；系统管理可以进行系统参数设置，查看系统操作日志。

所述后台生产管理系统，包括：

(R1)数据同步：系统根据数据类型不同采用不同方式的单向同步。其中检测参数需要从远程服务同步到工控机，而日志信息则从工控机同步到远程服务器；

(R2)数据库管理：存储所述业务系统的操作日志和工控机本地系统日志到云端。

Images