CN110390691B - 一种基于深度学习的矿石尺度测量方法及应用系统 - Google Patents

Abstract

本发明公开了一种基于深度学习的矿石尺度测量方法及应用系统，包括如下方法步骤：获取矿石块图像；图像预处理，将实施矿石块图像处理为标记图像，将实施处理标记图像分为训练样本和测试样本；对异常的标注图像数据进行剔除；使用处理后训练样本训练预设的RetinaNet目标识别网络；输入所述测试样本至目标识别网络，获得目标识别结果，并计算出矿石尺寸大小；本发明一种基于深度学习的矿石尺度测量方法及应用系统，通过采用标注的矿石图像样本对RetinaNet目标识别网络的训练，得到训练后的网络模型用于分类并定位矿石块，并计算出矿石块真实的尺寸大小，不需要采用手工提取复杂特征，检测效率高，解决了传统矿石尺度测量中存在的效率低的问题。

Description

一种基于深度学习的矿石尺度测量方法及应用系统

技术领域

本发明涉及矿石尺寸图像检测技术领域，特别涉及一种基于深度学习的矿石尺度测量方法及应用系统。

背景技术

有色金属是当代能源、信息技术和现代材料的重要组成部分，是现代社会经济和高技术发展的重要基础。目前，我国有色金属矿山的采选规模较小，自动化、信息化程度较低，导致矿物资源利用率不高、生产过程的耗能严重，造成了较大的矿产资源浪费，也使得矿业企业缺乏足够的国际竞争力。由矿山开采出来的矿石，除少数富含有用矿外，绝大多数是含有大量脉石的贫矿。对冶金工业来说，这些贫矿由于有用成分含量低，矿物组成复杂，若直接用来冶炼提取金属，则能耗大，生产成本高。因此，在矿石冶炼之前，必须先经过分选或富集，以抛弃大部分的脉石，使有用矿物的含量达到冶炼要求。选矿工艺中最主要的工序是解离，就是将大块矿石进行破碎和磨细，将各种有用的矿物颗粒从矿石中解离出来。国内行业对矿石异常尺寸检测仍采用大量人工方法，即工人在传送带边观察，一旦出现尺寸较大的矿石块便停止机器运转。但是，这种操作方法存在着一系列问题，比如耗能耗时且效率较低，需要大量人工操作，劳动强度大工作环境恶劣安全系数低，误判可能性较大，无法监控破碎机的工作状况等。

近年来计算机应用、图像处理及智能控制等方法快速发展，机器视觉技术己经广泛应用于工业检测方面。近年来，世界上一些国家如美国、加拿大、南非、中国等的研究机构均投入大量的精力试图用计算机视觉技术对矿石尺寸进行检测。其中应用最广的是采用矿石图像分割算法，通过不同的图像分割算法获得矿石的区域大小。但是矿石分割算法存在很多问题，包大部分方法都只针对矿石堆积和重叠不严重，矿石和背景对比度大成像质量较好的矿石图像进行分割处理。对于低信噪比、低对比度以及矿石堆积严重的矿石图像己有的分割方法均无法有效将其正确分割。选矿现场处于高粉尘、高污染等复杂的环境下，图像的信噪比较低，采用传统的图像处理算法这些存在的噪声会直接影响矿石分割的结果。

综上所述，传统的矿石尺寸检测中存在大量人工操作、基于传统分割算法的检测方法存在准确率低、无法分割堆叠矿石的技术问题。

发明内容

本发明的主要目的在于提供一种基于深度学习的矿石尺度测量方法及应用系统，可以有效解决背景技术中的问题。

为实现上述目的，本发明提供如下技术方案：一种基于深度学习的矿石尺度测量方法，包括如下方法步骤：

S1、获取矿石块图像；

S2、图像预处理，将实施矿石块图像处理为标记图像，将实施处理标记图像分为训练样本盒测试样本；

S3、对异常的标注图像数据进行剔除；

S4、使用处理后训练样本训练预设的RetinaNet目标识别网络；

S5、输入所述测试样本至目标识别网络，获得目标识别结果，并计算出矿石尺寸大小。

优选的，所述获取矿石块图像步骤，具体包括：

在传送带不同角度和高度安装摄像头采集矿石块传输视频流数据；

按照一定的时间间隔提取视频中的关键帧并保存为图像数据。

优选的，所述图像预处理步骤，具体包括：

采用标注软件对所述图像数据进行标注，获得并保存标注后的标记数据集；

从标注后的数据集中按照一定比例分成训练样本、验证样本和测试样本；

对训练样本进行图像增强，包括：对图像进行随机角度旋转、仿射变换、翻转和噪声处理。

优选的，所述对异常的标注图像数据进行剔除步骤，具体包括：

设置标注框面积阈值，去除面积小于阈值的标注数据，其余标注框面积大于阈值；

剔除明显错误的数据，根据标注框每个顶点的位置坐标，剔除坐标位置颠倒的顶点所对应的标注框。

优选的，所述训练预设的目标识别网络，包括：

选择RetinaNet目标识别网络，选择ResNet-FPN网络结构，通过kmeans算法聚类获得9个不同的锚框，并根据分类种类数量修改网络最后一层输出；

设置网络训练策略，包括：训练batch大小，训练epoch数量，初始化学习率，权重衰减率，优化方法；

调整训练样本图像大小与网络输入大小相同，根据向前传播计算公式，计算图片对应的网络输出结果，RetinaNet网络由残差块结构组成，其传递函数公式为：

y＝F(x₀{W_i})+x

F＝W₂σ(W₁x)

其中x为输入张量，F为线性变换和非线性变换，σ为激活函数，W为权重；

根据如下公式调整神经网络的学习率LR：

其中，iter为迭代次数，max_iter为最大迭代次数，power为更新梯度；由上述网络输出结果，计算分类得分以及标注框的坐标和大小，使用如下损失函数计算网络结果与标注真实值之间的差异：

第一项是中心坐标项

指第i个单元格存在目标，且该单元格第j个box负责预测目标；

第二项是边界框box的高与宽的误差项，同样有

有目标且该box负责预测才有效；

第三项是包含目标的边界框类别置信度误差项；

最后一项是包含目标单元格分类误差项，

是第i个单元格存在目标，采用focalloss损失函数；

根据反向传播公式，计算权重和偏置项的梯度并更新权重；

其中L为损失函数，y为网络输出值，

为真实值，W为网络权重，b为偏置项。

优选的，所述测试样本输入到训练后的目标识别网络并计算矿石尺寸的步骤，具体包括：

获取训练后的目标识别网络模型；

将测试样本输入到所述目标识别网络，并计算出分类结果以及标注框位置；

根据标注框左上角和右下角位置坐标计算出标注框的在图片中的长宽大小；

根据摄像头到皮带的安装垂直距离以及安装角度计算出图像中标注框长宽所对应的真实距离：

其中f表示摄像头的焦距，h表示图像中矿石尺寸，H表示摄像头和皮带之间的距离，D表示矿石块实际尺寸；

设置矿石尺寸报警阈值和误差阈值，根据计算所得的标注框真实长宽值，取其中较长边与阈值进行比较，若矿石尺寸大于报警阈值和误差阈值之和，说明矿石块的大小异常，反之大小正常。

一种基于深度学习的矿石尺度测量应用系统，包括：

视频采集系统，主要通过摄像头采集皮带图像，并将图像通过消息队列传送到检测识别系统中；

检测识别系统，接收视频采集系统采集到的视频帧，经过训练后的目标识别网络，输出矿石块的尺寸，将尺寸与设置的报警阈值和误差阈值进行比较，如果矿石块尺寸大于报警阈值和误差阈值之和将产生异常，并通过消息队列告知业务系统；

业务系统，提供了一些简单的管理功能，比如参数管理和日志管理。业务系统负责与远程服务同步参数信息与日志信息，并负责在检测异常时通知生产线停止运转；

后台生产管理系统，运行于云服务器上的远程服务，负责收集管理所有的检测日志数据，便于管理员远程监控管理生产信息。

优选的，所述检测识别系统，包括：

目标识别定位部分，将所述视频采集系统采集的图像送入RetinaNet网络并输出网络分类和标注框位置；

矿石块尺寸测量部分，通过前面所述的标注框位置和大小，摄像头与皮带的垂直高度以及摄像头的焦距，计算出矿石块的真实大小；

其中f表示摄像头的焦距，h表示图像中矿石尺寸，H表示摄像头和皮带之间的距离，D表示矿石块实际尺寸；

消息队列部分，如果所述的矿石块检测大小超过了设置的阈值会引发异常，发生异常后需要通过消息队列告知业务系统，从而控制皮带停止；

日志管理部分，系统会将检测结果和系统运行状态保存在本地日志中。

优选的，所述业务系统，包括：提供可视化管理界面以及Web接口，具有设备管理和系统管理两大功能；设备管理可以添加设备、列出设备、查看日志和导出日志；系统管理可以进行系统参数设置，查看系统操作日志。

优选的，所述后台生产管理系统，包括：

数据同步，系统根据数据类型不同采用不同方式的单向同步；其中检测参数需要从远程服务同步到工控机，而日志信息则从工控机同步到远程服务器；

数据库管理，存储所述业务系统的操作日志和工控机本地系统日志到云端。

与现有技术相比，本发明具有如下有益效果：该种基于深度学习的矿石尺度测量方法及应用系统，通过采用标注的矿石图像样本对RetinaNet目标识别网络的训练，得到训练后的网络模型用于分类并定位矿石块，并计算出矿石块真实的尺寸大小，不需要采用手工提取复杂特征，检测效率高；同时，突破了传统矿石尺寸检测中大量人工观测和操作导致检测错误率高，提高了系统检测矿石块的准确率，并增强了针对恶劣条件下的检测能力，更加有利于复杂的工业的使用，RetinaNet神经网络中充分利用了层间交流的信息，能够提出深层次的图像特征。

综上，本发明提供了一种基于深度学习的矿石尺度测量方法及应用系统，解决了传统矿石尺度测量中存在的效率低，准确率低，无法分割堆叠矿石的技术问题，并且提高了效率与准确率。

附图说明

图1为本发明所述一种基于深度学习的矿石尺度测量方法步骤示意图；

图2为本发明所述一种基于深度学习的矿石尺度测量方法及应用系统的RetinaNet中骨干网络ResNet-101架构示意图；

图3为本发明所述一种基于深度学习的矿石尺度测量方法的步骤S1具体流程图；

图4为本发明所述一种基于深度学习的矿石尺度测量方法的步骤S2具体流程图；

图5为本发明所述一种基于深度学习的矿石尺度测量方法的步骤S3具体流程图；

图6为本发明所述一种基于深度学习的矿石尺度测量方法的步骤S4具体流程图；

图7为本发明所述一种基于深度学习的矿石尺度测量方法的步骤S5具体流程图；

图8为本发明所述一种基于深度学习的矿石尺度测量应用系统模块示意图；

图9为本发明所述一种基于深度学习的矿石尺度测量方法及应用系统的RetinaNet整体网络构架示意图；

图10为本发明所述一种基于深度学习的矿石尺度测量应用系统的视频采集系统的具体模块图；

图11为本发明所述一种基于深度学习的矿石尺度测量应用系统的检测识别系统的具体模块图；

图12为本发明所述一种基于深度学习的矿石尺度测量应用系统的检测识别系统多级功能列表；

图13为本发明所述一种基于深度学习的矿石尺度测量应用系统的业务系统的具体模块图；

图14为本发明所述一种基于深度学习的矿石尺度测量应用系统的业务系统多级功能列表；

图15为本发明所述一种基于深度学习的矿石尺度测量应用系统的后台生产管理系统具体模块图。

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。

实施例1

参照图1-2，一种基于深度学习的矿石尺度测量方法，包括：

S1、获取矿石块图像，按照一定时间间隔对视频进行取帧转换为图片；

S2、预处理所述的矿石块图像为标记图像，将所述处理标记图像分为训练样本和测试样本；

S3、对异常的标注图像数据进行剔除；

S4、使用处理后训练样本训练预设的RetinaNet目标识别网络；

S5、输入所述的测试样本至所述的目标识别网络，获得目标识别结果，并计算出矿石尺寸大小。

参照图3，所述步骤S1中获取矿石块图像的步骤，包括：

S11、在皮带上方垂直距离为h的位置安装摄像头，摄像头焦距为f，可以在多个角度安装摄像头以达到对矿石块多方位尺度的测量；

S12、设置摄像头参数，由于工业现场扬尘大，对摄像头采集的图像有很大的干扰，因此设置摄像头采用较高的分辨率以捕捉图像的更多特性；设置摄像头帧率，在皮带传输较快时采用较高的摄像头帧率可以使采集的图像更加清晰；根据工业现场的光线特性调整摄像头的饱和度，对比度等参数以达到对矿石的最佳拍摄；

S13、从视频帧中获取矿石块图像，设置固定的时间间隔，按照指定时间间隔抽取关键帧并转换为图像；矿石块图像为测试样本和训练样本的数据源。

参照图4，所述步骤S2中的预处理步骤，包括：

S21、对图像进行初步筛选，去除过度模糊、过度遮挡、曝光过度、曝光不足等不合格图像，处理图片大小分辨率统一为1280*720的大小；

S22、对合格的图像进行标注，可选的标注工具有Labelme、LabelImg、yolo_mark等工具；标注时采用多边形标注，尽量使标注框和矿石块尺寸贴合，如果存在矿石块重叠的情况，标注未被遮挡的部分；标注后的标注数据保存为.xml格式并与原图像名相同；

S23、按照一定的比例将标注后的数据集拆分为训练集、验证集和测试集。

参照图5，所述步骤S3中对异常数据剔除步骤，包括：

S31、由于检测方法用于检测尺寸较大的异常矿石块，因此可以删除较小的标注框；设置矿石块标注面积阈值，若标注的矿石块面积小于该阈值，删除该标记；多边形面积采用定点计算公式：

其中x₁，y₁...x_n，y_n为多边形顶点坐标；

S32、剔除明显错误的数据，根据标注框每个顶点的位置坐标，剔除坐标位置颠倒的顶点所对应的标注框；例如标注框左上角顶点坐标为(x1,y1)，标注框右下角顶点坐标为(x2,y2)，应满足x1<x2,y1>y2将不满足该规则的标注框剔除。

参照图6，所述步骤S4中训练预设的目标识别网络步骤，包括：

S41、选择神经网络骨干类型，并设置训练神经网络的超参数；可选的神经网络骨干类型有ResNet18、ResNet34、ResNet50、ResNet101、ResNet152，从VGG网络开始，神经网络的层数越来越深，深层次网络可以提取更多的特征，但由于梯度消失的问题，网络的训练效果并没有变好；ResNet引入了残差网络结构(residual network)，通过该结构可以有效的解决梯度消失问题，传统的VGG16网络深度为16层，Top-5错误率为7.3％，而ResNet152网络深度为151层，Top-5错误率只有3.57％，但是ResNet152却与VGG16网络计算量相同；ResNet网络结构由四种不同大小残差块组成，分别为conv2_x(卷积核1x1，数量64；卷积核3x3，数量64；卷积核1x1，数量256)，conv3_x(卷积核1x1，数量128；卷积核3x3，数量128；卷积核1x1，数量512)，conv4_x(卷积核1x1，数量256；卷积核3x3，数量256；卷积核1x1，数量1024)，conv5_x(卷积核1x1，数量512；卷积核3x3，数量512；卷积核1x1，数量2048)；设置训练神经网络的超参数，包括：优化方法(SGD、AdaGrad、RMSProp、Adam)，初始化学习率，权重衰减率等；

S42、根据如下公式调整神经网络的学习率LR：

其中，iter为迭代次数，max_iter为最大迭代次数，power为更新梯度；本次发明实例中，训练的批处理大小为batchsize为4，最大迭代次数设为例如60000次；动量momentum为0.9，可选的，设置初始学习率为0.001；在训练模型的时候采用poly策略；来对学习率进行调整；

S43、RetinaNet网络在ResNet网络基础上添加了FPN网络的特点，首先采用了多尺度特征融合的方式从ResNet网络不同层中提取特征，形成金字塔形特征，接着深层的网络通过上采样与浅层网络连接，最后输出每一层融合后的特征图；融合FPN网络的特点，可以增强每层网络的语义信息从而提升检测精度，包括加强对小物体的检测效果和对大物体的检测效果；图像经过FPN结构后会输出不同尺度的特征图，不同尺度的特征图最后会经过两个不同的全卷积网络(FCN)分别输出分类概率和标注框顶点坐标；用于分类的FCN网络结构：conv1(卷积核3x3，数量256)，conv2(卷积核3x3，数量256)，conv3(卷积核3x3，数量256)，conv4(卷积核3x3，数量256)，conv5(卷积核3x3，数量KA，K为类别总数，A为anchor数量)；用于标注框回归的FCN网络结构：conv1(卷积核3x3，数量256)，conv2(卷积核3x3，数量256)，conv3(卷积核3x3，数量256)，conv4(卷积核3x3，数量256)，conv5(卷积核3x3，数量4A，A为anchor数量)，最后将不同尺度特征图得到检测结果叠加；

S44、选择合适的锚(anchor)大小，由于矿石块有不同的大小和尺寸，因此采用9种不同比例大小的锚，其中比例有{1:2,1:1,2:1}三种，大小有{20,21/3,22/3}三种大小；锚的实际大小是根据训练集中的标注框的边长大小通过Kmeans算法聚类得到，聚类后的锚可以覆盖输入图像32到813像素的图像范围；

S45、网络权重初始化，除了网络的最后一层其余层的权重都采用无偏方式进行初始化，即偏置(bias)为0，方差(var)采用高斯分布(σ＝0.01)，网络最后一层的权重参数考虑样本不平衡分布的问题，权重初始化时采用公式

其中π为超参数，本次发明实例中π设置为0.01，改变模型初始化策略使模型不会偏向更多的负样本；

S46、使用如下公式计算分类损失和标注框偏差所产生的损失：

分类损失采用Focal Loss损失函数

FL(p_t)＝-(1-P_t)^γlog(P_t)

其中

公式中p表示网络输出的分类置信度，y＝1表示真实值置信度为1，(1-p_t)^γ是调制因子，调制因子可以根据p_t的大小调整Focal Loss损失函数，γ是可训练的调制系数(γ≥0)；当一个样本被错误分类并且网络输出的p_t很小时，调制因子(1-p_t)^γ接近1，Focal Loss损失函数不受影响，当一个样本被正确分类网络输出的p_t很大时调制因子(1-p_t)^γ接近0，Focal Loss损失函数比重会降低；因此FocalLoss损失函数可以有效的减少简单样本对模型训练的影响，将训练重点放在复杂样本上；

标注框回归损失采用L₁损失函数计算：

其中第一项是中心坐标项

指第i个单元格存在目标，且该单元格第j个box负责预测目标；第二项是边界框box的高与宽的误差项，同样有

有目标且该box负责预测才有效；

S47、判断损失是否大于预设期望值，期望值可在适用的期望值区间内选取，根据前述公式计算网络的输出值与目标值之间的分类分支训练损失以及标注框分支训练损失，并与实际样本标签进行比较；

S48、若是，则使用神经网络计算损失梯度，当损失大于期望值时，将损失传回网络中，依次求得全卷积层，ResNet网络权重的损失梯度；

S49、若否，则固定神经网络参数，结束训练，当误差等于或小于期望值时，固定深度卷积神经网络参数，结束训练；

参照图7，所述步骤S5中测试样本输入到训练后的目标识别网络并计算矿石尺寸步骤，包括：

S51、获取当前的神经网络，该神经网络为当前经过参数调优和预训练的深度卷积神经网络；调取测试样本并调整样本图像大小为网络输入大小，将测试样本数据喂入已经训练好的网络参数的RetinaNet目标识别网络中；

S52、获取网络的输出结果，分别为：物体类别标签、标注框左上角坐标(x1、y1)，标注框右上角坐标(x2、y2)，根据公式计算标注框的长宽：

w＝|x1-x2|

h＝|y1-y2|

取w或h中较长的边作为矿石块图像尺度；

S53、计算矿石块的实际大小

其中f表示摄像头的焦距，h表示图像中矿石尺寸，H表示摄像头和皮带之间的距离，D表示矿石块实际尺寸；设置矿石尺寸报警阈值和误差阈值，如果出现矿石块检测大小大于设置报警阈值和误差阈值之和，发出异常报警。

实施例2

参照图8-9，基于实施例1的一种基于深度学习的矿石尺度测量应用系统，包括：视频采集系统，检测识别系统，业务系统和后台生产管理系统；视频采集系统通过摄像头采集皮带图像，并将图像通过消息队列传送到检测识别系统中；检测识别系统通过接收视频采集系统采集到的视频帧，经过训练后的RetinaNet目标识别网络，输出矿石块的尺寸，并将异常尺寸大小的矿石块通过消息队列告知业务系统，检测识别系统与视频采集系统11连接；业务系统提供了操作员操作接口，实时状态监控和日志管理等功能，业务系统与检测识别系统连接；后台生产管理系统用于存储系统日志，提供数据同步功能，后台生产管理系统与业务系统连接。

参照图10，视频采集系统，包括：视频获取模块、视频预处理模块、帧提取模块、消息队列模块；视频获取模块，使用工业摄像机采集矿石传输视频流，并控制摄像头采集视频分辨率与帧率；视频预处理模块，用于处理采集到的视频流，并根据工业现场环境调整摄像头对比度、饱和度、亮度等参数使采集的视频流更加清晰，有利于增强系统的鲁棒性以及各种工业环境下的检测能力，视频预处理模块与视频获取模块连接；帧提取模块，用于从视频预处理模块处理后的视频流中提取关键帧并转化为图像，从而获得大量矿石块图片数据集，其中关键帧的提取采用固定时间间隔取帧算法，帧提取模块与视频预处理模块连接；消息队列模块，将提取的关键帧图片打包后存入消息队列，通过消息队列将图片传输到业务系统，消息队列模块与帧提取模块连接。

参照图11-12，检测识别系统包括：图像预处理模块、RetinaNet网络模块、尺寸测量模块、消息队列模块、日志模块；图像预处理模块，将视频采集系统传输的图像通过插值法和填零操作调整尺寸为RetinaNet网络的输入尺寸大小；RetinaNet网络模块采用经过良好训练的RetinaNet网络模型，输入预处理后的图像，输出图像中矿石块的位置和分类，RetinaNet网络采用ResNet网络作为骨干网络用于提取图像特征，ResNet网络结构由四种不同大小残差块组成，分别为conv2_x(卷积核1x1，数量64；卷积核3x3，数量64；卷积核1x1，数量256)，conv3_x(卷积核1x1，数量128；卷积核3x3，数量128；卷积核1x1，数量512)，conv4_x(卷积核1x1，数量256；卷积核3x3，数量256；卷积核1x1，数量1024)，conv5_x(卷积核1x1，数量512；卷积核3x3，数量512；卷积核1x1，数量2048)，ResNet网络提取到特征后将不同尺度的特征传递到FPN网络用于增强底层特征的语义信息，不同尺度的特征图最后会经过两个不同的全卷积网络(FCN)分别输出分类概率和标注框顶点坐标，RetinaNet网络模块与图像预处理模块连接；尺寸测量模块，从RetinaNet网络模块输出的标注框顶点坐标中通过以下公式计算边框的长宽：

w＝|x1-x2|

h＝|y1-y2|

矿石的尺寸取w和h中最大的值，然后计算矿石的实际大小，根据公式：

其中f表示摄像头的焦距，h表示图像中矿石尺寸，H表示摄像头和皮带之间的距离，D表示矿石块实际尺寸尺寸测量模块与RetinaNet网络模块连接；消息队列模块，将矿石的实际尺寸与设定阈值进行比较，如果矿石的实际尺寸比阈值大，那么发出异常警告，消息队列会将检测结果信息和异常结果传送到业务系统中，消息队列模块与尺寸测量模块连接；日志模块，由于皮带速度极快，因此如果每次检测都请求服务器会导致非常高的时延，无法确保实际环境中的高实时性，为了提高实际环境中的速度并确保性能稳定，检测识别和报警信息记录在设备本地，所有信息都直接记录在工控机系统本地，由日志模块管理。

参照图13-14，业务系统，包括：桌面管理页面、移动管理页面、业务接口；桌面管理页面将系统运行状态实时显示，随时通知操作员存在异常状况，操作员可以在管理页面修改系统参数，查看系统运行日志以及系统操作日志；移动管理页面，为了方便监控系统的运行状态，设计了一个移动管理页面，操作员可以在远端监控设备运行状态，在设备出现异常时可以及时停止设备运行；业务接口，业务接口包括参数设置和日志管理两部分，参数接口向上提供管理页面参数查看和修改的接口，校验参数准确性，向下与检测识别系统连接，将修改后的参数传输到设备以控制设备的正常运转，日志管理负责将操作员的操作记录上传到云端并且获取工控机的日志信息上传到云端，日志管理还提供查阅日志接口，业务接口与移动管理页面连接。

参照图15，后台生产管理系统，包括：数据同步模块、数据库存储模块；数据同步模块，为了提高实际环境中的速度并确保性能稳定，检测识别和报警信息记录在工控机系统本地，这就涉及到工控机系统和远程服务之间的数据同步，系统根据数据类型不同采用不同方式的单向同步，其中检测参数需要从远程服务同步到工控机，而日志信息则从工控机同步到远程服务器；数据库存储模块，日志文件和操作记录都由数据库存储模块保存在SQL服务器中，并提供对上查阅修改的接口，数据库存储模块与数据同步模块相互连接。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (6)

1.一种基于深度学习的矿石尺度测量方法，其特征在于，包括如下方法步骤：

S1、获取矿石块图像；

S2、图像预处理，将实施矿石块图像处理为标记图像，将实施处理标记图像分为训练样本和测试样本；

S3、对异常的标注图像数据进行剔除；

S4、使用处理后训练样本训练预设的RetinaNet目标识别网络；

S5、输入所述测试样本至目标识别网络，获得目标识别结果，并计算出矿石尺寸大小；其中RetinaNet采用如下方式进行训练：

选择RetinaNet目标识别网络，选择ResNet-FPN网络结构，通过kmeans算法聚类获得9个不同的锚框，并根据分类种类数量修改网络最后一层输出；

设置网络训练策略，包括：训练batch大小，训练epoch数量，初始化学习率，权重衰减率，优化方法；

调整训练样本图像大小与网络输入大小相同，根据向前传播计算公式，计算图片对应的网络输出结果，RetinaNet网络由残差块结构组成，其传递函数公式为：

y＝F(x，{W_i})+x

F＝W₂σ(W₁x)

其中x为输入张量，F为线性变换和非线性变换，σ为激活函数，W为权重；

根据如下公式调整神经网络的学习率LR：

其中，iter为迭代次数，max_iter为最大迭代次数，power为更新梯度；由上述网络输出结果，计算分类得分以及标注框的坐标和大小，使用如下损失函数计算网络结果与标注真实值之间的差异：

第一项是中心坐标项指第i个单元格存在目标，且该单元格第j个box负责预测目标；

第二项是边界框box的高与宽的误差项，同样有有目标且该box负责预测才有效；

第三项是包含目标的边界框类别置信度误差项；

最后一项是包含目标单元格分类误差项，是第i个单元格存在目标，采用focalloss损失函数；

根据反向传播公式，计算权重和偏置项的梯度并更新权重；

其中L为损失函数，y为网络输出值，为真实值，W为网络权重，b为偏置项。

2.根据权利要求1所述的一种基于深度学习的矿石尺度测量方法，其特征在于，所述获取矿石块图像步骤，具体包括：

在传送带不同角度和高度安装摄像头采集矿石块传输视频流数据；

按照一定的时间间隔提取视频中的关键帧并保存为图像数据。

3.根据权利要求1所述的一种基于深度学习的矿石尺度测量方法，其特征在于，所述图像预处理步骤，具体包括：

采用标注软件对所述图像数据进行标注，获得并保存标注后的标记数据集；

从标注后的数据集中按照一定比例分成训练样本、验证样本和测试样本；

对训练样本进行图像增强，包括：对图像进行随机角度旋转、仿射变换、翻转和噪声处理。

4.根据权利要求1所述的一种基于深度学习的矿石尺度测量方法，其特征在于，所述对异常的标注图像数据进行剔除步骤，具体包括：

设置标注框面积阈值，去除面积小于阈值的标注数据，其余标注框面积大于阈值；

剔除明显错误的数据，根据标注框每个顶点的位置坐标，剔除坐标位置颠倒的顶点所对应的标注框。

5.根据权利要求1所述的一种基于深度学习的矿石尺度测量方法，其特征在于，所述测试样本输入到训练后的目标识别网络并计算矿石尺寸的步骤，具体包括：

获取训练后的目标识别网络模型；

将测试样本输入到所述目标识别网络，并计算出分类结果以及标注框位置；

根据标注框左上角和右下角位置坐标计算出标注框的在图片中的长宽大小；

根据摄像头到皮带的安装垂直距离以及安装角度计算出图像中标注框长宽所对应的真实距离：

其中f表示摄像头的焦距，h表示图像中矿石尺寸，H表示摄像头和皮带之间的距离，D表示矿石块实际尺寸；

设置矿石尺寸报警阈值和误差阈值，根据计算所得的标注框真实长宽值，取其中较长边与阈值进行比较，若矿石尺寸大于报警阈值和误差阈值之和，说明矿石块的大小异常，反之大小正常。

6.一种基于深度学习的矿石尺度测量应用系统，其特征在于，采用如权利要求1-5任意一项所述的一种基于深度学习的矿石尺度测量方法，包括：

视频采集系统，通过摄像头采集皮带图像，并将图像通过消息队列传送到检测识别系统中；

检测识别系统，接收视频采集系统采集到的视频帧，经过训练后的目标识别网络，输出矿石块的尺寸，将尺寸与设置的报警阈值和误差阈值进行比较，如果矿石块尺寸大于报警阈值和误差阈值之和将产生异常，并通过消息队列告知业务系统；

业务系统，提供了一些简单的管理功能，参数管理和日志管理； 业务系统负责与远程服务同步参数信息与日志信息，并负责在检测异常时通知生产线停止运转；

后台生产管理系统，运行于云服务器上的远程服务，负责收集管理所有的检测日志数据，便于管理员远程监控管理生产信息；

所述检测识别系统，包括：

目标识别定位部分，将所述视频采集系统采集的图像送入RetinaNet网络并输出网络分类和标注框位置；

矿石块尺寸测量部分，通过前面所述的标注框位置和大小，摄像头与皮带的垂直高度以及摄像头的焦距，计算出矿石块的真实大小；

其中f表示摄像头的焦距，h表示图像中矿石尺寸，H表示摄像头和皮带之间的距离，D表示矿石块实际尺寸；

消息队列部分，如果所述的矿石块检测大小超过了设置的阈值会引发异常，发生异常后需要通过消息队列告知业务系统，从而控制皮带停止；

日志管理部分，系统会将检测结果和系统运行状态保存在本地日志中；

所述业务系统，包括：提供可视化管理界面以及Web接口，具有设备管理和系统管理两大功能；

设备管理可以添加设备、列出设备、查看日志和导出日志；系统管理可以进行系统参数设置，查看系统操作日志；

所述后台生产管理系统，包括：

数据同步，系统根据数据类型不同采用不同方式的单向同步；其中检测参数需要从远程服务同步到工控机，而日志信息则从工控机同步到远程服务器；

数据库管理，存储所述业务系统的操作日志和工控机本地系统日志到云端。

Images