CN113393432B - 一种智能泡沫浮选检测系统 - Google Patents

Abstract

本发明公开了一种智能泡沫浮选检测系统，涉及矿山浮选领域。系统基于深度学习‑目标检测模型，以浮选液面视频帧图像中泡沫的识别与定位为基础，通过不断跟踪各个泡沫流动的轨迹与速度，计算出整个液面的流速、流向。同时基于一定的历史趋势数据，研判当前监测的浮选液面流动状态是否正常(是否出现流速异常或方向异常)，从而最终对浮选液面的工作状态进行研判、告警。图像识别技术应用到浮选工艺中，提高浮选工艺水平，实现浮选过程的智能化操作与信息化展示，对浮选过程的自动化发展具有重要研究意义和应用价值。

Description

一种智能泡沫浮选检测系统

技术领域

本发明涉及矿山浮选领域，具体涉及一种智能泡沫浮选检测系统。

背景技术

在矿山企业生产运营过程所关注的各项作业中，浮选作为与精矿产品质量直接相关的重要生产环节，基础数据的完善对精细浮选工艺控制水平尤为重要。当前浮选岗位操作主要基于浮选槽液面泡沫状态判断浮选工况和入浮矿浆的变化，由于无法量化操作依据，控制精度高度依赖于人工经验，操作流程难以形成相应的规范。如何获得相关基础数据，并确保数据的准确性、实时性和一致性是改善浮选工艺控制的重点。

在泡沫浮选过程中，有经验的工人根据浮选泡沫的视觉状态调整浮选操作，自动化水平较低。实际生产中，大多数是由工人直接根据自身经验来判断浮选工况并做出调整，如矿浆浓度、浮选药剂用量等。浮选过程自动化水平较低，判断误差较大。因此提高浮选性能，节约人力物力，实现工况自动化生产至关重要。

发明内容

本发明的目的是针对上述不足，提出了一种采用深度学习图像处理算法的智能泡沫浮选检测系统。

本发明具体采用如下技术方案：

一种智能泡沫浮选检测系统，包括浮选视频检测模块，通过浮选视频检测模块，实现对摄像头视频流的解码、抽帧和格式转换处理，并将转换后的图像帧进行识别，并最终将检测结果标注在视频流中，重新编码视频流推送给前端UI进行展示；具体包括以下过程：

(1)基于深度学习--目标检测实现浮选液面泡沫目标识别；

(2)基于浮选泡沫识别、定位结果，实现液面大泡沫数量统计检测结果计算；基于泡沫跟踪，实现液面流速、流向监测统计检测结果计算；液面颜色监测统计检测结果计算；上述指标数据存储与历史变化趋势展现；

(3)基于上述监测指标信息，实现对浮选液面正常、冒槽、堵矿三类工况的检测与异常告警输出。

优选地，浮选视频检测模块包括时实在线处理单元和离线处理单元，时实在线处理单元包括YoloV5视觉模型，离线处理单元包括深度学习模型，实时在线处理单元实现对原始摄像头视频流的解码、抽帧，格式转换处理，并将转换后的图像帧送到深度学习模型中进行识别，并最终将检测结果标注在视频流中，重新编码视频流推送给前端UI进行展示与预警。

优选地，系统的前端连接核心图像识别引擎，采用pytorch+yoloV5模型，通过对500+张样本数据集的训练，实现对液面泡沫的识别、定位与标注。

优选地，pytorch+yoloV5模型中的YOLO检测网络包括24个卷积层和2个全连接层，卷积层用来提取图像特征，全连接层用来预测图像位置和类别概率值。

优选地，yolov5包含yolov5s,yolov5x,yolov5m,yolov5l四个模型，其中Yolov5s是模型做小的，并且是速度最快的模型。

优选地，前端UI采用B/S架构，基于Django架构，在智能边缘设备上部署一个轻量级的WebService，实时接收下层视频检测程序，流量、流速检测程序推送过来的数据、视频流信息，并最终展现在前端页面上。

优选地，采用SORT进行浮选气泡目标检测，前端UI展现的内容是当前浮选液面视频播放，页面流向、流速的变化趋势折线图，以及浮选液面监测结果数据表，系统还包括用来进行视频封装，推送播放功能的RTMP视频流服务器。

优选地，SORT采用算法卡尔曼滤波和匈牙利算法，卡尔曼滤波将预测值和测量值进行结合，对系统状态进行最优估计的算法；匈牙利算法假设有N个人和N个任务，每个任务可以任意分配给不同的人，已知每个人完成每个任务要花费的代价不尽相同，合理分配使得总的代价最小。

本发明具有如下有益效果：

采用深度学习图像处理算法，核心图像识别引擎采用Pytorch+yoloV5模型，通过对500+张标注样本数据集的训练，实现对液面泡沫的识别、定位与标注。量化浮选泡沫的流动性及稳定性，以数据的方式直观反映浮选泡沫的状态与质量。

通过跟踪画面内各个泡沫流动的轨迹与速度，计算出液面整体流速与流向，并基于一定的历史趋势数据，研判当前监测的浮选液面流动状态是否正常(是否出现流速异常或方向异常)，从而最终对浮选液面的工作状态进行研判与告警。

通过深度学习图像处理算法得到浮选泡沫图像状态数据后，基于一定的历史数据累积，结合模糊控制或专家控制算法，获得当前基于浮选泡沫图像的浮选槽液位和进气量工艺控制参考值，为岗位操作人员提供直观的操作依据。

图像识别技术应用到浮选工艺中，提高浮选工艺水平，实现浮选过程的智能化操作与信息化展示，对浮选过程的自动化发展具有重要研究意义和应用价值。

附图说明

图1为智能泡沫浮选检测系统框图；

图2为Yolov5s的性能测试曲线图；

图3为yolov5s的网络结构图；

图4为Focus结构图。

具体实施方式

下面结合附图和具体实施例对本发明的具体实施方式做进一步说明：

结合图1，智能泡沫浮选检测系统包括浮选视频检测模块，通过浮选视频检测模块，实现对摄像头视频流的解码、抽帧和格式转换处理，并将转换后的图像帧进行识别，并最终将检测结果标注在视频流中，重新编码视频流推送给前端UI进行展示；具体包括以下过程：

(1)基于深度学习--目标检测实现浮选液面泡沫目标识别；

(2)基于浮选泡沫识别、定位结果，实现液面大泡沫数量统计检测结果计算；基于泡沫跟踪，实现液面流速、流向监测统计检测结果计算；液面颜色监测统计检测结果计算；上述指标数据存储与历史变化趋势展现；

(3)基于上述监测指标信息，实现对浮选液面正常、冒槽、堵矿三类工况的检测与异常告警输出。

浮选视频检测模块包括时实在线处理单元和离线处理单元，时实在线处理单元包括YoloV5视觉模型，离线处理单元包括深度学习模型，实时在线处理单元实现对原始摄像头视频流的解码、抽帧，格式转换处理，并将转换后的图像帧送到深度学习模型中进行识别，并最终将检测结果标注在视频流中，重新编码视频流推送给前端UI进行展示与预警。

系统的前端连接核心图像识别引擎，采用pytorch+yoloV5模型，通过对500+张样本数据集的训练，实现对液面泡沫的识别、定位与标注。

pytorch+yoloV5模型中的YOLO检测网络包括24个卷积层和2个全连接层，卷积层用来提取图像特征，全连接层用来预测图像位置和类别概率值。

卷积层用来提取图像特征，全连接层用来预测图像位置和类别概率值。

YOLO网络借鉴了GoogLeNet分类网络结构。不同的是，YOLO未使用inceptionmodule，而是使用1x1卷积层(此处1x1卷积层的存在是为了跨通道信息整合)+3x3卷积层简单替代。

YOLO将输入图像分成SxS个格子，每个格子负责检测‘落入’该格子的物体。若某个物体的中心位置的坐标落入到某个格子，那么这个格子就负责检测出这个物体。

每个格子输出B个bounding box(包含物体的矩形区域)信息，以及C个物体属于某种类别的概率信息。

Bounding box信息包含5个数据值，分别是x,y,w,h,和confidence。其中x,y是指当前格子预测得到的物体的bounding box的中心位置的坐标。w,h是bounding box的宽度和高度。注意：实际训练过程中，w和h的值使用图像的宽度和高度进行归一化到[0,1]区间内；x，y是bounding box中心位置相对于当前格子位置的偏移值，并且被归一化到[0,1]。

confidence反映当前bounding box是否包含物体以及物体位置的准确性，计算方式如下：confidence＝P(object)

*IOU,其中，若bounding box包含物体，则P(object)＝1；否则P(object)＝0.IOU(intersection over union)为预测bounding box与物体真实区域的交集面积(以像素为单位，用真实区域的像素面积归一化到[0,1]区间)。

因此，YOLO网络最终的全连接层的输出维度是S*S*(B*5+C)。YOLO论文中，作者训练采用的输入图像分辨率是448x448，S＝7，B＝2；采用VOC 20类标注物体作为训练数据，C＝20。因此输出向量为7*7*(20+2*5)＝1470维。

yolov5包含yolov5s,yolov5x,yolov5m,yolov5l四个模型，其中Yolov5s是模型做小的，并且是速度最快的模型。

如图2所示yolov5s在速度上是最快的，并且yolov5s的大小只有十几兆，如果进行单精度计算的yolov5s的大小只有七兆多。所以yolov5s特别适合时实场景检测。

图3为yolov5s的网络结构：

Focus是Yolov5新增的操作，图4中的右侧图就是将443的图像切片后变成2212的特征图。

以Yolov5s的结构为例，原始6086083的图像输入Focus结构，采用切片操作，先变成30430412的特征图，再经过一次32个卷积核的卷积操作，最终变成30430432的特征图。

需要注意的是：Yolov5s的Focus结构最后使用了32个卷积核，而其他三种结构，使用的数量有所增加。

Yolov4借鉴了CSPNet的设计思路，在主干网络中设计了CSP结构，但只有主干网络使用了CSP结构。

Yolov5中设计了两种CSP结构，以Yolov5s网络为例，CSP1_X结构应用于Backbone主干网络，另一种CSP2_X结构则应用于Neck中。

CSPNet(Cross Stage Partial Network):跨阶段局部网络，以缓解以前需要大量推理计算的问题。

·增强了CNN的学习能力，能够在轻量化的同时保持准确性。

·降低计算瓶颈。

·降低内存成本。

CSPNet通过将梯度的变化从头到尾地集成到特征图中，在减少了计算量的同时可以保证准确率。

CSPNet和PRN都是一个思想，将feature map拆成两个部分，一部分进行卷积操作，另一部分和上一部分卷积操作的结果进行concate。

neck部分

Yolov5的Neck和Yolov4中一样，都采用FPN+PAN的结构。

Yolov4的Neck结构中，采用的都是普通的卷积操作。而Yolov5的Neck结构中，采用借鉴CSPnet设计的CSP2结构，加强网络特征融合的能力。

Yolov5中采用其中的GIOU_Loss做Bounding box的损失函数。

公式中，先计算两个框的最小闭包区域面积[公式](通俗理解：同时包含了预测框和真实框的最小框的面积)，再计算出IoU，再计算闭包区域中不属于两个框的区域占闭包区域的比重，最后用IoU减去这个比重得到GIoU。

在目标检测的后处理过程中，针对很多目标框的筛选，通常需要nms操作。

因为CIOU_Loss中包含影响因子v，涉及groudtruth的信息，而测试推理时，是没有groundtruth的。

所以Yolov4在DIOU_Loss的基础上采用DIOU_nms的方式，而Yolov5中采用加权nms的方式。

不同的nms，会有不同的效果，采用了DIOU_nms的方式，在同样的参数情况下，将nms中IOU修改成DIOU_nms。对于一些遮挡重叠的目标，确实会有一些改进。

比如下面黄色箭头部分，原本两个人重叠的部分，在参数和普通的IOU_nms一致的情况下，修改成DIOU_nms，可以将两个目标检出。

前端UI采用B/S架构，基于Django架构，在智能边缘设备上部署一个轻量级的WebService，实时接收下层视频检测程序，流量、流速检测程序推送过来的数据、视频流信息，并最终展现在前端页面上。

核心数据库采用轻量化的SqlLite数据库，尽量减少对计算资源的消耗。

UI展现内容相对简单，主要是当前浮选液面视频播放(将检测结果标注在视频流中进行实时播放)，页面流向、流速的变化趋势折线图，以及浮选液面监测结果数据表。

采用SORT进行浮选气泡目标检测，前端UI展现的内容是当前浮选液面视频播放，页面流向、流速的变化趋势折线图，以及浮选液面监测结果数据表，系统还包括用来进行视频封装，推送播放功能的RTMP视频流服务器。

SORT采用算法卡尔曼滤波和匈牙利算法，卡尔曼滤波将预测值和测量值进行结合，对系统状态进行最优估计的算法；匈牙利算法假设有N个人和N个任务，每个任务可以任意分配给不同的人，已知每个人完成每个任务要花费的代价不尽相同，合理分配使得总的代价最小。

整个系统功包含“导航栏”、“粗选检测和精选检测页面”、“浮选视频检测详情信息页面”。

导航栏固定分布在整个页面布局的左侧，主要功能是便于用户快速访问检测系统的不同种类的检测功能。

导航栏设置有“粗选检测”，“精选检测”两个有效的导航选项，分别用于导向“粗选检测列表页面”和“精选检测列表页面”。“粗选检测”已经实现，“精选检测”仍在建设中。

为了方便用户扩展系统右侧的展示区域面积，系统赋予了导航栏向左回缩的功能。点击图中所示的收缩按钮，导航栏将会自动收缩至左侧。

分别点击导航栏中的“粗选检测”，“精选检测”选项，可以直接进入“粗选检测列表页面”和“精选检测列表页面”。

粗选检测列表页面，用于预览系统内所有粗选检测线路的整体检测状态。每一条检测线路对应不同的厂区(可以认为是不同的炼钢炉)。基于“监控状态”实时查看每条检测线路的检测状态(实时状态功能仍在建设中)。如果想查看线路的详细检测信息，直接点击每个线路的“检测详情”字段，可直接跳转至“浮选视频检测详情信息页面”

浮选视频检测详情页面，主要用于展示每条线路的详细检测结果。页面信息主要分为“气泡动态捕捉展示”，“浮沫页面流速流向监控”，“相关指标参数展示”三个板块。

该板块位于屏幕的左上角，主要用于时实视频监控画面展示。视频中包含对于气泡的定位，左右两部分时实流速的数值展示，以及左右两部分时实方向的展示。

该板块位于屏幕的右上角，主要用于动态展示浮选槽内流体的“流速”、“流向”动态变化趋势。其中上表展示流速变化，下表展示流向变化。

流速时实折线图(上半部分)主要包含两个变量：红色折线图代表视频左下方区域流速，绿色折线图代表视频右下方区域流速。

当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。

Claims (1)

1.一种智能泡沫浮选检测系统，其特征在于，包括浮选视频检测模块，通过浮选视频检测模块，实现对摄像头视频流的解码、抽帧和格式转换处理，并将转换后的图像帧进行识别，并最终将检测结果标注在视频流中，重新编码视频流推送给前端UI进行展示；具体包括以下过程：

（1）基于深度学习--目标检测实现浮选液面泡沫目标识别；

（2）基于浮选泡沫识别、定位结果，实现液面大泡沫数量统计检测结果计算；基于泡沫跟踪，实现液面流速、流向监测统计检测结果计算；液面颜色监测统计检测结果计算；监测指标信息存储与历史变化趋势展现；

（3）基于监测指标信息，实现对浮选液面正常、冒槽、堵矿 三类工况的检测与异常告警输出；

浮选视频检测模块包括时实在线处理单元和离线处理单元，时实在线处理单元包括YoloV5视觉模型，离线处理单元包括深度学习模型，实时在线处理单元实现对原始摄像头视频流的解码、抽帧，格式转换处理，并将转换后的图像帧送到深度学习模型中进行识别，并最终将检测结果标注在视频流中，重新编码视频流推送给前端UI进行展示与预警；

系统的前端连接核心图像识别引擎，采用pytorch+yoloV5模型，通过对500+张样本数据集的训练，实现对液面泡沫的识别、定位与标注；

pytorch+yoloV5模型中的YOLO检测网络包括24个卷积层和2个全连接层，卷积层用来提取图像特征，全连接层用来预测图像位置和类别概率值；

yolov5包含yolov5s,yolov5x,yolov5m,yolov5l四个模型，其中Yolov5s是模型最小的，并且是速度最快的模型；

前端UI采用B/S架构，基于Django架构，在智能边缘设备上部署一个轻量级的WebService，实时接收下层视频检测程序，流量、流速检测程序推送过来的数据、视频流信息，并最终展现在前端页面上；

采用SORT进行浮选气泡目标检测，前端UI展现的内容是当前浮选液面视频播放，页面流向、流速的变化趋势折线图，以及浮选液面监测结果数据表，系统还包括用来进行视频封装，推送播放功能的RTMP视频流服务器；

SORT采用算法卡尔曼滤波和匈牙利算法，卡尔曼滤波将预测值和测量值进行结合，对系统状态进行最优估计的算法；匈牙利算法假设有N个人和N个任务，每个任务可以任意分配给不同的人，已知每个人完成每个任务要花费的代价不尽相同，合理分配使得总的代价最小。