CN115984252A - 一种基于视觉的矿质混合料成分实时检测方法 - Google Patents

Abstract

本发明公开了一种基于视觉的矿质混合料成分实时检测方法，属于矿质混合料生产技术领域，包括摄像机选取和安装，然后获取不同物料构成的成像视频，生成目标检测数据集，对目标检测集分析计算，设定误差允许范围，最终及时通过图像的检测获取矿质混合料的异常配比并通知产线工人。本发明提出的方法能够适应全天候的光照环境，泛化程度好，能够适应不同角度的传送带与摄像机的成像角度，对同一混合料能够跨厂区使用，对混合料配比检测的实时性提高，能够记录每个投料周期的实际配比，解决现有矿质原料在进行分步配比时依赖产线工人实时远程观察原料配比导致工人疲劳，难以及时发现物料配比异常情况的不足。

Description

一种基于视觉的矿质混合料成分实时检测方法

技术领域

本发明涉及矿质混合料生产技术领域，特别是涉及一种基于视觉的矿质混合料成分实时检测方法。

背景技术

在矿质混合料的生产过程中，原料配比正确与否将影响到混合料对应的目标产品质量，比如水泥生料的配比影响生成的水泥熟料性能，路面施工混料的配比影响路面性能，而这些混合料的前后工序往往具有高能耗、产品形成后不可逆的特殊性。

实际产线中，原料是按配比分步添加的，由于各类原因，比如设备异常停机、木棍钢条以及部分块度较大的矿质原料常常卡住溜料口等等，导致该段时间内的原料未能按设定意图投放，级配与标准配比相差过大。目前常见做法是，由产线工人远程实时观察原料配比的状态。这会导致工人迅速疲劳，难以及时发现物料配比异常的情况。针对以上不足，本发明提出一种基于视觉的矿质混合料成分实时检测方法，能够在全天候半露天的生产环境中，实时检测混合料的配比，在配比异常时及时提醒产线工人进行补救，能较好的节能减排，提升产品质量。

发明内容

本发明的主要目的在于提供一种基于视觉分析的矿质原料配比检测方法，借助人工智能视觉技术，能够有效解决背景技术中的问题。

本发明的目的可以通过采用如下技术方案达到：

一种基于视觉的矿质混合料成分实时检测方法，包括如下步骤：

步骤一，选择IP摄像机并安装：选择带有自动补偿光源功能的全彩夜视摄像机，摄像机图像质量满足分析要求，并将摄像机安装在每种矿物混合料成分的下料设备上方，IP摄像头通过厂家配套的视频后台软件将视频流转成MP4；

步骤二，获取不同物料构成的成像视频：在光线不同的时间段，控制每种矿质混合料成分的下料设备开关，记录时段，并从IP摄像头视频后台软件连续两周内不同时段各采集5分钟时长的视频数据，获取产线上的“传送带空载视频”、“装载石灰石运行视频”、“装载石灰石与黄土混合料运行视频”以及“装载完整混合生料运行视频”；

步骤三，生成目标检测数据集：使用OpenCV图像处理库，根据产线运行速度，在视频里提取图片序列；

步骤四，目标检测集分析计算：使用深度学习网络对一个标准的连续载料传输视频进行多点分析，在一个投料周期内，基于通用机器学习框架，对图片数据进行深度学习网络训练学习，计算出每种混合物料片段的比例；

步骤五，统计投放结果；

步骤六，设定误差允许范围：根据过程控制工程师的实际经验，设定物料成分实际允许的误差范围，统计监测点的检测结果，并将结果上报给生产运维检修系统，当物料配比超限时间超过阈值时，及时主动提示产线工人配料异常，使现场人员及时得知配料异常并跟踪异常原因。

作为本发明进一步的方法，所述步骤二中提取图片的时间间隔控制为两两图片内容刚好不重合，图像序列提取间隔的公式为：

式中：J_tp为图像序列的提取间隔，L为视场内传送带的物理长度，V为传送带的运行速度，FR为视频的帧率。

作为本发明进一步的方法，所述步骤四中目标检测集分析计算的具体过程如下：

对“石灰石”监测点，以空带运行数据作负样本，在通用机器学习框架Pytorch下，使用深度学习网络MobileNetV2训练二分类模型，将图片裁切整理为256×256像素的尺寸，使用随机梯度下降方法和0.0001的学习率形成测试集图像预测模型，使用该模型预测测试集图像序列，判断哪张图片在对应的时间节点石灰石未正常投放；

对“石灰石+黄土”监测点，以石灰石传送带数据作为负样本，使用深度学习网络MobileNetV2训练二分类模型，将图片裁切整理为256×256像素的尺寸，使用随机梯度下降方法和0.0001的学习率形成测试集图像预测模型，使用该模型预测测试集图像序列，判断哪张图片在对应的时间节点黄土未正常投放；

对“石灰石+黄土+校正料”监测点，校正料间断投放，标注出校正料在图上的位置框，并将位置框内区域作为检测数据集，使用深度学习网络YoloV5训练目标检测模型，将图片裁切整理为640×640像素的尺寸，使用随机梯度下降方法和0.0001的学习率形成测试集图像预测模型，使用该模型预测测试集图像序列，判断哪张图片在对应的时间节点投放了校正料，将校正料检出框在传送带载物区域的占比作为校正料投放量的估算值。

作为本发明进一步的方法，所述步骤一中的光线不同的情况为早晨8点、正午12点、傍晚6点以及深夜12点。

作为本发明进一步的方法，所述步骤一中摄像机的像素大于等于400万。

作为本发明进一步的方法，所述步骤四中的投料周期为间隔时间最长的间隔投料成分两次投料的时间跨度。

作为本发明进一步的方法，所述步骤六中统计投放结果的具体方式为：

在投料周期内统计石灰石和黄土缺失的图片张数以整个周期图像张数，获取石灰石和黄土缺失的图片张数占整个周期图像张数的比例，并将这个比例作为石灰石和黄土的缺料程度值，统计校正料检出框累加值在整个周期的比例，石灰石和黄土的缺料程度值的公式为：

式中：D_SH为石灰石和黄土的缺料程度值，N为石灰石和黄土缺失的图片张数，M为整个周期图像张数；

校正料的投放量拟合公式为：

式中：IOU_adj为校正料的投放量拟合值，S_adj为校正料检出框面积的累加值，S_all为整个周期图像传送带载料面积的累加值。

与现有技术相比，本发明的优势在于：

一，泛化程度好，能够适应全天候的光照环境，能够适应不同角度的传送带与摄像机的成像角度，对同一混合料能够跨厂区使用；

二，该方法实时性高，能够记录每个投料周期的实际配比，并通过视频的混合物料片段比例实现混合生产设备的自动启停，能够自动操作设备进行缺失成分补料

三，改造成本低，对原产线干扰小，除了增加摄像头外，无其他添置，设备不需要对现有生产流程进行修改就能够投运。

附图说明

图1为按照本发明的基于视觉的矿质混合料成分实时检测方法的水泥生产线生料(石灰石、黄土、铁铝校正料混合)配比检测方法流程图；

图2为空载提取图、石灰石投料提取图、石灰石+黄土混合料提取图以及石灰石+黄土+校正料的最终混合料提取图；

图3为不同时段采集的混合料提取图片；

图4为校正料检出框累加值在整个周期的比例图；

图5为校正料检出框示意图。

具体实施方式

为使本领域技术人员更加清楚和明确本发明的技术方案，下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

本发明提供的基于视觉的矿质混合料成分实时检测方法，包括如下步骤：

步骤一，选择IP摄像机并安装：选择带有自动补偿光源功能的全彩夜视摄像机，摄像机图像质量满足分析要求，并将摄像机安装在每种矿物混合料成分的下料设备上方，IP摄像头通过厂家配套的视频后台软件将视频流转成MP4；

步骤二，获取不同物料构成的成像视频：在光线不同的时间段，控制每种矿质混合料成分的下料设备开关，记录时段，并从IP摄像头视频后台软件连续两周内不同时段各采集5分钟时长的视频数据，获取产线上的“传送带空载视频”、“装载石灰石运行视频”、“装载石灰石与黄土混合料运行视频”以及“装载完整混合生料运行视频”；

步骤三，生成目标检测数据集：使用OpenCV图像处理库，根据产线运行速度，在视频里提取图片序列；

步骤四，目标检测集分析计算：使用深度学习网络对一个标准的连续载料传输视频进行多点分析，在一个投料周期内，基于通用机器学习框架，对图片数据进行深度学习网络训练学习，计算出每种混合物料片段的比例；

步骤五，统计投放结果；

步骤六，设定误差允许范围：根据过程控制工程师的实际经验，设定物料成分实际允许的误差范围，统计监测点的检测结果，并将结果上报给生产运维检修系统，当物料配比超限时间超过阈值时，及时主动提示产线工人配料异常，使现场人员及时得知配料异常并跟踪异常原因。

与现有技术相比，本发明的优势在于：

一，泛化程度好，能够适应全天候的光照环境，能够适应不同角度的传送带与摄像机的成像角度，对同一混合料能够跨厂区使用；

二，该方法实时性高，能够记录每个投料周期的实际配比，并通过视频的混合物料片段比例实现混合生产设备的自动启停，能够自动操作设备进行缺失成分补料

三，改造成本低，对原产线干扰小，除了增加摄像头外，无其他添置，设备不需要对现有生产流程进行修改就能够投运。

所述步骤二中提取图片的时间间隔控制为两两图片内容刚好不重合，图像序列提取间隔的公式为：

式中：J_tp为图像序列的提取间隔，L为视场内传送带的物理长度，V为传送带的运行速度，FR为视频的帧率。

通过设置图像序列的提取间隔公式，能够帮助在不同的传送带传输速度下快速找到提取图像序列的方法和策略，便于适用于不同产线传输速度的图片提取，增加本发明的普适性。

所述步骤四中目标检测集分析计算的具体过程如下：

对“石灰石”监测点，以空带运行数据作负样本，在通用机器学习框架Pytorch下，使用深度学习网络MobileNetV2训练二分类模型，将图片裁切整理为256×256像素的尺寸，使用随机梯度下降方法和0.0001的学习率形成测试集图像预测模型，使用该模型预测测试集图像序列，判断哪张图片在对应的时间节点石灰石未正常投放；

对“石灰石+黄土”监测点，以石灰石传送带数据作为负样本，使用深度学习网络MobileNetV2训练二分类模型，将图片裁切整理为256×256像素的尺寸，使用随机梯度下降方法和0.0001的学习率形成测试集图像预测模型，使用该模型预测测试集图像序列，判断哪张图片在对应的时间节点黄土未正常投放；

对“石灰石+黄土+校正料”监测点，校正料间断投放，标注出校正料在图上的位置框，并将位置框内区域作为检测数据集，使用深度学习网络MobileNetV2训练二分类模型，将图片裁切整理为640×640像素的尺寸，使用随机梯度下降方法和0.0001的学习率形成测试集图像预测模型，使用该模型预测测试集图像序列，判断哪张图片在对应的时间节点投放了校正料，将校正料检出框在传送带载物区域的占比作为校正料投放量的估算值。

通过深度学习网络技术以及随机梯度下降方法的使用能够帮助学习训练数据集，以便于在不同的投料方式下形成各自的预测方式和方法，便于判断出不同矿质混合料组成情况下的投放异常情况，进而及时将信息传输给生产运维检修系统。

所述步骤一中的光线不同的情况为早晨8点、正午12点、傍晚6点以及深夜12点。

通过设置不同光线的情况下的图片检测，能够对不同光线下的矿质物料混合进行检测和适应，以便于获取整个预测和检测模型的适用性和准确度，同时能够增加模型的泛化程度。

所述步骤一中摄像机的像素大于等于400万。

限制摄像机的像素能够保障获取视频文件的清晰度和像素等级达到检测需要的精度和清晰度，以便于为提高检测精确度和准确度奠定数据基础。

所述步骤四中的投料周期为间隔时间最长的间隔投料成分两次投料的时间跨度。

所述步骤六中统计投放结果的具体方式为：

在投料周期内统计石灰石和黄土缺失的图片张数以整个周期图像张数，获取石灰石和黄土缺失的图片张数占整个周期图像张数的比例，并将这个比例作为石灰石和黄土的缺料程度值，统计校正料检出框累加值在整个周期的比例，石灰石和黄土的缺料程度值的公式为：

式中：D_SH为石灰石和黄土的缺料程度值，N为石灰石和黄土缺失的图片张数，M为整个周期图像张数；

校正料的投放量拟合公式为：

式中：IOU_adj为校正料的投放量拟合值，S_adj为校正料检出框面积的累加值，S_all为整个周期图像传送带载料面积的累加值。

所述方法中涉及的矿物混合料成分包括三种以及三种以上不同成分，矿物混合料成分为三种时，三种混合料成分分别为a、b以及c，在步骤二中不同混合料的组成分别为a、b、c、ab、ac、bc以及abc。

简言之，面向的场景是，矿物混合料成分有a、b、c，陆续投放至载料的传送带上，目标是当其中一种或数种原料未正常投放时，通过本方法及时判断出来。

下文以本方法在水泥生产线生料(石灰石、黄土、铁铝校正料混合)的配比检测运用，作为特例，来说明本技术方案具体细节。

实施例1

如图1所示，以水泥熟料生产为例，在生料流程开始的时候，生料混配设备空带运转，在空带上投入破碎的石灰石，对投放破碎石灰石后的传送带设置视频分析点1，通过摄像头摄取的视频数据对石灰石下料实现自动监测；在投入石灰石过后的传送带上投入破碎的黄土，对石灰石和黄土混合段设置视频分析点2，实时监测石灰石和黄土下料段的配比；将校正料混配到原生产线的配料段，设置视频分析点3，实时监测校正料的投料，各个视频分析点的数据传输给生料成分监测系统，生料成分监测系统计算并分析视频数据，并将异常的数值传输给水泥生产运维—检修系统对生料的配比进行监测和调整，调整完成的混合料进入烧成系统烧制水泥熟料。

水泥生产线生料(石灰石、黄土、铁铝校正料混合)配比检测方法包括如下步骤：

步骤一，选择传送带上方距离传动带顶面并面对传送带3米高度，在生产流程后节点，分别安装带有自动补偿光源功能的全彩夜视IP摄像机，其生成的视频分辨率能够达到400万像素，IP摄像头通过厂家配套的视频后天软件将视频流转换成MP4文件；在连续的两周内，于早晨8点、正午12点、傍晚6点以及深夜12点四种时段各采集五分钟时长的视频数据，从产线获得“传送带空载视频”、“装载石灰石运行视频”、“装载石灰石与黄土混合料运行视频”、“装载完整混合生料运行视频”，如图2所示；

步骤二，根据产线运行速度，在视频里提取图片序列，提取图片的时间间隔控制为两两图片内容刚好不重合，如视频帧率FR＝25FPS，传送带运行速度为V＝1m/s，视场内传送带的屋里长度为L＝2m，则图像序列提取间隔为(L/V)*FR＝50，即每50张取一张图像作为数据集；分别生成不同的传送带载料部位分类-检测数据集，如图3所示；并补充各类不同可视条件下的图像数据，如图4所示；

步骤三，对于“石灰石”监测点的数据，以空带运行数据做负样本，在通用机器学习框架pytorch的基础下，使用深度学习网络MobileNetV2训练二分类模型，将图片裁切整理为256×256像素的尺寸，使用默认的随机梯度下降方法和0.0001的学习率等常规超参数，使用该模型对测试集图像序列作预测，能判断出哪张图片对应的时间节点石灰石未正常投放；

步骤四，对于“石灰石+黄土”监测点，以石灰石传送带数据做负样本，在通用机器学习框架pytorch的基础下，使用深度学习网络MobileNetV2训练二分类模型，参数与步骤三相同，使用该模型对测试集图像序列作预测，能判断出哪张图片对应的时间节点黄土未正常投放；

步骤五，对于“石灰石+黄土+校正料”监测点，由于校正料是间断投料，在有投料的涂上也出现一部分，因此标注出校正料在涂上的位置框，作为检测数据集，使用深度学习网络yoloV5训练检测模型，将图片裁切整理为640×640像素的尺寸，权重文件选择weights为yoloV5s，使用默认的随机梯度下降方法，训练200代(epochs)，得到校正料检测模型，使用该模型对测试集图像序列作预测，能判断出哪张图片对应的时间节点，投放了校正料，通过校正料检出框在传送带载物区域的占比，作为校正料投放量的估算值；

步骤六，统计投放结果，校正料为间隔投料，其两次正常投料时间跨度作为投料周期，在这个周期内，统计石灰石和黄土缺失的图片张数(n)占整个周期图像张数(m)的比例(n/m)，即为石灰石和黄土缺料程度值；统计校正料检出框累加值在整个周期的比例，如图5所示，框1为位置校正后的传送带载物区域，区域A为其他物料，区域B为最后投放的校正料，框2为检出框，统计框2面积累加值在框1面积累加值中的比例；

步骤七，根据一线质量控制工程师的实际经验，设定物料各成分实际能够允许的缺失范围，比如石灰石缺料比例不得少于10％，黄土缺料比例不得少于24％，校正料带料面积不得少于8％，综合三个检测点的检测结果与之比较，能够得到混合料级配是否正常，如果为异常，计算出那种材料投放与目标差值，并将结果上报给生产运维检修系统，现场人员根据上报的数据及时得知物料的缺失情况并跟踪原因。

本方案可以使用在其他矿质混合料的精益生产智能监控领域。以上附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利的限制，为了更好地说明本发明的具体实施方式，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸，对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的，基于本发明中的具体实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他具体实施方式，都属于本发明保护的范围。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (7)

1.一种基于视觉的矿质混合料成分实时检测方法，以水泥生产线生料(石灰石、黄土、铁铝校正料混合)配比检测方法的为例，其特征在于，包括如下步骤：

步骤一，选择IP摄像机并安装：选择带有自动补偿光源功能的全彩夜视摄像机，摄像机图像质量满足分析要求，并将摄像机安装在每种矿物混合料成分的下料设备上方，IP摄像头通过厂家配套的视频后台软件将视频流转成MP4；

步骤二，获取不同物料构成的成像视频：在光线不同的时间段，控制每种矿质混合料成分的下料设备开关，记录时段，并从IP摄像头视频后台软件连续两周内不同时段各采集5分钟时长的视频数据，获取产线上的“传送带空载视频”、“装载石灰石运行视频”、“装载石灰石与黄土混合料运行视频”以及“装载完整混合生料运行视频”；

步骤三，生成目标检测数据集：使用OpenCV图像处理库，根据产线运行速度，在视频里提取图片序列；

步骤四，目标检测集分析计算：使用深度学习网络对一个标准的连续载料传输视频进行多点分析，在一个投料周期内，基于通用机器学习框架，对图片数据进行深度学习网络训练学习，计算出每种混合物料片段的比例；

步骤五，统计投放结果；

步骤六，设定误差允许范围：根据过程控制工程师的实际经验，设定物料成分实际允许的误差范围，统计监测点的检测结果，并将结果上报给生产运维检修系统，当物料配比超限时间超过阈值时，及时主动提示产线工人配料异常，使现场人员及时得知配料异常并跟踪异常原因。

2.如权利要求1所述的一种基于视觉的矿质混合料成分实时检测方法，其特征在于，所述步骤二中提取图片的时间间隔控制为两两图片内容刚好不重合，图像序列提取间隔的公式为：

式中：J_tp为图像序列的提取间隔，L为视场内传送带的物理长度，V为传送带的运行速度，FR为视频的帧率。

3.如权利要求1所述的一种基于视觉的矿质混合料成分实时检测方法，其特征在于，所述步骤四中目标检测集分析计算的具体过程如下：

对“石灰石”监测点，以空带运行数据作负样本，在通用机器学习框架Pytorch下，使用深度学习网络MobileNetV2训练二分类模型，将图片裁切整理为256×256像素的尺寸，使用随机梯度下降方法和0.0001的学习率形成测试集图像预测模型，使用该模型预测测试集图像序列，判断哪张图片在对应的时间节点石灰石未正常投放；

对“石灰石+黄土”监测点，以石灰石传送带数据作为负样本，使用深度学习网络MobileNetV2训练二分类模型，将图片裁切整理为256×256像素的尺寸，使用随机梯度下降方法和0.0001的学习率形成测试集图像预测模型，使用该模型预测测试集图像序列，判断哪张图片在对应的时间节点黄土未正常投放；

对“石灰石+黄土+校正料”监测点，校正料间断投放，标注出校正料在图上的位置框，并将位置框内区域作为检测数据集，使用深度学习网络YoloV5训练目标检测模型，将图片裁切整理为640×640像素的尺寸，使用随机梯度下降方法和0.0001的学习率形成测试集图像预测模型，使用该模型预测测试集图像序列，判断哪张图片在对应的时间节点投放了校正料，将校正料检出框在传送带载物区域的占比作为校正料投放量的估算值。

4.如权利要求1所述的一种基于视觉的矿质混合料成分实时检测方法，其特征在于，所述步骤一中的光线不同的情况为早晨8点、正午12点、傍晚6点以及深夜12点。

5.如权利要求1所述的一种基于视觉的矿质混合料成分实时检测方法，其特征在于，所述步骤一中摄像机的像素大于等于400万。

6.如权利要求1所述的一种基于视觉的矿质混合料成分实时检测方法，其特征在于，所述步骤四中的投料周期为间隔时间最长的间隔投料成分两次投料的时间跨度。

7.如权利要求6所述的一种基于视觉的矿质混合料成分实时检测方法，其特征在于，所述步骤六中统计投放结果的具体方式为：

在投料周期内统计石灰石和黄土缺失的图片张数以整个周期图像张数，获取石灰石和黄土缺失的图片张数占整个周期图像张数的比例，并将这个比例作为石灰石和黄土的缺料程度值，统计校正料检出框累加值在整个周期的比例，石灰石和黄土的缺料程度值的公式为：

式中：D_SH为石灰石和黄土的缺料程度值，N为石灰石和黄土缺失的图片张数，M为整个周期图像张数；

校正料的投放量拟合公式为：

式中：IOU_adj为校正料的投放量拟合值，S_adj为校正料检出框面积的累加值，S_all为整个周期图像传送带载料面积的累加值。

Images