CN110443299B - 一种基于图像识别的自动化放矿实验方法及系统 - Google Patents

Abstract

本发明的一种基于图像识别的自动化放矿实验方法及系统，方法包括：通过颜色和标号来标识标志颗粒的放置方位；通过机械臂向放矿设备中逐层填装矿石散体和标志颗粒；开启放矿设备，拍摄每层矿石散体和标志颗粒的图像；对图像进行处理，构成图像训练集以对卷积神经网络进行训练；通过训练好的卷积神经网络对散体图像进行识别，获得每个标志颗粒的颜色、编号和标志颗粒出现时对应的放出体体积；利用编号直接还原法和达孔量法处理数据，绘制放出体形态。本方法不需人工测重、挑选辨识标志颗粒和记录数据，利用相机和神经网络识别分析完成放出体还原的过程，采用连续作业，可更精准地测量每个标志颗粒的达孔量值，得到的放出体形态更加精确。

Description

一种基于图像识别的自动化放矿实验方法及系统

技术领域

本发明涉及崩落采矿法领域，特别适用于测量散体材料的流动性能，具体涉及一种基于图像识别的自动化放矿实验方法及系统。

背景技术

在崩落法采矿中，放矿是一个十分重要的过程，直接影响着矿石回收率与废石混入率，关系着整个企业的经济效益。如果采场的结构参数设计不合理或放矿过程管理不当，很容易致使损失率和贫化率升高，造成资源的浪费和矿山利润的下降。据统计，我国采用崩落法开采的黑色金属矿山损失率为20～30％，贫化率为25～35％，同国外先进矿山相比高出10～15％左右。而不同矿山的矿岩散体性质相差较大，由此而设计的采场结构参数也各不相同，因此充分认识并研究不同条件下矿岩散体的流动规律，测量不同矿山的散体流动参数，确定不同矿岩性质条件下的放出体形态，对于改进矿山的相关结构参数、合理布置采矿工程、降低岩石的混入率、提高矿石的回收率具有重要的意义。由于现场放矿实验的条件限制，当前研究散体流动规律和测量散体流动参数的主要方法是在实验室采用相似材料进行物理放矿实验，但传统的放矿实验各工序之间不连续，需要在每次放出一定量的材料后人工称重、挑出标志颗粒和记录数据，由此导致实验费时费力，不利于实验的研究工作。

发明内容

为解决上述技术问题，本发明的目的是提供一种基于图像识别的自动化放矿实验方法及系统，实现了放矿实验的自动化，大大提高了实验的效率。

本发明提供一种基于图像识别的自动化放矿实验方法，包括如下步骤：

步骤1：制作标志颗粒，通过颜色和标号来标识标志颗粒的放置方位；

步骤2：拍摄多张混合有标志颗粒的矿石散体的图像并对图像进行处理，构成图像训练集，通过图像训练集对卷积神经网络进行训练；

步骤3：填装实验材料，通过机械臂装置向放矿设备中逐层填装矿石散体和标志颗粒，直到达到实验要求高度；

步骤4：开启放矿设备，并通过摄像识别设备拍摄每层矿石散体和标志颗粒的图像；

步骤5：通过训练好的卷积神经网络对放矿设备放出的散体图像进行识别，获得每个标志颗粒的颜色和编号，以及标志颗粒出现时对应的放出体体积；

步骤6：利用编号直接还原法和达孔量法分别处理数据，绘制放出体形态。

在本发明的基于图像识别的自动化放矿实验方法中，所述步骤1具体为：

步骤1.1：将标志颗粒染成不同的颜色用以表示所在高度的不同，再进行烘干；

步骤1.2：在染色烘干后的标志颗粒上标注两位数字的编号，第一位数字表示方向角度，第二位数字表示标志颗粒放置位置距离中心的间距。

在本发明的基于图像识别的自动化放矿实验方法中，所述步骤2具体为：

步骤2.1：利用labelImg对训练集中的图像进行标注，标识颗粒按照颜色和标号表示；

步骤2.2：将图像中labelImg标注后的标识颗粒和矿石散体名称信息、标注框左上角坐标和长宽信息均自动保存为xml数据形式，每一张图像标注之后就会产生一个与之相对应的xml文件，以保存这一张图像的所有标注框信息；

步骤2.3：设置初始学习率、衰减率、衰减因子和总迭代次数；

步骤2.4：对训练集中的图像进行随机剪切、旋转和RGB强度变化，再对图像进行归一化处理，将增强后的图像的像素处理为相同大小；

步骤2.5：将处理之后的图像和相应产生的xml文件输入到YOLO-V3模型中，利用GPU加速对模型进行训练，训练过程将每一步的分类损失值、回归损失值、总损失值保存为csv文件；

步骤2.6：训练结束后，利用csv文件生成分类、回归和总损失折线图，如果损失波动不大，说明模型训练效果良好，选择各类损失折线均收敛时的模型为最终模型，并且将此时的神经网络模型当中的各个节点参数保存下来，形成ckpt文件为最终的模型参数。

在本发明的基于图像识别的自动化放矿实验方法中，所述步骤2.5具体为：

步骤2.5.1：首先经过Darknet-53特征提取网络对输入图像进行特征提取，得到13×13的特征图；

步骤2.5.2：然后将得到的特征图分成13×13个分割网格，每一个分割网格都会产生3个尺度不同的矩形预测框；

步骤2.5.3：输入图像的原始标注框的中心点必然会落在某一个分割网格当中，此时选择那一分割网格产生的三个预测框中与原始标注框重叠面积最大的一个预测框作为最终检测框来预测目标。

在本发明的基于图像识别的自动化放矿实验方法中，所述步骤2.5.3中最终检测框的坐标预测公式为：

b_x＝σ(t_x)+c_x

b_y＝σ(t_y)+c_y

t_x、t_y、t_w、t_h就是神经网络模型的预测输出，t_x、t_y是预测的坐标偏移值，t_w、t_h是尺度缩放，c_x和c_y表示特征图中分割网格的左上角坐标；P_w和P_h表示预测前预测框的size，b_x、b_y、b_w和b_h是预测得到的检测框的中心的坐标和尺度；

训练过程中产生的t_w、t_h是用下面公式计算得出：

/>

其中G_w和G_h是原始标注框的宽和高。

在本发明的基于图像识别的自动化放矿实验方法中，所述步骤3具体为：

步骤3.1：利用机械臂向放矿设备中填装定量的矿石散体后，将散体表面铺平；

步骤3.2：在矿石散体表面上放置标志颗粒盘，按照标志颗粒盘上的通孔位置摆放标志颗粒；

步骤3.3：重复步骤3.1和3.2直至材料装填达到实验要求高度。

在本发明的基于图像识别的自动化放矿实验方法中，所述步骤5具体为：

步骤5.1：加载最终模型的ckpt文件，将上述保存的神经网络节点参数加载至神经网络当中形成检测模型等待待检测图像输入；

步骤5.2：实时读取摄像机监控视频，将每层的图像依次输入到检测模型当中进行检测，输出为带有检测框的检测图像，该检测框会显示出标志颗粒的颜色、编号和图片中散体的面积信息；

步骤5.3：将每层面积进行叠加，将叠加的面积与散体单层平均厚度相乘即可得出标志颗粒出现时对应的放出体的体积。

本发明还提供一种基于图像识别的自动化放矿实验系统，包括：放矿设备、导流和传送设备、摄像识别设备、数据处理设备、矿石回收设备和机械臂装置；

所述放矿设备用于放置矿石和标志颗粒，以实现底部放矿和侧端放矿，并使各标志颗粒所在层的散体放出后间隔分离；

所述导流和传送设备设置于放矿设备下方，用于接收放出的矿石和标志颗粒；

所述摄像识别设备设于导流和传送设备上方，用于拍摄矿石和标志颗粒图像；

所述数据处理设备用于接收矿石和标志颗粒图像，并识别出各个图像中标志颗粒的颜色和编号，利用编号直接还原法和达孔量法分别处理数据，绘制放出体形态；

所述矿石回收设备设置于导流和传送设备的末端用于回收矿石和标志颗粒；

所述机械臂装置用于向放矿设备中填装矿石和标志颗粒，并在侧端放矿时进行耙矿。

在本发明的基于图像识别的自动化放矿实验系统中，所述放矿设备包括：铝型材支架，所述铝型材支架的三个侧面通过透明板封闭，另一侧面通过多块可拆卸钢板拼接封闭，可通过拆卸下端的可拆卸钢板实现侧端放矿；铝型材支架的底部通过底部钢板封闭并在钢板中心设置放矿口，以实现底部放矿；在侧面的透明板和底部钢板上设有压力传感器，用于实时记录实验过程中各个位置受力的变化情况；在放矿口下部设有颜色识别传感器和自动挡板，当标志颗粒出现在放矿口处时，颜色识别传感器识别后将信号传给PLC控制器，PLC控制器控制步进电机驱动自动挡板关闭放矿口，间隔预定时间后重新开启放矿口，使各标志颗粒所对应的散体放出后间隔分离，方便后续拍摄识别。

在本发明的基于图像识别的自动化放矿实验系统中，所述数据处理设备包括：图像处理模块、图像识别模块和放出体绘制模块；

所述图像处理模块用于对图像进行裁剪，将图片调整到相同尺寸，构成图像样本库；

所述图像识别模块采用神经网络算法识别出各个图像中的标识颗粒的颜色和编号；

所述放出体绘制模块采用直接还原法和达孔量法分别处理数据，绘制放出体形态。

本发明的一种基于图像识别的自动化放矿实验方法及系统，可实现流程自动化，不同于传统方法需要人工测重、挑选辨识标志颗粒和记录数据，本方法可以利用机械臂完成矿石的装填和放出过程，可以利用相机和后期分析完成放出体还原的过程，省时省力。传统实验每次放出的散体中均包含多个标志颗粒，这些标志颗粒所对应的达孔量数值相同，因此导致实验存在较大误差。本方法采用连续作业，因此可以更为精准地测量每个标志颗粒的达孔量值，以此得到的放出体形态更加精确。本方法可用于一切利用标志颗粒研究放矿规律的实验中。

附图说明

图1是本发明的一种基于图像识别的自动化放矿实验方法的流程图；

图2检测框参数计算示意图；

图3是本发明的一种基于图像识别的自动化放矿实验系统的底部放矿安装示意图；

图4是本发明的一种基于图像识别的自动化放矿实验系统的侧端放矿安装示意图；

图5是放矿设备的底部放矿时内部示意图；

图6是放矿设备的底部放矿时底部示意图；

图7是放矿设备的底部放大图。

图中：1、放矿设备；2、摄像识别设备；3、数据线；4、数据处理设备；5、支架；6、传送带；7、矿石回收设备；8、导流槽；9、滑轨；10、底座；11、多关节机械臂；12、机械手；101、铝型材支架；102、透明板；103、可拆卸钢板；104、底部钢板；105、放矿口；106、压力传感器；107、颜色识别传感器；108、自动挡板；109、PLC控制器；110、步进电机。

具体实施方式

如图1所示，本发明的一种基于图像识别的自动化放矿实验方法，包括如下步骤：

步骤1：制作标志颗粒，通过颜色和标号来标识标志颗粒的放置方位，所述步骤1具体为：

步骤1.1：将标志颗粒染成不同的颜色用以表示所在高度的不同，再进行烘干；

步骤1.2：在染色烘干后的标志颗粒上标注两位数字的编号，第一位数字表示方向角度，第二位数字表示标志颗粒放置位置距离中心的间距。

为了提高图像识别的精度，制作的标志颗粒应在任意角度放置时均可被准确的识别出颜色和编号，为此在制作标志颗粒时应尽量挑选形状规则的颗粒，并在多个方向上进行编号，以达到准确识别的目的。标志颗粒也可以选取与实验材料大小性质相似的形状规则的其他材料用以提高识别精度。

步骤2：拍摄多张混合有标志颗粒的矿石散体的图像并对图像进行处理，构成图像训练集，通过图像训练集对卷积神经网络进行训练，所述步骤2具体为：

步骤2.1：利用labelImg对训练集中的图像进行标注，标识颗粒按照颜色和标号表示；

具体实施时，对图像名称重命名，命名格式如000001.jpg，将命名后的图像放入VOC2007文件夹中。将标志颗粒按照颜色：红、橙、黄、绿、青、蓝、紫和编码：01-79，依次表示，例如red-01、red-29、orange-01、orange-79，将未做标记的白云岩砂砾用none表示。

步骤2.2：将图像中labelImg标注后的标识颗粒和矿石散体名称信息、标注框左上角坐标和长宽信息均自动保存为xml数据形式，每一张图像标注之后就会产生一个与之相对应的xml文件，文件名称如000001.xml，每一个xml文件当中保存着这一张图像的所有标注框信息；

具体实施时，xml文件的保存路径同样设置为VOC2007，标注完成之后，在VOC2007文件夹下新建Annotations文件夹、ImageSets文件夹和JPEGImages文件夹，将图像数据全部移动至JPEGImages文件夹下，将xml文件数据全部移动至Annotations文件夹中。利用xml文件形成四个txt文件来保存图像名称，分别为训练集train.txt、测试集test.txt、训练验证集trainval.txt、验证集val.txt，将四个txt文件保存至ImageSets文件下的main文件夹中。

步骤2.3：设置初始学习率、衰减率、衰减因子和总迭代次数；

步骤2.4：对训练集中的图像进行随机剪切、旋转和RGB强度变化，再对图像进行归一化处理，将增强后的图像的像素处理为相同大小，具体为416×416；

步骤2.5：将处理之后的图像和相应产生的xml文件输入到YOLO-V3模型中，利用GPU加速对模型进行训练，训练过程将每一步的分类损失值、回归损失值、总损失值保存为csv文件；

所述步骤2.5具体为：

步骤2.5.1：首先经过Darknet-53特征提取网络对输入图像进行特征提取，得到13×13的特征图；

步骤2.5.2：然后将得到的特征图分成13×13个分割网格，每一个分割网格都会产生3个尺度不同的矩形预测框；

步骤2.5.3：输入图像的原始标注框的中心点必然会落在某一个分割网格当中，此时选择那一分割网格产生的三个预测框中与原始标注框重叠面积最大的一个预测框作为最终检测框来预测目标；

最终检测框的坐标预测公式为：

b_x＝σ(t_x)+c_x

b_y＝σ(t_y)+c_y

t_x、t_y、t_w、t_h就是神经网络模型的预测输出，c_x和c_y表示特征图中分割网格的左上角坐标，每个小网格在特征图中的宽和高均为1，比如某层的特征图大小是13×13，那么分割网格就有13×13个，第0行第1列的分割网格的坐标c_x就是0，c_y就是1；P_w和P_h表示预测前预测框的size，b_x、b_y、b_w和b_h就是预测得到的检测框的中心的坐标和尺度；坐标的损失采用的是平方误差损失，最后将特征提取过程中下采样产生的52×52、26×26、13×13的特征图融合到一起进行最终预测，计算出预测与标签的误差值，采用反向传播的方式进行网络参数调整优化，不断减小误差，待误差减小至趋于平稳时的网络节点参数就是我们需要保存的网络参数，即最终的预测模型。

如图2所示，预测框，即图中虚线框的中心属于第二行第二列的划分网格，它的左上角坐标为(1，1)，故c_x＝1，c_y＝1。公式中的P_w和P_h是网络预设的边框映射到特征图中的宽和高。

最终得到的边框坐标值是b_x、b_y、b_w和b_h即检测框相对于特征图的位置和大小，是我们需要的预测输出坐标。但我们网络实际上的学习目标是t_x、t_y、t_w、t_h，用sigmoid函数(即：δ)将t_x、t_y压缩到[0，1]区间內，可以有效的确保目标中心处于执行预测的分割网格中，防止偏移过多。网络不会预测出检测框中心的确切坐标而是预测与预测目标的分割网格左上角相关的偏移t_x、t_y。如13×13的特征图中，某个目标的中心点预测为(0.4，0.7)，它的c_x和c_y即中心落入的划分网格坐标是(6，6)，则该物体的在特征图中的中心实际坐标显然是(6.4，6.7).这种情况没有错误，但若t_x、t_y大于1，比如(1.2，0.7)则该物体在特征图的中心实际坐标是(7.2，6.7)，这时候该物体中心在这个物体所属分割网格外面了，但(6，6)这个分割网格却检测出我们这个格内含有目标的中心(yolov3是采取物体中心归哪个划分网格，整个物体就归哪个网格了)，这样就矛盾了，因为左上角为(6，6)的分割网格负责预测这个物体，这个物体中心必须出现在这个网格中而不能出现在它旁边网格中，一旦t_x、t_y算出来大于1就会引起矛盾，因而必须用sigmoid函数归一化。

训练过程中产生的t_w、t_h是用下面公式计算得出：

其中G_w和G_h是原始标注框的宽和高，因此当计算目标预测框的b_w和b_h时要用指数反算回去。

步骤2.6：训练结束后，利用csv文件生成分类、回归和总损失折线图，如果损失波动不大，说明模型训练效果良好，选择各类损失折线均收敛时的模型为最终模型，并且将此时的神经网络模型当中的各个节点参数保存下来，形成ckpt文件为最终的模型参数。

步骤3：填装实验材料，通过机械臂向放矿设备中逐层填装矿石散体和标志颗粒，直到达到实验要求高度，所述步骤3具体为：

步骤3.1：利用机械臂向放矿设备中填装定量的矿石散体后，将散体表面铺平；

步骤3.2：在矿石散体表面上放置标志颗粒盘，按照标志颗粒盘上的通孔位置摆放标志颗粒；

步骤3.3：重复步骤3.1和3.2直至材料装填达到实验要求高度。

步骤4：开启放矿设备，并拍摄每层矿石散体和标志颗粒的图像；

步骤5：通过训练好的卷积神经网络对放矿设备放出的散体图像进行识别，获得每个标志颗粒的颜色和编号，以及标志颗粒出现时对应的放出体体积，所述步骤5具体为：

步骤5.1：加载最终模型的ckpt文件，将上述保存的神经网络节点参数加载至神经网络当中形成检测模型等待待检测图像输入；

步骤5.2：实时读取摄像机监控视频，将每层的图像依次输入到检测模型当中进行检测，输出为带有检测框的检测图像，该检测框会显示出标志颗粒的颜色、编号和图片中散体的面积信息；

步骤5.3：将每层面积进行叠加，将叠加的面积与散体单层平均厚度相乘即可得出标志颗粒出现时对应的放出体的体积。

步骤6：利用编号直接还原法和达孔量法分别处理数据，绘制放出体形态，所述步骤6具体为：

根据识别分析得到的每个标志颗粒的颜色和编号，利用三维模型软件实时还原该标志颗粒在原空间的位置，同时记录各标志颗粒出现时对应的放出体体积数据，利用MATLAB或origin数据处理软件绘制达孔量场，并绘制出放出体的形态，完成实验。

如图3至7所示，本发明的一种基于图像识别的自动化放矿实验系统，包括：放矿设备1、导流和传送设备、摄像识别设备2、数据处理设备4、矿石回收设备7和机械臂装置。

所述放矿设备1用于放置矿石和标志颗粒，以实现底部放矿和侧端放矿，并使各标志颗粒所在层的散体放出后间隔分离。具体实施时，为了使用达孔量法还原放出体的形态，需要在放矿材料中加入标志颗粒。以白色白云岩散体材料为例，为了表征标志颗粒所在空间位置的不同，将标志颗粒染成不同的颜色用以表示所在高度的不同，同时使用黑色中性笔在染色后的标志颗粒上用两位数字编号，其中第一位数字表示方向角度，第二位数字表示标志颗粒距离中心的间距。例如标志颗粒红色，编号02代表红色标志颗粒层的0°方向角的第2个标志颗粒。所述导流和传送设备设置于放矿设备1下方，用于接收放出的矿石和标志颗粒。所述摄像识别设备2设于导流和传送设备上方，用于拍摄矿石和标志颗粒图像。所述数据处理设备4通过数据线3与摄像识别设备2连接，用于接收矿石和标志颗粒图像，并识别出各个图像中标志颗粒的颜色和编号，利用编号直接还原法和达孔量法分别处理数据，绘制放出体形态。所述矿石回收设备7设置于导流和传送设备的末端用于回收矿石和标志颗粒。所述机械臂装置用于向放矿设备中填装矿石和标志颗粒，并在侧端放矿时进行耙矿，具体填装时，通过在矿石颗粒上放置标志颗粒盘，来确保放置的标志颗粒的位置。具体实施时，利用机械臂向放矿设备中装填定量的矿石散体材料后，将矿石散体材料表面铺平，放入标志颗粒盘和标志颗粒，然后重复上述步骤直至材料装填达到实验要求高度。注意继续装填材料时不能破坏标志颗粒的位置，最上面一层标志颗粒的上方要留一定量的覆盖层。图3和图4分别为底部放矿和侧端放矿的系统结构图。

如图5至图7所示，所述放矿设备1铝型材、钢化玻璃和钢板组成，包括：铝型材支架101，所述铝型材支架101的三个侧面通过透明板102封闭，具体可采用钢化玻璃板或亚克力板，透明设计方便观察矿石散体颗粒大的流动情况。另一侧面通过多块可拆卸钢板103拼接而成，方便填装实验材料，可通过拆卸下端的可拆卸钢板103实现侧端放矿。铝型材支架101的底部通过底部钢板104封闭并在底部钢板中心设置放矿口105，以实现底部放矿；以通过更换底部钢板104中心处的小钢片达到控制放矿口尺寸的目的，也可以完全关闭底部放矿口。为了研究放矿过程中设备内受力的变化情况，在侧面的透明板102和底部钢板104上设有压力传感器106，用于实时记录实验过程中各个位置受力的变化情况。

当使用设备进行底部放矿时，更换适当的小钢片并使用螺丝固定在底部钢板104的放矿口105处，同时在放矿口105下部加装颜色识别传感器模块107和自动挡板108，当标志颗粒出现在放矿口时，颜色识别传感器107识别后将信号传给PLC控制器109，PLC控制器109控制步进电机110驱动自动挡板108关闭放矿口105，间隔预定时间后重新开启放矿口，使各标志颗粒所对应的散体放出后间隔分离，方便后续拍摄识别。

当使用设备进行端部放矿时，将底部的放矿口105全合上，同时拆卸最下端的可拆卸钢板103，并选择合适尺寸的小钢片调节端部放矿口尺寸大小。在端部放矿口处设置三面挡板防止矿石发生侧漏，同时通过机械臂不断地将矿石耙入导流槽8最终流向传送带6。

如图3和图4所示，所述导流和传送设备包括：导流槽8和传送带6，传送带6一端设于放矿口105下方，另一端与矿石回收设备7对接。所述导流槽8由底板和多个隔板构成，多个隔板将底板分隔成多个导流通道，导流槽8用于将矿石流分散开，使其平铺到传送带6上，矿石材料之间不发生重叠，有利于视频图像处理时识别标志颗粒和体积计算。传送带6的作用是将放出的矿石不断转移最终完成回收。如图3所示，进行底部放矿时，底板一端与底部钢板104连接且位于放矿口105下方，另一端延伸到传送带6上方。进行侧端放矿时，导流槽8设置于铝型材支架侧面且位于侧端矿石出口下方，另一端延伸到传送带6上方，矿石和标志颗粒可通过导流通道滑落至传送带上。

所述数据处理设备用于实时记录、处理摄像数据并还原标志颗粒原来的空间位置，绘制放出体形态，包括：图像处理模块、图像识别模块和放出体绘制模块。摄像识别设备2将每隔一定时间拍摄的照片传输到数据处理设备上，具体的间隔时间取决于传送带的运行速度，由于放矿口底部的自动挡板的存在，传送带上的矿石会形成明显的间隔分界线，根据传送带的速度设置拍摄的时间间隔使得各个图像之间不会发生重叠。图像传输到数据处理设备后，图像处理模块用于对图像进行裁剪，将图片调整到相同尺寸，构成图像样本库。所述图像识别模块采用神经网络算法识别出各个图像中的标识颗粒的颜色和编号。所述放出体绘制模块采用直接还原法和达孔量法分别处理数据，绘制放出体形态。

如图3和图4所示，摄像识别设备2通过支架5固定在导流和传送设备上方，并与数据处理设备4连接。当放出的矿石出现在有效摄像范围内时进行拍摄记录。所述机械臂装置包括：滑轨9、底座10、多关节机械臂11。多关节机械臂11固定在底座10上，底座10可沿滑轨11移动，多关节机械臂11前端设有机械手12用于填装矿石和标志颗粒，并在侧端放矿时进行耙矿。

以上所述仅为本发明的较佳实施例，并不用以限制本发明的思想，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于图像识别的自动化放矿实验方法，其特征在于，包括如下步骤：

步骤1：制作标志颗粒，通过颜色和标号来标识标志颗粒的放置方位；

步骤2：拍摄多张混合有标志颗粒的矿石散体的图像并对图像进行处理，构成图像训练集，通过图像训练集对卷积神经网络进行训练；

步骤3：填装实验材料，通过机械臂装置向放矿设备中逐层填装矿石散体和标志颗粒，直到达到实验要求高度；

步骤4：开启放矿设备，并通过摄像识别设备拍摄每层矿石散体和标志颗粒的图像；

步骤5：通过训练好的卷积神经网络对放矿设备放出的散体图像进行识别，获得每个标志颗粒的颜色和编号，以及标志颗粒出现时对应的放出体体积；

步骤6：利用编号直接还原法和达孔量法分别处理数据，绘制放出体形态；

所述步骤2具体为：

步骤2.1：利用labelImg对训练集中的图像进行标注，标识颗粒按照颜色和标号表示；

步骤2.2：将图像中labelImg标注后的标识颗粒和矿石散体名称信息、标注框左上角坐标和长宽信息均自动保存为xml数据形式，每一张图像标注之后就会产生一个与之相对应的xml文件，以保存这一张图像的所有标注框信息；

步骤2.3：设置初始学习率、衰减率、衰减因子和总迭代次数；

步骤2.4：对训练集中的图像进行随机剪切、旋转和RGB强度变化，再对图像进行归一化处理，将增强后的图像的像素处理为相同大小；

步骤2.5：将处理之后的图像和相应产生的xml文件输入到YOLO-V3模型中，利用GPU加速对模型进行训练，训练过程将每一步的分类损失值、回归损失值、总损失值保存为csv文件；

步骤2.6：训练结束后，利用csv文件生成分类、回归和总损失折线图，如果损失波动不大，说明模型训练效果良好，选择各类损失折线均收敛时的模型为最终模型，并且将此时的神经网络模型当中的各个节点参数保存下来，形成ckpt文件为最终的模型参数；

所述步骤2.5具体为：

步骤2.5.1：首先经过Darknet-53特征提取网络对输入图像进行特征提取，得到13×13的特征图；

步骤2.5.2：然后将得到的特征图分成13×13个分割网格，每一个分割网格都会产生3个尺度不同的矩形预测框；

步骤2.5.3：输入图像的原始标注框的中心点必然会落在某一个分割网格当中，此时选择那一分割网格产生的三个预测框中与原始标注框重叠面积最大的一个预测框作为最终检测框来预测目标。

2.如权利要求1所述的基于图像识别的自动化放矿实验方法，其特征在于，所述步骤1具体为：

步骤1.1：将标志颗粒染成不同的颜色用以表示所在高度的不同，再进行烘干；

步骤1.2：在染色烘干后的标志颗粒上标注两位数字的编号，第一位数字表示方向角度，第二位数字表示标志颗粒放置在该方向角上距离中心的远近顺序。

3.如权利要求1所述的基于图像识别的自动化放矿实验方法，其特征在于，所述步骤2.5.3中最终检测框的坐标预测公式为：

b_x＝σ(t_x)+c_x

b_y＝σ(t_y)+c_y

t_x、t_y、t_w、t_h就是神经网络模型的预测输出，t_x、t_y是预测的坐标偏移值，t_w、t_h是尺度缩放，c_x和c_y表示特征图中分割网格的左上角坐标；P_w和P_h表示预测前预测框的size，b_x、b_y、b_w和b_h是预测得到的检测框的中心的坐标和尺度；

训练过程中产生的t_w、t_h是用下面公式计算得出：

其中G_w和G_h是原始标注框的宽和高。

4.如权利要求1所述的基于图像识别的自动化放矿实验方法，其特征在于，所述步骤3具体为：

步骤3.1：利用机械臂向放矿设备中填装定量的矿石散体后，将散体表面铺平；

步骤3.2：在矿石散体表面上放置标志颗粒盘，按照标志颗粒盘上的通孔位置摆放标志颗粒；

步骤3.3：重复步骤3.1和3.2直至材料装填达到实验要求高度。

5.如权利要求1所述的基于图像识别的自动化放矿实验方法，其特征在于，所述步骤5具体为：

步骤5.1：加载最终模型的ckpt文件，将上述保存的神经网络节点参数加载至神经网络当中形成检测模型等待待检测图像输入；

步骤5.2：实时读取摄像机监控视频，将每层的图像依次输入到检测模型当中进行检测，输出为带有检测框的检测图像，该检测框会显示出标志颗粒的颜色、编号和图片中散体的面积信息；

步骤5.3：将每层面积进行叠加，将叠加的面积与散体单层平均厚度相乘即可得出标志颗粒出现时对应的放出体的体积。

6.一种基于图像识别的自动化放矿实验系统，其特征在于，包括：放矿设备、导流和传送设备、摄像识别设备、数据处理设备、矿石回收设备和机械臂装置；

所述放矿设备用于放置矿石和标志颗粒，以实现底部放矿和侧端放矿，并使各标志颗粒所在层的散体放出后间隔分离；标志颗粒上标注有两位数字的编号，第一位数字表示方向角度，第二位数字表示标志颗粒放置在该方向角上距离中心的远近顺序；通过标志颗粒盘确保标志颗粒的放置位置；

所述导流和传送设备设置于放矿设备下方，用于接收放出的矿石和标志颗粒；

所述摄像识别设备设于导流和传送设备上方，用于拍摄矿石和标志颗粒图像；

所述数据处理设备用于接收矿石和标志颗粒图像，将每层的图像依次输入到通过训练好的卷积神经网络当中进行检测，输出为带有检测框的检测图像，该检测框会显示出标志颗粒的颜色、编号和图片中散体的面积信息；将每层面积进行叠加，将叠加的面积与散体单层平均厚度相乘即可得出标志颗粒出现时对应的放出体的体积；利用编号直接还原法和达孔量法分别处理数据，绘制放出体形态；

所述矿石回收设备设置于导流和传送设备的末端用于回收矿石和标志颗粒；

所述机械臂装置用于向放矿设备中填装矿石和标志颗粒，并在侧端放矿时进行耙矿。

7.如权利要求6所述的基于图像识别的自动化放矿实验系统，其特征在于，所述放矿设备包括：铝型材支架，所述铝型材支架的三个侧面通过透明板封闭，另一侧面通过多块可拆卸钢板拼接封闭，可通过拆卸下端的可拆卸钢板实现侧端放矿；铝型材支架的底部通过底部钢板封闭并在钢板中心设置放矿口，以实现底部放矿；在侧面的透明板和底部钢板上设有压力传感器，用于实时记录实验过程中各个位置受力的变化情况；在放矿口下部设有颜色识别传感器和自动挡板，当标志颗粒出现在放矿口处时，颜色识别传感器识别后将信号传给PLC控制器，PLC控制器控制步进电机驱动自动挡板关闭放矿口，间隔预定时间后重新开启放矿口，使各标志颗粒所对应的散体放出后间隔分离，方便后续拍摄识别。

8.如权利要求6所述的基于图像识别的自动化放矿实验系统，其特征在于，所述数据处理设备包括：图像处理模块、图像识别模块和放出体绘制模块；

所述图像处理模块用于对图像进行裁剪，将图片调整到相同尺寸，构成图像样本库；

所述图像识别模块采用神经网络算法识别出各个图像中的标识颗粒的颜色和编号；

所述放出体绘制模块采用直接还原法和达孔量法分别处理数据，绘制放出体形态。

Images