CN115205234A - 基于深度学习的砂石粒度分布曲线检测方法 - Google Patents

Abstract

基于深度学习的砂石粒度分布曲线检测方法，它涉及一种砂石粒径检测方法，属于微小目标检测技术领域。本发明是为了解决对于堆叠严重、矿石密度大的图像，水岭算法容易导致欠分割的技术问题。本方法如下：一、数据采集；二、训练数据集构建；三、模型训练；四、粒度分布预测。本发明方法解决了对于堆叠严重、矿石密度大的图像，水岭算法导致欠分割的技术问题。实现了矿石粒度检测的实时化、自动化、智能化，能对破碎所产生的砂石粒度分布进行实时监测。通过粒度分布的情况进而对生产作业进行指导、实现智能生产。

Description

基于深度学习的砂石粒度分布曲线检测方法

技术领域

本发明涉及一种砂石粒径检测方法，属于微小目标检测技术领域。

背景技术

粒度控制是选矿破碎作业中的核心工作。粒度参数主要有破碎颗粒的面积、周长、粒径和体积等；粒度分布是指不同粒度的颗粒占总颗粒的百分比含量。破碎矿石的粒度分布是破碎过程主要的工艺考核指标，若能精确检测破碎矿石产品的粒度分布，并据此对破碎工序控制参数进行及时调节，调整破碎产品的粒度分布，那么就可以实现破碎过程粒度控制的优化，进一步提高破碎效率，降低能源消耗。

砂石粒度检测的方法之一是通过图像分割来实现的。图像分割算法可以简单分为基于传统视觉的图像分割方法和基于神经网络的图像分割方法。传统视觉分割主要包括分水岭、Canny算子和Graph cut算法。Michel Couprie提出了分水岭算法，根据分水岭的构成来考虑图像的分割。分水岭计算分两个步骤，一个是排序过程，一个是淹没过程。首先对每个像素的灰度级进行从低到高排序，然后在从低到高实现淹没过程中，对每一个局部极小值采用先进先出(FIFO)结构进行判断及标注。分水岭算法在诸多分割任务中验证了操作的可行性。澳洲科学家Canny开发出多级边缘检测算法Canny算子，创造了边缘检测计算理论并且应用于图像分割领域。Canny算子通过降噪、寻找图像中的亮度梯度、在图像中跟踪边缘等步骤完成图像的边缘检测，并且这种方法可以适用于不同的场合。Boykov等人则将Graph cut用于分割任务当中。此类方法把图像分割看作像素标记问题，目标区域和背景区域标记为不同的值。进而通过最小化能量函数来得到目标区域和背景区域的边界即可得到分割结果。

由于矿石图像对比度低，粒度差异大，形态差异大，分割算法很难取得较好的结果。针对矿石堆积不严重，矿石目标与背景能够明显区分的图像，使用传统的视觉算法能够非常好地进行分割。但是对于堆叠严重、矿石密度大的图像，传统方法的效果大打折扣，分水岭算法容易导致欠分割，canny算子则对噪声过于敏感。使用神经网络进行语义分割依赖于大量的数据集，现有的关于语义分割的公开数据集主要是在目标较为稀疏的场景下进行实验，针对矿石粒度检测当前没有合适的数据集，并且当前语义分割方案主要是分割不同的物体类别，对于高密度的不同粒径的同类物体的分割是否适用还有待研究。

发明内容

本发明的目的是为了解决对于堆叠严重、矿石密度大的图像，水岭算法容易导致欠分割的技术问题，提供了一种基于深度学习的砂石粒度分布检测方法。

基于深度学习的砂石粒度分布曲线检测方法，步骤如下：

一、数据采集；

二、训练数据集构建：对于一个砂石标注信息定义为(x₁，y₁，x₂，y₂)，其中坐标系原点为砂石图像X左上方，粒径长度为

单位为像素，通过像素和实际真实距离之间的校准，完成了像素到指定单位(毫米)的换算，所有的粒径信息存储在一个CSV文件中，在读取时候使用一个字典进行表达，其中索引为砂石在图像位置，数值为这个砂石的粒径长度，在粒度检测中，图像的标签是一个图像中矿石的粒度分布情况，采用离散型概率分布来对图像粒度分布进行表达，设计离散型随机变量X，K个特定大小的粒径{t₀，t₁，...t_k}且满足t₀≤t₁≤…≤t_K，完成粒径信息到粒度信息的转换，对于粒度分布P，有

其中P(t_m≤X＜t_n)代表一张图像中粒径范围在[t_m，t_n)中砂石数目占总体砂石数目的比例，n代表图像中砂石的总数目，A代表图像中粒径的集合；

三、模型训练：

采用反向传播方法训练模型，训练过程中采用KL散度作为损失函数，骨架网络采用DenseNet-121结构，头部网络采用线性层，

使用卷积神经网络通过接受砂石图像X，对矿石图像进行特征提取，为了得到不同粒径砂石的分布信息，网络头部将矿石图像特征向量回归为一组输出向量来表示每个粒径范围的矿石分布，然后输出预测砂石粒度分布曲线Y，并且和砂石真实粒度分布曲线Y^*进行比较，通过损失函数KL散度计算出损失收敛，驱动模型进行学习，当损失收敛到一个极小值时(理论是0，实际是个接近0的数)粒度预测的神经网络训练完毕，然后反向传播来学习模型参数，建立输入图像和粒度分布曲线之间的映射关系M:X->Y；

四、粒度分布预测：在预测阶段，输入拍摄的砂石图像X，系统输出该图像对应的砂石粒径分布，即完成砂石粒度分布曲线检测。

步骤三中所述神经网络采用DenseNet作为算法的骨架网络，其中DenseNet由若干个DenseBlock、卷积层和池化层组成，DenseBlock内部采用了密集链接，内部网络共有L层，在第i层的非线性变换记作H_i(·)，对于第i层的输出记作f_i，并且f_i＝H_i[f₀,f₁,...,f_i-1]，其中[f₀,f₁,…,f_i-1]代表把0到i-1层的结果堆叠在一起，这样第i层的输出结果为前面各层的结果累计在一起后输入到非线性变换层得到的输出结果，通过DenseNet提取到输入砂石图像X所具有的特征，再加入一个全链接层，使用之前所提取到的特征，可完成砂石粒度分布曲线的检测。

步骤三所述损失函数为：

其中P代表砂石真实粒度分布，Q代表预测砂石粒度分布。

本发明方法解决了对于堆叠严重、矿石密度大的图像，水岭算法导致欠分割的技术问题。实现了矿石粒度检测的实时化、自动化、智能化，能对破碎所产生的砂石粒度分布进行实时监测。通过粒度分布的情况进而对生产作业进行指导、实现智能生产。

附图说明

图1是本发明技术路线图；

图2是本发明步骤一中训练神经网络模型过程图；

图3是本发明中DenseNet的基本架构示意图；

图4是本发明实验一中采集到的砂石图像；

图5是本发明实验一中采集到的砂石图像；

图6是本发明实验一中采集到的砂石图像；

图7是图6中砂石的粒径标注图像。

具体实施方式

本发明技术方案不局限于以下所列举具体实施方式，还包括各具体实施方式间的任意组合。

具体实施方式一：本实施方式基于深度学习的砂石粒度分布曲线检测方法，步骤如下：

一、数据采集；

二、训练数据集构建：对于一个砂石标注信息定义为(x₁，y₁，x₂，y₂)，其中坐标系原点为砂石图像X左上方，粒径长度为

单位为像素，通过像素和实际真实距离之间的校准，完成了像素到指定单位(毫米)的换算，所有的粒径信息存储在一个CSV文件中，在读取时候使用一个字典进行表达，其中索引为砂石在图像位置，数值为这个砂石的粒径长度，在粒度检测中，图像的标签是一个图像中矿石的粒度分布情况，采用离散型概率分布来对图像粒度分布进行表达，设计离散型随机变量X，K个特定大小的粒径{t₀，t₁，...t_k}且满足t₀≤t₁≤…≤t_K，完成粒径信息到粒度信息的转换，对于粒度分布P，有

其中P(t_m≤X＜t_n)代表一张图像中粒径范围在[t_m，t_n)中砂石数目占总体砂石数目的比例，n代表图像中砂石的总数目，A代表图像中粒径的集合；

三、模型训练：

采用反向传播方法训练模型，训练过程中采用KL散度作为损失函数，骨架网络采用DenseNet-121结构，头部网络采用线性层，

使用卷积神经网络通过接受砂石图像X，对矿石图像进行特征提取，为了得到不同粒径砂石的分布信息，网络头部将矿石图像特征向量回归为一组输出向量来表示每个粒径范围的矿石分布，然后输出预测砂石粒度分布曲线Y，并且和砂石真实粒度分布曲线Y^*进行比较，通过损失函数KL散度计算出损失收敛，驱动模型进行学习，当损失收敛到一个极小值时(理论是0，实际是个接近0的数)粒度预测的神经网络训练完毕，然后反向传播来学习模型参数，建立输入图像和粒度分布曲线之间的映射关系M:X->Y；

四、粒度分布预测：在预测阶段，输入拍摄的砂石图像X，系统输出该图像对应的砂石粒径分布，即完成砂石粒度分布曲线检测。

具体实施方式二：本实施方式与具体实施方式一不同的是步骤三中所述神经网络采用DenseNet作为算法的骨架网络，其中DenseNet由若干个DenseBlock、卷积层和池化层组成，DenseBlock内部采用了密集链接，内部网络共有L层，在第i层的非线性变换记作H_i(·)，对于第i层的输出记作f_i，并且f_i＝H_i[f₀,f₁,...,f_i-1]，其中[f₀,f₁,…,f_i-1]代表把0到i-1层的结果堆叠在一起，这样第i层的输出结果为前面各层的结果累计在一起后输入到非线性变换层得到的输出结果，通过DenseNet提取到输入砂石图像X所具有的特征，再加入一个全链接层，使用之前所提取到的特征，可完成砂石粒度分布曲线的检测。其他与具体实施方式一相同。

具体实施方式三：本实施方式与具体实施方式一或二不同的是步骤三所述损失函数为：

其中P代表砂石真实粒度分布，Q代表预测砂石粒度分布。

其他与具体实施方式一或二相同。

采用下述实验验证本发明效果：

实验一：

基于深度学习的砂石粒度分布曲线检测方法，步骤如下：

一、数据采集：

构建砂石粒度检测数据集的关键在于使用工业相机获取图像以及对图像进行正确的标注。在图像获取阶段，使用真实的砂石人为进行混合进而用相机进行拍摄获取图像(这种操作相比于直接在生产环境获取图像，具有简便灵活的特点，同时图像并不会有较大差距)，在采集图像中，关键的在于控制图像数据的分布。机器学习的基本原理为从训练集学习数据的分布情况，即算法收敛时候的参数是拟合训练集样本分布的最优参数，经验风险最小化将拟合训练集的数据，当测试集和训练集数据分布相同时，模型在测试集将会达到最优的性能。如果训练集和测试集分布不相同，那么模型在测试集上将会无法取得更好的效果。在构建数据集之初将砂石按照大小进行初步的分类，共分为大粒度、中粒度、小粒度三种。因此在获取图像阶段，不断从三种粒度砂石堆中拿出砂石进行混合，在混合阶段不断重新调整大粒度、中粒度、小粒度三种砂石的比例，如图4-图6，以此来保证砂石分布的均匀性(均匀是分布的均匀，即各种粒度的都有)。

二、训练数据集构建：

完成砂石粒度的获取另一个关键的步骤在于图像数据的标注。砂石的分布信息无法从图像中直接获取，必须借助于统计图像中砂石的个数并且依靠每个砂石的粒径大小计算整体的粒度分布。本实验对于一个砂石标注信息定义为(x₁，y₁，x₂，y₂)，其中坐标系原点为砂石图像左上方。标注如图7所示，其中线条代表标注的砂石粒径。按照上述标注原则粒径长度为

单位为像素。

对像素进行转换。本实验通过像素和实际真实距离之间的校准，完成了像素到指定单位(实际距离，毫米)的换算。通过上述操作流程，完成标注每一张图像中含有的所有砂石的粒径信息。为方便存储和使用，所有的粒径信息存储在一个CSV文件中，在读取时候使用一个字典进行表达，其中索引(Key)为砂石在图像位置，数值(Value)为这个砂石的粒径长度。在粒度检测中，图像的标签是一个图像中矿石的粒度分布情况，概率密度函数能够很好的对分布进行表达，然而对标注提出了更高的要求，因此本实验采用离散型概率分布来对图像粒度分布进行表达，本实验设计离散型随机变量X，K个特定大小的粒径{t₀，t₁，...t_k}且满足t₀≤t₁≤…≤t_K。

因为图7所标注的为一张图像中所有砂石的粒径信息，因此需要完成粒径信息到粒度信息的转换。对于粒度分布P，有

其中P(t_m≤X＜t_n)代表一张图像中粒径范围在[t_m，t_n)中砂石数目占总体砂石数目的比例。n代表图像中砂石的总数目，这个可以从标注信息中获取。A代表图像中粒径的集合，同样可以从标注信息中获取。另外随着数值K的增大，粒度分布P可以更好的对真实的粒度分布进行表达。

本实验设定K＝6，即粒度分布曲线由6种指定的粒径进行划分。

三、模型训练：

采用反向传播方法训练模型，训练过程中采用KL散度作为损失函数，骨架网络采用DenseNet-121结构(是DenseNet结构，DenseNet根据层数不同有多种子结构。选择其中具有121层的DenseNet-121)，头部网络采用线性层，

使用卷积神经网络通过接受砂石图像X，对矿石图像进行特征提取，为了得到不同粒径砂石的分布信息，网络头部将矿石图像特征向量回归为一组输出向量来表示每个粒径范围的矿石分布，然后输出预测砂石粒度分布曲线Y，并且和砂石真实粒度分布曲线Y^*进行比较，通过损失函数KL散度计算出损失收敛，驱动模型进行学习，当损失收敛到一个极小值时(理论是0，实际是个接近0的数)粒度预测的神经网络训练完毕，然后反向传播来学习模型参数，建立输入图像和粒度分布曲线之间的映射关系M:X->Y；

四、粒度分布预测：在预测阶段，输入拍摄的砂石图像X，系统输出该图像对应的砂石粒径分布。预测在t时刻的传送带上砂石粒径分布情况，则需要输入t时刻的工业相机拍摄的砂石图像X_t，便可以得到t时刻的砂石粒度分布，即完成砂石粒度分布曲线检测。

步骤三中所述神经网络采用DenseNet作为算法的骨架网络，其中DenseNet由若干个DenseBlock、卷积层和池化层组成，DenseBlock内部采用了密集链接，内部网络共有L层，在第i层的非线性变换记作H_i(·)，对于第i层的输出记作f_i，并且f_i＝H_i[f₀,f₁,...,f_i-1]，其中[f₀,f₁,…,f_i-1]代表把0到i-1层的结果堆叠在一起，这样第i层的输出结果为前面各层的结果累计在一起后输入到非线性变换层得到的输出结果，通过DenseNet提取到输入砂石图像X所具有的特征，再加入一个全链接层，使用之前所提取到的特征，可完成砂石粒度分布曲线的检测。

步骤三所述损失函数为：

其中P代表砂石真实粒度分布，Q代表预测砂石粒度分布。

首先对数据集进行划分，在测试集上对现有算法性能进行评估，并与分水岭算法进行对比，采用均方误差和正确率对算法性能进行评价。均方误差定义如式(4)所示，其中error_k代表6种指定粒度中第k个粒度的误差，N代表测试集的大小，z_i和

分别是检测和标注(真实)的粒度分布，整体粒度分布的均方误差如公式(5)所示，即所有粒度误差的平均。

均方误差指标能够较好的反应模型对整体数据集预测结果和真实值之间的偏差情况。为了更直观地表示粒度检测的效果，定义检测正确率指标，如公式(6)所示。其中1[·]代表括号内的条件如果是正确的那么数值为1，反之则为0；τ代表阈值。正确率的含义是：如果一张砂石图像的粒度分布和真实分布各个粒径范围的均方误差小于一定的阈值，那么这张图像判别正确反之则错误。

实验结果如表1所示，可以看出本实验的方法(基于神经网络)在6种粒度范围和整体粒度上均高于基于分水岭的算法，并且在小粒度上神经网络得到的提升更加显著。同时可以看到基于神经网络的方法得到的误差均较低，尤其是在大粒度砂石上拥有极低的均方误差，说明大粒度砂石能具有更好的区分度。

表1神经网络和分水岭算法均方误差比较

正确率结果如表2所示，这里取τ＝5％，τ＝7％，τ＝10％三种不同的阈值。实验结果表明，本实验的检测算法性能优于基于分割思想的分水岭算法，当τ＝10％时，在测试集上的正确率达到了100％。上述实验表明基于深度学习的砂石粒度分布曲线检测方法(基于神经网络)的有效性，在实际应用中，可根据需要调整粒度范围的定义。理论上，能够检测出任意粒度等级的分布情况。

表2神经网络和分水岭算法正确率比较

Claims (3)

1.基于深度学习的砂石粒度分布曲线检测方法，其特征在于所述基于深度学习的砂石粒度分布曲线检测方法，步骤如下：

一、数据采集；

二、训练数据集构建：对于一个砂石标注信息定义为(x₁，y₁，x₂，y₂)，其中坐标系原点为砂石图像X左上方，粒径长度为

单位为像素，通过像素和实际真实距离之间的校准，完成了像素到指定单位的换算，所有的粒径信息存储在一个CSV文件中，在读取时候使用一个字典进行表达，其中索引为砂石在图像位置，数值为这个砂石的粒径长度，在粒度检测中，图像的标签是一个图像中矿石的粒度分布情况，采用离散型概率分布来对图像粒度分布进行表达，设计离散型随机变量X，K个特定大小的粒径{t₀，t₁，...t_k}且满足t₀≤t₁≤…≤t_K，完成粒径信息到粒度信息的转换，对于粒度分布P，有

其中P(t_m≤X＜t_n)代表一张图像中粒径范围在[t_m，t_n)中砂石数目占总体砂石数目的比例，n代表图像中砂石的总数目，A代表图像中粒径的集合；

三、模型训练：

采用反向传播方法训练模型，训练过程中采用KL散度作为损失函数，骨架网络采用DenseNet结构，头部网络采用线性层，

使用卷积神经网络通过接受砂石图像X，对矿石图像进行特征提取，为了得到不同粒径砂石的分布信息，网络头部将矿石图像特征向量回归为一组输出向量来表示每个粒径范围的矿石分布，然后输出预测砂石粒度分布曲线Y，并且和砂石真实粒度分布曲线Y^*进行比较，通过损失函数KL散度计算出损失收敛，驱动模型进行学习，当损失收敛到一个极小值时，粒度预测的神经网络训练完毕，然后反向传播来学习模型参数，建立输入图像和粒度分布曲线之间的映射关系M:X->Y；

四、粒度分布预测：在预测阶段，输入拍摄的砂石图像X，系统输出该图像对应的砂石粒径分布，即完成砂石粒度分布曲线检测。

2.根据权利要求1所述基于深度学习的砂石粒度分布曲线检测方法，其特征在于步骤三中所述神经网络采用DenseNet作为算法的骨架网络，其中DenseNet由若干个DenseBlock、卷积层和池化层组成，DenseBlock内部采用了密集链接，内部网络共有L层，在第i层的非线性变换记作H_i(·)，对于第i层的输出记作f_i，并且f_i＝H_i[f₀,f₁,...,f_i-1]，其中[f₀,f₁,…,f_i-1]代表把0到i-1层的结果堆叠在一起，这样第i层的输出结果为前面各层的结果累计在一起后输入到非线性变换层得到的输出结果，通过DenseNet提取到输入砂石图像X所具有的特征，再加入一个全链接层，使用之前所提取到的特征，可完成砂石粒度分布曲线的检测。

3.根据权利要求1所述基于深度学习的砂石粒度分布曲线检测方法，其特征在于步骤三所述损失函数为：

其中P代表砂石真实粒度分布，Q代表预测砂石粒度分布。

Images