CN112348167A - 一种基于知识蒸馏的矿石分选方法和计算机可读存储介质 - Google Patents

Abstract

本发明提出一种基于知识蒸馏的矿石分选方法，它结合改进型LeNet和残差网络(ResNet)，利用知识蒸馏(Knowledge Distillation)理论，建立老师—学生(teacher—student)模型，它可以将复杂的老师模型的知识提取到更为精简的学生模型中，提高学生网络的泛化与识别能力，压缩神经网络的框架，快速并精确地对数据进行处理和分类。因此，通过利用知识蒸馏组建老师—学生网络，能够保证在不增加时间的基础上，提升分类准确度，能够快速精准的处理矿石数据，高度智能化，性能稳定可靠，可以更快更准的分选出精矿和尾矿。

Description

一种基于知识蒸馏的矿石分选方法和计算机可读存储介质

技术领域

本发明涉及矿石分选，更具体地说，涉及一种基于知识蒸馏的矿石分选方法和计算机可读存储介质。

背景技术

在矿山企业中，研究者利用卷积神经网络进行矿石图像分类，进而达到矿石分选的目的。这样的智能选矿方法并不是按矿石的物理性质差异进行分选的，而是采用智能识别和大数据计算技术，针对不同的物料特征，建立分析模型，进行数据化识别，通过智能抛废系统排出脉石。然而，现有的智能选矿网络为了确保精度，会设置比较复杂且深层的网络，提取更多的特征进行训练，大大的提高了算法的运行时间，处理量会减少，因此在实际中应用的情况不多。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种分选时既能拥有深层网络的高精确度，又能拥有小网络的快速计算，从而能够快速精准的处理矿石数据的基于知识蒸馏的矿石分选方法和计算机可读存储介质。

本发明解决其技术问题所采用的技术方案是：构造一种基于知识蒸馏的矿石分选方法，包括：

S1、获取并预处理矿石图像数据从而获得训练图片集、验证图片集和测试图片集；

S2、根据知识蒸馏理论，选择ResNet网络为老师网络、选择改进型LeNet网络为学生网络，通过知识蒸馏层连接所述ResNet网络和所述改进型LeNet网络以搭建老师-学生网络；

S3、将所述训练图片集输入所述老师-学生网络进行训练并采用所述验证图片集调节所述老师-学生网络的参数以获得多个备选老师-学生网络，并基于所述测试图片集选择出最优老师-学生网络；

S4、基于所述最优老师-学生网络处理矿石图片从而进行矿石分选。

在本发明所述的基于知识蒸馏的矿石分选方法中，所述步骤S1进一步包括：

S11、获取矿石图像数据并将所述矿石图像数据的背景颜色转换成白色；

S12、从所述矿石图像数据中提取矿石有效区域并进行裁剪从而形成矿石图片和废石图片；

S13、基于所述矿石图片和所述废石图片制作所述训练图片集、所述验证图片集和所述测试图片集。

在本发明所述的基于知识蒸馏的矿石分选方法中，所述矿石图片和所述废石图片裁剪成96*96像素。

在本发明所述的基于知识蒸馏的矿石分选方法中，所述训练图片集包括13672张矿石图片和11043张废石图片，所述测试图片集包括5552张矿石图片和2788张废石图片，所述测试图片集包括5544张矿石图片和2536张废石图片。

在本发明所述的基于知识蒸馏的矿石分选方法中，在所述步骤S2中，所述改进型LeNet网络包括输入层、第一结构层、第二结构层、第三结构层、第四结构层、第五结构层、内积层和Softmax层；所述第一结构层包括第一卷积层、第一PReLU激活函数层和第一池化层，所述第二结构层包括第二卷积层、第二PReLU激活函数层和第二池化层，所述第三结构层包括第三卷积层、第三PReLU激活函数层和第三池化层，所述第四结构层包括第四卷积层和第四PReLU激活函数层，所述第五结构层包括第五卷积层、丢弃层和第五PReLU激活函数层。

在本发明所述的基于知识蒸馏的矿石分选方法中，在所述Softmax层中，Softmax函数为：

其中，T表示温度参数，Zj表示所述学生网络的softmax层共有j个神经元输入的logits值，Zi表示所述学生网络的softmax层第i个输入的logits值；logits表示softmax层的输入，q_i表示所述学生网络的softmax输出在第i类上的值，i，j为正整数。

在本发明所述的基于知识蒸馏的矿石分选方法中，所述ResNet网络包括输入层、第一网络结构、第二网络结构、第三网络结构、第四网络结构、内积层和Softmax层。

在本发明所述的基于知识蒸馏的矿石分选方法中，所述第一网络结构依次包括卷积层、批量归一化层、缩放层和PReLU激活函数层，所述第二网络结构依次包括卷积层、批量归一化层和缩放层，所述第三网络结构依次包括第一卷积层、第一批量归一化层、第一缩放层和PReLU激活函数层、第二卷积层、第二批量归一化层和第二缩放层，所述第四网络结构包括求和层和PReLU激活函数层。

在本发明所述的基于知识蒸馏的矿石分选方法中，在所述老师-学生网络中，交叉熵损失函数为L_KD＝αL_soft+βL_hard，其中L_soft为老师网络的损失函数；L_hard为学生网络的损失函数，其中ɑ和β为损失函数可调参数，β＝1-ɑ，ɑ∈(0,1)，其中

其中

为温度＝时，所述老师网络的softmax输出在第i类上的值；

为温度＝T时，所述学生网络的softmax输出在第i类上的值；v_i表示老师网络的logits，Vk表示老师网络softmax层共有N个神经元输入且第k个神经元输入的logits值；Zk表示学生网络softmax层共有N个神经元输入且第k个神经元输入的logits值；Cj表示在第j类上的真实值，Cj∈{0,1}，正标签取1，负标签取0；q_j ¹表示学生网络的在温度＝1下的softmax输出在第i类上的值；k为正整数；N为总样本数量。

本发明还涉及一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现根据权利要求1-9中任意一项权利要求所述的基于知识蒸馏的矿石分选方法。

实施本发明的基于知识蒸馏的矿石分选方法和计算机可读存储介质，利用知识蒸馏组建老师—学生网络，能够保证在不增加时间的基础上，提升分类准确度，能够快速精准的处理矿石数据，高度智能化，性能稳定可靠，可以更快更准的分选出精矿和尾矿。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明的基于知识蒸馏的矿石分选方法的第一优选实施例的流程图；

图2A-2D示出了图1所示实施例采用的泡金山铅锌矿的矿石图片和废石图片；

图3是作为本发明的学生网络的改进型LeNet网络的示意图；

图4A是作为本发明的老师网络的ResNet网络的第一网络结构的示意图；

图4B是作为本发明的老师网络的ResNet网络的第二网络结构的示意图；

图4C是作为本发明的老师网络的ResNet网络的第三网络结构的示意图；

图5是作为本发明的老师网络的ResNet网络的示意图；

图6是采用本发明的老师-学生网络的知识蒸馏算法的流程示意图；

图7是本发明的训练图片集和验证图片集的标记示意图；

图8是本发明的网络训练文件的示意图；

图9是本发明的模型文件的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提出一种基于知识蒸馏的矿石分选方法，它结合改进型LeNet和残差网络(ResNet)，利用Hinton等人提出知识蒸馏(Knowledge Distillation)理论，建立老师—学生(teacher—student)模型，它可以将复杂的老师模型的知识提取到更为精简的学生模型中，提高学生网络的泛化与识别能力，压缩神经网络的框架，快速并精确地对数据进行处理和分类。因此，通过利用知识蒸馏组建老师—学生网络，能够保证在不增加时间的基础上，提升分类准确度，能够快速精准的处理矿石数据，高度智能化，性能稳定可靠，可以更快更准的分选出精矿和尾矿。其克服了工业上对系统的快速反应时间需求，又更准确的分选精矿和尾矿，提高矿石的处理量，减小成本，为企业带来更多的经济效益。

图1是本发明的基于知识蒸馏的矿石分选方法的第一优选实施例的流程图。如图1所示，在步骤S1中，获取并预处理矿石图像数据从而获得训练图片集、验证图片集和测试图片集。在本发明的优选实施例中，首先获取矿石图像数据并将所述矿石图像数据的背景颜色转换成白色。例如在本发明的优选实施例，采用的是如图2A-2D所示的泡金山铅锌矿的矿石图片和废石图片，其中图2A和2B是矿石图片，图2C和2D是废石图片。然后从所述矿石图像数据中提取矿石有效区域并进行裁剪从而形成矿石图片和废石图片。优选的，所述矿石图片和所述废石图片可以裁剪成96*96像素。然后基于所述矿石图片和所述废石图片制作所述训练图片集、所述验证图片集和所述测试图片集。例如所述训练图片集包括13672张矿石图片和11043张废石图片，所述测试图片集包括5552张矿石图片和2788张废石图片，所述测试图片集包括5544张矿石图片和2536张废石图片。当然，在本发明的其他优选实施例中，还可以采用其他的像素大小和图片数量。

在步骤S2中，根据知识蒸馏理论，选择ResNet网络为老师网络、选择改进型LeNet网络为学生网络，通过知识蒸馏层连接所述ResNet网络和所述改进型LeNet网络以搭建老师-学生网络。图3是作为本发明的学生网络的改进型LeNet网络的示意图。如图3所示，所述改进型LeNet网络包括输入层input、第一结构层、第二结构层、第三结构层、第四结构层、第五结构层、内积层ip和Softmax层。所述第一结构层包括第一卷积层Conv 1、第一PReLU激活函数层Prelu 1和第一池化层Pool 1。所述第二结构层包括第二卷积层Conv2、第二PReLU激活函数层Prelu 2和第二池化层Pool 2。所述第三结构层包括第三卷积层Conv3、第三PReLU激活函数层Prelu 3和第三池化层Pool 3。所述第四结构层包括第四卷积层Conv4和第四PReLU激活函数层Prelu 4。所述第五结构层包括第五卷积层Conv5、丢弃层Drop 5和第五PReLU激活函数层Prelu 5。

图4A是作为本发明的老师网络的ResNet网络的第一网络结构的示意图。图4B是作为本发明的老师网络的ResNet网络的第二网络结构的示意图。图4C是作为本发明的老师网络的ResNet网络的第三网络结构的示意图。如图4A所示，所述第一网络结构BlockA依次包括卷积层Conv、批量归一化层BN、缩放层Scale和ReLU激活函数层Rule。如图4B所示，所述第二网络结构BlockB依次包括卷积层Conv、批量归一化层BN和缩放层Scale。如图4C所示，所述第三网络结构Block依次包括所述第一网络结构BlockA和所述第二网络结构BlockB，即依次包括第一卷积层、第一批量归一化层、第一缩放层和PReLU激活函数层、第二卷积层、第二批量归一化层和第二缩放层。

图5是作为本发明的老师网络的ResNet网络的示意图。如图5所示，该ResNet网络包括一个第一网络结构BlockA，多个第二网络结构BlockB、多个第三网络结构Block和多个第四网络结构，一个包含池化层的内积层ip和一个Softmax层。如图5所示，该第四网络结构包括求和层Sum和ReLU激活函数层Relu。各个网络结构的具体连接关系如图5所示。

在本发明中，根据知识蒸馏，搭建老师—学生网络，本发明选择ResNet为老师网络、选择改进型LeNet为学生网络。本发明提出的基于知识蒸馏的矿石分选方法，针对传统矿石分选方法和现有的智能选矿方法不足进行的改进。Hinton于2015年提出知识蒸馏理论，并给出了实际的证明以表达该理论的正确性。知识蒸馏将已经训练好的老师网络的网络信息传递给学生网络，用大网络的信息来指导小网络的构成与训练，操作简易，但却能得到不错的效果。

在本发明中，在softmax函数中增加温度参数T

其中，T表示温度参数，Zj表示所述学生网络的softmax层共有j个神经元输入的logits值，Zi表示所述学生网络的softmax层第i个输入的logits值；logits表示softmax层的输入，q_i表示所述学生网络的softmax输出在第i类上的值，i，j为正整数。

在本发明中，知识蒸馏的损失函数为老师网络和学生网络的结合，交叉熵损失函数交叉熵损失函数为L_KD＝αL_soft+βL_hard，其中L_soft为老师网络的损失函数；L_hard为学生网络的损失函数，ɑ和β为损失函数可调参数，β＝1-ɑ，ɑ∈(0,1)，其中

其中

为温度＝时，所述老师网络的softmax输出在第i类上的值；

为温度＝T时，所述学生网络的softmax输出在第i类上的值；v_i表示老师网络的logits，Vk表示老师网络softmax层共有N个神经元输入且第k个神经元输入的logits值；Zk表示学生网络softmax层共有N个神经元输入且第k个神经元输入的logits值；Cj表示在第j类上的真实值，Cj∈{0,1}，正标签取1，负标签取0；q_j ¹表示学生网络的在温度＝1下的softmax输出在第i类上的值；k为正整数；N为总样本数量，K<N。

在步骤S3中，将所述训练图片集输入所述老师-学生网络进行训练并采用所述验证图片集调节所述老师-学生网络的参数以获得多个备选老师-学生网络，并基于所述测试图片集选择出最优老师-学生网络。图6示出了采用本发明的老师-学生网络的知识蒸馏算法的流程示意图。图7是本发明的训练图片集和验证图片集的标记示意图。图8是本发明的网络训练文件的示意图。图9是本发明的模型文件的示意图。下面结合图6-9对训练过程说明如下。

本发明仿真实验的硬件测试平台是：处理器为Intel(R)Core(TM)i7-6850K CPU，主频为3.60GHz，内存64GB，软件平台为：Win10 64位操作系统和Visual Studio 2015。本发明使用caffe简单实现，输入的数据是泡金山铅锌矿数据。

训练过程如下

数据集分布情况：

训练图片集：矿石图片13672张；废石图片11043张

验证图片集：矿石图片5552张；废石图片2788张

测试图片集：矿石图片5544张；废石图片2536张

将训练图片集和验证图片集的矿石标记为1、废石标记为0，随机打乱，示例如图7。将图片数据转换成LEVELDB数据格式。创建训练网络文件train_val.prorotxt，此文件中包含输入、输出、各网络层，修改此文件中的对应的训练数据、均值、测试数据的绝对路径；然后设置solver.prototxt文件，此文件用来配置训练测试的参数文件，文件内容示例如图8，其中包括如下参数：

net：训练测试网络配置文件

test_iter：表示测试的次数

test_interval：表示你的网络迭代多少次才进行一次测试

base_lr：表示基础学习率，在参数梯度下降优化的过程中，学习率会有所调整

lr_policy：学习率变化策略

weight_decay：表示权重衰减，用于防止过拟合

momentum：表示上一次梯度更新的权重

display：表示屏幕显示迭代结果的间隔

max_iter：最大迭代次数

snapshot：保存模型间隔

snapshot_prefix：保存模型的前缀

type：caffe优化算法类型

solver_mode：是否使用GPU

当然，在本发明的其他优选实施例中，还可以包含其他参数，或者只包含上述部分参数。

然后，创建train.bat文件，运行，训练网络，得到多个模型文件，模型文件示例如图9所示。

然后，在验证集上，将模型逐一进行验证，观察分选结果。若想提高分选精度，可以不断尝试修改train_val.prorotxt文件中batch_size、temperature或其他网络层的参数，同时调试solver.prototxt文件中的各个配置参数，再重新进行训练验证，最后得到分选效果最佳的模型即可，该最优模型即最优老师-学生网络

在步骤S5中，基于所述最优老师-学生网络处理矿石图片从而进行矿石分选。

本发明利用知识蒸馏，能用小网络对矿石进行实时快速分类，克服传统或现有矿石分选方法的精度不高、速度不快、处理量不大、成本高等缺点。本发明使用知识蒸馏，让LeNet学习到ResNet的分类概率分布，即软标签，ResNet网络指导LeNet网络训练，提高由简单网络分选的准确度，同时保留下简单网络训练用时少的优点。在处理成吨重量的矿石时，用时少和精确度都要同时保证，在这样的情况下，本发明可以满足这样的需求，给企业带来可观的效益。本发明相对于传统的矿石分选方法有着更高的精度和更快的速度，可以更好的处理大量的矿石数据。

因此，本发明可以通过硬件、软件或者软、硬件结合来实现。本发明可以在至少一个计算机系统中以集中方式实现，或者由分布在几个互连的计算机系统中的不同部分以分散方式实现。任何可以实现本发明方法的计算机系统或其它设备都是可适用的。常用软硬件的结合可以是安装有计算机程序的通用计算机系统，通过安装和执行程序控制计算机系统，使其按本发明方法运行。

本发明还可以通过计算机程序产品进行实施，程序包含能够实现本发明方法的全部特征，当其安装到计算机系统中时，可以实现本发明的方法。本文件中的计算机程序所指的是：可以采用任何程序语言、代码或符号编写的一组指令的任何表达式，该指令组使系统具有信息处理能力，以直接实现特定功能，或在进行下述一个或两个步骤之后实现特定功能：a)转换成其它语言、编码或符号；b)以不同的格式再现。

虽然本发明是通过具体实施例进行说明的，本领域技术人员应当明白，在不脱离本发明范围的情况下，还可以对本发明进行各种变换及等同替代。另外，针对特定情形或材料，可以对本发明做各种修改，而不脱离本发明的范围。因此，本发明不局限于所公开的具体实施例，而应当包括落入本发明权利要求范围内的全部实施方式。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于知识蒸馏的矿石分选方法，其特征在于，包括：

S1、获取并预处理矿石图像数据从而获得训练图片集、验证图片集和测试图片集；

S2、根据知识蒸馏理论，选择ResNet网络为老师网络、选择改进型LeNet网络为学生网络，通过知识蒸馏层连接所述ResNet网络和所述改进型LeNet网络以搭建老师-学生网络；

S3、将所述训练图片集输入所述老师-学生网络进行训练并采用所述验证图片集调节所述老师-学生网络的参数以获得多个备选老师-学生网络，并基于所述测试图片集选择出最优老师-学生网络；

S4、基于所述最优老师-学生网络处理矿石图片从而进行矿石分选。

2.根据权利要求1所述的基于知识蒸馏的矿石分选方法，其特征在于，所述步骤S1进一步包括：

S11、获取矿石图像数据并将所述矿石图像数据的背景颜色转换成白色；

S12、从所述矿石图像数据中提取矿石有效区域并进行裁剪从而形成矿石图片和废石图片；

S13、基于所述矿石图片和所述废石图片制作所述训练图片集、所述验证图片集和所述测试图片集。

3.根据权利要求2所述的基于知识蒸馏的矿石分选方法，其特征在于，在所述步骤S12中，所述矿石图片和所述废石图片裁剪成96*96像素。

4.根据权利要求2所述的基于知识蒸馏的矿石分选方法，其特征在于，在所述步骤S13中，所述训练图片集包括13672张矿石图片和11043张废石图片，所述测试图片集包括5552张矿石图片和2788张废石图片，所述测试图片集包括5544张矿石图片和2536张废石图片。

5.根据权利要求1所述的基于知识蒸馏的矿石分选方法，其特征在于，在所述步骤S2中，所述改进型LeNet网络包括输入层、第一结构层、第二结构层、第三结构层、第四结构层、第五结构层、内积层和Softmax层；所述第一结构层包括第一卷积层、第一PReLU激活函数层和第一池化层，所述第二结构层包括第二卷积层、第二PReLU激活函数层和第二池化层，所述第三结构层包括第三卷积层、第三PReLU激活函数层和第三池化层，所述第四结构层包括第四卷积层和第四PReLU激活函数层，所述第五结构层包括第五卷积层、丢弃层和第五PReLU激活函数层。

6.根据权利要求5所述的基于知识蒸馏的矿石分选方法，其特征在于，在所述Softmax层中，Softmax函数为：

其中，T表示温度参数，Zj表示所述学生网络的softmax层共有j个神经元输入的logits值，Zi表示所述学生网络的softmax层第i个输入的logits值；logits表示softmax层的输入，q_i表示所述学生网络的softmax输出在第i类上的值，i，j为正整数。

7.根据权利要求1所述的基于知识蒸馏的矿石分选方法，其特征在于，所述ResNet网络包括输入层、第一网络结构、第二网络结构、第三网络结构、第四网络结构、内积层和Softmax层。

8.根据权利要求7所述的基于知识蒸馏的矿石分选方法，其特征在于，所述第一网络结构依次包括卷积层、批量归一化层、缩放层和ReLU激活函数层，所述第二网络结构依次包括卷积层、批量归一化层和缩放层，所述第三网络结构依次包括第一卷积层、第一批量归一化层、第一缩放层和ReLU激活函数层、第二卷积层、第二批量归一化层和第二缩放层，所述第四网络结构包括求和层和ReLU激活函数层。

9.根据权利要求8所述的基于知识蒸馏的矿石分选方法，其特征在于，在所述老师-学生网络中，交叉熵损失函数为L_KD＝αL_soft+βL_hard，其中L_soft为老师网络的损失函数；L_hard为学生网络的损失函数，其中ɑ和β为损失函数可调参数，β＝1-ɑ，ɑ∈(0,1)，其中

其中

为温度＝时，所述老师网络的softmax输出在第i类上的值；

为温度＝T时，所述学生网络的softmax输出在第i类上的值；v_i表示老师网络的logits，Vk表示老师网络softmax层共有N个神经元输入且第k个神经元输入的logits值；Zk表示学生网络softmax层共有N个神经元输入且第k个神经元输入的logits值；Cj表示在第j类上的真实值，Cj∈{0,1}，正标签取1，负标签取0；q_j ¹表示学生网络的在温度＝1下的softmax输出在第i类上的值；k为正整数；N为总样本数量。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现根据权利要求1-9中任意一项权利要求所述的基于知识蒸馏的矿石分选方法。

Images