CN108225502B - 一种卡车装载矿石质量估计方法及系统 - Google Patents

Abstract

本发明提供一种卡车装载矿石质量估计方法及系统。所述方法包括：基于待采集的卡车车斗矿石图像，利用深度卷积神经网络模型，得到卡车装载矿石质量的估算值。本发明提供一种卡车装载矿石质量估计方法及系统，通过计算机视觉技术与深度卷积神经网络学习方法相结合，自动估算卡车装载的矿石质量，避免了人为因素对矿石计量的影响，具有通行效率高，测量成本低的优点。

Description

一种卡车装载矿石质量估计方法及系统

技术领域

本发明涉及计算机视觉测量领域，更具体地，涉及一种卡车装载矿石质量估计方法及系统。

背景技术

矿石装载卡车经广泛应用于大型露天矿山运输过程。卡车运载计量是矿山的一项日常生产工作，不仅有利于矿山生产管理，提高矿石开采的经济效益，而且能够有效避免车辆超载，降低安全风险。

由于该类型车辆年运载量巨大，因此实现准确测量，显然十分必要。卡车装载矿石质量一般采用地磅或者压力传感器技术来测量，这种测量手段主要是利用卡车行驶至称重区，通过事先在称重区地面安装好的地磅或压力传感器，根据地磅读数直接得到或者根据压力传感器的读数转换得到卡车装载量。

上述卡车运载量的测量方法，所需的测量设备和维护成本较高，而且在称重时必须要求卡车停稳，影响出矿效率。

发明内容

本发明提供一种克服上述问题或者至少部分地解决上述问题的卡车装载矿石质量估计方法及系统。

根据本发明的一个方面，提供一种卡车装载矿石质量估计方法，包括：

S1，基于待采集的卡车车斗矿石图像，利用深度卷积神经网络模型，得到卡车装载矿石质量的估算值。

进一步地，所述深度卷积神经网络模型的建立包括：

S01，在虚拟环境中，随机生成已知体积的矿石单元并下落至卡车车斗，所述矿石单元在所述卡车车斗内的图像作为矿石图像样本；

S02，将所述矿石图像样本作为输入，对原始深度卷积神经网络模型进行深度学习，根据学习结果对模型的超参数的值进行调整，得到调整后的深度卷积神经网络模型；

S03，将所述调整后的深度卷积神经网络模型迁移至真实环境进行现场验证，根据验证结果对所述超参数的值进行调整，得到所述深度卷积神经网络模型。

优选地，所述深度卷积神经网络模型包含三层卷积层和三层池化层，每一层卷积层和每一层池化层依次交替排布，且最后一层池化层为一个神经元。

优选地，所述卡车车斗矿石图像的采集是通过在称重区两侧对称装设摄像头，所述摄像头从所述卡车车斗两侧对所述卡车车斗矿石图像进行抓取。

优选地，在步骤S02中，对所述原始深度卷积神经网络模型进行深度学习是指以Caffe中用于验证CIFAR-10数据集的网络结构为基础，按照3:1的比例将所述卡车车斗矿石图像样本划分为训练集和验证集，并对所述卡车车斗矿石图像样本的标签值进行归一化处理。

优选地，在步骤S03中，所述现场验证是指通过采集现场的卡车车斗矿石图像作为输入，经过测量的所述卡车装载矿石质量作为真实值，对所述调整后的深度卷积神经网络模型进行验证。

优选地，在步骤S01中，所述虚拟环境是指通过物理系统Chrono进行物理世界的构建，然后利用物理引擎irrlicht实现所述矿石单元下落至所述卡车车斗过程的可视化。

优选地，所述矿石单元下落的初始位置在设置范围内随机生成，且每一批下落的矿石单元数量不重复。

根据本发明的另一个方面，提供一种卡车装载矿石质量估计系统，包括：

图像采集单元，用于采集卡车车斗矿石图像；

模型拟合单元：用于将所述图像输入深度卷积神经网络模型，获得卡车装载矿石质量的估算值。

进一步地，所述卡车装载矿石质量估计系统还包括：

样本生成单元，用于在虚拟环境中，随机生成已知体积的矿石单元并下落至卡车车斗，所述矿石单元在所述卡车车斗内的图像作为矿石图像样本；

模型学习单元，用于将所述矿石图像样本作为输入，所述已知体积的矿石单元所对应的质量作为输出，对原始深度卷积神经网络模型进行深度学习，根据学习结果对模型的超参数的值进行调整，得到调整后的深度卷积神经网络模型；

模型验证单元，用于将所述调整后的深度卷积神经网络模型迁移至真实环境进行现场验证，根据验证结果对所述超参数的值进行调整，得到所述深度卷积神经网络模型。

本发明提供一种卡车装载矿石质量估计方法及系统，通过计算机视觉技术与深度卷积神经网络学习方法相结合，自动估算卡车装载的矿石质量，避免了人为因素对矿石计量的影响，具有通行效率高，测量成本低的优点。

附图说明

图1为根据本发明实施例的深度卷积神经网络模型建立的流程图；

图2为根据本发明实施例的深度卷积神经网络模型的结构示意图；

图3为根据本发明实施例的卡车车斗矿石图像采集的网络结构示意图；

图4为根据本发明实施例的一种卡车装载矿石质量估计系统的结构示意图；

图5为根据本发明实施例的一种卡车装载矿石质量估计系统的结构示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

自1998年Lecun提出卷积网络实现手写体数字的识别后，卷积神经网络广泛应用于图像识别、自然语言处理等领域。2006年，Hinton提出深度学习的概念，即深层神经网络。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。随着数据增多与计算能力的提升，深度卷积神经网络(Deep ConvolutionalNeural Network,DCNN)极大提高了各领域的识别效果。

本发明实施例利用DCNN进行图像特征提取，提供一种卡车装载矿石质量估计方法，包括：基于待采集的卡车车斗矿石图像，利用深度卷积神经网络模型，得到卡车装载矿石质量的估算值。

具体地，卡车装载矿石质量估计方法的基本原理是利用深度卷积神经网络模型，将待采集的卡车车斗矿石图像作为该深度卷积神经网络模型的输入，由于在深度卷积神经网络模型中已经确定了卡车车斗矿石图像与卡车装载矿石质量的对应关系，经过模型中各层神经元对图像的拟合和特征提取，输出卡车装载矿石质量的估算值。

上述实施例提供的一种卡车装载矿石质量估计方法，根据深度卷积网络模型中确定的卡车车斗矿石图像与卡车装载矿石质量对应关系，自动估算卡车装载的矿石质量，避免了人为因素对矿石计量的影响，具有通行效率高，测量成本低的优点。

基于上述实施例，图1根据本发明实施例的深度卷积神经网络模型建立的流程图，如图1所示，深度卷积神经网络模型的建立包括：S01，在虚拟环境中，随机生成已知体积的矿石单元并下落至卡车车斗，所述矿石单元在所述卡车车斗内的图像作为矿石图像样本；S02，将所述矿石图像样本作为输入，对原始深度卷积神经网络模型进行深度学习，根据学习结果对模型的超参数的值进行调整，得到调整后的深度卷积神经网络模型；S03，将所述调整后的深度卷积神经网络模型迁移至真实环境进行现场验证，根据验证结果对所述超参数的值进行调整，得到所述深度卷积神经网络模型。

具体地，在实际运用过程中把深层次的卷积神经网络模型看作一个黑盒模型，基于数据样本来调整超参数，改进模型。因此，DCNN运用于新任务的一个主要障碍是如何确定和调整超参数，比如学习率、卷积过滤的核大小和层数，这需要大量的训练和验证。在上述实施例中，确定深度卷积神经网络模型中卡车车斗矿石图像与卡车装载矿石质量的对应关系，也就是确定深度卷积神经网络模型的超参数的类型和值。

进一步地，超参数的类型在原始深度卷积神经网络模型时已经确定，只需利用大量的数据样本对模型进行深度学习(Deep Learning)，深度学习是将上一层神经网络的结果作为下一层神经网络的输入，通过这种方式，可以实现对输入信息进行分级表达，并利用深度学习结果和真实结果比对，进行超参数值的调整，使模拟的输出结果与真实结果靠近。由于超参数的类型在整个深度学习过程中不发生改变，在各实施例中，所有的深度卷积神经网络模型的结构一致，但参数值不同，所对应的输出也就不同。

其中，由于现场采集大量的图像样本比较困难，主要的图像样本在虚拟环境中模拟产生，由于已知下落至卡车车斗的矿石单元体积并计算出其质量，将其质量作为真实结果，用于和学习结果做比对，从而进行超参数的值的调整。在进行深度学习之前，根据对深度卷积神经网络在图像识别领域研究的经验值设定初始超参数的值，对于原始深度卷积神经网络模型的深度学习，输入矿石图像样本，经深度学习后得到模型拟合的学习结果，将学习结果不断的与真实结果作比，根据比对结果对超参数的值进行不断调整，使调整后的模型输出的结果越来越靠近真实结果，最后得到调整后的深度卷积神经网络模型。

同样地，为了提高调整后的深度卷积神经网络模型对真实环境的适应性及估算的准确度，将调整后的深度卷积神经网络模型迁移至真实环境，根据模型现场验证的结果和真实的矿石质量比对，对超参数的值再次进行调整，从而得到所述深度卷积神经网络模型。当然，如果现场条件允许也可以选取多个样本进行验证，从而使模型更加优化。

上述实施例提供的一种卡车装载矿石质量估计方法，利用对深度卷积神经网络模型进行深度学习和现场验证，将拟合结果与真实结果比对，不断对超参数的值进行调整，得到最优的深度卷积神经网络模型，提高了模型估算的准确度。

基于上述各实施例，图2为根据本发明实施例的深度卷积神经网络模型的结构示意图，如图2所示，深度卷积神经网络模型包含三层卷积层和三层池化层，每一层卷积层和每一层池化层依次交替排布，且最后一层池化层为一个神经元。

具体地，由于卡车装载矿石量的估计是一个回归问题，因此采用深度卷积神经网络拟合样本需要将最后一层的神经元数量设置为一，以最后一层神经元的值作为估算值。在卷积神经网络模型中，卷积层把数据通过卷积核变化成特征，便于后续的特征分离。在卷积神经网络中，常常在连续卷积层中间隔插入池化层，池化操作可以减小数据量，从而减小参数，简化计算，防止过拟合。

其中，由于深度卷积神经网络模型是由原始深度卷积神经网络模型通过两次超参数调整得到，因此原始深度卷积神经网络模型和调整后的深度卷积神经网络模型也都包含三层卷积层和三层池化层。在第一层卷积层conv1中，卷积核没有明显的提取边缘特征，但是有明显的颜色特征，比如黄色的卷积核是提取了卡车的颜色信息，与背景颜色相近的卷积核则是提取了背景信息，颜色较暗的卷积核则是提取矿石信息。假定某几个矿石部分颜色亮度值较大，表示矿石部分区域对这几个卷积核的响应值较大，说明这几个卷积核提取了矿石的信息。这几个卷积核颜色较暗，与矿石的颜色相匹配，卷积核提取了矿石的颜色信息。根据conv1提取的矿石车身信息和背景信息的观察表明每个卷积核所提取的特征都不相同，有提取矿石信息的卷积核保证了模型对矿石量估计的可靠性。第一层池化层pool1则根据卷积层提取的图像特征进行数据优化，为下一层卷积层的特征提取做准备。除了最后一层池化层pool3外，其他层级的卷积和池化过程与conv1和pool1相同。在最后一层池化层pool3中将神经元数量设为1，整个神经网络模型输出唯一的卡车装载矿石质量的估算值。

上述实施例提供的一种卡车装载矿石质量估计方法，通过设定三层卷积层和三层池化层相互穿插的深度卷积神经网络模型，保证卡车图像样本的特征提取的有效性，同时将最后一层池化层的神经元的值作为所述卡车装载矿石质量的估算值，提高了整个模型对卡车装载矿石质量估计的可靠性。

基于上述各实施例，图3为根据本发明实施例的卡车车斗矿石图像采集的网络结构示意图，如图3所示，对卡车装载矿石图像的采集是通过在称重区两侧对称装设摄像头2，摄像头2从卡车3车斗两侧对卡车车斗矿石图像进行抓取。通过在称重区两侧对称装设摄像头2，当然摄像头的个数可以为两个、四个或六个，但不限于此，摄像头的位置以保证可以无死角拍摄到卡车3车斗内矿石为准。卡车3从矿堆1装载矿石以后，从当行驶至称重区时，摄像头2从卡车1车斗两侧对卡车车斗矿石图像进行抓取，并将抓取的图像上传至处理系统4，处理系统4将图像作为深度卷积神经网络的输入，经卷积和池化，最终输出卡车装载矿石质量的估算值。

上述实施例提供的一种卡车装载矿石质量估计方法，通过双点或多点摄像头图像采集装置，并进行图像融合，能够提高整个卷积神经网络模型的估算精度。

基于上述各实施例，在步骤S02中，对原始深度卷积神经网络模型进行深度学习是指以Caffe中用于验证CIFAR-10数据集的网络结构为基础，按照3:1的比例将矿石图像样本划分为训练集和验证集，对矿石图像样本设置标签值并进行归一化处理。

具体地，Caffe是一个清晰而高效的深度学习框架，它给出了模型的定义、最优化设置以及预训练的权重，方便用户操作。CIFAR-10数据集含有6万个32*32的彩色图像，共分为10种类型，包含50000张训练图片，10000张验证图片。在实际训练过程中，将矿石图像样本按照3:1的比例分为训练集和验证集，对原始卷积神经网络模型进行深度学习，获取模型的最优化设置，包括超参数的定义和值的设定。同时，在深度学习过程中，为了提高学习效率，将图像样本对应的矿石质量设定标签值进行归一化处理，将装载量除以最大可能的装载量形成0～1之间的数值，使原始卷积神经网络模型的输出结果处于收敛状态。

基于上述各实施例，在步骤S03中，所述验证是指通过采集现场的卡车车斗矿石图像作为输入，经过测量的所述卡车装载矿石质量作为真实值，对调整后的深度卷积神经网络模型进行现场验证。

具体地，由于在虚拟环境下的样本比较理想化，为了对模型进一步优化，需要根据现场的实际样本对模型进行验证。包括采集卡车车斗矿石图像，以及矿石图像所对应的质量进行称重。在本技术方案中，采用地磅对样本进行称重并作为真实值，考虑到取样的实际情况，样本的称重数量在10个左右，当然并不限于此。根据采集的样本对调整后的深度卷积神经网络模型进行现场验证，将模型输出结果与真实结果比对，根据比对结果进一步调整超参数的值，使模型输出结果靠近真实值，从而得到最优化的深度卷积神经网络模型。根据得到的深度卷积神经网络模型，在现场采集卡车装载矿石的图像，并将图像输入至深度卷积神经网络模型，即可输出对应的矿石质量的估算值。

基于上述各实施例，在步骤S01中，虚拟环境是指通过物理系统Chrono进行物理世界的构建，然后利用物理引擎Irrlicht实现所述矿石单元下落至所述卡车车斗过程的可视化。

具体地，物理系统Chrono是一种仿真程序，可用来创建一种虚拟环境，在其中集成来自物理世界的规律。在这个虚拟的环境中包括的物体，除了物体之间的相互作用外，还包括施加到它们身上的力，比如重力。Irrlicht引擎是一个用C++书写的高性能实时的3D引擎，它具有高效、实时等特点，是个完全跨平台的引擎。利用Irrlicht引擎在物理系统Chrono构建的基础上，模拟矿石单元下落至卡车车斗过程的可视化，在下落之前生成一定体积的矿石单元，根据矿石单元体积可计算出质量，当矿石单元下落至卡车车斗时，生成对应的卡车矿石图样样本。

基于上述各实施例，所述矿石单元下落的初始位置在设置范围内随机生成，且每一批下落的矿石单元数量不重复。在虚拟环境中，模拟矿石单元下落的初始位置随机生成，即使同样体积的矿石单元下落，生成的矿石图像样本也不同，这样可以产生多样化的样本，提高原始卷积神经网络的训练效果。同时，每一批下落的矿石单元数量不重复，也是为了保证生成不同的矿石图像样本，对应的卡车装载矿石质量也不同。

图4为根据本发明实施例的一种卡车装载矿石质量估计系统的结构示意图，如图4所示，一种卡车装载矿石质量估计系统，包括：图像采集单元401，用于采集卡车车斗矿石图像；模型拟合单元402：用于将所述图像输入深度卷积神经网络模型，获得卡车装载矿石质量的估算值。所述卡车装载矿石质量估计系统实施例参考卡车装载矿石质量估计方法的实施例内容，此处不再详细赘述。

图5为根据本发明实施例的一种卡车装载矿石质量估计系统的结构示意图，如图5所示，一种卡车装载矿石质量估计系统还包括：样本生成单元501，用于在虚拟环境中，随机生成已知体积的矿石单元并下落至卡车车斗，所述矿石单元在所述卡车车斗内的图像作为矿石图像样本；模型学习单元502，用于将所述矿石图像样本作为输入，对原始深度卷积神经网络模型进行深度学习，根据学习结果对模型的超参数的值进行调整，得到调整后的深度卷积神经网络模型；模型验证单元503，用于将所述调整后的深度卷积神经网络模型迁移至真实环境进行现场验证，根据验证结果对所述超参数的值进行调整，得到所述深度卷积神经网络模型。将深度卷积神经网络模型作为模型拟合单元402的模型，根据图像采集单元401采集的图像样本输入至模型拟合单元402，输出卡车装载矿石质量的估算值。卡车装载矿石质量估计系统实施例参考卡车装载矿石质量估计方法的实施例内容，此处不再详细赘述。

本发明提供一种卡车装载矿石质量估计方法及系统，通过计算机视觉技术与深度卷积神经网络学习方法相结合，自动估算卡车装载的矿石质量，避免了人为因素对矿石计量的影响，具有通行效率高，测量成本低的优点。

最后，本发明中的装置仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种卡车装载矿石质量估计方法，其特征在于，包括：

基于待采集的卡车车斗矿石图像，利用深度卷积神经网络模型，得到卡车装载矿石质量的估算值；

所述深度卷积神经网络模型的建立包括：

S01，在虚拟环境中，随机生成已知体积的矿石单元并下落至卡车车斗，所述矿石单元在所述卡车车斗内的图像作为矿石图像样本；

S02，将所述矿石图像样本作为输入，对原始深度卷积神经网络模型进行深度学习，根据学习结果对模型超参数的值进行调整，得到调整后的深度卷积神经网络模型；

S03，将所述调整后的深度卷积神经网络模型迁移至真实环境进行现场验证，根据验证结果对所述超参数的值进行调整，得到所述深度卷积神经网络模型。

2.根据权利要求1所述的卡车装载矿石质量估计方法，其特征在于，所述深度卷积神经网络模型包含三层卷积层和三层池化层，每一层卷积层和每一层池化层依次交替排布，且最后一层池化层为一个神经元。

3.根据权利要求1所述的卡车装载矿石质量估计方法，其特征在于，所述卡车车斗矿石图像的采集是通过在称重区两侧对称装设摄像头，所述摄像头从所述卡车车斗两侧对所述卡车车斗矿石图像进行抓取。

4.根据权利要求1所述的卡车装载矿石质量估计方法，其特征在于，在步骤S02中，对所述原始深度卷积神经网络模型进行深度学习是指以Caffe中用于验证CIFAR-10数据集的网络结构为基础，按照3:1的比例将所述矿石图像样本划分为训练集和验证集，并对所述矿石图像样本的标签值进行归一化处理。

5.根据权利要求1所述的卡车装载矿石质量估计方法，其特征在于，在步骤S03中，所述现场验证是指通过采集现场的卡车车斗矿石图像作为输入，经过测量的所述卡车装载矿石质量作为真实值，对所述调整后的深度卷积神经网络模型进行验证。

6.根据权利要求1所述的卡车装载矿石质量估计方法，其特征在于，在步骤S01中，所述虚拟环境是指通过物理系统Chrono进行物理世界的构建，然后利用物理引擎irrlicht实现所述矿石单元下落至所述卡车车斗过程的可视化。

7.根据权利要求6所述的卡车装载矿石质量估计方法，其特征在于，所述矿石单元下落的初始位置在设置范围内随机生成，且每一批下落的矿石单元数量不重复。

8.一种卡车装载矿石质量估计系统，其特征在于，包括：

图像采集单元，用于采集卡车车斗矿石图像；

模型拟合单元：用于将所述图像输入深度卷积神经网络模型，获得卡车装载矿石质量的估算值；

样本生成单元，用于在虚拟环境中，随机生成已知体积的矿石单元并下落至卡车车斗，所述矿石单元在所述卡车车斗内的图像作为矿石图像样本；

模型学习单元，用于将所述矿石图像样本作为输入，对原始深度卷积神经网络模型进行深度学习，根据学习结果对模型的超参数的值进行调整，得到调整后的深度卷积神经网络模型；

模型验证单元，用于将所述调整后的深度卷积神经网络模型迁移至真实环境进行现场验证，根据验证结果对所述超参数的值进行调整，得到所述深度卷积神经网络模型。