CN111784718B - 一种离散物料堆积状态智能在线预测装置及预测方法 - Google Patents
一种离散物料堆积状态智能在线预测装置及预测方法 Download PDFInfo
- Publication number
- CN111784718B CN111784718B CN202010665404.8A CN202010665404A CN111784718B CN 111784718 B CN111784718 B CN 111784718B CN 202010665404 A CN202010665404 A CN 202010665404A CN 111784718 B CN111784718 B CN 111784718B
- Authority
- CN
- China
- Prior art keywords
- image
- module
- accumulation state
- prediction
- material accumulation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000000463 material Substances 0.000 title claims abstract description 166
- 238000009825 accumulation Methods 0.000 title claims abstract description 89
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000009826 distribution Methods 0.000 claims abstract description 27
- 238000012549 training Methods 0.000 claims abstract description 20
- 238000013528 artificial neural network Methods 0.000 claims abstract description 17
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 11
- 238000007781 pre-processing Methods 0.000 claims abstract description 3
- 238000005065 mining Methods 0.000 claims description 30
- 238000012545 processing Methods 0.000 claims description 23
- 238000001514 detection method Methods 0.000 claims description 13
- 230000003993 interaction Effects 0.000 claims description 12
- 238000013016 damping Methods 0.000 claims description 10
- 230000006978 adaptation Effects 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 9
- 230000001681 protective effect Effects 0.000 claims description 8
- 230000035939 shock Effects 0.000 claims description 7
- 230000002159 abnormal effect Effects 0.000 claims description 5
- 238000010521 absorption reaction Methods 0.000 claims description 5
- 238000012423 maintenance Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000013461 design Methods 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 3
- 238000012886 linear function Methods 0.000 claims description 3
- 239000000428 dust Substances 0.000 abstract description 4
- 238000003062 neural network model Methods 0.000 description 5
- 230000005856 abnormality Effects 0.000 description 4
- 238000007599 discharging Methods 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种离散物料堆积状态智能在线预测装置及方法，装置由车厢离散物料堆积状态预测系统、车辆控制中心、离散物料堆积状态预测模型在线更新系统、异常处理系统和供电系统构成。方法包括利用卡车高处的图像采集器拍摄车厢内物料堆积图像；对图像预处理；利用挖掘机铲斗上的传感器组获取铲斗内物料质量；利用处理后图像由卷积神经网络估计当前车厢内物料质量和重心坐标；以上结果、铲斗中物料质量、卸料位置为输入，卸料后物料分布状态为输出，训练BP神经网络；利用BP神经网络预测下一时刻物料堆积状态。本发明结合卷积神经网络研究，实现无损、无接触预测。所涉及设备保护装置用于防止因天气、灰尘、车辆行驶晃动导致设备损坏。
Description
技术领域
本发明属于车厢中离散物料堆积状态智能在线预测技术领域，具体涉及一种离散物料堆积状态智能在线预测装置及预测方法。
背景技术
目前，巨型矿用卡车由于单次运量巨大而成为资源开采的重要设备。但在对矿用卡车进行装载时，经常发生物料分布不均匀的现象。该现象将导致支撑结构上的负载分布失衡，并使车架产生扭曲，进而引发车辆关键结构应力超限问题，其后果不仅会减少矿用卡车的生产率，还会影响效率、寿命和安全。同时，负载失衡造成的整车大幅振动还会对驾驶员的安全和健康产生负面影响。为保证矿用卡车的生产效率和驾驶员安全，必须提前对车厢内物料装载后的堆积状态进行预测。
传统的车厢物料载荷评估主要采用以下三种方式：1、在矿用卡车上配备轮胎受力载荷分配估计系统，然而该系统没有考虑铲斗内物料和车厢内物料以及车厢之间的相互作用，并且扫描激光测距仪易受粉尘和环境干扰的特性也使该系统可靠性不高；2、在挖掘机工作装置两侧安装扫描激光测距仪，但由于其测量动作发生在卡车满载并离开挖掘面以后而无助于改善卡车有效负载平衡；3、利用3D传感器构建估算物料体积的方法，只是该方法默认物料是均匀堆积，无法预估物料堆积状态。
发明内容
本发明的目的就在于提供一种离散物料堆积状态智能在线预测装置，还提供一种离散物料堆积状态智能在线预测方法，以克服现有车厢物料载荷评估存在系统可靠性不高、无法改善卡车有效负载平衡以及无法预估物料堆积状态的缺点。本发明将铲斗物料于某一位置装载至车厢后，车厢内离散物料堆积状态进行实时预测，从而提高矿用卡车的工作效率，并降低矿用卡车的维护成本；通过本发明预测装置，可以给挖掘机操作人员确定物料卸载最佳位置提供参考，以保证矿用卡车车厢内物料分布均匀。
本发明的目的是通过以下技术方案实现的：
一种离散物料堆积状态智能在线预测装置，其特征在于：由车厢离散物料堆积状态预测系统、车辆控制中心、离散物料堆积状态预测模型在线更新系统、异常处理系统以及供电系统构成。
其中，所述车厢离散物料堆积状态预测系统由车厢物料堆积状态图像获取子系统、铲斗物料质量信息获取子系统和物料堆积状态预测子系统组成，用于估计进行当前车厢物料堆积信息，预测接下来车厢离散物料的堆积状态并将其发送给车辆控制中心；
所述车辆控制中心由预测结果接收模块110、与预测结果接收模块110连接的挖掘机控制系统120和矿用卡车控制系统130以及人机交互接口140组成，能够根据获得信息及要求进行卸料位置调整；所述人机交互接口140与挖掘机控制系统120和矿用卡车控制系统130同时相连，预测结果接收模块110接收车厢离散物料堆积状态预测系统的预测结果，司机根据接收的结果通过人机交互接口140控制挖掘机控制系统120和矿用卡车控制系统130控制挖掘机与矿用卡车运动。
所述离散物料堆积状态预测模型在线更新系统由中心数据库170、与中心数据库170连接的标记图像与神经网络训练中心160以及模型参数更新模块150组成，利用工作中采集的数据实时对预测模型进行更新；所述中心数据库170接收系统工作中采集的图像与堆积物料信息，标记图像与神经网络训练中心160对接收的图像进行标记分类，模型参数模块150利用分类图像对模型参数进行更新。
所述异常处理系统由与各系统连接的异常检测模块180、异常分类模块190、异常报警模块200以及与异常报警模块200相连的异常清除210组成，用于对异常情况进行检测、分类、报警及清除；所述异常检测模块180通过异常分类模块190与异常报警模块200相连；异常检测模块180实时检测系统的异常信息，并利用异常分类模块190对异常信息进行分类以判断具体异常状况，异常报警模块200报警异常情况以通知检修，检修完成后异常清除210清除报警信息。
所述供电系统由卡车电力系统模块220、常规供电模块230、应急供电模块240和电源适配模块250组成，卡车电力系统模块220分别通过常规供电模块230和应急供电模块240与电源适配模块250相连；所述卡车电力系统模块220为常规供电模块230和应急供电模块240提供电源，正常工作情况下，系统由常规供电模块230，当常规供电模块230出现异常，由应急供电模块240为系统供电，保障系统正常工作，所述电源适配模块250为相应电子器件提供所需电压。
进一步地，所述车厢物料堆积状态图像获取子系统由支架10、与支架10连接的设备保护装置20、光源Ⅱ40、标定组件50以及图像采集器30组成，用于获取当前车厢内物料的堆积状态图像，其中，所述图像采集器30设置在设备保护装置20中。
更进一步地，所述图像采集器30采用分辨率足够高的高速面阵CCD相机，并安装定焦镜头。
更进一步地，所述光源Ⅱ40采用亮度和照射角度可调的辅助光源。
更进一步地，所述设备保护装置20由与安装在车辆高处的支架10连接的保护罩1、光源固定件2、光源Ⅰ3、横向液压阻尼器4、横向减震弹簧5、摄像器8、摄像器固定装置9、纵向液压阻尼器11、纵向减震弹簧12构成；所述摄像器8固定于摄像器固定装置9内，摄像器固定装置9通过连接件6、销件7、横向液压阻尼器4、纵向液压阻尼器11与保护罩1连接；所述横向减震弹簧5和纵向减震弹簧12分别套装在横向液压阻尼器4和纵向液压阻尼器11上；所述光源Ⅰ3通过光源固定件2与保护罩1固定。
进一步地，所述铲斗物料质量信息获取子系统由传感器组60、与传感器组60连接的质量数据处理器70以及标定组件50组成，用于获取当前铲斗内物料的质量数据信息；所述传感器组60用于获取当前铲斗内物料的质量数据信息，所得质量数据由质量数据处理器70滤波去噪处理去除噪声数据。
进一步地，所述物料堆积状态预测子系统由与图像采集器30连接的图像处理模块80、与质量数据处理器70连接的图像分类模块90以及状态预测模块100组成，用于预测下一时刻当铲斗内物料倒入车厢后车厢内物料的堆积状态；所述图像处理模块80对图像采集器30采集得到的图像进行预处理，预处理后的图像由图像分类模块90进行分类处理，最终状态预测模块100根据预处理并分类的图像对物料堆积状态进行预测。
上述离散物料堆积状态智能在线预测装置的预测方法，包括以下步骤：
A、利用安装在矿用卡车高处的图像采集器30拍摄车厢内物料堆积图像；
B、利用安装在挖掘机铲斗上的传感器组60获取铲斗内将卸入车厢的物料质量；
C、删除获取图像中物料和车厢之外的图像以提取感兴趣区域(ROI)，并对得到的图像灰度化处理；
D、利用卷积神经网络(CNN)根据处理后的图像估计当前状态下的车厢内物料的质量和物料重心坐标；
E、将步骤D得到的结果、铲斗中的物料质量、卸料位置为输入，卸料后的物料分布状态为输出，训练BP神经网络；
F、利用训练得到BP神经网络预测下一时刻物料堆积状态。
进一步地，步骤C，具体包括以下步骤：
C1、删除获取图像中物料和车厢之外的图像以提取感兴趣区域(ROI)：采用基于高斯分布模型的自适应阈值分割方法在ROI区域，计算各像素点灰度的均值和方差，再根据公式(1)计算出分割阈值，并对灰度图进行分割，得到二值图像；
IT＝μf+3σf (1)
式(1)中，μf表示素点灰度的均值，σf表示素点灰度的方差，IT表示分割阈值；
C2、对得到的图像灰度化处理：利用加权法对所得感兴趣区域RGB图像进行灰度化，像素(i，j)的加权灰度值I(i，j)可按公式(1)依据红色分量R(i，j)、绿色分量为G(i，j)、蓝色分量B(i，j)计算：
I(i，j)＝αR(i，j)+βG(i，j)+γB(i，j) (2)
式(2)中，α、β、γ为灰度值计算公式系数，i表示该像素所在图像的行标，j表示该像素所在图片的列标，R(i，j)表示原始图像该像素的红色像素分量，G(i，j)表示原始图像该像素的绿色分量，B(i,j)表示原始图像该像素的蓝色分量；
进一步地，步骤D，具体包括以下步骤：
D1、对步骤C所得图像进行分类处理：由于每一铲斗物料质量M的不确定性，质量M分布为一范围，首先按照间隔m将上述范围划分出a个区间，并按图像中物料的质量所在的区间对图像进行分类，然后，根据所得结果，针对同类的图像训练相同结构的网络；
D2、对步骤D1所得图像进行回归处理：由于分类后每类的数据量进一步减少，使得从头开始训练全新的大型网络的成功率更低，故需要减小卷积网络的规模，选择Vgg19为蓝本设计卷积神经网络；
D3、训练时，选用连续形式的交叉熵作为损失函数，令每次训练时的图像和真值所对应的集合为{(x0,y0),(x1,y1),…,(xN-1,yN-1)}，同时令回归得到的函数表达式为f，对于任意图像-真值对(xi,yi)，都可以通过回归表达式f得到预测值
的概率
由于真值yi是在一定范围内连续变化的，因此
服从连续概率分布，即Pr(yi)与
之间的交叉熵应该表示为连续形式：
式中p(yi|s)是
所服从的分布，如果f为线性函数，则p(yi|s)为高斯分布，s表示该分布的参数；δ(y-y1)是yi的概率密度函数；
将所有图像-真值对的交叉熵Hi累加，即可得到总体的交叉熵H：
当p(yi|s)为高斯分布时，有
那么H与
成正比，等效于最小二乘法；
其中，以RMSE为评判结果优劣的标准，
与现有技术相比，本发明的有益效果在于：
1、由于矿用卡车在装载物料时卡车受地形环境的影响，其姿态可能端正，亦可能倾斜，本发明对针对这一限制，选择采集图像信息以获取物料状态信息；2、针对本发明的检测结果设计出一个对神经网络模型实时在线更新的系统，提高了神经网络模型的有效性；3、由于本发明的神经网络训练阶段所使用的数据集包含了不同环境条件下的各种离散物料堆积状态图像，训练的数据较全面和均衡，所以算法具有较强的鲁棒性，有一定的抗干扰能力；4、由于本发明的回归目标共包含两类物理意义不同数据(质量和坐标)，本发明提出利用相同结果的网络针对不同目标进行分别训练的方法，降低网络训练的难度、提高结果精度；5、本发明全面的提高了车厢离散物料状态预测的准确性，能大大降低矿用卡车工作效率和维修成本。
附图说明
图1为本发明一种离散物料堆积状态智能在线预测装置及方法、装置及系统的实施例框图；
图2为本发明一种轨离散物料堆积状态智能预测方法的流程示意图；
图3为本发明实施例中获取的车厢物料堆积状态实际图像；
图4为步骤D的执行过程较佳实施例的流程示意图；
图5为本发明实施例中神经网络模型实时更新流程示意图
图6、图7为本发明实施例中系统的减震装置的结构示意图。
图中，1.保护罩 2.光源固定件 3.光源Ⅰ 4.横向液压阻尼器 5.横向减震弹簧 6.连接件 7.销件 8.摄像器 9.摄像器固定装置 10.支架 11.纵向液压阻尼器 12.纵向减震弹簧 20.设备保护装置 30.图像采集器 40.光源Ⅱ 50.标定组件 60.传感器组 70.轨质量数据处理器 80.图像处理模块 90.图像分类模块 100.状态预测模块 110.预测结果接收模块 120.挖掘机控制系统 130.矿用卡车控制系统 140.人机交互接口 150.中心数据库 160.标记图像与神经网络训练中心 170.模型参数更新模块 180.异常检测模块 190.异常分类模块 200.异常报警模块 210.异常消除模块 220.卡车电力系统模块模块 230.常规供电模块 240.应急供电模块 250.电源适配器模块。
具体实施方式
下面将详细描述本发明的实施例，实施例的施例在附图中示出，其中自始至终相同标号表示相同的元件或具有相同功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制，基于本发明中的实施例，本领域中的普通技术人员在没有做出创造性劳动前提下所获得的其他实施例，都属于本发明的保护范围。
为解决上述技术问题，本发明提出一种离散物料堆积状态智能在线预测装置，还提出离散物料堆积状态智能在线预测方法。用于实时预测装载后车厢内离散物料堆积状态，从而提高矿用卡车的工作效率，并降低矿用卡车的维护成本；通过该发明的预测信息共享系统，可以给挖掘机操作人员确定物料卸载最佳位置提供参考，以保证矿用卡车车厢内物料分布均匀。
如图1所示，本发明离散物料堆积状态智能在线预测装置，其特征在于：由车厢离散物料堆积状态预测系统、车辆控制中心、离散物料堆积状态预测模型在线更新系统、异常处理系统以及供电系统构成。车厢离散物料堆积状态预测系统进行当前车厢物料堆积信息估计，然后预测接下来车厢离散物料的堆积状态并将其发送给车辆控制中心，车辆控制中心根据获得信息及要求进行卸料位置调整；为提高预测系统的准确性，本发明的离散物料堆积状态预测模型在线更新系统利用工作中采集的数据实时对预测模型进行更新；本发明的异常处理系统及供电系统为保证安全及系统正常工作提供保障。
其中，所述车厢离散物料堆积状态预测系统由车厢物料堆积状态图像获取子系统、铲斗物料质量信息获取子系统和物料堆积状态预测子系统组成。所述图像获取子系统获取当前车厢内物料的堆积状态图像；铲斗物料质量信息获取子系统获取当前铲斗内物料的质量数据信息；物料堆积状态预测子系统预测下一时刻当铲斗内物料倒入车厢后车厢内物料的堆积状态。
所述车辆控制中心由预测结果接收模块110、与预测结果接收模块110连接的挖掘机控制系统120和矿用卡车控制系统130以及人机交互接口140组成，所述人机交互接口140与挖掘机控制系统120和矿用卡车控制系统130同时相连。预测结果接收模块110接收车厢离散物料堆积状态预测系统的预测结果，根据接收的结果，司机通过人机交互接口140控制挖掘机控制系统120和矿用卡车控制系统130控制挖掘机与矿用卡车的运动。
所述离散物料堆积状态预测模型在线更新系统由中心数据库170、与中心数据库170连接的标记图像与神经网络训练中心160以及模型参数更新模块150组成；中心数据库170接收系统工作中采集的图像与堆积物料信息，标记图像与神经网络训练中心160对接收的图像进行标记分类，模型参数模块150利用分类图像对模型参数进行更新。
所述异常处理系统由与各系统连接的异常检测模块180、异常分类模块190、异常报警模块200以及与异常报警模块200相连的异常清除210组成，异常检测模块180通过异常分类模块190与异常报警模块200相连；异常检测模块180实时检测系统的异常信息，并利用异常分类模块190对异常信息进行分类以判断具体异常状况，异常报警模块200报警异常情况以通知检修，检修完成后异常清除210清除报警信息。
所述供电系统由列车电力系统模块220、常规供电模块230、应急供电模块240和电源适配模块250组成，列车电力系统模块220分别通过常规供电模块230和应急供电模块240与电源适配模块250相连。卡车电力系统模块220为常规供电模块230和应急供电模块240提供电源，正常工作情况下，本发明系统由常规供电模块230，当常规供电模块230出现异常，由应急供电模块240为系统供电，保障系统正常工作；其中，电源适配模块250为相应电子器件提供所需电压。为了保证本发明各系统、装置能正常工作，本发明提出配备为各系统、装置提供电能的供电系统，该供电系统供电方法如下：从卡车电力系统模块220直接获取电能，为常规供电模块230充电；同时为防止因常规供电模块230故障而导致整个系统停电无法工作，本发明还配备一个应急供电模块240，该应急供电模块同样由列车电力系统模块210为其充电。考虑到本发明的所有系统、装置所需电压不一致的问题，常规供电模块230与应急供电模块240还需与电源适配器模块250连接从而输出各种所需电压，满足各系统、装置的要求。
本发明的一个实施例，所述车厢物料堆积状态图像获取子系统由支架10、与支架10连接的设备保护装置20、光源Ⅱ40、标定组件50以及图像采集器30组成。如图6所示，所述图像采集器30设置在设备保护装置20中。
本发明的一个实施例，所述图像采集器30采用分辨率足够高的高速面阵CCD相机，并安装适当焦段的定焦镜头。
本发明的一个实施例，所述光源Ⅱ40采用亮度和照射角度可调的合适形状及合适品类的辅助光源。
本发明的一个实施例，为防止因卡车工作环境的灰尘覆盖图像获取模块而导致采集的图像模糊以及自然天气原因致使设备损坏，本发明还提供一种图像采集模块的保护装置。如图6、图7所示，该设备保护装置20由设备保护罩1、光源固定件2、光源Ⅰ3、横向液压阻尼器4、横向减震弹簧5、摄像器8、摄像器固定装置9、安装在车辆高处的支架10、纵向液压阻尼器11、纵向减震弹簧12构成。利用液压阻尼器吸收消耗因的卡车的行驶颠簸等带来的装置纵向、横向以及轴向震动的能量，从而保证设备使用寿命。所述摄像器8固定于摄像器固定装置9内，摄像器固定装置9通过连接件6、销件7以及液压阻尼器与保护罩1连接。所述横向减震弹簧5和纵向减震弹簧12分别套装在横向液压阻尼器4和纵向液压阻尼器11上。所述光源Ⅰ3通过光源固定件2与保护罩1固定，从而实现图像采集模块的减震。光源Ⅰ3与光源固定件2，利用光源固定件2将光源Ⅰ3固定于保护罩1上，防止夜间工作是因光线不足而造成拍摄图像不清晰。所述保护罩1固定于支架10上，用于放置、保护减震装置与图像采集器30及照明设备，防止因天气和工作环境灰尘原因破坏图像采集系统。
本发明的一个实施例，所述铲斗物料质量信息获取子系统由传感器组60、与传感器组60连接的质量数据处理器70以及标定组件50。本发明中在车厢物料堆积状态图像获取子系统和铲斗物料质量信息获取子系统中均含有标定组件50，其为现有的标定设备。
本发明的一个实施例，所述物料堆积状态预测子系统由与图像采集器30连接的图像处理模块80、与质量数据处理器70连接的图像分类模块90以及状态预测模块100组成。所述图像采集器30将获取的图像传输到图像处理模块80。图像处理模块80对图像采集器30采集得到的图像进行预处理，预处理后的图像由图像分类模块90进行分类处理，最终状态预测模块根据预处理并分类的图像对物料堆积状态进行预测。
为防止各系统故障而无法正常获取与检测图像，需要对设备进行备份以接替故障设备的工作。另外，还需对数据交互中心所有接收的数据进行数据备份，防止数据丢失导致系统无法进行正常工作。
在上述离散物料堆积状态预测系统实现方式的基础上，本发明还提出一种离散物料堆积状态智能预测方法，如图2所示，该离散物料堆积状态智能预测方法包括：
A、利用安装在卡车高处的图像采集器30拍摄物料目前的堆积状态图像。为了快速获取完整、清晰、准确的物料堆积状态图像，首先设计了车厢物料堆积状态图像获取子系统，由支架10、图像采集器30、光源Ⅱ40和设备保护装置20组成。其中，图像采集器30采用分辨率足够高的高速面阵CCD相机，并安装适当焦段的定焦镜头。光源Ⅱ40采用亮度和照射角度可调的合适形状及合适品类的辅助光源。图像采集器30将获取的图像传输到图像处理模块80，获取的实际图像如图3所示。
B、利用安装在挖掘机铲斗上的传感器组60获取铲斗内将卸入车厢的物料质量。为了能够快速获取清晰、准确的物料质量，首先设计了铲斗物料质量信息获取子系统，由传感器组60和质量数据处理器70组成。其中，传感器组60采用分辨率足够高的数个压力传感器组成。获取的连续质量数据，需要首先消除零飘，然后再进行滤波、平均，即可得到铲斗物料质量数据。
C、删除获取图像中物料和车厢之外的图像，并对得到的图像灰度化处理。
对图像进行预处理，在去除图像无用信息的同时增强有用的真实信息，增强目标的可检测性并降低后续流程中数据吞吐量，从而提高数据的可靠性；为了完成对当前车厢内物料信息进行准确的估计与判断，需要利用图像处理模块80对图像采集器30传输的图像进行初步处理，步骤C具体包括以下步骤：
C1、删除获取图像中物料和车厢之外的图像以提取感兴趣区域(ROI)：考虑到车厢、物料和背景有较大色差，为了能高效地将车厢和物料从图像中提取出来，本发明采用基于高斯分布模型的自适应阈值分割方法；在ROI区域，计算各像素点灰度的均值和方差，再根据公式(1)计算出分割阈值，以此为据对灰度图进行分割，得到二值图像。
IT＝μf+3σf (1)
式(1)中，μf表示素点灰度的均值，σf表示素点灰度的方差，IT表示分割阈值。
C2、并对得到的图像灰度化处理：本发明利用加权法对所得感兴趣区域RGB图像进行灰度化，像素(i，j)的加权灰度值I(i，j)可按公式(1)依据红色分量R(i，j)、绿色分量为G(i，j)、蓝色分量B(i，j)计算：
I(i，j)＝αR(i，j)+βG(i，j)+γB(i，j) (2)
式(2)中，α、β、γ为灰度值计算公式系数，i表示该像素所在图像的行标，j表示该像素所在图片的列标，R(i，j)表示原始图像该像素的红色像素分量，G(i，j)表示原始图像该像素的绿色分量，B(i，j)表示原始图像该像素的蓝色分量。
对于铲斗中的物料质量数据，传感器反馈的是一段随时间变化的曲线，需要首先消除零飘，然后再进行滤波、平均，即可得到反映物料分布状态的数据。
对于卸料位置，可预设n个卸料点，其坐标位置理应保持不变；但是受到卸料时挖掘机手臂的惯性、铲斗内物料的分布状态等影响，卸料坐标会发生微小的变化。因此取所有循环的第一斗卸料后的物料重心位置的平均值做为该卸料点的坐标，即：
其中，下标的i(i＝1，2，...，9)表示该量为第i个卸料点的数据，(Xi，Yi)表示第i个卸料点的平均坐标，Ni表示第一斗在第i个卸料点的循环的总的次数，
表示在第i个卸料点第j次循环时的坐标。
D、利用卷积神经网络(CNN)根据处理后的图像估计当前状态下的车厢内物料的质量和物料重心坐标。
进一步地，为了从上述得到的感兴趣图像分析当前车厢内物料的质量与重心坐标，首先要对所得一系列图像进行分类处理，如图4所示，步骤D具体包括：
D1、对上述所得图像分类处理：由于每一铲斗物料质量M的不确定性，质量M分布为一范围，基于上述原因，本发明首先按照间隔m将上述范围划分出a个区间，并按图像中物料的质量所在的区间对图像进行分类，这样可以大幅度缩减回归任务的目标值变化区间，提高预测精确度；然后，根据所得结果，针对同类的图像训练相同结构的网络。
D2、对上述操作后的图像进行回归处理：由于分类后每类的数据量进一步减少，使得从头开始训练全新的大型网络的成功率更低，故需要减小卷积网络的规模。本发明依据此原则，选择Vgg19为蓝本设计卷积神经网络。
D3、训练时，选择连续形式的交叉熵作为损失函数。令每次训练时的图像和真值所对应的集合为{(x0,y0),(x1,y1),…,(xN-1,yN-1)}，同时令回归得到的函数表达式为f，对于任意图像-真值对(xi,yi)，都可以通过回归表达式f得到预测值
的概率
由于真值yi是在一定范围内连续变化的，因此
服从连续概率分布，即Pr(yi)与
之间的交叉熵应该表示为连续形式：
式中p(yi|s)是
所服从的分布，如果f为线性函数，则p(yi|s)为高斯分布，s表示该分布的参数；δ(y-y1)是yi的概率密度函数。
将所有图像-真值对的交叉熵Hi累加，即可得到总体的交叉熵H：
当p(yi|s)为高斯分布时，有
那么H与
成正比，等效于最小二乘法。
其中，以RMSE为评判结果优劣的标准。
E、将上述得到的结果、铲斗中的物料质量、卸料位置做为输入，卸料后的物料分布状态做为输出，训练BP神经网络。
F、利用训练得到BP神经网络预测下一时刻物料堆积状态。
为了能够提高离散物料堆积状态预测结果的准确性，本发明还提出一种对本神经网络模型实现实时更新的方法，如图5所示，该方法原理如下：
利用确认的已知检测结果并进行标记的图像传送至神经网络训练中心，对该神经网络模型进行再次监督训练；最后，利用完成再次训练的模型更新离散物料堆积状态预测系统，从而实现不断提高预测系统的准确性。
以上的仅为本发明的部分或优选实施例，无论是文字还是附图都不能因此限制本发明发的保护范围，凡是在与本发明一个整体的构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他技术相关领域均包括在本发明保护的范围内。
Claims (8)
1.一种离散物料堆积状态智能在线预测装置，其特征在于：由车厢离散物料堆积状态预测系统、车辆控制中心、离散物料堆积状态预测模型在线更新系统、异常处理系统以及供电系统构成；
所述车厢离散物料堆积状态预测系统由车厢物料堆积状态图像获取子系统、铲斗物料质量信息获取子系统和物料堆积状态预测子系统组成，用于估计进行当前车厢物料堆积信息，预测接下来车厢离散物料的堆积状态并将其发送给车辆控制中心；
其中，所述铲斗物料质量信息获取子系统由传感器组(60)、与传感器组(60)连接的质量数据处理器(70)以及标定组件(50)，用于获取当前铲斗内物料的质量数据信息；所述传感器组(60)用于获取当前铲斗内物料的质量数据信息，所得质量数据由质量数据处理器(70)滤波去噪处理去除噪声数据；
所述物料堆积状态预测子系统由与图像采集器(30)连接的图像处理模块(80)、与质量数据处理器(70)连接的图像分类模块(90)以及状态预测模块(100)组成，用于预测下一时刻当铲斗内物料倒入车厢后车厢内物料的堆积状态；所述图像处理模块(80)对图像采集器(30)采集得到的图像进行预处理，预处理后的图像由图像分类模块(90)进行分类处理，最终状态预测模块(100)根据预处理并分类的图像对物料堆积状态进行预测；
所述车辆控制中心由预测结果接收模块(110)、与预测结果接收模块(110)连接的挖掘机控制系统(120)和矿用卡车控制系统(130)以及人机交互接口(140)组成，所述人机交互接口(140)与挖掘机控制系统(120)和矿用卡车控制系统(130)同时相连，所述预测结果接收模块(110)接收车厢离散物料堆积状态预测系统的预测结果，司机根据接收的结果通过人机交互接口(140)控制挖掘机控制系统(120)和矿用卡车控制系统(130)控制挖掘机与矿用卡车运动；
所述离散物料堆积状态预测模型在线更新系统由中心数据库(170)、与中心数据库(170)连接的标记图像与神经网络训练中心(160)以及模型参数更新模块(150)组成，利用工作中采集的数据实时对预测模型进行更新；所述中心数据库(170)接收系统工作中采集的图像与堆积物料信息，标记图像与神经网络训练中心(160)对接收的图像进行标记分类，模型参数模块(150)利用分类图像对模型参数进行更新；
所述异常处理系统由与各系统连接的异常检测模块(180)、异常分类模块(190)、异常报警模块(200)以及与异常报警模块(200)相连的异常清除(210)组成，用于对异常情况进行检测、分类、报警及清除；所述异常检测模块180通过异常分类模块(190)与异常报警模块(200)相连，异常检测模块(180)实时检测系统的异常信息，并利用异常分类模块(190)对异常信息进行分类以判断具体异常状况，异常报警模块(200)报警异常情况以通知检修，检修完成后异常清除(210)清除报警信息；
所述供电系统由卡车电力系统模块(220)、常规供电模块(230)、应急供电模块(240)和电源适配模块(250)组成，卡车电力系统模块(220)分别通过常规供电模块(230)和应急供电模块(240)与电源适配模块(250)相连；所述卡车电力系统模块(220)为常规供电模块(230)和应急供电模块(240)提供电源，正常工作情况下，系统由常规供电模块(230)，当常规供电模块(230)出现异常，由应急供电模块(240)为系统供电，保障系统正常工作，所述电源适配模块(250)为相应电子器件提供所需电压。
2.根据权利要求1所述的一种离散物料堆积状态智能在线预测装置，其特征在于：所述车厢物料堆积状态图像获取子系统由支架(10)、与支架(10)连接的设备保护装置(20)、光源Ⅱ(40)、标定组件(50)以及图像采集器(30)组成，用于获取当前车厢内物料的堆积状态图像，其中，所述图像采集器(30)设置在设备保护装置(20)中。
3.根据权利要求2所述的一种离散物料堆积状态智能在线预测装置，其特征在于：所述图像采集器(30)采用分辨率足够高的高速面阵CCD相机，并安装定焦镜头。
4.根据权利要求2所述的一种离散物料堆积状态智能在线预测装置，其特征在于：所述光源Ⅱ40采用亮度和照射角度可调的辅助光源。
5.根据权利要求2所述的一种离散物料堆积状态智能在线预测装置，其特征在于：所述设备保护装置(20)由与安装在车辆高处的支架(10)连接的设备保护罩(1)、光源固定件(2)、光源Ⅰ(3)、横向液压阻尼器(4)、横向减震弹簧(5)、摄像器(8)、摄像器固定装置(9)、纵向液压阻尼器(11)、纵向减震弹簧(12)构成；所述摄像器(8)固定于摄像器固定装置(9)内，摄像器固定装置(9)通过连接件(6)、销件(7)、横向液压阻尼器(4)、纵向液压阻尼器(11)与保护罩(1)连接；所述横向减震弹簧(5)和纵向减震弹簧(12)分别套装在横向液压阻尼器(4)和纵向液压阻尼器(11)上；
所述光源Ⅰ(3)通过光源固定件(2)与保护罩(1)固定。
6.根据权利要求1所述的一种离散物料堆积状态智能在线预测装置的预测方法，其特征性在于，包括以下步骤：
A、利用安装在矿用卡车高处的图像采集器(30)拍摄车厢内物料堆积图像；
B、利用安装在挖掘机铲斗上的传感器组(60)获取铲斗内将卸入车厢的物料质量；
C、删除获取图像中物料和车厢之外的图像以提取感兴趣区域(ROI)，并对得到的图像灰度化处理；
D、利用卷积神经网络(CNN)根据处理后的图像估计当前状态下的车厢内物料的质量和物料重心坐标；
E、将步骤D得到的结果、铲斗中的物料质量、卸料位置做为输入，卸料后的物料分布状态做为输出，训练BP神经网络；
F、利用训练得到BP神经网络预测下一时刻物料堆积状态。
7.根据权利要求6所述的一种离散物料堆积状态智能在线预测装置的预测方法，其特征性在于步骤C，具体包括以下步骤：
C1、删除获取图像中物料和车厢之外的图像以提取感兴趣区域(ROI)：采用基于高斯分布模型的自适应阈值分割方法在ROI区域，计算各像素点灰度的均值和方差，再根据公式(1)计算出分割阈值，并对灰度图进行分割，得到二值图像；
IT＝μf+3σf (1)
式(1)中，μf表示素点灰度的均值，σf表示素点灰度的方差，IT表示分割阈值；
C2、对得到的图像灰度化处理：利用加权法对所得感兴趣区域RGB图像进行灰度化，像素(i,j)的加权灰度值I(i,j)可按公式(1)依据红色分量R(i,j)、绿色分量为G(i,j)、蓝色分量B(i,j)计算：
I(i,j)＝αR(i,j)+βG(i,j)+γB(i,j) (2)
式(2)中，α、β、γ为灰度值计算公式系数，i表示该像素所在图像的行标，j表示该像素所在图片的列标，R(i,j)表示原始图像该像素的红色像素分量，G(i,j)表示原始图像该像素的绿色分量，B(i,j)表示原始图像该像素的蓝色分量。
8.根据权利要求6所述的一种离散物料堆积状态智能在线预测装置的预测方法，其特征性在于步骤D，具体包括以下步骤：
D1、对步骤C所得图像进行分类处理：由于每一铲斗物料质量M的不确定性，质量M分布为一范围，首先按照间隔m将上述范围划分出a个区间，并按图像中物料的质量所在的区间对图像进行分类，然后，根据所得结果，针对同类的图像训练相同结构的网络；
D2、对步骤D1所得图像进行回归处理：由于分类后每类的数据量进一步减少，使得从头开始训练全新的大型网络的成功率更低，故需要减小卷积网络的规模，选择Vgg19为蓝本设计卷积神经网络；
D3、训练时，选用连续形式的交叉熵作为损失函数，令每次训练时的图像和真值所对应的集合为{(x0,y0),(x1,y1),…,(xN-1,yN-1)}，同时令回归得到的函数表达式为f，对于任意图像-真值对(xi,yi)，都可以通过回归表达式f得到预测值
的概率
由于真值yi是在一定范围内连续变化的，因此
服从连续概率分布，即Pr(yi)与
之间的交叉熵应该表示为连续形式：
式中p(yi|s)是
所服从的分布，如果f为线性函数，则p(yi|s)为高斯分布，s表示该分布的参数；δ(y-y1)是yi的概率密度函数；
将所有图像-真值对的交叉熵Hi累加，即可得到总体的交叉熵H：
当p(yi|s)为高斯分布时，有
那么H与
成正比，等效于最小二乘法；
其中，以RMSE为评判结果优劣的标准，
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010665404.8A CN111784718B (zh) | 2020-07-11 | 2020-07-11 | 一种离散物料堆积状态智能在线预测装置及预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010665404.8A CN111784718B (zh) | 2020-07-11 | 2020-07-11 | 一种离散物料堆积状态智能在线预测装置及预测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111784718A CN111784718A (zh) | 2020-10-16 |
| CN111784718B true CN111784718B (zh) | 2021-09-10 |
Family
ID=72767428
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010665404.8A Active CN111784718B (zh) | 2020-07-11 | 2020-07-11 | 一种离散物料堆积状态智能在线预测装置及预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111784718B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112232435A (zh) * | 2020-10-30 | 2021-01-15 | 三峡大学 | 基于卷积神经网络的渣土车土石方体积计算方法 |
| CN114136194B (zh) * | 2021-10-12 | 2024-06-14 | 江苏丰尚智能科技有限公司 | 仓内物料体积监测方法、装置、监测设备和存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107511339A (zh) * | 2017-08-28 | 2017-12-26 | 安徽农业大学 | 一种基于机器视觉和神经网络算法的机采绿茶分级试验台 |
| US10162794B1 (en) * | 2018-03-07 | 2018-12-25 | Apprente, Inc. | Hierarchical machine learning system for lifelong learning |
| CN110047063A (zh) * | 2019-03-21 | 2019-07-23 | 深圳市燕麦科技股份有限公司 | 一种物料掉落的检测方法、装置、设备及存储介质 |
| CN110288643A (zh) * | 2018-03-16 | 2019-09-27 | 佛山市顺德区美的电热电器制造有限公司 | 烹饪器具、烹饪方法和计算机可读存储介质 |
| US10482378B1 (en) * | 2018-08-17 | 2019-11-19 | Aivitae LLC | System and method for noise-based training of a prediction model |
| CN110751690A (zh) * | 2019-10-22 | 2020-02-04 | 郑州迈拓信息技术有限公司 | 铣床刀头视觉定位方法 |
-
2020
- 2020-07-11 CN CN202010665404.8A patent/CN111784718B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107511339A (zh) * | 2017-08-28 | 2017-12-26 | 安徽农业大学 | 一种基于机器视觉和神经网络算法的机采绿茶分级试验台 |
| US10162794B1 (en) * | 2018-03-07 | 2018-12-25 | Apprente, Inc. | Hierarchical machine learning system for lifelong learning |
| CN110288643A (zh) * | 2018-03-16 | 2019-09-27 | 佛山市顺德区美的电热电器制造有限公司 | 烹饪器具、烹饪方法和计算机可读存储介质 |
| US10482378B1 (en) * | 2018-08-17 | 2019-11-19 | Aivitae LLC | System and method for noise-based training of a prediction model |
| CN110047063A (zh) * | 2019-03-21 | 2019-07-23 | 深圳市燕麦科技股份有限公司 | 一种物料掉落的检测方法、装置、设备及存储介质 |
| CN110751690A (zh) * | 2019-10-22 | 2020-02-04 | 郑州迈拓信息技术有限公司 | 铣床刀头视觉定位方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111784718A (zh) | 2020-10-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110254468B (zh) | 一种轨道表面缺陷智能在线检测装置及检测方法 | |
| CN111784718B (zh) | 一种离散物料堆积状态智能在线预测装置及预测方法 | |
| CN110084165B (zh) | 基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法 | |
| CN113658136B (zh) | 一种基于深度学习的传送带缺陷检测方法 | |
| CN103808723A (zh) | 一种柴油车烟气黑度自动检测装置 | |
| Bello-Salau et al. | Image processing techniques for automated road defect detection: A survey | |
| CN109165541A (zh) | 用于智能识别轨道交通车辆图像中车辆零部件的编码方法 | |
| CN116579692B (zh) | 一种基于人工智能的物流信息动态监管系统及方法 | |
| CN113449650A (zh) | 一种车道线检测系统及方法 | |
| CN116448773A (zh) | 一种图像-振动特征融合的路面病害检测方法及系统 | |
| CN116665011A (zh) | 一种基于机器视觉的煤矿带式输送机煤流异物识别方法 | |
| CN111091551A (zh) | 一种铁路货车制动梁支柱开口销丢失故障检测方法 | |
| CN118245918B (zh) | 一种基于物联网的智慧叉车监控管理系统及方法 | |
| CN115063017A (zh) | 一种中小跨径桥梁结构监测和评估系统及方法 | |
| CN114333331B (zh) | 一种多车道桥梁车辆通行信息与车重识别方法及系统 | |
| CN116309407A (zh) | 一种铁路接触网螺栓异常状态的检测方法 | |
| CN116759355A (zh) | 一种晶圆传送控制方法及系统 | |
| CN111323683A (zh) | 燃弧检测系统、燃弧检测方法、装置和计算机设备 | |
| CN115082849A (zh) | 基于深度学习的模板支架安全智能监测方法 | |
| CN111476062A (zh) | 车道线检测方法、装置、电子设备及驾驶系统 | |
| CN116206263B (zh) | 一种物流车辆监控方法及系统 | |
| CN116645647A (zh) | 一种基于人工智能的车辆监测方法及系统 | |
| Sulistyaningrum et al. | Pavement Distress Classification Using Deep Learning Method Based on Digital Image | |
| CN113091699A (zh) | 一种基于视频图像的微小位移放大方法 | |
| CN110781758A (zh) | 一种受电弓结构异常动态视频监测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |