CN109305534A - 基于计算机视觉的煤码头带式输送机自适应控制方法 - Google Patents

基于计算机视觉的煤码头带式输送机自适应控制方法 Download PDF

Info

Publication number
CN109305534A
CN109305534A CN201811252287.1A CN201811252287A CN109305534A CN 109305534 A CN109305534 A CN 109305534A CN 201811252287 A CN201811252287 A CN 201811252287A CN 109305534 A CN109305534 A CN 109305534A
Authority
CN
China
Prior art keywords
conveying capacity
picture
abnormality
value
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811252287.1A
Other languages
English (en)
Other versions
CN109305534B (zh
Inventor
韩涛
黄友锐
陈亮
徐善永
凌六
凌六一
唐超礼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University of Science and Technology
Original Assignee
Anhui University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University of Science and Technology filed Critical Anhui University of Science and Technology
Priority to CN201811252287.1A priority Critical patent/CN109305534B/zh
Publication of CN109305534A publication Critical patent/CN109305534A/zh
Application granted granted Critical
Publication of CN109305534B publication Critical patent/CN109305534B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G43/00—Control devices, e.g. for safety, warning or fault-correcting
    • B65G43/08—Control devices operated by article or material being fed, conveyed or discharged
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G43/00—Control devices, e.g. for safety, warning or fault-correcting
    • B65G43/02—Control devices, e.g. for safety, warning or fault-correcting detecting dangerous physical condition of load carriers, e.g. for interrupting the drive in the event of overheating
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G43/00—Control devices, e.g. for safety, warning or fault-correcting
    • B65G43/06—Control devices, e.g. for safety, warning or fault-correcting interrupting the drive in case of driving element breakage; Braking or stopping loose load-carriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/02—Control or detection
    • B65G2203/0266—Control or detection relating to the load carrier(s)
    • B65G2203/0275—Damage on the load carrier
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/02—Control or detection
    • B65G2203/0266—Control or detection relating to the load carrier(s)
    • B65G2203/0291—Speed of the load carrier

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于计算机视觉的煤码头带式输送机自适应控制方法，其包括：离线预训练阶段，通过录制输送带运行视频，提取图片，制作输送量训练数据集、输送量测试数据集、异常状态训练数据集和异常状态测试数据集，训练基于卷积神经网络的带式输送机输送量检测模型和带式输送机异常状态的检测模型；在线监控阶段，使用训练好的带式输送机输送量检测模型和异常状态检测模型对输送带进行实时监测，根据带式输送机的输送量自适应控制带式输送机的传输速度，同时检测输送带的多种异常状态，发现异常状态后可以立即停止运行，并发出对应异常状态的警报，极大的降低了带式输送机的运行成本的，提高了带式送机检修维护的效率，降低了维护成本，提高了安全性，使用了卷积神经网络进行检测模型的建立，提高了检测精度，减小了识别的错误率。

Description

基于计算机视觉的煤码头带式输送机自适应控制方法
技术领域
本发明涉及一种用于煤码头的基于计算机视觉的带式输送机根据输送量和异常状态情况进行自适应控制的方法。
背景技术
带式输送机是我国煤炭生产和运输的重要工具，其优点在于，可以进行长距离的传送运输，运送量大，运输速度快，并且可以在较为恶劣的环境中进行长时间的连续作业，因此被广泛的应用于煤矿生产和煤炭运输领域。由于带式输送机的运行主要依靠大功率电动机带动，耗电量巨大，而我国大多数煤矿的带式输送机都是以最大负载量的恒定速度运行，但是煤矿的生产无法实现煤炭最大负荷的生产，因此带式输送机不可避免的出现大部分时间处于小负载运行的状态，甚至空载运行，这不仅使得设备产生无必要损耗、减小使用寿命，而且还造成了能源的极大浪费。在如今迫切需要节能减排、保护环境的环境下，如何根据带式输送机负载量进行自适应转速调节意义重大，要进行根据负载的自适应调速控制，带式输送机输送量的实时准确的检测又称为解决问题的关键。
目前，煤矿带式输送机煤量检测方式可分为接触式检测和非接触式检测。接触式检测有电子胶带秤检测、核子秤检测等；非接触检测有视频检测和激光仪器检测等。其中，电子胶带秤应用广泛，但是由其“胶带效应”的影响，实际使用过程中容易受到称重误差、胶带速度误差、校准误差和各种外界环境的影响产生较大误差，且误差难以修正，这严重影响了带式输送机输煤量的检测。随着近年来图像处理技术的不断发展成熟，越来越多的人开始研究采用激光或视频图像对带式输送机的输煤量进行实时检测。
另外，由于带式输送机上的输送带经常会在运输使用过程中不可避免的产生“跑偏”、“撕裂”、“划伤”、“削边”和“坑洞”等异常状态，这些异常状态如果不能及时发现并得到修补，会严重影响输送带的使用寿命，造成严重的经济损失和安全事故。现有的一些学者专家更多的是针对于输送带纵向撕裂所设计的一些解决办法，对输送带常见的“跑偏”、“撕裂”、“划伤”、“削边”和“坑洞”异常状态同时进行检测的研究还较少，需要针对不同的种类的损伤检测安装不同的检测设备，这就造成了使用的传感器数量大，安装繁琐，系统复杂度高，成本巨大，效果不够理想。
发明内容
针对上述问题，本发明的目的是为了提供一种用于煤码头的基于计算机视觉的带式输送机根据输送量和异常状态情况进行自适应控制的方法。避免安装各种大量传感器监测设备的同时，实现了对带式输送机输送量和异常情况进行实时检测，并根据输送量和异常情况对带式输送机进行自适应控制的一种方法，降低了输送带的使用运行成本，避免了安全事故。
为了达到上述目的，本发明所采用的技术方案为：
基于计算机视觉的煤码头带式输送机自适应控制方法，其特征在于，所述方法包括离线预训练阶段和在线监控阶段：所述离线预训练阶段包括制作输送量训练数据集和输送量测试数据集、训练带式输送机输送量检测模型、制作异常状训练数据集和异常状态测试数据集、训练带式输送机异常状态检测模型；所述在线监控阶段功能在于使用训练好的输送量检测模型和异常状态检测模型对带式输送机进行实时的在线输送量检测和异常状态检测，根据带式输送机输送量的大小和有无异常状态自适应的控制带式输送机传输速度；
所述制作输送量训练数据集和输送量测试数据集的步骤如下：
(1)获取输送量视频数据,在输送带上方安装网络摄像机1并对输送带进行长时期不间断录像，获得在不同输送量、不同时间段、不同光照强度和不同温湿度环境下的输送带视频数据；
(2)对录制的视频逐帧提取图片；
(3)从获取的图片中选取输送带“无输送量”、“少输送量”、“中输送量”和“大输送量”共4种输送量的图片各N张(N≥10000)，组成输送量图片样本集；其中，每种输送量的输送带图片要将在不同时间段、不同光照强度和不同温湿度环境的各种情况都包含在内；
(4)为了消除摄像机在成像和传输过程中带来的噪声干扰，并能最大程度的保留原始图片信息，对选取的4种输送量的各N张图片，使用g(c,d)＝median{f(c-e,d-f)},(e,f)∈H进行中值滤波，其中(c,d)表示原始图片的某一像素的位置坐标，g(c,d)表示对原始图片(c,d)位置的像素滤波后的像素值，f(c-e,d-f),(e,f)∈H表示滤波模板窗口H在原始图片(c,d)像素上的各个像素值，median{}表示选取{}里所有像素值的中间值；
(5)为输送带建立4种输送量的标签(Label)值表：“无输送量”＝0，“少输送量”＝1，“中输送量”＝2，“大输送量”＝3；
(6)为输送量图片样本集中每一张图片设置对应的输送量标签值；
(7)将输送量图片样本集划分为输送量训练数据集和输送量测试数据集,从输送量图片样本集中选取“无输送量”、“少输送量”、“中输送量”和“大输送量”共4种输送量的图片样本各5000张，在选取每种输送量的5000张图片样本时，要充分包含不同时间段、不同光照强度和不同温湿度环境的各种情况，再将选取的这4种输送量共20000张输送量图片样本按照随机顺序进行摆放，并按照摆放的顺序将每张输送量图片样本的图片名和对应的输送量标签值保存到train_label1.txt文件中，这20000张输送量图片样本和train_label1.txt文件构成了输送量训练数据集；按同样的方法，从输送量图片样本集剩余的图片样本中随机选各种状态共5000张，按照随机顺序进行摆放，并将此5000张输送量图片样本的图片名和对应的输送量标签值按照摆放顺序保存到test_label1.txt文件中，将此5000张输送量图片样本和test_label1.txt文件作为输送量测试数据集；
所述制作异常状态训练数据集和异常状态测试数据集的步骤如下：
(1)获取异常状态视频数据,在输送带下方安装网络摄像机2并对输送带进行长时期不间断录像，获得在不同运行状态、不同时间段、不同光照强度和不同温湿度环境下的输送带视频数据；
(2)对录制的视频逐帧提取图片；
(3)从获取的图片中选取输送带“无异常”、“跑偏”、“撕裂”、“划伤”、“削边”和“坑洞”共6种状态的图片各N张(N≥10000)，组成异常状态图片样本集；其中，每种异常状态的图片都要将输送带在不同运行状态、不同时间段、不同光照强度和不同温湿度环境的各种情况都包含在内；
(4)为了消除摄像机在成像和传输过程中带来的噪声干扰，并能最大程度的保留原始图片信息，对选取的6种状态的各N张图片，使用g(c,d)＝median{f(c-e,d-f)},(e,f)∈H进行中值滤波，其中(c,d)表示原始图片的某一像素的位置坐标，g(c,d)表示对原始图片(c,d)位置的像素滤波后的像素值，f(c-e,d-f),(e,f)∈H表示滤波模板窗口H在原始图片(c,d)像素上的各个像素值，median{}表示选取{}里所有像素值的中间值；
(5)为输送带建立6种状态的异常状态标签(Label)值表：“无异常”＝0，“跑偏”＝1，“撕裂”＝2，“划伤”＝3，“削边”＝4，“坑洞”＝5；
(6)为异常状态图片样本集中每一张图片设置对应的异常状态标签值；
(7)将异常状态图片样本集划分为异常状态训练数据集和异常状态测试数据集,从异常状态图片样本集中选取“无异常”、“跑偏”、“撕裂”、“划伤”、“削边”和“坑洞”共6种状态图片样本各5000张，在选取每种状态的5000张图片样本时，要充分包含不同运行状态、不同时间段、不同光照强度和不同温湿度环境的各种情况，再将选取的这6种状态的共30000张异常状态图片样本按照随机顺序进行摆放，并按照摆放的顺序将每张异常状态图片样本的图片名和对应的异常状态标签值保存到train_label2.txt文件中，这30000张异常状态图片样本和train_label2.txt文件构成了异常状态训练数据集；按同样的方法，从异常状态图片样本集剩余的图片样本中随机选各种状态共5000张，按照随机顺序进行摆放，并将此5000张异常状态图片样本的图片名和对应的异常状态标签值按照摆放顺序保存到test_label2.txt文件中，将此5000张异常状态图片样本和test_label2.txt文件作为异常状态测试数据集；
所述训练带式输送机输送量检测模型，带式输送机输送量检测模型是一个由计算机软件实现的卷积神经网络，其结构为输送量样本输入层a[0]，卷积层1，激活层1，最大池化层1，卷积层2，激活层2，最大池化层2，全连接层1，全连接层2和Sofmax层；输送量图片样本通过输送量样本输入层a[0]输入到卷积神经网络中，经过卷积层1输出为z[1]＝w[1]a[0]+b[1]，经过激活层1输出为a[1]＝g(z[1])，经过最大池化层1输出为a[2]＝Max(a[1])，经过卷积层2输出为z[3]＝w[3]a[2]+b[3]，经过激活层2输出为a[3]＝g(z[3])，经过最大池化层2输出为a[4]＝Max(a[3])，经过全连接层1输出为a[5]＝g(w[5]a[4]+b[5])，经过全连接层2输出为a[6]＝g(w[6]a[5]+b[6])，经过Softmax层输出值为其中，卷积神经网络中a[0]是已知的输送量图片样本，w[1]，w[3]，w[5]，w[6]和b[1]，b[3]，b[5]，b[6]为未知矩阵参数，需要经过训练之后确定，z[1]，z[3]和a[1]～a[5]为中间计算出的值，Max(a)函数用于计算a中每个2×2的区域中，取像素值最大的一个值组成的输出矩阵，g(k)＝max(0,k)，max()函数的值为()中较大的一个参数值，Softmax层输出的是计算得到的带式输送机4种输送量可能出现的概率选择概率最大的作为最终判断出的输送量大小计算交叉熵损失函数其中y分别表示对当前输送量图片样本卷积神经网络计算得到的估计值和真实值，的值是通过卷积神经网络计算输出得到，y的值是从train_label1.txt中获取；卷积神经网络构建完成后，使用输送量训练数据集对卷积神经网络训练，训练步骤如下：
(1)初始化卷积神经网络中各层所有未知矩阵参数w[i],b[i],i∈(1,3,5,6)为随机值，设置迭代次数为s，学习率为lr，设置输入aj为输送量训练数据集中第1个样本aj＝a0，其中下标j表示第j个图片样本，a0表示输送量训练数据集中第1个图片样本；
(2)向卷积神经网络输送量样本输入层a[0]中输入图片样本aj；
(3)通过卷积神经网络进行逐步计算得到输出的输送量估计值
(4)使用输入图片样本aj对应的真实值y和估计值计算输出交叉熵损失函数
(5)计算出卷积神经网络各层中每个参数w[i]和b[i]的变化值Δw[i]和Δb[i]，其中i∈(1,3,5,6)；
(6)使用lr、Δw[i]和Δb[i]的值更新卷积神经网络中所有参数w[i]和b[i]的值，w[i]＝w[i]-lr*Δw[i]，b[i]＝b[i]-lr*Δb[i]，其中i∈(1,3,5,6)；
(7)判断是否为输送量训练数据集中最后1个样本，如果不是最后1个样本，则将选择下1个样本作为aj即aj＝aj+1，则跳转到(2)；若是最后1个样本，则跳转到(8)；
(8)判断迭代是否结束(s＝0)，如果没有结束(s≠0)，则重新选择输送量训练数据集第1个样本作为aj即aj＝a0，迭代次数s＝s-1，跳到(2)，如果迭代结束(s＝0)，则跳转到(9)；
(9)设定带式输送机输送量检测模型检测正确率阈值t，将输送量测试数据集中的所有图片样本依次输入到卷积神经网络中，计算出每个输送量图片样本的输送量估计值并和test_label1.txt中保存的对应输送量真实值y比较，计算带式输送机输送量检测的正确率其中表示输送量测试数据集中估计值和真实值相同的个数，∑Num(y)表示输送量测试数据集中所有样本的个数，若acc＜t，则转到(1)，若acc≥t，则转到(10)；
(10)将卷积神经网络中的所有参数w[i]和b[i]固定且保存，其中i∈(1,3,5,6)，带式输送机输送量检测模型训练完成；
所述训练带式输送机异常状态检测模型，带式输送机异常状态检测模型是一个由计算机软件实现的卷积神经网络，其结构为异常样本输入层A[0]，卷积层1，激活层1，最大池化层1，卷积层2，激活层2，最大池化层2，全连接层1，全连接层2和Sofmax层；异常状态图片样本通过异常样本输入层A[0]输入到卷积神经网络中，经过卷积层1输出为Z[1]＝W[1]A[0]+B[1]，经过激活层1输出为A[1]＝g(Z[1])，经过最大池化层1输出为A[2]＝Max(A[1])，经过卷积层2输出为Z[3]＝W[3]A[2]+B[3]，经过激活层2输出为A[3]＝g(Z[3])，经过最大池化层2输出为A[4]＝Max(A[3])，经过全连接层1输出为A[5]＝g(W[5]A[4]+B[5])，经过全连接层2输出为A[6]＝g(W[6]A[5]+B[6])，经过Softmax层输出值为其中，卷积神经网络中A[0]是已知的异常状态图片样本，W[1]，W[3]，W[5]，W[6]和B[1]，B[3]，B[5]，B[6]为未知矩阵参数，需要经过训练之后确定，Z[1]，Z[3]和A[1]～A[5]为中间计算出的值，Max(A)函数用于计算A中每个2×2的区域中，取像素值最大的一个值组成的输出矩阵值，g(k)＝max(0,k)，max()函数的值为()中较大的一个参数值，Softmax层输出的是计算得到的输送带6种状态可能出现的概率选择概率最大状态的作为最终判断出的输送带异常状态结果计算交叉熵损失函数 Y分别表示对当前异常状态图片样本卷积神经网络计算出的估计值和真实值，的值是通过卷积神经网络计算输出得到，Y的值从train_label2.txt中获取；卷积神经网络构建完成后，使用异常状态训练数据集进行卷积神经网络训练，训练步骤如下：
(1)初始化卷积神经网络中各层所有参数W[i],B[i],i∈(1,3,5,6)为随机值，设置迭代次数为S，学习率为LR，设置输入Aj为异常状态训练数据集中第1个样本Aj＝A0，其中下标j表示第j个图片样本，A0表示异常状态训练数据集中第1个图片样本；
(2)向卷积神经网络异常样本输入层A[0]中输入图片样本Aj；
(3)通过卷积神经网络进行逐步计算得到输出异常状态估计值
(4)使用输入图片样本Aj对应的真实值Y和估计值计算输出交叉熵损失函数
(5)计算出卷积神经网络各层中每个参数W[i]和B[i]的变化值ΔW[i]和ΔB[i]，其中i∈(1,3,5,6)；
(6)使用LR、ΔW[i]和ΔB[i]的值更新卷积神经网络中所有参数W[i]和B[i]的值，W[i]＝W[i]-LR*ΔW[i]，B[i]＝B[i]-LR*ΔB[i]，其中i∈(1,3,5,6)；
(7)判断是否为异常状态训练数据集中最后1个样本，如果不是最后1个样本，则将选择下1个样本作为Aj即Aj＝Aj+1，则跳转到(2)；若是最后1个样本，则跳转到(8)；
(8)判断迭代是否结束(S＝0)，如果没有结束(S≠0)，则重新选择异常状态训练数据集第1个样本作为Aj即Aj＝A0，迭代次数S＝S-1，跳到(2)，如果迭代结束(S＝0)，则跳转到(9)；
(9)设定带式输送机异常状态检测模型检测正确率阈值T，将异常状态测试数据集中的所有图片样本依次输入到卷积神经网络中，计算出每个图片样本的异常状态估计值并和test_label2.txt中保存的对应异常状态真实值Y比较，计算出带式输送机异常状态检测的正确率其中表示异常状态测试数据集中估计值和真实值相同的个数，∑Num(Y)表示异常状态测试数据集中所有样本的个数，若ACC＜T，则转到(1)，若ACC≥T，则转到(10)；
(10)将卷积神经网络中的所有参数W[i]和B[i]固定且保存，其中i∈(1,3,5,6)，带式输送机异常状态检测模型训练完成；
所述在线监控阶段执行步骤如下：
(1)获取网络摄像机2拍摄到的带式输送机的图片，输入到带式输送机异常状态检测模型中，计算检测结果，如果出现“跑偏”、“撕裂”、“划伤”、“削边”和“坑洞”任何一种异常，则停止输送带运行，并发出对应异常状态的警报提示；如果检测结果为“无异常”，则转入步骤(2)；
(2)获取网络摄像机1拍摄到的带式输送机的图片，输入到带式输送机输送量检测模型中，计算检测结果，如果结果为“无输送量”，则调节带式输送机的传输速度为停止状态，如果结果为“少输送量”，则调节传输速度为慢速状态，如果结果为“中输送量”，则调节传输速度为中速状态，如果结果为“大输送量”，则调节传输速度为快速状态，完成后转到步骤(1)，如此循环执行,不断地对带式输送机输送带进行检测并控制。
本发明有益效果体现在：
本发明用于煤码头根据输送量和输送带异常情况对带式输送机进行自适应控制。实现了用计算机视觉对输送带输送量的实时检测并根据输送量大小自动控制带式输送机的输送速度，所用到的设备少，安装简单，不再需要带式输送机始终满负荷运行，极大的节省了设备购买成本、安装成本和运行成本。本发明在没增加额外设备的情况下同时实现了对输送带的各种损伤的异常状态检测，一旦发现输送带发生异常状态，能及时停止带式输送机运行，并发出对应的异常提示，增加了生产的安全性，加快了异常状态检修过程，提高了生产效率。
附图说明
图1为本发明方法的整体框图。
图2为本发明方法的制作输送量图片样本集的流程图。
图3为本发明方法的制作异常状态图片样本及的流程图。
图4为本发明方法的制作输送量训练数据集和输送量测试数据集的示意图。
图5为本发明方法的制作异常状态训练数据集和异常状态测试数据集的示意图。
图6为本发明方法的带式输送机输送量检测模型结构框图。
图7为本发明方法的带式输送机异常状态检测模型结构框图。
图8为本发明方法的训练带式输送机输送量检测模型的流程图。
图9为本发明方法的训练带式输送机异常状态检测模型的流程图。
图10为本发明方法的带式输送机在线监控阶段的工作流程图。
具体实施方式
如图1所示，基于计算机视觉的煤码头带式输送机自适应控制方法总体过程为：
所述方法包括离线预训练阶段和在线监控阶段：所述离线预训练阶段包括制作输送量训练数据集和输送量测试数据集、训练带式输送机输送量检测模型、制作异常状训练数据集和异常状态测试数据集、训练带式输送机异常状态检测模型；所述在线监控阶段功能在于使用训练好的输送量检测模型和异常状态检测模型对带式输送机进行实时的在线输送量检测和异常状态检测，根据带式输送机输送量的大小和有无异常状态自适应的控制带式输送机传输速度；
如图2所示，本发明方法制作输送量图片样本集的过程为：
(1)获取输送量视频数据,在输送带上方安装网络摄像机1并对输送带进行长时期不间断录像，获得在不同输送量、不同时间段、不同光照强度和不同温湿度环境下的输送带视频数据；
(2)对录制的视频逐帧提取图片；
(3)从获取的图片中选取输送带“无输送量”、“少输送量”、“中输送量”和“大输送量”共4种输送量的图片各N张(N≥10000)，组成输送量图片样本集；其中，每种输送量的输送带图片要将在不同时间段、不同光照强度和不同温湿度环境的各种情况都包含在内；
(4)为了消除摄像机在成像和传输过程中带来的噪声干扰，并能最大程度的保留原始图片信息，对选取的4种输送量的各N张图片，使用g(c,d)＝median{f(c-e,d-f)},(e,f)∈H进行中值滤波，其中(c,d)表示原始图片的某一像素的位置坐标，g(c,d)表示对原始图片(c,d)位置的像素滤波后的像素值，f(c-e,d-f),(e,f)∈H表示滤波模板窗口H在原始图片(c,d)像素上的各个像素值，median{}表示选取{}里所有像素值的中间值；
(5)为输送带建立4种输送量的标签(Label)值表：“无输送量”＝0，“少输送量”＝1，“中输送量”＝2，“大输送量”＝3；
(6)为输送量图片样本集中每一张图片设置对应的输送量标签值；
(7)将输送量图片样本集划分为输送量训练数据集和输送量测试数据集；
如图3所示，本发明方法制作异常状态图片样本集的过程为：
(1)获取异常状态视频数据,在输送带下方安装网络摄像机2并对输送带进行长时期不间断录像，获得在不同运行状态、不同时间段、不同光照强度和不同温湿度环境下的输送带视频数据；
(2)对录制的视频逐帧提取图片；
(3)从获取的图片中选取输送带“无异常”、“跑偏”、“撕裂”、“划伤”、“削边”和“坑洞”共6种状态的图片各N张(N≥10000)，组成异常状态图片样本集；其中，每种异常状态的图片都要将输送带在不同运行状态、不同时间段、不同光照强度和不同温湿度环境的各种情况都包含在内；
(4)为了消除摄像机在成像和传输过程中带来的噪声干扰，并能最大程度的保留原始图片信息，对选取的6种状态的各N张图片，使用g(c,d)＝median{f(c-e,d-f)},(e,f)∈H进行中值滤波，其中(c,d)表示原始图片的某一像素的位置坐标，g(c,d)表示对原始图片(c,d)位置的像素滤波后的像素值，f(c-e,d-f),(e,f)∈H表示滤波模板窗口H在原始图片(c,d)像素上的各个像素值，median{}表示选取{}里所有像素值的中间值；
(5)为输送带建立6种状态的异常状态标签(Label)值表：“无异常”＝0，“跑偏”＝1，“撕裂”＝2，“划伤”＝3，“削边”＝4，“坑洞”＝5；
(6)为异常状态图片样本集中每一张图片设置对应的异常状态标签值；
(7)将异常状态图片样本集划分为异常状态训练数据集和异常状态测试数据集；
如图4所示，本发明方法的制作输送量训练数据集和输送量测试数据集的方法为：从输送量图片样本集中选取“无输送量”、“少输送量”、“中输送量”和“大输送量”共4种输送量的图片样本各5000张，在选取每种输送量的5000张图片样本时，要充分包含不同时间段、不同光照强度和不同温湿度环境的各种情况，再将选取的这4种输送量共20000张输送量图片样本按照随机顺序进行摆放，并按照摆放的顺序将每张输送量图片样本的图片名和对应的输送量标签值保存到train_label1.txt文件中，这20000张输送量图片样本和train_label1.txt文件构成了输送量训练数据集；按同样的方法，从输送量图片样本集剩余的图片样本中随机选各种状态共5000张，按照随机顺序进行摆放，并将此5000张输送量图片样本的图片名和对应的输送量标签值按照摆放顺序保存到test_label1.txt文件中，将此5000张输送量图片样本和test_label1.txt文件作为输送量测试数据集；
如图5所示，本发明方法的制作异常状态训练数据集和异常状态测试数据集的方法为：从异常状态图片样本集中选取“无异常”、“跑偏”、“撕裂”、“划伤”、“削边”和“坑洞”共6种状态图片样本各5000张，在选取每种状态的5000张图片样本时，要充分包含不同运行状态、不同时间段、不同光照强度和不同温湿度环境的各种情况，再将选取的这6种状态的共30000张异常状态图片样本按照随机顺序进行摆放，并按照摆放的顺序将每张异常状态图片样本的图片名和对应的异常状态标签值保存到train_label2.txt文件中，这30000张异常状态图片样本和train_label2.txt文件构成了异常状态训练数据集；按同样的方法，从异常状态图片样本集剩余的图片样本中随机选各种状态共5000张，按照随机顺序进行摆放，并将此5000张异常状态图片样本的图片名和对应的异常状态标签值按照摆放顺序保存到test_label2.txt文件中，将此5000张异常状态图片样本和test_label2.txt文件作为异常状态测试数据集；
如图6所示，本发明方法的带式输送机输送量检测模型的结构，带式输送机输送量检测模型是一个由计算机软件实现的卷积神经网络，其结构为输送量样本输入层a[0]，卷积层1，激活层1，最大池化层1，卷积层2，激活层2，最大池化层2，全连接层1，全连接层2和Sofmax层；输送量图片样本通过输送量样本输入层a[0]输入到卷积神经网络中，经过卷积层1输出为z[1]＝w[1]a[0]+b[1]，经过激活层1输出为a[1]＝g(z[1])，经过最大池化层1输出为a[2]＝Max(a[1])，经过卷积层2输出为z[3]＝w[3]a[2]+b[3]，经过激活层2输出为a[3]＝g(z[3])，经过最大池化层2输出为a[4]＝Max(a[3])，经过全连接层1输出为a[5]＝g(w[5]a[4]+b[5])，经过全连接层2输出为a[6]＝g(w[6]a[5]+b[6])，经过Softmax层输出值为其中，卷积神经网络中a[0]是已知的输送量图片样本，w[1]，w[3]，w[5]，w[6]和b[1]，b[3]，b[5]，b[6]为未知矩阵参数，需要经过训练之后确定，z[1]，z[3]和a[1]～a[5]为中间计算出的值，Max(a)函数用于计算a中每个2×2的区域中，取像素值最大的一个值组成的输出矩阵，g(k)＝max(0,k)，max()函数的值为()中较大的一个参数值，Softmax层输出的是计算得到的带式输送机4种输送量可能出现的概率选择概率最大的作为最终判断出的输送量大小计算交叉熵损失函数其中y分别表示对当前输送量图片样本卷积神经网络计算得到的估计值和真实值，的值是通过卷积神经网络计算输出得到，y的值是从train_label1.txt中获取；
如图7所示，本发明方法的带式输送机异常状态检测模型的构成，带式输送机异常状态检测模型是一个由计算机软件实现的卷积神经网络，其结构为异常样本输入层A[0]，卷积层1，激活层1，最大池化层1，卷积层2，激活层2，最大池化层2，全连接层1，全连接层2和Sofmax层；异常状态图片样本通过异常样本输入层A[0]输入到卷积神经网络中，经过卷积层1输出为Z[1]＝W[1]A[0]+B[1]，经过激活层1输出为A[1]＝g(Z[1])，经过最大池化层1输出为A[2]＝Max(A[1])，经过卷积层2输出为Z[3]＝W[3]A[2]+B[3]，经过激活层2输出为A[3]＝g(Z[3])，经过最大池化层2输出为A[4]＝Max(A[3])，经过全连接层1输出为A[5]＝g(W[5]A[4]+B[5])，经过全连接层2输出为A[6]＝g(W[6]A[5]+B[6])，经过Softmax层输出值为其中，卷积神经网络中A[0]是已知的异常状态图片样本，W[1]，W[3]，W[5]，W[6]和B[1]，B[3]，B[5]，B[6]为未知矩阵参数，需要经过训练之后确定，Z[1]，Z[3]和A[1]～A[5]为中间计算出的值，Max(A)函数用于计算A中每个2×2的区域中，取像素值最大的一个值组成的输出矩阵值，g(k)＝max(0,k)，max()函数的值为()中较大的一个参数值，Softmax层输出的是计算得到的输送带6种状态可能出现的概率选择概率最大状态的作为最终判断出的输送带异常状态结果计算交叉熵损失函数 Y分别表示对当前异常状态图片样本卷积神经网络计算出的估计值和真实值，的值是通过卷积神经网络计算输出得到，Y的值从train_label2.txt中获取；
如图8所示，本发明方法的带式输送机输送量检测模型训练过程为：
(1)初始化卷积神经网络中各层所有未知矩阵参数w[i],b[i],i∈(1,3,5,6)为随机值，设置迭代次数为s，学习率为lr，设置输入aj为输送量训练数据集中第1个样本aj＝a0，其中下标j表示第j个图片样本，a0表示输送量训练数据集中第1个图片样本；
(2)向卷积神经网络输送量样本输入层a[0]中输入图片样本aj；
(3)通过卷积神经网络进行逐步计算得到输出的输送量估计值
(4)使用输入图片样本aj对应的真实值y和估计值计算输出交叉熵损失函数
(5)计算出卷积神经网络各层中每个参数w[i]和b[i]的变化值Δw[i]和Δb[i]，其中i∈(1,3,5,6)；
(6)使用lr、Δw[i]和Δb[i]的值更新卷积神经网络中所有参数w[i]和b[i]的值，w[i]＝w[i]-lr*Δw[i]，b[i]＝b[i]-lr*Δb[i]，其中i∈(1,3,5,6)；
(7)判断是否为输送量训练数据集中最后1个样本，如果不是最后1个样本，则将选择下1个样本作为aj即aj＝aj+1，则跳转到(2)；若是最后1个样本，则跳转到(8)；
(8)判断迭代是否结束(s＝0)，如果没有结束(s≠0)，则重新选择输送量训练数据集第1个样本作为aj即aj＝a0，迭代次数s＝s-1，跳到(2)，如果迭代结束(s＝0)，则跳转到(9)；
(9)设定带式输送机输送量检测模型检测正确率阈值t，将输送量测试数据集中的所有图片样本依次输入到卷积神经网络中，计算出每个输送量图片样本的输送量估计值并和test_label1.txt中保存的对应输送量真实值y比较，计算带式输送机输送量检测的正确率其中表示输送量测试数据集中估计值和真实值相同的个数，∑Num(y)表示输送量测试数据集中所有样本的个数，若acc＜t，则转到(1)，若acc≥t，则转到(10)；
(10)将卷积神经网络中的所有参数w[i]和b[i]固定且保存，其中i∈(1,3,5,6)，带式输送机输送量检测模型训练完成；
如图9所示，本发明方法的带式输送机异常状态检测模型训练过程为：
(1)初始化卷积神经网络中各层所有参数W[i],B[i],i∈(1,3,5,6)为随机值，设置迭代次数为S，学习率为LR，设置输入Aj为异常状态训练数据集中第1个样本Aj＝A0，其中下标j表示第j个图片样本，A0表示异常状态训练数据集中第1个图片样本；
(2)向卷积神经网络异常样本输入层A[0]中输入图片样本Aj；
(3)通过卷积神经网络进行逐步计算得到输出异常状态估计值
(4)使用输入图片样本Aj对应的真实值Y和估计值计算输出交叉熵损失函数
(5)计算出卷积神经网络各层中每个参数W[i]和B[i]的变化值ΔW[i]和ΔB[i]，其中i∈(1,3,5,6)；
(6)使用LR、ΔW[i]和ΔB[i]的值更新卷积神经网络中所有参数W[i]和B[i]的值，W[i]＝W[i]-LR*ΔW[i]，B[i]＝B[i]-LR*ΔB[i]，其中i∈(1,3,5,6)；
(7)判断是否为异常状态训练数据集中最后1个样本，如果不是最后1个样本，则将选择下1个样本作为Aj即Aj＝Aj+1，则跳转到(2)；若是最后1个样本，则跳转到(8)；
(8)判断迭代是否结束(S＝0)，如果没有结束(S≠0)，则重新选择异常状态训练数据集第1个样本作为Aj即Aj＝A0，迭代次数S＝S-1，跳到(2)，如果迭代结束(S＝0)，则跳转到(9)；
(9)设定带式输送机异常状态检测模型检测正确率阈值T，将异常状态测试数据集中的所有图片样本依次输入到卷积神经网络中，计算出每个图片样本的异常状态估计值并和test_label2.txt中保存的对应异常状态真实值Y比较，计算出带式输送机异常状态检测的正确率其中表示异常状态测试数据集中估计值和真实值相同的个数，∑Num(Y)表示异常状态测试数据集中所有样本的个数，若ACC＜T，则转到(1)，若ACC≥T，则转到(10)；
(10)将卷积神经网络中的所有参数W[i]和B[i]固定且保存，其中i∈(1,3,5,6)，带式输送机异常状态检测模型训练完成；
如图10所示，本发明方法对带式输送机进行实时在线监控的过程为：
(1)获取网络摄像机2拍摄到的带式输送机的图片，输入到带式输送机异常状态检测模型中，计算检测结果，如果出现“跑偏”、“撕裂”、“划伤”、“削边”和“坑洞”任何一种异常，则停止输送带运行，并发出对应异常状态的警报提示；如果检测结果为“无异常”，则转入步骤(2)；
(2)获取网络摄像机1拍摄到的带式输送机的图片，输入到带式输送机输送量检测模型中，计算检测结果，如果结果为“无输送量”，则调节带式输送机的传输速度为停止状态，如果结果为“少输送量”，则调节传输速度为慢速状态，如果结果为“中输送量”，则调节传输速度为中速状态，如果结果为“大输送量”，则调节传输速度为快速状态，完成后转到步骤(1)，如此循环执行,不断地对带式输送机输送带进行检测并控制。

Claims (1)

1.基于计算机视觉的煤码头带式输送机自适应控制方法，其特征在于，所述方法包括离线预训练阶段和在线监控阶段：所述离线预训练阶段包括制作输送量训练数据集和输送量测试数据集、训练带式输送机输送量检测模型、制作异常状训练数据集和异常状态测试数据集、训练带式输送机异常状态检测模型；所述在线监控阶段功能在于使用训练好的输送量检测模型和异常状态检测模型对带式输送机进行实时的在线输送量检测和异常状态检测，根据带式输送机输送量的大小和有无异常状态自适应的控制带式输送机传输速度；
所述制作输送量训练数据集和输送量测试数据集的步骤如下：
(1)获取输送量视频数据,在输送带上方安装网络摄像机1并对输送带进行长时期不间断录像，获得在不同输送量、不同时间段、不同光照强度和不同温湿度环境下的输送带视频数据；
(2)对录制的视频逐帧提取图片；
(3)从获取的图片中选取输送带“无输送量”、“少输送量”、“中输送量”和“大输送量”共4种输送量的图片各N张(N≥10000)，组成输送量图片样本集；其中，每种输送量的输送带图片要将在不同时间段、不同光照强度和不同温湿度环境的各种情况都包含在内；
(4)为了消除摄像机在成像和传输过程中带来的噪声干扰，并能最大程度的保留原始图片信息，对选取的4种输送量的各N张图片，使用g(c,d)＝median{f(c-e,d-f)},(e,f)∈H进行中值滤波，其中(c,d)表示原始图片的某一像素的位置坐标，g(c,d)表示对原始图片(c,d)位置的像素滤波后的像素值，f(c-e,d-f),(e,f)∈H表示滤波模板窗口H在原始图片(c,d)像素上的各个像素值，median{}表示选取{}里所有像素值的中间值；
(5)为输送带建立4种输送量的标签(Label)值表：“无输送量”＝0，“少输送量”＝1，“中输送量”＝2，“大输送量”＝3；
(6)为输送量图片样本集中每一张图片设置对应的输送量标签值；
(7)将输送量图片样本集划分为输送量训练数据集和输送量测试数据集,从输送量图片样本集中选取“无输送量”、“少输送量”、“中输送量”和“大输送量”共4种输送量的图片样本各5000张，在选取每种输送量的5000张图片样本时，要充分包含不同时间段、不同光照强度和不同温湿度环境的各种情况，再将选取的这4种输送量共20000张输送量图片样本按照随机顺序进行摆放，并按照摆放的顺序将每张输送量图片样本的图片名和对应的输送量标签值保存到train_label1.txt文件中，这20000张输送量图片样本和train_label1.txt文件构成了输送量训练数据集；按同样的方法，从输送量图片样本集剩余的图片样本中随机选各种状态共5000张，按照随机顺序进行摆放，并将此5000张输送量图片样本的图片名和对应的输送量标签值按照摆放顺序保存到test_label1.txt文件中，将此5000张输送量图片样本和test_label1.txt文件作为输送量测试数据集；
所述制作异常状态训练数据集和异常状态测试数据集的步骤如下：
(1)获取异常状态视频数据,在输送带下方安装网络摄像机2并对输送带进行长时期不间断录像，获得在不同运行状态、不同时间段、不同光照强度和不同温湿度环境下的输送带视频数据；
(2)对录制的视频逐帧提取图片；
(3)从获取的图片中选取输送带“无异常”、“跑偏”、“撕裂”、“划伤”、“削边”和“坑洞”共6种状态的图片各N张(N≥10000)，组成异常状态图片样本集；其中，每种异常状态的图片都要将输送带在不同运行状态、不同时间段、不同光照强度和不同温湿度环境的各种情况都包含在内；
(4)为了消除摄像机在成像和传输过程中带来的噪声干扰，并能最大程度的保留原始图片信息，对选取的6种状态的各N张图片，使用g(c,d)＝median{f(c-e,d-f)},(e,f)∈H进行中值滤波，其中(c,d)表示原始图片的某一像素的位置坐标，g(c,d)表示对原始图片(c,d)位置的像素滤波后的像素值，f(c-e,d-f),(e,f)∈H表示滤波模板窗口H在原始图片(c,d)像素上的各个像素值，median{}表示选取{}里所有像素值的中间值；
(5)为输送带建立6种状态的异常状态标签(Label)值表：“无异常”＝0，“跑偏”＝1，“撕裂”＝2，“划伤”＝3，“削边”＝4，“坑洞”＝5；
(6)为异常状态图片样本集中每一张图片设置对应的异常状态标签值；
(7)将异常状态图片样本集划分为异常状态训练数据集和异常状态测试数据集,从异常状态图片样本集中选取“无异常”、“跑偏”、“撕裂”、“划伤”、“削边”和“坑洞”共6种状态图片样本各5000张，在选取每种状态的5000张图片样本时，要充分包含不同运行状态、不同时间段、不同光照强度和不同温湿度环境的各种情况，再将选取的这6种状态的共30000张异常状态图片样本按照随机顺序进行摆放，并按照摆放的顺序将每张异常状态图片样本的图片名和对应的异常状态标签值保存到train_label2.txt文件中，这30000张异常状态图片样本和train_label2.txt文件构成了异常状态训练数据集；按同样的方法，从异常状态图片样本集剩余的图片样本中随机选各种状态共5000张，按照随机顺序进行摆放，并将此5000张异常状态图片样本的图片名和对应的异常状态标签值按照摆放顺序保存到test_label2.txt文件中，将此5000张异常状态图片样本和test_label2.txt文件作为异常状态测试数据集；
所述训练带式输送机输送量检测模型，带式输送机输送量检测模型是一个由计算机软件实现的卷积神经网络，其结构为输送量样本输入层a[0]，卷积层1，激活层1，最大池化层1，卷积层2，激活层2，最大池化层2，全连接层1，全连接层2和Sofmax层；输送量图片样本通过输送量样本输入层a[0]输入到卷积神经网络中，经过卷积层1输出为z[1]＝w[1]a[0]+b[1]，经过激活层1输出为a[1]＝g(z[1])，经过最大池化层1输出为a[2]＝Max(a[1])，经过卷积层2输出为z[3]＝w[3]a[2]+b[3]，经过激活层2输出为a[3]＝g(z[3])，经过最大池化层2输出为a[4]＝Max(a[3])，经过全连接层1输出为a[5]＝g(w[5]a[4]+b[5])，经过全连接层2输出为a[6]＝g(w[6]a[5]+b[6])，经过Softmax层输出值为其中，卷积神经网络中a[0]是已知的输送量图片样本，w[1]，w[3]，w[5]，w[6]和b[1]，b[3]，b[5]，b[6]为未知矩阵参数，需要经过训练之后确定，z[1]，z[3]和a[1]～a[5]为中间计算出的值，Max(a)函数用于计算a中每个2×2的区域中，取像素值最大的一个值组成的输出矩阵，g(k)＝max(0,k)，max()函数的值为()中较大的一个参数值，Softmax层输出的是计算得到的带式输送机4种输送量可能出现的概率选择概率最大的作为最终判断出的输送量大小计算交叉熵损失函数其中y分别表示对当前输送量图片样本卷积神经网络计算得到的估计值和真实值，的值是通过卷积神经网络计算输出得到，y的值是从train_label1.txt中获取；卷积神经网络构建完成后，使用输送量训练数据集对卷积神经网络训练，训练步骤如下：
(1)初始化卷积神经网络中各层所有未知矩阵参数w[i],b[i],i∈(1,3,5,6)为随机值，设置迭代次数为s，学习率为lr，设置输入aj为输送量训练数据集中第1个样本aj＝a0，其中下标j表示第j个图片样本，a0表示输送量训练数据集中第1个图片样本；
(2)向卷积神经网络输送量样本输入层a[0]中输入图片样本aj；
(3)通过卷积神经网络进行逐步计算得到输出的输送量估计值
(4)使用输入图片样本aj对应的真实值y和估计值计算输出交叉熵损失函数
(5)计算出卷积神经网络各层中每个参数w[i]和b[i]的变化值Δw[i]和Δb[i]，其中i∈(1,3,5,6)；
(6)使用lr、Δw[i]和Δb[i]的值更新卷积神经网络中所有参数w[i]和b[i]的值，w[i]＝w[i]-lr*Δw[i]，b[i]＝b[i]-lr*Δb[i]，其中i∈(1,3,5,6)；
(7)判断是否为输送量训练数据集中最后1个样本，如果不是最后1个样本，则将选择下1个样本作为aj即aj＝aj+1，则跳转到(2)；若是最后1个样本，则跳转到(8)；
(8)判断迭代是否结束(s＝0)，如果没有结束(s≠0)，则重新选择输送量训练数据集第1个样本作为aj即aj＝a0，迭代次数s＝s-1，跳到(2)，如果迭代结束(s＝0)，则跳转到(9)；
(9)设定带式输送机输送量检测模型检测正确率阈值t，将输送量测试数据集中的所有图片样本依次输入到卷积神经网络中，计算出每个输送量图片样本的输送量估计值并和test_label1.txt中保存的对应输送量真实值y比较，计算带式输送机输送量检测的正确率其中表示输送量测试数据集中估计值和真实值相同的个数，∑Num(y)表示输送量测试数据集中所有样本的个数，若acc＜t，则转到(1)，若acc≥t，则转到(10)；
(10)将卷积神经网络中的所有参数w[i]和b[i]固定且保存，其中i∈(1,3,5,6)，带式输送机输送量检测模型训练完成；
所述训练带式输送机异常状态检测模型，带式输送机异常状态检测模型是一个由计算机软件实现的卷积神经网络，其结构为异常样本输入层A[0]，卷积层1，激活层1，最大池化层1，卷积层2，激活层2，最大池化层2，全连接层1，全连接层2和Sofmax层；异常状态图片样本通过异常样本输入层A[0]输入到卷积神经网络中，经过卷积层1输出为Z[1]＝W[1]A[0]+B[1]，经过激活层1输出为A[1]＝g(Z[1])，经过最大池化层1输出为A[2]＝Max(A[1])，经过卷积层2输出为Z[3]＝W[3]A[2]+B[3]，经过激活层2输出为A[3]＝g(Z[3])，经过最大池化层2输出为A[4]＝Max(A[3])，经过全连接层1输出为A[5]＝g(W[5]A[4]+B[5])，经过全连接层2输出为A[6]＝g(W[6]A[5]+B[6])，经过Softmax层输出值为其中，卷积神经网络中A[0]是已知的异常状态图片样本，W[1]，W[3]，W[5]，W[6]和B[1]，B[3]，B[5]，B[6]为未知矩阵参数，需要经过训练之后确定，Z[1]，Z[3]和A[1]～A[5]为中间计算出的值，Max(A)函数用于计算A中每个2×2的区域中，取像素值最大的一个值组成的输出矩阵值，g(k)＝max(0,k)，max()函数的值为()中较大的一个参数值，Softmax层输出的是计算得到的输送带6种状态可能出现的概率选择概率最大状态的作为最终判断出的输送带异常状态结果计算交叉熵损失函数 Y分别表示对当前异常状态图片样本卷积神经网络计算出的估计值和真实值，的值是通过卷积神经网络计算输出得到，Y的值从train_label2.txt中获取；卷积神经网络构建完成后，使用异常状态训练数据集进行卷积神经网络训练，训练步骤如下：
(1)初始化卷积神经网络中各层所有参数W[i],B[i],i∈(1,3,5,6)为随机值，设置迭代次数为S，学习率为LR，设置输入Aj为异常状态训练数据集中第1个样本Aj＝A0，其中下标j表示第j个图片样本，A0表示异常状态训练数据集中第1个图片样本；
(2)向卷积神经网络异常样本输入层A[0]中输入图片样本Aj；
(3)通过卷积神经网络进行逐步计算得到输出异常状态估计值
(4)使用输入图片样本Aj对应的真实值Y和估计值计算输出交叉熵损失函数
(5)计算出卷积神经网络各层中每个参数W[i]和B[i]的变化值ΔW[i]和ΔB[i]，其中i∈(1,3,5,6)；
(6)使用LR、ΔW[i]和ΔB[i]的值更新卷积神经网络中所有参数W[i]和B[i]的值，W[i]＝W[i]-LR*ΔW[i]，B[i]＝B[i]-LR*ΔB[i]，其中i∈(1,3,5,6)；
(7)判断是否为异常状态训练数据集中最后1个样本，如果不是最后1个样本，则将选择下1个样本作为Aj即Aj＝Aj+1，则跳转到(2)；若是最后1个样本，则跳转到(8)；
(8)判断迭代是否结束(S＝0)，如果没有结束(S≠0)，则重新选择异常状态训练数据集第1个样本作为Aj即Aj＝A0，迭代次数S＝S-1，跳到(2)，如果迭代结束(S＝0)，则跳转到(9)；
(9)设定带式输送机异常状态检测模型检测正确率阈值T，将异常状态测试数据集中的所有图片样本依次输入到卷积神经网络中，计算出每个图片样本的异常状态估计值并和test_label2.txt中保存的对应异常状态真实值Y比较，计算出带式输送机异常状态检测的正确率其中表示异常状态测试数据集中估计值和真实值相同的个数，∑Num(Y)表示异常状态测试数据集中所有样本的个数，若ACC＜T，则转到(1)，若ACC≥T，则转到(10)；
(10)将卷积神经网络中的所有参数W[i]和B[i]固定且保存，其中i∈(1,3,5,6)，带式输送机异常状态检测模型训练完成；
所述在线监控阶段执行步骤如下：
(1)获取网络摄像机2拍摄到的带式输送机的图片，输入到带式输送机异常状态检测模型中，计算检测结果，如果出现“跑偏”、“撕裂”、“划伤”、“削边”和“坑洞”任何一种异常，则停止输送带运行，并发出对应异常状态的警报提示；如果检测结果为“无异常”，则转入步骤(2)；
(2)获取网络摄像机1拍摄到的带式输送机的图片，输入到带式输送机输送量检测模型中，计算检测结果，如果结果为“无输送量”，则调节带式输送机的传输速度为停止状态，如果结果为“少输送量”，则调节传输速度为慢速状态，如果结果为“中输送量”，则调节传输速度为中速状态，如果结果为“大输送量”，则调节传输速度为快速状态，完成后转到步骤(1)，如此循环执行,不断地对带式输送机输送带进行检测并控制。
CN201811252287.1A 2018-10-25 2018-10-25 基于计算机视觉的煤码头带式输送机自适应控制方法 Active CN109305534B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811252287.1A CN109305534B (zh) 2018-10-25 2018-10-25 基于计算机视觉的煤码头带式输送机自适应控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811252287.1A CN109305534B (zh) 2018-10-25 2018-10-25 基于计算机视觉的煤码头带式输送机自适应控制方法

Publications (2)

Publication Number Publication Date
CN109305534A true CN109305534A (zh) 2019-02-05
CN109305534B CN109305534B (zh) 2020-03-13

Family

ID=65222032

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811252287.1A Active CN109305534B (zh) 2018-10-25 2018-10-25 基于计算机视觉的煤码头带式输送机自适应控制方法

Country Status (1)

Country Link
CN (1) CN109305534B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109819222A (zh) * 2019-02-28 2019-05-28 中国能源建设集团广东省电力设计研究院有限公司 输煤系统堵煤监控方法、装置、系统和计算机设备
CN109961014A (zh) * 2019-02-25 2019-07-02 中国科学院重庆绿色智能技术研究院 一种煤矿输送带危险区域监测方法及系统
CN110008893A (zh) * 2019-03-29 2019-07-12 武汉理工大学 一种基于车载图像传感器的车辆行驶跑偏自动检测方法
CN110852395A (zh) * 2019-11-15 2020-02-28 鞍钢集团矿业有限公司 一种基于自主学习和深度学习的矿石粒度检测方法和系统
CN110950005A (zh) * 2019-11-22 2020-04-03 常州联力自动化科技有限公司 一种单摄像头刮板输送机溜槽位置矫正方法及系统
CN111470286A (zh) * 2020-05-12 2020-07-31 浙江浙能温州发电有限公司 输煤皮带巡检人员跌落检测装置及方法
CN111681223A (zh) * 2020-06-09 2020-09-18 安徽理工大学 基于卷积神经网络的低照度条件下矿井井壁检测方法
CN111935458A (zh) * 2020-08-19 2020-11-13 浙江中控技术股份有限公司 皮带机的控制方法、装置和系统
CN112499163A (zh) * 2020-11-10 2021-03-16 国家能源集团乌海能源有限责任公司 刮板输送机故障检测方法、存储介质及智能刮板输送机
CN112793989A (zh) * 2020-12-25 2021-05-14 中国矿业大学 一种基于物料监测的皮带输送机智能调速方法
CN112991292A (zh) * 2021-03-12 2021-06-18 天津工业大学 输送带纵向撕裂的检测方法和装置
CN113076895A (zh) * 2021-04-09 2021-07-06 太原理工大学 一种基于红外计算机视觉的输送带纵向损伤振动感知方法
CN113221968A (zh) * 2021-04-23 2021-08-06 北京科技大学 一种胶带输送机运行状态诊断方法及装置
CN113859910A (zh) * 2021-09-18 2021-12-31 力博工业技术研究院(山东)有限公司 一种基于输送量控制带式输送机节能方法及装置
CN116142723A (zh) * 2023-03-20 2023-05-23 淮南市万维机电有限公司 一种基于芯片智能控制的皮带机智能保护预警系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102565077A (zh) * 2011-11-09 2012-07-11 天津工业大学 基于机器视觉的输送带纵向撕裂自动检测方法
CN103076873A (zh) * 2011-10-26 2013-05-01 中国科学院声学研究所 一种计算机视觉控制窗口的自适应系统及方法
CN205763475U (zh) * 2016-05-31 2016-12-07 上海发那科机器人有限公司 一种冲压线线尾零件自动化装箱系统
CN106295601A (zh) * 2016-08-18 2017-01-04 合肥工业大学 一种改进的安全带检测方法
CN107043000A (zh) * 2017-06-15 2017-08-15 西安科技大学 一种基于机器视觉的皮带运输机安全智能保障系统
US20170241799A1 (en) * 2016-02-22 2017-08-24 Invensense, Inc. Systems and methods to compensate for gyroscope offset
CN107176432A (zh) * 2017-06-15 2017-09-19 西安科技大学 一种基于机器视觉的锚杆异物及皮带撕裂检测系统
CN107516315A (zh) * 2017-08-25 2017-12-26 华南理工大学 一种基于机器视觉的掘进机出渣监测方法
CN108510488A (zh) * 2018-03-30 2018-09-07 安徽理工大学 基于残差网络的输送带四种损伤检测方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103076873A (zh) * 2011-10-26 2013-05-01 中国科学院声学研究所 一种计算机视觉控制窗口的自适应系统及方法
CN102565077A (zh) * 2011-11-09 2012-07-11 天津工业大学 基于机器视觉的输送带纵向撕裂自动检测方法
US20170241799A1 (en) * 2016-02-22 2017-08-24 Invensense, Inc. Systems and methods to compensate for gyroscope offset
CN205763475U (zh) * 2016-05-31 2016-12-07 上海发那科机器人有限公司 一种冲压线线尾零件自动化装箱系统
CN106295601A (zh) * 2016-08-18 2017-01-04 合肥工业大学 一种改进的安全带检测方法
CN107043000A (zh) * 2017-06-15 2017-08-15 西安科技大学 一种基于机器视觉的皮带运输机安全智能保障系统
CN107176432A (zh) * 2017-06-15 2017-09-19 西安科技大学 一种基于机器视觉的锚杆异物及皮带撕裂检测系统
CN107516315A (zh) * 2017-08-25 2017-12-26 华南理工大学 一种基于机器视觉的掘进机出渣监测方法
CN108510488A (zh) * 2018-03-30 2018-09-07 安徽理工大学 基于残差网络的输送带四种损伤检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
耿杰龙: "基于机器视觉技术的输送带撕裂检测应用研究", 《煤矿现代化》 *

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109961014A (zh) * 2019-02-25 2019-07-02 中国科学院重庆绿色智能技术研究院 一种煤矿输送带危险区域监测方法及系统
CN109819222A (zh) * 2019-02-28 2019-05-28 中国能源建设集团广东省电力设计研究院有限公司 输煤系统堵煤监控方法、装置、系统和计算机设备
CN110008893A (zh) * 2019-03-29 2019-07-12 武汉理工大学 一种基于车载图像传感器的车辆行驶跑偏自动检测方法
CN110008893B (zh) * 2019-03-29 2023-05-26 武汉理工大学 一种基于车载图像传感器的车辆行驶跑偏自动检测方法
CN110852395A (zh) * 2019-11-15 2020-02-28 鞍钢集团矿业有限公司 一种基于自主学习和深度学习的矿石粒度检测方法和系统
CN110852395B (zh) * 2019-11-15 2023-11-14 鞍钢集团矿业有限公司 一种基于自主学习和深度学习的矿石粒度检测方法和系统
CN110950005A (zh) * 2019-11-22 2020-04-03 常州联力自动化科技有限公司 一种单摄像头刮板输送机溜槽位置矫正方法及系统
CN110950005B (zh) * 2019-11-22 2021-07-20 常州联力自动化科技有限公司 一种单摄像头刮板输送机溜槽位置矫正方法及系统
CN111470286A (zh) * 2020-05-12 2020-07-31 浙江浙能温州发电有限公司 输煤皮带巡检人员跌落检测装置及方法
CN111681223A (zh) * 2020-06-09 2020-09-18 安徽理工大学 基于卷积神经网络的低照度条件下矿井井壁检测方法
CN111681223B (zh) * 2020-06-09 2023-04-18 安徽理工大学 基于卷积神经网络的低照度条件下矿井井壁检测方法
CN111935458A (zh) * 2020-08-19 2020-11-13 浙江中控技术股份有限公司 皮带机的控制方法、装置和系统
CN112499163A (zh) * 2020-11-10 2021-03-16 国家能源集团乌海能源有限责任公司 刮板输送机故障检测方法、存储介质及智能刮板输送机
CN112793989A (zh) * 2020-12-25 2021-05-14 中国矿业大学 一种基于物料监测的皮带输送机智能调速方法
CN112793989B (zh) * 2020-12-25 2021-11-19 中国矿业大学 一种基于物料监测的皮带输送机智能调速方法
CN112991292A (zh) * 2021-03-12 2021-06-18 天津工业大学 输送带纵向撕裂的检测方法和装置
CN113076895B (zh) * 2021-04-09 2022-08-02 太原理工大学 一种基于红外计算机视觉的输送带纵向损伤振动感知方法
CN113076895A (zh) * 2021-04-09 2021-07-06 太原理工大学 一种基于红外计算机视觉的输送带纵向损伤振动感知方法
CN113221968B (zh) * 2021-04-23 2023-02-21 北京科技大学 一种胶带输送机运行状态诊断方法及装置
CN113221968A (zh) * 2021-04-23 2021-08-06 北京科技大学 一种胶带输送机运行状态诊断方法及装置
CN113859910A (zh) * 2021-09-18 2021-12-31 力博工业技术研究院(山东)有限公司 一种基于输送量控制带式输送机节能方法及装置
CN116142723A (zh) * 2023-03-20 2023-05-23 淮南市万维机电有限公司 一种基于芯片智能控制的皮带机智能保护预警系统
CN116142723B (zh) * 2023-03-20 2023-08-08 淮南市万维机电有限公司 一种基于芯片智能控制的皮带机智能保护预警系统

Also Published As

Publication number Publication date
CN109305534B (zh) 2020-03-13

Similar Documents

Publication Publication Date Title
CN109305534A (zh) 基于计算机视觉的煤码头带式输送机自适应控制方法
CN107941537B (zh) 一种机械设备健康状态评估方法
CN108510488B (zh) 基于残差网络的输送带四种损伤检测方法
WO2021042935A1 (zh) 基于隐马尔科夫模型和迁移学习的轴承寿命预测方法
CN108460144B (zh) 一种基于机器学习的煤炭设备故障预警系统及方法
CN102340811B (zh) 无线传感器网络故障诊断方法
CN109284863A (zh) 一种基于深度神经网络的电力设备温度预测方法
CN108257114A (zh) 一种基于深度学习的输电设备缺陷自动识别方法
Zhang et al. A deep learning-based method for deviation status detection in intelligent conveyor belt system
CN107341349A (zh) 风机健康评估的方法、系统、存储器及控制器
CN103728431A (zh) 基于极限学习机的工业污水cod在线软测量方法
CN112629905A (zh) 基于深度学习的设备异常检测方法、系统及计算机介质
CN103631681A (zh) 一种在线修复风电场异常数据的方法
CN105354831A (zh) 一种基于图像分块方差-加权特征值的多缺陷检测方法
CN110490842A (zh) 一种基于深度学习的带钢表面缺陷检测方法
CN104318198A (zh) 适用于变电站机器人巡检的识别方法及装置
CN111591715A (zh) 一种皮带纵向撕裂检测方法及装置
CN110163852A (zh) 基于轻量化卷积神经网络的输送带实时跑偏检测方法
CN116664846B (zh) 基于语义分割实现3d打印桥面施工质量监测方法及系统
CN114155494A (zh) 一种基于深度学习的带式输送机输送带跑偏监测方法
CN106682159A (zh) 一种阈值配置方法
CN114757365A (zh) 一种基于深度学习的高速铁路路基沉降预测及预警方法
Zhang et al. Belt deviation detection system based on deep learning under complex working conditions
CN108470699A (zh) 一种半导体制造设备和工艺的智能控制系统
CN106195247A (zh) 一种基于大数据管理模式的变速器控制系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant