CN115272869A - 一种基于图像处理的带式输送机异物识别方法 - Google Patents

一种基于图像处理的带式输送机异物识别方法 Download PDF

Info

Publication number
CN115272869A
CN115272869A CN202211117976.8A CN202211117976A CN115272869A CN 115272869 A CN115272869 A CN 115272869A CN 202211117976 A CN202211117976 A CN 202211117976A CN 115272869 A CN115272869 A CN 115272869A
Authority
CN
China
Prior art keywords
image
data set
belt conveyor
window
constructing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211117976.8A
Other languages
English (en)
Inventor
刘杰辉
闫汝山
杨立洁
赵海潮
晋纪岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei University of Engineering
Original Assignee
Hebei University of Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei University of Engineering filed Critical Hebei University of Engineering
Priority to CN202211117976.8A priority Critical patent/CN115272869A/zh
Publication of CN115272869A publication Critical patent/CN115272869A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于图像处理的带式输送机异物识别方法，改进了图像前处理过程中的降噪过程，构建了改进的卷积神经网络，可以有效地实现带式输送机异物检测，并且具有识别精度高，算法速度快的优点。本发明用于煤矿开采领域，可以有效降低带式输送机故障发生率，延长带式输送机使用寿命，降低事故发生可能，保障工人生命安全。

Description

一种基于图像处理的带式输送机异物识别方法
技术领域
本发明属于煤矿运输输送机的异物识别领域，尤其涉及一种基于图像处理的带式输送机异物识别方法。
背景技术
近年来随着带式输送机在我国煤炭生产过程得到广泛应用，有效保证带式输送机正常运行成为煤炭企业关注的重点。皮带因作为带式输送机最重要也最容易损坏的部分，有效减少皮带撕裂成为保障皮带输运机正常运转的重要一环。带式输送机的皮带在正常运行中不会发生纵向撕裂现象，只有当皮带严重跑偏或外部尖锐物件，如锚杆、铁块、钢板、大块矸石、工字钢等异物戳入皮带时才有可能造成皮带划伤，严重时发生撕裂。一旦皮带撕裂不仅对煤矿的生产带来影响，有时甚至会造成较为严重的煤矿事故，使得作业人员的生命安全受到严重威胁。
传统皮带异物检测方法主要包括人工检测、金属探测器以及雷达探测等。人工检测存在的效率低、安全隐患大等局限；金属探测器存在适用范围小，且部署困难的局限；雷达探测有着成本高，且不易维修的局限性。
发明内容
传统异物检测方法均存在各自的缺点，很难在煤矿得到广泛应用。随着科技快速发展，摄像头和光纤环网在煤矿得到广泛应用，使得基于计算机视觉的煤矿皮带异物检测成为可能，通过利用采集到的可靠视频等相关数据，有效识别运输中的异物。
本发明提供了一种基于图像处理的带式输送机异物识别方法，对煤矿生产中异物的分离有指导意义。
一种基于图像处理的带式输送机异物识别方法，包括，
步骤一：使用工业相机CCD采集传送带上异物图像，构建异物数据集；
步骤二：采用改进的中值滤波即使用自适应中值滤波器对图像进行预处理；选定初始滤波窗口为3×3，设定最大窗口尺寸为13×13，计算窗口中的图片像素值；通过A和B两个子步骤进行滤波处理，
子步骤A：A1=Gmed-Gmin, A2=Gmed-Gmax, 如果A1>0且A2<0, 跳转到步骤B, 否则，增大窗口尺寸；如果增大后的窗口尺寸满足A1>0且A2<0，则重复A, 否则直接输出Gmed;
子步骤B：B1=Gxy-Gmin, B2=Gxy-Gmax, 如果B1>0且B2<0, 则输出Gxy, 否则输出Gmed；
上述子步骤中Gmed为窗口中的图片灰度值的中值，Gmax和Gmin分别为窗口中图片最大灰度值和最小灰度值，Gxy表示坐标 (x,y)处的灰度值；
步骤三：通过引入VGG16网络模型来提取图像的特征和构建RPN网络用来提取候选框，构建融合VGG16网络和RPN网络的卷积神经网络来提取图像的特征，实现异物的识别。
进一步的1，步骤一中的构建异物数据集包括：1）数据集的初步选取，从拍摄的图片中选取清晰，全面的图片；2）数据集的扩充；3）对数据集进行标注；4）构建异物训练数据集以及测试数据集。
进一步的1，数据集扩充时，包括对图片进行水平旋转和随机方向旋转，来扩充数据集。
进一步的1，构建异物训练数据集以及测试数据集中的训练数据集以及测试数据集图像随机选取，训练集图片数量为18000张，验证集图片数量为2000张。
进一步的3，采用VGG16为特征提取网络包括，利用小卷积通过加深网络深度提高模型的性能，对图像进行定位与特征提取，使用卷积处理图像，输出的图像宽和高尺寸为：
Figure 234526DEST_PATH_IMAGE001
Figure 740725DEST_PATH_IMAGE002
式中：
Figure 100002_DEST_PATH_IMAGE003
Figure 395697DEST_PATH_IMAGE004
和
Figure 493097DEST_PATH_IMAGE005
Figure 100002_DEST_PATH_IMAGE006
分别表示卷积核的宽和高，P为在图像边缘填充的边界像素层数，S为步长；
使用池化层对原始数据进行压缩，减少模型的计算参数，提升运算效率，经过池化层处理的图像，输出的图像的尺寸为：
Figure 249831DEST_PATH_IMAGE007
Figure 340147DEST_PATH_IMAGE008
式中：
Figure 52888DEST_PATH_IMAGE009
Figure 790031DEST_PATH_IMAGE004
和
Figure 486592DEST_PATH_IMAGE010
Figure 849440DEST_PATH_IMAGE006
分别表示卷积核的宽和高，
Figure 698579DEST_PATH_IMAGE011
Figure 855890DEST_PATH_IMAGE012
、
Figure DEST_PATH_IMAGE013
Figure 56059DEST_PATH_IMAGE014
和
Figure 222598DEST_PATH_IMAGE015
Figure DEST_PATH_IMAGE016
、
Figure 457401DEST_PATH_IMAGE017
Figure 51194DEST_PATH_IMAGE018
分别表示输入输出的特征图的宽和高，S为步长，输入的特征图深度和卷积核深度一致。
进一步的3，步骤三中构建RPN网络包括，利用3×3的卷积核在共享卷积部分的最后一层输出的特征图上进行卷积，即利用3×3 的窗口对特征图矩阵做滑窗处理；每个滑动窗口对应9个与其同中心的初始建议区域，称为锚。
进一步的3，步骤三中构建RPN网络还包括，将锚分别设置为 8×8，16×16 和 32×32 这3种大小以及1:1，1:2和2:1这3种长宽比例，每个滑动窗口映射出512维特征向量，然后512维的特征向量经过两个由全连接层构成的分支：目标分类层和边框回归层；目标分类层产生18个概率值，用来对9个锚对应的输入图像区域属于前景或背景的概率进行预测，边框回归层将分类为前景的候选区域进行目标定位框预测，其输出的是锚为接近groundtruth所需平移和缩放的四个参数
Figure DEST_PATH_IMAGE019
Figure 738658DEST_PATH_IMAGE020
、
Figure 443309DEST_PATH_IMAGE021
Figure DEST_PATH_IMAGE022
、
Figure 798198DEST_PATH_IMAGE023
Figure 562892DEST_PATH_IMAGE024
、
Figure DEST_PATH_IMAGE025
Figure 725933DEST_PATH_IMAGE026
，然后利用上述的四个参数进行RPN训练，找到每一个锚对应的最优偏移量。
进一步的3，构建卷积网络还包括，将图像归一化尺寸为224×224，经过5个卷积层和2个降采样层处理。
三个步骤紧密相连，层层推进，通过步骤一来采集图像，步骤二对图像进行预处理，步骤三利用改进的网络模型，从而实现异物检测。
本算法的检测下，矸石和预设的异物等的种类判断概率较高，能够准确的检测出异物的种类，表明本文所提出的算法的检测效果较好，能够应用于实际工况条件下的异物检测过程中。
本发明涉及的基于图像处理技术的带式输送机异物识别方法，改进了图像前处理过程中的降噪过程，构建了改进的卷积神经网络，可以有效地实现带式输送机异物检测，并且具有识别精度高，算法速度快的优点。若将本发明用于煤矿开采领域，可以有效降低带式输送机故障发生率，延长带式输送机使用寿命，降低事故发生可能，保障工人生命安全。
附图说明
图1是本发明流程图；
图2是异物的标注过程；
图3是异物的检测结果。
具体实施方式
以下结合发明内容和附图对本发明的具体实施作进一步说明。
如图1-3所示，本发明提供了一种基于图像处理的带式输送机异物识别方法，应用于煤矿生产中异物的分离。该方法通过工业相机获取异物的特征，采用改进的中值滤波方法对图像预处理，处理完成后提取图片特征，构建RPN网络，实现改进的卷积神经网络的构建，最终实现对异物的目标检测。
具体步骤如下：
步骤一：使用工业相机CCD采集传送带上异物图像，构建异物数据集。图像标注采用LabelImg脚本，需用终端调用LabelImg，选择目录下的输入输出文件夹后选取标注格式并开始标注，LabelImg图像标注如图2所示。
上述步骤一中提到的构建异物数据集主要包括：1）数据集的初步选取，从拍摄的图片中选取清晰，全面的图片；2）数据集的扩充；3）对数据集进行标注；4）构建异物训练数据集以及测试数据集。
具体实施时，由于井下的异物种类繁多，拍摄图像时选取常见的异物作为拍摄对象，如:锚杆、大煤块、木块。数据集扩充时，主要是对图形进行水平旋转和随机方向旋转，来扩充数据集。数据集标注时，利用标注软件labelimg对每张图片中不同异物的位置进行标注。训练测试时，训练数据集以及测试数据集图像随机选取，训练集图片数量为18000张，验证集图片数量为2000张。
在噪声密度不是很大的情况下，根据经验，噪声的出现的概率小于0.2，使用中值滤波的效果不错。但是当噪声出现的概率比较高时，原来的中值滤波算法就不是很有效了，只有增大滤波器窗口尺寸，尽管会使图像变得模糊。本发明提出的改进的中值滤波使用自适应中值滤波器，根据预设好的条件，动态地改变中值滤波器的窗口尺寸，以同时兼顾去噪声作用和保护细节的效果。
步骤二：采用改进的中值滤波即使用自适应中值滤波器对图像进行预处理；
上述步骤二中的改进的中值滤波即使用自适应中值滤波器对图像进行预处理可以为：1）选定初始滤波窗口为3×3，设定最大窗口尺寸为13×13，计算窗口中的图片像素值；2）滤波过程主要分为A和B两个子步骤。
子步骤A：A1=Gmed-Gmin, A2=Gmed-Gmax, 如果A1>0且A2<0, 跳转到步骤B, 否则，增大窗口尺寸；如果增大后的窗口尺寸满足A1>0且A2<0，则重复A, 否则直接输出Gmed;
子步骤B：B1=Gxy-Gmin, B2=Gxy-Gmax, 如果B1>0且B2<0, 则输出Gxy, 否则输出Gmed。
上述步骤中Gmed为窗口中的图片灰度值的中值，Gmax和Gmin分别为窗口中图片最大灰度值和最小灰度值，Gxy表示坐标 (x,y)处的灰度值。
具体实施时，在改进的中值滤波算法中，子步骤A实质是判断当前区域的中值点是否是噪声点，通常来说是满足Gmin<Gmed<Gmax这个条件的，此时中值点不是噪声点，跳转到子步骤B；考虑一些特殊情况，如果Gmed=Gmin或者Gmed=Gmax，则认为是噪声点，应该扩大窗口尺寸，在一个更大的范围内寻找一个合适的非噪声点，随后再跳转到子步骤B，否则输出的中值点是噪声点；
接下来考虑跳转到子步骤B之后的情况：判断中心点的像素值是否是噪声点，原理同上。如果不是噪声点，我们可以保留当前像素点的灰度值；如果是噪声点，则使用中值替代原始灰度值，滤去噪声。
使用自适应中值滤波器的目的就是，根据预设好的条件，动态地改变中值滤波器的窗口尺寸，以同时兼顾去噪声作用和保护细节的效果。
改进的卷积神经网络还引入VGG16网络模型来提取图像的特征，VGG16网络模型利用小卷积通过加深网络深度提高模型的性能，可以更好对图像进行定位与特征提取，构建RPN网络，此网络是用来提取候选框的网络，RPN网络的构建可以将异物检测真正融入神经网络的过程之中。
步骤三：构建卷积神经网络，利用VGG16特征提取网络，RPN网络模型来增强特征提取能力实现异物的检测识别。
步骤三中提到的构建改进的卷积神经网络具体实施时可以采用：
1）采用VGG16为特征提取网络，VGG16网络模型利用小卷积通过加深网络深度提高模型的性能，可以更好的对图像进行定位与特征提取，使用卷积处理图像，输出的图像宽和高尺寸为：
Figure 234275DEST_PATH_IMAGE001
Figure 646933DEST_PATH_IMAGE002
式中：
Figure 316949DEST_PATH_IMAGE009
Figure 697115DEST_PATH_IMAGE004
和
Figure 477989DEST_PATH_IMAGE010
Figure 10732DEST_PATH_IMAGE006
分别表示卷积核的宽和高，P为在图像边缘填充的边界像素层数，S为步长。
使用池化层对原始数据进行压缩，减少模型的计算参数，提升运算效率，经过池化层处理的图像，输出的图像的尺寸为：
Figure 851649DEST_PATH_IMAGE007
Figure 719111DEST_PATH_IMAGE008
式中：
Figure 319988DEST_PATH_IMAGE009
Figure 956506DEST_PATH_IMAGE004
和
Figure 968324DEST_PATH_IMAGE010
Figure 808235DEST_PATH_IMAGE006
分别表示卷积核的宽和高，
Figure 462070DEST_PATH_IMAGE011
Figure 687515DEST_PATH_IMAGE012
、
Figure 620968DEST_PATH_IMAGE013
Figure 197442DEST_PATH_IMAGE014
和
Figure 389389DEST_PATH_IMAGE015
Figure 751232DEST_PATH_IMAGE016
、
Figure 636011DEST_PATH_IMAGE017
Figure 434203DEST_PATH_IMAGE018
分别表示输入输出的特征图的宽和高，S为步长，输入的特征图深度和卷积核深度一致。
2）构建RPN网络，利用3×3的卷积核在共享卷积部分的最后一层输出的特征图上进行卷积，也就是利用3×3 的窗口对特征图矩阵做滑窗处理。每个滑动窗口对应9个与其同中心的初始建议区域，称为锚。对于W×H的特征图，就会产生W×H×9个锚。为适应各种大小和长宽比的目标，每个锚对应一种尺度和一种长宽比，本文将其分别设置为 8×8，16×16 和 32×32 这3种大小以及1:1，1:2和2:1这3种长宽比例，每个滑动窗口映射出512维特征向量，然后512维的特征向量经过两个由全连接层构成的分支：目标分类层和边框回归层。分类层产生18个概率值，用来对9个锚对应的输入图像区域属于前景或背景的概率进行预测，回归层将分类为前景的候选区域进行目标定位框预测，其输出的是锚为接近groundtruth所需平移和缩放的四个参数
Figure 914994DEST_PATH_IMAGE019
Figure 115031DEST_PATH_IMAGE020
、
Figure 905132DEST_PATH_IMAGE021
Figure 941353DEST_PATH_IMAGE022
、
Figure 475102DEST_PATH_IMAGE023
Figure 529646DEST_PATH_IMAGE024
、
Figure 506960DEST_PATH_IMAGE025
Figure 14165DEST_PATH_IMAGE026
。然后利用上述的四个参数进行RPN训练，找到每一个锚对应的最优偏移量。
3）构建网络模型，将图像归一化尺寸为224×224，经过5个卷积层和2个降采样层后，其中这两个降采样层分别跟在第一和第二个卷积层后面，进入ROIPooling层，ROIPooling层是输入是由conv5层（经过五个卷积池化的深度网络中获得固定大小的feature maps）的输出和RPN网络所输出的候选框。图像通过两个全连接层实现分类。最后分别经过输出个数是21和84的两个全连接层，这两个全连接层是并列的，不是前后关系，输出为21的全连接层是分类的输出，代表每个region proposal属于每个类别（21类）的得分，输出为84的全连接层是回归的输出，代表每个region proposal的四个坐标。最后是两个损失层，分类的是softmaxWithLoss，输入是label和分类层输出的得分；回归的是SmoothL1Loss，输入是回归层的输出和target坐标及weight。
通过引入VGG16网络模型来提取图像的特征和构建RPN网络用来提取候选框，构建一个新的网络模型融合VGG16网络和RPN网络来提取图像的特征，实现异物的识别。
三个步骤紧密相连，层层推进，通过步骤一来采集图像，步骤二对图像进行预处理，步骤三利用改进的网络模型，从而实现异物检测。
如附图3说明在本算法的检测下，矸石和预设的异物等的种类判断概率较高，能够准确的检测出异物的种类，表明本文所提出的算法的检测效果较好，能够应用于实际工况条件下的异物检测过程中。
本发明涉及的基于图像处理技术的带式输送机异物识别方法，改进了图像前处理过程中的降噪过程，构建了改进的卷积神经网络，可以有效地实现带式输送机异物检测，并且具有识别精度高，算法速度快的优点。若将本发明用于煤矿开采领域，可以有效降低带式输送机故障发生率，延长带式输送机使用寿命，降低事故发生可能，保障工人生命安全。

Claims (8)

1.一种基于图像处理的带式输送机异物识别方法，其特征在于，包括，
步骤一：使用工业相机CCD采集传送带上异物图像，构建异物数据集；
步骤二：采用改进的中值滤波即使用自适应中值滤波器对图像进行预处理；选定初始滤波窗口为3×3，设定最大窗口尺寸为13×13，计算窗口中的图片像素值；通过A和B两个子步骤进行滤波处理，
子步骤A：A1=Gmed-Gmin, A2=Gmed-Gmax, 如果A1>0且A2<0, 跳转到步骤B, 否则，增大窗口尺寸；如果增大后的窗口尺寸满足A1>0且A2<0，则重复A, 否则直接输出Gmed;
子步骤B：B1=Gxy-Gmin, B2=Gxy-Gmax, 如果B1>0且B2<0, 则输出Gxy, 否则输出Gmed；
上述子步骤中Gmed为窗口中的图片灰度值的中值，Gmax和Gmin分别为窗口中图片最大灰度值和最小灰度值，Gxy表示坐标 (x,y)处的灰度值；
步骤三：通过引入VGG16网络模型来提取图像的特征和构建RPN网络用来提取候选框，构建融合VGG16网络和RPN网络的卷积神经网络来提取图像的特征，实现异物的识别。
2.根据权利要求1所述的一种基于图像处理的带式输送机异物识别方法，其特征在于，步骤一中的构建异物数据集包括：1）数据集的初步选取，从拍摄的图片中选取清晰，全面的图片；2）数据集的扩充；3）对数据集进行标注；4）构建异物训练数据集以及测试数据集。
3.根据权利要求2所述的一种基于图像处理的带式输送机异物识别方法，其特征在于，数据集扩充时，包括对图片进行水平旋转和随机方向旋转，来扩充数据集。
4.根据权利要求3所述的一种基于图像处理的带式输送机异物识别方法，其特征在于，构建异物训练数据集以及测试数据集中的训练数据集以及测试数据集图像随机选取，训练集图片数量为18000张，验证集图片数量为2000张。
5.根据权利要求1或3所述的一种基于图像处理的带式输送机异物识别方法，其特征在于，采用VGG16为特征提取网络包括，利用小卷积通过加深网络深度提高模型的性能，对图像进行定位与特征提取，使用卷积处理图像，输出的图像宽和高尺寸为：
Figure 823249DEST_PATH_IMAGE001
Figure 176870DEST_PATH_IMAGE002
式中：
Figure DEST_PATH_IMAGE003
Figure 522532DEST_PATH_IMAGE004
和
Figure 518170DEST_PATH_IMAGE005
Figure DEST_PATH_IMAGE006
分别表示卷积核的宽和高，P为在图像边缘填充的边界像素层数，S为步长；
使用池化层对原始数据进行压缩，减少模型的计算参数，提升运算效率，经过池化层处理的图像，输出的图像的尺寸为：
Figure 98DEST_PATH_IMAGE007
Figure 790199DEST_PATH_IMAGE008
式中：
Figure 75687DEST_PATH_IMAGE003
Figure 360169DEST_PATH_IMAGE004
和
Figure 414713DEST_PATH_IMAGE005
Figure 641295DEST_PATH_IMAGE006
分别表示卷积核的宽和高，
Figure 164811DEST_PATH_IMAGE009
Figure 971093DEST_PATH_IMAGE010
、
Figure DEST_PATH_IMAGE011
Figure 704911DEST_PATH_IMAGE012
和
Figure 571236DEST_PATH_IMAGE013
Figure DEST_PATH_IMAGE014
、
Figure 628054DEST_PATH_IMAGE015
Figure 254339DEST_PATH_IMAGE016
分别表示输入输出的特征图的宽和高，S为步长，输入的特征图深度和卷积核深度一致。
6.根据权利要求5所述的一种基于图像处理的带式输送机异物识别方法，其特征在于，步骤三中构建RPN网络包括，利用3×3的卷积核在共享卷积部分的最后一层输出的特征图上进行卷积，即利用3×3 的窗口对特征图矩阵做滑窗处理；每个滑动窗口对应9个与其同中心的初始建议区域，称为锚。
7.根据权利要求6所述的一种基于图像处理的带式输送机异物识别方法，其特征在于，步骤三中构建RPN网络还包括，将锚分别设置为 8×8，16×16 和 32×32 这3种大小以及1:1，1:2和2:1这3种长宽比例，每个滑动窗口映射出512维特征向量，然后512维的特征向量经过两个由全连接层构成的分支：目标分类层和边框回归层；目标分类层产生18个概率值，用来对9个锚对应的输入图像区域属于前景或背景的概率进行预测，边框回归层将分类为前景的候选区域进行目标定位框预测，其输出的是锚为接近ground truth所需平移和缩放的四个参数
Figure DEST_PATH_IMAGE017
Figure 80212DEST_PATH_IMAGE018
、
Figure 133750DEST_PATH_IMAGE019
Figure DEST_PATH_IMAGE020
、
Figure 677864DEST_PATH_IMAGE021
Figure 842260DEST_PATH_IMAGE022
、
Figure DEST_PATH_IMAGE023
Figure 257061DEST_PATH_IMAGE024
，然后利用上述的四个参数进行RPN训练，找到每一个锚对应的最优偏移量。
8.根据权利要求7所述的一种基于图像处理的带式输送机异物识别方法，其特征在于，构建卷积网络还包括，将图像归一化尺寸为224×224，经过5个卷积层和2个降采样层处理。
CN202211117976.8A 2022-09-14 2022-09-14 一种基于图像处理的带式输送机异物识别方法 Pending CN115272869A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211117976.8A CN115272869A (zh) 2022-09-14 2022-09-14 一种基于图像处理的带式输送机异物识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211117976.8A CN115272869A (zh) 2022-09-14 2022-09-14 一种基于图像处理的带式输送机异物识别方法

Publications (1)

Publication Number Publication Date
CN115272869A true CN115272869A (zh) 2022-11-01

Family

ID=83757221

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211117976.8A Pending CN115272869A (zh) 2022-09-14 2022-09-14 一种基于图像处理的带式输送机异物识别方法

Country Status (1)

Country Link
CN (1) CN115272869A (zh)

Similar Documents

Publication Publication Date Title
CN110503112B (zh) 一种增强特征学习的小目标检测及识别方法
CN101453575B (zh) 一种视频字幕信息提取方法
CN114743119B (zh) 基于无人机的高铁接触网吊弦螺母缺陷检测方法
CN112308826B (zh) 一种基于卷积神经网络的桥梁结构表面缺陷检测方法
CN114841972A (zh) 基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法
CN111222478A (zh) 一种工地安全防护检测方法和系统
CN112766195B (zh) 一种电气化铁路弓网燃弧视觉检测方法
CN113283395B (zh) 一种运煤皮带转接处堵塞异物的视频检测方法
CN110163852B (zh) 基于轻量化卷积神经网络的输送带实时跑偏检测方法
CN111310593B (zh) 一种基于结构感知的超快速车道线检测方法
CN115797357B (zh) 一种基于改进YOLOv7的输电通道隐患检测方法
CN111161292A (zh) 一种矿石尺度测量方法及应用系统
CN112597928B (zh) 一种事件检测方法及相关装置
CN116168270A (zh) 基于并行深度残差网络的轻量化煤矸石检测模型及方法
CN111507398A (zh) 基于目标检测的变电站金属仪器锈蚀识别方法
CN111462090A (zh) 一种多尺度图像目标检测方法
CN115063725B (zh) 基于多尺度自适应ssd算法的飞机蒙皮缺陷识别系统
CN116152226A (zh) 基于可融合的特征金字塔的换向器内侧图像缺陷检测方法
CN114549972B (zh) 露天矿采场提取方法、装置、设备及介质
CN111104855B (zh) 一种基于时序行为检测的工作流识别方法
CN115359392A (zh) 一种基于改进YOLOv5模型的路边施工行为检测方法
CN115700737A (zh) 一种基于视频监控的溢油检测方法
Ji et al. Bucket teeth detection based on faster region convolutional neural network
CN117670791A (zh) 基于多尺度融合策略和改进YOLOv5的道路病害检测方法及装置
CN116524397A (zh) 一种管道缺陷智能检测分析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination