CN112712055A - 一种双路可变形cnn煤矿顺槽皮带运输异物监测方法 - Google Patents

一种双路可变形cnn煤矿顺槽皮带运输异物监测方法 Download PDF

Info

Publication number
CN112712055A
CN112712055A CN202110048091.6A CN202110048091A CN112712055A CN 112712055 A CN112712055 A CN 112712055A CN 202110048091 A CN202110048091 A CN 202110048091A CN 112712055 A CN112712055 A CN 112712055A
Authority
CN
China
Prior art keywords
deformable
layer
image
cnn
convolution layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110048091.6A
Other languages
English (en)
Other versions
CN112712055B (zh
Inventor
黄永安
王将
刘安强
毛少军
郭栋
任明
汪梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi Coal Caojiatan Mining Co Ltd
Xian University of Science and Technology
Original Assignee
Shaanxi Coal Caojiatan Mining Co Ltd
Xian University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaanxi Coal Caojiatan Mining Co Ltd, Xian University of Science and Technology filed Critical Shaanxi Coal Caojiatan Mining Co Ltd
Priority to CN202110048091.6A priority Critical patent/CN112712055B/zh
Publication of CN112712055A publication Critical patent/CN112712055A/zh
Application granted granted Critical
Publication of CN112712055B publication Critical patent/CN112712055B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种双路可变形CNN煤矿顺槽皮带运输异物监测方法，包括步骤：一、构建双路可变形CNN模型；二、训练双路可变形CNN模型；三、煤矿顺槽皮带运输异物框选；四、双路可变形CNN煤矿顺槽皮带运输异物监测。本发明利用双路可变形CNN模型同时对原图像和差分图像进行处理，识别异物，每个卷积层采用变形卷积层，可根据图像内容发生自适应的变化，适应不同异物的形状、大小，能够提取不同尺度的特征，使井下可以在没有工作人员参与的条件下，对煤矿顺皮带运输状况的图像进行监测，不仅减少了工作人员的工作强度，节省了人力资源，而且确保了生产效率，可以及时预防事故的发生。

Description

一种双路可变形CNN煤矿顺槽皮带运输异物监测方法
技术领域
本发明属于煤矿运输异物监测技术领域，具体涉及一种双路可变形CNN煤矿顺槽皮带运输异物监测方法。
背景技术
皮带运输机作为煤矿井下运输的关键设备，锚杆、角钢、垃圾、皮带毛絮等非煤异物进入运煤皮带系统容易引发输送带划伤、撕裂等严重事故，不仅会影响煤矿的安全生产，而且会造成十分惨重的经济损失。传统的井下皮带异物的检测方法主要有人工检测、金属探测器以及雷达探测等。人工检测具有效率低、易有安全隐患等局限；金属探测法具有检测类型少、部署困难等缺陷；雷达探测成本较高且难以维护，上述手段与方法都难以在煤矿企业中普遍推广。顺槽皮带式输送机是根据采煤进度实时收缩输送带的带式输送机。相对于固定式带式输送机，它是需要经常移动的。由于井下顺槽的地形很多都高低起伏，角度在不断的变化，如果利用传统的井下皮带异物检测方法很难对顺槽皮带上的异物进行有效监测。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种双路可变形CNN煤矿顺槽皮带运输异物监测方法，利用双路可变形CNN模型同时对原图像和差分图像进行处理，识别异物，每个卷积层采用变形卷积层，可根据图像内容发生自适应的变化，适应不同异物的形状、大小，能够提取不同尺度的特征，使井下可以在没有工作人员参与的条件下，对煤矿顺皮带运输状况的图像进行监测，不仅减少了工作人员的工作强度，节省了人力资源，而且确保了生产效率，可以及时预防事故的发生，便于推广使用。
为解决上述技术问题，本发明采用的技术方案是：一种双路可变形CNN煤矿顺槽皮带运输异物监测方法，其特征在于，该方法包括以下步骤：
步骤一、构建双路可变形CNN模型：构建双路可变形CNN模型，所述双路可变形CNN模型包括依次设置的双路可变形CNN模块、主全连接层一、主全连接层二和输出层，所述双路可变形CNN模块包括并行设置的第一可变形CNN通道和第二可变形CNN通道，主全连接层一同时接收所述第一可变形CNN通道的输出和第二可变形CNN通道的输出；
所述第一可变形CNN通道包括依次设置的第一变形卷积层一、第一激活层一、第一池化层一、第一变形卷积层二、第一激活层二、第一池化层二、第一变形卷积层三、第一激活层三、第一池化层三、第一全连接层一、第一全连接层二；
所述第二可变形CNN通道包括依次设置的第二变形卷积层一、第二激活层一、第二池化层一、第二变形卷积层二、第二激活层二、第二池化层二、第二变形卷积层三、第二激活层三、第二池化层三、第二全连接层一、第二全连接层二；
第一变形卷积层一、第一变形卷积层二、第一变形卷积层三、第二变形卷积层一、第二变形卷积层二、第二变形卷积层三的卷积核大小为5×5、步长为1；第一池化层一、第一池化层二、第一池化层三、第二池化层一、第二池化层二、第二池化层三的池化窗口大小为3×3、步长为2；第一激活层一、第一激活层二、第一激活层三、第二激活层一、第二激活层二、第二激活层三为ReLU激活函数；
步骤二、训练双路可变形CNN模型，过程如下：
步骤201、构建图像数据库：在煤矿顺槽皮带运输机固定位置处安装摄像头，采集固定视角的煤矿顺槽皮带上多张没有异物的标准运煤灰度图像以及不少于1000张且存在异物的训练样本图像，多张训练样本图像构成一个图像数据库，对图像数据库进行随机分类，获得图像训练数据集合和图像测试数据集合；
步骤202、初始化第一变形卷积层一、第一变形卷积层二、第一变形卷积层三、第二变形卷积层一、第二变形卷积层二、第二变形卷积层三中的像素点权重w和像素点偏移量Δpn；
步骤203、调取图像训练数据集合中的一张训练样本图像，并对该图像进行灰度处理，将灰度处理后的训练样本图像送入第一可变形CNN通道，同时对灰度处理后的训练样本图像与一张标准运煤灰度图像进行差分处理，再将差分图像进行二值化处理后送入第二可变形CNN通道，对双路可变形CNN模型进行一次训练；
步骤204、更新第一变形卷积层一、第一变形卷积层二、第一变形卷积层三、第二变形卷积层一、第二变形卷积层二、第二变形卷积层三中的像素点权重w和像素点偏移量Δpn；
步骤205、循环步骤203至步骤204，直至图像训练数据集合中的图像调取完毕，完成双路可变形CNN模型的训练过程，获取第一变形卷积层一、第一变形卷积层二、第一变形卷积层三、第二变形卷积层一、第二变形卷积层二、第二变形卷积层三中的最终像素点权重w和优选像素点偏移量Δpn；
当优选像素点偏移量Δpn为非整数时，对优选像素点偏移量Δpn进行取整处理，获取最终的像素点偏移量Δpn；
当优选像素点偏移量Δpn为整数时，优选像素点偏移量Δpn即为最终的像素点偏移量Δpn；
步骤206、在图像测试数据集合中调取训练样本图像，对双路可变形CNN模型进行测试，获取训练并测试完成的双路可变形CNN模型；
步骤三、煤矿顺槽皮带运输异物框选：摄像头现场采集运煤实际图像，并对运煤实际图像进行灰度处理，将灰度处理后的运煤实际图像送入训练完成的双路可变形CNN模型中，其中，灰度处理后的运煤实际图像一路进入第一可变形CNN通道，另一路与一张标准运煤灰度图像进行差分处理，再将差分图像进行二值化处理后送入第二可变形CNN通道，经主全连接层一、主全连接层二和输出层后识别出煤矿顺槽皮带运输异物对应像素在输出图像上的位置，利用选框对输出图像上异物对应像素进行框选；
步骤四、双路可变形CNN煤矿顺槽皮带运输异物监测：在运煤实际图像上查找选框所在像素位置，利用选框在运煤实际图像上框选异物，实现双路可变形CNN煤矿顺槽皮带运输异物监测。
上述的一种双路可变形CNN煤矿顺槽皮带运输异物监测方法，其特征在于：步骤三中，将灰度处理后的运煤实际图像送入训练完成的双路可变形CNN模型中，其中，另一路与一张标准运煤灰度图像进行差分处理之前，先根据公式
Figure BDA0002898174820000041
进行光照补偿处理，获取补偿后的运煤实际图像O(x,y)，其中，F(x,y)为灰度处理后的运煤实际图像，γ为用于亮度增强的指数值且
Figure BDA0002898174820000042
I(x,y)为光照分量，m为光照分量的亮度均值。
上述的一种双路可变形CNN煤矿顺槽皮带运输异物监测方法，其特征在于：步骤203中，对图像进行灰度处理时，RGB三通道中R通道的权重为0.3004，RGB三通道中G通道的权重为0.4285，RGB三通道中B通道的权重为0.2711。
上述的一种双路可变形CNN煤矿顺槽皮带运输异物监测方法，其特征在于：步骤三中，将灰度处理后的运煤实际图像送入训练完成的双路可变形CNN模型中，其中，另一路与一张标准运煤灰度图像进行差分处理之前，先进行光照补偿处理，再进行无关像素剔除处理，最后再与一张标准运煤灰度图像进行差分处理。
上述的一种双路可变形CNN煤矿顺槽皮带运输异物监测方法，其特征在于：步骤三中，将灰度处理后的运煤实际图像送入训练完成的双路可变形CNN模型中，其中，另一路与一张标准运煤灰度图像进行差分处理之前，先进行光照补偿处理，再通过Lucas-Kanade光流法进行无关像素剔除处理。
本发明与现有技术相比具有以下优点：
1、本发明输入图像通过两个相互独立的通路进行特征提取，双路通道的每个卷积层采用变形卷积层，卷积核采样点位置会根据图像内容发生自适应的变化，从而适应不同异物的形状、大小等几何形变，能够提取输入图像中不同尺度的特征，然后在全连接层进行特征融合，最后经过输出层进行输出，识别异物，避免单路卷积神经网络单一卷积核提取特征不够充分且在识别结果的准确性方面有所欠缺的问题，便于推广使用。
2、本发明对输入差分图像数据通路第二可变形CNN通道的灰度图像进行光照补偿处理，去除由监测视频获取图像数据过程中引起的光照差异，若不进行光照补偿处理，光照差异会作为干扰，输入差分图像数据通路，可靠稳定，使用效果好，剔除在采集视频时采集到移动的矿车、行人等无关前景物体的像素点，这些无关前景作为干扰数据，影响着模型性能，确定运动性无关目标的像素区域，实现对应图像数据中运动性无关干扰的定向性去除。
3、本发明方法步骤简单，利用双路可变形CNN模型同时对原图像和差分图像进行处理，识别异物，每个卷积层采用变形卷积层，可根据图像内容发生自适应的变化，适应不同异物的形状、大小，能够提取不同尺度的特征，使井下可以在没有工作人员参与的条件下，对煤矿顺皮带运输状况的图像进行监测，不仅减少了工作人员的工作强度，节省了人力资源，而且确保了生产效率，可以及时预防事故的发生，便于推广使用。
综上所述，本发明利用双路可变形CNN模型同时对原图像和差分图像进行处理，识别异物，每个卷积层采用变形卷积层，可根据图像内容发生自适应的变化，适应不同异物的形状、大小，能够提取不同尺度的特征，使井下可以在没有工作人员参与的条件下，对煤矿顺皮带运输状况的图像进行监测，不仅减少了工作人员的工作强度，节省了人力资源，而且确保了生产效率，可以及时预防事故的发生，便于推广使用。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的方法流程框图。
具体实施方式
如图1所示，本发明的一种双路可变形CNN煤矿顺槽皮带运输异物监测方法，包括以下步骤：
步骤一、构建双路可变形CNN模型：构建双路可变形CNN模型，所述双路可变形CNN模型包括依次设置的双路可变形CNN模块、主全连接层一、主全连接层二和输出层，所述双路可变形CNN模块包括并行设置的第一可变形CNN通道和第二可变形CNN通道，主全连接层一同时接收所述第一可变形CNN通道的输出和第二可变形CNN通道的输出；
所述第一可变形CNN通道包括依次设置的第一变形卷积层一、第一激活层一、第一池化层一、第一变形卷积层二、第一激活层二、第一池化层二、第一变形卷积层三、第一激活层三、第一池化层三、第一全连接层一、第一全连接层二；
所述第二可变形CNN通道包括依次设置的第二变形卷积层一、第二激活层一、第二池化层一、第二变形卷积层二、第二激活层二、第二池化层二、第二变形卷积层三、第二激活层三、第二池化层三、第二全连接层一、第二全连接层二；
第一变形卷积层一、第一变形卷积层二、第一变形卷积层三、第二变形卷积层一、第二变形卷积层二、第二变形卷积层三的卷积核大小为5×5、步长为1；第一池化层一、第一池化层二、第一池化层三、第二池化层一、第二池化层二、第二池化层三的池化窗口大小为3×3、步长为2；第一激活层一、第一激活层二、第一激活层三、第二激活层一、第二激活层二、第二激活层三为ReLU激活函数；
需要说明的是，输入图像通过两个相互独立的通路进行特征提取，双路通道的每个卷积层采用变形卷积层，卷积核采样点位置会根据图像内容发生自适应的变化，从而适应不同异物的形状、大小等几何形变，能够提取输入图像中不同尺度的特征，然后在全连接层进行特征融合，最后经过输出层进行输出，识别异物，避免单路卷积神经网络单一卷积核提取特征不够充分且在识别结果的准确性方面有所欠缺的问题。
步骤二、训练双路可变形CNN模型，过程如下：
步骤201、构建图像数据库：在煤矿顺槽皮带运输机固定位置处安装摄像头，采集固定视角的煤矿顺槽皮带上多张没有异物的标准运煤灰度图像以及不少于1000张且存在异物的训练样本图像，多张训练样本图像构成一个图像数据库，对图像数据库进行随机分类，获得图像训练数据集合和图像测试数据集合；
步骤202、初始化第一变形卷积层一、第一变形卷积层二、第一变形卷积层三、第二变形卷积层一、第二变形卷积层二、第二变形卷积层三中的像素点权重w和像素点偏移量Δpn；
步骤203、调取图像训练数据集合中的一张训练样本图像，并对该图像进行灰度处理，将灰度处理后的训练样本图像送入第一可变形CNN通道，同时对灰度处理后的训练样本图像与一张标准运煤灰度图像进行差分处理，再将差分图像进行二值化处理后送入第二可变形CNN通道，对双路可变形CNN模型进行一次训练；
本实施例中，步骤203中，对图像进行灰度处理时，RGB三通道中R通道的权重为0.3004，RGB三通道中G通道的权重为0.4285，RGB三通道中B通道的权重为0.2711。
步骤204、更新第一变形卷积层一、第一变形卷积层二、第一变形卷积层三、第二变形卷积层一、第二变形卷积层二、第二变形卷积层三中的像素点权重w和像素点偏移量Δpn；
步骤205、循环步骤203至步骤204，直至图像训练数据集合中的图像调取完毕，完成双路可变形CNN模型的训练过程，获取第一变形卷积层一、第一变形卷积层二、第一变形卷积层三、第二变形卷积层一、第二变形卷积层二、第二变形卷积层三中的最终像素点权重w和优选像素点偏移量Δpn；
当优选像素点偏移量Δpn为非整数时，通过四舍五入的方式对优选像素点偏移量Δpn进行取整处理，获取最终的像素点偏移量Δpn；
当优选像素点偏移量Δpn为整数时，优选像素点偏移量Δpn即为最终的像素点偏移量Δpn；
步骤206、在图像测试数据集合中调取训练样本图像，对双路可变形CNN模型进行测试，获取训练并测试完成的双路可变形CNN模型；
步骤三、煤矿顺槽皮带运输异物框选：摄像头现场采集运煤实际图像，并对运煤实际图像进行灰度处理，将灰度处理后的运煤实际图像送入训练完成的双路可变形CNN模型中，其中，灰度处理后的运煤实际图像一路进入第一可变形CNN通道，另一路与一张标准运煤灰度图像进行差分处理，再将差分图像进行二值化处理后送入第二可变形CNN通道，经主全连接层一、主全连接层二和输出层后识别出煤矿顺槽皮带运输异物对应像素在输出图像上的位置，利用选框对输出图像上异物对应像素进行框选；
本实施例中，步骤三中，将灰度处理后的运煤实际图像送入训练完成的双路可变形CNN模型中，其中，另一路与一张标准运煤灰度图像进行差分处理之前，先根据公式
Figure BDA0002898174820000081
进行光照补偿处理，获取补偿后的运煤实际图像O(x,y)，其中，F(x,y)为灰度处理后的运煤实际图像，γ为用于亮度增强的指数值且
Figure BDA0002898174820000082
I(x,y)为光照分量，m为光照分量的亮度均值。
本实施例中，步骤三中，将灰度处理后的运煤实际图像送入训练完成的双路可变形CNN模型中，其中，另一路与一张标准运煤灰度图像进行差分处理之前，先进行光照补偿处理，再进行无关像素剔除处理，最后再与一张标准运煤灰度图像进行差分处理。
需要说明的是，对输入差分图像数据通路第二可变形CNN通道的灰度图像进行光照补偿处理，去除由监测视频获取图像数据过程中引起的光照差异，若不进行光照补偿处理，光照差异会作为干扰，输入差分图像数据通路，可靠稳定，使用效果好，剔除在采集视频时采集到移动的矿车、行人等无关前景物体的像素点，这些无关前景作为干扰数据，影响着模型性能，确定运动性无关目标的像素区域，实现对应图像数据中运动性无关干扰的定向性去除。
本实施例中，步骤三中，将灰度处理后的运煤实际图像送入训练完成的双路可变形CNN模型中，其中，另一路与一张标准运煤灰度图像进行差分处理之前，先进行光照补偿处理，再通过Lucas-Kanade光流法进行无关像素剔除处理。
步骤四、双路可变形CNN煤矿顺槽皮带运输异物监测：在运煤实际图像上查找选框所在像素位置，利用选框在运煤实际图像上框选异物，实现双路可变形CNN煤矿顺槽皮带运输异物监测。
本发明使用时，以480×640像素顺槽皮带监测的RGB原始图像为例，第一可变形CNN通道是以480×640像素顺槽皮带监测的RGB原始图像压缩为48×64像素的RGB图像数据为输入，第二可变形CNN通道则是先对压缩后48×64像素的RGB图像进行计算机视觉理解下的权值平均灰度化，然后对图像做差分处理、光照补偿处理和无关前景剔除处理，最后得到的处理结果作为差分图像通路的输入。具体的双路卷积过程如下：分别将第一可变形CNN通道和第二可变形CNN通道输入的48×64像素的图像，经过64个5×5大小的滤波器得到变形卷积层一的64个48×64大小的特征图。然后对这64个特征图分别进行3×3大小的池化操作，可得到大小为24×32的池化层特征图。池化层一、变形卷积层二之间也是进行卷积操作，共有64个大小为5×5的滤波器，所以变形卷积层二有64个大小为24×32的特征图。池化层二有64个12×16像素的特征图，是由上层网络经过池化后得到的。变形卷积层三依然是卷积运算，它的滤波器大小依然为5×5，共有64个，所以池化层二的特征图经过卷积操作后得到64个12×16的特征图。对这64个特征图分别进行3×3大小的池化操作，可得到大小为6×8的池化层三特征图。全连接层一有100个神经元，全连接层二有40个神经元，输出层输出网络分类的结果。相对于全连接神经网络，卷积神经网络能够通过滤波器得到特征图，从而实现了权值共享，极大减少了网络的参数，提高了网络的训练效率。卷积操作可以使得输入具有平移或旋转不变性。池化操作可以在保留主要特征的同时，提高网络模型的泛化能力，并增加网络的感受野。全连接层在整个卷积神经网络中起到“分类器”的作用。如果说卷积层、池化层和激活函数层等操作是将原始数据映射到隐层特征空间的话，全连接层则起到将学到的“分布式特征表示”映射到样本标记空间的作用。本实施例利用双路可变形CNN模型同时对原图像和差分图像进行处理，识别异物，每个卷积层采用变形卷积层，可根据图像内容发生自适应的变化，适应不同异物的形状、大小，能够提取不同尺度的特征，使井下可以在没有工作人员参与的条件下，对煤矿顺皮带运输状况的图像进行监测，不仅减少了工作人员的工作强度，节省了人力资源，而且确保了生产效率，可以及时预防事故的发生。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何限制，凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化，均仍属于本发明技术方案的保护范围内。

Claims (5)

1.一种双路可变形CNN煤矿顺槽皮带运输异物监测方法，其特征在于，该方法包括以下步骤：
步骤一、构建双路可变形CNN模型：构建双路可变形CNN模型，所述双路可变形CNN模型包括依次设置的双路可变形CNN模块、主全连接层一、主全连接层二和输出层，所述双路可变形CNN模块包括并行设置的第一可变形CNN通道和第二可变形CNN通道，主全连接层一同时接收所述第一可变形CNN通道的输出和第二可变形CNN通道的输出；
所述第一可变形CNN通道包括依次设置的第一变形卷积层一、第一激活层一、第一池化层一、第一变形卷积层二、第一激活层二、第一池化层二、第一变形卷积层三、第一激活层三、第一池化层三、第一全连接层一、第一全连接层二；
所述第二可变形CNN通道包括依次设置的第二变形卷积层一、第二激活层一、第二池化层一、第二变形卷积层二、第二激活层二、第二池化层二、第二变形卷积层三、第二激活层三、第二池化层三、第二全连接层一、第二全连接层二；
第一变形卷积层一、第一变形卷积层二、第一变形卷积层三、第二变形卷积层一、第二变形卷积层二、第二变形卷积层三的卷积核大小为5×5、步长为1；第一池化层一、第一池化层二、第一池化层三、第二池化层一、第二池化层二、第二池化层三的池化窗口大小为3×3、步长为2；第一激活层一、第一激活层二、第一激活层三、第二激活层一、第二激活层二、第二激活层三为ReLU激活函数；
步骤二、训练双路可变形CNN模型，过程如下：
步骤201、构建图像数据库：在煤矿顺槽皮带运输机固定位置处安装摄像头，采集固定视角的煤矿顺槽皮带上多张没有异物的标准运煤灰度图像以及不少于1000张且存在异物的训练样本图像，多张训练样本图像构成一个图像数据库，对图像数据库进行随机分类，获得图像训练数据集合和图像测试数据集合；
步骤202、初始化第一变形卷积层一、第一变形卷积层二、第一变形卷积层三、第二变形卷积层一、第二变形卷积层二、第二变形卷积层三中的像素点权重w和像素点偏移量Δpn；
步骤203、调取图像训练数据集合中的一张训练样本图像，并对该图像进行灰度处理，将灰度处理后的训练样本图像送入第一可变形CNN通道，同时对灰度处理后的训练样本图像与一张标准运煤灰度图像进行差分处理，再将差分图像进行二值化处理后送入第二可变形CNN通道，对双路可变形CNN模型进行一次训练；
步骤204、更新第一变形卷积层一、第一变形卷积层二、第一变形卷积层三、第二变形卷积层一、第二变形卷积层二、第二变形卷积层三中的像素点权重w和像素点偏移量Δpn；
步骤205、循环步骤203至步骤204，直至图像训练数据集合中的图像调取完毕，完成双路可变形CNN模型的训练过程，获取第一变形卷积层一、第一变形卷积层二、第一变形卷积层三、第二变形卷积层一、第二变形卷积层二、第二变形卷积层三中的最终像素点权重w和优选像素点偏移量Δpn；
当优选像素点偏移量Δpn为非整数时，对优选像素点偏移量Δpn进行取整处理，获取最终的像素点偏移量Δpn；
当优选像素点偏移量Δpn为整数时，优选像素点偏移量Δpn即为最终的像素点偏移量Δpn；
步骤206、在图像测试数据集合中调取训练样本图像，对双路可变形CNN模型进行测试，获取训练并测试完成的双路可变形CNN模型；
步骤三、煤矿顺槽皮带运输异物框选：摄像头现场采集运煤实际图像，并对运煤实际图像进行灰度处理，将灰度处理后的运煤实际图像送入训练完成的双路可变形CNN模型中，其中，灰度处理后的运煤实际图像一路进入第一可变形CNN通道，另一路与一张标准运煤灰度图像进行差分处理，再将差分图像进行二值化处理后送入第二可变形CNN通道，经主全连接层一、主全连接层二和输出层后识别出煤矿顺槽皮带运输异物对应像素在输出图像上的位置，利用选框对输出图像上异物对应像素进行框选；
步骤四、双路可变形CNN煤矿顺槽皮带运输异物监测：在运煤实际图像上查找选框所在像素位置，利用选框在运煤实际图像上框选异物，实现双路可变形CNN煤矿顺槽皮带运输异物监测。
2.按照权利要求1所述的一种双路可变形CNN煤矿顺槽皮带运输异物监测方法，其特征在于：步骤三中，将灰度处理后的运煤实际图像送入训练完成的双路可变形CNN模型中，其中，另一路与一张标准运煤灰度图像进行差分处理之前，先根据公式
Figure FDA0002898174810000031
进行光照补偿处理，获取补偿后的运煤实际图像O(x,y)，其中，F(x,y)为灰度处理后的运煤实际图像，γ为用于亮度增强的指数值且
Figure FDA0002898174810000032
I(x,y)为光照分量，m为光照分量的亮度均值。
3.按照权利要求1所述的一种双路可变形CNN煤矿顺槽皮带运输异物监测方法，其特征在于：步骤203中，对图像进行灰度处理时，RGB三通道中R通道的权重为0.3004，RGB三通道中G通道的权重为0.4285，RGB三通道中B通道的权重为0.2711。
4.按照权利要求2所述的一种双路可变形CNN煤矿顺槽皮带运输异物监测方法，其特征在于：步骤三中，将灰度处理后的运煤实际图像送入训练完成的双路可变形CNN模型中，其中，另一路与一张标准运煤灰度图像进行差分处理之前，先进行光照补偿处理，再进行无关像素剔除处理，最后再与一张标准运煤灰度图像进行差分处理。
5.按照权利要求4所述的一种双路可变形CNN煤矿顺槽皮带运输异物监测方法，其特征在于：步骤三中，将灰度处理后的运煤实际图像送入训练完成的双路可变形CNN模型中，其中，另一路与一张标准运煤灰度图像进行差分处理之前，先进行光照补偿处理，再通过Lucas-Kanade光流法进行无关像素剔除处理。
CN202110048091.6A 2021-01-14 2021-01-14 一种双路可变形cnn煤矿顺槽皮带运输异物监测方法 Active CN112712055B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110048091.6A CN112712055B (zh) 2021-01-14 2021-01-14 一种双路可变形cnn煤矿顺槽皮带运输异物监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110048091.6A CN112712055B (zh) 2021-01-14 2021-01-14 一种双路可变形cnn煤矿顺槽皮带运输异物监测方法

Publications (2)

Publication Number Publication Date
CN112712055A true CN112712055A (zh) 2021-04-27
CN112712055B CN112712055B (zh) 2023-07-25

Family

ID=75549026

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110048091.6A Active CN112712055B (zh) 2021-01-14 2021-01-14 一种双路可变形cnn煤矿顺槽皮带运输异物监测方法

Country Status (1)

Country Link
CN (1) CN112712055B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113780199A (zh) * 2021-09-15 2021-12-10 江苏迪赛司自动化工程有限公司 一种双视成像装置和皮带运输异物目标智能识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108267172A (zh) * 2018-01-25 2018-07-10 神华宁夏煤业集团有限责任公司 矿用智能机器人巡检系统
CN108668109A (zh) * 2018-02-14 2018-10-16 北京广天夏科技有限公司 基于计算机视觉的图像监控方法
CN109299688A (zh) * 2018-09-19 2019-02-01 厦门大学 基于可变形快速卷积神经网络的舰船检测方法
CN111079845A (zh) * 2019-12-20 2020-04-28 西安交通大学 一种煤炭中煤矸石和煤的分类识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108267172A (zh) * 2018-01-25 2018-07-10 神华宁夏煤业集团有限责任公司 矿用智能机器人巡检系统
CN108668109A (zh) * 2018-02-14 2018-10-16 北京广天夏科技有限公司 基于计算机视觉的图像监控方法
CN109299688A (zh) * 2018-09-19 2019-02-01 厦门大学 基于可变形快速卷积神经网络的舰船检测方法
CN111079845A (zh) * 2019-12-20 2020-04-28 西安交通大学 一种煤炭中煤矸石和煤的分类识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
韩涛;黄友锐;张立志;徐善永;许家昌;鲍士水;: "基于图像识别的带式输送机输煤量和跑偏检测方法", 工矿自动化, no. 04 *
黄愉文;潘迪夫;: "基于并行双路卷积神经网络的安全帽识别", 企业技术开发, no. 03 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113780199A (zh) * 2021-09-15 2021-12-10 江苏迪赛司自动化工程有限公司 一种双视成像装置和皮带运输异物目标智能识别方法

Also Published As

Publication number Publication date
CN112712055B (zh) 2023-07-25

Similar Documents

Publication Publication Date Title
CN112893159B (zh) 一种基于图像识别的煤矸石分拣方法
CN103903005B (zh) 车牌影像辨识系统及方法
CN108108679B (zh) 一种全自动钨矿选矿机
CN110163852B (zh) 基于轻量化卷积神经网络的输送带实时跑偏检测方法
CN111695514A (zh) 一种基于深度学习的雾天下车辆检测方法
CN111144508A (zh) 煤矿副井轨道运输自动控制系统与控制方法
CN114581782A (zh) 一种基于由粗到精检测策略的细微缺陷检测方法
CN114689600A (zh) 一种桥梁混凝土结构表面裂缝检测方法及系统
CN114511519A (zh) 一种基于图像处理的列车车底螺栓丢失检测方法
CN112712055B (zh) 一种双路可变形cnn煤矿顺槽皮带运输异物监测方法
CN111507196A (zh) 一种基于机器视觉和深度学习的车辆类型识别方法
CN101984451B (zh) 基于视频的遮挡火焰检测方法及装置
CN115880476A (zh) 一种基于可见光红外图像融合的皮带跑偏检测方法
CN114120175A (zh) 基于计算机视觉的输煤皮带异物识别方法
CN116309407A (zh) 一种铁路接触网螺栓异常状态的检测方法
CN111723861B (zh) 一种用于煤矿控制挡板的煤矸石百分比识别方法
CN112115767B (zh) 基于Retinex和YOLOv3模型的隧道异物检测方法
CN114898181A (zh) 用于涉爆视频的隐患违章识别方法及装置
CN113642473A (zh) 一种基于计算机视觉的矿下煤机状态识别方法
CN114820582B (zh) 一种基于混合注意力形变卷积神经网络的手机表面缺陷精准分级方法
CN117437600B (zh) 基于图像识别技术的煤流监测系统
CN116137029B (zh) 煤矸分离设备的多参量智能煤矸监测反馈方法和系统
CN112347841B (zh) 一种基于深度学习的矸石充填捣实机构防碰撞应用方法
CN111401104B (zh) 分类模型的训练方法、分类方法、装置、设备及存储介质
CN115272869A (zh) 一种基于图像处理的带式输送机异物识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant