CN114004814A - 一种基于深度学习和灰度三阶矩分析的煤矸石识别方法及系统 - Google Patents

一种基于深度学习和灰度三阶矩分析的煤矸石识别方法及系统 Download PDF

Info

Publication number
CN114004814A
CN114004814A CN202111290793.1A CN202111290793A CN114004814A CN 114004814 A CN114004814 A CN 114004814A CN 202111290793 A CN202111290793 A CN 202111290793A CN 114004814 A CN114004814 A CN 114004814A
Authority
CN
China
Prior art keywords
target
picture
coal
gangue
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111290793.1A
Other languages
English (en)
Inventor
赵明辉
郑立波
缪杰
张少宾
胡家强
俞亚东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Coal Technology and Engineering Group Shanghai Co Ltd
Original Assignee
China Coal Technology and Engineering Group Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Coal Technology and Engineering Group Shanghai Co Ltd filed Critical China Coal Technology and Engineering Group Shanghai Co Ltd
Priority to CN202111290793.1A priority Critical patent/CN114004814A/zh
Publication of CN114004814A publication Critical patent/CN114004814A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习和灰度三阶矩分析的煤矸石识别方法及系统，本方案首先针对采集的待识别的煤/矸石图片进行可视区域裁剪和灰度化的预处理；接着，基于深度学习网络模型对预处理后图片进行深度学习目标检测；接着，针对存在目标的图片，确定图片中目标的坐标，划分目标区域；接着，对图片中目标区域进行灰度三阶矩分析，通过阈值判断图片中目标对象为煤还是矸石。本发明能够有效进行煤矸石视觉识别，同时提高识别速度和识别准确率，在实际捡矸应用中有较高的稳定性和可靠性。

Description

一种基于深度学习和灰度三阶矩分析的煤矸石识别方法及 系统
技术领域
本发明涉及煤炭工业领域，具体地，涉及煤矸石识别方案
背景技术
选矸设备目前普遍采用的机械选矸设备包括重介质、重介浅槽、动筛跳汰及人工选矸等传统方式。例如中国的唐山研究院是中国国内研制重介浅槽选煤设备的主要厂家。
中国国内的山西矿业学院教授韩成石等首次将γ射线应用到煤矸分选上，其原理是利用γ射线透过物质时，部分射线会被物质吸收，进而γ射线的强度就会减弱，由于煤和矸石的物质组成不同，因此γ射线强度的衰减程度不同，进而判断煤与矸石。
进一步的，为了提高煤和矸石的识别率，刘文中、孔力等在基于γ射线的方法下，进行了煤、矸石区域分割识别方法和Fuzzy统计识别方法的研究。
中国矿业大学博士张晨进行了煤矸光电密度识别研究，其原理为根据煤与矸石的密度不同进行识别。矸石的密度为1.7-1.9g/cm3，媒的密度为1.3-1.5g/cm3。首先对煤与矸石的体积进行测量，其方法是通过激光三维扫面技术，然后对其进行称重，获取质量进而求得密度，最后实现煤与矸石的识别。该方法具有一定的理论意义，但是在实际生产中难以运用，因为其系统较为复杂，无论是煤或者矸石的体积获取还是质量的获取都难以快速及时获得。
中国太原理工的谭春超以图像处理技术为基础，对煤与矸石图像进行预处理，主要包括：图像的灰度化、平滑、锐化和图像分割。在基于灰度信息的方法下，提取了煤与矸石图像灰度直方图的灰度均值、灰度方差、平滑度、三阶矩和一致性特征参数。最后利用支持向量机对煤与矸石进行识别，并利用粒子群算法对支持向量机的参数进行优化，最后使用参数优化的支持向量机对煤与矸石进行识别。由于煤矸石特征复杂，单纯靠灰度直方图方法很难进行准确判断，实用性差。
发明内容
针对现有输送带上煤与矸石的识别技术所存在的问题，本领域需要一种新的煤矸石识别方案。
为此，本发明的目的在于提供一种基于深度学习和灰度三阶矩分析的煤矸石识别方法，同时提供一种基于深度学习和灰度三阶矩分析的煤矸石识别系统，据此实现高效的进行煤矸石视觉识别。
为了达到上述目的，本发明提供的基于深度学习和灰度三阶矩分析的煤矸石识别方法，包括：
步骤1：针对采集的待识别的煤/矸石图片进行可视区域裁剪和灰度化的预处理；
步骤2：基于深度学习网络模型对预处理后图片进行深度学习目标检测；
步骤3：针对存在目标的图片，确定图片中目标的坐标，划分目标区域；
步骤4：对图片中目标区域进行灰度三阶矩分析，通过阈值判断图片中目标对象为煤还是矸石。
进一步的，所述步骤1中对图片进行可视区域裁剪，根据图片中皮带大小进行裁剪，剔除图片中除皮带之外的部分，降低后续计算量。
进一步的，所述深度学习网络模型中采用SqueezeNet中的Fire module模块，以提高计算速度，保证煤矸石识别实时性。
进一步的，所述深度学习网络模型中采用MobileNet 3×3深度可分离卷积层。
进一步的，所述步骤2中进行深度学习目标检测时，将经过预处理的图片，首先经过快速卷积池化层；然后在经过深度可分离卷积层，得到图片中目标上界点a、下界点b以及最显著点e三个点；然后根据偏移得到a、b、e这三个点的坐标；最后储存在特征向量中，由此完成深度学习进行目标检测。
进一步的，所述步骤3中通过深度学习网络关键点池化方式来确定图片中目标坐标。
进一步的，所述步骤3中在确定目标坐标时，包括：
根据热度图确定图片中目标对象周围灰度特征变化显著的点e；
根据特征向量确定一对点a和点b，所述a点对应目标区域的左上界，所述b点对应目标区域的右下界；
根据偏移确定三个点最合适的位置。
进一步的，所述步骤3中在确定目标坐标时，还包括：
根据确定的点a和点b构建可框选图片中目标的矩形；
利用点e将构建的矩形框进行分块。
进一步的，所述步骤4进行分析处理时，包括：
首先，针对步骤3中划分的目标区域，将其分成的多块区域；
接着，对每个区域进行灰度三阶矩计算，灰度三阶矩计算公式
Figure BDA0003334804500000031
Figure BDA0003334804500000032
其中i代表图像灰度级，Pi代表第i个灰度级出现的概率,m代表图像灰度均值；
最后，在计算每个区域灰度三阶矩后，根据设定好的阈值来判断每个区域中的对象为煤还是矸石，再根据判断为煤的区域的数量来判断整个目标区域为煤还是矸石。
进一步的，所述步骤4中利用灰度直方图的方法能够快速有效的进行阈值判定。
为了达到上述目的，本发明提供的基于深度学习和灰度三阶矩分析的煤矸石识别系统，包括相互配合的图片采集模块、图片预处理模块、目标检测模块、目标坐标确定模块以及目标判定模块；
所述图片采集模块实时采集获取输送带上输送物的图片；
所述图片预处理模块对所述图片采集模块所采集的待识别的图片进行可视区域裁剪和灰度化的预处理；
所述目标检测模块基于深度学习网络模型对经过所述图片预处理模块预处理后图片进行深度学习目标检测，并将检测目标的图片传至目标坐标确定模块；
所述目标坐标确定模块确定接收到图片中目标的坐标，确定图片中目标区域；
所述目标判定模块对所述目标坐标确定模块所确定的图片中目标区域进行灰度三阶矩分析，通过阈值判断图片中目标对象为煤还是矸石。
进一步的，所述目标检测模块中将经过预处理的图片，首先经过快速卷积池化层；然后在经过深度可分离卷积层，得到图片中目标上界点a、下界点b以及最显著点e三个点；然后根据偏移得到a、b、e这三个点的坐标；最后储存在特征向量中。
进一步的，所述目标坐标确定模块通过深度学习网络关键点池化方式来确定图片中目标坐标。
进一步的，所述目标坐标确定模块在确定目标坐标时，包括：
根据热度图确定图片中目标对象周围灰度特征变化显著的点e；
根据特征向量确定一对点a和点b，所述a点对应目标区域的左上界，所述b点对应目标区域的右下界；
根据偏移确定三个点最合适的位置。
进一步的，所述目标坐标确定模块还根据确定的点a和点b构建可框选图片中目标的矩形；利用点e将构建的矩形框进行分块。
进一步的，所述目标判定模块将目标坐标确定模块确定的目标区域分成的多块区域；并对每个区域进行灰度三阶矩计算，灰度三阶矩计算公式
Figure BDA0003334804500000041
其中i代表图像灰度级，Pi代表第i个灰度级出现的概率,m代表图像灰度均值；在计算每个区域灰度三阶矩后，根据设定好的阈值来判断每个区域中的对象为煤还是矸石，再根据判断为煤的区域的数量来判断整个目标区域为煤还是矸石。
本发明提供的煤矸石识别方案采用深度学习和传统图像结合的方式从而改善了煤矸石识别过程的实时性和准确性，从而提高输送带上煤矸石识别的准确率。
本发明提供的煤矸石识别方案能够有效进行煤矸石视觉识别，同时提高识别速度和识别准确率，在实际捡矸应用中有较高的稳定性和可靠性。
附图说明
以下结合附图和具体实施方式来进一步说明本发明。
图1为本发明中煤矸石识别流程示例图；
图2为本发明实例中煤矸石分选机器人系统的构成示例图；
图3为本发明实例中基于深度学习网络进行煤矸石识别的流程示例。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。
针对输送带输送煤矸石的特点，本发明采用深度学习和传统图像结合的方式来对输送带上动态移动的煤矸石进行高效且准确地识别，准确地识别出当前输送的目标物体为煤还是矸石。
据此，本发明给出一种基于深度学习和灰度三阶矩方法的煤矸石识别方法来进行输送带上移动的煤矸石进行高效且精确地识别。
参见图1，其所示为本发明给出的煤矸石识别方法主要包括如下处理步骤：
步骤1：针对输送带上输送的物体，如煤或者矸石实时采集其相应的图片，并对采集到图片进行预处理。
步骤2：根据深度学习网络模型对步骤1中采集并且预处理后图片进行目标存在判定，以判定图片中是否存在煤矸石这样的待识别目标；若图片中存在待识别目标，则转入步骤3，否则针对本图片处理结束。
步骤3：针对步骤2中判定存在目标的图片，进行目标坐标确定，即进行目标位置确定，在图片中划分相应的目标区域。
步骤4：针对步骤3划分的目标区域进行灰度三阶矩分析，通过阈值判断当前物体是煤还是矸石。
本方案基于深度学习的目标识别和图像识别的目标检测，能够在复杂的场景，如沾满煤灰的皮带上检测到煤或者矸石的识别物，但是不进行整体的目标检测，然后通过具体的灰度直方图进行多个划分区域的目标检测，最后基于每个划分区域的检测结果来完成精确且高效的识别。
以下具体说明一下本方案的实现过程。
在本方案的一些具体实施方式中，在采集输送带上物体的照片时。这里的采集方式可根据实际需求而定，此处不加以限定。
再者，本方案针对采集到的物体照片在进行预处理时，具体针对采集到的图片进行裁切、灰度化以及去噪等预处理。
由于在实际操作过程中，用于完成图像采集的相机安装高度固定，相机视角的图像可以进行裁切，满足检测需求即可，同时也能有效提高后续深度学习目标识别的速度。
本方案在对图片进行可视区域裁剪时，根据皮带大小进行裁剪，如根据视角内皮带边缘进行裁剪，由此来剔图片中除皮带之外的部分，降低后续计算量。
本方案实时采集的同行矿捡矸皮带上物体的图片被裁剪后，进一步将裁剪的图片转换成灰度图。具体的转换手段或方式，可根据实际需求选定，这里不加以赘述。
再进一步的，本方案还针对处理后的灰度图像进行高斯滤波方法降低噪点对图像的影响。
由于煤矸石识别的特点是，煤和矸石外表变化丰富，一块煤不同的位置可能会被当成矸石，如果该区域较大，可能会影响结果的输出，在进行生产的时候，不希望煤被识别成矸石，造成不必要的浪费。
对此，本方案为防止进行目标识别时，在识别区域出现过多的输送带背景，影响识别精度，首先对当前输入并预处理的图片进行目标检测，即当前是否存在煤或矸石被检测物体。
这样，如果当前的图片中存在被检测的目标物体，确定图片中目标的坐标，划分目标区域。
在本方案的一些具体实施方式中，本方案在进行深度学习目标检测时，基于深度学习网络模型，据此能够有效减少每个像素的计算量来提高计算速度。
这里的深度学习网络模型中将residual block替换为SqueezeNet中的Firemodule模块，由此能够提高计算速度，保证煤矸石识别实时性。
进一步，本深度学习网络模型，还将3×3标准卷积替换为MobileNet 3×3深度可分离卷积层。
由此形成的深度学习网络模型可以在提高准确率的情况下兼顾计算速度，即准确率优先。
作为举例，基于本深度学习网络模型来进行深度学习目标检测时，针对经过预处理的图片，首先经过快速卷积池化层，然后在经过深度可分离卷积层，得到a、b、e三个点，即经过关键点池化后，通过热度图找到最佳的a、b、e这三个点，然后根据偏移得到a、b、e点的坐标，最后储存在特征向量中，到此深度学习进行目标检测完成。
这里的a点对应图片中目标上界，b点对应图片中目标下界，e点为图片中目标对象周围灰度特征变化显著的点。
在本方案的一些具体实施方式中，本方案中针对具有目标的图片，首先定位图片中被检测物体(即目标)的位置，再基于相应的关键点划分待检测区域。
本方案中可根据深度学习网络关键点池化方法确来确定相应的关键点。其中本方案中采用到的关键点池化方法主要是建立图像中角点的池化层。
参见图3，其给出了一种本方案确定用于划分待检测区域相应关键点的流程示例。
由图可知，将经过预处理的图片，首先经过快速卷积池化层，然后在经过深度可分离卷积层，得到图片边中目标区域的左上顶点、中间点以及右下顶点这三个点，针对这三个区域点分别经过关键点池化后，通过热度图找到最佳的左上顶点a、右下顶点b、以及中间点e，然后根据偏移得到a、b、e点的坐标，最后储存在特征向量中，到此深度学习进行目标检测完成。
以图所示内容为例，本方案据此在确定关键点时，根据热度图找到e点，e点为该煤矸石周围灰度特征变化显著的点；
然后，根据特征向量确定一对点a和点b；这里的点a和点b为深度学习网络进行目标识别确定的点，点a和点b分别对应于图片中目标的左上界和右下界，与之对应的点e则为深度学习确定点a、点b后所形成的矩形框范围内特征最显著的一点。
接着，根据偏移确定三个点最合适的位置。这里基于深度学习目标检测得到三个点最合适的位置，其中的，点a和点b可用来确定被识别物的边界，点e是被识别物特征最明显的点。
在此基础上，本方案进一步通过确定的点a和点b来构建可在图片上框选检测区域(即目标区域)的矩形，这里以点a和点b为一对对角点来构建相应的矩形，继而确定该矩形的另外两个点：点c和点d。
由此基于确定的四个点a-点d在图片上划分出相应的检测区域(即目标区域)。
然后利用e点将该矩形所划分的区域分成四块，以便后续对每个小块内的区域进行识别分类。
在本方案的一些具体实施方式中，本方案中针对所划分得到的目标检测区域，对当前目标区域进行灰度三阶矩分析，使用灰度直方图的方法能够快速有效的进行阈值判定，其表达式为：
Figure BDA0003334804500000081
其中i代表图像灰度级，Pi代表第i个灰度级出现的概率,m代表图像灰度均值。
作为举例，本方案利用灰度三阶矩分析方法对目标区域进行分析处理时，基本过程如下：
首先，据上述确定的a、b、e这三个点将目标区域划分成的4块区域；
接着，对每个划分区域进行灰度三阶矩计算，灰度三阶矩计算公式
Figure BDA0003334804500000082
其中i代表图像灰度级，Pi代表第i个灰度级出现的概率,m代表图像灰度均值；
接着，计算每个划分区域灰度三阶矩后，根据设定好的阈值，例如煤<50000,矸石>50000,另外针对不同场景阈值会有变化，由此来确定每个划分区域内的对象为煤还是矸石。
最后，根据判断为煤的区域的数量来判断整个目标区域为煤还是矸石，例如若四块划分区域中有两块划分区域以上确定为煤，则判定整个目标区域为煤。
据此形成的煤矸石识别方案创新的将目标图片利用基于深度学习目标检测得a、b、e三个点化成4个区域，在针对4个区域分别进行目标检测，避免被检测物存在有煤也有矸石的混合物，更加精确。本方案在实施时能够有效进行煤矸石视觉识别，同时提高识别速度和识别准确率，在实际捡矸应用中有较高的稳定性和可靠性。
针对本发明给出的煤矸石识别方案，在具体应用时，可构成相应的软件程序，形成相应的煤矸石识别软件。该软件程序在运行时，将执行上述的煤矸石识别方法，同时存储于相应的存储介质中，以供处理器调取执行。
据此，本方案构建了一套煤矸石识别系统，以用于对传送带上传输的物体进行高效且高精度的煤矸石视觉识别。
本煤矸石识别系统同样基于深度学习和灰度三阶矩分析技术，主要包括相互配合的图片采集模块、图片预处理模块、目标检测模块、目标坐标确定模块以及目标判定模块。
本系统中的图片采集模块实时采集获取输送带上输送物的图片；
本系统中的图片预处理模块对所述图片采集模块所采集的待识别的图片进行可视区域裁剪和灰度化的预处理；
本系统中的目标检测模块基于深度学习网络模型对经过所述图片预处理模块预处理后图片进行深度学习目标检测，并将检测目标的图片传至目标坐标确定模块；
本系统中的目标坐标确定模块确定接收到图片中目标的坐标，确定图片中农目标区域；
本系统中的目标判定模块对所述目标坐标确定模块所确定的图片中目标区域进行灰度三阶矩分析，通过阈值判断图片中目标对象为煤还是矸石。
在具体实现时，本系统中的目标检测模块中将经过预处理的图片，首先经过快速卷积池化层；然后在经过深度可分离卷积层，得到图片中目标上界点a、下界点b以及最显著点e三个点；然后根据偏移得到a、b、e这三个点的坐标；最后储存在特征向量中。
在具体实现时，本系统中的目标坐标确定模块通过深度学习网络关键点池化方式来确定图片中目标坐标。
进一步的，本系统中的目标坐标确定模块在确定目标坐标时，针对目标检测模块所检测的结果进行目标坐标确定，即若经目标检测模块检测判断图片中存在被检测的煤或者矸石对象，则进行目标定位，确定被检测的目标位置。
在具体实现时，本系统中的目标判定模块将目标坐标确定模块确定的目标区域分成的多块区域；并对每个区域进行灰度三阶矩计算，灰度三阶矩计算公式
Figure BDA0003334804500000091
其中i代表图像灰度级，Pi代表第i个灰度级出现的概率,m代表图像灰度均值；在计算每个区域灰度三阶矩后，根据设定好的阈值来判断每个区域中的对象为煤还是矸石，再根据判断为煤的区域的数量来判断整个目标区域为煤还是矸石。
由此形成煤矸石识别系统，其可应用于煤炭工业中输送带煤矸石分拣机器人系统中，以对输送带输送的煤矸石实现高效且高精度的分拣。
参见图2，其所示采用本煤矸石识别系统的煤炭工业中输送带煤矸石分拣机器人系统的构成示例。
由图可知，整个输送带煤矸石分拣机器人系统100主要包括输送带110、配合输送带110设置的分拣机械臂120、工业相机130、光源组件140、工控机150这几个部件。
其中，输送带110用于输送相应的目标物煤/矸石200。
分拣机械臂120对应输送带110设置，并受控于相应的工控机150，实现对输送带110上输送的目标物煤/矸石200进行分拣动作。
作为优先，该分拣机械臂120上的控制器121可通过相应的网线122连接至对应的串口服务器160，该串口服务器160受控于工控机150，由此实现控制信号的稳定传输。
本系统中的工业相机130对应输送带110设置，用于实时采集输送带110上输送的目标物煤/矸石200的照片。
同时为配合后续的识别及分拣，该工业相机130分布在分拣机械臂120的上游(根据输送带的传动方向而言)。
对于该工业相机130具体构成设置，此处不加以赘述。
为应对各种特殊环境，本系统针对工业相机130，还进一步增配光源组件140，保证工业相机130采集图片的质量。
这里的光源组件140主要由表面光源141、视觉暗箱142以及光源控制器143构成。其中，表面光源141与视觉暗箱142对应于工业相机130设置，以配合工业相机130的工作，光源控制器143控制连接表面光源141和视觉暗箱142。
再者，本系统中的工业相机130通过相应的千兆网卡170与工控机150建立数据连接，以便将才采集图片能够及时稳定的传输至工控机150。
本系统中的工控机150运行有煤矸石识别系统，以对工业相机130采集的图片进行煤矸石的高效且高精度识别，以识别出当前输送带上输送的为煤还是矸石，并根据识别结果形成对应的分拣指令，通过串口服务器160控制分拣机械臂120对输送带上的目标物煤/矸石200进行对应的分拣动作。
以下举例说明一下，运行有本煤矸石识别系统的煤炭工业中输送带煤矸石分拣机器人系统进行煤矸石高效自动分拣的过程。
这里结合图2和图3所示，整个分拣处理过程如下：
步骤1：首先由系统中的的工作相机实时拍摄到输送带上煤或者矸石，并将拍摄得到的图像实时传至工控机，工控机对接收的图片进行预处理。
这里的预处理包括对相机采集到的煤或者矸石图片进行裁切、去噪、灰度化等一系列的预处理。
步骤2：然后对经过预处理后图片输入到深度学习网络进行目标检测，以确定图片是否存在可识别的目标，若存在则进入到步骤3，否则本次识别任务结束。
步骤3：针对图片中的目标确定坐标，进行定位。
这里首先根据深度学习网络关键点池化方法确定关键点：点a，点b和点e。
其中，根据热度图找到关键点e，该关键点e为该煤矸石周围灰度特征变化显著的点；
然后，根据特征向量确定一对关键点a和关键点b点；
最后，再根据偏移确定三个点最合适的位置。
在确定了三个关键点之后，再通过关键点a和关键点b确定框选目标(如煤或者矸石)的矩形，基于确定的矩形，找到点c和点d。
然后，利用关键点e与矩形上四个点a-d配合，将该矩形框划分的目标区域分成四块。
步骤4：针对划分成四块的目标区域，对每个小块目标区域进行识别分类，最后根据设置的参数进行判断是煤还是矸石。
步骤5，识别判断的结果，形成对应的分拣指令，通过串口服务器控制分拣机械臂对输送带上的目标物煤/矸石进行对应的分拣动作。
由上实例可见，本方案通过使用深度学习和传统图像结合的方法从而改善了煤矸石识别过程的实时性和准确性，从而提高输送带上煤矸石识别的准确率。
最后需要说明的，上述本发明的方法，或特定系统单元、或其部份单元，为纯软件架构，可以透过程序代码布设于实体媒体，如硬盘、光盘片、或是任何电子装置(如智能型手机、计算机可读取的储存媒体)，当机器加载程序代码且执行(如智能型手机加载且执行)，机器成为用以实行本发明的装置。上述本发明的方法与装置亦可以程序代码型态透过一些传送媒体，如电缆、光纤、或是任何传输型态进行传送，当程序代码被机器(如智能型手机)接收、加载且执行，机器成为用以实行本发明的装置。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (15)

1.基于深度学习和灰度三阶矩分析的煤矸石识别方法，其特征在于，包括：
步骤1：针对采集的待识别的煤/矸石图片进行可视区域裁剪和灰度化的预处理；
步骤2：基于深度学习网络模型对预处理后图片进行深度学习目标检测；
步骤3：针对存在目标的图片，确定图片中目标的坐标，划分目标区域；
步骤4：对图片中目标区域进行灰度三阶矩分析，通过阈值判断图片中目标对象为煤还是矸石。
2.根据权利要求1所述的煤矸石识别方法，其特征在于，所述步骤1中对图片进行可视区域裁，根据图片中皮带大小进行裁剪，剔除图片中除皮带之外的部分。
3.根据权利要求1所述的煤矸石识别方法，其特征在于，所述深度学习网络模型中采用SqueezeNet中的Fire module模块。
4.根据权利要求1所述的煤矸石识别方法，其特征在于，所述深度学习网络模型中采用MobileNet 3×3深度可分离卷积层。
5.根据权利要求1所述的煤矸石识别方法，其特征在于，所述步骤2中进行深度学习目标检测时，将经过预处理的图片，首先经过快速卷积池化层；然后在经过深度可分离卷积层，得到图片中目标上界点a、下界点b以及最显著点e三个点；然后根据偏移得到a、b、e这三个点的坐标；最后储存在特征向量中，由此完成深度学习进行目标检测。
6.根据权利要求1所述的煤矸石识别方法，其特征在于，所述步骤3中通过深度学习网络关键点池化方式来确定图片中目标坐标。
7.根据权利要求1所述的煤矸石识别方法，其特征在于，所述步骤3中在确定目标坐标时，包括：
根据热度图确定图片中目标对象周围灰度特征变化显著的点e；
根据特征向量确定一对点a和点b，所述a点对应目标区域的左上界，所述b点对应目标区域的右下界；
根据偏移确定三个点最合适的位置。
8.根据权利要求7所述的煤矸石识别方法，其特征在于，所述步骤3中在确定目标坐标时，还包括：
根据确定的点a和点b构建可框选图片中目标的矩形；
利用点e将构建的矩形框进行分块。
9.根据权利要求1所述的煤矸石识别方法，其特征在于，所述步骤4进行分析处理时，包括：
首先，针对步骤3中划分的目标区域，将其分成的多块区域；
接着，对每个区域进行灰度三阶矩计算，灰度三阶矩计算公式
Figure FDA0003334804490000021
Figure FDA0003334804490000022
其中i代表图像灰度级，Pi代表第i个灰度级出现的概率,m代表图像灰度均值；
最后，在计算每个区域灰度三阶矩后，根据设定好的阈值来判断每个区域中的对象为煤还是矸石，再根据判断为煤的区域的数量来判断整个目标区域为煤还是矸石。
10.基于深度学习和灰度三阶矩分析的煤矸石识别系统，其特征在于，包括相互配合的图片采集模块、图片预处理模块、目标检测模块、目标坐标确定模块以及目标判定模块；
所述图片采集模块实时采集获取输送带上输送物的图片；
所述图片预处理模块对所述图片采集模块所采集的待识别的图片进行可视区域裁剪和灰度化的预处理；
所述目标检测模块基于深度学习网络模型对经过所述图片预处理模块预处理后图片进行深度学习目标检测，并将检测目标的图片传至目标坐标确定模块；
所述目标坐标确定模块确定接收到图片中目标的坐标，确定图片中农目标区域；
所述目标判定模块对所述目标坐标确定模块所确定的图片中目标区域进行灰度三阶矩分析，通过阈值判断图片中目标对象为煤还是矸石。
11.根据权利要求10所述的煤矸石识别系统，其特征在于，所述目标检测模块中将经过预处理的图片，首先经过快速卷积池化层；然后在经过深度可分离卷积层，得到图片中目标上界点a、下界点b以及最显著点e三个点；然后根据偏移得到a、b、e这三个点的坐标；最后储存在特征向量中。
12.根据权利要求10所述的煤矸石识别系统，其特征在于，所述目标坐标确定模块通过深度学习网络关键点池化方式来确定图片中目标坐标。
13.根据权利要求10所述的煤矸石识别系统，其特征在于，所述目标坐标确定模块在确定目标坐标时，包括：
根据热度图确定图片中目标对象周围灰度特征变化显著的点e；
根据特征向量确定一对点a和点b，所述a点对应目标区域的左上界，所述b点对应目标区域的右下界；
根据偏移确定三个点最合适的位置。
14.根据权利要求10所述的煤矸石识别系统，其特征在于，所述目标坐标确定模块还根据确定的点a和点b构建可框选图片中目标的矩形；利用点e将构建的矩形框进行分块。
15.根据权利要求10所述的煤矸石识别系统，其特征在于，所述目标判定模块将目标坐标确定模块确定的目标区域分成的多块区域；并对每个区域进行灰度三阶矩计算，灰度三阶矩计算公式
Figure FDA0003334804490000031
其中i代表图像灰度级，Pi代表第i个灰度级出现的概率,m代表图像灰度均值；在计算每个区域灰度三阶矩后，根据设定好的阈值来判断每个区域中的对象为煤还是矸石，再根据判断为煤的区域的数量来判断整个目标区域为煤还是矸石。
CN202111290793.1A 2021-11-02 2021-11-02 一种基于深度学习和灰度三阶矩分析的煤矸石识别方法及系统 Pending CN114004814A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111290793.1A CN114004814A (zh) 2021-11-02 2021-11-02 一种基于深度学习和灰度三阶矩分析的煤矸石识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111290793.1A CN114004814A (zh) 2021-11-02 2021-11-02 一种基于深度学习和灰度三阶矩分析的煤矸石识别方法及系统

Publications (1)

Publication Number Publication Date
CN114004814A true CN114004814A (zh) 2022-02-01

Family

ID=79926668

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111290793.1A Pending CN114004814A (zh) 2021-11-02 2021-11-02 一种基于深度学习和灰度三阶矩分析的煤矸石识别方法及系统

Country Status (1)

Country Link
CN (1) CN114004814A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115007474A (zh) * 2022-06-09 2022-09-06 千眼云(重庆)科技有限公司 一种基于图像识别的选煤机器人及选煤方法
CN115908774A (zh) * 2023-01-10 2023-04-04 佰聆数据股份有限公司 一种基于机器视觉的变形物资的品质检测方法和装置
CN116399868A (zh) * 2023-06-06 2023-07-07 合肥泰禾卓海智能科技有限公司 一种基于射线成像和深度学习的矿石分析装置及方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115007474A (zh) * 2022-06-09 2022-09-06 千眼云(重庆)科技有限公司 一种基于图像识别的选煤机器人及选煤方法
CN115908774A (zh) * 2023-01-10 2023-04-04 佰聆数据股份有限公司 一种基于机器视觉的变形物资的品质检测方法和装置
CN116399868A (zh) * 2023-06-06 2023-07-07 合肥泰禾卓海智能科技有限公司 一种基于射线成像和深度学习的矿石分析装置及方法
CN116399868B (zh) * 2023-06-06 2023-08-29 合肥泰禾卓海智能科技有限公司 一种基于射线成像和深度学习的矿石分析装置及方法

Similar Documents

Publication Publication Date Title
CN111951237B (zh) 外观视觉检测方法
CN106548182B (zh) 基于深度学习和主成因分析的路面裂纹检测方法及装置
US20200192489A1 (en) Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data
CN111062915B (zh) 一种基于改进YOLOv3模型的实时钢管缺陷检测方法
CN114004814A (zh) 一种基于深度学习和灰度三阶矩分析的煤矸石识别方法及系统
CN110148130B (zh) 用于检测零件缺陷的方法和装置
Rodríguez et al. People detection and stereoscopic analysis using MAS
JP6305171B2 (ja) シーン内の物体を検出する方法
CN110866903B (zh) 基于霍夫圆变换技术的乒乓球识别方法
CN106886216B (zh) 基于rgbd人脸检测的机器人自动跟踪方法和系统
CN108985170A (zh) 基于三帧差分法及深度学习的输电线路悬挂物识别方法
CN113643280B (zh) 一种基于计算机视觉的板材分拣系统及方法
CN104597057B (zh) 一种基于机器视觉的柱状二极管表面缺陷检测装置
GB2532948A (en) Objection recognition in a 3D scene
CN107230203A (zh) 基于人眼视觉注意机制的铸件缺陷识别方法
CN112825192B (zh) 基于机器学习的对象辨识系统及其方法
CN109781737B (zh) 一种软管表面缺陷的检测方法及其检测系统
Wang et al. An overview of 3d object detection
CN107016391A (zh) 一种复杂场景工件识别方法
CN113177924A (zh) 一种工业流水线产品瑕疵检测方法
CN101719280B (zh) 红外弱小目标检测方法
CN111091057A (zh) 一种信息处理方法、装置及计算机可读存储介质
CN107045630B (zh) 一种基于rgbd的行人检测和身份识别方法及系统
Hao et al. Fast recognition method for multiple apple targets in complex occlusion environment based on improved YOLOv5
CN111435429B (zh) 一种基于双目立体数据动态认知的手势识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination