CN112330693A - 一种煤矸石检测方法及系统 - Google Patents

一种煤矸石检测方法及系统 Download PDF

Info

Publication number
CN112330693A
CN112330693A CN202011267152.XA CN202011267152A CN112330693A CN 112330693 A CN112330693 A CN 112330693A CN 202011267152 A CN202011267152 A CN 202011267152A CN 112330693 A CN112330693 A CN 112330693A
Authority
CN
China
Prior art keywords
image
potential
area
coal
coal gangue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011267152.XA
Other languages
English (en)
Other versions
CN112330693B (zh
Inventor
王希博
董霄剑
钱超超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Vizum Intelligent Technology Co ltd
Original Assignee
Beijing Vizum Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Vizum Intelligent Technology Co ltd filed Critical Beijing Vizum Intelligent Technology Co ltd
Priority to CN202011267152.XA priority Critical patent/CN112330693B/zh
Publication of CN112330693A publication Critical patent/CN112330693A/zh
Application granted granted Critical
Publication of CN112330693B publication Critical patent/CN112330693B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种煤矸石检测方法及系统，属于机器视觉技术领域。本发明的煤矸石检测方法包括获取待检测煤块区域的左图像和右图像；利用双目视觉处理算法处理左图像和右图像获得点云数据；对点云数据进行立体分割得到多个潜在煤块区域图像；利用预先训练好的深度卷积神经网络模型对每个潜在煤块区域图像进行煤矸石检测；如果检测出潜在煤块区域图像中存在煤矸石，则获取煤矸石的三维空间坐标信息以用于煤矸石分拣。本发明的煤矸石检测方法及系统能够实现煤矸石的高效率、高精度检测。

Description

一种煤矸石检测方法及系统
技术领域
本发明涉及机器视觉技术领域，尤其涉及一种煤矸石检测方法及系统。
背景技术
我国是煤炭资源大国，同时也是煤炭消耗大国，煤炭作为我国的主要一次能源，占我国一次能源消费总量的60％以上，因此，国家对煤炭的开采加工非常重视。在煤炭开采过程中总是会伴随着矸石，被称之为煤矸石，是一种固体排放废物，含碳量较低，比煤坚硬，燃烧利用率低。将煤矸石从煤炭中分离，不仅能提高煤炭的燃烧效率，而且会减少其燃烧时污染物的排放，因此，煤或煤矸石的快速识别和检测，对煤矸石的分离具有重要意义。
现有技术中煤矸石检测方法主要包括人工检测、伽马射线检测以及X射线检测等等，人工检测普遍存在工作环境恶劣、劳动强度大、效率低、易误选或漏选等缺点；伽马射线检测存在设备昂贵、检测效率低且存在辐射对人体和环境有潜在危害等缺点；X射线检测存在数据量大，需要配备工控机专门来处理数据，检测效率低，且无法解决物料粒径大小的影响等缺点。因此，目前急需研发一套高效的煤矸石检测方法。
发明内容
为了解决上述技术问题，本发明实施例提供了一种煤矸石检测方法及系统，解决了现有煤矸石检测方法检测效率低的问题。
一方面，本发明实施例提供了一种煤矸石检测方法，包括：
获取待检测煤块区域的左图像和右图像；
利用双目视觉处理算法处理所述左图像和所述右图像获得点云数据；
对所述点云数据进行立体分割得到多个潜在煤块区域图像；
利用预先训练好的深度卷积神经网络模型对每个所述潜在煤块区域图像进行煤矸石检测；
如果检测出所述潜在煤块区域图像中存在煤矸石，则获取所述煤矸石的三维空间坐标信息以用于煤矸石分拣。
在一些实施例中，所述对所述点云数据进行立体分割得到多个潜在煤块区域图像的步骤包括：
对所述点云数据进行处理得到深度图像；
根据预设的分割阈值二值化所述深度图像得到掩码图像；
对所述掩码图像进行分割得到多个潜在煤块区域图像。
在一些实施例中，所述对所述掩码图像进行分割得到多个潜在煤块区域图像的步骤包括：
在所述掩码图像上利用连通域标记算法获取多个初分割潜在区域图像；
计算每个所述初分割潜在区域图像的投影面积；
如果所述初分割潜在区域图像的投影面积大于或者等于第一预设面积阈值，则对所述初分割潜在区域图像进行再分割处理以得到所述潜在煤块区域图像。
在一些实施例中，所述对所述初分割潜在区域图像进行再分割处理以得到所述潜在煤块区域图像的步骤包括：
根据预设的子区域选取条件从所述初分割潜在区域图像中获取潜在子区域图像；
在所述潜在子区域图像上利用连通域标记算法获取多个再分割潜在区域图像；
计算每个所述再分割潜在区域图像的投影面积；
统计投影面积大于或等于第二预设面积阈值的所述再分割潜在区域图像作为潜在煤块区域图像。
在一些实施例中，所述预设的子区域选取条件为：
subRegionMap＝(depthMap>a)||((distanceMap>b)&&(depthMap>c))--(1)
其中，subRegionMap表示潜在子区域图像,depthMap表示深度图像中点的深度值，distanceMap表示距离图像中点的距离值，距离图像为通过图像距离变换算法转换初分割潜在区域图像得到，a为第一预设深度阈值，b为第二预设深度阈值，c为第一预设距离阈值。
在一些实施例中，所述统计投影面积大于或等于第二预设面积阈值的所述再分割潜在区域图像作为潜在煤块区域图像的步骤包括：
对投影面积大于或等于第二预设面积阈值的所述再分割潜在区域图像进行标记，并统计得到标记数N；
如果所述标记数N大于1，则统计每个标记的所述再分割潜在区域图像的投影面积；
当标记的所述再分割潜在区域图像的投影面积大于或者等于所述第一预设面积阈值，则将标记的所述再分割潜在区域图像作为潜在煤块区域图像；当标记的所述再分割潜在区域图像的投影面积小于所述第一预设面积阈值，则通过图像膨胀算法处理标记的所述再分割潜在区域图像后作为潜在煤块区域图像。
在一些实施例中，所述对所述点云数据进行处理得到深度图像的步骤之前还包括：
遍历所述点云数据获得X轴最大值和Y轴最大值；
计算采样比率，其中采样比率计算公式为：
Scale＝sqrt(xRange*yRange*validDensity/pointNumber)--(2)
Scale表示采样比率，xRange表示X轴最大值，yRange表示Y轴最大值，validDensity表示量化密度，pointNumber表示点云数。
在一些实施例中，利用双目视觉处理算法处理所述左图像和所述右图像获得点云数据的步骤包括：
立体校正所述左图像和所述右图像；
对校正后的所述左图像和所述右图像进行立体匹配得到视差图；
根据视差图计算得到所述待检测煤块区域的三维空间坐标信息，并生成点云数据。
在一些实施例中，所述深度卷积神经网络模型为Googlenet、Resenext、Vggnet、Resnet和Seresnex中的任意一种。
另一方面，本发明实施例还提供了一种煤矸石检测系统，包括：
图像获取模块，用于获取待检测煤块区域的左图像和右图像；
双目视觉处理模块，用于利用双目视觉处理算法处理所述左图像和所述右图像获得点云数据；
立体分割模块，用于对所述点云数据进行立体分割得到多个潜在煤块区域图像；
深度学习模型检测模块，用于利用预先训练好的深度卷积神经网络模型对每个所述潜在煤块区域图像进行煤矸石检测；
位置获取模块，用于如果检测出所述潜在煤块区域图像中存在煤矸石，则获取所述煤矸石的三维空间坐标以用于煤矸石分拣。
本发明的有益效果：
本发明实施例的煤矸石检测方法先获取待检测煤块区域的左图像和右图像，通过双目视觉处理算法处理后得到点云数据，之后直接对点云数据进行立体分割获取得到多个潜在煤块区域图像，最后利用预先训练好的深度卷积神经网络模型对潜在煤块区域图像进行煤矸石检测，当检测出潜在煤块区域图像中存在煤矸石，获取煤矸石的三维空间坐标信息以用于煤矸石分拣。本发明实施例的煤矸石检测方法直接在获取的待检测煤块区域三维点云数据上进行立体分割得到潜在煤块区域图像，再结合训练的深度卷积神经网络模型进行煤矸石检测，解决了现有技术中基于二维平面图像的检测方法存在的检测效率和精度较低的问题，因此，本发明实施例的煤矸石检测方法实现了煤矸石的高效率、高精度检测。
本发明实施例的煤矸石检测系统集成了双目视觉处理模块、立体分割模块和深度学习模型检测模块，结构简单，成本低，对人体无伤害，安全可靠，实现了煤矸石的高效率、高精度检测。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
图1为本发明的煤矸石检测方法的一些实施例的流程示意图；
图2为本发明的煤矸石检测方法的步骤300的一些实施例的流程示意图；
图3为本发明的煤矸石检测方法的步骤303的一些实施例的流程示意图；
图4为本发明的煤矸石检测方法的步骤3033的一些实施例的流程示意图；
图5为本发明的煤矸石检测方法的步骤200的一些实施例的流程示意图；
图6为本发明的煤矸石检测方法的一些示例图，其中a为深度图像，b为边缘图像，c为掩码图像，d为初分割潜在区域的距离图像，e为初分割潜在区域的掩码图像，f为分割结果图像，g潜在煤块区域图像一；h潜在煤块区域图像二。
图7为本发明的煤矸石检测系统的一些实施例的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
另外，需要说明的是，本发明中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
参见图1所示，本发明实施例提供了一种煤矸石检测方法，包括：
步骤100：获取待检测煤块区域的左图像和右图像；
本步骤中可以利用双目立体视觉系统获取待检测煤块区域的左右图像，多个待检测煤块可设置于检测台上或者运动中的传送带上。
步骤200：利用双目视觉处理算法处理左图像和右图像获得点云数据；
本步骤中利用双目视觉处理算法处理左右图像，获取待检测煤块区域的三维立体信息，并得到点云数据和点云图，其中，点云数据可表示为pi cloud＝{p1,p2…pn}，本步骤中的点云数据可以为灰度点云数据pi＝(xi,yi,zi,灰度值i)，或者为彩色点云数据pi＝(xi,yi,zi,Ri,Gi,Bi)。
步骤300：对点云数据进行立体分割得到多个潜在煤块区域图像；
本步骤中直接对点云数据进行立体分割处理得到多个潜在的区域图像，以便于后续对每个潜在区域图像进行煤矸石/煤块检测，加快检测效率。
步骤400：利用预先训练好的深度卷积神经网络模型对每个潜在煤块区域图像进行煤矸石检测；
本步骤中预先训练用于区分煤矸石和煤块的深度卷积神经网络模型，只需将每个潜在煤块区域图像输入至模型中即可检测出对应潜在煤块区域图像为煤矸石图像还是煤块图像。
需要说明的是，本步骤中输入模型的潜在煤块区域图像为二维灰度图像或者二维彩色图像。
步骤500：如果检测出潜在煤块区域图像中存在煤矸石，则获取煤矸石的三维空间坐标信息以用于煤矸石分拣。
本步骤中，当检测到煤矸石图像时，获取并记录该潜在煤块图像的三维空间坐标信息即煤矸石的位置信息，以便于后续的煤矸石分拣装置进行煤矸石分拣。
在步骤300的立体分割处理结果中还包括每个潜在煤块区域图像的三维空间坐标信息，这些潜在煤块区域图像、对应的三维空间坐标信息、以及两者的对应关系一并保存，当步骤400中检测出某一潜在煤块区域图像中存在煤矸石，根据对应关系找到相应的三维空间坐标信息即煤矸石的位置信息，之后根据需要可以进行坐标变换转换成煤矸石分拣装置需要的位置坐标以分拣出煤矸石。
本发明实施例的煤矸石检测方法先获取待检测煤块区域的左图像和右图像，通过双目视觉处理算法处理后得到点云数据，之后直接对点云数据进行立体分割获取得到多个潜在煤块区域图像，最后利用预先训练好的深度卷积神经网络模型对潜在煤块区域图像进行煤矸石检测，当检测出潜在煤块区域图像中存在煤矸石，获取煤矸石的三维空间坐标信息以用于煤矸石分拣。本发明实施例的煤矸石检测方法直接在获取的待检测煤块区域三维点云数据上进行立体分割得到潜在煤块区域图像，再结合训练的深度卷积神经网络模型进行煤矸石检测，解决了现有技术中基于二维平面图像的检测方法存在的检测效率和精度较低的问题，因此，本发明实施例的煤矸石检测方法实现了煤矸石的高效率、高精度检测。
在一些实施例中，参见图2和图6所示，本发明的煤矸石检测方法中对点云数据进行立体分割得到多个潜在煤块区域图像的步骤300包括：
步骤301：对点云数据进行处理得到深度图像；
由于点云数据的数据量较大，为了加快处理速度，在确保一定的检测精度和速度的前提下对点云数据进行处理得到深度图像后再进行分割，本步骤中可以通过投影方式从三维的点云数据中获取二维的深度图像。
步骤302：根据预设的分割阈值二值化深度图像得到掩码图像；
本步骤具体可以包括：
步骤3021：根据预设的分割阈值从深度图像中获取边缘图像；
本步骤中遍历深度图像，根据预设的分割阈值获得对应边缘图像，该边缘图像是二值图，只有1和0两种数值，1代表图像边缘，该边缘图像中包含多个待检测煤块的边缘。其中，预设的分割阈值为深度值，其根据实际需要确定，在此不做具体限定，并通过软件接口进行设置。
步骤3022：二值化深度图像，并与边缘图像进行差处理得到掩码图像(如图6-c所示)；
本步骤中通过对深度图像的所有数据进行一次判断，非0数值记为1，变成一个二值图，之后与边缘图像进行差处理，这样就可以得到去除边缘的图像，由于待检测煤块区域中多个待检测煤块之间并不是完全分离的，通过本步骤得到的掩码图像中多个待检测煤块的界限更加清晰。
步骤303：对掩码图像进行分割得到多个潜在煤块区域图像。
本步骤中可以利用传统的图像分割处理算法进行分割处理，例如：分水岭算法、连通区域标记算法等等。通过对掩码图像进行分割处理后得到了多个潜在煤块区域的深度图像，根据深度图像的位置信息从点云数据中获取对应的潜在煤块区域二维灰度图像或者潜在煤块区域二维彩色图像作为后续检测图像，如图6-g及图6-h所示。
在一些实施例中，参见图3所示，本发明的煤矸石检测方法中对掩码图像进行分割得到多个潜在煤块区域图像的步骤303包括：
步骤3031：在掩码图像上利用连通域标记算法获取多个初分割潜在区域图像；
本步骤中利用连通域标记算法初步分割掩码图像，具体的分割算法可以采用Two-Pass两便扫描法，或者Seed-Filling种子填充法。
步骤3032：计算每个初分割潜在区域图像的投影面积；
本步骤中计算图像的投影面积为遍历图像中所有非0值的数据，投影面积＝非0点数*量化系数，量化系数为X轴最大值与Y轴最大值的比值。
步骤3033：如果初分割潜在区域图像的投影面积大于或者等于第一预设面积阈值，则对初分割潜在区域图像进行再分割处理以得到潜在煤块区域图像。
对于步骤3031初分割的结果，需要进一步判断是否有再分割的可能，因此需要遍历初分割结果，对每个初分割潜在区域进行判断。这里通过统计每个初分割潜在区域图像的有效区域并计算其对应的投影面积来判断，当投影面积小于第一预设面积阈值时，判定对应的初分割潜在区域图像为噪声(即不存在煤块或煤矸石)，则剔除掉该初分割潜在区域图像；当投影面积大于或者等于第一预设面积阈值时，判定对应的初分割潜在区域图像中存在一个或多个煤块或者煤矸石，则进行再分割处理。
需要说明的是，本实施例中第一预设面积阈值根据实际的煤块最小有效面积进行设置，在此不做具体限定。
在一些实施例中，参见图4所示，本发明的煤矸石检测方法中对初分割潜在区域图像进行再分割处理以得到潜在煤块区域图像的步骤3033包括：
步骤A：根据预设的子区域选取条件从初分割潜在区域图像中获取潜在子区域图像；
再分割步骤之前根据预设的子区域选取条件从初分割潜在区域图像中获取潜在子区域图像，以进一步清晰化需要再分割处理的图像。
需要说明的是，本实施例中预设的子区域选取条件根据实际需要确定，在此不做具体限定。
步骤B：在潜在子区域图像上利用连通域标记算法获取多个再分割潜在区域图像；
本步骤中利用连通域标记算法对潜在子区域图像进行再分割，得到多个再分割潜在区域图像。
步骤C：计算每个再分割潜在区域图像的投影面积；
步骤D：统计投影面积大于或等于第二预设面积阈值的再分割潜在区域图像作为潜在煤块区域图像。
需要说明的是，本实施例中第二预设面积阈值根据实际的煤块最小有效面积进行设置，在此不做具体限定。
对于步骤B得到的多个再分割潜在区域图像需要进一步判断是否能作为最终的分割结果输出，因此需要对每个再分割潜在区域进行判断，这里通过统计每个再分割潜在区域图像的有效区域并计算其对应的投影面积来判断，当投影面积小于第二预设面积阈值时，判定对应的再分割潜在区域图像为噪声；当投影面积大于或者等于第二预设面积阈值时，判定对应的再分割潜在区域图像中存在煤块或者煤矸石。
可选的，本发明实施例中第二预设面积阈值设定为第一预设面积阈值的1/4。
在一些实施例中，预设的子区域选取条件为：
subRegionMap＝(depthMap>a)||((distanceMap>b)&&(depthMap>c))--(1)
其中，subRegionMap表示潜在子区域图像,depthMap表示深度图像中点的深度值，distanceMap表示距离图像中点的距离值，距离图像为通过图像距离变换算法转换初分割潜在区域图像得到，a为第一预设深度阈值，b为第二预设深度阈值，c为第一预设距离阈值。
需要说明的是，本步骤中第一预设深度阈值a，第二预设深度阈值b，以及第一预设距离阈值c均为测试经验值，在此不做具体限定。
为了避免遗漏，本实施例中预设的子区域选取条件包括两个并列的选取条件，第一个选取条件为选取深度值大于a的点构成的图像，第二个选取条件为选取深度值大于b且对应的距离值大于c的点构成的图像。
在一些实施例中，参见图4所示，本发明的煤矸石检测方法中统计投影面积大于或等于第二预设面积阈值的再分割潜在区域图像作为潜在煤块区域图像的步骤D包括：
对投影面积大于或等于第二预设面积阈值的再分割潜在区域图像进行标记，并统计得到标记数N；
如果标记数N大于1，则统计每个标记的再分割潜在区域图像的投影面积；
当标记的再分割潜在区域图像的投影面积大于或者等于第一预设面积阈值，则将标记的再分割潜在区域图像作为潜在煤块区域图像；当标记的再分割潜在区域图像的投影面积小于第一预设面积阈值，则通过图像膨胀算法处理标记的再分割潜在区域图像后作为潜在煤块区域图像。
本实施例中还对再分割潜在区域图像进行标记统计，当标记数N为1，说明整个初分割潜在区域图像中仅有一块煤(或者煤矸石)，此时可以输出该初分割潜在区域图像作为最终结果，当标记数N大于1，则整个初分割潜在区域图像中有N块煤(或者煤矸石)，此时对每个标记的再分割潜在区域图像需要进一步判断后再输出最终结果。本实施例中对投影面积小于第一预设面积阈值的标记的再分割潜在区域图像进行膨胀算法处理的目的是扩大潜在区域的范围，保护目标图像边缘，以便于后续检测。
在一些实施例中，本发明的煤矸石检测方法中对所述点云数据进行处理得到深度图像的步骤301之前还包括：
遍历点云数据获得X轴最大值和Y轴最大值；
计算采样比率，其中采样比率计算公式为：
Scale＝sqrt(xRange*yRange*validDensity/pointNumber)--(2)
Scale表示采样比率，xRange表示X轴最大值，yRange表示Y轴最大值，validDensity表示量化密度，pointNumber表示点云数。
本实施例中根据实际测试效果设定量化密度，以权衡检测精度和检测速度。
在一些实施例中，参见图5所示，本发明的煤矸石检测方法中利用双目视觉处理算法处理左图像和右图像获得点云数据的步骤200包括：
步骤201：立体校正左图像和右图像；
步骤202：对校正后的左图像和右图像进行立体匹配得到视差图；
步骤203：根据视差图计算得到待检测煤块区域的三维空间坐标信息，并生成点云数据。
在一些实施例中，本发明的煤矸石检测方法中深度卷积神经网络模型为Googlenet、Resenext、Vggnet、Resnet和Seresnex中的任意一种。需要说明的是，本实施例的深度卷积神经网络模型还可以为其他网络模型，在此不一一举例说明。
优选的，本发明实施例的煤矸石检测方法中深度卷积神经网络模型采用Resnet34网络结构。
本发明实施例中深度卷积神经网络模型采用经典的Resnet34网络结构，其训练过称为：采集数量充足的煤和煤矸石图像做为训练样本，通过对图片进行旋转、缩放、添加噪声、随机裁剪等方法对训练样本进行扩充；将扩充后的训练样本以一定的比例分为训练集和测试集；用训练集对建立的深度卷积神经网络模型进行训练，并用测试集评价训练结果，当评价结果达到预期值时，停止训练过程。训练好的深度卷积神经网络模型就可以对立体分割得到的多个潜在煤块区域图像进行分类，判断图像中是煤还是煤矸石，例如：图6-g中检测为煤，图6-h中检测为煤矸石)。
在一些实施例中，本发明的煤矸石检测方法的步骤500之后还包括根据获取得到的煤矸石的三维空间坐标系对相应的煤矸石进行分拣操作。
另一方面，参见图6所示，本发明实施例还提供了一种煤矸石检测系统，包括：
图像获取模块10，用于获取待检测煤块区域的左图像和右图像；
本实施例中图像获取模块可以为双目立体相机。
双目视觉处理模块20，用于利用双目视觉处理算法处理左图像和右图像获得点云数据；
立体分割模块30，用于对点云数据进行立体分割得到多个潜在煤块区域图像；
深度学习模型检测模块40，用于利用预先训练好的深度卷积神经网络模型对每个潜在煤块区域图像进行煤矸石检测；
位置获取模块50，用于如果检测出潜在煤块区域图像中存在煤矸石，则获取煤矸石的三维空间坐标以用于煤矸石分拣。
本发明实施例的煤矸石检测系统还可以集成分拣装置，分拣装置根据位置获取模块获取的煤矸石的三维空间坐标对相应的煤矸石进行分拣操作。
本发明实施例的煤矸石检测系统集成了双目视觉处理模块、立体分割模块和深度学习模型检测模块，结构简单，成本低，且对人体无伤害，安全可靠，实现了煤矸石的高效率、高精度检测。
虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种煤矸石检测方法，其特征在于，包括：
获取待检测煤块区域的左图像和右图像；
利用双目视觉处理算法处理所述左图像和所述右图像获得点云数据；
对所述点云数据进行立体分割得到多个潜在煤块区域图像；
利用预先训练好的深度卷积神经网络模型对每个所述潜在煤块区域图像进行煤矸石检测；
如果检测出所述潜在煤块区域图像中存在煤矸石，则获取所述煤矸石的三维空间坐标信息以用于煤矸石分拣。
2.根据权利要求1所述的煤矸石检测方法，其特征在于，所述对所述点云数据进行立体分割得到多个潜在煤块区域图像的步骤包括：
对所述点云数据进行处理得到深度图像；
根据预设的分割阈值二值化所述深度图像得到掩码图像；
对所述掩码图像进行分割得到多个潜在煤块区域图像。
3.根据权利要求2所述的煤矸石检测方法，其特征在于，所述对所述掩码图像进行分割得到多个潜在煤块区域图像的步骤包括：
在所述掩码图像上利用连通域标记算法获取多个初分割潜在区域图像；
计算每个所述初分割潜在区域图像的投影面积；
如果所述初分割潜在区域图像的投影面积大于或者等于第一预设面积阈值，则对所述初分割潜在区域图像进行再分割处理以得到所述潜在煤块区域图像。
4.根据权利要求3所述的煤矸石检测方法，其特征在于，所述对所述初分割潜在区域图像进行再分割处理以得到所述潜在煤块区域图像的步骤包括：
根据预设的子区域选取条件从所述初分割潜在区域图像中获取潜在子区域图像；
在所述潜在子区域图像上利用连通域标记算法获取多个再分割潜在区域图像；
计算每个所述再分割潜在区域图像的投影面积；
统计投影面积大于或等于第二预设面积阈值的所述再分割潜在区域图像作为潜在煤块区域图像。
5.根据权利要求4所述的轮胎检测装置，其特征在于，所述预设的子区域选取条件为：
subRegionMap＝(depthMap>a)||((distanceMap>b)&&(depthMap>c))--(1)
其中，subRegionMap表示潜在子区域图像,depthMap表示深度图像中点的深度值，distanceMap表示距离图像中点的距离值，距离图像为通过图像距离变换算法转换初分割潜在区域图像得到，a为第一预设深度阈值，b为第二预设深度阈值，c为第一预设距离阈值。
6.根据权利要求4所述的轮胎检测装置，其特征在于，所述统计投影面积大于或等于第二预设面积阈值的所述再分割潜在区域图像作为潜在煤块区域图像的步骤包括：
对投影面积大于或等于第二预设面积阈值的所述再分割潜在区域图像进行标记，并统计得到标记数N；
如果所述标记数N大于1，则统计每个标记的所述再分割潜在区域图像的投影面积；
当标记的所述再分割潜在区域图像的投影面积大于或者等于所述第一预设面积阈值，则将标记的所述再分割潜在区域图像作为潜在煤块区域图像；当标记的所述再分割潜在区域图像的投影面积小于所述第一预设面积阈值，则通过图像膨胀算法处理标记的所述再分割潜在区域图像后作为潜在煤块区域图像。
7.根据权利要求2所述的煤矸石检测方法，其特征在于，所述对所述点对进行处理得到深度图像的步骤之前还包括：
遍历所述点云数据获得X轴最大值和Y轴最大值；
计算采样比率，其中采样比率计算公式为：
Scale＝sqrt(xRange*yRange*validDensity/pointNumber)--(2)
Scale表示采样比率，xRange表示X轴最大值，yRange表示Y轴最大值，validDensity表示量化密度，pointNumber表示点云数。
8.根据权利要求1-7任一项所述的煤矸石检测方法，其特征在于，利用双目视觉处理算法处理所述左图像和所述右图像获得点云数据的步骤包括：
立体校正所述左图像和所述右图像；
对校正后的所述左图像和所述右图像进行立体匹配得到视差图；
根据视差图计算得到所述待检测煤块区域的三维空间坐标信息，并生成点云数据。
9.根据权利要求1-7任一项所述的煤矸石检测方法，其特征在于，所述深度卷积神经网络模型为Googlenet、Resenext、Vggnet、Resnet和Seresnex中的任意一种。
10.一种煤矸石检测系统，其特征在于，包括：
图像获取模块，用于获取待检测煤块区域的左图像和右图像；
双目视觉处理模块，用于利用双目视觉处理算法处理所述左图像和所述右图像获得点云数据；
立体分割模块，用于对所述点云数据进行立体分割得到多个潜在煤块区域图像；
深度学习模型检测模块，用于利用预先训练好的深度卷积神经网络模型对每个所述潜在煤块区域图像进行煤矸石检测；
位置获取模块，用于如果检测出所述潜在煤块区域图像中存在煤矸石，则获取所述煤矸石的三维空间坐标以用于煤矸石分拣。
CN202011267152.XA 2020-11-13 2020-11-13 一种煤矸石检测方法及系统 Active CN112330693B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011267152.XA CN112330693B (zh) 2020-11-13 2020-11-13 一种煤矸石检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011267152.XA CN112330693B (zh) 2020-11-13 2020-11-13 一种煤矸石检测方法及系统

Publications (2)

Publication Number Publication Date
CN112330693A true CN112330693A (zh) 2021-02-05
CN112330693B CN112330693B (zh) 2023-12-29

Family

ID=74318068

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011267152.XA Active CN112330693B (zh) 2020-11-13 2020-11-13 一种煤矸石检测方法及系统

Country Status (1)

Country Link
CN (1) CN112330693B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113306991A (zh) * 2021-04-16 2021-08-27 北京伟景智能科技有限公司 基于立体视觉的煤炭运输机监测管理系统
CN113344912A (zh) * 2021-07-06 2021-09-03 矿冶科技集团有限公司 矿石颗粒分割系统、方法和机器可读存储介质
CN113450315A (zh) * 2021-06-08 2021-09-28 北京伟景智能科技有限公司 棒材计数方法、装置及分钢系统
CN115069597A (zh) * 2022-06-30 2022-09-20 洪平 煤块和矸石的分辨方法、系统、计算机及可读存储介质
CN115953418A (zh) * 2023-02-01 2023-04-11 公安部第一研究所 安检ct三维图像中笔记本区域剥离方法、存储介质及设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140270459A1 (en) * 2012-10-29 2014-09-18 Mbio Diagnostics, Inc. Particle Identification System, Cartridge And Associated Methods
CN107424143A (zh) * 2017-04-13 2017-12-01 中国矿业大学 一种基于双目立体视觉深度感知的矿用带式输送机煤量检测方法
CN108010085A (zh) * 2017-11-30 2018-05-08 西南科技大学 基于双目可见光相机与热红外相机的目标识别方法
CN108181316A (zh) * 2018-03-13 2018-06-19 广西师范大学 一种基于机器视觉的竹条缺陷检测方法
CN109685141A (zh) * 2018-12-25 2019-04-26 哈工大机器人（合肥）国际创新研究院 一种基于深度神经网络的机器人物品分拣视觉检测方法
CN110135468A (zh) * 2019-04-24 2019-08-16 中国矿业大学(北京) 一种煤矸石的识别方法
CN111325794A (zh) * 2020-02-23 2020-06-23 哈尔滨工业大学 一种基于深度卷积自编码器的视觉同时定位与地图构建方法
CN111563415A (zh) * 2020-04-08 2020-08-21 华南理工大学 一种基于双目视觉的三维目标检测系统及方法
CN111696152A (zh) * 2020-06-12 2020-09-22 杭州海康机器人技术有限公司 检测包裹堆垛的方法、装置、计算设备、系统及存储介质
CN111724444A (zh) * 2020-06-16 2020-09-29 中国联合网络通信集团有限公司 目标物的抓取点的确定方法、装置及抓取系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140270459A1 (en) * 2012-10-29 2014-09-18 Mbio Diagnostics, Inc. Particle Identification System, Cartridge And Associated Methods
CN107424143A (zh) * 2017-04-13 2017-12-01 中国矿业大学 一种基于双目立体视觉深度感知的矿用带式输送机煤量检测方法
CN108010085A (zh) * 2017-11-30 2018-05-08 西南科技大学 基于双目可见光相机与热红外相机的目标识别方法
CN108181316A (zh) * 2018-03-13 2018-06-19 广西师范大学 一种基于机器视觉的竹条缺陷检测方法
CN109685141A (zh) * 2018-12-25 2019-04-26 哈工大机器人（合肥）国际创新研究院 一种基于深度神经网络的机器人物品分拣视觉检测方法
CN110135468A (zh) * 2019-04-24 2019-08-16 中国矿业大学(北京) 一种煤矸石的识别方法
CN111325794A (zh) * 2020-02-23 2020-06-23 哈尔滨工业大学 一种基于深度卷积自编码器的视觉同时定位与地图构建方法
CN111563415A (zh) * 2020-04-08 2020-08-21 华南理工大学 一种基于双目视觉的三维目标检测系统及方法
CN111696152A (zh) * 2020-06-12 2020-09-22 杭州海康机器人技术有限公司 检测包裹堆垛的方法、装置、计算设备、系统及存储介质
CN111724444A (zh) * 2020-06-16 2020-09-29 中国联合网络通信集团有限公司 目标物的抓取点的确定方法、装置及抓取系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KANGWEI HUANG: ""Stereo Vision and Mask-RCNN Segmentation Based 3D Points Cloud Matching for Fish Dimension Measurement"", 《2020 39TH CHINESE CONTROL CONFERENCE(CCC)》, pages 6345 - 6350 *
吴建明WUJIANMING: ""3D点云点云分割、目标检测、分类"", Retrieved from the Internet <URL:《https://www.cnblogs.com/wujianming-110117/p/13035120.html》> *
李宇杰: ""基于视觉的三维目标检测算法研究综述"", 《计算机工程与应用》, vol. 56, no. 01, pages 11 - 24 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113306991A (zh) * 2021-04-16 2021-08-27 北京伟景智能科技有限公司 基于立体视觉的煤炭运输机监测管理系统
CN113450315A (zh) * 2021-06-08 2021-09-28 北京伟景智能科技有限公司 棒材计数方法、装置及分钢系统
CN113344912A (zh) * 2021-07-06 2021-09-03 矿冶科技集团有限公司 矿石颗粒分割系统、方法和机器可读存储介质
CN113344912B (zh) * 2021-07-06 2024-04-16 矿冶科技集团有限公司 矿石颗粒分割系统、方法和机器可读存储介质
CN115069597A (zh) * 2022-06-30 2022-09-20 洪平 煤块和矸石的分辨方法、系统、计算机及可读存储介质
CN115953418A (zh) * 2023-02-01 2023-04-11 公安部第一研究所 安检ct三维图像中笔记本区域剥离方法、存储介质及设备
CN115953418B (zh) * 2023-02-01 2023-11-07 公安部第一研究所 安检ct三维图像中笔记本区域剥离方法、存储介质及设备

Also Published As

Publication number Publication date
CN112330693B (zh) 2023-12-29

Similar Documents

Publication Publication Date Title
CN112330693A (zh) 一种煤矸石检测方法及系统
CN110163853B (zh) 一种边缘缺陷的检测方法
CN111080622B (zh) 神经网络训练方法、工件表面缺陷分类与检测方法及装置
CN102914545B (zh) 一种基于计算机视觉的齿轮缺陷检测方法及系统
CN104899892B (zh) 一种快速的星图图像星点提取方法
CN105447512A (zh) 一种精粗结合的光学表面缺陷的检测方法及装置
CN106548520A (zh) 一种点云数据去噪的方法和系统
CN105574527A (zh) 一种基于局部特征学习的快速物体检测方法
CN104182985A (zh) 遥感图像变化检测方法
CN111242899B (zh) 基于图像的瑕疵检测方法及计算机可读存储介质
CN107622277A (zh) 一种基于贝叶斯分类器的复杂曲面缺陷分类方法
Azad et al. New method for optimization of license plate recognition system with use of edge detection and connected component
CN104597057A (zh) 一种基于机器视觉的柱状二极管表面缺陷检测装置
CN106709524A (zh) 一种电气工程图中的元件符号检测与识别方法
CN111126393A (zh) 车辆外观改装判断方法、装置、计算机设备及存储介质
CN114972922A (zh) 基于机器学习的煤矸分选识别方法、装置及设备
CN116843999A (zh) 一种基于深度学习的动火作业中气瓶检测方法
CN113850749A (zh) 训练缺陷侦测器的方法
Duarte et al. Addressing the class imbalance problem in the automatic image classification of coastal litter from orthophotos derived from UAS imagery
CN111539251B (zh) 一种基于深度学习的安检物品识别方法和系统
CN104766336A (zh) 一种固体发动机三维ct缺陷提取及标记方法
CN114549493A (zh) 一种基于深度学习的磁芯缺陷检测系统及方法
CN113240623A (zh) 一种路面病害检测方法及装置
CN117474929A (zh) 基于机器视觉的托盘外形尺寸检测方法及系统
Meria Development of Automatic Industrial Waste Detection System for Leather Products using Artificial Intelligence

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant