CN113814188A - 一种基于多源信息融合的矸石分拣方法和系统 - Google Patents

一种基于多源信息融合的矸石分拣方法和系统 Download PDF

Info

Publication number
CN113814188A
CN113814188A CN202111104442.7A CN202111104442A CN113814188A CN 113814188 A CN113814188 A CN 113814188A CN 202111104442 A CN202111104442 A CN 202111104442A CN 113814188 A CN113814188 A CN 113814188A
Authority
CN
China
Prior art keywords
gangue
coal
feature extraction
extraction model
acquiring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111104442.7A
Other languages
English (en)
Inventor
汪俊
彭剑林
杨建平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202111104442.7A priority Critical patent/CN113814188A/zh
Publication of CN113814188A publication Critical patent/CN113814188A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B07C5/361—Processing or control devices therefor, e.g. escort memory
    • B07C5/362—Separating or distributor mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多源信息融合的矸石分拣方法和系统，基于卷积神经网络搭建矸石特征提取模型，并训练矸石特征提取模型；利用红外相机获取传送带上的煤与矸石图像，利用线激光传感器获取煤与矸石点云；将煤与矸石图像输入矸石特征提取模型，利用矸石特征提取模型获取矸石位置；将矸石位置映射到煤矸石点云，利用分割算法，获取单个矸石点云；利用PCA主成分分析法生成单个煤矸石点云最小包围盒，进而获得矸石姿态；结合矸石位置与姿态，控制机械臂到达对应位置，并调整机械臂姿态，对矸石进行夹取。本发明将矸石图像与点云信息结合，解决了现有技术中无法实现矸石自动分拣的问题，进一步提高了矸石分拣的效率。

Description

一种基于多源信息融合的矸石分拣方法和系统
技术领域
本发明属于煤与矸石分拣技术领域，具体涉及一种基于多源信息融合的矸石分拣方法和系统。
背景技术
煤炭作为传统能源之一，在我国能源结构中占据主导地位，矸石是煤炭生产过程中产生的附带物，其含碳量低，燃烧不充分，会产生大量有害物质，污染环境，影响煤炭燃烧效率，因而煤矸石分拣是煤炭生产的重要环节。
传统的矸石分拣，以手工分拣为主，一方面，分拣现场环境机器恶劣，大量粉尘及噪声严重危害工人健康，另一方面，由于人会存在一定惰性，在检查松懈的情况下，会导致大量矸石漏拣，进而导致煤炭质量下降的问题。
随着技术的发展，针对矸石分拣也出现了射线识别法以及图像识别法，然而，射线识别法辐射强度达，对人体有潜在危险，且需要采取特殊的防护措施防止辐射泄漏，会导致设备成本大大增加；图像识别法主要利用传统图像识别，在煤与矸石极其相似的情况下，识别精度不高，分拣难度大。
近年来，人工智能飞速发展，深度学习对计算机视觉起到了极大的推动作用，基于深度学习的特征提取具有很好的鲁棒性。线激光传感器可以快速高效获取物体点云，可用作矸石姿态估计。
发明内容
本发明所要解决的技术问题是针对上述现有技术的不足，提供一种基于多源信息融合的矸石分拣方法和系统。
为实现上述技术目的，本发明采取的技术方案为：
一种基于多源信息融合的矸石分拣系统，包括：机械臂、线激光传感器、红外相机、光源、分流器、工控机；
所述机械臂，用于抓取矸石；
所述红外相机与线激光传感器安装在运送煤与矸石的传送带上方；
所述线激光传感器，用于获取煤和矸石点云数据；
所述红外相机，用于获取煤和矸石图像；
所述光源，用于为红外相机打光；
所述分流器，用于将上流煤和矸石分流，使煤和矸石能分列进入传送带；
所述工控机，用于控制系统各部件运行。
一种基于多源信息融合的矸石分拣，包括：
步骤1：基于卷积神经网络搭建矸石特征提取模型，并训练矸石特征提取模型；
步骤2：利用红外相机获取传送带上的煤与矸石图像，利用线激光传感器获取煤与矸石点云；
步骤3：将煤与矸石图像输入矸石特征提取模型，利用矸石特征提取模型获取矸石位置；
步骤4：将矸石位置映射到煤矸石点云，利用分割算法，获取单个矸石点云；
步骤5：利用PCA主成分分析法生成单个煤矸石点云最小包围盒，进而获得矸石姿态；
步骤6：结合矸石位置与姿态，控制机械臂到达对应位置，并调整机械臂姿态，对矸石进行夹取。
为优化上述技术方案，采取的具体措施还包括：
上述的步骤1具体包括：
步骤101：收集并筛选有效矸石图像数据集，将其划分为训练集和测试集；
步骤102：标注出图像中的矸石；
步骤103：基于卷积神经网络搭建矸石特征提取模型；
步骤104：利用训练集对矸石特征提取模型进行训练，并利用测试集验证矸石特征提取模型的效果。
上述的步骤102，利用labelme工具标注出图像中的矸石。
上述的步骤103，基于Faster R-CNN搭建矸石特征提取模型，其结构为：主干网络→RPN模块→检测头。
上述的步骤2具体包括：
步骤201：利用红外相机收集传送带上煤与矸石图像，利用线激光传感器获取每线点云；
步骤202：利用传送带匀速的特性，将线激光传感器获取的每线点云根据指定间距拼接，得到完整的煤与矸石点云。
上述的步骤4具体包括：
步骤401：通过标定红外相机与线激光传感器，使红外相机与线激光传感器处于同一坐标系下，使图像位置可以映射至点云；
步骤402：利用分割算法，将识别框内法向变化率大于指定阈值的点云剔除，通过欧式聚类分割法，得到单个矸石点云。
本发明具有以下有益效果：
本发明将矸石图像与点云信息结合，解决了现有技术中无法实现矸石自动分拣的问题，进一步提高了矸石分拣的效率。
附图说明
图1为本发明基于多源信息融合的矸石分拣系统示意图；
图2为本发明基于多源信息融合的矸石分拣方法流程示意图；
图3为本发明实施例中获取到的图像与点云示意图；
图4为本发明实施例中矸石特征提取模块的网络结构图；
图5为本发明实施例中图像位置映射至点云示意图；
图6为本发明实施例中矸石点云分割示意图；
图7为本发明实施例中夹取姿态估计示意图。
具体实施方式
以下结合附图对本发明的实施例作进一步详细描述。
参见图1，一种基于多源信息融合的矸石分拣系统，包括：机械臂、线激光传感器、红外相机、光源、分流器、工控机；
所述机械臂，用于抓取矸石；
所述红外相机与线激光传感器安装在运送煤与矸石的传送带上方；
所述线激光传感器，用于获取煤和矸石点云数据；
所述红外相机，用于获取煤和矸石图像；
所述光源，用于为红外相机打光；
所述分流器，用于将上流煤和矸石分流，使煤和矸石能分列进入传送带；
所述工控机，用于控制系统各部件运行。
参见图2，一种基于多源信息融合的矸石分方法，包括：
步骤1：基于卷积神经网络搭建矸石特征提取模型，并训练矸石特征提取模型；
实施例中，所述步骤1具体包括：
步骤101：收集并筛选有效矸石图像数据集，将其划分为训练集和测试集；
步骤102：标注出图像中的矸石；
实施例中，所述步骤102，利用labelme工具标注出图像中的矸石。
步骤103：基于卷积神经网络搭建矸石特征提取模型；
实施例中，所述步骤103，基于Faster R-CNN搭建矸石特征提取模型，其结构为：主干网络→RPN模块→检测头，如图4所示。
步骤104：利用训练集对矸石特征提取模型进行训练，并利用测试集验证矸石特征提取模型的效果。
步骤2：利用红外相机获取传送带上的煤与矸石图像，利用线激光传感器获取煤与矸石点云；
实施例中，所述步骤2具体包括：
步骤201：利用红外相机收集传送带上煤与矸石图像，利用线激光传感器获取每线点云；
步骤202：利用传送带匀速的特性，将线激光传感器获取的每线点云根据指定间距拼接，得到完整的煤与矸石点云。如图3-a所示为煤与矸石图像，图3-b为煤与矸石点云。
步骤3：将煤与矸石图像输入矸石特征提取模型，利用矸石特征提取模型获取矸石位置，如图4所示；
步骤4：将矸石位置映射到煤矸石点云，利用分割算法，获取单个矸石点云；
实施例中，所述步骤4具体包括：
步骤401：通过标定红外相机与线激光传感器，使红外相机与线激光传感器处于同一坐标系下，使图像位置可以映射至点云，如图5所示；
步骤402：矸石图像识别框内可能包含除矸石点云外的其它物体部分点云，根据不同物体点云交接处点云法向变化率较大的特性，利用分割算法，将识别框内法向变化率大于指定阈值的点云剔除，通过欧式聚类分割法，得到单个矸石点云，如图6所示。
步骤5：利用PCA主成分分析法生成单个煤矸石点云最小包围盒，进而获得矸石姿态，如图7所示；
步骤6：结合矸石位置与姿态，控制机械臂到达对应位置，并调整机械臂姿态，对矸石进行夹取。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (7)

1.一种基于多源信息融合的矸石分拣系统，其特征在于，包括：机械臂、线激光传感器、红外相机、光源、分流器、工控机；
所述机械臂，用于抓取矸石；
所述红外相机与线激光传感器安装在运送煤与矸石的传送带上方；
所述线激光传感器，用于获取煤和矸石点云数据；
所述红外相机，用于获取煤和矸石图像；
所述光源，用于为红外相机打光；
所述分流器，用于将上流煤和矸石分流，使煤和矸石能分列进入传送带；
所述工控机，用于控制系统各部件运行。
2.根据权利要求1所述的一种基于多源信息融合的矸石分拣系统的一种基于多源信息融合的矸石分拣方法，其特征在于，包括：
步骤1：基于卷积神经网络搭建矸石特征提取模型，并训练矸石特征提取模型；
步骤2：利用红外相机获取传送带上的煤与矸石图像，利用线激光传感器获取煤与矸石点云；
步骤3：将煤与矸石图像输入矸石特征提取模型，利用矸石特征提取模型获取矸石位置；
步骤4：将矸石位置映射到煤矸石点云，利用分割算法，获取单个矸石点云；
步骤5：利用PCA主成分分析法生成单个煤矸石点云最小包围盒，进而获得矸石姿态；
步骤6：结合矸石位置与姿态，控制机械臂到达对应位置，并调整机械臂姿态，对矸石进行夹取。
3.根据权利要求2所述的一种基于多源信息融合的矸石分拣方法，其特征在于，所述步骤1具体包括：
步骤101：收集并筛选有效矸石图像数据集，将其划分为训练集和测试集；
步骤102：标注出图像中的矸石；
步骤103：基于卷积神经网络搭建矸石特征提取模型；
步骤104：利用训练集对矸石特征提取模型进行训练，并利用测试集验证矸石特征提取模型的效果。
4.根据权利要求3所述的一种基于多源信息融合的矸石分拣方法，其特征在于，所述步骤102，利用labelme工具标注出图像中的矸石。
5.根据权利要求3所述的一种基于多源信息融合的矸石分拣方法，其特征在于，所述步骤103，基于Faster R-CNN搭建矸石特征提取模型，其结构为：主干网络→RPN模块→检测头。
6.根据权利要求2所述的一种基于多源信息融合的矸石分拣方法，其特征在于，所述步骤2具体包括：
步骤201：利用红外相机收集传送带上煤与矸石图像，利用线激光传感器获取每线点云；
步骤202：利用传送带匀速的特性，将线激光传感器获取的每线点云根据指定间距拼接，得到完整的煤与矸石点云。
7.根据权利要求2所述的一种基于多源信息融合的矸石分拣方法，其特征在于，所述步骤4具体包括：
步骤401：通过标定红外相机与线激光传感器，使红外相机与线激光传感器处于同一坐标系下，使图像位置可以映射至点云；
步骤402：利用分割算法，将识别框内法向变化率大于指定阈值的点云剔除，通过欧式聚类分割法，得到单个矸石点云。
CN202111104442.7A 2021-09-22 2021-09-22 一种基于多源信息融合的矸石分拣方法和系统 Pending CN113814188A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111104442.7A CN113814188A (zh) 2021-09-22 2021-09-22 一种基于多源信息融合的矸石分拣方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111104442.7A CN113814188A (zh) 2021-09-22 2021-09-22 一种基于多源信息融合的矸石分拣方法和系统

Publications (1)

Publication Number Publication Date
CN113814188A true CN113814188A (zh) 2021-12-21

Family

ID=78914961

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111104442.7A Pending CN113814188A (zh) 2021-09-22 2021-09-22 一种基于多源信息融合的矸石分拣方法和系统

Country Status (1)

Country Link
CN (1) CN113814188A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117696471A (zh) * 2024-02-04 2024-03-15 安徽农业大学 基于多模态成像分析的煤矸石含量识别系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102088137B1 (ko) * 2019-09-05 2020-03-11 변형완 연갈탄 선별 장치 및 방법
CN111921904A (zh) * 2020-08-06 2020-11-13 西安科技大学 基于视觉及力信息融合感知的多机械臂协同煤矸分拣系统
CN112354874A (zh) * 2020-09-03 2021-02-12 江苏旷博智能技术有限公司 煤和矸石的识别方法以及矸石自动分离系统
CN112488082A (zh) * 2020-12-24 2021-03-12 刘强 基于深度学习的煤矸石智能分拣系统
CN113172002A (zh) * 2021-04-26 2021-07-27 博科视(苏州)技术有限公司 一种基于图像识别的输煤线矸石识别方法及分选系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102088137B1 (ko) * 2019-09-05 2020-03-11 변형완 연갈탄 선별 장치 및 방법
CN111921904A (zh) * 2020-08-06 2020-11-13 西安科技大学 基于视觉及力信息融合感知的多机械臂协同煤矸分拣系统
CN112354874A (zh) * 2020-09-03 2021-02-12 江苏旷博智能技术有限公司 煤和矸石的识别方法以及矸石自动分离系统
CN112488082A (zh) * 2020-12-24 2021-03-12 刘强 基于深度学习的煤矸石智能分拣系统
CN113172002A (zh) * 2021-04-26 2021-07-27 博科视(苏州)技术有限公司 一种基于图像识别的输煤线矸石识别方法及分选系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIANPING YANG 等: "Gangue Localization and Volume Measurement Based on Adaptive Deep Feature Fusion and Surface Curvature Filter", 《IEEE》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117696471A (zh) * 2024-02-04 2024-03-15 安徽农业大学 基于多模态成像分析的煤矸石含量识别系统及方法
CN117696471B (zh) * 2024-02-04 2024-04-09 安徽农业大学 基于多模态成像分析的煤矸石含量识别系统及方法

Similar Documents

Publication Publication Date Title
CN111275679B (zh) 一种基于图像的太阳能电池缺陷检测系统及方法
CN111951237B (zh) 外观视觉检测方法
CN111126325B (zh) 一种基于视频的智能人员安防识别统计方法
CN110458807A (zh) 一种铁路轨道缺陷机器视觉检测系统
CN109584227A (zh) 一种基于深度学习目标检测算法的焊点质量检测方法及其实现系统
CN102854192B (zh) 一种基于苹果表面缺陷检测系统的苹果表面缺陷检测方法
CN108492291B (zh) 一种基于cnn分割的太阳能光伏硅片瑕疵检测系统及方法
CN110853015A (zh) 基于改进Faster-RCNN的铝型材缺陷检测方法
CN105044122A (zh) 一种基于半监督学习模型的铜件表面缺陷视觉检测系统及检测方法
CN103324937A (zh) 标注目标的方法和装置
CN111852792B (zh) 一种基于机器视觉的风机叶片缺陷自诊断定位方法
CN107084992A (zh) 一种基于机器视觉的胶囊检测方法及系统
CN112198161A (zh) 基于机器视觉的pvc手套实时检测系统
CN112330693B (zh) 一种煤矸石检测方法及系统
CN113139572B (zh) 一种基于图像的列车空气弹簧的故障检测方法
CN108596909A (zh) 空心圆柱工件表面缺陷检测系统及方法
CN110298330B (zh) 一种输电线路巡检机器人单目检测与定位方法
CN104850832A (zh) 一种基于分级迭代的大规模图像样本标注方法及系统
CN113814188A (zh) 一种基于多源信息融合的矸石分拣方法和系统
CN117250208B (zh) 基于机器视觉的纳米压印晶圆缺陷精准检测系统及方法
CN106599890A (zh) 变电站巡检机器人数字式仪表识别算法
CN113569922A (zh) 一种苹果智能无损分拣的方法
CN111652214A (zh) 一种基于深度学习的垃圾瓶分选方法
CN110728269B (zh) 一种基于c2检测数据的高铁接触网支柱杆号牌识别方法
CN115007474A (zh) 一种基于图像识别的选煤机器人及选煤方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20211221

RJ01 Rejection of invention patent application after publication