CN112488082A - 基于深度学习的煤矸石智能分拣系统 - Google Patents
基于深度学习的煤矸石智能分拣系统 Download PDFInfo
- Publication number
- CN112488082A CN112488082A CN202011551703.5A CN202011551703A CN112488082A CN 112488082 A CN112488082 A CN 112488082A CN 202011551703 A CN202011551703 A CN 202011551703A CN 112488082 A CN112488082 A CN 112488082A
- Authority
- CN
- China
- Prior art keywords
- gangue
- image
- coal
- hyperspectral
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000003245 coal Substances 0.000 title claims abstract description 87
- 238000013135 deep learning Methods 0.000 title claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 23
- 238000013528 artificial neural network Methods 0.000 claims abstract description 15
- 238000003384 imaging method Methods 0.000 claims abstract description 11
- 230000003595 spectral effect Effects 0.000 claims abstract description 11
- 238000001228 spectrum Methods 0.000 claims description 29
- 238000000034 method Methods 0.000 claims description 26
- 238000013527 convolutional neural network Methods 0.000 claims description 21
- 238000011176 pooling Methods 0.000 claims description 17
- 238000007781 pre-processing Methods 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 12
- 230000009467 reduction Effects 0.000 claims description 10
- 238000012360 testing method Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 7
- 238000000701 chemical imaging Methods 0.000 claims description 6
- 238000013178 mathematical model Methods 0.000 claims description 6
- 238000010521 absorption reaction Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 4
- 210000002364 input neuron Anatomy 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 230000008034 disappearance Effects 0.000 abstract description 2
- 238000000926 separation method Methods 0.000 description 13
- 230000003247 decreasing effect Effects 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000005251 gamma ray Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000010297 mechanical methods and process Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/34—Sorting according to other particular properties
- B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
- B07C5/3422—Sorting according to other particular properties according to optical properties, e.g. colour using video scanning devices, e.g. TV-cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/36—Sorting apparatus characterised by the means used for distribution
- B07C5/361—Processing or control devices therefor, e.g. escort memory
- B07C5/362—Separating or distributor mechanisms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Evolutionary Biology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于深度学习的煤矸石智能分拣系统，涉及煤矿技术领域，其包括以下步骤：首先采用单目摄像头采集煤和矸石的样本。该基于深度学习的煤矸石智能分拣系统，通过单目摄像头获取图像与高光谱传感器结合处理得到的光谱图像，实现在无强光源条件下煤矸石图像的细节增强，采用卷积神经网络对高光谱图像特征进行训练，有针对性对煤矸石特征神经网络进行强化调参防止模型过拟合，进而实现提高煤和矸石识别的精准度，并且利用余弦定理PID调控机器臂使机器臂在高光谱视觉的配合协同下完成对于煤矸石的精稳抓取，从而解决了现今普通单目成像的图像细节缺失、局部特征失真、物体轮廓提取不完整进而导致不能够对煤和矸石进行精确识别与分类的问题。
Description
技术领域
本发明涉及煤矿技术领域，具体为基于深度学习的煤矸石智能分拣系统。
背景技术
传统的煤矸石分选方法主要包括人工选矸和湿选法，人工选矸方法是通过筛分机把原煤分成直径大于等于100mm的和小于100mm的，然后将直径大于等于100mm的矿物运送到人工排矸车间，由经过专业培训的工人结合自身经验根据灰度与纹理的差异挑选出矸石以完成分选，而小于100mm的矿物则通过湿选法的方式进行分选，湿选法包括重介法和跳汰法，它们都是利用煤炭和矸石两者密度不同的物理性质作为原理来进行分选的，重介法主要是利用密度介于煤炭和矸石之间的液体进行分选的，密度低的煤上浮，密度高的矸石下沉，跳汰法以水为介质，煤和矸石会在强烈振动产生的垂直变速介质流中因为两者的密度不同而进行分层，然后用两种不同的方法分别收取煤和矸石，从而完成煤和矸石的分选。
我国大部分矿区主要采用的方法仍是人工选矸，虽然这种方法操作简单、易于普及，但是缺点是分选的效率低下，劳动强度高，易受主观因素的影响。而湿选法以更多机械的方式代替人工，它虽然凭借着效率较高，精度较准等优点而被广泛应用，但是无论重介法还是跳汰法都需要水作为介质，这极大地浪费了水资源，与我国建立资源节约型社会相悖，随着科技水平的发展，近年来，国内外也有许多新的分选方法诞生，代表性的研究有射线法、雷达探测、机械振动、光电选矸等，γ射线法利用的是煤炭和煤矸石对 γ 射线不同的吸收系数,再根据反射回的 γ 射线强度对两者进行检测，这种射线选煤的方法虽然具有占地面积小、操作简单，但存在分选效率低下、操作过程容易爆炸的问题，γ 射线还会对人体造成极大伤害，严重威胁着身体健康。其他几种方法均由于识别精度太低且需要耗费大量的能源等问题而没有得到广泛的使用，因而现今大多数的选取方法是通过机器视觉进行的，并且是目前工业领域用于物体识别的关键技术，但是现今普通单目成像的图像细节缺失、局部特征失真、物体轮廓提取不完整，进而导致不能够对煤和矸石进行精确识别与分类，因此提出了基于深度学习的煤矸石智能分拣系统来解决这个问题。
发明内容
（一）解决的技术问题
针对现有技术的不足，本发明提供了基于深度学习的煤矸石智能分拣系统，解决了现今普通单目成像的图像细节缺失、局部特征失真、物体轮廓提取不完整进而导致不能够对煤和矸石进行精确识别与分类的问题。
（二）技术方案
为达到以上目的，本发明采取的技术方案是：基于深度学习的煤矸石智能分拣系统，包括以下步骤：首先采用单目摄像头来采集煤和矸石的样本，将单目摄像头采集的高分辨率图像映射到高光谱传感器，通过不同蔡司光谱镜片来获取不同波段光谱的煤和矸石图像，再对不同的光谱图像进行初步的图像预处理，预处理结束后的高光谱图像按比例划分成训练集和测试集，训练集部分将输入到卷积神经网络用于高光谱图像的物体轮廓特征提取，测试集部分则用来检验卷积神经网络对煤和矸石特征提取的丢失率和识别结果的正确率，最后根据煤和矸石特征的不同输出识别结果，再将识别结果转换成模拟信号通过位置-速度双环PID 算法控制机械臂实现快速稳定抓取。
所述卷积神经网络使用包括以下步骤：首先将单目摄像头捕获的图像经预处理的高光谱图像作为输入项进入卷积层A进行初步卷积，卷积层A使用TensorFlow中的2D卷积层Conv2D，卷积核尺寸为3×3，卷积核数量为32，然后经过三次Residual单元循环处理，每一次Residual单元的处理都会使图像的维度增加，分辨率降低，从而使高光谱图像更容易提取出局部特征，而且分辨率的降低也能有效缩短每层卷积核处理图像的时间，实现快速的图像特征提取，Residual单元使用TensorFlow中的卷积层和池化层构成，标准层使用TensorFlow中的批量标准化层BatchNormalization，其输出尺寸与输入一致，卷积层D使用TensorFlow中的2D卷积层Conv2D，卷积核尺寸为1×16，池化层使用TensorFlow中的2D最大池化MaxPooling2D，池化尺寸为3×3，Residual单元处理完毕后，图像结构已经卷积为52×52×256，再将图像放入Inception单元进行有限元分割，分割的图像能够更好的便于神经网络的学习，Inception单元由三次卷积Conv2D构成，每次遍历卷积核会逐级递减，将图像一次又一次精细化处理，保证高光谱图像的特征的高精度和神经网络识别的准确度，特别地，在Inception单元中，所有卷积层的padding方式设置为same，全连接层使用TensorFlow中的Dense对输入神经元数据进行展平、点乘操作，最后输出最终处理结果。
优选的，所述卷积神经网络架构为TensorFlow。
优选的，所述系统在Windows 10以及Ubuntu系统环境下均可运行。
优选的，所述图像预处理的过程为使用运算算法的计算机需要获取图像数据，将单目摄像头传感器获得的测量值转换为计算机可以处理的数字图像，此过程难以避免地会引入杂波、噪声的干扰，容易出现摄像头拍摄图像画面质量较差或者成像扭曲问题。因此需要对不同的光谱图像进行拉普拉斯降噪，高斯滤波等图像预处理，然后采用CVA提取双时相图像之间光谱幅值的差异信息生成差异图像，最后对处理完毕的特征光谱图像进行算法性能评估。
优选的，所述单目摄像头的高光谱传感器程序是针对单目摄像头在白光或全光谱的光线条件下，只能获取从一个物体反射出来的所有波长光谱聚集成像的低精度问题。并且在单目摄像头的基础上采用高光谱成像传感器来对图像进行初始处理，能一次分离出物体对单个光谱的反馈效果，然后通过差异算法对比这些单光谱图像之间的差异并将不同光谱的差异度特征组合，从而提取出在日常光下无法检测到的物体细节，通过算法，增强物体对不同光谱的反射和吸收的程度的差异，从这些差异中，可以找到很多看不见的细节，有效的解决了普通单目摄像头成像精度低的问题。
优选的，所述卷积神经网络包含的煤矸石图像特征提取是基于CNN神经网络对煤和矸石进行样本模型的训练，可以高效的完成煤和矸石的实时识别分类工作，煤和矸石图像特征提取是将煤和矸石的高光谱图像输入到卷积神经网络中建立模型，然后通过卷积层得到煤和矸石图像的特征图像，之后通过池化层对特征图进行降维处理，之后通过全连接层整合得到煤和矸石特征向量，最后通过softrmax分类层得到煤和矸石种类。
优选的，所述余弦定理-PID 的煤矸石分拣机器臂稳准抓取算法是在机器视觉的基础上，对煤矿生产线动态目标抓取问题建立了数学模型，并针对该数学模型提出了基于余弦定理-PID 的动态目标抓取算法，并且在高光谱图像的基础上，该算法首先通过余弦定理计算出机器臂理论抓取点，控制机器臂快速到达理论抓取点后，再通过位置-速度双环PID 算法控制机械臂末端与煤矸石进行位置坐标同步，完整的将高光谱成像，深度神经网络与机器臂的交互协同作业结合到一起。
（三）有益效果
本发明的有益效果在于：
该基于深度学习的煤矸石智能分拣系统，通过单目摄像头获取图像与高光谱传感器结合处理得到的光谱图像技术，实现在无强光源条件下获取煤矸石的细节增强图像，而且采用极限学习机，针对性的对煤矸石特征部分进行强化调参防止模型过拟合，进而实现提高煤和矸石识别的精准度，而且利用余弦定理PID调控机器臂使机器臂在高光谱视觉的配合协同下完成对于煤矸石的精确稳定抓取，进而达到工业级的机器臂快速分拣标准，从而解决了现今普通单目成像的图像细节缺失、局部特征失真、物体轮廓提取不完整进而导致不能够对煤和矸石进行精确识别与分类的问题。
附图说明
图1为本发明系统流程结构示意图；
图2为本发明卷积神经网络结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1-2所示，本发明提供一种技术方案：基于深度学习的煤矸石智能分拣系统，包括以下步骤：首先采用单目摄像头来采集煤和矸石的样本，将单目摄像头采集的高分辨率图像映射到高光谱传感器，通过不同蔡司光谱镜片来获取不同波段光谱的煤和矸石图像，再对不同光谱的图像进行初步的图像预处理，预处理结束后的高光谱图像按比例划分成训练集和测试集，训练集部分将输入到卷积神经网络用于高光谱图像的物体轮廓特征提取，测试集部分则用来检验卷积神经网络对煤和矸石特征提取的丢失率和识别结果的正确率，最后根据煤和矸石特征的不同输出识别结果，再将识别结果转换成模拟信号通过位置-速度双环PID 算法控制机械臂实现快速稳定抓取，卷积神经网络使用包括以下步骤：首先将单目摄像头捕获的图像经预处理的高光谱图像作为输入项进入卷积层A进行初步卷积，卷积层A使用TensorFlow中的2D卷积层Conv2D，卷积核尺寸为3×3，卷积核数量为32，然后经过三次Residual单元循环处理，每一次Residual单元的处理都会使图像的维度增加，分辨率降低，从而使高光谱图像更容易提取出局部特征，而且分辨率的降低也能有效缩短每层卷积核处理图像的时间，实现快速的图像特征提取，Residual单元使用TensorFlow中的卷积层和池化层构成，标准层使用TensorFlow中的批量标准化层BatchNormalization，其输出尺寸与输入一致，卷积层D使用TensorFlow中的2D卷积层Conv2D，卷积核尺寸为1×16，池化层使用TensorFlow中的2D最大池化MaxPooling2D，池化尺寸为3×3，Residual单元处理完毕后，图像结构已经卷积为52×52×256，再将图像放入Inception单元进行有限元分割，分割的图像能够更好的便于神经网络的学习，Inception单元由三次卷积Conv2D构成，每次遍历卷积核会逐级递减，将图像一次又一次精细化处理，保证高光谱图像的特征的高精度和神经网络识别的准确度，特别地，在Inception单元中，所有卷积层的padding方式设置为same，全连接层使用TensorFlow中的Dense对输入神经元数据进行展平、点乘操作，最后输出最终处理结果。
卷积神经网络架构为TensorFlow。
系统在Windows 10以及Ubuntu系统环境下均可运行。
图像预处理的过程为首先将单目摄像头传感器获得的测量值转换为计算机可以处理的数字图像，此过程难以避免地会引入杂波、噪声的干扰，容易出现摄像头拍摄图像画面质量较差或者成像扭曲问题。因此需要对不同的光谱图像进行拉普拉斯降噪，高斯滤波等图像预处理，然后采用CVA提取双时相图像之间光谱幅值的差异信息生成差异图像，最后对处理完毕的特征光谱图像进行算法性能评估。
单目摄像头的高光谱传感器程序是针对单目摄像头在白光或全光谱的光线条件下，只能获取从一个物体反射出来的所有波长光谱聚集成像的低精度问题，并且在单目摄像头的基础上采用高光谱成像原理来对图像进行初始处理，一次能分离出物体对单个光谱的反馈效果，然后通过差异算法对比这些单光谱图像之间的差异并将不同光谱的差异度特征组合，从而提取出在日常光下无法检测到的物体细节，通过算法，增强不同物体之间对不同光谱的反射和吸收的程度的差异，从这些差异中，可以找到很多看不见的细节，进而有效的解决了普通单目摄像头成像精度低的问题。
卷积神经网络包含的煤矸石图像特征提取是基于CNN神经网络对煤和矸石进行样本模型的训练，可以高效的完成煤和矸石的实时识别分类工作，煤和矸石图像特征提取是将煤和矸石的高光谱图像输入到卷积神经网络中建立模型，然后通过卷积层得到煤和矸石图像的特征图，之后通过池化层对特征图进行降维处理，之后通过全连接层整合得到煤和矸石特征向量，最后通过softrmax分类层得到煤和矸石种类。
余弦定理-PID 的煤矸石分拣机器臂稳准抓取算法是在机器视觉的基础上，对煤矿生产线动态目标抓取问题建立数学模型，并针对该数学模型提出了基于余弦定理-PID的动态目标抓取算法，在高光谱图像的基础上，该算法首先通过余弦定理计算出机器臂理论抓取点，控制机器臂快速到达理论抓取点后，再通过位置-速度双环PID 算法控制机械臂末端与煤矸石进行位置坐标同步，完整的将高光谱成像，深度神经网络与机器臂的交互协同作业结合到一起，进而保证了该系统的高智能性。
本发明的操作步骤为：
首先采用单目摄像头来采集煤和矸石的样本，将单目摄像头采集的高分辨率图像映射到高光谱传感器，通过不同蔡司光谱镜片来获取不同波段光谱的煤和矸石图像，再对不同的光谱图像进行初步的图像预处理，预处理结束后的高光谱图像按比例划分成训练集和测试集，训练集部分将输入到卷积神经网络进入卷积层A进行初步卷积，卷积层A使用TensorFlow中的2D卷积层Conv2D，卷积核尺寸为3×3，卷积核数量为32，然后经过三次Residual单元循环处理，每一次Residual单元的处理都会使图像的维度增加，分辨率降低，从而使高光谱图像更容易提取出局部特征，而且分辨率的降低也能有效缩短每层卷积核处理图像的时间，实现快速的图像特征提取，Residual单元使用TensorFlow中的卷积层和池化层构成，标准层使用TensorFlow中的批量标准化层BatchNormalization，其输出尺寸与输入一致，卷积层D使用TensorFlow中的2D卷积层Conv2D，卷积核尺寸为1×16，池化层使用TensorFlow中的2D最大池化MaxPooling2D，池化尺寸为3×3，Residual单元处理完毕后，图像结构已经卷积为52×52×256，再将图像放入Inception单元进行有限元分割，分割的图像能够更好的便于神经网络的学习，Inception单元由三次卷积Conv2D构成，每次遍历卷积核会逐级递减，将图像一次又一次精细化处理，保证高光谱图像的特征的高精度和神经网络识别的准确度，特别地，在Inception单元中，所有卷积层的padding方式设置为same，全连接层使用TensorFlow中的Dense对输入神经元数据进行展平、点乘操作，最后输出最终处理结果用于高光谱图像的物体轮廓特征提取，测试集部分则用来检验卷积神经网络对煤和矸石特征提取的丢失率和识别结果的正确率，最后根据煤和矸石特征的差异输出识别结果，再将识别结果转换成模拟信号通过位置-速度双环PID 算法控制机械臂实现快速稳定抓取。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.基于深度学习的煤矸石智能分拣系统，包括以下步骤：首先采用单目摄像头来采集煤和矸石的样本，将单目摄像头采集的高分辨率图像映射到高光谱传感器，通过不同蔡司光谱镜片来获取不同波段光谱的煤和矸石图像，再对不同的光谱图像进行初步的图像预处理，预处理结束后的高光谱图像按比例划分成训练集和测试集，训练集部分将输入到卷积神经网络用于高光谱图像的物体轮廓特征提取，测试集部分则用来检验卷积神经网络对煤和矸石特征提取的丢失率和识别结果的正确率，最后根据煤和矸石特征的不同输出识别结果，再将识别结果转换成模拟信号通过位置-速度双环PID 算法控制机械臂实现快速稳定抓取；
所述卷积神经网络使用包括以下步骤:首先将单目摄像头捕获的图像经预处理的高光谱图像作为输入项进入卷积层A进行初步卷积，卷积层A使用TensorFlow中的2D卷积层Conv2D，卷积核尺寸为3×3，卷积核数量为32，然后经过三次Residual单元循环处理，每一次Residual单元的处理都会使图像的维度增加，分辨率降低，从而使高光谱图像更容易提取出局部特征，而且分辨率的降低也能有效缩短每层卷积核处理图像的时间，实现快速的图像特征提取，Residual单元使用TensorFlow中的卷积层和池化层构成，标准层使用TensorFlow中的批量标准化层BatchNormalization，其输出尺寸与输入一致，卷积层D使用TensorFlow中的2D卷积层Conv2D，卷积核尺寸为1×16，池化层使用TensorFlow中的2D最大池化MaxPooling2D，池化尺寸为3×3，Residual单元处理完毕后，图像结构已经卷积为52×52×256，再将图像放入Inception单元进行有限元分割，分割的图像能够更好的便于神经网络的学习，Inception单元由三次卷积Conv2D构成，每次遍历卷积核会逐级递减，将图像一次又一次精细化处理，保证高光谱图像的特征的高精度和神经网络识别的准确度，特别地，在Inception单元中，所有卷积层的padding方式设置为same，全连接层使用TensorFlow中的Dense对输入神经元数据进行展平、点乘操作，最后输出最终处理结果。
2.根据权利要求1所述的基于深度学习的煤矸石智能分拣系统，其特征在于：所述卷积神经网络架构为TensorFlow。
3.根据权利要求1所述的基于深度学习的煤矸石智能分拣系统，其特征在于：所述系统在Windows 10以及Ubuntu系统环境下均可运行。
4.根据权利要求1所述的基于深度学习的煤矸石智能分拣系统，其特征在于：所述图像预处理的过程为首先将单目摄像头传感器获得的测量值转换为计算机可以处理的数字图像，此过程难以避免地会引入杂波、噪声的干扰，容易出现摄像头拍摄图像画面质量较差或者成像扭曲等问题。
5.因此需要对不同的光谱图像进行拉普拉斯降噪，高斯滤波等图像预处理，然后采用CVA提取双时相图像之间光谱幅值的差异信息生成差异图像，最后对处理完毕的特征光谱图像进行算法性能评估。
6.根据权利要求1所述的基于深度学习的煤矸石智能分拣系统，其特征在于：所述单目摄像头的高光谱传感器程序是针对单目摄像头在白光或全光谱的光线下，只能获取从一个物体反射出来的所有波长都“聚集”在一起的低精度成像问题，并且在单目摄像头的基础上采用高光谱成像传感器来对图像进行初始处理，一次能分离出物体对单个光谱的反馈效果，然后通过差异算法对比这些单光谱图像之间的差异并将不同光谱的差异度特征组合，从而提取出在日常光下无法检测到的物体微妙细节，通过算法，增强不同物体之间对不同光谱的反射和吸收的程度的差异，从这些差异中，可以找到很多看不见的细节，有效的解决了普通单目摄像头成像精度低的问题
根据权利要求1所述的基于深度学习的煤矸石智能分拣系统，其特征在于：所述卷积神经网络包含的煤矸石图像特征提取是基于极限学习机对煤和矸石进行样本模型的构建与训练，可以高效的完成煤和矸石的实时识别分类工作，煤和矸石图像特征提取是将煤和矸石的高光谱图像输入到卷积神经网络中建立模型，然后通过卷积层得到煤和矸石图像的特征图，之后通过池化层对特征图进行降维处理，之后通过全连接层整合得到煤和矸石的特征向量，最后通过softrmax分类层得到煤和矸石种类。
7.根据权利要求1所述的基于深度学习的煤矸石智能分拣系统，其特征在于：所述余弦定理-PID 的煤矸石分拣机器臂稳准抓取算法是在机器视觉的基础上，对煤矿生产线动态目标抓取问题建立数学模型，并针对该数学模型提出了基于余弦定理-PID 的动态目标抓取算法，在高光谱图像的基础上，该算法首先通过余弦定理计算出机器臂理论抓取点，控制机器臂快速到达理论抓取点后，再通过位置-速度双环PID 算法控制机械臂末端与煤矸石进行位置坐标同步，完整的将高光谱成像，深度神经网络与机器臂的交互协同作业结合到一起。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011551703.5A CN112488082A (zh) | 2020-12-24 | 2020-12-24 | 基于深度学习的煤矸石智能分拣系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011551703.5A CN112488082A (zh) | 2020-12-24 | 2020-12-24 | 基于深度学习的煤矸石智能分拣系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112488082A true CN112488082A (zh) | 2021-03-12 |
Family
ID=74915590
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011551703.5A Pending CN112488082A (zh) | 2020-12-24 | 2020-12-24 | 基于深度学习的煤矸石智能分拣系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112488082A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112950632A (zh) * | 2021-04-18 | 2021-06-11 | 吉林大学 | 一种基于高光谱成像技术和卷积神经网络的煤炭质量检测方法 |
| CN112990027A (zh) * | 2021-03-22 | 2021-06-18 | 精英数智科技股份有限公司 | 一种基于高光谱图像的煤矸识别方法及装置 |
| CN113093526A (zh) * | 2021-04-02 | 2021-07-09 | 浙江工业大学 | 一种基于强化学习的无超调pid控制器参数整定方法 |
| CN113533220A (zh) * | 2021-07-25 | 2021-10-22 | 吉林大学 | 一种基于高光谱成像技术的煤炭种类识别方法 |
| CN113814188A (zh) * | 2021-09-22 | 2021-12-21 | 南京航空航天大学 | 一种基于多源信息融合的矸石分拣方法和系统 |
| CN115818166A (zh) * | 2022-11-15 | 2023-03-21 | 华能伊敏煤电有限责任公司 | 轮斗连续系统无人值守自动控制方法及其系统 |
| CN115841594A (zh) * | 2022-12-07 | 2023-03-24 | 中国矿业大学(北京) | 基于注意力机制的煤矸高光谱变图像域数据识别方法 |
| CN117930381A (zh) * | 2024-03-25 | 2024-04-26 | 海南中南标质量科学研究院有限公司 | 基于物联网大数据的口岸无辐射透视波通关查验系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110321959A (zh) * | 2019-07-09 | 2019-10-11 | 安徽理工大学 | 一种多光谱图像信息和cnn的煤矸识别方法 |
| CN110378272A (zh) * | 2019-07-12 | 2019-10-25 | 河海大学 | 基于矩阵分块Isomap算法的高光谱遥感影像特征提取方法 |
| CN111993418A (zh) * | 2020-08-06 | 2020-11-27 | 西安科技大学 | 煤矸分拣机器人多目标多机械臂协同分拣系统及分拣策略 |
-
2020
- 2020-12-24 CN CN202011551703.5A patent/CN112488082A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110321959A (zh) * | 2019-07-09 | 2019-10-11 | 安徽理工大学 | 一种多光谱图像信息和cnn的煤矸识别方法 |
| CN110378272A (zh) * | 2019-07-12 | 2019-10-25 | 河海大学 | 基于矩阵分块Isomap算法的高光谱遥感影像特征提取方法 |
| CN111993418A (zh) * | 2020-08-06 | 2020-11-27 | 西安科技大学 | 煤矸分拣机器人多目标多机械臂协同分拣系统及分拣策略 |
Non-Patent Citations (1)
| Title |
|---|
| 王鹏，曹现刚，马宏伟等: ""基于余弦定理-PID的煤矸石分拣机器人动态目标稳准抓取算法"", 《煤炭学报》 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112990027A (zh) * | 2021-03-22 | 2021-06-18 | 精英数智科技股份有限公司 | 一种基于高光谱图像的煤矸识别方法及装置 |
| CN113093526A (zh) * | 2021-04-02 | 2021-07-09 | 浙江工业大学 | 一种基于强化学习的无超调pid控制器参数整定方法 |
| CN113093526B (zh) * | 2021-04-02 | 2022-05-24 | 浙江工业大学 | 一种基于强化学习的无超调pid控制器参数整定方法 |
| CN112950632A (zh) * | 2021-04-18 | 2021-06-11 | 吉林大学 | 一种基于高光谱成像技术和卷积神经网络的煤炭质量检测方法 |
| CN112950632B (zh) * | 2021-04-18 | 2022-10-14 | 吉林大学 | 一种基于高光谱成像技术和卷积神经网络的煤炭质量检测方法 |
| CN113533220A (zh) * | 2021-07-25 | 2021-10-22 | 吉林大学 | 一种基于高光谱成像技术的煤炭种类识别方法 |
| CN113814188A (zh) * | 2021-09-22 | 2021-12-21 | 南京航空航天大学 | 一种基于多源信息融合的矸石分拣方法和系统 |
| CN115818166A (zh) * | 2022-11-15 | 2023-03-21 | 华能伊敏煤电有限责任公司 | 轮斗连续系统无人值守自动控制方法及其系统 |
| CN115818166B (zh) * | 2022-11-15 | 2023-09-26 | 华能伊敏煤电有限责任公司 | 轮斗连续系统无人值守自动控制方法及其系统 |
| CN115841594A (zh) * | 2022-12-07 | 2023-03-24 | 中国矿业大学(北京) | 基于注意力机制的煤矸高光谱变图像域数据识别方法 |
| CN115841594B (zh) * | 2022-12-07 | 2023-11-10 | 中国矿业大学(北京) | 基于注意力机制的煤矸高光谱变图像域数据识别方法 |
| CN117930381A (zh) * | 2024-03-25 | 2024-04-26 | 海南中南标质量科学研究院有限公司 | 基于物联网大数据的口岸无辐射透视波通关查验系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112488082A (zh) | 基于深度学习的煤矸石智能分拣系统 | |
| CN103499585B (zh) | 基于机器视觉的非连续性锂电池薄膜缺陷检测方法及其装置 | |
| CN105891233B (zh) | 基于机器视觉的镜片表面缺陷智能检测系统及其实现方法 | |
| Liu et al. | Recognition methods for coal and coal gangue based on deep learning | |
| CN109829876A (zh) | 基于机器视觉的链板缺陷在线检测装置及方法 | |
| CN109685848A (zh) | 一种三维点云与三维传感器的神经网络坐标变换方法 | |
| CN113688941B (zh) | 基于生成对抗网络的小样本声呐图像分类识别优化方法 | |
| CN101059425A (zh) | 基于多光谱图像的纹理分析鉴别不同品种绿茶的方法和装置 | |
| CN112070727B (zh) | 一种基于机器学习的金属表面缺陷检测方法 | |
| CN106815819B (zh) | 多策略粮虫视觉检测方法 | |
| CN105405138B (zh) | 基于显著性检测的水面目标跟踪方法 | |
| CN110059663A (zh) | 一种基于特征点检测的粘连蘑菇视觉识别与测量方法 | |
| CN107808391B (zh) | 一种基于特征选择与光滑表示聚类的视频动态目标提取方法 | |
| CN110826552A (zh) | 基于深度学习的葡萄无损自动检测装置及其方法 | |
| CN104966101A (zh) | 一种基于LabVIEW的太阳能电池片分类方法 | |
| CN114820471A (zh) | 一种面向智能制造精微结构表面缺陷的视觉检测方法 | |
| CN101013126A (zh) | 用计算机预测木质人造板强度的方法 | |
| CN114029943A (zh) | 一种基于图像数据处理的目标抓取定位方法及系统 | |
| CN114882494B (zh) | 一种基于多模态注意力驱动的三维点云特征提取方法 | |
| CN110992301A (zh) | 一种气体轮廓识别方法 | |
| CN114387262A (zh) | 一种基于机器视觉的螺母定位检测方法、装置及系统 | |
| CN201041547Y (zh) | 基于多光谱图像的纹理分析鉴别不同品种绿茶的装置 | |
| CN115656958A (zh) | 实时航迹起始和航迹分类的检测方法及检测装置 | |
| CN106530300B (zh) | 一种低秩分析的火焰识别方法 | |
| Jiao et al. | Research on convolutional neural network model for sonar image segmentation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210823 Address after: 255086 room 313, block A, Gao Chuang garden, hi tech Development Zone, Zibo, Shandong. Applicant after: Shandong University of Technology Address before: 255000 Room 101, unit 2, building 27, Wuliqiao community, Renmin West Road, Zhangdian District, Zibo City, Shandong Province Applicant before: Liu Qiang |
|
| TA01 | Transfer of patent application right | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210312 |
|
| RJ01 | Rejection of invention patent application after publication |