CN113570542A - 一种基于机器视觉的遮挡情况下煤矸石检测方法 - Google Patents
一种基于机器视觉的遮挡情况下煤矸石检测方法 Download PDFInfo
- Publication number
- CN113570542A CN113570542A CN202110330074.1A CN202110330074A CN113570542A CN 113570542 A CN113570542 A CN 113570542A CN 202110330074 A CN202110330074 A CN 202110330074A CN 113570542 A CN113570542 A CN 113570542A
- Authority
- CN
- China
- Prior art keywords
- image
- coal gangue
- complete
- layer
- generator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种在遮挡情况下,基于计算机视觉的识别煤和矸石的方法。该方法包括:使用Mask RCNN从采集的图像中将煤或矸石没被遮挡的可见部分分割出来;使用Completion‑GAN网络根据图像分割出的可见部分生成被遮挡的不可见部分,进而获得完整图像;使用完整图像进行检测,得到识别结果。本发明提出了用计算机视觉技术在遮挡情况下识别煤和矸石的方法,依据实例引导,使用Completion‑GAN网络有监督的将部分煤矸石图像生成为完整煤矸石图像,解决了遮挡情况下特征不明显导致的煤矸石检测精度较低的问题,同时用人工智能的方法进行煤矸石检测降低了煤矸石分拣的人工成本,提高了矿井智能化水平及煤矸分拣效率。
Description
技术领域
本发明涉及深度学习、计算机视觉领域,具体是使用Completion-GAN网络在遮挡情况下识别煤和矸石的方法。
背景技术
煤炭工业的绿色发展已经成为全社会关注的焦点,煤炭的清洁加工和利用是实现煤 炭工业绿色发展的重中之重。煤炭入选率是衡量煤炭绿色发展水平的有效指标,目前一些发 达国家的原煤入选率已超过了80%,我国原煤入选率约为60%。传统的拣矸工作主要在地面 依靠人工完成,存在拣矸效率低、劳动强度大、工作环境恶劣等问题,不仅如此,煤矸石堆 放存在占用土地、污染大气、危害水土、潜在灾变等一系列严重问题。
近年来,利用深度神经网络进行图像的研究已经成为机器学习和计算机视觉研究的热点。利用机器视觉,人工智能自动分拣煤矸石已经成为未来煤矸石分拣的发展趋势。但是现有的煤矸石自动分拣装置效率低下,难以识别相互堆叠,相互遮挡的煤矸石。本发明提供了一种遮挡情况下识别煤矸石的方法。
发明内容
本发明的目的是解决遮挡情况下煤和矸石的识别问题。
为实现本发明的目的而采用的技术方案包括以下步骤:
1)使用Mask RCNN从采集的图像中将煤或矸石没被遮挡的可见部分分割出来;
对采集的煤矸石图像进行预处理,将图像尺寸调整为1024*1024。经过改进的VGGNet 与FPN网络耦合的网络进行不同尺度的特征提取;
改进的VGGNet网络进行特征提取下采样,其结构采用原有的VGGNet16网络卷积基结构的前十三层;改进的VGGNet网络共计进行13次深度卷积,卷积核的尺寸为3*3,改进后的VGGNet网络减少了模型体积,在不损失性能的前提下提高了计算速度。
2)使用Completion-GAN网络根据图像分割出的可见部分生成被遮挡的不可见部分,进而获得完整图像;
Completion-GAN神经网络模型包括特征学习器F、条件编码器E、生成器G和判别器D;
特征学习器F由输入层、卷积层、全连接层、输出层构成;特征学习器仅在训练网络时发挥作用,它的输入为与条件编码器输入的部分煤矸石图像相对应的完整煤矸石图像;它的作用是为生成器生成图像提供指导,生成和条件变量纹理、外观特征相同的完整煤矸石图像。
条件编码器E由输入层、卷积层、池化层、全连接层、输出层构成;它的输入为分割后提取出来的煤矸石可见部分图像,它的作用是为生成器提供条件变量,条件变量为部分煤矸石图像。
生成器G由输入层、全连接层、卷积层、输出层构成;它的作用是依据条件变量(部分煤矸石图像),在与其对应的完整煤矸石图像的指导下生成新的完整煤矸石图像。
判别器D由输入层、卷积层、全连接层、输出层构成;它的作用是判别生成器生成的图像真伪。
训练Completion-GAN网络模型包括以下步骤:
2.1)对训练集进行预处理,将完整煤矸石图像进行随机分割,得到对应的部分煤矸石图像,最终得到成对图像的训练集,具体包括以下步骤:
2.1.2)对原始煤矸石图像Ig进行随机裁剪,得到其对应的部分煤矸石图像Im,最终得到处理后的数据集I=(Ig,Im)。
2.2)将完整的煤矸石图像输入到特征学习器,训练特征学习器F;
2.3)将对应的部分煤矸石图像输入到条件编码器,训练条件编码器E;
2.4)固定Completion-GAN网络模型生成器参数,学习判别器D参数,具体包括以下步骤:
2.5)固定Completion-GAN网络模型判别器参数,学习生成器G参数,具体包括以下步骤:
3)得到生成的完整图像后,用现有的目标检测算法检测煤矸石。
由于我们的网络生成的多重多样的结果需要与原图像一致,这要求生成图像的外观及纹理特征尽可能与已知像素区域中对应的图像的外观形状和纹理特征相同。因此需要添加条件约束,对此定义如下损失函数:
Completion-GAN网络对抗损失构建如下:
最终损失函数为:
式中,λ1,λ2为平衡系数,平衡两种损失的重要程度。
Completion-GAN神经网络模型采用Adam梯度下降算法更新模型中的权重和偏移。
Completion-GAN神经网络模型卷积层的激活函数为Relu激活函数;Completion-GAN 神经网络模型卷积层利用层归一化进行数据处理。
本发明解决了传统目标检测方法对于遮挡情况下煤矸石识别不鲁棒的问题。提高了煤矸石分拣的效率。本发明改进了多种现有的机器视觉算法并将其融合。将分割提取后的图像可见部分用Completion-GAN网络生成完整图像然后再进行检测。对于遮挡情况下进行目标检测提出了一种新的思路。
附图说明
图1为MaskRCN算法分割提取煤矸石图像可见部分的流程图。
图2为用Completion-GAN网络由煤矸石的可见部分生成煤矸石的完整图像的流程图。
图3为本发明设计的Completion-GAN网络结构图
具体实施方式
下面结合实施例对本发明作进一步说明,但不应该理解为本发明上述主题范围仅限于下述实施例。在不脱离本发明上述技术思想的情况下,根据本领域普通技术知识和惯用手段,做出各种替换和变更,均应包括在本发明的保护范围内。
实施案例:
1)结合图一,用MaskRCNN从采集的图像中将煤或矸石没被遮挡的可见部分分割出来,包括以下步骤:
1.1)对采集的煤矸石图像进行预处理,将图像尺寸调整为1024*1024。经过改进的VGGNet与FPN网络耦合的网络进行不同尺度的特征提取;
1.2)提取到的特征图设定感兴趣区域,将获得的多个ROI输送到RPN网络进行候选区域筛选;
1.3)利用RoIAlign层对每个候选出的ROI提取固定尺寸的特征图;
1.4)将固定尺寸的特征图输入至FCN网络,得到遮挡煤矸石的可见部分图像。
经过改进的VGGNet与FPN网络耦合的网络由两部分构成:
(1)一部分为深度可分离卷积的VGGNet网络进行特征提取下采样,其结构采用原有的VGGNet16网络卷积基结构的前十三层;改进的VGGNet网络共计进行13次深度卷积,卷积核的尺寸为3*3。
(2)另一部分为FPN网络进行特征提取上采样。FPN网络采用的最邻近上采样,采样频率为2。
2)结合图2、图3,用Completion-GAN网络根据图像分割出的可见部分生成被遮挡的不可见部分,进而获得完整图像;
Completion-GAN网络模型包括特征学习器F、条件编码器E、生成器G和判别器D;
特征学习器F由输入层、卷积层、全连接层、输出层构成;特征学习器仅在训练网络时发挥作用,它的输入为与条件编码器输入的部分煤矸石图像相对应的完整煤矸石图像;它的作用是为生成器生成图像提供指导,生成和条件变量纹理、外观特征相同的完整煤矸石图像。
条件编码器E由输入层、卷积层、池化层、全连接层、输出层构成;它的输入为分割后提取出来的煤矸石可见部分图像,它的作用是为生成器提供条件变量,条件变量为部分煤矸石图像。
生成器G由输入层、全连接层、卷积层、输出层构成;它的作用是依据条件变量(部分煤矸石图像),在与其对应的完整煤矸石图像的指导下生成新的完整煤矸石图像。
判别器D由输入层、卷积层、全连接层、输出层构成;它的作用是判别生成器生成的图像真伪。
训练Completion-GAN网络网络模型包括以下步骤:
2.1)对训练集进行预处理,将完整煤矸石图像进行随机分割,得到对应的部分煤矸石图像,最终得到成对图像的训练集,具体包括以下步骤:
2.1.2)对原始煤矸石图像Ig进行随机裁剪,得到其对应的部分煤矸石图像Im,最终得到处理后的数据集I=(Ig,Im)。
2.2)将完整的煤矸石图像输入到特征学习器,训练特征学习器F;
2.3)将对应的部分煤矸石图像输入到条件编码器,训练条件编码器E;
2.4)固定Completion-GAN网络模型生成器参数,学习判别器D参数,具体包括以下步骤:
2.5)固定Completion-GAN网络模型判别器参数,学习生成器G参数,具体包括以下步骤:
3)得到生成的完整图像后,用现有的目标检测算法检测煤矸石。
定义如下损失函数:
Completion-GAN网络对抗损失构建如下:
最终损失函数构造如下:
使用获得的完整图像进行检测,得到识别结果。
Completion-GAN网络模型采用Adam梯度下降算法更新模型中的权重和偏移。
Completion-GAN网络模型卷积层的激活函数为Relu激活函数;Completion-GAN网络模型卷积层利用层归一化进行数据处理。
Claims (9)
1.一种在遮挡情况下识别煤和矸石的方法,其特征在于:包括如下步骤:
步骤1、使用MaskRCNN从采集的图像中将煤或矸石没被遮挡的可见部分分割出来;
步骤2、使用Completion-GAN网络根据图像分割出的可见部分生成被遮挡的不可见部分,进而获得完整图像;
步骤3、使用完整图像进行检测,得到识别结果。
2.根据权利要求1所述步骤2中使用Completion-GAN网络根据图像分割出的可见部分生成被遮挡的不可见部分,进而获得完整图像的方法,其特征在于,Completion-GAN网络模型包括条件变量编码器E、特征学习器F、生成器G、判别器D;
条件编码器E由输入层、卷积层、池化层、全连接层、输出层构成;它的输入为分割后提取出来的煤矸石可见部分图像,它的作用是为生成器提供条件变量,条件变量为部分煤矸石图像。
特征学习器F由输入层、卷积层、全连接层、输出层构成;特征学习器仅在训练网络时发挥作用,它的输入为与条件编码器输入的部分煤矸石图像相对应的完整煤矸石图像;它的作用是为生成器生成图像提供指导,生成和条件变量纹理、外观特征相同的完整煤矸石图像。
生成器G由输入层、全连接层、卷积层、输出层构成;它的作用是依据条件变量(部分煤矸石图像),在与其对应的完整煤矸石图像的指导下生成新的完整煤矸石图像。
判别器D由输入层、卷积层、全连接层、输出层构成;它的作用是判别生成器生成的图像真伪。
3.根据权利要求1所述的使用Completion-GAN网络根据图像分割出的可见部分生成被遮挡的不可见部分,进而获得完整图像的训练方法包括以下步骤:
步骤21、对训练集进行预处理,将完整煤矸石图像进行随机分割,得到对应的部分煤矸石图像,最终得到成对图像的训练集;
步骤22、将完整的煤矸石图像输入到特征学习器,训练特征学习器F;
步骤23、将对应的部分煤矸石图像输入到条件编码器,训练条件编码器E;
步骤24、固定Completion-GAN网络模型生成器参数,学习判别器D参数;
步骤25、固定Completion-GAN网络模型判别器参数,学习生成器G参数。
5.根据权利要求3所述的固定Completion-GAN网络模型生成器参数,学习判别器D参数的方法,其特征在于包括以下步骤:
8.根据权利要求3所述的由图像的可见部分生成完整图像的方法,其特征在于:Completion-GAN网络神经网络模型采用Adam梯度下降算法更新模型中的权重和偏移。
9.根据权利要求3所述的由图像的可见部分生成完整图像的方法,其特征在于,Completion-GAN网络模型卷积层的激活函数为Relu激活函数;Completion-GAN神经网络模型卷积层利用层归一化进行数据处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110330074.1A CN113570542A (zh) | 2021-03-29 | 2021-03-29 | 一种基于机器视觉的遮挡情况下煤矸石检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110330074.1A CN113570542A (zh) | 2021-03-29 | 2021-03-29 | 一种基于机器视觉的遮挡情况下煤矸石检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113570542A true CN113570542A (zh) | 2021-10-29 |
Family
ID=78161207
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110330074.1A Pending CN113570542A (zh) | 2021-03-29 | 2021-03-29 | 一种基于机器视觉的遮挡情况下煤矸石检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113570542A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115310361A (zh) * | 2022-08-16 | 2022-11-08 | 中国矿业大学 | 基于wgan-cnn煤矿井下粉尘浓度预测方法和系统 |
-
2021
- 2021-03-29 CN CN202110330074.1A patent/CN113570542A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115310361A (zh) * | 2022-08-16 | 2022-11-08 | 中国矿业大学 | 基于wgan-cnn煤矿井下粉尘浓度预测方法和系统 |
CN115310361B (zh) * | 2022-08-16 | 2023-09-15 | 中国矿业大学 | 基于wgan-cnn煤矿井下粉尘浓度预测方法和系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107016405B (zh) | 一种基于分级预测卷积神经网络的害虫图像分类方法 | |
CN112435221A (zh) | 一种基于生成式对抗网络模型的图像异常检测方法 | |
CN106971152A (zh) | 一种基于航拍图像的检测输电线路中鸟巢的方法 | |
CN109410238B (zh) | 一种基于PointNet++网络的枸杞识别计数方法 | |
CN110543878A (zh) | 一种基于神经网络的指针仪表读数识别方法 | |
CN110264448B (zh) | 一种基于机器视觉的绝缘子故障检测方法 | |
CN107346420A (zh) | 一种基于深度学习的自然场景下文字检测定位方法 | |
CN106934418B (zh) | 一种基于卷积递归网络的绝缘子红外诊断方法 | |
CN109657610A (zh) | 一种高分辨率多源遥感影像的土地利用变化检测方法 | |
CN111368825B (zh) | 一种基于语义分割的指针定位方法 | |
CN112347970B (zh) | 一种基于图卷积神经网络的遥感影像地物识别方法 | |
CN113673509B (zh) | 一种基于图像文本的仪表检测分类方法 | |
CN103345617A (zh) | 中药识别的方法及其系统 | |
CN115205692A (zh) | 基于生成对抗网络的典型地物要素智能识别与提取方法 | |
CN110866547B (zh) | 基于多特征和随机森林的中药饮片自动分类系统及方法 | |
CN113570542A (zh) | 一种基于机器视觉的遮挡情况下煤矸石检测方法 | |
CN110648312A (zh) | 一种基于鳞片形态特征分析的羊毛与羊绒纤维识别方法 | |
CN109670408A (zh) | 一种基于对象的遥感图像水体提取方法 | |
CN107392927B (zh) | 一种亚米级遥感影像渔业网箱提取方法 | |
Xu et al. | Remote Sensing Mapping of Cage and Floating-raft Aquaculture in China's Offshore Waters Using Machine Learning Methods and Google Earth Engine | |
CN111882573A (zh) | 一种基于高分辨率影像数据的耕地地块提取方法及系统 | |
CN112580659A (zh) | 一种基于机器视觉的矿石识别方法 | |
CN113210264B (zh) | 烟草杂物剔除方法及装置 | |
CN113313081B (zh) | 融合车载三维激光点云与影像的道路交通杆状物分类方法 | |
CN115439690A (zh) | 一种结合CNN和Transformer的烤烟烟叶图像分级方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |