CN116363134B - 煤与矸石的识别与分割方法、装置及电子设备 - Google Patents

煤与矸石的识别与分割方法、装置及电子设备 Download PDF

Info

Publication number
CN116363134B
CN116363134B CN202310635826.4A CN202310635826A CN116363134B CN 116363134 B CN116363134 B CN 116363134B CN 202310635826 A CN202310635826 A CN 202310635826A CN 116363134 B CN116363134 B CN 116363134B
Authority
CN
China
Prior art keywords
image
gangue
layer
model
coal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310635826.4A
Other languages
English (en)
Other versions
CN116363134A (zh
Inventor
周波
苗瑞
段炼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Haiqing Zhiyuan Technology Co ltd
Original Assignee
Shenzhen Haiqing Zhiyuan Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Haiqing Zhiyuan Technology Co ltd filed Critical Shenzhen Haiqing Zhiyuan Technology Co ltd
Priority to CN202310635826.4A priority Critical patent/CN116363134B/zh
Publication of CN116363134A publication Critical patent/CN116363134A/zh
Application granted granted Critical
Publication of CN116363134B publication Critical patent/CN116363134B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种煤与矸石的识别与分割方法、装置及电子设备，包括：获取待分割的X射线煤炭与矸石图像；将待分割的X射线煤炭与矸石图像输入煤与矸石分割模型，得到煤与矸石分割模型输出的煤矸石分割图像，煤矸石分割图像中相同种类的煤炭或矸石分别采用不同颜色进行连通域区分；根据不同颜色的连通域，对煤矸石分割图像进行轮廓提取，得到以矩形的形式标注的矸石轮廓坐标，矸石轮廓坐标用于控制机械手对矸石进行抓取。不仅可以加快对煤与矸石图像的分割速度，还减少特征提取中的煤与矸石的语义信息损失，提高了对煤与矸石图像的分割精度。

Description

煤与矸石的识别与分割方法、装置及电子设备
技术领域
本公开涉及物料配送技术领域，具体地，涉及一种煤与矸石的识别与分割方法、装置及电子设备。
背景技术
矸石是在煤矿建井、开拓掘进、采煤和煤炭洗选过程中，产生的干基灰分大于50%的岩石，矸石中含碳量低，并且矸石是比煤坚硬的黑灰色岩石。矸石每年的排放量相当于煤炭产量的10%左右，矸石不仅是固体废料，并且难以从煤炭中分割出来，严重影响煤炭的质量。
相关场景中，对x射线煤矸石图像进行灰度处理，利用灰度阈值分割煤与矸石。然而，这种方式对图像中不存在明显灰度差异，或者煤炭与矸石的灰度值范围有较大重叠的图像，分割的准确性较低。
发明内容
本发明的目的是提供一种煤与矸石的识别与分割方法、装置及电子设备，旨在解决相关场景中对煤炭与矸石分割的准确性较低的技术问题。
为了实现上述目的，本公开的第一方面，提供一种煤与矸石的识别与分割方法，所述方法包括：
获取待分割的X射线煤炭与矸石图像；
将待分割的所述X射线煤炭与矸石图像输入煤与矸石分割模型，得到所述煤与矸石分割模型输出的煤矸石分割图像，所述煤矸石分割图像中相同种类的煤炭或矸石分别采用不同颜色进行连通域区分；所述煤与矸石分割模型中的特征融合子模型将所述煤与矸石分割模型中的残差计算子模型中依次线性连接的残差层输出的残差图像，分别作为依次线性连接的插值上采样层的残差输入图像以及依次线性连接的特征融合层的融合特征图像，得到煤矸石分割图像中检测塔子模型和图像注意力分析子模型的特征输入图像；所述检测塔子模型的检测塔层对输入的特征输入图像进行识别，得到对象目标框图像和矸石注意力图像；所述图像注意力分析子模型对所述特征输入图像进行识别，得到煤炭与矸石基图，通过所述对象目标框图像对所述煤炭与矸石基图进行预设目标尺寸调整，以及对所述矸石注意力图像进行所述预设目标尺寸调整，将调整后的所述煤炭与矸石基图与调整后的矸石注意力图像进行融合，得到所述煤矸石分割图像；
根据不同颜色的连通域，对所述煤矸石分割图像进行轮廓提取，得到以矩形的形式标注的矸石轮廓坐标，所述矸石轮廓坐标用于控制机械手对矸石进行抓取。
在一种优选的实施方式中，所述煤与矸石分割模型中的特征融合子模型将所述煤与矸石分割模型中的残差计算子模型中依次线性连接的残差层输出的残差图像，分别作为依次线性连接的插值上采样层的残差输入图像以及依次线性连接的特征融合层的融合特征图像，得到检测塔子模型和图像注意力分析子模型的特征输入图像，包括：
对所述煤与矸石分割模型中的残差计算子模型中依次线性连接的除处于最底层的残差层输出的残差输入图像按照第一卷积参数进行深度可分离卷积，并在卷积后分别作为所述煤与矸石分割模型中的特征融合子模型对应插值上采样层的卷积残差图像；
对输入所述特征融合子模型中最上层的插值上采样层的卷积残差图像进行临近插值上采样，并在临近插值上采样后，与所述残差计算子模型中次上层对应的卷积残差图像进行特征逐点相加，得到所述最上层的插值上采样层上采样输出图像；
对输入所述特征融合子模型中每一所述插值上采样层的上采样输入图像进行临近插值上采样，并在所述临近插值上采样后，将特征融合子模型中上一层插值上采样层输出的上采样输出图像与对应的卷积残差图像进行特征逐点相加，得到所述特征融合子模型中下一层插值上采样层输出的上采样输出图像；
对所述特征融合子模型中每一所述插值上采样层输出的上采样输出图像按照第二卷积参数进行图像卷积，得到上采样卷积图像；
对所述特征融合子模型中最下层的上采样输出图像与次底层的残差层输出的残差图像进行特征逐点相加，得到所述特征融合子模型中最下层的特征融合层的融合特征输出图像；
将特征融合子模型中上一层特征融合层输出的融合特征输出图像与对应的残差图像以及对应的上采样卷积图像进行特征逐点相加，得到所述特征融合子模型中下一层特征融合层输出的融合特征输出图像；
将每一所述特征融合层输出的融合特征输出图像分别作为所述检测塔子模型中对应检测塔层的特征输入图像以及将多个处于底部的特征融合层输出的融合特征输出图像作为所述图像注意力分析子模型的特征输入图像。
在一种优选的实施方式中，所述特征融合子模型包括5层所述特征融合层和3层所述插值上采样层，所述残差计算子模型包括4层所述残差层；
其中，处于底部的第一特征融合层、第二特征融合层、第三特征融合层输出的融合特征输出图像作为所述图像注意力分析子模型的特征输入图像。
在一种优选的实施方式中，所述图像注意力分析子模型对所述特征输入图像进行识别，得到煤炭与矸石基图像，包括：
所述图像注意力分析子模型对输入的所述第一特征融合层、所述第二特征融合层、所述第三特征融合层输出的融合特征输出图像分别按照第六卷积参数进行图像卷积，得到第六目标图像；
对所述第二特征融合层和所述第三特征融合层对应的第六目标图像进行双线性插值运算，得到第七目标图像；
将所述第一特征融合层对应的第六目标图像、所述第二特征融合层对应的第七目标图像以及所述第三特征融合层对应的第七目标图像进行特征逐点相加，得到第八目标图像；
对所述第八目标图像进行双线性插值上采样后，按照所述第六卷积参数进行图像卷积，得到第九目标图像；
对所述第九目标图像中所有通道的不同位置赋予不同的注意力权重，并按照第七卷积参数对添加注意力权重后的第九目标图像进行图像卷积，生成所述煤炭与矸石基图像。
在一种优选的实施方式中，所述将特征融合子模型中上一层特征融合层输出的融合特征输出图像与对应的残差图像以及对应的上采样卷积图像进行特征逐点相加，得到所述特征融合子模型中下一层特征融合层输出的融合特征输出图像，包括：
对特征融合子模型中上一层特征融合层输出的融合特征输出图像进行下采样卷积；
将下采样卷积后的融合特征输出图像与对应的残差图像以及对应的上采样卷积图像进行特征逐点相加，得到下采样后融合图像；
对所述下采样后融合图像进行通道卷积，得到所述特征融合子模型中下一层特征融合层输出的融合特征输出图像。
在一种优选的实施方式中，所述检测塔子模型的检测塔层对输入的特征输入图像进行识别，得到矸石注意力图像，包括：
所述检测塔子模型中的每一所述检测塔层对输入的特征输入图像按照第三卷积参数进行图像卷积，得到第一目标图像；
将所述第一目标图像输入无参数注意力模块SimAM中，得到所述无参数注意力模块SimAM输出的第二目标图像；
对各所述第二目标图像按照第四卷积参数进行图像卷积后回归，得到第三目标图像，以及对各所述第二目标图像按照第五卷积参数进行图像卷积，得到第四目标图像；
对所述第四目标图像中所有通道的不同位置赋予不同的注意力权重，并根据所述第三目标图像和添加注意力权重后的第四目标图像，生成所述矸石注意力图像。
在一种优选的实施方式中，所述检测塔子模型的检测塔层对输入的特征输入图像进行处理，得到对象目标框图像，包括：
对各所述第一目标图像分别按照第八卷积参数和第九卷积参数进行图像卷积；
对所述第八卷积参数对应的图像进行分类，得到分类图像，以及对所述第九卷积参数对应的图像进行中心度计算，得到中心图像；
根据所述分类图像和所述中心图像，生成所述对象目标框图像。
在一种优选的实施方式中，通过如下能量函数对图像中所有通道的不同位置赋予不同的注意力权重：
式中：，/>，t是图像在单个通道中的目标神经元，xi是图像在单个通道中除目标神经元外的其他神经元，/>是空间维度的索引，M是该通道上的神经元数量，/>是权重，/>是偏置变换，/>为相关系数。
本公开实施方式的第二方面，提供一种煤与矸石的识别与分割装置，所述装置包括：
获取模块，被配置为获取待分割的X射线煤炭与矸石图像；
输入模块，被配置为将待分割的所述X射线煤炭与矸石图像输入煤与矸石分割模型，得到所述煤与矸石分割模型输出的煤矸石分割图像，所述煤矸石分割图像中相同种类的煤炭或矸石分别采用不同颜色进行连通域区分；所述煤与矸石分割模型中的特征融合子模型将所述煤与矸石分割模型中的残差计算子模型中依次线性连接的残差层输出的残差图像，分别作为依次线性连接的插值上采样层的残差输入图像以及依次线性连接的特征融合层的融合特征图像，得到煤矸石分割图像中检测塔子模型和图像注意力分析子模型的特征输入图像；所述检测塔子模型的检测塔层对输入的特征输入图像进行识别，得到对象目标框图像和矸石注意力图像；所述图像注意力分析子模型对所述特征输入图像进行识别，得到煤炭与矸石基图，通过所述对象目标框图像对所述煤炭与矸石基图进行预设目标尺寸调整，以及对所述矸石注意力图像进行所述预设目标尺寸调整，将调整后的所述煤炭与矸石基图与调整后的矸石注意力图像进行融合，得到所述煤矸石分割图像；
提取模块，被配置为根据不同颜色的连通域，对所述煤矸石分割图像进行轮廓提取，得到以矩形的形式标注的矸石轮廓坐标，所述矸石轮廓坐标用于控制机械手对矸石进行抓取。
在一种优选的实施方式中，所述输入模块，被配置为：
对所述煤与矸石分割模型中的残差计算子模型中依次线性连接的除处于最底层的残差层输出的残差输入图像按照第一卷积参数进行深度可分离卷积，并在卷积后分别作为所述煤与矸石分割模型中的特征融合子模型对应插值上采样层的卷积残差图像；
对输入所述特征融合子模型中最上层的插值上采样层的卷积残差图像进行临近插值上采样，并在临近插值上采样后，与所述残差计算子模型中次上层对应的卷积残差图像进行特征逐点相加，得到所述最上层的插值上采样层上采样输出图像；
对输入所述特征融合子模型中每一所述插值上采样层的上采样输入图像进行临近插值上采样，并在所述临近插值上采样后，将特征融合子模型中上一层插值上采样层输出的上采样输出图像与对应的卷积残差图像进行特征逐点相加，得到所述特征融合子模型中下一层插值上采样层输出的上采样输出图像；
对所述特征融合子模型中每一所述插值上采样层输出的上采样输出图像按照第二卷积参数进行图像卷积，得到上采样卷积图像；
对所述特征融合子模型中最下层的上采样输出图像与次底层的残差层输出的残差图像进行特征逐点相加，得到所述特征融合子模型中最下层的特征融合层的融合特征输出图像；
将特征融合子模型中上一层特征融合层输出的融合特征输出图像与对应的残差图像以及对应的上采样卷积图像进行特征逐点相加，得到所述特征融合子模型中下一层特征融合层输出的融合特征输出图像；
将每一所述特征融合层输出的融合特征输出图像分别作为所述检测塔子模型中对应检测塔层的特征输入图像以及将多个处于底部的特征融合层输出的融合特征输出图像作为所述图像注意力分析子模型的特征输入图像。
在一种优选的实施方式中，所述特征融合子模型包括5层所述特征融合层和3层所述插值上采样层，所述残差计算子模型包括4层所述残差层；
其中，处于底部的第一特征融合层、第二特征融合层、第三特征融合层输出的融合特征输出图像作为所述图像注意力分析子模型的特征输入图像。
在一种优选的实施方式中，所述输入模块，被配置为：
所述图像注意力分析子模型对输入的所述第一特征融合层、所述第二特征融合层、所述第三特征融合层输出的融合特征输出图像分别按照第六卷积参数进行图像卷积，得到第六目标图像；
对所述第二特征融合层和所述第三特征融合层对应的第六目标图像进行双线性插值运算，得到第七目标图像；
将所述第一特征融合层对应的第六目标图像、所述第二特征融合层对应的第七目标图像以及所述第三特征融合层对应的第七目标图像进行特征逐点相加，得到第八目标图像；
对所述第八目标图像进行双线性插值上采样后，按照所述第六卷积参数进行图像卷积，得到第九目标图像；
对所述第九目标图像中所有通道的不同位置赋予不同的注意力权重，并按照第七卷积参数对添加注意力权重后的第九目标图像进行图像卷积，生成所述煤炭与矸石基图像。
在一种优选的实施方式中，所述输入模块，被配置为：
对特征融合子模型中上一层特征融合层输出的融合特征输出图像进行下采样卷积；
将下采样卷积后的融合特征输出图像与对应的残差图像以及对应的上采样卷积图像进行特征逐点相加，得到下采样后融合图像；
对所述下采样后融合图像进行通道卷积，得到所述特征融合子模型中下一层特征融合层输出的融合特征输出图像。
在一种优选的实施方式中，所述输入模块，被配置为：
所述检测塔子模型中的每一所述检测塔层对输入的特征输入图像按照第三卷积参数进行图像卷积，得到第一目标图像；
将所述第一目标图像输入无参数注意力模块SimAM中，得到所述无参数注意力模块SimAM输出的第二目标图像；
对各所述第二目标图像按照第四卷积参数进行图像卷积后回归，得到第三目标图像，以及对各所述第二目标图像按照第五卷积参数进行图像卷积，得到第四目标图像；
对所述第四目标图像中所有通道的不同位置赋予不同的注意力权重，并根据所述第三目标图像和添加注意力权重后的第四目标图像，生成所述矸石注意力图像。
在一种优选的实施方式中，所述输入模块，被配置为：
对各所述第一目标图像分别按照第八卷积参数和第九卷积参数进行图像卷积；
对所述第八卷积参数对应的图像进行分类，得到分类图像，以及对所述第九卷积参数对应的图像进行中心度计算，得到中心图像；
根据所述分类图像和所述中心图像，生成所述对象目标框图像。
在一种优选的实施方式中，通过如下能量函数对图像中所有通道的不同位置赋予不同的注意力权重：
式中：，/>，t是图像在单个通道中的目标神经元，xi是图像在单个通道中除目标神经元外的其他神经元，/>是空间维度的索引，M是该通道上的神经元数量，/>是权重，/>是偏置变换，/>为相关系数。
本公开实施方式的第三方面，提供一种电子设备，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现第一方面中任一项所述方法的步骤。
有益效果：
本发明提供了一种煤与矸石的识别与分割方法、装置及电子设备。与现有技术相比具备以下有益效果：
获取待分割的X射线煤炭与矸石图像；将待分割的X射线煤炭与矸石图像输入煤与矸石分割模型，得到煤与矸石分割模型输出的煤矸石分割图像，煤矸石分割图像中相同种类的煤炭或矸石分别采用不同颜色进行连通域区分；根据不同颜色的连通域，对煤矸石分割图像进行轮廓提取，得到以矩形的形式标注的矸石轮廓坐标，矸石轮廓坐标用于控制机械手对矸石进行抓取。每一个煤或矸石的分割区域均用不同颜色表示，可以将重叠区域的煤矸石区分，对所有分割出的煤矸石区域进行轮廓提取，实现重叠区域的煤矸石轮廓重构，不仅可以加快对煤与矸石图像的分割速度，还减少特征提取中的煤与矸石的语义信息损失，提高了对煤与矸石图像的分割精度。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1是根据说明书实施例示出的一种煤与矸石的识别与分割方法的流程图。
图2是根据说明书实施例示出的一种特征融合子模型进行特征融合的流程图。
图3是根据说明书实施例示出的一种特征融合子模型进行特征融合的示意图。
图4是根据说明书实施例示出的一种图像注意力分析子模型进行图像识别的流程图。
图5是根据说明书实施例示出的一种煤与矸石的识别与分割装置的框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
在介绍本公开实施例提供的一种煤与矸石的识别与分割方法、装置及电子设备之前，首先对相关场景中的技术缺陷进行简单介绍，在实际煤与矸石的分拣皮带上，拥有大量煤与矸石，因此X射线透射成像后，存在煤与煤、煤与矸石粘连重叠的现象，当煤与煤重叠时，其重叠区域的图像的灰度值与矸石相似，因此会将存在重叠的煤与煤错误的判断为矸石。并且，由于仅考虑图像的灰度信息，而不考虑图像的空间信息，阈值分割对噪声和灰度不均匀很敏感，当煤块含有密度大的杂质时，X射线成像的图像，使得煤块图像的灰度值与矸石图像的灰度值较为接近，使得分割时将该煤块的杂质区域错误分割。另外，当出现矸石与矸石重叠的情况时，阈值分割会将矸石与矸石的重叠区域判断为一个整体，没有做到粘连重叠区分，使得煤炭与矸石轮廓过提取。从而导致分割的准确性较低。
而基于凹点和分水岭的分割方法存在欠分割和误分割问题，容易遗漏掉图像中的部分煤矸石区域。例如，当图像中有多个煤炭粘连、或煤炭与矸石重叠粘连时，会检测出多个凹点，将两个粘连区域的凹点匹配连线分割，但重叠区域的目标数量较多时，凹点间的匹配会出现错误，出现分割不准确的情况，也会导致分割的准确性较低。
有鉴于此，为提高煤炭与矸石分割的准确性，本公开提供一种煤与矸石的识别与分割方法，图1是根据一实施例示出的一种煤与矸石的识别与分割方法的流程图，参见图1所示，所述方法包括：
S11，获取待分割的X射线煤炭与矸石图像；
S12，将待分割的所述X射线煤炭与矸石图像输入煤与矸石分割模型，得到所述煤与矸石分割模型输出的煤矸石分割图像，所述煤矸石分割图像中相同种类的煤炭或矸石分别采用不同颜色进行连通域区分；
其中，所述煤与矸石分割模型中的特征融合子模型将所述煤与矸石分割模型中的残差计算子模型中依次线性连接的残差层输出的残差图像，分别作为依次线性连接的插值上采样层的残差输入图像以及依次线性连接的特征融合层的融合特征图像，得到煤矸石分割图像中检测塔子模型和图像注意力分析子模型的特征输入图像；所述检测塔子模型的检测塔层对输入的特征输入图像进行识别，得到对象目标框图像和矸石注意力图像；所述图像注意力分析子模型对所述特征输入图像进行识别，得到煤炭与矸石基图，通过所述对象目标框图像对所述煤炭与矸石基图进行预设目标尺寸调整，以及对所述矸石注意力图像进行所述预设目标尺寸调整，将调整后的所述煤炭与矸石基图与调整后的矸石注意力图像进行融合，得到所述煤矸石分割图像。
S13，根据不同颜色的连通域，对所述煤矸石分割图像进行轮廓提取，得到以矩形的形式标注的矸石轮廓坐标，所述矸石轮廓坐标用于控制机械手对矸石进行抓取。
上述技术方案获取待分割的X射线煤炭与矸石图像；将待分割的X射线煤炭与矸石图像输入煤与矸石分割模型，得到煤与矸石分割模型输出的煤矸石分割图像，煤矸石分割图像中相同种类的煤炭或矸石分别采用不同颜色进行连通域区分；根据不同颜色的连通域，对煤矸石分割图像进行轮廓提取，得到以矩形的形式标注的矸石轮廓坐标，矸石轮廓坐标用于控制机械手对矸石进行抓取。每一个煤或矸石的分割区域均用不同颜色表示，可以将重叠区域的煤矸石区分，对所有分割出的煤矸石区域进行轮廓提取，实现重叠区域的煤矸石轮廓重构，不仅可以加快对煤与矸石图像的分割速度，还减少特征提取中的煤与矸石的语义信息损失，提高了对煤与矸石图像的分割精度。
在一种优选的实施方式中，参见图2所示，所述煤与矸石分割模型中的特征融合子模型将所述煤与矸石分割模型中的残差计算子模型中依次线性连接的残差层输出的残差图像，分别作为依次线性连接的插值上采样层的残差输入图像以及依次线性连接的特征融合层的融合特征图像，得到检测塔子模型和图像注意力分析子模型的特征输入图像，包括：
在步骤S21中，对所述煤与矸石分割模型中的残差计算子模型中依次线性连接的除处于最底层的残差层输出的残差输入图像按照第一卷积参数进行深度可分离卷积，并在卷积后分别作为所述煤与矸石分割模型中的特征融合子模型对应插值上采样层的卷积残差图像；
可以理解的是，本公开所有实施例中卷积参数均以“输出通道数，卷积核尺寸和步长”表示，例如图3所示，第一卷积参数为CONV（256，1，1），其中，输出通道数为256，卷积核尺寸为1，步长为1。
在步骤S22中，对输入所述特征融合子模型中最上层的插值上采样层的卷积残差图像进行临近插值上采样Upsampling，并在临近插值上采样后，与所述残差计算子模型中次上层对应的卷积残差图像进行特征逐点相加，得到所述最上层的插值上采样层上采样输出图像；
在步骤S23中，对输入所述特征融合子模型中每一所述插值上采样层的上采样输入图像进行临近插值上采样，并在所述临近插值上采样后，将特征融合子模型中上一层插值上采样层输出的上采样输出图像与对应的卷积残差图像进行特征逐点相加，得到所述特征融合子模型中下一层插值上采样层输出的上采样输出图像；
其中，参见图3所示，最上层的插值上采样层的卷积残差图像进行临近插值上采样Upsampling后，与次残差层对应的卷积残差图像进行特征逐点相加，次上层的插值上采样层的卷积残差图像进行临近插值上采样Upsampling后，与再次次残差层对应的卷积残差图像进行特征逐点相加，以此类推，得到下一层插值上采样层输出的上采样输出图像。
在步骤S24中，对所述特征融合子模型中每一所述插值上采样层输出的上采样输出图像按照第二卷积参数进行图像卷积，得到上采样卷积图像；
参见图3所示，第二卷积参数为CONV（256，3，1）。
在步骤S25中，对所述特征融合子模型中最下层的上采样输出图像与次底层的残差层输出的残差图像进行特征逐点相加，得到所述特征融合子模型中最下层的特征融合层的融合特征输出图像；
参见图3所示，最下层的上采样输出图像与次底层的残差层C3输出的残差图像进行特征逐点相加，得到所述特征融合子模型中最下层的特征融合层的融合特征输出图像。
在步骤S26中，将特征融合子模型中上一层特征融合层输出的融合特征输出图像与对应的残差图像以及对应的上采样卷积图像进行特征逐点相加，得到所述特征融合子模型中下一层特征融合层输出的融合特征输出图像；
在步骤S27中，将每一所述特征融合层输出的融合特征输出图像分别作为所述检测塔子模型中对应检测塔层的特征输入图像以及将多个处于底部的特征融合层输出的融合特征输出图像作为所述图像注意力分析子模型的特征输入图像。
上述技术方案通过在特征融合子模型进行深度可分离卷积，加快对煤矸石图像的分割速度。在特征融合部分增加一条聚合路径，改进后的网络能将煤与矸石检测并分割表示，并将粘连重叠区域以不同颜色区分，以高效准确的对不同颜色的矸石连通域提取出轮廓。
在一种优选的实施方式中，参见图3所示，所述特征融合子模型包括5层所述特征融合层和3层所述插值上采样层，所述残差计算子模型包括4层所述残差层；即图3中P3-P7为特征融合层，C2-C5为残差层。
其中，处于底部的第一特征融合层、第二特征融合层、第三特征融合层输出的融合特征输出图像作为所述图像注意力分析子模型的特征输入图像。
上述技术方案通过X射线成像获取X射线煤炭与矸石图像，将其送入煤与矸石分割模型，经过骨干网络与特征融合部分提取到P3-P7特征融合层，经过顶部检测塔子模型得到对象目标框图像和矸石注意力图像，P3-P5的输出的融合特征图像经过底部模块（Bottommodule）生成煤炭与矸石基图，混合器将煤炭与矸石基图按照对象目标框图像中目标框的大小调整到固定大小，并将矸石注意力图像插值到与煤炭与矸石基图调整后相同的大小，将调整后的煤炭与矸石基图和矸石注意力图像融合得到煤矸石分割图像，该图像中相同种类的煤或矸石均用不同颜色的连通域区分，调用Open CV的轮廓提取函数find Contours()，最终实现重叠煤矸石的轮廓提取，为后续机械手抓取矩形的形成提供准确的矸石轮廓坐标。
在一种优选的实施方式中，参见图4所示，所述图像注意力分析子模型对所述特征输入图像进行识别，得到煤炭与矸石基图像，包括：
在步骤S41中，所述图像注意力分析子模型对输入的所述第一特征融合层、所述第二特征融合层、所述第三特征融合层输出的融合特征输出图像分别按照第六卷积参数进行图像卷积，得到第六目标图像；
第六卷积参数为CONV（128，3，1）。
在步骤S42中，对所述第二特征融合层和所述第三特征融合层对应的第六目标图像进行双线性插值运算，得到第七目标图像；
在步骤S43中，将所述第一特征融合层对应的第六目标图像、所述第二特征融合层对应的第七目标图像以及所述第三特征融合层对应的第七目标图像进行特征逐点相加，得到第八目标图像；
在步骤S44中，对所述第八目标图像进行双线性插值上采样后，按照所述第六卷积参数进行图像卷积，得到第九目标图像；
在步骤S45中，对所述第九目标图像中所有通道的不同位置赋予不同的注意力权重，并按照第七卷积参数对添加注意力权重后的第九目标图像进行图像卷积，生成所述煤炭与矸石基图像。
第七卷积参数为（K，3，1）。其中，本公开针对输出通道数的C和K是可以根据实际情况进行设定的。
在一种优选的实施方式中，所述将特征融合子模型中上一层特征融合层输出的融合特征输出图像与对应的残差图像以及对应的上采样卷积图像进行特征逐点相加，得到所述特征融合子模型中下一层特征融合层输出的融合特征输出图像，包括：
对特征融合子模型中上一层特征融合层输出的融合特征输出图像进行下采样卷积；
将下采样卷积后的融合特征输出图像与对应的残差图像以及对应的上采样卷积图像进行特征逐点相加，得到下采样后融合图像；
对所述下采样后融合图像进行通道卷积，得到所述特征融合子模型中下一层特征融合层输出的融合特征输出图像。
在一种优选的实施方式中，所述检测塔子模型的检测塔层对输入的特征输入图像进行识别，得到矸石注意力图像，包括：
所述检测塔子模型中的每一所述检测塔层对输入的特征输入图像按照第三卷积参数进行图像卷积，得到第一目标图像；
其中，第三卷积参数为4*CONV（256，3，1）。
将所述第一目标图像输入无参数注意力模块SimAM中，得到所述无参数注意力模块SimAM输出的第二目标图像；
对各所述第二目标图像按照第四卷积参数进行图像卷积后回归，得到第三目标图像，以及对各所述第二目标图像按照第五卷积参数进行图像卷积，得到第四目标图像；
第四卷积参数为CONV（4，3，1）。第五卷积参数为CONV（K×M×M，3，1）。
对所述第四目标图像中所有通道的不同位置赋予不同的注意力权重，并根据所述第三目标图像和添加注意力权重后的第四目标图像，生成所述矸石注意力图像。
上述技术方案在骨干网络、顶部模块和底部模块添加SimAM注意力机制，减少特征提取中的煤与矸石的语义信息损失，进一步增强网络对煤与矸石的分割精度。
在一种优选的实施方式中，所述检测塔子模型的检测塔层对输入的特征输入图像进行处理，得到对象目标框图像，包括：
对各所述第一目标图像分别按照第八卷积参数和第九卷积参数进行图像卷积；
其中，第八卷积参数为CONV（C，3，1），第九卷积参数为CONV（1，3，1）。
对所述第八卷积参数对应的图像进行分类，得到分类图像，以及对所述第九卷积参数对应的图像进行中心度计算，得到中心图像；
对所述第八卷积参数对应的图像进行分类Classification，得到分类图像。
根据所述分类图像和所述中心图像，生成所述对象目标框图像。
在一种优选的实施方式中，通过如下能量函数对图像中所有通道的不同位置赋予不同的注意力权重：
式中：，/>，t是图像在单个通道中的目标神经元，xi是图像在单个通道中除目标神经元外的其他神经元，/>是空间维度的索引，M是该通道上的神经元数量，/>是权重，/>是偏置变换，/>为相关系数。
本公开实施例还提供一种煤与矸石的识别与分割装置，参见图5所示，所述煤与矸石的识别与分割装置500包括：
获取模块510，被配置为获取待分割的X射线煤炭与矸石图像；
输入模块520，被配置为将待分割的所述X射线煤炭与矸石图像输入煤与矸石分割模型，得到所述煤与矸石分割模型输出的煤矸石分割图像，所述煤矸石分割图像中相同种类的煤炭或矸石分别采用不同颜色进行连通域区分；所述煤与矸石分割模型中的特征融合子模型将所述煤与矸石分割模型中的残差计算子模型中依次线性连接的残差层输出的残差图像，分别作为依次线性连接的插值上采样层的残差输入图像以及依次线性连接的特征融合层的融合特征图像，得到煤矸石分割图像中检测塔子模型和图像注意力分析子模型的特征输入图像；所述检测塔子模型的检测塔层对输入的特征输入图像进行识别，得到对象目标框图像和矸石注意力图像；所述图像注意力分析子模型对所述特征输入图像进行识别，得到煤炭与矸石基图，通过所述对象目标框图像对所述煤炭与矸石基图进行预设目标尺寸调整，以及对所述矸石注意力图像进行所述预设目标尺寸调整，将调整后的所述煤炭与矸石基图与调整后的矸石注意力图像进行融合，得到所述煤矸石分割图像；
提取模块530，被配置为根据不同颜色的连通域，对所述煤矸石分割图像进行轮廓提取，得到以矩形的形式标注的矸石轮廓坐标，所述矸石轮廓坐标用于控制机械手对矸石进行抓取。
在一种优选的实施方式中，所述输入模块520，被配置为：
对所述煤与矸石分割模型中的残差计算子模型中依次线性连接的除处于最底层的残差层输出的残差输入图像按照第一卷积参数进行深度可分离卷积，并在卷积后分别作为所述煤与矸石分割模型中的特征融合子模型对应插值上采样层的卷积残差图像；
对输入所述特征融合子模型中最上层的插值上采样层的卷积残差图像进行临近插值上采样，并在临近插值上采样后，与所述残差计算子模型中次上层对应的卷积残差图像进行特征逐点相加，得到所述最上层的插值上采样层上采样输出图像；
对输入所述特征融合子模型中每一所述插值上采样层的上采样输入图像进行临近插值上采样，并在所述临近插值上采样后，将特征融合子模型中上一层插值上采样层输出的上采样输出图像与对应的卷积残差图像进行特征逐点相加，得到所述特征融合子模型中下一层插值上采样层输出的上采样输出图像；
对所述特征融合子模型中每一所述插值上采样层输出的上采样输出图像按照第二卷积参数进行图像卷积，得到上采样卷积图像；
对所述特征融合子模型中最下层的上采样输出图像与次底层的残差层输出的残差图像进行特征逐点相加，得到所述特征融合子模型中最下层的特征融合层的融合特征输出图像；
将特征融合子模型中上一层特征融合层输出的融合特征输出图像与对应的残差图像以及对应的上采样卷积图像进行特征逐点相加，得到所述特征融合子模型中下一层特征融合层输出的融合特征输出图像；
将每一所述特征融合层输出的融合特征输出图像分别作为所述检测塔子模型中对应检测塔层的特征输入图像以及将多个处于底部的特征融合层输出的融合特征输出图像作为所述图像注意力分析子模型的特征输入图像。
在一种优选的实施方式中，所述特征融合子模型包括5层所述特征融合层和3层所述插值上采样层，所述残差计算子模型包括4层所述残差层；
其中，处于底部的第一特征融合层、第二特征融合层、第三特征融合层输出的融合特征输出图像作为所述图像注意力分析子模型的特征输入图像。
在一种优选的实施方式中，所述输入模块520，被配置为：
所述图像注意力分析子模型对输入的所述第一特征融合层、所述第二特征融合层、所述第三特征融合层输出的融合特征输出图像分别按照第六卷积参数进行图像卷积，得到第六目标图像；
对所述第二特征融合层和所述第三特征融合层对应的第六目标图像进行双线性插值运算，得到第七目标图像；
将所述第一特征融合层对应的第六目标图像、所述第二特征融合层对应的第七目标图像以及所述第三特征融合层对应的第七目标图像进行特征逐点相加，得到第八目标图像；
对所述第八目标图像进行双线性插值上采样后，按照所述第六卷积参数进行图像卷积，得到第九目标图像；
对所述第九目标图像中所有通道的不同位置赋予不同的注意力权重，并按照第七卷积参数对添加注意力权重后的第九目标图像进行图像卷积，生成所述煤炭与矸石基图像。
在一种优选的实施方式中，所述输入模块520，被配置为：
对特征融合子模型中上一层特征融合层输出的融合特征输出图像进行下采样卷积；
将下采样卷积后的融合特征输出图像与对应的残差图像以及对应的上采样卷积图像进行特征逐点相加，得到下采样后融合图像；
对所述下采样后融合图像进行通道卷积，得到所述特征融合子模型中下一层特征融合层输出的融合特征输出图像。
在一种优选的实施方式中，所述输入模块520，被配置为：
所述检测塔子模型中的每一所述检测塔层对输入的特征输入图像按照第三卷积参数进行图像卷积，得到第一目标图像；
将所述第一目标图像输入无参数注意力模块SimAM中，得到所述无参数注意力模块SimAM输出的第二目标图像；
对各所述第二目标图像按照第四卷积参数进行图像卷积后回归，得到第三目标图像，以及对各所述第二目标图像按照第五卷积参数进行图像卷积，得到第四目标图像；
对所述第四目标图像中所有通道的不同位置赋予不同的注意力权重，并根据所述第三目标图像和添加注意力权重后的第四目标图像，生成所述矸石注意力图像。
在一种优选的实施方式中，所述输入模块520，被配置为：
对各所述第一目标图像分别按照第八卷积参数和第九卷积参数进行图像卷积；
对所述第八卷积参数对应的图像进行分类，得到分类图像，以及对所述第九卷积参数对应的图像进行中心度计算，得到中心图像；
根据所述分类图像和所述中心图像，生成所述对象目标框图像。
在一种优选的实施方式中，通过如下能量函数对图像中所有通道的不同位置赋予不同的注意力权重：
式中：，/>，t是图像在单个通道中的目标神经元，xi是图像在单个通道中除目标神经元外的其他神经元，/>是空间维度的索引，M是该通道上的神经元数量，/>是权重，/>是偏置变换，/>为相关系数。
关于上述实施例中的煤与矸石的识别与分割装置500，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本领域技术人员应理解，以上所描述的装置实施例仅仅是示意性的，例如模块的划分，仅仅为一种逻辑功能划分，实际在进行模块划分时不受上述划分方式的限制，多个模块可以结合或者一个模块划分为多个子模块。
此外，作为分离部件说明的模块可以是或者也可以不是物理上分开。并且，每一模块可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。当使用硬件实现时，可以为全部或部分地以集成电路或芯片的形式实现。
本公开实施例还提供一种电子设备，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现前述实施例中任一项所述方法的步骤。
本公开实施例还提供一种物料车，包括：前述实施例中所述的电子设备。
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对这些实施例进行多种变化、修改、替换和变型，这些变化、修改、替换和变型均属于本公开的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，其同样应当视为本公开所公开的内容，为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。本项申请的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (7)

1.一种煤与矸石的识别与分割方法，其特征在于，所述方法包括：
获取待分割的X射线煤炭与矸石图像；
将待分割的所述X射线煤炭与矸石图像输入煤与矸石分割模型，得到所述煤与矸石分割模型输出的煤矸石分割图像，所述煤矸石分割图像中相同种类的煤炭或矸石分别采用不同颜色进行连通域区分；所述煤与矸石分割模型中的特征融合子模型将所述煤与矸石分割模型中的残差计算子模型中依次线性连接的残差层输出的残差图像，分别作为依次线性连接的插值上采样层的残差输入图像以及依次线性连接的特征融合层的融合特征图像，得到煤矸石分割图像中检测塔子模型和图像注意力分析子模型的特征输入图像；所述检测塔子模型的检测塔层对输入的特征输入图像进行识别，得到对象目标框图像和矸石注意力图像；所述图像注意力分析子模型对所述特征输入图像进行识别，得到煤炭与矸石基图，通过所述对象目标框图像对所述煤炭与矸石基图进行预设目标尺寸调整，以及对所述矸石注意力图像进行所述预设目标尺寸调整，将调整后的所述煤炭与矸石基图与调整后的矸石注意力图像进行融合，得到所述煤矸石分割图像，其中，所述通过所述对象目标框图像对所述煤炭与矸石基图进行预设目标尺寸调整，以及对所述矸石注意力图像进行所述预设目标尺寸调整，包括：将所述煤炭与矸石基图按照所述对象目标框图像中目标框的大小调整到固定大小，并将所述矸石注意力图像插值到与所述煤炭与矸石基图调整后相同的大小；
根据不同颜色的连通域，对所述煤矸石分割图像进行轮廓提取，得到以矩形的形式标注的矸石轮廓坐标，所述矸石轮廓坐标用于控制机械手对矸石进行抓取；
其中，所述煤与矸石分割模型中的特征融合子模型将所述煤与矸石分割模型中的残差计算子模型中依次线性连接的残差层输出的残差图像，分别作为依次线性连接的插值上采样层的残差输入图像以及依次线性连接的特征融合层的融合特征图像，得到检测塔子模型和图像注意力分析子模型的特征输入图像，包括：
对所述煤与矸石分割模型中的残差计算子模型中依次线性连接的除处于最底层的残差层输出的残差输入图像按照第一卷积参数进行深度可分离卷积，并在卷积后分别作为所述煤与矸石分割模型中的特征融合子模型对应插值上采样层的卷积残差图像；
对输入所述特征融合子模型中最上层的插值上采样层的卷积残差图像进行临近插值上采样，并在临近插值上采样后，与所述残差计算子模型中次上层对应的卷积残差图像进行特征逐点相加，得到所述最上层的插值上采样层上采样输出图像；
对输入所述特征融合子模型中每一所述插值上采样层的上采样输入图像进行临近插值上采样，并在所述临近插值上采样后，将特征融合子模型中上一层插值上采样层输出的上采样输出图像与对应的卷积残差图像进行特征逐点相加，得到所述特征融合子模型中下一层插值上采样层输出的上采样输出图像；
对所述特征融合子模型中每一所述插值上采样层输出的上采样输出图像按照第二卷积参数进行图像卷积，得到上采样卷积图像；
对所述特征融合子模型中最下层的上采样输出图像与次底层的残差层输出的残差图像进行特征逐点相加，得到所述特征融合子模型中最下层的特征融合层的融合特征输出图像；
将特征融合子模型中上一层特征融合层输出的融合特征输出图像与对应的残差图像以及对应的上采样卷积图像进行特征逐点相加，得到所述特征融合子模型中下一层特征融合层输出的融合特征输出图像；
将每一特征融合层输出的融合特征输出图像分别作为所述检测塔子模型中对应检测塔层的特征输入图像以及将多个处于底部的特征融合层输出的融合特征输出图像作为所述图像注意力分析子模型的特征输入图像；
其中，所述特征融合子模型包括5层特征融合层和3层所述插值上采样层，所述残差计算子模型包括4层所述残差层；
其中，处于底部的第一特征融合层、第二特征融合层、第三特征融合层输出的融合特征输出图像作为所述图像注意力分析子模型的特征输入图像；
其中，所述图像注意力分析子模型对所述特征输入图像进行识别，得到煤炭与矸石基图，包括：
所述图像注意力分析子模型对输入的所述第一特征融合层、所述第二特征融合层、所述第三特征融合层输出的融合特征输出图像分别按照第六卷积参数进行图像卷积，得到第六目标图像；
对所述第二特征融合层和所述第三特征融合层对应的第六目标图像进行双线性插值运算，得到第七目标图像；
将所述第一特征融合层对应的第六目标图像、所述第二特征融合层对应的第七目标图像以及所述第三特征融合层对应的第七目标图像进行特征逐点相加，得到第八目标图像；
对所述第八目标图像进行双线性插值上采样后，按照所述第六卷积参数进行图像卷积，得到第九目标图像；
对所述第九目标图像中所有通道的不同位置赋予不同的注意力权重，并按照第七卷积参数对添加注意力权重后的第九目标图像进行图像卷积，生成所述煤炭与矸石基图。
2.根据权利要求1所述的方法，其特征在于，所述将特征融合子模型中上一层特征融合层输出的融合特征输出图像与对应的残差图像以及对应的上采样卷积图像进行特征逐点相加，得到所述特征融合子模型中下一层特征融合层输出的融合特征输出图像，包括：
对特征融合子模型中上一层特征融合层输出的融合特征输出图像进行下采样卷积；
将下采样卷积后的融合特征输出图像与对应的残差图像以及对应的上采样卷积图像进行特征逐点相加，得到下采样后融合图像；
对所述下采样后融合图像进行通道卷积，得到所述特征融合子模型中下一层特征融合层输出的融合特征输出图像。
3.根据权利要求1所述的方法，其特征在于，所述检测塔子模型的检测塔层对输入的特征输入图像进行识别，得到矸石注意力图像，包括：
所述检测塔子模型中的每一所述检测塔层对输入的特征输入图像按照第三卷积参数进行图像卷积，得到第一目标图像；
将所述第一目标图像输入无参数注意力模块SimAM中，得到所述无参数注意力模块SimAM输出的第二目标图像；
对各所述第二目标图像按照第四卷积参数进行图像卷积后回归，得到第三目标图像，以及对各所述第二目标图像按照第五卷积参数进行图像卷积，得到第四目标图像；
对所述第四目标图像中所有通道的不同位置赋予不同的注意力权重，并根据所述第三目标图像和添加注意力权重后的第四目标图像，生成所述矸石注意力图像。
4.根据权利要求3所述的方法，其特征在于，所述检测塔子模型的检测塔层对输入的特征输入图像进行处理，得到对象目标框图像，包括：
对各所述第一目标图像分别按照第八卷积参数和第九卷积参数进行图像卷积；
对所述第八卷积参数对应的图像进行分类，得到分类图像，以及对所述第九卷积参数对应的图像进行中心度计算，得到中心图像；
根据所述分类图像和所述中心图像，生成所述对象目标框图像。
5.根据权利要求1或3所述的方法，其特征在于，通过如下能量函数对图像中所有通道的不同位置赋予不同的注意力权重：
式中：t是图像在单个通道中的目标神经元，xi是图像在单个通道中除目标神经元外的其他神经元，是空间维度的索引，M是该通道上的神经元数量，/>是权重，/>是偏置变换，/>为相关系数。
6.一种煤与矸石的识别与分割装置，其特征在于，所述装置包括：
获取模块，被配置为获取待分割的X射线煤炭与矸石图像；
输入模块，被配置为将待分割的所述X射线煤炭与矸石图像输入煤与矸石分割模型，得到所述煤与矸石分割模型输出的煤矸石分割图像，所述煤矸石分割图像中相同种类的煤炭或矸石分别采用不同颜色进行连通域区分；所述煤与矸石分割模型中的特征融合子模型将所述煤与矸石分割模型中的残差计算子模型中依次线性连接的残差层输出的残差图像，分别作为依次线性连接的插值上采样层的残差输入图像以及依次线性连接的特征融合层的融合特征图像，得到煤矸石分割图像中检测塔子模型和图像注意力分析子模型的特征输入图像；所述检测塔子模型的检测塔层对输入的特征输入图像进行识别，得到对象目标框图像和矸石注意力图像；所述图像注意力分析子模型对所述特征输入图像进行识别，得到煤炭与矸石基图，通过所述对象目标框图像对所述煤炭与矸石基图进行预设目标尺寸调整，以及对所述矸石注意力图像进行所述预设目标尺寸调整，将调整后的所述煤炭与矸石基图与调整后的矸石注意力图像进行融合，得到所述煤矸石分割图像，其中，所述通过所述对象目标框图像对所述煤炭与矸石基图进行预设目标尺寸调整，以及对所述矸石注意力图像进行所述预设目标尺寸调整，包括：将所述煤炭与矸石基图按照所述对象目标框图像中目标框的大小调整到固定大小，并将所述矸石注意力图像插值到与所述煤炭与矸石基图调整后相同的大小；
提取模块，被配置为根据不同颜色的连通域，对所述煤矸石分割图像进行轮廓提取，得到以矩形的形式标注的矸石轮廓坐标，所述矸石轮廓坐标用于控制机械手对矸石进行抓取；
所述输入模块，被配置为：
对所述煤与矸石分割模型中的残差计算子模型中依次线性连接的除处于最底层的残差层输出的残差输入图像按照第一卷积参数进行深度可分离卷积，并在卷积后分别作为所述煤与矸石分割模型中的特征融合子模型对应插值上采样层的卷积残差图像；
对输入所述特征融合子模型中最上层的插值上采样层的卷积残差图像进行临近插值上采样，并在临近插值上采样后，与所述残差计算子模型中次上层对应的卷积残差图像进行特征逐点相加，得到所述最上层的插值上采样层上采样输出图像；
对输入所述特征融合子模型中每一所述插值上采样层的上采样输入图像进行临近插值上采样，并在所述临近插值上采样后，将特征融合子模型中上一层插值上采样层输出的上采样输出图像与对应的卷积残差图像进行特征逐点相加，得到所述特征融合子模型中下一层插值上采样层输出的上采样输出图像；
对所述特征融合子模型中每一所述插值上采样层输出的上采样输出图像按照第二卷积参数进行图像卷积，得到上采样卷积图像；
对所述特征融合子模型中最下层的上采样输出图像与次底层的残差层输出的残差图像进行特征逐点相加，得到所述特征融合子模型中最下层的特征融合层的融合特征输出图像；
将特征融合子模型中上一层特征融合层输出的融合特征输出图像与对应的残差图像以及对应的上采样卷积图像进行特征逐点相加，得到所述特征融合子模型中下一层特征融合层输出的融合特征输出图像；
将每一特征融合层输出的融合特征输出图像分别作为所述检测塔子模型中对应检测塔层的特征输入图像以及将多个处于底部的特征融合层输出的融合特征输出图像作为所述图像注意力分析子模型的特征输入图像；
所述特征融合子模型包括5层特征融合层和3层所述插值上采样层，所述残差计算子模型包括4层所述残差层；
其中，处于底部的第一特征融合层、第二特征融合层、第三特征融合层输出的融合特征输出图像作为所述图像注意力分析子模型的特征输入图像；
所述输入模块还被配置为：
所述图像注意力分析子模型对输入的所述第一特征融合层、所述第二特征融合层、所述第三特征融合层输出的融合特征输出图像分别按照第六卷积参数进行图像卷积，得到第六目标图像；
对所述第二特征融合层和所述第三特征融合层对应的第六目标图像进行双线性插值运算，得到第七目标图像；
将所述第一特征融合层对应的第六目标图像、所述第二特征融合层对应的第七目标图像以及所述第三特征融合层对应的第七目标图像进行特征逐点相加，得到第八目标图像；
对所述第八目标图像进行双线性插值上采样后，按照所述第六卷积参数进行图像卷积，得到第九目标图像；
对所述第九目标图像中所有通道的不同位置赋予不同的注意力权重，并按照第七卷积参数对添加注意力权重后的第九目标图像进行图像卷积，生成所述煤炭与矸石基图。
7.一种电子设备，其特征在于，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-5中任一项所述方法的步骤。
CN202310635826.4A 2023-06-01 2023-06-01 煤与矸石的识别与分割方法、装置及电子设备 Active CN116363134B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310635826.4A CN116363134B (zh) 2023-06-01 2023-06-01 煤与矸石的识别与分割方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310635826.4A CN116363134B (zh) 2023-06-01 2023-06-01 煤与矸石的识别与分割方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN116363134A CN116363134A (zh) 2023-06-30
CN116363134B true CN116363134B (zh) 2023-09-05

Family

ID=86905309

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310635826.4A Active CN116363134B (zh) 2023-06-01 2023-06-01 煤与矸石的识别与分割方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN116363134B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019006733A1 (zh) * 2017-07-06 2019-01-10 大连理工大学 一种跨省互联水电站群长期联合调峰调度方法
CN113192073A (zh) * 2021-04-06 2021-07-30 浙江科技学院 基于交叉融合网络的服装语义分割方法
CN113283435A (zh) * 2021-05-14 2021-08-20 陕西科技大学 一种基于多尺度注意力融合的遥感图像语义分割方法
CN114022748A (zh) * 2022-01-06 2022-02-08 深圳市海清视讯科技有限公司 目标识别方法、装置、设备及存储介质
CN114120093A (zh) * 2021-12-01 2022-03-01 安徽理工大学 一种基于改进YOLOv5算法的煤矸目标检测方法
CN114170422A (zh) * 2021-10-26 2022-03-11 煤炭科学研究总院 一种煤矿井下图像语义分割方法
CN114494696A (zh) * 2022-01-26 2022-05-13 安徽理工大学 一种多尺度煤矸图像快速检测的方法、系统及装置
CN114596321A (zh) * 2022-03-08 2022-06-07 中国工商银行股份有限公司 图像语义分割方法、装置、电子设备及存储介质
WO2022141723A1 (zh) * 2020-12-29 2022-07-07 江苏大学 基于特征引导网络的图像分类与分割的装置、方法、设备及介质
CN114972363A (zh) * 2022-05-13 2022-08-30 北京理工大学 图像分割方法、装置、电子设备及计算机存储介质
CN115496909A (zh) * 2022-10-24 2022-12-20 桂林电子科技大学 一种三分支自适应权重特征融合的语义分割方法
CN116168270A (zh) * 2023-02-21 2023-05-26 安徽理工大学 基于并行深度残差网络的轻量化煤矸石检测模型及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230153946A1 (en) * 2021-11-15 2023-05-18 Northeastern University System and Method for Image Super-Resolution

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019006733A1 (zh) * 2017-07-06 2019-01-10 大连理工大学 一种跨省互联水电站群长期联合调峰调度方法
WO2022141723A1 (zh) * 2020-12-29 2022-07-07 江苏大学 基于特征引导网络的图像分类与分割的装置、方法、设备及介质
CN113192073A (zh) * 2021-04-06 2021-07-30 浙江科技学院 基于交叉融合网络的服装语义分割方法
CN113283435A (zh) * 2021-05-14 2021-08-20 陕西科技大学 一种基于多尺度注意力融合的遥感图像语义分割方法
CN114170422A (zh) * 2021-10-26 2022-03-11 煤炭科学研究总院 一种煤矿井下图像语义分割方法
CN114120093A (zh) * 2021-12-01 2022-03-01 安徽理工大学 一种基于改进YOLOv5算法的煤矸目标检测方法
CN114022748A (zh) * 2022-01-06 2022-02-08 深圳市海清视讯科技有限公司 目标识别方法、装置、设备及存储介质
CN114494696A (zh) * 2022-01-26 2022-05-13 安徽理工大学 一种多尺度煤矸图像快速检测的方法、系统及装置
CN114596321A (zh) * 2022-03-08 2022-06-07 中国工商银行股份有限公司 图像语义分割方法、装置、电子设备及存储介质
CN114972363A (zh) * 2022-05-13 2022-08-30 北京理工大学 图像分割方法、装置、电子设备及计算机存储介质
CN115496909A (zh) * 2022-10-24 2022-12-20 桂林电子科技大学 一种三分支自适应权重特征融合的语义分割方法
CN116168270A (zh) * 2023-02-21 2023-05-26 安徽理工大学 基于并行深度残差网络的轻量化煤矸石检测模型及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于X射线图像和激光点云的煤矸识别方法;司垒 等;《仪器仪表学报》;第43卷(第9期);全文 *

Also Published As

Publication number Publication date
CN116363134A (zh) 2023-06-30

Similar Documents

Publication Publication Date Title
CN110533684B (zh) 一种染色体核型图像切割方法
US11282185B2 (en) Information processing device, information processing method, and storage medium
JP2017004480A (ja) 顕著性情報取得装置及び顕著性情報取得方法
CN110569782A (zh) 一种基于深度学习目标检测方法
CN112907595B (zh) 一种表面缺陷检测方法及装置
CN111553414A (zh) 一种基于改进Faster R-CNN的车内遗失物体检测方法
CN111784711A (zh) 一种基于深度学习的肺部病理图像分类与分割方法
CN114170140A (zh) 一种基于Yolov4的隔膜缺陷识别方法
CN115861772A (zh) 基于RetinaNet的多尺度单阶段目标检测方法
CN112149713B (zh) 基于绝缘子图像检测模型检测绝缘子图像的方法及装置
CN111210417B (zh) 基于卷积神经网络的布匹缺陷检测方法
CN114972922A (zh) 基于机器学习的煤矸分选识别方法、装置及设备
CN114299383A (zh) 基于密度图与注意力机制融合的遥感图像目标检测方法
CN108681691A (zh) 一种基于无人水面艇的海上船艇快速检测方法
CN116363134B (zh) 煤与矸石的识别与分割方法、装置及电子设备
CN113838099A (zh) 一种基于孪生神经网络的单目标跟踪方法
CN115375952B (zh) 一种芯片胶层缺陷分类方法
Hommos et al. Hd Qatari ANPR system
CN111368599A (zh) 遥感图像海面舰船检测方法、装置、可读存储介质及设备
CN114067186B (zh) 一种行人检测方法、装置、电子设备及存储介质
CN115035461A (zh) 基于机器视觉安全带佩戴检测方法、装置及相关设备
CN112016514B (zh) 一种交通标志识别方法、装置、设备及储存介质
KR102464851B1 (ko) 다중 스케일 특징맵을 이용하는 학습 방법 및 영상 분류 방법
CN114119458A (zh) 基于临床先验知识指导的甲状腺髓样癌超声图像识别方法
CN110472472A (zh) 基于sar遥感图像的机场检测方法与装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant