CN117475223A - 一种煤岩截割状态识别方法及装置 - Google Patents

一种煤岩截割状态识别方法及装置 Download PDF

Info

Publication number
CN117475223A
CN117475223A CN202311474093.7A CN202311474093A CN117475223A CN 117475223 A CN117475223 A CN 117475223A CN 202311474093 A CN202311474093 A CN 202311474093A CN 117475223 A CN117475223 A CN 117475223A
Authority
CN
China
Prior art keywords
image
coal
cutting
cutting state
coal rock
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311474093.7A
Other languages
English (en)
Inventor
李艳
张菁
李家宝
石嘉涛
杜凯
王栎鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yulin University
Original Assignee
Yulin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yulin University filed Critical Yulin University
Priority to CN202311474093.7A priority Critical patent/CN117475223A/zh
Publication of CN117475223A publication Critical patent/CN117475223A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种煤岩截割状态识别方法，包括以下步骤：步骤一、获取历史时刻中用于表征煤岩截割状态的融合图像；步骤二、扩充样本集；步骤三、将扩充后的样本集划分为训练集和测试集；步骤四、深度学习网络模型学习并生成训练集的样本图像与标签之间的映射关系；步骤五：采集当前时刻用于表征煤岩截割状态的融合图像，深度学习网络模型输出融合图像对应的标签，完成煤岩截割状态识别。本发明结合电流、声音和振动三种信息表征煤岩截割状态；通过生成对抗网络扩充样本集的图像数量，解决了样本量较小的问题；基于深度神经网络建立截割状态识别模型，进行煤岩截割状态识别，并针对煤岩截割状态识别结果建立了采煤机姿态控制策略。

Description

一种煤岩截割状态识别方法及装置
技术领域
本发明属于自动化开采装备技术领域，具体涉及一种煤岩截割状态识别方法及装置。
背景技术
我国煤炭资源年产量占据世界煤炭总产量的一半以上，根据相关研究，预计2030-2050年，煤炭占我国一次能源消费比重仍将保持在50％以上。保障煤炭供应以提高工作面的开采效率和后期煤岩矸的分选效率为主，煤矿机械设备自动化、智能化水平低是工作面的开采效率低的根本原因。提高煤岩识别准确率是实现智能化工作面的关键技术之一。
自上世界60年代起，世界上的产煤大国便相继进行了煤岩识别关键技术的研究，但在工程实际中的应用甚少。造成这种现象的原因包括：1、煤矿地质条件复杂、煤岩种类多样化，造成煤岩识别技术通用性差；2、工作面掘进过程煤岩受力复杂，较难分析，且传感器易受损；3、识别效果受井下环境影响因素影响，识别误差大。故针对复杂多变的煤岩种类进行高效的煤岩识别方法研究是当前煤炭行业的重要科学导向。
在采煤截割煤岩过程中，截割煤层和岩层时产生的声音具有明显的差异性，经验丰富的采煤机司机根据截割声音，可以判断是否截割岩层，人为调整截割高度和行走速度，这种根据声音判断采煤机煤岩截割状态为煤岩截割智能识别提供了一种新的思路或方法，但是声音信息单一，判断误差大，因此需要一种新的煤岩截割状态识别方法，融合多种截割信息进行融合识别。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种煤岩截割状态识别方法及装置，其结构简单、设计合理，结合电流、声音和振动三种信息表征煤岩截割状态；通过生成对抗网络扩充样本集的图像数量，解决了样本量较小的问题；基于深度神经网络建立截割状态识别模型，进行煤岩截割状态识别，并针对煤岩截割状态识别结果建立了采煤机姿态控制策略。
为解决上述技术问题，本发明采用的技术方案是：一种煤岩截割状态识别方法，其特征在于：包括以下步骤：
步骤一、获取历史时刻中用于表征煤岩截割状态的融合图像；
步骤101：以t时刻的牵引电机电流值和t时刻的截割电机电流值作为图像元素，构造第一图像，形成第一图像集；
步骤102：采集截割声音信号，对截割声音信号进行实时解析，解析时将截割声音信号绘制成波形曲线，截取采样周期T内的波形曲线构造第二图像，形成第二图像集；
步骤103：采集截割振动信号，以t时刻的X轴截割振动数据和t时刻的Z轴截割振动数据作为图像元素，构造第三图像；
步骤104、融合同一语境下的第一图像、第二图像和第三图像，形成融合图像；
步骤105、将融合图像作为样本集，对融合图像标注标签Ri，标签Ri表示采煤机截割第i种煤岩体，1≤i≤k，k表示煤岩体种类；
步骤二、扩充样本集：根据融合图像产生扩充图像，并对扩充图像标注标签Ri，融合图像和扩充图像构成扩充样本集W，W＝[w1，...wj,...,wm]，wj表示扩充样本集中第j个样本图像，1≤j≤m；
步骤三、将扩充后的样本集划分为训练集和测试集；
步骤四、构建深度学习网络模型，将训练集输入到深度学习网络模型，深度学习网络模型学习并生成训练集的样本图像与标签Ri之间的映射关系；
步骤五：采集当前时刻用于表征煤岩截割状态的融合图像wt，将融合图像wt输入深度学习网络模型，深度学习网络模型输出融合图像wt对应的标签Ri，完成煤岩截割状态识别。
上述的一种煤岩截割状态识别方法，其特征在于：步骤二中所述扩充样本集的具体方法为：
步骤201、构建生成对抗网络，生成对抗网络包括生成器G和判别器D，设置生成器G和判别器D的训练初始参数；
步骤202、对生成器G单独进行训练，得到训练好的生成器G；对判别器D单独进行训练，得到训练好的判别器D；
步骤203、在融合图像中加上随机噪声，构成泛融合图像，将泛融合图像输入生成器G，生成器G输出与泛融合图像大小一致的扩充图像；
步骤204、将第j个扩充图像Xj输入到判别器D中，判别器D针对第j个扩充图像Xj输出k+1维分类预测概率{p11,...p1j,...p1k,p1(k+1)}，若p11至p1k均大于概率阈值pset，则将第j个扩充图像Xj对应的扩充特征量加入到max(p11,...p1j,...p1k)所对应的标签类别。
上述的一种煤岩截割状态识别方法，其特征在于：所述生成器G采用生成器网络ProGAN。
上述的一种煤岩截割状态识别方法，其特征在于：所述判别器D包括3层网络结构和1个全连接层，所述3层网络结构的输出与全连接层连接。
上述的一种煤岩截割状态识别方法，其特征在于：计算机根据标签Ri获取对应的采煤机姿态控制策略，计算机中预存有标签Ri与采煤机姿态的对应关系。
上述的一种煤岩截割状态识别方法，其特征在于：所述采煤机姿态控制策略设置为依据已有的资料设计针对不同标签Ri对应的煤岩体种类设置液压油缸压力值、截割高度和牵引速度。
上述的一种煤岩截割状态识别方法，其特征在于：融合同一语境下的第一图像、第二图像和第三图像的具体方法为向量拼接。
上述的一种煤岩截割状态识别方法，其特征在于：深度学习网络模型选用FasterR-CNN网络。
上述的一种煤岩截割状态识别方法，其特征在于：使用Multi-Similarity Loss损失函数改进Faster R-CNN网络中RCNN的交叉熵损失函数。
本申请还提出一种煤岩截割状态识别装置，包括
第一获取模块，其被配置为：获取由牵引电机电流值和截割电机电流值为坐标元素的第一图像；
第二获取模块，其被配置为：获取由截割声音波形曲线构造的第二图像；
第三获取模块，其被配置为：获取由X轴截割振动数据和Z轴截割振动数据为坐标元素的第三图像；
融合模块，其被配置为：融合第一图像、第二图像和第三图像，形成融合图像；
样本集扩充模块，其被配置为：根据融合图像产生泛融合图像，将泛融合图像输入到训练好的生成对抗网络中，训练好的生成对抗网络的生成器G输出与泛融合图像大小一致的扩充图像，判别器D针对第j个扩充图像Xj输出k+1维分类预测概率，若1至k维分类预测概率均大于概率阈值pset，则将第j个扩充图像Xj对应的扩充特征量加入到max(p11,...p1j,...p1k)所对应的标签类别，构成扩充样本集；
输出模块，其被配置为：将扩充样本集的训练集输入到深度学习网络模型中，深度学习网络模型学习并生成训练集的样本图像与标签Ri之间的映射关系，完成训练，将用于表征当前时刻煤岩截割状态的融合图像wt输入到训练好的深度学习网络模型，深度学习网络模型输出融合图像wt对应的标签Ri，完成煤岩截割状态识别。
本发明与现有技术相比具有以下优点：
1、本发明的结构简单、设计合理，实现及使用操作方便。
2、本发明结合电流、声音和振动三种信息表征煤岩截割状态，用于生成融合图像，融合像素包括具有同一语境的多个类型的图像数据，增加了融合图像的信息量，弥补单一类型传感器获取信息不够全面、不够精确的缺点。
3、本发明设置生成对抗网络，可以以融合图像为模板，生成大量扩充图像，并对判别器D判别通过的扩充图像自动赋标签，产生大量带有标签的样本，扩充了样本集的图像数量，省去了大量人力标注标签的劳动，解决了样本量较小情况下，基于深度学习模型的截割状态识别表现较差的问题。
4、本发明将扩充样本集的训练集输入到深度学习网络模型中，深度学习网络模型学习并生成训练集的样本图像与标签Ri之间的映射关系，完成训练，将用于表征当前时刻煤岩截割状态的融合图像wt输入到训练好的深度学习网络模型，深度学习网络模型输出融合图像wt对应的标签Ri，完成煤岩截割状态识别，使用效果好。
综上所述，本发明结构简单、设计合理，结合电流、声音和振动三种信息表征煤岩截割状态；通过生成对抗网络扩充样本集的图像数量，解决了样本量较小的问题；基于深度神经网络建立截割状态识别模型，进行煤岩截割状态识别，并针对煤岩截割状态识别结果建立了采煤机姿态控制策略。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的方法流程图。
图2为本发明扩充样本集的方法流程图。
图3为本发明的电路原理框图。
图4为本发明实施例一中的第一图像。
图5为本发明实施例一中的第二图像。
图6为本发明实施例一中的第三图像。
图7为本发明的融合图像和扩充图像的对比图。
附图标记说明:
1—第一获取模块； 2—第二获取模块； 3—第三获取模块；
4—融合模块； 5—样本集扩充模块； 6—输出模块。
具体实施方式
下面结合附图及本发明的实施例对本发明的方法作进一步详细的说明。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施方式例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了便于描述，在这里可以使用空间相对术语，如“在……之上”、“在……上方”、“在……上表面”、“上面的”等，用来描述如在图中所示的一个器件或特征与其他器件或特征的空间位置关系。应当理解的是，空间相对术语旨在包含除了器件在图中所描述的方位之外的在使用或操作中的不同方位。例如，如果附图中的器件被倒置，则描述为“在其他器件或构造上方”或“在其他器件或构造之上”的器件之后将被定位为“在其他器件或构造下方”或“在其他器件或构造之下”。因而，示例性术语“在……上方”可以包括“在……上方”和“在……下方”两种方位。该器件也可以其他不同方式定位(旋转90度或处于其他方位)，并且对这里所使用的空间相对描述作出相应解释。
如图1所示，本发明的一种煤岩截割状态识别方法，包括以下步骤：
步骤一、获取历史时刻中用于表征煤岩截割状态的融合特征量；
步骤101：以t时刻的牵引电机电流值和t时刻的截割电机电流值作为图像元素，构造第一图像，形成第一图像集。
本实施例中，以电牵引采煤机为例，电牵引采煤机即以电能为动力进行轨道运输牵引的采煤机，电牵引采煤机主要由截割机构、行走机构、破碎机构、液压系统、电气系统以及其他辅助机构组成。
由于电牵引采煤机的截割机构在空载、破碎煤层、岩层时的截割阻力、牵引阻力、产生的声音信号和振动信号均不同，截割阻力可以通过截割电机电流值体现，牵引阻力可以通过牵引电机电流值体现，因此结合电流、声音和振动三种信息表征煤岩截割状态。
型号为7LS5的电牵引采煤机最大牵引速度达30m/min，型号为SL300的电牵引采煤机最大牵引速度达36.7m/min。正常工况下，按15m/min的牵引速度计算，一个300米的工作面每采完一刀煤需要20分钟。
采用电流传感器分别采集牵引电机电流值和截割电机电流值，因此电流采样周期选取30s，一个采煤工作面的截割周期内可以划分成40个采样周期，从而具有至少40个第一图像。
如表1所示，在一个采样周期30s内，间隔3秒记录一次采煤机的牵引电机和截割电机的电流值，数据如表1所示。
表1采煤机牵引电机和截割电机运行数据
对表1的数据进行整理，建立第一图像，第一图像的横坐标为t时刻的牵引电机电流值，纵坐标为t时刻的截割电机电流值，t时刻的牵引电机电流值指的是t时刻的左牵引电机电流值和t时刻的右牵引电机电流值之间的较大值，t时刻的截割电机电流值指的是t时刻的左截割电机电流值和t时刻的右截割电机电流值之间的较大值，用于建立第一图像的数据如表2所示。
表2第一图像数据来源
序号 牵引电流值(A) 截割电流值(A)
1 51.9 54.63
2 57 54.63
3 57 54.57
4 55 54.63
5 55.8 54.36
6 58.6 54.63
7 58.6 54.63
8 58.3 54.63
9 58.1 54.63
10 59.1 54.63
根据表2建立如图4的第一图像。
步骤102：设置在滚筒摇臂上的声音传感器采集截割声音信号，对截割声音信号进行实时解析，解析时将截割声音信号绘制成波形曲线，截取采样周期T内的波形曲线构造第二图像，形成第二图像集。
对应的，截割声音采样周期选取30s，一个采煤工作面的截割周期内可以划分成40个采样周期，从而具有至少40个第二图像。
实际使用时，声音传感器设置于滚筒摇臂上。第二图像如图5所示。
步骤103：设置在滚筒摇臂上的振动传感器采集截割振动信号，以t时刻的X轴截割振动数据和t时刻的Z轴截割振动数据作为二维坐标系的坐标点，将采样周期T内的相邻坐标点连线，构造第三图像，形成第三图像集。
对应的，截割振动采样周期选取30s，一个采煤工作面的截割周期内可以划分成40个采样周期，从而具有至少40个第三图像。
实际使用时，振动传感器为三轴振动传感器，三轴振动传感器的型号为LIS331，三轴振动传感器设置于滚筒摇臂上，由三轴无线振动传感器采集滚筒摇臂在X轴、Y轴和Z轴上的振动数据，以t时刻的X轴截割振动振幅和t时刻的Z轴截割振动振幅为坐标点元素，构造第三图像。第三图像如图6所示，在上的曲线表示X轴截割振动振幅曲线，再下的曲线表示Z轴截割振动振幅曲线。
步骤104、融合同一语境下的第一图像、第二图像和第三图像，形成融合图像。融合同一语境下的第一图像、第二图像和第三图像的具体方法为向量拼接。
如图7的a所示，将第一图像、第二图像和第三图像横向首尾顺次拼接，得到融合图像，并将图像尺寸整理成256*256的灰度图像。
步骤105、将融合图像作为样本集，对融合图像标注标签Ri，标签Ri表示采煤机截割第i种煤岩体，1≤i≤k，k表示煤岩体种类。实际使用时，如表3所示，煤岩体种类共有9类，其中第1类表示采煤机空载，第2和第3类表示软煤和中硬煤，其他6类表示不同种类的岩石。
表3标签与煤岩体种类的对应关系
步骤二、扩充样本集：根据融合图像产生扩充图像，并对扩充图像标注标签Ri，融合图像和扩充图像构成扩充样本集W，W＝[w1，...wj,...,wm]，wj表示扩充样本集中第j个样本图像，1≤j≤m。
在训练样本较少的情况下，现有的机器学习和深度学习模型普遍无法取得良好的表现，针对训练样本较少，可以采用不平衡校正技术以及增加更多的训练样本来提高精度。但是根据深度学习领域的总结，在测量准确度和召回率方面，没有任何一种不平衡校正技术可以与增加更多的训练样本相媲美。本实施例中，可以通过多次采集截割周期内的数据，获得够用的训练样本，但是煤矿巷道的截割过程中，获得上千个样本并对其进行逐一手动标注，耗时耗力，因此本申请针对有限的训练样本，生成带有标签的扩充图像，用于补充样本集。
如图2所示，在一个可能的实施例中，步骤二中所述扩充样本集的具体方法为：
步骤201、构建生成对抗网络，生成对抗网络包括生成器G和判别器D，设置生成器G和判别器D的训练初始参数；
步骤202、对生成器G单独进行训练，得到训练好的生成器G；对判别器D单独进行训练，得到训练好的判别器D。
训练生成对抗网络的过程为：初始训练出生成器G和判别器D；固定判别器D的权重，训练生成器G，以生成器G和真实分布的差异作为损失函数训练生成器G，更新生成器G的参数；固定生成器G的权重，训练判别器D，以真实图片和生成图片的二分类问题训练判别器D，更新判别器D的参数。生成器G的目标就是尽量生成真实的图片去欺骗判别器D，使判别器D犯错；而判别器D的目标就是尽量把生成器G生成的图片和真实样本区分开来。生成器G和判别器D二者互相博弈，共同进化。重复迭代训练，直至D(G(z))＝0.5，此时生成器G生成的数据逼近真实图像样本。
本实施例中，融合图像中加上随机噪声，构成泛融合图像，随机噪声一般是指均匀分布或者正态分布的噪声，生成器G用于生成一个和泛融合图像大小一致的扩充图像，判别器D用于判别扩充图像是真实样本还是生成器G生成的样本。需要说明的是，本实施例中，融合图像、泛融合图像和扩充图像均为尺寸为256*256的灰度图像，无需将输入图像裁剪成224*224。
步骤203、在融合图像中加上随机噪声，构成泛融合图像，将泛融合图像输入生成器G，生成器G输出与泛融合图像大小一致的扩充图像；
步骤204、将第j个扩充图像Xj输入到判别器D中，判别器D针对第j个扩充图像Xj输出k+1维分类预测概率{p11,...p1j,...p1k,p1(k+1)}，若p11至p1k均大于概率阈值pset，则将第j个扩充图像Xj对应的扩充特征量加入到max(p11,...p1j,...p1k)所对应的标签类别。
实际使用时，k+1维分类预测概率{p11,...p1j,...p1k,p1(k+1)}中，第k+1维表示扩充图像Xj是真实样本还是生成器G生成的样本，即“真”或“伪”，第1维至第k维表示扩充图像Xj属于第1类到第k类的预测概率，其中k＝n，在本实施例中，k＝9。其中第1类表示采煤机空载，第2和第3类表示软煤和中硬煤，其他6类表示不同种类的岩石。
所述生成器G采用渐进增长生成对抗网络ProGAN。生成器网络ProGAN首先通过学习低分辨率图像中出现的基本特征，来形成创建扩充图像的基础，而且随着分辨率的增加，随着训练的进行学习越来越多的细节。需要说明的是，渐进增长生成对抗网络ProGAN计算了不同融合图像样本之间的差异性信息，经过渐进增长生成对抗网络ProGAN生成的扩充样本的差异性，与融合图像样本的差异性相似。
如图7的b所示，渐进增长生成对抗网络ProGAN根据融合图像a和随机噪声生成扩充图像b，扩充图像b是尺寸为256*256的灰度图像。
实践证明，1层网络结构和1个全连接层构成的判别器效果不太好，所以判别器D加到了三层。判别器D包括3层网络结构和1个全连接层，所述3层网络结构的输出与全连接层连接。判别器D采用二分类损失函数。
步骤三、将扩充后的样本集划分为训练集和测试集。
扩充后的样本集的图像分为2部分,70％用来构成训练集，30％用来构成测试集。
步骤四、构建深度学习网络模型，将训练集输入到深度学习网络模型，深度学习网络模型学习并生成训练集的融合特征量与标签Ri之间的映射关系。深度学习网络模型选用Faster R-CNN网络。
Faster R-CNN网络的算法流程可分为3个步骤，首先将图像输入网络得到相应的特征图；然后，使用RPN结构生成候选框，将RPN生成的候选框投影到特征图上获得相应的特征矩阵；接着，将每个特征矩阵通过ROI池化层缩放到7x7大小的特征图，将特征图展平通过一个或几个全连接层得到预测结果，获得检测框最终的精确位置。
使用Multi-Similarity Loss损失函数改进Faster R-CNN网络中RCNN的交叉熵损失函数。
步骤五：采集当前时刻用于表征煤岩截割状态的融合特征量Tt，将融合特征量Tt输入深度学习网络模型，深度学习网络模型输出融合特征量Tt对应的标签Ri，完成煤岩截割状态识别。
计算机根据标签Ri获取对应的采煤机姿态控制策略，计算机中预存有标签Ri与采煤机姿态控制策略的对应关系。
煤矿井下不同区域内煤层赋存条件有明显差异，因此需要根据采煤机的截割状态来动态调整采煤机姿态控制策略。
采煤机姿态控制策略为，依据已有的资料设计针对9类不同煤岩体种类设置液压油缸压力值、截割高度和牵引速度。
例如，对顶板以砂质泥岩以及炭质泥岩为主，直接顶为厚度不小于2m的炭质泥岩、泥岩互层，基本顶为砂质泥岩，底板以粉砂岩、泥岩为主的煤层，设置对软煤和中硬煤地质条件下采煤机截割时液压油缸压力值Q1，采煤机自动控制期间液压油缸压力值处于Q1±△Q，即在合理范围内时则采煤机按现场既有姿态继续运行，若超过Q1±△Q时则采用PID控制方式进行调节，从而提升采煤机生产效率及控制系统自动化程度，△Q表示压力差值，实际使用时，Q1＝2.3MPa，△Q＝0.26MPa。
同理设置截割高度，设置对软煤和中硬煤地质条件下采煤机截割时悬臂的截割高度为H1，采煤机自动控制期间悬臂的截割高度处于H1±△H，即在合理范围内时则采煤机按现场既有姿态继续运行，若超过H1±△H时则采用PID控制方式进行调节，从而提升采煤机生产效率及控制系统自动化程度，△H表示截割高度差值。当截割状态识别到砂质泥岩、泥岩、灰质岩、粉砂岩和砂岩时，截割高度降低h，h＝R，R表示采煤机截割机构的滚筒直径。当截割状态识别到碳酸盐夹杂物、菱铁矿夹杂物和硫化铁夹杂物时，截割高度降低2h。
同理设置牵引速度，正常工况下，采煤机按15m/min的牵引速度工作，并采用PID控制方式进行闭环反馈调节，从而提升采煤机生产效率及控制系统自动化程度。
根据标签Ri获取对应的采煤机姿态控制策略，采煤机执行姿态控制策略，可以确保运行平稳，可明显降低操作人员对采煤机人工干预的频率，并提升煤炭开采效率，使用效果好。
实施例二
如图3所示，本申请包括一种煤岩截割状态识别装置，包括第一获取模块1，其被配置为：获取由牵引电机电流值和截割电机电流值为坐标元素的第一图像。
实际使用时，以t时刻的牵引电机电流值和t时刻的截割电机电流值作为二维坐标系的坐标点，将采样周期T内的相邻坐标点连线，构造第一图像，形成第一图像集。
第一获取模块1包括用于获取牵引电机电流值的第一电流互感器和用于获取截割电机电流值的第二电流互感器，牵引电机电流值和截割电机电流值可以通过电流互感器获得，第一图像集的获取可以通过工作人员手动获得。
第二获取模块2，其被配置为：获取由截割声音波形曲线构造的第二图像。
第二获取模块2包括声音传感器。
截割声音可以通过声音传感器获得，声音传感器设置在截割机构的滚筒摇臂上。对截割声音信号进行实时解析，解析时将截割声音信号绘制成波形曲线，属于现有技术，再此不做赘述。截取采样周期T内的波形曲线构造第二图像，形成第二图像集，截取波形曲线获得第二图像，可以通过工作人员手动完成。
第三获取模块3，其被配置为：获取由X轴截割振动数据和Z轴截割振动数据为坐标元素的第三图像。
第三获取模块3包括振动传感器，优选的，第三获取模块采用三轴振动传感器。X轴截割振动数据和Z轴截割振动数据通过三轴振动传感器获得，三轴振动传感器设置于滚筒摇臂上，由三轴无线振动传感器采集滚筒摇臂在X轴、Y轴和Z轴上的振动数据，以t时刻的X轴截割振动振幅和t时刻的Z轴截割振动振幅为坐标点元素，构造第三图像。构造第三图像可以通过工作人员手动完成。
融合模块4，其被配置为：融合第一图像、第二图像和第三图像，形成融合图像。融合同一语境下的第一图像、第二图像和第三图像的具体方法为将第一图像、第二图像和第三图像横向首尾顺次拼接，得到融合图像，并将图像尺寸整理成256*256的灰度图像。
样本集扩充模块5，其被配置为：根据融合图像产生泛融合图像，将泛融合图像输入到训练好的生成对抗网络中，训练好的生成对抗网络的生成器G输出与泛融合图像大小一致的扩充图像，判别器D针对第j个扩充图像Xj输出k+1维分类预测概率，若1至k维分类预测概率均大于概率阈值pset，则将第j个扩充图像Xj对应的扩充特征量加入到max(p11,...p1j,...p1k)所对应的标签类别，构成扩充样本集。
需要说明的是，生成对抗网络的生成器G采用渐进增长生成对抗网络ProGAN，渐进增长生成对抗网络ProGAN计算了不同融合图像样本之间的差异性信息，经过渐进增长生成对抗网络ProGAN生成的扩充样本的差异性，与融合图像样本的差异性相似，使用效果好。生成对抗网络的判别器D包括3层网络结构和1个全连接层，所述3层网络结构的输出与全连接层连接。判别器D采用二分类损失函数。
通过设置生成对抗网络，可以以融合图像为模板，生成大量扩充图像，并对判别器D判别通过的扩充图像自动赋标签，产生大量带有标签的样本，省去了大量人力劳动，解决了样本量较小情况下，基于深度学习模型的截割状态识别表现较差的问题。
输出模块6，其被配置为：将扩充样本集的训练集输入到深度学习网络模型中，深度学习网络模型学习并生成训练集的样本图像与标签Ri之间的映射关系，完成训练，将用于表征当前时刻煤岩截割状态的融合图像wt输入到训练好的深度学习网络模型，深度学习网络模型输出融合图像wt对应的标签Ri，完成煤岩截割状态识别。
深度学习网络模型选用Faster R-CNN网络。使用Multi-Similarity Loss损失函数改进Faster R-CNN网络中RCNN的交叉熵损失函数。
以上所述，仅是本发明的实施例，并非对本发明作任何限制，凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化，均仍属于本发明技术方案的保护范围内。

Claims (10)

1.一种煤岩截割状态识别方法，其特征在于：包括以下步骤：
步骤一、获取历史时刻中用于表征煤岩截割状态的融合图像；
步骤101：以t时刻的牵引电机电流值和t时刻的截割电机电流值作为图像元素，构造第一图像，形成第一图像集；
步骤102：采集截割声音信号，对截割声音信号进行实时解析，解析时将截割声音信号绘制成波形曲线，截取采样周期T内的波形曲线构造第二图像，形成第二图像集；
步骤103：采集截割振动信号，以t时刻的X轴截割振动数据和t时刻的Z轴截割振动数据作为图像元素，构造第三图像；
步骤104、融合同一语境下的第一图像、第二图像和第三图像，形成融合图像；
步骤105、将融合图像作为样本集，对融合图像标注标签Ri，标签Ri表示采煤机截割第i种煤岩体，1≤i≤k，k表示煤岩体种类；
步骤二、扩充样本集：根据融合图像产生扩充图像，并对扩充图像标注标签Ri，融合图像和扩充图像构成扩充样本集W，W＝[w1，...wj,...,wm]，wj表示扩充样本集中第j个样本图像，1≤j≤m；
步骤三、将扩充后的样本集划分为训练集和测试集；
步骤四、构建深度学习网络模型，将训练集输入到深度学习网络模型，深度学习网络模型学习并生成训练集的样本图像与标签Ri之间的映射关系；
步骤五：采集当前时刻用于表征煤岩截割状态的融合图像wt，将融合图像wt输入深度学习网络模型，深度学习网络模型输出融合图像wt对应的标签Ri，完成煤岩截割状态识别。
2.按照权利要求1所述的一种煤岩截割状态识别方法，其特征在于：步骤二中所述扩充样本集的具体方法为：
步骤201、构建生成对抗网络，生成对抗网络包括生成器G和判别器D，设置生成器G和判别器D的训练初始参数；
步骤202、对生成器G单独进行训练，得到训练好的生成器G；对判别器D单独进行训练，得到训练好的判别器D；
步骤203、在融合图像中加上随机噪声，构成泛融合图像，将泛融合图像输入生成器G，生成器G输出与泛融合图像大小一致的扩充图像；
步骤204、将第j个扩充图像Xj输入到判别器D中，判别器D针对第j个扩充图像Xj输出k+1维分类预测概率{p11,...p1j,...p1k,p1(k+1)}，若p11至p1k均大于概率阈值pset，则将第j个扩充图像Xj对应的扩充特征量加入到max(p11,...p1j,...p1k)所对应的标签类别。
3.按照权利要求2所述的一种煤岩截割状态识别方法，其特征在于：所述生成器G采用生成器网络ProGAN。
4.按照权利要求2所述的一种煤岩截割状态识别方法，其特征在于：所述判别器D包括3层网络结构和1个全连接层，所述3层网络结构的输出与全连接层连接。
5.按照权利要求1所述的一种煤岩截割状态识别方法，其特征在于：计算机根据标签Ri获取对应的采煤机姿态控制策略，计算机中预存有标签Ri与采煤机姿态的对应关系。
6.按照权利要求5所述的一种煤岩截割状态识别方法，其特征在于：所述采煤机姿态控制策略设置为依据已有的资料设计针对不同标签Ri对应的煤岩体种类设置液压油缸压力值、截割高度和牵引速度。
7.按照权利要求1所述的一种煤岩截割状态识别方法，其特征在于：融合同一语境下的第一图像、第二图像和第三图像的具体方法为向量拼接。
8.按照权利要求1所述的一种煤岩截割状态识别方法，其特征在于：深度学习网络模型选用Faster R-CNN网络。
9.按照权利要求8所述的一种煤岩截割状态识别方法，其特征在于：使用Multi-Similarity Loss损失函数改进Faster R-CNN网络中RCNN的交叉熵损失函数。
10.一种煤岩截割状态识别装置，其特征在于：包括
第一获取模块，其被配置为：获取由牵引电机电流值和截割电机电流值为坐标元素的第一图像；
第二获取模块，其被配置为：获取由截割声音波形曲线构造的第二图像；
第三获取模块，其被配置为：获取由X轴截割振动数据和Z轴截割振动数据为坐标元素的第三图像；
融合模块，其被配置为：融合第一图像、第二图像和第三图像，形成融合图像；
样本集扩充模块，其被配置为：根据融合图像产生泛融合图像，将泛融合图像输入到训练好的生成对抗网络中，训练好的生成对抗网络的生成器G输出与泛融合图像大小一致的扩充图像，判别器D针对第j个扩充图像Xj输出k+1维分类预测概率，若1至k维分类预测概率均大于概率阈值pset，则将第j个扩充图像Xj对应的扩充特征量加入到max(p11,...p1j,...p1k)所对应的标签类别，构成扩充样本集；
输出模块，其被配置为：将扩充样本集的训练集输入到深度学习网络模型中，深度学习网络模型学习并生成训练集的样本图像与标签Ri之间的映射关系，完成训练，将用于表征当前时刻煤岩截割状态的融合图像wt输入到训练好的深度学习网络模型，深度学习网络模型输出融合图像wt对应的标签Ri，完成煤岩截割状态识别。
CN202311474093.7A 2023-11-07 2023-11-07 一种煤岩截割状态识别方法及装置 Pending CN117475223A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311474093.7A CN117475223A (zh) 2023-11-07 2023-11-07 一种煤岩截割状态识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311474093.7A CN117475223A (zh) 2023-11-07 2023-11-07 一种煤岩截割状态识别方法及装置

Publications (1)

Publication Number Publication Date
CN117475223A true CN117475223A (zh) 2024-01-30

Family

ID=89632638

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311474093.7A Pending CN117475223A (zh) 2023-11-07 2023-11-07 一种煤岩截割状态识别方法及装置

Country Status (1)

Country Link
CN (1) CN117475223A (zh)

Similar Documents

Publication Publication Date Title
CN109635461B (zh) 一种应用随钻参数来自动识别围岩级别的方法和系统
AU2011213479B2 (en) Rock property measurements while drilling
US7184991B1 (en) Pattern recognition applied to oil exploration and production
US7519476B1 (en) Method of seismic interpretation
CN103984788B (zh) 一种煤巷锚杆支护自动智能设计与优化系统
CN113344050B (zh) 一种基于深度学习的岩性智能化识别方法及系统
CN106407624B (zh) 一种虚拟采煤机记忆截割方法
CN110320557B (zh) 基于深度学习和进化学习的多尺度地质特征检测融合方法
CN102819688A (zh) 基于半监督分类的二维地震数据全层位追踪方法
CN104280771A (zh) 一种基于em算法的三维地震数据波形的半监督聚类方法
CN115062375A (zh) 一种用于隧道围岩的分级方法及系统
CN112836075A (zh) 基于深度学习和迁移学习的岩层结构智能检测分类方法
CN116403124A (zh) 一种基于DResNet-PointNet的三维点云围岩的结构面智能识别方法
CN106338778A (zh) 一种基于测井信息的页岩岩相连续预测方法
CN112801035B (zh) 基于知识与数据双驱动的搭载式岩性智能识别方法及系统
CN117475223A (zh) 一种煤岩截割状态识别方法及装置
CN110428398A (zh) 一种基于深度学习的高铁接触网拉线缺陷检测方法
CN114324580A (zh) 一种结构缺陷的智能敲击检测方法及系统
CN106568918A (zh) 页岩有机碳含量toc预测方法
Jiang et al. Assisted fault identification and surface extraction by machine learning—A case study from Oman
CN116227090B (zh) Tbm超前地质预报与掘进性能预测数字孪生系统及方法
Liu et al. Research on metro safety factors assessment based on comprehensive fuzzy algorithm
Damsleth et al. Geostatistical approaches in reservoir evaluation
CN117872477A (zh) 人工智能火成岩储层岩性预测方法、系统、设备及介质
CN114167497B (zh) 基于相似性度量地质结构标签的ssl-cnn储层油气检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination