CN115015161A - 一种煤质成分预测方法 - Google Patents

一种煤质成分预测方法 Download PDF

Info

Publication number
CN115015161A
CN115015161A CN202210601941.5A CN202210601941A CN115015161A CN 115015161 A CN115015161 A CN 115015161A CN 202210601941 A CN202210601941 A CN 202210601941A CN 115015161 A CN115015161 A CN 115015161A
Authority
CN
China
Prior art keywords
data
coal quality
modeling
sample data
near infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210601941.5A
Other languages
English (en)
Inventor
李华
荣婕妤
贾雪
何洪流
刘洁
黄家福
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun University
Original Assignee
Changchun University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun University filed Critical Changchun University
Priority to CN202210601941.5A priority Critical patent/CN115015161A/zh
Publication of CN115015161A publication Critical patent/CN115015161A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/359—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/3563—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for analysing solids; Preparation of samples therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/211—Schema design and management
    • G06F16/212—Schema design and management with details for data modelling support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明提供了一种煤质成分预测方法，属于煤质检测领域，包括：采集煤质近红外光谱数据，得到原始样本数据；对原始样本数据进行拆分，得到待处理数据；对待处理数据进行预处理操作；采用基于高斯核的支持向量机回归结合XGBoost算法对煤质近红外光谱数据进行建模，获得预测模型；利用预测模型对预处理后的样本数据的煤质成分进行预测。该方法在基于现有成熟的煤质近红外光谱建模及预测技术，建模过程中采用XGBoost算法，所得结果既满足预测数据准确也在保证样本数据不被损坏的情况下进行，也可以适合大量样本数据的测定，可以较好应对数据分布不均衡样本建模，提高预测模型准确率。

Description

一种煤质成分预测方法
技术领域
本发明属于煤质检测领域，具体涉及一种煤质成分预测方法。
背景技术
煤质的好坏影响电厂的安全经济运行，若能及时提供入炉煤的含量测定结果，工作人员据此进行相应调整，对保证锅炉安全稳定运行有重要意义。早期传统的煤质分析均采用人工采样制样，低效大量实验进行实际操作与测试和后期低效预测也一直是关于煤质成分预测的重要工作，传统方法对于煤质成分测定操作复杂、速度慢、消耗大，一批煤样分析周期约6-8h，大多数电厂要第二天才能出分析报告，且样本在测试过程中会被损坏。
20世纪80年代以来随着近红外光谱技术快速发展，有关近红外光谱分析技术应用于工业研究，多在理论与方法讨论。近红外是指波长在780-2500nm范围内的光线，当近红外照射在要分析的物体上时，由于组成物体的化学键的不同，会产生某些特征波长的吸收，吸收度的多少与成分含量的大小有密切关系，由于固体对近红外波长的吸收较弱，因此适用于漫反射技术，根据其漫反射光谱可以分析物体成分。
因此，在实际中实现煤质的快速在线监测及预测是非常必要的。
发明内容
为了克服上述现有技术存在的不足，本发明提供了一种煤质成分预测方法。
为了实现上述目的，本发明提供如下技术方案：
一种煤质成分预测方法，包括以下步骤：
采集煤质近红外光谱数据，得到原始样本数据；
对原始样本数据进行拆分，得到待处理数据；
对所述待处理数据进行预处理操作；
采用基于高斯核的支持向量机回归结合XGBoost算法对煤质近红外光谱数据进行建模，获得预测模型；
利用预测模型对预处理后的样本数据的煤质成分进行预测。
优选地，在不同位置进行六次采样得到所述煤质近红外光谱数据。
优选地，将原始样本数据中的热量、水分、灰分、挥发分四种成分含量对应的样本数据进行拆分，得到待处理数据。
优选地，所述煤质近红外光谱数据数据由12个波长值构成自变量，四种成分构成因变量；
其中，12个波长值分别为2.36，2.21，2.16，2.06，1.94，1.84，1.76，1.66，1.55，1.51，1.45，1.31，单位：103cm-1。
优选地，所述将四种成分含量对应的样本数据进行拆分，得到待处理数据方便建模的数据格式具体操作为：将数据表拆分成含有12个自变量和一个成分数据的建模形式，最终得到四个数据表用于之后对四种不同成分分别建模及预测。
优选地，对所述待处理数据采用不同的预处理方法进行处理，对比不同预处理方法获得的均方误差和R2等值，根据比较结果选择预处理方法。
优选地，所述不同的预处理方法包括中心化、标准化、多元散射矫正、标准正态变换和一阶差分、二阶差分。
本发明提供的煤质成分预测方法具有以下有益效果：
本发明对煤质常规指标(热量、水分、灰分、挥发分)进行快速检测时，对于大量高维样本数据采用XGBoost算法对煤质近红外光谱数据进行建模和预测，建模前对工厂传回数据进行清洗，剔除不好的数据从而使预测结果达到最佳，可以在保证效率和应对大数据情况下对煤质成分数据有很好的预测效果。
附图说明
为了更清楚地说明本发明实施例及其设计方案，下面将对本实施例所需的附图作简单地介绍。下面描述中的附图仅仅是本发明的部分实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1提供的煤质成分预测方法的流程图。
具体实施方式
为了使本领域技术人员更好的理解本发明的技术方案并能予以实施，下面结合附图和具体实施例对本发明进行详细说明。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
实施例1
本发明提供了一种煤质成分预测方法，具体如图1所示，包括以下步骤：
S1、采集煤质近红外光谱数据，得到原始样本数据；同一样品考虑均一性以及近红外重复性弱等特点，本实施例对不同位置样本采样六次得到工厂传回的实时煤质近红外光谱数据，目的在于获得稳定的光谱信息。
其中，原始样本数据由12个波长值(2.36，2.21，2.16，2.06，1.94，1.84，1.76，1.66，1.55，1.51，1.45，1.31，单位：10^3cm-1)构成自变量，4种成分(热量、水分、灰分、挥发分)构成因变量。
S2、对原始样本数据进行拆分，得到待处理数据。
具体为将原始样本数据中的热量、水分、灰分、挥发分四种成分含量对应的样本数据进行拆分，得到方便建模的数据格式。这四种成分为煤炭的重要煤质指标，对煤的生产、加工利用均有重要意义，大部分煤质快速检测均以这四种指标为主，若增加评价指标则可不限制于四种成分。本实施例将数据表拆分成含有十二个自变量和一个成分数据的便于建模形式，最终得到四个数据表用于之后对四种不同成分分别建模及预测。例：对于灰分值(Ad)，用于训练和预测的数据表构成一共十四列，分别是第一列样本序号，第二至十三列为十二个不同波长下的光谱吸收度，第十四列为每个样本对应的灰分含量值；具体拆分过程是直接从灰分表里面去除其余三列成分值即可。
S3、对待处理数据进行预处理，对比不同预处理方法的均方误差和R2等值，根据比较结果择优选择适合此类样本数据的预处理方法。
本实施例中预处理方法选用中心化、标准化、多元散射矫正、标准正态变换和一阶、二阶差分进行对比，建模过程择优选择，保证数据最大程度的有效性。例：在实验中每次选取同一个样品的多张光谱作为测试集，其余样本作为训练集，能够使得训练样本尽可能的覆盖所有的区间；在进行抽样时，采用的方法是按照样本序号标签3-6位上的样本序号(例：0001)进行相同标签归类；对于不同的预处理方法后的数据建立模型带入验证集之后，得到的均方误差(MSE)是估计值与真值之差平方的期望值，据此可以评价数据的变化程度，MSE的值越小，说明预测模型描述实验数据具有更好的精确度；同样地，R2的含义是预测值解释了真值方差的多大比例，即衡量了预测值对于真值的拟合好坏程度，R2越接近于1模型拟合效果越好，所以根据不同于处理结果下的数据生成模型的MSE和R2，按照MSE越小和R2接近于1的要求选择更好的方法作为之后建模前的预处理方法。
S4、采用基于高斯核的支持向量机回归结合XGBoost算法对煤质近红外光谱数据进行建模，获得预测模型。
S5、利用预测模型对预处理后的样本数据的煤质成分进行预测。
在基于并行树进行回归时，采样XGBoost回归算法，主要针对在建模前发现的样本数据不平衡问题，使用此方法可以对欠采样部分进行补充，即合成少数过采样技术，增加少数标签的样本。合成的策略是对每个少数样本a，从它的最近邻中随机选一个样本b，然后在a,b的连线上随机选一点作为新合成的少数类样本。传统GBDT(并行树提升)以CART作为基分类器，XGBoost还支持线性分类器，这个时候XGBoost相当于带L1和L2正则化项的线性回归(在python中可以通过booster[default＝gbtree]设置参数:gbtree:tree-basedmodels/gblinear:linear models)。传统GBDT在优化时只用到一阶导数信息，XGBoost则对代价函数进行了二阶泰勒展开，同时用到了一阶和二阶导数。同时在代价函数里加入了正则项，用于控制模型的复杂度。实际上XGBoost利用了核外计算并且能够使得在一个主机上处理大量样本数据，最终将这些技术进行结合可以做一个端到端的系统以最少的集群系统来扩展到更大的数据集上。
在模型训练时，以1：4的比例划分测试集和训练集，训练数据建模并存储到指定的“model”文件，同时输出建模用时；之后加载模型文件“model”带入验证数据进行预测，同时输出预测用时及该模型下的预测值与真值间的R2和MSE2来达到判断模型预测效果的目的，最终对建模结果进行可视化展示，画出光谱图(按照时间序列进行作折线图、直方图、拟合密度曲线)，可视化保湿更直观。
本发明为对煤质常规指标(热量、水分、灰分、挥发分)进行高效预测产生一种新思路，即采用XGBoost算法，且建模前对工厂传回数据进行清洗，剔除不好的数据从而使预测结果达到最佳，可以在保证效率和应对大数据情况下对煤质成分数据有很好的预测效果，采用此方法灵活应对样本数据不平衡问题时合成少数过采样技术，利用了特征的稀疏性，实现了分裂点寻找近似算法，且可以自定义损失函数，灵活性较强。同时进行了光谱的可视化使结果便于下一步分析和非专业人士阅读。
本发明提供的煤质成分预测方法具有以下优势：
(1)从工厂直接传回煤质样本数据可能具有多重共线性、光谱带较宽、可解释性较差等缺点，并且在近红外光谱采集过程中由于内外因素作用(如煤质形态、近红外探头的设备误差等)不可避免地携带一些与测试样本化学性质不相关的成分，导致采集的光谱中存在光谱平移、重叠等噪声数据，使得待测样本的近红外光谱数据信噪比较低，因此在建模之前需要先对数据进行预处理，尽可能多地去除掉对预测结果有干扰作用的无关噪声数据。所以在通过对比分析中心化、标准化、多元散射矫正、标准正态变换和一阶二阶差分这些预处理方法，找到适合煤质数据的预处理方法；
(2)现存方法多在理论上进行探讨，并未应用在工厂生产之中，所以本发明将之应用于真实的样本数据上，在进行模型选择时，通过交叉验证方法划分测试集和验证集，并通过不同日期下采集数据进行互验，保证最终本发明选用的XGBoost算法的生成模型预测的准确性，同时得到预测的光谱图；
(3)对于大量高维样本数据，采用XGBoost算法回归，利用了特征的稀疏性，实现了分裂点寻找近似算法，且可以自定义损失函数，灵活性较强。
以上所述实施例仅为本发明较佳的具体实施方式，本发明的保护范围不限于此，任何熟悉本领域的技术人员在本发明披露的技术范围内，可显而易见地得到的技术方案的简单变化或等效替换，均属于本发明的保护范围。

Claims (7)

1.一种煤质成分预测方法，其特征在于，包括以下步骤：
采集煤质近红外光谱数据，得到原始样本数据；
对原始样本数据进行拆分，得到待处理数据；
对所述待处理数据进行预处理操作；
采用基于高斯核的支持向量机回归结合XGBoost算法对煤质近红外光谱数据进行建模，获得预测模型；
利用预测模型对预处理后的样本数据的煤质成分进行预测。
2.根据权利要求1所述的煤质成分预测方法，其特征在于，在不同位置进行六次采样得到所述煤质近红外光谱数据。
3.根据权利要求1所述的煤质成分预测方法，其特征在于，将原始样本数据中的热量、水分、灰分、挥发分四种成分含量对应的样本数据进行拆分，得到待处理数据。
4.根据权利要求3所述的煤质成分预测方法，其特征在于，所述煤质近红外光谱数据数据由12个波长值构成自变量，四种成分构成因变量；
其中，12个波长值分别为2.36，2.21，2.16，2.06，1.94，1.84，1.76，1.66，1.55，1.51，1.45，1.31，单位：103cm-1。
5.根据权利要求4所述的煤质成分预测方法，其特征在于，所述将四种成分含量对应的样本数据进行拆分，得到待处理数据方便建模的数据格式具体操作为：将数据表拆分成含有12个自变量和一个成分数据的建模形式，最终得到四个数据表用于之后对四种不同成分分别建模及预测。
6.根据权利要求1所述的煤质成分预测方法，其特征在于，对所述待处理数据采用不同的预处理方法进行处理，对比不同预处理方法获得的均方误差和R2等值，根据比较结果选择预处理方法。
7.根据权利要求6所述的煤质成分预测方法，其特征在于，所述不同的预处理方法包括中心化、标准化、多元散射矫正、标准正态变换和一阶差分、二阶差分。
CN202210601941.5A 2022-05-30 2022-05-30 一种煤质成分预测方法 Pending CN115015161A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210601941.5A CN115015161A (zh) 2022-05-30 2022-05-30 一种煤质成分预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210601941.5A CN115015161A (zh) 2022-05-30 2022-05-30 一种煤质成分预测方法

Publications (1)

Publication Number Publication Date
CN115015161A true CN115015161A (zh) 2022-09-06

Family

ID=83070237

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210601941.5A Pending CN115015161A (zh) 2022-05-30 2022-05-30 一种煤质成分预测方法

Country Status (1)

Country Link
CN (1) CN115015161A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116469481A (zh) * 2023-06-19 2023-07-21 苏州方兴信息技术有限公司 一种基于XGBoost算法的LF精炼钢水成分预报方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116469481A (zh) * 2023-06-19 2023-07-21 苏州方兴信息技术有限公司 一种基于XGBoost算法的LF精炼钢水成分预报方法
CN116469481B (zh) * 2023-06-19 2023-08-29 苏州方兴信息技术有限公司 一种基于XGBoost算法的LF精炼钢水成分预报方法

Similar Documents

Publication Publication Date Title
CN110411957B (zh) 水果货架期及新鲜程度的无损快速预测方法及装置
CN107817223A (zh) 快速无损实时预测原油性质模型的构建方法及其应用
CN104965973B (zh) 一种苹果霉心病多因子无损检测判别模型及其建立方法
CN111257277B (zh) 一种基于近红外光谱技术的烟叶相似度判定方法
CN109324014A (zh) 一种自适应的原油性质近红外快速预测方法
CN109738380A (zh) 一种土壤盐渍化程度的高光谱遥感判断方法
CN117312968A (zh) 一种盐碱农田土壤有机质含量的预测方法
CN115015161A (zh) 一种煤质成分预测方法
CN105738311A (zh) 一种基于近红外光谱技术的苹果甜度无损快速检测方法
CN104502307A (zh) 一种快速检测长牡蛎糖原和蛋白质含量的方法
CN105954228A (zh) 基于近红外光谱的油砂中金属钠含量的测量方法
CN111398208A (zh) 一种利用近红外技术对传统工艺翡翠进行快速鉴定的方法
Wang et al. Monitoring model for predicting maize grain moisture at the filling stage using NIRS and a small sample size
CN113049526B (zh) 一种基于太赫兹衰减全反射的玉米种子水分含量测定方法
CN104297205A (zh) 一种快速、无损的食用油鉴别方法
CN104181125A (zh) 快速测定啤酒麦芽中库尔巴哈值的方法
Zhao et al. Study on Near-Infrared Spectroscopy Non-Destructive Testing of Strawberry Quality
CN103048275A (zh) 基于近红外光谱的自适应软仪表装置及其构造方法
CN112861415A (zh) 基于近红外光谱主成分和神经网络的生物质灰分含量测量与建模方法
CN112611745A (zh) 一种水果可溶性固形物间接无损检测方法及系统
CN112861412A (zh) 基于近红外光谱主成分和神经网络的生物质挥发分含量测量与建模方法
CN112861411A (zh) 基于近红外光谱主成分和神经网络的生物质钠含量测量与建模方法
CN111487219A (zh) 一种基于近红外光谱技术的快速检测香梨木质素含量方法
CN112861414A (zh) 基于红外光谱主成分和神经网络的生物质碳含量测量与建模方法
CN115406853A (zh) 一种淀粉成分预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Li Hua

Inventor after: Rong Jieyu

Inventor after: Jia Xue

Inventor after: He Hongliu

Inventor after: Liu Jie

Inventor after: Huang Jiafu

Inventor before: Li Hua

Inventor before: Rong Jieyu

Inventor before: Jia Xue

Inventor before: He Hongliu

Inventor before: Liu Jie

Inventor before: Huang Jiafu

CB03 Change of inventor or designer information