CN117010266A - 一种基于XGBoost模型的膏体屈服应力预测方法及装置 - Google Patents
一种基于XGBoost模型的膏体屈服应力预测方法及装置 Download PDFInfo
- Publication number
- CN117010266A CN117010266A CN202310416311.5A CN202310416311A CN117010266A CN 117010266 A CN117010266 A CN 117010266A CN 202310416311 A CN202310416311 A CN 202310416311A CN 117010266 A CN117010266 A CN 117010266A
- Authority
- CN
- China
- Prior art keywords
- model
- xgboost model
- predicted
- paste
- yield stress
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 239000002002 slurry Substances 0.000 claims abstract description 103
- 238000012360 testing method Methods 0.000 claims abstract description 72
- 238000012549 training Methods 0.000 claims abstract description 44
- 230000006870 function Effects 0.000 claims description 64
- 230000003068 static effect Effects 0.000 claims description 29
- 239000004576 sand Substances 0.000 claims description 11
- 239000004571 lime Substances 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 6
- 230000001419 dependent effect Effects 0.000 claims description 5
- 238000005429 filling process Methods 0.000 abstract description 5
- 238000002360 preparation method Methods 0.000 abstract description 3
- 230000000694 effects Effects 0.000 description 9
- 238000000518 rheometry Methods 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 5
- 230000015654 memory Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003756 stirring Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
- G06F2119/14—Force analysis or force optimisation, e.g. static or dynamic forces
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Medical Informatics (AREA)
- Geometry (AREA)
- Computer Hardware Design (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Investigating Strength Of Materials By Application Of Mechanical Stress (AREA)
Abstract
本发明涉及膏体充填工艺技术领域，特别是指一种基于XGBoost模型的膏体屈服应力预测方法及装置。方法包括：获取膏体料浆的样本数据；将膏体料浆的样本数据划分为训练数据集和测试数据集；构建用于预测膏体屈服应力的初始XGBoost模型，通过网格搜索对初始XGBoost模型的超参数进行寻优，得到超参数的最优组合，将超参数的最优组合输入XGBoost模型，得到待训练XGBoost模型；将训练数据集输入待训练XGBoost模型进行训练，得到训练完毕的待测试XGBoost模型；将测试数据集输入待测试XGBoost模型进行测试，得到完成测试的XGBoost模型；获取待预测膏体料浆的参数，将待预测膏体料浆的参数输入到XGBoost模型，得到待预测膏体料浆的屈服应力。采用本发明，可以实现膏体精准化制备。
Description
技术领域
本发明涉及膏体充填工艺技术领域，特别是指一种基于XGBoost模型的膏体屈服应力预测方法及装置。
背景技术
矿山开采过程中产生采空区与尾矿库，大量尾砂堆积于地表对环境产生不利影响，采空区也会产生地质灾害。膏体充填工艺将处理后的尾砂填充至采空区，实现“一废治两害”的目标。搅拌是膏体充填工艺中的关键步骤，其目标是保证物料在混合过程中充分混合，混合良好的膏体具有较好的流动性，可以确保充填工艺的顺利进行。流变参数是膏体混合效果的宏观响应，静态屈服应力与动态屈服应力是表征膏体流变特性的重要参数，膏体流变学可以指导和优化搅拌设计。然而膏体流变特性受到多种因素影响，实验结果与影响因素之间的通常仅适用于特定矿山，而且开展流变实验费时费力，膏体流变学很难在矿山生产过程中有效应用。因此，膏体流变参数的预测是实现膏体流变学工业应用的关键。
基于以上问题，学者们开始尝试使用机器学习来解决膏体流变性能预测的问题，不过较少研究关注各因素对膏体流变性能的影响。同时研究中采用的机器学习方法仍然存在训练时间长、预测效果不理想等问题。
发明内容
本发明实施例提供了一种基于XGBoost模型的膏体屈服应力预测方法及装置。所述技术方案如下：
一方面，提供了一种基于XGBoost模型的膏体屈服应力预测方法，该方法由电子设备实现，该方法包括：
S1、获取膏体料浆的样本数据，所述样本数据包括样本输入数据和真实值，所述样本输入数据包括料浆浓度、灰砂比以及尾砂配比，所述真实值包括膏体料浆的静态屈服应力和动态屈服应力；
S2、将所述膏体料浆的样本数据划分为训练数据集和测试数据集；
S3、构建用于预测膏体屈服应力的初始XGBoost模型，通过网格搜索对初始XGBoost模型的超参数进行寻优，得到超参数的最优组合，将超参数的最优组合输入XGBoost模型，得到待训练XGBoost模型；
S4、将所述训练数据集输入所述待训练XGBoost模型进行训练，得到训练完毕的待测试XGBoost模型；
S5、将所述测试数据集输入所述待测试XGBoost模型进行测试，得到完成测试的XGBoost模型；
S6、获取待预测膏体料浆的参数，将所述待预测膏体料浆的参数输入到所述XGBoost模型，得到所述待预测膏体料浆的屈服应力；其中，所述待预测膏体料浆的参数包括待预测膏体料浆的料浆浓度、灰砂比以及尾砂配比，所述待预测膏体料浆的屈服应力包括待预测膏体料浆的静态屈服应力和动态屈服应力。
可选地，所述初始XGBoost模型的超参数，包括学习率、建立每个模型所需要的最小样本数、树的最大深度、给定模型所需的损失函数、用于确定训练模型的子样本占样本集合的比例、建立树时对特征随机采样的比例以及L1和L2正则化项。
可选地，所述通过网格搜索对初始XGBoost模型的超参数进行寻优，得到超参数的最优组合，包括：
列出一个超参数值域，建立参数值字典，建立网格搜索框架；
在所述参数值字典的所有参数选择中，通过循环遍历来尝试每一种可能性，最终确定出最优超参数。
可选地，所述将所述训练数据集输入所述待训练XGBoost模型进行训练，得到训练完毕的待测试XGBoost模型，包括：
构建待训练XGBoost模型基于a个自变量xi的数据集，每个自变量xi都有b个特征值，有xi∈Rm，每个自变量都对应于一个因变量yi，yi∈R，待训练XGBoost模型的预测值如下式(1)：
其中，为模型的预测值，fk表示自变量xi对应的函数，F表示所有可能回归树的集合；
待训练XGBoost模型的预测函数包括损失函数和正则项，正则项负责度量模型的复杂程度，目标函数为如下公式(2)：
其中，E()表示自变量xi的训练误差，即损失函数，H表示正则项，如下式(3)：
其中，γ是每片叶子复杂程度的正则项系数，T与ωi分别代表叶子的数量与第i个叶子的权重，正则项用于避免过拟合，目标函数用于选择一个简单且具有预测能力的模型；
第t次迭代中表示为如下公式(4)：
第t次迭代模型由第t-1次迭代模型加上新的子模型ft(xi)构成，为了使目标函数G达到最小值，采用近似方法对目标函数进行优化，对目标函数泰勒二阶展开得到：
其中gi为对/>的一阶导数，hi为/>对/>的二阶导数；
定义Ij为叶子节点j的样本集，即落在叶子节点j上的所有样本，ft(xi)将样本划分到叶子节点，计算得到叶子节点的分数ω；当i∈Ij，用ωj代替ft(xi)，简化式(5)并对ωj求偏导，令偏导数为0，优先权重与目标函数最小值为：
采用贪心算法获得简化公式，假设IL和IR为分裂后左右子节点的样本集，I＝IL∪IR，节点分裂前后目标函数变化公式为：
Msplit达到最大时将对应的分裂点确定为最有分裂点，通过不断迭代，最终得到最佳集成模型。
可选地，所述将所述测试数据集输入所述待测试XGBoost模型进行测试，得到完成测试的XGBoost模型，包括：
将所述测试数据集输入所述待测试XGBoost模型，得到测试输出值；
将所述测试输出值与所述测试数据集对应的真实值进行比较，计算得出所述待测试XGBoost模型的预测正确率，如果所述待测试XGBoost模型的预测正确率达到预设阈值，则将所述待测试XGBoost模型确定为完成测试的XGBoost模型。
可选地，所述方法还包括：
利用SHAP模型定量评价XGBoost模型的预测值，分析输入的样本中每个特征的SHAP值，SHAP值代表每个特征对于预测值的贡献。
可选地，所述利用SHAP模型定量评价XGBoost模型的预测值，分析输入的样本中每个特征的SHAP值，包括：
假设第i个样本为xi，样本具有j个特征值，该样本的第j个特征为xij，该样本的预测值为yi，则SHAP值如下：
yi＝ybase+f(xi1)+f(xi2)+...+f(xij)
其中，ybase为模型基线，表示样本的目标变量均值，f(xij)为xij的SHAP值，代表第j个特征对预测值yi的贡献值，当f(xij)>0，说明特征起到了正向作用；若f(xij)<0说明特征起到了反向作用，该特征使预测值降低。
另一方面，提供了一种基于XGBoost模型的膏体屈服应力预测装置，该装置应用于基于XGBoost模型的膏体屈服应力预测方法，该装置包括：
获取模块，用于获取膏体料浆的样本数据，所述样本数据包括样本输入数据和真实值，所述样本输入数据包括料浆浓度、灰砂比以及尾砂配比，所述真实值包括膏体料浆的静态屈服应力和动态屈服应力；
划分模块，用于将所述膏体料浆的样本数据划分为训练数据集和测试数据集；
构建模块，用于构建用于预测膏体屈服应力的初始XGBoost模型，通过网格搜索对初始XGBoost模型的超参数进行寻优，得到超参数的最优组合，将超参数的最优组合输入XGBoost模型，得到待训练XGBoost模型；
训练模块，用于将所述训练数据集输入所述待训练XGBoost模型进行训练，得到训练完毕的待测试XGBoost模型；
测试模块，用于将所述测试数据集输入所述待测试XGBoost模型进行测试，得到完成测试的XGBoost模型；
预测模块，用于获取待预测膏体料浆的参数，将所述待预测膏体料浆的参数输入到所述XGBoost模型，得到所述待预测膏体料浆的屈服应力；其中，所述待预测膏体料浆的参数包括待预测膏体料浆的料浆浓度、灰砂比以及尾砂配比，所述待预测膏体料浆的屈服应力包括待预测膏体料浆的静态屈服应力和动态屈服应力。
可选地，所述初始XGBoost模型的超参数，包括学习率、建立每个模型所需要的最小样本数、树的最大深度、给定模型所需的损失函数、用于确定训练模型的子样本占样本集合的比例、建立树时对特征随机采样的比例以及L1和L2正则化项。
可选地，所述构建模块，用于：
列出一个超参数值域，建立参数值字典，建立网格搜索框架；
在所述参数值字典的所有参数选择中，通过循环遍历来尝试每一种可能性，最终确定出最优超参数。
可选地，所述训练模块，用于：
构建待训练XGBoost模型基于a个自变量xi的数据集，每个自变量xi都有b个特征值，有xi∈Rm，每个自变量都对应于一个因变量yi，yi∈R，待训练XGBoost模型的预测值如下式(1)：
其中，为模型的预测值，fk表示自变量xi对应的函数，F表示所有可能回归树的集合；
待训练XGBoost模型的预测函数包括损失函数和正则项，正则项负责度量模型的复杂程度，目标函数为如下公式(2)：
其中，E()表示自变量xi的训练误差，即损失函数，H表示正则项，如下式(3)：
其中，γ是每片叶子复杂程度的正则项系数，T与ωi分别代表叶子的数量与第i个叶子的权重，正则项用于避免过拟合，目标函数用于选择一个简单且具有预测能力的模型；
第t次迭代中表示为如下公式(4)：
第t次迭代模型由第t-1次迭代模型加上新的子模型ft(xi)构成，为了使目标函数G达到最小值，采用近似方法对目标函数进行优化，对目标函数泰勒二阶展开得到：
其中gi为对/>的一阶导数，hi为/>对/>的二阶导数；
定义Ij为叶子节点j的样本集，即落在叶子节点j上的所有样本，ft(xi)将样本划分到叶子节点，计算得到叶子节点的分数ω；当i∈Ij，用ωj代替ft(xi)，简化式(5)并对ωj求偏导，令偏导数为0，优先权重与目标函数最小值为：
采用贪心算法获得简化公式，假设IL和IR为分裂后左右子节点的样本集，I＝IL∪IR，节点分裂前后目标函数变化公式为：
Msplit达到最大时将对应的分裂点确定为最有分裂点，通过不断迭代，最终得到最佳集成模型。
可选地，所述测试模块，用于：
将所述测试数据集输入所述待测试XGBoost模型，得到测试输出值；
将所述测试输出值与所述测试数据集对应的真实值进行比较，计算得出所述待测试XGBoost模型的预测正确率，如果所述待测试XGBoost模型的预测正确率达到预设阈值，则将所述待测试XGBoost模型确定为完成测试的XGBoost模型。
可选地，所述装置还包括分析模块，所述分析模块用于：
利用SHAP模型定量评价XGBoost模型的预测值，分析输入的样本中每个特征的SHAP值，SHAP值代表每个特征对于预测值的贡献。
可选地，所述分析模块用于：
假设第i个样本为xi，样本具有j个特征值，该样本的第j个特征为xij，该样本的预测值为yi，则SHAP值如下：
yi＝ybase+f(xi1)+f(xi2)+...+f(xij)
其中，ybase为模型基线，表示样本的目标变量均值，f(xij)为xij的SHAP值，代表第j个特征对预测值yi的贡献值，当f(xij)>0，说明特征起到了正向作用；若f(xij)<0说明特征起到了反向作用，该特征使预测值降低。
另一方面，提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述基于XGBoost模型的膏体屈服应力预测方法。
另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述基于XGBoost模型的膏体屈服应力预测方法。
本发明实施例提供的技术方案带来的有益效果至少包括：
本发明中，获取膏体料浆的样本数据，样本数据包括样本输入数据和真实值，样本输入数据包括料浆浓度、灰砂比以及尾砂配比，真实值包括膏体料浆的静态屈服应力和动态屈服应力；将膏体料浆的样本数据划分为训练数据集和测试数据集；构建用于预测膏体屈服应力的初始XGBoost模型，通过网格搜索对初始XGBoost模型的超参数进行寻优，得到超参数的最优组合，将超参数的最优组合输入XGBoost模型，得到待训练XGBoost模型；将训练数据集输入待训练XGBoost模型进行训练，得到训练完毕的待测试XGBoost模型；将测试数据集输入待测试XGBoost模型进行测试，得到完成测试的XGBoost模型；获取待预测膏体料浆的参数，将待预测膏体料浆的参数输入到XGBoost模型，得到待预测膏体料浆的屈服应力。通过本发明，可以构建影响因素与膏体流变参数的关系，同时解决机器学习训练时间长、预测效果不理想等问题，实现了膏体静态屈服应力与动态屈服应力的有效预测，并达到了量化评价不同因素对膏体流变特性影响的目标，从而实现膏体精准化制备的技术效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于XGBoost模型的膏体屈服应力预测方法流程图；
图2是本发明实施例提供的一种静态屈服应力预测模型的特征重要性SHAP分析图；
图3为本发明实施例提供的一种的静态屈服应力预测模型的特征密度散点图；
图4为本发明实施例提供的一种的静态屈服应力预测模型的SHAP决策图；
图5为本发明实施例提供的一种的动态屈服应力预测模型的特征重要性SHAP分析图；
图6为本发明实施例提供的一种的动态屈服应力预测模型的特征密度散点图；
图7为本发明实施例提供的一种的动态屈服应力预测模型的SHAP决策图；
图8是本发明实施例提供的一种基于XGBoost模型的膏体屈服应力预测装置框图；
图9是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明实施例提供了一种基于XGBoost模型的膏体屈服应力预测方法，该方法可以由电子设备实现，该电子设备可以是终端或服务器。如图1所示的基于XGBoost模型的膏体屈服应力预测方法流程图，该方法的处理流程可以包括如下的步骤：
S1、获取膏体料浆的样本数据，样本数据包括样本输入数据和真实值。
其中，样本输入数据包括料浆浓度、灰砂比以及尾砂配比，真实值包括膏体料浆的静态屈服应力和动态屈服应力。
一种可行的实施方式中，可以先构建膏体流变参数数据库，在构建该数据库时，可以采用已有的研究成果数据，也可以开展流变实验。需要说明的是，膏体的流变参数应该采用相同的流变实验方案得到。
S2、将膏体料浆的样本数据划分为训练数据集和测试数据集。
一种可行的实施方式中，在膏体料浆的样本数据中随机选取75％的实验数据作为训练数据集，用于训练模型；剩下的25％的实验数据作为测试数据集，用于评估屈服应力模型的预测性能。
S3、构建用于预测膏体屈服应力的初始XGBoost模型，通过网格搜索对初始XGBoost模型的超参数进行寻优，得到超参数的最优组合，将超参数的最优组合输入XGBoost模型，得到待训练XGBoost模型。
可选地，初始XGBoost模型的超参数，包括学习率、建立每个模型所需要的最小样本数、树的最大深度、给定模型所需的损失函数、用于确定训练模型的子样本占样本集合的比例、建立树时对特征随机采样的比例以及L1和L2正则化项。
一种可行的实施方式中，eta为学习率；Min＿child＿weight代表建立每个模型所需要的最小样本数；Max＿depth是树的最大深度；gamma给定模型所需损失函数；subsample用于确定训练模型的子样本占样本集合的比例；colsample＿bytree表示建立树时对特征随机采样的比例；lambda和alpha分别是L2和L1正则化项。
可选地，通过网格搜索对初始XGBoost模型的超参数进行寻优，得到超参数的最优组合，可以包括如下步骤：
列出一个超参数值域，建立参数值字典，建立网格搜索框架；
在参数值字典的所有参数选择中，通过循环遍历来尝试每一种可能性，最终确定出最优超参数。
S4、将训练数据集输入待训练XGBoost模型进行训练，得到训练完毕的待测试XGBoost模型。
一种可行的实施方式中，利用训练数据集对待训练XGBoost模型进行训练，判定训练得到的参数是否为最优，并且通过适应度函数判断模型是否过拟合。可选地，相应的训练步骤具体可以如下：
构建待训练XGBoost模型基于a个自变量xi的数据集，每个自变量xi都有b个特征值，有xi∈Rm，每个自变量都对应于一个因变量yi，yi∈R，待训练XGBoost模型的预测值如下式(1)：
其中，为模型的预测值，fk表示自变量xi对应的函数，F表示所有可能回归树的集合；
待训练XGBoost模型的预测函数包括损失函数和正则项，正则项负责度量模型的复杂程度，目标函数为如下公式(2)：
其中，E()表示自变量xi的训练误差，即损失函数，H表示正则项，如下式(3)：
其中，γ是每片叶子复杂程度的正则项系数，T与ωi分别代表叶子的数量与第i个叶子的权重，正则项用于避免过拟合，目标函数用于选择一个简单且具有预测能力的模型；
第t次迭代中表示为如下公式(4)：
第t次迭代模型由第t-1次迭代模型加上新的子模型ft(xi)构成，为了使目标函数G达到最小值，采用近似方法对目标函数进行优化，对目标函数泰勒二阶展开得到：
其中gi为对/>的一阶导数，hi为/>对/>的二阶导数；
定义Ij为叶子节点j的样本集，即落在叶子节点j上的所有样本，ft(xi)将样本划分到叶子节点，计算得到叶子节点的分数ω；当i∈Ij，用ωj代替ft(xi)，简化式(5)并对ωj求偏导，令偏导数为0，优先权重与目标函数最小值为：
采用贪心算法获得简化公式，假设IL和IR为分裂后左右子节点的样本集，I＝IL∪IR，节点分裂前后目标函数变化公式为：
Msplit达到最大时将对应的分裂点确定为最有分裂点，通过不断迭代，最终得到最佳集成模型。
需要说明的是，在上述的训练过程中，将适应度函数设置为RMSE(RootMeanSquared Error，均方根误差)以防止过拟合，随着迭代次数的增加，RMSE先下降更快再变慢的趋势。经过反复迭代，当训练集的RMSE收敛到最优解，超参数达到最优解，XGBoost模型没有过拟合。
S5、将测试数据集输入待测试XGBoost模型进行测试，得到完成测试的XGBoost模型。
可选地，评测的过程具体可以如下：
将测试数据集输入待测试XGBoost模型，得到测试输出值；
将测试输出值与测试数据集对应的真实值进行比较，计算得出待测试XGBoost模型的预测正确率，如果待测试XGBoost模型的预测正确率达到预设阈值，则将待测试XGBoost模型确定为完成测试的XGBoost模型。
需要说明的是，对待测试XGBoost模型的测试方法可以参照现有技术中常用的测试方法，本发明实施例在此不做赘述。
S6、获取待预测膏体料浆的参数，将待预测膏体料浆的参数输入到XGBoost模型，得到待预测膏体料浆的屈服应力。
其中，待预测膏体料浆的参数包括待预测膏体料浆的料浆浓度、灰砂比以及尾砂配比，待预测膏体料浆的屈服应力包括待预测膏体料浆的静态屈服应力和动态屈服应力。
一种可行的实施方式中，为了进一步验证XGBoost模型膏体屈服应力预测模型的性能，本发明与不同的预测模型对同样的流变数据进行预测的结果进行了对比分析，本发明选用了梯度提升决策树(GBDT)、自适应提升树算法(ADBT)和随机森林算法(RF)。选择了四个评估指标来评估XGBoost模型的充分性和有效性，包括确定系数(R2)、平均绝对误差(MAE)、均方根误差(RMSE)和解释方差分数(EVS)。R2描述回归模型方差分数，范围为(0，1]，值越大表示预测模型的准确性越高；MAE评估预测与真实数据集的接近程度，值越小拟合越好；RMSE解释预测误差的分布，RMSE较小代表预测分布的变化较小；EVS是在(0，1]范围内定义模型方差分数，数值越大越有效。
其中R2、MAE、RMSE和EVS的计算公式如下：
其中YSpi是预测屈服应力值，YSti是真实屈服应力值，SSE是误差平方和，SST是总平方和，ME是平均残差。训练后的模型进入测试部分，得到评估值，如表1所示。
表1
从表1可以看出，相较于ADBT、GBDT和RF模型，本发明XGBoost预测模型的R2和EVS值较大(静态屈服应力预测模型的R2＝0.938，EVS＝0.940，动态屈服应力预测模型的R2＝0.935，EVS＝0.939)，而且MAE和RMSE值较小(静态屈服应力预测模型的MAE＝4.260，RMSE＝5.623，动态屈服应力预测模型的MAE＝3.115，RMSE＝4.334)。综合各项指标，XGBoost模型的预测效果较好。
S7、利用SHAP模型定量评价XGBoost模型的预测值，分析输入的样本中每个特征的SHAP值，SHAP值代表每个特征对于预测值的贡献。
可选地，利用SHAP模型定量评价XGBoost模型的预测值，分析输入的样本中每个特征的SHAP值，包括：
假设第i个样本为xi，样本具有j个特征值，该样本的第j个特征为xij，该样本的预测值为yi，则SHAP值如下：
yi＝ybase+f(xi1)+f(xi2)+...+f(xij)
其中，ybase为模型基线，表示样本的目标变量均值，f(xij)为xij的SHAP值，代表第j个特征对预测值yi的贡献值，当f(xij)>0，说明特征起到了正向作用；若f(xij)<0说明特征起到了反向作用，该特征使预测值降低。
一种可行的实施方式中，在步骤S6后，利用SHAP模型定量评价机器学习模型的输出。图2为静态屈服应力预测模型的特征重要性SHAP图，图中特征按照其对模型的影响大小的绝对值排序，特征重要性从大到小依次为料浆浓度、灰砂比与尾砂配比，料膏体浆的重要性远大于其他两个特征。图3为静态屈服应力预测模型的特征密度散点图，料浆浓度中高分红点的SHAP值大于0，这个特征对静态屈服应力预测起到正向作用；灰砂比对静态屈服应力预测的重要性更大，二者对静态屈服应力预测的贡献较小。图4为静态屈服应力预测模型的SHAP决策图，x轴为模型输出结果，y轴为SHAP值。每条折线都与样本对应，每条折线都是特征值累加的过程，更多样本的SHAP值在达到料浆浓度特征时显著增加，料浆浓度对预测值的贡献最大。图5为动态屈服应力预测模型的特征重要性图，料浆浓度的重要性最大，其平均SHAP的绝对值大于12，其次是灰砂比与尾砂配比。图6为动态屈服应力预测模型的特征密度散点图，料浆浓度对模型非常重要，料浆浓度高分红点的SHAP值大于0，料浆浓度对预测值产生了正向影响，而灰砂比与尾砂配比的样本分布大多在SHAP＝0的位置分布，说明这两个特征值对大部分样本影响较小。图7为动态屈服应力预测模型的SHAP决策图，折线在料浆浓度特征这部分得到显著增加。无论对于静态屈服应力与动态屈服应力预测模型，料浆浓度对预测值的贡献度最大，其次是灰砂比与尾砂配比。
本发明中，获取膏体料浆的样本数据，样本数据包括样本输入数据和真实值，样本输入数据包括料浆浓度、灰砂比以及尾砂配比，真实值包括膏体料浆的静态屈服应力和动态屈服应力；将膏体料浆的样本数据划分为训练数据集和测试数据集；构建用于预测膏体屈服应力的初始XGBoost模型，通过网格搜索对初始XGBoost模型的超参数进行寻优，得到超参数的最优组合，将超参数的最优组合输入XGBoost模型，得到待训练XGBoost模型；将训练数据集输入待训练XGBoost模型进行训练，得到训练完毕的待测试XGBoost模型；将测试数据集输入待测试XGBoost模型进行测试，得到完成测试的XGBoost模型；获取待预测膏体料浆的参数，将待预测膏体料浆的参数输入到XGBoost模型，得到待预测膏体料浆的屈服应力。通过本发明，可以构建影响因素与膏体流变参数的关系，同时解决机器学习训练时间长、预测效果不理想等问题，实现了膏体静态屈服应力与动态屈服应力的有效预测，并达到了量化评价不同因素对膏体流变特性影响的目标，从而实现膏体精准化制备的技术效果。
图8是根据一示例性实施例示出的一种基于XGBoost模型的膏体屈服应力预测装置框图，该装置用于基于XGBoost模型的膏体屈服应力预测方法。参照图8，该装置包括：
获取模块810，用于获取膏体料浆的样本数据，所述样本数据包括样本输入数据和真实值，所述样本输入数据包括料浆浓度、灰砂比以及尾砂配比，所述真实值包括膏体料浆的静态屈服应力和动态屈服应力；
划分模块820，用于将所述膏体料浆的样本数据划分为训练数据集和测试数据集；
构建模块830，用于构建用于预测膏体屈服应力的初始XGBoost模型，通过网格搜索对初始XGBoost模型的超参数进行寻优，得到超参数的最优组合，将超参数的最优组合输入XGBoost模型，得到待训练XGBoost模型；
训练模块840，用于将所述训练数据集输入所述待训练XGBoost模型进行训练，得到训练完毕的待测试XGBoost模型；
测试模块850，用于将所述测试数据集输入所述待测试XGBoost模型进行测试，得到完成测试的XGBoost模型；
预测模块860，用于获取待预测膏体料浆的参数，将所述待预测膏体料浆的参数输入到所述XGBoost模型，得到所述待预测膏体料浆的屈服应力；其中，所述待预测膏体料浆的参数包括待预测膏体料浆的料浆浓度、灰砂比以及尾砂配比，所述待预测膏体料浆的屈服应力包括待预测膏体料浆的静态屈服应力和动态屈服应力。
可选地，所述初始XGBoost模型的超参数，包括学习率、建立每个模型所需要的最小样本数、树的最大深度、给定模型所需的损失函数、用于确定训练模型的子样本占样本集合的比例、建立树时对特征随机采样的比例以及L1和L2正则化项。
可选地，所述构建模块，用于：
列出一个超参数值域，建立参数值字典，建立网格搜索框架；
在所述参数值字典的所有参数选择中，通过循环遍历来尝试每一种可能性，最终确定出最优超参数。
可选地，所述训练模块，用于：
构建待训练XGBoost模型基于a个自变量xi的数据集，每个自变量xi都有b个特征值，有xi∈Rm，每个自变量都对应于一个因变量yi，yi∈R，待训练XGBoost模型的预测值如下式(1)：
其中，为模型的预测值，fk表示自变量xi对应的函数，F表示所有可能回归树的集合；
待训练XGBoost模型的预测函数包括损失函数和正则项，正则项负责度量模型的复杂程度，目标函数为如下公式(2)：
其中，E()表示自变量xi的训练误差，即损失函数，H表示正则项，如下式(3)：
其中，γ是每片叶子复杂程度的正则项系数，T与ωi分别代表叶子的数量与第i个叶子的权重，正则项用于避免过拟合，目标函数用于选择一个简单且具有预测能力的模型；
第t次迭代中表示为如下公式(4)：
第t次迭代模型由第t-1次迭代模型加上新的子模型ft(xi)构成，为了使目标函数G达到最小值，采用近似方法对目标函数进行优化，对目标函数泰勒二阶展开得到：
其中gi为对/>的一阶导数，hi为/>对/>的二阶导数；
定义Ij为叶子节点j的样本集，即落在叶子节点j上的所有样本，ft(xi)将样本划分到叶子节点，计算得到叶子节点的分数ω；当i∈Ij，用ωj代替ft(xi)，简化式(5)并对ωj求偏导，令偏导数为0，优先权重与目标函数最小值为：
采用贪心算法获得简化公式，假设IL和IR为分裂后左右子节点的样本集，I＝IL∪IR，节点分裂前后目标函数变化公式为：
Msplit达到最大时将对应的分裂点确定为最有分裂点，通过不断迭代，最终得到最佳集成模型。
可选地，所述测试模块，用于：
将所述测试数据集输入所述待测试XGBoost模型，得到测试输出值；
将所述测试输出值与所述测试数据集对应的真实值进行比较，计算得出所述待测试XGBoost模型的预测正确率，如果所述待测试XGBoost模型的预测正确率达到预设阈值，则将所述待测试XGBoost模型确定为完成测试的XGBoost模型。
可选地，所述装置还包括分析模块，所述分析模块用于：
利用SHAP模型定量评价XGBoost模型的预测值，分析输入的样本中每个特征的SHAP值，SHAP值代表每个特征对于预测值的贡献。
可选地，所述分析模块用于：
假设第i个样本为xi，样本具有j个特征值，该样本的第j个特征为xij，该样本的预测值为yi，则SHAP值如下：
yi＝ybase+f(xi1)+f(xi2)+...+f(xij)
其中，ybase为模型基线，表示样本的目标变量均值，f(xij)为xij的SHAP值，代表第j个特征对预测值yi的贡献值，当f(xij)>0，说明特征起到了正向作用；若f(xij)<0说明特征起到了反向作用，该特征使预测值降低。
图9是本发明实施例提供的一种电子设备900的结构示意图，该电子设备900可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(centralprocessing units，CPU)901和一个或一个以上的存储器902，其中，所述存储器902中存储有至少一条指令，所述至少一条指令由所述处理器901加载并执行以实现上述中文文本拼写检查方法的步骤。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成上述中文文本拼写检查方法。例如，所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于XGBoost模型的膏体屈服应力预测方法，其特征在于，所述方法包括：
S1、获取膏体料浆的样本数据，所述样本数据包括样本输入数据和真实值，所述样本输入数据包括料浆浓度、灰砂比以及尾砂配比，所述真实值包括膏体料浆的静态屈服应力和动态屈服应力；
S2、将所述膏体料浆的样本数据划分为训练数据集和测试数据集；
S3、构建用于预测膏体屈服应力的初始XGBoost模型，通过网格搜索对初始XGBoost模型的超参数进行寻优，得到超参数的最优组合，将超参数的最优组合输入XGBoost模型，得到待训练XGBoost模型；
S4、将所述训练数据集输入所述待训练XGBoost模型进行训练，得到训练完毕的待测试XGBoost模型；
S5、将所述测试数据集输入所述待测试XGBoost模型进行测试，得到完成测试的XGBoost模型；
S6、获取待预测膏体料浆的参数，将所述待预测膏体料浆的参数输入到所述XGBoost模型，得到所述待预测膏体料浆的屈服应力；其中，所述待预测膏体料浆的参数包括待预测膏体料浆的料浆浓度、灰砂比以及尾砂配比，所述待预测膏体料浆的屈服应力包括待预测膏体料浆的静态屈服应力和动态屈服应力。
2.根据权利要求1所述的方法，其特征在于，所述初始XGBoost模型的超参数，包括学习率、建立每个模型所需要的最小样本数、树的最大深度、给定模型所需的损失函数、用于确定训练模型的子样本占样本集合的比例、建立树时对特征随机采样的比例以及L1和L2正则化项。
3.根据权利要求1所述的方法，其特征在于，所述通过网格搜索对初始XGBoost模型的超参数进行寻优，得到超参数的最优组合，包括：
列出一个超参数值域，建立参数值字典，建立网格搜索框架；
在所述参数值字典的所有参数选择中，通过循环遍历来尝试每一种可能性，最终确定出最优超参数。
4.根据权利要求1所述的方法，其特征在于，所述将所述训练数据集输入所述待训练XGBoost模型进行训练，得到训练完毕的待测试XGBoost模型，包括：
构建待训练XGBoost模型基于a个自变量xi的数据集，每个自变量xi都有b个特征值，有xi∈Rm，每个自变量都对应于一个因变量yi，yi∈R，待训练XGBoost模型的预测值如下式(1)：
其中，为模型的预测值，fk表示自变量xi对应的函数，F表示所有可能回归树的集合；
待训练XGBoost模型的预测函数包括损失函数和正则项，正则项负责度量模型的复杂程度，目标函数为如下公式(2)：
其中，E()表示自变量xi的训练误差，即损失函数，H表示正则项，如下式(3)：
其中，γ是每片叶子复杂程度的正则项系数，T与ωi分别代表叶子的数量与第i个叶子的权重，正则项用于避免过拟合，目标函数用于选择一个简单且具有预测能力的模型；
第t次迭代中表示为如下公式(4)：
第t次迭代模型由第t-1次迭代模型加上新的子模型ft(xi)构成，为了使目标函数G达到最小值，采用近似方法对目标函数进行优化，对目标函数泰勒二阶展开得到：
其中gi为对/>的一阶导数，hi为/>对/>的二阶导数；
定义Ij为叶子节点j的样本集，即落在叶子节点j上的所有样本，ft(xi)将样本划分到叶子节点，计算得到叶子节点的分数ω；当i∈Ij，用ωj代替ft(xi)，简化式(5)并对ωj求偏导，令偏导数为0，优先权重与目标函数最小值为：
采用贪心算法获得简化公式，假设IL和IR为分裂后左右子节点的样本集，I＝IL∪IR，节点分裂前后目标函数变化公式为：
Msplit达到最大时将对应的分裂点确定为最有分裂点，通过不断迭代，最终得到最佳集成模型。
5.根据权利要求1所述的方法，其特征在于，所述将所述测试数据集输入所述待测试XGBoost模型进行测试，得到完成测试的XGBoost模型，包括：
将所述测试数据集输入所述待测试XGBoost模型，得到测试输出值；
将所述测试输出值与所述测试数据集对应的真实值进行比较，计算得出所述待测试XGBoost模型的预测正确率，如果所述待测试XGBoost模型的预测正确率达到预设阈值，则将所述待测试XGBoost模型确定为完成测试的XGBoost模型。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
利用SHAP模型定量评价XGBoost模型的预测值，分析输入的样本中每个特征的SHAP值，SHAP值代表每个特征对于预测值的贡献。
7.根据权利要求6所述的方法，其特征在于，所述利用SHAP模型定量评价XGBoost模型的预测值，分析输入的样本中每个特征的SHAP值，包括：
假设第i个样本为xi，样本具有j个特征值，该样本的第j个特征为xij，该样本的预测值为yi，则SHAP值如下：
yi＝ybase+f(xi1)+f(xi2)+...+f(xij)
其中，ybase为模型基线，表示样本的目标变量均值，f(xij)为xij的SHAP值，代表第j个特征对预测值yi的贡献值，当f(xij)>0，说明特征起到了正向作用；若f(xij)<0说明特征起到了反向作用，该特征使预测值降低。
8.一种基于XGBoost模型的膏体屈服应力预测装置，其特征在于，所述装置包括：
获取模块，用于获取膏体料浆的样本数据，所述样本数据包括样本输入数据和真实值，所述样本输入数据包括料浆浓度、灰砂比以及尾砂配比，所述真实值包括膏体料浆的静态屈服应力和动态屈服应力；
划分模块，用于将所述膏体料浆的样本数据划分为训练数据集和测试数据集；
构建模块，用于构建用于预测膏体屈服应力的初始XGBoost模型，通过网格搜索对初始XGBoost模型的超参数进行寻优，得到超参数的最优组合，将超参数的最优组合输入XGBoost模型，得到待训练XGBoost模型；
训练模块，用于将所述训练数据集输入所述待训练XGBoost模型进行训练，得到训练完毕的待测试XGBoost模型；
测试模块，用于将所述测试数据集输入所述待测试XGBoost模型进行测试，得到完成测试的XGBoost模型；
预测模块，用于获取待预测膏体料浆的参数，将所述待预测膏体料浆的参数输入到所述XGBoost模型，得到所述待预测膏体料浆的屈服应力；其中，所述待预测膏体料浆的参数包括待预测膏体料浆的料浆浓度、灰砂比以及尾砂配比，所述待预测膏体料浆的屈服应力包括待预测膏体料浆的静态屈服应力和动态屈服应力。
9.根据权利要求8所述的装置，其特征在于，所述初始XGBoost模型的超参数，包括学习率、建立每个模型所需要的最小样本数、树的最大深度、给定模型所需的损失函数、用于确定训练模型的子样本占样本集合的比例、建立树时对特征随机采样的比例以及L1和L2正则化项。
10.根据权利要求8所述的装置，其特征在于，所述构建模块，用于：
列出一个超参数值域，建立参数值字典，建立网格搜索框架；
在所述参数值字典的所有参数选择中，通过循环遍历来尝试每一种可能性，最终确定出最优超参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310416311.5A CN117010266A (zh) | 2023-04-18 | 2023-04-18 | 一种基于XGBoost模型的膏体屈服应力预测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310416311.5A CN117010266A (zh) | 2023-04-18 | 2023-04-18 | 一种基于XGBoost模型的膏体屈服应力预测方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117010266A true CN117010266A (zh) | 2023-11-07 |
Family
ID=88562546
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310416311.5A Pending CN117010266A (zh) | 2023-04-18 | 2023-04-18 | 一种基于XGBoost模型的膏体屈服应力预测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117010266A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117371336A (zh) * | 2023-12-05 | 2024-01-09 | 昆明理工大学 | 一种基于深度学习的膏体屈服应力预测方法及系统 |
| CN117637080A (zh) * | 2024-01-26 | 2024-03-01 | 昆明理工大学 | 一种基于充填料浆差异性分析的屈服应力预测方法 |
-
2023
- 2023-04-18 CN CN202310416311.5A patent/CN117010266A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117371336A (zh) * | 2023-12-05 | 2024-01-09 | 昆明理工大学 | 一种基于深度学习的膏体屈服应力预测方法及系统 |
| CN117371336B (zh) * | 2023-12-05 | 2024-02-02 | 昆明理工大学 | 一种基于深度学习的膏体屈服应力预测方法及系统 |
| CN117637080A (zh) * | 2024-01-26 | 2024-03-01 | 昆明理工大学 | 一种基于充填料浆差异性分析的屈服应力预测方法 |
| CN117637080B (zh) * | 2024-01-26 | 2024-04-09 | 昆明理工大学 | 一种基于充填料浆差异性分析的屈服应力预测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sinaga et al. | Implementation of Decision Support System for Determination of Employee Contract Extension Method Using SAW | |
| CN117010266A (zh) | 一种基于XGBoost模型的膏体屈服应力预测方法及装置 | |
| US10360517B2 (en) | Distributed hyperparameter tuning system for machine learning | |
| CN112989708B (zh) | 一种基于lstm神经网络的测井岩性识别方法及系统 | |
| CN108376295B (zh) | 一种油气甜点预测方法及存储介质 | |
| CN113076734B (zh) | 一种项目文本的相似度检测方法及装置 | |
| CN110222387B (zh) | 基于混合漏积分crj网络的多元钻井时间序列预测方法 | |
| CN112668809B (zh) | 建立自闭症儿童康复效果预测模型的方法 | |
| US11893495B2 (en) | Dual neural network architecture for determining epistemic and aleatoric uncertainties | |
| Zhou et al. | Efficient reliability analysis based on deep learning-enhanced surrogate modelling and probability density evolution method | |
| Yang et al. | Experimental analysis and evaluation of wide residual networks based agricultural disease identification in smart agriculture system | |
| CN112750507B (zh) | 基于混合机器学习模型的同时检测水中硝酸盐和亚硝酸盐含量的方法 | |
| Nasiboglu et al. | Estimation of the second hand car prices from data extracted via web scraping techniques | |
| Fischer et al. | A bound for the convergence rate of parallel tempering for sampling restricted Boltzmann machines | |
| CN111901330A (zh) | 集成学习模型构建方法、识别方法及装置、服务器和介质 | |
| Koodiani et al. | Machine learning tools to improve nonlinear modeling parameters of RC columns | |
| CN116578915A (zh) | 一种基于图神经网络的结构化户型解析方法和系统 | |
| CN114627963B (zh) | 蛋白数据填充方法、系统、计算机设备及可读存储介质 | |
| CN114420219A (zh) | 相对保留时间预测模型的构建方法、预测方法及装置 | |
| CN111026661B (zh) | 一种软件易用性全面测试方法及系统 | |
| Kraus | Adaptive Neyman's smooth tests of homogeneity of two samples of survival data | |
| Gomes et al. | A hybrid multi-step sensitivity-driven evolutionary polynomial regression enables robust model structure selection | |
| CN113495986A (zh) | 数据处理的方法与装置 | |
| Fromkorth et al. | Analysis of least squares regression estimates in case of additional errors in the variables | |
| CN116451812B (zh) | 基于多粒度级联森林和超参优化的润湿性预测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |