CN109918708A - 一种基于异质集成学习的材料性能预测模型构建方法 - Google Patents

Abstract

本发明涉及一种基于异质集成学习的材料性能预测模型构建方法，属于计算机与材料科学交叉技术领域。本发明通过机器学习中异质集成学习方法的Stacking方法构建一种材料性能预测模型，为材料的设计与制造提供一定的数据指导，提高新材料研发的效率，并降低研发周期与研发成本。本发明与现有技术相比，主要解决了目前材料基因工程中单模型预测的准确率较低，且泛化能力较弱等现象，通过Stacking集成学习方法将几种不同的机器学习模型集成为一个准确率高于基学习器的强预测模型(Stacking模型)，再通过该模型对材料的性能进行预测。效果是：极大提高了预测准确率，提高了模型的泛化能力，有利于降低新材料研发成本。

Description

一种基于异质集成学习的材料性能预测模型构建方法

技术领域

本发明涉及一种基于异质集成学习的材料性能预测模型构建方法，属于计算机与材料科学交叉技术领域。

背景技术

当前，面对竞争激励的制造业和快速的经济发展，材料科学家和工程师必须缩短新材料从发现到应用的研发周期，以期来解决21世纪的巨大挑战。然而，当前的新材料研发主要依据研究者的科学直觉和大量重复的“尝试法”实验。其实，有些实验是可以借助现有高效、准确的计算工具，然而，这种计算模拟的准确性依然很弱。制约材料研发周期的另一因素是从发现、发展、性能优化、系统设计与集成、产品论证及推广过程中涉及的研究团队间彼此独立，缺少合作和相互数据的共享以及材料设计的技术有待大幅度提升。

《材料基因组计划》拟通过集成材料计算与计算机技术之间的协作，把材料研发周期减半，降低研发成本。机器学习作为现在应用最广泛的计算机领域的技术，成为了材料基因工程必不可少的辅助工具。

目前，材料基因工程中的机器学习主要使用单个模型进行材料性能或化学结构的学习预测，而集成学习是某种规则把多个模型进行整合，从而获得比单个学习器更好的预测效果的一种机器学习方法。集成学习方法主要根据个体学习器的不同运用分为同质集成学习与异质集成学习。现有聚酰亚胺基纳米复合薄膜击穿场强预测模型及其构建方法和应用(CN106295852A)使用同质集成学习方法，将多个支持向量回归器构建成一个强预测模型，从而预测聚酰亚胺基纳米复合薄膜击穿场强。

但现有技术中材料基因工程中单模型预测的准确率较低，且泛化能力较弱，且研发成本高。

发明内容

本发明提供了一种基于异质集成学习的材料性能预测模型构建方法，以用于解决目前材料基因工程中单模型预测的准确率较低，且泛化能力较弱等现象，极大地提高了性能预测的准确率与模型的泛化能力，有利于降低材料研发成本。

本发明采用的技术方案是：一种基于异质集成学习的材料性能预测模型构建方法，所述方法的具体步骤如下：

1、通过异质集成学习Stacking方法将多种不同的机器学习算法模型作为基学习器组成初级学习器进行学习和拟合后，所得结果作为次级学习器DT(Decision Tree，决策树)的输入，最终将初级学习器与次级学习器集成为准确率高于每个单独的基学习器的强预测模型(Stacking模型)。具体步骤如下：

Step1、收集材料实验过程参数(如温度、压强等)及通过这些过程参数所得的材料性能数据作为Stacking模型的数据集Data，并将数据集的70％作为训练数据集D_train，30％作为最终测试集D_test；

Step2、通过异质集成学习Stacking方法将SVM(Support Vector Machine，支持向量机)、NBM(Naive Bayesian Model，朴素贝叶斯模型)、NN(Neural Networks，神经网络)三种机器学习算法模型作为基学习器组成初级学习器；

Step3、将D_train分为训练部分和测试部分输入到初级学习器中对三个基学习器进行学习和拟合；

Step4、将每个基学习器的训练集中作为测试集的部分数据集合并作为次级学习器的训练数据集对次级学习器进行训练；

Step5、在Stacking模型训练完成后，将最终的测试数据集D_test输入Stacking模型中，经过初级学习器和次级学习器得到模型输出的材料性能参数；观察所得测试结果与测试集中已知的材料性能参数是否拟合情况良好，若拟合程度较高，则说明此异质集成学习Stacking模型搭建成功。

具体地，所述Step3的数据集D_train的划分具体步骤如下：

在初级学习器中，基于训练数据集D_train在初级学习器中采用3折交叉验证的方法，将每个基学习器所输入的训练数据集再次分割，其中2/3作为基学习器自身训练集B_train进行学习，1/3作为自身测试集进行测试拟合B_test。

具体地，所述Step3的学习和拟合具体实施步骤如下：

Step1、基于训练数据集B_train，分别输入到对应SVM、NBM、NN三种机器学习算法的三个基学习器M_t(t＝1,2,3)中，得到三个基学习器的预测结果Z_i(i＝1,2,3)，

Step2、将三个B_test数据集合并为一个数据集D′作为下一层模型DT的训练数据集进行学习训练，并得到基于训练数据集的预测结果Z_train。

所述Step2中，初级学习器中三种基学习器机器学习算法模型具体如下：

SVM模型定义为：

α_i为拉格朗日乘子，y_i为输出，b为阈值；函数k(x,x_i)为核函数，模型中使用RBF高斯核函数；

并且，构建SVM模型时采用SMO优化算法求出一系列α和b，从而计算出权重向量，进而得到预测模型；

NBM中，基于属性条件独立性假设，先得到后验概率：

其中P(c)为先验概率，P(x|c)为类条件概率，P(x)为x的概率，P(x_i|)为对应第i个事件的类条件概率，d为属性数目，同时，基于贝叶斯判定准则，这里采用的朴素贝叶斯表达式为：

对于NN模型，运用BP算法构建了一个5层前馈神经网络，隐层与输出层神经元都使用Sigmoid函数，此模型中在训练集上的误差目标函数为：

m为训练样例总数，E_k为第k个训练样例上的误差，ω_i为连接权和阈值，λ∈(0,1)用于对经验误差和网络复杂度进行折中。

所述step4中，关于次级学习器算法模型的选择具体如下：

次级学习器模型由于要对初级学习器的三个模型结果进行集成加权投票，使用了在分类方面较为出色的DT模型，此处使用信息熵与信息增益来对DT分支结点进行划分，对数据集D的信息熵定义为：

|γ|为样本总类别个数，p_k为D中第k类样本所占比例，判别准则为Ent(D)的值越小，则D的纯度越高；

于是，可计算出划分所获得的信息增益：

假定离散属性a有V个可能取值{a1，a2，a3.....av}，若用a来对样本集合D来进行划分，则会产生V个分支结点，其中第v个分支结点包含D中所有在属性a上取值为av的样本，记做D^v，对于信息增益，信息增益越大，使用属性a划分所得的纯度提升越大，最终集成模型获得材料性能准确率越高，且有更强的泛化能力。

本发明的有益效果是：本发明使用Stacking集成学习方法，将SVM、NN、NBM作为初级学习器，与DT算法模型集成为一种强预测模型(Stacking模型)。极大地提高了性能预测的准确率与模型的泛化能力，有利于降低新材料研发成本。

附图说明

图1是一种新材料性能预测模型构建方法基本流程图；

图2是Staking集成学习模型详细流程图。

具体实施方式

下面结合附图和具体实施例，对本发明作进一步的说明。

实施例1：如图1-2所示，一种新材料性能预测模型构建方法，整体步骤如下：

通过Stacking方法将支持向量机(Support Vector Machine,SVM)、朴素贝叶斯模型(Naive Bayesian Model，NBM)、神经网络(Neural Networks，NNs)三种机器学习算法模型作为基学习器组成初级学习器进行学习和拟合后，所得结果作为次级学习器决策树(Decision Tree,DT)的输入，最终将基学习器即成为准确率高于基学习器的强预测模型(Stacking模型)。具体实施步骤如下：

1、从收集到的材料试验过程数据集中，选择对材料性能影响较大的实验参数(如温度、压强、导热性等)作为模型的输入参数，将期望得到的材料性能参数作为本模型的输出。

2、使用SVM(Support Vector Machine，支持向量机)、NBM(Naive BayesianModel，朴素贝叶斯模型)、NN(Neural Networks，神经网络)三种机器学习算法模型作为基学习器，从而组成初级学习器。

3、基于训练数据集(total_training_data)在初级学习器中采用3折交叉验证的方法，将用于每个基学习器的训练数据集(total_training_data)再次分割2/3作为基学习器自身训练集(basic_training_data)输入后进行学习，1/3作为自身测试集(basic_test_data)等待初级学习器中的每个基学习器模型训练完成进行学习和测试拟合。

4、初级学习器模型完成后，将每个基学习器的测试集(即三个基学习器的basic_training_data)合并作为次级学习器的训练数据集进行训练。

5、基于训练数据集的Stacking模型全部完成后，分别用各个基学习器的测试数据集(basic_test_data)对初级学习器中的三个基学习器进行测试，若预测结果与已知性能参数基本吻合，再将三个基学习器的测试数据集(basic_test_data)合并得到次级学习器的测试数据集，对次级学习器进行测试拟合。

6、基于最终的测试数据集分别输入到初级学习器的基学习器中，即将各个测试集中的对材料性能影响较大的实验参数作为模型的输入参数，使Stacking模型自行预测得出预测结果后，观察预测结果与测试集中已知的材料性能参数是否拟合情况良好，若拟合程度较高，则说明此异质集成学习Stacking模型搭建成功。

7、基于1-6步的Stacking模型搭建成功后，该异质集成学习Stacking模型即可用于对未知材料性能进行预测，从而为材料实验作参考，降低材料研发成本。

进一步地，所述步骤3中的学习和拟合具体实施如下：

Step1、基于训练数据集B_train，分别输入到对应SVM、NBM、NN三种机器学习算法的三个基学习器M_t(t＝1,2,3)中，得到三个基学习器的预测结果Z_i(i＝1,2,3)，

Step2、将三个B_test数据集合并为一个数据集D′作为下一层模型DT(DecisionTree，决策树)的训练数据集进行学习训练，并得到基于训练数据集的预测结果Z_train。

所述步骤2中，初级学习器中三种基学习器机器学习算法模型具体如下：

SVM模型定义为：

α_i为拉格朗日乘子，y_i为输出，b为阈值；函数k(x,x_i)为核函数，模型中使用RBF高斯核函数。

并且，构建SVM模型时采用SMO优化算法求出一系列α和b，从而计算出权重向量，进而得到预测模型；

NBM中，基于属性条件独立性假设，先得到后验概率：

其中P(c)为先验概率，P(x|c)为类条件概率，P(x)为x的概率，P(x_i|)为对应第i个事件的类条件概率，d为属性数目，同时，基于贝叶斯判定准则，这里采用的朴素贝叶斯表达式为：

对于NN模型，这里运用BP算法构建了一个5层前馈神经网络，隐层与输出层神经元都使用Sigmoid函数，此模型中在训练集上的误差目标函数为：

m为训练样例总数，E_k为第k个训练样例上的误差，ω_i为连接权和阈值，λ∈(0,1)用于对经验误差和网络复杂度进行折中。

所述步骤4中，关于次级学习器算法模型的选择具体如下：

次级学习器模型由于要对初级学习器的三个模型结果进行集成加权投票，这里使用了在分类方面较为出色的DT模型，这里主要使用信息熵与信息增益来对DT分支结点进行划分。对数据集D的信息熵定义为：

|γ|为样本总类别个数，p_k为D中第k类样本所占比例。判别准则为Ent(D)的值越小，则D的纯度越高，即所有分支结点所包含的样本尽可能属于同一类别，分类更加准确。

于是，可计算出划分所获得的信息增益：

假定离散属性a有V个可能取值{a1，a2，a3.....av}，若用a来对样本集合D来进行划分，则会产生V个分支结点，其中第v个分支结点包含D中所有在属性a上取值为av的样本，记做D^v

对于信息增益，信息增益越大，使用属性a划分所得的纯度提升越大。最终集成模型获得材料性能准确率越高，且有更强的泛化能力。

本发明主要面向材料领域，提出一种运用更广泛的材料性能预测方法。从已有材料数据中利用异质集成学习方法将不同的模型构建成一个强预测模型，以预测材料的未知性能参数，极大地提高了性能预测的准确率与模型的泛化能力，有利于降低材料研发周期与成本。

上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (5)

1.一种基于异质集成学习的材料性能预测模型构建方法，其特征在于：包括如下步骤：

Step1、收集材料实验过程参数及通过这些过程参数所得的材料性能数据作为Stacking模型的数据集Data，并将数据集的70％作为训练数据集D_train，30％作为最终测试集D_test；

Step2、通过异质集成学习Stacking方法将SVM(Support Vector Machine，支持向量机)、NBM(Naive Bayesian Model，朴素贝叶斯模型)、NN(Neural Networks，神经网络)三种机器学习算法模型作为基学习器组成初级学习器；

Step3、将D_train分为训练部分和测试部分输入到初级学习器中对三个基学习器进行学习和拟合；

Step4、将每个基学习器的训练集中作为测试集的部分数据集合并作为次级学习器的训练数据集对次级学习器进行训练；

Step5、在Stacking模型训练完成后，将最终的测试数据集D_test输入Stacking模型中，经过初级学习器和次级学习器得到模型输出的材料性能参数；观察所得测试结果与测试集中已知的材料性能参数的拟合情况是否达到预设标准，若达到预设标准，则说明此异质集成学习Stacking模型搭建成功。

2.根据权利要求1所述的一种基于异质集成学习的材料性能预测模型构建方法，其特征在于：所述Step3的数据集D_train的划分具体步骤如下：

在初级学习器中，基于训练数据集D_train在初级学习器中采用3折交叉验证的方法，将每个基学习器所输入的训练数据集再次分割，其中2/3作为基学习器自身训练集B_train进行学习，1/3作为自身测试集进行测试拟合B_test。

3.根据权利要求2所述的一种基于异质集成学习的材料性能预测模型构建方法，其特征在于：所述Step3的学习和拟合具体实施步骤如下：

Step1、基于训练数据集B_train，分别输入到对应SVM、NBM、NN三种机器学习算法的三个基学习器M_t(t＝1,2,3)中，得到三个基学习器的预测结果Z_i(i＝1,2,3)，

Step2、将三个B_test数据集合并为一个数据集D′作为下一层模型DT的训练数据集进行学习训练，并得到基于训练数据集的预测结果Z_train。

4.根据权利要求1所述的一种基于异质集成学习的材料性能预测模型构建方法，其特征在于：所述Step2中，初级学习器中三种基学习器机器学习算法模型具体如下：

SVM模型定义为：

α_i为拉格朗日乘子，y_i为输出，b为阈值；函数k(x,x_i)为核函数，模型中使用RBF高斯核函数；

并且，构建SVM模型时采用SMO优化算法求出一系列α和b，从而计算出权重向量，进而得到预测模型；

NBM中，基于属性条件独立性假设，先得到后验概率：

其中P(c)为先验概率，P(x|c)为类条件概率，P(x)为x的概率，P(x_i|c)为对应第i个事件的类条件概率，d为属性数目，同时，基于贝叶斯判定准则，这里采用的朴素贝叶斯表达式为：

对于NN模型，运用BP算法构建了一个5层前馈神经网络，隐层与输出层神经元都使用Sigmoid函数，此模型中在训练集上的误差目标函数为：

m为训练样例总数，E_k为第k个训练样例上的误差，ω_i为连接权和阈值，λ∈(0,1)用于对经验误差和网络复杂度进行折中。

5.根据权利要求1所述的一种基于异质集成学习的材料性能预测模型构建方法，其特征在于：所述step4中，关于次级学习器算法模型的选择具体如下：

次级学习器模型由于要对初级学习器的三个模型结果进行集成加权投票，使用了在分类方面较为出色的决策树模型，此处使用信息熵与信息增益来对DT分支结点进行划分，对数据集D的信息熵定义为：

|γ|为样本总类别个数，p_k为D中第k类样本所占比例，判别准则为Ent(D)的值越小，则D的纯度越高；

于是，可计算出划分所获得的信息增益：

假定离散属性a有V个可能取值{a1，a2，a3.....av}，若用a来对样本集合D来进行划分，则会产生V个分支结点，其中第v个分支结点包含D中所有在属性a上取值为av的样本，记做D^v，

对于信息增益，信息增益越大，使用属性a划分所得的纯度提升越大，最终集成模型获得材料性能准确率越高，且有更强的泛化能力。