CN106909719A

CN106909719A - 集成多元线性回归算法

Info

Publication number: CN106909719A
Application number: CN201710058008.7A
Authority: CN
Inventors: 王晓军; 张强; 袁平
Original assignee: Dalian University
Current assignee: Dalian University
Priority date: 2017-01-23
Filing date: 2017-01-23
Publication date: 2017-06-30

Abstract

本发明公开了集成多元线性回归算法,属于计算机应用技术领域。本发明包括，第一步:已知训练集L_train＝{(X_k,Y_k):X_k∈Rⁿ,Y_k∈R,k＝1,...,N}，令θ表示叶节点最少样本个数；第二步:以分裂后的两个样本集在输出变量上具有最小均方误差为分裂准则。本发明利用了回归树和MLR简单、快速的优点，同时克服了MLR无法准确描述复杂非线性数据集全局特性的缺点。期望EMLRs算法能够提高风洞马赫数的预测精度，满足工程上马赫数预测速度及精度的要求，均方根误差低于0.002。

Description

集成多元线性回归算法

技术领域

本发明涉及集成多元线性回归算法,属于计算机应用技术领域。

背景技术

风洞是研究先进飞行器空气动力学特性的重要实验设备，随着各类新型航空航天飞行器的研制与更新，对风洞试验质量与效率的要求日益提高^[i，ⁱⁱ，^iii]。作为风洞试验的重要性能指标，马赫数的快速、准确预测对风洞流场品质的保证至关重要。由于风洞系统具有内部结构复杂、扰动繁多、各部分相互耦合等特点[i,^iv]，难以建立机理模型。因此，近年来，关于建立风洞马赫数预测模型的方法主要集中于数据驱动法。随着计算机科学技术的不断进步，数据采集及存储技术的持续发展，风洞试验中累积了越来越庞大而复杂的数据集。

针对大规模数据集的回归预测问题，有许多简单的学习算法可以考虑，如多元线性回归(Multiple Linear Regression-MLR)算法[^v]和回归树(Regression Tree)[^vi]。MLR算法是一种全局模型，它以简单的线性形式描述整个数据空间，当数据包含多个变量，而且变量之间存在复杂的非线性关系时，难以实现精确预测。决策树以类似流程图的树状结构来表示模型的训练结果，浅显易懂[^vii]。回归树是将决策树从分类问题拓展到回归问题，它通过分段线性化的方式描述输入、输出变量之间的非线性关系。训练样本从根节点开始，按照某种分裂准则，被分配到父节点上，同理又从父节点分配到叶节点上。同一个叶节点上的样本无论是输入变量还是输出变量都具有相似性。预测时，新样本沿着树的一条路径到达某个叶节点，然后以该叶节点上所有训练样本输出变量的平均值作为预测值。回归树具有简单、快速等优点，但对数据的依赖性强、泛化能力差。

使用传统的数据驱动法建立单一的风洞马赫数预测模型，所得到的预测效果无法令人满意。为了提高预测精度，王晓军等[i]将随机森林(Random Forest)[^viii]集成方法应用于风洞马赫数预测中。随机森林构建大小一致且独立同分布的有差异的样本子集，在解决回归问题时，选择回归树作为子模型的学习算法；在建立回归树子模型时，随机选择输入特征对内部节点进行分裂。然后将所有回归树子模型的预测输出进行简单平均，获得集成预测输出。实验结果表明随机森林马赫数预测模型取得了一定成果，但是随着更多工况的加入，采集到的数据量随之增大，数据复杂性逐渐提高，其预测能力反而在降低，所得到的预测结果已经无法令人满意。

发明内容

为了提高风洞马赫数的预测精度，本文提出了集成多元线性回归(EnsembleMultiple Linear Regressions，EMLRs)算法，为基于大规模数据集的风洞马赫数快速、准确预测问题的研究提供一种新的思路和方法。

本发明采取的技术方案如下：

集成多元线性回归算法，包括如下步骤，

第一步:已知训练集L_train＝{(X_k,Y_k):X_k∈Rⁿ,Y_k∈R,k＝1,...,N}，令θ表示叶节点最少样本个数；

第二步:以分裂后的两个样本子集在输出变量上具有最小均方误差为分裂准则，以“如果叶节点样本个数＜θ，将停止分裂”终止准则，建立具有二叉树结构的回归树，即训练样本从根节点开始，根据某个特征的分段函数，被划分到左、右两个支路上形成父节点，同理又从父节点继续往下划分，直到满足终止条件成为叶节点；

第三步:以回归树叶节点为样本子集，令i＝1,...,P表示由L_Train产生的P个样本子集，其中表示训练子集L_i的样本个数；以MLR算法为子模型的学习算法，在样本子集上建立子模型，并通过最小二乘算法估计每个子模型的参数；MLR算法的子模型为

第四步:预测时，新输入样本沿着树的一条路径到达某个叶节点，并使用该叶节点上的MLR子模型预测输出值；EMLRs将回归树有限个、离散的常数预测值转变为MLR的连续预测，有利于模型预测精度的提升。

第三步的通过回归树算法构造样本子集以及建立MLR局部子模型的过程包括：将数据的划分过程视为数据分析的非参数统计过程，依据某个特征的分段函数，任意样本只能被划分到左或右支路上，因此EMLRs产生相互独立的、无重叠的样本子集；以最小均方误差为分裂准则，使得根节点和内部节点上的样本进行非对称划分；以“叶节点样本个数＜θ”为终止准则，使得样本较少的内部节点较早成为叶节点，反之较晚，因此EMLRs的样本子集还具有样本个数不一致的非对称性特点；然后以叶节点为样本子集，建立基于MLR算法的局部子模型，并通过最小二乘算法估计每个子模型的参数。

第四步的样本的分配或样本输出的融合过程包括：任一训练样本或新样本都会沿着树的一条路径到达某个叶节点；到达同一个叶节点上的样本，无论是输入变量还是输出变量都具有相似性；训练时，到达同一叶节点的训练样本构成一个样本子集，用于建立MLR子模型；预测时，新样本沿着树的一条路径到达某个叶节点，并使用该叶节点上的MLR子模型预测新样本输出值；使用MLR的连续预测值替代回归树有限个、离散的常数预测值，EMLRs可使每一个样本都有属于自己的预测值。

本发明的有益效果：

EMLRs算法的思想是将回归树与MLR算法相结合，以回归树构建集成模型结构，以叶节点为样本子集、MLR算法为子模型学习算法。在EMLRs算法中，回归树和MLR算法可以做到“取长补短”，在提高预测精度的同时，充分发挥它们适用于大规模数据集的优势。EMLRs保留了回归树的结构，构建样本子集时没有复杂的计算过程；以MLR算法代替回归树中训练样本输出变量的均值，变有限个、离散的常数预测值为连续值预测，有利于模型预测精度的提高；MLR子模型为局部模型，所有MLR子模型组成了描述全局特性的集成模型；利用了MLR简单、快速的优点，同时克服了MLR无法准确描述复杂非线性数据集全局特性的缺点。期望EMLRs算法能够提高风洞马赫数的预测精度，满足工程上马赫数预测速度及精度的要求，期望均方根误差低于0.002。

具体实施方式

本发明的具体实施方式如下：

第二步:以分裂后的两个样本子集在输出变量上具有最小均方误差为分裂准则，以“如果叶节点样本个数＜θ，将停止分裂”终止准则，建立具有二叉树结构的回归树，即训练样本从根节点开始，根据某个特征的分段函数，被划分到左、右两个支路上形成父节点，同理又从父节点继续往下划分，直到满足终止条件成为叶节点。

第三步的通过回归树算法构造样本子集以及建立MLR局部子模型的过程包括：将数据的划分过程视为数据分析的非参数统计过程，依据某个特征的分段函数，任意样本只能被划分到左或右支路上，因此EMLRs产生相互独立的、无重叠的样本子集；以最小均方误差为分裂准则，使得根节点和内部节点上的样本进行非对称划分；以“叶节点样本个数＜θ”为终止准则，使得样本较少的内部节点较早成为叶节点，反之较晚，因此EMLRs的样本子集还具有样本个数不一致的非对称性特点；然后以叶节点为样本子集，建立基于MLR算法的局部子模型，并通过最小二乘算法估计每个子模型的参数；

第四步的样本的分配或样本输出的融合过程包括：任一训练样本或新样本都会沿着树的一条路径到达某个叶节点；到达同一个叶节点上的样本，无论是输入变量还是输出变量都具有相似性。训练时，到达同一叶节点的训练样本构成一个样本子集，用于建立MLR子模型；预测时，新样本沿着树的一条路径到达某个叶节点，并使用该叶节点上的MLR子模型预测新样本输出值。使用MLR的连续预测值替代回归树有限个、离散的常数预测值，EMLRs可使每一个样本都有属于自己的预测值。

本节通过仿真实验，验证EMLRs算法作为一种新的思路和方法，在基于大规模数据的风洞马赫数预测中的有效性。首先采用EMLRs算法建立稳定段总压及驻室静压模型，再利用式(1)实现马赫数预测模型[i]。

在预测马赫数时，本文将EMLRs算法与回归树及随机森林进行了比较。使用Matlab工具箱获得MLR算法、回归树及随机森林程序函数。使用均方根误差来衡量总压、静压和马赫数的预测精度。建模前所有数据都做归一化处理到[0，1]之间。模型参数通过10倍交叉验证确定。

实验数据

飞行器A和B共有三种工况：工况1，飞行器A，Ma＝0.6,P_o＝110KPa；工况2，飞行器B，Ma＝0.54,P_o＝110KPa；工况3，飞行器A，Ma＝0.85,P_o＝130KPa。表1给出了风洞试验的基本参数。

表2给出了各工况试验采集的样本个数。每组数据的输入特征维数是30，输出特征为稳定段总压、驻室静压和试验段马赫数。总压模型和静压模型都同时考虑三种工况，表2中三种工况下的前3组试验数据合并作为训练集，训练样本个数为N＝78251；三种工况下的第4组试验数据合并作为测试集，样本个数为26761。另外，由于每次试验只考虑一种工况，因此还对三种工况下的第4次试验数据分别进行了测试。

表1风洞试验的基本参数

表2各工况试验采集的样本个数

EMLRs马赫数模型

为了简化编程过程，首先直接使用Matlab回归树函数，建立集成结构；然后调用每个叶节点上的样本，建立训练子集；最后使用Matlab中的MLR函数，建立子模型。

表3给出了θ取不同值时EMLRs总压、静压和马赫数模型在测试集上的预测结果。在θ＝2000～4500的范围内，随着θ取值的减小，马赫数测试集均方根误差呈逐渐降低的趋势。当θ＝2000时，马赫数的测试集均方根误差最小，且低于0.002，满足预测精度的要求。因此EMLRs总压和静压模型的θ值确定为2000，此时EMLRs总压和静压模型的叶节点个数分别为31和30。

表3θ取不同值时EMLRs总压、静压和马赫数模型在测试集上的预测结果

回归树和随机森林需要取更小的θ值，增加叶节点个数，才能提高总压、静压和马赫数的预测精度。实验发现当θ＝5时，回归树和随机森林模型的预测效果都是最好的。另外，在随机森林总压和静压模型中，样本子集的样本个数为训练集样本个数的33％，节点分裂时的随机特征维数为12，子模型个数为50。表4给出了基于EMLRs算法、基于回归树和基于随机森林的总压、静压和马赫数模型在测试集上的预测结果。

表4基于EMLRs算法、基于回归树和基于随机森林的总压、静压和马赫数模型在测试集上的预测结果

结果显示，基于回归树和基于随机森林的总压、静压和马赫数模型的测试集均方根误差都高于基于EMLRs算法的总压、静压和马赫数模型的测试集均方根误差。EMLRs总压、静压模型的叶节点个数明显少于回归树总压、静压模型的叶节点个数，因此，EMLRs总压、静压模型的测试时间也少于回归树总压、静压模型的测试时间。随机森林总压、静压模型的测试时间与EMLRs总压、静压模型的测试时间相接近，但随机森林总压、静压模型分别建立了50个子模型，应用时需要同时使用50个CPU，造成资源浪费。如果只使用一个CPU，随机森林总压、静压模型将比EMLRs总压、静压模型更复杂，预测时间也EMLRs总压、静压模型的预测时间多得多。综上，在预测风洞马赫数时，EMLRs算法的预测精度和速度都好于回归树的和随机森林的预测精度和速度。

分工况测试

每一次的风洞试验只考虑一种工况，在每种工况下马赫数的均方根误差也要求低于0.002，因此对EMLRs马赫数预测模型进行了分工况验证。

表5不同工况下基于EMLRs算法、基于回归树和基于随机森林的总压、静压和马赫数模型在测试集上的均方根误差

表5给出了不同工况下基于EMLRs算法、基于回归树和基于随机森林的总压、静压和马赫数模型的测试集均方根误差。这里我们主要考虑马赫数的预测精度：在工况1和工况3下，三种马赫数模型的测试集均方根误差相接近，且都低于0.002，满足预测精度的要求；在工况2下，EMLRs马赫数模型的测试集均方根误差明显低于回归树和随机森林马赫数模型的测试集均方根误差，且低于0.002，但是回归树和随机森林马赫数模型的测试集均方根误差都高于0.002，不能满足预测精度的要求。

本发明涉及到的参考文献

------------------------------------------------------

[ⁱ]WANG X,YUAN P,MAO Z,et al.,Wind tunnel Mach number predictionmodel based on random forest.Acta Aeronautica et Astronautica Sinica,2016,37(5):1494-1505.

(王晓军,袁平,毛志忠,杜宁.基于随机森林的风洞马赫数预测模型.航空学报,2016,37(5):1494-1505.)

[ⁱⁱ]ZHANG T F，MAO Z Z，YUAN P.Modeling of wind tunnel system based onnonlinear block-oriented model. Control Theory&Applications,2016,33(4):413-421.

(张廷丰,毛志忠,袁平.风洞系统非线性块状结构模型.控制理论与应用,2016,33(4):413-421.)

[iii]LU B,LYU B B,LUO J A,YU L,YANG X H,GUO H T,ZENG K C.Wind TunnelTechnique for Transonic Full-model Flutter Test.Acta Aeronautica etAstronautica Sinica,2015,36(4):1086-1092.

(路波,吕彬彬,罗建国,余立,杨兴华,郭洪涛,曾开春.跨声速风洞全模颤振试验技术.航空学报,2015,36(4):1086-1092.)

[^iv]AMIRI K,SOLTANI M R,HAGHIRI A.Steady flow quality assessment of amodified transonic wind tunnel.Scientia Iranica Transactions B:MechanicalEngineering,2013.

[^v]SU Y,GAO X,LI X,TAO D.Multivariate multilinear regression.IEEETransactions on Systems,Man and Cybernetics—Part B:Cybernetics,2012,42(6):1560-1573.

[^vi]BREIMAN L，FRIEDMAN J H,OLSHEN R A,STONE C J.Classification andRegression Trees.CRC Press,1998.

[^vii]GE Q,SHAO T,YANG Q,et al.,Multisensor nonlinear fusion methodsbased on adaptive ensemble fifth-degree iterated cubature information filterfor biomechatronics.IEEE Transactions on Systems,Man,and Cybernetics:Systems,pp.1-14,2016.

[^viii]BREIMAN L.Random forests.Machine Learning,2001,45:5-32.

Claims

1.集成多元线性回归算法，其特征在于：包括如下步骤，

第三步:以回归树叶节点为样本子集，令表示由L_Train产生的P个样本子集，其中表示训练子集L_i的样本个数；以MLR算法为子模型的学习算法，在样本子集上建立子模型，并通过最小二乘算法估计每个子模型的参数；MLR算法的子模型为

第四步:预测时，新输入样本沿着树的一条路径到达某个叶节点，并使用该叶节点上的MLR子模型预测输出值。

2.根据权利要求1所述的集成多元线性回归算法，其特征在于：第三步的通过回归树算法构造样本子集以及建立MLR局部子模型的过程包括：将数据的划分过程视为数据分析的非参数统计过程，依据某个特征的分段函数，任意样本只能被划分到左或右支路上，因此EMLRs产生相互独立的、无重叠的样本子集；以最小均方误差为分裂准则，使得根节点和内部节点上的样本进行非对称划分；以“叶节点样本个数＜θ”为终止准则，使得样本较少的内部节点较早成为叶节点，反之较晚，因此EMLRs的样本子集还具有样本个数不一致的非对称性特点；然后以叶节点为样本子集，建立基于MLR算法的局部子模型，并通过最小二乘算法估计每个子模型的参数。

3.根据权利要求1所述的集成多元线性回归算法，其特征在于：第四步的样本的分配或样本输出的融合过程包括：任一训练样本或新样本都会沿着树的一条路径到达某个叶节点；到达同一个叶节点上的样本，无论是输入变量还是输出变量都具有相似性；训练时，到达同一叶节点的训练样本构成一个样本子集，用于建立MLR子模型；预测时，新样本沿着树的一条路径到达某个叶节点，并使用该叶节点上的MLR子模型预测新样本输出值；使用MLR的连续预测值替代回归树有限个、离散的常数预测值，EMLRs可使每一个样本都有属于自己的预测值。