CN112288191A - 一种基于多类机器学习方法的海洋浮标寿命预测方法 - Google Patents

Abstract

本发明公开了一种基于多类机器学习方法的海洋浮标寿命预测方法，具体步骤为：S1.基于机器学习方法建立不同的浮标寿命预测模型，对浮标各硬件特征进行特征选择后得到浮标的静态属性，浮标已存活时间作为动态属性，共同构成数据集用以浮标寿命预测模型的训练，并进一步对浮标寿命预测模型的预测准确度进行评估；其中，浮标寿命预测模型包括回归决策树、梯度提升回归树、随机森林和支持向量回归机；S2.将待预测数据集分别输入训练后的浮标寿命预测模型，得到四个预测结果，根据四个预测结果获取最终预测结果。本发明综合考虑多种模型的预测结果，以做出最佳决策，有效提高了预测方法的准确性。

Description

一种基于多类机器学习方法的海洋浮标寿命预测方法

技术领域

本发明涉及海洋监测设备技术领域，更具体的说是涉及一种基于多类机 器学习方法的海洋浮标寿命预测方法。

背景技术

浮标存活时间预测问题本质上是剩余寿命预测问题(Remaining Useful Life,RUL)，即对当前时刻与浮标死亡时刻之间的时间间隔进行预测。现有 的RUL预测方法主要可以分为两大类，即基于物理模型的预测方法，另一类 是基于数据驱动的预测方法。传统的基于物理模型的RUL预测方法假设退化 模型事先已知，利用监测数据对模型的参数进行在线或离线估计，具有模型 预测结果精确和可解释性强的优点。然而在实际应用中退化模型是未知的， 退化模型的选择不当会对预测结果产生较大的影响。

作为RUL预测方法的另一个重要分支，基于数据驱动的预测方法有效地 避免了退化模型未知的问题，从监测数据中提取有效信息，拟合相关特征信 息与寿命之间的非线性关系，实现对剩余寿命的预测。由于监测数据处理方 式的差异，基于数据驱动的预测方法又可以分为基于数理统计的方法和基于 机器学习的方法。其中，传统的数理统计模型如自回归滑动平均模型 (AutoRegressive Moving Average model,ARMA)、马尔可夫模型(Markov Model)等易受到数据中噪声的干扰，不适合于长期预测问题。

由于机器学习技术具有擅长在海量的数据中寻找数据的潜在的规律和价 值，解决传统方法无法解决的问题的特性，基于机器学习的预测方法则能够 避免退化模型未知的问题，从监测数据中提取有效信息，刻画特征信息与寿 命之间的非线性关系，能够较为准确地对剩余寿命进行预测。

因此，如何提供一种基于多类机器学习方法的海洋浮标寿命预测方法是 本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种基于多类机器学习方法的海洋浮标寿命预 测方法，采用机器学习的相关技术对浮标的剩余寿命建立模型，以实现对Argo 浮标的剩余寿命进行预测。

为了实现上述目的，本发明采用如下技术方案：

一种基于多类机器学习方法的海洋浮标寿命预测方法，包括以下步骤：

S1.基于机器学习方法建立不同的浮标寿命预测模型，对浮标各硬件特征 进行特征选择后得到浮标的静态属性，浮标已存活时间作为动态属性，共同 构成数据集用以浮标寿命预测模型的训练，并进一步对所述浮标寿命预测模 型的预测准确度进行评估；

其中，所述浮标寿命预测模型包括回归决策树、梯度提升回归树、随机 森林和支持向量回归机；

S2.将待预测浮标的相关数据集分别输入训练后的所述浮标寿命预测模 型，得到四个预测结果，对预测结果进行简单投票以对是否进行浮标补放进 行决策；其中，最终预测结果为所述待测浮标在存活了M年的基础上是否可 以再存活N年。

优选的，所述特征选择的具体方法为：

采集样本数据集，计算样本数据集中每个特征与浮标寿命之间的相关系 数，设定阈值，排除相关系数小于所设阈值的特征；

浮标的静态属性的选择方法包括：基于树的特征选择和顶层特征选择； 在基于树的特征选择方法中，使用随机森林，以平均不纯度的减少作为特征 选择的标准；在顶层特征选择方法中，使用递归特征消除的思想，反复地构 建模型，根据系数选择，选出最好或者最差的的特征，移除小于所设阈值的 特征，在剩余的特征上重复选择过程，直到遍历所有的特征，最后剩余的特 征作为静态属性；

每个浮标样本的特征记作x_i＝(x_i1,x_i2,...,x_i11)，y_i为该浮标的剩余寿命时间；

为了对浮标的当前状态进行区分，为每个浮标样本添加动态属性已存活时 间特征x_i12；

获得数据集D为：D＝{(x₁,y₁),(x₂,y₂),...(x_n,y_n)}，其中n为经上述动态化处理后样本总数。

优选的，针对所述回归决策树，S1中的具体训练方法为：

假设已知当前决策树某个叶子结点m处的数据集为Q，其中，Q为原始 数据集D经过多次划分后的子数据集，若此时选择静态属性中的特征j将数 据集Q划分为K类，Q中每个样本属于第i类的概率为p_i，则对于数据集Q 特征j的基尼指数计算方法为：

假设选择数据集Q的属性j的取值t作为阈值，则可将数据集Q化成两 个子集Q_left和Q_right，划分方法为：

Q_left＝{(x,y)|x_j≤t}

Q_right＝Q-Q_left

此时集合Q的基尼指数的计算方法为：

遍历数据集Q中的所有属性及属性的可能取值,选择使基尼指数最小的属 性及其选择作为阈值的取值对数据集进行划分；

递归地进行划分，直至目标变量完全相同或数据集无法再划分，得到最终 的回归决策树；

使用MSE作为损失函数对模型的性能进行评估，假设结点m处共有N_m个 观测样本组成训练集X_m，N_m个样本的均值作为结点m的最终预测值，计算 预测值和真实值之间的误差，如下式：

上述过程针对数据集D建立了一棵CART决策树，对于输入的某浮标样 本数据，从决策树的根结点开始，按照每个分支结点所代表的属性的阈值， 划分到左分支或者右分支，直到到达某叶子结点；最后计算决策树该叶子结 点的均值来预测该浮标的寿命。

优选的，针对梯度提升回归树，S1中的具体训练方法为：

梯度提升树的最终的模型为一组弱学习器的加法模型，表示为：

其中，弱学习器选用CART回归树，用h_m(x)表示，S为弱学习器的总数；

将训练集表示为{(x₁,y₁),(x₂,y₂),…(x_n,y_n)}，样本总数为n，构建梯度提升树 的算法步骤如下：

(1)初始化第一个分类器，初始化方法为：

(2)每一次迭代，计算上一步模型的残差，计算方法为：

(3)使用(x₁,r₁),(x₂,r₂),...(x_n,r_n)拟合下一棵分类回归树，表示为：

其中R_i为回归树叶结点把输入空间划分成的不相交的区域，b_k为每个叶 结点的拟合值；

(4)利用梯度提升算法使得损失函数最小，以确定下一棵决策树的参数， 损失函数的计算方法为：

通过不断寻找一个较优的弱学习器，更新第m步的模型为：

F_m(x)＝F_m-1(x)+γ_mh_m(x)

优选的，针对随机森林，S1中的具体训练方法为：

若原始数据集D的样本总量为n，每个样本的特征维度为p，随机森林的 生成步骤如下：

(1)对原始训练集中D进行Bootstrap采样，获得k个训练子集，未被抽 取到的样本构成k个袋外数据作为测试样本；

(2)使用k个训练子集预建k棵决策树；

(3)在每棵决策树的每个结点使用随机选取地m个特征，每次从其中选 择最优特征进行分裂；其中，m<<p；

(4)n棵决策树共同构成最终的随机森林模型，模型的回归预测结果使 用袋外数据的残差均方。

优选的，针对支持向量回归机，S1中的具体训练方法为：

(1)通过非线性变换

将原始低维空间映射到高维空间，以在高维空 间进行线性估计；

(2)在高维空间构造最优的线性判别函数：

w为权重， b为偏置项；最优化问题定义为：

其中ε为不敏感损失函数参数；

(3)引入非负的松弛变量ξ_i和

支持向量回归机的优化目标为：

其中C为正则化参数；

(4)将优化目标转化为支持向量回归机的对偶问题，为凸二次规划问题， 具体方法为：

最终可得支持向量回归机的估计为：

其中K(x,x′)为核函数，

的数据点为支持向量。

优选的，S1中对所述浮标寿命预测模型的预测准确度进行评估中计算评 价指标的具体方法为：

设某浮标真实剩余寿命为y，模型预测其剩余寿命为

在已存活M年的 基础上，预测其是否还能再存活N年，即判断

与N的大小关系；定义剩余 寿命大于N年的浮标为正样本，反之为负样本，对浮标进行归类，其中真实 值与预测值均为正样本的浮标数目记作TP，真实值与预测值均为负样本的浮 标数目记作TN，预测值为正样本真实值为负样本的浮标数目记作FP，预测 值为负样本真实值为正样本的浮标数目记作FN；

查准率Precision表示模型预测出的剩余寿命大于N年的浮标样本中，真 实剩余寿命大于N年的样本比例；查准率越高，说明模型越有把握确定某浮 标样本的剩余寿命大于N年，能够体现模型对于负样本的区分能力；

查全率Recall表示所有真实剩余寿命大于N年的浮标样本中，模型正确 预测其存活时间大于N年的比例；查全率越高，说明模型倾向于将可能为正 的样本预测为正样本，能够体现模型对于正样本的区分能力；

使用查准率和查全率的调和平均作为模型的评价指标F1-Score，F1-Score 分数越高，说明模型越稳健；具体计算方法为：

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基 于多类机器学习方法的海洋浮标寿命预测方法，使用DTR(回归决策树)、 GBRT(梯度提升回归树)、RF(随机森林)和SVR(支持向量回归机)四 种经典且预测效果稳定的机器学习方法，分别对Argo浮标的寿命建立预测模 型，分析浮标在已经存活了M年的基础上，是否还能再存活N年。通过将回 归预测问题转换成二分类问题，充分利用已知信息，解决了大部分Argo浮标真实寿命不可获知的难题。同时，该问题定义方式也与寿命预测的实际需要 更加吻合。本发明综合考虑多种模型的预测结果，以做出最佳决策，有效提 高了预测方法的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实 施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面 描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不 付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1附图为本发明提供的一种基于多类机器学习方法的海洋浮标寿命预 测模型的训练过程示意图；

图2附图为本发明提供的一种基于多类机器学习方法的海洋浮标寿命预 测方法的预测阶段寿命预测模型工作过程示意图；

图3附图为本发明提供的一种基于多类机器学习方法的海洋浮标寿命预 测方法的随机森林算法示意图；

图4附图为本发明提供的一种基于多类机器学习方法的海洋浮标寿命预 测方法的支持向量机示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行 清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而 不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做 出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种基于多类机器学习方法的海洋浮标寿命预测方 法，包括以下步骤：

S1.基于机器学习方法建立不同的浮标寿命预测模型，分别针对不同的浮 标寿命预测模型进行特征选择，根据特征选择后的数据集对浮标寿命预测模 型进行训练，并进一步对浮标寿命预测模型的预测准确度进行评估；

其中，浮标寿命预测模型包括回归决策树、梯度提升回归树、随机森林 和支持向量回归机；

S2.将待预测数据集分别输入训练后的浮标寿命预测模型，得到四个预测 结果，根据四个预测结果获取最终预测结果。

为了进一步实施上述技术方案，针对特征选择，S1的具体方法为：

特征选择工作是对各特征的重要性进行分析与评估，选择一个可以全面 有效地对原始数据分布进行描述的特征子集，后续的预测分析工作可以针对 该子集展开。

首先计算训练集中每个特征与浮标寿命之间的相关系数，设定一个阈值， 排除相关系数明显较小的特征。使用多种特征选择的方法并结合多种方法的 结果从硬件特征数据集中筛选出与预测目标相关性较高的特征。此处采用的 方法有基于树的特征选择，顶层特征选择等。在基于树的特征选择方法中， 本发明使用随机森林，以平均不纯度(MeanDecrease Impurity)的减少作为 特征选择的标准。在顶层特征选择方法中，使用递归特征消除(Recursive Feature Elimination)的思想，反复的构建模型(如SVR)，根据系数选择，选出最好的(或者最差的)的特征，移除选出来的特征，在剩余的特征上重 复这个过程，直到遍历所有的特征。表1总结了最终得到的与浮标寿命预测 相关程度较高的硬件特征。

表1

每个浮标样本的特征由表1中特征组成，记作x_i＝(x_i1,x_i2,...,x_i11)，y_i为该浮 标的剩余寿命时间。由于海洋大数据长期时空变化较大，若仅使用浮标初始 投放数据来对其寿命进行预测，缺乏有效的动态信息，使得结果并不准确。 为了对浮标的当前状态进行区分,为每条样本添加已存活时间特征x_i12。获得数 据集：D＝{(x₁,y₁),(x₂,y₂),...(x_n,y_n)}，其中n为经上述动态化处理后样本总数。

为了进一步实施上述技术方案，针对回归决策树，S1的具体方法为：

决策树以树结构的形式构建分类或回归模型，当样本输出是连续值时，即 为回归决策树(Decision Tree Regressor)。通过每次选择划分数据集最好的特 征，递归地将数据集不断地划分为更小的子集，使无序的数据集变得有序。 决策树不断地增长，直到目标变量完全相同或数据集无法再划分，最后树模 型将由决策结点和叶子结点组成。对于回归问题，每个决策结点对一个连续 型变量进行二元切分，每个分支代表测试属性在某个值域上的输出，叶结点 存放该子数据集上所有值的均值，即为最终的回归结果。

假设已知当前决策树某个叶子结点m处的数据集为Q(Q为原始数据集 经过多次划分后的子数据集)，若此时选择剩余特征集中的特征j将数据集Q 划分为K类，Q中每个样本属于第i类的概率为p_i，则对于数据集Q特征j 的基尼指数计算方法为：

Q是回归决策树上的一个叶子结点的数据，计算其G_ini指数，作为是否被 选作划分结点的依据。

假设选择数据集Q的属性j的取值t作为阈值，则可将数据集Q化成两 个子集Q_left和Q_right，划分方法为：

Q_left＝{(x,y)|x_j≤t}

Q_right＝Q-Q_left

此时集合Q的基尼指数的计算方法为：

遍历数据集Q中的所有属性及属性的可能取值,选择使基尼指数最小的属 性及其选择作为阈值的取值对数据集进行划分；

递归地进行划分，直至目标变量完全相同或数据集无法再划分，得到最终 的回归决策树；

使用MSE作为损失函数对模型的性能进行评估。假设结点m处共有N_m个 观测样本组成训练集X_m，N_m个样本的均值作为结点m的最终预测值，计算 预测值和真实值之间的误差，如下式：

上述过程针对数据集D建立了一棵CART决策树，对于输入的某浮标样 本数据，从决策树的根结点开始，按照每个分支结点所代表的属性的阈值， 划分到左分支或者右分支，直到到达某叶子结点。最后计算决策树该叶子结 点的均值来预测该浮标的寿命。

为了进一步实施上述技术方案，针对梯度提升回归树，S1的具体方法为：

梯度提升回归树GBRT(Gradient Boosting Regression Tree)是一种集成学习算法。原始的Boosting算法初始时为每个样本赋上相等的权重，每次训练后 增加错分类的权重，减少正确分类的权重。在N次迭代后得到N个简单的基 础学习器，组合起来进行加权或者投票得到一个最终的模型。而GBRT的核 心在于每一次计算都是为了减少上一次训练的残差，在残差下降的梯度方向 上建立一个新模型。在每一轮迭代中，新的决策树拟合的是原始训练集的一 个子集的残差，引入了随机性，有效地改善了过拟合。

梯度提升树作为一种迭代的决策树算法，通过集成一组弱学习器以提升算 法整体准确率，模型表示为：

由于梯度提升树会累加所有树的结果，而累加过程无法通过分类直接实 现，因此弱学习器选用CART回归树，用h_m(x)表示，M为弱学习器的总数；

将训练集表示为{(x₁,y₁),(x₂,y₂),…(x_n,y_n)}，样本总数为n，构建梯度提升树 的算法步骤如下：

(1)初始化第一个分类器,初始化方法为：

(2)每一次迭代，计算上一步模型的残差，计算方法为：

(3)使用(x₁,r₁),(x₂,r₂),...(x_n,r_n)拟合下一棵分类回归树，表示为：

其中R_i为回归树叶结点把输入空间划分成的不相交的区域，b_k为每个叶结 点的拟合值；

(4)利用梯度提升算法使得损失函数最小，以确定下一棵决策树的参数， 损失函数的计算方法为：

通过不断寻找一个较优的弱学习器，更新第m步的模型为：

F_m(x)＝F_m-1(x)+γ_mh_m(x)。

梯度提升树在传统的Boosting集成算法的基础上进行了较大的改进，它 使用目标函数的负梯度方向在此时模型的值作为残差的近似值，以消除上一 次的残差为目标，拟合一棵CART回归树作为新加入的弱学习器。

梯度提升树相比于单一的学习器往往可以取得更加稳定和准确的结果， 对于各种类型的数据均可以进行灵活的处理。通过相对较少的参数调优，可 以取得较高的预测准确率。但是梯度提升树也存在一些不足之处，如由于是 Boosting集成算法，弱学习器之间存在串行关系，难以并行的训练数据等。

为了进一步实施上述技术方案，如图3所示，针对随机森林，S1的具体 内容包括：

随机森林(Random Forest)是一种以决策树为基学习器的集成算法，通 过集成多棵决策树以提高模型预测精度。在训练阶段，随机森林使用bootstrap 采样从输入的训练数据集中采集多个不同的子训练数据集以训练多棵不同的 决策树；在预测阶段，随机森林将内部多个决策树的预测结果取平均值或投 票以得到最终的结果。

若原始数据集D的样本总量为n，每个样本的特征维度为p，随机森林的 生成步骤如下：

(1)对原始训练集中D进行Bootstrap采样，获得k个训练子集，未被抽 取到的样本构成k个袋外数据作为测试样本；

(2)使用训练子集预建k棵决策树；

(3)在每棵决策树的每个结点使用随机选取地m个特征，每次从其中选 择最优特征进行分裂；其中，m<<p；

(4)n棵决策树共同构成最终的随机森林模型，模型的回归预测结果使 用袋外数据的残差均方。

随机森林模型预测性能的好坏很大程度上受到所选取的模型超参数的影 响，为了保证模型超参数独立于测试数据，随机森林使用袋外数据作为验证 集以评估当前参数的效果。随机森林中每棵决策树所对应的训练子集是由 bagging方法生成的，初始训练集中每个浮标样本从未被抽取到概率为

当N→∞时，

即当样本总数充足时，不被抽取到的概率将逼近0.368。 这意味着原数据集中始终有约36.8％的样本不被抽取，此部分样本被称为袋外 数据(Out-Of-Bag，OOB)，可使用袋外数据对模型的性能进评估。对于每 棵决策树的袋外数据上的误差取均值，得到最终随机森林的泛化误差。相比 于交叉验证需要每一折的数据子集均作为验证集计算平均误差，此方法只需 要在构建决策树的同时计算袋外数据误差，获得与交叉验证近似的结果却避 免了大量的重复计算过程，十分高效。

为了进一步实施上述技术方案，如图4所示，针对支持向量回归机，S1 的具体内容包括：

支持向量回归机(Support Vector Regression)是支持向量机对回归问题的 一种运用。不同于传统的经验风险最小化原则，支持向量回归机针对结构风 险最小化提出，具有较好的泛化能力。在处理非线性问题时，通过将非线性 问题转化为高维空间中的线性问题，使用核函数替代高维空间中的内积运算， 有效地克服了维数灾难问题。本发明选择常用的高斯径向基函数(Gaussian Radial Basis Function,RBF)作为非线性核函数。

(1)通过非线性变换

将原始低维空间映射到高维空间，以在高维空 间进行线性估计；

(2)在高维空间构造最优的线性判别函数：

w为权重， b为偏置项；最优化问题定义为：

其中ε为不敏感损失函数参数；

(3)引入非负的松弛变量ξ_i和

支持向量回归机的优化目标为：

其中C为正则化参数；

(4)将优化目标转化为支持向量回归机的对偶问题，为凸二次规划问题， 具体方法为：

最终可得支持向量回归机的估计为：

其中K(x,x′)为核函数，

的数据点为支持向量。

使用支持向量回归机进行回归预测的流程如图4所示，首先对输入数据集 进行预处理工作并初步设置支持向量回归机的参数，利用libsvm库对模型在 验证集上的表现进行评价，判定模型是否取得最优误差。若已取得最低误差 则使用此模型对浮标寿命进行回归预测；否则重新设置模型参数，进行新一 轮的验证与评估。

评价指标：

设某浮标真实剩余寿命为y，模型预测其剩余寿命为

在已存活M年的 基础上，预测其是否还能再存活N年，即判断

与N的大小关系；定义剩余 寿命大于N年的浮标为正样本，反之为负样本，可归纳为以下四种情况，如 表2所示，其中TP、FP、FN、TN分别表示每类浮标样本的数目；

表2

查准率Precision表示模型预测出的剩余寿命大于N年的浮标样本中，真 实剩余寿命大于N年的样本比例；查准率越高，说明模型越有把握确定某浮 标样本的剩余寿命大于N年，能够体现模型对于负样本的区分能力；

查全率Recall表示所有真实剩余寿命大于N年的浮标样本中，模型正确 预测其存活时间大于N年的比例；查全率越高，说明模型倾向于将可能为正 的样本预测为正样本，能够体现模型对于正样本的区分能力；

使用查准率和查全率的调和平均作为模型的评价指标F1-Score，具体计 算方法为：

然而，查准率和查全率是一对矛盾的评价指标，需要对其进行综合考虑， 因此本发明中使用了查准率和查全率的调和平均作为模型的评价指标，即 F1-Score，其计算方式如下式所示：

1.实验设置及结果

本发明中对M分别取值1、2、3、4、5、6，对N分别取值1、1₂、1₄、₁1₂， 共24种组合情况进行实验，探索不同M、N的取值对模型预测效果的影响。 对M的每种取值，构建测试集T如下：

T_M＝{(x_i,y_i)|x_i12≥M},M＝1,2,3,4,5,6

实验结果如从表3到表6所示，有以下结论：

(1)当浮标已存活时间M相同时，模型的预测效果随预测目标N的增大 而略有下降。可以看出四个模型，对于半年以内(N<＝1/2)的预测的准确率 都在94％以上，而N＝1时，准确率下降。

(2)当预测目标N相同时，模型的预测效果随已存活时间M的增大而略 有下降。以GBRT模型为例，在已存活时间M<＝4的时候，准确率都在98％以上， 而在M>4的时候准确率开始降低。

(3)整体来说，GBRT模型表现最为稳定，SVR模型受已存活时间M的影 响波动最大，但是平均表现仍佳。

表3 DTR模型预测结果

表4 GBRT模型预测结果

表5 RF模型预测结果

表6 SVR模型预测结果

模型在M,N值范围更大的时候也有良好的结果，但考虑到实际的浮标情 况，正常的浮标的寿命大概2-5年，所以将M的值设定在[1,6]区间。而对于 浮标的投放工作，一般准备时间在1个月到1年，所以N也据此取值。

在实际的浮标工作过程中，浮标存活时间越长及预测目标越远，可能出 现的不确定因素越多，如传感器部件故障、传感器数据传输错误、异常值对 模型预测结果的负面影响的累积等，这使得模型预测的难度增大。本发明建 立了四种机器学习模型，总体来说，均取得了不错的预测结果。在算力充足 的情况下，可以根据四种模型的结果进行投票，选择多数者的结果，这更好 地指导了对于浮标投放与否。

需要进一步说明的是：

本实施例中的根据四种模型的结果进行投票的具体方式可以为：对于四 个预测结果，若至少有两个模型的预测结果为待测浮标在存活了M年的基础 上可以再存活N年，则将其作为最终结果。(也就是超过半数的基学习器的 预测结果作为最终预测结果)。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都 是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。 对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述 的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用 本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易 见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下， 在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例， 而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (7)

1.一种基于多类机器学习方法的海洋浮标寿命预测方法，其特征在于，包括以下步骤：

S1.基于机器学习方法建立不同的浮标寿命预测模型，对浮标各硬件特征进行特征选择后得到浮标的静态属性，浮标已存活时间作为动态属性，共同构成数据集用以浮标寿命预测模型的训练，并进一步对所述浮标寿命预测模型的预测准确度进行评估；

其中，所述浮标寿命预测模型包括回归决策树、梯度提升回归树、随机森林和支持向量回归机；

S2.将待预测浮标的相关数据集分别输入训练后的所述浮标寿命预测模型，得到四个预测结果，对预测结果进行简单投票以对是否进行浮标补放进行决策；其中，最终预测结果为所述待测浮标在存活了M年的基础上是否可以再存活N年。

2.根据权利要求1所述的一种基于多类机器学习方法的海洋浮标寿命预测方法，其特征在于，所述特征选择的具体方法为：

采集样本数据集，计算样本数据集中每个特征与浮标寿命之间的相关系数，设定阈值，排除相关系数小于所设阈值的特征；

浮标的静态属性的选择方法包括：基于树的特征选择和顶层特征选择；在基于树的特征选择方法中，使用随机森林，以平均不纯度的减少作为特征选择的标准；在顶层特征选择方法中，使用递归特征消除的思想，反复地构建模型，根据系数选择，选出最好或者最差的的特征，移除小于所设阈值的特征，在剩余的特征上重复选择过程，直到遍历所有的特征，最后剩余的特征作为静态属性；

每个浮标样本的特征记作x_i＝(x_i1,x_i2,...,x_i11)，y_i为该浮标的剩余寿命时间；

为了对浮标的当前状态进行区分，为每个浮标样本添加动态属性已存活时间特征x_i12；

获得数据集D为：D＝{(x₁,y₁),(x₂,y₂),...(x_n,y_n)}，其中n为经上述动态化处理后样本总数。

3.根据权利要求1所述的一种基于多类机器学习方法的海洋浮标寿命预测方法，其特征在于，针对所述回归决策树，S1中的具体训练方法为：

假设已知当前决策树某个叶子结点m处的数据集为Q，其中，Q为原始数据集D经过多次划分后的子数据集，若此时选择静态属性中的特征j将数据集Q划分为K类，Q中每个样本属于第i类的概率为p_i，则对于数据集Q特征j的基尼指数计算方法为：

假设选择数据集Q的属性j的取值t作为阈值，则可将数据集Q化成两个子集Q_left和Q_right，划分方法为：

Q_left＝{(x,y)|x_j≤t}

Q_right＝Q-Q_left

此时集合Q的基尼指数的计算方法为：

遍历数据集Q中的所有属性及属性的可能取值,选择使基尼指数最小的属性及其选择作为阈值的取值对数据集进行划分；

递归地进行划分，直至目标变量完全相同或数据集无法再划分，得到最终的回归决策树；

使用MSE作为损失函数对模型的性能进行评估，假设结点m处共有N_m个观测样本组成训练集X_m，N_m个样本的均值作为结点m的最终预测值，计算预测值和真实值之间的误差，如下式：

上述过程针对数据集D建立了一棵CART决策树，对于输入的某浮标样本数据，从决策树的根结点开始，按照每个分支结点所代表的属性的阈值，划分到左分支或者右分支，直到到达某叶子结点；最后计算决策树该叶子结点的均值来预测该浮标的寿命。

4.根据权利要求1所述的一种基于多类机器学习方法的海洋浮标寿命预测方法，其特征在于，针对梯度提升回归树，S1中的具体训练方法为：

梯度提升树的最终的模型为一组弱学习器的加法模型，表示为：

其中，弱学习器选用CART回归树，用h_m(x)表示，S为弱学习器的总数；

将训练集表示为{(x₁,y₁),(x₂,y₂),…(x_n,y_n)}，样本总数为n，构建梯度提升树的算法步骤如下：

(1)初始化第一个分类器,初始化方法为：

(2)每一次迭代，计算上一步模型的残差，计算方法为：

(3)使用(x₁,r₁),(x₂,r₂),...(x_n,r_n)拟合下一棵分类回归树，表示为：

其中R_i为回归树叶结点把输入空间划分成的不相交的区域，b_k为每个叶结点的拟合值；

(4)利用梯度提升算法使得损失函数最小，以确定下一棵决策树的参数，损失函数的计算方法为：

通过不断寻找一个较优的弱学习器，更新第m步的模型为：

F_m(x)＝F_m-1(x)+γ_mh_m(x) 。

5.根据权利要求X所述的一种基于多类机器学习方法的海洋浮标寿命预测方法，其特征在于，针对随机森林，S1中的具体训练方法为：

若原始数据集D的样本总量为n，每个样本的特征维度为p，随机森林的生成步骤如下：

(1)对原始训练集中D进行Bootstrap采样，获得k个训练子集，未被抽取到的样本构成k个袋外数据作为测试样本；

(2)使用k个训练子集预建k棵决策树；

(3)在每棵决策树的每个结点使用随机选取地m个特征，每次从其中选择最优特征进行分裂；其中，m<<p；

(4)n棵决策树共同构成最终的随机森林模型，模型的回归预测结果使用袋外数据的残差均方。

6.根据权利要求X所述的一种基于多类机器学习方法的海洋浮标寿命预测方法，其特征在于，针对支持向量回归机，S1中的具体训练方法为：

(1)通过非线性变换

将原始低维空间映射到高维空间，以在高维空间进行线性估计；

(2)在高维空间构造最优的线性判别函数：

w为权重，b为偏置项；最优化问题定义为：

其中ε为不敏感损失函数参数；

(3)引入非负的松弛变量ξ_i和

支持向量回归机的优化目标为：

其中C为正则化参数；

(4)将优化目标转化为支持向量回归机的对偶问题，为凸二次规划问题，具体方法为：

最终可得支持向量回归机的估计为：

其中K(x,x′)为核函数，

的数据点为支持向量。

7.根据权利要求X所述的一种基于多类机器学习方法的海洋浮标寿命预测方法，其特征在于，S1中对所述浮标寿命预测模型的预测准确度进行评估中计算评价指标的具体方法为：

设某浮标真实剩余寿命为y，模型预测其剩余寿命为

在已存活M年的基础上，预测其是否还能再存活N年，即判断

与N的大小关系；定义剩余寿命大于N年的浮标为正样本，反之为负样本，对浮标进行归类，其中真实值与预测值均为正样本的浮标数目记作TP，真实值与预测值均为负样本的浮标数目记作TN，预测值为正样本真实值为负样本的浮标数目记作FP，预测值为负样本真实值为正样本的浮标数目记作FN；

查准率Precision表示模型预测出的剩余寿命大于N年的浮标样本中，真实剩余寿命大于N年的样本比例；查准率越高，说明模型越有把握确定某浮标样本的剩余寿命大于N年，能够体现模型对于负样本的区分能力；

查全率Recall表示所有真实剩余寿命大于N年的浮标样本中，模型正确预测其存活时间大于N年的比例；查全率越高，说明模型倾向于将可能为正的样本预测为正样本，能够体现模型对于正样本的区分能力；

使用查准率和查全率的调和平均作为模型的评价指标F1-Score，F1-Score分数越高，说明模型越稳健；具体计算方法为：

Images