CN111382391A - 一种用于多目标回归的目标相关特征构建方法 - Google Patents

Abstract

本发明涉及机器学习技术领域，具体涉及一种用于多目标回归的目标相关特征构建方法，包括以下步骤：首先给定具有N个训练样本的训练数据集D、学习目标y_j、随机选择的特3征个数t和保留叶结点的百分比P，随机构建L个树的子集、原始特征集X和训练集，然后学习回归树，再学习目标特定功能，得到具有目标特定特征的新训练数据集，再进行训练得到基本预测模型，最后形成潜在空间；本发明提出的目标相关特征构建方法与用于多目标回归的最新算法相比具有竞争性的预测性能；在多目标回归中，利用目标特有的特征对处理复杂的投入产出关系非常有效；通过将目标特定特征与目标间相关性结合起来，可以大大提高多目标回归的预测性能。

Description

一种用于多目标回归的目标相关特征构建方法

技术领域

本发明涉及机器学习技术领域，具体涉及一种用于多目标回归的 目标相关特征构建方法。

背景技术

多目标回归是指同时预测多个实值目标的任务。在多目标回归中， 多个输出目标不是互斥的，而是可以相互关联的。为此，已经提出了 许多专注于利用目标间相关性的多目标回归方法。对目标间相关性进 行建模的一种普遍方法是设计正则化或强加对模型参数矩阵的稀疏约 束。其他多目标回归方法例如堆叠式单目标、回归链的集合、和支持 向量回归的相关链明确地利用目标的预测作为附加的输入特征来模拟 目标间的相关性。现有的多目标回归方法学习预测这些模型基于一组 相同的输入特征，这可能是次优的，因为不同的输出目标可能具有其 自身的特定特征。在与多目标回归密切相关的多标签分类中，已证明 标签的特定功能可用于改善整体分类，但是，这些方法无法利用多个 标签之间的相关性来提高分类性能。

近年来，多目标回归吸引了越来越多的研究工作者。由于它具有 预测多个相关输出目标并提高性能的强大功能。与仅涉及一个输出目 标的经典回归任务相比，多目标回归任务更难解决。多目标回归的主 要挑战来自对输入变量和输出目标之间的复杂关系进行建模，以及利 用多个输出目标之间的相关性来改善预测性能的问题。

基于此，本发明设计了一种用于多目标回归的目标相关特征构建 方法，以解决上述问题。

发明内容

本发明的目的在于提供一种用于多目标回归的目标相关特征构建 方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种用于多目标回 归的目标相关特征构建方法，包括以下步骤：

S1：给定具有N个训练样本的训练数据集D＝{(x_i，y_i)}N_i＝1、 学习目标y_j、随机选择的特征个数t和保留叶结点的百分比P，然后随 机构建L个树的子集{A₁,...,A_l}，原始特征集X＝{x₁,...,x_d}，训练集 {Tree₁,...,Tree_l}，对于目标y_j，学习其目标特定特征；

S2：从原始特征集X中随机选择t个特征组成特征子集A_l，并根 据特征子集A_l生成一个新的数据集

S3：以

为训练集，构建一棵决策树Tree_l；

S4：将决策树Tree_l加入到决策树模型Trees中；

S5：重复步骤S2至S4直到遍历完L个树的子集为止，计算各个 决策树中所有叶子结点的输出目标的方差，并按其目标方差进行升序 排列，保留前P个百分比较小的叶子结点，并将其余叶子结点的预测 值设置为0，得到决策树模型集合Trees；

S6：从Trees获取第i个回归树模型Tree_l，并将数据样本x输入到 回归树模型Tree_l；

S7：从回归树模型Tree_l获取样本x的预测输出x_l'；

S8：将预测输出x_l'加入到特有特征向量中，即x'[l]＝x'_l；

S9：重复步骤S6至S8，直到遍历完所有的回归树模型Tree_l，最后 得到样本x的所有特有特征向量x'[l]，即具有目标特定特征的新训练数 据集D_j'；

S10：基于D_j'，训练第j个目标y_j的基本预测模型f_j；

S11：基本回归模型型f_j＝{f₁,...,f_m}将输入要素映射到具有目标特定 要素的所有输出目标，得到新的数据集D″；

S12：D″中样本的特征向量形成一个潜在空间X″＝[x₁″,...,x_N″]^T，通过 最小化以下目标可以从中获知结构矩阵W功能，如公式(5)所示；

S13：对于给定的样本X，获得其对所有目标的最终预测y如公式 (6)所示，其中h_j是第j个目标y_j的最终预测模型。

优选的，步骤S1中训练数据集D中的x_i∈R^d是具有d个特征的第 i个训练实例，而y_i∈R^m是具有m个目标值的向量。

优选的，步骤S1中叶结点的百分比P的值设为80％。

优选的，步骤S10中基本预测模型f_j可以是任何类型的回归模型， 包括线性回归(LR)、支持向量回归(SVR)和分类和回归树(CART)， 本方法使用的是分类和回归树(CART)。

优选的，步骤S2中公式(5)中的||M||² _F是矩阵M的Frobenius范 数，||W||_2,1是矩阵W的'2,1范数，Y＝[y₁，y₂,.....,y_N]^T，W＝[w₁， w₂,.....,w_m]^T，w_j＝[w_j1，w_j2,.....,w_jm]表示第j个目标y_j的最终回归模型h_j的参数，λ是控制收缩量的正则化参数，wj中的第k个条目wjk的绝对 值表示第k个目标的预测对第j个目标的预测的重要性，TSF_j代表学习 目标y_j的目标特定特征的方法。

优选的，λ的值越大，收缩量越大，wjk值越大，重要性越大。

优选的，步骤S12中公式(6)中的第一项是损失函数，第二项是 行稀疏正则项。

与现有技术相比，本发明的有益效果是：

(1)提出的目标相关特征构建方法与用于多目标回归的最新算 法相比具有竞争性的预测性能；

(2)在多目标回归中，利用目标特有的特征对处理复杂的投入产 出关系非常有效；

(3)通过将目标特定特征与目标间相关性结合起来，可以大大提 高多目标回归的预测性能；

(4)通过将目标相关特征构建和目标间关联挖掘集成在一个统 一的框架内，能够同时考虑个输出目标的特殊性以及输出目标之间的 关联性，有利于提升多目标回归的预测性能。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描 述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图 仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付 出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明TSF-ITC方法的体系结构；

图2为本发明学习目标特定功能的流程图；

图3为本发明符号说明图；

图4为本发明实验中数据集的统计信息图；

图5为本发明比较实验中使用的算法示意图；

图6为本发明TSF-ITC的预测结果和基于aRRMSE的18个数据 集的比较算法的对比示意图；

图7为本发明弗里德曼检验统计摘要示意图；

图8为本发明比较算法的CD图；

图9为本发明根据aRRMSE比较TSF-ITC，MTR-BR和MTR-TSF 预测性能的对比示意图；

图10为本发明根据参数t和L的不同的aRRMSE对TSF-ITC的 预测性能示意图。

图10-1为本发明andro的预测性能示意图；

图10-2为本发明atp1d的预测性能示意图；

图10-3为本发明atp7d的预测性能示意图；

图10-4为本发明edm的预测性能示意图；

图10-5为本发明enb的预测性能示意图；

图10-6为本发明jura的预测性能示意图；

图10-7为本发明oes10的预测性能示意图；

图10-8为本发明oes97的预测性能示意图；

图10-9为本发明osales的预测性能示意图；

图10-10为本发明rf1的预测性能示意图；

图10-11为本发明rf2的预测性能示意图；

图10-12为本发明scmld的预测性能示意图；

图10-13为本发明scm20d的预测性能示意图；

图10-14为本发明scpf的预测性能示意图；

图10-15为本发明sf1的预测性能示意图；

图10-16为本发明sf2的预测性能示意图；

图10-17为本发明slump的预测性能示意图；

图10-18为本发明wq的预测性能示意图；

图11为本发明公式1的示意图；

图12为本发明公式2的示意图；

图13为本发明公式3的示意图；

图14为本发明公式4的示意图；

图15为本发明公式5的示意图；

图16为本发明公式6的示意图；

图17为本发明公式7的示意图；

图18为本发明公式8的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方 案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部 分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普 通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例， 都属于本发明保护的范围。

请参阅图1-10，本发明提供一种技术方案：一种用于多目标回归 的目标相关特征构建方法，包括以下步骤：

首先学习回归树：

S1：给定具有N个训练样本的训练数据集D＝{(x_i，y_i)}N_i＝1、 学习目标y_j、随机选择的特征个数t和保留叶结点的百分比P，然后随 机构建L个树的子集{A₁,...,A_L}、原始特征集X＝{x₁,...,x_d}和训练集 {Tree₁,...,Tree_L}，对于目标y_j，学习其目标特定特征，训练数据集D中 的x_i∈R^d是具有d个特征的第i个训练实例，而y_i∈R^m是具有m个目 标值的向量，叶结点的百分比P的值设为80％；

S2：从原始特征集X中随机选择t个特征组成特征子集A_l，并根 据特征子集A_l生成一个新的数据集

如图11中的公式(1)示出了

的构造，其中X_i是第i个训练样本的特征向量，X_i[A_l]是一个向量， 其中包含由A_l索引的X_i的条目，y_ij是第i个训练样本的目标向量y_i的 第j个条目；

S3：以

为训练集，构建一棵决策树Tree_l；

S4：将决策树Tree_l加入到决策树模型Trees中；

S5：重复步骤S2至S4直到遍历完L个树的子集为止；在树中 Tree_k∈{Tree₁,...,Tree_L}，第n个叶节点的预测值Mkn是目标yj在到达 叶节点的所有训练样本上的平均值。由于树是根据原始特征的随机选 择子集学习的，树的某些叶节点可能在目标变量上具有较大的方差， 这可能会在目标特定特征空间中产生大量噪声。为避免此问题，计算 所有叶节点的目标方差，并按其目标方差对它们进行排序，以升序排 列，保留目标百分比较小的P个百分比叶节点，并将其余叶节点的预 测值设置为零，得到决策树模型集合Trees；

给定数据实例x,其目标特定特征x，j＝[x，j1，x，j2,...,x，jL],它 的给定目标yj的目标特定特征是通过将x馈送到所学习的L树并将其 达到的叶节点的预测值Mkn作为特征值来获得的，学习目标特定功能 的具体过程如下：

S6：从Trees获取第i个回归树模型Tree_l，并将数据样本x输入到 回归树模型Tree_l；

S7：从回归树模型Tree_l获取样本x的预测输出x'_i；

S8：将预测输出x_l'加入到特有特征向量中，即x'[l]＝x'_l；

S9：重复步骤S6至S8，直到遍历完所有的回归树模型Tree_l，最后 得到样本x的所有特有特征向量x'[l]，即具有目标特定特征的新训练数 据集D_j'，构造新的训练数据集D'_j如图12中的公式(2)所示，其中x'_i是第i个训练样本(X_i，y_i)的目标特定特征向量，y_ij是y_i的第j个条 目，Trees代表针对目标y_j训练的回归树；

S10：基于D_j'，训练第j个目标y_j的基本预测模型f_j，基本预测模 型f_j可以是任何类型的回归模型，包括线性回归(LR)、支持向量回 归(SVR)和分类和回归树(CART)，本方法使用的是分类和回归树 (CART)；

S11：基本回归模型型f_j＝{f₁,...,f_m}将输入要素映射到具有目标特定 要素的所有输出目标，对于每个训练样本X_i∈D，我们可以通过学习目 标特定功能获得其目标特定特征向量，将其输入到基本模型中以生成 所有目标的基本预测。因此，利用基本回归模型，我们可以将原始训 练数据集D转换为新的数据集D″，如图13中的公式(3)所示；

S12：D″中样本的特征向量形成一个潜在空间X″＝[x₁″,...,x_N″]^T，通过 最小化以下目标可以从中获知结构矩阵W功能，如图14中的公式(4) 所示，其中||M||² _F是矩阵M的Frobenius范数，||W||_2,1是矩阵W的2,1 范数，Y＝[y₁，y₂,.....,y_N]^T，W＝[w₁，w₂,.....,w_m]^T，w_j＝[w_j1，w_j2,.....,w_jm] 表示第j个目标y_j的最终回归模型h_j的参数，B表示偏差，λ是控制收缩量的正则化参数，λ的值越大，收缩量越大，wj中的第k个条目wjk 的绝对值表示第k个目标的预测对第j个目标的预测的重要性，wjk值 越大，重要性越大。因此，模型参数W是从潜在空间中学到的明确 编码目标间的相关性。为简单起见，当我们将常数值1加到每个样本X_i″中作为附加特征时，偏差B通常会吸收到W中。因此，公式(4) 变为如图15中的公式(5)所示，第一项是损失函数，第二项是行稀疏 正则项；

S13：对于给定的样本X，获得其对所有目标的最终预测y如图16 中的公式(6)所示，其中h_j是第j个目标y_j的最终预测模型。

以上给出了TSF-ITC方法的过程。图3中总结了本文中使用的符 号。TSF-ITC的培训包括三个部分，即学习目标的特定功能，利用目 标间的相关性以及为每个目标建立最终的预测模型。通过针对原始特 征的随机子集训练几个回归树来进行目标特定特征的学习。在本文中， 我们构造了L个随机特征子集，并针对给定目标训练了L个CART模 型以获得目标特定特征，每个CART模型都是基于整个训练样本进行 训练的，但具有随机选择的t个原始特征。因此，学习目标特定特征的 计算复杂度为O(m*(N*t*c)*L)，其中m是输出目标的数量，N是训练样 本的数量，L是针对输出目标训练的CART模型的数量，c是CART模 型中树的最大深度，t是用于训练CART模型的特征的数量，构建CART 模型的计算复杂度为O(N*t*c)。通过在目标特定特征上为每个目标训练 基本模型，并使用从基本模型获得的预测来形成潜在空间，利用目标 间相关性来开发目标间相关性。因此，利用目标间相关性的计算复杂度为O(m*(N*L*c))，其中O(N*L*c)是为每个目标训练基本模型的复杂 度，因为CART模型是用作基本模型。

求解如图15中的公式(5)的计算复杂度为

其 中ε是所需的精度。通过将这三个部分的复杂度相加，整体TSF-ITC 复杂度为

为了验证我们提出的方法TSF-ITC在处理多目标回归任务中的有 效性，我们对广泛的多目标数据集进行了实验研究。我们从Mulan a 收集了18个被广泛用作多目标回归基准的数据集。这些数据集的统计 数据是总结在图4中。其中一些数据集的输入中有缺失值，我们按照 22中使用的策略来处理缺失值，用对应输入的平均值替换缺失值。我 们将我们提出的方法TSF-ITC与几种最新的多目标回归方法进行了比 较，以验证其预测性能。图5列出了比较算法及其对应的引用。

为了衡量多目标回归方法的预测性能，我们使用相对均方根误差 (RRMSE)，其定义如图17中的公式(7)所示；

其中Dtest是测试数据集，我们采用测试数据中所有目标的平均 RRMSE(aRRMSE)来评估多目标回归方法的预测性能。使用所有数 据集的k倍交叉验证来估算RRMSE。具体来说，我们在所有数据集上 使用k＝10，但rf1，rf2，scm1d，scm20d除外，其中有8000多个示例。 考虑到计算原因，我们在rf1和rf2上使用k＝5，在scm1d和scm20d 上使用k＝2。在我们的实验中，当原始特征的数量小于30时，我们将 随机选择的特征t的数量设置为原始特征的30％，否则将t设置为原始 特征的10％。当训练样本的数量小于100时，针对每个目标训练以学 习目标特定特征的回归树L的数量被设置为训练样本的30％，否则将 L设置为训练样本的10％。

图6报告了我们提出的方法TSF-ITC的aRRMSE预测结果以及最 新的比较算法SST，ERC，MMR和SVRCC，其中标记了每个数据集 上的最佳结果大胆的脸。从图6中可以看出，在18个数据集中的大 多数数据集上，TSF-ITC的预测结果均优于比较算法。为了进一步检 查对于TSF-ITC的预测性能和比较算法是否具有统计学意义，我们设 置了TSF-ITC和比较算法达到等效性能的零假设H0，然后使用 Friedman检验，检验了零假设的有效性。假设H0。图7列出了Friedman 检验的统计数据。我们可以看到，所有算法均达到等效性能的零假设 H0被拒绝了。我们进一步使用Bonferroni-Dunn检验作为事后检验， 以找出两者之间的实际差异。

这五个算法根据Bonferroni-Dunn检验，如果两种算法在所有数据 集上的平均排名相差至少一个临界差(CD)，则它们的性能将显着不 同。CD的计算图18中的公式(8)所示：

其中J是比较算法的数量，K是数据集的数量。对于Bonferroni-Dunn检验，在显着性水平α＝0.05时qα的值为2.498。因 此，当J＝5，K＝18时，CD的值为1.32。我们还通过CD图表以图形 方式显示了不同算法之间的差异，其中每个比较算法的平均等级均沿 轴标记，比较算法的CD图如图8所示。从图8中可以看出，TSF-ITC 的性能明显优于SVRCC，ERC和SST，并且比MMR的预测性能要好 得多，尽管MMR和TSF-根据Bonferroni-Dunn检验的ITC(MMR的平均排名为2.389，TSF-ITC的平均排名为1.222)

TSF-ITC方法旨在通过学习目标的特定特征并探索目标间的相关 性来提高多目标回归的预测性能。为了检查学习到的目标特定特征和 目标之间探索的相关性的有效性，我们比较了预测TSF-ITC的性能与 另外两种算法(即MTR-BR和MTR-TSF)的性能分别针对原始目标和 目标特定特征分别针对每个目标训练单独的SVR回归模型。图9显示 了以aRRMSE表示TSF-ITC，MTR-BR和MTR-TSF的预测性能。从 图9中，我们可以看到MTR-TSF的效果要好得多，预测性能优于 MTR-BR，这表明学习到的目标特定特征可以提高目标的预测精度。又观察到TSF-ITC的性能优于MTR-BR和MTR-TSF，这证明了目标特 定功能和目标间相关性在改善目标质量方面的有效性。

多目标回归的预测性能。在我们提出的方法TSF-ITC中，我们基 于原始输入特征的随机选择子集训练几个回归树，以学习目标特定特 征，随机选择特征的数量t和回归树的数量L是两个重要参数。为了 检查TSF-ITC的参数敏感性，我们进行了实验，比较了参数t和L的 不同设置下TSF-ITC的预测性能。图10显示了在aRRMSR下TSF-ITC 的预测性能参数t和L的不同设置。从图10中可以看出，当t和L的 值太小或太大时，TSF-ITC的预测性能均较差。其背后的原因可能是， 当t和L太小时，由于缺乏足够的特征，训练后的回归树的预测准确 性较低，而大t和L可能导致回归树之间的多样性降低。两种情况都 会在学习的目标特定特征中导致大量噪声，从而导致预测性能下降。

在本说明书的描述中，参考术语“一个实施例”、“示例”、“具 体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、 材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书 中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而 且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个 实施例或示例中以合适的方式结合。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实 施例并没有详尽叙述所有的细节，也不限制该发明仅为的具体实施方 式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书 选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际 应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本 发明仅受权利要求书及其全部范围和等效物的限制。

Claims (7)

1.一种用于多目标回归的目标相关特征构建方法，其特征在于，包括以下步骤：

S1：给定具有N个训练样本的训练数据集D＝{(x_i，y_i)}^N _i＝1、学习目标y_j、随机选择的特征个数t和保留叶结点的百分比P，然后随机构建L个树的子集{A₁,...,A_l}、原始特征集X＝{x₁,...,x_d}和训练集{Tree₁,...,Tree_l}，对于目标y_j，学习其目标特定特征；

S2：从原始特征集X中随机选择t个特征组成特征子集A_l，并根据特征子集A_l生成一个新的数据集

S3：以

为训练集，构建一棵决策树Tree_l；

S4：将决策树Tree_l加入到决策树模型Trees中；

S5：重复步骤S2至S4直到遍历完L个树的子集为止，计算各个决策树中所有叶子结点的输出目标的方差，并按其目标方差进行升序排列，保留前P个百分比较小的叶子结点，并将其余叶子结点的预测值设置为0，得到决策树模型集合Trees；

S6：从Trees获取第i个回归树模型Tree_l，并将数据样本x输入到回归树模型Tree_l；

S7：从回归树模型Tree_l获取样本x的预测输出x_l'；

S8：将预测输出x′_l加入到特有特征向量中，即x'[l]＝x'_l；

S9：重复步骤S6至S8，直到遍历完所有的回归树模型Tree_l，最后得到样本x的所有特有特征向量x'[l]，即具有目标特定特征的新训练数据集D_j'；

S10：基于D_j'，训练第j个目标y_j的基本预测模型f_j；

S11：基本回归模型型f_j＝{f₁,...,f_m}将输入要素映射到具有目标特定要素的所有输出目标，得到新的数据集D”；

S12：D”中样本的特征向量形成一个潜在空间X”＝[x₁”,...,x_N”]^T，通过最小化以下目标可以从中获知结构矩阵W功能，如公式(5)所示；

S13：对于给定的样本X，获得其对所有目标的最终预测y如公式(6)所示，其中h_j是第j个目标y_j的最终预测模型。

2.根据权利要求1所述的一种用于多目标回归的目标相关特征构建方法，其特征在于：步骤S1中所述训练数据集D中的x_i∈R^d是具有d个特征的第i个训练实例，而y_i∈R^m是具有m个目标值的向量。

3.根据权利要求1所述的一种用于多目标回归的目标相关特征构建方法，其特征在于：步骤S1中所述叶结点的百分比P的值设为80％。

4.根据权利要求1所述的一种用于多目标回归的目标相关特征构建方法，其特征在于：步骤S10中所述基本预测模型f_j可以是任何类型的回归模型，包括线性回归(LR)、支持向量回归(SVR)和分类和回归树(CART)，本方法使用的是分类和回归树(CART)。

5.根据权利要求1所述的一种用于多目标回归的目标相关特征构建方法，其特征在于：步骤S2中所述公式(5)中的||M||² _F是矩阵M的Frobenius范数，||W||_2,1是矩阵W的'2,1范数，Y＝[y₁，y₂,.....,y_N]^T，W＝[w₁，w₂,.....,w_m]^T，w_j＝[w_j1，w_j2,.....,w_jm]表示第j个目标y_j的最终回归模型h_j的参数，λ是控制收缩量的正则化参数，wj中的第k个条目wjk的绝对值表示第k个目标的预测对第j个目标的预测的重要性，TSF_j代表学习目标y_j的目标特定特征的方法。

6.根据权利要求5所述的一种用于多目标回归的目标相关特征构建方法，其特征在于：所述λ的值越大，收缩量越大，所述wjk值越大，重要性越大。

7.根据权利要求1所述的一种用于多目标回归的目标相关特征构建方法，其特征在于：步骤S12中所述公式(6)中的第一项是损失函数，第二项是行稀疏正则项。

Images