CN109993229A - 一种严重不平衡数据分类方法 - Google Patents

Abstract

本发明公开了一种严重不平衡数据分类方法，该方法将生成对抗网络引入多重集合的构建过程，使得每个子集的分布与原数据集相同，在处理数据的非线性问题上，该方法将深度度量与多重集合的特征学习相结合，并设计了一个新的判定项用于加强度量的判定性，本发明方法充分考虑了严重不平衡数据对分类结果的影响，使用深度神经网络增强了其与原有数据的相似性以及数据本身的判定性，提高了分类效率。

Description

一种严重不平衡数据分类方法

技术领域

本发明涉及一种严重不平衡数据分类问题的解决方法，具体涉及一种基于深度度量和非相关性代价敏感多重集合学习的严重不平衡数据分类方法。

背景技术

数据不平衡意味着某一类的数量超过其他类。通常样本数量较多的类被称为多数类，较少的被称为少数类。对于这种不平衡的数据，典型分类器的结果往往会倾向于多数类，使得分类器效率大打折扣。各领域对此都展开了不同程度的研究，包括软件缺陷预测、文档分类、目标分类、生物信息学等等。

现有的解决数据不平衡问题的方法大致分为三类：基于重采样的方法使用欠采样或过采样技术将不平衡的数据集转化为平衡的数据集。基于代价敏感学习的方法考虑误分类的不同代价，通常来说，错将少数类样本预测为多数类的代价更大。基于集成学习的方法将多个分类器进行组合，组合后的新分类器能够具有更优的分类性能。最近，一些基于深度度量学习的方法也被用于解决不平衡数据的分类问题，这些方法往往是卷积神经网络与上述的三种方法的组合。

一般认为不平衡率超过10：1的数据具有严重的不平衡性。针对严重不平衡数据的分类问题提出的解决方法数量仍然较少。一种粒度支持向量机的重复欠采样方法是对已有的支持向量机方法进行修改，使得信息误分类的负面影响降到最低，同时利用欠采样的方法使得数据清洗的正面影响最大化。另一种进化的欠采样集成方法将集成算法与进化的欠采样进行整合，使得该方法能够具有多个分类器的性能。此外，Jia等人基于边界合成少数过采样方法提出了两种新的采样方法。

大多数现有的严重不平衡方法使用了重采样和集成学习的方法。但是在严重不平衡的数据分类问题的场景种，为了达到数据平衡的状态，重采样方法需要从多数类中移除大量样本或是向少数类中增加许多合成样本，这样往往会损失有用的信息，或是增加不利的相关信息，另一种基于集成的方法，其研究的重点在于如何有效地将多种分类器进行组合，但是如何保证和利用不同分类器之间的多样性仍然是一个广泛探讨的问题。因此，严重不平衡数据的分类问题仍然具有挑战性。

研究发现在平衡数据集上进行分类，其效果往往比在不平衡数据集上要好。一般来说，基于不平衡的数据集在不丢弃样本或增加合成样本的情况下，能够构建多个平衡的数据子集。如果能够充分利用每个平衡的数据子集的有用信息，然后将多个子集的学习的结果行融合，分类效果能够大大提升。最近，多重集合的特征学习的基本思想就是从多个相关的样本集合中共同学习特征。但是直接利用多重集合的特征学习往往获得的效果不理想。原因如下：多个子集是由同一个数据集生成的，子集之间可能存在高度的相关性，会对特征的互补性学习产生负面影响。在严重不平衡的分类中，多数类与少数类之间的分类代价是不同的，通常会使得分类器倾向于多数类。

发明内容

针对现有的严重不平衡学习方法中存在的不足，提供一种基于深度度量和非相关性代价敏感多重集合学习的严重不平衡数据分类方法提升分类的效果。

为达到上述目的，本发明是通过以下技术方案来实现的：

一种严重不平衡数据分类方法，包括以下步骤：

步骤(1)、选取训练集中的多数类样本X^N，随机划分为多个子集合Z₁，...，Z_v，所述每个子集合的个数和少数类样本X^P的数量一致；

步骤(2)、训练生成对抗网络，使得生成的每个子类的数据分布与原始多数类的数据分布相同；

步骤(3)、将生成的v个子样本集合分别与少数类样本组成v个平衡的数据集i＝1，2，...，v；

步骤(4)、构建一个多重集合的深度神经网络，将所述v个平衡的样本集合X₁，X₂，...，X_v作为输入，通过多层非线性的变换，训练得到神经网络M层的参数其中分别表示第k个数据集上第m层的权重矩阵和偏差；

步骤(5)、给定测试集中的一个样本，根据所述步骤(4)得到的深度神经网络，学习出所述深度神经网络的深度度量；

步骤(6)、分别在不同平衡样本子集上，使用最近邻分类器和余弦距离分别进行模型训练和预测；

步骤(7)、对于所述步骤(6)得到的多个预测结果，采用多数投票策略决定测试样本最终所属的类。

优选地，在所述步骤(1)中，对于经过划分后少于少数类样本数量的冗余样本，则将它们分别放入不同子集中。

优选地，在所述步骤(2)中，假设X^N为多数类样本集合，X^P为少数类样本集合，是由Z₁，...，Z_v通过生成对抗网络重新生成的v个子样本集合，生成的目标函数如下：

其中，是生成器，能够生成一组与原多数类样本具有相同数据分布的样本；D是判别器，用于鉴别数据来自原多数类样本还是由生成器生成，表示离散变量的积分。

优选地，在所述步骤(4)中，假设神经网络有M+1层，每个数据集的第m层都有p^(m)个节点，m＝1，2，...，M，第m层的第k个数据集的输出x的计算公式为：

其中和分别是基于第m层的权重矩阵、偏置和节点向量，是非线性激活函数，一般为sigmoid或tanh函数；网络的第一层h⁽⁰⁾＝x，p⁽⁰⁾＝d，d与样本x的维度相同，表示向量空间，p^(m)表示空间维度；

给定第k个数据子集中的样本x_kix_kj，在深度度量学习网络的第m层将分别被表示为和通过计算它们之间的欧氏距离，得到距离度量：

通过将深度度量学习和非线性代价敏感多重集合的特征学习整合，得到新的目标函数：

其中α(α＞0)用来平衡类内紧密度和类间松散度β(β＞0)和γ(γ＞0)分别是可调的正归一化参数；D_k为第k个样本集合的分类代价，中分别是第k个数据集上第m层的权重矩阵、偏置，并使用F范数作为正则项，用来防止模型过拟合，L表示目标函数Loss，s.t.表示约束条件；

和的计算公式如下：

其中N_k表示第k个数据集中的样本数量；P_kij表示x_kj是否为x_ki的k1个类内最近邻之一，同理，Q_kij表示x_kj是否为x_ki的k2个类间最近邻之一；

D_k的计算公式如下：

其中C是所有类的总数，c(x_tki)是第k个子集中样本x_tki的分类代价，定义为：cost(t，l)为代价敏感因子，代价矩阵如下所示；x_tki为第k个集合中属于t类的样本i，u_tk表示第k个集合中属于t类的映射样本均值可以由公式计算；

二分类代价矩阵

加权非线性约束中H的计算公式如下：

其中x_jp和x_mq分别表示第j个集合中的第p个样本和第m个集合中的第q个样本；表示每个样本x_jp和x_mq对应的集合的加权平均样本；可以由公式计算，并且α_pq＝exp(-||x_jp-x_jq||/2σ²)，σ为标量常数；由于不同的数据集都包含相同数量的样本，N因此表示所有集合的样本数量；

为了对新的目标函数进行优化，使用随机次梯度下降的方法，对参数和进行更新：

其中λ为学习率。

本发明通过使用深度神经网络增强了其与原有数据的相似性以及数据本身的判定性，提高了分类效率。

附图说明

图1是本发明的方法流程图。

具体实施方式

以下结合具体实施方案和附图对本发明进行进一步的详细描述。其只意在详细阐述本发明的具体实施方案，并不对本发明产生任何限制，本发明的保护范围以权利要求书为准。

实施例1

如图1所示，本实施例的基于深度度量和非相关性代价敏感多重集合学习的严重不平衡数据分类方法，包括以下步骤：

步骤(1)、选取训练集中的多数类样本X^N，随机划分为多个子集合Z₁，...，Z_v，每个子集的个数和少数类样本X^P的数量一致。对于经过划分后少于少数类样本数量的冗余样本，则将它们分别放入不同子集中。

步骤(2)、训练生成对抗网络，使得生成的每个子类的数据分布与原始多数类的数据分布相同。假设X^N为多数类样本集合，X^P为少数类样本集合，是由Z₁，...，Z_v通过生成对抗网络重新生成的v个子样本集合，生成的目标函数如下：

其中，是生成器，能够生成一组与原多数类样本具有相同数据分布的样本。D是判别器，用于鉴别数据来自原多数类样本还是由生成器生成。

步骤(3)、将生成的v个子样本集合分别与少数类样本组成v个平衡的数据集i＝1，2，...，v。

步骤(4)、构建一个多重集合的深度神经网络，将v个平衡的样本集合X₁，X₂，...，X_v作为输入，通过多层非线性的变换，训练得到神经网络M层的参数其中分别表示第k个数据集上第m层的权重矩阵和偏差。假设神经网络有M+1层，每个数据集的第m层都有p^(m)个节点，m＝1，2，...，M，第m层的第k个数据集的输出x的计算公式为：

其中分别是基于第m层的权重矩阵和偏置，是非线性激活函数，一般为sigmoid或tanh函数。网络的第一层h⁽⁰⁾＝x，p⁽⁰⁾＝d，d与样本x的维度相同。

给定第k个数据子集中的样本x_kix_kj，在深度度量学习网络的第m层将分别被表示为和通过计算它们之间的欧氏距离，得到距离度量：

通过将深度度量学习和非线性代价敏感多重集合的特征学习整合，得到新的目标函数：

其中α(α＞0)用来平衡类内紧密度和类间松散度β(β＞0)和γ(γ＞0)分别是可调的正归一化参数。D_k为第k个样本集合的分类代价，中分别是第k个数据集上第m层的权重矩阵、偏置，并使用F范数作为正则项，用来防止模型过拟合。

和的计算公式如下：

其中N_k表示第k个数据集中的样本数量。P_kij表示x_kj是否为x_ki的k1个类内最近邻之一，同理，Q_kij表示x_kj是否为x_ki的k2个类间最近邻之一。

D_k的计算公式如下：

其中C是所有类的总数，c(x_tki)是第k个子集中样本x_tki的分类代价，定义为cost(t，l)为代价敏感因子，代价矩阵如表1所示。x_tki为第k个集合中属于t类的样本i，u_tk表示第k个集合中属于t类的映射样本均值可以由公式计算。

表1二分类代价矩阵

加权非线性约束中H的计算公式如下：

其中x_jp和x_mq分别表示第j个集合中的第p个样本和第m个集合中的第q个样本。表示每个样本x_jp和x_mq对应的集合的加权平均样本。可以由公式计算，并且α_pq＝exp(-||x_jp-x_jq||/2σ²)，σ为标量常数。由于不同的数据集都包含相同数量的样本，N因此表示所有集合的样本数量。

为了对新的目标函数进行优化，使用随机次梯度下降的方法，对参数和进行更新：

其中λ为学习率。

步骤(5)、给定测试集中的一个样本，根据步骤(4)得到的深度神经网络，学习出它的深度度量。

步骤(6)、分别在不同平衡样本子集上，使用最近邻分类器和余弦距离分别进行模型训练和预测。

步骤(7)、对于步骤(6)得到的多个预测结果，采用多数投票策略决定测试样本最终所属的类。

将本发明提出的方法DM-UCML与多个对比方法进行比较，包含基准方法：kNN、LkNN、O-kNN、O-LkNN，多重集合学习方法MCCA、MvDA，一般的不平衡学习方法CSMLP、WEOB2、Dubeyetal.，严重不平衡学习方法GSVM-RU、EUSBoost、DBSMOTE，以及仅考虑非相关性代价敏感多重集合学习的严重不平衡数据分类方法UCML和其他基于深度度量学习的方法CoSen-CNN、LMLE-kNN。

实验的数据集涉及4个不平衡学习研究领域，分别为软件缺陷预测应用、文档分类应用、目标分类应用、生物信息预测应用。每个领域各选取2个有代表性的严重不平衡数据集，依次为：PCI、LC、Pageblock、Kddcup、Glass5、Shuttle0vs4、Yeast7和Abalone19。实验的评价指标为特异性Spec，敏感性Sens，G-mean和AUC，在8个数据集上使用4种评价指标的结果如下：

表2 PCI，LC，Pageblock和Kddcup数据集上的实验结果

表3 Glass5，Shuttle0vs4，Yeast7和Abalone19数据集上的实验结果

实验结果显示，DM-UCML的分类效果要比UCML好，并且DM-UCML也要比其他深度度量相关的方法更有效，在平均G-mean和平均AUC上至少能提升5％，分类效率更高的原因可能是DM-UCML采用了生成对抗网络构建平衡的多重集合，最后得到的多个样本子集能够反映源数据的真实分布，并且从多个子集中学习了多个互补的度量，大大增加了子集的判定性。

总的来说，DM-UCML在使用Sens、G-mean、AUC作为评价指标时，与其他所有对比方法相比，在8个数据集上都能够获得最高的评价结果，充分说明了本发明方法的优越性，确实达到了本发明的目的。

上述实施例仅供说明本发明之用，而并非是对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明范围的情况下，还可以作出各种变化和变型，因此所有等同的技术方案也应属于本发明的范畴，本发明的专利保护范围应由各权利要求限定。

Claims (4)

1.一种严重不平衡数据分类方法，其特征在于，包括以下步骤：

步骤(1)、选取训练集中的多数类样本X^N，随机划分为多个子集合Z₁,...,Z_v,所述每个子集合的个数和少数类样本X^P的数量一致；

步骤(2)、训练生成对抗网络，使得生成的每个子类的数据分布与原始多数类的数据分布相同；

步骤(3)、将生成的v个子样本集合分别与少数类样本组成v个平衡的数据集

步骤(4)、构建一个多重集合的深度神经网络，将所述v个平衡的样本集合X₁,X₂,...,X_v作为输入，通过多层非线性的变换，训练得到神经网络M层的参数其中分别表示第k个数据集上第m层的权重矩阵和偏差；

步骤(5)、给定测试集中的一个样本，根据所述步骤(4)得到的深度神经网络，学习出所述深度神经网络的深度度量；

步骤(6)、分别在不同平衡样本子集上，使用最近邻分类器和余弦距离分别进行模型训练和预测；

步骤(7)、对于所述步骤(6)得到的多个预测结果，采用多数投票策略决定测试样本最终所属的类。

2.根据权利要求1所述的严重不平衡数据分类方法，其特征在于，在所述步骤(1)中，对于经过划分后少于少数类样本数量的冗余样本，则将它们分别放入不同子集中。

3.根据权利要求1所述的一种基于深度度量和非相关性代价敏感多重集合学习的严重不平衡数据分类方法，其特征在于，在所述步骤(2)中，假设X^N为多数类样本集合，X^P为少数类样本集合，是由Z₁,...,Z_v通过生成对抗网络重新生成的v个子样本集合，生成的目标函数如下：

其中，是生成器，能够生成一组与原多数类样本具有相同数据分布的样本；D是判别器，用于鉴别数据来自原多数类样本还是由生成器生成，表示离散变量的积分。

4.根据权利要求1所述的严重不平衡数据分类方法，其特征在于，在所述步骤(4)中，假设神经网络有M+1层，每个数据集的第m层都有p^(m)个节点，m＝1,2,...,M，第m层的第k个数据集的输出x的计算公式为：

其中和分别是基于第m层的权重矩阵、偏置和节点向量，是非线性激活函数，一般为sigmoid或tanh函数；网络的第一层h⁽⁰⁾＝x，p⁽⁰⁾＝d，d与样本x的维度相同，表示向量空间，p^(m)表示空间维度；

给定第k个数据子集中的样本x_ki x_kj，在深度度量学习网络的第m层将分别被表示为和通过计算它们之间的欧氏距离，得到距离度量：

通过将深度度量学习和非线性代价敏感多重集合的特征学习整合，得到新的目标函数：

其中α(α＞0)用来平衡类内紧密度和类间松散度β(β＞0)和γ(γ＞0)分别是可调的正归一化参数；D_k为第k个样本集合的分类代价，中分别是第k个数据集上第m层的权重矩阵、偏置，并使用F范数作为正则项，用来防止模型过拟合，L表示目标函数Loss，s.t.表示约束条件；

和的计算公式如下：

其中N_k表示第k个数据集中的样本数量；P_kij表示x_kj是否为x_ki的k1个类内最近邻之一，同理，Q_kij表示x_kj是否为x_ki的k2个类间最近邻之一；

D_k的计算公式如下：

其中C是所有类的总数，c(x_tki)是第k个子集中样本x_tki的分类代价，定义为：cost(t,l)为代价敏感因子，代价矩阵如下所示；x_tki为第k个集合中属于t类的样本i，u_tk表示第k个集合中属于t类的映射样本均值可以由公式计算；

二分类代价矩阵

加权非线性约束中H的计算公式如下：

其中x_jp和x_mq分别表示第j个集合中的第p个样本和第m个集合中的第q个样本；表示每个样本x_jp和x_mq对应的集合的加权平均样本；可以由公式计算，并且α_pq＝exp(-||x_jp-x_jq||/2σ²)，σ为标量常数；由于不同的数据集都包含相同数量的样本，N因此表示所有集合的样本数量；

为了对新的目标函数进行优化，使用随机次梯度下降的方法，对参数和进行更新：

其中λ为学习率。