CN101405718A - 具有局部线性嵌入的smote算法 - Google Patents

Abstract

一种数据分类方法。该方法包括：提供在第一空间中被映射的数据；使用局部线性嵌入把数据映射到第二空间以产生映射过的数据；对映射过的数据应用合成少数类过采样算法(SMOTE)以产生新数据；以及把新数据映射到第一空间。

Description

具有局部线性嵌入的SMOTE算法

技术领域

本发明一般涉及数字医学图像处理领域，尤其涉及计算机辅助检测。更具体地，本发明涉及应用用于计算机辅助检测(CAD)的合成少数类过采样算法。

背景技术

计算机辅助检测(CAD)系统已经在医学领域中得到应用，例如，用于乳房X线照相术以辅助乳癌的检测。Kodak乳房X线照相术CAD系统是这种系统的一个例子。美国专利第2004/0024292号公开专利申请(Menhardt)涉及一种向数字图像分配计算机辅助检测应用的系统和方法。

医学CAD系统自动地标识给出异常形状(例如，息肉、块状物、针状物)已知特性的图像中感兴趣的目标的候选者；获取每个候选者的特征；对候选者进行分类；以及向放射学家显示候选者以便进行诊断。通过已经从训练数据集进行了离线训练的分类器来执行分类，然后在CAD系统中使用。训练数据集是图像数据库，其中已经由专家对候选者进行了标注。例如，参见美国专利第2005/0010445号公开专利申请(Krishnan)以及美国专利申请第2005/0281457号公开专利申请(Dundar)。

在医学图像智能情况中，不平衡数据分类是一种普通的实践。例如，在医学模式识别和数据挖掘情况中的实际应用中，经常出现不平衡数据分类。通过假设基础训练集是平均分布的来开发许多现有的分类方法。然而，困难在于高度偏差的种类分布会导致通过某些现有分类算法得到的作为结果的分类器的严重偏差。即，当训练集为高度不平衡分布(即，数据包括两类，少数类C+和多数类C-)时存在严重的偏差(biasity)问题。即，作为结果的判定边界对于少数类有严重的偏差，并且根据ROC曲线分析(接受器操作特性分析)可能导致的较差的性能。为了这个目的，已经研究了许多分类算法，诸如多数类欠采样技术(under-sampling technique)、少数类过采样技术(over-sampling technique)、代价敏感的学习算法以及特征选择。

因此，存在解决不平衡数据分类的需求。

发明内容

本发明的目标是提供一种对数据尤其是不平衡数据进行分类的方法。

给出所提供的任何目标只是作为示意性的例子，并且这些目标可以是本发明的一个或多个实施例的示范。通过所揭示的本发明固有地得到其它期望的目标和优点，并且这对于熟悉本领域的技术人员是显而易见的。本发明通过所附的权利要求来限定的。

根据本发明的一个方面，提供了一种数据分类方法。该方法的步骤包括：提供在第一空间中被映射的数据；使用局部线性嵌入把该数据映射到第二空间以产生映射过的数据；对映射过的数据应用合成少数类过采样算法(SMOTE)以产生新数据；以及把新数据映射到第一空间。

附图说明

如附图所示，本发明的上述的和其它目标、特征和优点将从下述本发明实施例的更特定的说明变得显而易见。附图中元件相互之间没有必要按一定的比例。

图1示出关于在SMOTE算法中创建合成数据点的示意性说明。

图2示出根据本发明的基于LLE的SMOTE算法的示范性伪代码。

图3示出了来自胸部x射线图像数据库的三个数据集。

图4示出在图3的三个数据集上使用三个分类器得到的分类结果。

图5示出图3的三个数据集的作为结果的ROC曲线的区域。

具体实施方式

下面是参考了附图的本发明的较佳实施例的详细说明，在附图中，相同的标号标识几个附图的每个附图中的相同结构元件。

合成少数类过采样算法(SMOTE)是解决运算问题的一种已知的方法。申请人通过结合局部线性嵌入算法(LLE)而增强了传统的SMOTE算法。即，首先应用LLE算法把高维数据映射到输入数据可进一步分割的低维空间，因此可以通过SMOTE过采样。然后通过LLE把通过SMOTE产生的合成数据点映射回原始输入空间。实验结果展示出基础方法获得比传统SMOTE更好的性能。

SMOTE(合成少数类过采样算法)是对正类或少数类进行过采样的一种方法。然而，这受到任何两个正实例之间的局部空间是正的或属于少数类这样的严格假设的限制，在训练数据不是线性可分割的情况中，这可能并非始终是真的。申请人注意到，把训练数据映射到可以进行SMOTE算法的、一个更可线性地分割的空间，就可以回避这种限制。然而，如果在可线性地分割的空间中对正类进行合成过采样，则新产生的数据应该变换回原始输入空间。实际上，从输入数据空间映射到可线性地分割的空间的变换应该是可逆的。为了这个目的，对于从原始输入空间到可线性分割的空间的映射，使用了局部线性嵌入(LLE)。

申请人提供了基于SMOTE和LLE的过采样技术。通常，首先通过LLE把训练数据映射到数据可进一步分割的较低维的空间。然后，应用SMOTE以产生对于正类的期望个数的合成数据点。之后，把这些新数据点映射回原始输入空间。

下面更具体地描述该方法。将先说明LLE算法，然后说明基于LLE的SMOTE算法。还说明了基于LLE的SMOTE算法和传统SMOTE算法的性能比较结果。

现在说明局部线性嵌入(LLE)算法。

通常从医学图像提取的特征具有较高的维度，因此可能会造成数据分类中较难处理的几何复杂度。此外，它们在欧几里德空间中是不可线性地分割的。初始解决方案是流形(manifold)学习算法的一个类。局部线性嵌入可以通过把输入数据映射到数据变得更可分割的低维流形而降低高维度。

对于d维空间R^d中的给定数据集X＝{x₁，x₂，...，x_N}，LLE算法是寻找R^l中的l维数据集Y，它同X一样，在其k最近邻图形(kNN)中具有相同的局部几何结构。换言之，把任何点x∈X映射到点y＝F(x)∈Y，使得，如果x的k个最近邻X_kNN＝{x_j|1≤j≤k}线性地横跨x

$x=\underset{j=1}{\overset{k}{\mathrm{\Σ}}}{w}_j{x}_j---\left(1\right)$

则

$y=\underset{j=1}{\overset{k}{\mathrm{\Σ}}}{w}_j{y}_j---\left(2\right)$

其中w＝(w₁，...，w_k)表示线性组合系数，而y_j＝F(x_j)。

实际上，可以在三个步骤中执行LLE算法：构建X的k个最近邻居图形，估计X的权重矩阵W，以及获取低维数据Y，如下所述。

(1)构建X的k个最近邻图形G_kNN(X)：对于每个x_i∈X，其k个最接近的邻居图形表示为X_kNN(x_i)＝{x_Γij|1≤j≤k}。

(2)估计权重矩阵W，以致X_kNN(x_i)最佳地线性横跨x_i：

$W=\underset{w}{\arg \min }\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\left|\right|x-\underset{j=1}{\overset{k}{\mathrm{\Σ}}}{W}_{{\mathrm{i\Γ}}_{\mathrm{ij}}}{x}_{{\mathrm{\Γ}}_{\mathrm{ij}}}\left|\right|}^2---\left(3\right)$

其中，对于任何i，j以及j≠Γ_ij，W_ij＝0以及

$\underset{j=1}{\overset{k}{\mathrm{\Σ}}}{W}_{i{\mathrm{\Γ}}_{\mathrm{ij}}}=1---\left(4\right)$

(3)通过对下面公式进行最小化而获取嵌入数据Y：

$\mathrm{\ϵ}\left(Y\right)=\underset{j=1}{\overset{k}{\mathrm{\Σ}}}{\left|\right|y_i-W_{\mathrm{ij}}y\left|\right|}^2=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{M}_{\mathrm{ij}}{y}_i^T{y}_i---\left(5\right)$

其中M＝(I-W)^T(I-W)，以及可以通过稀疏矩阵来表示W。对应于最小非零特征值的M的特征向量是作为结果的嵌入数据Y。

现在对基于LLE的SMOTE算法进行说明。

不平衡数据源的分类的典型惯例是对少数类进行过采样。在合成少数类过采样算法(SMOTE)中，通过使用k个最近邻图形代替具有交换的随机采样来对少数类进行过采样。受到其手写字符识别应用的推动，SMOTE已经受到模式识别团体的关注。申请人把SMOTE创建的合成数据点的期望数量表示为m。SMOTE算法通过使用其kNN图形对少数类C₊进行过采样。首先，对于C₊中的每个矢量x，从其k个最接近的正邻居(即，C+中的k个最接近的邻居)随机地选择m/|C₊|数量的端点。然后分别通过在x和X_kNN(x)中选择的m/|C₊|数量的端点之间的随机内插来创建合成数据点，如图1所示。尤其，图1示出如何在SMOTE算法中创建合成数据点的示意性说明。

然而，随机内插会在原始输入数据上产生附加的噪声或干扰少数类和多数类的固有几何结构，从而对作为结果的分类器的估计变得十分困难。作为上述使用随机内插方案的代替，对于每个x，申请人通过在X_KNN(x)中从x到每个x_j寻找每个线分段上的矢量r而产生新的合成数据点，以致其具有离开多数类C-的最大平均距离，如公式(6)。

$r=\underset{r\∈\stackrel{\‾}{{\mathrm{xx}}_j}}{\arg \max }\frac{1}{k}\underset{x\_\∈C\_}{\mathrm{\Σ}}\left|\right|r-x\_\left|\right|---\left(6\right)$

这提供了合成数据r离开多数类的间隔。

即使可以根据公式(6)确定性地内插合成数据，原始输入空间中的少数类的过采样也受到“任何正数据点对之间的局部空间是正的”的一个假设的限制。但是当原始数据不是可线性地分割时，这个严格的假设不是始终是真的。为了放宽这个假设，可以应用LLE技术以把原始数据映射到新的可线性地分割的特征空间。然后，用SMOTE算法在新的特征空间中对少数类进行过采样来代替。LLE优于其它现有的学习算法之处在于可以根据下述公式把新特征空间中产生的合成矢量z映射回原始输入空间：

$w=\underset{w}{\arg \min }\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\left|\right|z-\underset{j=1}{\overset{k}{\mathrm{\Σ}}}{w}_j{y}_j\left(z\right)\left|\right|}^2---\left(7\right)$

和

$z=\underset{j=1}{\overset{k}{\mathrm{\Σ}}}{w}_j{x}_j\left(z\right)---\left(8\right)$

其中y_j(z)是在嵌入集Y中z的k个最近邻，而x_j(z)是在原始输入空间中y_j(z)的对应矢量。LLE的应用实现了过采样技术所要求的严格假设，从而可以设计原始输入空间中的任何分类器。图2中展示了基础的基于LLE的SMOTE算法。尤其，图2示出基于LLE的SMOTE算法的伪代码。

与上述LLE算法相反，申请人提供另外的方法，该方法用于选择参与公式(4)和(5)中的计算的k个最近邻矢量。即，对于X中的每个x，通过结合X的两类信息即当X＝C₊∪C_-时的少数类C₊和多数类C_-来构建其每个x的最接近的邻居X_kNN(x)。申请人首先根据欧几里德距离来寻找x的k个最近邻，X⁰ _kNN(x)，并把X_kNN(x)设为空。如果对于每个x构建X⁰ _kNN(x)，则对于X⁰ _kNN(x)中的任何负矢量v，如果在X⁰ _kNN(x)中的正邻居的数量大于k₊，则申请人把v添加到X_kNN(x)中。最后，由于X_kNN(x)的大小明显地小于k，所以把x的最接近的正邻居的k-|X_kNN(x)|数添加到X_kNN(x)中。图2中展示了这个另外的LLE方案的实施。

现在描述实验结果。

申请人通过在三个数据集上进行舍去一(leave-one-out)有效性测试以及应用三个分类器即朴素贝叶斯(

Bayesian)分类器、k最近邻分类器以及支持矢量机器来估计所建议的基于LLE的SMOTE算法。作为比较基准，还在实验测试中估计传统的SMOTE算法。从肺部的自动计算化检测中的数个胸部x射线图像数据库收集三个数据集。每个数据矢量具有从感兴趣的区域(ROI)获取的33个特征，这些感兴趣的区域是通过一系列图像增强和分段算法进行定位和分段的。在图3中提供了数据集的说明。

ROC曲线(接收器操作特性)的作用是作为估计通过使用基于LLE的SMOTE和SMOTE得到的分类性能的工具，它标绘出作为假的正函数的真的正评估。在医学诊断中，一些个别人员认为作为结果的ROC曲线下的区域越大，得到的分类性能越佳。

在实验中，对于少数类进行的过采样只有它原始大小的两倍那么多。定义图2中的三个参数为：k＝33、l＝7以及k₊＝9。我们在图4中报告了在三个数据集上分别使用三个分类器得到的分类结果。尤其，图4示出通过三个分类器即朴素贝叶斯(

Bayesian)分类器、k最近邻分类器(K-NN)以及支持矢量机器而得到的ROC曲线。

在图5中也报告了所得到的作为结果的ROC曲线的区域。尤其，图5示出结合基于LLE的SMOTE和SMOTE通过三个分类器得到的ROC曲线的区域。可以观察到，对于每个分类器，基于LLE的SMOTE算法胜过传统SMOTE算法。

因此，申请人描述的数据分类方法包括下列步骤：提供在第一空间中被映射的数据；使用局部线性嵌入把数据映射到第二空间以产生映射过的数据；对映射过的数据应用合成少数类过采样算法(SMOTE)以产生新数据；以及把新数据映射到第一空间。

因此，申请人已经描述了过采样技术，用于不平衡数据的分类的基于LLE的SMOTE。通过把局部线性嵌入技术结合到SMOTE算法中来执行基础过采样算法。实验结果展示出基于LLE的SMOTE算法获得比传统SMOTE的性能增强的性能。

申请人已知的参考资料包括：

Chawla，N.，Bowyer，K.，Hall，L.和Kegelmeyer，W.SMOTE：SyntheticMinority Over-sampling Technique(合成少数类过采样算法)。Journal ofArtificial Intelligence Research(人工智能研究杂志)，2002，16：341-378；

Sam TR，Lawrence K S.，Nonlinear dimensionality reduction by locallylinear embedding(通过局部线性嵌入的非线性维度降低)。Science(科学)，2000，290(5500)：2323-2326；

Xu Zhi-jie，Yang Jie和Wang Meng，A new non-linear dimensionallyreduction for color image(彩色图像的新的非线性维度降低)，Journal ofShanghai Jiaotong University(上海交通大学学报)，2005，39(2)：279-283；

Rehan Akbani，Stephen Kwek和Nathalie Japkowicz，Applying SupportVector Machines to Imbalanced Datasets(应用支持矢量机器于不平衡数据集)，ECML 2004：39-50；

Zhan De-chuan，Zhou Zhi-hua，Neighbor Line-based Locally linearEmbedding(基于邻居线的局部线性嵌入)，Proceedings of the 10thPacific-Asia Conference on Knowledge Discovery and Data Mining 2006(关于知识发现和数据采集的第十届亚太会议2006学报)；

Dick de Ridder，Marco Loog和Marcel J.T.Reinders，Local Fisherembedding(局部Fisher嵌入)，ICPR 2004，2：295-298；以及

Yi Sun，Mark Robinson，Rod Adams，Paul Kaye，Alistair G.Rust和NeilDavey，Using a Hybrid Adaboost algorithm to Integrate Binding SitePredictions(对组合捆绑现场预测使用混合Adaboost算法)，ICMI 2005。

描述作为软件程序的本发明的较佳实施例。熟悉本领域的技术人员会理解，也可以在硬件中构建这种软件的等效物。因为图像操作算法和系统是众知的，本说明将特别直接针对形成根据本发明的方法的一部分的或更直接地与根据本发明的方法协作的算法和系统。可以从本领域中已知的这些系统、算法、组件和元件中选择这里没有特别地示出或描述的、包含在其中的这种算法和系统的其它方面以及用于产生和处理图像信号的硬件和/或软件。

例如，计算机程序产物可以包括一个或多个存储介质；磁性存储介质，诸如磁盘(诸如软盘)或磁带；光存储介质，诸如光盘、光带或机器可读出条形码；固态电子存储器件，诸如随机存取存储器(RAM)或只读存储器(ROM)；或用于存储计算机程序的任何其它物理器件或介质，所述计算机程序具有用于控制一台或多台计算机来实现根据本发明的方法的指令。

这里结合本申请引用的所有文件、专利、学报论文和其它资料作为参考。

已经特别参考当前较佳实施例详细描述了本发明，但是要理解，在本发明的精神和范围内可以实现各种变化和修改。因此认为在所有各个方面，当前揭示的实施例是示意性的而非限制性的。

Claims (4)

1.一种数据分类方法，包括下列步骤：

提供数据，所述数据在第一空间中被映射；

使用局部线性嵌入把所述数据映射到第二空间以产生映射过的数据；

对所述映射过的数据应用合成少数类过采样算法(SMOTE)以产生新数据；以及

把所述新数据映射到所述第一空间。

2.如权利要求1所述的方法，其特征在于，所述第二空间与所述第一空间相比是较低维空间。

3.如权利要求1所述的方法，其特征在于，所述第二空间是线性可分的特征空间。

4.具有至少一个计算机存储介质的计算机存储装置，所述计算机存储介质具有存储在其中的使一台或多台计算机执行权利要求1所述方法的指令。

Images