CN108932301A - 数据填充方法及装置 - Google Patents

Abstract

本发明提供了一种数据填充方法及装置，其中，所述方法包括：将原始数据进行聚类，生成簇，并确定每个簇的中心；确定缺失数据所在的簇。从所在的簇中寻找与所述缺失数据最接近的数据，并根据所述最接近的数据的属性填充所述缺失数据的缺失属性；确定每个簇中的离群点，并判断填充缺失属性的数据是否为离群点；若所述填充缺失属性的数据为离群点，则返回将原始数据进行聚类步骤，直至所述缺失属性的数据为非离群点，或者满足预设的终止条件。能够有效克服不相关数据的相互干扰，进一步提升了填充属性数据的正确率。

Description

数据填充方法及装置

技术领域

本发明属于数据处理技术领域，尤其是涉及一种数据填充方法及装置。

背景技术

随着大数据时代的到来，数据处理的需求变的越来越大，范围也逐渐变广， 随之而来的则是在数据获取过程中常见的数据缺失现象。这种现象导致在用缺失 数据集进行数据挖掘和分析的时候造成明显的误差。为了让已有数据得到充分应 用，使现有的算法不会因为缺失值而造成聚类结果偏差大，故需对数据进行预处 理，有效的填补缺失数据，填补的缺失值应该尽量接近原值，并与已有数据集的 分布特征一致，让在缺失数据集上进行数据挖掘和分析的结果更加准确。

目前，通常采用基于机器学习的数据填补方法，常有kNN、随机森林、贝叶 斯和粗糙集等。原始kNN对于数据填补有着良好的应用，但当数据集中存在噪 声时，原始算法会产生较大的偏差。随机森林法是利用重抽样技术生成多个分类 树组成，从而对未知数据进行预测，在处理数据过程中，受异常值影响小，对数 据的分布无限制，但是算法需要大量的迭代，算法复杂度较高，对于规模较大的 数据集处理性能不佳。上述方法计算出的填补值不能对算法本身有着任何反馈和 改进，并且用临近点或整个数据集对缺失数据进行填充，没有区分数据类型，影 响了填补值的正确率。

发明内容

有鉴于此，本发明实施例提供了一种数据填充方法及装置，以解决现有技术 中存在的数据填充没有区分数据类型进而降低填补值正确率的技术问题。

第一方面，本发明实施例提供了一种数据填充方法，包括：

将原始数据进行聚类，生成簇，并确定每个簇的中心；

确定缺失数据所在的簇。从所在的簇中寻找与所述缺失数据最接近的数据， 并根据所述最接近的数据的属性填充所述缺失数据的缺失属性；

确定每个簇中的离群点，并判断填充缺失属性的数据是否为离群点；

若所述填充缺失属性的数据为离群点，则返回将原始数据进行聚类步骤，直 至所述缺失属性的数据为非离群点，或者

满足预设的终止条件。

进一步的，所述判断填充缺失属性的数据是否为离群点，包括：

从簇中依次删除一个数据，并计算删除后所述簇中目标偏离参数，在所述目 标偏离参数与初始目标偏离参数的差值大于预设的目标偏离阈值时，确定所述删 除一个数据为离群点，并建立离群点集合；

若确定所述填充属性的数据位于所述离群点集合中，则所述填充属性的数据 为离群点。

进一步的，所述计算删除后所述簇中目标偏离参数，包括：

利用下述公式计算目标偏离参数，将所述簇的均值作为填充缺失属性的数据 进行填补。

其中，k是聚类数目，ci是簇中心，x 是数据对象，dist为距离。

进一步的，所述方法还包括：

在满足预设的终止条件时，将迭代的缺失数据以簇均值填补。

进一步的，所述满足预设的终止条件，包括：

返回将原始数据进行聚类步骤的次数超过预设的迭代次数阈值。

更进一步的，在将原始数据进行聚类之前，还包括：

对数据进行高维映射，形成核矩阵，映射到高维空间；

对高维空间的数据进行线性处理，输出的所述数据的线性结果；

相应的，所述将原始数据进行聚类，包括：

对所述原始数据的线性结果进行聚类。

第二方面，本发明实施例还提供了一种数据填充装置，包括：

生成模块，用于将原始数据进行聚类，生成簇，并确定每个簇的中心；

填充模块，用于确定缺失数据所在的簇。从所在的簇中寻找与所述缺失数据 最接近的数据，并根据所述最接近的数据的属性填充所述缺失数据的缺失属性；

判断模块，用于确定每个簇中的离群点，并判断填充缺失属性的数据是否为 离群点；

返回模块，用于若所述填充缺失属性的数据为离群点，则返回将原始数据进 行聚类步骤，直至所述缺失属性的数据为非离群点，或者

满足预设的终止条件。

进一步的，所述计算单元，用于从簇中依次删除一个数据，并计算删除后所 述簇中目标偏离参数，在所述目标偏离参数与初始目标偏离参数的差值大于预设 的目标偏离阈值时，确定所述删除一个数据为离群点，并建立离群点集合；

确定单元，用于若确定所述填充属性的数据位于所述离群点集合中，则所述 填充属性的数据为离群点。

进一步的，所述计算单元用于：

利用下述公式计算目标偏离参数，将所述簇的均值作为填充缺失属性的数据 进行填补。

其中，k是聚类数目，ci是簇中心，x 是数据对象，dist为距离。

更进一步的，所述装置还包括：

均值填充模块，用于在满足预设的终止条件时，将迭代的缺失数据以簇均值 填补。

本发明实施例提供的数据填充方法及装置，通过在通过聚类后，将同簇中最 接近的数据属性填充至缺失数据，并判断填充后的数据是否为离群点，在所述填 充数据为离群点时，重新进行聚类分析，直至填充数据为非离群点时，最终确定 填充的属性数据正确。能够有效克服不相关数据的相互干扰，进一步提升了填充 属性数据的正确率。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的 其它特征、目的和优点将会变得更明显：

图1是本发明实施例一提供的数据填充方法的流程示意图；

图2是本发明实施例二提供的数据填充方法的流程示意图；。

图3是本发明实施例三提供的数据填充方法的流程示意图；

图4是本发明实施例四提供的数据填充装置的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处 所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说 明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1是本发明实施例一提供的数据填充方法的流程示意图，本实施例可适用 于对缺失属性的数据进行填充的情况，该方法可以由数据填充装置来执行，具体 包括如下步骤：

S110，将原始数据进行聚类，生成簇，并确定每个簇的中心。

将物理或抽象对象的集合分成由类似的对象组成的多个类的过程被称为聚 类。由聚类所生成的簇是一组数据对象的集合，这些对象与同一个簇中的对象彼 此相似，与其他簇中的对象相异。在本实施例中，可以对原始数据进行聚类，所 述原始数据可以是原始采集的数据，或者是经过初步处理过滤后得到的数据。 示例性的，可以采用K-Means聚类算法对原始数据进行聚类，核K-Means是 K-Means算法的一个改进，在K-Means的基础上，融合核方法的思想，在核空 间中进行K-Means聚类，提取并放大数据特征，从而对于线性不可分样本以及 不对称分布的样本进行聚类时，可以减小聚类误差，获得较好的聚类效果，而且减少了聚类的迭代次数，因此，核K-Means聚类算法既具有聚类算法的特性， 可以根据数据的相似度，将数据分为各个簇，又可以使用核方法，提取并放大有 用的特征，从而使聚类准确度更高。聚类的目的是将数据分为单个的簇，定义参 数K，Ci是第i个聚类的中心点，即对于K-Means而言，令

最小或者不再变化，又采取核距离，即得：

即随机选择K个值作为初始聚类中心，通过高斯核函数映射到高维空间，在 特征空间内执行算法，计算每个数据对象与每个簇中心的距离，并指派到最近距 离的簇中，再重新计算簇的中心点，如此反复迭代，直到公式最小或不再变化。

S120,确定缺失数据所在的簇。从所在的簇中寻找与所述缺失数据最接近的 数据，并根据所述最接近的数据的属性填充所述缺失数据的缺失属性。

在聚类结束之后，得到各个簇，使用距离来作为数据对象之间相似度的判断， 在同簇之间计算与缺失数据最相似的数据对象，用距离最接近的数据对象的对应 属性去填补缺失数据的缺失属性，这样使用同簇内的数据进行数据填补，使得只 有相似的数据才能影响缺失值的填补，避免不同类别的数据相互影响。

示例性的，可以通过上述方法中确定缺失数据所在的簇，并可以利用上述核 距离公式确定与所述缺失数据的簇中与缺失数据最接近的数据，并可读取该最接 近的数据中属性，将其属性填充到缺失数据的缺失属性中，以使得缺失数据的属 性完整。

即选择最小的x'，令x'的 属性赋值给x的缺失属性。

S130,确定每个簇中的离群点，并判断填充缺失属性的数据是否为离群点。

离群点检测也被称之为异常检测，目的是发现与大部分其他对象不同的对 象，即作为离群点的这一个数据对象，类似于由不同机制产生的，明显不同于其 他数据对象。如果填充缺失属性的数据为离群点，则可以说明填充的属性数据存 在问题。需要对其进行处理，以保证填充的数据误差在一定范围内。

离群点检测方法通常可以采用基于统计方法的离群点检测、基于邻近度的离 群点检测、基于密度的离群点检测和基于聚类的离群点检测等。利用上述方法可 以检测到每个簇中的离群点，并根据填补缺失属性后的数据的特征判断充缺失属 性的数据是否为离群点。

S140,若所述填充缺失属性的数据为离群点，则返回将原始数据进行聚类步 骤，直至所述缺失属性的数据为非离群点，或者满足预设的终止条件。

离群点的属性值明显偏离期望的或常见的属性值。因此，如果有填补值检测 为离群点，则具有很大的可能性填补值准确度过低。因此，需要重新进行填充， 具体的，在本实施方式中，由于部分填充缺失属性后的部分数据并不属于离群点， 因此，可以针对第一次填充完成后的数据重新进行聚类迭代，反复进行优化，直 至不存在填充缺失属性后的数据为离群点的情况。上述迭代过程完成，实现缺失 属性的数据填充工作。或者，在满足预设的终止条件下，结束上述迭代过程。示 例性的，所述预设的终止条件可以包括：返回将原始数据进行聚类步骤的次数超 过预设的迭代次数阈值。所述预设的迭代次数阈值可以根据计算能力和设定的填 充时长确定。可选的，所述预设的迭代次数阈值可以设为10次，在返回将原始 数据进行聚类步骤次数达到10次后，终止上述迭代过程。采用预设的终止条件 可以避免在用簇最相似数据去填补的时候，始终被检测出离群点，导致算法不断 循环，无法结束。

本实施例在通过聚类后，将同簇中最接近的数据属性填充至缺失数据，并判 断填充后的数据是否为离群点，在所述填充数据为离群点时，重新进行聚类分析， 直至填充数据为非离群点时，最终确定填充的属性数据正确。能够有效克服不相 关数据的相互干扰，进一步提升了填充属性数据的正确率。

在本实施例的一个优选实施方式中，所述方法还可包括如下步骤：在满足预 设的终止条件时，将迭代的缺失数据以簇均值填补。通过上述步骤，可以在无法 迭代补充数据时，用簇均值进行填补，虽然降低了一定的准确度，但可避免数据 属性缺失。

实施例二

图2为本发明实施例二提供的数据填充方法的流程示意图。本实施例以上述 实施例为基础进行优化，在本实施例中，将确定每个簇中的离群点，所述判断填 充缺失属性的数据是否为离群点，具体优化为：从簇中依次删除一个数据，并计 算删除后所述簇中目标偏离参数，在所述目标偏离参数与初始目标偏离参数的差 值大于预设的目标偏离阈值时，确定所述删除一个数据为离群点，并建立离群点 集合；若确定所述填充属性的数据位于所述离群点集合中，则所述填充属性的数 据为离群点。

相应的，本实施例所提供的数据填充方法，具体包括：

S210，将原始数据进行聚类，生成簇，并确定每个簇的中心。

S220，确定缺失数据所在的簇。从所在的簇中寻找与所述缺失数据最接近的 数据，并根据所述最接近的数据的属性填充所述缺失数据的缺失属性。

S230，从簇中依次删除一个数据，并计算删除后所述簇中目标偏离参数，在 所述目标偏离参数与初始目标偏离参数的差值大于预设的目标偏离阈值时，确定 所述删除一个数据为离群点，并建立离群点集合。

基于统计方法的离群点检测依赖于数据分布，参数分布和置信度区间，虽然 有着坚实的数学基础，且当数据量充足，存在所检验类型的知识的时候，检测的 效果显著，但是常用于单个属性，对于多元数据，可用的较少，而数据分布通常 又都是未知的，也不能适合于混合类型数据，对于处理高维数据也难有良好的处 理效果。基于邻近度的检测采取的是在对象之间定义一个邻近性度量，离群点为 远离大部分对象的数据，当采用距离作为度量时，也称作基于距离的离群点检测， 基于邻近度的检测比基于统计的检测更容易使用，但是它采取的是全局阈值，不 能考虑密度的变化。基于密度的离群点检测认为，离群点就是低密度区域的对象， 利用这个特点来计算数据对象的离群点得分，通过这个得分来判断离群点。此外 对于密度不均匀的情况，只要能给出判断数据对象是离群点的度量，也能有不错 的处理效果。但基于密度的检测通常存在低密度模式的问题。

因此，在本实施例中，可以采用基于聚类的离群点检测。其检测时间和空间 复杂度低，只需要扫描数据集若干次，适用于大规模数据集，效率较高，且聚类 中簇的定义与离群点的定义是一种互补的定义，可以清晰的分辨出簇与离群点。

示例性的，采用基于核K-Means聚类的检测来进行离群点检测，即在 K-Means离群点检测的基础上，融入核方法，使用核函数将数据进行映射之后， 在高维空间进行离群点检测，并采用核距离作为相似性度量。在使用核K-Means 聚类算法进行离群点检测的时候，重点在于设定的目标函数，通过数据对象的加 入或删除而导致目标函数的变化幅度从而确定数据对象是否为离群点。

在聚类算法中，离群点的定义如下：

若存在数据对象x不属于任意簇Ci，则定义x为离群点，离群点的检测可 以表述为作为目标建立参数SSE异常的对象。

相应的，所述计算删除后所述簇中目标偏离参数，可以包括：

利用下述公式计算目标偏离参数，将所述簇的均值作为填充缺失属性的数据 进行填补。

其中，k是聚类数目，ci是簇中心，x 是数据对象，dist为距离。当加入某个对象x后，SSE显著增加，则可以确定 这个x为离群点。

对于数据集F中的每一个簇，可以设定该簇的SSE阈值，所述SSE阈值可 以根据经验确定。可选的，SSE阈值可以为20％，逐个删除数据对象，若删除后， 存在SSE显著降低，即标记为离群点，加入离群点集合中。

S240，若确定所述填充属性的数据位于所述离群点集合中，则所述填充属性 的数据为离群点。

在离群点集合中确认是否存在填补的缺失值，如果存在，则说明填充的数据 为离群点。

S250，若所述填充缺失属性的数据为离群点，则返回将原始数据进行聚类步 骤，直至所述缺失属性的数据为非离群点，或者满足预设的终止条件。

本实施例通过将确定每个簇中的离群点，所述判断填充缺失属性的数据是否 为离群点，具体优化为：从簇中依次删除一个数据，并计算删除后所述簇中目标 偏离参数，在所述目标偏离参数与初始目标偏离参数的差值大于预设的目标偏离 阈值时，确定所述删除一个数据为离群点，并建立离群点集合；若确定所述填充 属性的数据位于所述离群点集合中，则所述填充属性的数据为离群点。可以清晰 的分辨出簇与离群点，并且能够有效减低而检测时间和空间复杂度适用于大规模 数据集，效率较高。

实施例三

图3为本发明实施例三提供的数据填充方法的流程示意图。本实施例以上述 实施例为基础进行优化，在本实施例中，在将原始数据进行聚类之前，还可增加 如下步骤：对数据进行高维映射，形成核矩阵，映射到高维空间；对高维空间的 数据进行线性处理，输出的所述数据的线性结果；相应的，将所述将原始数据进 行聚类，具体优化为：对所述原始数据的线性结果进行聚类。

相应的，本实施例所提供的数据填充方法，具体包括：

S310，对数据进行高维映射，形成核矩阵，映射到高维空间。

原始数据存在在样本空间线性不可分模式的识别问题。因此，在本实施例中， 可以先对原始数据进行高维映射。示例性的，可以经过一个非线性映射，将输入 空间的数据映射到一个高维的特征空间中，在特征空间中用线性方法进行分析和 识别。同时这种非线性映射具有提取放大数据特征的作用，突出了不同类型特征 的差异，可以有效的减少误差，从而提高聚类效果。

核函数不仅能够影响算法的速度，同时对于最终的聚类结果也有着关键的影 响，因此，在核方法中，核函数的地位十分关键，选择一个合适的核函数是算法 的重要环节。特别的，当选择如核K-Means这类以核函数来计算不同样本之间 的距离的算法的时候，核函数的选择值得更进一步的关注。

核函数定义如下：

对所有x,z∈X，X∈Rn，若函数k满足：

则称函数k是核函数，其中是从输入空间X到特征空间H的映射。

核函数常分为线性核、高斯核(RBF核)、多项式核、感知器核(Sigmoid 核)、拉普拉斯核、B样条核函数、结构数据核。而对于没有先验知识的情况下， 通常采用高斯核函数。高斯核函数是一个普适的核函数，与多项式核函数相比， 高斯核函数需要确定的参数要少。在合理选择参数的情况下，高斯核函数可用于 任意分布的样本，是目前应用最广泛的核函数。因此，在本实施例中，可以选用 高斯核函数。首先，从数据输入开始，数据所在的空间常称为输入空间或者样本 空间，这时选取适合的核函数；再由核函数进行高维映射，形成核矩阵，映射到 高维空间。

S320，对高维空间的数据进行线性处理，输出的所述数据的线性结果。

示例性的，可以在特征空间建造相应的线性分类器；最后得到输入空间或原 始数据的非线性算法模型，从而对数据进行计算和结果输出。

S330，对所述原始数据的线性结果进行聚类，生成簇，并确定每个簇的中心。

S340，确定缺失数据所在的簇。从所在的簇中寻找与所述缺失数据最接近的 数据，并根据所述最接近的数据的属性填充所述缺失数据的缺失属性。

S350，确定每个簇中的离群点，并判断填充缺失属性的数据是否为离群点。

S360，若所述填充缺失属性的数据为离群点，则返回将原始数据进行聚类步 骤，直至所述缺失属性的数据为非离群点，或者满足预设的终止条件。

本实施例通过在将原始数据进行聚类之前，还可增加如下步骤：对数据进行 高维映射，形成核矩阵，映射到高维空间；对高维空间的数据进行线性处理，输 出的所述数据的线性结果；相应的，将所述将原始数据进行聚类，具体优化为： 对所述原始数据的线性结果进行聚类。由于采用核聚类算法区分数据类型，利用 核函数来提取放大特征。进一步提高了数据填补的准确性。

将上述数据填充方法与kNN、随机森林(Random Forest，RF)进行比较， 采用UCI数据库中的lris和Wine数据集进行实验，其中lris也称鸢尾花卉数据 集，数据集中含有150个样本，4个属性，Wine数据集是记录自3种不同起源 的葡萄酒的相关数据，一共有178个样本，13个属性。实验环境采用Intel(R) Core(TM)i5-5200U CPU@2.20GHz处理器，8.00G内存，Windows 7旗舰版64 位操作系统，Python3.5。为了充分检测KKMOD数据填补算法的有效性，设置 数据集中数据对象的属性缺失，数据的个数不受影响，缺失比例分别设置为10％，15％，20％，25％，30％，35％，40％，45％，50％，缺失属性采用Python库中随 机函数进行实现。同时为了得到客观真实的结果，对每一个缺失率重复3次试 验，取其平均值作为最终实验结果。此外为了避免在用簇最相似数据去填补的时 候，始终被检测出离群点，导致算法不断循环，无法结束，在离群点检测设置标 记，如果次数达到10次及以上，则用簇均值进行填补缺失数据，再结束算法。 从算法填补正确率、不同数据集下的KKMOD准确率两个方面评价KKMOD算 法填补性能。

设数据集有N个对象，时间消耗为T，正确填补值为R，缺失率为σ，算法 填补正确率(Accuracy Rate)：

AR＝R/(N*σ)

经上述实验可以发现kNN的填补效果与KKMOD和RF都有着一定的差距。 而对于KKMOD和RF，可以看出在缺失率低的时候，KKMOD和RF有着差不 多的填补效果，填补正确率都在0.6左右，有着相差不大的填补效果。但是随着 缺失率的上升，KKMOD的填补正确率比RF有所改善。算法在实验过程中会 随着聚类结果的不同而有着波动，但是总体来说，KKMOD算法的正确率要高于 kNN与RF。

此外，采用本发明实施例提供的数据填充方法在不同的数据集下也能取得不 错的填补正确率，没有因为更换相差较大的数据集，从而使得算法计算出来的填 补值有着截然不同的结果。说明对于KKMOD算法而言，虽然数据集本身所具 有的维度对数据填补算法有着影响，在当数据维度多时，KKMOD算法的填补正 确率降低，但是在这种情况下也能保证正确率，有着一定的填补效果，具有良好 的适应性。

实施例四

图4是本发明实施例三提供的数据填充装置的结构示意图，如图4所示，所 述装置包括：

生成模块410，用于将原始数据进行聚类，生成簇，并确定每个簇的中心；

填充模块420，用于确定缺失数据所在的簇。从所在的簇中寻找与所述缺失 数据最接近的数据，并根据所述最接近的数据的属性填充所述缺失数据的缺失属 性；

判断模块430，用于确定每个簇中的离群点，并判断填充缺失属性的数据是 否为离群点；

返回模块440，用于若所述填充缺失属性的数据为离群点，则返回将原始数 据进行聚类步骤，直至所述缺失属性的数据为非离群点，或者

满足预设的终止条件。

本实施例提供的数据填充装置，通过在通过聚类后，将同簇中最接近的数据 属性填充至缺失数据，并判断填充后的数据是否为离群点，在所述填充数据为离 群点时，重新进行聚类分析，直至填充数据为非离群点时，最终确定填充的属性 数据正确。能够有效克服不相关数据的相互干扰，进一步提升了填充属性数据的 正确率。

在上述各实施例的基础上，所述判断模块，包括：

计算单元，用于从簇中依次删除一个数据，并计算删除后所述簇中目标偏离 参数，在所述目标偏离参数与初始目标偏离参数的差值大于预设的目标偏离阈值 时，确定所述删除一个数据为离群点，并建立离群点集合；

确定单元，用于若确定所述填充属性的数据位于所述离群点集合中，则所述 填充属性的数据为离群点。

在上述各实施例的基础上，所述计算单元用于：

利用下述公式计算目标偏离参数，将所述簇的均值作为填充缺失属性的数据 进行填补。

其中，k是聚类数目，ci是簇中心，x 是数据对象，dist为距离。

在上述各实施例的基础上，所述装置还包括：

均值填充模块，用于在满足预设的终止条件时，将迭代的缺失数据以簇均值 填补。

在上述各实施例的基础上，所述装置还包括：

映射模块，用于对数据进行高维映射，形成核矩阵，映射到高维空间；

线性处理模块，用于对高维空间的数据进行线性处理，输出的所述数据的线 性结果；

相应的，所述聚类模块，用于：

对所述原始数据的线性结果进行聚类。

本发明实施例所提供的数据填充装置可执行本发明任意实施例所提供的数 据填充方法，具备执行方法相应的功能模块和有益效果。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可 以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储 介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介 质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会 理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各 种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过 以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施 例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明 的范围由所附的权利要求范围决定。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明 的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的 保护范围之内。

Claims (10)

1.一种数据填充方法，其特征在于，包括：

将原始数据进行聚类，生成簇，并确定每个簇的中心；

确定缺失数据所在的簇。从所在的簇中寻找与所述缺失数据最接近的数据，并根据所述最接近的数据的属性填充所述缺失数据的缺失属性；

确定每个簇中的离群点，并判断填充缺失属性的数据是否为离群点；

若所述填充缺失属性的数据为离群点，则返回将原始数据进行聚类步骤，直至所述缺失属性的数据为非离群点，或者

满足预设的终止条件。

2.根据权利要求1所述的方法，其特征在于，所述确定每个簇中的离群点，判断填充缺失属性的数据是否为离群点，包括：

从簇中依次删除一个数据，并计算删除后所述簇中目标偏离参数，在所述目标偏离参数与初始目标偏离参数的差值大于预设的目标偏离阈值时，确定所述删除一个数据为离群点，并建立离群点集合；

若确定所述填充属性的数据位于所述离群点集合中，则所述填充属性的数据为离群点。

3.根据权利要求2所述的方法，其特征在于，所述计算删除后所述簇中目标偏离参数，包括：

利用下述公式计算目标偏离参数，将所述簇的均值作为填充缺失属性的数据进行填补。

其中，k是聚类数目，ci是簇中心，x是数据对象，dist为距离。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在满足预设的终止条件时，将迭代的缺失数据以簇均值填补。

5.根据权利要求1所述的方法，其特征在于，所述满足预设的终止条件，包括：

返回将原始数据进行聚类步骤的次数超过预设的迭代次数阈值。

6.根据权利要求1所述的方法，其特征在于，在将原始数据进行聚类之前，还包括：

对数据进行高维映射，形成核矩阵，映射到高维空间；

对高维空间的数据进行线性处理，输出的所述数据的线性结果；

相应的，所述将原始数据进行聚类，包括：

对所述原始数据的线性结果进行聚类。

7.一种数据填充装置，其特征在于，包括：

生成模块，用于将原始数据进行聚类，生成簇，并确定每个簇的中心；

填充模块，用于确定缺失数据所在的簇。从所在的簇中寻找与所述缺失数据最接近的数据，并根据所述最接近的数据的属性填充所述缺失数据的缺失属性；

判断模块，用于确定每个簇中的离群点，并判断填充缺失属性的数据是否为离群点；

返回模块，用于若所述填充缺失属性的数据为离群点，则返回将原始数据进行聚类步骤，直至所述缺失属性的数据为非离群点，或者

满足预设的终止条件。

8.根据权利要求7所述的装置，其特征在于，所述判断模块，包括：

计算单元，用于从簇中依次删除一个数据，并计算删除后所述簇中目标偏离参数，在所述目标偏离参数与初始目标偏离参数的差值大于预设的目标偏离阈值时，确定所述删除一个数据为离群点，并建立离群点集合；

确定单元，用于若确定所述填充属性的数据位于所述离群点集合中，则所述填充属性的数据为离群点。

9.根据权利要求7所述的装置，其特征在于，所述计算单元用于：

利用下述公式计算目标偏离参数，将所述簇的均值作为填充缺失属性的数据进行填补。

其中，k是聚类数目，ci是簇中心，x是数据对象，dist为距离。

10.根据权利要求7所述的装置，其特征在于，所述装置还包括：

均值填充模块，用于在满足预设的终止条件时，将迭代的缺失数据以簇均值填补。