CN107908744A - 一种用于大数据清洗的异常检测和消除的方法 - Google Patents

Abstract

本发明公开了一种用于大数据清洗的异常检测和消除的方法，包括：数据输入模块接收用户输入的企业经营数据报告，从中提取企业经营数据后，发送企业经营数据给指标构建模块和数据处理模块；指标构建模块根据企业经营数据构建出数据分析指标，并将构建出的数据分析指标发送至数据处理模块；数据处理模块接收到数据分析指标和企业经营数据后，根据数据分析指标选取企业经营数据，并对选取的企业经营数据进行分析，得到企业经营指标波动的原因，并将企业经营指标波动的原因和对应的数据发送至数据输出模块；数据输出模块在接收到指标波动原因和对应的数据后，将其按预设的输出模式生成并输出指标波动原因分析报告。

Description

一种用于大数据清洗的异常检测和消除的方法

技术领域

本发明涉及数据处理领域，特别涉及一种用于大数据清洗的异常检测和消除的方法。

背景技术

目前，在数据分析的各个领域，无论是企业经营数据，还是社会学科数据分析，甚至是医药数据用量的效果统计，都会涉及到大数据的分析处理，为了得到准确的结果，防止异常数据的干扰，在进行分析之前，还会对大数据进行清洗，而这就需要对混入正常数据中的异常数据进行检测和消除，虽然这种方法可以检测出记录错误、软硬件故障等真实的异常数据，但也会清理掉由于数据单位不统一而造成“异常”的正常数据，造成有效数据的浪费。而这种情况在数据源多样，尤其是数据源在多个国家时尤为明显。

发明内容

为解决以上问题，本发明提供一种用于大数据清洗的异常检测和消除的方法。

本发明提供的一种用于大数据清洗的异常检测和消除的方法，通过异常检测单元和异常消除单元实现，包括步骤：

异常检测单元读取所需清洗的大数据，并从中检测出所有的正常值和所有的异常值；

异常消除单元读取所述异常值，并对异常值进行聚类分析，得到聚类结果；

异常消除单元对聚类结果中的每一类别，进行预设的数值变换，得到每一类别的修正结果；

异常检测单元将修正结果和正常值放在一起进行检测，检测出新的正常值和新的异常值；

异常消除单元或异常检测单元保留所述新的正常值并删除其他值，完成大数据的异常检测和消除。

优选的，

所述检测出所有的正常值和异常值，可实施为：

异常检测单元通过基于统计与数据分布的检测方法检测出第一正常值和第一异常值；

异常检测单元通过基于距离/密度的检测方法检测出第二正常值和第二异常值；

异常检测单元将所述第一正常值和所述第二正常值的交集设为正常值；

异常检测单元将所述第一异常值和所述第二正常值的交集设为待修正异常值；

所述异常消除单元读取所述异常值，并对异常值进行聚类分析，得到聚类结果，可实施为：

异常消除单元读取所述待修正异常值，并对待修正异常值进行聚类分析，得到聚类结果。

优选的，

异常检测单元检测所述正常值的数量与所述大数据的数值的数量之比，当所述比值低于预设的阈值时，异常检测单元发出警告提醒，提醒用户重新设置异常检测单元的检测参数。

优选的，所述预设的数值变换，包括：

单位变换。

优选的，所述预设的数值变换，通过以下方法实施：

异常消除单元检测大数据中数据的量纲；

异常消除单元根据所述量纲进行数值变换，所述变换的方法为：

异常消除单元对聚类结果中的每一类别，假定其单位为与正常值所使用的单位不同；

异常消除单元根据所述假定，根据单位间的变换规则，对聚类结果中的每一类别进行数值变换。

优选的，所述预设的数值变换，还包括：

指数变换和对数变换中的一种或多种。

本发明的一些有益效果可以包括：

本发明提供的一种用于大数据清洗的异常检测和消除的方法，能够恢复由于数据单位不统一而造成异常的数据，从而更充分的利用大数据中的数据。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例中一种用于大数据清洗的异常检测和消除的方法的流程图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

图1为本发明实施例中一种用于大数据清洗的异常检测和消除的方法的流程图。如图1所示，该方法通过异常检测单元和异常消除单元实现，包括步骤：

步骤S101、异常检测单元读取所需清洗的大数据，并从中检测出所有的正常值和所有的异常值；

步骤S102、异常消除单元读取所述异常值，并对异常值进行聚类分析，得到聚类结果；

步骤S103、异常消除单元对聚类结果中的每一类别，进行预设的数值变换，得到每一类别的修正结果；

步骤S104、异常检测单元将修正结果和正常值放在一起进行检测，检测出新的正常值和新的异常值；

步骤S105、异常消除单元或异常检测单元保留所述新的正常值并删除其他值，完成大数据的异常检测和消除。

通过本发明提供的方法，利用单位不统一而造成的“异常”数据在进行单位变换后能够和正常值比较一致的特性，对异常数据进行变换后进行二次检测，从而能够恢复由于数据单位不统一而造成异常的数据，从而更充分的利用大数据中的数据。

为了在数值变换前分辨是真实的异常值还是由于单位不同引起的异常值，利用同单位的异常值更会聚在一起的特性进行分辨，在本发明的一个实施例中，

所述检测出所有的正常值和异常值，可实施为：

异常检测单元通过基于统计与数据分布的检测方法检测出第一正常值和第一异常值，基于统计与数据分布的检测方法有基于一元正态分布的离群点检测方法、基于多元高斯分布的异常点检测方法等等；

异常检测单元通过基于距离/密度的检测方法检测出第二正常值和第二异常值，基于距离/密度的检测方法有使用Mahalanobis距离检测多元离群点的方法、局部异常因子算法等等；

异常检测单元将所述第一正常值和所述第二正常值的交集设为正常值；

异常检测单元将所述第一异常值和所述第二正常值的交集设为待修正异常值；

所述异常消除单元读取所述异常值，并对异常值进行聚类分析，得到聚类结果，可实施为：

异常消除单元读取所述待修正异常值，并对待修正异常值进行聚类分析，得到聚类结果。

为了防止误检测过多，控制检测的误报率，利用2种不同检测方法进行相互对比来控制，在本发明的一个实施例中，

异常检测单元检测所述正常值的数量与所述大数据的数值的数量之比，当所述比值低于预设的阈值时，异常检测单元发出警告提醒，提醒用户重新设置异常检测单元的检测参数。

为了适用于最常见的单位不统一，在本发明的一个实施例中，所述预设的数值变换，包括：

单位变换，所述单位变换包括温度单位变换(摄氏度、华氏度、开尔文等等)、长度单位变换(毫米、厘米、分米、米、千米、英寸、英尺、码等等)、面积单位变换(平方米、平方千米、亩、公顷、英亩等等)、体积单位变换(毫升、升、盎司、加仑、立方米等等)、重量单位变换(克、千克、吨、磅、英石、美吨等等)。

为了真实的异常值被当作单位有问题的正常值，在本发明的一个实施例中，所述预设的数值变换，通过以下方法实施：

异常消除单元检测大数据中数据的量纲；

异常消除单元根据所述量纲进行数值变换，所述变换的方法为：

异常消除单元对聚类结果中的每一类别，假定其单位为与正常值所使用的单位不同；

异常消除单元根据所述假定，根据单位间的变换规则，对聚类结果中的每一类别进行数值变换。

由于有一些物理量使用的是对数标识，如分贝等，为了能将这种物理量也进行正确的变换，在本发明的一个实施例中，所述预设的数值变换，还包括：

指数变换和对数变换中的一种或多种。

本发明提供的一种用于大数据清洗的异常检测和消除的方法，能够恢复由于数据单位不统一而造成异常的数据，从而更充分的利用大数据中的数据。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (6)

1.一种用于大数据清洗的异常检测和消除的方法，通过异常检测单元和异常消除单元实现，其特征在于，包括步骤：

异常检测单元读取所需清洗的大数据，并从中检测出所有的正常值和所有的异常值；

异常消除单元读取所述异常值，并对异常值进行聚类分析，得到聚类结果；

异常消除单元对聚类结果中的每一类别，进行预设的数值变换，得到每一类别的修正结果；

异常检测单元将修正结果和正常值放在一起进行检测，检测出新的正常值和新的异常值；

异常消除单元或异常检测单元保留所述新的正常值并删除其他值，完成大数据的异常检测和消除。

2.如权利要求1所述的方法，其特征在于，

所述检测出所有的正常值和异常值，可实施为：

异常检测单元通过基于统计与数据分布的检测方法检测出第一正常值和第一异常值；

异常检测单元通过基于距离/密度的检测方法检测出第二正常值和第二异常值；

异常检测单元将所述第一正常值和所述第二正常值的交集设为正常值；

异常检测单元将所述第一异常值和所述第二正常值的交集设为待修正异常值；

所述异常消除单元读取所述异常值，并对异常值进行聚类分析，得到聚类结果，可实施为：

异常消除单元读取所述待修正异常值，并对待修正异常值进行聚类分析，得到聚类结果。

3.如权利要求2所述的方法，其特征在于，

异常检测单元检测所述正常值的数量与所述大数据的数值的数量之比，当所述比值低于预设的阈值时，异常检测单元发出警告提醒，提醒用户重新设置异常检测单元的检测参数。

4.如权利要求1所述的方法，其特征在于，所述预设的数值变换，包括：

单位变换。

5.如权利要求2所述的方法，其特征在于，所述预设的数值变换，通过以下方法实施：

异常消除单元检测大数据中数据的量纲；

异常消除单元根据所述量纲进行数值变换，所述变换的方法为：

异常消除单元对聚类结果中的每一类别，假定其单位为与正常值所使用的单位不同；

异常消除单元根据所述假定，根据单位间的变换规则，对聚类结果中的每一类别进行数值变换。

6.如权利要求1所述的方法，其特征在于，所述预设的数值变换，还包括：

指数变换和对数变换中的一种或多种。