CN117251749A - 一种基于增量分析的物联网数据处理方法 - Google Patents

Abstract

本发明涉及电子数据处理技术领域，具体涉及一种基于增量分析的物联网数据处理方法。方法包括：获取物联网传感器对应的历史数据点集以及当前时间段采集到的新增数据点集；对历史数据点集中的历史数据点进行聚类，得到各初始聚类簇；根据各初始聚类簇对应的聚类中心点和当前时间段采集到的新增数据点集中的各新增数据点，得到当前时间段采集到的新增数据点集中的各新增数据点对应的第一影响因子；根据第一影响因子，对第一综合数据点集中的各数据点进行聚类，并得到各第一更新簇；根据各第一更新簇对应的簇类中心点，得到下一时间段采集到的新增数据点集中的噪声数据点，并对噪声数据点进行清洗。本发明能够较准确的对噪声数据点进行清洗。

Description

一种基于增量分析的物联网数据处理方法

技术领域

本发明涉及电子数据处理技术领域，具体涉及一种基于增量分析的物联网数据处理方法。

背景技术

随着物联网技术以及各种物联设备的发展，物联网技术可用于任何需要监控、连接、互动的物体或者过程中，以采集各种需要的数据，但是在采集数据的过程中，会产生大量的海量数据，而对采集到的大量数据中的噪声数据进行清洗，以达到数据有效利用的目的，因此对采集到的大量数据中的噪声数据进行准确清洗成为了物联网信息处理的重点。

发明内容

为了解决上述问题，本发明提供一种基于增量分析的物联网数据处理方法，所采用的技术方案具体如下：

本发明实施例提供了一种基于增量分析的物联网数据处理方法包括以下步骤：

获取物联网传感器对应的历史数据点集以及物联网传感器在当前时间段采集到的新增数据点集；

对所述历史数据点集中的各历史数据点进行聚类，得到各初始聚类簇；

根据所述各初始聚类簇对应的聚类中心点以及所述当前时间段采集到的新增数据点集中的各新增数据点，得到当前时间段采集到的新增数据点集中的各新增数据点对应的第一影响因子；

根据所述第一影响因子，对第一综合数据点集中的各数据点进行聚类，得到各第一更新簇；所述第一综合数据点集包括历史数据点集和当前时间段采集到的新增数据点集；

获取下一时间段采集到的新增数据点集，根据所述各第一更新簇对应的簇类中心点，得到所述下一时间段采集到的新增数据点集中的噪声数据点，对所述噪声数据点进行清洗。

优选的，得到当前时间段采集到的新增数据点集中的各新增数据点对应的第一影响因子的方法，包括：

根据所述各初始聚类簇中的历史数据点的数量，得到各初始聚类簇中的各初始异常簇和各初始正常簇；

对于当前时间段采集到的新增数据点集中的任一新增数据点：

将该新增数据点与所述各初始正常簇对应的簇类中心点之间的最小欧式距离对应的初始正常簇的簇类中心点记为该新增数据点对应的最近正常簇中心点；

将该新增数据点与所述各初始异常簇对应的簇类中心点之间的最小欧式距离对应的初始异常簇的簇类中心点记为该新增数据点对应的最近异常簇中心点；

将以该新增数据点为起点，以该新增数据点对应的最近正常簇中心点为终点构建的向量记为第一向量；

将以该新增数据点为起点，以该新增数据点对应的最近异常簇中心点为终点构建的向量记为第二向量；

根据所述第一向量和第二向量之间的夹角、所述第一向量和第二向量之间夹角的余弦值、所述该新增数据点与其对应的最近正常簇中心点之间的欧式距离以及该新增数据点与其对应的最近异常簇中心点之间的欧式距离，得到该新增数据点对应的第一影响因子。

优选的，得到各初始聚类簇中的各初始异常簇和各初始正常簇的方法，包括：

按照所述初始聚类簇中历史数据点数量由高到低的顺序对各初始聚类簇进行排序，得到初始聚类簇序列；

判断所述初始聚类簇序列中的第一个初始聚类簇中的历史数据点数量与所述历史数据点集中的历史数据点总数量的比值是否大于等于判断阈值，若是，则将所述第一个初始聚类簇记为初始正常簇，将除所述第一个初始聚类簇之外的其它初始聚类簇记为初始异常簇；

否则，则继续判断所述初始聚类簇序列中的第一个初始聚类簇中的历史数据点数量与第二个初始聚类簇中的历史数据点数量累加后的值与所述历史数据点集中的历史数据点总数量的比值是否大于等于判断阈值，若是，则将所述第一个初始聚类簇和第二个初始聚类簇记为初始正常簇，将除所述第一个初始聚类簇和第二个初始聚类簇之外的其它初始聚类簇记为初始异常簇；

否则，则继续判断所述初始聚类簇序列中的第一个初始聚类簇中的历史数据点数量、第二个初始聚类簇中的历史数据点数量以及第三个初始聚类簇中的历史数据点数量累加后的值与所述历史数据点集中的历史数据点总数量的比值是否大于等于判断阈值，以此类推，得到各初始聚类簇中的各初始异常簇和各初始正常簇。

优选的，根据如下公式计算该新增数据点对应的第一影响因子：

其中，为该新增数据点对应的第一影响因子，/>为第一向量和第二向量之间的夹角，/>为第一向量和第二向量之间夹角的余弦值，/>为该新增数据点与其对应的最近正常簇中心点之间的欧式距离，/>为该新增数据点与其对应的最近异常簇中心点之间的欧式距离。

优选的，根据所述第一影响因子，对第一综合数据点集中的各数据点进行聚类，得到各第一更新簇的方法，包括：

对于第一综合数据点集中的第i个数据点：

若判断该数据点不属于所述当前时间段采集到的新增数据点集，则将该数据点对应的第一影响因子的值记为0；

若判断该数据点属于所述当前时间段采集到的新增数据点集，则将该数据点对应的所述新增数据点的第一影响因子记为该数据点对应的第一影响因子；

根据所述第一综合数据点集中各数据点对应的第一影响因子以及所述第一综合数据点集中的各数据点与所述第一综合数据点集中除对应数据点之外的其它的数据点之间差值绝对值的平方，得到所述第一综合数据点集中各数据点与所述第一综合数据点集中除对应数据点之外的其它的数据点之间的目标距离；

根据所述目标距离，对所述第一综合数据点集中的各数据点进行聚类，得到各第一更新簇。

优选的，根据如下公式计算所述第一综合数据点集中各数据点与所述第一综合数据点集中除对应数据点之外的其它的数据点之间的目标距离：

其中，为所述第一综合数据点集中的第i个数据点与所述第一综合数据点集中除所述第i个数据点之外的其它的数据点中的第j个数据点之间的目标距离，/>为第一综合数据点集中的第i个数据点对应的第一影响因子，/>为第一综合数据点集中的第i个数据点的值，/>为所述第一综合数据点集中除所述第i个数据点之外的其它的数据点中的第j个数据点的值。

优选的，得到所述下一时间段采集到的新增数据点集中的噪声数据点，对所述噪声数据点进行清洗的方法，包括：

根据所述各第一更新簇中的数据点的数量，得到各第一更新簇中的各第一更新正常簇和各第一更新异常簇；

对于所述下一时间段采集到的新增数据点集中的任一新增数据点：

对计算得到的该新增数据点与各第一更新正常簇对应的簇类中心点之间的欧氏距离进行归一化处理；

将所述归一化处理后的该新增数据点与各第一更新正常簇对应的簇类中心点之间的欧氏距离，记为该新增数据点与各第一更新正常簇对应的簇类中心点之间的第一欧式距离；将最小第一欧式距离记为该新增数据点对应的异常程度值；

判断所述下一时间段采集到的新增数据点集中的各新增数据点的异常程度值是否大于异常程度阈值，若是，则判定对应的新增数据点为噪声数据点，并对噪声数据点进行清洗，否则，则判定对应的新增数据点为正常数据点。

优选的，根据所述各第一更新簇对应的簇类中心点，得到所述下一时间段采集到的新增数据点集中的噪声数据点，对所述噪声数据点进行清洗之后，还包括以下步骤：

根据所述各第一更新簇对应的聚类中心点以及下一时间段采集到的新增数据点集中的各新增数据点，得到下一时间段采集到的新增数据点集中的各新增数据点对应的第二影响因子；

根据所述第二影响因子，对第二综合数据点集中的各数据点进行聚类，得到各第二更新簇；所述第二综合数据点集包括历史数据点集、当前时间段采集到的新增数据点集和下一时间段采集到的新增数据点集；

获取与所述下一时间段相邻且在时间上位于所述下一时间段后面的时间段采集到的新增数据点集；根据所述各第二更新簇对应的簇类中心点，得到与所述下一时间段相邻且在时间上位于所述下一时间段后面的时间段采集到的新增数据点集中的噪声数据点，并对噪声数据点进行清洗，以此类推，完成对物联网传感器采集到的数据的清洗。

有益效果：本发明首先获取物联网传感器对应的历史数据点集以及物联网传感器在当前时间段采集到的新增数据点集；并对历史数据点集中的各历史数据点进行聚类，得到各初始聚类簇；然后基于各初始聚类簇对应的聚类中心点以及当前时间段采集到的新增数据点集中的各新增数据点，确定当前时间段采集到的新增数据点集中的各新增数据点对应的第一影响因子；之后依据第一影响因子，对第一综合数据点集中的各数据点进行聚类，并得到各第一更新簇；本发明中的第一综合数据点集包括历史数据点集和当前时间段采集到的新增数据点集；最后根据各第一更新簇对应的簇类中心点实现对下一时间段采集到的新增数据点集中的噪声数据点的准确判断。本发明提供的物联网数据处理方法能够较准确的确定噪声数据点，进而能够较准确的对噪声数据点进行清洗。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一种基于增量分析的物联网数据处理方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明实施例，本领域普通技术人员所获得的所有其它实施例，都属于本发明实施例保护的范围。

除非另有定义，本文所使用的所有的技术和科学技术术语与属于本发明的技术人员通常理解的含义相同。

本实施例提供了一种基于增量分析的物联网数据处理方法，详细说明如下：

如图1所示，该基于增量分析的物联网数据处理方法，包括以下步骤：

步骤S001，获取物联网传感器对应的历史数据点集以及物联网传感器在当前时间段采集到的新增数据点集。

由于对采集到的大量数据中的噪声数据进行准确清洗为物联网信息处理的重点，因此本实施例的主要目的是为了实现对物联网数据中噪声数据的准确清洗。现有技术中一般是通过对历史数据点集进行聚类确定初始正常簇和初始异常簇，然后基于初始正常簇对应的簇类中心点来实现对当前时间段采集的新增数据点集中的各新增数据点的判断和清洗，紧接着又对历史数据点集和当前时间段采集到的新增数据点集构建的新的数据集进行聚类，得到新的正常簇和异常簇，然后又基于此时得到是新的正常簇对应的簇类中心点来实现对下一时间段采集到的新增数据点集中的各新增数据点的判断和清洗；所述下一时间段是指在时间上位于当前时间段后面并与当前时间段相邻的时间段；然后又对历史数据集、当前时间段采集到的新增数据集以及下一时间段采集到的新增数据集所构建的新的数据集进行聚类，又会得到新的正常簇，并基于此时得到的新的正常簇对应的簇类中心点实现对与下一时间段相邻且在时间上位于下一时间段后面的时间段采集到的新增数据点集中的各新增数据点进行判断和清洗，以此类推，来完成对物联网数据的清洗。但是当新增数据点位于正常簇和异常簇之间时，那么有新增数据点所参与的新的聚类过程中可能会使得簇类中心点向异常簇的方向偏移，进而可能导致对数据点进行噪声判断和清洗时的准确度降低；因此本实施例在对历史数据集进行聚类确定初始正常簇和初始异常簇后，需要根据各初始正常簇和各初始异常簇对应的聚类中心点以及当前时间段采集到的新增数据点集中的各新增数据点，得到当前时间段采集到的新增数据点集中的各新增数据点对应的影响因子，此时也是基于初始正常簇对应的簇类中心点来实现对当前时间段采集的新增数据点集中各新增数据点的判断和清洗；然后基于当前时间段采集到的新增数据点集中的各新增数据点对应的影响因子来对历史数据集和当前时间段采集到的新增数据集所构建的新的数据集中的数据进行聚类，得到新的正常簇和异常簇，后续会以此时得到的新的正常簇对应的簇类中心点来实现对下一时间段采集到的新增数据点集中的噪声数据点的判断和清洗，之后根据此时得到的新的正常簇和异常簇对应的簇类中心点和下一时间段采集到的新增数据点集中的各新增数据集点，得到下一时间段采集到的新增数据点集中的各新增数据点对应的影响因子，即此时的新的正常簇和异常簇是指基于当前时间段采集到的新增数据点集中的各新增数据点对应的影响因子对历史数据集和当前时间段采集的新增数据集构建的新的数据集中的数据进行聚类后所得到新的正常簇和异常簇，然后基于下一时间段采集到的新增数据点集中的各新增数据集点对应的影响因子对历史数据集、当前时间段采集到的新增数据集和下一时间段采集到的新增数据点集所构建的新的数据集中的数据进行聚类，又会得到新的正常簇和异常簇，然后基于这时候得到的新的正常簇对应的簇类中心点实现对与下一时间段相邻且在时间上位于下一时间段后面的时间段采集到的新增数据点集中的异常数据点的判断和清洗，以此类推，来完成对物联网数据的清洗。本实施例提供的这种由影响因子所参与的噪声数据点的判断和清洗方法，能够避免在聚类过程中当新增数据位于正常簇和异常簇之间时使得簇类中心点向异常簇方向偏移的问题，保证了数据噪声点的判断和清洗的准确性。

本实施例首先通过采集日志获取物联网传感器采集的所有历史数据点，根据物联网传感器采集的所有历史数据点构建得到物联网传感器对应的历史数据点集，本实施例中的物联网传感器包括温度传感器、空气质量传感器等，本实施例设置物联网传感器采集的所有历史数据为单个的传感器采集到的数据。

然后将上述物联网传感器在采集历史数据之后所采集到的实时数据点记为新增数据点，并将当前时间段采集到的连续的α个新增数据点构建的数据集记为当前时间段采集到的新增数据点集，即本实施例中当前时间段中对应α个采样时刻；为了便于分析，将得到的新增数据点加入到历史数据点所在的数据空间中；具体应用中，可以依据实际情况设置α的值以及相邻采样时刻之间的间隔，本实施例设置α的值为100，设置相邻采样时刻之间的间隔为0.1s。

至此，得到了物联网传感器对应的历史数据点集以及物联网传感器在当前时间段采集到的新增数据点集。

步骤S002，对所述历史数据点集中的各历史数据点进行聚类，得到各初始聚类簇。

然后本实施例将对历史数据点集的各历史数据点进行聚类，后续将依据聚类的结果来获取当前时间段采集到的新增数据点集中的各新增数据点对应的第一影响因子，所述第一影响因子是后续对噪声数据进行准确清洗的关键；具体为：

设置聚类的簇类数量为K，然后基于簇类数量为K的K-means聚类算法对历史数据点集中的各历史数据点进行聚类，得到各初始聚类簇；具体应用中，可以根据实际情况设置聚类数量，并且聚类数量的多少与噪声清洗精度和计算量的多少有关，当聚类数量越多时对应的噪声清洗精度越高，但是同时计算量和计算复杂度也会增加，本实施例设置K为30。

步骤S003，根据所述各初始聚类簇对应的聚类中心点以及所述当前时间段采集到的新增数据点集中的各新增数据点，得到当前时间段采集到的新增数据点集中的各新增数据点对应的第一影响因子。

由于新增数据点在数据点空间中的分布位置可能会在正常簇和异常簇之间，那么后续由新增数据点所参与的聚类过程可能会导致簇类中心点向异常簇的方向偏移，进而会导致对噪声数据点识别能力的降低，因此本实施例首先需要分析初始聚类簇，确定初始聚类簇中的各初始正常簇和各初始异常簇，然后根据各初始正常簇和各初始异常簇对应的聚类中心点以及当前时间段采集到的新增数据点集中的各新增数据点，得到当前时间段采集到的新增数据点集中的各新增数据点对应的第一影响因子，后续会基于当前时间段采集到的新增数据点集中的各新增数据点对应的第一影响因子来对历史数据集和当前时间段采集到的新增数据集所构建的新的数据集中的数据进行聚类，得到新的正常簇和异常簇，并会以此时得到的新的正常簇所对应的簇类中心点来实现对下一时间段采集到的新增数据点集中的噪声数据点的判断和清洗，即本实施例基于第一影响因子可以避免簇类中心点向异常簇的方向进行偏移，进而保证噪声数据点的清洗准确性。得到第一影响因子的具体过程为：

首先按照初始聚类簇中历史数据点数量由高到低的顺序对各初始聚类簇进行排序，得到初始聚类簇序列；然后判断初始聚类簇序列中的第一个初始聚类簇中的历史数据点数量与历史数据点集中的历史数据点总数量的比值是否大于等于判断阈值，若是，则将第一个初始聚类簇记为初始正常簇，将除第一个初始聚类簇之外的其它初始聚类簇记为初始异常簇，否则，则继续判断初始聚类簇序列中的第一个初始聚类簇中的历史数据点数量与第二个初始聚类簇中的历史数据点数量累加后的值与历史数据点集中的历史数据点总数量的比值是否大于等于判断阈值，若是，则将第一个初始聚类簇和第二个初始聚类簇记为初始正常簇，将除第一个初始聚类簇和第二个初始聚类簇之外的其它初始聚类簇记为初始异常簇，否则，则继续判断初始聚类簇序列中的第一个初始聚类簇中的历史数据点数量、第二个初始聚类簇中的历史数据点数量以及第三个初始聚类簇中的历史数据点数量累加后的值与历史数据点集中的历史数据点总数量的比值是否大于等于判断阈值，以此类推，得到各初始聚类簇中的各初始异常簇和各初始正常簇。具体应用中，可以根据实际情况设置判断阈值的值，本实施例设置判断阈值为0.8；本实施例中历史数据点集中的历史数据点总数量与所有初始聚类簇中的历史数据点数量的和相同。

本实施例中后续虽然会依据各初始正常簇和各初始异常簇对应的聚类中心点以及当前时间段采集到的新增数据点集中的各新增数据点，得到当前时间段采集到的新增数据点集中的各新增数据点对应的影响因子，但是此时本实施例也会依据各初始正常簇对应的簇类中心点实现对当前时间段采集到的新增数据点集中噪声数据点的判断和清洗，具体过程为：

将当前时间段采集到的新增数据点集中所有数据点放置到历史数据点对应是数据空间中；对于当前时间段采集到的新增数据点集中的任一新增数据点：计算该新增数据点与各初始正常簇对应的簇类中心点之间的欧氏距离，并对该新增数据点与各初始正常簇对应的簇类中心点之间的欧氏距离进行线性归一化处理，将归一化处理后的该新增数据点与各初始正常簇对应的簇类中心点之间的欧氏距离记为该新增数据点与各初始正常簇对应的簇类中心点之间的目标欧氏距离，将最小目标欧式距离记为该新增数据点对应的异常程度值；所述异常程度值越大，表明该新增数据点为噪声点的概率越大。

因此通过上述过程得到了当前时间段采集到的新增数据点集中的各新增数据点的异常程度值；然后判断当前时间段采集到的新增数据点集中的各新增数据点的异常程度值是否大于异常程度阈值，若是，则判定对应的新增数据点集中的新增数据点为噪声数据点，并对噪声数据点进行清洗，否则，则判定对应的新增数据点集中的新增数据点为正常数据点，所述清洗是指物联网不进行采集，进而避免后续对物联网数据的分析过程出现偏差，但是在后续获取影响因子时还是会参考这些数据。

对于当前时间段采集到的新增数据点集中的任一新增数据点H：计算该新增数据点与各初始正常簇对应的簇类中心点之间的欧式距离，并将最小欧式距离对应的初始正常簇的簇类中心点记为该新增数据点对应的最近正常簇中心点；计算该新增数据点与各初始异常簇对应的簇类中心点之间的欧式距离，并将最小欧式距离对应的初始异常簇的簇类中心点记为该新增数据点对应的最近异常簇中心点。

将以该新增数据点为起点，以该新增数据点对应的最近正常簇中心点为终点构建的向量记为第一向量，将以该新增数据点为起点，以该新增数据点对应的最近异常簇中心点为终点构建的向量记为第二向量；获取第一向量和第二向量之间的夹角以及夹角的余弦值，并获取该新增数据点与对应的最近正常簇中心点之间的欧式距离以及该新增数据点与对应的最近异常簇中心点之间的欧式距离；根据第一向量和第二向量之间的夹角、第一向量和第二向量之间夹角的余弦值、该新增数据点与对应的最近正常簇中心点之间的欧式距离以及该新增数据点与对应的最近异常簇中心点之间的欧式距离，得到该新增数据点对应的第一影响因子，所述第一影响因子的值越大，则表明在后续的聚类过程中越需要加大该新增数据点与其它数据点的距离，避免簇类中心点向该新增数据点所在方向的偏移；根据如下公式计算该新增数据点对应的第一影响因子：

其中，为该新增数据点对应的第一影响因子，/>为第一向量和第二向量之间的夹角，/>为第一向量和第二向量之间夹角的余弦值，/>为该新增数据点与其对应的最近正常簇中心点之间的欧式距离，/>为该新增数据点与其对应的最近异常簇中心点之间的欧式距离。

当第一向量和第二向量之间的夹角越大，第一向量和第二向量之间夹角的余弦值越小，该新增数据点与对应的最近异常簇中心点之间的欧式距离越小，该新增数据点与对应的最近正常簇中心点之间的欧式距离越大时，表明该新增数据点处于异常簇和正常簇之间的概率越大，即当/>越大，/>越小时，表明/>越大，即该新增数据点处于异常簇和正常簇之间的概率越大；因此在后续的聚类过程中越要加大该新增数据点与其它参与聚类的数据点之间的距离，从而避免簇类中心点向该新增数据点所在方向的偏移，提高后续噪声数据点判断和清洗的准确性。

至此，通过上述过程得到了当前时间段采集到的新增数据点集中的各新增数据点对应的第一影响因子。

步骤S004，根据所述第一影响因子，对第一综合数据点集中的各数据点进行聚类，得到各第一更新簇；所述第一综合数据点集包括历史数据点集和当前时间段采集到的新增数据点集。

本实施例接下来需要基于步骤S003得到的当前时间段采集到的新增数据点集中的各新增数据点对应的第一影响因子，实现对第一综合数据点集中的各数据点的聚类，后续将基于此时的聚类结果确定下一时间段采集到的新增数据点集中的噪声数据点；得到各第一更新簇的聚类过程为：

首先根据物联网传感器对应的历史数据点集和当前时间段采集到的新增数据点集构建得到第一综合数据点集，即第一综合数据点集包括历史数据点集和当前时间段采集到的新增数据点集；对于第一综合数据点集中的第i个数据点：

若判断该数据点不属于当前时间段采集到的新增数据点集，则将该数据点对应的第一影响因子的值记为0，若判断该数据点属于当前时间段采集到的新增数据点集，则该数据点对应的新增数据点的第一影响因子记为该数据点对应的第一影响因子。

因此本实施例得到了第一综合数据点集中的各数据点对应的第一影响因子，然后基于第一综合数据点集中各数据点对应的第一影响因子以及该数据点与第一综合数据点集中除该数据点之外的其它的数据点之间差值绝对值的平方，得到该数据点与第一综合数据点集中除该数据点之外的其它的数据点之间的目标距离；所述目标距离是对第一综合数据点集中的数据点进行准确聚类的依据，根据如下过程计算第一综合数据点集中的第i个数据点与第一综合数据点集中除该数据点之外的其它的数据点中的第j个数据点之间的目标距离：

其中，为第一综合数据点集中的第i个数据点与第一综合数据点集中除该数据点之外的其它的数据点中的第j个数据点之间的目标距离，/>为第一综合数据点集中的第i个数据点对应的第一影响因子，/>为第一综合数据点集中的第i个数据点的值，/>为第一综合数据点集中除第i个数据点之外的其它的数据点中的第j个数据点的值，/>为第一综合数据点集中的第i个数据点与第一综合数据点集中除该数据点之外的其它的数据点中的第j个数据点之间的差值。

其中，越大，/>越大，表明/>；即/>越大越要加大该数据点与其它数据点之间的距离，从而避免簇类中心点向该新增数据点所在方向偏移，提高后续噪声检测的准确性。

至此，得到了第一综合数据点集中的各数据点与第一综合数据点集中对应数据点之外的其它的数据点之间的目标距离，然后依据聚类数量K和第一综合数据点集中的各数据点与对应数据点之外的其它的数据点之间的目标距离实现对第一综合数据点集中数据点的聚类，并将聚类后得到的各聚类簇记为各第一更新聚类簇；后续将依据各第一更新聚类簇对应的簇类中心点实现对下一时间段采集到的新增数据点集中的噪声数据点的判断。

步骤S005，获取下一时间段采集到的新增数据点集，根据所述各第一更新簇对应的簇类中心点，得到所述下一时间段采集到的新增数据点集中的噪声数据点，对所述噪声数据点进行清洗。

本实施例接下来将基于上述步骤得到的第一更新簇实现对对下一时间段采集到的新增数据点集中的噪声数据点的准确判断和清洗，具体过程为：

首先对所有第一更新簇进行分析，得到各第一更新簇中的各第一更新正常簇和第一更新异常簇；本实施例中获取各第一更新簇中的各第一更新正常簇和第一更新异常簇的方法与步骤S003中获取各初始聚类簇中的各初始异常簇和各初始正常簇的方法相同，具体为：

按照第一更新簇中数据点数量由高到低的顺序对各第一更新簇进行排序，得到第一更新簇序列；然后判断第一更新簇序列中的第一个第一更新簇中的数据点数量与第一综合数据点集中的数据点总数量的比值是否大于等于判断阈值，若是，则将第一个第一更新簇序列记为第一更新正常簇，将除第一更新簇之外的其它第一更新簇记为第一更新异常簇，否则，则继续判断第一更新簇序列中的第一个第一更新簇中的数据点数量和第二个第一更新簇中的数据点数量的累加后的值与第一综合数据点集中的数据点总数量的比值是否大于等于判断阈值，若是，则将第一个第一更新簇和第二个第一更新簇记为第一更新正常簇，将除第一个第一更新簇和第二个第一更新簇之外的其它第一更新簇记为第一更新异常簇，否则，则继续判断第一更新簇序列中的第一个第一更新簇中的数据点数量、第二个第一更新簇中的数据点数量以及第三个第一更新簇中的数据点数量累加后的值与第一综合数据点集中的数据点总数量的比值是否大于等于判断阈值，以此类推，得到各第一更新簇中的各第一更新正常簇和各第一更新异常簇。

然后获取下一时间段采集到的新增数据点集，所述下一时间段采集到的新增数据点集中的数据点的数量与当前时间段采集到的新增数据点集中的数据点的数量相同，并且所述下一时间段在时间上位于为当前时间段的后面，并且下一时间段与当前时间段相邻。

同样的将下一时间段采集到的新增数据点集中的所有数据点放置到历史数据点对应的数据空间中；对于下一时间段采集到的新增数据点集中的任一新增数据点：计算该新增数据点与各第一更新正常簇对应的簇类中心点之间的欧氏距离，并对该新增数据点与各第一更新正常簇对应的簇类中心点之间的欧氏距离进行线性归一化处理，将归一化处理后的该新增数据点与各第一更新正常簇对应的簇类中心点之间的欧氏距离，记为该新增数据点与各第一更新正常簇对应的簇类中心点之间的第一欧式距离；将最小第一欧式距离记为该新增数据点对应的异常程度值；所述异常程度值越大，表明该新增数据点为噪声点的概率越大。

因此通过上述过程得到了下一时间段采集到的新增数据点集中的各新增数据点的异常程度值；然后判断下一时间段采集到的新增数据点集中的各新增数据点的异常程度值是否大于异常程度阈值，若是，则判定对应的新增数据点集中的新增数据点为噪声数据点，并对噪声数据点进行清洗，否则，则判定对应的新增数据点集中的新增数据点为正常数据点，所述清洗是指物联网不进行采集，但是在后续获取影响因子时也会参考这些数据。

因此通过上述可知获取下一时间段采集到的新增数据点集中的各新增数据点的异常程度值的方法与步骤S003中获取当前时间段采集到的新增数据点集中的各新增数据点的异常程度值的方法相同，确定下一时间段采集到的新增数据点集中噪声数据点的方法与步骤S003中确定当前时间段采集到的新增数据点集中噪声数据点的方法相同。

本实施例中在获取下一时间段采集到的新增数据点集，根据各第一更新簇对应的簇类中心点，得到下一时间段采集到的新增数据点集中的噪声数据点之后，还包括以下步骤：

根据所述各第一更新簇对应的聚类中心点以及下一时间段采集到的新增数据点集中的各新增数据点，得到下一时间段采集到的新增数据点集中的各新增数据点对应的第二影响因子；根据第二影响因子，对第二综合数据点集中的各数据点进行聚类，得到各第二更新簇；所述第二综合数据点集包括历史数据点集、当前时间段采集到的新增数据点集和下一时间段采集到的新增数据点集；最后获取与下一时间段相邻且在时间上位于下一时间段后面的时间段采集到的新增数据点集，根据各第二更新簇对应的簇类中心点，得到与下一时间段相邻且在时间上位于下一时间段后面的时间段采集到的新增数据点集中的噪声数据点，并对噪声数据点进行清洗，以此类推，完成对物联网传感器采集到的数据的判断和清洗。

本实施例中根据各第一更新簇对应的聚类中心点以及下一时间段采集到的新增数据点集中的各新增数据点得到下一时间段采集到的新增数据点集中的各新增数据点对应的第二影响因子的方法与步骤S003中根据各初始簇对应的聚类中心点以及所述当前时间段采集到的新增数据点集中的各新增数据点得到当前时间段采集到的新增数据点集中的各新增数据点对应的第一影响因子的方法相同，因此本实施例不再详细描述得到第二影响因子的过程。本实施例中根据第二影响因子对第二综合数据点集中的各数据点进行聚类得到各第二更新簇与步骤S004中根据第一影响因子对第一综合数据点集中的各数据点进行聚类得到各第一更新簇的方法相同，因此本实施例不再对得到第二更新簇的过程进行详细描述。本实施例中据各第二更新簇对应的簇类中心点，得到与下一时间段相邻且在时间上位于下一时间段后面的时间段采集到的新增数据点集中的噪声数据点的过程与步骤S005中得到下一时间段采集到的新增数据点集中的噪声数据点的方法相同，因此本实施例不再详细描述。

本实施例首先获取物联网传感器对应的历史数据点集以及物联网传感器在当前时间段采集到的新增数据点集；并对历史数据点集中的各历史数据点进行聚类，得到各初始聚类簇；然后基于各初始聚类簇对应的聚类中心点以及当前时间段采集到的新增数据点集中的各新增数据点，确定当前时间段采集到的新增数据点集中的各新增数据点对应的第一影响因子；之后依据第一影响因子，对第一综合数据点集中的各数据点进行聚类，并得到各第一更新簇；本实施例中的第一综合数据点集包括历史数据点集和当前时间段采集到的新增数据点集；最后根据所述各第一更新簇对应的簇类中心点实现对下一时间段采集到的新增数据点集中的噪声数据点的准确判断。本实施例提供的物联网数据处理方法能够较准确的确定噪声数据点，进而能够较准确的对噪声数据点进行清洗。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围，均应包含在本申请的保护范围之内。

Claims (8)

1.一种基于增量分析的物联网数据处理方法，其特征在于，该方法包括如下步骤：

获取物联网传感器对应的历史数据点集以及物联网传感器在当前时间段采集到的新增数据点集；

对所述历史数据点集中的各历史数据点进行聚类，得到各初始聚类簇；

根据所述各初始聚类簇对应的聚类中心点以及所述当前时间段采集到的新增数据点集中的各新增数据点，得到当前时间段采集到的新增数据点集中的各新增数据点对应的第一影响因子；

根据所述第一影响因子，对第一综合数据点集中的各数据点进行聚类，得到各第一更新簇；所述第一综合数据点集包括历史数据点集和当前时间段采集到的新增数据点集；

获取下一时间段采集到的新增数据点集，根据所述各第一更新簇对应的簇类中心点，得到所述下一时间段采集到的新增数据点集中的噪声数据点，对所述噪声数据点进行清洗。

2.如权利要求1所述的一种基于增量分析的物联网数据处理方法，其特征在于，所述得到当前时间段采集到的新增数据点集中的各新增数据点对应的第一影响因子的方法，包括：

根据所述各初始聚类簇中的历史数据点的数量，得到各初始聚类簇中的各初始异常簇和各初始正常簇；

对于当前时间段采集到的新增数据点集中的任一新增数据点：

将该新增数据点与所述各初始正常簇对应的簇类中心点之间的最小欧式距离对应的初始正常簇的簇类中心点记为该新增数据点对应的最近正常簇中心点；

将该新增数据点与所述各初始异常簇对应的簇类中心点之间的最小欧式距离对应的初始异常簇的簇类中心点记为该新增数据点对应的最近异常簇中心点；

将以该新增数据点为起点，以该新增数据点对应的最近正常簇中心点为终点构建的向量记为第一向量；

将以该新增数据点为起点，以该新增数据点对应的最近异常簇中心点为终点构建的向量记为第二向量；

根据所述第一向量和第二向量之间的夹角、所述第一向量和第二向量之间夹角的余弦值、所述该新增数据点与其对应的最近正常簇中心点之间的欧式距离以及该新增数据点与其对应的最近异常簇中心点之间的欧式距离，得到该新增数据点对应的第一影响因子。

3.如权利要求2所述的一种基于增量分析的物联网数据处理方法，其特征在于，得到各初始聚类簇中的各初始异常簇和各初始正常簇的方法，包括：

按照所述初始聚类簇中历史数据点数量由高到低的顺序对各初始聚类簇进行排序，得到初始聚类簇序列；

判断所述初始聚类簇序列中的第一个初始聚类簇中的历史数据点数量与所述历史数据点集中的历史数据点总数量的比值是否大于等于判断阈值，若是，则将所述第一个初始聚类簇记为初始正常簇，将除所述第一个初始聚类簇之外的其它初始聚类簇记为初始异常簇；

否则，则继续判断所述初始聚类簇序列中的第一个初始聚类簇中的历史数据点数量与第二个初始聚类簇中的历史数据点数量累加后的值与所述历史数据点集中的历史数据点总数量的比值是否大于等于判断阈值，若是，则将所述第一个初始聚类簇和第二个初始聚类簇记为初始正常簇，将除所述第一个初始聚类簇和第二个初始聚类簇之外的其它初始聚类簇记为初始异常簇；

否则，则继续判断所述初始聚类簇序列中的第一个初始聚类簇中的历史数据点数量、第二个初始聚类簇中的历史数据点数量以及第三个初始聚类簇中的历史数据点数量累加后的值与所述历史数据点集中的历史数据点总数量的比值是否大于等于判断阈值，以此类推，得到各初始聚类簇中的各初始异常簇和各初始正常簇。

4.如权利要求2所述的一种基于增量分析的物联网数据处理方法，其特征在于，根据如下公式计算该新增数据点对应的第一影响因子：

其中，为该新增数据点对应的第一影响因子，/>为第一向量和第二向量之间的夹角，为第一向量和第二向量之间夹角的余弦值，/>为该新增数据点与其对应的最近正常簇中心点之间的欧式距离，/>为该新增数据点与其对应的最近异常簇中心点之间的欧式距离。

5.如权利要求1所述的一种基于增量分析的物联网数据处理方法，其特征在于，所述根据所述第一影响因子，对第一综合数据点集中的各数据点进行聚类，得到各第一更新簇的方法，包括：

对于第一综合数据点集中的第i个数据点：

若判断该数据点不属于所述当前时间段采集到的新增数据点集，则将该数据点对应的第一影响因子的值记为0；

若判断该数据点属于所述当前时间段采集到的新增数据点集，则将该数据点对应的所述新增数据点的第一影响因子记为该数据点对应的第一影响因子；

根据所述第一综合数据点集中各数据点对应的第一影响因子以及所述第一综合数据点集中的各数据点与所述第一综合数据点集中除对应数据点之外的其它的数据点之间差值绝对值的平方，得到所述第一综合数据点集中各数据点与所述第一综合数据点集中除对应数据点之外的其它的数据点之间的目标距离；

根据所述目标距离，对所述第一综合数据点集中的各数据点进行聚类，得到各第一更新簇。

6.如权利要求5所述的一种基于增量分析的物联网数据处理方法，其特征在于，根据如下公式计算所述第一综合数据点集中各数据点与所述第一综合数据点集中除对应数据点之外的其它的数据点之间的目标距离：

其中，为所述第一综合数据点集中的第i个数据点与所述第一综合数据点集中除所述第i个数据点之外的其它的数据点中的第j个数据点之间的目标距离，/>为第一综合数据点集中的第i个数据点对应的第一影响因子，/>为第一综合数据点集中的第i个数据点的值，/>为所述第一综合数据点集中除所述第i个数据点之外的其它的数据点中的第j个数据点的值。

7.如权利要求1所述的一种基于增量分析的物联网数据处理方法，其特征在于，得到所述下一时间段采集到的新增数据点集中的噪声数据点，对所述噪声数据点进行清洗的方法，包括：

根据所述各第一更新簇中的数据点的数量，得到各第一更新簇中的各第一更新正常簇和各第一更新异常簇；

对于所述下一时间段采集到的新增数据点集中的任一新增数据点：

对计算得到的该新增数据点与各第一更新正常簇对应的簇类中心点之间的欧氏距离进行归一化处理；

将所述归一化处理后的该新增数据点与各第一更新正常簇对应的簇类中心点之间的欧氏距离，记为该新增数据点与各第一更新正常簇对应的簇类中心点之间的第一欧式距离；将最小第一欧式距离记为该新增数据点对应的异常程度值；

判断所述下一时间段采集到的新增数据点集中的各新增数据点的异常程度值是否大于异常程度阈值，若是，则判定对应的新增数据点为噪声数据点，并对噪声数据点进行清洗，否则，则判定对应的新增数据点为正常数据点。

8.如权利要求1所述的一种基于增量分析的物联网数据处理方法，其特征在于，所述根据所述各第一更新簇对应的簇类中心点，得到所述下一时间段采集到的新增数据点集中的噪声数据点，对所述噪声数据点进行清洗之后，还包括以下步骤：

根据所述各第一更新簇对应的聚类中心点以及下一时间段采集到的新增数据点集中的各新增数据点，得到下一时间段采集到的新增数据点集中的各新增数据点对应的第二影响因子；

根据所述第二影响因子，对第二综合数据点集中的各数据点进行聚类，得到各第二更新簇；所述第二综合数据点集包括历史数据点集、当前时间段采集到的新增数据点集和下一时间段采集到的新增数据点集；

获取与所述下一时间段相邻且在时间上位于所述下一时间段后面的时间段采集到的新增数据点集；根据所述各第二更新簇对应的簇类中心点，得到与所述下一时间段相邻且在时间上位于所述下一时间段后面的时间段采集到的新增数据点集中的噪声数据点，并对噪声数据点进行清洗，以此类推，完成对物联网传感器采集到的数据的清洗。