CN109446189A - 一种工业参数离群点检测系统及方法 - Google Patents

Abstract

本发明公开了一种工业参数离群点检测系统及方法，包括数据预处理模块实现对接收到的原始数据进行清洗、格式转换以及降维处理；数据采集模块实现实时采集工业设备在生产过程中产生的原始数据，并将原始数据上传到所述数据预处理模块；平均密度LOF分析模块用于实现分析经过数据预处理模块处理过的数据，得到分析结果；输出模块用于将平均密度LOF分析模块分析得到的分析结果输出到目标终端；目标终端与输出模块连接，接收平均密度LOF分析模块得到的分析结果数据并进行处理。基于平均密度LOF检测与现有的LOF检测方法相比其检测到的异常点或者离群点精确度更高，提高了工业参数异常点或者离群点的检测准确度，进而提高了产品生产的合格率和产品质量。

Description

一种工业参数离群点检测系统及方法

技术领域

本发明涉及数据的异常值检测技术领域，特别是涉及一种工业参数离群点检测系统及方法。

背景技术

随着工业4.0的不断发展与深入，各大厂商已经逐步意识到产品的生产参数是决定产品质量的最重要的因素之一，如果不能监控生产过程中产品参数变化，会使得产品质量不可控，严重时会造成整批产品不合格。因此，检测生产过程中的异常数据点是工业生产工作的重要方面；目前，关于异常点检测的常规方法主要有一下几种：

1、基于SVD分解的异常点检测

基于矩阵奇异值分解(SVD)的异常点检测方法的关键思想是利用主成分分析去寻找那些违背了数据之间相关性的异常点。

为了发现这些异常点，基于主成分分析(PCA)的算法会把原始数据从原始的空间投影到主成分空间，然后再把投影拉回到原始的空间。如果只使用第一主成分来进行投影和重构，对于大多数的数据而言，重构之后的误差是小的；但是对于异常点而言，重构之后的误差依然相对大。这是因为第一主成分反映了正常值的方差，最后一个主成分反映了异常点的方差。此思路简洁且易于理解。

但是，这种方法一方面产品工艺参数难以构建、高维协方差矩阵难以求解，另一面是算法的复杂度为o(n³),时间成本太高。

2、基于统计的异常点检测

基于统计的方法检测出来的离群点很可能被不同的分布模型检测出来，可以说产生这些离群点的机制可能不唯一，解释离群点的意义时经常发生多义性，这是基于统计方法的一个缺陷。其次，基于统计的方法在很大程度上依赖于待挖掘的数据集是否满足某种概率分布模型，模型的参数、离群点的数目等对基于统计的方法都有非常重要的意义，而确定这些参数通常都比较困难。为克服这一问题，一些人提出对数据集进行分布拟合，但分布拟合存在两个问题：(1)给出的分布可能不适合任一标准分布；(2)即使存在一个标准分布，分布拟合的过程耗时太长。

此外，基于统计的离群检测算法大多只适合于挖掘单变量的数值型数据，目前几乎没有多元的不一致检验，对于大多数的应用来说，有特别是在工业数据领域，数据集的维数一般都是是高维的。实际生活中，以上缺陷都大大限制了基于统计的方法的应用，使得它主要局限于科研计算，算法的可移植性较差。

3、基于密度的异常点检测算法

基于密度的方法主要思想是将记录之间的距离和某一给定范围内记录数这两个参数结合起来，从而得到“密度”的概念，然后根据密度判定记录是否为离群点，因此能够检测出基于距离的异常算法所不能识别的一类异常数据——局部异常。

基于密度的离群点检测方法中一个比较有代表性的算法LOF(Local OutlierFactor，局部离群因子检测方法)，充分体现了“局部”的概念，每个点都给出了一个离群程度，离群程度最强的那几个点被标记为离群点。目前使用的LOF异常点(离群点)检测方在实际应用中有两个缺陷：

(1)离群因子只与参数k有关，当k取值不同时，离群因子的值将不同，之前是异常点的数据在k值变化之后可能不再是异常点；

(2)对于未知异常点个数的数据集，选择参数k以保证离群点的挖掘数量合理是难以做到的。

发明内容

本发明主要解决的技术问题是提供一种工业参数离群点检测系统及方法，能够解决现有工业参数异常点/离群点检测方法以及现有LOF异常点检测方法存在的缺陷。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种工业参数离群点检测系统，包括：

数据预处理模块：实现对接收到的原始数据进行清洗、格式转换以及降维处理；

数据采集模块：实现实时采集工业设备在生产过程中产生的原始数据，并将原始数据上传到所述数据预处理模块；

平均密度LOF分析模块：用于实现分析经过数据预处理模块处理过的数据，得到分析结果；

输出模块：用于将平均密度LOF分析模块分析得到的分析结果输出到目标终端；

目标终端：与输出模块连接，接收平均密度LOF分析模块得到的分析结果数据并进行处理。

平均密度LOF分析模块包括分析单元和离群因子计算单元；分析单元用于分析数据集中数据点的平均密度，并根据密度分布情况确定数据集离群点个数和离群点集合；离群因子计算单元用于通过计算离群因子确定最终离群集合。

一种基于工业参数离群点检测系统的检测方法，方法包括以下步骤：

采集工业设备生产过程中产生的原始数据，并将原始数据实时上传至数据预处理模块中；

通过ETL数据清理对原始数据进行预处理，得到检测数据源；

输入参数R，通过平均密度LOF分析模块计算得到点密度，并获取离群点个数M₁及离群点集合D₁；

计算对象p的局部可达密度与局部离群点因子LOF(p)，并通过对局部离群点因子LOF(p)的计算判定得到离群点个数M₂和离群点集合D₂；

将得到的最终离群点结合D'＝D₁∩D₂输出至目标终端。

在采集工业设备生产过程中产生的原始数据，并将原始数据实时上传至数据预处理模块中步骤之前，还需要通过IOT将工业设备进行互联，以方便数据采集模块将采集的生产过程中工业设备产生的原始数据上传至数据预处理模块中。

通过ETL数据清理对原始数据进行预处理，得到检测数据源步骤的具体内容如下：

使用ETL数据清洗对原始数据进行预处理，提取并归纳出每条原始数据中相关系数最低的维度；

根据预处理结果选取合适的字段作为检测数据源。

输入参数R，通过平均密度LOF分析模块计算得到点密度，并获取离群点个数M₁及离群点集合D₁步骤的具体内容如下：

输入参数R，计算每个数据对象的R领域点的个数、R领域平均距离及点密度；。

找到密度跳变最大的点或者密度对应的点个数跳变最大的位置，获取离群点个数M₁及离群点集合D₁。

计算对象p的局部可达密度与局部离群点因子LOF(p)，并通过对局部离群点因子LOF(p)的计算判定得到离群点个数M₂和离群点集合D₂步骤的具体内容如下：

将一个数据样本点抽象为一个对象p，计算得到对象p的局部可达密度与局部离群点因子LOF(p)；

根据对象p的局部可达密度与局部离群点因子LOF(p)调节参数k，得到离群点个数M₂，并获取相应M₂的的离群点集合D₂。

局部离群点因子LOF(p)表示点p的邻域点的局部可达密度与点p的局部可达密度之比的平均数。

通过局部离群点因子LOF(p)判定离群点的标准为：判定点p的邻域点的局部可达密度与点p的局部可达密度之比的比值是否接近1，将比值接近1的判定为正常点。

点p的局部可达密度表示点p到其领域内所有点的平均可达距离的倒数；点p的邻域点的局部可达密度表示点p的第k邻域内点到点p的平均可达距离的倒数。

本发明的有益效果是：区别于现有技术的情况，本发明通过基于平均密度LOF检测与现有的LOF检测方法相比其检测到的异常点或者离群点精确度更高，检测的错误个数和错误率更低；提高了工业参数异常点或者离群点的检测准确度，进而提高了产品生产的合格率和产品质量。

附图说明

图1是本发明的模块结构图；

图2是本发明与传统LOF检测方法的检测结果图；

图3是本发明与传统LOF检测方法的检测指标图；

图4是本发明与传统检测方法在不同离群点数据下的F值曲线图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本发明的描述中，需要说明的是，术语“上”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

如图1所示，一种工业参数离群点检测系统，包括：

数据预处理模块：实现对接收到的原始数据进行清洗、格式转换以及降维处理；

数据采集模块：实现实时采集工业设备在生产过程中产生的原始数据，并将原始数据上传到所述数据预处理模块；

平均密度LOF分析模块：用于实现分析经过数据预处理模块处理过的数据，得到分析结果；

输出模块：用于将平均密度LOF分析模块分析得到的分析结果输出到目标终端；

目标终端：与输出模块连接，接收平均密度LOF分析模块得到的分析结果数据并进行处理。

优选地，平均密度LOF分析模块包括分析单元和离群因子计算单元；分析单元用于分析数据集中数据点的平均密度，并根据密度分布情况确定数据集离群点个数D₁和离群点集合M₁；离群因子计算单元用于通过计算离群因子确定最终离群集合。

一种基于工业参数离群点检测系统的检测方法，方法包括以下步骤：

S1、采集工业设备生产过程中产生的原始数据，并将原始数据实时上传至数据预处理模块中；

S2、通过ETL数据清理对原始数据进行预处理，得到检测数据源；

S3、输入参数R，通过平均密度LOF分析模块计算得到点密度，并获取离群点个数M₁及离群点集合D₁；

S4、计算对象p的局部可达密度与局部离群点因子LOF(p)，并通过对局部离群点因子LOF(p)的计算判定得到离群点个数M₂和离群点集合D₂；

S5、将得到的最终离群点结合D'＝D₁∩D₂输出至目标终端。

其中，M₁的离群点个数可以等于M₂的离群点个数。

在采集工业设备生产过程中产生的原始数据，并将原始数据实时上传至数据预处理模块中步骤之前，还需要通过IOT将工业设备进行互联，以方便数据采集模块将采集的生产过程中工业设备产生的原始数据上传至数据预处理模块中。

通过ETL数据清理对原始数据进行预处理，得到检测数据源步骤的具体内容如下：

S21、使用ETL数据清洗对原始数据进行预处理，提取并归纳出每条原始数据中相关系数最低的维度；

S22、根据预处理结果选取合适的字段作为检测数据源。

输入参数R，通过平均密度LOF分析模块计算得到点密度，并获取离群点个数M₁及离群点集合D₁步骤的具体内容如下：

S31、输入参数R，计算每个数据对象的R领域点的个数、R领域平均距离及点密度；。

S32、找到密度跳变最大的点或者密度对应的点个数跳变最大的位置，获取离群点个数M₁及离群点集合D₁。

优选地，R领域表示以数据点q为中心，R为半径所构成的区域；R领域平均距离表示R领域内数据点到点q的距离的平均值，其公式为：

点密度表示R领域内点的个数与R领域平均距离的比值，其公式为：

其中，|N_R(q)|是q的R领域内点的个数。

计算对象p的局部可达密度与局部离群点因子LOF(p)，并通过对局部离群点因子LOF(p)的计算判定得到离群点个数M₂和离群点集合D₂步骤的具体内容如下：

S41、将一个数据样本点抽象为一个对象p，计算得到对象p的局部可达密度与局部离群点因子LOF(p)；

S42、根据对象p的局部可达密度与局部离群点因子LOF(p)调节参数k，使得局部离群点因子大于1的离群点个数为M₂，并获取相应M₂的的离群点集合D₂。

优选地，局部离群因子表示数据的离群程度，点p的局部离群因子表示为：

局部离群点因子LOF_k(p)表示点p的邻域点N_k(p)的局部可达密度与点p的局部可达密度之比的平均数。

通过局部离群点因子LOF_k(p)判定离群点的标准为：判定点p的邻域点的局部可达密度与点p的局部可达密度之比的比值是否接近1，将比值接近1的判定为正常点。

优选地，如果这个比值越接近1，说明p的其邻域点密度差不多，p可能和邻域同属一簇；如果这个比值越小于1，说明p的密度高于其邻域点密度，p为密集点；如果这个比值越大于1，说明p的密度小于其邻域点密度，p越可能是异常点或者离群点。

上式中lrd_k(p)表示点p的局部可达密度表示点p到其领域内所有点的平均可达距离的倒数，即为点p的局部可达密度，其表示为：

这表示一个密度，密度越高，越可能属于同一簇，密度越低，越可能是离群点；如果p和周围邻域点是同一簇，那么可达距离越可能为较小的d_k(o)，导致可达距离之和较小，密度值越高；如果p和周围邻域点较远，那么可达距离可能都会取较大值d_k(p,o)，导致密度较小，越可能是离群点。

点p的邻域点N_k(p)的局部可达密度表示点p的第k邻域内点到点p的平均可达距离的倒数。

其中，点o到点p的第k可达距离为：

reach-distance_k(p,o)＝max{k-distance(o),d(p,o)}

所以，点o到点p的第k可达距离，至少是o的第k距离，或者尾o、p间的真实距离。这也就意味着，离点o最近的k个点，o到它们的可达距离认为是相等的，且都等于d_k(o)。

其中，第k距离邻域表示数据集中于数据对象p之间的距离不大于第k距离的数据点组成的集合；

点p的第k距离邻域N_k(p)就是点p的第k距离即以内的所有点，包括第k距离；因此点p的第k邻域点的个数N_k(p)≥k。

其中，第k距离即数据对象p的k距离表示为数据集中到数据对象p距离最近的第k个点到p的距离，即d_k(p)，此处所说的距离指的是欧式距离；其中，d_k(p)＝d(p,o)

如图2-图4所示，其表示采用现有LOF检测方法与采用本发明经过改善提高的平均密度的LOF检测方法所得到的实验结果上的差异，从中可以得知采用本发明的检测方法不管在检测异常点或者离群点的精确度还是在错误个数上，本发明较现有的LOF检测方法都有很大的提升。

计算两种检测方法的精确率P和召回率R以及加权评价指标F，有：

其中，TP为检索到的正确个数，FP为检索到的错误个数，FN为未检索到的正确个数，TN为未检索到的错误个数。

以上所述仅为本发明/发明的实施例，并非因此限制本发明/发明的专利范围，凡是利用本发明/发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明/发明的专利保护范围内。

Claims (10)

1.一种工业参数离群点检测系统，其特征在于，包括：

数据预处理模块：实现对接收到的原始数据进行清洗、格式转换以及降维处理；

数据采集模块：实现实时采集工业设备在生产过程中产生的原始数据，并将原始数据上传到所述数据预处理模块；

平均密度LOF分析模块：用于实现分析经过所述数据预处理模块处理过的数据，得到分析结果；

输出模块：用于将所述平均密度LOF分析模块分析得到的分析结果输出到目标终端；

目标终端：与所述输出模块连接，接收所述平均密度LOF分析模块得到的分析结果数据并进行处理。

2.根据权利要求1所述的一种工业参数离群点检测系统，其特征在于，所述的平均密度LOF分析模块包括分析单元和离群因子计算单元；所述的分析单元用于分析数据集中数据点的平均密度，并根据密度分布情况确定数据集离群点个数和离群点集合；所述的离群因子计算单元用于通过计算离群因子确定最终离群集合。

3.一种基于工业参数离群点检测系统的检测方法，其特征在于，所述的方法包括以下步骤：

采集工业设备生产过程中产生的原始数据，并将原始数据实时上传至数据预处理模块中；

通过ETL数据清理对原始数据进行预处理，得到检测数据源；

输入参数R，通过平均密度LOF分析模块计算得到点密度，并获取离群点个数M₁及离群点集合D₁；

计算对象p的局部可达密度与局部离群点因子LOF(p)，并通过对局部离群点因子LOF(p)的计算判定得到离群点个数M₂和离群点集合D₂；

将得到的最终离群点结合D'＝D₁∩D₂输出至目标终端。

4.根据权利要求3所述的一种基于工业参数离群点检测系统的检测方法，其特征在于，在所述采集工业设备生产过程中产生的原始数据，并将原始数据实时上传至数据预处理模块中步骤之前，还需要通过IOT将工业设备进行互联，以方便数据采集模块将采集的生产过程中工业设备产生的原始数据上传至数据预处理模块中。

5.根据权利要求3所述的一种基于工业参数离群点检测系统的检测方法，其特征在于，所述的通过ETL数据清理对原始数据进行预处理，得到检测数据源步骤的具体内容如下：

使用ETL数据清洗对原始数据进行预处理，提取并归纳出每条原始数据中相关系数最低的维度；

根据预处理结果选取字段作为检测数据源。

6.根据权利要求3所述的一种基于工业参数离群点检测系统的检测方法，其特征在于，所述的输入参数R，通过平均密度LOF分析模块计算得到点密度，并获取离群点个数M₁及离群点集合D₁步骤的具体内容如下：

输入参数R，计算每个数据对象的R领域点的个数、R领域平均距离及点密度；。

找到密度跳变最大的点或者密度对应的点个数跳变最大的位置，获取离群点个数M₁及离群点集合D₁。

7.根据权利要求3所述的一种基于工业参数离群点检测系统的检测方法，其特征在于，所述的计算对象p的局部可达密度与局部离群点因子LOF(p)，并通过对局部离群点因子LOF(p)的计算判定得到离群点个数M₂和离群点集合D₂步骤的具体内容如下：

将一个数据样本点抽象为一个对象p，计算得到对象p的局部可达密度与局部离群点因子LOF(p)；

根据对象p的局部可达密度与局部离群点因子LOF(p)调节参数k，得到离群点个数M₂，并获取相应M₂的的离群点集合D₂。

8.根据权利要求7所述的一种基于工业参数离群点检测系统的检测方法，其特征在于，所述的局部离群点因子LOF(p)表示点p的邻域点的局部可达密度与点p的局部可达密度之比的平均数。

9.根据权利要求8所述的一种基于工业参数离群点检测系统的检测方法，其特征在于，通过所述局部离群点因子LOF(p)判定离群点的标准为：判定所述点p的邻域点的局部可达密度与点p的局部可达密度之比的比值是否接近1，将比值接近1的判定为正常点。

10.根据权利要求9所述的一种基于工业参数离群点检测系统的检测方法，其特征在于，所述的点p的局部可达密度表示点p到其领域内所有点的平均可达距离的倒数；所述的点p的邻域点的局部可达密度表示点p的第k邻域内点到点p的平均可达距离的倒数。