CN109919306A - 高维数据异常检测系统及方法 - Google Patents

Abstract

本发明提供一种高维数据异常检测系统及方法，高维数据异常检测方法包括如下步骤：对原始高维数据进行预处理，以去除原始高维数据中的干扰值，并对去除干扰值后的数据进行填充；对填充后的数据进行归一化处理；将归一化处理后的数据进行降维；对降维后的数据进行整形，以得到有监督的数据；利用LSTM网络对有监督的数据进行分析，以得到预测数据；将预测数据与真实数据比对以判断所述原始高维数据是否异常。本发明的高维数据异常检测方法可以实现对高维数据进行快速、准确的异常检测，在如汽车等设备出现异常时可以即时处理，从而确保汽车驾驶的绝对安全。

Description

高维数据异常检测系统及方法

技术领域

本发明属于大数据处理技术领域，特别是涉及一种高维数据异常检测系统及方法。

背景技术

现代社会，电动汽车越来越多进入到我们的生活。未来，无人驾驶的电动汽车一定会变成社会中汽车的主流。于是，怎样了解汽车的运行状态就成了我们必须去关心的问题。这些年，由于自动驾驶算法的不完善，造成了诸多无人驾驶的车辆发生车祸故障。所以，这都客观要求我们能够拥有利用车体上数据以对汽车进行异常检测的能力。

汽车产生的数据具有维度高、数量大的特点。对于此，无论是数学上的统计学方法也好，还是深度学习中简单的LSTM网络(长短期记忆网络)也好，对于高维度的大数据来说，都没有很好的性能。

数学中的统计学方法只能显现出数据中总体的规律，但是对数据中的前后联系和数据不同维度之间的关系，都无法有效分析出来。并且，在数据量急剧增大的情况下，统计学方法的分析速度会急剧减慢，在分析汽车产生大量数据的情况下，并没有什么应用价值。

而对于LSTM网络来说，其非常擅长对时序数据的分析。但是，LSTM网络在分析高维度数据的时候速度会明显减慢，并且汽车生成的数据是无监督的数据，如果将汽车产生的无监督数据转换为有监督数据，LSTM网络对数据的分析时间还会大大增加。这对于我们进行无人驾驶时，汽车状态的异常检测来说，显然是不够的。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种高维数据异常检测系统及方法，用于解决现有技术中对高维数据进行检测分析时存在的速度慢、准确率低等问题。

为实现上述目的及其他相关目的，本发明提供一种高维数据异常检测方法，所述原始高维数据异常检测方法包括如下步骤：

对原始高维数据进行预处理，以去除所述原始高维数据中的干扰值，并对去除所述干扰值后的数据进行填充；

对填充后的数据进行归一化处理；

将归一化处理后的数据进行降维；

对降维后的数据进行整形，以得到有监督的数据；

利用LSTM网络对所述有监督的数据进行分析，以得到预测数据；

将所述预测数据与真实数据比对以判断所述原始高维数据是否异常。

可选地，所述原始高维数据包括汽车电源数据。

可选地，所述原始高维数据包括若干个数值的数据序列，去除所述原始高维数据中的干扰值，并对去除所述干扰值后的数据进行填充包括如下步骤：

确定所述原始高维数据中的干扰值，并将所述干扰值去除；所述干扰值去除后，所述原始高维数据的数据序列中存在因所述干扰值去除而产生的空白位；

将所述干扰值前一个非干扰值及所述干扰值后一个非干扰值加和平均以得到插入值，并将所述插入值插入至所述空白位。

可选地，对填充后的数据进行归一化处理进行归一化处理的公式为：

其中，x为填充后的数据中需要进行归一化处理的数值，min为填充后的数据中的最小值，max为填充后的数据中的最大值，x^*为归一化后的数值。

可选地，将归一化处理后的数据进行降维包括如下步骤：

使用受限玻尔兹曼机网络对归一化后的数据进行特征提取；

利用提取到的特征对归一化后的数据进行降维。

可选地，降维后的数据中每一行数据仅包括某一时刻获取的所有数据，对降维后的数据进行整形包括：对降维后的数据中每一行数据进行调整，以使得到的所述有监督的数据中每一行数据即包括某一时刻获取的所有数据，又包括该时刻之前若干个时刻获取的所有数据。

可选地，将所述预测数据与真实数据比对以判断所述原始高维数据是否异常的方法包括：

得到所述预测数据与所述真实数据的差值；

将所述预测数据与所述真实数据的差值与预设阈值进行比对，若所述预测数据与所述真实数据的差值大于所述预设阈值，则所述原始高维数据异常，若所述预测数据与所述真实数据的差值小于所述预设阈值，则所述原始高维数据正常。

本发明还提供一种高维数据异常检测系统，所述原始高维数据异常检测系统包括：

预处理模块，用于对原始高维数据进行预处理，以去除所述原始高维数据中的干扰值，并对去除所述干扰值后的数据进行填充；

归一化处理模块，与所述预处理模块相连接，所述归一化处理模块用于对填充后的数据进行归一化处理；

降维处理模块，与所述归一化处理模块相连接，所述降维处理模块用于将归一化处理后的数据进行降维；

整形处理模块，与所述降维处理模块相连接，所述整形处理模块用于对降维后的数据进行整形，以得到有监督的数据；

分析模块，与所述整形处理模块相连接，所述分析模块用于利用LSTM网络对所述有监督的数据进行分析，以得到预测数据；

比对判断模块，与所述分析模块相连接，所述比对判断模块用于将所述预测数据与真实数据比对以判断所述原始高维数据是否异常。

如上所述，本发明的高维数据异常检测系统及方法，具有以下有益效果：

本发明的高维数据异常检测方法可以实现对高维数据进行快速、准确的异常检测，在如汽车等设备出现异常时可以即时处理，从而确保汽车驾驶的绝对安全；

本发明的高维数据异常检测系统在对高维数据进行异常检测时，具有速度快、准确率高等优点。

附图说明

图1显示为本发明实施例一中提供的高维数据异常检测方法的流程图。

图2显示为本发明实施例二中提供的高维数据异常检测系统的框图。

元件标号说明

1 预处理模块

2 归一化处理模块

3 降维处理模块

4 整形处理模块

5 分析模块

6 比对判断模块

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。

请参阅图1至图2。需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，虽图示中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的形态、数量及比例可为一种随意的改变，且其组件布局形态也可能更为复杂。

实施例一

请参阅图1，本发明提供一种高维数据异常检测方法，所述原始高维数据异常检测方法包括如下步骤：

1)对原始高维数据进行预处理，以去除所述原始高维数据中的干扰值，并对去除所述干扰值后的数据进行填充；

2)对填充后的数据进行归一化处理；

3)将归一化处理后的数据进行降维；

4)对降维后的数据进行整形，以得到有监督的数据；

5)利用LSTM网络对所述有监督的数据进行分析，以得到预测数据；

6)将所述预测数据与真实数据比对以判断所述原始高维数据是否异常。

在步骤1)中，请参阅图1中的S1步骤，对原始高维数据进行预处理，以去除所述原始高维数据中的干扰值，并对去除所述干扰值后的数据进行填充。

作为示例，所述原始高维数据包括汽车电源数据。

作为示例，所述原始高维数据可以包括若干个数值的数据序列。

作为示例，所述原始高维数据可以为传感器收集到的数据，由于所述传感器自身的问题或是数据在传输过程中噪声的影响，有可能在所述原始数据中可能存在一些明显处于所述传感器测量范围之外的数值或者是直接实现为NaN(Not a Number，无穷与非数值)。这样的数据(本实施例中称为干扰值)并不能说明汽车的驾驶处于异常状态，而将这样的数据输入到异常检测系统进行异常检测时，往往会带来错报的结果。所以，在得到所述原始数据之后，需要对所述原始数据进行预处理以去除这些干扰值。

作为示例，步骤1)可以包括如下步骤：

1-1)确定所述原始高维数据中的干扰值，所述干扰值记为x_t，并将所述干扰值x_t去除；所述干扰值x_t去除后，所述原始高维数据的数据序列中存在因所述干扰值x_t去除而产生的空白位；

1-2)将所述干扰值x_t前一个非干扰值x_t-1及所述干扰值后一个非干扰值x_t+1加和平均以得到插入值x'_t，并将所述插入值x'_t插入至所述空白位。

具体的，所述插入值x'_t的公式为：

在步骤2)中，请参阅图1中的S2步骤，对填充后的数据进行归一化处理。

将所述原始高维数据中的所述干扰值去除后，所述原始数据中的数值之间的差距会非常大，所以需要对填充后的数据进行归一化处理，以使得填充后的数据中所有数值的值域处于相同的范围；优选地，本实施例中，选择将填充后的数据中的数值统一置于0到1的范围之内。

作为示例，对填充后的数据进行归一化处理进行归一化处理的公式为：

其中，x为填充后的数据中需要进行归一化处理的数值，min为填充后的数据中的最小值，max为填充后的数据中的最大值，x^*为归一化后的数值。

在步骤3)中，请参阅图1中的S3步骤，将归一化处理后的数据进行降维。

作为示例，步骤3)可以包括如下步骤：

3-1)使用受限玻尔兹曼机(RBM)网络对归一化后的数据进行特征提取；

3-2)利用提取到的特征对归一化后的数据进行降维。

作为示例，所述受限玻尔兹曼机网络能够通过无监督的方法对数据进行特征提取，具体的提取方法为本领域技术人员所知晓，此处不再累述。

需要说明的是，步骤3-2)中利用提取到的特征对归一化后的数据进行降维的具体方法为本领域技术人员所知晓，此处不再累述。

通过将归一化处理后的数据进行降维，归一化处理后的数据的维度降低之后，在后续对数据进行整形的过程中可以保证整形后的数据不会过于庞大，也保证了后续使用LSTM网络对整形后的数据进行分析的时候，分析速度也会大大加快。

在步骤4)中，请参阅图1中的S4步骤，对降维后的数据进行整形，以得到有监督的数据。

作为示例，降维后的数据中每一行数据仅包括某一时刻获取的所有数据，对降维后的数据进行整形包括：对降维后的数据中每一行数据进行调整，以使得到的所述有监督的数据中每一行数据即包括某一时刻获取的所有数据，又包括该时刻之前若干个时刻获取的所有数据，即所述有监督的数据是指每一行数据同时包括某一时刻获取的所有数据即该时刻之前若干个时刻获取的所有数据。

在步骤5)中，请参阅图1中的S5步骤，利用LSTM网络对所述有监督的数据进行分析，以得到预测数据。

作为示例，所述LSTM网络能够有效地分析出前后时刻数据。不同传感器数据之间的关系，并基于此，分析出所述预测数据。利用所述LSTM网络对所述有监督的数据进行分析以得到预测数据的具体方法为本领域技术人员所知晓，此处不再累述。

在步骤6)中，请参阅图1中的S6步骤，将所述预测数据与真实数据比对以判断所述原始高维数据是否异常。

作为示例，步骤6)可以包括如下步骤：

6-1)得到所述预测数据与所述真实数据的差值；

6-2)将所述预测数据与所述真实数据的差值与预设阈值进行比对，若所述预测数据与所述真实数据的差值大于所述预设阈值，则所述原始高维数据异常，若所述预测数据与所述真实数据的差值小于所述预设阈值，则所述原始高维数据正常。

当所述原始高维数据为汽车电源数据时，在步骤6)中若判断所述原始高维数据异常，则可以判定汽车在驾驶过程中存在异常，从而机器可以将这种异常直接反馈给司机或工程师，如果所述预测数据与所述真实数据的差值非常大，机器也可以直接执行某些操作，从而确保汽车驾驶的绝对安全。

本发明的高维数据异常检测方法可以实现对高维数据进行快速、准确的异常检测，在如汽车等设备出现异常时可以即时处理，从而确保汽车驾驶的绝对安全

实施例二

请参阅图2，本发明还提供一种高维数据异常检测系统，所述高维数据异常检测系统包括：预处理模块1，所述预处理模块1用于对原始高维数据进行预处理，以去除所述原始高维数据中的干扰值，并对去除所述干扰值后的数据进行填充；归一化处理模块2，所述归一化处理模块2与所述预处理模块1相连接，所述归一化处理模块2用于对填充后的数据进行归一化处理；降维处理模块3，所述降维处理模块3与所述归一化处理模块2相连接，所述降维处理模块3用于将归一化处理后的数据进行降维；整形处理模块4，所述整形处理模块4与所述降维处理模块3相连接，所述整形处理模块4用于对降维后的数据进行整形，以得到有监督的数据；分析模块5，所述分析模块5与所述整形处理模块4相连接，所述分析模块5用于利用LSTM网络对所述有监督的数据进行分析，以得到预测数据；比对判断模块6，所述比对判断模块6与所述分析模块5相连接，所述比对判断模块6用于将所述预测数据与真实数据比对以判断所述原始高维数据是否异常。

本发明的高维数据异常检测系统在对高维数据进行异常检测时，具有速度快、准确率高等优点。

综上所述，本发明提供一种高维数据异常检测系统及方法，所述高维数据异常检测方法包括如下步骤：对原始高维数据进行预处理，以去除所述原始高维数据中的干扰值，并对去除所述干扰值后的数据进行填充；对填充后的数据进行归一化处理；将归一化处理后的数据进行降维；对降维后的数据进行整形，以得到有监督的数据；利用LSTM网络对所述有监督的数据进行分析，以得到预测数据；将所述预测数据与真实数据比对以判断所述原始高维数据是否异常。本发明的高维数据异常检测方法可以实现对高维数据进行快速、准确的异常检测，在如汽车等设备出现异常时可以即时处理，从而确保汽车驾驶的绝对安全；本发明的高维数据异常检测系统在对高维数据进行异常检测时，具有速度快、准确率高等优点。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (8)

1.一种高维数据异常检测方法，其特征在于，包括如下步骤：

对原始高维数据进行预处理，以去除所述原始高维数据中的干扰值，并对去除所述干扰值后的数据进行填充；

对填充后的数据进行归一化处理；

将归一化处理后的数据进行降维；

对降维后的数据进行整形，以得到有监督的数据；

利用LSTM网络对所述有监督的数据进行分析，以得到预测数据；

将所述预测数据与真实数据比对以判断所述原始高维数据是否异常。

2.根据权利要求1所述的高维数据异常检测方法，其特征在于：所述原始高维数据包括汽车电源数据。

3.根据权利要求1所述的高维数据异常检测方法，其特征在于：所述原始高维数据包括若干个数值的数据序列，去除所述原始高维数据中的干扰值，并对去除所述干扰值后的数据进行填充包括如下步骤：

确定所述原始高维数据中的干扰值，并将所述干扰值去除；所述干扰值去除后，所述原始高维数据的数据序列中存在因所述干扰值去除而产生的空白位；

将所述干扰值前一个非干扰值及所述干扰值后一个非干扰值加和平均以得到插入值，并将所述插入值插入至所述空白位。

4.根据权利要求1所述的高维数据异常检测方法，其特征在于：对填充后的数据进行归一化处理进行归一化处理的公式为：

其中，x为填充后的数据中需要进行归一化处理的数值，min为填充后的数据中的最小值，max为填充后的数据中的最大值，x^*为归一化后的数值。

5.根据权利要求1所述的高维数据异常检测方法，其特征在于：将归一化处理后的数据进行降维包括如下步骤：

使用受限玻尔兹曼机网络对归一化后的数据进行特征提取；

利用提取到的特征对归一化后的数据进行降维。

6.根据权利要求1所述的高维数据异常检测方法，其特征在于：降维后的数据中每一行数据仅包括某一时刻获取的所有数据，对降维后的数据进行整形包括：对降维后的数据中每一行数据进行调整，以使得到的所述有监督的数据中每一行数据即包括某一时刻获取的所有数据，又包括该时刻之前若干个时刻获取的所有数据。

7.根据权利要求1所述的高维数据异常检测方法，其特征在于：将所述预测数据与真实数据比对以判断所述原始高维数据是否异常的方法包括：

得到所述预测数据与所述真实数据的差值；

将所述预测数据与所述真实数据的差值与预设阈值进行比对，若所述预测数据与所述真实数据的差值大于所述预设阈值，则所述原始高维数据异常，若所述预测数据与所述真实数据的差值小于所述预设阈值，则所述原始高维数据正常。

8.一种高维数据异常检测系统，其特征在于，包括：

预处理模块，用于对原始高维数据进行预处理，以去除所述原始高维数据中的干扰值，并对去除所述干扰值后的数据进行填充；

归一化处理模块，与所述预处理模块相连接，所述归一化处理模块用于对填充后的数据进行归一化处理；

降维处理模块，与所述归一化处理模块相连接，所述降维处理模块用于将归一化处理后的数据进行降维；

整形处理模块，与所述降维处理模块相连接，所述整形处理模块用于对降维后的数据进行整形，以得到有监督的数据；

分析模块，与所述整形处理模块相连接，所述分析模块用于利用LSTM网络对所述有监督的数据进行分析，以得到预测数据；

比对判断模块，与所述分析模块相连接，所述比对判断模块用于将所述预测数据与真实数据比对以判断所述原始高维数据是否异常。