CN111145895A - 异常数据的检测方法及终端设备 - Google Patents

Abstract

本发明属于数据处理技术领域，提供了一种异常数据的检测方法及终端设备，其中方法包括获取监控医疗设备的传感器的历史监控数据，记为原始数据集，历史监控数据为时间序列数据；对原始数据集中的数据进行预处理，得到第一数据集；利用平稳性检验方法检验第一数据集中的历史监控数据，如第一数据集中的数据满足平稳性，则基于第一数据集中的数据获取预测数据，并基于预测数据进行异常数据检测。本申请对异常数据的检测是结合了历史数据进行的预测，考虑了数据的变化趋势，相较于现有技术的突破阈值即报警的方法，其预测结果更为准确。

Description

异常数据的检测方法及终端设备

技术领域

本发明属于数据处理技术领域，尤其涉及一种异常数据的检测方法及终端设备。

背景技术

医疗设备在现代医疗中具有举足轻重的地位，其对所处环境的温度具有严格的要求，通常要求医疗设备处于一种长期稳定的温度环境中。温度异常变化可能引起医疗用品质量的变化，如若实验管理员长时间未对医疗设备温度异常变化进行处理，可能会造成医疗用品变质，从而导致实验灾难，患者性命受到危害等灾难性后果。然而，在医疗设备的存储过程中不可避免地出现异常模式，例如不恰当开关冰箱门等，进而破坏稳定的温度环境。

为实时监控医疗设备的温度，现有技术设置了预警系统，但是，当前设备的预警系统仅基于简单的突破阈值即报警的机制，而阈值的设置也仅为基于经验的大区间简单划分。这就导致了预警的不完全准确以及异常原因的难以追溯。因此亟需建立模型对医疗设备监控数据进行异常检测，以发现异常模式，从而有效地对医疗设备进行管理。

发明内容

有鉴于此，本发明实施例提供了一种异常数据的检测方法，以依据历史监控数据准确预测异常点并进行处理。

本发明实施例提供了一种异常数据的检测方法，包括：

获取监控医疗设备的传感器的历史监控数据，记为原始数据集，所述历史监控数据为时间序列数据；

对原始数据集中的数据进行预处理，得到第一数据集；

利用平稳性检验方法检验所述第一数据集中的历史监控数据，如所述第一数据集中的数据满足平稳性，则基于第一数据集中的数据获取预测数据，并基于预测数据进行异常数据检测。

优选地，对原始数据集中的数据进行预处理，具体为：

对原始数据集中的历史监控数据进行可视化，用于直观获取传感器所属温度分区以及医疗设备的类型；

计算原始数据集中数据的丢包率，如果丢包率大于预设丢包率阈值，则将丢失的数据记为异常数据。

优选地，所述平稳性检测方法使用单位根检验方法。

优选地，基于第一数据集中的数据获取预测数据，并基于预测数据进行异常数据检测，具体为：

利用周期性检测方法对第一数据集中的数据进行周期性检测，判断所述医疗设备的监控数据是否有周期性，如有周期性，则对第一数据集中的数据进行去周期操作，得到无周期性的第一数据集；

在无周期性的第一数据集中设定预测窗口，利用预测窗口内的数据获取预测窗口边缘数据的下一刻的预测数据，并基于预测数据进行异常数据检测。

优选地，所述去周期操作所使用的去周期公式为：

式中，F_t+1为去周期后的t+1时刻的监控数据值，x_i为i时刻对应的监控数据值，n表示每计算一次移动平均需要最近的n个监控数据值，t为第t个时刻。

优选地，在无周期性的第一数据集中设定预测窗口，利用预测窗口内数据获取预测窗口边缘数据的下一刻的预测数据，并基于预测数据进行异常数据检测，具体为：

在无周期性的第一数据集中设定长度为L的预测窗口；

获取长度为L的初始化序列，将所述初始化序列设置于所述第一数据集的最早数据之前；

从初始化序列开始，逐步移动所述预测窗口，获得多个预测窗口边缘数据的下一刻的预测数据；

基于预测窗口中数据的方差及设定的软阈值，获取预测窗口内数据的正常变化范围，判断预测数据与实际监控数据的差值是否在正常变化范围内，如是，则实际监控数据为正常数据；如否，则实际监控数据为异常数据。

优选地，获得多个预测窗口边缘数据的下一刻的预测数据，具体为：

式中，point′_i+1为第i+1个点的预测数据值，N为预测窗口中数据的个数，point_l为第l个点的监控数据值。

优选地，基于预测窗口中数据的方差及设定的软阈值，获取预测窗口内数据的正常变化范围，具体为：

式中，range为预测窗口内数据的正常温度变化范围，s-threshold为传感器所属温度分区的软阈值，

为预测窗口内数据的方差。

优选地，确定实际监控数据为异常数据后，还包括：

使用异常数据前一刻的数据值替换异常数据的数据值，然后利用预测窗口继续预测异常数据后一刻的数据值。

本发明的实施例还公开了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

本发明实施例与现有技术相比存在的有益效果是：

本申请对异常数据的检测是结合了历史数据进行的预测，通过计算预测数据与实际监控数据之间的差值是否在正常变化范围内，判断实际监控数据是否为异常数据。相较于现有技术的突破阈值即报警的方法，其预测结果更为准确。使用本方法可以建立一个全自动化的系统对大批量的物联网传感器数据进行监控和预警，而无需人力进行监控和分析。

本申请对监控数据进行了平稳性检测，保证了数据的连续性。

本申请对监控数据进行了序列初始化，避免序列一开始就出现异常值的情况对后续检测可能带来的影响，其检测结果更精确。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的异常数据的检测方法的流程图；

图2～图22依次是本发明实施例提供的9月26日～10月16日的监控数据及检测结果示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

本实施例以放置于冷库中的温度传感器作为研究对象，温度变量作为异常检测对象。

首先需要对温度传感器的监测环境进行分区。分区标准见表1：

表1温度分区标准

温区	分区标准
		超低温区	小于零下25度
低温区	零下25度至零下20度
		次低温区	零下20度至零下15度
冷冻区	0度至5度
		冷藏区	5度至10度
保鲜区	10度至15度
		常温区	20度至25度
高温区	大于25度

在分区标准的基础上，进一步阐述本发明的异常数据的检测方法。

图1为本发明的异常数据的检测方法的流程图。

本发明的异常数据的检测方法，包括：

步骤1、获取监控医疗设备的传感器的历史监控数据，记为原始数据集，所述历史监控数据为时间序列数据；

本方案共采集了100个传感器2019年9月5日至10月17日的温湿度数据，约22万条。为了验证本方法的可行性，本实施例选取放置于冷库A的温湿度c66022774000传感器作为研究对象，温度变量作为异常检测对象，该传感器传输数据的时间间隔为每10分钟一次，本方法选用9月26日-10月16日，共21天的传感器监控数据作为例子，数据总量共3024个数据。本实施例分别以每天的传感器监控数据作为一个原始数据集，每天的监控数据共144个，对每天的监控数据进行异常数据检测，当然，也可以使用周数据作为原始数据集。

步骤2、对原始数据集中的数据进行预处理，得到第一数据集，具体为：

首先对原始数据集中的历史监控数据进行可视化，用于直观获取传感器所属温度分区以及医疗设备的类型。从21天的可视化结果可以得知，传感器c66022774000所检测的冷库其温度分区属于冷冻区，冷库A为定频冰箱。

然后，计算原始数据集中数据的丢包率，如果丢包率大于预设丢包率阈值，则将丢失的数据记为异常数据。其中丢包率的计算公式为：

指定时间窗口可以取1小时、24小时等。本实施例中，指定时间窗口为1小时，由于传感器数据采集频率为10分钟1次，所以1小时目标接收数据数为6个。利用上述丢包率公式计算获知，本实施例所采集的21天的检测结果并无丢包情况，无需进行处理。直接归为异常。将经过上述处理的数据集记为第一数据集。

步骤3、利用平稳性检验方法检验所述第一数据集中的历史监控数据，如所述第一数据集中的数据满足平稳性，则基于第一数据集中的数据获取预测数据，并基于预测数据进行异常数据检测。

步骤3.1、利用平稳性检验方法检验所述第一数据集中的历史监控数据。

本申请所使用的原始数据集为时间序列数据，针对时间序列异常检测，现有研究默认其是平稳时间序列，直接对其进行分析，然而这是不严谨的。本方法在异常检测前进行了平稳性检验。在研究时间序列的时候，我们希望通过时间序列在历史数据上的一些性质在将来也保持不变。这实际上刻画的是时间序列平稳性的性质：关于时间平移的不变性。为了更好地研究温度传感器数据，我们首先对其进行平稳性检验。

平稳时间序列具有：1)均值是与时间无关的常数；2)方差是与时间无关的常数；3)前后时间的协方差是只与时间间隔有关而与时间无关的常数这三个特点。

在此我们采用单位根检验方法(Augmented Dickey-Fuller Test)检验数据的平稳性。单位根检验就是判断序列是否存在单位根：如果存在单位根，那么原序列为非平稳序列；如果不存在单位根，则为平稳序列。该方法认为，平稳时间序列一定归于以下三大类自回归过程，只要满足其中一类则可认为是平稳性时间序列，因此需要对以下三种情况分别进行检验。单位根检验模型如下：

(1)无常数均值、趋势的p阶自回归过程：

X_t＝φ₁X_t-1+…+φ_pX_t-p+∈_t

(2)有常数均值、无趋势的p阶自回归过程：

X_t＝μ+φ₁X_t-1+…+φ_pX_t-p+∈_t

(3)有常数均值、线性趋势的p阶自回归过程：

X_t＝μ+βt+φ₁X_t-1+…+φ_pX_t-p+∈_t

其中，φ为自相关系数。令σ＝φ₁+φ₂+…+φ_p-1。单位根检验的检验统计量：

其中，

为σ的最小二乘估计，

为参数σ的样本标准差。

进行单位根检验的步骤如下：

(1)原假设H₀：σ＝0，原序列存在单位根，为非平稳序列；备择假设H₁：σ＜0，原序列不存在单位根，为平稳序列；

(2)分别对三个模型进行显著性检验，如果得到的检验统计量τ小于10％，5％，1％显著性水平下的临界值，则对应有90％，95％，99％的把握拒绝原假设。当只要其中一个模型的检验结果拒绝了原假设，就可以认为时间序列是平稳的；当三个模型的检验结果都不能拒绝原假设时，则认为时间序列是非平稳的。

本实施例利用单位根检验方法对21天的总监控数据进行检验，所得平稳性检验结果见表2。

表2 c66022774000传感器ADF检验结果

原假设	时间序列非平稳
		检验统计量	-13.717015223487438
p-value	1.2075486278580482e-25
		滞后阶数	13
自由度	3010
		1％临界值	-3.432524380568614
5％临界值	-2.8625007013501316
		10％临界值	-2.567281406386243

从平稳性检验结果来看，检验统计量为-13.7170，远小于1％临界值-3.4325，即p值远小于0.01，因此我们拒绝原假设，该时间序列是平稳的，即传感器c66022774000数据是平稳数据。

步骤3.2、基于第一数据集中的数据获取预测数据，并基于预测数据进行异常数据检测，具体为：

步骤3.2.1、利用周期性检测方法对第一数据集中的数据进行周期性检测，判断所述医疗设备的监控数据是否有周期性，如有周期性，则对第一数据集中的数据进行去周期操作，得到无周期性的第一数据集；

本实施例通过周期性检测方法将医疗设备分成变频冰箱和定频冰箱。变频冰箱可以根据当前温度情况做出一定的调整，可以更好的让温度保持恒定。定频冰箱则不具备以上功能。本实施例使用傅立叶变换周期图检测法作为周期性检测方法。该方法通过傅立叶变换获得时间序列周期图，并基于周期图法的Fisher g统计量来检测周期图峰值，以判断序列是否存在周期成分。变频冰箱具备周期性，而定频冰箱则不具备周期性，因此如果检测出具备周期性则将该传感器归于变频冰箱范畴，反之则归为定频冰箱。

考虑到变频冰箱存在一定的周期性，因此在进行下一步之前对变频冰箱数据进行去周期处理。本实施例采用的是移动平均的方式：

式中，F_t+1为去周期后的t+1时刻的监控数据值，x_i为i时刻对应的监控数据值，n表示每计算一次移动平均需要最近的n个监控数据值，t为第t个时刻。

在此基础上，将傅立叶变换周期图检测法得到的传感器对应的冰箱类型，与实际冰箱的基本信息类型对照比较，大量的实验验证该方法准确率为100％，准确率高。

本实施例所使用的为定频冰箱，所以无周期性，无需对其进行去周期操作。

步骤3.2.2、在无周期性的第一数据集中设定预测窗口，利用预测窗口内的数据获取预测窗口边缘数据的下一刻的预测数据，并基于预测数据进行异常数据检测。

步骤3.2.2.1、在无周期性的第一数据集中设定长度为L的预测窗口；

步骤3.2.2.2、获取长度为L的初始化序列，将所述初始化序列设置于所述第一数据集的最早数据之前；

考虑到本方法是基于历史数据的均值与方差进行异常检测，其假设为异常没有出现在序列起始一段时间，否则后续的异常检测则不能成立。因此在这里加入序列初始化这一步骤，其目的是排除异常因出现在序列起始一段时间而无法被检测到的情况，以及其影响后续的异常检测的情况。初始化分为两个步骤：

对该传感器序列数据值进行统计，选取前一天历史数据出现次数最多的m个数，每个数重复n次，一共m×n个数；

将这m×n个数随机排列组成一组序列，添加到传感器序列数据的最前端，拼接成一组初始化后的传感器序列数据；

在此次试验中，m选取为10，n选取为3，也即是人工填补了含有30个数的初始序列。m×n应等同于预测窗口(lag)长度L以确保初始计算的均值与方差反映了序列未出现异常的情况。通过这一种人工填补，可以假定所选取的窗口内不含有异常，所计算的统计量(均值与方差)不会受到异常数据所造成的影响，从而更好地进行后续的异常检测。

步骤3.2.2.3、从初始化序列开始，逐步移动所述预测窗口，获得多个预测窗口边缘数据的下一刻的预测数据，具体为：

式中，point′_i+1为第i+1个点的预测数据值，N为预测窗口中数据的个数，point_l为第l个点的监控数据值。

步骤3.2.2.4、基于预测窗口中数据的方差及设定的软阈值，获取预测窗口内数据的正常变化范围，判断预测数据与实际监控数据的差值是否在正常变化范围内，如是，则实际监控数据为正常数据；如否，则实际监控数据为异常数据。

软阈值(soft-threshold)将用于下一步异常检测中，以调整被识别为正常的数据范围。现有阈值设置的方法主要通过专家经验法进行人为设置，其存在需要依靠专业人士进行设置这一缺点。考虑历史温度数据的变化并将这一信息加入到软阈值的设置之中，以替代基于经验的大区间简单划分。本实施例中的软阈值代表了医疗设备所处温度环境变化能够接受离散程度的范围大小。经过测试，我们得出了不同温区对应的软阈值，如下表3所示，同时实验员也可根据自身经验和实际情况对软阈值进行合理调整。

表3软阈值

基于预测窗口中数据的方差及设定的软阈值，获取预测窗口内数据的正常变化范围，具体为：

式中，range为预测窗口内数据的正常温度变化范围，s-threshold为传感器所属温度分区的软阈值，

为预测窗口内数据的方差。

然后计算点i+1的实际观测数据与预测数据的差diff_i+1：

diff_i+1＝point_i+1-point′_i+1

其中point_i+1代表点i+1的实际观测数据。

根据所得的正常温度变化范围range，计算point_i+1的异常检测结果signal_i+1：

其中，signal_i+1等于0为正常情况，signal_i+1不等于0为异常情况：signal_i+1等于1为温度过高异常；signal_i+1等于-1为温度过低异常。

如果实际监控值与预测值的差小于正常温度范围，我们则认为该点为正常点，即返回为0的信号值。如果实际监控值与预测值的差大于正常温度范围，我们则认为该点为异常点。在已被识别为是异常的情况下，比较实际监控值与预测值的大小：如果实际监控值大于预测值，则我们认为为温度过高的异常点，返回为1的信号值；如果实际监控值小于预测值，则我们认为为温度过低的异常点，返回为-1的信号值。

确定实际监控数据为异常数据后，还包括：

使用异常数据前一刻的数据值替换异常数据的数据值，然后利用预测窗口继续预测异常数据后一刻的数据值：

即令异常点的值等于异常点前一刻的数据值。其中

表示第i+1个点为异常点，point_i为该异常点的前一个点。

然后提取异常发生的时间。针对异常检测的信号图，提取其中信号值为1或-1的点所对应的时间，作为异常发生的时间；将提取得到的异常发生的时间分周、分天、分时段进行频次统计分析，并进行比较以发现异常发生的模式。

最后我们此处采用两个指标来评价本方法的效果，分别为准确率P和召回率R：

通过将机器检测的异常与人为标记的异常进行比较，计算出准确率和召回率衡量模型的有效性。

本实施例采用的9月26日-10月16日，共21天的传感器监控数据，以及获得的预测数据、正常温度变化范围等见图2～图22。图2(a)到图22(a)中，横坐标为监控数据个数，纵坐标为温度；图2(b)到图22(b)中，横坐标为监控数据个数，纵坐标为信号值。图2～图22中，1为原始数据集中的监控数据；2为预测数据；3为正常温度变化范围；4为异常点信号曲线。

通过模式发现，可以得到21天中，传感器出现异常的时间表。见表4。

表4 c66022774000传感器异常时间表

从上表4可见定频冰箱温度变化较不稳定，全天都可能出现异常，各个时间段出现异常的频次均较相近，没有发现明显的异常时间段。天与天之间也没有出现异常次数的明显差异，每天均会出现异常，且每天出现的异常次数大多稳定在2-3次之间，没有出现明显的变化。因为并未发现明显的异常模式，我们推测传感器出现异常值可能是人为开关冰箱门导致或传感器检测错误所导致。

然后，采用两个指标来评价本方法的效果，对于传感器c66022774000的21天的数据，它们对应的值计算如下：

在对传感器c66022774000的检测过程中，在以上三周的时间内，与人为标记的异常进行比较，准确率和召回率均为100％，说明此方法有效。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种异常数据的检测方法，其特征在于，包括：

获取监控医疗设备的传感器的历史监控数据，记为原始数据集，所述历史监控数据为时间序列数据；

对原始数据集中的数据进行预处理，得到第一数据集；

利用平稳性检验方法检验所述第一数据集中的历史监控数据，如所述第一数据集中的数据满足平稳性，则基于第一数据集中的数据获取预测数据，并基于预测数据进行异常数据检测。

2.如权利要求1所述的异常数据的检测方法，其特征在于，对原始数据集中的数据进行预处理，具体为：

对原始数据集中的历史监控数据进行可视化，用于直观获取传感器所属温度分区以及医疗设备的类型；

计算原始数据集中数据的丢包率，如果丢包率大于预设丢包率阈值，则将丢失的数据记为异常数据。

3.如权利要求1所述的异常数据的检测方法，其特征在于，所述平稳性检测方法使用单位根检验方法。

4.如权利要求1所述的异常数据的检测方法，其特征在于，基于第一数据集中的数据获取预测数据，并基于预测数据进行异常数据检测，具体为：

利用周期性检测方法对第一数据集中的数据进行周期性检测，判断所述医疗设备的监控数据是否有周期性，如有周期性，则对第一数据集中的数据进行去周期操作，得到无周期性的第一数据集；

在无周期性的第一数据集中设定预测窗口，利用预测窗口内的数据获取预测窗口边缘数据的下一刻的预测数据，并基于预测数据进行异常数据检测。

5.如权利要求4所述的异常数据的检测方法，其特征在于，所述去周期操作所使用的去周期公式为：

式中，F_t+1为去周期后的t+1时刻的监控数据值，x_i为i时刻对应的监控数据值，n表示每计算一次移动平均需要最近的n个监控数据值，t为第t个时刻。

6.如权利要求4所述的异常数据的检测方法，其特征在于，在无周期性的第一数据集中设定预测窗口，利用预测窗口内数据获取预测窗口边缘数据的下一刻的预测数据，并基于预测数据进行异常数据检测，具体为：

在无周期性的第一数据集中设定长度为L的预测窗口；

获取长度为L的初始化序列，将所述初始化序列设置于所述第一数据集的最早数据之前；

从初始化序列开始，逐步移动所述预测窗口，获得多个预测窗口边缘数据的下一刻的预测数据；

基于预测窗口中数据的方差及设定的软阈值，获取预测窗口内数据的正常变化范围，判断预测数据与实际监控数据的差值是否在正常变化范围内，如是，则实际监控数据为正常数据；如否，则实际监控数据为异常数据。

7.如权利要求6所述的异常数据的检测方法，其特征在于，获得多个预测窗口边缘数据的下一刻的预测数据，具体为：

式中，point′_i+1为第i+1个点的预测数据值，N为预测窗口中数据的个数，point_l为第l个点的监控数据值。

8.如权利要求6所述的异常数据的检测方法，其特征在于，基于预测窗口中数据的方差及设定的软阈值，获取预测窗口内数据的正常变化范围，具体为：

式中，range为预测窗口内数据的正常温度变化范围，s-threshold为传感器所属温度分区的软阈值，

为预测窗口内数据的方差。

9.如权利要求6所述的异常数据的检测方法，其特征在于，确定实际监控数据为异常数据后，还包括：

使用异常数据前一刻的数据值替换异常数据的数据值，然后利用预测窗口继续预测异常数据后一刻的数据值。

10.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至9任一项所述方法的步骤。

Images