CN113554105A - 一种基于时空融合的物联网缺失数据补全方法 - Google Patents

Abstract

本发明公开了一种基于时空融合的物联网缺失数据补全方法，通过收集物联网传感器的时序数据，得到传感器的历史数据，对离线的传感器的历史数据进行统计分析，分析传感器数据的缺失情况；数据空间关系感知：采用标准化互信息的方法挖掘收集到的传感器的历史数据之间的关系，计算任意两个传感器历史数据之间的相关系数，并选择相关系数大于0.5的数据作为待补全传感器的空间关系数据；构建并训练关系感知LSTM模型；将采集到的不完整的传感器数据输入训练好的Ra‑LSTM模型中进行数据补全，得到完整的数据集。该方法既利用传感器自身的历史时序数据又利用传感器之间的空间关系数据；补全融合的方法，补全结果更准确；在多个传感器数据同时缺失的条件下同样适用。

Description

一种基于时空融合的物联网缺失数据补全方法

技术领域

本发明涉及人工智能及数据处理技术领域，具体是一种基于时空融合的物联网缺失数据补全方法。

背景技术

时间序列数据是指一系列随时间推移先后产生的数据，时间序列数据反映了事物或行为随着时间变化的规律性。随着信息技术以及物联网的快速发展，各种传感器和信息采集设备的激增，时序数据在日常生活中出现的频率越来越高。智慧物联网环境下典型的时序数据有智能家居场景下采集的家居数据、智慧医疗收集的医疗数据、智慧交通中收集到的交通数据、智能电网中采集的电力数据等。这些由传感器收集到的时序数据是建设智慧物联网的前提，完整的数据为智慧物联网提供了基础的数据支撑。

然而，由于网络状态不佳、恶意网络攻击、传感器设备故障、传感器存储错误或其他的一些不可控因素(如电力突发故障)，物联网中传感器收集的数据经常是不完整的，数据缺失是非常普遍的，也是不可避免的。数据的缺失，一方面直接导致数据样本信息量的减少，降低了数据集的完整度和可靠性，严重影响了人们对研宄对象动态特征进行分析和建模工作的科学合理性；另一方面，对于时序数据预测模型来说，数据中的缺失部分代表了数据历史变化规律的丢失，使得预测模型难以完整的提取其中有价值的知识，从而降低时空数据预测结果的准确率。

目前解决数据缺失的传统方法主要有删除法及填充法，直接删除法可以保证所有剩余样本数据的完整性。但该方法直接删除缺失的样本，导致了样本数量的减少，使得某些样本从部分缺失过渡到了完全缺失。填充法主要是基于统计数据的填充方法，采用平均值、中位数、众数等统计数据来填充所有缺失值。基于机器学习的方法有随机森林(RF)算法、K近邻(KNN)算法、支持向量机(SVM)算法等，然而他们大多针对非时序的数据进行补全，同时他们仅利用同一时刻或者同一时间段的其他传感器的数据(称之为关系数据)来补全缺失传感器的数据。目前有一些深度学习方法，例如循环神经网络(RNN)、长短期记忆网络(LSTM)等，来补全时序数据中的缺失数据，但是他们仅仅利用数据的历史信息(称之为历史数据)补全传感器中的某一个缺失值，或者较短时间内连续缺失的少量数据，然而针对连续长时间的缺失数据，这些方法往往导致补全效果不佳。同时，这些基于神经网络的深度学习方法只针对于单个传感器缺失的数据进行补全，当多个传感器数据同时缺失时，这些该方法的作用有限。

发明内容

本发明的目的在于解决现有缺失数据补全方法中针对多传感器数据无法同时补全的问题，而提供一种基于时空融合的物联网缺失数据补全方法。

实现本发明目的的技术方案是：

一种基于时空融合的物联网缺失数据补全方法，包括如下步骤：

1)收集物联网传感器的时序数据，得到传感器的历史数据，对离线的传感器的历史数据进行统计分析，分析传感器数据的缺失情况；

2)数据空间关系感知：采用标准化互信息的方法挖掘步骤1)收集到的传感器的历史数据之间的关系，计算任意两个传感器历史数据之间的相关系数，并选择相关系数大于0.5的数据作为待补全传感器的空间关系数据；

3)构建并训练关系感知LSTM模型：针对每一个传感器建立一个关系感知LSTM的模型Ra-LSTM，使得Ra-LSTM模型自适应于不同缺失程度的传感器数据，其中Ra-LSTM模型包括空间关系LSTM子模型(SR-LSTM模型)和时序关系LSTM子模型(TR-LSTM模型)，将步骤2)获得的待补全传感器的空间关系数据输入SR-LSTM模型中对SR-LSTM模型进行训练，得到补全的空间关系数据；将步骤1)获得的传感器的历史数据输入TR-LSTM模型中对TR-LSTM模型进行训练，得到补全的时序关系数据；将补全的空间关系数据和补全的时序关系数据进行融合，得到最终补全数据的融合结果，即得到训练好的Ra-LSTM模型；

4)将采集到的不完整的传感器数据输入训练好的Ra-LSTM模型中进行数据补全，得到完整的数据集。

步骤2)中，所述的相关系数，计算方法如下：

上述公式(1)、公式(2)中，ts₁、ts₂代表两个不同传感器收集到的数据，p(i)和p(j)代表传感器数据ts₁和ts₂中样本的边缘概率分布，p(i,j)代表两者的联合分布；H(ts₁)和H(ts₂)代表传感数据的熵，NMI()对互信息MI进行归一化，使其计算出的数值在0-1之间。

步骤3)中，Ra-LSTM模型的训练，包括如下步骤：

3-1)假设传感器采集到的不完整的数据集为TS^Inc＝{ts₁,...,ts_i\m_i,...,ts_j\m_j,...,ts_n},ts_i代表不同传感器i收集到的时序数据,m_i代表传感器i中缺失的数据；

3-2)使用标准化互信息NMI方法计算得到的传感器ts_i相关的数据来得到的相关系数为

r∈{1,...,k},k≤n-1；

3-3)若传感器ts_i的关系数据没有出现缺失情况(如ts₁,ts₂都是完整的)，执行步骤3-4)到3-7)；

3-4)使用ts_i的历史数据训练TR-LSTM模型并且补全ts_i中的缺失数据，得到一个补全值

3-5)针对每一个关系r，使用ts_i的关系数据训练SR-LSTM模型并补全ts_i中的缺失数据，得到一个补全值

3-6)直到所有关系计算完为止；

3-7)利用等式

将步骤3-4)得到的

和步骤3-6)得到的

进行融合，得到ts_i的补全结果；

3-8)若传感器ts_i的关系数据出现缺失(例如ts_j中缺失了m_j)，则执行步骤3-9)到3-18)；

3-9)使用ts_j的历史数据训练TR-LSTM模型并得到ts_j的基础补全值

3-10)使用ts_i的历史数据训练TR-LSTM模型并且得到ts_i的补全值

3-11)针对每一个关系r：

3-12)使用ts_i的关系数据训练SR-LSTM模型并且得到补全值

3-13)直到所有关系计算完毕为止；

3-14)使用等式

将步骤3-11)得到的

和步骤3-12)得到的

进行融合，得到ts_i的补全结果；

3-15)使用ts_j的关系数据训练SR-LSTM模型得到ts_j的一个关系补全值

3-16)使用等式

更新传感器ts_j的补全结果；

3-17)用补全后的数据代替传感器中的缺失数据：

3-18)得到完整的数据集合:

本发明提供的一种基于时空融合的物联网缺失数据补全方法，与现有技术相比，本发明具有如下优点：

本发明的补全方法，使得补全过程同时利用传感器自身的历史时序数据又利用传感器之间的空间关系数据；补全融合的方法，使得补全结果更准确；在多个传感器数据同时缺失的条件下同样适用。

附图说明

图1为基于时空融合的物联网缺失数据补全方法的流程图；

图2为关系感知LST模型示意图；

图3为基础LSTM模型的内部结构示意图。

具体实施方式

下面结合附图和实施例对本发明内容做进一步阐述，但不是对本发明的限定。

实施例：

一种基于时空融合的物联网缺失数据补全方法，如图1所示，包括如下步骤：

1)收集物联网传感器的时序数据，得到传感器的历史数据，对离线的传感器的历史数据进行统计分析，分析传感器数据的缺失情况，设收集到的完整的离线时序数据集定义为

其中

代表第i个传感器的收集到的离线数据；

2)数据空间关系感知：采用标准化互信息的方法挖掘步骤1)收集到的传感器的历史数据之间的关系，计算任意两个传感器历史数据之间的相关系数，并选择相关系数大于0.5的数据作为待补全传感器的空间关系数据；相关系数，计算方法如下：

上述公式(1)、公式(2)中，ts₁、ts₂代表两个不同传感器收集到的数据，p(i)和p(j)代表传感器数据ts₁和ts₂中样本的边缘概率分布，p(i,j)代表两者的联合分布；H(ts₁)和H(ts₂)代表传感数据的熵，NMI()对互信息MI进行归一化，使其计算出的数值在0-1之间。

3)构建并训练关系感知LSTM模型：针对每一个传感器建立一个关系感知LSTM的模型Ra-LSTM，使得Ra-LSTM模型自适应于不同缺失程度的传感器数据，其中Ra-LSTM模型包括空间关系LSTM子模型(SR-LSTM模型)和时序关系LSTM子模型(TR-LSTM模型)，将步骤2)获得的待补全传感器的空间关系数据输入SR-LSTM模型中对SR-LSTM模型进行训练，得到补全的空间关系数据；将步骤1)获得的传感器的历史数据输入TR-LSTM模型中对TR-LSTM模型进行训练，得到补全的时序关系数据；将补全的空间关系数据和补全的时序关系数据进行融合，得到最终补全数据的融合结果，即得到训练好的Ra-LSTM模型；

具体地，Ra-LSTM模型有两部分组成，一个是空间关系LSTM子模型(SR-LSTM)，如图2(b)所示，它们由空间关系感知得来，也即当传感器数据之间的标准化互信息大于0.5，这个传感器数据就被认为是待补全传感器的空间关系数据，特别地，我们考虑一种极端情况，当关系传感器数据也存在缺失时，我们先用它自身的历史数据来补全一个基础值。另一个是时序关系LSTM子模型(TR-LSTM)，如图2(a)所示，它由传感器自身的历史样本组成，其中每一个子模型都有基础的LSTM单元构成，LSTM基础单元的内部结构如图3所示。

针对不同子模型的补全结果进行融合，融合的思想是在不同的补全结果前添加归一化的系数，相关系数越大，结果融合的权重越大，本实施例为基于历史样本的补全结果的系数设置为1，

4)将采集到的不完整的传感器数据输入训练好的Ra-LSTM模型中进行数据补全，得到完整的数据集。

步骤3)中，Ra-LSTM模型的训练，包括如下步骤：

3-1)假设传感器采集到的不完整的数据集为TS^Inc＝{ts₁,...,ts_i\m_i,...,ts_j\m_j,...,ts_n},ts_i代表不同传感器i收集到的时序数据,m_i代表传感器i中缺失的数据；

3-2)使用标准化互信息NMI方法计算得到的传感器ts_i相关的数据来得到的相关系数为

r∈{1,...,k},k≤n-1；

3-3)若传感器ts_i的关系数据没有出现缺失情况(如ts₁,ts₂都是完整的)，执行步骤3-4)到3-7)；

3-4)使用ts_i的历史数据训练TR-LSTM模型并且补全ts_i中的缺失数据，得到一个补全值

3-5)针对每一个关系r，使用ts_i的关系数据训练SR-LSTM模型并补全ts_i中的缺失数据，得到一个补全值

3-6)直到所有关系计算完为止；

3-7)利用等式

将步骤3-4)得到的

和步骤3-6)得到的

进行融合，得到ts_i的补全结果；

3-8)若传感器ts_i的关系数据出现缺失(例如ts_j中缺失了m_j)，则执行步骤3-9)到3-18)；

3-9)使用ts_j的历史数据训练TR-LSTM模型并得到ts_j的基础补全值

3-10)使用ts_i的历史数据训练TR-LSTM模型并且得到ts_i的补全值

3-11)针对每一个关系r：

3-12)使用ts_i的关系数据训练SR-LSTM模型并且得到补全值

3-13)直到所有关系计算完毕为止；

3-14)使用等式

将步骤3-11)得到的

和步骤3-12)得到的

进行融合，得到ts_i的补全结果；

3-15)使用ts_j的关系数据训练SR-LSTM模型得到ts_j的一个关系补全值

3-16)使用等式

更新传感器ts_j的补全结果；

3-17)用补全后的数据代替传感器中的缺失数据：

3-18)得到完整的数据集合:

Claims (3)

1.一种基于时空融合的物联网缺失数据补全方法，其特征在于，包括如下步骤：

1)收集物联网传感器的时序数据，得到传感器的历史数据，对离线的传感器的历史数据进行统计分析，分析传感器数据的缺失情况；

2)数据空间关系感知：采用标准化互信息的方法挖掘步骤1)收集到的传感器的历史数据之间的关系，计算任意两个传感器历史数据之间的相关系数，并选择相关系数大于0.5的数据作为待补全传感器的空间关系数据；

3)构建并训练关系感知LSTM模型：针对每一个传感器建立一个关系感知LSTM的模型Ra-LSTM，使得Ra-LSTM模型自适应于不同缺失程度的传感器数据，其中Ra-LSTM模型包括SR-LSTM模型和TR-LSTM模型，将步骤2)获得的待补全传感器的空间关系数据输入SR-LSTM模型中对SR-LSTM模型进行训练，得到补全的空间关系数据；将步骤1)获得的传感器的历史数据输入TR-LSTM模型中对TR-LSTM模型进行训练，得到补全的时序关系数据；将补全的空间关系数据和补全的时序关系数据进行融合，得到最终补全数据的融合结果，即得到训练好的Ra-LSTM模型；

4)将采集到的不完整的传感器数据输入训练好的Ra-LSTM模型中进行数据补全，得到完整的数据集。

2.根据权利要求1所述的一种基于时空融合的物联网缺失数据补全方法，其特征在于，步骤2)中，所述的相关系数，计算方法如下：

上述公式(1)、公式(2)中，ts₁、ts₂代表两个不同传感器收集到的数据，p(i)和p(j)代表传感器数据ts₁和ts₂中样本的边缘概率分布，p(i,j)代表两者的联合分布；H(ts₁)和H(ts₂)代表传感数据的熵，NMI()对互信息MI进行归一化，使其计算出的数值在0-1之间。

3.根据权利要求1所述的一种基于时空融合的物联网缺失数据补全方法，其特征在于，步骤3)中，Ra-LSTM模型的训练，包括如下步骤：

3-1)假设传感器采集到的不完整的数据集为TS^Inc＝{ts₁,...,ts_i\m_i,...,ts_j\m_j,...,ts_n},ts_i代表不同传感器i收集到的时序数据,m_i代表传感器i中缺失的数据；

3-2)使用标准化互信息NMI方法计算得到的传感器ts_i相关的数据来得到的相关系数为

r∈{1,...,k},k≤n-1；

3-3)若传感器ts_i的关系数据没有出现缺失情况，执行步骤3-4)到3-7)；

3-4)使用ts_i的历史数据训练TR-LSTM模型并且补全ts_i中的缺失数据，得到一个补全值

3-5)针对每一个关系r，使用ts_i的关系数据训练SR-LSTM模型并补全ts_i中的缺失数据，得到一个补全值

3-6)直到所有关系计算完为止；

3-7)利用等式

将步骤3-4)得到的

和步骤3-6)得到的

进行融合，得到ts_i的补全结果；

3-8)若传感器ts_i的关系数据出现缺失，则执行步骤3-9)到3-18)；

3-9)使用ts_j的历史数据训练TR-LSTM模型并得到ts_j的基础补全值

3-10)使用ts_i的历史数据训练TR-LSTM模型并且得到ts_i的补全值

3-11)针对每一个关系r：

3-12)使用ts_i的关系数据训练SR-LSTM模型并且得到补全值

3-13)直到所有关系计算完毕为止；

3-14)使用等式

将步骤3-11)得到的

和步骤3-12)得到的

进行融合，得到ts_i的补全结果；

3-15)使用ts_j的关系数据训练SR-LSTM模型得到ts_j的一个关系补全值

3-16)使用等式

更新传感器ts_j的补全结果；

3-17)用补全后的数据代替传感器中的缺失数据：

3-18)得到完整的数据集合:

Images