CN104200113A - 基于高斯过程的物联网数据不确定性度量、预测与野值剔除方法 - Google Patents

Abstract

本发明涉及一种基于高斯过程的物联网数据不确定性度量、预测与野值剔除方法，是通过估计采集物联网感知传感器测量误差的标准差，结合高斯过程建模理论以及自回归模型表征的动态系统方法，给出观测数据有效时间序列数据的预测值及其不确定性度量，并根据上述信息进行判断决策出，数据是否为缺值或野值数据，并相应进行数据补齐。本发明是一种概率非参数化预测方法，通过训练集学习具有跟踪系统动态的特点，能依据对预测值得不确定性和传感器的标定标准差，对数据异常和数据缺失情况及时加以判断预警和数据补齐,预测误差小，精确度高。本发明用于物联网自动观测数据的质量控制，能确保采集数据的准确性。

Description

基于高斯过程的物联网数据不确定性度量、预测与野值剔除方法

技术领域

本发明属于物联网数据处理领域，具体涉及到一种基于高斯过程的物联网数据不确定性度量、预测与野值剔除方法，用于物联网自动观测数据的质量控制。

技术背景

农业生产周期长、影响因子复杂，要了解其因果关系十分困难，通过大数据技术促进农业生产与发展的潜力已经初现。随着精准农业、智慧农业、物联网和云计算的快速发展，农业数据也呈现出爆炸式增长。物联网已经成为农业大数据最重要的数据采集工具之一。

现代农业中大量运用了各类传感器实现大田种植、设施园艺和水产养殖等农业信息多种相关变量的全天候、多尺度实时观测感知。这些获取的农业大数据信息多是非平稳时间序列数据，能够反应农业系统的动态特性，经过数据清洗或融合等处理后，可实现农业产前、产中和产后的过程监控和科学决策。然而，农业系统或观测环境的不确定性、生物对象的复杂性、电子仪器或传感器的不稳定性以及传输压缩与重构误差等因素使得观测的非线性时间序列数据存在着测量误差或野值，甚至关键数据丢失，使得农业生产决策或研究分析缺乏确切数据支持。因此农业自动观测的时间序列数据中的非完整数据的不确定性度量与预测对于农业生产分析以及基础科研数据应用非常重要。

农业系统或生物对象检测获取的绝大多数实际的时间序列数据往往呈现出高度非线性,即存在趋势、季节变动、循环波动和不规则波动等4种特征。传统时间序列预测有自回归滑动平均(ARMA)、卡尔曼滤波、神经网络等方法。而ARMA实现简单，但存在低阶模型预测精度低、高阶模型参数确定难度大的不足；而神经网络法存在收敛速度慢、隐层节点数选取难、训练数据大等缺陷；卡尔曼滤波实时性好，但存在对复杂非线性系统预测精度低等问题。因此传统时间序列数据预测方法的准确度不高，并且上述方法都缺乏对预测结果的不确定性度量。因此针对农业物联网采集的非平稳时间序列数据，迫切需要发明一种对预测数据具有不确定性度量的方法，给出了动态时间序列数据的缺值预测和野值剔除方法。该方法对提高农业物联网信息采集服务器端的时间序列数据的观测质量有重要意义。

发明内容

本发明是为解决物联网自动观测数据中出现的数据缺失和野值问题而发明的一种基于高斯过程的物联网数据不确定性度量、缺值预测与野值剔除方法，用于物联网采集服务器端的自动观测数据的质量控制。

本发明涉及的一种基于高斯过程的物联网数据不确定性度量、预测与野值剔除方法采用的技术方案：

该方法采用高斯过程建模理论以及自回归模型表征的动态系统方法，具体步骤如下：

(1)采集物联网感知传感器测量误差的标准差

依据物联网感知传感器的量程范围，制定标定试验方案，通过物联网感知传感器测量标准物理量，统计经传感器感知和物联网、广域通讯网传输的测量数据的误差，计算出标定试验方案中所检测量的测量误差的标准差σ；

(2)采集物联网感知实时数据

利用前端农业信息感知传感器和农业物联网获得农业系统的实时数据，经广域通讯网络将数据传输到物联网数据采集服务器端，得到实时时间序列存入服务器相应数据库中；

(3)逐个对实时数据进行基于高斯过程的回归分析

服务器端得数据质量控制进程对时间序列进行逐个进行数据判断：以该数据为中心取其时间序列数据的前后数据为高斯过程的训练集，采用高斯过程学习方法，获得该段时间序列数据的高斯过程回归模型，以需补齐数据的时间节点为输入，应用该高斯过程回归模型进行预测，给出相应的预测均值和预测方差。

所述的训练数据集一般取为该时间序列数据的一个周期的数据采集量。

所述的高斯过程学习方法中的协方差函数定义如下：各向同性距离度量的自动相关性确定的指数平方协方差函数，即高斯核，用于系统观测数据的预测。

$K(X^{\left(i\right)},X^{\left(j\right)})={\mathrm{\σ}}_f^2\exp (-\frac{1}{2w^2}\underset{l=1}{\overset{L}{\mathrm{\Σ}}}{(x_l^{\left(i\right)}-x_l^{\left(j\right)})}^2)$

其中，L是感知信息的维度，x_l感知信息的第l维监测值。是信号方差，通常初始化为1，以及w是各维度特征的标度因子，可通过高斯过程学习获得。

(4)逐个对数据进行缺失或野值判断，并进行数据补齐

若该数据值为缺失数据标示，以上步预测均值作为数据补齐值；否则以预测方差为依据进行野值数据判断：若判断为野值数据，删除原数据，并进入(5)进行数据补齐，否则为正常数据，放弃数据校正。

所述的野值判断方法将综合考虑单步预测的均值及方差形成的野值判断阈值与实时采样的数据比较而得。若采样数据超出判断阈值，即认为该采样数据为野值，否者为正常值。

其中P取值可依据物联网感知传感器在其量程范围内的标定数据的标准差给出，并以上浮标准差5～15倍为宜，其倍数选取受采样数据的时变范围、采样周期、外部驱动或干扰等因素影响。

本发明具有如下优点：

1)该方法简单可行，它是一种概率非参数化预测方法，通过训练集学习具有跟踪系统动态的特点，预测误差小，精确度高；

2)该方法能依据对预测值得不确定性和传感器的标定标准差，对异常情况及时加以判断预警和数据补齐；

3)该方法补充了经典的时间序列方法ARMA模型，曲线拟合和参数估计方法的不足；

附图说明

图1是本发明的物联网采集数据质量控制流程图；

图2是空气温度传感器采集的时间序列数据例；

图3是1#空气温度传感器缺失数据的短期预测与不确定度量；

图4是示例数据进行野值数据的剔除和补齐(判断条件：大于P＝5σ)；

图5是示例数据进行野值数据的剔除和补齐(判断条件：大于P＝15σ)；

具体实施方式：

下面结合附图对本发明专利进行进一步描述。

该方法采用高斯过程建模理论以及自回归模型表征的动态系统方法，对物联网采集的时间序列数据进行不确定性度量、缺值预测与野值剔除的具体步骤(如图1)如下：

(1)采集物联网感知传感器测量误差的标准差

依据物联网感知传感器的量程范围，制定标定试验方案，通过物联网感知传感器测量标准物理量，统计经传感器感知和物联网、广域通讯网传输的测量数据的误差，计算出标定试验方案中所检测量的测量误差的标准差σ；

(2)采集物联网感知实时数据

利用前端农业信息感知传感器和农业物联网获得农业系统的实时数据，经广域通讯网络将数据传输到物联网数据采集服务器端，得到实时时间序列存入服务器相应数据库中；

(3)逐个对实时数据进行基于高斯过程的回归分析

服务器端得数据质量控制进程对时间序列进行逐个进行数据判断：以该数据为中心取其时间序列数据的前后数据为高斯过程的训练集，采用高斯过程学习方法，获得该段时间序列数据的高斯过程回归模型，以需补齐数据的时间节点为输入，应用该高斯过程回归模型进行预测，给出相应的预测均值和预测方差。

所述的训练数据集一般取为该时间序列数据的一个周期的数据采集量。

所述的高斯过程学习方法中的协方差函数定义如下：各向同性距离度量的自动相关性确定的指数平方协方差函数，即高斯核，用于系统观测数据的预测。

$K(X^{\left(i\right)},X^{\left(j\right)})={\mathrm{\σ}}_f^2\exp (-\frac{1}{2w^2}\underset{l=1}{\overset{L}{\mathrm{\Σ}}}{(x_l^{\left(i\right)}-x_l^{\left(j\right)})}^2)$

其中，L是感知信息的维度，x_l感知信息的第l维监测值。是信号方差，通常初始化为1，以及w是各维度特征的标度因子，可通过高斯过程学习获得。

(4)逐个对数据进行缺失或野值判断，并进行数据补齐

若该数据值为缺失数据标示，以上步预测均值作为数据补齐值；否则以预测方差为依据进行野值数据判断：若判断为野值数据，删除原数据，并进入(5)进行数据补齐，否则为正常数据，放弃数据校正。

所述的野值判断方法将综合考虑单步预测的均值及方差形成的野值判断阈值与实时采样的数据比较而得。若采样数据超出判断阈值，即认为该采样数据为野值，否者为正常值。

其中P取值可依据物联网感知传感器在其量程范围内的标定数据的标准差给出，并以上浮标准差5～15倍为宜，其倍数选取受采样数据的时变范围、采样周期、外部驱动或干扰等因素影响。

农业物联网数据缺失实例：

物联网数据采集试验于2013年1月1日到9月7日在某园艺实验站进行。温室物联网实时信息感知系统采样温室共有4个，每2个温室组成一组，每组共用一个GPRS数据无线发送网关完成数据远程传输，温室内采用基于Zigbee的无线传感器网络作为信息采集节点，温室内共安装了24个空气温度传感器、24个空气湿度传感器、12个土壤温度传感器、12个土壤墒情传感器和12个光照传感器用于检测温室内空气温湿度场、土壤墒情和光照强度的变化规律。由于无线数传模块或感知传感器的不稳定性以及无线网络数据传输中的数据丢失等因素，在数据服务器端接受的数据中出现了信息缺失，传感器设定为每10分钟采集一次现场数据，故每个传感器每天应获得144个数据。但是实际采集的2#空气温度传感数据中，平均每天缺失了2.5个数据。以2#空气温度传感数据为例，数据具有非平稳时间序列的特点，采样数据中除了部分数据缺失，还存在明显的数据异常点，也称野值点(如图2所示)。

针对采集数据中出现的数据缺失，采用本发明所述的单步预测方法，依据公式(5)给出缺失数据处的预测均值，公式(6)可计算出该点预测值使用高斯过程回归模型的方差以表征其不确定性度量。为检验缺失数据的短期预测能力，选择以2013年9月6日采集的3个空气温度传感器、3个空气湿度传感器和3个土壤温度传感器的共9个数据集作为验证数据，其中每个数据集有144个完整数据。在每个数据集进行10次随机选取20个数据作为缺失数据，使用高斯过程回归方法对缺失数据进行短期预测，作为其补齐数据。将每个数据集10次随机选取获得的缺失数据与实测数据相比较得到其预测误差及其标准差(见表1)。与基于非线性自回归的神经网络方法相比，本发明能够提供对预测数据的不确定性度量，从预测精度看本发明具有明显优势。本文给出预测误差的评价指标为均方根误差(RMSE)、平均绝对百分误差(MAPE)、由于高斯过程还能提供不确定性度量，因此还给出了最大预测标准差(Max Std)和最小预测标准差(Min Std)。部分数据集的原始数据、高斯过程方法的回归曲线、缺失数据点、预测值、预测方差(灰色部分为2倍标准差)和实际测试值见图3。

表1短期数据缺值预测与不确定性度量示例

农业物联网野值数据剔除和补齐实例：

高斯过程方法带来一个优势就是可以给出预测值的不确定性度量，依据此度量可以对采集数据的合法性给予判别，即判断其是否属于野值。在本实例中，以2#空气温度传感器(型号DS18B20)采集的2013年8月9日至11日3天的完整数据为例，针对采集数据中出现的野值数据，并结合此传感器信息采集和无线传输到服务器端的数据标定所获得的系统误差的方差信息(标准差为0.2264)，采用本发明所述的野值判断和数据对齐方法，依据高斯回归过程计算出预测点的均值和方差，然后根据本发明的野值判断方法判断出一个野值，野值数据经过补齐后的数据见图4所示。图4为取P值为5倍标准差的判断标准，获得了11个野值点，这样的判断结果显然敏感性过高；图5为取P值为15倍标准差的判断标准，获得了一个非常显著的1个野值点，即温度从30度左右跳变至-5度。这样的判断结果更能正确反映实际情况。由于野值数据既可能来源于系统误差或异常，但亦可能来源于实际突发事件由此包含了重要信息，因此不能贸然剔除。本发明中，P值选取受采样数据的时变范围、采样周期、外部驱动或干扰等因素影响，因此需要对感知系统进行数据标定并结合测试数据的综合情况而谨慎选定，从而作为实际野值判断和预警的参考依据。

Claims (3)

1.基于高斯过程的物联网数据不确定性度量、预测与野值剔除方法，其特征在于包括以下步骤：

(1)采集物联网感知传感器测量误差的标准差

依据物联网感知传感器的量程范围，制定标定试验方案，通过物联网感知传感器测量标准物理量，统计经传感器感知和物联网、广域通讯网传输的测量数据的误差，计算出标定试验方案中所检测量的测量误差的标准差σ；

(2)采集物联网感知实时数据

利用前端农业信息感知传感器和农业物联网获得农业系统的实时数据，经广域通讯网络将数据传输到物联网数据采集服务器端，得到实时时间序列存入服务器相应数据库中；

(3)逐个对实时数据进行基于高斯过程的回归分析

服务器端得数据质量控制进程对时间序列进行逐个进行数据判断：以该数据为中心取其时间序列数据的前后数据为高斯过程的训练集，采用高斯过程学习方法，获得该段时间序列数据的高斯过程回归模型，以需补齐数据的时间节点为输入，应用该高斯过程回归模型进行预测，给出相应的预测均值和预测方差；

(4)逐个对数据进行缺失或野值判断，并进行数据补齐

若该数据值为缺失数据标示，以上步预测均值作为数据补齐值；否则以预测方差为依据进行野值数据判断：若判断为野值数据，删除原数据，并进入(5)进行数据补齐，否则为正常数据，放弃数据校正。

2.根据权利要求1所述的基于高斯过程的物联网数据不确定性度量、预测与野值剔除方法，其中步骤(3)所述的训练数据集一般取为该时间序列数据的一个周期的数据采集量；

所述的高斯过程学习方法中的协方差函数定义如下：各向同性距离度量的自动相关性确定的指数平方协方差函数，即高斯核：

$K(X^{\left(i\right)},X^{\left(j\right)})={\mathrm{\σ}}_f^2\exp (-\frac{1}{2w^2}\underset{l=1}{\overset{L}{\mathrm{\Σ}}}{(x_l^{\left(i\right)}-x_l^{\left(j\right)})}^2)$

其中，L是感知信息的维度，x_l感知信息的第l维监测值；是信号方差，通常初始化为1，以及w是各维度特征的标度因子，可通过高斯过程学习获得。

3.根据权利要求1所述的基于高斯过程的物联网数据不确定性度量、预测与野值剔除方法，其中步骤(4)所述的野值判断方法将综合考虑单步预测的均值及方差形成的野值判断阈值与实时采样的数据比较而得，若采样数据超出判断阈值，即认为该采样数据为野值，否者为正常值：

其中P取值可依据物联网感知传感器在其量程范围内的标定数据的标准差给出，并以上浮标准差5～15倍为宜，其倍数选取受采样数据的时变范围、采样周期、外部驱动或干扰等因素影响。