CN105069298B - 一种农产品信息采集系统中节点缺失数据的估算方法 - Google Patents

Abstract

本发明公开了一种农产品信息采集系统中节点缺失数据的估算方法，该方法包括以下步骤：1）数据采集：接收到所有节点采集的数据；2）确定N个建模节点；3）建立模型，该模型通过N个建模节点的采样值估算出被建模节点的采样值；4）获得模型的系数矩阵；5）重复步骤2）至步骤4），依次对信息采集系统中每一个节点建模，并计算得到的每一个节点模型的系数矩阵；6）若某个节点数据缺失，代入该节点的模型估算出缺失数据。本方法克服了现有方法主观性强、缺乏理论依据的不足，利用数据的空间相关性对缺失数据的进行估算，进而用估算值补充缺失数据，解决了现有技术补充缺失数据时不能随被测物理量变化而变化的问题。

Description

一种农产品信息采集系统中节点缺失数据的估算方法

技术领域

本发明涉及农业信息工程领域，尤其涉及一种农产品信息采集系统中节点缺失数据的估算方法。

背景技术

在农业信息工程领域，数据的自动采集是后续数据浏览分析、环境智能化控制的基础，在农产品的生产、贮藏、质量安全追溯系统中均有广泛应用。目前农业数据自动采集系统的通用方案多基于无线传感器网络技术，整个系统由一个设置于远端的控制中心和设置于监控现场的大量传感器节点组成。系统中控制中心对所有节点进行统一管理和控制；传感器节点完成数据采集的任务，所有采集到的数据均发送到控制中心。

无线传感器网络的基本构成部件是大量传感器节点，节点通过分层的网络通信协议和分布式算法形成一个自组织网络系统，每个节点不断收集监控区域内各种客观物理量的变化，如温度、湿度、二氧化碳和乙烯的气体浓度等。虽然这一技术的优越性能使其在农业生产等很多领域具有应用价值，如作物生长监控、牧场管理、土壤监测分析等诸多方面，但在使用过程中要求数量众多的所有节点都能长期稳定地工作并不现实，任何一个节点都可能发生故障而无法采集数据并传送给控制中心，因而控制中心的数据库中数据缺失是不可避免的。控制中心对于缺失数据的处理目前一般使用下述两种方法之一：其一，用故障发生前最近的数据进行补充，但是随着时间的推移被检测物理量会发生变化，用这种方法补充的数据将产生较大偏差；其二，控制中心不补充数据而只标明该数据缺失，但数据缺失会对后续分析与处理造成非常大的困难。

发明内容

本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种农产品信息采集系统中节点缺失数据的估算方法,该方法通过建立数学模型就可以根据邻近节点的采集值计算出缺失数据。

本发明解决其技术问题所采用的技术方案是：一种农产品信息采集系统中节点缺失数据的估算方法，包括以下步骤：

1)数据采集：接收到所有节点采集的数据，设在一时间段内得到M组数据，x_i代表第i个节点在某时刻采集到的数据；

2)确定N个建模节点：为某一节点p建立模型，选取该节点p的N个邻近节点作为建模节点；其中节点p为被建模节点；

3)建立模型，该模型通过N个建模节点的采样值估算出被建模节点的采样值：设时刻t某节点的N个建模节点采样值分别为x_t1，x_t2，…，x_tN，各采样值的线性组合系数分别为c₀,c₁，c₂，…，c_N，则时刻t被建模节点的估算值e可用下述线性组合表示：

e＝c₀+c₁x_t1+c₂x_t2+c₃x_t3+…+c_Nx_tN；

则建立模型如下：E＝XC；

那么C＝(X^TX)^-1X^TE；

4)获得模型的系数矩阵C，C＝(X^TX)^-1X^TE；

5)重复步骤2)至步骤4)，依次对信息采集系统中每一个节点建模，并计算得到的每一个节点模型的系数矩阵；

6)若某个节点数据缺失，代入该节点的模型估算出缺失数据。

按上述方案，所述步骤2)中确定N个建模节点的方法具体如下：选取该节点的2N个邻近节点，计算2N个邻近节点与被建模节点的局部Moran指数并按照该指数大小排序，之后选取前N个相关性大的作为建模节点。

按上述方案，所述步骤6)中节点数据缺失的判定方法如下：若节点为智能节点，则节点能判断是否处于故障状态；若节点为非智能节点，则若节点采集的数据超出量程范围、超出合理的极限值或数据突然产生大幅度变化，则判定为节点数据缺失。

按上述方案，所述步骤2)中建模节点数量N的取值为4至6。

按上述方案，所述步骤1)中M的取值为10至16。

本发明产生的有益效果是：本方法克服了现有方法主观性强、缺乏理论依据的不足，利用数据的空间相关性对缺失数据的进行估算，进而用估算值补充缺失数据，解决了现有技术补充缺失数据时不能随被测物理量变化而变化的问题。经过原型实现和仿真测试，证明本发明设计的方法实际可行且发挥了估算数据的功能。

本方法算法设计原理相对简单，易于实现，运算量主要集中在模型建立阶段，实际运行阶段计算量很小。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例的方法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，整个过程包括模型建立和数据估算两个阶段：在模型建立阶段系统开始工作，每个节点采集数据并发送至控制中心，控制中心为每个节点建立一个模型；在数据估算阶段若某节点因故障无法采集数据则利用上一阶段建立的模型，估算该节点的数据。

(1)数据准备。部署所有传感器节点并将每个节点的编号和位置坐标记录在数据库中，然后启动控制中心和所有节点开始工作，每一个传感器节点都采集数据并将其发送至控制中心。每经过一个采样时间间隔就可以得到一组数据，在数据准备阶段需要得到M组数据，M取值过小影响建模精度，而取值过大会使建模计算量急剧增加，其典型值可取10-16，将这些数据存储在控制中心的数据库用于后续步骤为节点建模，由于这些数据在建模完成后就可以舍弃，因而具体实现时也可以将数据暂存于二维数组中，使用完毕后即可删除以释放内存；

(2)确定N个建模节点。根据空间相关性理论，与某一节点关系密切的是和它邻近的若干节点，而其它节点相关性较弱。为了减少运算量与存储量保证方法的实用性，本发明采用邻近的N个传感器节点为被估算的节点建模，并分别称这两类节点为建模节点和被建模节点，实际应用中建模节点数量宜取4≤N≤6，若继续增大N计算量会显著增加但精确度提高很有限。为了克服选择建模节点的盲目性，首先根据步骤(1)采集到的数据计算2N个邻近节点与被建模节点的相关性(用局部Moran指数表征)并按照该指数大小排序，之后选择选取前N个相关性大的作为建模节点；局部Moran指数I_i的计算方法如下：

其中x_i、x_j分别代表某时刻第i和j号传感器节点的采集值，ω_ij取常数1，

节点间的距离依据位置坐标计算，节点的位置坐标在步骤(1)中已经写入数据库。此外，为了精确起见，对于某个传感器节点可使用不同时刻采集到的数值计算多个局部Moran指数I_i并求出平均值AI_i，选取AI_i最大的前N个节点作为建模节点。

在计算邻近节点与被建模节点的相关性时，除Moran指数外，可以用Getis指数、Geary指数替代。

(3)求出模型系数矩阵C。建模的目的在于通过N个建模节点的采样值估算出被建模节点的采样值。设时刻t某节点的N个建模节点采样值分别为x_t1，x_t2，…，x_tN，各采样值的线性组合系数分别为c₀,c₁，c₂，…，c_N，则估算值e可用下述线性组合表示：e＝c₀+c₁x_t1+c₂x_t2+c₃x_t3+…+c_Nx_tN，因而建模的关键在于求出系数c₀,c₁，c₂，…，c_N。为便于计算采用矩阵形式表示上述条件，如步骤(1)所述共有M个时刻的数据，因而矩阵可表示为：

列出矩阵方程为E＝XC，求解该方程可得：C＝(X^TX)^-1X^TE，公式中矩阵X、E均已知，因而转置矩阵X^T逆矩阵(X^TX)^-1均可直接计算，所以系数矩阵C可以求出。

具体实施中矩阵X、E和C均存储在二维数组中，矩阵转置、求逆、相乘等运算均可使用现有工具完成。

(4)步骤(2)和步骤(3)完成了对系统中一个传感器节点的建模，重复这两个步骤可以依次对系统中每一个节点建模，将计算得到的每一组系数存储于控制中心，当某一节点的数据缺失时用对应的一组系数估算缺失的数据。控制中心数据库中节点至少应包含下列字段：节点编号、位置坐标、采样时刻、采集到的数据、建模节点、模型系数。

(5)数据缺失的判定。传感器节点因故障无法工作时会引起数据的缺失，对于智能型节点一般具备自我监测工作状态的能力，即节点可以判断自己处于故障状态并上报给控制中心，因而控制中心启动数据估算程序；对于非智能型节点的故障不可能有统一的判定方式，但故障数据往往呈现明显的特点，控制中心可以根据不同节点的数据特点进行判定，如数据超出量程范围、数据超出合理的极限值、数据突然产生大幅度变化等。

(6)缺失数据的估算。当控制中心发现某节点出现数据缺失后，首先应读取步骤(2)求出建模节点的采样值x₁，x₂，…，x_N，其次读取步骤(3)求出的该节点的系数c₀,c₁，c₂，…，c_N，最后带入公式e＝c₀+c₁x₁+c₂x₂+c₃x₃+…+c_Nx_N求出的值e即为缺失数据的估算值。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (2)

1.一种农产品信息采集系统中节点缺失数据的估算方法，其特征在于，包括以下步骤：

1)数据采集：接收到所有节点采集的数据，设在一时间段内得到M组数据，x_i代表第i个节点在某时刻采集到的数据；

2)确定N个建模节点：为某一节点p建立模型，选取该节点p的N个邻近节点作为建模节点；其中节点p为被建模节点；

3)建立模型，该模型通过N个建模节点的采样值估算出被建模节点的采样值：设时刻t某节点的N个建模节点采样值分别为x_t1，x_t2，…，x_tN，各采样值的线性组合系数分别为c₀，c₁，c₂，…，c_N，则时刻t被建模节点的估算值e可用下述线性组合表示：

e＝c₀+c₁x_t1+c₂x_t2+c₃x_t3+…c_Nx_tN；

则建立模型如下：E＝XC；

其中

那么C＝(X^TX)¹X^TE；

4)获得模型的系数矩阵C，C＝(X^TX)¹X^TE；

5)重复步骤2)至步骤4)，依次对信息采集系统中每一个节点建模，并计算得到的每一个节点模型的系数矩阵；

6)若某个节点数据缺失，代入该节点的模型估算出缺失数据；

所述步骤2)中确定N个建模节点的方法具体如下：选取该节点的2N个邻近节点，计算2N个邻近节点与被建模节点的局部Moran指数并按照该指数大小排序，之后选取前N个相关性大的作为建模节点，所述N的取值为4至6；

所述步骤6)中节点数据缺失的判定方法如下：若节点为智能节点，则节点能判断是否处于故障状态；若节点为非智能节点，则若节点采集的数据超出量程范围、超出合理的极限值或数据突然产生大幅度变化，则判定为节点数据缺失。

2.根据权利要求1所述的估算方法，其特征在于，所述步骤1)中M的取值为10至16。