CN102201037B

CN102201037B - 农业灾害预测方法

Info

Publication number: CN102201037B
Application number: CN 201110159505
Authority: CN
Inventors: 刘刚; 王圣伟; 冯娟; 张帆
Original assignee: China Agricultural University
Current assignee: China Agricultural University
Priority date: 2011-06-14
Filing date: 2011-06-14
Publication date: 2013-07-10
Anticipated expiration: 2031-06-14
Also published as: CN102201037A

Abstract

本发明为一种农业灾害预测方法，包括步骤：S1，获取多源采集的多种属性的数据，并按照相应属性进行存储；S2，分别对各种属性的数据进行数据清洗，排除异常数据；S3，分别对各种属性的数据缺失值进行补充；S4，统一对各种属性的数据进行时间校准；S5，分别对各种属性的数据进行样本数据抽取，去除冗余数据提取精简数据集；S6，按照预定的预测模型进行数据预测；S7，进行预测精度检验，获得最终预测数据。本发明能够有效地保证数据质量的同时，提高数据采样速度和处理准确性从而提高了预测精度。

Description

农业灾害预测方法

技术领域

本发明属于农业灾害预测技术领域，特别涉及一种高预测精度的农业灾害预测方法。

背景技术

随着我国农业生产模式转型迫切要求和各类生产技术手段的提升，农业领域对于生产和安全可控要求的不断提高，对于农业自然灾害的各种预测方法和系统也不断出现。系统开发的目标是决策与实施，预测是决策的前提与基础。预测的精度直接影响决策的目标和处方的质量，如何对农业各个决策环节进行预测，如何预测才能提高精度是农业工程研发的重点。预测的方法多种多样，每个预测方法都不可能完全包含预测目标的所有影响因子，鉴于在农业体系中预测目标的复杂性与多样性，对于影响因子属性数据的处理对预测精度显得更为重要。在各种预测方式中其中多以气象因素为响应属性值的灾害预测，而对于气象因素对农业生产影响的相关预测研究较少，预测精度不高。

目前，在农业灾害预测领域对于数据处理和预测方法上，对于用于预测获取的数据根据实际应用情况可采用数据清理、数据集成、数据归约等处理技术。预测方法由于农业灾害的数值型和多变性应用，多采用多元线性回归、时间序列ARMA模型预测、BP神经网络预测等方法。但大多数预测方式中多未涉及对数据进行预先处理的操作，对于预测精度没有具体描述。即使是有描述的处理方法中也基本采用利用实测值与预测值之间的残差作为阈值因子进行异常值排除和曲线拟合。这种方式对于本身季节性和多变性的农业气象因素来说，存在过度拟合和预测偏离的问题。

发明内容

(一)要解决的技术问题

本发明的目的是为了针对以上问题和农业灾害预测中实际情况，本发明通过研究数据处理技术和预测模型，提出一种高精度的农业灾害预测方法。

(二)技术方案

为了解决上述技术问题，本发明提供一种农业灾害预测方法，包括步骤：

S1，获取多源采集的多种属性的数据，并按照相应属性进行存储；

S2，分别对各种属性的数据进行数据清洗，排除异常数据；

S3，分别对各种属性的数据缺失值进行补充；

S4，统一对各种属性的数据进行时间校准；

S5，分别对各种属性的数据进行样本数据抽取，去除冗余数据提取精简数据集；

S6，按照预定的预测模型进行数据预测；

S7，进行预测精度检验，获得最终预测数据。

优选地，所述步骤S2中数据清洗的方法包括步骤：

S21，确定稳定态数据；

S22，根据所述稳定态数据生成相应属性数据的自增量偏差模型，所述自增量偏差模型包含自增量偏差序列；

S23，以所述自增量偏差序列做正态性分布数据检验，获取所述自增量偏差序列的标准差范围；

S24，根据所述自增量偏差序列的标准差范围进行控制图偏差检测，提取所要求的精度范围，对后续数据进行检测，排除异常数据。

优选地，所述步骤S3中补充数据缺失值的方法包括：

利用相应属性数据的自稳态偏差均值进行差分自校正，实现对数据缺失值的补充。

优选地，所述步骤S4中进行时间校准的方法包括：

采用内插外推时间配准方法，在同一时间片内，对各属性的采集数据进行内插外推，将高精度采集时间上的数据推算到低精度的采集时间点上，以达到各属性数据时间上的同步。

优选地，所述步骤S5中进行样本数据抽取的方法包括：

对于大数据量数据，根据数据同步后的数据进行自适应变距调整抽样样本数据，抽取去除冗余数据提取精简数据集。

优选地，所述步骤S6中得到预测模型的方法包括：

S61，依据相关农业信息进行相关成分分析，进行数据集降维处理，得到数据预测的主要属性；

S62，利用所述主要属性测量数据进行时间序列数据的模型预测，得到预测模型。

优选地，所述步骤S7中预测精度检验方法包括：

利用预测属性和历史统计数据进行统计特性分析，依照精度比对指标，进行参照对比，得到最终预测数据。

(三)有益效果

本发明提供了一种提高数据预测精度的农业灾害预测方法，采用对自变量数据进行数据清洗，偏差检测，时间校准，样本抽取的序列数据处理方式，能够有效地保证数据质量的同时，提高数据采样速度和处理准确性从而提高了预测精度。

附图说明

图1为本发明农业灾害预测方法的流程图；

图2为本发明一实施例的预测模型属性定义图；

图3为本发明一实施例的属性自增量偏差序列的统计描述图；

图4为本发明一实施例的自增量偏差序列P_P图检验图；

图5为本发明一实施例的自增量偏差序列K-S检验统计图；

图6为本发明一实施例的控制图检验排除异常点示意图；

图7为本发明一实施例的样本抽样自适应变距调整示意图；

图8为本发明一实施例的预测属性相关性检验示意图；

图9为本发明一实施例的预测模型数据示意图；

图10为本发明一实施例的预测数据对比图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不是限制本发明的范围。

请参照图1，为本发明所述农业灾害预测方法的流程图。

本发明一实施例所提供的农业灾害预测方法，主要是针对在自然条件下，对山东寿光地区采集数据进行测试检验，以下各实施例中预测选择同期历史数据以及2005-2010年7月间此地区实测农田数据的气象和土壤干旱情况为例。

如图1所示，本发明所述农业灾害预测方法，包括：

S1，获取多源采集的多种属性的数据，并按照相应属性进行存储；该步骤可以具体包括：

a)获取多源传感器数据：对干旱灾害预测中考虑到各种影响因子的检测和采集设备不同，异构设备较多，采集时间和精度前后都有差异；

b)获取多源数据后将其按照对应属性存入如图2所述预处理数据表中。日照时数、空气温度、空气湿度、风速、降水量、水汽压气象因素为多源属性值。

S2，分别对各种属性的数据进行数据清洗，排除异常数据；该步骤可以具体包括：

S21，确定稳定态数据；以温度属性为例，利用七月份稳定某日的测量稳定态数据，即传感器采集数据对照手工采集数据校正获取的数据作为稳定态数据。

S22，根据所述稳定态数据生成相应属性数据的自增量偏差模型，所述自增量偏差模型包含自增量偏差序列；定义属性值序列Y＝{y_t|y_t∈R}，变量y_t依赖于自变量t，当t变到t+1时，因变量y_t＝y(t)的改变量Δy(t)＝y(t+1)-y(t)称为变量y(t)在点t处步长为1(以5分钟作为步长1的基本单位)的自增量偏差，常记作Δy_t＝y_t+1-y_t，简称为函数y(t)的差分，并称Δ为差分算子。取Δy_t作为自增量偏差序列{Δy_t}，记做X＝{x_i}，反应了属性值时序上变化。如图3所示本实施例中获得的一属性自增量偏差序列的统计描述。

S23，以所述自增量偏差序列做正态性分布数据检验，获取所述自增量偏差序列的标准差范围；采用直方图、P-P检测图以及Kolmogorov-Smirnov检验算法等对序列做正态性检验，获取样本的标准差-S。如图4所示的P-P图满足累计概率符合正态分布。如图5所示的K-S检验P值＞0.5，偏度峰度值也说明正态分布性较好。说明序列服从正态分布，可应用于自偏差检测。

S24，根据所述自增量偏差序列的标准差范围进行控制图偏差检测，提取所要求的精度范围，对后续数据进行检测，排除异常数据；用控制图偏差检测挖掘的方法，用于检验离群值是否为异常数据。基于数理统计中的拉依达准则(即3S原则)：

如果离群值x_i与测定平均值

的偏差的绝对值大于三倍标准偏差，即

则认为x_i是异常值。这里我们获取得到了属性序列稳态下的自偏差阈值因子3S＝0.4945。那么我们就认为对于一般采集的属性序列值Y的自偏差序列值X存在某些x_t+1＝(y_t+1-y_t)＞3S的数据，我们将t+1时刻的数y_t+1视作异常值剔除出属性值序列。

如图6所示对采集序列自偏差数值序列处理得

S＝0.1648，

UCL = \overset{&OverBar;}{x} + 3 s = 0.5289,

LCL = \overset{&OverBar;}{x} - 3 s = - 0.4601,

并检测每一时间点的数据。图为相应的控制图片段，从中可以看出，第九个时间点和后边连续异常超出点为异常数据点。

S3，分别对各种属性的数据缺失值进行补充；造成缺失属性值的原因一是设备故障及各种疏漏造成的属性值空缺，一是对异常值的剔除造成了缺失值。考虑到用原有数据自偏量会存在串扰偏差造成连续误差，我们采用稳态自偏量样本的测定标准差值S作为缺失值补充。当然这里对于序列属性值的初值要保证其准确性，一般在开始获取时要进行自校正测试。为保证缺失值补充精度和值趋势的正确。对y_t+1采用以下方式补充校正：

y_t+1＝y_t+sgn(Δy_t)|S|

其中Δy_t＝y_t-y_t-1。

此校正因子sgn(Δy_t)|s|能确保以上造成缺失值的原因得到较好的改善和补充，对于单个缺失或连续缺失均能起到保持原趋势的补充。

以第九时间点为例：y₉＝21.64校正后y₉‘＝20.12+0.1648＝20.28。

S4，统一对各种属性的数据进行时间校准；在对数据进行之前步骤的处理后，对于不同源获取数据存在时间上的差异，这对于后续单维中心聚类分析和多维数据关联分析或计算相关性等数据操作都存在误差可能，因此需要做多源数据时间校准处理。

采用内插外推时间配准方法在同一时间片内，对各传感器采集的目标观测数据进行内插外推，将高精度采集时间上的数据推算到低精度的采集时间点上，以达到各传感器时间上的同步。该步骤具体包括：

a)选取时间片级数。时间片的划分要随具体的测量目标属性而异，目标的状态可分为静止、低速运动和高速运动，相应的进行融合的时间片就可以分为小时、天级。

b)将各类传感器观测数据按测量精度进行增量排序。

c)将高精度采集时间上的数据向低精度时间点内插、外推，以形成一系列等间隔的目标采集数据，同一时间片内的采集数据通常有多个，假设x1为传感器a在k1时刻得到的测量值，x2为传感器b在k2时刻得到的测量值，x3为此传感器在k3时刻的测量得到的特征向量，并且有k2＜k1＜k3。则通过对x2和x3进行插值，可得到传感器b在k1时刻的测量值。因为k2时刻和k3时刻相隔时间很短，可以认为变化是线性的，进行线性插值：

x = x_{2} + \frac{k_{1} - k_{2}}{k_{3} - k_{2}} (x_{3} - x_{2})

S5，分别对各种属性的数据进行样本数据抽取，去除冗余数据提取精简数据集；各气象属性因子一般均具有一定局部线性曲线变化特征，采用自适应调整变距随机抽样能达到低损抽样的效果，其采样精度较高。对于总体中的分布比较均匀，抽取的样本单位也比较均匀，因而估计量的方差比简单随机抽样小，同时能避免变点抽样遗漏。该步骤具体包括：

a)对样本序列Z按照属性特征定义抽样间距d_k＝t_k-t_k-1样本序列自偏差序列Δz(t_i)＝z(t_i)-z(t_i-1)，均值为

b)对Δz(t_i)的序列再做二阶差分，即

Δ²z(t_i)＝Δz(t_i)-Δz(t_i-1)这个二阶差分值的大小就反映了在区间[t_i-1，t_i]内曲线斜率加速度变化的大小。

c)根据样本序列一阶及二阶差分变化为依据，自适应迭代调整抽样间距d_k。在d_k确定步骤中，为防止突变点的遗漏当

时，对[t_i-1，t_i]做一次

返回抽样，若计算

更新

否则保持d_k，寻找下一步d_k+1。

其中0＜α＜β＜1，这里α控制稳态变化差异化因子依经验取0.1，β取0.5控制间距收敛速度。d_k+1确定公式定义如下：

其中

Δ \overset{&OverBar;}{z} (t) = \frac{k}{k + 1} Δ \overset{&OverBar;}{z} (t) + \frac{1}{k + 1} Δz (t_{i})

进行逐步加权调整。样本抽样自适应变距调整如图7所示。

依照以上步骤相应得到对七月数据的修正数据序列。

S6，按照预定的预测模型进行数据预测；得到预测模型的方法包括：

S61，依据相关农业信息进行相关成分分析，进行数据集降维处理，得到数据预测的主要属性。如图8所示，其中选取与预测响应属性Y相关性显著的属性日照总时数、月最低温度、平均温度、月均空气湿度、月降水总量作为预测影响因子属性如图9所示。

S62，利用所述主要属性测量数据进行时间序列数据的模型预测，得到预测模型；利用相应变量属性测量数据进行时间序列数据的多元线性回归预测，得到预测模型。

Y＝0.16274x1-1.47419x3-5.58878x4+0.398311x5+0.109182x7+190.6352

S7，进行预测精度检验，获得最终预测数据；利用统计特性和历史统计数据进行预测对比，历史数据和处理数据得到的预测值以及未处理数据得到的预测值之间的精度对比如图10所示，从而获得最终预测值。利用检测数据和修正测试，采用所述数据处理方法和不采用数据处理方法的不同预测结果进行交叉检验。依照精度比对指标，进行参照对比，得出精度提高效果。

计算利用预测值和历史测量值y_i的比率r_i：

利用这个比率计算预测值与历史测量值之间的平均偏离程度

得出预测精度。利用之前得到的七月数据分别得到未做数据处理预测精度

做过处理的预测精度

可以看出本发明实例对灾害预测的精度能够起到提高的效果。

本实施例中所提供的农业灾害预测方法，能够有效地保证数据质量的同时，提高数据采样速度和处理准确性从而提高了农业灾害预测的预测精度。本发明农业灾害预测方法通过相应的改变，也可用于洪涝灾害、地震灾害等其他方面的数据预测。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本发明的保护范围。

Claims

1.一种农业灾害预测方法，其特征在于，包括步骤：

S1，获取多源传感器采集的多种属性的数据，并按照相应属性进行存储；

S2，分别对各种属性的数据进行数据清洗，排除异常数据；

S3，分别对各种属性的数据缺失值进行补充；

S4，统一对各种属性的数据进行时间校准；

S6，按照预定的预测模型进行数据预测；

所述步骤S6得到所述预测模型的步骤为：

S62，利用所述主要属性测量数据进行时间序列数据的模型预测，得到预测模型；

S7，进行预测精度检验，获得最终预测数据；

所述步骤S7为利用预测属性和历史统计数据进行统计特性分析，依照精度比对指标，进行参照对比，得到最终预测数据；

所述步骤S2中数据清洗的步骤包括：

S21，确定稳定态数据即传感器采集数据对照手工采集数据校正获取的数据作为稳定态数据;

S22，根据所述稳定态数据生成相应属性数据的自增量偏差模型，所述自增量偏差模型包含自增量偏差序列;

S24，根据所述自增量偏差序列的标准差范围进行控制图偏差检测，提取所要求的精度范围，对后续数据进行检测，排除异常数据；

所述步骤S3中补充数据缺失值的方法包括：利用相应属性数据的自稳态偏差均值进行差分自校正，实现对数据缺失值的补充；

所述步骤S4中进行时间校准的方法包括：

采用内插外推时间配准方法，在同一时间片内，对各属性的采集数据进行内插外推，将高精度采集时间上的数据推算到低精度的采集时间点上，以达到各属性数据时间上的同步；

步骤S7中进行预测精度检验的方法包括：

利用统计特性和历史统计数据进行预测对比，历史数据和处理数据得到的预测值以及和未处理数据得到的预测值之间的精度对比，得出精度提高效果，最终获得最终预测值。

2.根据权利要求1所述的农业灾害预测方法，其特征在于，所述步骤S5中进行样本数据抽取的方法包括：

对于大数据量数据，根据各属性数据时间同步后的数据进行自适应变距调整抽样样本数据，抽取去除冗余数据提取精简数据集。