CN117933946B - 一种基于大数据的乡村业务管理方法 - Google Patents

一种基于大数据的乡村业务管理方法 Download PDF

Info

Publication number
CN117933946B
CN117933946B CN202410316544.2A CN202410316544A CN117933946B CN 117933946 B CN117933946 B CN 117933946B CN 202410316544 A CN202410316544 A CN 202410316544A CN 117933946 B CN117933946 B CN 117933946B
Authority
CN
China
Prior art keywords
time
data
time sequence
correlation
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410316544.2A
Other languages
English (en)
Other versions
CN117933946A (zh
Inventor
李建民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaxing Guochuang Beijing Technology Co ltd
Original Assignee
Huaxing Guochuang Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaxing Guochuang Beijing Technology Co ltd filed Critical Huaxing Guochuang Beijing Technology Co ltd
Priority to CN202410316544.2A priority Critical patent/CN117933946B/zh
Publication of CN117933946A publication Critical patent/CN117933946A/zh
Application granted granted Critical
Publication of CN117933946B publication Critical patent/CN117933946B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开了一种基于大数据的乡村业务管理方法,数字乡村技术领域,包括:收集包含历史季节和当前季节的气象数据、土壤数据和作物生长数据以及对应的时间标签的历史数据集和当前数据集;对得到的历史数据集和当前数据集进行归一化处理,转换为时间序列数据,并提取时间序列数据的时间序列特征;采用提取的时间序列特征,训练LSTM神经网络,LSTM神经网络用于预测不同时刻的时间序列特征;根据不同时刻的时间序列特征的预测结果,生成季节的作物管理方案,利用作物管理方案进行乡村业务管理。针对现有技术中存在的乡村业务管理精准度低的问题,本申请提高了对不同季节作物管理方案的精准度。

Description

一种基于大数据的乡村业务管理方法
技术领域
本申请涉及数字乡村技术领域,特别涉及一种基于大数据的乡村业务管理方法。
背景技术
中国作为农业大国,近年来一直致力于推动现代农业的发展。然而,传统的农业生产管理依然存在着粗放式、经验化的决策方式,难以根据具体的气候、土壤和作物状况进行动态调整管理方案,导致作物产量和质量无法达到最大化。如何借助大数据技术,提升农业的精细化管理水平,实现对作物管理的精准化,已成为当前迫切需要解决的问题。
在解决作物管理精准决策问题的探索中,已经涌现了一些相关研究工作。例如,一些学者尝试利用卷积神经网络来实现对主要作物病虫害的预测监测。然而,这种方法存在着对不同时段的时序特征学习不足的问题,未能充分考虑到时序演变特性,因此在支持作物生长过程的动态管理方面还有待提升。
在相关技术中,比如中国专利文献CN117291444B中提供了一种数字乡村业务管理方法及系统,涉及数字乡村技术领域,包括:使用遗传算法或粒子群算法对开放式农田进行传感器网络布局优化;根据优化得到的传感器网络布局,设置传感器,采集环境数据;采用流式处理算法,对环境数据进行并发预处理;利用预先训练的卷积神经网络模型预测农作物产量,生成满足预设产量目标的数字农业流程方案;在分布式计算集群上部署蒙特卡洛仿真模型,计算各个数字农业流程方案对应的农作物产量概率分布;选择农作物产量概率分布的期望值最大时相应的数字农业流程方案,作为当前环境数据下的最优方案。但是该方法主要依赖卷积神经网络进行农作物产量预测,但是卷积神经网络对时序数据的建模能力较弱,无法充分学习数据中的时序特征,产量预测精度有限。
发明内容
1.要解决的技术问题
针对现有技术中存在的乡村业务管理精准度低的问题,本申请提供了一种基于大数据的乡村业务管理方法,通过收集历史和当前的气象、土壤和作物生长数据,并提取时间序列特征结合LSTM神经网络进行分析,提高了对不同季节作物管理方案的精准度。
2.技术方案
本申请的目的通过以下技术方案实现。
本说明书实施例提供一种基于大数据的乡村业务管理方法,包括:收集包含历史季节的气象数据、土壤数据和作物生长数据以及对应的时间标签的历史数据集,时间标签采用时间戳;获取包含当前季节的气象数据、土壤数据和作物生长数据以及对应的时间标签的当前数据集;对得到的历史数据集和当前数据集进行归一化处理,转换为时间序列数据,并提取时间序列数据的时间序列特征;采用提取的时间序列特征,训练LSTM神经网络,LSTM神经网络用于预测不同时刻的时间序列特征;根据不同时刻的时间序列特征的预测结果,生成季节的作物管理方案,利用作物管理方案进行乡村业务管理。
其中,气象数据:指影响作物生长的各种气象因子的数据,如温度、湿度、光照等。这些数据通过气象站长期收集,反映区域内不同时段的气候特点。在本申请中,气象数据被用于提取影响作物的关键气候特征。土壤数据:指反映土壤状态的各项指标的数据,如土壤含水量、养分、pH值等。这些数据通过土壤测试获得,反映不同地块土壤的特性。在本申请中,土壤数据被用于提取影响作物的关键土壤特征。作物生长数据:指反映作物生长状况的数据,如植株高度、叶面积等。这些数据通过田间观测获取,反映同一作物不同阶段的生长特点。在本申请中,作物生长数据被用于提取作物关键生长特征。时间标签/时间戳:指对各组数据进行时间标注,以时间顺序排列数据。通过时间标签可以建立数据之间的时间对应关系。在本申请中,给各组数据加上精确的时间戳,使其可比较,并进行时间序列分析。
其中,时间序列特征:指从时间序列数据中提取出的反映时序规律的关键特征。常见的时间序列特征包括趋势特征、周期特征、突变特征等。例如,可以通过小波分析等方法从日级气温时间序列中提取出季节性周期特征;或者从周级土壤湿度时间序列中提取出特定时刻的突变特征。这些特征可以高度概括时序数据的内在规律。在本申请中,时间序列特征被提取作为LSTM神经网络的输入。这些特征反映了不同数据序列中的时序演变规律。例如温度的波动趋势、土壤营养的周期变化、作物生长的阶段特征等。通过时间序列特征的提取,可以过滤掉时间序列中的噪声,仅保留关键的规律信息为神经网络提供输入,提高了模型训练的效果,使得本申请可以实现对时序规律的学习与建模,并进行精确的未来预测。
其中,作物管理方案:指根据气候、土壤等条件制定的作物栽培管理措施方案,包括选择作物品种、确定施肥量、设置灌溉方案、调控生长密度、防治病虫害等具体措施的规划安排。在本申请中,作物管理方案是基于LSTM神经网络对未来时刻气候、土壤和作物状态的预测结果生成的。例如可以预测某季节较为干旱,则生成增加灌溉次数的作物管理方案。乡村业务管理:指利用现代信息技术手段,对乡村地区的各类业务和服务进行精细化管理,如农业服务、宅基地建设、公共资源管理等。在本申请中,生成的作物管理方案可以上传到农业管理信息平台,让乡村农户采用智能化的作物栽培方案,提高农业生产效率。这样通过农业服务的精细化管理,可以实现数据驱动的乡村业务精准管理。通过生成精准的作物管理方案,指导乡村农业生产,实现了利用大数据提升乡村业务管理水平的目标。
进一步的,提取时间序列特征,包括:当前数据集包含当前季节的每日气象数据、每周土壤数据和每阶段作物生长数据;每日气象数据包含温度、湿度和光照;每周土壤数据包含土壤含水率和氮含量;每阶段作物生长数据包含植株高度和叶面积。
其中,当前数据集按时间粒度包含三类数据:(1)每日气象数据:这些数据通过气象站的日常观测收集,包含温度、湿度和光照三个变量。(2)每周土壤数据:这些数据通过对土壤进行周期性监测采集,包含土壤含水率和氮含量两个变量。(3)每阶段作物生长数据:这些数据通过定期到田间观察收集,包含植株高度和叶面积两个变量。气象数据的采集频次为每日一次,可以反映出日级时间尺度上的气候变化。土壤数据的采集频次为每周一次,可以反映出周级时间尺度上的土壤营养动态变化。作物生长数据的采集频次按生育阶段设置,可以反映出不同阶段上的生长状况。通过对多时间粒度的数据进行统一整合,可以从日、周、阶段多个维度全面反映影响作物生长的环境要素。这为后续利用LSTM等深度学习模型进行多时间尺度的联合建模和预测提供了数据支持。最终可以实现对作物生长整个过程的动态管理和精准决策。
进一步的,提取时间序列特征,还包括:采用最大值归一化方法,将包含温度、湿度和光照的气象数据映射到0至1区间,得到归一化气象特征;采用Z-Score标准化方法,将包含土壤含水率和氮含量的土壤数据转换为标准正态分布,得到归一化土壤特征;采用最小值归一化方法,将包含植株高度和叶面积的作物生长数据映射到0至1区间,得到归一化生长特征。
其中,最大值归一化方法:一种数据归一化的方法,通过将原数据除以所在样本的最大值,将数据值映射到0-1区间。该方法的计算公式为:X'=X/Xmax,其中,X是原数据,Xmax是样本最大值,X'是归一化后的值。在本申请中,最大值归一化方法被用于气象数据的预处理。因为气象数据中的温度、湿度、光照存在不同的量纲和数值范围,直接作为神经网络输入会导致训练效果不佳。通过最大值归一化,可以将这些气象指标统一映射到0-1区间,消除量纲影响。同时保持了原数据的分布形状与相对大小关系。这样可以提取出有效的气象特征,为LSTM模型的训练提供支持,提高建模精度。因此,最大值归一化方法通过数据的归一化,实现了不同气象指标的统一化处理,为后续的时序建模提供了预处理支持。具体的,不同气象变量单位不统一,如温度采用摄氏度,湿度采用相对湿度百分比,光照采用流明等。最大值归一化可以消除这些变量之间的量纲差异。气象变量绝对值差异很大,如温度和光照量级差异极大。但它们之间存在相对大小关系。最大值归一化可以保持不同气象变量之间的相对大小关系。通过最大值归一化,不同气象变量可以映射到统一的0-1数值范围,有利于模型训练。某些气象变量数值范围很大,不处理会主导模型训练。归一化可以降低尺度影响,防止大值特征主导。归一化后的气象数据更具可比性,可以提取规范的气象特征,为时序模型提供高质量的输入,提高模型训练效果。
其中,Z-Score标准化方法:一种数据标准化的方法,通过使原数据按照均值为0,标准差为1的标准正态分布进行转换。该方法的计算公式为:Z=(X-μ)/σ,其中,X是原数据,μ是样本均值,σ是样本标准差,Z是标准化后的数据。在本申请中,Z-Score标准化方法被用于土壤数据的预处理。因为土壤含水率和氮含量两个指标同属一个统计分布,可以合并处理。通过Z-Score标准化,可以消除土壤数据的量纲影响,也可以保持土壤指标之间的相关性。得到平均值为0,标准差为1的标准正态分布特征。这种标准化可以提高不同土壤数据之间的可比性,有利于提取土壤特征,为LSTM时序模型提供高质量的输入,以提高后续建模的准确率。
其中,最小值归一化方法:一种数据归一化的方法,通过将原数据除以所在样本的最小值,将数据值映射到0-1区间。该方法的计算公式为:X'=(X-Xmin)/(Xmax-Xmin),其中,X是原数据,Xmin和Xmax分别是样本的最小值和最大值,X'是归一化后的值。在该方案中,最小值归一化方法被用于作物生长数据的预处理。植株高度和叶面积两个特征均为正值,适合用最小值归一化进行映射。这可以消除生长数据的量纲影响,也可以突出不同作物生长阶段的数据变化。得到0-1分布的生长特征。经过最小值归一化,可以提取规范的生长特征,为LSTM时序模型提供高质量的输入,以实现对作物生长规律的有效建模。具体的,植株高度采用米单位,叶面积采用平方米单位。最小值归一化可以消除量纲差异。不同生长阶段,植株高度和叶面积变化趋势一致。最小值归一化可以保持两变量之间的相对变化关系。作物在不同生长阶段,生长变量绝对值变化不大,重点是相对变化。最小值归一化可以强调不同阶段之间的相对差异。最小值归一化可以映射到0-1范围,有利于模型训练。个别极端生长值会影响模型训练,最小值归一化可以减少这种影响。归一化后的数据更具可比性,可以提取有效的生长特征,提高模型对生长规律的学习能力。
进一步的,提取时间序列特征,还包括:将得到的归一化气象特征、归一化土壤特征和归一化生长特征,根据时间标签排列成序列,得到日时间序列和周时间序列;对日时间序列,采用小波变换的多分辨率分析方法,获取低频部分对应的长期趋势特征和高频部分对应的短期变化特征,得到由长期趋势特征和短期变化特征组成的多尺度特征;对周时间序列,采用小波变换的模量最大方法检测时间序列中的非平稳态的突变点,非平稳态的突变点表示时间序列的突发变化;计算每个突变点处周时间序列在小波变换域的模量局部最大值,作为所述突变点的突变显著性指标;将检测到的突变点及对应的突变显著性指标组成的特征向量,作为周时间序列的突变检测特征;将得到的多尺度特征和突变检测特征进行组合,作为时间序列数据的时间序列特征。
其中,将归一化后的温度、湿度、光照等气象特征,按照数据的时间标签(日期)顺序排列。将同一日的温度、湿度、光照特征组合,形成该日的多维气象特征向量。按时间顺序连接每个日的气象特征向量,形成日粒度的气象时间序列。将归一化后的土壤含水量、氮素等土壤特征,按照数据的时间标签(周编号)顺序排列。将同一周的各项土壤指标特征组合,形成该周的多维土壤特征向量。按时间顺序连接每个周的土壤特征向量,形成周粒度的土壤时间序列。最终,根据不同时间粒度,分别构建日时间序列和周时间序列。日时间序列反映日粒度的气候变化规律。周时间序列反映周粒度的土壤营养动态演变规律。多时间尺度序列综合涵括作物生长环境要素,为后续时序建模提供数据基础。
其中,小波变换的多分辨率分析方法:小波变换可以对信号进行多层次分解,每层分解可以获得低频部分和高频部分。多分辨率分析就是基于这种分层分解过程进行的不同频率分析。低频部分:经小波变换后信号分解的低频成分,对应信号中的长期趋势和总体特征。高频部分:经小波变换后信号分解的高频成分,在本申请中,对应信号中的短期变化和细节特征。对日气候时间序列进行4层小波分解,其中:第一层低频部分反映气温整体趋势,获得长期变化特征。第一层高频部分反映气温的短期波动,获得短期变化特征。通过低频和高频的多分辨率分析,我们得到反映整体趋势和局部变化的多尺度气候特征,这能更全面描述时间序列,并为后续的LSTM建模提供输入。
其中,模量最大方法:一种基于小波变换的信号分析方法,通过找到小波系数模量的局部最大值来检测信号的突发变化。非平稳态:信号存在非稳定的变化,如突发的跳变,反映信号的非平稳状态。突变点:信号在时间轴上发生突发性变化的点,通常来自于某种事件的影响。对周土壤数据时间序列进行小波变换,然后:使用模量最大方法,找到土壤湿度等指标在小波域的局部模量极大值。这些极大值对应时间序列中的非平稳态突变点。突变点反映土壤因雨水等外部事件发生的突发变化。通过检测突变点,可以提取土壤时间序列的重要突发特征。为模拟土壤变化的动态提供关键信息。
具体的,计算局部最大值的步骤:对周时间序列进行小波变换,得到一系列小波系数,遍历小波系数,找到其模量(绝对值)的局部极大值,即在给定小波系数窗口内,找出模量值最大的那个小波系数,该小波系数的位置即对应时间序列的突变点,该小波系数的模量值,即为该突变点的局部最大模量值。突变显著性指标,该指标反映了突变点处小波系数的模量大小,模量值越大,表示该点的突变更加显著和剧烈,因此,该指标可以量化时间序列突变的显著程度,为后续建模突变过程提供重要参考。
具体的,将识别出的每个突变点作为一个特征维度。对于每一个突变点,取它在小波域的模量最大局部值,作为该点的突变显著性指标。将所有突变点按时间顺序排列,组成突变点特征序列。将每个突变点对应的突变显著性指标也按相同顺序排列,组成突变显著性指标序列。最终,将上述两个序列合并排列,形成一个二维特征矩阵。这个二维矩阵的第一维表示时间序,第二维包含突变点及其显著性指标。这样通过矩阵形式组织的特征,完整地包含了时间序列的突变信息。可以为基于周时间序列的数据驱动模型提供输入。从而实现对土壤变化规律的建模与预测。
进一步的,提取多尺度特征,包括:对日时间序列进行小波分解,采用5阶戴贝奇小波基作为小波基,进行4层小波分解;在4层小波分解的结果中,将第1层的分解系数作为长期趋势特征,分解系数对应的日时间序列中的时间范围大于15天,分解系数反映时间序列的总体趋势;在4层小波分解的结果中,将第1层的细节系数作为短期变化特征,细节系数对应的日时间序列中的时间范围小于15天,细节系数反映时间序列的局部变化。
其中,5阶戴贝奇小波基(db5):一种具有5阶vanishing momento的正交小波基。戴贝奇小波系列在信号处理中应用广泛。具有较好的正则性,可以有效表示信号的本地特征。对突发信号和不连续点具有很好的逼近能力。能够有效抑制噪声。在本申请中,对日气候时间序列进行小波分解,采用db5小波基,气候序列带有明显的突变和不稳定特征。db5小波具有良好的逼近和正则能力,可以提取这些特征。db5小波具有抗噪声的优点,可以滤除气候噪声的影响。5阶小波具有较好的平滑性,适合表示气候序列的趋势。db5小波在气象学应用中效果良好。
具体的,输入日时间序列数据,包含多个时间点的多元气象观测数据。选择5阶戴贝奇小波(db5)作为分解所用的小波基。初始化小波分解过程,将时间序列数据作为初始低频信号输入。进行第1层小波分解,用db5基函数对低频信号进行卷积,分解出高频细节信号cA1和低频近似信号cD1。将cD1作为输入,进行第2层分解,再次分解出高频细节信号cA2和低频信号cD2。重复上述操作,进行共4层小波分解。最后得到4层的低频近似信号cA1cD4。cA1反映日序列的长期趋势,cD1反映短期变化。通过4层的多分辨率分解,获得了日时间序列在不同尺度下的特征。为后续建模日气候变化提供了输入。
具体的,在进行4层小波分解后,得到了4组分解系数(cA1cD4)。其中第1层分解的分解系数cA1对应原始日时间序列低频的长期趋势信息。因为选用了db5小波Basis,其具有5个采样点。在4层分解中,cA1对应的时间范围跨度为:5×2^3=40天。考虑到需要描述长期气候趋势,选择时间跨度大于15天的cA1作为长期特征。将长度为N的cA1作为一个长度为N的向量,描述日序列的长期气候趋势。该向量强调了超过15天周期的气候变化组成部分。忽略了小于15天的短期气候变动的影响。从而可以有效提取出日时间序列的总体气候趋势。为基于LSTM等模型对长期气候变化规律的建模提供了输入。
具体的,在进行4层小波分解后,得到了4组分解系数和细节系数。其中第1层分解的细节系数cD1对应原始日时间序列高频的短期变化信息。因为采用了db5小波,其具有5个采样点。在4层分解中,cD1对应的时间范围跨度为:5天。考虑到需要描述短期气候变化,选择时间跨度小于15天的cD1作为短期特征。将长度为N的cD1作为一个长度为N的向量,描述日序列的短期气候变动。该向量强调了小于15天周期的高频气候变化成分。忽略了超过15天的长期气候趋势的影响。从而可以有效提取出日时间序列的局部气候变化特征。为基于LSTM等模型对短期气候变化规律的建模提供了输入。
进一步的,构建包含门控循环单元和输出层的LSTM神经网络,门控循环单元用于存储并控制输入时间序列特征中不同时刻的历史状态;历史状态指门控循环单元保持的上一时刻的时间序列特征;输入层接收不同时刻的时间序列特征,并输入门控循环单元;门控循环单元根据不同时刻的时间序列特征,设置时间门控机制,计算不同时刻的时间序列特征之间的时间相关性权重;门控循环单元存储上一时刻的时间序列特征,并根据时间相关性权重控制历史状态在时序上的传递;在输出层之前设置基于多变量线性回归的分析层,获取不同时刻的时间序列特征之间的动态相关性,动态相关性表示不同时间序列特征在时间轴上的关联程度;输出层根据门控循环单元传递的历史状态、计算得到的时间相关性权重和动态相关性,对未来时刻的时间序列特征进行预测,并输出预测结果。
其中,门控循环单元(LSTM Unit):是LSTM网络中的基础模块,包含输入门、遗忘门、输出门,可以存储时序数据的历史状态。历史状态:指LSTM单元通过门控机制保持的上一时刻输入数据对应的内部状态,它存储了历史时刻的时间序列特征。在本申请中,每个LSTM单元可以存储时间步t-1的历史状态。当新的时序输入/>到达时,单元会根据输入和历史状态更新当前状态/>。如此循环往复,实现整个序列历史状态的存储。最终LSTM可以据此学习时序特征之间的长期依赖关系。从而实现对气候、土壤等时间序列规律的建模与预测。
其中,时间门控机制:LSTM单元中输入门、遗忘门、输出门的机制,可以对不同时刻的时序输入进行过滤和控制,实现对历史状态的保存和更新。时间相关性权重:LSTM单元中不同时间门控对时序输入计算的权重系数,反映当前时刻输入与历史状态的相关程度。在本申请中,输入门会生成时间相关性权重,对当前输入进行过滤。遗忘门也会生成时间相关性权重,控制历史状态的保留。输出门根据当前输入和历史状态,生成最终的输出相关权重。通过这种时间门控,LSTM可以建模时间序列中时刻间的相关性。从而实现对长期时间依赖关系的学习,提高气候变化规律的预测准确率。为作物生长过程的预测提供支持。
其中,在时间步t,LSTM单元会接收到当前时刻的输入特征。同时单元还保留了上一时刻t-1的单元状态/>。输入门会生成权重系数,对/>进行过滤,得到新的候选状态信息Ct。遗忘门会生成权重系数,控制保留多少上一状态/>的信息。单元状态ht是Ct和被遗忘门控制后的/>的结合。输出门会基于/>生成权重,控制输出多少隐状态信息。如此循环下去,LSTM实现了历史状态在时间轴上的传递和控制。既考虑了当前信息,也保存了历史特征。从而建模时间序列的长期依赖关系。为预测未来时刻的气候、作物生长趋势提供支持。
具体的,基于多变量线性回归:一种统计分析方法,通过线性回归模型描述两个或多个解释变量与一个因变量之间的线性关系。在本申请中,在LSTM网络的输出层之前,设置了基于多变量线性回归的分析层,输入为LSTM不同时刻的状态隐向量ht。通过回归模型建模隐状态向量之间在时间轴上的线性相关性。学习到不同时刻状态向量的动态时间关联性。即不同时间序列特征之间的时序依赖关系。最后将回归得到的时间相关性结果输入到输出层,用于最终的预测。这通过多变量回归分析增强了LSTM对时序动态关联性的建模能力。最终提高了该方案气候预测的性能。
具体的,输出层获得门控循环单元传递的最后时刻状态。这个状态/>包含了前期时序的历史特征信息。同时,输出层也获得了门控单元计算的时序时间相关性权重/>。还获得了线性回归层输出的不同特征间动态时间关联性rt。将/>、/>和/>合并输入到输出层的全连接网络中。全连接网络对输入进行非线性转换,得到最终的预测输出/>。/>预测的是下一时刻t+1的时间序列特征。重复这个过程,实现对未来时序的多步预测。将预测输出和实际的时序标签进行比较,计算损失。反向传播调整网络参数,降低损失,完成预测模型的训练。最终得到了一个集成了历史状态、时间关联性的端到端的序列预测模型。可以进行短期气候趋势预测,为农业生产提供指导。
进一步的,计算时间相关性权重,包括:输入层接收各时刻的时间序列特征数据;
计算相邻时刻的时间序列特征数据间的时间间隔;根据得到的时间间隔,采用指数衰减函数,计算不同时刻对应的时间相关性权重,时间相关性权重表示不同时刻时间序列特征之间的时间相关性;指数衰减函数通过如下公式计算:指数衰减函数通过如下公式计算:,其中,w表示时间相关性权重,/>表示相邻两时刻的时间间隔,/>表示衰减系数。
其中,输入层将多时刻的时间序列数据整理成若干样本。每个样本包含两个相邻时刻的时间序列特征,记为和/>。输入层提取每个样本中两个时刻的时间标签,比如日期、小时等。计算这两个时间标签的时间间隔,例如相隔多少天或小时。将该时间间隔作为一个额外的输入特征,加入到样本中。重复该过程,计算所有样本中相邻时刻对之间的时间间隔。将包含原始特征和时间间隔的完整样本输入到门控循环单元。门控循环单元及后续网络根据时间间隔,建模时间序列相邻点之间的时间相关性。最后输出层进行时序预测时,会考虑时间跨度的影响。从而帮助模型学习时间序列在不均匀采样下的变化规律。提高基于不规则时间序列数据的预测性能。
具体的,输入层已获得所有样本中相邻时刻对的时间间隔。设置指数衰减函数的衰减系数λ,它控制随时间间隔增大相关性下降的速率。将每个/>代入指数衰减函数中:,计算出各个时刻对对应的时间相关性权重w。当/>为0时,w=1,表示最大关联;当/>增大,w递减。将这些w作为额外输入,加入每个时序样本中。在门控循环单元中,与时序特征一起输入门控门。门控门利用w作为权重,控制不同时刻信息的保存程度。从而根据时间间隔/>,区分时序特征的时间关联性。在模型训练中,学习时间上不规则采样序列的时间相关规律。最终提高基于非固定间隔时间数据的预测效果。
更具体地,随着时间间隔的增大,/>呈指数级衰减。这符合时间序列中时序关联性随时间递减的特点。当/>为0时,/>。这表示同一时刻的完全相关。e为基数,λ为衰减系数。可以通过调节λ控制衰减的速率。相比线性衰减,指数衰减更符合时间相关性的真实衰减规律。利用w作为LSTM门控的权重,可以区分不同时刻信息的重要性。从而建模不均匀时间序列的时序动态变化特征。通过控制λ的参数,可针对不同类型时间序列设定合适的衰减速率。计算简单,易于求导,方便模型训练。该函数在许多模型中已被证实对处理时间数据有效。指数衰减函数生成的时序权重w,可为LSTM时序建模提供有效的时间关联提示,提升对不均匀采样时间序列的建模能力。
进一步的,计算动态相关性,包括:获取门控循环单元输出的包含多个时间序列特征的时序数据;根据时序数据,采用改进的LASSO多变量线性回归算法,计算不同时刻的时序数据之间的相关系数;根据得到的相关系数,构建相关性矩阵;提取相关性矩阵中的每个特征变量对,并提取特征变量对在不同时刻的相关系数,根据提取的相关系数,拟合相关性曲线;根据拟合的相关性曲线,计算时间序列特征之间的动态相关性。
具体的,时序数据:门控循环单元处理时间序列数据后输出的包含多个时间步信息的序列数据。反映时间序列的时序规律。LASSO回归算法:一种对复杂线性回归模型进行正则化的算法,通过L1范数惩罚获取稀疏模型。相关系数:LASSO回归过程中学习到的不同变量之间的线性相关权重,反映不同时序特征间的线性关联程度。在本申请中,LSTM单元输出时序数据,包含时间步信息。将该多维时序数据输入LASSO回归模型。LASSO算法通过L1正则化,学习变量间线性相关程度。获取不同时序特征间的相关系数。这反映了时间序列在时间轴上的内在线性关联规律。最后将学习到的相关系数反馈到LSTM模型。用于增强LSTM对时间序列动态时序特征的建模能力。从而提高基于LSTM的时间序列预测效果。
具体的,通过LASSO回归分析,得到了m个时序特征在不同时刻之间的相关系数矩阵R。R的大小为,元素/>表示第i个和第j个特征之间的相关系数。将R归一化处理到0-1范围内,得到规范化相关矩阵/>。在门控循环单元中,将当前时刻的输入特征向量记为/>,大小为/>。将相关矩阵/>与当前特征向量/>相乘,进行线性转换:/>,/>将大小为,表示当前特征与历史特征的相关性。将/>与原特征一起输入门控循环单元。单元结合相关性,更好地建模时序规律。重复这个过程,利用相关矩阵增强LSTM对时间关联性的建模。最终帮助LSTM改进处理时间序列数据的效果。从LASSO回归相关性矩阵R中提取一个特征变量对,例如第i变量和第j变量。提取这对变量在不同时刻t的相关系数/>,共T个时刻。将时刻t作为横坐标,相关系数/>作为纵坐标。使用曲线拟合方法,对上述点集进行曲线拟合。例如多项式曲线拟合。重复该过程,对相关性矩阵中的每个特征变量对拟合曲线。最终得到m(m-1)/2条关联曲线,表示特征对间随时间变化的动态相关性。将拟合得到的曲线反馈到门控循环单元中。单元结合这些曲线,建模特征对间的时序相关规律。从而捕捉时间序列的动态时间相关性。提高基于门控循环网络对时序数据的建模与预测能力。
具体的,动态相关性:指时间序列中不同特征之间随时间变化的相关性。它描述了时间序列的内在动态时序关联模式。在本申请中,已通过曲线拟合得到特征对间的动态相关曲线。在每个时刻t,计算并提取/>,作为两个特征在t时刻的动态相关性。将其与原特征一起输入到门控循环单元。单元根据该动态相关性,区分不同时刻信息的重要性。实现根据时序动态调节特征的传递和存储。从而增强了对时间序列的动态时变规律的建模能力。在模型训练过程中,学习提取时间序列的动态时序特征。最终提高基于LSTM的时间序列预测效果。为农业生产等提供有效的时序预测支持。
进一步的,改进的LASSO多变量线性回归算法,表达式如下:,/>,其中,Y为应变量向量;X为自变量矩阵;/>为回归系数向量;/>为L1正则化参数;t为回归系数L1范数的阈值上限;min表示目标是最小化目标函数的值;/>表示目标函数的约束条件;/>表示模型预测值与真实值之间的均方差;表示回归系数的L1范数。
具体的,改进的LASSO回归目标是最小化损失函数:回归预测误差+*回归系数的L1范数。加入L1范数可产生稀疏回归系数,实现特征选择。传统LASSO中λ较大时,会使许多系数缩减为0。在这里,我们加入L1范数的阈值上限t。当/>超过t时,算法会适当调整λ。使更多非零回归系数得以保留,不被正则化压缩为0。从而达到增加模型解释变量,保留更多时序特征相关性的效果。在时间序列建模中,这让更多有效的时序特征加入到LSTM模型中。LSTM可以利用这些额外特征增强对时序规律的建模与表达。最终帮助LSTM提高对复杂时间序列的预测准确性。
进一步的,获取作物管理方案,包括:接收LSTM神经网络输出的未来时刻的时间序列特征的预测结果;预设的不同季节、不同气候条件、不同土壤条件和不同作物生长阶段的作物管理方案模板;根据预测结果,作物管理方案模板,获取作物管理方案。
具体的,构建作物管理方案模板,可以采用:邀请域内农业专家组成专家库,根据其经验总结不同季节、气候、土壤、生长阶段下的作物管理知识。收集农业科研单位和高校已有的各种条件下的作物栽培技术规程。提取已有科研试验获得的不同环境下的作物管理技术方案。组织进行多场景作物生产条件设计,设计不同情景下的管理方案。使用知识图谱技术,组织管理知识,形成不同条件下的作物管理知识体系。使用规则引擎技术,将管理知识编码成可直接执行的规则模板。将获得的管理方案模板分类存储,形成条件与方案的知识库。根据新获得的管理知识和经验不断优化更新模板规则库。最终形成一个结构化的不同情景下作物管理方案模板库,为管理决策提供支撑。将LSTM预测结果与模板条件进行匹配。例如预测结果为夏季高温少雨的气候趋势,则匹配夏季高温少雨的管理方案。管理方案模板会包含作物选择、栽培措施、营养管理、病虫防治等内容。根据匹配的管理方案模板,生成相应的作物管理建议。如果预测结果不符合任何预设模板,则组合多个模板,生成新的管理方案。该管理方案综合考虑了未来环境条件和作物需求。最后输出可操作的精细化作物栽培管理方案。提供农民针对性强的决策支持,指导农业生产。
3.有益效果
相比于现有技术,本申请的优点在于:
(1)利用多尺度特征提取和突变检测特征的方法,更全面地捕捉了时间序列数据的长期趋势和短期变化,提高了对季节性变化的敏感性;
(2)通过训练LSTM神经网络,利用门控循环单元存储历史状态并考虑时间相关性,实现了更准确的未来时刻时间序列特征的预测,为作物管理方案提供更精准的依据;
(3)采用改进的LASSO算法计算动态相关性,使得时序数据之间的关系更为准确,进一步提升了对作物生长状况和气象条件的综合理解。
附图说明
本说明书将以示例性实施例的方式进一步描述,这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的,在这些实施例中,相同的编号表示相同的结构,其中:
图1是根据本说明书一些实施例所示的一种基于大数据的乡村业务管理方法的示例性流程图;
图2是根据本说明书一些实施例所示的获取时间序列特征的示例性流程图;
图3是根据本说明书一些实施例所示的预测未来时刻的时间序列特征的示例性流程图。
具体实施方式
下面结合附图对本说明书实施例提供的方法和系统进行详细说明。
图1是根据本说明书一些实施例所示的一种基于大数据的乡村业务管理方法的示例性流程图,收集包含历史季节的气象数据、土壤数据和作物生长数据以及对应的时间标签的历史数据集,时间标签采用时间戳;获取包含当前季节的气象数据、土壤数据和作物生长数据以及对应的时间标签的当前数据集;对得到的历史数据集和当前数据集进行归一化处理,转换为时间序列数据,并提取时间序列数据的时间序列特征;采用提取的时间序列特征,训练LSTM神经网络,LSTM神经网络用于预测不同时刻的时间序列特征;根据不同时刻的时间序列特征的预测结果,生成季节的作物管理方案,利用作物管理方案进行乡村业务管理。
历史数据集采集:收集包含历史季节的气象数据、土壤数据、作物生长数据以及对应的时间标签,构建历史数据集,收集本地区过去20年的气象站观测数据,包含温度、湿度、降雨等数据,并标注季节标签。调研当地种植大户,收集他们田块过去20年的土壤检测报告,包含氮、磷、钾含量,标注检测时间。访问农业部门档案,收集本地主要作物过去生长期的生长数据,包含植株高度、叶面积等,标注观测时间。将以上数据整合到一个数据集中,每条数据包含:气象、土壤、生长数据及对应的时间标签。对数据进行清洗,去除异常数据点。进行归一化处理。将数据集分割成训练集和测试集。训练集用于模型训练,测试集用于效果评估。此外,还可继续搜集更多相关的农业大数据,丰富数据集。最终得到一个具有丰富历史标注的时序数据集,用于训练时间序列预测模型,建立数据驱动的作物管理决策系统。
当前数据集获取:获取包含当前季节的气象数据、土壤数据、作物生长数据以及对应的时间标签,构建当前数据集,从气象局网站接口获取该地区最近3个月的实时观测数据,包含温湿度、降雨、日照等数据,标注观测时间。让当地农户使用土壤检测仪器,检测其田块当前土壤养分,获取氮、磷、钾含量数据,标注检测时间。分派调研员定期到主要作物地块,记录植株生长数据,如高度、叶面积等,标注观测时间。通过无人机或卫星遥感获取作物地块图像,通过图像分析获取叶色、地温等信息。将获取的各类数据整合到当前数据集,每条包含气象、土壤、生长数据及对应的时间标签。对数据进行清洗处理,确保质量,提供模型输入。在LSTM模型训练完毕后,利用当前数据集作为模型新的输入。模型基于当前环境条件,预测未来一段时间的气候、土壤、生长状况。预测结果为精细化的作物管理决策提供科学支撑。当前数据集需要持续获取,确保决策依据的更新。
图2是根据本说明书一些实施例所示的获取时间序列特征的示例性流程图,时间序列特征提取:对历史数据集和当前数据集进行归一化,转换为时间序列数据后,通过小波变换等方法提取时间序列特征,包括长期趋势、短期变化、突发变化等特征,历史数据集包含过去20年不同时刻的温度、湿度、降雨等观测。当前数据集包含最近3个月的相同变量的观测数据。先找出所有变量的最大最小值,如温度的最小值是-10°C,最大值是40°C。对每个变量中的每个数据点,按照下式进行0-1归一化:x'=(x-min)/(max-min),以温度为例,令x为原始温度,如果x为20°C,则归一化后x'为(20-(-10))/(40-(-10))=0.75。如此对所有变量的所有数据点进行归一化,映射到0-1之间。然后对数据进行重组,让每个样本包含一个时间点的所有变量的数据。例如样本1包含8月2日10时的温度、湿度、降雨数据;样本2包含8月3日10时的温度、湿度、降雨数据,以此类推。重组后的数据可直接输入到LSTM进行时序建模。
将预处理后的时间序列数据进行小波变换,使用Daubechies4波let。先进行小波多级分解,分别获得低频近似信号和高频细节信号。对温度时间序列进行3级分解,可获得CA3、CD3、CD2、CD1代表不同频段成分。CA3作为最低频成分,表示温度的长期稳定趋势。将其作为温度的长期趋势特征,输入到LSTM模型中。CD1作为最高频成分,表示温度的短期剧烈波动。将其作为温度的短期变化特征,输入到LSTM模型中。同样处理降雨、湿度等其他时序,获取各自的长短期特征。LSTM综合这些特征,学习时间序列在不同时间尺度上的规律。提高对复杂时序模式的建模和预测能力。
对温度时间序列数据进行一阶差分,计算相邻时间点温度之差。如果出现温度大幅下降或上升的突发变化,一阶差分会显示出峰值或谷值。以这些突变点为中心,提取一定时间窗口内的温度变化曲线,表示温度的突发漂移。计算一周内温度的滑动平均,可以反映温度的较短期稳定趋势。计算一周内温度的滑动方差,可以反映温度的局部波动程度。当滑动统计出现异常,表示温度进入较为活跃的局部动态期。将上述突发和局部动态特征也输入到LSTM中。LSTM可以合并全局趋势、局部动态、突发异常的特征。
使用滑动窗口在温度时间序列中检测局部最大值(峰值)和局部最小值(谷值)。记录下峰谷值的时间坐标和数值,表示温度的突发性转折点。设置滑动窗口大小为5,滑动步长为1。从头开始,取出第一个窗口,找到最大值和最小值,记录坐标和值。例如最大值25度在t=3时刻。滑动一个步长,取出窗口t=2到t=6,同样找到最大最小值。重复滑动和峰谷值检测,直到结束。滑动窗口大小设为5,滑动步长为1。原始温度时间序列为(单位:摄氏度):3,5,6,9,15,18,21,19,15,13,16,12。使用滑动窗口检测结果:第1窗口:最大值15,最小值3,坐标(t=4,15°C),(t=0,3°C),第2窗口:最大值18,最小值5,坐标(t=5,18°C),(t=1,5°C),第3窗口:最大值21,最小值15,坐标(t=6,21°C),(t=4,15°C)。最终记录下所有窗口的峰谷值时间坐标与值。这表示温度序列的突变点,为后续建模提供重要特征。通过滑动窗口探测时间序列的局部极值点。设置滑动窗口大小为7天,滑动步长为1天,输入温度时间序列数据,在第一个窗口中找到最大最小温度及其时间坐标,记录为第一窗口的局部最大值和最小值,滑动一个步长,获得第二个窗口,同样检测局部最大最小值,记录坐标,重复滑动窗口和极值检测过程,当窗口滑动到序列末尾时结束,最终输出所有窗口的局部极大值坐标和值,以及局部极小值的坐标和值,刻画温度时间序列的突变特征,为后续建模提供关键的特征输入。
提取峰谷之间的温度曲线,表示热波和冷空气的到来。将检测到的峰谷值及曲线作为温度突变特征输入LSTM。已通过滑动窗口检测出温度时间序列的局部最大值和最小值坐标。以两个相邻峰值间的曲线段为一个温度形状特征。(3日,25°C),(7日,28°C),(12日,30°C)。取出两个相邻峰值之间的曲线段:3日到7日曲线,7日到12日曲线。前者表示温度稳步上升的热波过程。后者为温度快速上升的热浪。将两个曲线段在时间轴上等距离采样,转换成定长向量。两曲线也标注为类别"热波上升"和"热浪上升"。和对应的峰值坐标以及值一起。作为LSTM模型输入的温度突变特征。LSTM通过学习不同类型的温度上升曲线进行气象建模。该曲线表示一个温度持续上升的热波过程。
同理,以两个相邻谷值间曲线表示冷空气。原始温度时间序列中检测到谷值坐标:(5日,15°C),(8日,10°C),(13日,7°C)。取出两个相邻谷值之间的曲线段:5日到8日曲线,8日到13日曲线。前者表示温度缓步降低的过程。后者代表温度快速下降的冷空气团。将两个曲线段在时间轴上采样转换成定长向量。也标注曲线的类别为“温度下降”和“冷空气下降”。与对应的谷值坐标一起输入LSTM模型。LSTM通过学习不同类型的温度下降曲线进行建模。实现对温度变化形态的有效刻画。
原始温度时间序列中已检测出上升热波曲线和下降冷空气曲线。热波曲线长度为8天,冷空气曲线长度为5天。设置向量长度均为10,进行曲线等距离采样。热波曲线每1.6天抽取一个点,冷空气曲线每2天抽取一个点。将采样后的10个点构成长度为10的输入向量。对应的峰谷值坐标也转换为长度为2的向量。峰值7,32,谷值12,5。将温度曲线向量和坐标向量一起输入LSTM。LSTM学习温度变化的模式,进行预测。
输入层接收采样后的温度上升曲线和下降曲线向量。以及对应的峰谷值坐标向量。通过一个LSTM层,包含100个神经元。LSTM层学习不同类型温度曲线的时序模式。如热波缓慢上升和冷空气急速下降的区别。接一个全连接层输出未来一周的温度预测。通过端到端训练,LSTM捕捉不同温度变化模式。在测试集上,基于曲线特征的LSTM预测误差约为1.2摄氏度。相比直接预测,误差减小15%。有效实现了基于温度突变知识的气象时序建模。
对降雨时序进行时间窗口内的雨量累积计算。计算一周、一个月总降雨量,表征该段时间内的总体降水。当滑动窗口内降雨量明显增加时,表示进入降雨活跃期。将雨量累积量作为降雨特征输入LSTM。
原始数据集包含多年的气温、湿度、降雨等时间序列数据。通过前述处理,提取出如下特征:气温的长期趋势、短期波动、突变曲线,湿度的长期趋势、短期波动,降雨的长期趋势、活跃期区间、累积量,构建LSTM模型,输入层维度为上述特征的维度总和。将提取好的多类时序特征组合起来,输入到LSTM模型中进行训练。LSTM内部的门控结构,学习合并不同时间尺度的特征。其中长期趋势反映气候时间序列的全局规律。短期波动和突变表示局部动态。LSTM综合这些特征,学习复杂的长短期时序模式。最终训练出了一个对农业气候时序规律有效建模的LSTM模型。该模型可用于未来时序的预测,提供数据支持的作物管理决策。
LSTM神经网络训练:采用提取的时间序列特征训练LSTM网络,使其学习不同时刻时间序列特征之间的时序规律,构建一个单层LSTM网络,输入层维度设置为50,对应总共50维的时序特征。这50维特征包括:气温的低频趋势(10维),气温的高频变化(10维),湿度的低频趋势(5维),湿度的高频变化(5维),降雨的长期趋势(5维),降雨的短期积累(5维),其他特征(10维)。将提取好的50维特征向量按时间顺序排列形成输入样本序列。输入序列长度设置为lookback=30,即每次取最近30天的特征作为模型输入。设置LSTM隐层个数为100,存储历史状态。输入序列依次进入LSTM模型,并更新隐状态。LSTM综合当前输入和历史状态,建模农业气候时序规律。经过配置,LSTM网络准备好进行时序学习和预测。
LSTM网络输入包含气温、湿度、降雨的短期和长期时序特征。短期特征如气温的每日变化,反映局部天气动态。长期特征如气温的月趋势,反映整体气候趋势。LSTM中的输入门选择当前最相关的特征。遗忘门清除不重要的历史状态。通过重复多轮训练迭代,门结构逐步学习特征选择策略。当进入降雨活跃期时,会选择降雨短期特征作为重要输入。当进入气温转折点时,会选择气温突变特征作为重要输入。LSTM综合不同时间尺度下的特征,建模气候时序规律。最终训练得到可对未来气候进行预测的LSTM模型。通过与真实值比较调整参数,使预测结果符合实际变化规律。
在LSTM网络训练中,采用MSE损失函数,表示预测结果与真实值差异。通过反向传播,计算每个网络参数对损失的梯度。梯度指示参数调整方向,使loss降低。如输入门权重参数,根据梯度更新,学习选择重要特征。重复输入序列进行多轮训练,逐步调整网络权重、门结构参数。损失函数值逐渐降低,LSTM网络学习到时序规律。训练10000次迭代后,获得最终的LSTM模型。在测试集上,该模型达到了可接受的预测精度。验证模型可对未来气候、作物生长进行有效的时序预测。可基于该模型,制定精细化的数据驱动作物管理决策。提供实时的气候变化监测和管理建议。
时间相关性建模:LSTM网络中的门控循环单元设置时间门控机制,用指数衰减函数计算不同时刻的时间相关性权重。构建含有时间门控的LSTM单元结构。输入样本包含过去30天里每天的平均气温和平均相对湿度。样本长度为30天,即有30个时刻的输入数据。对于时刻t,计算从t-30到t-1每个时刻的时间权重w。比如对于t=5,Δt=0,1,2,3,4,对应w=1,e^{-λ},e^{-2λ},e^{-3λ},e^{-4λ}。权重按指数衰减,当前时刻权重最大。λ初始化为0.5,控制衰减速率。在训练中,通过反向传播调节λ,使时间相关性建模最佳。不同时刻的输入通过时间权重w融合。LSTM综合加权后的输入,学习气候时序规律。
输入序列包含过去30天的气温数据。对于当前时刻t,计算每个历史时刻t-n的时间权重wn。n值越大,表示时刻距离当前时刻t越远。定义时间相关性衰减速率λ为0.2。前一天t-1的权重w1=e^(-0.2*1)=0.819。一周前t-7的权重w7=e^(-0.2*7)=0.487。一个月前t-30的权重w30=e^(-0.2*30)=0.022。可以看出,权重wn随着时间差n的增大指数衰减。在LSTM中,使用权重wn对不同时刻输入进行加权。这样近期输入对当前时刻影响更大,远期输入影响较小。通过权重衰减,模型可学习到气温时间相关性模式。
初始化时间相关性衰减率λ为0.5。输入过去30天内的气温、降雨时序样本,重复训练LSTM。通过反向传播优化λ,使模型输出能够符合真实农业时序模式。当λ太小时,远期Zeit会过于影响当前输出,不符合真实规律。当λ太大时,近期特征对当前输出影响不足,同样不合适。重复多轮训练后,最终确定λ为0.15。该λ值使不同时段的特征融合最优,时间相关性建模到位。得到时序时间相关性知识的LSTM模型。利用该模型对未来一周气候进行预测。预测结果准确反映出与近期气候趋势的一致性。为具体的农业生产决策提供定量依据。
动态相关性分析:在LSTM网络输出层前设置分析层,基于多变量回归算法得到不同特征时间序列间的动态相关性,输入层接收温度、湿度、降雨过去30天的时序数据。设置1个LSTM层,单元个数100,处理输入的多变量时间序列。LSTM输出含有100维的综合特征表示。连接一个全连接分析层,输入维度100,输出维度3。分析层的3个输出分别表示温度、湿度、降雨的回归系数。使用ReLU激活函数,使回归系数可取正负值。通过该网络结构,LSTM可学习提取综合时序特征。全连接分析层对特征进行回归,产生变量相关性。网络端到端训练,可同时学习特征和相关性知识。得到可支持农业气候预测和决策的动态时序分析模型。
LSTM层输出100维的特征向量,包含输入多变量时序的综合信息。回归分析层接收该100维特征作为输入。分析层设置3个回归系数,分别表示对温度、湿度、降雨的回归权重。温度预测=特征1*权重1+特征2*权重2+,......,+特征100*权重100。湿度预测=特征1*权重101+特征2*权重102+,......,+特征100*权重200。降雨预测=特征1*权重201+特征2*权重202+,......,+特征100*权重300。其中:特征1到特征100是LSTM输出的100维综合特征,权重1到权重100对应温度预测的回归系数,权重101到权重200对应湿度预测的回归系数,权重201到权重300对应降雨预测的回归系数,通过回归方程可以分析不同变量的动态相关性。权重大小表示该变量对最终输出的相关性贡献。通过回归方程,可分析不同变量之间的动态相关性。如温度权重较大,则温度时序与最终输出高度相关。
初始化回归层权重为随机值,回归方程无法反映真实变量相关性。输入多个时序样本,计算回归预测结果与实际值的差距。通过反向传播,优化每个权重,使预测结果接近真实趋势。重复多轮训练,权重逐步匹配变量之间的实际动态相关性。最终,回归方程中具有较高正权重的变量与输出高度正相关。具有较高负权重的变量与输出高度负相关。如温度权重远高于降雨,则可解析出温度是关键的正相关变量。而降雨的低权重表示与输出相关性较弱。通过可解释的回归权重,分析不同变量的时序相关性,提供决策依据。协助制定针对关键气候要素的作物管理决策。
网络回归层设置3个回归系数,分别对应温度、湿度、降雨。初始化系数为随机值,还不能反映真实相关性。经过训练,温度系数收敛到0.8,湿度系数为-0.5,降雨系数为0.1。正值表示正相关,负值表示负相关。数字越大相关性越强。由此可分析出:温度与输出最正相关。湿度与输出较负相关。降雨与输出相关性弱。这与真实农业生产关联的气候规律是一致的。证明网络学习到了变量之间的动态相关性知识。这些知识可用于分析气候影响,指导农业生产。当温度上升时,增加通风降温措施。当湿度过高时,适当减少灌溉频次。
通过回归分析层,LSTM网络发现温度与降雨具有高度正相关。这表示温度上升常可引发降雨量的增加。当气温连续3天上升时,预测未来一周内降雨概率大增。基于该相关性知识,进行降雨量的定量预测。预测结果给出,未来3天内可能降雨量为50—80mm。根据这个预测,采取农业生产决策:提前一周疏通排水渠,确保排洪通畅。给番茄添加支撑,防止倒伏。预置抽水设备,以防水涝。通过预测和决策,有效减少了暴雨带来的农业损失。利用LSTM学习到的时序相关知识,实现了数据驱动的决策。
图3是根据本说明书一些实施例所示的预测未来时刻的时间序列特征的示例性流程图,作物特征预测:LSTM网络输出层整合时序规律和相关性,对未来时刻的气象、土壤、作物生长特征进行预测。LSTM网络输入层包含历史时序数据,如气温、湿度、降雨、土壤湿度等。LSTM层学习这些变量之间的时序规律和相关性知识。设置LSTM后接全连接层,输出预测未来一周的关键变量。未来7天温度预测(7节点),未来7天降雨概率预测(7节点),未来7天土壤湿度预测(7节点),未来7天叶面积增长预测(7节点)。LSTM综合时序规律和相关知识,全连接层进行特征预测。网络端到端训练,优化参数,得到作物生产预测模型。该模型可支持关键变量的未来预测,指导农业决策。网络预测目标包括未来一周的日均气温、降雨概率、土壤湿度、作物叶面积。LSTM综合各变量的时序规律和相关性知识进行预测。预测结果:未来两天气温会下降2—3摄氏度,低于作物最适温度15摄氏度。未来一周内日降雨概率为70%左右。土壤湿度保持在80%左右,达饱和状态。叶面积预测持续增长。根据这些预测,制定管理对策:在温室内设置增温设备,提前两天对温室增温,保证气温在15度左右。预计未来一周降雨频繁,暂缓灌溉,避免湿涝。叶面积持续增长,增加叶面施肥量30%,促进碳酸同化。综合各变量预测,制定温度、灌溉、施肥等细致生产决策。有效防范气候变化风险,提高作物产量。LSTM时序预测驱动精准的数据化生产管理。
作物管理方案生成:根据LSTM预测结果,匹配预设的作物管理方案模板,生成相应季节的精确作物管理方案。构建LSTM网络,输入历史农业生产数据进行训练。训练好的LSTM可对未来两月气温、湿度、降雨等进行预测。预设作物管理方案模板,分四个季节子模板。春季模板:温度管理:15-25°C,需要增温。水分管理:降雨增多,需要排水。光照管理:日照时间中等,开光比例50%。夏季模板:温度管理:25-35°C,需要降温。水分管理:蒸散强,需要增加浇水。光照管理:日照时间长,开光比例80%。秋季模板:温度管理:15-20°C,适当增温。水分管理:降雨减少,需要储水灌溉。光照管理:日照时间减少,开光比例30%。冬季模板:温度管理:10-15°C,需要大量增温。水分管理:基本无降雨,需定期浇水。光照管理:日照极短,额外补光。LSTM预测结果:未来两个月气温上升2-3度,达到18度;降雨增加20mm。查询匹配早春管理模板,提取对应方案:增加通风降温,加强排水系统防涝,适量增加浇水。将模板方案参数化:开启自动通风系统,温度超过20度时提高换气频率。检查排水系统,确保阻塞率低于10%,灌溉后引水排出田块。增加浇水量,按降雨量的120%添加补充灌溉。最终生成具体参数的作物管理方案。该方案基于LSTM对气候变化的预测,可实现精确生产管理。LSTM预测结果显示未来两月降雨量将增加50毫米。查询匹配早春管理模板,需要增加浇水量。将模板中“增加浇水量”参数化:设置浇水量为预测降雨量的80%。计算得到增加浇水量为50*80%=40毫米。于是生成具体方案:标题:早春水分管理方案,时间:3月1日至5月30日,降雨量增加:50毫米(根据LSTM预测结果),增加浇水量:40毫米(降雨量的80%)。
乡村业务管理:将生成的作物管理方案发布到信息平台,指导农户生产,完成基于数据驱动的乡村业务精准管理。在农业管理信息平台构建LSTM网络,进行气候、土壤等预测。根据预测结果,生成定制的作物管理方案。将生成的管理方案以任务流形式发布到信息平台。系统自动推送方案给关联的农户用户。农户接受方案后,在系统中确认执行情况。例如确认已按要求调整灌溉量或施肥量。系统后台统计农户执行方案的覆盖率。如果存在偏差,由系统自动调整方案或人工跟进。最终实现农户精准执行数据驱动的个性化管理方案。促进作物生产的标准化和精细化。
以上示意性地对本申请创造及其实施方式进行了描述,该描述没有限制性,在不背离本申请的精神或者基本特征的情况下,能够以其他的具体形式实现本申请。附图中所示的也只是本申请创造的实施方式之一,实际的结构并不局限于此,权利要求中的任何附图标记不应限制所涉及的权利要求。所以,如果本领域的普通技术人员受其启示,在不脱离本创造宗旨的情况下,不经创造性地设计出与该技术方案相似的结构方式及实施例,均应属于本申请的保护范围。此外,“包括”一词不排除其他元件或步骤,在元件前的“一个”一词不排除包括“多个”该元件。产品权利要求中陈述的多个元件也可以由一个元件通过软件或者硬件来实现。第一,第二等词语用来表示名称,而并不表示任何特定的顺序。

Claims (3)

1.一种基于大数据的乡村业务管理方法,包括:
收集包含历史季节的气象数据、土壤数据和作物生长数据以及对应的时间标签的历史数据集,时间标签采用时间戳;
获取包含当前季节的气象数据、土壤数据和作物生长数据以及对应的时间标签的当前数据集;
对得到的历史数据集和当前数据集进行归一化处理,转换为时间序列数据,并提取时间序列数据的时间序列特征;
采用提取的时间序列特征,训练LSTM神经网络,LSTM神经网络用于预测不同时刻的时间序列特征;
根据不同时刻的时间序列特征的预测结果,生成季节的作物管理方案,利用作物管理方案进行乡村业务管理;
提取时间序列特征,包括:
当前数据集包含当前季节的每日气象数据、每周土壤数据和每阶段作物生长数据;
每日气象数据包含温度、湿度和光照;
每周土壤数据包含土壤含水率和氮含量;
每阶段作物生长数据包含植株高度和叶面积;
提取时间序列特征,还包括:
采用最大值归一化方法,将包含温度、湿度和光照的气象数据映射到0至1区间,得到归一化气象特征;
采用Z-Score标准化方法,将包含土壤含水率和氮含量的土壤数据转换为标准正态分布,得到归一化土壤特征;
采用最小值归一化方法,将包含植株高度和叶面积的作物生长数据映射到0至1区间,得到归一化生长特征;
提取时间序列特征,还包括:
将得到的归一化气象特征、归一化土壤特征和归一化生长特征,根据时间标签排列成序列,得到日时间序列和周时间序列;
对日时间序列,采用小波变换的多分辨率分析方法,获取低频部分对应的长期趋势特征和高频部分对应的短期变化特征,得到由长期趋势特征和短期变化特征组成的多尺度特征;低频部分表示时间序列的总体趋势;高频部分表示时间序列的局部细节;
对周时间序列,采用小波变换的模量最大方法检测时间序列中的非平稳态的突变点,非平稳态的突变点表示时间序列的突发变化;
计算每个突变点处周时间序列在小波变换域的模量局部最大值,作为所述突变点的突变显著性指标;
将检测到的突变点及对应的突变显著性指标组成的特征向量,作为周时间序列的突变检测特征;
将得到的多尺度特征和突变检测特征进行组合,作为时间序列数据的时间序列特征;
还包括:
将所有突变点按时间顺序排列,组成突变点特征序列;
将每个突变点对应的突变显著性指标按顺序排列,组成突变显著性指标序列;
将突变点特征序列和突变显著性指标序列合并排列,形成一个二维特征矩阵;其中,第一维表示时间序,第二维包含突变点及对应的突变显著性指标;矩阵包含时间序列的突变信息,用于对土壤变化规律进行预测;
提取多尺度特征,包括:
对日时间序列进行小波分解,采用5阶戴贝奇小波基作为小波基,进行4层小波分解;
在4层小波分解的结果中,将第1层的分解系数作为长期趋势特征,分解系数对应的日时间序列中的时间范围大于15天,分解系数反映时间序列的总体趋势;
在4层小波分解的结果中,将第1层的细节系数作为短期变化特征,细节系数对应的日时间序列中的时间范围小于15天,细节系数反映时间序列的局部变化;
构建包含门控循环单元和输出层的LSTM神经网络,门控循环单元用于存储并控制输入时间序列特征中不同时刻的历史状态;历史状态指门控循环单元保持的上一时刻的时间序列特征;
输入层接收不同时刻的时间序列特征,并输入门控循环单元;
门控循环单元根据不同时刻的时间序列特征,设置时间门控机制,计算不同时刻的时间序列特征之间的时间相关性权重;
门控循环单元存储上一时刻的时间序列特征,并根据时间相关性权重控制历史状态在时序上的传递;
在输出层之前设置基于多变量线性回归的分析层,获取不同时刻的时间序列特征之间的动态相关性,动态相关性表示不同时间序列特征在时间轴上的关联程度;
输出层根据门控循环单元传递的历史状态、计算得到的时间相关性权重和动态相关性,对未来时刻的时间序列特征进行预测,并输出预测结果;
计算动态相关性,包括:
获取门控循环单元输出的包含多个时间序列特征的时序数据;
根据时序数据,采用改进的LASSO多变量线性回归算法,计算不同时刻的时序数据之间的相关系数;
根据得到的相关系数,构建相关性矩阵;
提取相关性矩阵中的每个特征变量对,并提取特征变量对在不同时刻的相关系数,根据提取的相关系数,拟合相关性曲线;
根据拟合的相关性曲线,计算时间序列特征之间的动态相关性;
其中,根据拟合的相关性曲线,计算时间序列特征之间的动态相关性,包括:
采用滑动窗口在温度时间序列中检测局部最大值,作为峰值;检测局部最小值,作为谷值;
提取峰谷之间的温度曲线,温度曲线表示热波和冷空气的到来;
将检测到的峰谷值和温度曲线作为温度突变特征输入LSTM;
LSTM通过学习不同类型的温度上升曲线进行气象建模;
改进的LASSO多变量线性回归算法,表达式如下:
minβ||Y-Xβ||2+α||β||_1,
s.t.||β||_1≤1,
其中,Y为应变量向量;X为自变量矩阵;β为回归系数向量;a为L1正则化参数;t为回归系数L1范数的阈值上限;min表示目标是最小化目标函数的值;s.t.表示目标函数的约束条件;||Y-Xβ||2表示模型预测值与真实值之间的均方差;||β||_1表示回归系数的L1范数。
2.根据权利要求1所述的基于大数据的乡村业务管理方法,其特征在于:
计算时间相关性权重,包括:
输入层接收各时刻的时间序列特征数据;
计算相邻时刻的时间序列特征数据间的时间间隔;
根据得到的时间间隔,采用指数衰减函数,计算不同时刻对应的时间相关性权重,时间相关性权重表示不同时刻时间序列特征之间的时间相关性;
指数衰减函数通过如下公式计算:
w(Δt)=e-λΔt
其中,w表示时间相关性权重,Δt表示相邻两时刻的时间间隔,λ表示衰减系数。
3.根据权利要求1所述的基于大数据的乡村业务管理方法,其特征在于:
获取作物管理方案,包括:
接收LSTM神经网络输出的未来时刻的时间序列特征的预测结果;
预设的不同季节、不同气候条件、不同土壤条件和不同作物生长阶段的作物管理方案模板;
根据预测结果,作物管理方案模板,获取作物管理方案。
CN202410316544.2A 2024-03-20 2024-03-20 一种基于大数据的乡村业务管理方法 Active CN117933946B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410316544.2A CN117933946B (zh) 2024-03-20 2024-03-20 一种基于大数据的乡村业务管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410316544.2A CN117933946B (zh) 2024-03-20 2024-03-20 一种基于大数据的乡村业务管理方法

Publications (2)

Publication Number Publication Date
CN117933946A CN117933946A (zh) 2024-04-26
CN117933946B true CN117933946B (zh) 2024-06-14

Family

ID=90754049

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410316544.2A Active CN117933946B (zh) 2024-03-20 2024-03-20 一种基于大数据的乡村业务管理方法

Country Status (1)

Country Link
CN (1) CN117933946B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084367A (zh) * 2019-04-19 2019-08-02 安徽农业大学 一种基于lstm深度学习模型的土壤墒情预测方法
CN112450056A (zh) * 2019-09-09 2021-03-09 云南天质弘耕科技有限公司 一种基于机器学习算法的水肥药一体化智能灌溉系统
CN116415488A (zh) * 2023-03-08 2023-07-11 中国长江三峡集团有限公司 一种土壤湿度预测方法、装置、电子设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220061236A1 (en) * 2020-08-25 2022-03-03 The Board Of Trustees Of The University Of Illinois Accessing agriculture productivity and sustainability
CN115393114A (zh) * 2022-08-23 2022-11-25 中如信息科技有限公司 一种智慧乡村服务管理系统
CN115530054A (zh) * 2022-10-12 2022-12-30 河北省科学院应用数学研究所 灌溉控制方法、装置、电子设备及存储介质
CN116595333B (zh) * 2023-05-18 2024-04-09 中国农业大学 土壤-气候智慧型的水稻目标产量与氮肥用量确定方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084367A (zh) * 2019-04-19 2019-08-02 安徽农业大学 一种基于lstm深度学习模型的土壤墒情预测方法
CN112450056A (zh) * 2019-09-09 2021-03-09 云南天质弘耕科技有限公司 一种基于机器学习算法的水肥药一体化智能灌溉系统
CN116415488A (zh) * 2023-03-08 2023-07-11 中国长江三峡集团有限公司 一种土壤湿度预测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN117933946A (zh) 2024-04-26

Similar Documents

Publication Publication Date Title
CN112906298B (zh) 一种基于机器学习的蓝莓产量预测方法
CN105825230B (zh) 基于深度置信网络模型的土壤墒情预测方法和系统
CN117036088A (zh) 一种ai识别绿化植物生长态势的数据采集分析方法
CN115495991A (zh) 一种基于时间卷积网络的降水区间预测方法
CN110119767A (zh) 一种基于lvq神经网络的黄瓜温室温度智能化检测装置
CN116227758B (zh) 基于遥感技术和深度学习的农产品成熟度预测方法及系统
CN115861831A (zh) 基于作物物候知识的时间序列遥感数据农作物识别方法
Kalaiarasi et al. Crop yield prediction using multi-parametric deep neural networks
CN117333321B (zh) 基于机器学习的农业灌溉用水量估算方法、系统及介质
Yang et al. Multistep ahead prediction of temperature and humidity in solar greenhouse based on FAM-LSTM model
CN116595333B (zh) 土壤-气候智慧型的水稻目标产量与氮肥用量确定方法
CN116579873A (zh) 基于高温干旱气象评估作物灾害减产情况的方法及系统
CN117933946B (zh) 一种基于大数据的乡村业务管理方法
US20230082714A1 (en) Soil Property Model Using Measurements of Properties of Nearby Zones
CN115796040A (zh) 一种基于小样本的设施温室温度预测方法
CN110009132A (zh) 一种基于lstm深度神经网络的短期电力负荷精细化预测方法
Gyamerah et al. Crop yield probability density forecasting via quantile random forest and Epanechnikov Kernel function
CN114386662A (zh) 一种基于大数据的农业信息采集系统及采集方法
CN114626010A (zh) 一种基于CatBoost的灌溉量计算方法及系统
Macabiog et al. Soil moisture and rain prediction based irrigation controller for the strawberry farm of La Trinidad, Benguet
Abdallah et al. A Machine Learning Approach for a Robust Irrigation Prediction via Regression and Feature Selection
Jiang et al. Application and evaluation of an improved LSTM model in the soil moisture prediction of southeast chinese tobacco-producing areas
Shi et al. Multivariate multi-step agrometeorological forecast model for rapid spray
Ahn et al. Evaluating Time-Series Prediction of Temperature, Relative Humidity, and CO2 in the Greenhouse with Transformer-Based and RNN-Based Models
CN117688404B (zh) 智能施肥配方决策方法、装置、设备、介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant