CN114819344A - 一种基于关键影响因子的全局时空气象农灾预测方法 - Google Patents
一种基于关键影响因子的全局时空气象农灾预测方法 Download PDFInfo
- Publication number
- CN114819344A CN114819344A CN202210441892.3A CN202210441892A CN114819344A CN 114819344 A CN114819344 A CN 114819344A CN 202210441892 A CN202210441892 A CN 202210441892A CN 114819344 A CN114819344 A CN 114819344A
- Authority
- CN
- China
- Prior art keywords
- data
- time
- agricultural
- space
- disaster
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000013528 artificial neural network Methods 0.000 claims abstract description 30
- 230000008451 emotion Effects 0.000 claims description 38
- 230000007935 neutral effect Effects 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000003066 decision tree Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 230000009191 jumping Effects 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000000611 regression analysis Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 abstract description 11
- 230000006872 improvement Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000005065 mining Methods 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 230000004931 aggregating effect Effects 0.000 description 2
- 238000010835 comparative analysis Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 240000008042 Zea mays Species 0.000 description 1
- 235000005824 Zea mays ssp. parviglumis Nutrition 0.000 description 1
- 235000002017 Zea mays subsp mays Nutrition 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000012271 agricultural production Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 235000005822 corn Nutrition 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005553 drilling Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000001704 evaporation Methods 0.000 description 1
- 230000008020 evaporation Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000037406 food intake Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012067 mathematical method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/02—Agriculture; Fishing; Forestry; Mining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- General Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- Artificial Intelligence (AREA)
- Marketing (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- General Business, Economics & Management (AREA)
- Development Economics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Educational Administration (AREA)
- Entrepreneurship & Innovation (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Primary Health Care (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Animal Husbandry (AREA)
- Agronomy & Crop Science (AREA)
- Mining & Mineral Resources (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Marine Sciences & Fisheries (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于关键影响因子的全局时空气象农灾预测方法，包括以下步骤：对异构数据按照时间与空间进行融合，融合成时空数据立方体；收集特定农业灾害指标的历史数据；选出对农业灾害影响最大的指标组合作为影响因子；将时空数据立方体转化为无纲量平面；从云平台时空数据立方体中按时间与空间提取气象与农业关联数据分组；在二维特征平面集合基础上构建带有全局时空特性的农业灾害预测的第二神经网络，计算农灾发生概率。本发明针对全局时空气象农灾预测方法的改进，基于关键影响因子的全局时空气象农灾预测方法，能够从时间与空间两方面对特定区域与时间段气象与农业观测值进行全局分析，更准确预测未来可能发生的农业灾害。
Description
技术领域
本发明涉及农业气象灾害分析领域，特别涉及一种基于关键影响因子的全局时空气象农灾预测方法。
背景技术
随着我国农业生产模式转型和各类技术手段的提升，我国气象行业累计数据体量达到了大数据的海量性特征，农业气象灾害的各种预测方法和系统不断涌现。目前利用大数据技术在地球科学领域积极探索，证明了机器学习、深度学习等方法在地球科学大数据上应用的可行性，为地球科学研究提供了更多的思路与方法。使用数据密集型方法来驱动农业技术，为量化和理解农业作业环境中的过程创造新机会。
农业气象数据集领域各异、形式多样，需要有机地融合各个数据集中的知识。为了能够处理多个来源的异构灾害数据，需要解决数据集成方案和摄入问题，这些解决方案分为相互交互的组件，难以确保以高度协调的方式最佳地提供与灾害有关的信息。基于不同数据的个体预测的神经网络方法相比于初始输入，相关的误差要低得多，不同数据的神经网络融合为一个稳定的状态提供了更佳的解决方案。
现阶段农灾预测研究中已经出现大数据高精准辅助预报业务：如使用对数线性模型在一年时间尺度上预测干旱等级，拟合气象站数据；或采用判别分析方法处理多尺度干旱灾害风险，预测中国东北朝阳市的玉米产量损失；或建立基于气候指数的支持向量回归模型，预测江水蒸散指数。上述预报所考虑的分析技术属于相对直观的、启发式的方法，预测性能指标表明预测值和观测值之间有弱到中等的关系，但海量的历史气象数据并没有发挥它们全部的价值。
现有的气象农灾预测方法存在以下问题：影响因素的选择范围过窄，仅使用少量特征进行预测，致使预测结果难以保证；对多模态数据的处理方法粗糙，无法有效利用异构数据；对时空数据的挖掘不足。
发明内容
发明目的：针对以上问题，本发明目的是提供一种基于关键影响因子的全局时空气象农灾预测方法，实现同时从时间与空间两方面对特定区域与时间段气象与农业观测值的全局分析。
技术方案：本发明的一种基于关键影响因子的全局时空气象农灾预测方法，包括如下步骤：
步骤1，将农业气象异构数据上传至云平台，利用第一神经网络对异构数据按照时间与空间进行融合，融合成时空数据立方体，对时空数据立方体进行聚合；
步骤2，对聚合后的时空数据立方体进行分析并获取关键特征数据，从关键特征数据中收集特定农业灾害指标的历史数据；
步骤3，对特定农业灾害指标的历史数据采用极端随机树方法，实施集成化回归分析，预测出农业灾害指标，筛选出对农业灾害影响最大的指标组合作为影响因子；
步骤4，根据影响因子从云平台抽取与极端天气、农业灾害相关的文本、图像对应的时空数据立方体，利用LSTM神经网络处理文本特征，利用卷积神经网络处理图像特征，将处理后的文本特征和图像特征输入到激活函数Softmax中形成一个向量，作为联合特征表示；以该联合特征表示为输入，以历史农业灾害指标预测为辅助学习任务，构建辅助学习网络，通过最小化预测误差，进一步训练特征提取器以加大对数据的解析力度；
步骤5，从云平台中抽取代表极端天气和农业灾害数据的时空数据立方体，将时空数据立方体转化为由若干无纲量序列组成的无纲量平面；
步骤6，在无量纲平面之间按序列相关度将具有关联关系的极端天气数据与农业灾害数据进行映射，在无量纲平面内部按序列相关性寻找同类型数据之间的关联关系；
步骤7，根据极端天气与农业灾害的关联关系，从云平台时空数据立方体中按时间与空间提取若干气象与农业关联数据分组，并根据联合特征表示将关联数据分组表征为带有全局时空特性的二维特征平面集合；
步骤8，在二维特征平面集合基础上构建带有全局时空特性的农业灾害预测的神经网络，计算农灾发生概率。
进一步，利用第一神经网络对异构数据按照时间与空间进行融合过程包括：
将不同农业气象异构数据、上下文描述符及当前时空步长的时空观测量共同建模作为输入，利用反向传播算法训练的前馈神经网络，得到融合后的时空数据立方体。
进一步，利用层次聚类从关键特征数据中收集特定农业灾害指标的历史数据，包括：输入融合后的异构数据作为样本集合，类簇数设置条件以试错计算方法选取能够使得每一类信息所占系统的比例不确定度低的数值，将样本集合中的所有样本点当做一个独立类簇，取两个类中距离最近的两个样本的距离作为这两个集合的距离，重复计算两两类簇之间的距离且距离最小的两个类簇，直到达到预先设定的样本距离阈值，将结束时得到的数据集合作为特定农业灾害指标的历史数据。
进一步，所述步骤3包括：
对特定农业灾害指标的历史数据构造极端随机树，使用特定农灾指标历史数据集合里的所有数据作为样本数据，对所有样本随机分裂并选取特征，随机选择特征值划分决策树，对决策树预测出的指标值按照占比或概率进行排序，结合各自对应的特征数据筛选出对农业灾害影响最大的指标集合作为影响因子。
进一步，利用LSTM神经网络处理文本特征包括：将文本特征分为正向情感样本、中性情感样本和负向情感样本，分别对三种样本进行分词和词向量化，将转化成的向量表示分别输入LSTM神经网络中，根据正、中、负三种情感样本分别训练出覆盖正向情感样本的LSTM模型、覆盖中性情感样本的LSTM模型、覆盖负向情感样本的LSTM模型，分别简称为正向情感模型、中性情感模型、负向情感模型。
进一步，所述步骤5包括：
利用灰色关联度，从时空数据立方体中按空间逐层抽取数据，每一层数据按照时间维度组成序列，并将所有数据取值压缩至[0,1]范围内，将数据立方体转化为由若干无纲量序列组成的二维平面。
进一步，所述步骤8包括：所述第二神经网络包括多层卷积层和池化层，融入时间跳跃机制，通过指定跳跃单元个数，一次性预测未来某段时间范围内的农业灾害发生概率：
将时间窗口t-N～t内的高层特征序列作为输入，在中间层手动指定需要跳跃的时间单元个数，从而预测出若干时间单元之后某一时间窗口内的农业灾害发生概率，迭代执行上述过程，将预测结果作为下一轮跳跃预测的资料输入。
有益效果：本发明与现有技术相比，其显著优点是：
本发明针对全局时空气象农灾预测方法的改进，基于关键影响因子的全局时空气象农灾预测方法，能够从时间与空间两方面对特定区域与时间段气象与农业观测值进行全局分析，更准确预测未来可能发生的农业灾害；本发明根据不同的数据类型对数据对象进行特征提取，影响因素选择范围更广，使用更多特征进行预测；同时使用了联合特征表示学习，有效利用异构数据，提高精度；本方法对时空数据挖掘充分，呈现了较好的气象农灾精准预测。
附图说明
图1是基于关键影响因子的全局时空气象农灾预测方法的流程图；
图2是数据融合过程中时空关联性与时空数据立方体示意图；
图3是针对数据立方体的聚合操作示意图；
图4是得到基于图像、文本多类型数据的联合特征表示流程图；
图5是数据立方体至无纲量二维平面的转化过程示意图；
图6是层次型灰色关联模型示意图；
图7是带有全局时空特性的农业灾害预测网络示意图；
图8是用于修正农业灾害预测时间尺度的第二神经网络示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。
本实施例所述的一种基于关键影响因子的全局时空气象农灾预测方法，流程图如图1所示，该预测方法包括以下步骤：
步骤1，将农业气象异构数据上传至云平台，利用第一神经网络对异构数据按照时间与空间进行融合，融合成时空数据立方图。
利用第一神经网络对异构数据按照时间与空间进行融合过程包括：
将不同农业气象异构数据、上下文描述符及当前时空步长的时空观测量共同建模作为输入，利用反向传播算法训练的前馈神经网络，得到融合后的时空数据立方体。
如图2所示，横轴表示空间，纵轴表示时间，时空数据立方体在纵向上表现时间依赖性，如不同时间点t处单个位置s的变化；在横向上表示位置之间具有空间相关性，如位置l处异构数据受其他位置s1～s4的综合影响。通过时空数据立方体从时间依赖性与空间相关性两类角度观察气象与农业数据，构成了时空数据集的可视化。按空间特征判定不同地点气象或农业数据之间的空间相关性，按时间特征判定单个地点气象或农业数据的时间依赖性，将零散的异构数据分别按时间与空间两类观察角度填充至右侧数据立方体中，以形成时空数据立方体。
可使用现有的主流异构大数据平台对现有农业气象开源数据库中的异构数据装载至云平台，并且以现有云计算技术为支持，通过集群应用与分布式文件系统，对上述农业气象异构数据实现噪声清理、一致性检查、存储检索等，并将数据序列化后采用纠删码技术实现数据的冗余保护，以实现迅速便捷的数据操作。
对时空数据立方体进行聚合，包括钻取、上卷、切块、或切片中任一操作，根据具体任务要求，从时空或空间维度对数据进行不同形式的聚合，达到对异构行业大数据的时空融合效果，如图3所示为分别对时空数据立方体进行不同操作之后所呈现的数据形式，其中空间上以江苏、上海、浙江，时间上按照一季度、二季度、三季度为例进行灾害情况展示。
步骤2，对聚合后的时空数据立方体进行分析并获取关键特征数据，从关键特征数据中收集特定农业灾害指标的历史数据。
面向不同特定的数据分析任务时，从经过时空数据融合后的时空数据立方体中抽取与其相关联的特征，如地表温度、归一化差分植被指数、归一化多波段干旱指数、蒸发量等，按照占比或概率进行排序，选取排序位于前面的几个特征作为关键特征。
利用层次聚类从关键特征数据中收集特定农业灾害指标的历史数据，具体包括：输入融合后的异构数据作为样本集合，类簇数设置条件以试错计算方法选取能够使得每一类信息所占系统的比例不确定度低的数值，将样本集合中的所有样本点当做一个独立类簇，取两个类中距离最近的两个样本的距离作为这两个集合的距离，重复计算两两类簇之间的距离且距离最小的两个类簇，直到达到预先设定的样本距离阈值，将结束时得到的数据集合作为特定农业灾害指标的历史数据。
步骤3，将特定农业灾害指标的历史数据采用极端随机树方法，实施集成化回归分析，预测出农业灾害指标，筛选出对农业灾害影响最大的指标组合作为影响因子。
对特定农业灾害指标的历史数据构造极端随机树，使用特定农灾指标历史数据集合里的所有数据作为样本数据，对所有样本随机分裂并选取特征，随机选择特征值划分决策树，对决策树预测出的指标值按照占比或概率进行排序，结合其各自对应的特征数据筛选出对农业灾害影响最大的指标集合作为影响因子。
步骤4，根据影响因子从云平台抽取与极端天气、农业灾害相关的文本、图像对应的时空数据立方体，利用长短期神经网络LSTM处理文本特征，利用卷积神经网络处理图像特征，将处理后的文本特征和图像特征输入到激活函数Softmax中形成一个向量，作为联合特征表示。
如图4所示，根据确定的影响因子，在词嵌入的基础上引入知识图谱构建实体表示，由LSTM神经网络处理文本特征，捕捉除统计特征之外的情感特征，从而丰富文本特征，过程包括：
将文本特征分为正向情感样本、中性情感样本和负向情感样本，分别对三种样本进行分词和词向量化，将转化后的向量表示分别输入LSTM神经网络中，根据正、中、负三种情感样本分别训练出覆盖正向情感样本的LSTM模型、覆盖中性情感样本的LSTM模型、覆盖负向情感样本的LSTM模型，分别简称为正向情感模型、中性情感模型、负向情感模型。如此训练并测试，进而丰富文本表示，使其带有情感。
针对图像特征，通过卷积神经网络提取其深层特征。
将丰富情感之后的文本特征和图像的深层特征输入激活函数softmax形成联合特征表示，构建深度神经网络，以该联合特征表示为输入，以历史农业灾害指标预测为辅助学习任务，构建辅助学习网络，通过最小化预测误差，进一步训练特征提取器以加大对数据的解析力度；
步骤5，从云平台中抽取代表极端天气和农业灾害数据的时空数据立方体，将时空数据立方体转化为由无纲量序列组成的无纲量平面。
利用灰色关联度，从时空数据立方体中按空间逐层抽取数据，每一层数据按照时间维度组成序列，并将所有数据取值压缩至[0,1]范围内，由此通过消除空间维度、保留时间维度和0-1值域标准化，将数据立方体转化为由若干无纲量序列组成的二维平面。将时空数据立方体的子集极端天气数据立方体、农业灾害数据立方体分别转化为由若干无量纲序列组成的极端天气无量纲平面和农业灾害无量纲平面，如图5所示。
步骤6，在无量纲平面之间按序列相关度将具有关联关系的极端天气数据与农业灾害数据进行映射，在无量纲平面内部按序列相关性寻找同类型数据之间的关联关系。
为使不同属性特征的数据转化为利于比较分析和评价决策的数值，通常涉及数据无量纲化处理。灰色系统关联分析法实质上是关联系数的分析。先是求各个方案与由最佳指标组成的理想方案的关联系数，由关联系数得到关联度，再按关联度的大小进行排序、分析，得出结论。这种方法优于经典的精确数学方法，经过把意图、观点和要求概念化、模型化，从而使所研究的灰色系统从结构、模型、关系上逐渐由黑变白，使不明确的因素逐渐明确。
由无纲量序列转换和层次型序列映射，构建层次型灰色关联模型，从而挖掘出极端天气与农业灾害之间关联关系。层次型灰色关联模型如图6所示，一方面如左侧所示，在无量纲平面之间按序列相关度，将具有关联关系的极端天气数据与农业灾害数据进行映射；另一方面如右侧所示，在无量纲平面内部，按序列相关性寻找同类型数据间之间的关联关系，从而加大数据关联挖掘力度。根据评价目的确定评价指标体系，逐个计算每个被评价对象指标序列与参考序列对应元素的绝对差值；计算关联系数，分别计算每个比较序列与参考序列对应元素的关联系数，由关联系数得到关联度，再按关联度的大小进行排序、分析，得出结论。
步骤7，根据极端天气与农业灾害的关联关系，从云平台时空数据立方体中按时间与空间提取气象与农业关联数据分组，使用多核学习并根据联合特征表示将关联数据分组表征为带有全局时空特性的二维特征平面集合。
如图7所示，按时间与空间提取若干气象与农业关联使用多核学习进行数据分组，根据影响农业灾害发生的影响因子，获取若干特征的联合特征表示，从而将关联数据分组表征为带有全局时空特性的若干二维特征平面集合。在此基础上，采用含有多层卷积与池化操作深度神经网络，逐个解析各关联数据分组，加大对全局时空二维特征平面解析力度，最终形成涵盖各分组的高层特征序列，逐步计算农灾发生概率。
步骤8，在二维特征平面集合基础上构建带有全局时空特性的农业灾害预测的神经网络，计算农灾发生概率。
如图8所示，神经网络包括多层卷积层和池化层，融入时间跳跃机制，通过指定跳跃单元个数，一次性预测未来某段时间范围内的农业灾害发生概率。将时间窗口t-N～t内的高层特征序列作为输入，即为标记Pt系列的神经元，N为任意个单位时间；在中间层手动指定需要跳跃的时间单元个数，即为标记bh系列的神经元；从而预测出若干时间单元之后某一时间窗口内的农业灾害发生概率，即为标记b0系列的神经元；迭代执行上述过程，将预测结果作为下一轮跳跃预测的资料输入。
Claims (7)
1.一种基于关键影响因子的全局时空气象农灾预测方法，其特征在于，该预测方法包括以下步骤：
步骤1，将农业气象异构数据上传至云平台，利用第一神经网络对异构数据按照时间与空间进行融合，融合成时空数据立方体，对时空数据立方体进行聚合；
步骤2，对聚合后的时空数据立方体进行分析并获取关键特征数据，从关键特征数据中收集特定农业灾害指标的历史数据；
步骤3，对特定农业灾害指标的历史数据采用极端随机树方法，实施集成化回归分析，预测出农业灾害指标，筛选出对农业灾害影响最大的指标组合作为影响因子；
步骤4，根据影响因子从云平台抽取与极端天气、农业灾害相关的文本、图像对应的时空数据立方体，利用LSTM神经网络处理文本特征，利用卷积神经网络处理图像特征，将处理后的文本特征和图像特征输入到激活函数Softmax中形成一个向量，作为联合特征表示；以该联合特征表示为输入，以历史农业灾害指标预测为辅助学习任务，构建辅助学习网络，通过最小化预测误差，训练特征提取器；
步骤5，从云平台中抽取代表极端天气和农业灾害数据的时空数据立方体，将时空数据立方体转化为由若干无纲量序列组成的无纲量平面；
步骤6，在无量纲平面之间按序列相关度将具有关联关系的极端天气数据与农业灾害数据进行映射，在无量纲平面内部按序列相关性寻找同类型数据之间的关联关系；
步骤7，根据极端天气与农业灾害的关联关系，从云平台时空数据立方体中按时间与空间提取气象与农业关联数据分组，并根据联合特征表示将关联数据分组表征为带有全局时空特性的二维特征平面集合；
步骤8，在二维特征平面集合基础上构建带有全局时空特性的农业灾害预测的第二神经网络，计算农灾发生概率。
2.根据权利要求1所述的预测方法，其特征在于，利用第一神经网络对异构数据按照时间与空间进行融合过程包括：
将不同农业气象异构数据、上下文描述符及当前时空步长的时空观测量共同建模作为输入，利用反向传播算法训练的前馈神经网络；得到融合后的时空数据立方体。
3.根据权利要求1所述的预测方法，其特征在于，利用层次聚类从关键特征数据中收集特定农业灾害指标的历史数据，包括：输入融合后的异构数据作为样本集合，类簇数设置条件以试错计算方法选取能够使得每一类信息所占系统的比例不确定度低的数值，将样本集合中的所有样本点当做一个独立类簇，取两个类中距离最近的两个样本的距离作为这两个集合的距离，重复计算两两类簇之间的距离且距离最小的两个类簇，直到达到预先设定的样本距离阈值，将结束时得到的数据集合作为特定农业灾害指标的历史数据。
4.根据权利要求3所述的预测方法，其特征在于，所述步骤3包括：
对特定农业灾害指标的历史数据构造极端随机树，使用特定农灾指标历史数据集合里的所有数据作为样本数据，对所有样本随机分裂并选取特征，随机选择特征值划分决策树，对决策树预测出的指标值按照占比或概率进行排序，结合各自对应的特征数据筛选出对农业灾害影响最大的指标集合作为影响因子。
5.根据权利要求1所述的预测方法，其特征在于，利用LSTM神经网络处理文本特征包括：将文本特征分为正向情感样本、中性情感样本和负向情感样本，分别对三种样本进行分词和词向量化，将转化成的向量表示分别输入LSTM神经网络中，根据正、中、负三种情感样本分别训练出覆盖正向情感样本的LSTM模型、覆盖中性情感样本的LSTM模型、覆盖负向情感样本的LSTM模型，分别简称为正向情感模型、中性情感模型、负向情感模型。
6.根据权利要求5所述的预测方法，其特征在于，所述步骤5包括：
利用灰色关联度，从时空数据立方体中按空间逐层抽取数据，每一层数据按照时间维度组成序列，并将所有数据取值压缩至[0,1]范围内，将数据立方体转化为由若干无纲量序列组成的二维平面。
7.根据权利要求6所述的预测方法，其特征在于，所述步骤8包括：所述第二神经网络包括多层卷积层和池化层，融入时间跳跃机制，通过指定跳跃单元个数，一次性预测未来某段时间范围内的农业灾害发生概率：
将时间窗口t-N～t内的高层特征序列作为输入，在中间层手动指定需要跳跃的时间单元个数，从而预测出若干时间单元之后某一时间窗口内的农业灾害发生概率，迭代执行上述过程，将预测结果作为下一轮跳跃预测的资料输入。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210441892.3A CN114819344B (zh) | 2022-04-25 | 2022-04-25 | 一种基于关键影响因子的全局时空气象农灾预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210441892.3A CN114819344B (zh) | 2022-04-25 | 2022-04-25 | 一种基于关键影响因子的全局时空气象农灾预测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114819344A true CN114819344A (zh) | 2022-07-29 |
| CN114819344B CN114819344B (zh) | 2024-10-18 |
Family
ID=82508240
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210441892.3A Active CN114819344B (zh) | 2022-04-25 | 2022-04-25 | 一种基于关键影响因子的全局时空气象农灾预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114819344B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117132883A (zh) * | 2023-05-08 | 2023-11-28 | 江苏商贸职业学院 | 一种基于gis的智慧农业灾害判别方法及系统 |
| CN118410214A (zh) * | 2024-07-04 | 2024-07-30 | 浪潮智慧科技有限公司 | 一种基于稀疏矩阵的气象数据处理方法、设备及介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104239706A (zh) * | 2014-09-05 | 2014-12-24 | 中国科学院寒区旱区环境与工程研究所 | 一种地面观测气温时空数据集的制备方法 |
| WO2020047739A1 (zh) * | 2018-09-04 | 2020-03-12 | 安徽中科智能感知大数据产业技术研究院有限责任公司 | 基于多时序属性元素深度特征的小麦重度病害预测方法 |
| CN112116160A (zh) * | 2020-09-25 | 2020-12-22 | 国网新疆电力有限公司电力科学研究院 | 一种基于优化神经网络改进元胞自动机的重要输电通道灾害监测方法 |
| CN112785066A (zh) * | 2021-01-27 | 2021-05-11 | 北京师范大学 | 基于卷积-递归神经网络的全球野火次季节时空预测方法 |
| CN113112794A (zh) * | 2021-03-31 | 2021-07-13 | 四川省气象服务中心(四川省专业气象台 四川省气象影视中心) | 基于时空气象网格的交通事故发生率预测方法 |
-
2022
- 2022-04-25 CN CN202210441892.3A patent/CN114819344B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104239706A (zh) * | 2014-09-05 | 2014-12-24 | 中国科学院寒区旱区环境与工程研究所 | 一种地面观测气温时空数据集的制备方法 |
| WO2020047739A1 (zh) * | 2018-09-04 | 2020-03-12 | 安徽中科智能感知大数据产业技术研究院有限责任公司 | 基于多时序属性元素深度特征的小麦重度病害预测方法 |
| CN112116160A (zh) * | 2020-09-25 | 2020-12-22 | 国网新疆电力有限公司电力科学研究院 | 一种基于优化神经网络改进元胞自动机的重要输电通道灾害监测方法 |
| CN112785066A (zh) * | 2021-01-27 | 2021-05-11 | 北京师范大学 | 基于卷积-递归神经网络的全球野火次季节时空预测方法 |
| CN113112794A (zh) * | 2021-03-31 | 2021-07-13 | 四川省气象服务中心(四川省专业气象台 四川省气象影视中心) | 基于时空气象网格的交通事故发生率预测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 张宇波;成丽君;: "农业气象灾害等级优化预测仿真研究", 计算机仿真, no. 06, 15 June 2017 (2017-06-15) * |
| 郭建平;: "农业气象灾害监测预测技术研究进展", 应用气象学报, no. 05, 15 September 2016 (2016-09-15) * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117132883A (zh) * | 2023-05-08 | 2023-11-28 | 江苏商贸职业学院 | 一种基于gis的智慧农业灾害判别方法及系统 |
| CN117132883B (zh) * | 2023-05-08 | 2024-03-19 | 江苏商贸职业学院 | 一种基于gis的智慧农业灾害判别方法及系统 |
| CN118410214A (zh) * | 2024-07-04 | 2024-07-30 | 浪潮智慧科技有限公司 | 一种基于稀疏矩阵的气象数据处理方法、设备及介质 |
| CN118410214B (zh) * | 2024-07-04 | 2024-10-01 | 浪潮智慧科技有限公司 | 一种基于稀疏矩阵的气象数据处理方法、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114819344B (zh) | 2024-10-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6940278B2 (ja) | 予め計算されたモデルの結果の検索 | |
| Ballabio et al. | The Kohonen and CP-ANN toolbox: a collection of MATLAB modules for self organizing maps and counterpropagation artificial neural networks | |
| CN110135502B (zh) | 一种基于强化学习策略的图像细粒度识别方法 | |
| Jalalkamali | Using of hybrid fuzzy models to predict spatiotemporal groundwater quality parameters | |
| CN114819344B (zh) | 一种基于关键影响因子的全局时空气象农灾预测方法 | |
| CN110737805B (zh) | 图模型数据的处理方法、装置和终端设备 | |
| CN110968069A (zh) | 风力发电机组的故障预测方法、相应的装置及电子设备 | |
| CN112327903A (zh) | 一种基于深度混合密度网络的航空器轨迹生成方法 | |
| CN108764527B (zh) | 一种土壤有机碳库时空动态预测最优环境变量筛选方法 | |
| CN115577294B (zh) | 一种基于兴趣点空间分布和语义信息的城市区域分类方法 | |
| CN110260914A (zh) | 一种基于测点时空特征的工程安全监测系统区域划分方法 | |
| CN117408167A (zh) | 基于深度神经网络的泥石流灾害易发性预测方法 | |
| CN113743453A (zh) | 一种基于随机森林的人口数量预测方法 | |
| Murayama et al. | Spatial analysis: Evolution, methods, and applications | |
| CN116151107B (zh) | 一种岩浆型镍钴成矿潜力的识别方法、系统及电子设备 | |
| CN107908915A (zh) | 预测隧道挤压变形的建模及分析方法、设备和存储介质 | |
| CN116882584A (zh) | 一种航班延误预测方法及系统 | |
| CN116701873A (zh) | 基于主客观信息融合表示的行为危险倾向预测方法及系统 | |
| CN117093890A (zh) | 一种能源资源开发区域生态环境综合评价方法 | |
| CN115660221B (zh) | 基于混合神经网络的油气藏经济可采储量评估方法及系统 | |
| Zhang et al. | Variable stage self-correcting grey clustering model | |
| Shi | Comparison of Real Estate Price Prediction Based on LSTM and LGBM | |
| Miłek et al. | Comparative GIS analysis using taxonomy and classification techniques | |
| Gokila et al. | Clustering and Classification in Support of Climatology to mine Weather Data–A Review | |
| Mulla et al. | The Use of Clustering and Classification Methods in Machine Learning and Comparison of Some Algorithms of the Methods |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |