CN110147403A - 农业大数据融合方法、装置、设备及存储介质 - Google Patents

农业大数据融合方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110147403A
CN110147403A CN201910434623.2A CN201910434623A CN110147403A CN 110147403 A CN110147403 A CN 110147403A CN 201910434623 A CN201910434623 A CN 201910434623A CN 110147403 A CN110147403 A CN 110147403A
Authority
CN
China
Prior art keywords
data
sequence data
sequence
fused
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910434623.2A
Other languages
English (en)
Inventor
庄家煜
许世卫
李干琼
邸佳颖
王盛威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Agricultural Information Institute of CAAS
Original Assignee
Agricultural Information Institute of CAAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Agricultural Information Institute of CAAS filed Critical Agricultural Information Institute of CAAS
Priority to CN201910434623.2A priority Critical patent/CN110147403A/zh
Publication of CN110147403A publication Critical patent/CN110147403A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2474—Sequence data queries, e.g. querying versioned data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明实施例公开了一种农业大数据融合方法、装置、设备及存储介质。该方法包括：获取原始序列数据并对所述原始序列数据通过预处理得到预处理后的序列数据，对所述预处理后的序列数据与预设的滤波算子进行卷积运算得到滤波后的序列数据，将滤波后的序列数据通过池化运算算子得到池化后的特征；根据池化后的特征进行数据重构得到重构序列数据，将所述重构序列数据作为目标融合数据。本发明实施例的技术方案实现了更精确的对多源数据融合。

Description

农业大数据融合方法、装置、设备及存储介质
技术领域
本发明实施例涉及大数据技术领域，尤其涉及农业大数据融合的方法、装置、设备及存储介质。
背景技术
农业大数据具有高价值低密度复杂的特点，通过传统统计方法难以将农业大数据的数据价值完全挖掘出来。为了在保证农业大数据价值的充分利用，需要根据大数据的数据性能特征、使用环境、应用范围等多源异构数据来预测农业的生产的情况，从而支持农业信息化方案的优化。
目前，国内外关于农业大数据决策支持方面的方案较少，通常采用数据驱动类的农业大数据系统处理农业大数据，数据驱动类方法不需大量人力成本，具有良好的实用性和通用性。然而，现有技术中大多数数据驱动方法研究仅挖掘了传感器观测参数与历史决策结果的关联关系，未能充分估计各种农作物生长环境对农业生产的支持效果，从而限制了农业生产智能决策方法的应用效能。此外，现有技术中由于农作物生产过程中形成的大数据由农业生产过程中各类信息化设备所产生的数据所组成的多源参数序列所表征，多源参数序列具有较高的参数维度和数据量，无法更准确地对多源参数序列进行特征提取以进行数据压缩，同时不同类型设备采集的数据结构不同且采集时间不同步，为多源数据融合也带来了一定困难。
发明内容
本发明实施例提供了一种农业大数据融合的方法、装置、设备及存储介质，以实现更准确地对农业大数据进行融合。
第一方面，本发明实施例提供了一种农业大数据融合方法，该方法包括：
获取原始序列数据并对所述原始序列数据通过预处理得到预处理后的序列数据，其中，所述原始序列数据包括多种数据源的数值型数据和非数值型数据；
对所述预处理后的序列数据与预设的滤波算子进行卷积运算得到滤波后的序列数据，将滤波后的序列数据通过池化运算算子得到池化后的特征；
根据池化后的特征进行数据重构得到重构序列数据，将所述重构序列数据作为目标融合数据。
第二方面，本发明实施例还提供了一种农业大数据融合装置，该装置包括：
预处理模块，用于获取原始序列数据并对所述原始序列数据通过预处理得到预处理后的序列数据，其中，所述原始序列数据包括多种数据源的数值型数据和非数值型数据；
特征获取模块，用于对所述预处理后的序列数据与预设的滤波算子进行卷积运算得到滤波后的序列数据，将滤波后的序列数据通过池化运算算子得到池化后的特征；
目标融合数据确定模块，用于根据池化后的特征进行数据重构得到重构序列数据，将所述重构序列数据作为目标融合数据。
第三方面，本发明实施例还提供了一种农业大数据融合设备，该设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例中任一所述的农业大数据融合方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例中任一所述的农业大数据融合方法。
本发明实施例的技术方案通过获取原始序列数据并对所述原始序列数据通过预处理得到预处理后的序列数据，其中，所述原始序列数据包括多种数据源的数值型数据和非数值型数据，能够将原始序列数据处理为较为标准的数据。进而，对所述预处理后的序列数据与预设的滤波算子进行卷积运算得到滤波后的序列数据，将滤波后的序列数据通过池化运算算子得到池化后的特征，能够对原始序列数据提取出特征。进而，根据池化后的特征进行数据重构得到重构序列数据，将所述重构序列数据作为目标融合数据，实现对多源数据的融合。上述技术方案解决了现有技术中无法更准确地对多源参数序列进行特征提取以进行数据压缩的问题，实现更精确的对多源数据融合。
附图说明
图1是本发明实施例一中提供的一种农业大数据融合方法的流程图；
图2是本发明实施例二中提供的一种农业大数据融合方法的流程图；
图3是本发明实施例三中提供的一种农业大数据融合方法的流程图；
图4是本发明实施例四中提供的一种农业大数据融合装置的流程图；
图5是本发明实施例五中的提供的一种农业大数据融合设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
实施例一
图1为本发明实施例一提供的农业大数据融合方法的流程图，本实施例可适用于农业大数据融合的情况，尤其适用于多源农业大数据融合。该方法可以由农业大数据融合装置来执行，该装置可以由硬件和/或软件来实现，该装置可集成于设备(例如计算机)中来执行，具体包括如下步骤：
步骤101、获取原始序列数据并对所述原始序列数据通过预处理得到预处理后的序列数据，其中，所述原始序列数据包括多种数据源的数值型数据和非数值型数据。
其中，原始序列数据可以包含来自多种传感器(例如温度传感器、湿度传感器)采集到的数据，也可以包括科研人员通过人工观察到并进行记录的数据，可通过多元参数序列所表征，具有较高的参数维度和数据量。所述原始序列数据包括多种数据源的数值型数据和非数值型数据。示例性的，以农业领域为例，原始序列数据可以包括多种传感器(例如温度传感器、湿度传感器)采集到的农作物生产产业链中监测得到的各个环节数据，其中这些数据存在标准不统一，某些数据来源于农业科研人员凭借感观记录的数据，例如对于农作物的长势农业科研人员记录为“高”“矮”这类非量化的数据。不同科研人员记录的习惯不同，因此采集到的原始序列数据可能存在标准不统一的问题。
本实施中通过所述原始序列数据通过预处理，可以通过对原始序列数据进行数据清洗、数据填充等方式使原始序列数据进行标准化，去除冗余信息，保留关键信息，同时转化为可以进行数学运算的标准化的只包含数值的数据。
可选地，所述原始序列数据包括：
农作物生产产业链中监测得到的各个环节数据，包括实时温度、湿度、光照数据、病虫害数据、化肥、农药投入数据以及农作物长势数据中的至少一种。
可选的，所述原始序列数据包括：
农作物生产产业链中监测得到的各个环节数据，包括实时温度、湿度、光照数据、病虫害数据、化肥、农药投入数据以及农作物长势数据。
示例性的，以农业领域为例，原始序列数据包括农作物生产产业链中通过各种方式(例如传感器采集、人工记录的数据)
需要说明的是，针对不同种类的农作物，采集的原始序列数据相应的有所不同，可以根据农作物的生长规律等进行采集，同时采集数据的频率相应的不同。
举例而言，实时温度、湿度这两种数据可以每分钟采集1次，采集频率较高；光照数据则可以每天一次采集一次；病虫害数据、化肥、农药投入数据这三种为不定期数据，可根据实际需求采集，例如发生病虫害进行记录、农作物施肥时进行记录等；农作物长势数据可以每周采集1次等。
这些序列数据也可以根据农作物生产需要以及生长规律确定采集的频率、采集的时间等。
可以理解的是，本实施例中的序列将农作物生产产业链中监测得到的各个环节数据中的各维度数据对应着各个序列，例如实时温度、湿度等都是序列。
通过将本实施例的农业大数据融合方法用于农业生产领域中，可以充分估计各种农作物生长环境对农业生产的支持效果，充分体现农业生产智能决策方法的应用效能。
可选地，根据农作物的生长规律对所述农作物生产产业链中监测得到的各个环节数据中的各序列数据进行划分。
具体的，由于农作物有其独特的生长规律，因此可根据农作物的生长规律对所述农作物生产产业链中监测得到的各个环节数据中的各序列数据进行划分，划分为最优的序列。举例而言，某农作物的长势数据可以进一步划分为农作物初期长势、农作物中期长势、农作物后期长势等。也就是说，一个序列可以根据农作物的农作物生产特征、生育期特征等各阶段的特点划分为两个或两个以上的序列。这样设置的好处在于，能够更准确的描述原始序列数据，以根据农作物有其独特的生长规律选取合适的序列数据。
步骤102、对所述预处理后的序列数据与预设的滤波算子进行卷积运算得到滤波后的序列数据，将滤波后的序列数据通过池化运算算子得到池化后的特征。
其中，预设的滤波算子可以是常规的滤波运算算子，通过对所述预处理后的序列数据与预设的滤波算子进行卷积运算得到滤波后的序列数据。
通过将滤波后的序列数据通过池化操作得到池化后的特征，通过池化运算进一步提取原始序列数据的特征以进一步得到原始序列数据中的关键信息。
步骤103、根据池化后的特征进行数据重构得到重构序列数据，将所述重构序列数据作为目标融合数据。
其中，数据重构的算法并不限定，可以是常规的数据重构方法。举例而言，本实施例中数据重构通过根据池化后的特征，假设池化后的特征包含第一天的温度数据以及第三天的温度数据，通过数据重构可以确定出第二天的温度数据，该过程为数据重构的目的。最后，将重构序列数据作为目标融合数据，可以用于后续使用重构序列数据作为目标融合数据对相关领域进行预测。
示例性的，以农业领域为例，可以将目标融合数据运用于农业生产预测，例如可以采用目标融合数据控制农作物生长条件提高农作物的产量。
可选地，所述方法还可以包括：
确定所述重构序列数据与所述原始序列数据之间的重构误差；根据所述重构误差调节所述滤波算子与所述池化运算算子的运算参数得到优化参数；根据所述优化参数更新所述目标融合数据。
其中，重构误差可以通过计算重构序列数据与所述原始序列数据对应各个序列之间的绝对值、均方误差等反映估计量与被估计量之间差异程度的度量方法进行确定，通过使重构误差满足预设规则(例如使重构误差最小)对所述滤波算子与所述池化运算算子的运算参数得到优化参数，使得预处理后的序列数据根据优化参数能够更准确地进行特征提取，以确保池化后的特征能够有效地描述原始序列数据所包含的信息，从而，进一步使得目标融合数据更加准确地描述原始序列数据。需要说明的是，确定所述重构序列数据与所述原始序列数据之间的重构误差中的原始序列数据是事先可以计算出重构误差的序列数据(即可以是历史重构序列数据)，从而优化预设的滤波算子和所述池化运算算子。
本发明实施例的技术方案通过获取原始序列数据并对所述原始序列数据通过预处理得到预处理后的序列数据，其中，所述原始序列数据包括多种数据源的数值型数据和非数值型数据，能够将原始序列数据处理为较为标准的数据。进而，对所述预处理后的序列数据与预设的滤波算子进行卷积运算得到滤波后的序列数据，将滤波后的序列数据通过池化运算算子得到池化后的特征，能够对原始序列数据提取出特征。进而，根据池化后的特征进行数据重构得到重构序列数据，将所述重构序列数据作为目标融合数据，实现对多源数据的融合。上述技术方案解决了现有技术中无法更准确地对多源参数序列进行特征提取以进行数据压缩的问题，实现更精确的对多源数据融合。
实施例二
图2为本发明实施例二提供的一种农业大数据融合方法的流程图，本实施例在上述实施例的基础上，可选是获取历史序列数据，并确定出与所述历史序列数据对应的历史融合数据；根据所述历史融合数据以及与所述历史融合数据对应的类别信息训练预设的分类器以得到训练后的目标分类器。
在此基础上，进一步地，获取待融合的序列数据，并确定出与所述待融合的序列数据对应的融合数据；
将所述融合数据根据所述训练后的目标分类器进行分类得到分类结果，其中所述分类结果包括正样本以及负样本。
如图2为本发明实施例二提供的一种农业大数据融合方法的流程图。
步骤201、获取历史序列数据，并确定出与所述历史序列数据对应的历史融合数据。
其中，历史序列数据是指可以用于训练的历史序列数据，对于历史序列数据是否可用是已知的。历史融合数据则是通过本发明实施例一中的农业大数据融合方法得到的融合数据，将历史序列数据作为原始序列数据，并进行处理得到最终的目标融合数据作为历史融合数据。
步骤202、根据所述历史融合数据以及与所述历史融合数据对应的类别信息训练预设的分类器以得到训练后的目标分类器。
其中，可以包括机器学习中常见的分类器。例如可以是强分类器算法，包括xgboost算法等，强分类器算法基本原理是将许多弱分类器集成在一起形成一个强分类器，用于对数据进行分类。与所述历史融合数据对应的类别信息是指该历史融合数据为可用数据，还是不可用数据。可以理解的是，并不是所有的目标融合数据都是可用的，例如有些数据本身可能由于的采集错误与正常数据存在较大偏差，这些数据如果用在后续分析处理中，容易造成偏离实际的结果。
目标分类器是指根据所述历史融合数据以及与所述历史融合数据对应的类别信息训练预设的分类器以得到训练后的目标分类器，即对原始的分类器中的模型参数进行优化后的可以用于后续测试数据的分类的分类器。
步骤203、获取待融合的序列数据，并确定出与所述待融合的序列数据对应的融合数据。
其中，待融合的序列数据是指对应的各领域中实际采集到的序列数据。
步骤204、将所述融合数据根据所述训练后的目标分类器进行分类得到分类结果，其中所述分类结果包括正样本以及负样本。
其中，正样本表示数据可用，即表示可用于后续的处理分析环节。负样本表示数据不可用，即表示不可用于后续的处理分析环节。
可选的，可以将所述正样本用于农作物生产预测中得到农作物生产预测结果。
本实施例的技术方案通过获取历史序列数据，并确定出与所述历史序列数据对应的历史融合数据；根据所述历史融合数据以及与所述历史融合数据对应的类别信息训练预设的分类器以得到训练后的目标分类器，能够通过历史序列数据训练分类器，用于确定融合数据是否可用。进而，获取待融合的序列数据，并确定出与所述待融合的序列数据对应的融合数据；将所述融合数据根据所述训练后的目标分类器进行分类得到分类结果，其中所述分类结果包括正样本以及负样本，能够将实际的待融合的序列数据分为可用或不可用，用于后续的分析处理中。
实施例三
图3为本发明实施例三提供的一种农业大数据融合方法的流程图，本实施例在上述实施例的基础上，可选是，所述对所述原始序列数据通过预处理得到预处理后的序列数据，包括：
对所述原始序列数据进行归一化处理，得到归一化后的序列数据；
根据预设的排序规则对所述归一化后的序列数据进行排序得到排序结果；
对所述排序结果进行处理得到指标矩阵集合并创建所述指标矩阵集合的条件熵增长因子；
计算所述条件熵增长因子对应的最小条件熵增长参数；
根据所述最小条件熵增长参数更新所述预设的排序规则；
根据更新后的所述预设的排序规则对所述指标矩阵集合进行整合得到所述预处理后的序列数据。
如图3所示，本发明实施的方法具体包含以下步骤：
步骤301、对所述原始序列数据进行归一化处理，得到归一化后的序列数据。
步骤302、根据预设的排序规则对所述归一化后的序列数据进行排序得到排序结果。
步骤303、对所述排序结果进行处理得到指标矩阵集合并创建所述指标矩阵集合的条件熵增长因子。
步骤304、计算所述条件熵增长因子对应的最小条件熵增长参数。
步骤305、根据所述最小条件熵增长参数更新所述预设的排序规则。
步骤306、根据更新后的排序规则对所述指标矩阵集合进行整合得到所述预处理后的序列数据。
假设原始序列数据为Γ，对原始序列数据Γ进行归一化处理，其中归一化的方法可以是常见的归一化算法，例如可以将原始序列数据把数据映射到0～1范围之内处理,使处理更加便捷快速。得到归一化后的序列数据设为UΓ。然后根据预设的排序规则Ψ进行排序，其中预设的排序规则Ψ可以是根据实际需求设定的用于排序的函数，例如可以按照选定预设的一些序列，根据这些序列的数据的大小对归一化后的序列数据进行排序，也可以按照其他规则进行排序，排序后的序列数据形成了数据矩阵集合UΓ(Ψ)，其中UΓ(Ψ)表示归一化后的序列数据UΓ通过排序规则Ψ得到的数据矩阵集合。根据数据矩阵集合UΓ(Ψ)对其进行完备化处理，例如对数据矩阵集合UΓ(Ψ)缺少数据的位置填充0，实现数据的完备化，从而创建指标矩阵集合Ωt，并创建Ωt的条件熵增长因子A(Ωt)，寻找最小条件熵增长参数τ*，其中，τ*＝arg mintA(Ωt)表示计算所述条件熵增长因子取最小值时，对应的最小条件熵增长参数，通过计算出的最小条件熵增长参数τ*，求出Ψτ*(变量取τ*时，函数Ψ对应的值)，即根据所述最小条件熵增长参数τ*更新所述预设的排序规则；根据更新后的排序规则对所述指标矩阵集合进行整合(对指标矩阵集合根据更新后的排序规则重新排序)得到所述预处理后的序列数据，预处理后的序列数据不包含非数值型数据，便于后续计算。举例而言，假设原始序列数据为Γ包含N个序列，求出的τ*可以包含N个序列中的n个序列(其中n≤N)，此时预设的排序规则根据求出的τ*进行了更新，根据更新的排序规则对指标矩阵集合重新排序。
步骤307、对所述预处理后的序列数据与预设的滤波算子进行卷积运算得到滤波后的序列数据，将滤波后的序列数据通过池化运算算子得到池化后的特征。
步骤308、根据池化后的特征进行数据重构得到重构序列数据，将所述重构序列数据作为目标融合数据。
本实施例的技术方案通过对所述原始序列数据进行归一化处理，得到归一化后的序列数据；根据预设的排序规则对所述归一化后的序列数据进行排序得到排序结果；对所述排序结果进行处理得到指标矩阵集合并创建所述指标矩阵集合的条件熵增长因子；计算所述条件熵增长因子对应的最小条件熵增长参数；根据所述最小条件熵增长参数更新所述预设的排序规则；根据更新后的排序规则对所述指标矩阵集合进行整合得到所述预处理后的序列数据，能够去除原始序列数据存在的冗余信息，并对原始序列数据进行标准化，从而用于后续的特征提取。
实施例四
图4是本发明实施例四中提供的一种农业大数据融合装置的结构示意图。本发明实施例所提供的农业大数据融合装置可执行本发明任意实施例所提供的农业大数据融合方法，该装置的具体结构如下：预处理模块41、特征获取模块42以及目标融合数据确定模块43。
预处理模块41，用于获取原始序列数据并对所述原始序列数据通过预处理得到预处理后的序列数据，其中，所述原始序列数据包括多种数据源的数值型数据和非数值型数据；
特征获取模块42，用于对所述预处理后的序列数据与预设的滤波算子进行卷积运算得到滤波后的序列数据，将滤波后的序列数据通过池化运算算子得到池化后的特征；
目标融合数据确定模块43，用于根据池化后的特征进行数据重构得到重构序列数据，将所述重构序列数据作为目标融合数据。
本发明实施例的技术方案通过获取原始序列数据并对所述原始序列数据通过预处理得到预处理后的序列数据，其中，所述原始序列数据包括多种数据源的数值型数据和非数值型数据，能够将原始序列数据处理为较为标准的数据。进而，对所述预处理后的序列数据与预设的滤波算子进行卷积运算得到滤波后的序列数据，将滤波后的序列数据通过池化运算算子得到池化后的特征，能够对原始序列数据提取出特征。进而，根据池化后的特征进行数据重构得到重构序列数据，将所述重构序列数据作为目标融合数据，实现对多源数据的融合。上述技术方案解决了现有技术中无法更准确地对多源参数序列进行特征提取以进行数据压缩的问题，实现更精确的对多源数据融合。
在上述技术方案的基础上，农业大数据融合装置还可以包括：参数优化模块。
其中，参数优化模块用于确定所述重构序列数据与所述原始序列数据之间的重构误差；
根据所述重构误差调节所述滤波算子与所述池化运算算子的运算参数得到优化参数；
根据所述优化参数更新所述目标融合数据。
在上述技术方案的基础上，农业大数据融合装置还可以包括：分类器训练模块。
分类器训练模块，用于：获取历史序列数据，并确定出与所述历史序列数据对应的历史融合数据；
根据所述历史融合数据以及与所述历史融合数据对应的类别信息训练预设的分类器以得到训练后的目标分类器。
在上述技术方案的基础上，农业大数据融合装置还可以包括：分类模块。
分类模块，用于：获取待融合的序列数据，并确定出与所述待融合的序列数据对应的融合数据；
将所述融合数据根据所述训练后的目标分类器进行分类得到分类结果，其中所述分类结果包括正样本以及负样本。
在上述技术方案的基础上，预处理模块41具体可用于：
对所述原始序列数据进行归一化处理，得到归一化后的序列数据；
根据预设的排序规则对所述归一化后的序列数据进行排序得到排序结果；
对所述排序结果进行处理得到指标矩阵集合并创建所述指标矩阵集合的条件熵增长因子；
计算所述条件熵增长因子对应的最小条件熵增长参数；
根据所述最小条件熵增长参数更新所述预设的排序规则；
根据更新后的所述预设的排序规则对所述指标矩阵集合进行整合得到所述预处理后的序列数据。
示例性地，所述原始序列数据包括：
农作物生产产业链中监测得到的各个环节数据，包括实时温度、湿度、光照数据、病虫害数据、化肥、农药投入数据以及农作物长势数据中的至少一种。
示例性地，在上述技术方案的基础上，农业大数据融合装置还可以包括：序列划分模块。
序列划分模块，用于根据农作物的生长规律对所述农作物生产产业链中监测得到的各个环节数据中的各序列数据进行划分。
本发明实施例所提供的农业大数据融合装置可执行本发明任意实施例所提供的农业大数据融合的方法，具备执行方法相应的功能模块和有益效果。
实施例五
图5为本发明实施例五提供的一种农业大数据融合设备的结构示意图，如图5所示，该设备包括处理器50、存储器51、输入装置52和输出装置53；设备中处理器50的数量可以是一个或多个，图5中以一个处理器50为例；设备中的处理器50、存储器51、输入装置52和输出装置53可以通过总线或其他方式连接，图5中以通过总线连接为例。
存储器51作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的农业大数据融合方法对应的程序指令/模块(例如，农业大数据融合装置中的预处理模块41、特征获取42模块以及目标融合数据确定模块43)。处理器50通过运行存储在存储器51中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的农业大数据融合方法。
存储器51可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器51可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器51可进一步包括相对于处理器50远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置52可用于接收输入的原始序列数据，输出装置53可包括显示屏等显示设备。
实施例六
本发明实施例六还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种农业大数据融合方法，该方法包括：
获取原始序列数据并对所述原始序列数据通过预处理得到预处理后的序列数据，其中，所述原始序列数据包括多种数据源的数值型数据和非数值型数据；
对所述预处理后的序列数据与预设的滤波算子进行卷积运算得到滤波后的序列数据，将滤波后的序列数据通过池化运算算子得到池化后的特征；
根据池化后的特征进行数据重构得到重构序列数据，将所述重构序列数据作为目标融合数据。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的农业大数据融合方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述医学农业大数据融合装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种农业大数据融合方法，其特征在于，包括：
获取原始序列数据并对所述原始序列数据通过预处理得到预处理后的序列数据，其中，所述原始序列数据包括多种数据源的数值型数据和非数值型数据；
对所述预处理后的序列数据与预设的滤波算子进行卷积运算得到滤波后的序列数据，将滤波后的序列数据通过池化运算算子得到池化后的特征；
根据池化后的特征进行数据重构得到重构序列数据，将所述重构序列数据作为目标融合数据。
2.根据权利要求1所述的方法，其特征在于，还包括：
确定所述重构序列数据与所述原始序列数据之间的重构误差；
根据所述重构误差调节所述滤波算子与所述池化运算算子的运算参数得到优化参数；
根据所述优化参数更新所述目标融合数据。
3.根据权利要求2所述的方法，其特征在于，还包括：
获取历史序列数据，并确定出与所述历史序列数据对应的历史融合数据；
根据所述历史融合数据以及与所述历史融合数据对应的类别信息训练预设的分类器以得到训练后的目标分类器。
4.根据权利要求3所述的方法，其特征在于，还包括：
获取待融合的序列数据，并确定出与所述待融合的序列数据对应的融合数据；
将所述融合数据根据所述训练后的目标分类器进行分类得到分类结果，其中所述分类结果包括正样本以及负样本。
5.根据权利要求1所述的方法，其特征在于，所述对所述原始序列数据通过预处理得到预处理后的序列数据，包括：
对所述原始序列数据进行归一化处理，得到归一化后的序列数据；
根据预设的排序规则对所述归一化后的序列数据进行排序得到排序结果；
对所述排序结果进行处理得到指标矩阵集合并创建所述指标矩阵集合的条件熵增长因子；
计算所述条件熵增长因子对应的最小条件熵增长参数；
根据所述最小条件熵增长参数更新所述预设的排序规则；
根据更新后的所述预设的排序规则对所述指标矩阵集合进行整合得到所述预处理后的序列数据。
6.根据权利要求1所述的方法，其特征在于，所述原始序列数据包括：
农作物生产产业链中监测得到的各个环节数据，包括实时温度、湿度、光照数据、病虫害数据、化肥、农药投入数据以及农作物长势数据中的至少一种。
7.根据权利要求6所述的方法，其特征在于，还包括：
根据农作物的生长规律对所述农作物生产产业链中监测得到的各个环节数据中的各序列数据进行划分。
8.一种农业大数据融合装置，其特征在于，包括：
预处理模块，用于获取原始序列数据并对所述原始序列数据通过预处理得到预处理后的序列数据，其中，所述原始序列数据包括多种数据源的数值型数据和非数值型数据；
特征获取模块，用于对所述预处理后的序列数据与预设的滤波算子进行卷积运算得到滤波后的序列数据，将滤波后的序列数据通过池化运算算子得到池化后的特征；
目标融合数据确定模块，用于根据池化后的特征进行数据重构得到重构序列数据，将所述重构序列数据作为目标融合数据。
9.一种农业大数据融合设备，其特征在于，所述设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的农业大数据融合方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的农业大数据融合方法。
CN201910434623.2A 2019-05-23 2019-05-23 农业大数据融合方法、装置、设备及存储介质 Pending CN110147403A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910434623.2A CN110147403A (zh) 2019-05-23 2019-05-23 农业大数据融合方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910434623.2A CN110147403A (zh) 2019-05-23 2019-05-23 农业大数据融合方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN110147403A true CN110147403A (zh) 2019-08-20

Family

ID=67592967

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910434623.2A Pending CN110147403A (zh) 2019-05-23 2019-05-23 农业大数据融合方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110147403A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111638306A (zh) * 2020-06-11 2020-09-08 中国农业科学院农业信息研究所 一种作物动态监控方法、装置、设备和系统
CN111814866A (zh) * 2020-07-02 2020-10-23 深圳市万物云科技有限公司 一种病虫害预警方法、装置、计算机设备及存储介质
CN115374094A (zh) * 2022-08-05 2022-11-22 广州中长康达信息技术有限公司 多源数据融合方法、智能终端以及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106503799A (zh) * 2016-10-11 2017-03-15 天津大学 基于多尺度网络的深度学习模型及在脑状态监测中的应用
CN106845371A (zh) * 2016-12-31 2017-06-13 中国科学技术大学 一种城市路网机动车尾气排放遥感监控系统
CN106951919A (zh) * 2017-03-02 2017-07-14 浙江工业大学 一种基于对抗生成网络的流速监测实现方法
CN108090447A (zh) * 2017-12-19 2018-05-29 青岛理工大学 双分支深层结构下的高光谱图像分类方法及装置
CN108122008A (zh) * 2017-12-22 2018-06-05 杭州电子科技大学 基于稀疏表示和多特征决策级融合的sar图像识别方法
CN108433722A (zh) * 2018-02-28 2018-08-24 天津大学 便携式脑电采集设备及其在ssvep和运动想象中的应用
CN109147048A (zh) * 2018-07-23 2019-01-04 复旦大学 一种利用单张彩色图的三维网格重建方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106503799A (zh) * 2016-10-11 2017-03-15 天津大学 基于多尺度网络的深度学习模型及在脑状态监测中的应用
CN106845371A (zh) * 2016-12-31 2017-06-13 中国科学技术大学 一种城市路网机动车尾气排放遥感监控系统
CN106951919A (zh) * 2017-03-02 2017-07-14 浙江工业大学 一种基于对抗生成网络的流速监测实现方法
CN108090447A (zh) * 2017-12-19 2018-05-29 青岛理工大学 双分支深层结构下的高光谱图像分类方法及装置
CN108122008A (zh) * 2017-12-22 2018-06-05 杭州电子科技大学 基于稀疏表示和多特征决策级融合的sar图像识别方法
CN108433722A (zh) * 2018-02-28 2018-08-24 天津大学 便携式脑电采集设备及其在ssvep和运动想象中的应用
CN109147048A (zh) * 2018-07-23 2019-01-04 复旦大学 一种利用单张彩色图的三维网格重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王晓萌: "基于特征融合的视觉关注算法研究", 《中国博士学位论文全文数据库 信息科技辑》 *
谭治学 等: "多源数据融合的民航发动机修后性能预测", 《北京航空航天大学学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111638306A (zh) * 2020-06-11 2020-09-08 中国农业科学院农业信息研究所 一种作物动态监控方法、装置、设备和系统
CN111638306B (zh) * 2020-06-11 2022-05-17 中国农业科学院农业信息研究所 一种作物动态监控方法、装置、设备和系统
CN111814866A (zh) * 2020-07-02 2020-10-23 深圳市万物云科技有限公司 一种病虫害预警方法、装置、计算机设备及存储介质
CN115374094A (zh) * 2022-08-05 2022-11-22 广州中长康达信息技术有限公司 多源数据融合方法、智能终端以及存储介质
CN115374094B (zh) * 2022-08-05 2024-08-02 广州中长康达信息技术有限公司 多源数据融合方法、智能终端以及存储介质

Similar Documents

Publication Publication Date Title
Nie et al. Artificial intelligence and digital twins in sustainable agriculture and forestry: a survey
CN110147403A (zh) 农业大数据融合方法、装置、设备及存储介质
Joy et al. A survey on expert system in agriculture
Lu et al. Image classification and identification for rice leaf diseases based on improved WOACW_SimpleNet
Qu et al. A lightweight network for mummy berry disease recognition
Jie RETRACTED ARTICLE: Precision and intelligent agricultural decision support system based on big data analysis
Song et al. Image-based apple disease detection based on residual neural network and transfer learning
Singh et al. Leaf Disease Detection Using Deep Neural Network
Bilal et al. Increasing crop quality and yield with a machine learning-based crop monitoring system
CN117152609A (zh) 一种农作物外形特征检测系统
Pietersma et al. Induction and evaluation of decision trees for lactation curve analysis
CN116579873A (zh) 基于高温干旱气象评估作物灾害减产情况的方法及系统
CN109934352A (zh) 智能模型的自动进化方法
Mowla et al. Weeds Detection Networks
Chakraborty et al. Expert system for integrated stress management in jute (Corchorus olitorius L. and C. capsularis L.)
CN114120035A (zh) 一种医学影像识别训练方法
CN114300122A (zh) 基于电子病历的作物病害诊断方法及系统
WO2020218157A1 (ja) 予測システム、予測方法、および予測プログラム
Hang et al. Identification of tomato diseases using skip-gram and LSTM based on QA (Question-Answer) system
Bajpai et al. Analysis of agricultural toolset based on artificial intelligence
Gunarathna et al. Efficient deep learning models for tomato plant disease classification based on leaf image
Hanafi et al. Performance Evaluation of Rice Seed Classification System Based on The CNN with VGG-GoogleNet Architecture
Liu et al. An improved Deeplab V3+ network based coconut CT image segmentation method
Jiang et al. Crop and weed classification based on AutoML
Pabitha et al. A digital footprint in enhancing agricultural practices with improved production using machine learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190820

RJ01 Rejection of invention patent application after publication