CN110175151A - 一种农业大数据的处理方法、装置、设备和存储介质 - Google Patents
一种农业大数据的处理方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN110175151A CN110175151A CN201910431369.0A CN201910431369A CN110175151A CN 110175151 A CN110175151 A CN 110175151A CN 201910431369 A CN201910431369 A CN 201910431369A CN 110175151 A CN110175151 A CN 110175151A
- Authority
- CN
- China
- Prior art keywords
- data
- big data
- agriculture big
- agriculture
- distributed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 26
- 238000003860 storage Methods 0.000 title claims abstract description 20
- 238000004140 cleaning Methods 0.000 claims abstract description 33
- 238000012545 processing Methods 0.000 claims abstract description 31
- 238000004458 analytical method Methods 0.000 claims abstract description 19
- 238000007405 data analysis Methods 0.000 claims abstract description 11
- 238000012271 agricultural production Methods 0.000 claims description 5
- 238000013500 data storage Methods 0.000 claims description 5
- 230000007613 environmental effect Effects 0.000 claims description 5
- 238000007726 management method Methods 0.000 claims description 4
- 238000009826 distribution Methods 0.000 claims description 3
- 238000012098 association analyses Methods 0.000 claims description 2
- 230000000903 blocking effect Effects 0.000 claims description 2
- 238000004590 computer program Methods 0.000 claims 1
- 238000000034 method Methods 0.000 abstract description 14
- 239000000047 product Substances 0.000 description 19
- 230000015654 memory Effects 0.000 description 17
- 238000004519 manufacturing process Methods 0.000 description 9
- 240000008042 Zea mays Species 0.000 description 8
- 235000002017 Zea mays subsp mays Nutrition 0.000 description 8
- 235000005824 Zea mays ssp. parviglumis Nutrition 0.000 description 7
- 235000005822 corn Nutrition 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000012544 monitoring process Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000001556 precipitation Methods 0.000 description 3
- 238000009360 aquaculture Methods 0.000 description 2
- 244000144974 aquaculture Species 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- 235000016383 Zea mays subsp huehuetenangensis Nutrition 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000009395 breeding Methods 0.000 description 1
- 230000001488 breeding effect Effects 0.000 description 1
- 235000013339 cereals Nutrition 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 239000003337 fertilizer Substances 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000010903 husk Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 235000009973 maize Nutrition 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 239000000575 pesticide Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000009331 sowing Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/13—File access structures, e.g. distributed indices
- G06F16/134—Distributed indices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/02—Agriculture; Fishing; Forestry; Mining
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mining & Mineral Resources (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Health & Medical Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- General Health & Medical Sciences (AREA)
- Marketing (AREA)
- Quality & Reliability (AREA)
- Marine Sciences & Fisheries (AREA)
- Animal Husbandry (AREA)
- Agronomy & Crop Science (AREA)
- Software Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Economics (AREA)
Abstract
本发明实施例公开了一种农业大数据的处理方法、装置、设备和存储介质，该方法包括：采集农业大数据；将农业大数据进行清洗处理，根据清洗后的农业大数据形成关系型数据库；将农业大数据存储到分布式文件数据系统中；建立分布式搜索引擎；当接收到搜索请求时，分布式搜索引擎调用分布式文件数据系统和关系型数据库中的农业大数据并进行数据分析，根据分析结果进行反馈。实现了对农业大数据的近实时搜索、分析、高效和合理的应用。
Description
技术领域
本发明实施例涉及大数据领域，尤其涉及一种农业大数据的处理方法、装置、设备和存储介质。
背景技术
近年来，随着各种智能传感终端在农业领域的应用，使农业数据来源更加广泛、新颖、多样。由于农业数据体量大、实时性强、关联度高，因此如何对农业大数据进行合理的应用具有重大的意义。
目前国内外关于农业大数据的研究主要集中在如何对农业大数据进行采集和如何对采集到的农业大数据进行存储，通过对农业大数据的分析为农业决策提供依据。
虽然农业大数据可以为农业决策提供可靠的数据支撑，但目前对农业大数据的应用仍然不够完善，往往需要用户自己建立农业大数据相关数据库，对农业大数据的应用存在不合理并且效率低的现象。
发明内容
本发明实施例提供一种农业大数据的处理方法、装置、设备和存储介质，以实现农业大数据的高效、合理应用。
第一方面，本发明实施例提供了一种农业大数据的处理方法，包括：
采集农业大数据；
将农业大数据进行清洗处理，根据清洗后的农业大数据形成关系型数据库；
将农业大数据存储到分布式文件数据系统中；
建立分布式搜索引擎；
当接收到搜索请求时，分布式搜索引擎调用分布式文件数据系统和关系型数据库中的农业大数据并进行数据分析，根据分析结果进行反馈。
第二方面，本发明实施例提供了一种农业大数据的处理装置，包括：
数据采集模块：用于采集农业大数据；
分布式文件数据系统：用于存储数据采集模块采集到的农业大数据；
数据清洗模块：用于清洗数据采集模块采集到的农业大数据，得到关系型数据库；
分布式搜索引擎建立模块：用于建立分布式搜索引擎；
农业大数据应用模块：用于调用分布式文件数据系统和关系型数据库中的农业大数据并对分析数据，将分析结果返回给应用端。
第三方面，本发明实施例提供了一种农业大数据的处理设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现上述第一方面所述的农业大数据的处理方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，包括：
该程序被处理器执行时实现上述第一方面所述的农业大数据的处理方法。
本发明实施例提供的一种农业大数据的处理方法、装置、设备和存储介质，通过采集农业大数据并对农业大数据进行清洗处理，并分别将采集到的农业大数据存储到分布式文件数据系统和关系型数据库中。当接收到搜索请求时，建立的分布式搜索引擎调用分布式文件数据系统和关系型数据库中的农业大数据并进行分析，根据分析结果进行反馈。本方案不需要用户自己建立农业数据库，解决了对农业大数据的应用不合理并且效率低的现象，实现了农业大数据的近实时搜索、分析、高效并且合理的应用。
附图说明
图1为本发明实施例一提供的一种农业大数据的处理方法的流程图；
图2为本方面实施例一提供的一种农业大数据的处理方法的应用场景图；
图3是本发明实施例二提供的一种农业大数据的处理装置的结构示意图；
图4是本发明实施例三提供的一种农业大数据的处理设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种农业大数据处理方法的流程图，本实施例可适用于任一种对农业大数据进行处理的情况，该方法可以由农业大数据的处理装置执行，该装置可以通过软件和/或硬件的方式实现，并集成在执行本方法的设备中，在本实施例中执行本方法的设备可以是计算机、平板电脑和/或手机等可以执行搜索操作的任意一种智能终端。具体的，参考图1，该方法具体包括如下步骤：
S110、采集农业大数据。
具体的，本实施例所述的农业大数据是多种农业数据的集合，可以包括农业自然资源与环境数据、农业生产数据、农业市场数据和/或农业管理数据等。其中，农业自然资源与环境数据包括土地资源数据、水资源数据、气象资源数据、生物资源数据和灾害数据等。农业生产数据包括种植业生产数据和养殖业生产数据。其中，种植业生产数据包括良种信息、地块耕种历史信息、育苗信息、播种信息、农药信息、化肥信息、农膜信息、灌溉信息、农机信息和/或农情信息等；养殖业数据包括个体系谱信息、个体特征信息、饲料结构信息、圈舍环境信息和/或疫情情况等。农业市场数据包括市场供求信息、价格行情、生产资料市场信息、价格及利润、流通市场和/或国际市场信息等。农业管理数据包括国民经济基本信息、国内生产信息、贸易信息、国际农产品动态信息和/或突发事件信息等。
进一步的，本实施例可以通过多传感器信息融合技术、高光谱遥感技术、无线传感网络技术或人工智能技术采集农业大数据。例如：通过将温度传感器和风压传感器相融合，同时获得某一地区的温度和风压；通过高光谱分析空气中水汽的变化量；通过网络爬虫手段获取互联网中已经存在的农业大数据等。
S120、将农业大数据进行清洗处理，根据清洗后的农业大数据形成关系型数据库。
为了实现农业大数据的高效应用，需要将采集的农业大数据进行清洗处理，补充农业大数据中的缺失数据、清洗噪声数据、重复数据和/或不一致数据，保证农业大数据的准确性。具体的，可以通过手工补充缺失数据或利用平均数据代替缺失数据。例如：采集某地2019年每月的平均降水量，通过筛查发现数据中缺失6月的降水量，通过人工查询该地6月的平均降水量并补充到数据库中；可以通过统计分析的方法识别可能的错误值或异常值或通过不同属性间的约束来清理数据。例如：采集某地2009年-2019年十年的玉米产量，通过偏差分析识别出明显不符合当地生产情况的数值，并对其进行删除。
进一步的，通过分析采集的农产品市场数据、气象数据、农业生产数据和/或农业消费数据之间的关系，形成关系型数据库。例如：建立玉米的产量与不同地区气象数据的关系，进而可以确定在何种地区种植玉米可以使玉米的产量达到最大化；通过建立市场玉米需求量与玉米生种植量的关系，进而可以确定最合适的玉米种植量等。
可选的，将清洗后的农业大数据以文档的形式存储到关系型数据库中。
S130、将农业大数据存储到分布式文件数据系统中。
具体的，分布式文件数据系统将数据存储在多个存储节点中，并对数据进行统一管理。例如：本实施例中将农业大数据存储在多台服务器中，服务器的具体数目可以为100台或者操过超过100台，并对所有服务器中的农业大数据进行统一管理。示例性的，可以将采集到的农业大数据以文档的形式存储到分布式文件数据系统中。
S140、建立分布式搜索引擎。
具体的，为了实现农业大数据的高效应用，构建了一个分布式、高度伸缩、近实时搜索的搜索引擎。
进一步的，建立分布式搜索引擎首先将关系型数据库与分布式文件数据系统中的农业大数据进行分块化处理；然后建立搜索目录、索引编辑器、索引分段器和索引读取器；选择最佳的分区策略，并对分区进行复制；建立事务日志。具体的，将农业大数据分块为：农产品生产数据、农产品消费数据和/或农产品市场数据；搜索目录可以用来读写文件、访问或维护搜索索引；索引编辑器可以用来添加、删除或更新索引；索引分段用来将索引分段；索引读取器用来执行搜索索引，一旦索引读取器打开，索引读取器不会发现其打开之后的索引变化情况，如果要感知索引编辑器产生的索引变化，需要刷新索引读取器。通常情况下，每隔一秒钟刷新一次索引读取器，可以实现分布式搜索引擎的近实时搜索。
使用分布式目录的方式，对关系型数据库与分布式文件数据系统中的农业大数据进行分区。其中，每个分区都可以独立的处理查询并且可以非常简单的添加以文档为单位的索引信息。例如：每个节点分块执行搜索，搜索完成后返回数据信息，最后将各节点搜索的结果进行合并。使用推模式，对关系型数据库与分布式文件数据系统中的农业大数据进行复制。具体的，在主分区中索引一个文档，其他分区会自动复制该文档并索引，一旦文档索引完毕，那么该文档在所有的分片及副本上都是立即可用的，只需要刷新一下索引读取器就能搜索到新的数据。该操作可以在搜索过程中灵活的切换各个节点，例如：包含主区的节点出现故障，可以快速的切换到其他节点，不会出现无法反馈输出结果的情况。建立事务日志可以通过周期性的将关系型数据库与分布式文件数据系统中的农业大数据存储到磁盘；可以通过使用共享途径，周期性的生成数据改变的快照，并存储到共享存储中；还可以通过共享同行资源来实现。当分块数据从一个节点迁移到另一个节点时，要保证不会删除搜索的段文件，再迁移这些段文件，这时索引会发生改变，索引结束后，可以同规格事务日志在分块数据上进行恢复。示例性性的，分布式搜索引擎支持通过超文本传输协议(HyperText Transfer Protocol,Http)使用JavaScript对象简谱(JavaScript ObjectNotation,JSON)进行数据索引。
S150、当接收到搜索请求时，分布式搜索引擎调用分布式文件数据系统和关系型数据库中的数据并进行数据分析，根据分析结果进行反馈。
具体的，分布式搜索引擎通过应用程序编程接口(Application ProgrammingInterface，API)接口接收到搜索请求，自动调用分布式文件数据系统和关系型数据库中的农业大数据并进行数据分析，通过API接口反馈分析结果；可以通过分类算法、聚类算法或预测算法等对数据进行分析。进一步的，反馈结果可以实现农产品监测预警、农产品消费监测预警、农产品生产监测预警和/或农产品产销智能决策等。
图2为本实施例一的一个具体应用场景。具体的，采集农产品市场数据和/或气象数据，并将采集到的农产品市场数据和/或气象数据存储到分布式文件数据系统中。对采集到的农产品市场数据和/或气象数据进行数据清洗，并将清洗后的数据存储到关系型数据库中。分布式搜索引擎通过API接口，接收到应用请求时，分布式搜索引擎会调用分布式文件数据系统和关系型数据库中的数据，并进行数据分析，并通过API接口将结果反馈到应用端。实现了农产品市场监测预警、农产品消费监测预警、农产品生产监测预警和/或农产品产销智能决策等核心应用。
本实施例提供的技术方案，通过对采集到的农业大数据进行清洗处理，分别建立了分布式文件数据系统和关系型数据库，并通过分布式搜索引擎搜索出与搜索请求相关的农业大数据，实现了对农业大数据的近实时、稳定、和快速搜索并对数据进行分析，解决了农业大数据应用不合理并且效率低的现象。
实施例二
图3为本发明实施例二提供的一种农业大数据的装置，该装置适用于对农业大数据进行高效应用的情况。如图3所示，该装置包括：
数据采集模块310，用于采集包括农产品市场数据、气象数据、农业生产数据和农业消费数据在内的农业大数据；
分布式文件数据系统320，用于存储数据采集模块采集到的农业大数据；
数据清洗模块330，用于清洗数据采集模块采集到的农业大数据，得到关系型数据库340，具体的，数据清洗模块330可以包括：空缺值清洗模块、噪声数据清洗模块、不一致数据清洗模块和/或重复数据清洗模块等。其中，空缺值清洗模块用于清洗农业大数据中的空缺数据。噪声数据清洗模块用于清洗农业大数据中的噪声数据。不一致数据清洗模块用于清洗农业大数据中的不一致数据。重复数据清洗模块用于清洗农业大数据中的重复数据。
具体的，通过对采集的农业大数据进行清洗处理，进一步提高了农业大数据搜索结果的精度。分布式搜索引擎建立模块350，用于建立分布式搜索引擎，包括数据分块模块、搜索目录建立模块、索引编辑器建立模块、索引分段器建立模块和/或索引读取器建立模块等。具体的，通过数据分块模块可以将农业大数据分块为：农业自然资源与环境数据、农业生产数据、农业市场数据和/或农业管理数据等。通过搜索目录建立模块可以对文件进行读写操作。通过索引编辑器建立模块可以实现添加索引文档、删除索引文档和/或更新索引文档。通过索引分段器建立模块可以将搜索的索引分为多个段，分别对不同的段同时进行搜索，加快了搜索速度。通过索引读取器建立模块可以执行搜索索引，不断的刷新索引读取器建立模块实现了分布式搜索引擎的近实时搜索。
农业大数据应用模块360，用于调用分布式文件数据系统和关系型数据库中的农业大数据并对分析数据，将分析结果返回给应用端。
具体的，通过数据分析模块对农业数据进行分析。数据分析模块可以包括分类算法处理模块、聚类算法处理模块、关联分析处理模块和/或预测算法模块。
可选的，应用端可以是农产品市场监测预警、农产品消费监测预警、农产品生产监测预警和/或农产品产销智能决策等。
发明实施例所提供的农业大数据处理装置可以用来执行上述实施例所提供的一种农业大数据处理方法，具备执行方法相应的功能模块和有益效果。
实施例三
图4为本发明实施例三提供的一种农业大数据处理设备的结构示意图，如图4所示，该设备包括处理器40、存储器41、输入装置42和输出装置43；设备中处理器40的数量可以是一个或多个，图4中以一个处理器40为例；设备中的处理器40、存储器41、输入装置42和输出装置43可以通过总线或其他方式连接，图4中以通过总线连接为例。
存储器41作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的农业大数据处理方法对应的程序指令/模块(例如：农业大数据处理装置中的数据采集模块310、分布式文件数据系统320、数据清洗模块330、关系型数据库340、分布式搜索引擎建立模块350和农业大数据应用模块360)。处理器40通过运行存储在存储器41中的软件程序、指令以及模块，从而执行设备/终端/服务器的各种功能应用以及数据处理，即实现上述的农业大数据处理方法。
存储器41可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器41可以包括高速随机存取存储器，还可以包括非易失性存储器，例如：至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器41可进一步包括相对于处理器40远程设置的存储器，这些远程存储器可以通过网络连接至设备/终端/服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置42可用于接收输入的数字或字符信息，以及产生与智能设备的用户设置以及功能控制有关的键信号输入。输出装置43可包括显示屏等显示设备。
本实施例提供的一种农业大数据处理设备可用于执行上述任意实施例提供的农业大数据的处理方法，具备相应的功能和有益效果。
实施例四
本发明实施例四还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种农业大数据的处理，该方法包括：
采集农业大数据；
将农业大数据进行清洗处理，根据清洗后的农业大数据形成关系型数据库；
将农业大数据存储到分布式文件数据系统中；
建立分布式搜索引擎；
当接收到搜索请求时，分布式搜索引擎调用分布式文件数据系统和关系型数据库中的农业大数据并进行数据分析，根据分析结果进行反馈。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的农业大数据的处理方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述处理装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种农业大数据的处理方法，其特征在于，包括：
采集农业大数据；
将所述农业大数据进行清洗处理，根据清洗后的农业大数据形成关系型数据库；
将所述农业大数据存储到分布式文件数据系统中；
建立分布式搜索引擎；
当接收到搜索请求时，所述分布式搜索引擎调用所述分布式文件数据系统和所述关系型数据库中的农业大数据并进行数据分析，根据分析结果进行反馈。
2.根据权利要求1所述的一种农业大数据的处理方法，其特征在于，所述农业大数据包括：农业自然资源与环境数据、农业生产数据、农业市场数据和/或农业管理数据。
3.根据权利要求1所述的一种农业大数据的处理方法，其特征在于，所述将农业大数据进行清洗处理，包括：空缺值的清洗、噪声数据的清洗、不一致数据的清洗和/或重复数据的清洗。
4.根据权利要求1所述的一种农业大数据的处理方法，其特征在于，所述建立分布式搜索引擎，包括：对所述关系型数据库与所述分布式文件数据系统中的农业大数据进行分块化处理、分区、分区复制和/或建立事务日志。
5.根据权利要求4所述的一种农业大数据的处理方法，其特征在于，所述对所述关系型数据库与所述分布式文件数据系统中的农业大数据进行分块化处理、分区、分区复制和/或建立事务日志，包括：
使用分布式目录的方式，对所述关系型数据库与所述分布式文件数据系统中的农业大数据进行分区；或者，
使用推模式，对所述关系型数据库与所述分布式文件数据系统中的农业大数据进行复制；或者，
周期性的将所述关系型数据库与所述分布式文件数据系统中的农业大数据存储到磁盘。
6.根据权利要求1所述的一种农业大数据的处理方法，其特征在于，所述分布式搜索引擎通过应用程序编程接口API接口接收搜索请求。
7.根据权利要求1所述的一种农业大数据的处理方法，其特征在于，所述分布式搜索引擎调用所述分布式文件数据系统和所述关系型数据库中的数据并进行数据分析，包括：
调用所述分布式文件数据系统和所述关系型数据库中的农业大数据；
根据预设算法对调用的农业大数据进行数据分析，所述预设算法包括：分类算法、聚类算法、关联分析算法和/或预测算法。
8.一种农业大数据的处理装置，其特征在于，包括：
数据采集模块：用于采集农业大数据；
分布式文件数据系统：用于存储数据采集模块采集到的农业大数据；
数据清洗模块：用于清洗数据采集模块采集到的农业大数据，得到关系型数据库；
分布式搜索引擎建立模块：用于建立分布式搜索引擎；
农业大数据应用模块：用于调用所述分布式文件数据系统和关系型数据库中的农业大数据并对分析数据，将分析结果返回给应用端。
9.一种农业大数据的处理设备，其特征在于，所述设备包括：
一个或多个处理器；存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的农业大数据的处理方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的农业大数据的处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910431369.0A CN110175151A (zh) | 2019-05-22 | 2019-05-22 | 一种农业大数据的处理方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910431369.0A CN110175151A (zh) | 2019-05-22 | 2019-05-22 | 一种农业大数据的处理方法、装置、设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110175151A true CN110175151A (zh) | 2019-08-27 |
Family
ID=67691899
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910431369.0A Pending CN110175151A (zh) | 2019-05-22 | 2019-05-22 | 一种农业大数据的处理方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110175151A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111638306A (zh) * | 2020-06-11 | 2020-09-08 | 中国农业科学院农业信息研究所 | 一种作物动态监控方法、装置、设备和系统 |
| CN111899885A (zh) * | 2020-06-28 | 2020-11-06 | 万达信息股份有限公司 | 一种分布式人员事件索引实现方法和系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102169507A (zh) * | 2011-05-26 | 2011-08-31 | 厦门雅迅网络股份有限公司 | 一种分布式实时搜索引擎 |
| CN103258036A (zh) * | 2013-05-15 | 2013-08-21 | 广州一呼百应网络技术有限公司 | 一种基于p2p的分布式实时搜索引擎 |
| EP2752779A2 (en) * | 2013-01-07 | 2014-07-09 | Facebook, Inc. | System and method for distributed database query engines |
| CN109033387A (zh) * | 2018-07-26 | 2018-12-18 | 广州大学 | 一种融合多源数据的物联网搜索系统、方法及存储介质 |
| CN109189752A (zh) * | 2018-10-12 | 2019-01-11 | 国网山东省电力公司电力科学研究院 | 基于智能检索技术的电力营销知识库系统 |
| CN109272155A (zh) * | 2018-09-11 | 2019-01-25 | 郑州向心力通信技术股份有限公司 | 一种基于大数据的企业行为分析系统 |
| CN109344223A (zh) * | 2018-09-18 | 2019-02-15 | 青岛理工大学 | 一种基于云计算技术的建筑信息模型管理系统及方法 |
| CN109376909A (zh) * | 2018-09-27 | 2019-02-22 | 中国农业科学院农业信息研究所 | 一种农产品监测预警模型系统 |
| CN109389352A (zh) * | 2017-08-02 | 2019-02-26 | 余汶龙 | 消费养老管理系统 |
-
2019
- 2019-05-22 CN CN201910431369.0A patent/CN110175151A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102169507A (zh) * | 2011-05-26 | 2011-08-31 | 厦门雅迅网络股份有限公司 | 一种分布式实时搜索引擎 |
| EP2752779A2 (en) * | 2013-01-07 | 2014-07-09 | Facebook, Inc. | System and method for distributed database query engines |
| CN103258036A (zh) * | 2013-05-15 | 2013-08-21 | 广州一呼百应网络技术有限公司 | 一种基于p2p的分布式实时搜索引擎 |
| CN109389352A (zh) * | 2017-08-02 | 2019-02-26 | 余汶龙 | 消费养老管理系统 |
| CN109033387A (zh) * | 2018-07-26 | 2018-12-18 | 广州大学 | 一种融合多源数据的物联网搜索系统、方法及存储介质 |
| CN109272155A (zh) * | 2018-09-11 | 2019-01-25 | 郑州向心力通信技术股份有限公司 | 一种基于大数据的企业行为分析系统 |
| CN109344223A (zh) * | 2018-09-18 | 2019-02-15 | 青岛理工大学 | 一种基于云计算技术的建筑信息模型管理系统及方法 |
| CN109376909A (zh) * | 2018-09-27 | 2019-02-22 | 中国农业科学院农业信息研究所 | 一种农产品监测预警模型系统 |
| CN109189752A (zh) * | 2018-10-12 | 2019-01-11 | 国网山东省电力公司电力科学研究院 | 基于智能检索技术的电力营销知识库系统 |
Non-Patent Citations (1)
| Title |
|---|
| 分布式搜索引擎ELASTICSEARCH: "阿吖嗄", 《HTTPS://WWW.JIANSHU.COM/P/A78EDBEF7A27》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111638306A (zh) * | 2020-06-11 | 2020-09-08 | 中国农业科学院农业信息研究所 | 一种作物动态监控方法、装置、设备和系统 |
| CN111638306B (zh) * | 2020-06-11 | 2022-05-17 | 中国农业科学院农业信息研究所 | 一种作物动态监控方法、装置、设备和系统 |
| CN111899885A (zh) * | 2020-06-28 | 2020-11-06 | 万达信息股份有限公司 | 一种分布式人员事件索引实现方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Tantalaki et al. | Data-driven decision making in precision agriculture: The rise of big data in agricultural systems | |
| Hällfors et al. | Shifts in timing and duration of breeding for 73 boreal bird species over four decades | |
| Channe et al. | Multidisciplinary model for smart agriculture using internet-of-things (IoT), sensors, cloud-computing, mobile-computing & big-data analysis | |
| Majumdar et al. | Analysis of agriculture data using data mining techniques: application of big data | |
| An et al. | Exploring complexity in a human–environment system: an agent-based spatial model for multidisciplinary and multiscale integration | |
| Sarker et al. | Promoting digital agriculture through big data for sustainable farm management | |
| Cuaron | A global perspective on habitat disturbance and tropical rainforest mammals | |
| Godar et al. | Who is responsible for deforestation in the Amazon? A spatially explicit analysis along the Transamazon Highway in Brazil | |
| Hu et al. | Environmental drivers of annual population fluctuations in a trans-Saharan insect migrant | |
| Céréghino et al. | Spatial analysis of stream invertebrates distribution in the Adour-Garonne drainage basin (France), using Kohonen self organizing maps | |
| US10448582B2 (en) | Method and system for agriculture field clustering and ecological forecasting | |
| Hadley et al. | Tropical forest fragmentation limits pollination of a keystone understory herb | |
| Dambacher et al. | Analyzing pelagic food webs leading to top predators in the Pacific Ocean: a graph-theoretic approach | |
| MacLeod et al. | Measuring partner choice in plant–pollinator networks: using null models to separate rewiring and fidelity from chance | |
| Adams et al. | The impact of land use change on migrant birds in the Sahel | |
| CN110175151A (zh) | 一种农业大数据的处理方法、装置、设备和存储介质 | |
| Vikranth | An implementation of IoT and data analytics in smart agricultural system–A systematic literature review | |
| Jie | RETRACTED ARTICLE: Precision and intelligent agricultural decision support system based on big data analysis | |
| Whittingham et al. | Habitat associations of British breeding farmland birds | |
| Bandi et al. | Voting classifier-based crop recommendation | |
| CN106503271A (zh) | 移动互联网和云计算环境下子空间Skyline查询的智能商店选址系统 | |
| Donnelly et al. | Flood‐irrigated agriculture mediates climate‐induced wetland scarcity for summering sandhill cranes in western North America | |
| Pilliod et al. | Leveraging rangeland monitoring data for wildlife: from concept to practice | |
| Hu et al. | 5G‐Oriented IoT Big Data Analysis Method System | |
| Sayed et al. | A conceptual framework for using big data in Egyptian agriculture |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190827 |
|
| RJ01 | Rejection of invention patent application after publication |