CN110674143A - 一种免耕机作业信息监测系统及方法 - Google Patents

一种免耕机作业信息监测系统及方法 Download PDF

Info

Publication number
CN110674143A
CN110674143A CN201910993294.5A CN201910993294A CN110674143A CN 110674143 A CN110674143 A CN 110674143A CN 201910993294 A CN201910993294 A CN 201910993294A CN 110674143 A CN110674143 A CN 110674143A
Authority
CN
China
Prior art keywords
operation information
information monitoring
cluster
data
monitoring data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910993294.5A
Other languages
English (en)
Inventor
杨宏伟
冯欣
张剑飞
张婧
张昕
刘妍
宋晓龙
高升
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun University of Science and Technology
Original Assignee
Changchun University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun University of Science and Technology filed Critical Changchun University of Science and Technology
Priority to CN201910993294.5A priority Critical patent/CN110674143A/zh
Publication of CN110674143A publication Critical patent/CN110674143A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2471—Distributed queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Forestry; Mining
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Mathematical Physics (AREA)
  • Strategic Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Fuzzy Systems (AREA)
  • Primary Health Care (AREA)
  • Probability & Statistics with Applications (AREA)
  • Economics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Mining & Mineral Resources (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Animal Husbandry (AREA)
  • Agronomy & Crop Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开一种免耕机作业信息监测系统及方法。该系统包括：服务器和多个区域计算机；每个区域计算机与对应区域内的各个免耕机的作业信息采集终端无线通讯连接，用于采集对应区域内的各个免耕机的作业信息监测数据；每个区域计算机均与服务器连接，用于将作业信息监测数据传输到服务器；各个区域计算机均配置有MySQL数据库；服务器和多个区域计算机构成Hadoop集群、Kafka集群和Flume集群、Spark集群、Zookeeper集群。Hadoop集群、Kafka集群、Zookeeper集群和Flume集群用于实现数据的传输，Spark集群用于实现数据的处理。本发明能够降低对本地服务器硬件配置的要求。

Description

一种免耕机作业信息监测系统及方法
技术领域
本发明涉及免耕机监测领域，特别是涉及一种免耕机作业信息监测系统及方法。
背景技术
21世纪以来，农业物联网得到广泛使用，智慧农业时代逐渐来临，各地为了推行农机的使用，发布了多条惠民政策，这让免耕机及其他农机的使用数量成指数上涨，其应用范围也不断扩大。随之而来的是人们对农机，特别是免耕机作业状态的监测需求也越来越强烈，但大多面临着如何存储与处理海量数据的难题。
针对此难题，目前的处理方案大多采用购买更大的服务器，或购买更大的云数据库，虽然它们具有创建快速、故障自动、可按需扩展切换等优点，但对本地服务器的硬件配置要求太高。
发明内容
本发明的目的是提供一种免耕机作业信息监测系统及方法，降低对本地服务器硬件配置的要求。
为实现上述目的，本发明提供了如下方案：
一种免耕机作业信息监测系统，包括：服务器和多个区域计算机；每个区域计算机与对应区域内的各个免耕机的作业信息采集终端无线通讯连接，用于采集对应区域内的各个免耕机的作业信息监测数据；每个区域计算机均与所述服务器连接，用于将所述作业信息监测数据传输到所述服务器；
各个所述区域计算机均配置有MySQL数据库；
所述服务器被配置为Hadoop主节点，每个所述区域计算机均被配置为从属于所述Hadoop主节点的Hadoop从节点，从而形成Hadoop集群；在所述Hadoop集群的基础上所述服务器被配置为Kafka主节点和Flume主节点；在所述Hadoop集群的基础上各个区域计算机被配置为Kafka从节点和Flume从节点，从而形成Kafka集群和Flume集群；
各主节点负责管理所在集群的从节点；
所述区域计算机将采集到的所述作业信息监测数据存储到所述MySQL数据库中，所述Kafka集群的Kafka从节点将所述MySQL数据库中的所述作业信息监测数据发送到Flume从节点，各个所述Flume从节点将所述作业信息监测数据发送到Flume主节点，所述Flume主节点将所述作业信息监测数据存储到Hadoop主节点中的分布式文件系统中。
可选的，在所述Hadoop集群的基础上所述服务器被配置为Zookeeper主节点，在所述Hadoop集群的基础上各个区域计算机被配置为Zookeeper从节点，从而形成Zookeeper集群；所述Zookeeper集群用于协调数据的传输，防止所述作业信息监测数据在所述MySQL数据库与所述Kafka从节点之间传输时出现积压。
可选的，在所述Hadoop集群的基础上所述服务器被配置为Spark主节点，在所述Hadoop集群的基础上各个区域计算机被配置为Spark从节点，从而形成Spark集群；所述Spark集群用于对所述作业信息监测数据进行处理。
可选的，所述作业信息采集终端包括落籽检测传感器、称重传感器、定位模块和霍尔传感器；所述落籽检测传感器用于检测落籽量，所述称重传感器用于测量所施肥料的重量；所述定位模块用于对免耕机的进行定位；所述霍尔传感器用于检测免耕机的作业速度。
可选的，所述作业信息采集终端与所述区域计算机之间采用LoRa(Long RangeRadio，远距离无线电)无线通讯方式进行数据传输。
可选的，所述Kafka从节点与所述MySQL数据库采用MaxWell程序建立连接。
可选的，所述服务器连接有显示装置；所述显示装置用于接收所述服务器传输的所述作业信息监测数据和数据处理结果并进行显示。
一种免耕机作业信息监测方法，应用于上述的免耕机作业信息监测系统；该监测方法包括：
通过无线通讯方式获取对应区域内的各个免耕机的作业信息采集终端采集的作业信息监测数据；
将所述作业信息监测数据存储到所述MySQL数据库中；
利用MaxWell程序将所述MySQL数据库中的作业信息监测数据发送到所述Kafka集群的Kafka从节点；
将所述作业信息监测数据从所述Kafka从节点传输到Flume从节点；
将所述作业信息监测数据从所述Flume从节点传输到Flume主节点；
由所述Flume主节点将所述作业信息监测数据写入到Hadoop主节点中的分布式文件系统中。
根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明的免耕机作业信息监测系统及方法，利用Kafka和Flume将数据转存到Hadoop的分布式文件文件系统上，解决了海量数据的存储问题，且Hadoop集群的使用与使用云服务或购买更大的服务器相比，提高了存储能力，更加经济适用，降低了对本地服务器硬件配置的要求。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1免耕机作业信息监测系统的系统结构图；
图2为本发明实施例2免耕机作业信息监测方法的方法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明由LoRa通信将采集到的免耕机作业信息监测数据传送到对应的区域计算机并存放到该区域计算机的MySQL数据库中，通过Kafka不断接收区域计算机传递来的免耕机作业信息监测数据(包括免耕机的落籽数、施肥量、故障信息、耕地速度、位置信息、株距、行距、心跳检测等数据)，随后通过Flume将Kafka中的数据收集并上传到HDFS中。利用Spark对收集到的数据进行实时处理，同时利用时间序列预测算法对免耕机作业信息监测数据进行分析，实现对免耕机故障的智能预测。最后进行数据可视化展示：将免耕机的播种情况、实时工作状态和预测的工作状态展示在手机APP、大屏、计算机网页web端。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例1：
图1为本发明实施例1免耕机作业信息监测系统的系统结构图。
参见图1，该免耕机作业信息监测系统，包括：服务器和多个区域计算机；每个区域计算机与对应区域内的各个免耕机的作业信息采集终端无线通讯连接，用于采集对应区域内的各个免耕机的作业信息监测数据；每个区域计算机均与所述服务器连接，用于将所述作业信息监测数据传输到所述服务器；
所述区域计算机A覆盖范围包括安装在免耕机A1上的作业信息采集终端AA1、免耕机A2上的作业信息采集终端AA2……及免耕机An上的作业信息采集终端AAn；区域计算机B覆盖范围包括安装在免耕机B1上的作业信息采集终端BB1、免耕机B2上的作业信息采集终端BB2……及免耕机Bn上的作业信息采集终端BBn；区域计算机M覆盖范围包括安装在免耕机M1上的作业信息采集终端MM1、免耕机M2上的作业信息采集终端MM2……及免耕机Mn上的作业信息采集终端MMn。其中所述区域计算机中的A、B……M为不同区域计算机或各集群节点的编号。所述作业信息采集终端中的1、2……n为不同作业信息采集终端的编号。
各个所述区域计算机均配置有MySQL数据库；
所述服务器被配置为Hadoop主节点，每个所述区域计算机均被配置为从属于所述Hadoop主节点的Hadoop从节点，从而形成Hadoop集群；在所述Hadoop集群的基础上所述服务器被配置为Kafka主节点和Flume主节点；在所述Hadoop集群的基础上各个区域计算机被配置为Kafka从节点和Flume从节点，从而形成Kafka集群和Flume集群；
各主节点负责管理所在集群的从节点；
所述区域计算机将采集到的所述作业信息监测数据存储到所述MySQL数据库中，所述Kafka集群的Kafka从节点将所述MySQL数据库中的所述作业信息监测数据发送到Flume从节点，各个所述Flume从节点将所述作业信息监测数据发送到Flume主节点，所述Flume主节点将所述作业信息监测数据存储到Hadoop主节点中的分布式文件系统中。
在所述Hadoop集群的基础上所述服务器被配置为Zookeeper主节点，在所述Hadoop集群的基础上各个区域计算机被配置为Zookeeper从节点，从而形成Zookeeper集群；所述Zookeeper集群用于协调数据的传输，防止所述作业信息监测数据在所述MySQL数据库与所述Kafka从节点之间传输时出现积压。
在所述Hadoop集群的基础上所述服务器被配置为Spark主节点，在所述Hadoop集群的基础上各个区域计算机被配置为Spark从节点，从而形成Spark集群；所述Spark集群用于对所述作业信息监测数据进行处理。所述服务器配置有MySQL数据库。Spark主节点将处理后的数据存到服务器处的MySQL数据库中。
所述作业信息采集终端包括落籽检测传感器、称重传感器、定位模块和霍尔传感器、MCU微控制器；所述落籽检测传感器用于检测落籽量，所述称重传感器用于测量所施肥料的重量；所述定位模块用于对免耕机的进行定位；所述霍尔传感器用于检测免耕机的作业速度。落籽检测传感器、称重传感器、定位模块和霍尔传感器均将采集到的作业信息监测数据传输到MCU微控制器。由MCU微控制器发送出去的作业信息监测数据除落籽量、施肥量、定位数据和作业速度外，还包括故障信息、株距、行距、心跳检测数据等。其中故障信息由MCU微控制器对各传感器的数据进行初步分析得到。株距和行距为外界输入的预设值。心跳检测数据为在接收到的心跳包后根据是否接收到心跳包而生成的返回数据。
所述作业信息采集终端与所述区域计算机之间采用LoRa无线通讯方式进行数据传输，具体为，在所述作业信息采集终端的MCU微控制器通过LoRa通信模块将采集到的作业信息监测数据发送出去，并由区域计算机的LoRa通信模块接收，然后将接收到的作业信息监测数据存入到区域计算机的MySQL数据库中；同时，区域计算机通过LoRa通信模块向作业信息采集终端的LoRa通信模块发送会话请求和心跳包。
所述Kafka从节点与所述MySQL数据库采用MaxWell程序建立连接。
所述服务器连接有显示装置，包括手机APP、大屏、计算机网页web；所述显示装置用于接收所述服务器传输的所述作业信息监测数据和数据处理结果并进行显示。
本发明实施例1的免耕机作业信息监测系统的监测流程如下：
1、利用LoRa无线通讯方式将免耕机的作业信息采集终端收集到的作业信息监测数据，包括免耕机的落籽数、施肥量、故障信息、耕地速度、位置信息、株距、行距、心跳检测数据等数据信息，传输到地方节点，每个地方节点为一个区域，每个区域内设置有一个区域计算机。传输到地方节点的作业信息监测数据由区域计算机存储在地方节点的MySQL数据库上。LoRa是一种低耗能，抗干扰能力强的无线传输技术。
2、通过MaxWell程序将地方节点MySQL数据库中的作业信息监测数据实时传送到Kafka中进行数据集成，然后利用Kafka集群、Flume集群、Zookeeper集群、Hadoop集群这四个集群完成数据的传输。Kafka集群、Flume集群、Zookeeper集群、Hadoop集群这四个集群的具体关系为：在搭建了Hadoop集群之后对Kafka、Flume、Zookeeper进行常规配置，集群的联合使用具体如下：
免耕机的作业信息监测数据为目标数据。由数据采集集群(包含Kafka集群、Flume集群、Zookeeper集群)获取目标数据，其中，数据采集集群(Kafka集群、Flume集群、Zookeeper集群)建立在Hadoop集群之上，每个集群都是主-从架构，一主多从的模式，每个数据采集集群中都包含一个主节点，多个从节点，即以服务器为主节点，以各区域计算机为从节点。其中主节点负责管理该数据集群。作业信息监测数据通过LoRa(远距离无线电)无线通讯方式传输存储在地方节点的MySQL数据库后，Kafka集群中的各从节点与MySQL数据库通过MaxWell程序建立连接，用TCP(Transmission Control Protocol，传输控制协议)和Kafka的数据序列化框架以pull(pull为一种消息队列的模式)的模式向Kafka集群发送作业信息监测数据，KafkaTopic(KafkaTopic是Kafka数据写入操作的基本单元，每条消息属于且仅属于一个Topic)采用log文件(即日志文件)形式对作业信息监测数据进行存储，与此同时Kafka中的数据作为Flume的采集源，大量的数据日志发送到Flume集群中的消费者Agents(即Flume从节点)，随后传递到统一的一个Collector(即Flume主节点)上，由Collector将作业信息监测数据写到HDFS(Hadoop Distributed File System，分布式文件系统)上，实现从MySQL到HDFS的转存(HDFS和MapReduce是Hadoop的两大组件)。其中Zookeeper负责协调，防止以pull模式发送的数据在数据采集集群中出现积压，耗尽数据处理系统的资源，影响系统性能。
3、Spark集群建立在Hadoop集群之上，依然采用主-从结构，一主多从的模式，且由从节点并行地进行计算，Spark集群作为本系统的数据处理层，Spark中的Driver部分启动多个从节点Worker(即Spark从节点)，Worker从文件系统HDFS中加载数据，将数据切分成RDD(Resilient Distributed Datasets，弹性分布式数据集)，并通过Cache(高速缓存)的方法存储到内存中，随后触发RDD的Action，将RDD提交到Job(提交给Spark的任务)，交给Spark来执行任务。
Spark集群的数据处理功能包括作业信息监测数据的字符串分割处理、心跳数据的监测、下一个时刻免耕机的状态预测。
作业信息监测数据的字符串分割处理，具体过程是应用java语言，利用字符串分割的方法获取到免耕机的作业信息监测数据：即通过Java编写Spark程序，调用StringTokenizer(一种处理字符串的java包)对收集到的作业信息监测数据，以空格为分隔符号，对读取到的每一行信息进行字符串的分割，进而获取到不同属性的作业信息监测数据(落籽量、肥料的重量、定位数据和作业速度等)，并利用株距、行距信息计算出免耕机的耕作面积，最后，直将这些处理后的数据直接存储到服务器处的MySQL数据库(Spark直接将数据存储到服务器处的MySQL数据库)中。
其中，字符串分割具体示例如下：
192.237.142.21[2019:09:01:33+0000]“HEAD/HTTP/1.1”200
按照不同的属性分割为
192.237.142.21，[2019:09:01:33+0000]，“HEAD/HTTP/1.1”和200。
心跳数据的监测：由区域计算机利用Java程序，通过LoRa通信模块定时每2秒钟就向免耕机上的作业信息采集终端发送会话请求，同时向作业信息采集终端发送心跳包，此时设置心跳包中发送的数据为0xFF。作业信息采集终端收到这个会话请求和心跳包后向数据采集集群返回一个字节的数据，若作业信息采集终端出现故障，则返回的数据为0x55，若正常工作时返回的数据为0xAA。返回的数据0x55或者0xAA即为前文所述作业信息监测数据中的心跳检测数据，计算机根据接收到的返回数据来判断免耕机是否出现故障，如果计算机接收到的返回数据为0x55或在5秒内没有接收到返回数据，则判断免耕机为故障状态；如果计算机接收返回的数据为0xAA，判断免耕机在正常工作状态，若在5秒内没有接收到返回数据也判断免耕机为故障状态。
下一个时刻免耕机的状态预测：
对于免耕机的作业信息监测数据，利用时间序列预测算法对该信息进行进一步分析，其具体实现方法为采用STL(Seasonal-Trend decomposition procedure based onLoess)分解得到季节变化部分、趋势变化部分以及残差部分，将上一步字符串分割获得到的数据中的播种数、施肥量，同连续的时间点进行数据拟合，构建时间序列预测模型。在本实施例中时间序列预测采用线性回归模型对下一个时间免耕机的播种数(播种数由落籽量确定)、施肥量(即肥料的重量)进行预测。其具体步骤为：
首先对正常工作的免耕机的播种数、施肥量分别进行线性拟合，两个线性图中横坐标为连续的时间点，纵坐标分别为播种数、施肥量，观察线性关系。其中对近期已收集到的100个连续时间段的数据作为数据集，其中，80％随时间序列变化的播种数、施肥量作为训练集，时间点t作为自变量，播种数y1、施肥量y2作为因变量，对因变量yj，试图学得对应的模型fj(x)＝wxi+b,随后用余下的20％数据作为测试集，试图选择到最优的参数w，b获取最优的模型，使得fj(x)＝yj，且均方差E(f；D)最小，对均方差E(f；D)有：
Figure BDA0002238969520000091
其中i表示样本的编号，xi为第i个样本的时间点；m表示样本的总数，j＝1或2。
本模型中用均方差作为回归模型的性能度量，因此试图使均方差最小，则对参数w和b有：
Figure BDA0002238969520000092
式中w*,b*表示w和b的解。
而又由于均方差对应了“欧式距离”，因此基于均方差最小化，对模型中的参数求解运用最小二乘法，试图找到一条直线，使所有的样本到直线上的欧氏距离之和最小，因此利用参数估计的方法求得w和b的最优解，即先将E(f；D)对w和b求偏导
Figure BDA0002238969520000093
Figure BDA0002238969520000094
使上述式子分别等于零，得到w和b最优解的闭式：
Figure BDA0002238969520000095
Figure BDA0002238969520000096
其中
Figure BDA0002238969520000097
为x的均值。
至此，得到最优参数即得到最优模型。随后将时间作为输入数据，预测下一个时间的播种数
Figure BDA0002238969520000101
与施肥量
Figure BDA0002238969520000102
随后对获取到的该时间的实际播种数y1、施肥量y2，分别计算其预测值播种数与施肥量
Figure BDA0002238969520000104
的差值的绝对值
Figure BDA0002238969520000105
Figure BDA0002238969520000106
根据实际情况，设定临界值λ，任意一种数据的差值的绝对值
Figure BDA0002238969520000107
大于λ时，则认为机器将出现异常，即在短期内，免耕机将发生故障。
4、将最后处理后的结果(结果包括免耕机的作业信息监测数据和免耕机故障预测结果)通过APP(Application，手机应用软件)、网页及大屏上进行可视化展示。上述可视化方式中APP通过Android语言实现，网页端通过MVC(Model View Controller，模型视图控制器)模式利用JSP(Java Server Pages，JAVA服务器页面)实现，大屏展示则利用DataV实现。
本实施例的技术方案具有以下技术效果：
利用LoRa通信技术传递采集到的免耕机作业信息监测数据，具有抗干扰能力强，覆盖面广，数据安全，功耗低的特点，提高了数据在农村田地中的传输效率与传输质量。Kafka是一个分布式流平台，可以对数据进行实时的采集，而Flume是一个高可用，高可靠的分布式的海量日志采集、聚合和传输系统，本发明中Kafka与Flume相结合使数据实时存储部分具有高容错，可实时处理大量数据的特点。利用Kafka和Flume将数据转存到Hadoop的分布式文件存储系统HDFS上，解决了海量数据的存储问题，且Hadoop集群的使用与当前购买云服务或购买更多的服务器相比，提高了存储能力，更加经济使用，对设备的硬件配置要求降低。Spark是一种为大数据处理而设计的计算引擎，可以实时的计算与处理大规模的数据，利用Spark可以对收集到的数据进行实时的监控，同时借助Spark使本发明的数据处理具有高容错、可扩展、高吞吐等优良性能；时间序列预测算法的主要目的是根据历史数据对事物进行下一步的预测，免耕机的工作情况与时间关系密切，因此适用于这一模型。时间序列预测方法的使用将免耕机的耕作数据进一步规格化、实用化，挖掘数据的深层用处，为用户的使用提供了方便。本发明利用Spark对收集到的数据进行处理，根据属性不同将数据存储在数据库中，对其中的播种数、施肥量，利用机器学习算法和时间序列预测，得到下一个时间的免耕机的播种数、施肥量，随后通过计算差值绝对值，实现对免耕机的故障预测，使这套系统能够实时并高效地处理大量数据，使系统具有一定的智能性和容错性，兼顾了成本的节约和系统的实用性。
实施例2：
图2为本发明实施例2免耕机作业信息监测方法的方法流程图。
该免耕机作业信息监测方法，应用于上述的免耕机作业信息监测系统。
参见图2，该监测方法包括：
步骤201：通过无线通讯方式获取对应区域内的各个免耕机的作业信息采集终端采集的作业信息监测数据。
步骤202：将所述作业信息监测数据存储到所述MySQL数据库中。
步骤203：利用MaxWell程序将所述MySQL数据库中的作业信息监测数据发送到所述Kafka集群的Kafka从节点。
步骤204：将所述作业信息监测数据从所述Kafka从节点传输到Flume从节点。
步骤205：将所述作业信息监测数据从所述Flume从节点传输到Flume主节点。
步骤206：由所述Flume主节点将所述作业信息监测数据写入到Hadoop主节点中的分布式文件系统中。
根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明的免耕机作业信息监测系统及方法，利用Kafka和Flume将数据转存到Hadoop的分布式文件文件系统上，解决了海量数据的存储问题，且Hadoop集群的使用与使用云服务或购买更大的服务器相比，提高了存储能力，更加经济适用，降低了对本地服务器硬件配置的要求。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种免耕机作业信息监测系统，其特征在于，包括：服务器和多个区域计算机；每个区域计算机与对应区域内的各个免耕机的作业信息采集终端无线通讯连接，用于采集对应区域内的各个免耕机的作业信息监测数据；每个区域计算机均与所述服务器连接，用于将所述作业信息监测数据传输到所述服务器；
各个所述区域计算机均配置有MySQL数据库；
所述服务器被配置为Hadoop主节点，每个所述区域计算机均被配置为从属于所述Hadoop主节点的Hadoop从节点，从而形成Hadoop集群；在所述Hadoop集群的基础上所述服务器被配置为Kafka主节点和Flume主节点；在所述Hadoop集群的基础上各个区域计算机被配置为Kafka从节点和Flume从节点，从而形成Kafka集群和Flume集群；
各主节点负责管理所在集群的从节点；
所述区域计算机将采集到的所述作业信息监测数据存储到所述MySQL数据库中，所述Kafka集群的Kafka从节点将所述MySQL数据库中的所述作业信息监测数据发送到Flume从节点，各个所述Flume从节点将所述作业信息监测数据发送到Flume主节点，所述Flume主节点将所述作业信息监测数据存储到Hadoop主节点中的分布式文件系统中。
2.根据权利要求1所述的免耕机作业信息监测系统，其特征在于，在所述Hadoop集群的基础上所述服务器被配置为Zookeeper主节点，在所述Hadoop集群的基础上各个区域计算机被配置为Zookeeper从节点，从而形成Zookeeper集群；所述Zookeeper集群用于协调数据的传输，防止所述作业信息监测数据在所述MySQL数据库与所述Kafka从节点之间传输时出现积压。
3.根据权利要求1所述的免耕机作业信息监测系统，其特征在于，在所述Hadoop集群的基础上所述服务器被配置为Spark主节点，在所述Hadoop集群的基础上各个区域计算机被配置为Spark从节点，从而形成Spark集群；所述Spark集群用于对所述作业信息监测数据进行处理。
4.根据权利要求1所述的免耕机作业信息监测系统，其特征在于，所述作业信息采集终端包括落籽检测传感器、称重传感器、定位模块和霍尔传感器；所述落籽检测传感器用于检测落籽量，所述称重传感器用于测量所施肥料的重量；所述定位模块用于对免耕机的进行定位；所述霍尔传感器用于检测免耕机的作业速度。
5.根据权利要求1所述的免耕机作业信息监测系统，其特征在于，所述作业信息采集终端与所述区域计算机之间采用LoRa无线通讯方式进行数据传输。
6.根据权利要求1所述的免耕机作业信息监测系统，其特征在于，所述Kafka从节点与所述MySQL数据库采用MaxWell程序建立连接。
7.根据权利要求3所述的免耕机作业信息监测系统，其特征在于，所述服务器连接有显示装置；所述显示装置用于接收所述服务器传输的所述作业信息监测数据和数据处理结果并进行显示。
8.一种免耕机作业信息监测方法，应用于如权利要求1～7中任意一项所述的免耕机作业信息监测系统；其特征在于，该监测方法包括：
通过无线通讯方式获取对应区域内的各个免耕机的作业信息采集终端采集的作业信息监测数据；
将所述作业信息监测数据存储到所述MySQL数据库中；
利用MaxWell程序将所述MySQL数据库中的作业信息监测数据发送到所述Kafka集群的Kafka从节点；
将所述作业信息监测数据从所述Kafka从节点传输到Flume从节点；
将所述作业信息监测数据从所述Flume从节点传输到Flume主节点；
由所述Flume主节点将所述作业信息监测数据写入到Hadoop主节点中的分布式文件系统中。
CN201910993294.5A 2019-10-18 2019-10-18 一种免耕机作业信息监测系统及方法 Pending CN110674143A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910993294.5A CN110674143A (zh) 2019-10-18 2019-10-18 一种免耕机作业信息监测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910993294.5A CN110674143A (zh) 2019-10-18 2019-10-18 一种免耕机作业信息监测系统及方法

Publications (1)

Publication Number Publication Date
CN110674143A true CN110674143A (zh) 2020-01-10

Family

ID=69083092

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910993294.5A Pending CN110674143A (zh) 2019-10-18 2019-10-18 一种免耕机作业信息监测系统及方法

Country Status (1)

Country Link
CN (1) CN110674143A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114598704A (zh) * 2022-03-16 2022-06-07 浪潮云信息技术股份公司 基于四层负载均衡集群的tcp连接容错方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106776715A (zh) * 2016-11-16 2017-05-31 北京集奥聚合科技有限公司 一种收集日志的方法及系统
CN106850258A (zh) * 2016-12-22 2017-06-13 北京锐安科技有限公司 一种日志管理系统、方法及装置
CN107896175A (zh) * 2017-11-30 2018-04-10 北京小度信息科技有限公司 数据采集方法和装置
CN107908690A (zh) * 2017-11-01 2018-04-13 南京欣网互联网络科技有限公司 一种基于大数据运营分析的数据处理方法
CN109840253A (zh) * 2019-01-10 2019-06-04 北京工业大学 企业级大数据平台架构
CN109977090A (zh) * 2019-01-25 2019-07-05 福建天泉教育科技有限公司 一种向hdfs写入数据的方法及终端
CN110019549A (zh) * 2017-12-01 2019-07-16 广州明领基因科技有限公司 针对物联网平台的大数据存储系统
CN110069551A (zh) * 2019-04-25 2019-07-30 江南大学 基于Spark的医疗设备运维信息挖掘分析系统及其使用方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106776715A (zh) * 2016-11-16 2017-05-31 北京集奥聚合科技有限公司 一种收集日志的方法及系统
CN106850258A (zh) * 2016-12-22 2017-06-13 北京锐安科技有限公司 一种日志管理系统、方法及装置
CN107908690A (zh) * 2017-11-01 2018-04-13 南京欣网互联网络科技有限公司 一种基于大数据运营分析的数据处理方法
CN107896175A (zh) * 2017-11-30 2018-04-10 北京小度信息科技有限公司 数据采集方法和装置
CN110019549A (zh) * 2017-12-01 2019-07-16 广州明领基因科技有限公司 针对物联网平台的大数据存储系统
CN109840253A (zh) * 2019-01-10 2019-06-04 北京工业大学 企业级大数据平台架构
CN109977090A (zh) * 2019-01-25 2019-07-05 福建天泉教育科技有限公司 一种向hdfs写入数据的方法及终端
CN110069551A (zh) * 2019-04-25 2019-07-30 江南大学 基于Spark的医疗设备运维信息挖掘分析系统及其使用方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A.奥赫里: "《R语言在商务分析中的应用》", 30 June 2016, 西安交通大学出版社 *
CHUCK CAVANESS GEOFF FRIESEN BRIAN KEETON: "《Java完全探索》", 30 September 2001, 中国青年出版社 *
FEI-JOE: "如何使用Maxwell和flume,kafka 把MySQL数据实时同步到HDFs", 《CSDN》 *
熊茂华等: "《物联网技术与应用开发》", 31 August 2012, 西安电子科技大学出版社 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114598704A (zh) * 2022-03-16 2022-06-07 浪潮云信息技术股份公司 基于四层负载均衡集群的tcp连接容错方法
CN114598704B (zh) * 2022-03-16 2024-05-17 浪潮云信息技术股份公司 基于四层负载均衡集群的tcp连接容错方法

Similar Documents

Publication Publication Date Title
CN105205231B (zh) 一种基于dcom的配电网数字仿真系统
CN103761309B (zh) 一种运营数据处理方法及系统
US10747592B2 (en) Router management by an event stream processing cluster manager
CN104038540B (zh) 一种应用代理服务器自动选择方法及系统
CN101814736B (zh) 一种在线电压稳定安全评估系统的网格实现方法
Kuang et al. Personalized services recommendation based on context-aware QoS prediction
US10516571B2 (en) Server load management
Wan et al. Kfiml: Kubernetes-based fog computing iot platform for online machine learning
Liao et al. Accurate sub-swarms particle swarm optimization algorithm for service composition
Lockhart et al. Scission: Performance-driven and context-aware cloud-edge distribution of deep neural networks
Chung et al. Cloud computing system based on wireless sensor network
CN103713935A (zh) 一种在线管理Hadoop集群资源的方法和装置
CN116235529A (zh) 实现多个接入网络设备的自组织网络的方法和执行该方法的电子装置
CN114706675A (zh) 基于云边协同系统的任务部署方法及装置
Peng et al. High concurrency massive data collection algorithm for IoMT applications
CN108009089A (zh) 一种基于透明计算的增量机器学习方法及系统
Kiefhaber et al. Ranking of direct trust, confidence, and reputation in an abstract system with unreliable components
CN117560275B (zh) 基于图神经网络模型的微服务系统根因定位方法及装置
CN110674143A (zh) 一种免耕机作业信息监测系统及方法
Yan et al. Service caching for meteorological emergency decision-making in cloud-edge computing
CN115314500B (zh) 基于改进topsis模型的动态负载均衡方法
Ramachandran et al. 5G network management system with machine learning based analytics
CN106789163A (zh) 一种网络设备用电信息监测方法、装置和系统
CN109298934A (zh) 心跳周期调整方法、装置及系统
Das et al. Real-time Context-aware Learning System for IoT Applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200110