CN105335497A - 一种基于云计算的北斗林业数据采集与处理方法 - Google Patents

一种基于云计算的北斗林业数据采集与处理方法 Download PDF

Info

Publication number
CN105335497A
CN105335497A CN201510696594.9A CN201510696594A CN105335497A CN 105335497 A CN105335497 A CN 105335497A CN 201510696594 A CN201510696594 A CN 201510696594A CN 105335497 A CN105335497 A CN 105335497A
Authority
CN
China
Prior art keywords
forestry
data
hadoop
cloud computing
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510696594.9A
Other languages
English (en)
Inventor
吴言松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wu Baixiao
Original Assignee
Beidou Hengxing (beijing) Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beidou Hengxing (beijing) Technology Development Co Ltd filed Critical Beidou Hengxing (beijing) Technology Development Co Ltd
Priority to CN201510696594.9A priority Critical patent/CN105335497A/zh
Publication of CN105335497A publication Critical patent/CN105335497A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2471—Distributed queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2323—Non-hierarchical techniques based on graph theory, e.g. minimum spanning trees [MST] or graph cuts

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Fuzzy Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Discrete Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于云计算北斗林业数据采集与处理方法。其特征是：利用北斗卫星定位PDA对林业小班数据进行采集，并存储到GIS？Server云端。根据Hadoop平台的MapReduce算法，处理具有时间属性和空间属性的林业海量HDFS文件，部署决策树C5.0算法，使用Hadoop中的JPA建立决策树的算法，可实现对林业数据处理和挖掘，发现林业知识。

Description

一种基于云计算的北斗林业数据采集与处理方法
一、技术领域
本发明是一种林业数据采集与处理方法，特别是一种基于北斗卫星的林业数据采集方法和基于云计算平台的林业数据处理与应用方法。
二、技术背景
林业作为我国传统行业，在我国生态环境、生态文明建设中起着十分重要的作用。然而，传统的林业数据采集与处理信息化程度较低。林业野外数据采集大量使用纸质文档，每次调查都需要都要携带各类调查卡片，手工记录调查数据，内业还要将数据录入到系统中。传统的野外作业方式消耗人力资源大，工作效率低，且易发生调查卡片丢失、污损、数据录入错误及人为误差等情况，制约着现今野外作业调查的效率。在日常的巡山护林等工作中，由于采用纸质登记方式对每日巡山护林状况进行记录，容易发生工作人员少巡漏巡作业区的情况，有关部门缺乏必要的监管；作业人员在野外如遇突发情况，也难快速确定事发位置，不便救援力量及时抵达。
林业中的应用已由单一的数据采集阶段，经过信息管理阶段，进入到了数据挖掘与知识发现阶段，通过数据挖掘帮助森林资源管理者明确目标，建立和修改模型，提供多种优化方案，以提高决策能力及决策效益，实现科学管理、集约经营、提高森林经营水平和森林可持续发展，使林业从过去单一、粗放的经营管理模式走向精准、系统的模式。
然而，林业数据是关于地球表面信息的数据，具有区域性、多维性和时序性，是连接各种信息形成一个在空间和时间上连续分布的综合信息的基础。海量林业数据成为林业数据挖掘的一个瓶颈，传统林业数据挖掘方法已经不能满足处理海量林业数据的需要。
鉴于传统林业数据挖掘方法的种种弊端，本发明对林业数据采集和处理的方法了改进和创新，利用北斗卫星定位PDA，对林业小班数据进行采集，利用Hadoop中MapReduce算法，将海量林业数据转化为HDSF文件，调用Hadoop中的JPA建立决策树的算法，实现对林业数据的挖掘，从而提高程序执行效率，减少程序执行时间。
三、发明内容
为克服传统林业数据采集和处理的缺点，本发明提供一种新型的林业数据采集与处理方法，其特征是：首先，利用北斗卫星PDA采集器进行林业小班数据采集，通过PDA将林业数据发布到GISServer云端。其次，构建基于Hadoop平台的云计算平台，利用MapReduce算法实现对林业数据的挖掘。
主要发明内容：
(1)利用北斗进行数据采集取代传统纸质文档数据采集工作，能够对野外作业过程中相关信息进行采集录入，采集的数据通过北斗PDA传输到GISServer的云端，GISServer对传输的XML文件进行读取入库，采集到的数据存储到云端。
(2)海量信息快捷处理，将北斗采集到的存储在云端的林业数据结合云端其他林业属性数据和空间数据，构建基于Hadoop的云计算平台，利用MapReduce算法，编制决策树算法，实现对林业数据的智能挖掘。
本项发明与现有方法相比具有以下优点：
(1)数据采集方便，利用北斗卫星定位PDA，进行林业数据采集，可以代替纸质记录传统作业方法，数据采集效率高，且能够进行定位，树木位置和人移动的位置可以在GIS云端上显示。
(2)基于云计算的海量林业数据处理的是利用云计算的并行处理和海量存储能力，解决了数据挖掘面临的海量数据处理问题。本发明云计算采用的是MapReduce新型计算模型，现有的数据挖掘算法和并行化策略进行一定程度的改造，直接应用在云计算平台上进行海量数据挖掘任务，提升软件处理效率。
四、具体实施方式
基于云计算的林业数据挖掘方法与现有方法不同，具体在于：
(1)利用北斗卫星PDA采集器，采集林业小班数据，记录小班编号、土壤类别、小班面积、森林类别、林种、林分起源、坡度、坡位、土壤名称、土壤厚度、优势树种、植被高度、植被盖度等信息。通过PAD将这些林业数据上传到ArcGISServer云端。
(2)安装Ubuntu操作系统，在该linux系统上安装hadoop，部署NameNode，master，jobTrackermaster作为中心服务器，其他作为从属服务器，并ping接成功，构建基于Hadoop的云计算平台。
(3)将海量林业数据文件直接上传至Hadoop的HDFS中进行存储，用FileSystemAPI读取林业数据文件。再次，利用MapReduce对林业数据进行分块化操作，使用分布式数据仓库Hive从分布式数据库HBase中获取。部署决策树C5.0算法。
(4)利用调用Hadoop中的JPA建立决策树的算法，林业数据被分配到多个mapper，调用BuildTree对林业数据进行挖掘，以林业小班位单位进行聚类，达到对海量林业数据挖掘的目标。

Claims (1)

1.一种基于云计算的北斗林业数据采集与处理方法，其特征是：首先，利用北斗PDA对林业小班数据进行采集，将采集到的数据存储在GISServer云端。其次，安装Ubuntu操作系统，在该linux系统上安装hadoop，部署NameNode，master，jobTrackermaster作为中心服务器，其他作为从属服务器，并ping接成功，构建基于Hadoop的云计算平台。再次，将海量林业数据文件直接上传至Hadoop的HDFS中进行存储，用FileSystemAPI读取林业数据文件。利用MapReduce对林业数据进行分块化操作，使用分布式数据仓库Hive从分布式数据库HBase中获取。部署决策树C5.0算法。最后，利用调用Hadoop中的JPA建立决策树的算法，林业数据被分配到多个mapper，调用BuildTree对林业数据进行挖掘，进而发现林业知识。
CN201510696594.9A 2015-10-26 2015-10-26 一种基于云计算的北斗林业数据采集与处理方法 Pending CN105335497A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510696594.9A CN105335497A (zh) 2015-10-26 2015-10-26 一种基于云计算的北斗林业数据采集与处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510696594.9A CN105335497A (zh) 2015-10-26 2015-10-26 一种基于云计算的北斗林业数据采集与处理方法

Publications (1)

Publication Number Publication Date
CN105335497A true CN105335497A (zh) 2016-02-17

Family

ID=55286024

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510696594.9A Pending CN105335497A (zh) 2015-10-26 2015-10-26 一种基于云计算的北斗林业数据采集与处理方法

Country Status (1)

Country Link
CN (1) CN105335497A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106131224A (zh) * 2016-08-30 2016-11-16 孟玲 一种数据传输系统
CN109150938A (zh) * 2017-06-27 2019-01-04 哈尔滨航天恒星数据系统科技有限公司 基于云服务的卫星应用公共服务平台
CN110362132A (zh) * 2018-12-29 2019-10-22 华北电力大学（保定） 一种植被数据实时监控管理系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102685221A (zh) * 2012-04-29 2012-09-19 华北电力大学（保定） 一种状态监测数据的分布式存储与并行挖掘方法
CN203630831U (zh) * 2013-12-24 2014-06-04 国家电网公司 电力设备智能巡检系统
US20140280172A1 (en) * 2013-03-13 2014-09-18 Nice-Systems Ltd. System and method for distributed categorization
CN104715013A (zh) * 2015-01-26 2015-06-17 南京邮电大学 一种基于Hadoop的用户健康数据分析方法和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102685221A (zh) * 2012-04-29 2012-09-19 华北电力大学（保定） 一种状态监测数据的分布式存储与并行挖掘方法
US20140280172A1 (en) * 2013-03-13 2014-09-18 Nice-Systems Ltd. System and method for distributed categorization
CN203630831U (zh) * 2013-12-24 2014-06-04 国家电网公司 电力设备智能巡检系统
CN104715013A (zh) * 2015-01-26 2015-06-17 南京邮电大学 一种基于Hadoop的用户健康数据分析方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
杨来等: ""基于Hadoop云平台的并行数据挖掘方法"", 《系统仿真学报》 *
邢乐乐: ""面向海量森林资源信息的云计算作业调度算法的研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106131224A (zh) * 2016-08-30 2016-11-16 孟玲 一种数据传输系统
CN109150938A (zh) * 2017-06-27 2019-01-04 哈尔滨航天恒星数据系统科技有限公司 基于云服务的卫星应用公共服务平台
CN110362132A (zh) * 2018-12-29 2019-10-22 华北电力大学（保定） 一种植被数据实时监控管理系统

Similar Documents

Publication Publication Date Title
Giachetta A framework for processing large scale geospatial and remote sensing data in MapReduce environment
Zou et al. A survey of big data analytics for smart forestry
CN105335497A (zh) 一种基于云计算的北斗林业数据采集与处理方法
CN104820946A (zh) 一种面向农业信息一体化的云计算系统
CN109271382A (zh) 一种面向全数据形态开放共享的数据湖系统
CN108595473A (zh) 一种基于云计算的大数据应用平台
CN103020325A (zh) 基于NoSQL数据库的分布式遥感数据组织查询方法
Zou et al. MapReduce functions to remote sensing distributed data processing—Global vegetation drought monitoring as example
CN104216966A (zh) 一种支持多种方式创建索引的方法
CN103309867A (zh) 基于Hadoop平台的Web数据挖掘系统
Ashokkumar et al. Efficient method for secure key matching process of large data set integration in grid computing
Chen et al. Design of a controlled robotic arm
Astsatryan et al. An interoperable web portal for parallel geoprocessing of satellite image vegetation indices
Dumitru et al. Array database scalability: intercontinental queries on petabyte datasets
Płóciennik et al. Two-level dynamic workflow orchestration in the INDIGO DataCloud for large-scale, climate change data analytics experiments
Xie et al. Research on big data technology-based agricultural information system
CN104484452A (zh) 一种多元异构关系型数据库连接复用及统一管控方法
Garro et al. Constructing and monitoring processes in BPM using hybrid architectures
Gowri et al. Cohesive Sub-network Mining in Protein Interaction Networks Using Score-Based Co-clustering with MapReduce Model (MR-CoC)
Samal et al. ArcGIS studies and field relationships of Paleoproterozoic mafic dyke swarms from the south of Devarakonda area, Eastern Dharwar Craton, southern India: Implications for their relative ages
Joshi et al. SCIDB based framework for storage and analysis of remote sensing big data
Raveena et al. Secure b-iot based smart agriculture–a brief review
Li et al. Construction of big data processing platform for intelligent agriculture
Sanagavarapu A Review on Cloud Computing Services and Convergence among Cloud Computing and Big Data
Guo et al. A distributed polygon retrieval algorithm using MapReduce

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20180521

Address after: 100083 No. 35 Qinghua East Road, Beijing, Haidian District

Applicant after: Wu Baixiao

Applicant after: Beijing Luyuan Chi Lin Technology Institute

Address before: 100083 2120, 2 floor, 5-38 building, 35 Tsinghua East Road, Haidian District, Beijing.

Applicant before: BEIDOU HENGXING (BEIJING) TECHNOLOGY DEVELOPMENT CO., LTD.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160217