CN109408606A - 一种基于FocalSum的空间数据高效处理系统 - Google Patents
一种基于FocalSum的空间数据高效处理系统 Download PDFInfo
- Publication number
- CN109408606A CN109408606A CN201811223723.2A CN201811223723A CN109408606A CN 109408606 A CN109408606 A CN 109408606A CN 201811223723 A CN201811223723 A CN 201811223723A CN 109408606 A CN109408606 A CN 109408606A
- Authority
- CN
- China
- Prior art keywords
- data
- module
- land
- spatial
- process system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于FocalSum的空间数据高效处理系统，包含输入输出模块、数据读取模块、核心模块、临近土地单元特征统计模块及统计结果输出模块；其中，核心模块主要用于对土地特征稀疏矩阵处理后建模观测点数据和空间栅格数据，应用基本效用体的原则，抽取出观察点的K临近土地特征；临近土地单元特征统计模块主要用于统一应用NumPy算法对K临近土地特征进行统计。本发明有效提高了空间数据的导入导出能力和高速处理大量密集空间数据的能力，实现了可容纳10GB以上数据内存的空间分析，秒级别内解决空间模型运算。找到了一个切实可行的方案来存取和分析大容量空间数据，同时实现了空间数据的快速高效处理。
Description
技术领域
本发明涉及空间数据处理领域，更具体地说，涉及一种基于FocalSum的空间数据高效处理系统。
背景技术
我国近20多年来组织实施了“数字国土工程”、“金土工程”、“土地资源调查与监测工程”等一系列重大专项，积累了丰富的空间数据。并在此成果基础上建立了全国国土资源遥感监测“一张图”和综合监管平台,信息技术在国土资源调查评价、政务管理、社会服务中得到广泛运用,实现由点到面的扩展,信息化已成为国土资源工作不可或缺的重要组成部分,有力地支撑了国土资源事业发展。如何提高国土空间数据的高效处理能力成为国土信息化发展的重要趋势之一。
我国在数据高效利用方面虽发展较晚但近些年来也取得了一定的成果。尤其是网格化技术在地理信息系统中的应用。金江军是国内较早将网格技术应用到土地信息化建设中的学着之一,他利用计算机网络将各级国土资源部门拥有的信息集成一个整体成为国土资源信息网格化,为国土资源部门提供数据支撑；何建农于2006年提出了“按照不同行政级别的土地资源管理部门和用户之间组成的土地资源信息网格。该网格依据设计的条件,建立不同等级不同规模国土资源信息网格的框架结构,为国土资源信息化建设提供了一个可行的方案,该土地信息网格己成功的应用在福建省并取得了良好的成果；岳海斌等在深入研究了网格技术的基础上,总结了网格技术在基础数据的处理与共享方面具有较高的优势,是实现土地资源信息化必不可少的核心技术；张丰提出了“针对土地资源网格环境下,结点内基于过程的动态级联事件的时空数据建模方法和结点间基于网格服务组件和地理标识语言的数据访问、集成和互操作技术,该技术的应用为海量数据的管理问题提供了有效的解决途径；李德仁和宾洪超提出了“由资源层(网络层和数据层)、服务层与应用层以及安全保障和标准化体系构成的国土资源管理与服务系统总体框架”,该系统框架对土地资源进行网格化管理明确管理中的职责；吴洪桥等将Webservices与网格技术稱合并应用在土地资源信息化建设中,提出了“基于网格技术的由资源层、服务层和应用层组成的国上资源信息共享平台框架体系”；滕龙妹提出了时空数据服务模型并将该模型与开放的GIS服务体系相结合形成了网格化的土地管理系统GridLandRSMgr。2011年方雷在《基于云计算的土地资源服务高效处理平台关键技术探索与研究》中全面阐述了国土云计算中心的构建方案,并对国土资源数据部署与云计算中心过程中的关键问题给出了设计和解决方案。此后,各省都在逐步开展本省的国上云的建设工作。但是网格计算系统的底层框架必须由用户通过编程来完成,加大了该系统的难度,不熟和实现较为困难。云计算技术的出现大大解决了这个问题,它独特的可靠性、虚拟性、超大规模按需服务、易于操作等特点能够很好的搭建在G1S系统上,极大的促进了国土资源的高效利用。
大数据时代空间数据挖掘进展：云计算(CloudComputing)是网格计算(GridComputing)、分布式计算(DistributedComputing)、并行计算(ParallelComputing)、效用计算(UtilityComputing)、网络存储(NetworkStorageTechnologies)、虚拟化(Virtualization)、负载均衡(LoadBalance)等传统计算机技术和网络技术发展融合的产物。它旨在通过网络把多个成本相对较低的计算实体整合成一个具有强大计算能力的完善系统。基于云计算的数据挖掘系统搭建于“云”之上，透明地为各种终端的用户提供界面服务；为基于该系统开发的程序提供开放接口，用户可以通过其他应用程序调用系统提供的开放接口来间接地使用系统提供的各种服务。用户不需要了解系统是怎样实现的，也不需要担心系统的计算与存储能力，只需要选择合适的算法来处理数据，最终以任务的方式部署给系统区执行，得到数据挖掘的结果。
1)数据挖掘系统研究。中国移动研究院研发的基于云计算平台的并行数据挖掘工具(BC－PDM，Blue Carrier based Parallel Data Mining)，采用云计算技术，实现海量数据的存储、分析、处理、挖掘。厦门大学数据挖掘研究中心与台湾铭传大学资讯工程系、中华资料采矿协会合作开发的一套基于云计算的数据挖掘决策支持系统———云端数据挖掘决策系统(MCU Smart Score)。该系统是厦门数据挖掘研究中心统计与数据挖掘云端系统的部分阶段性成果。基于Hadoop，中科院计算所研制了并行数据挖掘工具平台PDMiner。针对海量数据，分别从数据挖掘模式和方法等方面进行相关的研究。与此同时，中科院深圳先进技术研究院还研制了一套分布式数据挖掘系统AlphaMiner。以上这些云端数据挖掘系统只是实现了对事务性海量数据的挖掘，并没有针对空间数据进行设计，还无法高效存储、查询和挖掘空间数据。
2)数据挖掘算法研究。在一些大学和研究机构，基于MapReduce模式的数据挖掘算法研究较多。如大连理工大学李钰研究了空间数据RkNN算法，但仅限于低维空间数据。河南工业大学赵广才研究了基于改进K－means空间聚类算法，但存在模型简单化、聚类结果容易出现误差的问题。
从数据挖掘技术的发展历史看，随着互联网的蓬勃发展，数据的规模越来越大，从KB级发展到TB级甚至PB级海量数据；数据挖掘的对象也变得越来越复杂，从数据库到多媒体数据和复杂社会网络；数据挖掘的需求也从分类、聚类关联到复杂的演化和预测分析；挖掘过程中的交互方式从单一的人机交互发展到现在社会网络群体的交互。通过云计算的海量数据存储和分布计算，为云计算环境下的海量数据挖掘提供了新的方法和手段，有效解决了海量数据挖掘的分布存储和高效计算问题。但是，这些云计算平台自诞生之日起，就不是为处理空间数据而设计，所以它们都在底层对空间数据不敏感。2011年由Yang Chaowei(美国乔治梅森大学制图与地理信息科学系)，Michael Goodchild(加利福尼亚大学制图系)等多位学者在《空间云计算：地理空间科学如何利用和塑造云计算》一文中，定义了空间云计算(Spatial Cloud Computing)，是指由地理空间科学推动的，并经时空原则优化的云计算范式，它可以进行地理科学发现和在分布式环境中进行云计算。笔者认为，专门为地理科学设计的云计算才更适合空间数据的挖掘和处理，也是地理信息领域研究人员今后努力的一个方向。
Apache组织近年来组织了Mahout开源项目，设计用于云平台的数据挖掘算法。但Mahout项目目前还缺少数据准备、数据展示和用户交互，还不能完全适合海量数据挖掘并行算法的性能评估。SpatialHadoop由明尼苏达大学计算科学与工程系Ahmed Eldawy和Mohamed F.Mokbel两人开发，是对开源的MapReduce一个扩展，专门用来在Apache Hadoop上处理海量的空间数据。SpatialHadoop内置高级空间查询语言、支持基本空间数据类型(点、矩形、多边形)和空间索引(分为本地索引和全局索引)，可以高效进行一些空间操作(范围查询、K最近邻分类、空间合并)。但此项还在实验阶段，存在支持的数据类型有限、交互性不强、功能单一的问题。以上基于云计算的数据挖掘系统都是基于通用的云计算平台和大数据处理工具开发的，并未在底层设计时考虑到地理空间科学的特点，所以对于空间数据的处理，效果都不是很理想。而且大多基于Hadoop技术开发，无法完成数据流的实时挖掘处理。
发明内容
本发明要解决的技术问题在于，针对现有技术中基于云计算的数据挖掘系统都是基于通用的云计算平台和大数据处理工具开发的，并未在底层设计时考虑到地理空间科学的特点，所以对于空间数据的处理，效果都不是很理想。而且大多基于Hadoop技术开发，无法完成数据流的实时挖掘处理的技术缺陷，提供了。
本发明解决其技术问题所采用的技术方案是：构造一种基于FocalSum的空间数据高效处理系统，包含：
输入输出模块，用于输入所述空间数据高效处理系统的待处理数据和输出所述空间数据高效处理系统处理完毕后的数据；
数据读取模块，连接所述输入输出模块的输出端，用于对所述待处理数据进行读取得到建模观测点数据和空间栅格数据；
核心模块，用于对土地特征稀疏矩阵处理后建模观测点数据和空间栅格数据，应用基本效用体的原则，抽取出观察点的K临近土地特征；
临近土地单元特征统计模块，用于统一应用NumPy算法对K临近土地特征进行统计；
统计结果输出模块，连接输入输出模块的输入端以及临近土地单元特征统计模块的输出端，用于根据临近土地单元特征统计模块统计后的数据形成统计结果，以作为所述处理完毕后的数据输出至输入输出模块。
进一步地，在本发明的空间数据高效处理系统中，所述临近土地单元特征统计模块具体用于根据土地利用图、遥感影像图、道路交通图、人口分布图以及环境分类图，生成UGB模型、耕地保护模型以及生态保护模型。
进一步地，在本发明的空间数据高效处理系统中，所述临近土地单元特征统计模块是基于FocalStat进行数据Fenix的。
进一步地，在本发明的空间数据高效处理系统中，FocalStat对每一个元包进行多个土地利用的统计计算运用，使大数据土地利用规划在10秒钟内完成，而且能处理数据内存大于10GB需求的任务。
进一步地，在本发明的空间数据高效处理系统中，FocalStat是结合同一土地类型具有一样的数值的空间分布特征，利用稀疏矩阵算法去处理空间数据。
进一步地，在本发明的空间数据高效处理系统中，所述核心模块的输出端分别连接基本效用体的输入端和过滤计算器的一输入端；基本效用体的输出端连接空间截取基本单元的输入端，空间截取基本单元获取栅格数据量、中心位置、截取模块后一起连接至高效计算模块的输入端，高效计算模块的输出端连接至过滤计算器的另一输入端，过滤计算器的输出端连接至临近土地单元特征统计模块。
实施本发明的基于FocalSum的空间数据高效处理系统，具有以下有益效果：本发明有效提高了空间数据的导入导出能力和高速处理大量密集空间数据的能力，实现了可容纳10GB以上数据内存的空间分析，秒级别内解决空间模型运算。找到了一个切实可行的方案来存取和分析大容量空间数据，同时实现了空间数据的快速高效处理。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明的基于FocalSum的空间数据高效处理系统的模块原理图；
图2是本发明的临近土地单元特征统计模块的应用模式图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
参考图1，其为本发明的基于FocalSum的空间数据高效处理系统的模块原理图。本发明的基于FocalSum的空间数据高效处理系统包含：
输入输出模块，用于输入所述空间数据高效处理系统的待处理数据和输出所述空间数据高效处理系统处理完毕后的数据。
数据读取模块，连接所述输入输出模块的输出端，用于对所述待处理数据进行读取得到建模观测点数据和空间栅格数据。
核心模块，用于对土地特征稀疏矩阵处理后建模观测点数据和空间栅格数据，应用基本效用体的原则，抽取出观察点的K临近土地特征。核心模块的输出端分别连接基本效用体的输入端和过滤计算器的一输入端；基本效用体的输出端连接空间截取基本单元的输入端，空间截取基本单元获取栅格数据量、中心位置、截取模块后一起连接至高效计算模块的输入端，高效计算模块的输出端连接至过滤计算器的另一输入端，过滤计算器的输出端连接至临近土地单元特征统计模块。
临近土地单元特征统计模块，用于统一应用NumPy算法对K临近土地特征进行统计；同时参考图2，临近土地单元特征统计模块是基于FocalStat进行数据处理的，临近土地单元特征统计模块具体用于根据土地利用图、遥感影像图、道路交通图、人口分布图以及环境分类图，生成UGB模型、耕地保护模型以及生态保护模型。FocalStat对每一个元包进行多个土地利用的统计计算运用，使大数据土地利用规划在10秒钟内完成，而且能处理数据内存大于10GB需求的任务。FocalStat是结合同一土地类型具有一样的数值的空间分布特征，利用稀疏矩阵算法去处理空间数据。
统计结果输出模块，连接输入输出模块的输入端以及临近土地单元特征统计模块的输出端，用于根据临近土地单元特征统计模块统计后的数据形成统计结果，以作为所述处理完毕后的数据输出至输入输出模块。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。
Claims (6)
1.一种基于FocalSum的空间数据高效处理系统，其特征在于，包含：
输入输出模块，用于输入所述空间数据高效处理系统的待处理数据和输出所述空间数据高效处理系统处理完毕后的数据；
数据读取模块，连接所述输入输出模块的输出端，用于对所述待处理数据进行读取得到建模观测点数据和空间栅格数据；
核心模块，用于对土地特征稀疏矩阵处理后建模观测点数据和空间栅格数据，应用基本效用体的原则，抽取出观察点的K临近土地特征；
临近土地单元特征统计模块，用于统一应用NumPy算法对K临近土地特征进行统计；
统计结果输出模块，连接输入输出模块的输入端以及临近土地单元特征统计模块的输出端，用于根据临近土地单元特征统计模块统计后的数据形成统计结果，以作为所述处理完毕后的数据输出至输入输出模块。
2.根据权利要求1所述的空间数据高效处理系统，其特征在于，所述临近土地单元特征统计模块具体用于根据土地利用图、遥感影像图、道路交通图、人口分布图以及环境分类图，生成UGB模型、耕地保护模型以及生态保护模型。
3.根据权利要求1所述的空间数据高效处理系统，其特征在于，所述临近土地单元特征统计模块是基于FocalStat进行数据Fenix的。
4.根据权利要求3所述的空间数据高效处理系统，其特征在于，FocalStat对每一个元包进行多个土地利用的统计计算运用，使大数据土地利用规划在10秒钟内完成，而且能处理数据内存大于10GB需求的任务。
5.根据权利要求3所述的空间数据高效处理系统，其特征在于，FocalStat是结合同一土地类型具有一样的数值的空间分布特征，利用稀疏矩阵算法去处理空间数据。
6.根据权利要求1所述的空间数据高效处理系统，其特征在于，所述核心模块的输出端分别连接基本效用体的输入端和过滤计算器的一输入端；基本效用体的输出端连接空间截取基本单元的输入端，空间截取基本单元获取栅格数据量、中心位置、截取模块后一起连接至高效计算模块的输入端，高效计算模块的输出端连接至过滤计算器的另一输入端，过滤计算器的输出端连接至临近土地单元特征统计模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811223723.2A CN109408606A (zh) | 2018-10-19 | 2018-10-19 | 一种基于FocalSum的空间数据高效处理系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811223723.2A CN109408606A (zh) | 2018-10-19 | 2018-10-19 | 一种基于FocalSum的空间数据高效处理系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109408606A true CN109408606A (zh) | 2019-03-01 |
Family
ID=65468522
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811223723.2A Pending CN109408606A (zh) | 2018-10-19 | 2018-10-19 | 一种基于FocalSum的空间数据高效处理系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109408606A (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107092522A (zh) * | 2017-03-30 | 2017-08-25 | 阿里巴巴集团控股有限公司 | 实时数据的计算方法及装置 |
| CN107844757A (zh) * | 2017-10-24 | 2018-03-27 | 河海大学 | 一种利用数字高程模型提取流域内河道宽度的方法 |
-
2018
- 2018-10-19 CN CN201811223723.2A patent/CN109408606A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107092522A (zh) * | 2017-03-30 | 2017-08-25 | 阿里巴巴集团控股有限公司 | 实时数据的计算方法及装置 |
| CN107844757A (zh) * | 2017-10-24 | 2018-03-27 | 河海大学 | 一种利用数字高程模型提取流域内河道宽度的方法 |
Non-Patent Citations (3)
| Title |
|---|
| DVIENNEAU: "Focalsum modelling|Integrated Environmental Health Impact Assessment System", 《WWW.INTEGRATED-ASSESSMENT.EU/EU/RESOURCE_CENTRE/FOCAL_SUM_MODELLING.HTML》 * |
| 匿名: "ArcGIS9.2 webhelp Topic", 《WEBHELP.ESRI.COM/ARCGISDESKTOP/9.2/PRINTBOOKS_TOPICS.CFM?PID=5156》 * |
| 匿名: "RasterToNumPyArray", 《HTTP://HELP. ARCGIS.COM/EN/ARCGISDESKTOP/10.0/HELP/OOOV/OOOV0000012Z000000.HTM》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhao et al. | Geographical information system parallelization for spatial big data processing: a review | |
| CN108446293A (zh) | 一种基于城市多源异构数据构建城市画像的方法 | |
| CN108228775A (zh) | 基于云平台的国土资源数据管理系统 | |
| CN105931168A (zh) | 一种基于信息栅格服务的智慧城市服务架构 | |
| CN103838617A (zh) | 大数据环境下的数据挖掘平台的构建方法 | |
| CN110019568A (zh) | 基于空间聚类的选址方法、装置、计算机设备及存储介质 | |
| CN107193911A (zh) | 一种基于bim模型的三维可视化引擎及web应用程序调用方法 | |
| CN108804602A (zh) | 一种基于spark的分布式空间数据存储计算方法 | |
| CN112115198A (zh) | 一种城市遥感智能服务平台 | |
| CN103281351A (zh) | 一种高效能遥感数据处理与分析的云服务平台 | |
| CN113570275A (zh) | 基于bim和数字高程模型的水资源实时监测系统 | |
| CN104408564A (zh) | 一种数字水资源系统 | |
| CN101158985A (zh) | 一种超维度河流动力学自适应并行监测的方法 | |
| CN106372074A (zh) | 一种用于污染场地风险评估可视化系统的架构方法 | |
| Huang et al. | Using adaptively coupled models and high-performance computing for enabling the computability of dust storm forecasting | |
| Mohammad et al. | Urban growth simulation through cellular automata (CA), analytic hierarchy process (AHP) and GIS; case study of 8th and 12th municipal districts of Isfahan | |
| CN112199456B (zh) | 一种基于供给型水文生态系统服务的流域水资源管理方法 | |
| CN110287508A (zh) | 一种多源三维城市模型的可视化融合系统 | |
| CN106453468B (zh) | 一种基于gis技术的煤矿突水预警方法 | |
| WO2024108975A1 (zh) | 一种空间模型数据的切片方法 | |
| CN109947826A (zh) | 一种运用大数据技术构建区域画像分析模型的方法 | |
| CN116958465A (zh) | 一种基于地质三维建模可视化的时空大数据云服务平台 | |
| CN109408606A (zh) | 一种基于FocalSum的空间数据高效处理系统 | |
| CN109885631A (zh) | 一种城市数字地图三维建模制作系统及其方法 | |
| CN115907493A (zh) | 一种基于空间数据库的大遗址保护规划系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190301 |
|
| RJ01 | Rejection of invention patent application after publication |