CN103678682A - 基于抽象模板的海量栅格数据处理及管理方法 - Google Patents

基于抽象模板的海量栅格数据处理及管理方法 Download PDF

Info

Publication number
CN103678682A
CN103678682A CN201310729321.0A CN201310729321A CN103678682A CN 103678682 A CN103678682 A CN 103678682A CN 201310729321 A CN201310729321 A CN 201310729321A CN 103678682 A CN103678682 A CN 103678682A
Authority
CN
China
Prior art keywords
data
template
raster
raster data
abstract
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310729321.0A
Other languages
English (en)
Other versions
CN103678682B (zh
Inventor
董文
胡晓东
沈占锋
骆剑承
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Remote Sensing and Digital Earth of CAS
Original Assignee
Institute of Remote Sensing and Digital Earth of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Remote Sensing and Digital Earth of CAS filed Critical Institute of Remote Sensing and Digital Earth of CAS
Priority to CN201310729321.0A priority Critical patent/CN103678682B/zh
Publication of CN103678682A publication Critical patent/CN103678682A/zh
Application granted granted Critical
Publication of CN103678682B publication Critical patent/CN103678682B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/258Data format conversion from or to a database
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29Geographical information databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于抽象模板的海量栅格数据的分类处理和管理方法。具体内容包括:(1)栅格数据特征提取:确定栅格数据主要特征信息;(2)栅格数据模板匹配:依据特征的匹配度判断最适合数据模板;(3)基于抽象模板的数据自动化处理:自动调用对应的数据处理工具,完成栅格数据的自动化、流程化处理;(4)基于抽象模板的数据自动存储:自动创建数据存储空间,分配集群存储位置,实现数据导入;(5)基于抽象模板的数据查询检索:自动构建与更新对应数据集检索条件,实现对海量栅格数据的管理。本发明利用抽象数据模板建立栅格数据与数据处理工具和存储模型间的管理,解决了海量栅格数据的快速、自动化处理和管理问题。

Description

基于抽象模板的海量栅格数据处理及管理方法
技术领域
本发明涉及栅格数据的处理及管理,特别是涉及一种基于抽象模板的大数据量栅格数据的分类处理和管理方法。
背景技术
栅格数据结构又称为格网结构(raster),是将地表面划分为大小均匀、紧密相邻的网格阵列,每个网格作为一个像元或像素由行、列号定义,它包含一个代码,以表示该网格的属性或指向属性记录的指针,是GIS中的数据结构不可缺少的组成部分。
经过半个多世纪发展,全球对地观测技术水平突飞猛进,多传感器、多空间分辨率、多光谱分辨率和多角度卫星遥感正在实现对陆地表面的全方位观测,导致栅格数据量呈现爆炸式增长。强大的数据获取能力,为各类栅格信息产品的生产和服务提供了大量基础数据的同时,对传统栅格数据的处理、管理也提出了严峻的挑战。
目前,栅格数据的基本管理方式可以分为基于文件系统和基于数据库管理系统两类。其中基于文件的存储方式被广泛应用于平台无关的地理栅格数据表达和交换,而基于数据库管理系统的栅格数据管理方式由于能够借助于现代数据库管理系统所提供的各种标准特性,已经越来越被广泛应用。目前,空间数据库管理系统主要有两种实现模式:一种是“关系型数据库管理系统+空间数据引擎”,另一种是“关系型数据库管理系统+空间扩展”。虽然两种模式在栅格数据的空间检索、更新、查询等的实现方式上有所区别,但对于栅格数据本身的存储都是采用了数据库存储方式。但由于栅格数据是一类非结构化的复杂数据,且具有海量数据的特征,现有的栅格数据管理方式虽然能支持多用户的数据检索等操作,但在进行栅格数据计算和分析时会遇到数据操作瓶颈问题。
面对栅格数据获取能力的飞速发展与栅格数据处理及服务能力严重滞后的矛盾,如何实现海量栅格数据的自动化处理及有效管理已成为GIS领域中迫切需要解决的一个难题。
发明内容
本发明的目的是为了解决海量栅格数据的自动化处理及面向计算的数据管理问题,针对栅格数据的主要特征,提出一种基于抽象模板的海量栅格数据处理及管理方法,通过栅格数据特征分析,进行抽象模板匹配,依据匹配的模板调用对应的栅格数据自动处理工具来实现栅格数据的自动化处理,并依据抽象模板自动构建栅格数据的存储结构,实现栅格数据的自动分类存储及管理,由此解决海量栅格数据处理及管理的自动化问题。
本发明所采用的技术方案的具体内容包括:
(1)栅格数据特征提取:读取栅格数据及相关元数据信息,提取数据主要特征信息,包括数据文件格式、数据文件命名规则、数据文件存储方式、数据文件内容、数据来源等信息,用于进行数据模板匹配。
(2)栅格数据模板匹配:将栅格数据提取的特征与抽象模板特征进行匹配,依据特征的匹配度判断最适合的数据模板。
(3)基于抽象模板的栅格数据自动化处理:每类抽象数据模板对应一系列的栅格数据处理工具,依据数据匹配的数据模板,自动调用对应的数据处理工具,完成栅格数据的自动化、流程化处理。
(4)基于抽象模板的数据自动存储:依据数据匹配的数据模板,自动创建数据存储空间,分配集群存储位置,并将数据处理工具提取的栅格数据元数据存入创建的数据存储空间之中。
(5)基于抽象模板的数据查询检索:依据数据模板,自动构建对应数据集栅格数据检索默认条件,依据用户输入查询条件进行检索条件的部分更新,形成最终的查询条件,通过对元数据检索实现对海量栅格数据的查询检索。
当用户需要添加一个新的栅格数据时,需要顺序执行(1)-(4)的步骤;当用户需要对已有的数据进行查询检索时,需执行步骤(5);当用户需要对已有栅格数据进行更新时,需在执行步骤(5)获取对应元数据记录及数据文件位置后,对更新的栅格数据顺序执行(1)-(4),替换原有记录及文件;当用户需要删除已有数据时,在执行步骤(5)获取对应元数据记录及数据文件位置后,删除对应记录及数据文件。
本发明中步骤(1)中栅格数据特征可以通过读取栅格文件及相关元数据文件自动提取,对于信息不足或元数据文件缺失的栅格数据可以由用户人工指定对应特征。
本发明中步骤(2)中特征的匹配包括特征数量的匹配和每个特征值的匹配,依据特征权重进行匹配度的判断。
本发明中步骤(3)中每类抽象数据模板对应一系列栅格数据处理工具的组合,主要包括栅格数据的格式转换、校正、元数据信息提取等处理步骤,通过模板与工具组合信息的关联,实现对应栅格数据的自动化处理。
本发明中步骤(4)、(5)中每类抽象数据模板对应一类数据存储结构,在栅格数据添加、查询等操作时,依据对应的存储结构自动创建存储空间或查询条件结构,进而实现栅格数据的操作。
本发明技术与现有技术相比,具有以下有益效果:本发明利用抽象数据模板建立栅格数据与数据处理工具和存储模型间的管理,解决海量栅格数据的快速、自动化处理和管理问题。只要是可识别的栅格数据均可通过栅格数据特征与模板特征的匹配进行数据的自动分类,再通过自动调用模板对应的数据处理工具及管理工具实现栅格数据的自动处理、入库及管理。
附图说明
图1为本发明的栅格数据导入及处理流程图。
图2为本发明的栅格数据查询流程图。
图3为本发明的栅格数据更新流程图。
图4为本发明的栅格数据删除流程图。
具体实施方式
下面结合附图及具体实施例对本发明做进一步的详细描述。
本发明实施例提供了一种基于抽象数据模板的海量栅格数据自动处理和管理方法,具体包括以下步骤:
(1)数据导入及处理
读取栅格数据,进行栅格数据的自动处理,并完成是数据的入库管理。参见图1所示,数据导入及处理具体包括以下步骤:
(a)读取栅格数据文件及其元数据信息文件,从数据文件及元数据文件中提取主要特征信息,主要包括数据文件格式信息、数据文件组成信息、数据分辨率信息等内容。
(b)依据数据特征权重信息,与抽象数据模板库进行数据特征数和特征值的匹配,判断栅格数据所属的数据模板。
(c)对于正确匹配的栅格数据,通过抽象数据模板库中对应数据处理信息,调用数据处理工具,完成数据预处理及元信息提取;对于没有正确匹配的栅格数据返回无法处理信息结束导入处理流程。
(d)对于处理完成并正确提取元信息的栅格数据,依据抽象数据模板库中对应的数据存储结构信息创建数据存储空间以及分配数据在集群中的存储位置,并完成数据的入库管理。
(2)数据查询
依据用户选择的数据集等信息确定查询数据对应数据模板类型,动态构建查询条件并与用户输入查询信息组合,生成最终查询条件,完成数据检索查询。参见图2所示,数据查询具体包括以下步骤:
(a)用户通过指定查询数据集等交互确定查询数据所属模板类型。
(b)依据数据模板库中对应的数据结构信息,自动构建默认查询条件。
(c)用户通过交互确定相关查询条件,依据用户交互信息更新默认查询条件。
(d)依据更新后的查询条件进行数据查询,并返回查询结果集信息。
(3)数据更新
在数据查询的基础上,指定需要更新的栅格数据,重复数据导入及处理流程,并将对应信息更新至查询指定的数据记录中。参见图3所示,数据更新具体包括以下步骤:
(a)用户通过指定查询数据集等交互确定查询数据所属模板类型。
(b)依据数据模板库中对应的数据结构信息,自动构建默认查询条件。
(c)用户通过交互确定相关查询条件,依据用户交互信息更新默认查询条件。
(d)依据更新后的查询条件进行数据查询,并返回查询结果集信息,在结果集中指定需要更新的具体数据。
(e)读取新的栅格数据文件及其元数据信息文件,从数据文件及元数据文件中提取主要特征信息,主要包括数据文件格式信息、数据文件组成信息、数据分辨率信息等内容。
(f)依据数据特征权重信息,与指定数据对应的抽象数据模板进行数据特征数和特征值的匹配,判断栅格数据是否属于此数据模板。
(g)对于正确匹配的栅格数据,通过抽象数据模板库中对应数据处理信息,调用数据处理工具,完成数据预处理及元信息提取;对于没有正确匹配的栅格数据返回无法处理信息结束更新处理流程。
(h)对于处理完成并正确提取元信息的栅格数据,将对应的元信息及数据文件信息更新至指定的数据对应的记录及文件位置。
(4)数据删除
在数据查询的基础上,指定需要删除的栅格数据,依据对应数据模板中记录的数据存储结构和元数据信息,删除对应的元数据记录、数据存储空间和所有数据文件。参见图4所示,数据删除具体包括以下步骤:
(a)用户通过指定查询数据集等交互确定删除数据所属模板类型。
(b)依据数据模板库中对应的数据结构信息,自动构建默认查询条件。
(c)用户通过交互确定相关查询条件,依据用户交互信息更新默认查询条件。
(d)依据更新后的查询条件进行数据查询,并返回查询结果集信息。
(e)用户通过交互指定需要删除的数据
(f)依据对应数据模板中数据结构信息删除对应元数据记录信息、数据文件以及数据存储空间信息。

Claims (5)

1.一种基于抽象模板的海量栅格数据处理和管理方法,具体内容为:
(1)栅格数据特征提取:读取栅格数据及相关元数据信息,提取数据主要特征信息,包括数据文件格式、数据文件命名规则、数据文件存储方式、数据文件内容、数据来源、数据分辨率信息,用于进行数据模板匹配;
(2)栅格数据模板匹配:将栅格数据提取的特征与抽象模板特征进行匹配,依据特征的匹配度判断最适合的数据模板;
(3)基于抽象模板的栅格数据自动化处理:每类抽象数据模板对应一系列的栅格数据处理工具,依据数据匹配的数据模板,自动调用对应的数据处理工具,完成栅格数据的自动化、流程化处理;
(4)基于抽象模板的栅格数据自动存储:依据数据匹配的数据模板,自动创建数据存储空间,分配集群存储位置,并将数据处理工具提取的栅格数据元数据存入创建的数据存储空间之中;
(5)基于抽象模板的栅格数据查询检索:依据数据模板,自动构建对应数据集的栅格数据检索默认条件,依据用户输入查询条件进行检索条件的部分更新,形成最终的查询条件,通过对元数据检索实现对海量栅格数据的查询检索;
当用户需要添加一个新的栅格数据时,需要顺序执行(1)-(4)的步骤;当用户需要对已有的数据进行查询检索时,需执行步骤(5);当用户需要对已有栅格数据进行更新时,需在执行步骤(5)获取对应元数据记录及数据文件位置后,对更新的栅格数据顺序执行(1)-(4)的步骤,替换原有记录及文件;当用户需要删除已有数据时,在执行步骤(5)获取对应元数据记录及数据文件位置后,删除对应记录及数据文件。
2.根据权利要求1所述的基于抽象模板的海量栅格数据处理和管理方法,其特征在于:所述步骤(1)中栅格数据特征可以通过读取栅格文件及相关元数据文件自动提取,对于信息不足或元数据文件缺失的特殊栅格数据可以由用户人工指定对应特征。
3.根据权利要求1所述的基于抽象模板的海量栅格数据处理和管理方法,其特征在于:所述步骤(2)中数据特征的匹配包括特征数量的匹配和每个特征值的匹配,依据特征权重进行匹配度的判断。
4.根据权利要求1所述的基于抽象模板的海量栅格数据处理和管理方法,其特征在于:所述步骤(3)中每类抽象数据模板对应一系列栅格数据处理工具的组合,主要包括栅格数据的格式转换、辐射校正、几何校正、元数据信息提取多种处理步骤,通过数据模板与工具组合信息的关联,实现对应栅格数据的自动化处理。
5.根据权利要求1所述的基于抽象模板的海量栅格数据处理和管理方法,其特征在于:所述步骤(4)、(5)中每类抽象数据模板对应一类数据存储结构,在栅格数据添加、查询、更新和删除操作时,依据对应的存储结构自动创建存储空间或查询条件结构,进而实现栅格数据的管理操作。
CN201310729321.0A 2013-12-26 2013-12-26 基于抽象模板的海量栅格数据处理及管理方法 Active CN103678682B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310729321.0A CN103678682B (zh) 2013-12-26 2013-12-26 基于抽象模板的海量栅格数据处理及管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310729321.0A CN103678682B (zh) 2013-12-26 2013-12-26 基于抽象模板的海量栅格数据处理及管理方法

Publications (2)

Publication Number Publication Date
CN103678682A true CN103678682A (zh) 2014-03-26
CN103678682B CN103678682B (zh) 2019-10-11

Family

ID=50316226

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310729321.0A Active CN103678682B (zh) 2013-12-26 2013-12-26 基于抽象模板的海量栅格数据处理及管理方法

Country Status (1)

Country Link
CN (1) CN103678682B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106815268A (zh) * 2015-12-01 2017-06-09 中广核工程有限公司 海量非结构化电子文件的结构化处理方法及系统
CN107977427A (zh) * 2017-11-28 2018-05-01 鲁东大学 一种分类型栅格数据的存储及读取方法
CN109871567A (zh) * 2018-12-18 2019-06-11 远景能源(南京)软件技术有限公司 光伏组件排布图纸的自动化生成方法
CN109902115A (zh) * 2019-01-28 2019-06-18 中山大学 一种面向栅格数据的区域与流域数据程序化提取方法
CN111339221A (zh) * 2018-12-18 2020-06-26 中兴通讯股份有限公司 数据处理方法、系统及存储介质
CN113076556A (zh) * 2021-03-29 2021-07-06 北京中电华大电子设计有限责任公司 一种eUICC签约数据文件的管理方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070253642A1 (en) * 2006-04-27 2007-11-01 Mapinfo Corporation Method and apparatus for indexing, storing and retrieving raster (GRID) data in a combined raster vector system
CN101963996A (zh) * 2010-10-29 2011-02-02 中国科学院地理科学与资源研究所 一种全球栅格数据存储方法
CN102368272A (zh) * 2011-11-15 2012-03-07 中国科学院地理科学与资源研究所 一种数据库系统实现栅格数据类型的方法及其系统
CN102542041A (zh) * 2011-12-27 2012-07-04 北京地拓科技发展有限公司 栅格数据处理方法及系统
CN103186549A (zh) * 2011-12-28 2013-07-03 泰瑞数创科技(北京)有限公司 一种海量瓦片栅格数据文件的管理方法
CN103473984A (zh) * 2013-08-14 2013-12-25 中国地质大学(武汉) 网络环境下基于模板的动态地图获取方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070253642A1 (en) * 2006-04-27 2007-11-01 Mapinfo Corporation Method and apparatus for indexing, storing and retrieving raster (GRID) data in a combined raster vector system
CN101963996A (zh) * 2010-10-29 2011-02-02 中国科学院地理科学与资源研究所 一种全球栅格数据存储方法
CN102368272A (zh) * 2011-11-15 2012-03-07 中国科学院地理科学与资源研究所 一种数据库系统实现栅格数据类型的方法及其系统
CN102542041A (zh) * 2011-12-27 2012-07-04 北京地拓科技发展有限公司 栅格数据处理方法及系统
CN103186549A (zh) * 2011-12-28 2013-07-03 泰瑞数创科技(北京)有限公司 一种海量瓦片栅格数据文件的管理方法
CN103473984A (zh) * 2013-08-14 2013-12-25 中国地质大学(武汉) 网络环境下基于模板的动态地图获取方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106815268A (zh) * 2015-12-01 2017-06-09 中广核工程有限公司 海量非结构化电子文件的结构化处理方法及系统
CN107977427A (zh) * 2017-11-28 2018-05-01 鲁东大学 一种分类型栅格数据的存储及读取方法
CN107977427B (zh) * 2017-11-28 2021-08-24 鲁东大学 一种分类型栅格数据的存储及读取方法
CN109871567A (zh) * 2018-12-18 2019-06-11 远景能源(南京)软件技术有限公司 光伏组件排布图纸的自动化生成方法
CN111339221A (zh) * 2018-12-18 2020-06-26 中兴通讯股份有限公司 数据处理方法、系统及存储介质
CN109871567B (zh) * 2018-12-18 2023-07-07 远景能源(南京)软件技术有限公司 光伏组件排布图纸的自动化生成方法
CN111339221B (zh) * 2018-12-18 2024-04-26 中兴通讯股份有限公司 数据处理方法、系统及存储介质
CN109902115A (zh) * 2019-01-28 2019-06-18 中山大学 一种面向栅格数据的区域与流域数据程序化提取方法
CN109902115B (zh) * 2019-01-28 2022-03-04 中山大学 一种面向栅格数据的区域与流域数据程序化提取方法
CN113076556A (zh) * 2021-03-29 2021-07-06 北京中电华大电子设计有限责任公司 一种eUICC签约数据文件的管理方法

Also Published As

Publication number Publication date
CN103678682B (zh) 2019-10-11

Similar Documents

Publication Publication Date Title
CN103678682A (zh) 基于抽象模板的海量栅格数据处理及管理方法
CN102521225B (zh) 增量数据抽取装置和增量数据抽取方法
CN104765876B (zh) 海量gnss小文件云存储方法
JP6032467B2 (ja) 時空間データ管理システム、時空間データ管理方法、及びそのプログラム
CN106933833B (zh) 一种基于空间索引技术的位置信息快速查询方法
CN105138635B (zh) 一种利用哈希值比对进行数据增量复制的方法
JP6262874B2 (ja) データベース実現方法
US20160328429A1 (en) Mutations in a column store
CN105701104B (zh) 一种基于地理信息的三维数据引擎系统
CN105608222A (zh) 一种大规模栅格数据集的瓦片金字塔快速构建方法
CN108804602A (zh) 一种基于spark的分布式空间数据存储计算方法
CN102314697B (zh) 基于数据类型的数值型数据压缩及解压缩方法
CN101231642A (zh) 时空数据库管理方法及其系统
CN101853305A (zh) 一种构建综合农业环境信息数据库的方法
CN102880709A (zh) 数据仓库管理系统和数据仓库管理方法
CN102509022A (zh) 一种面向虚拟地球的栅格数据快速建库方法
CN102375827B (zh) 一种对版本化的电网模型数据库进行快速加载的方法
CN104679827A (zh) 一种基于大数据的公开信息关联方法及挖掘引擎
CN103177103A (zh) 一种三维地理信息系统管理平台
CN101520801B (zh) 一种数据库空间几何对象存取方法
CN102867066A (zh) 数据汇总装置和数据汇总方法
Lewis et al. Lidar data management pipeline; from spatial database population to web-application visualization
CN102521364A (zh) 一种图上两点间最短路径查询方法
CN104834650A (zh) 一种有效查询任务生成方法及系统
CN102270226A (zh) 预算数据汇总系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
DD01 Delivery of document by public notice

Addressee: Dong Wen

Document name: Notice of Termination of Patent Rights

DD01 Delivery of document by public notice