CN108920684B - 一种科技资源空间数据整编方法和系统 - Google Patents

一种科技资源空间数据整编方法和系统 Download PDF

Info

Publication number
CN108920684B
CN108920684B CN201810761484.XA CN201810761484A CN108920684B CN 108920684 B CN108920684 B CN 108920684B CN 201810761484 A CN201810761484 A CN 201810761484A CN 108920684 B CN108920684 B CN 108920684B
Authority
CN
China
Prior art keywords
data
scientific
spatial
metadata
technological resource
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810761484.XA
Other languages
English (en)
Other versions
CN108920684A (zh
Inventor
韩嘉福
罗斌
谢波
徐磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Geographic Sciences and Natural Resources of CAS
Original Assignee
Institute of Geographic Sciences and Natural Resources of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Geographic Sciences and Natural Resources of CAS filed Critical Institute of Geographic Sciences and Natural Resources of CAS
Priority to CN201810761484.XA priority Critical patent/CN108920684B/zh
Publication of CN108920684A publication Critical patent/CN108920684A/zh
Application granted granted Critical
Publication of CN108920684B publication Critical patent/CN108920684B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种科技资源空间数据整编方法和系统,涉及数据整编的技术领域,包括获取多个科技资源空间数据;按项目、分数据集的方式存储在地理空间内容数据库中,并生成数据内容映射寻址表;利用科技资源空间数据的空间元数据构建矢量数据表,并存储在地图数据库中;确定并通过数据的第一标识码关联数据内容映射寻址表与矢量数据表,建立数据的多级网格编码以实现多级空间格网的快速查询。本发明通过规范化处理科技资源空间数据,并建立空间元数据,可以实现基于空间位置的科技资源数据的查询服务,是对现有基于元数据查询的数据共享能力的扩展;依此方法构建的管理与共享服务系统,可以保障科技资源空间数据长期、持续、开放的集成与共享服务。

Description

一种科技资源空间数据整编方法和系统
技术领域
本发明涉及数据整编技术领域,尤其是涉及一种科技资源空间数据整编方法和系统。
背景技术
对于在气象、地球科学、生物学、农业、林业、医学、环境、材料等多个领域,均有一批重要的科学数据、文字资料、图集典籍、科学规范、标准物质、样本样品等科技数据。一般将这些科技资源中的空间数据存储在数据库中,在数据库中存储时,可操作的数据粒度为数据集的元数据,实现数据集层面的元数据查询。具体来说,管理者要想对数据进行管理、用户想要使用数据均需要知道目标数据的元数据信息,并通过元数据获取到数据后,方可进行数据的使用,然而,这种方式给数据使用带来了诸多不便,例如:用户想要使用数据本身,但是现有的方式只能通过元数据查找数据本身,这样就会降低查找效率。
发明内容
有鉴于此,本发明的目的在于提供一种科技资源空间数据整编方法和系统,能够规范化科技资源空间数据,解决了现有技术中只有通过元数据获取到数据后,方可进行数据的使用的技术问题,提高了数据使用的效率。
第一方面,本发明实施例提供了一种科技资源空间数据整编方法,包括:
获取多个科技资源空间数据;
将所述多个科技资源空间数据存储在内容数据库中;
根据所述多个科技资源空间数据在所述内容数据库中存储的位置信息,生成数据内容映射寻址表;
逐一提取所述多个科技资源空间数据的空间元数据,生成矢量数据表,并将所述矢量数据表存储在地图数据库中;所述矢量数据表中记录多个空间元数据;
确定所述科技资源空间数据的第一标识码,以通过所述第一标识码将数据内容映射寻址表与矢量数据表关联,便于用户能够通过所述数据内容映射寻址表和/或者所述矢量数据表查询所述内容数据库中的科技资源空间数据与存储在所述地图数据库中的空间元数据。
结合第一方面,本发明实施例提供了第一方面的第一种可能的实施方式,其中,将所述多个科技资源空间数据存储在内容数据库中,包括:
将所述多个科技资源空间数据进行项目分类,得到至少一个项目;
对每个项目进行如下步骤:
将待分类项目下的多个科技资源空间数据进行类别分类,得到至少一个数据集;所述数据集为标本点数据的组合或者专题地图的组合;
将不同类别的数据集按照项目-数据集-数据的形式存储在内容数据库中。
结合第一方面,本发明实施例提供了第一方面的第二种可能的实施方式,其中,根据所述多个科技资源空间数据在所述内容数据库中存储的位置信息,生成数据内容映射寻址表,包括:
根据所述多个科技资源空间数据在所述内容数据库中存储的位置信息,生成以数据集为单元的数据内容映射寻址表。
结合第一方面,本发明实施例提供了第一方面的第三种可能的实施方式,其中,根据所述多个科技资源空间数据在所述内容数据库中存储的位置信息,生成以数据集为单元的数据内容映射寻址表,包括:
当所述数据集为专题地图的组合时,将所述数据集内的专题地图进行切片,得到地图瓦片数据;
将所述地图瓦片数据存储在海量地图库中;
基于所述地图瓦片数据在所述海量地图库中的存储位置,生成以数据集为单元的数据内容映射寻址表。
结合第一方面,本发明实施例提供了第一方面的第四种可能的实施方式,其中,在所述基于所述地图瓦片数据在所述海量地图库中的存储位置,生成以数据集为单元的数据内容映射寻址表的步骤之后,还包括:
确定第二标识码,并将所述第二标识码添加到所述数据内容映射寻址表中;
根据所述第一标识码和第二标识码,生成专题地图内容表,以通过所述专题地图内容表查询所述内容数据库中的科技资源空间数据、查询存储在所述海量地图库中的所述地图瓦片数据和查询存储在所述地图数据库中的空间元数据。
结合第一方面,本发明实施例提供了第一方面的第五种可能的实施方式,其中,逐一提取所述多个科技资源空间数据的空间元数据,生成矢量数据表,并将所述矢量数据表存储在地图数据库中;所述矢量数据表中记录多个空间元数据;包括:
逐一提取所述数据集中的每个科技资源空间数据的空间元数据,以数据集为单元生成数据式矢量数据表,并将所述数据式矢量数据表存储在地图数据库中,所述数据式矢量数据表中记录所述数据集中的所有科技资源空间数据的空间元数据;
逐一提取所述项目中的同一类别的数据集的空间元数据,以项目为单元生成数据集式矢量数据表,并将所述数据集式矢量数据表存储在地图数据库中;所述数据集式矢量数据表中记录所述项目中的所有同一类别的数据集的空间元数据;
逐一提取所述至少一个项目的空间元数据,生成项目式矢量数据表,并将所述项目式矢量数据表存储在地图数据库中;所述项目式矢量数据表中记录由多个科技资源空间数据分类的所有项目的空间元数据。
结合第一方面,本发明实施例提供了第一方面的第六种可能的实施方式,其中,在所述获取多个科技资源空间数据的步骤之后,所述方法还包括:
将对项目的空间元数据、数据集的空间元数据、每个科技资源空间数据的空间元数据进行网格编码;
关联所述项目的空间元数据、数据集的空间元数据、每个科技资源空间数据的空间元数据与其对应的网络编码,以便用户能够通过所述网格编码查询存储在所述内容数据库中的科技资源空间数据与存储在所述地图数据库中的空间元数据。
结合第一方面,本发明实施例提供了第一方面的第七种可能的实施方式,其中,在所述将不同类别的数据集按照项目-数据集-数据的形式存储在内容数据库中的步骤之前,所述方法还包括:对所述数据集进行过滤处理,以处理掉无效空间数据。
结合第一方面,本发明实施例提供了第一方面的第八种可能的实施方式,其中,当所述数据集为标本点数据的组合时,对所述数据集进行过滤处理,以处理掉无效空间数据,包括:
对每一个标本点数据进行如下步骤:
判断所述标本点数据中的空间位置信息是否为空;
如果否,则确定所述标本点数据为无效空间数据,并剔除无效空间数据;
如果是,则判断所述标本点数据中的空间位置信息是否在预设范围内;
如果否,则确定所述标本点数据为无效空间数据,并剔除无效空间数据;
如果是,则判断所述标本点数据中的空间位置信息与地图上的空间位置信息是否相同;
如果是,则保留所述标本点数据;
如果否,则确定所述标本点数据为无效空间数据,并剔除无效空间数据。
第二方面,本发明实施例还提供一种数据整编系统,包括:
获取模块,用于获取多个科技资源空间数据;
第一存储模块,用于将所述多个科技资源空间数据存储在内容数据库中;
生成模块,用于根据所述多个科技资源空间数据在所述内容数据库中存储的位置信息,生成数据内容映射寻址表;
第二存储模块,用于逐一提取所述多个科技资源空间数据的空间元数据,生成矢量数据表,并将所述矢量数据表存储在地图数据库中;所述矢量数据表中记录多个空间元数据;
确定模块,用于确定所述科技资源空间数据的第一标识码,以通过所述第一标识码将数据内容映射寻址表与矢量数据表关联,便于用户能够通过所述数据内容映射寻址表和/或者所述矢量数据表查询所述内容数据库中的科技资源空间数据与存储在所述地图数据库中的空间元数据。
本发明实施例带来了以下有益效果:获取多个科技资源空间数据,将多个科技资源空间数据存储在内容数据库中,根据多个科技资源空间数据在内容数据库中存储的位置信息,生成数据内容映射寻址表,逐一提取多个科技资源空间数据的空间元数据,生成矢量数据表,并将矢量数据表存储在地图数据库中;矢量数据表中记录多个空间元数据,确定科技资源空间数据的第一标识码,以通过第一标识码将数据内容映射寻址表与矢量数据表关联,便于用户能够通过数据内容映射寻址表和/或者矢量数据表查询内容数据库中的科技资源空间数据与存储在地图数据库中的空间元数据,本发明通过将数据内容映射寻址表和矢量数据表之间关联,使得用户即可以通过数据内容映射寻址表查找数据点对应的元数据,又可以通过元数据查找对应的数据点,能够规范化科技资源空间数据,解决了现有技术中只有通过元数据获取到数据后,方可进行数据的使用的技术问题,提高了数据使用的效率。
本发明的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的数据整编方法的流程图;
图2为本发明实施例提供的标本点进行过滤处理的流程图;
图3为本发明实施例提供的专题地图的校正的示意图;
图4为本发明实施例提供的地图瓦片数据入库的流程图;
图5为本发明实施例提供的提取专题地图的空间元数据的示意图;
图6为本发明实施例提供的数据集A的数据内容寻址映射表与矢量数据表的关联的示意图;
图7为本发明实施例提供的数据集B的专题地图内容表分别与数据内容寻址映射表和矢量数据表的关联的示意图;
图8为本发明实施例提供的科技资源空间数据网格化的流程图;
图9为本发明实施例提供的网格数据的示意图;
图10为本发明实施例提供的第19级网格与科技资源空间数据的关系图;
图11为一个采用本发明提供的数据整编方法的数据库的查询应用的示意图;
图12为另一个采用本发明提供的数据整编方法的数据库的查询应用的示意图;
图13为查询采用本发明提供的数据整编方法的数据库的视频和音频时的展示过程的流程图;
图14为本发明实施例提供的数据整编系统的结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
结合图1所示,本发明实施例提供了一种科技资源空间数据整编方法的流程图,所述方法包括:
S110:获取多个科技资源空间数据。
由于现有技术中,科学数据涉及的范围小单一,体现有二,一是学科领域单一,如S4PA实现了遥感数据的有效管理、SkyServer针对天文数据进行设计,二是研究区范围小,由中国研究机构研发的DGDSP通过建立6个分中心分别来实现青藏高原数据、极地数据、长江中下游数据、黄河中下游数据、寒区旱区数据、再生资源数据的共享与管理,系统针对某一学科领域或者某个地区的数据进行设计,可移植性弱,不适合在跨学科领域和大范围地区乃至全球范围科学数据共享和管理中进行应用推广。
同时,科技资源空间数据包括标本和图集。标本是标本点数据的数据集合,一个标本数据由一个或一个以上的标本点数据集成。图集是专题地图的数据集合,一本图集由一张或一张以上的专题地图组成。
标本点数据包括以标本点为中心,与各个学科相关联的数据。具体来说,标本点数据记录了标本点的经纬度信息和采样属性信息,如降水数据除了记录降水监测站点的经纬度信息,还记录了监测站点名称、年总降水量、月总降水量等信息,森林采样标本数据除了记录采样点的经纬度信息,还记录了采样点的环境、采样时间、采样编号、采集人、树的纲目科属种、鉴定时间、鉴定人、标本号、标本保存单位、数据获取联系人以及联系方式等信息。与标本点数据相关联的文件、图片、视频、音频数据是单独存放的。
其中,标本点数据的文件的存储格式有xlsx、xls、docx、doc、txt五种,图片的存储格式有JPEG、PNG、BMP三种,视频的存储格式由flv、swf两种,音频数据的存储格式有mp3。
专题图集数据以单张专题地图的形式进行存放,即在文件目录中,是以一张一张JPEG或BMP格式的无坐标图片或者一本电子文档pdf进行存储。专题图图片中包括专题地图的图例、比例尺、专题图名、投影坐标等信息。
基于此,本发明考虑以科技资源空间数据为数据源,进行数据的整编。
具体来说,科技资源空间数据可以从科技研究处中获取,或者,通过网上和电子图书馆中获取,对于获取方式,本发明并不做限定。
S120:将多个科技资源空间数据存储在内容数据库中。结合图2所示,具体存储方式包括:
S1201:将多个科技资源空间数据进行项目分类,得到至少一个项目。
具体来说,项目即为开展工作的名称,例如:工作人员考察新疆A地区的地理研究,则该项目就是新疆A地区的地理研究项目,所以关于新疆A地区的地理研究的数据均为该项目下的数据。
对每个项目进行如下步骤:
S1202:将待分类项目下的多个科技资源空间数据进行类别分类,得到至少一个数据集;所述数据集为标本点数据的组合或者专题地图的组合。
在步骤S120中,参照ETL(Extract-Transform-Load,数据仓库技术)的数据仓库建设技术框架,按照标本点数据和专题地图进行分类,将项目下的所有标本点数据集合成一个数据集,可以命名为数据集A,将项目下的所有专题地图组合成一个数据集,可以命名为数据集B。
S1203:将不同类别的数据集按照项目-数据集-数据的形式存储在内容数据库中。
对类别为数据集A来说:
具体来说,数据集A为标本点数据的组合,数据集A中的标本点数据按照“项目—数据集—数据”的数据集织形式进行存放。项目目录的命名采用“[项目编号]-[项目名称]”的形式,标本点数据分别存放于“0标本点”的目录中,数据集目录的命名采用“[数据集名称]”进行命名。
在数据集A的数据集目录中,隶属同一标本的原始数据资料存放于数据集目录下的“0原始”目录中,文本、图片、视频、音频数据经格式转换后存放于成果目录中。文件必须转换为“doc”、“DOC”或者压缩成“zip”、“ZIP”压缩包,图片必须转换为为“png”、“PNG”、“JPG”、“jpg”、“GIF”或“gif”,视频必须转换为“mp4”或“MP4”,音频必须转换为“mp3”或“MP3”。“1临时”目录用于存放数据处理的过程数据,“2成果”目录用于存放最终的成果数据,包括shapefile格式的数据集A的数据集、文件、图片、视频、音频,分别存放于“shp”、“file”、“image”、“video”、“audio”目录中。
具体数据集A入内容数据库的过程,包括:通过地理空间内容管理工具,录入标本点数据,其具体步骤如下:
1)建立栏目模型
栏目模型是用来描述真实的内容栏目所包含的内容的显示、交互、内容字段、查询、排序。
在编辑栏目模型时,可自定义栏目模型的“模型名称”、“每页数量”、“列表排序”、“查询设置”、“列表模板”、“详情模板”、“模型样式”、“模型脚本”、“参考模板”;
还可以自定义添加模型所包含的字段,如整数类型、浮点数类型、文本类型、图片(jpg、png、gif)类型、视频(map4)、音频(map3),可自定义字段名称,选择是否必填。
a.模型名称:用来表示该栏目模型的唯一标识符;
a.每页数量:是指在目录菜单中,每页显示的栏目数量;
b.列表排序:是指在目录菜单中显示栏目时,栏目排列的顺序,可根据创建时间、最后修改时间、审核时间、发布时间、阅读次数、保密等级等属性进行排序;
c.查询设置:是指在目录菜单中查找需浏览的栏目数据时,所依据的属性字段,包括标题、创建时间、最后修改时间、审核时间、发布时间、保密等级等;
d.列表模板:用来定义内容列表面板中,内容条目列表的展现方式;
e.详情模板:用来定义内容详情面板中,内容条目内容的展现方式;可通过html、css、js进行编写;
f.模型样式:用来定义内容栏目每个面板的展现方式;
g.模型脚本:用JS方法来定义进入该栏目时先运行的脚本和内容列表面板中获取内容列表前、后的运行脚本;
h.参考模板:
2)建立栏目
在已建立好的栏目模型中,创建栏目。创建的栏目包含以下属性:“上级分类”、“栏目标识”、“栏目标题”、“说明”、“栏目状态”、“栏目类型”、“前置图标”、“后置图标”。
a.上级分类:为“一级分类”或可选择创建栏目的上一级类型;
b.栏目标识:为必填项(英文、下划线、数字;不能与其他栏目重复,设置后不能修改)
c.栏目标题:为必填项(用于显示菜单中);即在目录菜单栏中显示的标题;
d.说明:对栏目的简要说明;
e.栏目状态:“开启”和“关闭”两种状态;
f.栏目类型:“分级栏目”、“跳转栏目”、“内容栏目”和“JS事件”四中类型;
g.前置图标:格式类型为jpg、png、tif;建议30px*30px大小;
h.后置图标:格式类型为jpg、png、tif;建议30px*30px大小;
3)添加栏目内容:在创建的栏目下,添加栏目内容,即标本数据。
4)栏目内容审核
添加完成的栏目内容需通过管理员的审核才能够进行发布;
5)栏目内容发布
将审核合格的栏目内容发布至服务器,即在服务器中将录入的数据进行存储,并且在存储后,经过审核可发布在显示器上进行显示。其中,进行审核与发布的操作设置一是为了更好管理数据,二是为了数据的安全可控。
另外,在步骤S130之前,所述方法还包括:对数据集A进行过滤处理,以处理掉无效空间数据。对数据集A中的每一个标本点数据进行如下处理,结合图2所示:
S1:判断标本点数据中的空间位置信息是否为空;如果是,则执行步骤S2,如果否则执行步骤S3;
S3:确定标本点数据为无效空间数据,并剔除无效空间数据;
S2:判断标本点数据中的空间位置信息是否在预设范围内;如果是,则执行步骤S4,如果否,则执行步骤S5。
S5:确定标本点数据为无效空间数据,并剔除无效空间数据;
S4:判断标本点数据中的空间位置信息与地图上的空间位置信息是否相同,如果是,则执行步骤S6,如果否,则执行步骤S7。
S6:保留标本数据;
S7:确定标本数据为无效空间数据,并剔除无效空间数据。
具体来说,标本点数据是具有地理空间信息的数据,对于那些经纬度信息为空的数据记录,因为无法得知其地理空间信息,又不能“武断”地设定这些数据记录的经纬度值为0,所以需要删除这类数据记录,以保持数据的科学性和真实性。其中,预设范围是指,在地理坐标系统中,经度值的范围为[-180,180]或者[西经180,东经180],纬度值的范围为[-90,90]或者[南纬90,北纬90]。对于以“度—分”或“度—分—秒”形式进行经纬度信息存储的数据记录,“分”值的范围为[0,60),“秒”值的范围为[0,60),按照此标准,将经纬度值超过预设范围的标本点数据进行删除。值得注意的是,有些数据记录它们的经纬度信息是错位的,即:经度放在了纬度的位置上,而纬度放在了经度的位置上。将数据按经度进行简单排序后,可以查找出那些经纬度信息错误的数据记录,将经纬度值对换后方可删除那些“经度或纬度超过预设范围”的数据记录。
把以“度—分”或者“度—分—秒”形式保存的经纬度值进行转换,转换为十进制形式的值,经度转换公式为:经度=度+分/60+秒/3600,纬度转换公式为:纬度=度+分/60+秒/3600。利用标本点数据中的经度和纬度分别作为地理坐标系中的x、y的数据集A转换为shapefile格式的数据集A。经过格式转换得到的shapefile数据集A能够直接使用专业的数据编辑软件打开并进行编辑,如QGIS、ArcGIS Desktop。把shapefile格式的数据集A作为目标输入数据,全球国家、省、市、县、镇/乡、村等多级别的行政区划数据作为输入的参考数据集,以参考数据集为标准逐标本数据集、逐点地进行数据的“图—数”检验,并保留“图—数”一致而删除不一致的标本点数据。
对类别为数据集B来说:
数据集B为专题地图的组合,数据集B中的专题地图按照“项目—数据集—数据”的数据集织形式进行存放。项目目录的命名采用“[项目编号]-[项目名称]”的形式(其中,数据集B中的项目可以与数据集A中的项目相同,即,一个科技资源空间数据包括其标本点数据和与其对应的专题地图),专题地图分别存放于“1图集”的目录中,图集目录的命名采用“[数据集名称]”进行命名。
其中,在图集中,隶属于同一本图集的专题地图数据存放于数据集目录下的“0原始”目录中,以原始文件数据格式进行存储,“1成果”目录用于存放图集组织好的图集。
首先,对专题地图进行校正,专题图校正是为了让无坐标信息的专题图图片附上坐标信息,这样生产出来的专题地图才能够与电子地图进行无缝拼接并叠加显示。
在进行专题图校正工作之前需要将专题地图进行格式转换、图片命名等预处理。格式转换就是将图片存储的专题图图片转换为“png”格式的图片,以pdf电子文档存放的专题地图转换为“png”格式的图片,保持所有专题地图的格式一致。图片的命名规则遵循“页码_图名_比例尺分母_分辨率dpi.png”。按照图集的顺序,给每张图片编排页码,页码格式为“P001、P002、P003……”,确定每张图片的图名、比例尺、分辨率等属性,将整理好的图片按照“页码_图名_比例尺分母_分辨率dpi.png”的形式进行命名。
重命名后的专题地图就可以进行校正了。专题图校正就是将通过建立图像坐标系(行与列)与投影坐标系统的几何变换方程,实现行列向目标投影坐标系统的变换。以待校正专题地图为输入数据,矢量行政区划数据为参考数据,分别在专题地图和参考数据中寻找同名点,建立最优方程式,即均方根误差最小时所对应的变换方程F(w,h),式中w、h分别为专题地图中在像素坐标系中的行、列。其中,均方根误差计算公式为:
Figure BDA0001727442400000141
式中n为同名点个数,xact,i、yact,i分别为i点实际位置的x、y值,xest,i、yest,i分别为i点估算位置的x、y值。专题地图校正从专题图像素矩阵出发,依次对其中每一个像元分别计算其输出图像的坐标,校正公式为:
Figure BDA0001727442400000142
式中w、h分别为专题图在像素坐标系中的列、行,x、y分别为目标投影坐标系的横、纵坐标值。结合图3所示,校正后,专题地图为x、y的坐标表示。
数据集B是一张或多张专题地图的数据集合。为得到数据集B,需要将同一本图集的专题地图进行规范化组织。一本图集由“地图说明”目录、“图例”目录、“缩略图”目录、“图片”目录、索引文件(EXCEL表格)组成。其中,“地图说明”目录存放各专题地图的地图说明,存储格式为jpg图片;“图例”目录存放各专题地图的图例,存储格式为jpg图片;“缩略图”目录存放与图集相关的缩略图,存储格式为jpg图片;“图片”目录存放png格式的专题地图,及与之相对应的元数据文件pgw;索引文件保存专题地图的索引信息,包括图名、页码等信息。
专题图数据存储空间内容库,具体的存储过程为:
通过地理空间内容采编工具,录入地图的专题内容数据,其具体步骤如下:
1)建立栏目模型
栏目模型是用来描述真实的内容栏目所包含的内容的显示、交互、内容字段、查询、排序。
在编辑栏目模型时,可自定义栏目模型的“模型名称”、“每页数量”、“列表排序”、“查询设置”、“列表模板”、“详情模板”、“模型样式”、“模型脚本”、“参考模板”;
还可以自定义添加模型所包含的字段,如整数类型、浮点数类型、文本类型、专题图等类型,可自定义字段名称,选择是否必填。
a.模型名称:用来表示该栏目模型的唯一标识符;
a.每页数量:是指在目录菜单中,每页显示的栏目数量;
b.列表排序:是指在目录菜单中显示栏目时,栏目排列的顺序,可根据创建时间、最后修改时间、审核时间、发布时间、阅读次数、保密等级等属性进行排序;
c.查询设置:是指在目录菜单中查找需浏览的栏目数据时,所依据的属性字段,包括标题、创建时间、最后修改时间、审核时间、发布时间、保密等级等;
d.列表模板:用来定义内容列表面板中,内容条目列表的展现方式;
e.详情模板:用来定义内容详情面板中,内容条目内容的展现方式;可通过html、css、js进行编写;
f.模型样式:用来定义内容栏目每个面板的展现方式;
g.模型脚本:用JS方法来定义进入该栏目时先运行的脚本和内容列表面板中获取内容列表前、后的运行脚本;
h.参考模板:
2)建立栏目
在已建立好的栏目模型中,创建栏目。创建的栏目包含以下属性:“上级分类”、“栏目标识”、“栏目标题”、“说明”、“栏目状态”、“栏目类型”、“前置图标”、“后置图标”。
a.上级分类:为“一级分类”或可选择创建栏目的上一级类型;
b.栏目标识:为必填项(英文、下划线、数字;不能与其他栏目重复,设置后不能修改)
c.栏目标题:为必填项(用于显示菜单中);即在目录菜单栏中显示的标题;
d.说明:对栏目的简要说明;
e.栏目状态:“开启”和“关闭”两种状态;
f.栏目类型:“分级栏目”、“跳转栏目”、“内容栏目”和“JS事件”四中类型;
g.前置图标:格式类型为jpg、png、tif;建议30px*30px大小;
h.后置图标:格式类型为jpg、png、tif;建议30px*30px大小;
3)添加栏目内容:在创建的栏目下,添加栏目内容,即标本数据。
4)栏目内容审核
添加完成的栏目内容需通过管理员的审核才能够进行发布;
5)栏目内容发布
将审核合格的栏目内容发布至服务器。
S130:根据多个科技资源空间数据在内容数据库中存储的位置信息,生成数据内容映射寻址表。
具体来说,根据多个科技资源空间数据在所述内容数据库中存储的位置信息,生成以数据集为单元的数据内容映射寻址表。
作为一个示例,将类别为数据集A中的标本点数据整编到一个表格中。这一步骤相当于将数据从文件中拷贝出来,然后录入到一张新建的表格中。在这个表格中,一行数据代表数据集中的一个数据,即一个标本点;一列数据代表数据的属性值,比如经度、纬度等属性。行与列相交的单元表示为某个标本点某个属性的值。标本的其他属性,如文件、图片、视频、音频等信息也需要一一录入到内容数据库中,并以文件、图片、视频、音频信息的相对文件存储路径的形式生成数据内容映射寻址表,比如“/[数据所在目录]/文件名.格式扩展名”。
当数据集为专题地图的组合时,即为数据集B时,结合图4所示,
S31:将数据集B内的专题地图进行切片,得到地图瓦片数据。
在得到地图瓦片数据之前,需要对数据集B进行检查。数据集B检查首先从索引文件开始,读取数据集B结构,然后从数据集B结构中读取专题地图,并对专题地图的元数据信息进行对比检查,根据检查结果返回“错误”、“警告”、“通过”。在进行数据上传前,图集中的所有专题地图的检查结果必须为“通过”。
检查通过的数据集B可进行上传,将图集数据上传至服务器中进行保存。服务器接收到数据后,对数据集B和数据集B内的专题地图进行编号,解析数据集B的元数据信息一并存入系统中。
然后,进行步骤S31。为实现专题地图与电子地图无缝拼接,需要将图集进行再生产,生产为带有空间信息的瓦片数据。
地图切片的本质是对组成地图集的单幅地图进行切片。将每张单幅地图切割成256*256像素的瓦片。在根据移动终端设备的显示分辨率D,已知地球的半径R=6378137m,赤道长度L=2πR,1英寸=0.0254m,可得到:0级时,一个瓦片的成图比例尺为(0.0254*D*L)/256,按照瓦片金字塔模型,可得出每个显示级别的显示比例尺大小。
在进行地图切片时,首先读取该单幅地图的元数据文件,得到地图的比例尺m;将地图比例尺m与每个显示级别的比例尺M进行对比,可得到与地图比例尺m最接近的显示比例尺为M0,即可确定最适显示级别n0;最后,确定地切片的级别为n0+2、n0+1、n0、n0-1、n0-2
S32:将地图瓦片数据存储在海量地图库中。
将切片后得到的图集瓦片数据存储在海量地图库中。图集瓦片数据的组织方式为:图集瓦片数据由“mapproduct_meta”目录和“mapproduct_tile”目录组成,其中“mapproduct_meta”目录存放图集、图组、地图对的元数据信息,且分别存放于“atlas”、“map_group”、“map_twin”目录中;“mapproduct_tile”目录下有“basemap”、“thematicmap”两个文件目录,地图瓦片数据主要存储与“thematicmap”目录中。“thematicmap”目录中以文件目录形式将专题地图进行存储,即一张专题地图的瓦片数据存储于一个文件目录下,且该文件目录的名称为所对应专题地图的产品ID。专题地图的瓦片数据由瓦片数据包ptp、MD5校验文件、专题地图元数据信息sfp文件组成。其中,瓦片数据包ptp存储着专题地图不同等级的瓦片数据;MD5校验文件存储专题地图的校验码;专题地图元数据信息sfp文件存储专题地图的元数据信息。
通过地图产品注册与发布工具可将图集瓦片数据在海量地图库中进行注册、存储于发布。海量地图库中,以文件系统形式存储着专题地图瓦片数据及其元数据信息,包括ptp、sfp等。
S33:基于地图瓦片数据在海量地图库中的存储位置,生成以数据集为单元的数据内容映射寻址表。
具体来说,数据集B的数据内容映射寻址表为每个地图瓦片的存储路径,而生成数据寻址映射表,比如“/[数据所在目录]/文件名.格式扩展名”。
S140:逐一提取多个科技资源空间数据的空间元数据,生成矢量数据表,并将矢量数据表存储在地图数据库中;矢量数据表中记录多个空间元数据。
在现有的技术中,系统可操作的数据粒度为数据集的元数据,可以实现数据集层面的元数据查询,有些系统甚至不提供数据集的访问获取,限制了数据的共享,因平台停留在数据集的管理和使用,系统可操作的粒度也停留在数据集,不可以在数据层面对数据集进行查询、展示、修改等操作,如若在数据层面发生错误,需要将数据集从系统中撤下来进行修改后再发布,管理工作变得十分繁琐。
基于此,本发明提出了:逐一提取数据集中的多个科技资源空间数据的空间元数据,以数据集为单元生成数据式矢量数据表,并将数据式矢量数据表存储在地图数据库中,数据式矢量数据表中记录数据集中的所有科技资源空间数据的空间元数据;
逐一提取项目中的同一类别的数据集的空间元数据,以项目为单元生成数据集式矢量数据表,并将数据集式矢量数据表存储在地图数据库中;数据集式矢量数据表中记录所述项目中的所有同一类别的数据集的空间元数据;
逐一提取至少一个项目的空间元数据,生成项目式矢量数据表,并将所述项目式矢量数据表存储在地图数据库中;项目式矢量数据表中记录由多个科技资源空间数据分类的所有项目的空间元数据。
即,本发明对空间元数据进行了分层次提取,得到数据式矢量数据表、数据集式矢量数据表、项目式矢量数据表,实现从项目到数据集、数据集到数据不同粒度层次、不同梯度,方便快速的查询,提高了可操作的数据粒度。
具体来说:
针对于一个数据集A:
标本点数据中本身就具有经度和纬度的信息,只需将此信息提取取来,作为数据集A中包括的标本点数据对应的空间元数据,以数据集A为单元,生成矢量数据表。在数据式矢量数据表中记录着数据集A包含的所有标本点数据的空间元数据。
进一步的,逐一提取项目中的同一类别的数据集的空间元数据,以项目为单元生成数据集式矢量数据表,并将数据集式矢量数据表存储在地图数据库中;数据集式矢量数据表中记录所述项目中的所有同一类别的数据集的空间元数据。在数据集式矢量数据表中记录着一个项目包含的所有数据集A的空间元数据。具体来说,一个项目中包括了多个数据集,数据集又分为不同的类别,以同一类别的数据集生成一个数据集式矢量数据表。
具体来说,首先提取项目下的多个数据集A的空间元数据,然后,基于提取的空间元数据,生成数据集式矢量数据表。
标本点数据的组成的数据集A的空间元数据是一种用以描述标本点数据的集所在研究区空间范围的科技资源空间数据,表征数据集A的空间范围。数据集A的空间元数据来源于源数据集的数据说明文档,说明文档中对于空间范围的描述就是数据集A的空间元数据范围。
说明文档对空间范围的描述有三种:一是描述为行政区范围,如北京市、贵州省等;二是描述为地貌的空间范围,如三江平原、青藏高原、秦巴山区;三是描述为经纬度范围,如(北纬10°—北纬45°,东经90°—东经130°)。对于情形一,在专业的数据编辑软件中打开行政区范围的数据,按说明文档中的描述,将对应的行政区划数据提取出来,并存放于一个新的shapefile文件中;对于情形二,在专业的数据编辑软件中打开地貌空间范围的数据,按说明文档中的描述,将对应的地貌空间范围数据提取出来,并存放于一个新的shapefile文件中;对于情形三,将经纬度范围按(经度,纬度)进行组织,并在专业的数据编辑软件中打开,利用软件的数据编辑功能,顺时针或者逆时针依次连接四个角点绘制多边形,得到一个新的shapefile文件。
为数据集A的空间元数据添加属性:添加项目元数据信息,如项目名称、项目编号;添加源数据集元数据信息,如源数据集名称、源数据集编号、一级学科、二级学科;添加数据集元数据,如唯一标识符、数据集名称、数据集编号、数据集的资料起始和终止年份。
将上述信息均记载在数据集式矢量数据表。
针对类别为数据集B来说:
提取数据集B中所有专题地图的空间元数据,生成数据式矢量数据表。
作为一个示例,结合图5所示,经校正后的专题地图1四个角点A、B、C、D都有了经纬度坐标信息(x,y),分别记为(xa,ya)、(xb,yb)、(xc,yc)、(xd,yd)。顺时针或者逆时针依次连接四个角点所得到的矩形框则为专题地图1的空间元数据,对于该空间元数据而言,可得到四个角点坐标分别为(xmin,ymax)、(xmax,ymax)、(xmax,ymin)、(xmin,ymin)。其中,xmin、xmax分别是专题地图1所有角点的最小经度和最大经度,ymin、ymax分别是专题地图1角点的最小纬度和最大纬度。依次类推,提取出数据集B中的所有的专题地图的空间元数据,生成矢量数据表。
进一步的,对于类别为数据集B来说,在数据集式矢量数据表中记录着一个项目包含的所有数据集B的空间元数据。具体来说,一个项目中包括了多个数据集,数据集又分为不同的类别,以同一类别的数据集生成一个数据集式矢量数据表。
具体来说,首先提取项目下的多个数据集B的空间元数据,然后,基于提取的空间元数据,生成数据集式矢量数据表。
再结合图5所示,以数据集B中包括专题地图1和专题地图2两个专题地图为例,首先得到专题地图1和专题地图2的空间元数据。然后,计算出所有角点的最小经度、最大经度、最小纬度和最大纬度,分别为(xmin,ymax)、(xmax,ymax)、(xmax,ymin)、(xmin,ymin),顺时针或者逆时针依次连接这四个角点(a,b,c,d)所得到的矩形框则为图集的空间元数据范围。
为专题地图空间元数据添加属性。添加项目元数据信息,如项目名称、项目编号;添加源数据集元数据信息,如源数据集名称、源数据集编号、一级学科、二级学科;添加数据集元数据,如唯一标识符、数据集名称、数据集编号、数据集的资料起始和终止年份;添加数据元数据信息,如专题图名、数据唯一标识符、专题图产品ID。
为数据集B的空间元数据添加属性。添加项目元数据信息,如项目名称、项目编号;添加源数据集元数据信息,如源数据集名称、源数据集编号、一级学科、二级学科;添加数据集元数据,如唯一标识符、数据集名称、数据集编号、数据集的资料起始和终止年份。
基于此,生成数据集式矢量数据表。
进一步的,逐一提取所述至少一个项目的空间元数据,生成项目式矢量数据表,并将项目式矢量数据表存储在地图数据库中;项目式矢量数据表中记录由多个科技资源空间数据分类的所有项目的空间元数据。项目式矢量数据表记录了获取的多个科技资源空间数据进行项目分类时,所有项目的空间元数据。
首先提取每个项目的空间元数据,然后根据多个项目生成项目式矢量数据表。
项目空间元数据是一种用以描述项目所在研究区空间范围的科技资源空间数据,表征项目的空间范围。项目空间元数据来源于“数据汇交方案.pdf”(以下简称“汇交方案”),汇交方案中对于空间范围的文字性描述就是该项目的空间元数据范围,文字描述为行政区划和地貌范围,如中国、河北省、深圳市、东城区、长沙县、青藏高原、秦巴山区等。
从shapefile矢量格式的行政区划和地貌范围数据中将数据提取出来,因为一个项目在shapefile中使用一条数据记录表示,所以需要将提取出来的多边形就行融合,得到一个新的shapefile文件,这个shapefile矢量格式的数据就是该项目的空间元数据。
为得到的shapefile数据添加属性。添加项目元数据信息,如项目名称、项目编号、唯一标识符。
S150:确定科技资源空间数据的第一标识码,以通过第一标识码将数据内容映射寻址表与矢量数据表关联,便于用户能够通过数据内容映射寻址表和/或者矢量数据表查询内容数据库中的科技资源空间数据与存储在地图数据库中的空间元数据。
具体来说,将科技资源空间数据添加一个标识码,这个标识码,在数据内容映射寻址表中有记载,在矢量数据表中有记载,则可以通过一个标识码,将数据内容映射寻址表与矢量数据表关联,以能够通过数据内容映射寻址表和/或者矢量数据表查询内容数据库中的科技资源空间数据与存储在地图数据库中的空间元数据。
作为一个示例,结合图6所示,以数据集A中包括标本点1和标本点2为例,以数据集为一个整体生成一个数据内容映射寻址表,表中包括数据集A所有的标本点数据。在数据内容映射寻址表中记载了,标本点1的标识码、标本点1包括的文件的相对文件存储路径、标本点1包括的图片的相对文件存储路径、标本点1包括的视频的相对文件存储路径、标本点1包括的音频的相对文件存储路径,标本点2同理。在矢量数据表中记载了,标本点1的空间元数据(lon,lat)、标识码,标本点2的空间元数据(lon,lat)、标识码。
当数据集的类型为数据集B时,即,专题地图组成的数据集合:
进一步的,还包括:
确定第二标识码,并将所述第二标识码添加到所述数据内容映射寻址表中;
根据第一标识码和第二标识码,生成专题地图内容表,以通过专题地图内容表查询内容数据库中的科技资源空间数据、查询存储在所述海量地图库中的所述地图瓦片数据和查询存储在地图数据库中的空间元数据。
其中,专题地图内容表中除了包括第一标识码和第二标识码之外,还包括:专题地图的主题等等信息。
结合图7所示,以数据集B中包括专题图1和专题图2为例,以数据集为一个整体生成一个专题地图内容表,表中包括数据集B所有的专题地图。在数据内容表中记载了,专题图1的标识码、专题图1包括的瓦片地图、专题图1包括的主题信息,专题图2同理。在数据内容映射寻址表中记载了,专题图1的空间元数据(lon,lat)、标识码,专题图2的空间元数据(lon,lat)、标识码。数据内容映射寻址表包括瓦片数据的名称,瓦片地图数据的存储路径。
进一步的,所述方法还包括:结合图8所示,
S81:将对项目的空间元数据、数据集的空间元数据、每个科技资源空间数据的空间元数据进行网格编码;
S82:关联项目的空间元数据、数据集的空间元数据、每个科技资源空间数据的空间元数据与其对应的网络编码,以便用户能够通过所述网格编码查询存储在所述内容数据库中的科技资源空间数据与存储在所述地图数据库中的空间元数据。。
每个科技资源空间数据的空间元数据,从根本上分成标本点数据或者专题地图。
具体来说,建立地理空间网格框架
将全球视为一张图,地图投影采用Web Mercator投影,就是将地球模拟成半径为r=6378137m的球体,令一个与地轴方向一致的圆柱在赤道切于地球,以赤道作为标准纬线,将球面上的经纬网按等角条件投影于圆柱表面上,然后将圆柱面沿180°经线剪开展成平面。将本初子午线作为中央经线,标准纬线与中央经线的交点为坐标原点,向东向北为正,向西向南为负。投影后在纬度±85.05°进行切割,使全球地区成为在经纬度两个方向像素相等的正方形。
采用四叉树的方法,构建基础地理格网:结合图9所示,当显示级别z=0时,全球区域范围为1个网格;当z=1时,分为4个网格,每个网格的编号(即行列号)为:左上x=0,y=0;右上x=1,y=0;左下x=0,y=1;右下x=1,y=1。依次类推,每放大一倍,每一小块都分裂为四块,直至最高显示级别。根据“显示级别-行号-列号”(z-x-y)对每个网格进行命名。
基于此,构建Web Mercator投影下的专题地图瓦片数据。
对于标本点数据网格化:
为实现标本数据快速实现多级网格查询,需要对标本点数据进行网格化,即为每个标本点数据创建一个格网编码字段,用于存放标本点在地理空间网格框架中最大缩放等级的格网编码。其中,最大缩放等级的格网编码通过标本数据与第19级的地理空间网格框架的格网进行空间叠加计算得到,结合图10的左图所示。
对于专题地图空间元数据格网化
为实现专题地图数据快速实现多级网格查询,需要对专题地图空间元数据进行网格化,即为每个专题地图空间元数据创建一个格网编码字段,用于存放专题地图在地理空间网格框架中最大缩放等级的格网编码。其中,最大缩放等级的格网编码通过标本数据与第19级的地理空间网格框架的格网进行空间叠加计算得到,如图10的右图所示。
同样的,对项目的空间元数据进行编码处理。
本发明提供的对空间元数据进行编码处理,即对项目空间元数据进行网格编码目的是为了实现项目这一级别的多级空间网格检索;对数据集空间元数据进行网格编码目的是为了实现数据集这一级别的多级空间网格检索;对标本数据进行网格编码目的是为了实现标本点这一数据级别的多级空间网格检索;对专题地图空间元数据进行网格编码目的是为了实现专题地图这一数据级别的多级空间网格检索。
作为本发明的一个应用场景为:进行数据查询,使用本发明的数据整编方式,存储的数据库,可支持目录查询、多级空间格网查询、关键字查询、按时间(段)查询、详情查阅等等。
具体来说,
1.目录查询
在地理空间内容采编系统中录入标本数据时的“栏目类型”,可在前端表现为树状目录,根据树状目录可直接查询对应的标本数据。
2.多级空间格网查询
根据建立的地理空间网格框架,可对应查询每个网格中的标本数据和专题图数据。数据记录在地理空间网格框架中最大级别的格网编码值存储于属性字段“code_max”中,数据处理时最大级别被设定为19,即每条数据记录的“code_max”值的形式为“Z-X-Y”,表示为数据在缩放等级为Z级时所处的格网,X、Y分别表示为格网的列、行,对于数据而言,Z的值为19。根据地理空间网格框架,可以很容易推断出数据在18级时的格网编码值“code_18”,设为“18-X’-Y’”。其中,X’值为X除以2得到的商,Y’值为Y除以2得到的商。以此类推,可以得到数据在第i级时所在的格网编码值“code_i”,缩放等级Z值为i,列的值为X除以2(19-l)(i≤19)得到的商,记为int(X/2(19-l)),行的值为Y除以2(19-l)(i≤19)得到的商,记为int(Y/2(19-jl)。在前端选择格网获取到格网编码值“j-x-y”,当i=j时,若存在x=int(X/2(19-j))且y=int(Y/2(19-j))同时成立,则该数据符合空间格网查询,利用查询条件对数据库中对所有的数据表进行遍历,可得到所有符合查询要求的数据记录,并在前端将查询结果以列表的形式显示。
3.关键字查询
在地理空间内容采编系统中建立数据集的栏目模型时,开启数据标题的查询设置,并设置为“模糊查询”。在系统前端表现为输入框,进入数据列表后,在输入框中输入需要查询的关键词,以关键词作为输入参数构建模糊查询条件从数据库中将符合查询条件的数据记录查询出来。系统的关键词查询将输入关键词作为一个模糊子集a,从数据库表中与数据标题的模糊子集集合A进行匹配,若a∈A成立,则表示数据记录标题的模糊子集集合中存在模糊子集a,此时符合查询条件,并将数据记录查询出来。利用查询条件对数据库表进行遍历,可得到所有符合查询要求的数据记录,并在前端将查询结果以列表的形式显示。
4.按时间(段)查询
在地理空间内容采编系统中建立数据集的栏目模型时,开启资料起始年份和终止年份的查询设置,并设置为“范围查询”。在系统前端表现为输入框,进入数据列表后,在输入框中输入需要查询的时间或时间段,如1990、1991-2011。其中,时间可表示为[a,a]的集合,时间段可表示为[a,b]的集合。假设数据记录的时间范围为[A,B],其中A为起始年份,B为终止年份,表示数据记录的年份范围。当输入的查询值为[a,b]时,若存在[A,B]∩[a,b]不为空,则代表有数据记录是符合查询要求的,在前端将查询结果以列表的形式显示。
5.详情查阅
在建立项目分级栏目时,项目的详情信息被存储于“说明”之中。当前端向后台服务请求查阅项目详情时,后台服务从数据库中将项目的详情信息从“说明”中读取出来,并按照列表在前端进行组织并展示。
在建立数据集内容栏目时,数据集的详情信息被存储于“说明”之中。当前端向后台服务请求查阅数据集详情时,后台服务从数据库中将数据集的详情信息从“说明”中读取出来,并按照列表在前端进行组织并展示。
在地理空间内容采编系统中建立数据集的栏目模型时,设置数据的详情模板。结合图12所示,当前端向后台请求查阅数据标本点数据,后台服务从数据库中将属性读取出来,按照详情模板对属性进行组织并在前端进行组织并展示。结合图11所示,文件的查阅通过访问数据库中所选标本的数据记录,将文件的存储路径读取出来,获取到文件的路径之后开始进行文件数据下载。依次类推,图片的查阅通过访问数据库中所选标本的数据记录,得到图片在服务器中的存储路径,并在前端利用图片浏览插件把图片从服务器中读取出来。依次类推,视频的查阅通过访问数据库中所选标本的数据记录,获取视频在服务器中的存储路径,结合图13所示,按存储路径获取视频数据,进行视频数据的解协议,解析为标准的、相应的视频流,在前端通过视频播放插件将视频进行播放。再结合图13所示,音频的查阅通过访问数据库中所选标本的数据记录,获取音频在服务器中的存储路径,按存储路径获取音频数据,进行音频数据的解协议,解析为标准的、相应的音频流,在前端通过音频播放插件将音频进行播放。
综上可知,本发明实施例提供的数据整编方法,可以通过获取多个科技资源空间数据,将多个科技资源空间数据存储在内容数据库中,根据多个科技资源空间数据在内容数据库中存储的位置信息,生成数据内容映射寻址表,逐一提取多个科技资源空间数据的空间元数据,生成矢量数据表,并将矢量数据表存储在地图数据库中;矢量数据表中记录多个空间元数据,确定科技资源空间数据的第一标识码,以通过第一标识码将数据内容映射寻址表与矢量数据表关联,便于用户能够通过数据内容映射寻址表和/或者矢量数据表查询内容数据库中的科技资源空间数据与存储在所述地图数据库中的空间元数据,本发明通过将数据内容映射寻址表和矢量数据表之间关联,使得用户即可以通过数据内容映射寻址表查找数据点对应的元数据,又可以通过元数据查找对应的数据点,能够规范化管理科技资源空间数据,解决了现有技术中只有通过元数据获取到数据后,方可进行数据的使用的技术问题,提高了数据使用的效率。
进一步的,可以将多个科技资源空间数据进行项目分类,得到至少一个项目;对每个项目进行如下步骤:将待分类项目下的多个科技资源空间数据进行类别分类,得到至少一个数据集;数据集为标本点数据的组合或者专题地图的组合,将不同类别的数据集按照项目-数据集-数据的形式存储在内容数据库中,进行了分层次进行存储的方式,有利于大量数据的有效管理。
同时,将对项目的空间元数据、数据集的空间元数据、每个科技资源空间数据的空间元数据进行网格编码,关联项目的空间元数据、数据集的空间元数据、每个科技资源空间数据的空间元数据与其对应的网络编码,本发明通过建立空间索引实现多级空间格网的检索,能够实现数据综合项目、数据集的快速检索,从地图上解读项目和数据的研究情况
同时,对空间元数据进行了分层次提取,得到数据式矢量数据表、数据集式矢量数据表、项目式矢量数据表,实现从项目到数据集、数据集到数据不同粒度层次、不同梯度,方便快速的查询,提高了可操作的数据粒度。
进一步的,使用本发明提供的数据整编方法,实际上是构建了一个管理与共享服务平台,保障科技资源空间数据长期、持续的集成与共享服务;同时,可以利用平台为用户提供数据共享服务,促进数据的广泛共享和有效利用。
结合图14所示,本发明实施例还提供了一种数据整编系统,包括:
获取模块1101,用于获取多个科技资源空间数据;
第一存储模块1102,用于将所述多个科技资源空间数据存储在内容数据库中;
生成模块1103,用于根据所述多个科技资源空间数据在所述内容数据库中存储的位置信息,生成数据内容映射寻址表;
第二存储模块1104,用于逐一提取所述多个科技资源空间数据的空间元数据,生成矢量数据表,并将所述矢量数据表存储在地图数据库中;所述矢量数据表中记录多个空间元数据;
确定模块1105,用于确定所述科技资源空间数据的第一标识码,以通过所述第一标识码将数据内容映射寻址表与矢量数据表关联,便于用户能够通过所述数据内容映射寻址表和/或者所述矢量数据表查询所述内容数据库中的科技资源空间数据与存储在所述地图数据库中的空间元数据。
综上可知,本发明实施例提供的数据整编系统,可以通过获取多个科技资源空间数据,将多个科技资源空间数据存储在内容数据库中,根据多个科技资源空间数据在内容数据库中存储的位置信息,生成数据内容映射寻址表,逐一提取多个科技资源空间数据的空间元数据,生成矢量数据表,并将矢量数据表存储在地图数据库中;矢量数据表中记录多个空间元数据,确定科技资源空间数据的第一标识码,以通过第一标识码将数据内容映射寻址表与矢量数据表关联,便于用户能够通过数据内容映射寻址表和/或者矢量数据表查询内容数据库中的科技资源空间数据与存储在所述地图数据库中的空间元数据,本发明通过将数据内容映射寻址表和矢量数据表之间关联,使得用户即可以通过数据内容映射寻址表查找数据点对应的元数据,又可以通过元数据查找对应的数据点,解决了现有技术中只有通过元数据获取到数据后,方可进行数据的使用的技术问题,提高了数据使用的效率。
除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。
本发明实施例所提供的系统,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,系统实施例部分未提及之处,可参考前述方法实施例中相应内容。
在这里示出和描述的所有示例中,任何具体值应被解释为仅仅是示例性的,而不是作为限制,因此,示例性实施例的其他示例可以具有不同的值。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本发明实施例的描述中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的系统或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
本发明实施例所提供的进行数据整编方法的计算机程序产品,包括存储了处理器可执行的非易失的程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见方法实施例,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统和方法,可以通过其它的方式实现。以上所描述的系统实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,系统或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

Claims (7)

1.一种科技资源空间数据整编方法,其特征在于,包括:
获取多个科技资源空间数据;
将所述多个科技资源空间数据存储在内容数据库中;
根据所述多个科技资源空间数据在所述内容数据库中存储的位置信息,生成数据内容映射寻址表;
逐一提取所述多个科技资源空间数据的空间元数据,生成矢量数据表,并将所述矢量数据表存储在地图数据库中;所述矢量数据表中记录多个空间元数据;
确定所述科技资源空间数据的第一标识码,以通过所述第一标识码将数据内容映射寻址表与矢量数据表关联,便于用户能够通过所述数据内容映射寻址表和/或者所述矢量数据表查询所述内容数据库中的科技资源空间数据与存储在所述地图数据库中的空间元数据;
将所述多个科技资源空间数据存储在内容数据库中,包括:
将所述多个科技资源空间数据进行项目分类,得到至少一个项目;
对每个项目进行如下步骤:
将待分类项目下的多个科技资源空间数据进行类别分类,得到至少一个数据集;所述数据集为标本点数据的组合或者专题地图的组合;
将不同类别的数据集按照项目-数据集-数据的形式存储在内容数据库中;
逐一提取所述多个科技资源空间数据的空间元数据,生成矢量数据表,并将所述矢量数据表存储在地图数据库中;所述矢量数据表中记录多个空间元数据;包括:
逐一提取所述数据集中的每个科技资源空间数据的空间元数据,以数据集为单元生成数据式矢量数据表,并将所述数据式矢量数据表存储在地图数据库中,所述数据式矢量数据表中记录所述数据集中的所有科技资源空间数据的空间元数据;
逐一提取所述项目中的同一类别的数据集的空间元数据,以项目为单元生成数据集式矢量数据表,并将所述数据集式矢量数据表存储在地图数据库中;所述数据集式矢量数据表中记录所述项目中的所有同一类别的数据集的空间元数据;
逐一提取所述至少一个项目的空间元数据,生成项目式矢量数据表,并将所述项目式矢量数据表存储在地图数据库中;所述项目式矢量数据表中记录由多个科技资源空间数据分类的所有项目的空间元数据;
在所述获取多个科技资源空间数据的步骤之后,所述方法还包括:
将对项目的空间元数据、数据集的空间元数据、每个科技资源空间数据的空间元数据进行网格编码;
关联所述项目的空间元数据、数据集的空间元数据、每个科技资源空间数据的空间元数据与其对应的网络编码,以便用户能够通过所述网格编码查询存储在所述内容数据库中的科技资源空间数据与存储在所述地图数据库中的空间元数据。
2.根据权利要求1所述的方法,其特征在于,根据所述多个科技资源空间数据在所述内容数据库中存储的位置信息,生成数据内容映射寻址表,包括:
根据所述多个科技资源空间数据在所述内容数据库中存储的位置信息,生成以数据集为单元的数据内容映射寻址表。
3.根据权利要求2所述的方法,其特征在于,根据所述多个科技资源空间数据在所述内容数据库中存储的位置信息,生成以数据集为单元的数据内容映射寻址表,包括:
当所述数据集为专题地图的组合时,将所述数据集内的专题地图进行切片,得到地图瓦片数据;
将所述地图瓦片数据存储在海量地图库中;
基于所述地图瓦片数据在所述海量地图库中的存储位置,生成以数据集为单元的数据内容映射寻址表。
4.根据权利要求3所述的方法,其特征在于,在所述基于所述地图瓦片数据在所述海量地图库中的存储位置,生成以数据集为单元的数据内容映射寻址表的步骤之后,还包括:
确定第二标识码,并将所述第二标识码添加到所述数据内容映射寻址表中;
根据所述第一标识码和第二标识码,生成专题地图内容表,以通过所述专题地图内容表查询所述内容数据库中的科技资源空间数据、查询存储在所述海量地图库中的所述地图瓦片数据和查询存储在所述地图数据库中的空间元数据。
5.根据权利要求1所述的方法,其特征在于,在所述将不同类别的数据集按照项目-数据集-数据的形式存储在内容数据库中的步骤之前,所述方法还包括:对所述数据集进行过滤处理,以处理掉无效空间数据。
6.根据权利要求5所述的方法,其特征在于,当所述数据集为标本点数据的组合时,对所述数据集进行过滤处理,以处理掉无效空间数据,包括:
对每一个标本点数据进行如下步骤:
判断所述标本点数据中的空间位置信息是否为空;
如果是,则确定所述标本点数据为无效空间数据,并剔除无效空间数据;
如果否,则判断所述标本点数据中的空间位置信息是否在预设范围内;
如果否,则确定所述标本点数据为无效空间数据,并剔除无效空间数据;
如果是,则判断所述标本点数据中的空间位置信息与地图上的空间位置信息是否相同;
如果是,则保留所述标本点数据;
如果否,则确定所述标本点数据为无效空间数据,并剔除无效空间数据。
7.一种数据整编系统,其特征在于,包括:
获取模块,用于获取多个科技资源空间数据;
第一存储模块,用于将所述多个科技资源空间数据存储在内容数据库中;
生成模块,用于根据所述多个科技资源空间数据在所述内容数据库中存储的位置信息,生成数据内容映射寻址表;
第二存储模块,用于逐一提取所述多个科技资源空间数据的空间元数据,生成矢量数据表,并将所述矢量数据表存储在地图数据库中;所述矢量数据表中记录多个空间元数据;
确定模块,用于确定所述科技资源空间数据的第一标识码,以通过所述第一标识码将数据内容映射寻址表与矢量数据表关联,便于用户能够通过所述数据内容映射寻址表和/或者所述矢量数据表查询所述内容数据库中的科技资源空间数据与存储在所述地图数据库中的空间元数据;
所述第一存储模块,还用于:将所述多个科技资源空间数据进行项目分类,得到至少一个项目;对每个项目进行如下步骤:将待分类项目下的多个科技资源空间数据进行类别分类,得到至少一个数据集;所述数据集为标本点数据的组合或者专题地图的组合;将不同类别的数据集按照项目-数据集-数据的形式存储在内容数据库中;
第二存储模块,还用于:
逐一提取所述数据集中的每个科技资源空间数据的空间元数据,以数据集为单元生成数据式矢量数据表,并将所述数据式矢量数据表存储在地图数据库中,所述数据式矢量数据表中记录所述数据集中的所有科技资源空间数据的空间元数据;
逐一提取所述项目中的同一类别的数据集的空间元数据,以项目为单元生成数据集式矢量数据表,并将所述数据集式矢量数据表存储在地图数据库中;所述数据集式矢量数据表中记录所述项目中的所有同一类别的数据集的空间元数据;
逐一提取所述至少一个项目的空间元数据,生成项目式矢量数据表,并将所述项目式矢量数据表存储在地图数据库中;所述项目式矢量数据表中记录由多个科技资源空间数据分类的所有项目的空间元数据;
在所述获取多个科技资源空间数据之后,还包括:
将对项目的空间元数据、数据集的空间元数据、每个科技资源空间数据的空间元数据进行网格编码;
关联所述项目的空间元数据、数据集的空间元数据、每个科技资源空间数据的空间元数据与其对应的网络编码,以便用户能够通过所述网格编码查询存储在所述内容数据库中的科技资源空间数据与存储在所述地图数据库中的空间元数据。
CN201810761484.XA 2018-07-11 2018-07-11 一种科技资源空间数据整编方法和系统 Active CN108920684B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810761484.XA CN108920684B (zh) 2018-07-11 2018-07-11 一种科技资源空间数据整编方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810761484.XA CN108920684B (zh) 2018-07-11 2018-07-11 一种科技资源空间数据整编方法和系统

Publications (2)

Publication Number Publication Date
CN108920684A CN108920684A (zh) 2018-11-30
CN108920684B true CN108920684B (zh) 2021-03-23

Family

ID=64410541

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810761484.XA Active CN108920684B (zh) 2018-07-11 2018-07-11 一种科技资源空间数据整编方法和系统

Country Status (1)

Country Link
CN (1) CN108920684B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111737393B (zh) * 2020-07-01 2023-10-27 自然资源部四川基础地理信息中心(自然资源部四川测绘资料档案馆) 一种web环境下矢量数据自适管理方法及系统
CN111966741B (zh) * 2020-09-04 2023-10-13 华夏天信物联科技有限公司 一种用于矿井全息一张图空间数据库的数据生成方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101763422A (zh) * 2010-01-12 2010-06-30 北京国信慧通科技有限责任公司 一种矢量数据的存储及空间索引方法
CN104199986A (zh) * 2014-09-29 2014-12-10 国家电网公司 基于hbase和geohash的矢量数据空间索引方法
CN107798103A (zh) * 2017-10-31 2018-03-13 浪潮软件集团有限公司 一种空间矢量数据的搜索方法、装置、可读介质及存储控制器

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101763422A (zh) * 2010-01-12 2010-06-30 北京国信慧通科技有限责任公司 一种矢量数据的存储及空间索引方法
CN104199986A (zh) * 2014-09-29 2014-12-10 国家电网公司 基于hbase和geohash的矢量数据空间索引方法
CN107798103A (zh) * 2017-10-31 2018-03-13 浪潮软件集团有限公司 一种空间矢量数据的搜索方法、装置、可读介质及存储控制器

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
分布式环境下矢栅一体化数据组织模型设计;徐道柱 等;《地球信息科学学报》;20161231;第18卷(第12期);第2-4节 *
基于分布式存储的虚拟地理环境关键技术研究;岳利群;《中国博士学位论文全文数据库(基础科学辑)》;20120715;全文 *

Also Published As

Publication number Publication date
CN108920684A (zh) 2018-11-30

Similar Documents

Publication Publication Date Title
Lv et al. BIM big data storage in WebVRGIS
Gregory et al. Geographical Information and historical research: Current progress and future directions
Danko The digital chart of the world project
Purves et al. Describing place through user generated content
CN105701104B (zh) 一种基于地理信息的三维数据引擎系统
Campbell et al. Essentials of geographic information systems
CN111259006A (zh) 一种通用的分布式异构数据一体化物理汇聚、组织、发布与服务方法及系统
US20140074854A1 (en) Scalable rendering of large spatial databases
CN113568995A (zh) 基于检索条件的动态瓦片地图制作方法及瓦片地图系统
US20030110185A1 (en) Geographically-based databases and methods
Li et al. Integration and management of massive remote-sensing data based on GeoSOT subdivision model
CN108920684B (zh) 一种科技资源空间数据整编方法和系统
Garrard Geoprocessing with python
Mao et al. NoSQL based 3D city model management system
Ladner et al. Mining Spatio-Temporal Information Systems
Chalkias et al. Developing and disseminating a new historical geospatial database from kitchener’s 19th century map of cyprus
Xu et al. Developing the Chinese academic map publishing platform
CN111552758B (zh) 一种基于gis技术的风景名胜数据库及其构建方法
Lieberman et al. Spatio-textual spreadsheets: Geotagging via spatial coherence
Dorninger et al. Technical push on 3d data standards for cultural heritage management
Woodley et al. Using web services to fuse remote sensing and multimedia data repositories
Griessbaum Towards the Twilight of File-Centricity
Kumar et al. Non-spatial Data Management
Jia et al. An ontology‐based semantic description model of ubiquitous map images
Medeiros et al. A terrain classifier to improve the inclusion of objects in the collaborative mapping tool OpenStreetMap

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant