CN113515525A - 一种基于全球多尺度格网的空间数据组织方法 - Google Patents
一种基于全球多尺度格网的空间数据组织方法 Download PDFInfo
- Publication number
- CN113515525A CN113515525A CN202110866240.XA CN202110866240A CN113515525A CN 113515525 A CN113515525 A CN 113515525A CN 202110866240 A CN202110866240 A CN 202110866240A CN 113515525 A CN113515525 A CN 113515525A
- Authority
- CN
- China
- Prior art keywords
- grid
- spatial
- data
- scale
- spatial data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2264—Multidimensional index structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2457—Query processing with adaptation to user needs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Remote Sensing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明涉及一种基于全球多尺度格网的空间数据组织方法,属于空间数据存储技术领域。本发明首先通过对空间数据按照全球多尺度格网进行格网剖分,然后按照设定的规则对空间数据所在格网进行编码,得到相应的网格索引码,并通过索引码建立相应的数据库来实现对空间数据的管理。本发明能够解决海量空间信息在位置要素表达上的唯一性、多尺度、层次关联、以及无缝无叠。而其整形数的编码设计,则能够大大简化对区域位置的标识、表达和计算,同时还与传统的经纬度标识不相矛盾,是对经纬度的很好完善和补充。
Description
技术领域
本发明涉及一种基于全球多尺度格网的空间数据组织方法,属于空间数据存储技术领域。
背景技术
GIS(地理信息系统)是基于计算机软硬件的、用于处理和管理与空间地理位置有关的综合空间信息系统,GIS可用来管理和分析一切与地理空间分布有关的环境、地质勘查、矿产资源管理、测绘、土地管理、公安、消防、电讯、国防、交通、教育等各个领域。GIS主要包括空间数据和与之相关联的属性数据。空间数据主要是指构成地图对象的几何图形,它主要由点、线、面等目标构成。属性数据主要由与地图对象相关联的文字信息、图像、声音、视频等构成。
空间信息的数据组织是GIS研究的核心问题,这是因为空间数据的特点是类型繁多且异常复杂,一种空间数据的组织方式决定了它应用的方便性和检索效率。
在地理信息系统(GIS)近半个世纪的发展历程中,出现了许多针对空间实体的不同描述方法,如矢量模型和栅格模型,这些空间数据模型为满足一定时期内某些领域对GIS的应用需求做出了重大贡献。随着大数据时代的到来,海量结构化与非结构化数据的组织、管理、关联、表达、分析等需求更为突出、迫切,而经纬度体系下的传统数据模型出现了一定短板、甚至是发展瓶颈,亟待寻求新的突破。
GIS的主要数据为一维、二维或三维的空间型地图数据,包括空间位置、拓扑关系和属性三个方面的内容。点(Point):又称为元素(Element)或象元(Pixel),是一个数据点,具有一对(x、y)坐标和至少一个属性。线:(Line):是具有相同属性的点的轨迹,由一个坐标对序列表示,坐标对顺序与线的开头有关,线上每个点有不多于二个邻点。面(Area):是具有相同属性的点的轨迹,以(x,y)坐标对的集合表示,坐标对的排列顺序不影响面的形态,其内部点可以有多于三个的邻点,面内点具有至少一个相同属性。区域(Region):空间上相邻或重叠的点、线、面要素可以按一定的地理意义组成区域。
描述地理实体的数据本身的组织方法,称为内部数据结构,内部数据结构基本上可分为两大类:即矢量结构和栅格结构。
矢量数据是面向地物的结构,即对于每一个具体的目标都直接赋有位置和属性信息以及目标之间的拓扑关系说明。但是矢量数据仅有一些离散点的坐标,在空间表达方面它没有直接建立位置与地物的关系,如多边形的中间区域是“洞”或“岛”,其间的任何一点并没有与某个地物发生联系。基于矢量模型的数据结构简称为矢量数据结构。
矢量数据结构是利用欧几里得(Euclid)几何学中的点、线、面及其组合体来表示地理实体空间分布的一种数据组织方式。这种数据组织方式能最好地逼近地理实体的空间分布特征,数据精度高,数据存储的冗余度低,便于进行地理实体的网络分析,但对于多层空间数据的叠合分析比较困难。
矢量数据结构是通过记录坐标的方式,尽可能地将点、线、面地理实体表现得精确无误。其坐标空间假定为连续空间,不必像栅格数据结构那样进行量化处理。因此矢量数据能更精确地定义位置、长度和大小。矢量数据结构通过记录空间对象的坐标及空间关系来表达空间对象的位置。其中点指的是空间的一个坐标点,线指的是由多个点组成的弧段;面指的是由多个弧段组成的封闭多边形。“多边形”在地理信息系统中是指一个任意形状、边界完全闭合的空间区域,其边界将整个空间划分为外部和内部。多边形数据是描述地理信息的最重要的一类数据。在区域实体中,具有名称属性和分类属性的,多用多边形表示,如行政区、土地类型、植被分布等。目前三种常用的矢量编码方法主要有坐标序列法(Spaghetti方式)——简单数据结构、树状索引编码法和拓扑结构编码法。
坐标序列法主要应用在简单的数据结构中,空间数据按照以基本的空间对象(点、线或多边形)为单元进行单独组织,不含拓扑关系数据,最典型的是面条(Spaghetti)结构。面条结构只记录空间对象的位置坐标和属性信息,不记录拓扑关系,文件结构简单。
树状索引编码法能够减少数据冗余并间接增加邻域信息,方法是对所有边界点进行数字化,将坐标对以顺序方式存储,由点索引与边界线号相联系,以线索引与各多边形相联系,形成树状索引结构。
拓扑结构编码法通过建立一个完整的拓扑关系来解决邻域和岛状信息处理问题,这种结构应包括以下内容:唯一标识,多边形标识,外包多边形指针,邻接多边形指针,边界链接,范围(最大和最小x,y坐标,即外包矩形信息)。
栅格数据是面向位置的结构,平面空间上的任何一点都直接联系到某一个或某一类地物。但对于某一个具体的目标又没有直接聚集所有信息,只能通过遍历栅格矩阵逐一寻找,它也不能完整地建立地物之间的拓扑关系。基于栅格模型的数据结构简称为栅格数据结构,指将空间分割成有规则的网格,在各个网格上给出相应的属性值来表示地理实体的一种数据组织形式。所以,栅格数据结构表示的是二维表面上地理要素的离散化数值,每个网格对应一种属性,其空间位置用行和列标识。
栅格结构是最简单最直观的空间数据结构,又称为网格结构(rater或grid cell)或像元结构(pixel),是指将地球表面划分为大小均匀紧密相邻的网格阵列,每个网格作为一个像元或像素,由行、列号定义,并包含一个代码,表示该像素的属性类型或量值,或仅仅包含指向其属性记录的指针。因此,栅格结构是以规则的阵列来表示空间地物或现象分布的数据组织、组织中的每个数据表示地物或现象的非几何属性特征。网格通常是正方形,有时也采用矩形、等边三角形和六边形。网格边长决定了栅格数据的精度。
栅格结构中,点用一个栅格单元表示;线状地物则用沿线走向的一组相邻栅格单元表示,每个栅格单元最多只有两个相邻单元在线上;面或区域用记有区域属性的相邻栅格单元的集合表示,每个栅格单元可有多于两个的相邻单元同属一个区域。任何以面状分布的对象(土地利用、土壤类型、地势起伏、环境污染等),都可以用栅格数据逼近。遥感影像就属于典型的栅格结构,每个像元的数字表示影像的灰度等级。
栅格数据的组织方法主要有树状索引编码法和压缩存储的编码方法。树状索引编码消除了相邻多边形边界的数据冗余和不一致的问题,在简化过于复杂的边界线或合并相邻多边形时可不必改造索引表,邻域信息和岛状信息可以通过对多边形文件的线索引处理得到。压缩存储的编码方法主要包括:直接栅格编码,简单直观,是压缩编码方法的逻辑原型(栅格文件);链码:压缩效率较高,以接近矢量结构,对边界的运算比较方便,但不具有区域性质,区域运算较难;游程长度编码:在很大程度上压缩数据,又最大限度的保留了原始栅格结构,编码解码十分容易,十分适合于微机地理信息系统采用;块码和四叉树编码:具有区域性质,又具有可变的分辨率,有较高的压缩效率,四又树编码可以直接进行大量图形图像运算,效率较高,是很有前途的编码方法。空间树状索引(基于空间划分):KD树、四叉树,R树及其变种树;空间树状索引能够与对象的空间分布相适应,但是受树深的影响较大,且动态维护较困难。空间编码索引(基于空间填充):空间填充曲线、自适应格网、多级格网、线性四叉树。
卫星导航系统的出现和普及,使得空间信息中位置要素的获取突然变得很容易,并由此导致了人类对于空间信息的需求呈现爆炸型增长态势。然而,通过卫星导航系统得到的只是某个“点”的经纬度,而我们日常生活和工作中更多涉及的空间信息都是“面目标”(区域目标),也就是说,对空间信息的区位标识从某种意义上讲比点标识更具实用价值。长期以来,自然科学对所有涉及位置要素的表达都是以经纬度坐标为基础的,对点目标如此,对面目标也是如此。在大数据背景下,当海量的、各式各样的面目标都必须用一群“点”的集合来表达时,即便是计算机系统也遇到了表达方式复杂、表现形式不唯一等一系列挑战。具体体现在以下几个方面:
(1)基于坐标的区位标识表达的唯一性问题
对于空间实体,人们一般用其中心点的坐标来描述它的空间位置,用其外围轮廓点的坐标来描述它的区域范围。这种表达方式存在的问题是:不同的卫星导航终端得到的中心点及轮廓点往往不同,于是造成在实际应用中,同一个空间实体的区位标识不统一。那么,如果要对同一对象的不同标识结果进行关联,则只能通过元数据的方式或者通过坐标间的空间关系运算进行判断,比如需要和地理信息数据库中的多边形ID码建立映射关系,这就给空间对象的唯一性标识带来许多困难和复杂度。
(2)基于坐标的区位标识不便于空间区位信息的多尺度表达
在基于经纬度的区位标识体系下,同一空间实体在较大空间尺度(小比例尺)中,被抽象为点,用一个经纬度坐标来标识;在较小空间尺度(大比例尺)中,被抽象为面,用一串坐标来标识。这种空间区位标识方法就带来同一空间实体的空间区位点-面分别标识和难以表达多尺度包含关系的问题。
(3)基于坐标区位标识的对象内部信息表达的局限性
采用经纬度坐标的空间对象区位表达方法,一般只能针对空间对象的外围轮廓信息进行表达,无法表达对象的内部结构信息,如果确实需要表达内部信息,则需要增加新的内部对象。这给空间对象内部信息的表达带来了困难和复杂度。一般认为,经纬度具有精确地定位空间位置的能力,但在区位定位过程中存在一定主观性和随机性,我们称为区位定位的柔性特征(主观性和随机性)。为了弥补经纬度在空间区位定位中的柔性特征,业界还普遍采用固定空间划分的刚性(确定性和唯一性)网格来进行区位定位,例如地形图图幅划分和其它各种地理网格划分。
随着大数据的发展,越来越多复杂的计算需要高效的空间计算能力支持,例如:位置服务(LBS)需要快速的索引计算。各种各样的大数据及其应用的涌现,对空间运算的效率提出了更高的要求。
当前,我国一些行业和部门为了提高计算和检索效率,已经陆续采用了地理网格编码来组织空间信息。测绘行业采用地形图图幅编码,海洋行业采取按航线规划、自由分幅的编码,航空业采取大尺度航空图分幅编码,气象遥感部门习惯于按大尺度轨道分景的网格编码,国土资源部门习惯于按小尺度轨道分景网格编码等等。尽管地理网格编码的采用带来了本行业内计算检索效率的提高,但由于不同行业和部门用于组织空间信息的网格编码差异较大,行业之间完全无法实现互联互通和信息共享,这也是导致目前国家信息化建设“烟囱”林立的主要原因之一。
发明内容
本发明的目的是提供一种基于全球多尺度格网的空间数据组织方法,以解决目前空间数据组织存在效率低、通用性差的问题。
本发明为解决上述技术问题而提供一种基于全球多尺度格网的空间数据组织方法,该组织方法包括以下步骤:
1)获取空间数据,并对空间数据按照全球多尺度格网进行格网剖分;
2)将经过格网剖分的空间数据进行可视化处理,以控制屏幕的分辨率与各层级格网尺度对应;
3)按照设定的规则对空间数据所在格网进行编码,得到相应的网格索引码;
4)以网格索引码为主键,建立非关系型“键—值”数据库,得到剖分索引大表模型。
本发明首先通过对空间数据按照全球多尺度格网进行格网剖分,然后按照设定的规则对空间数据所在格网进行编码,得到相应的网格索引码,并通过索引码建立相应的数据库来实现对空间数据的管理。本发明能够解决海量空间信息在位置要素表达上的唯一性、多尺度、层次关联、以及无缝无叠。而其整形数的编码设计,则能够大大简化对区域位置的标识、表达和计算,同时还与传统的经纬度标识不相矛盾,是对经纬度的很好完善和补充。
进一步地,为实现对空间数据的快速查询,该方法还包括空间数据的查询,该查询过程如下:对待待查询的空间数据进行整数编码,形成基于网格的空间查询码;基于空间查询码从剖分索引大表模型中找到相应的网格。
进一步地,查询过程中确定网格的整数编码值范围采用的规则为:
其中,Mic为已知格网的多尺度整数编码值,N为格网所在层级为,NT为该格网所包含的所有子单元的整数编码值,其对应范围为[A,B],Mic0是多尺度第N层级第0个编码值,lull为64位无符号整形数,1ull<<62-N-N即2 62-N-N。
进一步地,当待查询的空间范围为目标点时,将目标点的空间位置与该层网格单元所表达的空间范围进行比较,如果检索点在网格单元之内或者边界上,该网格单元所对应的空间区域即为查找区域;通过该网格单元的索引即可查找出所要查找的内容。
进一步地,当待查询的空间范围为区域时,将需要查找的目标空间范围,经过网格剖分计算,获得包含了查找区域的网格集合;针对每个网格通过网格索引查找出网格所里所包含的对应空间信息,整个网格检索的集合就是区域查找的结果。
进一步地,所述步骤1)是通过剖分网格单元四个角点地理坐标与遥感影像数据的地理坐标对应,对遥感影像数据按剖分网格空间范围进行“虚拟划分”,即逻辑剖分。
附图说明
图1是空间数据的格网剖分组织和表达示意图;
图2是DGGS网格编码划分方式示意图;
图3是一维信息的二叉树多尺度的表达示意图;
图4是空间数据的格网剖分化表达示意图;
图5是点实体数据的二、三维格网剖分组织和表达示意图;
图6是线实体数据的三维格网剖分组织和表达示意图;
图7是面实体单尺度、多尺度和三维格网剖分组织和表达示意图;
图8是卫星影像单尺度格网剖分组织示意图;
图9是剖分格网的直接可视化示意图;
图10是体块方位和距离度量计算示意图;
图11是基于编码ID的空间数据剖分网格查询示意图;
图12是坐标复杂运算转化为索引大表操作的流程图;
图13是空间数据剖分格网查询示例;
图14是格网区域查询时间对比示意图;
图15是利用格网数据组织进行空间管控的试验结果图;
图16是本发明全球多尺度格网数据组织方法流程图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步地说明。
本发明基于全球离散网格系统剖分参考框架,无需将实体抽象为点、线、面、体,保留实体的区域特性,是真正的基于地球剖分格网的结构化数据模型,如图1所示。改变对现实世界的抽象方式,使用新型空间数据模型——剖分数据模型,该模型用格网编码代替经纬度坐标来描述、组织、表达空间实体,用简单高效的整型编码位运算取代复杂的经纬度浮点运算,来完成空间信息的分析与计算。
剖分格网是一种客观存在,可将其看作覆盖于地球表面多尺度且无缝无叠(同层级)的“容器”,每一个格网单元均具有空间和属性的双重内涵,格网的空间内涵由其格网编码来唯一确定,没有属性内涵的格网依旧具有空间内涵,其“容器”内为空。对于任意的空间实体,它覆盖了哪些格网单元,则将它投放至相应的一个或多个“容器”内,用该格网单元(集合)的编码作为其空间位置的标识,其非空间信息均可当作该格网的属性内涵记录下来,此时,具有属性内涵的格网就形成了剖分数据,具有相同属性内涵的格网就构成了一个空间实体。以球面多尺度的格网“容器”作为数据组织、管理、存储与分析的基本单元,打破以实体对象为基本单元的图层结构。这种方式能够打破空间实体之间的屏障,在数据采集、入库的过程中预先实现了实体的空间关联。另外,在有限数量的网格体系中,网格的属性可以不断更替,这样才可以承载日益增长的大数据,将“大”数据变“小”。同时,基于空间实体的计算将转化为先对多尺度格网进行空间运算,再将返回格网的属性叠置输出的过程。
全球空间网格系统是一种与组织、索引、处理、分发、可视化、聚合、转换等空间计算系统具有天然关联性的数学参考模型,它在全球表面无缝且同质,可以被用来组织各类空间数据并进行整合。离散网格的单元就像地球空间中多维的电子数据表格,既可以像数据库一样对空间数据作各种统计、计算,又可以利用网格间的集合算子实现空间分析与处理。全球离散网格系统(Discrete global grid system,DGGS)是一种新型的空间数据模型,它采用特定的方法进行地球表面的同构离散化,并且提供了一种无缝无叠的多尺度的全球格网结构。该网格编码模型提出了一套对全球空间区域位置信息的统一标识和表达方法,既能标识位置,又能标识区域,并且更加符合人的使用习惯与特点,从而能圆满解决经纬度体制难以解决的,对海量空间信息在标识和表达上的唯一性、可读性、多尺度、层次关联、无缝无叠以及对对象内部信息的表达等难题。
全球离散网格系统基于DGGS网格自上而下的思路,划分遵循经纬度空间的四叉树划分,按照经纬度的标准四叉树网格进行处理。如图2所示,按照0级是全球,即360°×180°的范围,1级是1/4地球,即180°×90°的范围,2级是1/8地球,即90°×90°的范围,随着这样的剖分步骤,可以得到31层级是地球,即的范围,具有规律的网格编码,在实际应用中较为方便、高效。
根据前期的研究,任意一个维度信息的编码,一般采用的是二叉树的方式进行,对于n维的信息编码,常采用2n树来完成编码,如图3所示。而整数编码的实质就是序列化的整数,在一维排序的整数中,可以表示同等尺度的相邻格网,也同时可以表达相邻尺度的相互包含格网。用一个整数将所有层级格网编码串在一起,通过整数排序来体现时空关系和层次关系。
基于上述技术,本发明提供了一种基于全球多尺度格网的空间数据组织方法,该方法首先通过对空间数据按照全球多尺度格网进行格网剖分,然后按照设定的规则对空间数据所在格网进行编码,得到相应的网格索引码,并通过索引码建立相应的数据库来实现对空间数据的管理。具体实现流程如图16所示,实施步骤如下。
1.获取空间数据,并对空间数据进行格网剖分。
空间数据的剖分化组织是指以格网作为数据组织的基本单元,实体对象都由格网集合来表达,而格网所在的层级记录了数据采集的误差。由于格网具有多尺度的特性,大大提高了电子地图多尺度变换的自动化程度。此外,剖分格网具有天然的统计优势,能够以格网化的电子地图来表达数据的空间分布特征,如图4所示,增强了大数据环境下海量地理要素的可读性与可视化效果,还能将能力拓展到地球三维立体空间及更高的时空维度。
矢量模型以点、线、面、体为研究对象,对象局部缺少计算灵活性;矢量模型以实体对象为基础单元,数据量无上限,易造成数据灾难,难以应对空间大数据的海量处理需求。对象剖分表达模型在多个尺度层次上通过点状、线状或面状对象对应的剖分网格组合来表示对象,将对象赋予剖分结构,产生剖分结构化对象,并随之生成对象的剖分网格集合;依据全球剖分编码方法对剖分网格集合进行编码,形成剖分结构化对象对应的剖分编码,并设计和规定剖分编码用于在计算机中存储的数据结构。
点对象数据模型:地理概念上的点没有尺寸只有位置,在剖分数据模型中,点对象需要采用合适剖分层级上的单个网格表达,为了达到更高的表达精细程度,可以增加剖分网格的级别,如图5所示。空间中的点状实体,在不同的剖分层级下,对应不同剖分体元,这些剖分体元是嵌套的。
线对象数据模型:剖分数据模型中,线对象表达为一串首尾相连、线状延伸的网格集合。与点对象模型相同,线对象模型可以选定一定的剖分网格精度。当然,在某一剖分级别上,如果线状剖分对象某一位置的某一方向(可以为四邻域方向、八邻域方向)上不止一个网格,则该线状对象也可以当作面对象来对待。仅对线状实体的空间节点进行二维剖分建模,此为局部二维建模;将节点间用一系列空间相邻的剖分体元填充,实现线状实体的三维建模,如图6所示。模型的有序性由节点的序号表示;当点状实体全部抽象成完全的剖分体元集合后,模型的有序性则由体元编码的序列性体现。
面对象数据模型:剖分数据模型中,面对象用一定剖分精度的一组网格集合表达,面对象的模型为一系列网格的编码组合。在传统的数据模型中,面实体是首尾相连的线围成的空间区域,即线的起点与终点相同,其是没有厚度的区域,在三维剖分数据模型中,面状实体是具有厚度的,如图7所示。在剖分空间,点对象可由某一尺度的格网单元表达,线和面对象由一组球面相邻的格网单元集合表达。
因此,地球剖分网格的全球覆盖、无缝无叠、尺度多样、层次嵌套、全球唯一的特性,通过聚合、映射、抽取、简化等操作,形成适用于海量多元遥感数据剖分组织表达技术。通过空间区位网格,形成形式统一、内外一致的数据结构化表达方法,完成了空间描述参数的高效降维与一致性处理,支持整个地球空间的大数据的动态表达。
遥感数据网格表达方式:在不改变目前影像数据组织模式的前提下,通过剖分网格单元四个角点地理坐标与遥感影像数据的地理坐标对应,对遥感影像数据按剖分网格空间范围进行“虚拟划分”,即逻辑剖分,建立基于剖分网格编码的遥感影像数据剖分索引,实现遥感影像数据按空间区域数据组织,如图8所示。将遥感数据按照时空网格的方式进行编码化处理,形成规范的遥感数据时空剖分结构,由于用于剖分的网格是时空无缝的,所有进行过时空编码的遥感信息天然地和时空网格是无缝对接的,因此遥感信息的整合将变得十分便捷。
2.将经过格网剖分的数据进行可视化处理。
无论矢量还是栅格数据,其在电子地图中的绘制实质上是经纬度坐标转换为屏幕像素坐标的过程,需要经过复杂的转换,是影响要素显示效率的一个重要因素。剖分数据的显示以格网为基本单位,一个像素对应于一个格网,那么格网与屏幕像素的步长相等。
screeX=CodeL–minCodeL
screeY=maxCodeB–CodeB
如图9所示,当显示区域对应的格网范围为[minCodeL,maxCodeL]×[minCodeB,maxCodeB]时,以(maxCodeL,maxCodeB)格网作为显示原点(0,0),按照上述公式来建立格网与屏幕像素点之间的一一对应关系,将格网属性作为像素点的属性,从而得到图9中数据的映射结果和最终显示效果。这种方式,实体在屏幕上的显示以格网为单位,屏幕的移动以像素为单位,也就是以格网为单位,省去了传统方式的偏移计算,简单的加减运算将大大提升计算效益。
控制屏幕的分辨率与各层级格网尺度对应,直接在内存层面实现网格和屏幕之间的内存拷贝,在视场放大、缩小方面,使屏幕分辨率保持1:4缩放比例。
3.对剖分的格网进行编码。
以四叉树递归剖分网格为基础,将整个经纬度空间进行多尺度剖分;基于Z曲线编码方法,采用64位无符号整数对网格进行标识;给X、Y两个坐标均分配31位,则每一个坐标的取值范围为0~2147483647。
该过程主要包括基础运算、空间对象网格映射、空间关系计算和空间分析四个部分。其中基础运算主要包括:1)编码转换,编码转换包括二\四\十进制,一\二维之间的相互转换和经纬度点与网格编码的相互转换;编码地理含义判断:判断网格编码地理含义的真实性;编码位移(加/减)计算:编码位移(加/减)计算;编码排序:按层级或码值对网格编码排序;2)空间对象网格映射,主要包括点、线、面对象的网格剖分;3)空间关系计算:拓扑关系计算:网格的四邻域、八邻域计算,网格集之间的拓扑关系、包含关系、相邻关系、相交区域;父子网格计算;量算关系计算网格的经向、纬向边长,网格的周长,网格的面积,网格的球面曲率半径以及网格之间的距离;网格集的形状度量、网格集面积、网格集之间的平均距离;方位关系计算:包括定性判断网格或网格集之间的模糊方位关系、定量判断网格或网格集之间的精确方位关系、计算网格在指定方位上的网格,如图10所示;4)空间分析:空间查询:包括基于空间度量+方位关系的查询、基于空间拓扑+度量关系的查询、基于空间拓扑+方位关系+属性信息的查询、基于空间拓扑+度量关系+属性信息的查询;缓冲区分析;叠加分析:对网格或网格集之间求交、并、叠合运算。
4.以网格索引码为主键,建立非关系型“键—值”数据库,得到剖分索引大表模型。
传统的关系型数据库已不能满足空间大数据剖分索引的需要,本发明以网格索引码为主键(Primary Key),建立非关系型“键—值”数据库(Key-Value Store DB),以更好地发挥系统的强大威力。由于非关系型的“键—值”数据库采用类似表的形式组织数据,将它们组织成一个“多维”稀疏矩阵,在逻辑上是一张巨大的表。因此,将这种索引数据库模型简称为“剖分索引大表模型”(BigTable Model)。
以格网为数据组织单元,建立格网属性表:数据=格网+属性;为兼容现有基于对象的数据组织结构,如图11所示,保留对象属性表,并建立格网与对象之间的关联关系,即通过对象ObjectID属性,与格网表的Obj_IDs进行关联,格网表的CodeID对应对象表的E_Codes、I_Code对象编码。以多尺度网格编码为索引,建立与空间矢量、栅格数据的关联,如下表所示。
表1
5.对空间数据进行剖分网格查询。
空间数据的查询建立在数据剖分组织的前提上,剖分数据模型分别以球面刚性格网和实体对象作为组织单元,支持面向区域和面向实体对象的两类查询,且它们之间可通过格网建立区域与实体对象、实体整体与局部的关联关系,包括:格网作为组织单元,其ID码即格网编码,唯一;以格网编码为属性数据库主键,直接支持面向区域的属性特征查询;以格网编码作为数据主键,伴随文件存在,为结构化与非结构化数据提供灵活的组织管理方式。利用较为成熟的空间网格编码代数,将空间数据访问分析由传统的浮点数坐标实时复杂运算过程转换为能力索引大表“一次更新、反复检索”的过程,化繁为简,最大程度地提升目标访问分析效率,其流程如图12所示。
首先待查询的空间数据进行整数编码,形成基于网格的空间查询码,确定网格的整数编码值范围采用的规则如下:
其中,已知格网的多尺度整数编码值为Mic,其所在层级为N,计算该格网所包含的所有子单元的整数编码值为NT,其对应范围为[A,B],Mic0是多尺度第N层级第0个编码值,lull为64位无符号整形数,1ull<<62-N-N即2 62-N-N。
为实现任意区域的组合,对编码采用交、并、补等逻辑运算,即空间编码之间的几何运算都是通过整形编码的位运算来完成。
无论在球面还是平面,格网的划分是固定且有限的,区域查询可直接转换为编码集合的查询,并定位于相应的格网属性,无需遍历全库,如图13所示,通过一个空间网格码,即可查询出与该网格码关联的所有图层的属性数据。
统一数据标识,在地球剖分网格框架下对空间大数据进行剖分化建模组织,实现多源空间大数据的全球统一性标识(区位、时间和属性),标识以编码形成给出,用户可以很容易地从中解读出所需信息。根据空间范围生成存储网格编码,采用“先范围,后尺度,再定位点”的判定思路。
(1)目标点查询
目标点查询的实质是指搜寻与某一个点位置重叠的所有空间信息数据。具体过程为:将目标点的空间位置与该层网格单元所表达的空间范围进行比较,如果检索点在网格单元之内或者边界上,该网格单元所对应的空间区域即为查找区域;通过该网格单元的索引即可查找出所要查找的内容;
(2)区域查询
区域信息检索是在某一个多边形区域的全部或部分包含的范围内对相关信息进行查找。区域检索可以分为两个过程:区域检索网格提取和网格检索。将需要查找的目标空间范围,经过网格剖分计算,获得包含了查找区域的网格集合;针对每个网格通过网格索引查找出网格所里所包含的对应空间信息,整个网格检索的集合就是区域查找的结果。
通过上述过程可知,本发明的组织方法在空间信息表达、数据查询和处理效率方面都有很大提升。相比现有空间数据的组织方法,本发明的优势主要体现在以下几个方面。
(1)对空间信息区位唯一性标识
本发明不仅标识位置,同时标识区域,完全能够解决海量空间信息在位置要素表达上的唯一性、多尺度、层次关联、以及无缝无叠。而其整形数的编码设计,则能够大大简化对区域位置的标识、表达和计算,同时还与传统的经纬度标识不相矛盾,是对经纬度的很好完善和补充。
(2)数据查询性能大幅提升
采用DGGS形成了统一的编码运算,完全采用二进制操作,可以提供编码层级运算、编码与格网坐标转换运算、父/子单元查询:尺度运算、编码平移运算:+、-:邻域运算、编码的旋转运算:×、/:角度定义、编码的关系运算(相邻、相离、相接、包含):区间运算、对象的多尺度编码和距离多尺度膨胀等。
a)数据导入效率更高
通过多次反复进行与Oracle Spatial数据库进行对比测试后,在数据导入时间上,多尺度整数编码与oracle spatial中的R树索引两种方式所需要的原始数据导入时间与层级无关,与数据量正相关,由于R树进行空间查询时需要的数据为八个顶点坐标,而多尺度编码只需要一个整数值就能与其8个顶点坐标相对应,因此多尺度整数编码的数据导入时间要优于oracle spatial,相同数据量数据导入时间约为oracle spatial的4/9。随着数据量的增加,从数据导入时间的角度的来看,多尺度整数编码更加具有优越性。
b)索引建立更快
建立索引时间对比的结果是多尺度整数编码与R树两种方式建立索引所需要的时间与层级无关,与数据量正相关。由于多尺度整数编码将三维编码问题转换为一维编码来进行解决,而且oracle spatial为了实现快速查询,在建立索引的过程中进行了大量的优化,因此,在建立索引的时间上多尺度整数编码要明显优于oracle spatial,约为oraclespatial的1/46,且随着数据量的增大,优势会更加突出。
c)查询更高效
格网区域进行查询,由于多尺度整数编码为一维编码,多尺度整数编码将三维数据查询问题转换为了一维数据的查询问题,因此多尺度编码的查询效率要优于oraclespatial,在数据量为1000万的情况下,多尺度整数编码的查询时间约为oracle spatial的1/60,而且数据量对多尺度整数编码区域查询的影响较小,但对oracle spatial的影响较大,如图14所示,当数据量增加时,多尺度整数编码查询时间的曲线变化比较平缓,但是oracle spatial的增长较快。由此可见,相比于oracle spatial多尺度整数编码能够更加满足大数据对编码查询的需求。
非格网区域查询进行查询,由于多尺度整数编码为一维编码,多尺度整数编码将三维数据查询问题转换为了一维数据的查询问题,因此多尺度编码的查询效率要优于oracle spatial,在数据量为1000万的情况下,多尺度整数编码的查询时间约为oraclespatial的1/30,而且数据量对多尺度整数编码区域查询的影响较小,但对oracle spatial的影响较大,当数据量增加时,多尺度整数编码查询时间的曲线变化比较平缓,但是oraclespatial的增长较快。由此可见,相比于oracle spatial多尺度整数编码能够更加满足大数据对编码查询的需求。
(3)提高计算机处理效率
理论与实验证明,对于基于空间的运算与操作,采用网格编码直接运算的计算复杂度要远低于传统的经纬度矢量坐标算法,计算更高效、更快捷,一般可快1-2个数量级,如表2。
表2
a)火力覆盖计算
传统方式:通过的几何方程坐标解算,计算覆盖范围,复杂度高;多尺度格网数据组织方式:格网集合求交计算,运算简单,复杂度低。优势:与火力区域的几何复杂度无关。
b)空间管控计算
采用格网数据组织方式进行地球空间管控计算,理论上具备如下优势:①全空域性(整个地球空间);②空间查询效率高,性能平衡,不会因为空间目标分布而改变;③动态数据高速处理简单,不会产生振荡;④索引效率对目标的数目增加不敏感(受数据量影响小)。
经过初步的试验,对于任意的数据分布,在对空间目标的动态管控,其在管控的效率(插入、删除、检索)方面,较国际上领先的方法(八叉树、QR树等),都有明显提升,提升幅度从30%~1个数量级不等,如图15所示。
c)位置查询计算
用移动用户当前位置的经纬度(位置质点)分别与地物所有顶点和边计算距离的方法,判断当前位置与地物的空间关系,当距离小于δ时,认为其空间关系为被包含,即当前位置选中此地物,复杂度较高;当采用格网数据编码组织方法遍历所有地物时,利用格网匹配完成相关工作,得到所有与当前位置的空间关系为包含的地物,这些地物的集合就是当前点搜索结果,复杂度较低。
总之,通过实验发现,本发明利用格网组织数据进行空间大数据的计算,可以有效地提高效率,其中:空间数据综合检索效率提升1~2个数量级;空间数据计算能力得到大幅提高,平均能提高1个数量级左右。
(4)跨行业、跨领域空间信息交换和整合
本发明的数据组织方法具有通用性、包容性好,可扩展性强的特点,与国家测绘、气象、海洋、地理格网等现行体系兼容性好,可无缝继承现有数据成果,非常适合在各行各业推广,而且转换非常便捷。建立全球统一的格网剖分编码体系,可方便设计大到整个地球、小到厘米精度的不同类型、不同比例尺的全球空间信息索引,实现海量空间数据空时存储组织与快速检索,构建多源空间数据快速整合、共享与互操作的基础,从而方便于不同行业和领域数据之间的合并与拼接,真正实现跨行业、跨领域空间信息的高效交换和有机整合。
Claims (6)
1.一种基于全球多尺度格网的空间数据组织方法,其特征在于,该组织方法包括以下步骤:
1)获取空间数据,并对空间数据按照全球多尺度格网进行格网剖分;
2)将经过格网剖分的空间数据进行可视化处理,以控制屏幕的分辨率与各层级格网尺度对应;
3)按照设定的规则对空间数据所在格网进行编码,得到相应的网格索引码;
4)以网格索引码为主键,建立非关系型“键—值”数据库,得到剖分索引大表模型。
2.根据权利要求1所述的基于全球多尺度格网的空间数据组织方法,其特征在于,该方法还包括空间数据的查询,该查询过程如下:对待查询的空间数据进行整数编码,形成基于网格的空间查询码;基于空间查询码从剖分索引大表模型中找到相应的网格。
4.根据权利要求2所述的基于全球多尺度格网的空间数据组织方法,其特征在于,当待查询的空间范围为目标点时,将目标点的空间位置与该层网格单元所表达的空间范围进行比较,如果检索点在网格单元之内或者边界上,该网格单元所对应的空间区域即为查找区域;通过该网格单元的索引即可查找出所要查找的内容。
5.根据权利要求2所述的基于全球多尺度格网的空间数据组织方法,其特征在于,当待查询的空间范围为区域时,将需要查找的目标空间范围,经过网格剖分计算,获得包含了查找区域的网格集合;针对每个网格通过网格索引查找出网格所里所包含的对应空间信息,整个网格检索的集合就是区域查找的结果。
6.根据权利要求1所述的基于全球多尺度格网的空间数据组织方法,其特征在于,所述步骤1)是通过剖分网格单元四个角点地理坐标与遥感影像数据的地理坐标对应,对遥感影像数据按剖分网格空间范围进行“虚拟划分”,即逻辑剖分。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110866240.XA CN113515525A (zh) | 2021-07-29 | 2021-07-29 | 一种基于全球多尺度格网的空间数据组织方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110866240.XA CN113515525A (zh) | 2021-07-29 | 2021-07-29 | 一种基于全球多尺度格网的空间数据组织方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113515525A true CN113515525A (zh) | 2021-10-19 |
Family
ID=78067851
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110866240.XA Pending CN113515525A (zh) | 2021-07-29 | 2021-07-29 | 一种基于全球多尺度格网的空间数据组织方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113515525A (zh) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113706706A (zh) * | 2021-10-28 | 2021-11-26 | 自然资源部第一海洋研究所 | 数据的处理方法、装置及电子设备 |
CN114168592A (zh) * | 2021-11-30 | 2022-03-11 | 北京新兴华安智慧科技有限公司 | 空间数据分析处理方法、装置、设备及计算机可读介质 |
CN114548042A (zh) * | 2022-01-20 | 2022-05-27 | 自然资源部信息中心 | 一种不动产单元空间区位标识编码方法、设备及存储介质 |
CN115330963A (zh) * | 2022-08-01 | 2022-11-11 | 厦门路桥信息股份有限公司 | 一种卫星地图的显示方法以及卫星地图的显示装置 |
CN115408382A (zh) * | 2022-06-15 | 2022-11-29 | 中国科学院空天信息创新研究院 | 面向大规模卫星数据的矢量空间信息网格化存储管理方法 |
CN115906460A (zh) * | 2022-11-14 | 2023-04-04 | 北京市测绘设计研究院 | 编码方法、装置、计算机设备和存储介质 |
CN116049501A (zh) * | 2023-01-30 | 2023-05-02 | 北京化工大学 | 一种空间场景空间关系自然语言描述生成方法 |
CN116306122A (zh) * | 2023-03-07 | 2023-06-23 | 国家海洋环境预报中心 | 用于海洋数值模式的网格计算方法、计算机及存储介质 |
CN116796083A (zh) * | 2023-06-29 | 2023-09-22 | 山东省国土测绘院 | 一种空间数据划分方法及系统 |
CN117132738A (zh) * | 2023-10-26 | 2023-11-28 | 西南林业大学 | 一种球面离散格网多尺度等距模式量化方法和系统 |
CN117271695A (zh) * | 2023-11-20 | 2023-12-22 | 浙江华东工程数字技术有限公司 | 矢量空间数据叠加分析方法、装置、电子设备和存储介质 |
CN117692011A (zh) * | 2024-01-29 | 2024-03-12 | 航天亮丽电气有限责任公司 | 一种用于消防救援环境监测系统的监测数据预警方法 |
CN117992562A (zh) * | 2024-03-28 | 2024-05-07 | 阿里云计算有限公司 | 数据处理方法、数据查询方法、计算设备、存储介质及程序产品 |
-
2021
- 2021-07-29 CN CN202110866240.XA patent/CN113515525A/zh active Pending
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113706706A (zh) * | 2021-10-28 | 2021-11-26 | 自然资源部第一海洋研究所 | 数据的处理方法、装置及电子设备 |
CN114168592A (zh) * | 2021-11-30 | 2022-03-11 | 北京新兴华安智慧科技有限公司 | 空间数据分析处理方法、装置、设备及计算机可读介质 |
CN114548042A (zh) * | 2022-01-20 | 2022-05-27 | 自然资源部信息中心 | 一种不动产单元空间区位标识编码方法、设备及存储介质 |
CN115408382A (zh) * | 2022-06-15 | 2022-11-29 | 中国科学院空天信息创新研究院 | 面向大规模卫星数据的矢量空间信息网格化存储管理方法 |
CN115408382B (zh) * | 2022-06-15 | 2023-09-22 | 中国科学院空天信息创新研究院 | 面向大规模卫星数据的矢量空间信息网格化存储管理方法 |
CN115330963B (zh) * | 2022-08-01 | 2024-03-29 | 厦门路桥信息股份有限公司 | 一种卫星地图的显示方法以及卫星地图的显示装置 |
CN115330963A (zh) * | 2022-08-01 | 2022-11-11 | 厦门路桥信息股份有限公司 | 一种卫星地图的显示方法以及卫星地图的显示装置 |
CN115906460A (zh) * | 2022-11-14 | 2023-04-04 | 北京市测绘设计研究院 | 编码方法、装置、计算机设备和存储介质 |
CN115906460B (zh) * | 2022-11-14 | 2023-10-13 | 北京市测绘设计研究院 | 编码方法、装置、计算机设备和存储介质 |
CN116049501A (zh) * | 2023-01-30 | 2023-05-02 | 北京化工大学 | 一种空间场景空间关系自然语言描述生成方法 |
CN116306122A (zh) * | 2023-03-07 | 2023-06-23 | 国家海洋环境预报中心 | 用于海洋数值模式的网格计算方法、计算机及存储介质 |
CN116306122B (zh) * | 2023-03-07 | 2023-09-19 | 国家海洋环境预报中心 | 用于海洋数值模式的网格计算方法、计算机及存储介质 |
CN116796083A (zh) * | 2023-06-29 | 2023-09-22 | 山东省国土测绘院 | 一种空间数据划分方法及系统 |
CN116796083B (zh) * | 2023-06-29 | 2023-12-22 | 山东省国土测绘院 | 一种空间数据划分方法及系统 |
CN117132738B (zh) * | 2023-10-26 | 2024-02-13 | 西南林业大学 | 一种球面离散格网多尺度等距模式量化方法和系统 |
CN117132738A (zh) * | 2023-10-26 | 2023-11-28 | 西南林业大学 | 一种球面离散格网多尺度等距模式量化方法和系统 |
CN117271695A (zh) * | 2023-11-20 | 2023-12-22 | 浙江华东工程数字技术有限公司 | 矢量空间数据叠加分析方法、装置、电子设备和存储介质 |
CN117271695B (zh) * | 2023-11-20 | 2024-02-20 | 浙江华东工程数字技术有限公司 | 矢量空间数据叠加分析方法、装置、电子设备和存储介质 |
CN117692011A (zh) * | 2024-01-29 | 2024-03-12 | 航天亮丽电气有限责任公司 | 一种用于消防救援环境监测系统的监测数据预警方法 |
CN117692011B (zh) * | 2024-01-29 | 2024-04-30 | 航天亮丽电气有限责任公司 | 一种用于消防救援环境监测系统的监测数据预警方法 |
CN117992562A (zh) * | 2024-03-28 | 2024-05-07 | 阿里云计算有限公司 | 数据处理方法、数据查询方法、计算设备、存储介质及程序产品 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113515525A (zh) | 一种基于全球多尺度格网的空间数据组织方法 | |
CN102306180B (zh) | 一种基于海量激光雷达栅格点云数据的建模方法 | |
Purss et al. | The OGC® Discrete Global Grid System core standard: A framework for rapid geospatial integration | |
CN113269870B (zh) | 一种基于三维剖分网格的多分辨率数字地形集成方法 | |
Gold | Tessellations in GIS: Part I—putting it all together | |
CN113570275A (zh) | 基于bim和数字高程模型的水资源实时监测系统 | |
CN115408382B (zh) | 面向大规模卫星数据的矢量空间信息网格化存储管理方法 | |
Li et al. | Method for managing and querying geo-spatial data using a grid-code-array spatial index | |
CN114373111A (zh) | 一种基于孪生数据驱动的融合方法及引擎系统 | |
CN111427978B (zh) | 基于城市形态学和r树的三维模型索引方法 | |
CN113742505B (zh) | 一种海量合成孔径雷达干涉测量(InSAR)数据在线可视化方法 | |
Wang et al. | Space filling curve based point clouds index | |
Angelo | A brief introduction to quadtrees and their applications | |
Zhu et al. | CyberCity GIS (CCGIS): integration of DEMs, images, and 3D models | |
Varma et al. | A data structure for spatio-temporal databases | |
CN117851695A (zh) | 一种基于地理格网和图数据库的时空索引方法 | |
Kim et al. | Utilizing extended geocodes for handling massive three-dimensional point cloud data | |
Lai et al. | A spatial multi-scale integer coding method and its application to three-dimensional model organization | |
Kim et al. | Efficient encoding and decoding extended geocodes for massive point cloud data | |
Ware et al. | A multiresolution topographic surface database | |
Khuan et al. | 3D solids and their management in DBMS | |
Schön et al. | Storage, manipulation, and visualization of LiDAR data | |
Ding et al. | Encoding and operation scheme for the rhombic triacontahedron aperture 4 hexagonal discrete global grid system | |
Wang et al. | A 3-D city model data structure and its implementation in a relational database | |
Xu et al. | GeoMapViz: a framework for distributed management and geospatial data visualization based on massive spatiotemporal data streams |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |