CN107391745A - 大规模空间数据分级快速索引方法和装置 - Google Patents

大规模空间数据分级快速索引方法和装置 Download PDF

Info

Publication number
CN107391745A
CN107391745A CN201710683128.6A CN201710683128A CN107391745A CN 107391745 A CN107391745 A CN 107391745A CN 201710683128 A CN201710683128 A CN 201710683128A CN 107391745 A CN107391745 A CN 107391745A
Authority
CN
China
Prior art keywords
layer
subregion
data
spatial data
index mark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710683128.6A
Other languages
English (en)
Inventor
高崟
刘若梅
王发良
毕凯
何鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NATIONAL GEOMATICS CENTER OF CHINA
Original Assignee
NATIONAL GEOMATICS CENTER OF CHINA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NATIONAL GEOMATICS CENTER OF CHINA filed Critical NATIONAL GEOMATICS CENTER OF CHINA
Priority to CN201710683128.6A priority Critical patent/CN107391745A/zh
Publication of CN107391745A publication Critical patent/CN107391745A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2228Indexing structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2228Indexing structures
    • G06F16/2264Multidimensional index structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29Geographical information databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供了一种大规模空间数据分级快速索引方法和装置;其中,该方法包括:获取待处理的空间数据;对空间数据对应的图层进行分区处理,形成多个级别的分区图层;相邻级别的分区图层之间,上一级分区图层中的一个图层区域对应下一级分区图层中的多个图层区域;根据最下级的分区图层,对空间数据进行分区处理,对分区后的空间数据中每个区域数据添加基础索引标识;为每个分区图层中各个图层区域添加分区索引标识;将基础索引标识和分区索引标识确定为空间数据的索引。本发明采用多级图层为空间数据建立多层级的索引,在检索时可以逐级地缩小检索范围,避免了单层级索引造成的全面检索扫描造成的检索效率低下的问题,有效提高了空间数据的检索效率。

Description

大规模空间数据分级快速索引方法和装置
技术领域
本发明涉及地理空间信息技术领域,尤其是涉及一种大规模空间数据分级快速索引方法和装置。
背景技术
关于空间数据快速索引技术,国内外地理空间信息领域的专家学者进行了多年的研究。在数据索引方向,主要通过构建单一层级的空间索引而实现,常见索引构建方法有:(1)网格索引:将研究区域按一定规则用横竖线分为小的网格,记录每个网格所包含的地理对象;(2)四叉树索引:对地理空间进行网格划分,对地理空间递归进行四分来构建四叉树,直到自行设定的终止条件,最终形成一颗有层次的四叉树;其中,每个叶子节点存储了本区域所关联的图元标识列表和本区域地理范围,非叶子节点仅存储本区域地理范围;(3)R树家族索引:是一种面向对象分割技术的索引算法,将空间对象按范围划分,每个节点都对应一个区域和磁盘页,非页节点的磁盘页中存储着其子节点的区域范围;叶节点的磁盘页中存储着其区域范围内的所有空间对象的外接矩形;(4)金字塔索引:基于一种特殊的优化高维数据的不均衡分割策略,其原理是先将d维空间分成2d个金字塔,共享数据空间的中心点为顶点,然后再将每个金字塔分割成平行于金字塔基的数据页,金字塔索引结构是将高维数据转化为一维数据,利用B+树进行操作。
然而,随着对地观测、卫星遥感、生态评估、国土监管逐渐向宏观、动态、精细化方向发展,地理空间数据的产生及更新速度越来越快、精度越来越高,形成了海量的地理空间成果数据。上述传统的单一层级空间索引方法需要对数据进行全局扫描,随着数据量的不断增长,数据的检索效率逐步降低,当数据量足够大时,单一层级的空间索引方法存在性能瓶颈,不满足大规模空间数据快速索引的应用需求。
针对现有的空间数据索引方式检索效率较低的问题,尚未提出有效的解决方案。
发明内容
有鉴于此,本发明的目的在于提供一种大规模空间数据分级快速索引方法和装置,以有效提高空间数据的检索效率。
第一方面,本发明实施例提供了一种大规模空间数据分级快速索引方法,包括:获取待处理的空间数据;对空间数据对应的图层进行分区处理,形成多个级别的分区图层;其中,分区图层为分区后的空间数据对应的图层;每个级别的分区图层均由多个图层区域组成;相邻级别的分区图层之间,上一级分区图层中的一个图层区域对应下一级分区图层中的多个图层区域;根据最下级的分区图层,对空间数据进行分区处理,对分区后的空间数据中每个区域数据添加基础索引标识;为每个分区图层中各个图层区域添加分区索引标识;将基础索引标识和分区索引标识确定为空间数据的索引。
结合第一方面,本发明实施例提供了第一方面的第一种可能的实施方式,其中,上述方法还包括:当接收到检索请求时,从检索请求中获取数据范围;从最上级的分区图层开始,依次确定当前分区图层内,数据范围所属的分区索引标识,直至确定出最下级的分区图层内,数据范围所属的基础索引标识;根据数据范围所属的基础索引标识,生成检索结果。
结合第一方面的第一种可能的实施方式,本发明实施例提供了第一方面的第二种可能的实施方式,其中,上述根据数据范围所属的基础索引标识,生成检索结果的步骤,包括:采用数据库分区剪枝技术,获取数据范围所属的基础索引标识对应的区域数据;根据数据范围,对获取到的区域数据进行过滤,生成并返回检索结果。
结合第一方面,本发明实施例提供了第一方面的第三种可能的实施方式,其中,上述对空间数据对应的图层进行分区处理,形成多个级别的分区图层的步骤,包括:设置分区参数;其中,分区参数包括各个级别的分区方式和分区大小;分区方式包括按照行政区划分区或按照地理网格分区;按照分区参数,对空间数据对应的图层进行分区处理,形成多个级别的分区图层;其中,空间数据对应的图层包括空间数据对应的矢量图层;为每个级别的分区图层内的各个图层区域进行编码;其中,上一级分区图层中的一个图层区域的编码分别对应下一级分区图层中的多个图层区域的编码。
结合第一方面的第三种可能的实施方式,本发明实施例提供了第一方面的第四种可能的实施方式,其中,上述对分区后的空间数据中每个区域数据添加基础索引标识的步骤,包括:将最下级的分区图层内的各个图层区域的编码确定为分区后的空间数据中每个区域数据的基础索引标识;为每个分区图层中各个图层区域添加分区索引标识的步骤,包括:将除最下级的分区图层之外的其他分区图层内的各个图层区域的编码确定为相应的分区索引标识。
第二方面,本发明实施例提供了一种大规模空间数据分级快速索引装置,包括:数据获取模块,用于获取待处理的空间数据;图层分区模块,用于对空间数据对应的图层进行分区处理,形成多个级别的分区图层;其中,分区图层为分区后的空间数据对应的图层;每个级别的分区图层均由多个图层区域组成;相邻级别的分区图层之间,上一级分区图层中的一个图层区域对应下一级分区图层中的多个图层区域;数据分区模块,用于根据最下级的分区图层,对空间数据进行分区处理,对分区后的空间数据中每个区域数据添加基础索引标识;索引添加模块,用于为每个分区图层中各个图层区域添加分区索引标识;索引确定模块,用于将基础索引标识和分区索引标识确定为空间数据的索引。
结合第二方面,本发明实施例提供了第二方面的第一种可能的实施方式,其中,上述装置还包括:数据范围获取模块,用于当接收到检索请求时,从检索请求中获取数据范围;索引标识确定模块,用于从最上级的分区图层开始,依次确定当前分区图层内,数据范围所属的分区索引标识,直至确定出最下级的分区图层内,数据范围所属的基础索引标识;结果生成模块,用于根据数据范围所属的基础索引标识,生成检索结果。
结合第二方面的第一种可能的实施方式,本发明实施例提供了第二方面的第二种可能的实施方式,其中,上述结果生成模块,包括:数据获取单元,用于采用数据库分区剪枝技术,获取数据范围所属的基础索引标识对应的区域数据;过滤单元,用于根据数据范围,对获取到的区域数据进行过滤,生成并返回检索结果。
结合第二方面,本发明实施例提供了第二方面的第三种可能的实施方式,其中,上述图层分区模块,包括:参数设置单元,用于设置分区参数;其中,分区参数包括各个级别的分区方式和分区大小;分区方式包括按照行政区划分区或按照地理网格分区;图层分区单元,用于按照分区参数,对空间数据对应的图层进行分区处理,形成多个级别的分区图层;其中,空间数据对应的图层包括空间数据对应的矢量图层;编码单元,用于为每个级别的分区图层内的各个图层区域进行编码;其中,上一级分区图层中的一个图层区域的编码分别对应下一级分区图层中的多个图层区域的编码。
结合第二方面的第三种可能的实施方式,本发明实施例提供了第二方面的第四种可能的实施方式,其中,上述数据分区模块还用于:将最下级的分区图层内的各个图层区域的编码确定为分区后的空间数据中每个区域数据的基础索引标识;索引添加模块还用于:将除最下级的分区图层之外的其他分区图层内的各个图层区域的编码确定为相应的分区索引标识。
本发明实施例带来了以下有益效果:
本发明实施例提供的一种大规模空间数据分级快速索引方法和装置,通过对空间数据对应的图层进行分区处理,可以形成多个级别的分区图层;根据最下级的分区图层,对空间数据进行分区处理,添加基础索引标识,再为每个分区图层中各个图层区域添加分区索引标识,进而确定出空间数据的索引;该方式中,采用多级图层为空间数据建立多层级的索引,在检索时可以逐级地缩小检索范围,避免了单层级索引造成的全面检索扫描造成的检索效率低下的问题,有效提高了空间数据的检索效率。
本发明的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的第一种大规模空间数据分级快速索引方法的流程图;
图2为本发明实施例提供的第二种大规模空间数据分级快速索引方法的流程图;
图3为本发明实施例提供的第三种大规模空间数据分级快速索引方法的流程图;
图4为本发明实施例提供的一种多级分区图层的图层区域的结构示意图;
图5为本发明实施例提供的一种大规模空间数据分级快速索引装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
考虑到现有的空间数据索引方式检索效率较低的问题,本发明实施例提供了一种大规模空间数据分级快速索引方法和装置;该技术可以应用于建筑设计图、机械设计图、各种地图等带有空间坐标的空间数据的索引、检索过程中;该技术可以采用相关的软件或硬件实现,下面通过实施例进行描述。
实施例一:
参见图1所示的第一种大规模空间数据分级快速索引方法的流程图,该方法包括如下部分:
步骤S102,获取待处理的空间数据;
步骤S104,对空间数据对应的图层进行分区处理,形成多个级别的分区图层;其中,分区图层为分区后的空间数据对应的图层;每个级别的分区图层均由多个图层区域组成;相邻级别的分区图层之间,上一级分区图层中的一个图层区域对应下一级分区图层中的多个图层区域;
在实际实现时,可以生成多层与空间数据的范围相同的图层,对每个图层进行分区处理;在分区过程中,首先最上级的图层进行分区,分区后形成的图层区域个数最少,每个图层区域范围最大;再对第二级的图层进行分区,分区后形成的图层区域个数比最上级图层多,且每个图层区域范围也比最上级图层小;并且,第二级的图层中,若干个图层区域可以组成最上级的图层中某一图层区域;也即,最上级的图层中某一图层区域,经再次分区后,可以获得与第二级的图层对应的若干个图层区域。依次类推,直至对最下级的图层进行分区;可以理解,最下级的图层分区后形成的图层区域个数最多,每个图层区域范围最小。通常,上述区域图层为多边形,处于同一级别的图层内的区域图层大小接近。
不论是哪个图层,其分区后的多个图层区域均能无缝地覆盖整个空间数据的范围。
步骤S106,根据最下级的分区图层,对空间数据进行分区处理,对分区后的空间数据中每个区域数据添加基础索引标识;通常,采用常规的空间索引构建方法可以对空间数据添加基础索引标识,进而建立索引。
步骤S108,为每个分区图层中各个图层区域添加分区索引标识;
由于相邻的两个图层之间,其图层区域就有上述所述的关联关系,进而在添加分区索引标识时,上一级图层中的某一图层区域的分区索引标识应当与下一级图层中,与该图层区域对应的多个图层图区的分区索引标识像关联,以记录各个图层之间,图层区域的空间对应关系。
步骤S110,将基础索引标识和分区索引标识确定为空间数据的索引。
本发明实施例提供的一种大规模空间数据分级快速索引方法,通过对空间数据对应的图层进行分区处理,可以形成多个级别的分区图层;根据最下级的分区图层,对空间数据进行分区处理,添加基础索引标识,再为每个分区图层中各个图层区域添加分区索引标识,进而确定出空间数据的索引;该方式中,采用多级图层为空间数据建立多层级的索引,在检索时可以逐级地缩小检索范围,避免了单层级索引造成的全面检索扫描造成的检索效率低下的问题,有效提高了空间数据的检索效率。
实施例二:
参见图2所示的第二种大规模空间数据分级快速索引方法的流程图,该方法在实施例一中提供的大规模空间数据分级快速索引方法基础上实现;该方法包括如下部分:
步骤S202,获取待处理的空间数据;
步骤S204,对空间数据对应的图层进行分区处理,形成多个级别的分区图层;其中,分区图层为分区后的空间数据对应的图层;每个级别的分区图层均由多个图层区域组成;相邻级别的分区图层之间,上一级分区图层中的一个图层区域对应下一级分区图层中的多个图层区域;
步骤S206,根据最下级的分区图层,对空间数据进行分区处理,对分区后的空间数据中每个区域数据添加基础索引标识;
步骤S208,为每个分区图层中各个图层区域添加分区索引标识;
步骤S210,将基础索引标识和分区索引标识确定为空间数据的索引。
步骤S212,当接收到检索请求时,从检索请求中获取数据范围;
步骤S214,从最上级的分区图层开始,依次确定当前分区图层内,数据范围所属的分区索引标识,直至确定出最下级的分区图层内,数据范围所属的基础索引标识;
当获取到数据范围所属的基础索引标识之后,可以根据数据范围所属的基础索引标识,生成检索结果,具体实现方式如下:
步骤S216,采用数据库分区剪枝技术,获取数据范围所属的基础索引标识对应的区域数据;
通过数据库分区剪枝技术可以直接定位区域数据的物理存储位置,进而获取数据范围所属的基础索引标识对应的区域数据。
步骤S218,根据数据范围,对获取到的区域数据进行过滤,生成并返回检索结果。
在实际实现时,数据范围对应的多个区域数据可能该数据范围,当获取到相应的区域数据后,可以对该区域数据进行裁剪等处理,以过滤出与数据范围相匹配的检索结果。
本发明实施例提供的一种大规模空间数据分级快速索引方法,当接收到检索请求时,从最上级的分区图层开始,逐级获取检索请求中数据范围对应的分区索引标识,直至获取最下级的分区图像中对应的基础索引标识;在根据该基础索引标识获取相应的区域数据,经过滤后,生成检索结果;通过采用该方法,在检索时可以逐级地缩小检索范围,避免了单层级索引造成的全面检索扫描造成的检索效率低下的问题,有效提高了空间数据的检索效率。
实施例三:
参见图3所示的第三种大规模空间数据分级快速索引方法的流程图,该方法在实施例一中提供的大规模空间数据分级快速索引方法基础上实现;该方法包括如下部分:
步骤S302,获取待处理的空间数据;
步骤S304,设置分区参数;其中,分区参数包括各个级别的分区方式和分区大小;分区方式包括按照行政区划分区或按照地理网格分区;
步骤S306,按照分区参数,对空间数据对应的图层进行分区处理,形成多个级别的分区图层;其中,空间数据对应的图层包括空间数据对应的矢量图层;分区图层为分区后的空间数据对应的图层;每个级别的分区图层均由多个图层区域组成;相邻级别的分区图层之间,上一级分区图层中的一个图层区域对应下一级分区图层中的多个图层区域;
步骤S308,为每个级别的分区图层内的各个图层区域进行编码;其中,上一级分区图层中的一个图层区域的编码分别对应下一级分区图层中的多个图层区域的编码。
可以理解,由于在覆盖范围上,上一级分区图层中的一个图层区域对应下一级分区图层中的多个图层区域;因而,在对不同级别的图层内的图层区域进行编码时,上下级之间的图层的图层区域之间的编码也应当相互对应,即,上下级之间的图层的图层区域之间的编码存在集成关系。
步骤S310,根据最下级的分区图层,对空间数据进行分区处理,将最下级的分区图层内的各个图层区域的编码确定为分区后的空间数据中每个区域数据的基础索引标识;
将空间数据中每个区域数据确定基础索引标识后,可以将区域数据与其对应的基础索引标识保存至数据库中。
步骤S312,将除最下级的分区图层之外的其他分区图层内的各个图层区域的编码确定为相应的分区索引标识。
步骤S314,将基础索引标识和分区索引标识确定为空间数据的索引。
参见图4所示的一种多级分区图层的图层区域的结构示意图;图4中以三级分区图层为例进行说明,最上级分为图层区域1和图层区域2;对应于最上级的图层区域1,中间级的相应的图层区域分别为图层区域11、图层区域12、图层区域13和图层区域14;对应于中间级的图层区域11,最下级的相应的图层区域分别为图层区域111、图层区域112、图层区域113和图层区域114;以此类推。
可以理解,图层区域1与图层区域11、图层区域12、图层区域13和图层区域14向对应;图层区域11与图层区域111、图层区域112、图层区域113和图层区域114对应。
本发明实施例提供的一种大规模空间数据分级快速索引方法,根据设置的分区参数对空间数据对应的图层进行分区处理,可以形成多个级别的分区图层,再对每个级别的分区图层内的各个图层区域进行编码;根据各个图层区域的编码确定空间区域的基础索引标识和分区索引标识,最终生成该空间数据的索引;该方式中,采用多级图层为空间数据建立多层级的索引,在检索时可以逐级地缩小检索范围,避免了单层级索引造成的全面检索扫描造成的检索效率低下的问题,有效提高了空间数据的检索效率。
实施例四:
对应于上述方法实施例,参见图5所示的一种大规模空间数据分级快速索引装置的结构示意图,该装置包括如下部分:
数据获取模块50,用于获取待处理的空间数据;
图层分区模块51,用于对空间数据对应的图层进行分区处理,形成多个级别的分区图层;其中,分区图层为分区后的空间数据对应的图层;每个级别的分区图层均由多个图层区域组成;相邻级别的分区图层之间,上一级分区图层中的一个图层区域对应下一级分区图层中的多个图层区域;
数据分区模块52,用于根据最下级的分区图层,对空间数据进行分区处理,对分区后的空间数据中每个区域数据添加基础索引标识;
索引添加模块53,用于为每个分区图层中各个图层区域添加分区索引标识;
索引确定模块54,用于将基础索引标识和分区索引标识确定为空间数据的索引。
进一步地,上述装置还包括:数据范围获取模块,用于当接收到检索请求时,从检索请求中获取数据范围;索引标识确定模块,用于从最上级的分区图层开始,依次确定当前分区图层内,数据范围所属的分区索引标识,直至确定出最下级的分区图层内,数据范围所属的基础索引标识;结果生成模块,用于根据数据范围所属的基础索引标识,生成检索结果。
进一步地,上述结果生成模块,包括:数据获取单元,用于采用数据库分区剪枝技术,获取数据范围所属的基础索引标识对应的区域数据;过滤单元,用于根据数据范围,对获取到的区域数据进行过滤,生成并返回检索结果。
进一步地,上述图层分区模块,包括:参数设置单元,用于设置分区参数;其中,分区参数包括各个级别的分区方式和分区大小;分区方式包括按照行政区划分区或按照地理网格分区;图层分区单元,用于按照分区参数,对空间数据对应的图层进行分区处理,形成多个级别的分区图层;其中,空间数据对应的图层包括空间数据对应的矢量图层;编码单元,用于为每个级别的分区图层内的各个图层区域进行编码;其中,上一级分区图层中的一个图层区域的编码分别对应下一级分区图层中的多个图层区域的编码。
进一步地,上述数据分区模块还用于:将最下级的分区图层内的各个图层区域的编码确定为分区后的空间数据中每个区域数据的基础索引标识;索引添加模块还用于:将除最下级的分区图层之外的其他分区图层内的各个图层区域的编码确定为相应的分区索引标识。
本发明实施例提供的一种大规模空间数据分级快速索引装置,通过对空间数据对应的图层进行分区处理,可以形成多个级别的分区图层;根据最下级的分区图层,对空间数据进行分区处理,添加基础索引标识,再为每个分区图层中各个图层区域添加分区索引标识,进而确定出空间数据的索引;该方式中,采用多级图层为空间数据建立多层级的索引,在检索时可以逐级地缩小检索范围,避免了单层级索引造成的全面检索扫描造成的检索效率低下的问题,有效提高了空间数据的检索效率。
本发明实施例提供的一种大规模空间数据分级快速索引方法和装置,公开了一种大规模空间数据分级快速索引技术,通过大规模空间数据的多级索引方法,将大规模空间数据进行分区存储,并构建多层级分区索引;该方法实现了空间数据检索的多层级快速索引过滤,并通过数据库分区剪枝直接定位物理存储位置,避免了大规模空间数据的全集扫描与判断等耗时操作,极大降低了大规模空间数据空间查询的计算量,提升了检索效率,该方法具有较好的拓展性,随着数据规模的增大即全表扫描耗时的增加,该方法的性能提升效果逐渐凸显,当空间数据量达到亿级时,该方法能实现几何级性能提升,为应对大数据时代的空间大数据管理与快速检索提供了解决思路。
本发明实施例提供的一种大规模空间数据分级快速索引方法和装置,将空间数据的分布范围划分为多层级分区范围,实现了逐级空间分区范围的关联与快速定位,为大规模空间数据的快速过滤提供了解决方法;通过多层级空间索引检索进行大规模空间数据检索,避免了传统单层级空间索引的全表扫描,极大改善了数据索引效率,创新了大规模空间索引的检索方法。
本发明实施例所提供的一种大规模空间数据分级快速索引方法和装置的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见方法实施例,在此不再赘述。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种大规模空间数据分级快速索引方法,其特征在于,包括:
获取待处理的空间数据;
对所述空间数据对应的图层进行分区处理,形成多个级别的分区图层;其中,所述分区图层为分区后的所述空间数据对应的图层;每个级别的所述分区图层均由多个图层区域组成;相邻级别的所述分区图层之间,上一级分区图层中的一个图层区域对应下一级分区图层中的多个图层区域;
根据最下级的所述分区图层,对所述空间数据进行分区处理,对分区后的所述空间数据中每个区域数据添加基础索引标识;
为每个分区图层中各个图层区域添加分区索引标识;
将所述基础索引标识和所述分区索引标识确定为所述空间数据的索引。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当接收到检索请求时,从所述检索请求中获取数据范围;
从最上级的所述分区图层开始,依次确定当前分区图层内,所述数据范围所属的分区索引标识,直至确定出最下级的所述分区图层内,所述数据范围所属的所述基础索引标识;
根据所述数据范围所属的所述基础索引标识,生成检索结果。
3.根据权利要求2所述的方法,其特征在于,所述根据所述数据范围所属的所述基础索引标识,生成检索结果的步骤,包括:
采用数据库分区剪枝技术,获取所述数据范围所属的所述基础索引标识对应的所述区域数据;
根据所述数据范围,对获取到的所述区域数据进行过滤,生成并返回检索结果。
4.根据权利要求1所述的方法,其特征在于,所述对所述空间数据对应的图层进行分区处理,形成多个级别的分区图层的步骤,包括:
设置分区参数;其中,所述分区参数包括各个级别的分区方式和分区大小;所述分区方式包括按照行政区划分区或按照地理网格分区;
按照所述分区参数,对所述空间数据对应的图层进行分区处理,形成多个级别的分区图层;其中,所述空间数据对应的图层包括所述空间数据对应的矢量图层;
为每个级别的所述分区图层内的各个图层区域进行编码;其中,上一级分区图层中的一个图层区域的编码分别对应下一级分区图层中的多个图层区域的编码。
5.根据权利要求4所述的方法,其特征在于,所述对分区后的所述空间数据中每个区域数据添加基础索引标识的步骤,包括:将最下级的所述分区图层内的各个图层区域的编码确定为分区后的所述空间数据中每个区域数据的基础索引标识;
所述为每个分区图层中各个图层区域添加分区索引标识的步骤,包括:将除最下级的所述分区图层之外的其他所述分区图层内的各个图层区域的编码确定为相应的分区索引标识。
6.一种大规模空间数据分级快速索引装置,其特征在于,包括:
数据获取模块,用于获取待处理的空间数据;
图层分区模块,用于对所述空间数据对应的图层进行分区处理,形成多个级别的分区图层;其中,所述分区图层为分区后的所述空间数据对应的图层;每个级别的所述分区图层均由多个图层区域组成;相邻级别的所述分区图层之间,上一级分区图层中的一个图层区域对应下一级分区图层中的多个图层区域;
数据分区模块,用于根据最下级的所述分区图层,对所述空间数据进行分区处理,对分区后的所述空间数据中每个区域数据添加基础索引标识;
索引添加模块,用于为每个分区图层中各个图层区域添加分区索引标识;
索引确定模块,用于将所述基础索引标识和所述分区索引标识确定为所述空间数据的索引。
7.根据权利要求6所述的装置,其特征在于,所述装置还包括:
数据范围获取模块,用于当接收到检索请求时,从所述检索请求中获取数据范围;
索引标识确定模块,用于从最上级的所述分区图层开始,依次确定当前分区图层内,所述数据范围所属的分区索引标识,直至确定出最下级的所述分区图层内,所述数据范围所属的所述基础索引标识;
结果生成模块,用于根据所述数据范围所属的所述基础索引标识,生成检索结果。
8.根据权利要求7所述的装置,其特征在于,所述结果生成模块,包括:
数据获取单元,用于采用数据库分区剪枝技术,获取所述数据范围所属的所述基础索引标识对应的所述区域数据;
过滤单元,用于根据所述数据范围,对获取到的所述区域数据进行过滤,生成并返回检索结果。
9.根据权利要求6所述的装置,其特征在于,所述图层分区模块,包括:
参数设置单元,用于设置分区参数;其中,所述分区参数包括各个级别的分区方式和分区大小;所述分区方式包括按照行政区划分区或按照地理网格分区;
图层分区单元,用于按照所述分区参数,对所述空间数据对应的图层进行分区处理,形成多个级别的分区图层;其中,所述空间数据对应的图层包括所述空间数据对应的矢量图层;
编码单元,用于为每个级别的所述分区图层内的各个图层区域进行编码;其中,上一级分区图层中的一个图层区域的编码分别对应下一级分区图层中的多个图层区域的编码。
10.根据权利要求9所述的装置,其特征在于,所述数据分区模块还用于:将最下级的所述分区图层内的各个图层区域的编码确定为分区后的所述空间数据中每个区域数据的基础索引标识;
所述索引添加模块还用于:将除最下级的所述分区图层之外的其他所述分区图层内的各个图层区域的编码确定为相应的分区索引标识。
CN201710683128.6A 2017-08-10 2017-08-10 大规模空间数据分级快速索引方法和装置 Pending CN107391745A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710683128.6A CN107391745A (zh) 2017-08-10 2017-08-10 大规模空间数据分级快速索引方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710683128.6A CN107391745A (zh) 2017-08-10 2017-08-10 大规模空间数据分级快速索引方法和装置

Publications (1)

Publication Number Publication Date
CN107391745A true CN107391745A (zh) 2017-11-24

Family

ID=60355351

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710683128.6A Pending CN107391745A (zh) 2017-08-10 2017-08-10 大规模空间数据分级快速索引方法和装置

Country Status (1)

Country Link
CN (1) CN107391745A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109063194A (zh) * 2018-08-30 2018-12-21 广东南方数码科技股份有限公司 基于空间编码的数据检索方法及装置
CN109408657A (zh) * 2018-11-13 2019-03-01 国家基础地理信息中心 一种超大规模空间数据快速制图方法及系统
WO2019127314A1 (en) * 2017-12-29 2019-07-04 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for indexing big data
WO2020019162A1 (zh) * 2018-07-24 2020-01-30 深圳市大疆创新科技有限公司 地图数据重构方法及其装置、记录介质
CN111782215A (zh) * 2020-07-21 2020-10-16 致诚阿福技术发展(北京)有限公司 一种为目标对象动态添加标识特征的方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103714145A (zh) * 2013-12-25 2014-04-09 中国地质大学(武汉) 关系型和Key-Value型数据库空间数据索引方法
CN103729802A (zh) * 2013-12-20 2014-04-16 深圳供电局有限公司 基于电网设备地理信息分层索引的快速定位方法及装置
CN106780667A (zh) * 2016-12-12 2017-05-31 湖北金拓维信息技术有限公司 一种多图层的混合索引方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103729802A (zh) * 2013-12-20 2014-04-16 深圳供电局有限公司 基于电网设备地理信息分层索引的快速定位方法及装置
CN103714145A (zh) * 2013-12-25 2014-04-09 中国地质大学(武汉) 关系型和Key-Value型数据库空间数据索引方法
CN106780667A (zh) * 2016-12-12 2017-05-31 湖北金拓维信息技术有限公司 一种多图层的混合索引方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019127314A1 (en) * 2017-12-29 2019-07-04 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for indexing big data
WO2019127384A1 (en) * 2017-12-29 2019-07-04 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for joining data sets
TWI701564B (zh) * 2017-12-29 2020-08-11 大陸商北京嘀嘀無限科技發展有限公司 用於為大數據添加索引的系統和方法
CN111587429A (zh) * 2017-12-29 2020-08-25 北京嘀嘀无限科技发展有限公司 用于关联数据集的系统和方法
CN111587429B (zh) * 2017-12-29 2023-12-05 北京嘀嘀无限科技发展有限公司 用于关联数据集的系统和方法
WO2020019162A1 (zh) * 2018-07-24 2020-01-30 深圳市大疆创新科技有限公司 地图数据重构方法及其装置、记录介质
CN110869921A (zh) * 2018-07-24 2020-03-06 深圳市大疆创新科技有限公司 地图数据重构方法及其装置、记录介质
CN109063194A (zh) * 2018-08-30 2018-12-21 广东南方数码科技股份有限公司 基于空间编码的数据检索方法及装置
CN109408657A (zh) * 2018-11-13 2019-03-01 国家基础地理信息中心 一种超大规模空间数据快速制图方法及系统
CN109408657B (zh) * 2018-11-13 2021-02-02 国家基础地理信息中心 一种超大规模空间数据快速制图方法及系统
CN111782215A (zh) * 2020-07-21 2020-10-16 致诚阿福技术发展(北京)有限公司 一种为目标对象动态添加标识特征的方法和装置

Similar Documents

Publication Publication Date Title
CN107391745A (zh) 大规模空间数据分级快速索引方法和装置
CN104199986B (zh) 基于hbase和geohash的矢量数据空间索引方法
CN105677890B (zh) 一种城市绿量数字地图制作及显示方法
CN109992636A (zh) 时空编码方法、时空索引及查询方法及装置
CN106528773B (zh) 一种基于Spark平台支持空间数据管理的图计算系统及方法
CN110334391B (zh) 一种多维度约束风电场集电线路自动规划方法
CN107153711A (zh) 地理信息数据处理方法及装置
CN109345619A (zh) 基于类八叉树编码的海量点云空间管理方法
CN104167021B (zh) 一种基于地球空间立体剖分的空间目标索引方法
CN107092978B (zh) 一种面向虚拟地球的最短路径分层规划方法
CN110147377A (zh) 大规模空间数据环境下基于二级索引的通用查询算法
CN106933833A (zh) 一种基于空间索引技术的位置信息快速查询方法
CN113269870B (zh) 一种基于三维剖分网格的多分辨率数字地形集成方法
CN112184908A (zh) 基于Cesium实现倾斜摄影模型的3D Tiles格式模型包围盒数据生成方法
CN106327019A (zh) 资源环境承载力预警方法及系统
CN104820684A (zh) 一种基于空间位置的快速联机分析处理方法
CN110175175A (zh) 一种基于spark的分布式空间二级索引与范围查询算法
CN107423373A (zh) 一种城市级三维建筑模型索引方法
CN102663028A (zh) 一种适用于全球数字高程模型和遥感影像数据快速空间索引的方法
CN110287508A (zh) 一种多源三维城市模型的可视化融合系统
CN107358640A (zh) 一种晕渲目标区域的地形和地物的方法及装置
CN106951453A (zh) 一种快速更新和数据共享的地理实体编码方法
CN111427978B (zh) 基于城市形态学和r树的三维模型索引方法
CN113032404B (zh) 一种面向地表覆盖数据的图斑变化轨迹提取方法与系统
CN110084865A (zh) 一种离散点分级加权拟合规则格网的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171124

RJ01 Rejection of invention patent application after publication