CN109871418A - 一种时空数据的空间索引方法和系统 - Google Patents
一种时空数据的空间索引方法和系统 Download PDFInfo
- Publication number
- CN109871418A CN109871418A CN201910009280.5A CN201910009280A CN109871418A CN 109871418 A CN109871418 A CN 109871418A CN 201910009280 A CN201910009280 A CN 201910009280A CN 109871418 A CN109871418 A CN 109871418A
- Authority
- CN
- China
- Prior art keywords
- space
- time data
- index
- distributed
- tablet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
本发明公开了一种时空数据的空间索引方法,包括:搭建应用发布平台,构建时空数据的分布式存储策略;对所述时空数据进行分布式索引;根据所述分布式存储策略,将进行完所述分布式索引后的所述时空数据存储进所述应用发布平台;对所述应用发布平台中的时空数据根据栅格切片渲染方式进行实时动态渲染,以实现所述时空数据的可视化展示。本发明还公开了一种时空数据的空间索引系统。采用本发明实施例,支持将海量的时空数据通过分布式存储到数据库中,并提供高效的读取和查询服务,同时支持通过指定空间条件来快速查询。
Description
技术领域
本发明涉及数据处理领域,尤其涉及一种时空数据的空间索引方法和系统。
背景技术
近年来,因云服务、大数据、容器虚拟化等技术快速发展,GIS行业也在面临一场技术革命。世界著名的GIS公司Esri公司在2016年发布了ArcGIS10.4版本,带来了矢量切片、动态渲染等新技术,2017年发布了ArcGIS10.5版本,开始支持大数据。但是在实际应用过程中,ArcGIS还存在一些问题,例如:在执行大数据分析时,首先需要先将数据读取到spark内存计算环境中,再执行分布式计算,I/O操作时间是分析时间的上千倍,ArcGIS10.5通过其已有的服务端产品发布到前端呈现,其已有的服务端产品ArcGIS Server本身并不支持海量数据展示,其性能存在着瓶颈问题。
诸如ArcGIS等软件均采用空间网格索引方案,其核心是将数据分为一个索引文件和一个数据文件,任何请求进入均会先读取索引文件,再读取数据文件,那么很容易出现资源争抢情况,不利于并发操作,数据的读取一定要经过两次I/O操作,一次读索引,一次读数据,会耗费大量时间。此外,网格的大小会严重影响到查询效率,但是如果网格建立的足够小,那么索引文件不断增大,同样会导致磁盘寻址花费的时间增多。
发明内容
本发明实施例的目的是提供一种时空数据的空间索引方法和系统,支持将海量的时空数据通过分布式存储到数据库中,并提供高效的读取和查询服务,同时支持通过指定空间条件来快速查询。
为实现上述目的,本发明实施例提供了一种时空数据的空间索引方法,包括:
搭建应用发布平台,构建时空数据的分布式存储策略;
对所述时空数据进行分布式索引;
根据所述分布式存储策略,将进行完所述分布式索引后的所述时空数据存储进所述应用发布平台;
对所述应用发布平台中的时空数据根据栅格切片渲染方式进行实时动态渲染,以实现所述时空数据的可视化展示。
与现有技术相比,本发明公开的时空数据的空间索引方法,首先,构建时空数据的分布式存储策略,从而提供分布式高效存储和检索机制,提供对时空大数据的高效存储,对所述时空数据进行分布式索引;然后,根据所述分布式存储策略,将进行完所述分布式索引后的所述时空数据存储进基于Docker容器技术架构的应用发布平台,使得系统负载更低,系统资源能得到更充分利用;最后,对所述应用发布平台中的时空数据根据栅格切片渲染方式进行实时动态渲染,以实现所述时空数据的可视化展示。解决了现有技术中服务端产品ArcGIS Server本身并不支持海量数据展示的问题,同时还解决了采用空间网格索引方案,耗费大量时间的问题。支持将海量的时空数据通过分布式存储到数据库中,并提供高效的读取和查询服务,同时支持通过指定空间条件来快速查询。
作为上述方案的改进,,所述对所述时空数据进行分布式索引,具体包括:
按列排具有相同RowID的键值;其中,所述RowID为预先分配给所述时空数据的ID;
按时间戳排具有相同RowID和列的键值。
作为上述方案的改进,所述对所述时空数据进行分布式索引,还包括:
采用空间哈希算法计算所述时空数据的Z阶曲线,以生成所述时空数据的地理编码;
将所述地理编码按照所述键值的结构存入Accumulo中。
作为上述方案的改进,所述方法还包括:
判断所述Z阶曲线是否一维Z阶曲线;
若是,则根据时空数据分形算法对所述一维Z阶曲线进行分形;若否,则根据时空数据降维算法将多维Z阶曲线降维成一维Z阶曲线,再根据所述时空数据分形算法对所述一维Z阶曲线进行分形。
作为上述方案的改进,所述分布式存储策略包括:
将一张表拆分成若干个Tablet;
将所述Tablet分配到对应的服务器,记录当前所述Tablet被分配到的的所述服务器的位置。
作为上述方案的改进,所述分布式存储策略还包括:
判断当前表中的所述Tablet的数量是否大于预设的可配置阈值;
若是,则将当前表切分,以使所述Tablet的数量不超过所述预设的可配置阈值;若否,则保持所述Tablet的数量不变。
为实现上述目的,本发明实施例还提供了一种时空数据的空间索引系统,包括:
分布式存储策略构建单元,用于搭建应用发布平台,构建时空数据的分布式存储策略;
分布式索引单元,用于对所述时空数据进行分布式索引;
时空数据存储单元,用于根据所述分布式存储策略,将进行完所述分布式索引后的所述时空数据存储进所述应用发布平台;
时空数据可视化展示单元,用于对所述应用发布平台中的时空数据根据栅格切片渲染方式进行实时动态渲染,以实现所述时空数据的可视化展示。
与现有技术相比,本发明公开的时空数据的空间索引系统,首先,分布式存储策略构建单元构建时空数据的分布式存储策略,从而提供分布式高效存储和检索机制,提供对时空大数据的高效存储,分布式索引单元对所述时空数据进行分布式索引;然后,时空数据存储单元根据所述分布式存储策略,将进行完所述分布式索引后的所述时空数据存储进基于Docker容器技术架构的应用发布平台,使得系统负载更低,系统资源能得到更充分利用;最后,时空数据可视化展示单元对所述应用发布平台中的时空数据根据栅格切片渲染方式进行实时动态渲染,以实现所述时空数据的可视化展示。解决了现有技术中服务端产品ArcGIS Server本身并不支持海量数据展示的问题,同时还解决了采用空间网格索引方案,耗费大量时间的问题。支持将海量的时空数据通过分布式存储到数据库中,并提供高效的读取和查询服务,同时支持通过指定空间条件来快速查询。
作为上述方案的改进,所述分布式索引单元具体包括:
排列模块,用于按列排具有相同RowID的键值;其中,所述RowID为预先分配给所述时空数据的ID;按时间戳排具有相同RowID和列的键值;
地址编码生成模块,用于采用空间哈希算法计算所述时空数据的Z阶曲线,以生成所述时空数据的地理编码;
地址编码存储模块,用于将所述地理编码按照所述键值的结构存入Accumulo中;
判断模块,用于判断所述Z阶曲线是否一维Z阶曲线;若是,则根据时空数据分形算法对所述一维Z阶曲线进行分形;若否,则根据时空数据降维算法将多维Z阶曲线降维成一维Z阶曲线,再根据所述时空数据分形算法对所述一维Z阶曲线进行分形。
作为上述方案的改进,所述分布式存储策略包括:
将一张表拆分成若干个Tablet;
将所述Tablet分配到对应的服务器,记录当前所述Tablet被分配到的的所述服务器的位置。
作为上述方案的改进,所述分布式存储策略还包括:
判断当前表中的所述Tablet的数量是否大于预设的可配置阈值;
若是,则将当前表切分,以使所述Tablet的数量不超过所述预设的可配置阈值;若否,则保持所述Tablet的数量不变。
附图说明
图1是本发明实施例提供的一种时空数据的空间索引方法的流程图;
图2是本发明实施例提供的一种时空数据的空间索引方法中tabletServer拆分、压实的流程;
图3是本发明实施例提供的一种时空数据的空间索引方法中排列后的RowID的结构;
图4是本发明实施例提供的一种时空数据的空间索引方法中采用空间哈希方法的生成的地理编码的示意图;
图5是本发明实施例提供的一种时空数据的空间索引方法中Accumulo中的Key设计结构示意图;
图6是本发明实施例提供的一种时空数据的空间索引方法中Z阶曲线示意图;
图7是本发明实施例提供的一种时空数据的空间索引系统的结构框图;
图8是本发明实施例提供的一种时空数据的空间索引系统中分布式索引单元2的结构框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
值得说明的是,本发明实施例所述的时空数据流程设计整体遵循面向服务管理的SOA服务架构模式,综合运用容器技术、时空大数据分布式存储技术、空间大数据引擎群集技术、标准的接口服务技术、HTML5技术,充分体现了系统的高可用性、高并发性、高可维护等,所述SOA服务架构的结构分为基础环境层、大数据引擎层、空间服务层、空间可视化服务等。
基础环境层:采用轻量级的Docker容器技术,使得系统负载更低,系统资源能得到更充分利用,与不采用Docker容器技术架构的传统GIS平台相比,同等部署时间条件下应用Docker容器能运行更多的实例,尤其是在云计算节点较多的情况下,其性能表现更加优秀。此外,Docker为容器提供了一套标准化的配置方法,能将GIS中的单个应用及其环境单独打包形成镜像,一次打包,随处运行,与传统GIS平台相比极大地提高了跨平台性。而且,无论是开发人员、测试人员或运维人员,都可以将封装了GIS中的单个应用及其环境的镜像进行迁移,消除线上线下的不一致性,大大简化了开发、持续集成、测试、维护的过程,效率得到了极大提高,最终可降低系统环境所造成的风险,缩短交付周期。
大数据引擎层:首先,基于HDFS分布式存储,采用Accumulo作为空间数据库,建立GEOHASH索引,实现时空大数据的并行计算,解决传统GIS的性能瓶颈问题。其次,通过对结构化、非结构化数据进行抽取、转换、加载、异常等处理,形成统一标准的时刻数据,为上层的空间服务引擎提供数据支持。
空间服务层:采用GeoServer作为空间服务引擎,负责实现空间数据的坐标配准、空间计算、栅格切片、矢量切片,并通过OGC接口对可视化层或者外部应用系统提供空间服务。同时通过搭建群集服务,对空间引擎服务进行扩展及提升,保证在高并发应用请求时,提供稳定、高效的服务。
空间可视化:运用WebGL技术,对矢量空间数据进行实时动态渲染,结合传统栅格切片渲染,实现栅矢一体可视化展示。
下面根据以上SOA服务架构的结构结合具体实施例进行说明:
实施例一
参见图1,图1是本发明实施例提供的一种时空数据的空间索引方法的流程图;包括:
S1、搭建应用发布平台,构建时空数据的分布式存储策略;
S2、对所述时空数据进行分布式索引;
S3、根据所述分布式存储策略,将进行完所述分布式索引后的所述时空数据存储进所述应用发布平台;
S4、对所述应用发布平台中的时空数据根据栅格切片渲染方式进行实时动态渲染,以实现所述时空数据的可视化展示。
具体的,在步骤S1中,采用Docker容器构建所述应用发布平台;所述分布式存储策略包括:将一张表拆分成若干个Tablet;将所述Tablet分配到对应的服务器,记录当前所述Tablet被分配到的的所述服务器的位置。
优选的,所述分布式存储策略还包括:判断当前表中的所述Tablet的数量是否大于预设的可配置阈值;若是,则将当前表切分,以使所述Tablet的数量不超过所述预设的可配置阈值;若否,则保持所述Tablet的数量不变。这样,Tablet的尺寸就可以统一,不需要管理员的干预。
在此基础上可以存储结构化或半结构化的稀疏和动态数据,构建丰富的文本搜索功能、索引地理空间或多维数据,存储和处理大型图表,以及不断更新使用服务器端编程机制对原始事件进行汇总。
参见图2,图2是本发明实施例提供的一种时空数据的空间索引方法中tabletServer拆分、压实的流程。与传统数据库不同,Accumulo为了更好的实现分布式,将一个表拆分为多个Tablet,它们分布在不同的服务器上,并由TabletServer进行管理,TabletServer会定期对Tablet进行压实、并调用GC进行垃圾处理。
具体的,在步骤S2中,所述对所述时空数据进行分布式索引,具体包括:按列排具有相同RowID的键值;其中,所述RowID为预先分配给所述时空数据的ID;按时间戳排具有相同RowID和列的键值。
参见图3,图3是本发明实施例提供的一种时空数据的空间索引方法中排列后的RowID的结构;RowID被用于将几个key-value分成一个逻辑行,有相同RowID的键值对被认为是同一行的一部分,RowIDs仅仅是字节数组。Acuumulo中的逻辑行中存储的数据是比内存中能够存储的数据要多的,一个行的多个列的值会自动改变。列名的长度是有限的,因为key被限制为1M,但是key中的列的值默认是不受限制的。
优选的,所述对所述时空数据进行分布式索引,还包括:采用空间哈希算法计算所述时空数据的Z阶曲线,以生成所述时空数据的地理编码;将所述地理编码按照所述键值的结构存入Accumulo中。
值得说明的是,为了满足各种各样的检索需求,本发明实施例中使用了多种不同的索引:
Z2索引:使用二维的Z阶曲线索引空间点数据的经度和维度;
Z3索引:使用二维的Z阶曲线索引空间点数据的经度、纬度和时间。
使用的Z2索引、Z3索引运用了空间哈希算法,以此实现了对数据的快速查询。
参见图4,图4是本发明实施例提供的一种时空数据的空间索引方法中采用空间哈希方法的生成的地理编码的示意图;采用空间哈希方法的生成的地理编码,会把需要存储的时空数据的地理范围划分为不同的正方形网格,类似于Z字形的曲线,然后可以对每个格网进行递归分隔,就可以得到更高分辨率的地理编码。
然后将空间哈希算法得到的地理编码按照指定的key结构存入Accumulo中,Accumulo中的Key设计结构如图5所示。
参见图6,图6是本发明实施例提供的一种时空数据的空间索引方法中Z阶曲线示意图;这个曲线比较简单,生成它也比较容易,只需要把每个Z首尾相连即可。
Z阶曲线同样可以扩展到三维空间。只要Z形状足够小并且足够密,也能填满整个三维空间。空间哈希算法能够提供任意精度的分段级别,一般分级从1-12级。具体级别及其对应的参数可参考表1。
表1空间哈希算法的分段级别
字符串长度 | cell宽度 | cell高度 | ||
1 | ≤ | 5000km | x | 5000km |
2 | ≤ | 1250km | x | 625km |
3 | ≤ | 156km | x | 156km |
4 | ≤ | 39.1km | x | 19.5km |
5 | ≤ | 4.89km | x | 4.89km |
6 | ≤ | 1.22km | x | 0.61km |
7 | ≤ | 153km | x | 153km |
8 | ≤ | 38.2km | x | 19.1km |
9 | ≤ | 4.77km | x | 4.77km |
10 | ≤ | 1.19km | x | 0.596km |
11 | ≤ | 149km | x | 149km |
12 | ≤ | 37.2km | x | 18.6km |
优选的,在采用空间哈希算法计算所述时空数据的Z阶曲线后,还包括:判断所述Z阶曲线是否一维Z阶曲线;若是,则根据时空数据分形算法对所述一维Z阶曲线进行分形;若否,则根据时空数据降维算法将多维Z阶曲线降维成一维Z阶曲线,再根据所述时空数据分形算法对所述一维Z阶曲线进行分形。
具体的,所述时空数据分形算法为利用空间哈希算法中字符串长短来决定要划分区域的大小。这个对应关系可以参考表1中cell的宽度和高度。一旦选定cell的宽度和高度,那么空间哈希的字符串的长度就确定下来了,这样就把所述时空数据的地理范围分成了一个个矩形区域。
具体的,空间哈希有一个和Z阶曲线相关的性质,那就是一个点附近的地方hash字符串总是有公共前缀(但不绝对),并且公共前缀的长度越长,这两个点距离越近。利用这个特性,空间哈希被用来作为唯一标识符。用在数据库里面可用空间哈希来表示一个点。空间哈希这个公共前缀的特性就可以用来快速的进行邻近点的搜索。越接近的点通常和目标点的空间哈希的字符串公共前缀越长。
空间哈希方法也有几种编码形式,常见的有2种,base32和base36。其中,base32的编码形式请参考表2,base36的编码形式请参考表3。
表2 base32的编码形式
Decimal | 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 |
base32 | 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | b | c | d | e | f | g |
Decimal | 16 | 17 | 18 | 19 | 20 | 21 | 22 | 23 | 24 | 25 | 26 | 27 | 28 | 29 | 30 | 31 |
base32 | h | j | k | m | n | p | q | r | s | t | u | v | w | x | y | z |
表3 base36的编码形式
Decimal | 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 |
base36 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | b | B | C | d | D | F | g | G | h | H |
Decimal | 18 | 19 | 20 | 21 | 22 | 23 | 24 | 25 | 26 | 27 | 28 | 29 | 30 | 31 | 32 | 33 | 34 | 35 |
base36 | j | J | K | l | L | M | n | N | P | q | Q | r | R | t | T | V | W | X |
具体的,在步骤S3~S4中,根据所述分布式存储策略,将进行完所述分布式索引后的所述时空数据存储进所述应用发布平台;运用WebGL技术,对所述应用发布平台中的时空数据根据栅格切片渲染方式进行实时动态渲染,以实现所述时空数据的可视化展示。
具体实施时,首先,构建时空数据的分布式存储策略,从而提供分布式高效存储和检索机制,提供对时空大数据的高效存储,对所述时空数据进行分布式索引;然后,根据所述分布式存储策略,将进行完所述分布式索引后的所述时空数据存储进基于Docker容器技术架构的应用发布平台,使得系统负载更低,系统资源能得到更充分利用;最后,对所述应用发布平台中的时空数据根据栅格切片渲染方式进行实时动态渲染,以实现所述时空数据的可视化展示。
与现有技术相比,本发明公开的时空数据的空间索引方法,解决了现有技术中服务端产品ArcGIS Server本身并不支持海量数据展示的问题,同时还解决了采用空间网格索引方案,耗费大量时间的问题。支持将海量的时空数据通过分布式存储到数据库中,并提供高效的读取和查询服务,同时支持通过指定空间条件来快速查询。
本发明实施例完成了完整的空间大数据分析,包括数据的分布式存储(解决了现有技术中索引建立,数据分块的问题)、分布式的空间分析算法(解决了现有技术中需重新将已有的空间分析算法重新改造,适配分布式的数据的问题)、分析结果的可视化呈现(解决了现有技术中海量数据呈现瓶颈的问题)。
本发明实施例实现在分布式集群环境上进行大规模的栅格矢量空间数据生产,以及空间查询和分析。帮助用户管理、使用来自于物联网、社交媒体、手机应用的海量的时空(spatio-temporal)数据。支持将海量的时空数据存储到Accumulo,HBase和GoogleBigtable数据库中,并提供高效的读取、查询服务,同时支持通过指定空间条件(距离和范围)来快速查询,提供了时空数据的近实时流处理功能,同时确保分析结果快速展现到前端。
实施例二
参见图7,图7是本发明实施例提供的一种时空数据的空间索引系统的结构框图;包括:
分布式存储策略构建单元1,用于搭建应用发布平台,构建时空数据的分布式存储策略;
分布式索引单元2,用于对所述时空数据进行分布式索引;
时空数据存储单元3,用于根据所述分布式存储策略,将进行完所述分布式索引后的所述时空数据存储进所述应用发布平台;
时空数据可视化展示单元4,用于对所述应用发布平台中的时空数据根据栅格切片渲染方式进行实时动态渲染,以实现所述时空数据的可视化展示。
优选的,参见图8,所述分布式索引单元2具体包括:
排列模块21,用于按列排具有相同RowID的键值;其中,所述RowID为预先分配给所述时空数据的ID;按时间戳排具有相同RowID和列的键值;
地址编码生成模块22,用于采用空间哈希算法计算所述时空数据的Z阶曲线,以生成所述时空数据的地理编码;
地址编码存储模块23,用于将所述地理编码按照所述键值的结构存入Accumulo中;
判断模块24,用于判断所述Z阶曲线是否一维Z阶曲线;若是,则根据时空数据分形算法对所述一维Z阶曲线进行分形;若否,则根据时空数据降维算法将多维Z阶曲线降维成一维Z阶曲线,再根据所述时空数据分形算法对所述一维Z阶曲线进行分形。
具体的所述时空数据的空间索引系统中各个单元的功能请参考上述实施例一所述的时空数据的空间索引方法中的各个步骤,在此不再赘述。
具体实施时,首先,分布式存储策略构建单元1构建时空数据的分布式存储策略,从而提供分布式高效存储和检索机制,提供对时空大数据的高效存储,分布式索引单元2对所述时空数据进行分布式索引;然后,时空数据存储单元3根据所述分布式存储策略,将进行完所述分布式索引后的所述时空数据存储进基于Docker容器技术架构的应用发布平台,使得系统负载更低,系统资源能得到更充分利用;最后,时空数据可视化展示单元4对所述应用发布平台中的时空数据根据栅格切片渲染方式进行实时动态渲染,以实现所述时空数据的可视化展示。
与现有技术相比,本发明公开的时空数据的空间索引系统,解决了现有技术中服务端产品ArcGIS Server本身并不支持海量数据展示的问题,同时还解决了采用空间网格索引方案,耗费大量时间的问题。支持将海量的时空数据通过分布式存储到数据库中,并提供高效的读取和查询服务,同时支持通过指定空间条件来快速查询。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本发明的保护范围。
Claims (10)
1.一种时空数据的空间索引方法,其特征在于,包括:
搭建应用发布平台,构建时空数据的分布式存储策略;
对所述时空数据进行分布式索引;
根据所述分布式存储策略,将进行完所述分布式索引后的所述时空数据存储进所述应用发布平台;
对所述应用发布平台中的时空数据根据栅格切片渲染方式进行实时动态渲染,以实现所述时空数据的可视化展示。
2.如权利要求1所述的时空数据的空间索引方法,其特征在于,所述对所述时空数据进行分布式索引,具体包括:
按列排具有相同RowID的键值;其中,所述RowID为预先分配给所述时空数据的ID;
按时间戳排具有相同RowID和列的键值。
3.如权利要求2所述的时空数据的空间索引方法,其特征在于,所述对所述时空数据进行分布式索引,还包括:
采用空间哈希算法计算所述时空数据的Z阶曲线,以生成所述时空数据的地理编码;
将所述地理编码按照所述键值的结构存入Accumulo中。
4.如权利要求3所述的时空数据的空间索引方法,其特征在于,所述方法还包括:
判断所述Z阶曲线是否一维Z阶曲线;
若是,则根据时空数据分形算法对所述一维Z阶曲线进行分形;若否,则根据时空数据降维算法将多维Z阶曲线降维成一维Z阶曲线,再根据所述时空数据分形算法对所述一维Z阶曲线进行分形。
5.如权利要求1所述的时空数据的空间索引方法,其特征在于,所述分布式存储策略包括:
将一张表拆分成若干个Tablet;
将所述Tablet分配到对应的服务器,记录当前所述Tablet被分配到的的所述服务器的位置。
6.如权利要求5所述的时空数据的空间索引方法,其特征在于,所述分布式存储策略还包括:
判断当前表中的所述Tablet的数量是否大于预设的可配置阈值;
若是,则将当前表切分,以使所述Tablet的数量不超过所述预设的可配置阈值;若否,则保持所述Tablet的数量不变。
7.一种时空数据的空间索引系统,其特征在于,包括:
分布式存储策略构建单元,用于搭建应用发布平台,构建时空数据的分布式存储策略;
分布式索引单元,用于对所述时空数据进行分布式索引;
时空数据存储单元,用于根据所述分布式存储策略,将进行完所述分布式索引后的所述时空数据存储进所述应用发布平台;
时空数据可视化展示单元,用于对所述应用发布平台中的时空数据根据栅格切片渲染方式进行实时动态渲染,以实现所述时空数据的可视化展示。
8.如权利要求7所述的时空数据的空间索引系统,其特征在于,所述分布式索引单元具体包括:
排列模块,用于按列排具有相同RowID的键值;其中,所述RowID为预先分配给所述时空数据的ID;按时间戳排具有相同RowID和列的键值;
地址编码生成模块,用于采用空间哈希算法计算所述时空数据的Z阶曲线,以生成所述时空数据的地理编码;
地址编码存储模块,用于将所述地理编码按照所述键值的结构存入Accumulo中;
判断模块,用于判断所述Z阶曲线是否一维Z阶曲线;若是,则根据时空数据分形算法对所述一维Z阶曲线进行分形;若否,则根据时空数据降维算法将多维Z阶曲线降维成一维Z阶曲线,再根据所述时空数据分形算法对所述一维Z阶曲线进行分形。
9.如权利要求7所述的时空数据的空间索引系统,其特征在于,所述分布式存储策略包括:
将一张表拆分成若干个Tablet;
将所述Tablet分配到对应的服务器,记录当前所述Tablet被分配到的的所述服务器的位置。
10.如权利要求9所述的时空数据的空间索引系统,其特征在于,所述分布式存储策略还包括:
判断当前表中的所述Tablet的数量是否大于预设的可配置阈值;
若是,则将当前表切分,以使所述Tablet的数量不超过所述预设的可配置阈值;若否,则保持所述Tablet的数量不变。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910009280.5A CN109871418A (zh) | 2019-01-04 | 2019-01-04 | 一种时空数据的空间索引方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910009280.5A CN109871418A (zh) | 2019-01-04 | 2019-01-04 | 一种时空数据的空间索引方法和系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109871418A true CN109871418A (zh) | 2019-06-11 |
Family
ID=66917522
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910009280.5A Pending CN109871418A (zh) | 2019-01-04 | 2019-01-04 | 一种时空数据的空间索引方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109871418A (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110399446A (zh) * | 2019-07-26 | 2019-11-01 | 广州市城市规划勘测设计研究院 | 大规模时空数据的可视化方法、装置、设备及存储介质 |
CN110599490A (zh) * | 2019-09-02 | 2019-12-20 | 广州市城市规划勘测设计研究院 | 一种遥感影像数据存储方法和系统 |
CN110888880A (zh) * | 2019-11-19 | 2020-03-17 | 武汉光谷信息技术股份有限公司 | 基于空间索引的邻近分析方法、装置、设备及介质 |
CN111291055A (zh) * | 2020-02-25 | 2020-06-16 | 北京奇艺世纪科技有限公司 | 数据存储方法及装置、数据处理方法及装置、电子设备 |
CN111427988A (zh) * | 2020-06-11 | 2020-07-17 | 武大吉奥信息技术有限公司 | 一种生成区域分级渲染图的方法、系统及电子设备 |
CN111563080A (zh) * | 2020-04-09 | 2020-08-21 | 农业农村部规划设计研究院 | 一种空间数据索引和拓扑方法、装置及存储介质 |
CN111680033A (zh) * | 2020-04-30 | 2020-09-18 | 广州市城市规划勘测设计研究院 | 一种高性能gis平台 |
CN111782745A (zh) * | 2020-06-28 | 2020-10-16 | 中国矿业大学(北京) | 一种时空大数据网格编码高效可视化方法及系统 |
CN112328583A (zh) * | 2020-10-29 | 2021-02-05 | 北京东方耀阳信息技术有限公司 | 一种时空数据管理方法 |
CN113486005A (zh) * | 2021-06-09 | 2021-10-08 | 中国科学院空天信息创新研究院 | 异构结构下的空间科学卫星大数据组织及查询方法 |
CN117112492A (zh) * | 2023-08-25 | 2023-11-24 | 中南林业科技大学 | 一种自适应的时空大数据分布式存储方法及智能文件系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103915033A (zh) * | 2012-12-29 | 2014-07-09 | 高德软件有限公司 | 一种地图渲染的方法及其装置、移动终端 |
CN103995861A (zh) * | 2014-05-16 | 2014-08-20 | 罗敬宁 | 一种基于空间关联的分布式数据装置、方法及系统 |
CN106611046A (zh) * | 2016-12-16 | 2017-05-03 | 武汉中地数码科技有限公司 | 基于大数据技术的空间数据存储处理中间件框架 |
CN108205528A (zh) * | 2016-12-16 | 2018-06-26 | 上海仪电(集团)有限公司中央研究院 | 一种面向海量监控数据的检索分析系统 |
CN108898644A (zh) * | 2018-06-22 | 2018-11-27 | 北京佳格天地科技有限公司 | 一种栅格数据动态渲染方法、系统和存储介质 |
-
2019
- 2019-01-04 CN CN201910009280.5A patent/CN109871418A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103915033A (zh) * | 2012-12-29 | 2014-07-09 | 高德软件有限公司 | 一种地图渲染的方法及其装置、移动终端 |
CN103995861A (zh) * | 2014-05-16 | 2014-08-20 | 罗敬宁 | 一种基于空间关联的分布式数据装置、方法及系统 |
CN106611046A (zh) * | 2016-12-16 | 2017-05-03 | 武汉中地数码科技有限公司 | 基于大数据技术的空间数据存储处理中间件框架 |
CN108205528A (zh) * | 2016-12-16 | 2018-06-26 | 上海仪电(集团)有限公司中央研究院 | 一种面向海量监控数据的检索分析系统 |
CN108898644A (zh) * | 2018-06-22 | 2018-11-27 | 北京佳格天地科技有限公司 | 一种栅格数据动态渲染方法、系统和存储介质 |
Non-Patent Citations (7)
Title |
---|
BARRYCUG: "GeoMesa架构", 《HTTPS://WWW.JIANSHU.COM/P/4354D3F7F63D》 * |
LINUX: "Apache Accumulo用户手册", 《HTTPS://WWW.LINUXIDC.COM/LINUX/2014-09/107163.HTM》 * |
SUCRE03: "Leveldb/Rocksdb/Accumulo简单比较", 《HTTPS://WWW.JIANSHU.COM/P/4C57CD82CCDE》 * |
一缕殇流化隐半边冰霜: "高效的多维空间点索引算法----Geohash和GoogleS2", 《HTTPS://WWW.JIANSHU.COM/P/7332DCB978B2》 * |
党倩等: "三维地面场景可视化设计技术", 《中国交通研究与探索:第七届全国交通运输领域青年学术会议论文集 2007 上》 * |
曾文等: "MapGIS7.0在数字化城市管理中的应用", 《数字城市的理论与实践 第三届中国国际数字城市建设技术研讨会论文集》 * |
芮小平等: "矢栅一体化的三维地形可视化研究", 《计算机工程与应用》 * |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110399446A (zh) * | 2019-07-26 | 2019-11-01 | 广州市城市规划勘测设计研究院 | 大规模时空数据的可视化方法、装置、设备及存储介质 |
CN110599490A (zh) * | 2019-09-02 | 2019-12-20 | 广州市城市规划勘测设计研究院 | 一种遥感影像数据存储方法和系统 |
CN110599490B (zh) * | 2019-09-02 | 2021-04-20 | 广州市城市规划勘测设计研究院 | 一种遥感影像数据存储方法和系统 |
CN110888880A (zh) * | 2019-11-19 | 2020-03-17 | 武汉光谷信息技术股份有限公司 | 基于空间索引的邻近分析方法、装置、设备及介质 |
CN111291055A (zh) * | 2020-02-25 | 2020-06-16 | 北京奇艺世纪科技有限公司 | 数据存储方法及装置、数据处理方法及装置、电子设备 |
CN111563080A (zh) * | 2020-04-09 | 2020-08-21 | 农业农村部规划设计研究院 | 一种空间数据索引和拓扑方法、装置及存储介质 |
CN111680033A (zh) * | 2020-04-30 | 2020-09-18 | 广州市城市规划勘测设计研究院 | 一种高性能gis平台 |
CN111427988B (zh) * | 2020-06-11 | 2020-09-18 | 武大吉奥信息技术有限公司 | 一种生成区域分级渲染图的方法、系统及电子设备 |
CN111427988A (zh) * | 2020-06-11 | 2020-07-17 | 武大吉奥信息技术有限公司 | 一种生成区域分级渲染图的方法、系统及电子设备 |
CN111782745A (zh) * | 2020-06-28 | 2020-10-16 | 中国矿业大学(北京) | 一种时空大数据网格编码高效可视化方法及系统 |
CN112328583A (zh) * | 2020-10-29 | 2021-02-05 | 北京东方耀阳信息技术有限公司 | 一种时空数据管理方法 |
CN113486005A (zh) * | 2021-06-09 | 2021-10-08 | 中国科学院空天信息创新研究院 | 异构结构下的空间科学卫星大数据组织及查询方法 |
CN113486005B (zh) * | 2021-06-09 | 2024-04-19 | 中国科学院空天信息创新研究院 | 异构结构下的空间科学卫星大数据组织及查询方法 |
CN117112492A (zh) * | 2023-08-25 | 2023-11-24 | 中南林业科技大学 | 一种自适应的时空大数据分布式存储方法及智能文件系统 |
CN117112492B (zh) * | 2023-08-25 | 2024-03-12 | 中南林业科技大学 | 一种自适应的时空大数据分布式存储方法及智能文件系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109871418A (zh) | 一种时空数据的空间索引方法和系统 | |
CN106528773B (zh) | 一种基于Spark平台支持空间数据管理的图计算系统及方法 | |
Han et al. | Hgrid: A data model for large geospatial data sets in hbase | |
CN103995861B (zh) | 一种基于空间关联的分布式数据装置、方法及系统 | |
CN103019728B (zh) | 一种高效复杂报表解析引擎及其解析方法 | |
CN105786942B (zh) | 一种基于云平台的地理信息存储系统 | |
CN108446293A (zh) | 一种基于城市多源异构数据构建城市画像的方法 | |
Wang et al. | Research and implementation on spatial data storage and operation based on Hadoop platform | |
CN107515952B (zh) | 点云数据存储、并行计算和实时检索的方法及其系统 | |
Hongchao et al. | Distributed data organization and parallel data retrieval methods for huge laser scanner point clouds | |
CN110990726A (zh) | 时空大数据智能服务系统 | |
JP2020531970A (ja) | スケーラブルな時空密度データの融合 | |
CN111680033A (zh) | 一种高性能gis平台 | |
CN108959352A (zh) | 基于时间和空间数据模型的时空数据处理平台及处理方法 | |
CN108804602A (zh) | 一种基于spark的分布式空间数据存储计算方法 | |
CN103049464A (zh) | 基于空间对象类化模型及网格体索引的异构地理空间数据管理技术 | |
CN103955511A (zh) | 一种城市3d建筑数据的云平台数据组织和检索方法 | |
Bordogna et al. | Clustering geo-tagged tweets for advanced big data analytics | |
CN106202378A (zh) | 一种流式气象数据的快速处理方法及系统 | |
CN110147377A (zh) | 大规模空间数据环境下基于二级索引的通用查询算法 | |
CN113570275A (zh) | 基于bim和数字高程模型的水资源实时监测系统 | |
Van et al. | An efficient distributed index for geospatial databases | |
Zeng et al. | Data visualization for air quality analysis on bigdata platform | |
CN115238015A (zh) | 一种基于微服务的时空大数据平台 | |
CN107679127A (zh) | 基于地理位置的点云信息并行提取方法及其系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190611 |
|
RJ01 | Rejection of invention patent application after publication |