CN103744998A - 一种大规模空间矢量数据层次划分存储组织方法 - Google Patents
一种大规模空间矢量数据层次划分存储组织方法 Download PDFInfo
- Publication number
- CN103744998A CN103744998A CN201410032089.XA CN201410032089A CN103744998A CN 103744998 A CN103744998 A CN 103744998A CN 201410032089 A CN201410032089 A CN 201410032089A CN 103744998 A CN103744998 A CN 103744998A
- Authority
- CN
- China
- Prior art keywords
- space
- tile
- vector data
- hierarchical
- space vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
Abstract
本发明提供一种大规模空间矢量数据层次划分存储组织方法。技术方案是对空间矢量数据D,进行以下步骤:第一步:建立全球地理空间的金字塔层次化划分框架瓦片集合G;第二步:求出空间矢量数据D的最小外包框MBRD;第三步:将MBRD和G进行空间拓扑求交运算,得出D的层次划分瓦片集合SD;第四步:将SD和D进行空间拓扑求交运算,得出D的层次化矢量要素瓦片集合TD;第五步:将集合TD中每个矢量要素瓦片作为一个文件存储;第六步:建立TD的空间索引结构。本发明的存储组织方法使得在以在线交互制图为代表的服务器交互操作处理过程中,减少访问时间,提高服务器交互制图效率;此外,运算量较小,实施方便。
Description
技术领域
本发明涉及空间矢量数据存储组织方法,尤其涉及一种面向服务器地理信息系统的基于层次划分框架的大规模空间矢量数据存储组织方法。
背景技术
由于基于桌面个人电脑的传统地理信息系统平台越来越难以存储和处理数据量日益庞大、结构日益复杂的各类地理空间数据,越来越多的地理空间信息管理与处理应用开始采用服务器体系架构来构建。服务器体系架构带来了数据规模扩大、数据集成度提高、功能协同方便等诸多优势,尤其是基于Web的服务器体系架构,更是大大增强了数据共享程度、减轻了客户端负担、扩展了应用范围。与传统桌面架构相比,服务器体系架构实现了大规模空间数据集的处理与管理,推动了大规模地理信息应用的发展。但是,服务器体系架构的采用,就必须要考虑多用户并发操作所带来的影响。当多个用户并发地对不同图层地理数据进行操作时,服务器对用户交互区数据操作的响应性能成为影响系统使用效果的关键。因此,提高服务器对并发数据读取访问的效率具有重要意义,其中的关键要素之一是参与服务器交互操作的大规模空间矢量数据的存储组织方法。
在当前的服务器体系架构下,实现空间矢量数据存储组织的方法主要有两种:
第一种方法是基于单一空间数据文件的存储组织方法。大规模空间矢量数据被组织为一个单一大文件,存储于操作系统的文件系统中。在进行交互制图时,交互区的矢量数据将按照特定的空间数据访问方法从该文件中读取出来,参与制图处理。为了提高数据读取效率,往往会给该文件附加一个空间索引文件,以便按照某种索引数据结构来加速数据读取过程。但空间查询操作是时间复杂度和空间复杂度都很高的操作,每次交互制图调用不同区域范围的空间查询算法将给整个制图过程带来不小的延迟。此外,单一空间数据文件的存储组织方法无法应对多用户并发访问的情况,性能将急剧下降。
第二种方法是基于空间数据库管理系统的存储组织方法。大规模空间矢量数据被存储为空间数据库中的一个表结构。在进行交互制图时,交互区的矢量数据将按照空间数据库的数据访问方法从该表中读取出来,进行制图处理。类似的,为了提高空间查询效率,往往在该表中针对空间属性列生成空间索引,以加快访问速度。与第一种方法相比,基于空间数据库的方法能够有效应对多用户并发访问的情况,但是,在每次交互制图操作时仍然要进行复杂的空间查询操作,仍然会带来较大延迟。
发明内容
本发明的主要目的是:提供一种面向服务器地理信息系统的,以在线交互制图为典型应用的大规模空间矢量数据存储组织方法,减少交互区空间矢量数据的查询读取处理时间,降低服务器端空间矢量数据的访问代价,提高服务器地理信息系统的在线交互制图整体性能。
本发明的技术方案是,一种大规模空间矢量数据层次划分存储组织方法,对空间矢量数据D,进行以下步骤:
第一步:根据WGS1984Web Mercator全球地理空间投影坐标系,将全球地理空间投影到正方形面,并建立该正方形面的金字塔层次化划分框架瓦片集合G,G中的元素称为框架瓦片。G中共建立N层金字塔,最大层数N由应用需求确定,一般取决于该系统划分地理空间的分辨率,分辨率越高,N取值越大,反之越小。
第二步:求出空间矢量数据D的最小外包框MBRD。
第三步:将MBRD和G进行空间拓扑求交运算,得出D的层次划分瓦片集合SD。
第四步:将SD和D进行空间拓扑求交运算,得出D的层次化矢量要素瓦片集合TD。
第五步:将集合TD中每个矢量要素瓦片作为一个文件存储在服务器的可访问路径上。
第六步:建立TD的四叉树空间索引结构。
按照上述步骤,将空间矢量数据D利用层次化矢量要素瓦片集合TD重新进行存储组织,有利于面向交互浏览、制图操作的检索查询等处理。
本发明的有益效果是:利用金字塔层次化划分框架对大规模空间矢量数据进行层次化划分提取,形成瓦片化的区域矢量要素集,这使得在以在线交互制图为代表的服务器交互操作处理过程中不需要向空间数据库屡次发出代价较高的空间查询操作,而代之以代价较低的面向小规模数据量的瓦片化矢量要素文件的读操作,减少了此过程中较为耗时的访问时间,提高了服务器交互制图效率。此外,在本发明的整个实施过程都只是涉及到空间拓扑求交运算,不涉及空间数据库中的空间连接等复杂运算,因此本发明运算量较小,实施起来也非常方便。
附图说明
图1是本发明涉及的大规模空间矢量数据层次划分存储结构生成流程示意图;
图2采用WGS1984Web Mercator建立的全球层次化划分框架示意图;
图3是本发明一个测试用例的空间矢量数据图层示意图;
图4是采用本发明方法对图3的数据进行预处理后,在进行交互制图操作时,与传统方法的数据查询读取时间对比结果。
具体实施方式
设用户在线交互制图所操作的空间矢量数据为D,下面结合附图对本发明提供的方法进行详细说明。
图1是本发明提供的大规模空间矢量数据层次划分存储结构生成方法流程示意图,包括六个步骤:
第一步,基于WGS1984Web Mercator全球地理空间投影坐标系,将全球地理空间投影到正方形面,建立全球层次化划分框架瓦片集合G,框架瓦片集合G的描述为:
G={g(l,r,c):0≤l≤N-1;0≤r≤21-1;0≤c≤2l-1}
其中,元素g(l,r,c)是位于框架内的框架瓦片(以下简称瓦片),它由三个参数来定位,分别是:
l:层编号。l为瓦片g(l,r,c)在框架G所处的划分层的编号,最顶层编号最小,为第0层,最底层编号最大,为N-1。总层数等于N,N的取值取决于该系统划分地理空间的分辨率,分辨率越高,N取值越大,反之越小,一般而言,当N=25级时,每个瓦片描述的地面大小是1.2米×1.2米。
r:行编号。r为瓦片g(l,r,c)在第l层中的行编号,最小行编号为第0行,按照四叉树索引结构,该层的行数为2l;,最大行编号为2l-1。
c:列编号。c为瓦片g(l,r,c)在第l层中的列编号,最小列编号为第0列,按照四叉树索引结构,该层的列数为2l,最大列编号为2l-1。
G中的每个瓦片含有两个属性,一是投影坐标,记为projl,r,c=(xmax,ymax,xmin,ymin),对应于投影空间中的范围;二是按照经纬度的地理坐标,记为latlonl,r,c=(lonmax,latmax,lonmin,latmin),对应于真实世界中的地理范围。
第二步,按照外包框计算方法求出空间矢量数据D的最小外包框MBRD。
第三步,将MBRD和全球地理空间层次化划分框架G进行空间拓扑求交运算,将G中与MBRD拓扑相交关系不为空的瓦片提取出来,形成D的层次划分瓦片集合SD。
记为:
SD={s(l,r,c):(0≤l≤N-1;rDS≤r≤rDE;cDS≤c≤cDE)}
其中,
s(l,r,c)是框架G内的层编号为l,行编号为r,列编号为c的瓦片。
由于空间矢量数据D的最小外包框MBRD的空间范围有限,因此在全球地理空间层次化划分框架G的每一层上,G中与MBRD拓扑相交关系不为空的瓦片的行编号和列编号的范围也是有限的,其具体范围与MBRD的的空间位置有关。
对于行编号r,根据D的空间范围,取值rDS至rDE行,rDS指的是瓦片s(l,r,c)在第l层中最小行编号,rDE指的是瓦片s(l,r,c)在第l层中最大行编号。
对于列编号c,根据D的空间范围,取值cDS至cDE列,cDS指的是瓦片s(l,r,c)在第l层中最小列编号,cDE指的是瓦片s(l,r,c)在第l层中最大列编号。
第四步,将SD与空间矢量数据集D的矢量要素进行空间相交拓扑计算,将D中与SD中各瓦片相交的要素分别提取出来,形成D的层次化矢量要素瓦片集合TD;
其中,t(l,r,c)称为D在l层,r行,c列的矢量要素瓦片,包含D中与瓦片s(l,r,c)相交的矢量要素。l,r,c的定义,以及rDS、rDE、cDS、cDE的定义与第三步中相同。
第五步,将TD中每个矢量要素瓦片,作为一个文件存储在服务器上。
第六步,对TD中的各矢量要素瓦片建立四叉树空间索引,便于交互操作时进行快速访问。
图2是对第一步的一个实例。显示的是最大层数N=3时所建立的全球层次化划分框架G,该框架共包含3层,层编号是第0层至第2层。其中,
g(0,0,0)的投影坐标proj0,0,0=(20037508.34,20037508.34,-20037508.34,-20037508.34),对应的WGS1984经纬度地理坐标latlon0,0,0=(180,85.05,-180,-85.05)。
g(1,0,0)的投影坐标proj1,0,0=(0,20037508.34,-20037508.34,0),对应的WGS1984经纬度地理坐标latlon1,0,0=(0,85.05,-180,0)。
g(2,0,0)的投影坐标proj2,0,0=(-10018754.17,20037508.34,-20037508.34,10018754.17),对应的WGS1984经纬度地理坐标latlon2,0,0=(-90,85.05,-180,66.51)。
图3是本发明的一个测试用例,空间矢量数据D为欧洲道路网矢量数据,数据量为10,406,406个线要素。
图4是采用本发明方法对图3的数据进行存储组织后,在进行交互制图操作时,与传统方法的数据读取时间对比结果。
该用例中,我们所建立的全球层次化划分框架瓦片集合G一共有18层,即N=18。由于空间矢量数据D的空间范围有限,经层次划分后,对交互操作有对比意义的为第4层至第11层。在每一层中,我们随机抽取一个瓦片作为对比分析样本,共选取8个测试样本,如图4中最左边一列表示抽取的瓦片所在层编号/行编号/列编号。各样本中含有该样本空间范围内的道路矢量要素,其数目如图中左边第二列表示。采用传统方法对该样本中道路矢量要素的读取时间标记为t1,如图中左边第三列表示。采用本发明方法对该样本中道路矢量要素的读取时间标记为t2,如图中左边第四列表示。最后一列为时间对比,计算公式为t1/t2。从结果可以看出,采用本发明方法后,在服务器进行交互制图处理时,获取绘制数据的时间代价得到了较大幅度的降低,整体性能得到了较好地提升。
以上所述的本发明实施方式,同样适应于基于服务器体系架构的大规模空间矢量数据交互式查询处理和浏览检索,并不构成对本发明保护范围的限定,任何在本发明精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明的权利要求保护范围之内。
Claims (1)
1.一种大规模空间矢量数据层次划分存储组织方法,对空间矢量数据D,其特征在于,包括下述步骤:
第一步:根据WGS1984Web Mercator全球地理空间投影坐标系,将全球地理空间投影到正方形面,并建立该正方形面的金字塔层次化划分框架瓦片集合G,G中的元素称为框架瓦片;G中共建立N层金字塔,最大层数N由应用需求确定,应用系统划分地理空间的分辨率越高,N取值越大,反之越小;
第二步:求出空间矢量数据D的最小外包框MBRD;
第三步:将MBRD和G进行空间拓扑求交运算,得出D的层次划分瓦片集合SD;
第四步:将SD和D进行空间拓扑求交运算,得出D的层次化矢量要素瓦片集合TD;
第五步:将集合TD中每个矢量要素瓦片作为一个文件存储在服务器的可访问路径上;
第六步:建立TD的四叉树空间索引结构。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410032089.XA CN103744998A (zh) | 2014-01-23 | 2014-01-23 | 一种大规模空间矢量数据层次划分存储组织方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410032089.XA CN103744998A (zh) | 2014-01-23 | 2014-01-23 | 一种大规模空间矢量数据层次划分存储组织方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN103744998A true CN103744998A (zh) | 2014-04-23 |
Family
ID=50502016
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410032089.XA Pending CN103744998A (zh) | 2014-01-23 | 2014-01-23 | 一种大规模空间矢量数据层次划分存储组织方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103744998A (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105138560A (zh) * | 2015-07-23 | 2015-12-09 | 北京天耀宏图科技有限公司 | 基于多级空间索引技术的分布式空间矢量数据管理方法 |
CN105653694A (zh) * | 2015-12-30 | 2016-06-08 | 北京汇通金财信息科技有限公司 | 一种北斗报文信息的存储与访问方法 |
CN106021567A (zh) * | 2016-05-31 | 2016-10-12 | 中国农业大学 | 一种基于Hadoop的海量矢量数据划分方法及系统 |
CN108038249A (zh) * | 2017-12-28 | 2018-05-15 | 北京星球时空科技有限公司 | 一种全球一张图数据存储组织方法及调用方法 |
CN108304593A (zh) * | 2018-04-19 | 2018-07-20 | 北京星球时空科技有限公司 | 纸质地图与电子地图互动显示的方法 |
CN108363808A (zh) * | 2018-03-07 | 2018-08-03 | 浙江科澜信息技术有限公司 | 海量数据的动态调度与显示方法、装置、设备及存储介质 |
CN110134752A (zh) * | 2019-05-16 | 2019-08-16 | 洛阳众智软件科技股份有限公司 | 三维大场景建模数据处理方法及装置 |
CN111061729A (zh) * | 2019-11-29 | 2020-04-24 | 武汉大学 | 顾及粒度的矢量瓦片组织方法 |
CN111930767A (zh) * | 2020-08-19 | 2020-11-13 | 重庆市地理信息和遥感应用中心 | 一种基于多层缓存的矢量瓦片实时切片和更新方法 |
CN113032513A (zh) * | 2021-05-21 | 2021-06-25 | 北京数字政通科技股份有限公司 | 一种针对空间地理数据的切片方法及渲染方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101887595A (zh) * | 2009-05-14 | 2010-11-17 | 武汉如临其境科技创意有限公司 | 基于四叉树索引的三维数字地球空间数据组织渲染方法 |
CN101923542A (zh) * | 2009-06-12 | 2010-12-22 | 如临其境创意(上海)有限公司 | 一种用于网络多维空间数据表达的MDDRQ-Tree索引结构 |
CN103186547A (zh) * | 2011-12-28 | 2013-07-03 | 泰瑞数创科技(北京)有限公司 | 一种海量动态数据聚合和渲染的方法 |
-
2014
- 2014-01-23 CN CN201410032089.XA patent/CN103744998A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101887595A (zh) * | 2009-05-14 | 2010-11-17 | 武汉如临其境科技创意有限公司 | 基于四叉树索引的三维数字地球空间数据组织渲染方法 |
CN101923542A (zh) * | 2009-06-12 | 2010-12-22 | 如临其境创意(上海)有限公司 | 一种用于网络多维空间数据表达的MDDRQ-Tree索引结构 |
CN103186547A (zh) * | 2011-12-28 | 2013-07-03 | 泰瑞数创科技(北京)有限公司 | 一种海量动态数据聚合和渲染的方法 |
Non-Patent Citations (2)
Title |
---|
VYRON ANTONIOU等: "Tiled Vectors: A Method for Vector Transmission over the Web", 《W2GIS 2009》 * |
刘露: "全球海量遥感影像数据的分布式管理技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105138560A (zh) * | 2015-07-23 | 2015-12-09 | 北京天耀宏图科技有限公司 | 基于多级空间索引技术的分布式空间矢量数据管理方法 |
CN105653694A (zh) * | 2015-12-30 | 2016-06-08 | 北京汇通金财信息科技有限公司 | 一种北斗报文信息的存储与访问方法 |
CN106021567B (zh) * | 2016-05-31 | 2019-09-24 | 中国农业大学 | 一种基于Hadoop的海量矢量数据划分方法及系统 |
CN106021567A (zh) * | 2016-05-31 | 2016-10-12 | 中国农业大学 | 一种基于Hadoop的海量矢量数据划分方法及系统 |
CN108038249B (zh) * | 2017-12-28 | 2020-05-19 | 北京星球时空科技有限公司 | 一种全球一张图数据存储组织方法及调用方法 |
CN108038249A (zh) * | 2017-12-28 | 2018-05-15 | 北京星球时空科技有限公司 | 一种全球一张图数据存储组织方法及调用方法 |
CN108363808A (zh) * | 2018-03-07 | 2018-08-03 | 浙江科澜信息技术有限公司 | 海量数据的动态调度与显示方法、装置、设备及存储介质 |
CN108363808B (zh) * | 2018-03-07 | 2020-08-11 | 浙江科澜信息技术有限公司 | 海量数据的动态调度与显示方法、装置、设备及存储介质 |
CN108304593A (zh) * | 2018-04-19 | 2018-07-20 | 北京星球时空科技有限公司 | 纸质地图与电子地图互动显示的方法 |
CN110134752A (zh) * | 2019-05-16 | 2019-08-16 | 洛阳众智软件科技股份有限公司 | 三维大场景建模数据处理方法及装置 |
CN111061729A (zh) * | 2019-11-29 | 2020-04-24 | 武汉大学 | 顾及粒度的矢量瓦片组织方法 |
CN111061729B (zh) * | 2019-11-29 | 2021-04-16 | 武汉大学 | 顾及粒度的矢量瓦片组织方法 |
CN111930767A (zh) * | 2020-08-19 | 2020-11-13 | 重庆市地理信息和遥感应用中心 | 一种基于多层缓存的矢量瓦片实时切片和更新方法 |
CN113032513A (zh) * | 2021-05-21 | 2021-06-25 | 北京数字政通科技股份有限公司 | 一种针对空间地理数据的切片方法及渲染方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103744998A (zh) | 一种大规模空间矢量数据层次划分存储组织方法 | |
Lv et al. | BIM big data storage in WebVRGIS | |
CN107402990B (zh) | 一种分布式NewSQL数据库系统和半结构化数据储存方法 | |
Eldawy | SpatialHadoop: towards flexible and scalable spatial processing using mapreduce | |
Eldawy et al. | A demonstration of spatialhadoop: An efficient mapreduce framework for spatial data | |
JP6998964B2 (ja) | ジオフェンスのインデックスグリッドを判断するための方法及び装置 | |
Rocha-Junior et al. | Top-k spatial keyword queries on road networks | |
CN103678705B (zh) | 一种VCT文件到shapefile文件的矢量数据并行转换方法 | |
Wang et al. | Research and implementation on spatial data storage and operation based on Hadoop platform | |
CN106933833B (zh) | 一种基于空间索引技术的位置信息快速查询方法 | |
CN103995861A (zh) | 一种基于空间关联的分布式数据装置、方法及系统 | |
CN103744999B (zh) | 基于层次划分存储结构的空间矢量数据在线交互制图方法 | |
CN101370025A (zh) | 地理信息数据的存储方法、调度方法及管理系统 | |
CN103678550A (zh) | 一种基于动态索引结构的海量数据实时查询方法 | |
KR20190079354A (ko) | 분할 공간 기반의 공간 데이터 객체 질의처리장치 및 방법, 이를 기록한 기록매체 | |
Wang et al. | Parallel trajectory search based on distributed index | |
CN111221813B (zh) | 数据库索引以及数据库查询的处理方法、装置及设备 | |
CN114328779A (zh) | 基于云计算高效检索浏览的地理信息云盘 | |
US10909733B2 (en) | Graph transformation | |
Alam et al. | A performance study of big spatial data systems | |
US20150213157A1 (en) | Multi-user cax editing of a model of a design object | |
Rodríguez-Arauz et al. | Design of a multimedia data management system that uses horizontal fragmentation to optimize content-based queries | |
Chen et al. | Design and implementation of an intelligent system for tourist routes recommendation based on Hadoop | |
US11023465B2 (en) | Cross-asset data modeling in multi-asset databases | |
Rahman et al. | Hdbscan: Density based clustering over location based services |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20140423 |
|
WD01 | Invention patent application deemed withdrawn after publication |