CN108874905A - 一种海量地理信息瓦片数据的高效存储方法 - Google Patents
一种海量地理信息瓦片数据的高效存储方法 Download PDFInfo
- Publication number
- CN108874905A CN108874905A CN201810508974.9A CN201810508974A CN108874905A CN 108874905 A CN108874905 A CN 108874905A CN 201810508974 A CN201810508974 A CN 201810508974A CN 108874905 A CN108874905 A CN 108874905A
- Authority
- CN
- China
- Prior art keywords
- data
- file
- tile
- geographic information
- tile data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Processing Or Creating Images (AREA)
Abstract
一种海量地理信息瓦片数据的高效存储方法,包括以下步骤:步骤1,对卫星影像数据源文件和数字高程数据源文件进行切片处理,切片后形成瓦片数据库,并最终对瓦片数据库打包为数据文件;步骤2,当地理信息系统GIS需要获取数据时,通过数据解析插件在步骤1中生成的数据文件里找到对应的数据文件,最终获取到瓦片数据加载到场景中;本发明将很多的文件IO缩短为一个文件的IO,提升了瓦片的读取效率,提高了GIS的效率。
Description
技术领域
本发明属于地理信息系统技术领域,特别涉及一种海量地理信息瓦片数据的高效存储方法。
背景技术
在地理信息系统(简称GIS)行业中,任何软件或产品不可避免的都要使用到地理信息数据,用于展示地图地势,这其中的数据就包括卫星影像数据、数字高程数据、矢量数据、其他的航拍或测量数据,这些数据有一个共同点就是文件非常大,通常可以达到TB级别,如果将如此大的文件一次性的加入到GIS中完全是不可能的,所以传统的GIS手段就是将这些数据进行分级分片处理,多数采用的是四叉树的分片机制,这样一种类型的数据在第0级存在20x21=2张瓦片数据(平顶金字塔),第1级便存在21x22=8张瓦片数据,第2级存在22*23=32,……,第20级存在220x221=1048576x2097152约等于2.2x1012数量级别的瓦片,单张瓦片数据的大小很小,通常在几十到几百KB之间,但如此海量的瓦片数据在存储或者拷贝时就会占用大量的时间,另外我们知道文件IO的效率相对来说是比较低的,而GIS必须要加载大量的瓦片数据,大量瓦片数据的IO便会从整体上拉低GIS的数据加载效率。
发明内容
本发明的目的在于提供一种海量地理信息瓦片数据的高效存储方法,以解决上述问题。
为实现上述目的,本发明采用以下技术方案:
一种海量地理信息瓦片数据的高效存储方法,包括以下步骤:
步骤1,对卫星影像数据源文件和数字高程数据源文件进行切片处理,切片后形成瓦片数据库,并最终对瓦片数据库打包为数据文件;
步骤2,当地理信息系统GIS需要获取数据时,通过数据解析插件在步骤1中生成的数据文件里找到对应的数据文件,最终获取到瓦片数据加载到场景中;
打包过程为:
对数据进行分级处理,从第0级到第n级,每级瓦片数据的个数为2n*2n+1其中n=0,1,2·n;按级别将瓦片数据按一个数量m进行分组,若当前级别的瓦片数据个数大于m,则每m个数据构成一个数据文件,不足m个数据的形成一个数据文件;文件命名为0_0_0.demx高程文件或者0_0_0.texx影像文件;文件的命名规则如下:
瓦片级别_起始行号_起始列号.文件格式。
进一步的,该切片过程使用尖顶或者平顶金字塔结构进行切片。
进一步的,数据文件的存储结构为索引块+数据块构成,索引块中保存了m块相同大小的结构体,其中数据为瓦片起始位置和瓦片大小,用于获取数据块中存储的瓦片数据。
与现有技术相比,本发明有以下技术效果:
本发明将很多的文件IO缩短为一个文件的IO,提升了瓦片的读取效率,提高了GIS的效率。
本发明的方法大大减少了瓦片文件的数量,使瓦片数据的存储、拷贝更加便捷;
附图说明
图1为本发明的流程图。
具体实施方式
以下结合附图对本发明进一步说明:
一种海量地理信息瓦片数据的高效存储方法,包括以下步骤:
步骤1,对卫星影像数据源文件和数字高程数据源文件进行切片处理,切片后形成瓦片数据库,并最终对瓦片数据库打包为数据文件;
步骤2,当地理信息系统GIS需要获取数据时,通过数据解析插件在步骤1中生成的数据文件里找到对应的数据文件,最终获取到瓦片数据加载到场景中;
打包过程为:
对数据进行分级处理,从第0级到第n级,每级瓦片数据的个数为2n*2n+1其中n=0,1,2·n;按级别将瓦片数据按一个数量m进行分组,若当前级别的瓦片数据个数大于m,则每m个数据构成一个数据文件,不足m个数据的形成一个数据文件;文件命名为0_0_0.demx高程文件或者0_0_0.texx影像文件;文件的命名规则如下:
瓦片级别_起始行号_起始列号.文件格式。
该切片过程使用尖顶或者平顶金字塔结构进行切片。
数据文件的存储结构为索引块+数据块构成,索引块中保存了m块相同大小的结构体,其中数据为瓦片起始位置和瓦片大小,用于获取数据块中存储的瓦片数据。
实施例1:
1)源数据切片处理,将地理信息系统中使用的卫星影像数据及数字高程文件进行切片处理,并最终打包为数据文件;
a)该切片过程分为分级和分片过程与传统GIS行业的数据切片方式相同,使用尖顶或者平顶金字塔结构进行切片;
b)打包过程是该发明的重点,即将按级别将瓦片数据按10000或者更多进行分组,如第0级只有1张或2张瓦片,那么第0级便只有一个数据文件,该文件中保存1张或2张瓦片,文件命名为0_0_0.demx(高程文件)或者0_0_0.texx(影像文件)。
文件的命名规则如下:
瓦片级别_起始行号_起始列号.文件格式
同理第8级的瓦片数据为256行,512列,共65536个文件,需要制作7个数据文件,文件名分别为8_0_0.texx、8_19_273.texx,……,以此计算下去。
c)数据文件的存储结构为索引块+数据块构成,索引块中保存了10000块相同大小的结构体,其中数据为瓦片起始位置和瓦片大小,用于获取数据块中存储的瓦片数据。
2)通过上一步生成了数据文件,当GIS需要获取数据时,通过数据解析插件找到对应的数据文件,最终获取到瓦片数据加载到场景中。
Claims (3)
1.一种海量地理信息瓦片数据的高效存储方法,其特征在于,包括以下步骤:
步骤1,对卫星影像数据源文件和数字高程数据源文件进行切片处理,切片后形成瓦片数据库,并最终对瓦片数据库打包为数据文件;
步骤2,当地理信息系统GIS需要获取数据时,通过数据解析插件在步骤1中生成的数据文件里找到对应的数据文件,最终获取到瓦片数据加载到场景中;
打包过程为:
对数据进行分级处理,从第0级到第n级,每级瓦片数据的个数为2n*2n+1其中n=0,1,2···n;按级别将瓦片数据按一个数量m进行分组,若当前级别的瓦片数据个数大于m,则每m个数据构成一个数据文件,不足m个数据的形成一个数据文件;文件命名为0_0_0.demx高程文件或者0_0_0.texx影像文件;文件的命名规则如下:
瓦片级别_起始行号_起始列号.文件格式。
2.根据权利要求1所述的一种海量地理信息瓦片数据的高效存储方法,其特征在于,该切片过程使用尖顶或者平顶金字塔结构进行切片。
3.根据权利要求1所述的一种海量地理信息瓦片数据的高效存储方法,其特征在于,数据文件的存储结构为索引块+数据块构成,索引块中保存了m块相同大小的结构体,其中数据为瓦片起始位置和瓦片大小,用于获取数据块中存储的瓦片数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810508974.9A CN108874905A (zh) | 2018-05-24 | 2018-05-24 | 一种海量地理信息瓦片数据的高效存储方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810508974.9A CN108874905A (zh) | 2018-05-24 | 2018-05-24 | 一种海量地理信息瓦片数据的高效存储方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108874905A true CN108874905A (zh) | 2018-11-23 |
Family
ID=64333267
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810508974.9A Pending CN108874905A (zh) | 2018-05-24 | 2018-05-24 | 一种海量地理信息瓦片数据的高效存储方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108874905A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110619675A (zh) * | 2019-09-11 | 2019-12-27 | 西安恒歌数码科技有限责任公司 | 基于OsgEarth的面矢量数据的加载方法 |
CN110634184A (zh) * | 2019-09-11 | 2019-12-31 | 西安恒歌数码科技有限责任公司 | 一种海量倾斜摄影数据的加载方法 |
CN110706341A (zh) * | 2019-09-17 | 2020-01-17 | 广州市城市规划勘测设计研究院 | 一种城市信息模型的高性能渲染方法、装置及存储介质 |
CN111354084A (zh) * | 2020-02-26 | 2020-06-30 | 中国电建集团昆明勘测设计研究院有限公司 | 一种基于三维模型瓦片的网络地理信息服务系统 |
CN112017283A (zh) * | 2020-08-07 | 2020-12-01 | 西安羚控电子科技有限公司 | 视景仿真中大范围真实地形创建与呈现方法 |
CN113836095A (zh) * | 2021-09-26 | 2021-12-24 | 广州极飞科技股份有限公司 | 一种点云数据存储方法、装置、存储介质及电子设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104217023A (zh) * | 2014-09-25 | 2014-12-17 | 山东康威通信技术股份有限公司 | 一种利用打包技术解决地图瓦片存储的方法 |
CN104899282A (zh) * | 2015-06-02 | 2015-09-09 | 北京博阳世通信息技术有限公司 | 一种多源多时相卫星影像瓦片数据的处理方法及检索方法 |
CN105117451A (zh) * | 2015-08-17 | 2015-12-02 | 苏州中科天启遥感科技有限公司 | 一种地图瓦片文件的存储方法 |
CN105205126A (zh) * | 2015-09-11 | 2015-12-30 | 武汉云空间地理信息技术有限公司 | 一种地图瓦片的存储方法及其存储系统 |
-
2018
- 2018-05-24 CN CN201810508974.9A patent/CN108874905A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104217023A (zh) * | 2014-09-25 | 2014-12-17 | 山东康威通信技术股份有限公司 | 一种利用打包技术解决地图瓦片存储的方法 |
CN104899282A (zh) * | 2015-06-02 | 2015-09-09 | 北京博阳世通信息技术有限公司 | 一种多源多时相卫星影像瓦片数据的处理方法及检索方法 |
CN105117451A (zh) * | 2015-08-17 | 2015-12-02 | 苏州中科天启遥感科技有限公司 | 一种地图瓦片文件的存储方法 |
CN105205126A (zh) * | 2015-09-11 | 2015-12-30 | 武汉云空间地理信息技术有限公司 | 一种地图瓦片的存储方法及其存储系统 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110619675A (zh) * | 2019-09-11 | 2019-12-27 | 西安恒歌数码科技有限责任公司 | 基于OsgEarth的面矢量数据的加载方法 |
CN110634184A (zh) * | 2019-09-11 | 2019-12-31 | 西安恒歌数码科技有限责任公司 | 一种海量倾斜摄影数据的加载方法 |
CN110634184B (zh) * | 2019-09-11 | 2023-01-17 | 西安恒歌数码科技有限责任公司 | 一种海量倾斜摄影数据的加载方法 |
CN110619675B (zh) * | 2019-09-11 | 2023-04-18 | 西安恒歌数码科技有限责任公司 | 基于OsgEarth的面矢量数据的加载方法 |
CN110706341A (zh) * | 2019-09-17 | 2020-01-17 | 广州市城市规划勘测设计研究院 | 一种城市信息模型的高性能渲染方法、装置及存储介质 |
CN111354084A (zh) * | 2020-02-26 | 2020-06-30 | 中国电建集团昆明勘测设计研究院有限公司 | 一种基于三维模型瓦片的网络地理信息服务系统 |
CN112017283A (zh) * | 2020-08-07 | 2020-12-01 | 西安羚控电子科技有限公司 | 视景仿真中大范围真实地形创建与呈现方法 |
CN113836095A (zh) * | 2021-09-26 | 2021-12-24 | 广州极飞科技股份有限公司 | 一种点云数据存储方法、装置、存储介质及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108874905A (zh) | 一种海量地理信息瓦片数据的高效存储方法 | |
CN108052653A (zh) | 图像特征描述符的获取方法、装置、存储介质、终端及图像检索方法 | |
US9877031B2 (en) | System and method for multi-resolution raster data processing | |
CN102855322B (zh) | 一种基于空间探索技术的地图数据存储方法 | |
RU2004125846A (ru) | Способ и система для хранения и быстрого извлечения высотных отметок цифровых моделей местности для использования в системах определения местоположения | |
CN102682085A (zh) | 一种网页去重的方法 | |
CN103345496A (zh) | 多媒体信息检索方法和系统 | |
CN111339599B (zh) | 一种bim模型到gis模型的转换方法 | |
CN103150359B (zh) | 微博信息显示方法和装置 | |
CN105095520A (zh) | 面向结构化数据的分布式内存数据库索引方法 | |
CN105740410A (zh) | 一种基于Hbase二级索引的数据统计方法 | |
US20170075937A1 (en) | Method and system for handling binary large objects | |
CN102708148A (zh) | 一种基于多维点阵数据空间模型的去重方法 | |
CN104166715A (zh) | VxWorks平台电子海图引擎 | |
CN110097581B (zh) | 基于点云配准icp算法构建k-d树的方法 | |
CN104699707A (zh) | 一种聚类数据的方法和装置 | |
CN102110125B (zh) | 根据汉字快速查找兴趣点的检索方法 | |
CN106971008B (zh) | 一种洪涝风险专题图的自动生成系统及其并行处理方法 | |
CN108491476A (zh) | 大数据随机采样数据子块的划分方法及装置 | |
CN112883130A (zh) | 基于空间数据库输出地图高程数据的方法及设备、介质 | |
CN103544275A (zh) | 一种处理数据的方法及装置 | |
CN109597865B (zh) | 基于嵌入式平台的海量地理信息数据的存储与检索方法 | |
CN113032509B (zh) | 基于分布式集群的地图切片方法、装置、设备及介质 | |
CN110399340A (zh) | 一种文件处理方法及装置 | |
CN107451847A (zh) | 一种业务区域划分方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181123 |