CN104217023A - 一种利用打包技术解决地图瓦片存储的方法 - Google Patents
一种利用打包技术解决地图瓦片存储的方法 Download PDFInfo
- Publication number
- CN104217023A CN104217023A CN201410499279.2A CN201410499279A CN104217023A CN 104217023 A CN104217023 A CN 104217023A CN 201410499279 A CN201410499279 A CN 201410499279A CN 104217023 A CN104217023 A CN 104217023A
- Authority
- CN
- China
- Prior art keywords
- file
- tile
- packaging
- map
- ftp
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/80—Information retrieval; Database structures therefor; File system structures therefor of semi-structured data, e.g. markup language structured data such as SGML, XML or HTML
- G06F16/83—Querying
- G06F16/835—Query processing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种利用打包技术解决地图瓦片存储的方法,包括以下步骤:整理所有层的瓦片文件,并对其进行统一化命名;根据每一层中瓦片文件的个数决定打包文件的组织结构;打包文件根目录增加一个配置资源,用来存储瓦片的尺寸、命名规则、图片类型和组织结构,每层对应一个打包文件;根据具体任务使用打包文件,转移、FTP下载、FTP上传或发布。本发明利用带索引的打包文件提高查询效率,最大限度减小算法的时间复杂度。有效减少了节点的搜索数目,有效提高了算法的实时性,并保证了查找的准确性。同时,也有效提高了查询效率和有效节省了查询时间。
Description
技术领域
本发明涉及一种利用打包技术解决地图瓦片存储的方法。
背景技术
瓦片地图模型是一种多分辨率层次模型,从模型的第0层开始到顶层,分辨率越来越低,但表示的地理范围不变。首先把缩放级别最低、地图比例尺最大的地图图片作为模型的底层,即第0层,并对其进行分块,从地图图片的左上角开始,从左至右、从上到下进行切割,分割成相同大小(比如256x256像素)的正方形地图瓦片,形成第0层瓦片矩阵;在第0层地图图片的基础上,按每2x2像素合成为一个像素的方法生成第1层地图图片,并对其进行分块,分割成与下一层相同大小的正方形地图瓦片,形成第1层瓦片矩阵;采用同样的方法生成第2层瓦片矩阵;直到第N层,构成整个瓦片模型。
从上述原理可以看出,每层瓦片矩阵的块个数成4的倍数增长,以最简单的第0层1张图片为例,第一层为1*4=4,第二层1*4*4=16,第三层1*4*4*4,…;如此下去,第10层将是4的10次方,等于1048576,数量已经相当可观了。在常见的文件系统中,存储、转移、拷贝和发布这些数量庞大的文件时,都会面临耗时的等待问题。如果向第三方发布瓦片文件,还将面临数据保护问题。
发明内容
本发明为了解决上述问题,提出了一种利用打包技术解决地图瓦片存储的方法,本方法将地图瓦片内容按照一定的命名规则和组织结构,存储在一个打包文件内的方法。此种方式既有效的解决了存储、转移、拷贝和发布地图瓦片时的耗时问题,又较好的执行了数据保护。
为了实现上述目的,本发明采用如下技术方案:
一种利用打包技术解决地图瓦片存储的方法,包括以下步骤:
(1)整理所有层的瓦片文件,并对其进行统一化命名;
(2)根据每一层中瓦片文件的个数决定打包文件的组织结构;
(3)打包文件根目录增加一个配置资源,用来存储瓦片的尺寸、命名规则、图片类型和组织结构,每层对应一个打包文件;
(4)根据具体任务使用打包文件,转移、FTP下载、FTP上传或发布。
所述步骤(1)中,按照先行后列的命名原则整理所有层的瓦片文件。
所述步骤(2)中,如果瓦片文件个数小于65535,则打包文件中不分级;否则将打包文件分为两级,第一级使用行号命名,第二级使用列号命名;分级既有利于使机构变得清晰,亦有利于瓦片的快速查找。
所述步骤(2)中,具体包括以下步骤:
(i)获取本层瓦片的总个数;
(ii)如果瓦片总个数小于65535,则直接将所有文件放在同一级目录内打包入文件;将此类属性的地图层称为“小地图”;
(iii)如果瓦片总个数小于65535,则直接将所有文件放在同一级目录内打包入文件;将此类属性的地图层称为“小地图”。
所述步骤(3)中,具体步骤包括:使用XML格式存储配置数据,分别定义大地图、小地图的瓦片的矩阵行数、列数、命名模式、开始行号、开始列号、地图的大小属性、瓦片的属性、瓦片的名称、是否通配、宽度与高度。
所述步骤(4)中,每层对一个打包文件,具体步骤包括:
(a)准备打包文件的文件头;
(b)开始资源系统:如果是小地图,依次添加瓦片文件到打包文件的根目录;如果是大地图,首先根据当前行号增加文件夹结构,然后将同行瓦片添加到此目录;
(c)生成xml配置文件,并将文件添加到打包文件的根目录。
所述步骤(5)中,使用打包文件的方法具体包括:
(A)转移:拷贝打包文件到其它任何需要的地方,拷贝一个大文件要比拷贝同等总大小,但数量多的小文件,速度要快上几十倍;
(B)FTP下载:可选择从FTP服务器下载整个打包文件,然后解压使用或不解压直接使用;或选择从FTP上边下载,边在内存中解压瓦片文件,不需要在本地磁盘存储庞大的中间文件;
(C)FTP上传:可选择在本地生成打包文件后,再上传打包文件到FTP服务器;或者直接边在内存中打包,边上传到FTP服务器,不需要在本地磁盘存储庞大的中间文件;
(D)发布:向第三方合作伙伴或客户直接发布打包文件。
资源,代表单个独立的实体,其包含资源名称、创建、修改时期、数据大小、是否压缩、压缩大小和实际的资源数据;资源组,代表一组资源的分组,其包含组名称、创建、修改日期和资源系统;资源系统,各类资源总成的抽象概念,打包文件的文件体就是一个完整的资源系统,其包含资源的总个数和资源或资源组的总个数和资源组。
资源系统的组成为自描述结构,整个系统的层次、命名和日期信息,连续存储在整个文件体中,实现向FTP服务器边打包边上传,和从FTP服务器边下载边解包。
本发明的有益效果为:
(1)在计算机或各种手持嵌入式可移动设备地图瓦片存储处理技术领域是一个新的突破,全面解决了转移、发布效率低的问题,提供了一种地理信息处理技术领域的新思路;
(2)利用打包文件来存储地图瓦片,最大限度地减少文件系统的负担,这样不仅提高了文件的查找、拷贝、转移和发布效率,也会有效提高计算机或者各种手持嵌入式可移动设备的存储使用效率,有效提高了各种设备的运行效率;
(3)利用带索引的打包文件提高查询效率,最大限度减小算法的时间复杂度。有效减少了节点的搜索数目,有效提高了算法的实时性,并保证了查找的准确性。同时,也有效提高了查询效率和有效节省了查询时间。
附图说明
图1为本发明的总体流程图;
图2为本发明的瓦片打包的流程图;
图3为本发明的瓦片使用流程图;
图4为本发明的小地图层次示意图;
图5为本发明的大地图层次示意图。
具体实施方式:
下面结合附图与实施例对本发明作进一步说明。
如图1所示,首先按照一定的命名规则整理地图瓦片文件,然后将瓦片文件打包,打包完成后,生成配置数据存入打包文件,最后打包文件生成成功后,使用打包文件。
整理瓦片文件,按照先行后列的命名规则整理瓦片文件,例如第1行,第1列,命名y1x1。第m行,第n列,命名ymxn。此种命名方法,简单易懂,不会重名,且易于后期处理和使用,y表示行,x表示列,第m行,第n列,表示成ymxn。
如图4、5所示,打包处理,依据瓦片的个数,分为两种打包方式,个数小于65535的不分层,所有瓦片数据同层存储在根目录下,约定将此类属性的地图层称为“小地图”;大于65535的,分为两层存储,第一层使用行号命名,第二层使用列号命名,第二层存储瓦片数据,约定将此类属性的地图层称为“大地图”。
配置数据,对瓦片的一些属性使用XML格式存储,并打包入打包文件,后期使用打包文件内容时,将以此配置数据内的内容为依据。
使用打包文件,打包文件不解压,就可以直接在软件中使用,根据索引数据查询瓦片文件位置,然后读取瓦片数据使用。
如图2所示,进一步说明如下:
步骤一、获取本层瓦片的总个数;
步骤二、如果瓦片总个数小于65535,则直接将所有文件放在同一级目录内打包入文件;
步骤三、如果瓦片总个数大于65535,则将行号作为目录的第一层,列号作为第二层存储瓦片数据;检查以行号命名的目录是否存在,不存在就创建目录,然后再将瓦片打包入此目录;
步骤四、准备地图瓦片的配置数据,并把配置数据打包入打包文件;
如图3所示,进一步说明如下:
步骤一、读取打包文件的索引数据;
步骤二、在资源系统中查找配置数据;
如果找到配置数据,则读取配置数据的内容;
如果找不到配置数据,则使用缺省值初始化配置项;
步骤三、(GIS系统或其它子系统)需要瓦片数据:
判断是否为“大地图”,如是,则按照先行后列的规则组织查询条件,查找瓦片文件;
如果为“小地图”,则按照配置数据中定义的命名规则组织查询条件,然后查找瓦片文件;
步骤四、向查询子系统返回查询结果。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (7)
1.一种利用打包技术解决地图瓦片存储的方法,其特征是:包括以下步骤:
(1)整理所有层的瓦片文件,并对其进行统一化命名;
(2)根据每一层中瓦片文件的个数决定打包文件的组织结构;
(3)打包文件根目录增加一个配置资源,用来存储瓦片的尺寸、命名规则、图片类型和组织结构,每层对应一个打包文件;
(4)根据具体任务使用打包文件,转移、FTP下载、FTP上传或发布。
2.如权利要求1所述的一种利用打包技术解决地图瓦片存储的方法,其特征是:所述步骤(1)中,按照先行后列的命名原则整理所有层的瓦片文件。
3.如权利要求1所述的一种利用打包技术解决地图瓦片存储的方法,其特征是:所述步骤(2)中,如果瓦片文件个数小于65535,则打包文件中不分级;否则将打包文件分为两级,第一级使用行号命名,第二级使用列号命名;分级既有利于使机构变得清晰,亦有利于瓦片的快速查找。
4.如权利要求3所述的一种利用打包技术解决地图瓦片存储的方法,其特征是:所述步骤(2)中,具体包括以下步骤:
(i)获取本层瓦片的总个数;
(ii)如果瓦片总个数小于65535,则直接将所有文件放在同一级目录内打包入文件;将此类属性的地图层称为“小地图”;
(iii)如果瓦片总个数小于65535,则直接将所有文件放在同一级目录内打包入文件;将此类属性的地图层称为“小地图”。
5.如权利要求1所述的一种利用打包技术解决地图瓦片存储的方法,其特征是:所述步骤(4)中,每层对一个打包文件,具体步骤包括:
(a)准备打包文件的文件头;
(b)开始资源系统:如果是小地图,依次添加瓦片文件到打包文件的根目录;如果是大地图,首先根据当前行号增加文件夹结构,然后将同行瓦片添加到此目录;
(c)生成xml配置文件,并将文件添加到打包文件的根目录。
6.如权利要求1所述的一种利用打包技术解决地图瓦片存储的方法,其特征是:所述步骤(3)中,具体步骤包括:使用XML格式存储配置数据,分别定义大地图、小地图的瓦片的矩阵行数、列数、命名模式、开始行号、开始列号、地图的大小属性、瓦片的属性、瓦片的名称、是否通配、宽度与高度。
7.如权利要求1所述的一种利用打包技术解决地图瓦片存储的方法,其特征是:所述步骤(5)中,使用打包文件的方法具体包括:
(A)转移:拷贝打包文件到其它任何需要的地方,拷贝一个大文件要比拷贝同等总大小,但数量多的小文件,速度要快上几十倍;
(B)FTP下载:可选择从FTP服务器下载整个打包文件,然后解压使用或不解压直接使用;或选择从FTP上边下载,边在内存中解压瓦片文件,不需要在本地磁盘存储庞大的中间文件;
(C)FTP上传:可选择在本地生成打包文件后,再上传打包文件到FTP服务器;或者直接边在内存中打包,边上传到FTP服务器,不需要在本地磁盘存储庞大的中间文件;
(D)发布:向第三方合作伙伴或客户直接发布打包文件。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410499279.2A CN104217023B (zh) | 2014-09-25 | 2014-09-25 | 一种利用打包技术解决地图瓦片存储的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410499279.2A CN104217023B (zh) | 2014-09-25 | 2014-09-25 | 一种利用打包技术解决地图瓦片存储的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104217023A true CN104217023A (zh) | 2014-12-17 |
CN104217023B CN104217023B (zh) | 2017-11-17 |
Family
ID=52098513
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410499279.2A Active CN104217023B (zh) | 2014-09-25 | 2014-09-25 | 一种利用打包技术解决地图瓦片存储的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104217023B (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104820714A (zh) * | 2015-05-20 | 2015-08-05 | 国家电网公司 | 基于hadoop的海量瓦片小文件存储管理方法 |
CN105117451A (zh) * | 2015-08-17 | 2015-12-02 | 苏州中科天启遥感科技有限公司 | 一种地图瓦片文件的存储方法 |
CN105260450A (zh) * | 2015-10-10 | 2016-01-20 | 东方网力科技股份有限公司 | 电子地图发布方法、装置和电子地图显示方法 |
CN105426471A (zh) * | 2015-11-17 | 2016-03-23 | 国家电网公司 | 一种巡检路线地图管理方法和系统 |
CN105956165A (zh) * | 2016-05-20 | 2016-09-21 | 江苏得得空间信息科技有限公司 | 一种三维模型数据的瓦片式大文件存储组织方法 |
CN107220499A (zh) * | 2017-05-26 | 2017-09-29 | 粉蓝医疗科技(杭州)有限公司 | 切片文件存储方法及装置 |
WO2018107373A1 (zh) * | 2016-12-14 | 2018-06-21 | 深圳中兴力维技术有限公司 | 一种多级电子地图的实现方法及其装置 |
CN108874905A (zh) * | 2018-05-24 | 2018-11-23 | 西安恒歌数码科技有限责任公司 | 一种海量地理信息瓦片数据的高效存储方法 |
CN111611212A (zh) * | 2020-05-15 | 2020-09-01 | 交通运输部规划研究院 | 对栅格地图文件进行打包的方法、装置以及存储介质 |
CN117173362A (zh) * | 2023-11-03 | 2023-12-05 | 湖南省第一测绘院 | 一种实景三维模型坐标系构建与瓦块分割方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101763416A (zh) * | 2009-12-29 | 2010-06-30 | 中国科学院地理科学与资源研究所 | 一种数据库空间栅格对象存取方法 |
CN103744855A (zh) * | 2013-11-29 | 2014-04-23 | 航天恒星科技有限公司 | 一种基于聚合文件的瓦片地图存储方法 |
-
2014
- 2014-09-25 CN CN201410499279.2A patent/CN104217023B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101763416A (zh) * | 2009-12-29 | 2010-06-30 | 中国科学院地理科学与资源研究所 | 一种数据库空间栅格对象存取方法 |
CN103744855A (zh) * | 2013-11-29 | 2014-04-23 | 航天恒星科技有限公司 | 一种基于聚合文件的瓦片地图存储方法 |
Non-Patent Citations (2)
Title |
---|
刘伟: "海量遥感影像数据存储技术研究", 《中国优秀硕士学位论文全文数据库》 * |
陈时远: "基于HDFS分布式海量遥感影像数据存储技术与研究", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104820714A (zh) * | 2015-05-20 | 2015-08-05 | 国家电网公司 | 基于hadoop的海量瓦片小文件存储管理方法 |
CN105117451B (zh) * | 2015-08-17 | 2018-10-26 | 苏州中科天启遥感科技有限公司 | 一种地图瓦片文件的存储方法 |
CN105117451A (zh) * | 2015-08-17 | 2015-12-02 | 苏州中科天启遥感科技有限公司 | 一种地图瓦片文件的存储方法 |
CN105260450A (zh) * | 2015-10-10 | 2016-01-20 | 东方网力科技股份有限公司 | 电子地图发布方法、装置和电子地图显示方法 |
CN105260450B (zh) * | 2015-10-10 | 2019-01-29 | 东方网力科技股份有限公司 | 电子地图发布方法、装置和电子地图显示方法 |
CN105426471A (zh) * | 2015-11-17 | 2016-03-23 | 国家电网公司 | 一种巡检路线地图管理方法和系统 |
CN105956165B (zh) * | 2016-05-20 | 2019-01-18 | 江苏得得空间信息科技有限公司 | 一种三维模型数据的瓦片式大文件存储组织方法 |
CN105956165A (zh) * | 2016-05-20 | 2016-09-21 | 江苏得得空间信息科技有限公司 | 一种三维模型数据的瓦片式大文件存储组织方法 |
WO2018107373A1 (zh) * | 2016-12-14 | 2018-06-21 | 深圳中兴力维技术有限公司 | 一种多级电子地图的实现方法及其装置 |
CN107220499A (zh) * | 2017-05-26 | 2017-09-29 | 粉蓝医疗科技(杭州)有限公司 | 切片文件存储方法及装置 |
CN108874905A (zh) * | 2018-05-24 | 2018-11-23 | 西安恒歌数码科技有限责任公司 | 一种海量地理信息瓦片数据的高效存储方法 |
CN111611212A (zh) * | 2020-05-15 | 2020-09-01 | 交通运输部规划研究院 | 对栅格地图文件进行打包的方法、装置以及存储介质 |
CN117173362A (zh) * | 2023-11-03 | 2023-12-05 | 湖南省第一测绘院 | 一种实景三维模型坐标系构建与瓦块分割方法及系统 |
CN117173362B (zh) * | 2023-11-03 | 2024-01-26 | 湖南省第一测绘院 | 一种实景三维模型坐标系构建与瓦块分割方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN104217023B (zh) | 2017-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104217023A (zh) | 一种利用打包技术解决地图瓦片存储的方法 | |
CN103744855B (zh) | 一种基于聚合文件的瓦片地图存储方法 | |
US10089331B2 (en) | System and method for storing a dataset of image tiles | |
CN103327052B (zh) | 数据存储方法和系统以及数据访问方法和系统 | |
Liao et al. | Multi-dimensional index on hadoop distributed file system | |
CN101996217B (zh) | 一种存储数据的方法及其存储设备 | |
CN111427847B (zh) | 面向用户自定义元数据的索引与查询方法和系统 | |
CN101673307B (zh) | 空间数据索引方法及系统 | |
CN103678520A (zh) | 一种基于云计算的多维区间查询方法及其系统 | |
CN106682110B (zh) | 一种基于哈希格网索引的影像文件存储和管理系统及方法 | |
CN108804602A (zh) | 一种基于spark的分布式空间数据存储计算方法 | |
CN103279487A (zh) | 一种地图瓦片缓存的组织和管理方法 | |
CN102402617A (zh) | 一种利用分片及稀疏位图的易压缩数据库索引存储系统及其相应的构建、调度和查询处理方法 | |
Hsu et al. | Key formulation schemes for spatial index in cloud data managements | |
CN112395288B (zh) | 基于希尔伯特曲线的r树索引合并更新方法、装置及介质 | |
US10013474B2 (en) | System and method for hierarchical synchronization of a dataset of image tiles | |
CN1255748C (zh) | 一种存储虚拟化系统的元数据层次管理方法及其系统 | |
CN107423321A (zh) | 适用大批量小文件云存储的方法及其装置 | |
CN104778212A (zh) | 地图数据生成方法和装置、地图数据读取方法和装置 | |
CN106934066A (zh) | 一种元数据处理方法、装置和存储设备 | |
CN105354310B (zh) | 基于MapReduce的地图瓦片存储布局优化方法 | |
CN104809217B (zh) | 一种gis栅格数据云存储方法 | |
CN102663140B (zh) | 基于tb级全景图像数据快速访问方法 | |
Vinhas et al. | Image Data Handling in Spatial Databases. | |
CN111352956A (zh) | 一种航运大数据的采集存储系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP03 | Change of name, title or address |
Address after: 250101 A203, block F, entrepreneurship square, Qilu Software Park, No.1 Shunhua Road, high tech Development Zone, Jinan City, Shandong Province Patentee after: Conway Communication Technology Co., Ltd Address before: 250101 A203, block F-1, Qilu Software Park, No.1 Shunhua Road, high tech Zone (Lixia District), Jinan City, Shandong Province Patentee before: SHANDONG KANGWEI COMMUNICATION TECHNOLOGY Co.,Ltd. |
|
CP03 | Change of name, title or address |