CN108304555A - 分布式地图数据处理方法 - Google Patents
分布式地图数据处理方法 Download PDFInfo
- Publication number
- CN108304555A CN108304555A CN201810112736.6A CN201810112736A CN108304555A CN 108304555 A CN108304555 A CN 108304555A CN 201810112736 A CN201810112736 A CN 201810112736A CN 108304555 A CN108304555 A CN 108304555A
- Authority
- CN
- China
- Prior art keywords
- distributed
- node
- map datum
- target storage
- storage node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Remote Sensing (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供分布式地图数据处理方法，包括：响应于向分布式系统上传地图数据的指令，对所述地图数据进行一次散列，得到用于存储所述地图数据的目标存储节点；判断所述目标存储节点是否为当前可用节点；若是，则允许上传并由所述目标存储节点接收所述地图数据。本发明提供完备的分布式系统以及在分布式系统中进行地图数据上传、备份和处理的完备方法，从而解决了海量地图数据存储管理以及数据处理的技术问题。
Description
技术领域
本发明涉及数据处理领域，尤其涉及分布式地图数据处理方法。
背景技术
地图数据数据量庞大，不论存储、处理还是渲染都对于服务器和终端有较高的要求，而对于用户而言，数据切换和地图渲染的时效性是非常重要的，秒级的差距就足以严重降低用户体验；
为了增加对于地图数据的存储、管理以及处理能力，利用分布式网络不失为一种较为可行的方式，然而分布式网络的技术要求较高，对于数据一致性和备份的算法要求也较高；除此之外，纵使基于分布式网络解决了数据存储管理的问题，地图数据庞大的数据量也为终端渲染带来了沉重的负担。
发明内容
为了解决上述技术问题，本发明提供分布式地图数据处理方法。
本发明是以如下技术方案实现的：
分布式地图数据处理方法，包括：
响应于向分布式系统上传地图数据的指令，对所述地图数据进行一次散列，得到用于存储所述地图数据的目标存储节点；
判断所述目标存储节点是否为当前可用节点；
若是，则允许上传并由所述目标存储节点接收所述地图数据。
进一步地，所述判断所述目标存储节点是否为当前可用节点包括：
向与所述目标存储节点发出状态请求，以便于所述数据节点返回状态数据，所述状态数据包括是否可用以及剩余存储空间；
若所述目标存储节点为可用状态并且所述地图数据所在文件大小小于所述目标存储节点的剩余存储空间时，则所述目标存储节点为当前可用节点。
进一步地，若所述目标存储节点为当前不可用节点，则获取所述地图数据所在文件的摘要，并根据摘要进行二次散列得到散列值。
进一步地，所述分布式系统由多个分布式集群构成，每个分布式集群包括一个分管服务器和若干数据服务器，所述分管服务器用于管理所述数据服务器。
进一步地，所述分管服务器构成了分布式集群的名称节点，所述数据服务器构成了所述分布式集群的数据节点，一个名称节点和所述名称节点所辖的数据节点构成了分布式集群，而全部分布式集群的总和构成了分布式系统，并由分布式系统中的管理服务器统辖。
进一步地，在所述分布式系统中，每个分布式集群有其对应的集群标识，每个名称节点的标识与所述集群标识对应，每个数据节点标识由名称节点标识和区别码构成。
本发明的有益效果是：
本发明提供的分布式地图数据处理方法，其具有如下有益效果：
（1）提供完备的分布式系统以及在分布式系统中进行地图数据上传、备份和处理的完备方法，从而解决了海量地图数据存储管理以及数据处理的技术问题；
（2）为了加快移动终端对于地图数据进行渲染的速度，提供了在保存地图数据拓扑关系的前提，对地图数据进行抽稀以生成简化文件的方法，从而使得终端能够在概要浏览时，渲染简化文件，在精细浏览时，渲染原始文件，从而取得渲染速度和用户希望看到的渲染效果的平衡，在本发明中，不同抽稀程度得到不同的简化文件，从而使得在渲染地图时更加灵活。
附图说明
图1是本发明实施例提供的分布式地图数据处理方法流程图；
图2是本发明实施例提供的分布式系统框图；
图3是本发明实施例提供的备份方法流程图；
图4是本发明实施例提供的对地图数据进行数据处理的方法流程图；
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。
本发明实施例提供分布式地图数据处理方法，如图1所示，所述方法包括：
响应于向分布式系统上传地图数据的指令，对所述地图数据进行一次散列，得到用于存储所述地图数据的目标存储节点；
判断所述目标存储节点是否为当前可用节点；
若是，则允许上传并由所述目标存储节点接收所述地图数据。
所述分布式系统具备如下结构，如图2所示，所述分布式系统由多个分布式集群构成，每个分布式集群包括一个分管服务器和若干数据服务器，所述分管服务器用于管理所述数据服务器。即所述分管服务器构成了分布式集群的名称节点，所述数据服务器构成了所述分布式集群的数据节点，一个名称节点和所述名称节点所辖的数据节点构成了分布式集群，而全部分布式集群的总和构成了分布式系统，并由分布式系统中的管理服务器统辖。在所述分布式系统中，每个分布式集群有其对应的集群标识，每个名称节点的标识与所述集群标识对应，每个数据节点标识由名称节点标识和区别码构成。
当用户向所述分布式系统发布上传地图数据的指令时，则获取所述地图数据所在文件的创建时间和文件大小，根据所述创建时间进行一次散列得到散列值，并向与所述散列值对应的数据节点（目标存储节点）发出状态请求，以便于所述数据节点返回状态数据，所述状态数据包括是否可用以及剩余存储空间。
若所述数据节点为可用状态并且所述文件大小小于所述数据节点的剩余存储空间时，则所述目标存储节点为当前可用节点，允许上传并由所述目标存储节点接收所述地图数据。
若状态数据为不可用或者文件大小不小于所述数据节点的剩余存储空间时，则所述目标存储节点为当前不可用节点。则获取所述地图数据所在文件的摘要，并根据摘要进行二次散列得到散列值，并向与所述散列值对应的数据节点（目标存储节点）发出状态请求，以便于所述数据节点返回状态数据，所述状态数据包括是否可用以及剩余存储空间。若所述数据节点为可用状态并且所述文件大小小于所述数据节点的剩余存储空间时，则所述目标存储节点为当前可用节点，允许上传并由所述目标存储节点接收所述地图数据。
进一步地，为了避免数据的丢失，本发明实施例提供了一种数据备份方法。
在所述数据备份方法中，自上传成功开始，所述分布式系统即生成定时器，以便于在预设时间内完成针对于所述地图数据的备份。预设时间的设置参考对所述分布式系统响应于用户访问数据的行为进行的分析的结果。
比如，基于对所述分布式系统内维护的访问日志分析得知，80%的矢量地图数据会在上传两天内被访问，85%的影像地图数据会在上传5天后被访问，由此，针对矢量地图数据的预设时间应当小于2天，针对影像地图数据的预设时间应当小于5天。显而易见的，随着分布式系统的使用，基于访问日志进行分析的结果也会被更新，相应的，预设时间也随之发生变动。
在预设时间内，所述分布式系统自发为地图数据进行二轮备份。
如图3所示，在第一轮备份过程，获取地图数据的上传时间，并在所述分布式系统中的目标集群空间对所述上传时间进行散列，得到散列值对应的目标备份节点，判断所述目标备份节点是否为当前可用节点（判断方法如前所述），若是，则在所述目标备份节点生成所述地图数据的第一份副本。具体地，所述目标集群空间为所述分布式系统中刨除地图数据所在的数据节点所在分布式集群之外的其它分布式集群的总和。
在第二轮备份过程，获取地图数据的字节数，并在所述分布系统中的目标数据节点空间对所述字节数进行散列，得到散列值对应的目标备份节点，判断所述目标备份节点是否为当前可用节点（判断方法如前所述），若是，则在所述目标备份节点生成所述地图数据的第二份副本。具体地，所述目标数据节点空间为第一份副本所在的节点所在的分布式集群中，刨除第一份副本所在的数据节点后得到的数据节点的总和。
在分布式系统对获取到的地图数据进行存储和备份的基础上，本发明实施例提供了一种对地图数据进行数据处理的方法，所述地图数据为矢量数据，所述矢量数据包括图斑位置数据和属性数据。
所述方法如图4所示，包括：
进行小图斑综合处理；
对综合处理后的矢量数据分别进行多次简化；每次简化过程中的简化尺度均不相同，简化尺度由简化过程中的执行阈值标识；
针对每一次的简化结果均生成一个简化文件。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如本发明的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在本发明的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者系统程序(如计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，也可以在载体信号上提供，或者以任何其他形式提供。
应该注意的是，上述实施例是对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或者步骤等。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干系统的单元权利要求中，这些系统中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二以及第三等的使用不表示任何顺序，可将这些单词解释为名称。
Claims (6)
1.分布式地图数据处理方法，其特征在于，包括：
响应于向分布式系统上传地图数据的指令，对所述地图数据进行一次散列，得到用于存储所述地图数据的目标存储节点；
判断所述目标存储节点是否为当前可用节点；
若是，则允许上传并由所述目标存储节点接收所述地图数据。
2.根据权利要求1所述的分布式地图数据处理方法，其特征在于：
所述判断所述目标存储节点是否为当前可用节点包括：
向与所述目标存储节点发出状态请求，以便于所述数据节点返回状态数据，所述状态数据包括是否可用以及剩余存储空间；
若所述目标存储节点为可用状态并且所述地图数据所在文件大小小于所述目标存储节点的剩余存储空间时，则所述目标存储节点为当前可用节点。
3.根据权利要求1所述的分布式地图数据处理方法，其特征在于：
若所述目标存储节点为当前不可用节点，则获取所述地图数据所在文件的摘要，并根据摘要进行二次散列得到散列值。
4.根据权利要求1所述的分布式地图数据处理方法，其特征在于：
所述分布式系统由多个分布式集群构成，每个分布式集群包括一个分管服务器和若干数据服务器，所述分管服务器用于管理所述数据服务器。
5.根据权利要求4所述的分布式地图数据处理方法，其特征在于：
所述分管服务器构成了分布式集群的名称节点，所述数据服务器构成了所述分布式集群的数据节点，一个名称节点和所述名称节点所辖的数据节点构成了分布式集群，而全部分布式集群的总和构成了分布式系统，并由分布式系统中的管理服务器统辖。
6.根据权利要求5所述的分布式地图数据处理方法，其特征在于：
在所述分布式系统中，每个分布式集群有其对应的集群标识，每个名称节点的标识与所述集群标识对应，每个数据节点标识由名称节点标识和区别码构成。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810112736.6A CN108304555A (zh) | 2018-02-05 | 2018-02-05 | 分布式地图数据处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810112736.6A CN108304555A (zh) | 2018-02-05 | 2018-02-05 | 分布式地图数据处理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108304555A true CN108304555A (zh) | 2018-07-20 |
Family
ID=62864320
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810112736.6A Pending CN108304555A (zh) | 2018-02-05 | 2018-02-05 | 分布式地图数据处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108304555A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108319701A (zh) * | 2018-02-05 | 2018-07-24 | 丁武轩 | 地图数据综合处理方法 |
| CN113254553A (zh) * | 2021-04-14 | 2021-08-13 | 湖北省地质调查院 | 一种基于智能代理平台的Web地图发布方法和系统 |
| CN117194348A (zh) * | 2023-11-02 | 2023-12-08 | 深圳市领存技术有限公司 | 一种家用文件存储系统、方法、设备及存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101719148A (zh) * | 2009-11-24 | 2010-06-02 | 北京灵图软件技术有限公司 | 三维空间信息的存储方法、装置、系统及调度系统 |
| CN101902498A (zh) * | 2010-07-02 | 2010-12-01 | 广州鼎甲计算机科技有限公司 | 一种基于网络技术的存储云备份方法 |
| CN102457571A (zh) * | 2011-09-15 | 2012-05-16 | 中标软件有限公司 | 一种云存储中数据均衡分布方法 |
| CN102571991A (zh) * | 2012-03-27 | 2012-07-11 | 电子科技大学 | 基于多级映射的大规模多副本分布式存储系统及其应用方法 |
| CN102843403A (zh) * | 2011-06-23 | 2012-12-26 | 盛大计算机（上海）有限公司 | 基于分布式文件系统的文件处理方法、系统及客户端 |
| CN103905530A (zh) * | 2014-03-11 | 2014-07-02 | 浪潮集团山东通用软件有限公司 | 一种高性能全局负载均衡的分布式数据库数据路由方法 |
| CN105824810A (zh) * | 2015-01-04 | 2016-08-03 | 中国移动通信集团河北有限公司 | 一种Hadoop集群系统及数据处理方法 |
| CN107547653A (zh) * | 2017-09-11 | 2018-01-05 | 华北水利水电大学 | 一种分布式文件存储系统 |
| CN107562913A (zh) * | 2017-09-12 | 2018-01-09 | 郑州云海信息技术有限公司 | 一种分布式文件系统的数据存储方法及装置 |
-
2018
- 2018-02-05 CN CN201810112736.6A patent/CN108304555A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101719148A (zh) * | 2009-11-24 | 2010-06-02 | 北京灵图软件技术有限公司 | 三维空间信息的存储方法、装置、系统及调度系统 |
| CN101902498A (zh) * | 2010-07-02 | 2010-12-01 | 广州鼎甲计算机科技有限公司 | 一种基于网络技术的存储云备份方法 |
| CN102843403A (zh) * | 2011-06-23 | 2012-12-26 | 盛大计算机（上海）有限公司 | 基于分布式文件系统的文件处理方法、系统及客户端 |
| CN102457571A (zh) * | 2011-09-15 | 2012-05-16 | 中标软件有限公司 | 一种云存储中数据均衡分布方法 |
| CN102571991A (zh) * | 2012-03-27 | 2012-07-11 | 电子科技大学 | 基于多级映射的大规模多副本分布式存储系统及其应用方法 |
| CN103905530A (zh) * | 2014-03-11 | 2014-07-02 | 浪潮集团山东通用软件有限公司 | 一种高性能全局负载均衡的分布式数据库数据路由方法 |
| CN105824810A (zh) * | 2015-01-04 | 2016-08-03 | 中国移动通信集团河北有限公司 | 一种Hadoop集群系统及数据处理方法 |
| CN107547653A (zh) * | 2017-09-11 | 2018-01-05 | 华北水利水电大学 | 一种分布式文件存储系统 |
| CN107562913A (zh) * | 2017-09-12 | 2018-01-09 | 郑州云海信息技术有限公司 | 一种分布式文件系统的数据存储方法及装置 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108319701A (zh) * | 2018-02-05 | 2018-07-24 | 丁武轩 | 地图数据综合处理方法 |
| CN108319701B (zh) * | 2018-02-05 | 2020-09-15 | 北京纬思拓信息科技有限公司 | 地图数据综合处理方法 |
| CN113254553A (zh) * | 2021-04-14 | 2021-08-13 | 湖北省地质调查院 | 一种基于智能代理平台的Web地图发布方法和系统 |
| CN117194348A (zh) * | 2023-11-02 | 2023-12-08 | 深圳市领存技术有限公司 | 一种家用文件存储系统、方法、设备及存储介质 |
| CN117194348B (zh) * | 2023-11-02 | 2024-03-26 | 深圳市领存技术有限公司 | 一种家用文件存储系统、方法、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109634932B (zh) | 一种智能合约存储方法及存储系统 | |
| US8620926B2 (en) | Using a hashing mechanism to select data entries in a directory for use with requested operations | |
| US10901619B2 (en) | Selecting pages implementing leaf nodes and internal nodes of a data set index for reuse | |
| CN103345508B (zh) | 一种适用于社会网络图的数据存储方法及系统 | |
| CN109117275B (zh) | 基于数据分片的对账方法、装置、计算机设备及存储介质 | |
| WO2011137189A1 (en) | System and methods for mapping and searching objects in multidimensional space | |
| EP2710477B1 (en) | Distributed caching and cache analysis | |
| CN103607424A (zh) | 一种服务器连接方法及服务器系统 | |
| CN108304555A (zh) | 分布式地图数据处理方法 | |
| WO2016169237A1 (zh) | 数据处理方法及装置 | |
| CN104346345A (zh) | 数据的存储方法及装置 | |
| CN109783564A (zh) | 支持多节点的分布式缓存方法及设备 | |
| CN107391039B (zh) | 一种数据对象存储方法和装置 | |
| CN108197323A (zh) | 应用于分布式系统地图数据处理方法 | |
| Chiniah et al. | Dynamic erasure coding policy allocation (DECPA) in Hadoop 3.0 | |
| CN106919470A (zh) | 一种数据恢复方法及装置 | |
| US10685134B1 (en) | Database proxy service | |
| CN111176904B (zh) | 一种私有云架构下的数据备份的方法、系统、设备及介质 | |
| US20150095496A1 (en) | System, method and medium for information processing | |
| CN108363727A (zh) | 一种基于zfs文件系统的数据存储方法及装置 | |
| CN107844542A (zh) | 一种分布式文件存储方法及装置 | |
| CN107943615A (zh) | 基于分布式集群的数据处理方法与系统 | |
| CN108319701A (zh) | 地图数据综合处理方法 | |
| CN108959300B (zh) | 文件存储方法和存储装置 | |
| US20200333985A1 (en) | Datafall: a policy-driven algorithm for decentralized placement and reorganization of replicated data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180720 |
|
| WD01 | Invention patent application deemed withdrawn after publication |