CN111726403A - 一种跨云平台的大数据管理的方法与系统 - Google Patents

一种跨云平台的大数据管理的方法与系统 Download PDF

Info

Publication number
CN111726403A
CN111726403A CN202010527829.2A CN202010527829A CN111726403A CN 111726403 A CN111726403 A CN 111726403A CN 202010527829 A CN202010527829 A CN 202010527829A CN 111726403 A CN111726403 A CN 111726403A
Authority
CN
China
Prior art keywords
data
backup
nodes
edge
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010527829.2A
Other languages
English (en)
Other versions
CN111726403B (zh
Inventor
樊馨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HEYU HEALTH TECHNOLOGY Co.,Ltd.
Original Assignee
Shenzhen Saiyu Landscape Design Engineering Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Saiyu Landscape Design Engineering Co ltd filed Critical Shenzhen Saiyu Landscape Design Engineering Co ltd
Priority to CN202010527829.2A priority Critical patent/CN111726403B/zh
Publication of CN111726403A publication Critical patent/CN111726403A/zh
Application granted granted Critical
Publication of CN111726403B publication Critical patent/CN111726403B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1464—Management of the backup or restore process for networked environments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/12—Discovery or management of network topologies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种跨云平台的大数据管理的方法，应用于智慧城市的联合云网络架构，包括：联合云网络架构设置边缘层、汇聚层和核心层，在所述边缘层中设置N个边缘节点，在汇聚层中通过网络切片技术设置容量动态可调节的M个汇聚节点，其中M和N为大于1的自然数，且N大于M；所述N个边缘节点中设置X个备份边缘节点，将所述N‑X个边缘节点的数据备份至所述X个备份边缘节点中，其中，X为大于1小于N的自然数，所述N‑X个边缘节点的数据总容量与所述X个备份边缘节点的数据总容量相同；将所述X个备份边缘节点的数据备份至所述M个汇聚节点中，其中M个汇聚节点的数据总容量动态可调节；将所述M个汇聚节点中备份的数据备份至所述核心层。

Description

一种跨云平台的大数据管理的方法与系统
技术领域
本申请涉及数据处理技术领域，尤其涉及一种跨云平台的大数据管理的方法与系统。
背景技术
城市信息模型(City Information Modeling，CIM)是对城市地上地下、室内室外各种实体目标及时空状态的数字化表达和描述，其反映城市规划、建设、发展以及运行，并且可用于城市规划决策、城市建设、城市管理等工作。
CIM是一个跨度很大的概念，涉及的行业包括规划、国土、交通、水利、安防、人防、环境保护、文物保护、能源燃气等各大行业及一切智慧城市相关的领域。
目前国内外对CIM尚缺乏系统深入的研究，据《智慧城市背景下城市信息模型相关技术发展综述》论文中的观点，可尝试从构成CIM术语的三个单词初步分析其基本特征：首先是City，CIM要覆盖城市尺度，这里的“城市”可以实例化为某个城市或城区、某个园区、某个社区、某个院落等，但它对建模对象的描述能力应该是城市级的；其次是Information，CIM所容纳的信息应该是覆盖各种空间、时间维度的，是能支撑各种城市应用的，CIM中的信息可以描述城市各种物理或人文实体，具有多时态、多类型、多粒度级别、多来源等特点；最后是Modeling，即CIM要基于一定规则和方法，对上述信息按需进行组织、模拟、分析以及表达，更进一步地，可通过融合、挖掘、以及提炼新的知识，凝聚出智慧。
从CIM的当前发展来看，CIM主要与BIM(Building Information Modeling，建筑信息模型)、GIS(Geographic Information System，地理信息系统)、以及IOT(Internet ofThings，物联网)等技术密切相关，同时还不可避免地需要应用到云计算、大数据等新一代信息技术。
现有技术中，对于海量的CIM数据，会采用不同云进行数据存储，以形成联合云，联合云存储不同类型的CIM数据，为城市决策提供数据支撑，但是对于智慧城市中某一些机密的数据，例如涉及到城市的财务、军事、国防等重要数据，由于其重要性导致需要进行高密度的备份，而现有技术中往往欠缺有效的备份机制，单单靠云本身的镜像存储机制进行镜像备份，缺乏跨云的大数据备份机制，因此，其大数据备份效率低。
发明内容
本申请实施例提供一种跨云平台的大数据管理的方法及系统，用于解决现有技术中智慧城市场景下缺乏海量数据跨云备份机制的问题。
本发明实施例一种跨云平台的大数据管理的方法，应用于智慧城市的联合云网络架构，包括：
联合云网络架构设置边缘层、汇聚层和核心层，在所述边缘层中设置N个边缘节点，在汇聚层中通过网络切片技术设置容量动态可调节的M个汇聚节点，其中M和N为大于1的自然数，且N大于M；
所述N个边缘节点中设置X个备份边缘节点，将所述N-X个边缘节点的数据备份至所述X个备份边缘节点中，其中，X为大于1小于N的自然数，所述N-X个边缘节点的数据总容量与所述X个备份边缘节点的数据总容量相同；
将所述X个备份边缘节点的数据备份至所述M个汇聚节点中，其中M个汇聚节点的数据总容量动态可调节，且满足所述X个备份边缘节点的数据总容量与所述M个汇聚节点的数据总容量相同；
将所述M个汇聚节点中备份的数据备份至所述核心层。
可选地，所述方法还包括：
将所述核心层保存的备份数据分裂为Y个备份数据，并将所述Y个备份数据分布存储在不同的边缘节点上，其中，Y为大于1的自然数，所述不同的边缘节点两两间的物理距离大于10公里。
可选地，将所述N-X个边缘节点的数据备份至所述X个备份边缘节点中，包括：
在N-X个边缘节点中创建数据镜像文件；
将所述数据镜像文件以字典形式进行复制；
并将所述复制后的数据镜像文件保存至所述X个备份边缘节点中。
可选地，所述N为10，所述X为5，则将所述N-X个边缘节点的数据备份至所述X个备份边缘节点中，包括：
将第一、第二边缘节点的数据备份至第一备份节点，所述第一备份节点的数据容量等于所述第一、第二边缘节点的数据容量；
将第三、第四边缘节点的数据备份至第二、第三备份节点，其中，所述第二备份节点备份所述第三边缘节点的一部分数据，所述第三备份节点备份所述第二边缘节点的剩余部分数据，以及所述第四边缘节点的所有数据，且所述第三、第四边缘节点的数据总容量等于所述第二、第三备份节点的数据总容量；
将所述第五边缘节点的数据备份至第四、第五备份节点，其中，所述第四备份节点保存所述第五边缘节点的一部分数据，所述第五备份节点保存所述第五边缘节点的剩余部分数据，且所述第五边缘节点的数据容量等于所述第四、第五备份节点的数据总容量。
可选地，所述M为2，所述第一、第二和第三备份节点的数据类型相同，所述第四和第五备份节点的数据类型相同，且所述第一、第二和第三备份节点的数据类型与所述第四和第五备份节点的数据类型不同，
则将所述X个备份边缘节点的数据备份至所述M个汇聚节点中，包括：
将所述第一、第二和第三备份节点的数据备份至第一汇聚节点中；
将所述第四和第五备份节点的数据备份至第二汇聚节点中。
可选地，所述数据类型包括地理信息系统GIS、建筑信息模型BIM和物联网IoT。
可选地，所述边缘节点的数据与所述备份节点的数据具备对等树结构。
本发明实施例还提供一种跨云平台的大数据管理的系统，所述系统包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，所述处理器用于运行所述计算机程序时，执行上述跨云平台的大数据管理的方法。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机可执行指令，其特征在于，该计算机可执行指令用于执行上述跨云平台的大数据管理的方法。
上述提供的跨云平台的大数据管理的方法及系统，通过设置多级(至少三级)备份的机制，将海量数据进行边缘层、汇聚层和核心层的三重备份，以防在特殊情况下由于服务器宕机或物理破坏而导致重要数据丢失，提高了数据安全性，增加了数据备份的稳定性。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。
图1a和图1b为联合云树形网络拓扑图；
图2为一个实施例中跨云平台的大数据管理的流程示意图；
图3a为一个实施例中联合云网络层次示意图；
图3b为一个实施例中数据备份示意图；
图4为一个实施例中电子设备的组成架构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
智慧城市可以分为四个层级，第一个层级是感知层，即通过各种各样的城市“神经末梢”(物联网设备)采集数据，例如各类摄像头、温度传感器、湿度传感器、水压传感器、移动终端等，负责在不同时间不同地点采集不同类型的数据，第二个层级是通信层，负责将不同时间不同地点采集到的数据按照一定的通信协议进行上传并汇总，第三层是平台层，在接收到数据之后，对海量数据进行存储和管理，完成数据清洗并提供有效的数据供城市管理者提供决策，第四层为应用层，当有用的数据提取之后，即为城市的方方面面提供服务，例如智慧交通、智慧楼宇、智慧医疗及智慧电力等。
智慧城市的核心在于打破信息孤岛，使得海量数据可连接，可存储及可查询，如何构建一个足够大的云储存，并在较短时间内为决策者提供知识图谱将是一个非常关键的核心问题。
智慧城市的数据类型多种多样，为了方便理解，本发明实施例选取了其中最典型三类数据，分别是地理信息显示系统GIS、建筑信息模型BIM和物联网IoT。其中，GIS是在计算机硬、软件系统支持下，对整个或部分地球表层(包括大气层)空间中的有关地理数据进行采集、储存、编辑、管理、分析、共享、以及展示的信息系统。在城市信息模型CIM中，GIS需要提供六个方面的能力：1)建立统一坐标系统，让各种城市信息对齐；2)提供二维三维一体化的基础底图；3)管理各BIM单体之间链接网络，如道路、管廊与管线等；4)提供拓扑关系空间分析能力；5)提供大规模建筑群的BIM数据管理能力；6)提供多种终端的支持，全方位满足CIM应用。BIM是设施的物理和功能特征的数字化表示，其可以用作设施信息的共享知识资源，成为设施全生命期决策的可靠基础。IOT是通信网和互联网的拓展应用和网络延伸，它通过对物理世界进行感知识别、计算、处理以及知识挖掘，在信息的充分交互和链接的基础上，实现人与物、物与物之间的信息交互和无缝链接，从而达到对物理世界实时控制、精确管理以及科学决策。其中，物联网网络架构由感知层、网络层和应用层组成。感知层实现对物理世界的智能感知识别、信息采集处理以及自动控制，并通过通信模块将物理实体连接到网络层和应用层。网络层主要实现信息的传递、路由以及控制，网络层可依托公众电信网和互联网，也可以依托行业专用通信网络。应用层包括应用基础设施中间件和各种物联网应用，应用基础设施中间件为物联网应用提供信息处理、计算等通用基础服务设施、能力以及资源调用接口,以此为基础实现物联网在众多领域的各种应用。
GIS通常是对城市或区域对象建立空间模型，其最主要的目的是描述城市或区域尺度的地理空间对象，而较少关注细节。但BIM关注设施或建筑物尺度对象的内部细节，但很少用于除设施或建筑物外的其他对象。由此，设施或建筑物对象的内部细节由BIM模型定义和表达，设施或建筑物外部更大尺寸的对象由GIS描述，即对区域或城市尺寸内全部物理实体进行描述时需要集成GIS和BIM的信息和功能。
在工程的施工建造及运维阶段，建筑、设备、设施等物体的状态会动态变化，而BIM无法完全满足关于这些物体状态信息采集和传递需求。因此，需要引入IOT技术来完成环境和物体动态信息的采集、以及该动态信息与BIM已描述的静态信息的关联。BIM和IOT技术的集成，能够衔接设计阶段的虚拟与建造运维阶段的现实，使各个工程阶段的BIM交付成果的一致性和可交互性得以保障。
GIS作为物联网各种对象的统一空间载体，其信息源的数量和质量直接影响到物联网应用的广度和深度。物联网建设时期，基于基础地理信息可以实现传感器布设的分析和选择，实现终端布设的科学性和合理性。传感器网络建成后，通过基础地理信息平台可以实现传感器的定位、追踪、查找、以及控制，最终把所有的物联对象都落到统一的空间平台上，在该平台上可以直观、生动、形象、以及快速地找到所需信息。亦即，GIS是一种能让物联网更加智慧、有序、以及直观好用的核心技术。
在大尺度、大范围应用领域，通过接受某个地方的某个事件及其随时间的变化过程，地理信息技术根据已有的感知数据，不仅能够对现象的变化过程做出判断，还能对过去做出回溯以及对未来做出预测。亦即，物联网为GIS提供了一种新的信息采集方法，拓展了GIS的管理范畴。
图1a和图1b为联合云的网络拓扑架构图。如图1a所示，联合云网络是专门为了城市信息模型CIM而设立的网络拓扑架构。为了方便说明，简化了三类采集数据源，分别是GIS,BIM和IoT三种类型，三种不同数据源的区别在前述中已经描述，在本发明实施例中，不同数据类型具备一个特定的属性值(数据类型)，可以采用自定义的标识来区分，例如GIS为01,BIM为02,IoT为03。在采集之初联合云即可记录该属性值。联合云本身是由多个云组成的，其背后是数以海量的云服务器用于支撑该数据的存储及管理(单个云的存储量不足以支撑海量数据)。示例性地，本发明实施例示出了三个不同的云，云和云相互之间可以调阅数据、查询数据及存储数据，其好处是在数据资源较大时，可以随时进行资源调度，方便实时扩展资源量。如图1b所示，基于联合云的良好可拓展性和数据存储伸缩性，任意一个用户可以从联合云中进行数据存储、数据查询和容灾备份操作。
图2为一个实施例中跨云平台的大数据管理方法流程图。本实施例中的方法包括：
S101、联合云网络架构设置边缘层、汇聚层和核心层，在所述边缘层中设置N个边缘节点，在汇聚层中通过网络切片技术设置容量动态可调节的M个汇聚节点，其中M和N为大于1的自然数，且N大于M；
图3a是本发明实施例中一个联合云网络架构的示意图。如图3a所示，联合云网络架构包括边缘层、汇聚层和核心层，边缘层是位于离用户端最近的边缘云的集合，具备多个边缘节点，每一个边缘节点设置有边缘云，例如在城市中，可按照不同的行政区、不同行政区中的不同街道设置不同的边缘云，不同边缘云形成边缘云网络，即边缘层。汇聚层位于边缘层的上一级，通常设置在城市的骨干网络中，具备多个汇聚节点，每一个汇聚节点包括汇聚云，用于进行边缘云中的数据交换。核心层处于网络架构中的最上层，是数据交换及传输的中心，核心层包括核心节点，核心节点由多台云服务器构成，分布在相对安全及密闭的物理环境中，是数据网络的最核心。
其中，汇聚层中可通过网络切片技术动态设置汇聚节点，这里的动态分为两层含义，第一是个数可动态调节，第二是节点容量可动态调节，网络切片技术的概念由5G网络引入，其核心在于网络功能虚拟化(NFV)，NFV从传统网络中分离出软件和硬件部分，硬件由统一的服务器不熟，软件由不同的网络功能承担，从而灵活组网。在网络切片技术中，单个网络切片技术可实现逻辑分离，从而根据不同区域的时延要求、吞吐量要求、连接密度等要求动态设置不同的虚拟云来支撑业务。该技术目前已大规模应用并部署在5G网络中，其技术细节不再累述。
S102、所述N个边缘节点中设置X个备份边缘节点，将所述N-X个边缘节点的数据备份至所述X个备份边缘节点中，其中，X为大于1小于N的自然数，所述N-X个边缘节点的数据总容量与所述X个备份边缘节点的数据总容量相同；
其中，数据备份的原理可以是镜像备份，即：在N-X个边缘节点中创建数据镜像文件；将所述数据镜像文件以字典形式进行复制；并将所述复制后的数据镜像文件保存至所述X个备份边缘节点中。例如，可基于Openstack平台下，创建多节点的虚拟机快照，并将其存储为镜像，通过Openstack的Sahara组件将集群信息进行跨云备份及保存。
S103、将所述X个备份边缘节点的数据备份至所述M个汇聚节点中，其中M个汇聚节点的数据总容量动态可调节，且满足所述X个备份边缘节点的数据总容量与所述M个汇聚节点的数据总容量相同；
为了方便说明，将备份边缘节点定义为备份节点。
S103的备份方法与S102的备份方法相同，在备份节点进行备份后，由于数据的机密性，需要将该数据进行二次备份，这里定义为二级备份，此处的备份并不是备份在边缘层中，而是备份在汇聚层。一方面，汇聚层的云服务器集群通常与边缘层的云服务器集群的物理距离相对较远，通常大于10公里。如果边缘层出现物理破坏，汇聚层的数据可确保有完整备份。而另一方面，在边缘层的备份节点离边缘节点其物理距离较近，通常小于10公里，在边缘节点数据丢失后，离该边缘节点最近的备份节点即可马上数据恢复，由于物理距离较近，其传输效率相对高，对于用户而言，其数据的备份恢复效率高，而无需等待太久。因此，二级备份各有优势。
S104、将所述M个汇聚节点中备份的数据备份至所述核心层。
核心层可设置多个核心节点，该M个汇聚节点中备份的数据可备份至该多个核心节点上。
其中，在备份至核心层后，可以采用数据分裂的机制，将所述核心层保存的备份数据分裂为Y个备份数据，并将所述Y个备份数据分布存储在不同的边缘节点上，其中，Y为大于1的自然数，所述不同的边缘节点两两间的物理距离大于10公里。数据分类机制的好处是可以将核心层的数据分裂为小型的、动态调节的备份数据，这样，当需要在边缘层进行数据备份之后的恢复时，可从边缘层的备份节点恢复，或者从分裂出的Y个备份数据中进行抓取并进行数据恢复。前者是基本的数据备份与恢复操作，而后者是基于前者已经宕机，或遭受到物理破坏时采用的应急方案，可极大的增强数据备份稳定性。
在其中一个实施例中，如图3b所示，N可设置为10，X可设置为5，为了方便描述，在图3b中，定义第一至第五边缘节点(云)的编号为A,B,C,D,E，第三边缘节点可分为两部分C1和C2，第五边缘节点可分为两部分E1和E2，定义第一至第五备份节点(云)的编号为F、G、H、I、J,定义两个汇聚节点编号为K和L，定义分裂备份数据为Y1,Y2和Y3，定义箭头代表数据的备份。
将N-X个边缘节点的数据备份至所述X个备份边缘节点中，具体可以为：
将第一、第二边缘节点的数据备份至第一备份节点，第一备份节点的数据容量等于第一、第二边缘节点的数据容量；此备份方式适合于第一、第二边缘节点的数据少，且第一备份节点的数据容量大的情形；
将第三、第四边缘节点的数据备份至第二、第三备份节点，其中，第二备份节点备份第三边缘节点的一部分数据，第三备份节点备份第二边缘节点的剩余部分数据，以及第四边缘节点的所有数据，且第三、第四边缘节点的数据总容量等于第二、第三备份节点的数据总容量；此备份方式适合于两个边缘节点的数据容量和两个备份节点的数据容量在同一个层级，且不同节点数据容量不同的情形；
将第五边缘节点的数据备份至第四、第五备份节点，其中，第四备份节点保存第五边缘节点的一部分数据，第五备份节点保存第五边缘节点的剩余部分数据，且第五边缘节点的数据容量等于第四、第五备份节点的数据总容量；此备份方式适合于边缘节点的数据量大，且备份节点的数据容量小的情形，需要增加一个备份节点才可以完整保存。
在其中的一个实施例中，设置M为2，第一、第二和第三备份节点的数据类型相同，第四和第五备份节点的数据类型相同，且第一、第二和第三备份节点的数据类型与第四和第五备份节点的数据类型不同，例如，在智慧城市中，数据类型包括地理信息系统GIS、建筑信息模型BIM和物联网IoT；
则将X个备份边缘节点的数据备份至M个汇聚节点中，包括：
将第一、第二和第三备份节点的数据备份至第一汇聚节点中；
将第四和第五备份节点的数据备份至第二汇聚节点中。
其中，边缘节点的数据与所述备份节点的数据具备对等树结构，即当前数据与备份数据在树形结构中的位置和层级均相同，是一种对等树(平衡树)结构。
上述提供的跨云平台的大数据管理的方法，通过设置多级(至少三级)备份的机制，将海量数据进行边缘层、汇聚层和核心层的三重备份，以防在特殊情况下由于服务器宕机或物理破坏而导致重要数据丢失，提高了数据安全性，增加了数据备份的稳定性。
本发明实施例还提供一种跨云平台的大数据管理系统，所述系统包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，所述处理器用于运行所述计算机程序时，执行上述实施例中跨云平台的大数据管理的方法。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机可执行指令，该计算机可执行指令用于执行上述实施例中跨云平台的大数据管理的方法。
图4为一个实施例中跨云平台的大数据管理系统(例如第一车载终端或第二车载终端)的硬件组成示意图。可以理解的是，图4仅仅示出了电子设备的简化设计。在实际应用中，电子设备还可以分别包含必要的其他元件，包含但不限于任意数量的输入/输出系统、处理器、控制器、存储器等，而所有可以实现本申请实施例的跨云平台的大数据管理方法的电子设备都在本申请的保护范围之内。
存储器包括但不限于是随机存储记忆体(random access memory，RAM)、只读存储器(read至only memory，ROM)、可擦除可编程只读存储器(erasable programmable readonly memory，EPROM)、或便携式只读存储器(compact disc read至only memory，CD至ROM)，该存储器用于相关指令及数据。
输入系统用于输入数据和/或信号，以及输出系统用于输出数据和/或信号。输出系统和输入系统可以是独立的器件，也可以是一个整体的器件。
处理器可以包括是一个或多个处理器，例如包括一个或多个中央处理器(centralprocessing unit，CPU)，在处理器是一个CPU的情况下，该CPU可以是单核CPU，也可以是多核CPU。处理器还可以包括一个或多个专用处理器，专用处理器可以包括GPU、FPGA等，用于进行加速处理。
存储器用于存储网络设备的程序代码和数据。
处理器用于调用该存储器中的程序代码和数据，执行上述方法实施例中的步骤。具体可参见方法实施例中的描述，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，该单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。所显示或讨论的相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程系统。该计算机指令可以存储在计算机可读存储介质中，或者通过该计算机可读存储介质进行传输。该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是只读存储器(read至onlymemory，ROM)，或随机存储存储器(random access memory，RAM)，或磁性介质，例如，软盘、硬盘、磁带、磁碟、或光介质，例如，数字通用光盘(digital versatile disc，DVD)、或者半导体介质，例如，固态硬盘(solid state disk，SSD)等。
以上上述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种跨云平台的大数据管理的方法，应用于智慧城市的联合云网络架构，其特征在于，包括：
联合云网络架构设置边缘层、汇聚层和核心层，在所述边缘层中设置N个边缘节点，在汇聚层中通过网络切片技术设置容量动态可调节的M个汇聚节点，其中M和N为大于1的自然数，且N大于M；
所述N个边缘节点中设置X个备份边缘节点，将所述N-X个边缘节点的数据备份至所述X个备份边缘节点中，其中，X为大于1小于N的自然数，所述N-X个边缘节点的数据总容量与所述X个备份边缘节点的数据总容量相同；
将所述X个备份边缘节点的数据备份至所述M个汇聚节点中，其中M个汇聚节点的数据总容量动态可调节，且满足所述X个备份边缘节点的数据总容量与所述M个汇聚节点的数据总容量相同；
将所述M个汇聚节点中备份的数据备份至所述核心层。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述核心层保存的备份数据分裂为Y个备份数据，并将所述Y个备份数据分布存储在不同的边缘节点上，其中，Y为大于1的自然数，所述不同的边缘节点两两间的物理距离大于10公里。
3.根据权利要求1所述的方法，其特征在于，将所述N-X个边缘节点的数据备份至所述X个备份边缘节点中，包括：
在N-X个边缘节点中创建数据镜像文件；
将所述数据镜像文件以字典形式进行复制；
并将所述复制后的数据镜像文件保存至所述X个备份边缘节点中。
4.根据权利要求1所述的方法，其特征在于，所述N为10，所述X为5，则将所述N-X个边缘节点的数据备份至所述X个备份边缘节点中，包括：
将第一、第二边缘节点的数据备份至第一备份节点，所述第一备份节点的数据容量等于所述第一、第二边缘节点的数据容量；
将第三、第四边缘节点的数据备份至第二、第三备份节点，其中，所述第二备份节点备份所述第三边缘节点的一部分数据，所述第三备份节点备份所述第二边缘节点的剩余部分数据，以及所述第四边缘节点的所有数据，且所述第三、第四边缘节点的数据总容量等于所述第二、第三备份节点的数据总容量；
将所述第五边缘节点的数据备份至第四、第五备份节点，其中，所述第四备份节点保存所述第五边缘节点的一部分数据，所述第五备份节点保存所述第五边缘节点的剩余部分数据，且所述第五边缘节点的数据容量等于所述第四、第五备份节点的数据总容量。
5.根据权利要求4所述的方法，其特征在于，所述M为2，所述第一、第二和第三备份节点的数据类型相同，所述第四和第五备份节点的数据类型相同，且所述第一、第二和第三备份节点的数据类型与所述第四和第五备份节点的数据类型不同，
则将所述X个备份边缘节点的数据备份至所述M个汇聚节点中，包括：
将所述第一、第二和第三备份节点的数据备份至第一汇聚节点中；
将所述第四和第五备份节点的数据备份至第二汇聚节点中。
6.根据权利要求5所述的方法，其特征在于，所述数据类型包括地理信息系统GIS、建筑信息模型BIM和物联网IoT。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述边缘节点的数据与所述备份节点的数据具备对等树结构。
8.一种跨云平台的大数据管理的系统，其特征在于，所述系统包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，所述处理器用于运行所述计算机程序时，执行权利要求1至7任一项所述的跨云平台的大数据管理的方法。
9.一种计算机可读存储介质，其上存储有计算机可执行指令，其特征在于，该计算机可执行指令用于执行权利要求1至7任一项所述的跨云平台的大数据管理的方法。
CN202010527829.2A 2020-06-11 2020-06-11 一种跨云平台的大数据管理的方法与系统 Active CN111726403B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010527829.2A CN111726403B (zh) 2020-06-11 2020-06-11 一种跨云平台的大数据管理的方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010527829.2A CN111726403B (zh) 2020-06-11 2020-06-11 一种跨云平台的大数据管理的方法与系统

Publications (2)

Publication Number Publication Date
CN111726403A true CN111726403A (zh) 2020-09-29
CN111726403B CN111726403B (zh) 2021-01-29

Family

ID=72568012

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010527829.2A Active CN111726403B (zh) 2020-06-11 2020-06-11 一种跨云平台的大数据管理的方法与系统

Country Status (1)

Country Link
CN (1) CN111726403B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112882790A (zh) * 2020-12-31 2021-06-01 华数云科技有限公司 一种基于分布式云平台的云边协同管理方法
CN113190378A (zh) * 2020-12-31 2021-07-30 华数云科技有限公司 一种基于分布式云平台的边缘云灾备方法
CN113377577A (zh) * 2021-06-10 2021-09-10 上海西信信息科技股份有限公司 一种基于大数据的云平台架构及其数据处理方法
CN114401183A (zh) * 2022-01-17 2022-04-26 杭州瑞网广通信息技术有限公司 一种基于分布式云平台的边缘云灾备系统、方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104317669A (zh) * 2014-10-17 2015-01-28 南京邮电大学 一种云端异构存储系统及其数据副本管理方法
CN104331346A (zh) * 2014-11-21 2015-02-04 四川神琥科技有限公司 一种数据保护方法
WO2017186260A1 (en) * 2016-04-25 2017-11-02 Huawei Technologies Co., Ltd. Edge server and method of operating an edge server
CN108268209A (zh) * 2016-12-31 2018-07-10 深圳市优朋普乐传媒发展有限公司 一种cdn系统中的数据存储方法及cdn系统
CN109379420A (zh) * 2018-10-10 2019-02-22 上海方融科技有限责任公司 一种基于分布式架构的综合能源服务平台系统
CN110502364A (zh) * 2018-05-17 2019-11-26 复旦大学 一种OpenStack平台下大数据沙箱集群的跨云备份恢复方法
CN110581782A (zh) * 2019-09-17 2019-12-17 中国联合网络通信集团有限公司 一种容灾数据的处理方法、装置及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104317669A (zh) * 2014-10-17 2015-01-28 南京邮电大学 一种云端异构存储系统及其数据副本管理方法
CN104331346A (zh) * 2014-11-21 2015-02-04 四川神琥科技有限公司 一种数据保护方法
WO2017186260A1 (en) * 2016-04-25 2017-11-02 Huawei Technologies Co., Ltd. Edge server and method of operating an edge server
CN108268209A (zh) * 2016-12-31 2018-07-10 深圳市优朋普乐传媒发展有限公司 一种cdn系统中的数据存储方法及cdn系统
CN110502364A (zh) * 2018-05-17 2019-11-26 复旦大学 一种OpenStack平台下大数据沙箱集群的跨云备份恢复方法
CN109379420A (zh) * 2018-10-10 2019-02-22 上海方融科技有限责任公司 一种基于分布式架构的综合能源服务平台系统
CN110581782A (zh) * 2019-09-17 2019-12-17 中国联合网络通信集团有限公司 一种容灾数据的处理方法、装置及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MOHAMMAD M. ALSHAMMARI .ETC: "Disaster Recovery with Minimum Replica Plan for Reliability Checking in Multi-Cloud", 《PROCEDIA COMPUTER SCIENCE》 *
张天娇: "基于云计算的容灾备份方案设计", 《中国优秀硕士学位论文全文数据库》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112882790A (zh) * 2020-12-31 2021-06-01 华数云科技有限公司 一种基于分布式云平台的云边协同管理方法
CN113190378A (zh) * 2020-12-31 2021-07-30 华数云科技有限公司 一种基于分布式云平台的边缘云灾备方法
CN113190378B (zh) * 2020-12-31 2024-04-02 华数云科技有限公司 一种基于分布式云平台的边缘云灾备方法
CN113377577A (zh) * 2021-06-10 2021-09-10 上海西信信息科技股份有限公司 一种基于大数据的云平台架构及其数据处理方法
CN114401183A (zh) * 2022-01-17 2022-04-26 杭州瑞网广通信息技术有限公司 一种基于分布式云平台的边缘云灾备系统、方法和装置

Also Published As

Publication number Publication date
CN111726403B (zh) 2021-01-29

Similar Documents

Publication Publication Date Title
CN111726403B (zh) 一种跨云平台的大数据管理的方法与系统
CN111708778B (zh) 一种大数据管理的方法与系统
JP7300797B2 (ja) スケーラブルな時空密度データの融合
CN115774861B (zh) 一种自然资源多源异构数据汇聚融合服务系统
CN105701104B (zh) 一种基于地理信息的三维数据引擎系统
CN105160593A (zh) 面向大数据的输变电设备多维异构数据融合方法及系统
CN112988946B (zh) 一种地理实体数据库用户定制化方法
CN111885643A (zh) 一种应用于智慧城市的多源异构数据融合方法
CN104239511B (zh) 一种面向MongoDB的用户空间文件系统实现方法
CN113282692A (zh) 一种智慧城市的大数据共享方法及装置
CN103955511A (zh) 一种城市3d建筑数据的云平台数据组织和检索方法
CN111488420B (zh) 去中心微服务化区域洪水预警水信息系统及其集成方法
CN114925043B (zh) 基于时空网格块数据的应用方法、装置及电子设备
CN113570275A (zh) 基于bim和数字高程模型的水资源实时监测系统
CN112132954B (zh) 一种面向三维激光点云实体对象的分布式管理方法及系统
CN114169579B (zh) 核电工业互联网综合智能平台系统
CN111209323A (zh) 一种空间地理信息大数据处理系统
CN110008272B (zh) 面向传感器数据的NoSQL数据库评测系统及其构建方法
CN113112603A (zh) 三维模型优化的方法和装置
CN115758522A (zh) 一种数字孪生城市管理系统及方法
CN104240020A (zh) 一种三维人防地理信息服务系统
CN116522272A (zh) 一种基于城市信息单元的多源时空数据透明融合方法
CN109309713A (zh) 基于智慧管廊感知通信集成装置的管廊运维管理系统
CN114780864B (zh) 一种基于知识图谱的人-物-空间交互模型构建方法
Goldin et al. Georouting and delta-gathering: Efficient data propagation techniques for geosensor networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Zhou Zanhe

Inventor after: Fan Xin

Inventor before: Fan Xin

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210111

Address after: Room 2003, 1801, 1804, No.13-1, Hai'an Road, Tianhe District, Guangzhou, Guangdong 510627

Applicant after: HEYU HEALTH TECHNOLOGY Co.,Ltd.

Address before: 518129 501, cancer, building 3, xingguangzhiyue garden, Bantian street, Longgang District, Shenzhen City, Guangdong Province

Applicant before: Shenzhen Saiyu Landscape Design Engineering Co.,Ltd.

GR01 Patent grant
GR01 Patent grant