CN111552540A - 基于VMware云平台的资源同步方法及超融合云平台 - Google Patents

基于VMware云平台的资源同步方法及超融合云平台 Download PDF

Info

Publication number
CN111552540A
CN111552540A CN202010324598.5A CN202010324598A CN111552540A CN 111552540 A CN111552540 A CN 111552540A CN 202010324598 A CN202010324598 A CN 202010324598A CN 111552540 A CN111552540 A CN 111552540A
Authority
CN
China
Prior art keywords
data
storage area
data storage
resource
vmware
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010324598.5A
Other languages
English (en)
Other versions
CN111552540B (zh
Inventor
马骏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Huayun Data Technology Service Co Ltd
Original Assignee
Wuxi Huayun Data Technology Service Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Huayun Data Technology Service Co Ltd filed Critical Wuxi Huayun Data Technology Service Co Ltd
Priority to CN202010324598.5A priority Critical patent/CN111552540B/zh
Publication of CN111552540A publication Critical patent/CN111552540A/zh
Application granted granted Critical
Publication of CN111552540B publication Critical patent/CN111552540B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/14—Details of searching files based on file metadata
    • G06F16/148—File search processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/176—Support for shared access to files; File sharing support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45595—Network integration; Enabling network access in virtual machine instances

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Library & Information Science (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了基于VMware云平台的资源同步方法及超融合云平台，该方法包括：获取指定数据存储区所包含的数据资源，扫描挂载指定数据存储区的数据中心中存在磁盘的目录地址；确定待执行数据资源同步操作的数据存储区是否存在HTTP请求超时，并在存在HTTP请求超时时，查询待执行数据资源同步操作的数据存储区的文件夹目录以确定待执行数据资源同步操作的数据存储区中当前存在的文件夹；拆分文件夹目录中所包含的文件夹，对待执行数据资源同步操作的数据存储区逐一执行查询请求，并分别对存在不一致的文件夹所所关联的数据资源执行同步操作。通过本发明，提高了基于VMware云平台中各个数据中心之间以及单个数据中心中不同数据存储区对数据资源的同步效果。

Description

基于VMware云平台的资源同步方法及超融合云平台
技术领域
本发明涉及云计算技术领域，尤其涉及一种基于VMware云平台的资源同步方法及超融合云平台。
背景技术
服务器虚拟化技术是将物理服务器通过底层虚拟化形成多台相互隔离的虚拟机的技术，多台虚拟机共享底层物理资源。多云管理已经逐渐成为云计算发展的趋势，所以越来越多的多云管理平台选择支持 VMware的接管，但VMware本身不支持多租户，要跟其他的云平台保持一致的多租户管理模式必须要寻求一种方案实现VMware虚拟化平台中资源的隔离，最终实现统一的多租户管理。VMware虚拟化平台：针对于VMware虚拟化平台来说，平台本身提供一种软件定义的容灾解决方案SRM(VMware Site Recovery Manager)，该方案充分利用虚拟化环境的优势，提供了基础架构层解决方案所具备的简易型和成本效益。
在基于VMware云平台中，每个网关管辖的数据中心(Datacenter) 下挂载的数据存储(Datastore)数量过多或者各个数据中心挂载的数据存储数量差异化较大的实例配置中会导致网关对各个数据中心所关在的数据存储中的数据的查询效率缓慢。此种查询效率缓慢的问题会导致各个数据中心执行资源同步的效果不佳。同时，如果每个数据中心的底层所依赖的存储类型不同的话，会导致获取整个数据中心的虚拟磁盘的 HTTP访问请求时间(比如半小时)远远超过了云平台设置的单个HTTP 请求超时时间(比如30秒到2分钟)，云平台的配置无法接受数十倍于超时时间配置的HTTP连接。
有鉴于此，有必要对现有技术中的基于VMware云平台的资源同步方法予以改进，以解决上述问题。
发明内容
本发明的目的在于揭示一种基于VMware云平台的资源同步方法及超融合云平台，用以解决现有技术中基于VMware云平台中各个数据中心中所挂载的数据磁盘中所配置的数据资源进行同步配置的资源同步方法所存在上述缺陷，以实现克服基于VMware云平台中因数据中心中挂载的数据存储数量过多或者配置不均匀及不同数据中心所依赖的存储类型的不同所导致的获取磁盘文件的时间无法预估而导致同步数据资源失败的问题，以提高基于VMware云平台中各个数据中心之间以及单个数据中心内的不同数据存储区对数据资源的同步效果。
为实现上述第一个发明目的，本发明提供了一种基于VMware云平台的资源同步方法，包括以下步骤：
S1、获取指定数据存储区所包含的数据资源，扫描挂载所述指定数据存储区的数据中心中存在磁盘的目录地址；
S2、确定待执行数据资源同步操作的数据存储区是否存在HTTP请求超时，并在存在HTTP请求超时时，查询待执行数据资源同步操作的数据存储区的文件夹目录以确定所述待执行数据资源同步操作的数据存储区中当前存在的文件夹；
S3、拆分文件夹目录中所包含的文件夹，以形成若干包含至少一个文件夹的查询请求，对所述待执行数据资源同步操作的数据存储区逐一执行查询请求，并分别对存在不一致的文件夹所所关联的数据资源执行同步操作。
作为本发明的进一步改进，所述步骤S3中单个查询请求中包含不超过 50个文件夹。
作为本发明的进一步改进，所述步骤S3中单个查询请求中包含不超过 10个文件夹。
作为本发明的进一步改进，确定待执行数据资源同步操作的数据存储区是否存在HTTP请求超时由资源服务组件能否在预设的HTTP请求超时时间内获取VMware网关返回的数据资源予以判断；其中，所述数据资源由虚拟机镜像文件、虚拟机、虚拟路由器配置、虚拟网络配置或者磁盘数据中的一种数据或者几种数据定义。
作为本发明的进一步改进，所述步骤S1具体为：
使用资源服务组件向VMware网关发起获取指定数据存储区所包含的数据资源的HTTP请求，通过所述VMware网关向挂载指定数据存储区的 vSphere发送所述HTTP请求，所述VMware网关接收由指定数据存储区所包含的数据资源，并载入资源服务组件。
作为本发明的进一步改进，所述步骤S2还包括：待执行数据资源同步操作的数据存储区存在HTTP请求超时时，将返回超时的数据资源写入缓存。
作为本发明的进一步改进，所述步骤S2中确定待执行数据资源同步操作的数据存储区是否存在HTTP请求超时具体为：
使用资源服务组件向VMware网关发起获取待执行数据资源同步操作的数据存储区的HTTP请求，通过所述VMware网关向挂载待执行数据资源同步操作的数据存储区的vSphere发送所述HTTP请求，由所述资源服务组件能否在预设的HTTP请求超时时间内获取VMware网关返回的数据资源予以判断。
作为本发明的进一步改进，所述指定数据存储区与所述待执行数据资源同步操作的数据存储区位于同一数据中心。
作为本发明的进一步改进，所述指定数据存储区与所述待执行数据资源同步操作的数据存储区分别位于独立的两个数据中心，且两个数据中心挂载于所述VMware网关。
作为本发明的进一步改进，还包括：
根据待执行数据资源同步操作的数据存储区所对应的HTTP请求超时的时长指标，对单个查询请求中所包含的文件夹的数量进行调整。
作为本发明的进一步改进，所述步骤S3执行完毕后还包括：使用资源服务组件剔除对指定数据存储区中所包含的云主机模板及云主机快照的数据资源执行同步操作。
基于上述基于VMware云平台的资源同步方法所包含的相同发明思想，本申请还揭示了一种超融合云平台，包括：
API网关、资源服务组件、虚拟化软件、适配层网关及资源池，所述资源池由存储节点、计算节点及网络节点组成；
所述超融合云平台运行如上述任一项发明创造所揭示的基于VMware云平台的资源同步方法的步骤。
作为本发明的进一步改进，所述适配层网关包括OpenStack网关、 VMware网关及公有云网关；
所述VMware网关挂载至少一个包含若干数据存储区的数据中心。
作为本发明的进一步改进，所述虚拟化软件包括vSphere、Ubuntu或者 CentOS；
所述存储节点由SAN存储装置、DAS存储装置、NAS存储装置、iSCSI 存储装置或者Ceph存储装置中的一种或者任意几种存储装置组成。
与现有技术相比，本发明的有益效果是：
在本申请所揭示的一种基于VMware云平台的资源同步方法及超融合云平台中，对数据资源的同步操作以数据中心为单位，并将待执行数据资源同步操作的数据存储区，拆分文件夹目录中所包含的文件夹，以形成若干包含至少一个文件夹的查询请求，对所述待执行数据资源同步操作的数据存储区逐一执行查询请求，并分别对存在不一致的文件夹所所关联的数据资源执行同步操作，从而克服了基于VMware云平台中因数据中心中挂载的数据存储数量过多或者配置不均匀及不同数据中心所依赖的存储类型的不同所导致的访问超时、无法及时响应等缺陷，显著地提高了基于 VMware云平台中各个数据中心之间以及单个数据中心内的不同数据存储区对数据资源的同步效果。
附图说明
图1为本发明基于VMware云平台的资源同步方法的整体流程图；
图2为本发明基于VMware云平台的资源同步方法在同一个数据中心的两个数据存储区执行数据资源同步的序列图；
图3为本发明基于VMware云平台的资源同步方法在两个数据中心的两个数据存储区执行数据资源同步的序列图；
图4为应用本发明基于VMware云平台的资源同步方法在一种超融合云平台实例中执行数据资源同步的拓扑图；
图5为虚拟化软件与不同类型的存储装置所构成的计算节点连接的拓扑图；
图6为本发明一种超融合云平台的拓扑图。
具体实施方式
下面结合附图所示的各实施方式对本发明进行详细说明，但应当说明的是，这些实施方式并非对本发明的限制，本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代，均属于本发明的保护范围之内。
术语“逻辑”包括用于执行任务的任何物理和有形功能。例如，流程图中所示的每个操作对应于用于执行该操作的逻辑组件。可以使用例如在计算机设备上运行的软件、硬件(例如，芯片实现的逻辑功能)等、和/或其任何组合来执行操作。当由计算设备实现时，逻辑组件表示作为无论以何种方式实现的计算机系统的物理部分的电组件。
短语“配置为”或者短语“被配置为”包括可以构造任何种类的物理和有形的功能以执行标识的操作的任何方式。功能可以被配置为使用例如在计算机设备上运行的软件、硬件(例如，芯片实现的逻辑功能)等、和/或其任何组合来执行操作。
术语“数据中心”(Datacenter)并非指互联网数据中心(Internet Data Center，IDC)，而是指支持虚拟云网络的网络虚拟化和安全性平台。数据中心(Datacenter)所包含的实体类的配置项包括：数据中心名称、虚拟机目录名称、虚拟机目录PROGID、网络目录名称、网络目录PROGID、数据存储目录名称、存储目录PROGID、主机目录名称、主机目录PROGID、数据库 ID。数据中心部署一个或者多个数据存储区(Datastore)。Datastore(即数据存储区)是PB(Protocol Buffer)中不可视的数据窗口控制。由于Datastore 具有对数据的交互操作，所以用它来代替在程序中经常使用的游标Cursors。使用Datastore检索数据比游标的速度快，并对数据的分组变得容易，提高比较高级的过滤功能，在程序中不需要变量也可以访问数据，并且在PB中使编码变得相对简单。此外，Protocol Buffers(PB)是一种轻便高效的结构化数据存储格式，可以用于结构化数据序列化，很适合做数据存储或RPC数据交换格式。PB可用于通讯协议、数据存储等领域的语言无关、平台无关、可扩展的序列化结构数据格式。
数据存储区(Datastore)具有以下四种功能：
(1)进行后台数据库数据处理；(2)为多个窗口上共享数据的数据窗口控件服务；(3)避免使用嵌入式Sql语句操纵数据库中数据；(4)在分布式应用的服务器中为客户端准备数据。本申请所揭示的技术方案旨在实现数据中心之间以及单个数据中心中所部署的多个数据存储区的数据资源的同步操作，并通过下述实施例予以详细阐述。
实施例一：
本实施例公开了一种基于VMware云平台的资源同步方法的具体实施方式。
参图1、图2、图4所示，本实施例所揭示的基于VMware云平台的资源同步方法用于对部署于同一个数据中心中的两个数据存储区所对应的数据资源进行同步操作；其中，本实施例中的数据资源包括快照、虚拟机镜像文件、虚拟机、虚拟路由器配置、虚拟网络配置或者磁盘数据。
如图1所示，一种基于VMware云平台的资源同步方法，包括以下步骤S1至步骤S3。
步骤S1、获取指定数据存储区所包含的数据资源，扫描挂载所述指定数据存储区的数据中心中存在磁盘的目录地址。步骤S2、确定待执行数据资源同步操作的数据存储区是否存在HTTP请求超时，并在存在HTTP请求超时时，查询待执行数据资源同步操作的数据存储区的文件夹目录以确定所述待执行数据资源同步操作的数据存储区中当前存在的文件夹。步骤S3、拆分文件夹目录中所包含的文件夹，以形成若干包含至少一个文件夹的查询请求，对所述待执行数据资源同步操作的数据存储区逐一执行查询请求，并分别对存在不一致的文件夹所所关联的数据资源执行同步操作。
需要说明的是，在本实施例中，“指定数据存储区”与“待执行数据资源同步操作的 数据存储区”互为在执行数据资源进行同步操作时的相对概念。
具体而言，在同一数据中心内执行数据存储区的数据资源的同步操作时，若将图4中的数据存储区112作为“指定数据存储区”，并需要对数据存储区113执行数据资源的同步操作时，则数据存储区113的角色即为“待执行数据资源同步操作的数据存储区”。在逻辑上独立的两个数据中心(即图4 中的数据中心111与数据中心121)内执行数据存储区的数据资源的同步操作时，若将图4中的数据存储区112作为“指定数据存储区”，并需要对数据存储区122执行数据资源的同步操作时，则数据存储区122的角色即为“待执行数据资源同步操作的数据存储区”。在本实施例中，对位于同一个数据中心的多个数据存储区执行数据资源的同步操作予以范例性阐述。
具体的，该基于VMware云平台的资源同步方法具体如下所示。
首先，资源服务组件30通过VMware网关52获取指定数据存储区111 所包含的数据资源，资源服务组件30扫描挂载所述指定数据存储区112的数据中心111中存在磁盘的目录地址。具体的，在本实施例中，可使用资源服务组件30向VMware网关52发起获取指定数据存储区(即数据存储区112) 所包含的数据资源的请求，通过所述VMware网关52向挂载指定数据存储区112的vSphere11发送所述HTTP请求(即发起获取指定数据存储112所包含的数据资源的请求)，VMware网关52接收由指定数据存储区112所包含的数据资源，并载入资源服务组件30。资源服务组件30提供对外提供资源服务功能，例如：虚拟机操作、磁盘操作、网络操作、负载均衡操作等。
然后，确定待执行数据资源同步操作的数据存储区113是否存在HTTP 请求超时，并在存在HTTP请求超时时，资源服务组件30查询待执行数据资源同步操作的数据存储区(即数据存储区113)的文件夹目录以确定所述待执行数据资源同步操作的数据存储区中当前存在的文件夹。具体的，确定待执行数据资源同步操作的数据存储区113是否存在HTTP请求超时由资源服务组件30能否在预设的HTTP请求超时时间内获取VMware网关52返回的数据资源予以判断；若是，则认为待执行数据资源同步操作的数据存储区 113不存在HTTP请求超时，若否，则认定待执行数据资源同步操作的数据存储区113存在HTTP请求超时，并需要执行图2中的步骤8)将返回超时的数据资源写入缓存，例如Redis。上述VMware网关52返回的数据资源是由数据存储区113向VMware网关52所返回数据资源，数据资源是数据存储区所关联的多种实体数据，例如，基于vSphere5.1中从image服务中拷贝较大的镜像文件，或者虚拟网络配置、磁盘数据等。
VMware SDK(Software Development Kit，软件开发工具包)部署于 VMware网关52，且VMware SDK可通过资源服务组件30向上层提供访问及修改接口，用户可在资源服务组件30中配置超时检测程序/逻辑，并在超时检测程序/逻辑中可预先配置HTTP请求超时时间，且可根据整个VMware 云平台的类型与规模予以自适应设置云平台设置的单个HTTP请求超时时间。优选的，参图2所示，在箭头7)SDK查询期间返回超时的步骤执行完毕后，即待执行数据资源同步操作的数据存储区存在HTTP请求超时时，将返回超时的数据存储区写入缓存。其中，将将返回超时的数据存储区写入缓存的操作由资源服务组件30执行。写入缓存的返回超时的数据存储区包含数据资源，且数据资源由虚拟机镜像文件、虚拟机、虚拟路由器配置、虚拟网络配置或者磁盘数据中的一种数据或者几种数据定义。
资源服务组件30中部署缓存，并进一步优选为分布式缓存，例如Redis，以通过该分布式缓存实现海量数据存储，及对分布式系统支持，且能够保证数据资源在同步操作过程中保持一致性。同时，还能够通过该分布式缓存为用户或者管理员提供查询返回超时的原因的访问接口，即客户端socket，从而便于用户或者管理员排查。
具体的，在本实施例中，确定待执行数据资源同步操作的数据存储区113 是否存在HTTP请求超时具体为：使用资源服务组件30向VMware网关52 发起获取待执行数据资源同步操作的数据存储区的请求，通过所述VMware 网关52向挂载待执行数据资源同步操作的数据存储区113的vSphere11发送所述HTTP请求；最后、拆分数据存储区113的文件夹目录中所包含的文件夹，以形成若干包含至少一个文件夹的查询请求，对所述待执行数据资源同步操作的数据存储区113逐一执行查询请求，并分别对存在不一致的文件夹所所关联的数据资源执行同步操作。
在本实施例中，单个查询请求中包含不超过50个文件夹。进一步优选的，单个查询请求中包含不超过10个文件夹，并最优选为10～20个文件夹。单次查询请求中所包含的文件夹过少会导致查询请求效率较低，但是通常情况下单个数据存储区所包含的文件夹数量通常在几个百甚至上千个，如果整体地执行查询请求，会导致VMware网关52向资源服务组件30返回出现延迟甚至失败，从而影响资源服务组件30对位于同一数据中心中的不同数据存储区的数据资源的同步操作。
本实施例所揭示的一种基于VMware云平台的资源同步方法的进一步详细执行步骤参图2中箭头1)至箭头21)所示。进一步优选的，在本实施例中，该基于VMware云平台的资源同步方法还包括：根据待执行数据资源同步操作的数据存储区所对应的超时的时长指标，对单个查询请求中所包含的文件夹的数量进行调整。例如，可将图2中箭头13)中执行发送获取数据存储区113中第1-10个文件夹内的数据资源，并将箭头17)中执行发生发送获取数据存储区113中第11-20个文件夹内的数据资源。从而依次执行箭头13)至箭头16)，以及箭头17)至箭头20)所体现的两个完整执行步骤，以将拆分文件夹目录中所包含的所有文件夹均按照拆分后若干次请求调用过程实现数据存储区112与数据存储区114的数据资源同步操作。同时，箭头 21)所示出的处理数据是指将资源服务组件30对数据存储区112与数据存储区113执行同步操作的数据资源保存至挂载至资源服务组件30的时序数据库中。具体的，该时序数据库可为分布式时序数据库。同时，图2中箭头 14、箭头15)、箭头18)、箭头19)，以及图3中的箭头35)、箭头36)、箭头39)、箭头40)中所指“入参文件夹”是指：基于数据资源执行同步操作所对应的文件夹的文件夹参数，例如后缀名为vmdk的文件夹名称、同步操作时间等。
结合图3及图6所示，本实施例所揭示的资源服务组件30纳管适配层网关50中的OpenStack网关51、VMware网关52及公有云网关53，每个适配层网关50中的具体的网关通过不同的虚拟化软件10挂载一个或者多个云平台。虚拟化软件10包括vSphere、Ubuntu或者CentOS。虚拟化软件10可将逻辑上位于底层的物理设备虚拟化成SAN存储装置、DAS存储装置、NAS 存储装置、iSCSI存储装置或者Ceph存储装置，并定义出超融合云平台的存储节点91。vSphere即VMware vSphere包括两个核心组件，ESXi服务器和 vCenter Server。ESXi服务器是Hypervsior(虚拟机监视器)，可以在其中创建和运行虚拟机和虚拟设备；vCenterServer是用于管理网络中连接的多个 ESXi主机和主机资源池的服务。
资源服务组件30连接API网关41。API网关41是一个服务器，是VMware 云平台的唯一入口。API网关41封装了系统内部架构，为每个客户端(即图 3中外网PC60的上位化概念)提供一个定制的API。它可能还具有其它职责，如身份验证、监控、负载均衡、缓存、请求分片与管理、静态响应处理。API 网关41也是提供REST/HTTP的访问API。服务端通过API-GW注册和管理服务。
结合图4所示，API网关41负责服务请求路由、组合及协议转换。客户端的所有请求都首先经过API网关41，然后由它将请求路由到合适的微服务。微服务由数据中心111和/或数据中心121中的一个或者多个数据存储区所包含的一个或者多个数据资源封装形成。客户端部署于如图4所示出的外网 PC60中。API网关41经常会通过调用多个微服务(Microservice)并合并结果来处理一个请求。它可以在Web协议(如HTTP与WebSocket)与内部使用的非Web友好协议之间转换。用户通过外网PC60、外网80及交换机42 访问API网关41，并通过该API网关41连接资源服务组件30(Resource)。
最后，在本实施例中，所述步骤S3执行完毕后还包括：使用资源服务组件30剔除对指定数据存储区中所包含的云主机模板及云主机快照的数据资源执行同步操作。具体的，如果数据中心111或者数据中心121向VMware 网关52返回模板磁盘(即云主机模板)及增量磁盘快照所对应的数据，则通过资源服务组件30执行剔除上述数据的操作，降低资源服务组件30所部署的缓存的存储开销及资源服务组件30的计算开销。
实施例二：
结合图3所示，与实施例一相比，在本实施例所揭示的一种基于VMware 云平台的资源同步方法中，指定数据存储区与所述待执行数据资源同步操作的数据存储区(例如数据存储区112与数据存储区122)分别位于独立的两个数据中心，且两个数据中心挂载于所述VMware网关52，即数据中心111 与数据中心121分别通过vSphere11(虚拟化软件10的一种实例)及vSphere12 连接至VMware网关52。数据中心111中部署有数据存储区112、数据存储区113等多个数据存储区，数据中心121中部署有数据存储区122、数据存储区123等多个数据存储区，并基于共同连接的VMware网关52，以被资源服务组件30所纳管。
在本实施例中，可基于实施例一所揭示的技术方案对数据存储区112与数据存储区122/数据存储区123执行数据资源的同步操作。本实施例所揭示的一种基于VMware云平台的资源同步方法的进一步详细执行步骤参图3中箭头22)至箭头42)所示。同时，箭头42)所示出的处理数据是指将资源服务组件30对数据存储区112与数据存储区122执行同步操作的数据资源保存至挂载至资源服务组件30的时序数据库中。具体的，该时序数据库可为分布式时序数据库。
本实施例与实施例一中相同部分的技术方案，请参实施例一所述，在此不再赘述。
实施例三：
基于前述实施例一和/或实施例二所揭示的技术方案，本实施例还揭示了一种超融合云平台的一种具体实施方式。
结合图4至图6所示，在本实施例中，该超融合云平台，包括：
API网关41、资源服务组件30、虚拟化软件10、适配层网关50及资源池，所述资源池由存储节点91、计算节点92及网络节点93组成。该超融合云平台运行如实施例一和/或实施例二所揭示的一种基于VMware云平台的资源同步方法的步骤。
适配层网关50包括OpenStack网关51、VMware网关52及公有云网关 53。VMware网关52挂载至少一个包含若干数据存储区的数据中心。虚拟化软件10包括vSphere、Ubuntu或者CentOS。存储节点91由SAN存储装置、 DAS存储装置、NAS存储装置、iSCSI存储装置或者Ceph存储装置中的一种或者任意几种存储装置组成。OpenStack网关51逻辑上连接OpenStack云平台(私有云云平台的一种)，VMware网关52逻辑上连接VMware云平台，公有云网关53连接公有云云平台(可基于OpenStack、Kubernetes等开源标准架构予以部署)。
在本实施例中，资源服务组件30可针对不同类型的虚拟化网关，即前述OpenStack网关51、VMware网关52及公有云网关53。VMware网关52 与OpenStack网关51对彼此所挂载的数据中心中的同步过程相同，并均受资源服务组件30的控制，并与不同的虚拟化软件10通过底层虚拟化技术所形成的一个或者多个数据中心中的数据存储区执行数据资源的同步。同时，数据资源在逻辑上是位于数据中心内的云主机。
同时，需要说明的是，在本实施例中，该超融合云平台在执行箭头21) 所示出的处理数据过程中，可使用资源服务组件30剥离箭头20)所返回的全部数据资源中所包含的模板磁盘及增量磁盘快照所对应的数据，以降低资源服务组件30所部署的缓存的存储开销及资源服务组件30的计算开销。
本实施例与实施例一和/或实施例二中相同部分的技术方案，请参实施例一和/或实施例二所述，在此不再赘述。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (14)

1.一种基于VMware云平台的资源同步方法，
其特征在于，包括以下步骤：
S1、获取指定数据存储区所包含的数据资源，扫描挂载所述指定数据存储区的数据中心中存在磁盘的目录地址；
S2、确定待执行数据资源同步操作的数据存储区是否存在HTTP请求超时，并在存在HTTP请求超时时，查询待执行数据资源同步操作的数据存储区的文件夹目录以确定所述待执行数据资源同步操作的数据存储区中当前存在的文件夹；
S3、拆分文件夹目录中所包含的文件夹，以形成若干包含至少一个文件夹的查询请求，对所述待执行数据资源同步操作的数据存储区逐一执行查询请求，并分别对存在不一致的文件夹所所关联的数据资源执行同步操作。
2.根据权利要求1所述的方法，其特征在于，所述步骤S3中单个查询请求中包含不超过50个文件夹。
3.根据权利要求2所述的方法，其特征在于，所述步骤S3中单个查询请求中包含不超过10个文件夹。
4.根据权利要求1至3中任一项所述的方法，其特征在于，确定待执行数据资源同步操作的数据存储区是否存在HTTP请求超时由资源服务组件能否在预设的HTTP请求超时时间内获取VMware网关返回的数据资源予以判断；其中，所述数据资源由虚拟机镜像文件、虚拟机、虚拟路由器配置、虚拟网络配置或者磁盘数据中的一种数据或者几种数据定义。
5.根据权利要求4所述的方法，其特征在于，所述步骤S1具体为：
使用资源服务组件向VMware网关发起获取指定数据存储区所包含的数据资源的HTTP请求，通过所述VMware网关向挂载指定数据存储区的vSphere发送所述HTTP请求，所述VMware网关接收由指定数据存储区所包含的数据资源，并载入资源服务组件。
6.根据权利要求4所述的方法，其特征在于，所述步骤S2还包括：待执行数据资源同步操作的数据存储区存在HTTP请求超时时，将返回超时的数据资源写入缓存。
7.根据权利要求4所述的方法，其特征在于，所述步骤S2中确定待执行数据资源同步操作的数据存储区是否存在HTTP请求超时具体为：
使用资源服务组件向VMware网关发起获取待执行数据资源同步操作的数据存储区的HTTP请求，通过所述VMware网关向挂载待执行数据资源同步操作的数据存储区的vSphere发送所述HTTP请求，由所述资源服务组件能否在预设的HTTP请求超时时间内获取VMware网关返回的数据资源予以判断。
8.根据权利要求5所述的方法，其特征在于，所述指定数据存储区与所述待执行数据资源同步操作的数据存储区位于同一数据中心。
9.根据权利要求5所述的方法，其特征在于，所述指定数据存储区与所述待执行数据资源同步操作的数据存储区分别位于独立的两个数据中心，且两个数据中心挂载于所述VMware网关。
10.根据权利要求7所述的方法，其特征在于，还包括：
根据待执行数据资源同步操作的数据存储区所对应的HTTP请求超时的时长指标，对单个查询请求中所包含的文件夹的数量进行调整。
11.根据权利要求4所述的方法，其特征在于，所述步骤S3执行完毕后还包括：使用资源服务组件剔除对指定数据存储区中所包含的云主机模板及云主机快照的数据资源执行同步操作。
12.一种超融合云平台，其特征在于，包括：
API网关、资源服务组件、虚拟化软件、适配层网关及资源池，所述资源池由存储节点、计算节点及网络节点组成；
所述超融合云平台运行如权利要求1至11中任一项所述的基于VMware云平台的资源同步方法的步骤。
13.根据权利要求12所述的超融合云平台，其特征在于，所述适配层网关包括OpenStack网关、VMware网关及公有云网关；
所述VMware网关挂载至少一个包含若干数据存储区的数据中心。
14.根据权利要求12所述的超融合云平台，其特征在于，所述虚拟化软件包括vSphere、Ubuntu或者CentOS；
所述存储节点由SAN存储装置、DAS存储装置、NAS存储装置、iSCSI存储装置或者Ceph存储装置中的一种或者任意几种存储装置组成。
CN202010324598.5A 2020-04-23 2020-04-23 基于VMware云平台的资源同步方法及超融合云平台 Active CN111552540B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010324598.5A CN111552540B (zh) 2020-04-23 2020-04-23 基于VMware云平台的资源同步方法及超融合云平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010324598.5A CN111552540B (zh) 2020-04-23 2020-04-23 基于VMware云平台的资源同步方法及超融合云平台

Publications (2)

Publication Number Publication Date
CN111552540A true CN111552540A (zh) 2020-08-18
CN111552540B CN111552540B (zh) 2023-07-04

Family

ID=72003895

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010324598.5A Active CN111552540B (zh) 2020-04-23 2020-04-23 基于VMware云平台的资源同步方法及超融合云平台

Country Status (1)

Country Link
CN (1) CN111552540B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113448517A (zh) * 2021-06-04 2021-09-28 山东英信计算机技术有限公司 一种固态硬盘写大块数据处理方法、装置、设备及介质
CN113596128A (zh) * 2021-07-21 2021-11-02 华云数据控股集团有限公司 一种多云平台的资源同步方法、系统及电子设备
CN114860770A (zh) * 2022-04-15 2022-08-05 北京科杰科技有限公司 基于数据服务的优化方法、系统、计算机设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106294496A (zh) * 2015-06-09 2017-01-04 北京京东尚科信息技术有限公司 一种基于hadoop集群的数据迁移方法和工具
CN106407190A (zh) * 2015-07-27 2017-02-15 阿里巴巴集团控股有限公司 一种事件记录查询方法及装置
US10083057B1 (en) * 2016-03-29 2018-09-25 EMC IP Holding Company LLC Migration of active virtual machines across multiple data centers

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106294496A (zh) * 2015-06-09 2017-01-04 北京京东尚科信息技术有限公司 一种基于hadoop集群的数据迁移方法和工具
CN106407190A (zh) * 2015-07-27 2017-02-15 阿里巴巴集团控股有限公司 一种事件记录查询方法及装置
US10083057B1 (en) * 2016-03-29 2018-09-25 EMC IP Holding Company LLC Migration of active virtual machines across multiple data centers

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113448517A (zh) * 2021-06-04 2021-09-28 山东英信计算机技术有限公司 一种固态硬盘写大块数据处理方法、装置、设备及介质
CN113596128A (zh) * 2021-07-21 2021-11-02 华云数据控股集团有限公司 一种多云平台的资源同步方法、系统及电子设备
CN113596128B (zh) * 2021-07-21 2024-02-09 华云数据控股集团有限公司 一种多云平台的资源同步方法、系统及电子设备
CN114860770A (zh) * 2022-04-15 2022-08-05 北京科杰科技有限公司 基于数据服务的优化方法、系统、计算机设备及介质

Also Published As

Publication number Publication date
CN111552540B (zh) 2023-07-04

Similar Documents

Publication Publication Date Title
US20210382859A1 (en) System and method for connection concentration in a database environment
US9304804B2 (en) Replicating virtual machines across different virtualization platforms
US9268610B2 (en) Rapid virtual machine cloning
CN110377395B (zh) 一种Kubernetes集群中的Pod迁移方法
EP2965200B1 (en) Method and system for providing a roaming remote desktop
US8949828B2 (en) Single point, scalable data synchronization for management of a virtual input/output server cluster
US9424117B1 (en) Virtual storage processor failover
US8473692B2 (en) Operating system image management
US10754741B1 (en) Event-driven replication for migrating computing resources
US9489230B1 (en) Handling of virtual machine migration while performing clustering operations
CN111552540B (zh) 基于VMware云平台的资源同步方法及超融合云平台
US20160239392A1 (en) Preserving management services with distributed metadata through the disaster recovery life cycle
US20200026786A1 (en) Management and synchronization of batch workloads with active/active sites using proxy replication engines
US8495178B1 (en) Dynamic bandwidth discovery and allocation to improve performance for backing up data
AU2019397405B2 (en) Predictive microservice systems and methods
US20220358106A1 (en) Proxy-based database scaling
US20200133701A1 (en) Software service intervention in a computing system
US11921596B2 (en) Virtual machine failover management for geo-redundant data centers
US10552404B2 (en) Retrospective snapshots in log-structured storage systems
US20230169093A1 (en) Fast database scaling utilizing a decoupled storage and compute architecture
WO2023097229A1 (en) Fast database scaling utilizing a decoupled storage and compute architecture
US11507512B2 (en) Fault tolerant cluster data handling
US11994954B2 (en) Fast disaster recover from backup storage using smart links
US20230131665A1 (en) Updating virtual images of computing environments
Nilsson Hadoop MapReduce in Eucalyptus Private Cloud

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: No. 6 Science and Education Software Park, Binhu District, Wuxi City, Jiangsu Province

Applicant after: Huayun data holding group Co.,Ltd.

Address before: No. 6 Science and Education Software Park, Binhu District, Wuxi City, Jiangsu Province

Applicant before: WUXI CHINAC DATA TECHNICAL SERVICE Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant