CN107085539B - 一种云数据库系统以及云数据库资源动态调整方法 - Google Patents

一种云数据库系统以及云数据库资源动态调整方法 Download PDF

Info

Publication number
CN107085539B
CN107085539B CN201710289907.8A CN201710289907A CN107085539B CN 107085539 B CN107085539 B CN 107085539B CN 201710289907 A CN201710289907 A CN 201710289907A CN 107085539 B CN107085539 B CN 107085539B
Authority
CN
China
Prior art keywords
regionserver
datanode
data
resource pool
cloud platform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710289907.8A
Other languages
English (en)
Other versions
CN107085539A (zh
Inventor
崔岩松
潘永灿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201710289907.8A priority Critical patent/CN107085539B/zh
Publication of CN107085539A publication Critical patent/CN107085539A/zh
Application granted granted Critical
Publication of CN107085539B publication Critical patent/CN107085539B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/563—Data redirection of data network streams
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5011—Pool
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/508—Monitor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种云数据库系统以及云数据库资源动态调整方法。该系统包括：数据库集群、监控中心以及云平台资源池；其中，所述数据库集群用于向所述监控中心提供负载数据；所述监控中心，用于监控数据库集群的负载数据；根据所述负载数据，判断是否需要调整数据库集群内的资源；在需要调整资源后，与云平台资源池进行交互，以释放或者增加数据库集群内的资源；所述云平台资源池，用于分配资源或者回收资源。该系统能够自动对云数据库的资源根据实际需求进行自动的调整。

Description

一种云数据库系统以及云数据库资源动态调整方法
技术领域
本发明涉及云数据库技术领域，具体而言，涉及一种云数据库系统以及云数据库资源动态调整方法。
背景技术
随着网络的兴起，越来越多的行业，将会把自己的各种资源信息以数字化的形式存放到数据库中，这不仅能方便企业存取信息，也能方便企业高效的利用这些信息，分析自己的不足，提高企业生产效率。
数据对企业来说越来越重要，存取数据的技术也显得越来越重要。尽管数据存储技术经过几十年的发展，已经取得了长足的进步，但面对今天以大数据为背景的信息时代，传统的数据存储技术由于其本身设计的限制，很难适应当今数据快速增加，大容量和高性能的需求。非关系型数据存储系统为存取大量数据带来了希望，然而却要依靠复杂的人工部署。人工部署具有一定的滞后性，可能会造成性能过剩或者性能的不足，很难满足实际的需要。
发明内容
有鉴于此，本发明实施例的目的在于提供一种云数据库系统以及云数据库资源动态调整方法，能够自动对云数据库的资源根据实际需求进行自动的调整。
第一方面，本发明实施例提供了一种云数据库系统，包括：数据库集群、监控中心以及云平台资源池；
其中，所述数据库集群用于向所述监控中心提供负载数据；
所述监控中心，用于监控数据库集群的负载数据；根据所述负载数据，判断是否需要调整数据库集群内的资源；在需要调整资源后，通过与云平台资源池进行交互，以释放或者增加数据库集群内的资源；
所述云平台资源池，用于分配资源或者回收资源。
结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中：所述数据库集群具体包括：分布式计算主机HMaster以及多个区域服务器RegionServer；
所述数据库集群的负载数据包括：RegionServer的性能数据；
所述HMaster，用于向所述监控中心发送各个RegionServer的性能数据；
所述监控中心具体用于，接收所述HMaster所发送的各个RegionServer的性能数据，并将各个RegionServer的性能数据与性能最大阈值进行比对；如果所述RegionServer的性能数据大于所述性能最大阈值，则生成并向所述云平台资源池发送RegionServer创建指令；如果所述RegionServer的性能数据小于所述性能最小阈值，则向所述云平台资源池发送RegionServer消除指令，并向对应的RegionServer发送数据迁移指令；
所述RegionServer，用于接收数据迁移指令，并根据所述数据迁移指令进行数据迁移；
所述云平台资源池，具体用于接收到RegionServer创建指令，并根据所述RegionServer创建指令创建新的RegionServer；在接收到RegionServer消除指令后，消除进行数据迁移后的RegionServer。
结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中：所述云平台资源池，还用于在创建新的RegionServer后，生成创建反馈信息返回至监控中心；
所述监控中心，还用于根据反馈信息生成更新推送信息，并将所述更新推送信息发送至HMaster；
新创建的所述RegionServer，用于向HMaster发送配置信息；
所述HMaster，还用于接收所述更新推送信息以及所述配置信息，并根据所述更新推送信息以及所述配置信息，将新创建的所述RegionServer加入到数据库集群。
结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中：所述监控中心，还用于接收RegionServer返回的迁移反馈信息后，向该RegionServer发送关机指令；接收云平台资源池所发送的消除反馈信息后，向HMaster反馈RegionServer消除信息；
所述RegionServer，还用于在完成数据迁移后，向所述监控中心返回迁移反馈信息；在接收到监控中心所发送的关机指令后进入休眠或者关机；
所述云平台资源池，具体用于在消除了进行数据迁移后的RegionServer后，生成消除反馈信息返回至所述监控中心；
所述HMaster，还用于接收监控中心所发送的RegionServer消除信息，将对应的RegionServer从数据库集群内删除。
结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中：所述数据库集群具体包括：分布式文件系统HDFS；所述HDFS包括：名字节点NameNode以及数据节点DataNode；
所述数据库集群的负载数据包括：DataNode的容量数据；
所述DataNode，用于向NameNode发送心跳连接数据；
所述NameNode，用于接收各个DataNode的心跳连接数据，并根据DataNode的心跳连接数据中生成所述DataNode的容量数据，将所述DataNode的容量数据发送至监控中心；
所述监控中心，具体用于接收所述DataNode的容量数据，并将所述DataNode的容量数据与预设容量阈值进行比对；如果DataNode的容量数据大于所述容量阈值，则生成DataNode生成指令，发送给云平台资源池；
所述云平台资源池，具体用于接收所述DataNode生成指令，并根据所述DataNode生成指令创建新的DataNode。
结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中：所述云平台资源池，还用于在创建新的DataNode之后，向监控中心返回DataNode创建信息；
所述监控中心，还用于接收DataNode创建信息，并根据所述DataNode创建信息生成DataNode配置信息，发送给新创建的DataNode，以实现对新创建的DataNode的配置；
新创建的所述DataNode，还根据所述DataNode配置信息进行配置，并在配置完成后，向所述NameNode发送心跳连接数据；
所述NameNode，还用于接收新创建的DataNode所发送的心跳连接数据，并根据新创建的DataNode所发送的心跳连接数据，将新创建的DataNode加入到数据库集群中。
结合第一方面，本发明实施例提供了第一方面的第六种可能的实施方式，其中：所述数据库集群，还用于在云平台资源池分配资源后，对资源执行负载均衡。
第二方面，本发明实施例还提供一种云数据库资源动态调整方法，包括：
监控数据库集群的负载数据；
根据所述负载数据，判断是否需要调整数据库集群内的资源；
在需要调整资源后，与云平台资源池进行交互，以释放或者增加数据库集群内的资源。
结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中：
所述负载数据包括：各个RegionServer的性能数据；
根据下述步骤判断是否需要调整数据库集群内的资源：
获取HMaster所发送的各个RegionServer的性能数据；
将各个RegionServer的性能数据与性能最大阈值进行比对；
如果所述RegionServer的性能数据大于所述性能最大阈值，则云平台资源池发送RegionServer创建指令，以使得云平台资源池创建新的RegionServer；
如果所述RegionServer的性能数据小于所述性能最小阈值，则向云平台资源池发送RegionServer消除指令，以使得云平台资源池对进行了数据迁移的RegionServer进行消除。
结合第二方面，本发明实施例提供了第二方面的第二种可能的实施方式，其中：所述数据库集群的负载数据包括：DataNode的容量数据；
根据下述步骤判断是否需要调整数据库集群内的资源：
获取NameNode所发送的DataNode的容量数据；
将所述DataNode的容量数据与预设容量阈值进行比对；
如果DataNode的容量数据大于所述容量阈值，则向云平台资源池发送DataNode生成指令，以使得所述云平台资源池创建新的DataNode。
本发明实例所提供的云数据库系统以及云数据库资源动态调整方法，数据库集群会向监控中心提供负载数据。负载包括两方面的内容，其一是当前云数据库系统的容量负载，其二是当前数据库访问负载。监控中心在接收到数据库集群发送的负载数据之后，会根据该负载数据判断是否需要调整数据库集群内的资源；在需要调整资源的时候，通过与云平台资源池进行交互，来进行资源的释放或者增加，这种云数据库系统根据云数据库当前运行的具体状态来动态的调整资源的分配，满足需求量变化的情况。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例所提供的一种云数据库系统的结构示意图；
图2示出了本发明实施例所提供的另一种云数据库系统的结构示意图；
图3示出了本发明实施例所提供的一种云数据库资源动态调整方法的流程图；
图4示出了本发明实施例所提供的另一种云数据库资源动态调整方法的流程图；
图5示出了本发明实施例所提供的另一种云数据库资源动态调整方法的流程图；
图6示出了本发明实施例所提供的另一种云数据库资源动态调整方法的流程图；
图7示出了本发明实施例所提供的另一种云数据库资源动态调整方法的流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
有这样一种企业，其白天业和夜间的业务访问量相差较大，这归结为第一种企业。也有另外一种企业，其业务访问量会因为某些节日，而出现较大幅度的波动，这归结为第二种企业。第一种企业为了满足业务的需求，可能会按照白天的访问标准进行数据存取系统资源配置。到了夜间，势必会造成较多的性能冗余，会有额外一些电力浪费在服务器和制冷设备上，同时也会造成物理硬件一定程度的损耗。第二种企业，如果按照最高业务访问量来配置数据存取系统资源，企业将有一笔额外的开销花费在日常性能过剩上。如果按日常业务访问量配置数据存取系统，则到了某些固定的节日，服务请求可能会出现较长时间的延迟，也或者根本无响应，给企业带来一定的损失。基于以上情况，本申请提供的一种云数据库系统以及云数据库资源动态调整方法，将物理服务器虚拟化成私有云结点，形成一个云数据库系统，通过动态调整整个云数据库系统的资源配置，来满足需求量变化的情况。云计算的发展，将大量物理计算机连接起来，使得计算能力得到显著提升，而且可以根据需要，按需分配资源。如果非关系型数据存储系统能够和云计算结合起来，利用云计算配置资源的灵活性，能够根据需要，来自动配置数据库，对企业来说，不仅减少了人力开支，而且在满足实际需求的情况下，最大限度地减少了无关资源的消耗，提升服务质量。当访问量增大时，能够通过增加HBase的RegionServer结点，来增加HBase的吞吐量，提高HBase系统的性能。当访问量小的时候，在不影响用户体验的情况下，减少HBase RegionServer数量，减少物理资源的消耗。当系统的存储容量不足时，能够通过增加DataNode结点的方式，增加系统的存储容量。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种云数据库系统进行详细介绍，参见图1所示，本发明实施例所提供云数据库系统包括：数据库集群、监控中心以及云平台资源池；
其中，所述数据库集群用于向所述监控中心提供负载数据；
所述监控中心，用于监控数据库集群的负载数据；根据所述负载数据，判断是否需要调整数据库集群内的资源；在需要调整资源后，通过应用程序接口API与云平台资源池进行交互，以释放或者增加数据库集群内的资源；
所述云平台资源池，用于分配资源或者回收资源。
本发明实施例所提供的云数据库系统在具体实现的时候，数据库集群会向监控中心提供负载数据。负载包括两方面的内容，其一是当前云数据库系统的容量负载，其二是当前数据库访问负载。监控中心在接收到数据库集群发送的负载数据之后，会根据该负载数据判断是否需要调整数据库集群内的资源；在需要调整资源的时候，通过云平台资源池进行交互，来进行资源的释放或者增加，这种云数据库系统根据云数据库当前运行的具体状态来动态的调整资源的分配，满足需求量变化的情况。
参见图2所示，在本发明另一个实施例中，数据库集群实际上是运行在一个云计算平台上的HBase(Hadoop Database，分布式存储系统)系统，HBase系统一般包括：HMaster(Hadoop Master，分布式计算主机)、区域服务器RegionServer、分布式服务框架ZooKeeper、客户端Client以及HDFS(Hadoop Distributed File System，分布式文件系统)；其中HDFS是HBase系统的文件存储系统。由于在本发明中仅仅涉及到HMaster、RegionServer、HBase，因此仅对上述三者进行详细描述。
在RegionServer中，一张表被分成多个部分，每一部分叫做一个区域Region，分布在多个RegionServer中。Region中会保存一个表里面某段连续的数据，RegionServer提供维护用户创建的表中的每个Region块。日志HLog和存储器Store共同构成了Region。Store由两部分组成，分别是Memstore和StoreFile，是HBase系统存储的核心。
HMaster一方面负责对集群环境中的ReginServer进行负载均衡，另一方面给RegionServer分配区域，还维护数据库集群环境中的ReginServer的运行状况。
HDFS主要由数据节点DataNode和名字节点NameNode组成，其中NameNode负责处理客户端的请求，存储元数据，管理数据块的映射，配置副本，管理HDFS的命名空间。DataNode是数据块存储结点，直接与磁盘进行交互。DataNode通过周期性的向NameNode发送心跳和数据块，与NameNode保持通信。
本发明实施例中的负载数据包括两方面的内容：
一、RegionServer的性能数据。
当所述数据库集群的负载数据包括：RegionServer的性能数据。
所述HMaster，用于向所述监控中心发送各个RegionServer的性能数据。
在具体实现的时候，各个RegionServer的性能数据可以有多种获取方式，例如，使用集群监控软件Ganglia来进行获取。将Gaglia分别部署在HBase的各个节点(主要是指RegionServer)上，在HMaster上部署Gmetad(UC Berkeley发起的一个开源集群监视项目，设计用于测量数以千计的节点，其包括：gmond、gmetad以及一个Web前端)程序收集各个节点传回来数据。gmetad通过单播路由的方式与gmond通信，收集监控区域内各个节点的状态信息，并将获得的数据保存；在HBase集群的每台RegionServer结点上都运行一个gmond程序，该程序收集和发送监控数据，到Gmetad结点上。其最终具体所获得的RegionServer的性能数据包括：RegionServer中region的数量以及region的内存使用量中至少一种。
监控中心在获取到RegionServer的性能数据后，会将各个RegionServer的性能数据与性能最大阈值进行比对；如果所述RegionServer的性能数据大于所述性能最大阈值，则生成并向所述云平台资源池发送RegionServer创建指令，云平台资源池在接收到RegionServer创建指令后，创建新的RegionServer，以增加数据库集群内的RegionServer；如果所述RegionServer的性能数据小于所述性能最小阈值，则所述云平台资源池发送RegionServer消除指令，云平台资源池会在对应的RegionServer进行数据迁移后，消除该RegionServer。
所述云平台资源池，具体用于接收到RegionServer创建指令，并根据所述RegionServer创建指令创建新的RegionServer；在接收到RegionServer消除指令后，消除进行数据迁移后的RegionServer。
另外，由于被消除的RegionServer中还存储有相关的数据，因此需要在消除之前对即将被消除的RegionServer中的相关数据进行数据迁移。此时，需要监控中心向对应的RegionServer发出数据迁移指令。数据迁移指令中可以指明数据迁移的目标RegionServer，需要进行数据迁移的RegionServer在接收到该数据迁移指令后，根据该数据迁移指令，将相关的数据迁移至目标RegionServer。
在此需要注意的是，由于HMaster每隔预设时间都会对数据库集群内的RegionServer进行负载均衡，因此在一般情况下，RegionServer上的Region是比较均衡的。而由于RegionServer有多个，每个RegionServer上的Region也是多个，因此在将各个RegionServer的性能数据与性能最大阈值进行比对的时候，实际上应当预设一个比对的条件。
例如当80％以上RegionServer中Region的数量超出了最大阈值，同时70％的region的内存使用量超出了最大阈值，此时，认为RegionServer的性能数据大于所述性能最大阈值，当80％以上RegionServer中Region的数量小于最小阈值，同时70％的region的内存使用量小于最小阈值，则认为，RegionServer的性能数据小于所述性能最小阈值。需要注意的是上述对比的条件仅仅是一个示例，可以任意设置其中Region的数量以及region的内存使用量的百分比，也可以设置其他的条件，例如仅仅将Region的数量作为参考量，或者将region的内存使用量作为参考量。
另外，为了防止上述判断有误，错误的曾加RegionServer或者减少RegionServer，HMaster会在一次负载均衡后预设时间内向监控中心推送RegionServer的性能数据，使得监控中心所接收到的RegionServer的性能数据是最新数据。
所述云平台资源池，具体用于接收到RegionServer创建指令，根据所述RegionServer创建指令创建新的RegionServer；在接收到RegionServer消除指令后，消除进行数据迁移后的RegionServer。其具体包括以下两方面的内容：
1、根据所述RegionServer创建指令创建新的RegionServer时：
所述云平台资源池，还用于在创建新的RegionServer后，生成创建反馈信息返回至监控中心；
所述监控中心，还用于根据反馈信息生成更新推送信息，并将所述更新推送信息发送至HMaster；
新创建的所述RegionServer，用于向HMaster发送配置信息；
所述HMaster，还用于接收所述更新推送信息以及所述配置信息，并根据所述更新推送信息以及所述配置信息，将新创建的所述RegionServer加入到数据库集群。
具体地，云平台资源池在创建新的RegionServer时，为了能够先行对RegionServer进行配置，以便HMaster能够有权限对其进行管理，要先创建RegionServer系统镜像文件。在创建虚拟机时，需要指定虚拟机类型，主要是指虚拟机硬件的配置，比如CPU个数，内存大小，磁盘容量等。另外，还需要指定虚拟机安全策略，网络配置等。
创建的虚拟机会自动启动。由于在制作镜像处理文件时，配置有监控中心远程登陆的公钥，因此，监控中心，可以远程控制新增结点的RegionServer。虚拟机开启以后，控制处理中心会将最新配置拷贝到该主机上，并启动相关工作程序。
2、云平台资源池在接收到RegionServer消除指令后，消除进行数据迁移后的RegionServer：
所述监控中心，还用于接收RegionServer返回的迁移反馈信息后，向该RegionServer发送关机指令；接收云平台资源池所发送的消除反馈信息后，向HMaster反馈RegionServer消除信息；
所述RegionServer，还用于在完成数据迁移后，向所述监控中心返回迁移反馈信息；在接收到监控中心所发送的关机指令后进入休眠或者关机；
所述云平台资源池，具体用于在消除了进行数据迁移后的RegionServer后，生成消除反馈信息返回至所述监控中心；
所述HMaster，还用于接收监控中心所发送的RegionServer消除信息，将对应的RegionServer从数据库集群内删除。
在具体实现的时候，如果需要减少RegionServer的数量，不能直接关闭虚拟机，虽然HBase可以对下线的RegionServer进行被动反应，但从一个下线的RegionServer状态恢复，需要它已经检测出那个RegionServer已经下线了，然后才重新分配region，这可能会经历一次可用性的轻微降低。合理的做法是主动转移Region到其它RegionServer，然后再关闭RegionServer，这样会更安全一些。
首先关闭均衡器，告诉HBase不要再向这台RegionServer分配任务了，同时告诉HBase系统，这个RegionServer要下线了，把这上面的数据转移走。转移完数据之后，这台RegionServer已经和整个HBase没什么联系了，这个时候就可关闭RegionServer。
在具体实现的时候，监控中心在判断某个RegionServer需要从数据库集群内被删除，云平台资源池回收分配给该RegionServer的资源时，需要先向对应的RegionServer发送数据迁移指令。该RegionServer接收到数据迁移指令之后，将其上运行的Region迁移至其他RegionServer；完成数据迁移后，RegionServer会向监控中心返回迁移反馈信息。监控中心在接收到该迁移反馈信息之后，向该RegionServer发送关机指令。RegionServer在接收到该关机指令之后执行关机；监控中心还会向用云平台资源池发送RegionServer消除指令，使得云平台资源池将该RegionServer消除；云平台资源池将该RegionServer消除，回收该RegionServer消除占用的资源，并向监控中心返回消除反馈信息。监控中心会接收云平台资源池所发送的消除反馈信息后，向HMaster反馈RegionServer消除信息；HMaster接收监控中心所发送的RegionServer消除信息，将对应的RegionServer从数据库集群内删除，从而完成了一个RegionServer从数据库集群中被删除的整个过程。
二：所述数据库集群的负载数据包括：DataNode的容量数据：
具体地，在HDFS系统中，可以通过增加DataNode的数量来增加HDFS的容量。在HBase投入实际生产环境的情况下，HBase存的数据是越来越多的，HDFS的容量应该是不断增大的，因此在本发明中仅包括对DataNode的增加。
具体地，
所述DataNode，用于向NameNode发送心跳连接数据；
所述NameNode，用于接收各个DataNode的心跳连接数据，并根据DataNode的心跳连接数据中生成所述DataNode的容量数据，将所述DataNode的容量数据发送至监控中心；
所述监控中心，具体用于接收所述DataNode的容量数据，并将所述DataNode的容量数据与预设容量阈值进行比对；如果DataNode的容量数据大于所述容量阈值，则生成DataNode生成指令，发送给云平台资源池；
所述云平台资源池，具体用于接收所述DataNode生成指令，并根据所述DataNode生成指令创建新的DataNode。
DataNode结点基于HDFS文件共享存储，单独拿出来，形成自己的独立服务结点。RegionServer需要较高的配置，DataNode不需要，放在一个配置不是太高的服务器上，节约开支。具体创建DataNode结点过程和创建RegionServer的过程基本一致，只需要把上面的RegionServer镜像换成DataNode镜像系统即可，配置的大小根据实际的现有硬件来配置即可。一般情况下，DataNode的数量会越来越多，如果在正常工作的情况下，不会减少DataNode结点，这也符合数据库数据越来越多，容量越来越大的规律。如果DataNode结点出现损坏情况，由于在其它DataNode结点上有备份，HMaster会自动恢复数据，要做的就是更换一台新的DataNode结点服务器。
DataNode是HDFS的一个结点，该节点上运行着包含有DataNode程序的系统。这里，需要先做好一个配置好的DataNode镜像系统，当需要增加DataNode时，只需要通过云平台资源池的API，用该镜像创建一个实例即可。
另外，在本发明实施例所提供的云数据库系统中，所述云平台资源池，还用于在创建新的DataNode之后，向监控中心返回DataNode创建信息；
所述监控中心，还用于接收DataNode创建信息，并根据所述DataNode创建信息生成DataNode配置信息，发送给新创建的DataNode，以实现对新创建的DataNode的配置；
新创建的所述DataNode，还根据所述DataNode配置信息进行配置，并在配置完成后，向所述NameNode发送心跳连接数据；
所述NameNode，还用于接收新创建的DataNode所发送的心跳连接数据，并根据新创建的DataNode所发送的心跳连接数据，将新创建的DataNode加入到数据库集群中。
另外，本发明实施例所提供的云数据库系统中，所述数据库集群，还用于在云平台资源池分配资源后，对资源执行负载均衡。
具体地：DataNode负载均衡的具体过程为：
1、旧的DataNode每隔预设时间，向NameNode发送心跳数据；所述心跳数据包括状态信息以及名称；
2、新的DataNode向NameNode发送心跳数据；所述心跳数据包括状态信息以及名称；
3、NameNode将信息存到元数据中，通知负载均衡服务，给新增结点添加任务；
4、负载均衡服务获取NameNode节点所发送的DataNode数据分析报告，所述数据分析报告中包括磁盘使用信息以及位置信息；
5、均衡服务根据磁盘使用信息确定要迁移的数据，根据结点位置信息，确定待迁移DataNode节点以及要迁移的路径；
6、均衡服务向对应的DataNode节点发送迁移指令，该迁移指令中携带有路径信息以及要移动的数据信息；
7、DataNode接收到迁移指令后，根据迁移指令，将数据信息对应的待迁移数据块，按照迁移路径进行复制，并在复制完成之后删除本地保存的待迁移数据块；
8、原有DataNode向负载均衡服务确认数据已经迁移完成，进行其它数据块迁移任务，直至完成整个负载均衡过程。
具体地，根据下述步骤确定待迁移DataNode节点以及要迁移的路径：
1、根据所有DataNode节点的所述磁盘存储值计算集群存储平均值；
2、根据集群存储平均值以及预设的集群阈值，将所有DataNode节点划分到Over、Above、Below、Under四个分组中；
其中，Over分组中的DataNode节点存储值满足：
存储值＞平均值+集群阈值；
Above分组中的DataNode节点存储值满足：
平均值+集群阈值＞存储值＞平均值；
Below分组中的DataNode节点存储值满足：
平均值＞存储值＞平均值-集群阈值
Under分组中的DataNode节点存储值满足：
平均值-集群阈值＞存储值；
3、将Over分组中的DataNode节点作为起始节点，将Under分组中的DataNode节点作为目的节点；
4、起始节点到目的节点即为迁移路径。
具体地：RegionServer负载均衡的具体过程为：
1、HMaster遍历集群内每个RegionServer上的负载情况，获取每个RegionServer中region的数量；
2、根据RegionServer数量以及region的数量，计算负载最大值和负载最小值；
3、根据每个RegionServer中region的数量，将RegionServer进行排序；
4、按照从大到小的顺序，依次判断RegionServer中region的数量是否大于负载最大值，直至判断的结果为否；
5、如果判断的结果为是，则将region的数量与负载最大值的差值作为要迁移的Region数量，并将该RegionServer作为迁移的源地址；
6、按照从小到大的顺序，依次判断RegionServer中region的数量是否小于负载最小值，直至判断的结果为否；
7、如果判断的结果为是，则将该RegionServer作为数据迁移目的地址，并计算能够迁移的最大Region数量；
8、根据要迁移的Region数量以及对应的源地址、目的地址以及与目的地址对应的能够迁移的最大Region数量确定迁移路线；
9、根据迁移路线进行数据迁移。
另外，根据迁移路线完成数据迁移后，还包括：
1、每个RegionServer中region的数量，将RegionServer进行排序；
2、按照从小到大的顺序，依次判断RegionServer中region的数量是否小于负载最小值，直至判断的结果为否；
3、如果判断结果为是，则将该RegionServer作为饥饿服务器；
4、从负载最大的RegionServer节点开始，依次摘取预设数量的region迁移到饥饿服务器中，直至饥饿服务器中的region的数量不小于负载最小值。
本发明又一实施例还提供一种云数据库资源动态调整方法，参见图3所示，该方法的执行主体为监控中心，本发明实施例所提供的云数据库资源动态调整方法包括：
S301：获取数据库集群的负载数据；
S302：根据所述负载数据，判断是否需要调整数据库集群内的资源；
S303：在需要调整资源后，与云平台资源池进行交互，以释放或者增加数据库集群内的资源；
本发明实施例提供的云数据库资源动态调整方法，库集群会向监控中心提供负载数据。负载包括两方面的内容，其一是当前云数据库系统的容量负载，其二是当前数据库访问负载。监控中心在接收到数据库集群发送的负载数据之后，会根据该负载数据判断是否需要调整数据库集群内的资源；在需要调整资源的时候，通过与云平台资源池进行交互，来进行资源的释放或者增加，这种云数据库系统根据云数据库当前运行的具体状态来动态的调整资源的分配，满足需求量变化的情况。
参见图4所示，本发明实施例还提供另外一种云数据库资源动态调整方法，所述负载数据包括：各个RegionServer的性能数据；
根据下述步骤调整数据库集群内的资源：
S401：获取HMaster所发送的各个RegionServer的性能数据；
S402：将各个RegionServer的性能数据与性能最大阈值进行比对；
S403：如果所述RegionServer的性能数据大于所述性能最大阈值，则云平台资源池发送RegionServer创建指令，以使得云平台资源池创建新的RegionServer；
S404：如果所述RegionServer的性能数据小于所述性能最小阈值，则向云平台资源池发送RegionServer消除指令，以使得云平台资源池对进行了数据迁移的RegionServer进行消除。
参见图5所示，本发明实施例还提供另外一种云数据库资源动态调整方法，所述数据库集群的负载数据包括：DataNode的容量数据；
根据下述步骤调整数据库集群内的资源：
S501：获取NameNode所发送的DataNode的容量数据；
S502：将所述DataNode的容量数据与预设容量阈值进行比对；
S503：如果DataNode的容量数据大于所述容量阈值，则向云平台资源池发送DataNode生成指令，以使得所述云平台资源池创建新的DataNode。
另外，参见图6所示，本发明还提供一种数据库资源动态调整方法的实施例，具体包括：
S601：HMaster向所述监控中心发送各个RegionServer的性能数据；
S602：监控中心将各个RegionServer的性能数据与性能最大阈值进行比对；
S603：监控中心在所述RegionServer的性能数据大于所述性能最大阈值时，生成并向所述云平台资源池发送RegionServer创建指令；
S604：云平台资源池根据所述RegionServer创建指令创建新的RegionServer；
S605：云平台资源池，在创建新的RegionServer后，生成创建反馈信息返回至监控中心；
S606：监控中心根据创建反馈信息生成更新推送信息，并将所述更新推送信息发送至HMaster；
S607：新创建的所述RegionServer，向HMaster发送配置信息；
S608：HMaster根据所述更新推送信息以及所述配置信息，将新创建的所述RegionServer加入到数据库集群；
S609：监控中心在所述RegionServer的性能数据小于所述性能最小阈值时，向RegionServer发送数据迁移指令；
S610：RegionServer在接收数据迁移指令，并根据所述数据迁移指令进行数据迁移；
S611：RegionServer在完成数据钱以后，向监控中心发送迁移反馈信息；
S612：监控中心根据迁移反馈信息，生成关机指令，发送给RegionServer；
S613：RegionServer根据关机指令休眠或者关机；
S614：监控中心向在所述RegionServer的性能数据小于所述性能最小阈值时，向所述云平台资源池发送RegionServer消除指令；
S615：云平台资源池在接收到RegionServer消除指令后，消除进行数据迁移后的RegionServer。
S616：云平台资源池在消除了数据迁移后的RegionServer后，向监控中心返回消除反馈指令；
S617：监控中心根据消除反馈指令，生成RegionServer消除信息，发送给HMaster；
S618：HMaster根据RegionServer消除信息，将对应的RegionServer从数据库集群内删除。
需要注意的是，上述S610-S618中的部分步骤是需要并行执行的，或者是需要其他步骤的激活才能够进行的。
另外，参见图7所示，本发明还提供一种数据库资源动态调整方法的实施例，具体包括：
S701：所有的DataNode向NameNode发送心跳连接数据；
S702：NameNode，用于接收各个DataNode的心跳连接数据，并根据DataNode的心跳连接数据中生成所述DataNode的容量数据；
S703：NameNode将所述DataNode的容量数据发送至监控中心；
S704：监控中心将所述DataNode的容量数据与预设容量阈值进行比对；
S705：监控中心在DataNode的容量数据大于所述容量阈值时，生成DataNode生成指令，发送给云平台资源池；
S706：平台资源池根据所述DataNode生成指令创建新的DataNode。
S707：云平台资源池在创建新的DataNode之后，向监控中心返回DataNode创建信息；
S708：监控中心根据所述DataNode创建信息生成DataNode配置信息，发送给新创建的DataNode；
S709：新创建的所述DataNode，根据所述DataNode配置信息进行配置，并在配置完成后，向所述NameNode发送心跳连接数据；
S710：NameNode根据新创建的DataNode所发送的心跳连接数据，将新创建的DataNode加入到数据库集群中。
本发明实施例所提供的一种云数据库系统以及云数据库资源动态调整方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的方法过程具体工作过程，可以参考前述方法实施例中的对应系统，在此不再赘述。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (8)

1.一种云数据库系统，其特征在于，包括：数据库集群、监控中心以及云平台资源池；
其中，所述数据库集群用于向所述监控中心提供负载数据；
所述监控中心，用于监控数据库集群的负载数据；根据所述负载数据，判断是否需要调整数据库集群内的资源；在需要调整资源后，与云平台资源池进行交互，以释放或者增加数据库集群内的资源；
所述云平台资源池，用于分配资源或者回收资源；
所述数据库集群具体包括：分布式计算主机HMaster以及多个区域服务器RegionServer；
所述数据库集群的负载数据包括：RegionServer的性能数据；
所述HMaster，用于向所述监控中心发送各个RegionServer的性能数据；
所述监控中心具体用于，接收所述HMaster所发送的各个RegionServer的性能数据，并将各个RegionServer的性能数据与性能最大阈值进行比对；如果所述RegionServer的性能数据大于所述性能最大阈值，则生成并向所述云平台资源池发送RegionServer创建指令；如果所述RegionServer的性能数据小于所述性能最小阈值，则向所述云平台资源池发送RegionServer消除指令，并向对应的RegionServer发送数据迁移指令；
所述RegionServer，用于接收数据迁移指令，并根据所述数据迁移指令进行数据迁移；
所述云平台资源池，具体用于接收到RegionServer创建指令，并根据所述RegionServer创建指令创建新的RegionServer；在接收到RegionServer消除指令后，消除进行数据迁移后的RegionServer；
所述云平台资源池，还用于创建RegionServer系统镜像文件，并在创建新的RegionServer后，生成创建反馈信息返回至监控中心。
2.根据权利要求1所述的云数据库系统，其特征在于，
所述监控中心，还用于根据反馈信息生成更新推送信息，并将所述更新推送信息发送至HMaster；
新创建的所述RegionServer，用于向HMaster发送配置信息；
所述HMaster，还用于接收所述更新推送信息以及所述配置信息，并根据所述更新推送信息以及所述配置信息，将新创建的所述RegionServer加入到数据库集群。
3.根据权利要求1所述的云数据库系统，其特征在于，
所述监控中心，还用于接收RegionServer返回的迁移反馈信息后，向该RegionServer发送关机指令；接收云平台资源池所发送的消除反馈信息后，向HMaster反馈RegionServer消除信息；
所述RegionServer，还用于在完成数据迁移后，向所述监控中心返回迁移反馈信息；在接收到监控中心所发送的关机指令后进入休眠或者关机；
所述云平台资源池，具体用于在消除了进行数据迁移后的RegionServer后，生成消除反馈信息返回至所述监控中心；
所述HMaster，还用于接收监控中心所发送的RegionServer消除信息，将对应的RegionServer从数据库集群内删除。
4.根据权利要求1所述的云数据库系统，其特征在于，所述数据库集群具体包括：分布式文件系统HDFS；所述HDFS包括：名字节点NameNode以及数据节点DataNode；
所述数据库集群的负载数据包括：DataNode的容量数据；
所述DataNode，用于向NameNode发送心跳连接数据；
所述NameNode，用于接收各个DataNode的心跳连接数据，并根据DataNode的心跳连接数据中生成所述DataNode的容量数据，将所述DataNode的容量数据发送至监控中心；
所述监控中心，具体用于接收所述DataNode的容量数据，并将所述DataNode的容量数据与预设容量阈值进行比对；如果DataNode的容量数据大于所述容量阈值，则生成DataNode生成指令，发送给云平台资源池；
所述云平台资源池，具体用于接收所述DataNode生成指令，并根据所述DataNode生成指令创建新的DataNode。
5.根据权利要求4所述的云数据库系统，其特征在于，所述云平台资源池，还用于在创建新的DataNode之后，向监控中心返回DataNode创建信息；
所述监控中心，还用于接收DataNode创建信息，并根据所述DataNode创建信息生成DataNode配置信息，发送给新创建的DataNode，以实现对新创建的DataNode的配置；
新创建的所述DataNode，还用于根据所述DataNode配置信息进行配置，并在配置完成后，向所述NameNode发送心跳连接数据；
所述NameNode，还用于接收新创建的DataNode所发送的心跳连接数据，并根据新创建的DataNode所发送的心跳连接数据，将新创建的DataNode加入到数据库集群中。
6.根据权利要求1-5任意一项所述的云数据库系统，其特征在于，所述数据库集群，还用于在云平台资源池分配资源后，对资源执行负载均衡。
7.一种云数据库资源动态调整方法，其特征在于，包括：
获取数据库集群的负载数据；
根据所述负载数据，判断是否需要调整数据库集群内的资源；
在需要调整资源后，与云平台资源池进行交互，以释放或者增加数据库集群内的资源；
所述负载数据包括：各个RegionServer的性能数据；
根据下述步骤调整数据库集群内的资源：
获取HMaster所发送的各个RegionServer的性能数据；
将各个RegionServer的性能数据与性能最大阈值进行比对；
如果所述RegionServer的性能数据大于所述性能最大阈值，则云平台资源池发送RegionServer创建指令，以使得云平台资源池创建新的RegionServer；
如果所述RegionServer的性能数据小于所述性能最小阈值，则向云平台资源池发送RegionServer消除指令，以使得云平台资源池对进行了数据迁移的RegionServer进行消除；并接收所述云平台资源池创建RegionServer系统镜像文件，并在创建新的RegionServer后，生成的创建反馈信息。
8.根据权利要求7所述的方法，其特征在于，所述数据库集群的负载数据包括：DataNode的容量数据；
根据下述步骤调整数据库集群内的资源：
获取NameNode所发送的DataNode的容量数据；
将所述DataNode的容量数据与预设容量阈值进行比对；
如果DataNode的容量数据大于所述容量阈值，则向云平台资源池发送DataNode生成指令，以使得所述云平台资源池创建新的DataNode。
CN201710289907.8A 2017-04-27 2017-04-27 一种云数据库系统以及云数据库资源动态调整方法 Expired - Fee Related CN107085539B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710289907.8A CN107085539B (zh) 2017-04-27 2017-04-27 一种云数据库系统以及云数据库资源动态调整方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710289907.8A CN107085539B (zh) 2017-04-27 2017-04-27 一种云数据库系统以及云数据库资源动态调整方法

Publications (2)

Publication Number Publication Date
CN107085539A CN107085539A (zh) 2017-08-22
CN107085539B true CN107085539B (zh) 2019-12-10

Family

ID=59612302

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710289907.8A Expired - Fee Related CN107085539B (zh) 2017-04-27 2017-04-27 一种云数据库系统以及云数据库资源动态调整方法

Country Status (1)

Country Link
CN (1) CN107085539B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107707424A (zh) * 2017-09-11 2018-02-16 厦门集微科技有限公司 负载状态的控制方法及系统
CN107682184B (zh) * 2017-09-25 2019-10-11 平安科技（深圳）有限公司 云服务平台区域资源扩展方法、装置、设备及存储介质
CN110392078B (zh) * 2018-04-20 2021-08-13 中移(苏州)软件技术有限公司 一种维护共享文件的底层资源数据的方法和设备
CN109032788B (zh) * 2018-06-29 2019-09-20 北京百度网讯科技有限公司 预留资源池动态调度方法、装置、计算机设备及存储介质
CN109271256A (zh) * 2018-09-27 2019-01-25 浪潮软件股份有限公司 一种基于分布式部署的云资源管理和监控系统及方法
CN109819008A (zh) * 2018-10-16 2019-05-28 深圳市超盟金服技术信息服务有限公司 一种服务器数据迁移的方法、具有数据迁移功能的服务器及系统
US11182360B2 (en) * 2019-01-14 2021-11-23 Microsoft Technology Licensing, Llc Database tuning and performance verification using cloned database
CN110543355A (zh) * 2019-09-06 2019-12-06 无锡华云数据技术服务有限公司 一种自动均衡云平台资源的方法
CN112527767B (zh) * 2020-12-03 2024-05-10 许继集团有限公司 一种分布式数据库重启后多region表完整修复的方法及系统
CN113468140B (zh) * 2021-06-30 2023-04-07 上海掌门科技有限公司 数据迁移处理方法、电子设备及计算机可读存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101169785A (zh) * 2007-11-21 2008-04-30 浪潮电子信息产业股份有限公司 集群数据库系统的动态负载均衡方法
CN102170474A (zh) * 2011-04-22 2011-08-31 广州杰赛科技股份有限公司 一种云计算网络中虚拟资源动态调度方法及系统
CN102647452A (zh) * 2012-03-20 2012-08-22 广东电子工业研究院有限公司 基于大规模云计算平台的自适应资源监控系统及其方法
CN102857577A (zh) * 2012-09-24 2013-01-02 北京联创信安科技有限公司 一种集群存储自动负载均衡的系统及方法
CN103428292A (zh) * 2013-08-20 2013-12-04 浪潮集团有限公司 一种大数据有效存储的装置和方法
CN103533058A (zh) * 2013-10-17 2014-01-22 南京大学镇江高新技术研究院 面向HDFS/Hadoop存储集群的资源监控系统及方法
CN105159775A (zh) * 2015-08-05 2015-12-16 浪潮(北京)电子信息产业有限公司 基于负载均衡器的云计算数据中心的管理系统和管理方法
CN106257424A (zh) * 2016-06-16 2016-12-28 山东大学 一种基于kvm云平台的分布式数据库系统实现自动伸缩负载均衡的方法
CN106375420A (zh) * 2016-08-31 2017-02-01 武汉钢信软件有限公司 一种基于负载均衡的服务器集群智能监控系统及方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7403945B2 (en) * 2004-11-01 2008-07-22 Sybase, Inc. Distributed database system providing data and space management methodology
US7813276B2 (en) * 2006-07-10 2010-10-12 International Business Machines Corporation Method for distributed hierarchical admission control across a cluster

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101169785A (zh) * 2007-11-21 2008-04-30 浪潮电子信息产业股份有限公司 集群数据库系统的动态负载均衡方法
CN102170474A (zh) * 2011-04-22 2011-08-31 广州杰赛科技股份有限公司 一种云计算网络中虚拟资源动态调度方法及系统
CN102647452A (zh) * 2012-03-20 2012-08-22 广东电子工业研究院有限公司 基于大规模云计算平台的自适应资源监控系统及其方法
CN102857577A (zh) * 2012-09-24 2013-01-02 北京联创信安科技有限公司 一种集群存储自动负载均衡的系统及方法
CN103428292A (zh) * 2013-08-20 2013-12-04 浪潮集团有限公司 一种大数据有效存储的装置和方法
CN103533058A (zh) * 2013-10-17 2014-01-22 南京大学镇江高新技术研究院 面向HDFS/Hadoop存储集群的资源监控系统及方法
CN105159775A (zh) * 2015-08-05 2015-12-16 浪潮(北京)电子信息产业有限公司 基于负载均衡器的云计算数据中心的管理系统和管理方法
CN106257424A (zh) * 2016-06-16 2016-12-28 山东大学 一种基于kvm云平台的分布式数据库系统实现自动伸缩负载均衡的方法
CN106375420A (zh) * 2016-08-31 2017-02-01 武汉钢信软件有限公司 一种基于负载均衡的服务器集群智能监控系统及方法

Also Published As

Publication number Publication date
CN107085539A (zh) 2017-08-22

Similar Documents

Publication Publication Date Title
CN107085539B (zh) 一种云数据库系统以及云数据库资源动态调整方法
EP3467652B1 (en) Data balancing method and device
EP2501108B1 (en) Massively scalable object storage system
EP2784675B1 (en) Method, device and system for data reconstruction
EP3014444B1 (en) Computing connected components in large graphs
WO2017097059A1 (zh) 分布式数据库系统及其自适应方法
US10853242B2 (en) Deduplication and garbage collection across logical databases
CN108804465B (zh) 一种分布式缓存数据库数据迁移的方法及系统
US8713125B2 (en) Method and system for scaling usage of a social based application on an online social network
CN106339386B (zh) 数据库弹性调度方法以及装置
WO2017161979A1 (zh) 一种基于云平台管理服务器的方法及装置
AU2014218837A1 (en) Deduplication storage system with efficient reference updating and space reclamation
CN106599308A (zh) 一种分布式元数据管理方法及系统
US10712964B2 (en) Pre-forking replicas for efficient scaling of a distributed data storage system
CN113515364B (zh) 一种数据迁移的方法及装置、计算机设备和存储介质
CN112181309A (zh) 一种海量对象存储的在线扩容方法
CN104615606A (zh) 一种Hadoop分布式文件系统及其管理方法
CN108319596A (zh) 一种数据库的扩容方法和装置
CN111225003B (zh) 一种nfs节点配置方法和装置
CN113553179A (zh) 分布式键值存储负载均衡方法及系统
Chang et al. Write-aware replica placement for cloud computing
KR102172607B1 (ko) 분산·협업형 컨테이너 플랫폼 환경에서의 자원간 균형적 스케일아웃 방법
US11886225B2 (en) Message processing method and apparatus in distributed system
CN111078119B (zh) 一种数据重建方法、系统、装置及计算机可读存储介质
CN107656980B (zh) 应用于分布式数据库系统中的方法及分布式数据库系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20191210

CF01 Termination of patent right due to non-payment of annual fee