CN111796768B - 分布式服务协调方法、装置及系统 - Google Patents

分布式服务协调方法、装置及系统 Download PDF

Info

Publication number
CN111796768B
CN111796768B CN202010608840.1A CN202010608840A CN111796768B CN 111796768 B CN111796768 B CN 111796768B CN 202010608840 A CN202010608840 A CN 202010608840A CN 111796768 B CN111796768 B CN 111796768B
Authority
CN
China
Prior art keywords
access
node
pressure
information
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010608840.1A
Other languages
English (en)
Other versions
CN111796768A (zh
Inventor
颜高飞
夏龙飞
成诺
张家宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202010608840.1A priority Critical patent/CN111796768B/zh
Publication of CN111796768A publication Critical patent/CN111796768A/zh
Application granted granted Critical
Publication of CN111796768B publication Critical patent/CN111796768B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0653—Monitoring storage devices or systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种分布式服务协调方法、装置及系统。该分布式服务协调方法应用于同步协调节点，包括：接收来自接入节点的节点接入压力和来自数据存储节点的节点存储压力；根据节点接入压力确定接入层接入压力，根据接入层接入压力生成接入容量信息后发送至运维系统；接入容量信息为接入层扩容信息或接入层缩容信息；根据节点存储压力确定数据存储层存储压力，根据数据存储层存储压力生成存储容量信息后发送至运维系统；存储容量信息为数据存储层扩容信息或数据存储层缩容信息。本发明可以合理配置资源。

Description

分布式服务协调方法、装置及系统
技术领域
本发明涉及分布式服务技术领域，具体地，涉及一种分布式服务协调方法、装置及系统。
背景技术
多数分布式服务协调系统如ZOOKEEPER，一个集群由多个节点组成，各个节点仅运行状态不尽相同，将功能剥开来看，每个节点均具备承载客户端接入、服务数据存储运算以及与其他节点同步协调的能力，导致节点大且重，运行单节点需占用较多的物理资源。
在系统实际运行中，客户端连接、服务数据存储量、集群内部节点数的增减通常是不同步的。如当服务数大规模增长、客户端并未扩容时，集群可能会面临数据存储能力不足，需扩容节点以承载更多的数据存储量。但每扩容一个节点就相当于同时扩容了客户端接入层、数据存储层以及节点同步协调层，而此时，扩容客户端接入层和节点同步层是不必要的，非必要扩容导致资源配置存在不合理的现象。
发明内容
本发明实施例的主要目的在于提供一种分布式服务协调方法、装置及系统，以合理配置资源。
为了实现上述目的，本发明实施例提供一种分布式服务协调方法，应用于同步协调节点，包括：
接收来自接入节点的节点接入压力和来自数据存储节点的节点存储压力；
根据节点接入压力确定接入层接入压力，根据接入层接入压力生成接入容量信息后发送至运维系统；接入容量信息为接入层扩容信息或接入层缩容信息；
根据节点存储压力确定数据存储层存储压力，根据数据存储层存储压力生成存储容量信息后发送至运维系统；存储容量信息为数据存储层扩容信息或数据存储层缩容信息。
本发明实施例还提供一种分布式服务协调装置，包括：
接收单元，用于接收来自接入节点的节点接入压力和来自数据存储节点的节点存储压力；
接入容量信息生成单元，用于根据节点接入压力确定接入层接入压力，根据接入层接入压力生成接入容量信息后发送至运维系统；接入容量信息为接入层扩容信息或接入层缩容信息；
存储容量信息生成单元，用于根据节点存储压力确定数据存储层存储压力，根据数据存储层存储压力生成存储容量信息后发送至运维系统；存储容量信息为数据存储层扩容信息或数据存储层缩容信息。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并在处理器上运行的计算机程序，处理器执行计算机程序时实现所述的分布式服务协调方法的步骤。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现所述的分布式服务协调方法的步骤。
本发明实施例还提供一种分布式服务协调系统，包括：
位于数据存储层的数据存储节点、位于接入层的数据接入节点和位于同步协调层的同步协调节点；
数据接入节点发送节点接入压力至同步协调节点；
数据存储节点发送节点存储压力至同步协调节点；
同步协调节点接收节点接入压力和节点存储压力，根据节点接入压力确定接入层接入压力，根据接入层接入压力生成接入容量信息后发送至运维系统；接入容量信息为接入层扩容信息或接入层缩容信息；根据节点存储压力确定数据存储层存储压力，根据数据存储层存储压力生成存储容量信息后发送至运维系统；存储容量信息为数据存储层扩容信息或数据存储层缩容信息。
本发明实施例的分布式服务协调方法、装置及系统根据节点接入压力生成包括接入层扩容信息或接入层缩容信息的接入容量信息后发送至运维系统，根据节点存储压力生成包括数据存储层扩容信息或数据存储层缩容信息的存储容量信息后发送至运维系统，可以合理配置资源。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例中分布式服务协调方法的流程图；
图2是本发明实施例中分布式服务协调装置的结构框图；
图3是本发明实施例中计算机设备的结构框图；
图4是现有技术中分布式服务协调系统的示意图；
图5是本发明实施例中分布式服务协调系统的示意图；
图6是本发明另一实施例中分布式服务协调系统的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
鉴于非必要扩容导致资源配置存在不合理的现象，本发明实施例提供一种分布式服务协调方法，以合理配置资源。以下结合附图对本发明进行详细说明。
图1是本发明实施例中分布式服务协调方法的流程图。如图1所示，分布式服务协调方法应用于同步协调节点，包括：
S101：接收来自接入节点的节点接入压力和来自数据存储节点的节点存储压力。
其中，接入节点负责承载客户端连接压力，提供客户端接入系统的入口。接入节点无状态，客户端可通过第一负载均衡装置随机连接至任一接入节点。若客户端连接的接入节点异常时，可通过第一负载均衡装置自动选择连接至其他接入节点，接入节点无数量要求，可以随客户端的接入数量调整接入节点的数量。
数据存储节点负责承载服务数据压力，实际存储服务数据，并跟踪、运算数据变化情况。该层对客户端透明，接入节点通过第二负载均衡装置连接至该层转发服务数据。数据存储节点无数量要求，可以随服务数据的大小调整数据存储节点的数量。
S102：根据节点接入压力确定接入层接入压力，根据接入层接入压力生成接入容量信息后发送至运维系统。
其中，接入层接入压力为接入层中全部接入节点的节点接入压力的和。接入容量信息为接入层扩容信息或接入层缩容信息，可以根据接入层接入压力与预设接入层接入压力范围的比较结果生成接入层扩容信息或接入层缩容信息。例如，根据接入层接入压力与接入层接入压力上限生成接入层扩容信息，根据接入层接入压力与接入层接入压力下限生成接入层缩容信息。
运维人员通过运维系统获得接入层扩容信息或接入层缩容信息以对接入层进行扩容或缩容。当对接入层进行扩容时，根据接入层扩容信息上线新的接入节点至接入层；当对接入层进行缩容时，根据接入层缩容信息下线接入节点。
S103：根据节点存储压力确定数据存储层存储压力，根据数据存储层存储压力生成存储容量信息后发送至运维系统。
其中，数据存储层存储压力为数据存储层中全部数据存储节点的节点存储压力的和。存储容量信息为数据存储层扩容信息或数据存储层缩容信息，可以根据数据存储层存储压力与预设数据存储层存储压力范围的比较结果生成数据存储层扩容信息或数据存储层缩容信息。例如，根据数据存储层存储压力与数据存储层存储压力上限生成数据存储层扩容信息，根据数据存储层存储压力与数据存储层存储压力下限生成数据存储层缩容信息。
运维人员通过运维系统获得数据存储层扩容信息或数据存储层缩容信息以对数据存储层进行扩容或缩容。当对数据存储层进行扩容时，根据数据存储层扩容信息上线新的数据存储节点至数据存储层；当对数据存储层进行缩容时，根据数据存储层缩容信息下线数据存储节点。
图1所示的分布式服务协调方法的执行主体为同步协调节点。由图1所示的流程可知，本发明实施例的分布式服务协调方法根据节点接入压力生成包括接入层扩容信息或接入层缩容信息的接入容量信息后发送至运维系统，根据节点存储压力生成包括数据存储层扩容信息或数据存储层缩容信息的存储容量信息后发送至运维系统，可以合理配置资源。
一实施例中，还包括：
1、根据节点接入压力与预设接入压力阈值的比较结果发送接入节点隔离信息至第一负载均衡装置，以使第一负载均衡装置根据接入节点隔离信息分配新增客户端至接入节点。
其中，根据节点接入压力与预设接入压力阈值的比较结果发送接入节点隔离信息至第一负载均衡装置包括：
判断节点接入压力是否大于预设接入压力阈值；当节点接入压力大于预设接入压力阈值时，生成接入节点隔离信息后发送至第一负载均衡装置；接入节点隔离信息包括该节点接入压力对应的接入节点的地址。
客户端连接数为接入压力阈值的判定指标，一个接入节点可以连接至少一台客户端，客户端只能连接一个接入节点。例如，接入节点最多连接三台客户端。当其中一个接入节点已连接三台客户端时，生成接入节点隔离信息后发送至第一负载均衡装置，接入节点隔离信息包括该接入节点的地址。第一负载均衡装置根据接入节点隔离信息隔离该接入节点，不会分配新增客户端时至隔离的接入节点，接入节点当前正在处理的数据不受影响。待客户端下线，节点接入压力小于或等于预设接入压力阈值时，生成接入节点恢复信息后发送至第一负载均衡装置，第一负载均衡装置根据接入节点恢复信息恢复该接入节点，该接入节点可继续服务于新接入的客户端。
2、根据节点存储压力与预设存储压力阈值的比较结果发送数据存储节点隔离信息至第二负载均衡装置，以使第二负载均衡装置根据数据存储节点隔离信息将服务数据发送至数据存储节点。
其中，根据节点存储压力与预设存储压力阈值的比较结果发送数据存储节点隔离信息至第二负载均衡装置包括：
判断节点存储压力是否大于预设存储压力阈值；当节点存储压力大于预设存储压力阈值时，生成存储节点隔离信息，存储节点隔离信息包括该节点存储压力对应的数据存储节点的地址。
服务数据存储量为存储压力阈值的判定指标。例如，当其中一个数据存储节点存储的服务数据已达到存储压力阈值时，生成存储节点隔离信息后发送至第二负载均衡装置，存储节点隔离信息包括该存储节点的地址。第二负载均衡装置根据存储节点隔离信息隔离该数据存储节点，不会将来自接入节点的服务数据发送至隔离的数据存储节点，数据存储节点当前正在处理的数据不受影响。待服务数据被删除或修改，节点存储压力小于或等于存储压力阈值时，生成存储节点恢复信息后发送至第二负载均衡装置，第二负载均衡装置根据存储节点恢复信息恢复该数据存储节点，该数据存储节点可继续存储新数据。
本发明实施例的具体流程如下：
1、接入节点发送节点接入压力至同步协调节点，数据存储节点发送节点存储压力至同步协调节点。
2、同步协调节点根据节点接入压力确定接入层接入压力，根据接入层接入压力生成接入层扩容信息或接入层缩容信息后发送至运维系统。
3、同步协调节点根据节点存储压力确定数据存储层存储压力，根据数据存储层存储压力生成数据存储层扩容信息或数据存储层缩容信息后发送至运维系统。
4、同步协调节点判断节点接入压力是否大于预设接入压力阈值；当节点接入压力大于预设接入压力阈值时，生成接入节点隔离信息后发送至第一负载均衡装置。
5、第一负载均衡装置根据接入节点隔离信息分配新增客户端至接入节点。
6、同步协调节点判断节点存储压力是否大于预设存储压力阈值；当节点存储压力大于预设存储压力阈值时，生成存储节点隔离信息后发送至第二负载均衡装置。
7、第二负载均衡装置根据数据存储节点隔离信息将服务数据发送至数据存储节点。
综上，本发明实施例的分布式服务协调方法根据节点接入压力生成包括接入层扩容信息或接入层缩容信息的接入容量信息后发送至运维系统，根据节点存储压力生成包括数据存储层扩容信息或数据存储层缩容信息的存储容量信息后发送至运维系统，可以合理配置资源。
基于同一发明构思，本发明实施例还提供了一种分布式服务协调装置，由于该装置解决问题的原理与分布式服务协调方法相似，因此该装置的实施可以参见方法的实施，重复之处不再赘述。
图2是本发明实施例中分布式服务协调装置的结构框图。如图2所示，分布式服务协调装置包括：
接收单元，用于接收来自接入节点的节点接入压力和来自数据存储节点的节点存储压力；
接入容量信息生成单元，用于根据节点接入压力确定接入层接入压力，根据接入层接入压力生成接入容量信息后发送至运维系统；接入容量信息为接入层扩容信息或接入层缩容信息；
存储容量信息生成单元，用于根据节点存储压力确定数据存储层存储压力，根据数据存储层存储压力生成存储容量信息后发送至运维系统；存储容量信息为数据存储层扩容信息或数据存储层缩容信息。
在其中一种实施例中，还包括：
第一比较单元，用于根据节点接入压力与预设接入压力阈值的比较结果发送接入节点隔离信息至第一负载均衡装置，以使第一负载均衡装置根据接入节点隔离信息分配新增客户端至接入节点；
第二比较单元，用于根据节点存储压力与预设存储压力阈值的比较结果发送数据存储节点隔离信息至第二负载均衡装置，以使第二负载均衡装置根据数据存储节点隔离信息将服务数据发送至数据存储节点。
在其中一种实施例中，第一比较单元具体用于：
判断节点接入压力是否大于预设接入压力阈值；
当节点接入压力大于预设接入压力阈值时，生成接入节点隔离信息后发送至第一负载均衡装置；接入节点隔离信息包括该节点接入压力对应的接入节点的地址。
在其中一种实施例中，第二比较单元具体用于：
判断节点存储压力是否大于所述预设存储压力阈值；
当节点存储压力大于预设存储压力阈值时，生成存储节点隔离信息，存储节点隔离信息包括该节点存储压力对应的数据存储节点的地址。
综上，本发明实施例的分布式服务协调装置根据节点接入压力生成包括接入层扩容信息或接入层缩容信息的接入容量信息后发送至运维系统，根据节点存储压力生成包括数据存储层扩容信息或数据存储层缩容信息的存储容量信息后发送至运维系统，可以合理配置资源。
本发明实施例还提供能够实现上述实施例中的分布式服务协调方法中全部步骤的一种计算机设备的具体实施方式。图3是本发明实施例中计算机设备的结构框图，参见图3，所述计算机设备具体包括如下内容：
处理器(processor)301和存储器(memory)302。
所述处理器301用于调用所述存储器302中的计算机程序，所述处理器执行所述计算机程序时实现上述实施例中的分布式服务协调方法中的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：
接收来自接入节点的节点接入压力和来自数据存储节点的节点存储压力；
根据节点接入压力确定接入层接入压力，根据接入层接入压力生成接入容量信息后发送至运维系统；接入容量信息为接入层扩容信息或接入层缩容信息；
根据节点存储压力确定数据存储层存储压力，根据数据存储层存储压力生成存储容量信息后发送至运维系统；存储容量信息为数据存储层扩容信息或数据存储层缩容信息。
综上，本发明实施例的计算机设备根据节点接入压力生成包括接入层扩容信息或接入层缩容信息的接入容量信息后发送至运维系统，根据节点存储压力生成包括数据存储层扩容信息或数据存储层缩容信息的存储容量信息后发送至运维系统，可以合理配置资源。
本发明实施例还提供能够实现上述实施例中的分布式服务协调方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的分布式服务协调方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：
接收来自接入节点的节点接入压力和来自数据存储节点的节点存储压力；
根据节点接入压力确定接入层接入压力，根据接入层接入压力生成接入容量信息后发送至运维系统；接入容量信息为接入层扩容信息或接入层缩容信息；
根据节点存储压力确定数据存储层存储压力，根据数据存储层存储压力生成存储容量信息后发送至运维系统；存储容量信息为数据存储层扩容信息或数据存储层缩容信息。
综上，本发明实施例的计算机可读存储介质根据节点接入压力生成包括接入层扩容信息或接入层缩容信息的接入容量信息后发送至运维系统，根据节点存储压力生成包括数据存储层扩容信息或数据存储层缩容信息的存储容量信息后发送至运维系统，可以合理配置资源。
基于同一发明构思，本发明实施例还提供了一种分布式服务协调系统，由于该系统解决问题的原理与分布式服务协调方法相似，因此该系统的实施可以参见方法的实施，重复之处不再赘述。
图4是现有技术中分布式服务协调系统的示意图。图5是本发明实施例中分布式服务协调系统的示意图。如图4-图5所示，现有技术在客户端增加或服务器无法承受压力时，需扩容包含接入层、数据存储层和同步协调层的节点，而本发明仅需扩容对应的节点即可。
如图5所示，分布式服务协调系统包括：
位于数据存储层的数据存储节点、位于接入层的数据接入节点和位于同步协调层的同步协调节点。数据存储节点与数据接入节点连接，数据存储节点和数据接入节点分别与步协调节点连接。
数据接入节点发送节点接入压力至同步协调节点；
数据存储节点发送节点存储压力至同步协调节点；
同步协调节点接收节点接入压力和节点存储压力，根据节点接入压力确定接入层接入压力，根据接入层接入压力生成接入容量信息后发送至运维系统；接入容量信息为接入层扩容信息或接入层缩容信息；根据节点存储压力确定数据存储层存储压力，根据数据存储层存储压力生成存储容量信息后发送至运维系统；存储容量信息为数据存储层扩容信息或数据存储层缩容信息。
具体实施时，同步协调节点负责管理分布式服务协调系统中的节点，协调节点间数据的一致性并实时掌握接入节点和数据存储节点的压力值及健康状态，在接入层或数据存储层的压力到达阈值范围上限时，提示可进行扩容；在集群接入节点或数据存储节点压力到达阈值范围下限时，提示可进行缩容。
因同步协调节点管理的数据量较小，通常较稳定，需扩缩容的场景较少，所以接入节点、数据存储节点和同步协调节点无需等比例变化。当客户端扩容而服务数据未明显增长时，仅扩容接入节点的服务器即可；当客户端数量稳定而服务数据扩容时，仅扩容数据存储节点服务器即可。客户端缩容或服务数据缩容时亦同。
图6是本发明另一实施例中分布式服务协调系统的示意图。如图6所示，分布式服务协调系统还包括：第一负载均衡装置、第二负载均衡装置和客户端。第一负载均衡装置分别连接客户端、接入节点和同步协调节点，第二负载均衡装置分别连接接入节点、数据存储节点和同步协调节点。
接入节点保存来自客户端的客户端连接信息，并将来自客户端的服务数据通过第二负载均衡装置转发至数据存储节点进行存储。
数据存储节点存储服务数据，其中，客户端会在重点关注的服务数据中打上标识。数据存储节点在打上标识的数据被修改或删除时进行比较、运算以得到变化状况，通过第二负载均衡装置、接入节点和第一负载均衡装置将数据的变化状况返回至对应的客户端。
同步协调节点根据节点接入压力与预设接入压力阈值的比较结果发送接入节点隔离信息至第一负载均衡装置。
第一负载均衡装置根据接入节点隔离信息分配新增客户端至接入节点；
同步协调节点根据节点存储压力与预设存储压力阈值的比较结果发送数据存储节点隔离信息至第二负载均衡装置；
第二负载均衡装置根据数据存储节点隔离信息将服务数据发送至数据存储节点。
一实施例中，同步协调层对客户端透明，同步协调节点只管理接入节点和数据存储节点，不面向客户端，压力较小。如图6所示，同步协调节点以奇数台部署，通常为三台。同步协调节点之间通过选举主节点，由主节点进行实际管理工作，而其他两个节点作为主节点的备份节点，与主节点保持数据同步，在主节点发生宕机时接替主节点工作。
例如，当作为主节点的同步协调节点发生错误时，会停止向同步协调备份节点发送心跳包。当同步协调备份节点在第一预设时间内没有收到来自主节点的心跳包时，也会停止向主节点发送心跳包。主节点在在第二预设时间内没有收到来自同步协调备份节点的心跳包时，会放弃作为主节点的功能，重新从同步协调层中的全部节点中选举出主节点。其中，可以根据同步协调层中各个节点的历史记录选举出主节点。近期活跃的节点和多次当过主节点的节点更容易被选举为主节点。
综上，对分布式服务协调系统来说，客户端接入层、数据存储层以及同步协调层这三者彼此之间是相对独立的，无需强行捆绑。因此本发明研究一种按接入层、数据存储层、同步协调层拆分节点的分布式服务协调系统，将单一节点拆分为接入节点、数据存储节点和同步协调节点，使各层分别作为一个独立的、功能单一的小节点运行。在客户端扩容或服务数据扩容时，分别只扩容接入节点或数据存储节点即可，解决扩缩容时集群中节点倍数扩展、缩减的问题，根据客户端连接数和服务数据存储量的实际需求实现精准伸缩和资源合理配置。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块(illustrative logical block)，单元，和步骤可以通过电子硬件、电脑软件，或两者的结合进行实现。为清楚展示硬件和软件的可替换性(interchangeability)，上述的各种说明性部件(illustrative components)，单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理解为超出本发明实施例保护的范围。
本发明实施例中所描述的各种说明性的逻辑块，或单元，或装置都可以通过通用处理器，数字信号处理器，专用集成电路(ASIC)，现场可编程门阵列或其它可编程逻辑装置，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处理器核，或任何其它类似的配置来实现。
本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中，ASIC可以设置于用户终端中。可选地，处理器和存储媒介也可以设置于用户终端中的不同的部件中。
在一个或多个示例性的设计中，本发明实施例所描述的上述功能可以在硬件、软件、固件或这三者的任意组合来实现。如果在软件中实现，这些功能可以存储与电脑可读的媒介上，或以一个或多个指令或代码形式传输于电脑可读的媒介上。电脑可读媒介包括电脑存储媒介和便于使得让电脑程序从一个地方转移到其它地方的通信媒介。存储媒介可以是任何通用或特殊电脑可以接入访问的可用媒体。例如，这样的电脑可读媒体可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁性存储装置，或其它任何可以用于承载或存储以指令或数据结构和其它可被通用或特殊电脑、或通用或特殊处理器读取形式的程序代码的媒介。此外，任何连接都可以被适当地定义为电脑可读媒介，例如，如果软件是从一个网站站点、服务器或其它远程资源通过一个同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或以例如红外、无线和微波等无线方式传输的也被包含在所定义的电脑可读媒介中。所述的碟片(disk)和磁盘(disc)包括压缩磁盘、镭射盘、光盘、DVD、软盘和蓝光光盘，磁盘通常以磁性复制数据，而碟片通常以激光进行光学复制数据。上述的组合也可以包含在电脑可读媒介中。

Claims (9)

1.一种分布式服务协调方法，其特征在于，所述分布式服务协调方法应用于同步协调节点，包括：
接收来自接入节点的节点接入压力和来自数据存储节点的节点存储压力；
根据所述节点接入压力确定接入层接入压力，根据所述接入层接入压力生成接入容量信息后发送至运维系统；所述接入容量信息为接入层扩容信息或接入层缩容信息；
根据所述节点存储压力确定数据存储层存储压力，根据所述数据存储层存储压力生成存储容量信息后发送至运维系统；所述存储容量信息为数据存储层扩容信息或数据存储层缩容信息；
所述分布式服务协调方法还包括：
根据所述节点接入压力与预设接入压力阈值的比较结果发送接入节点隔离信息至第一负载均衡装置，以使所述第一负载均衡装置根据所述接入节点隔离信息分配新增客户端至接入节点；
根据所述节点存储压力与预设存储压力阈值的比较结果发送数据存储节点隔离信息至第二负载均衡装置，以使所述第二负载均衡装置根据所述数据存储节点隔离信息将服务数据发送至数据存储节点。
2.根据权利要求1所述的分布式服务协调方法，其特征在于，根据所述节点接入压力与预设接入压力阈值的比较结果发送接入节点状态信息至第一负载均衡装置包括：
判断所述节点接入压力是否大于所述预设接入压力阈值；
当所述节点接入压力大于所述预设接入压力阈值时，生成所述接入节点隔离信息后发送至所述第一负载均衡装置；所述接入节点隔离信息包括该节点接入压力对应的接入节点的地址。
3.根据权利要求1所述的分布式服务协调方法，其特征在于，根据所述节点存储压力与预设存储压力阈值的比较结果发送数据存储节点隔离信息至第二负载均衡装置包括：
判断所述节点存储压力是否大于所述预设存储压力阈值；
当所述节点存储压力大于所述预设存储压力阈值时，生成所述存储节点隔离信息，所述存储节点隔离信息包括该节点存储压力对应的数据存储节点的地址。
4.一种分布式服务协调装置，其特征在于，包括：
接收单元，用于接收来自接入节点的节点接入压力和来自数据存储节点的节点存储压力；
接入容量信息生成单元，用于根据所述节点接入压力确定接入层接入压力，根据所述接入层接入压力生成接入容量信息后发送至运维系统；所述接入容量信息为接入层扩容信息或接入层缩容信息；
存储容量信息生成单元，用于根据所述节点存储压力确定数据存储层存储压力，根据所述数据存储层存储压力生成存储容量信息后发送至运维系统；所述存储容量信息为数据存储层扩容信息或数据存储层缩容信息；
所述分布式服务协调装置还包括：
第一比较单元，用于根据所述节点接入压力与预设接入压力阈值的比较结果发送接入节点隔离信息至第一负载均衡装置，以使所述第一负载均衡装置根据所述接入节点隔离信息分配新增客户端至接入节点；
第二比较单元，用于根据所述节点存储压力与预设存储压力阈值的比较结果发送数据存储节点隔离信息至第二负载均衡装置，以使所述第二负载均衡装置根据所述数据存储节点隔离信息将服务数据发送至数据存储节点。
5.根据权利要求4所述的分布式服务协调装置，其特征在于，所述第一比较单元具体用于：
判断所述节点接入压力是否大于所述预设接入压力阈值；
当所述节点接入压力大于所述预设接入压力阈值时，生成所述接入节点隔离信息后发送至所述第一负载均衡装置；所述接入节点隔离信息包括该节点接入压力对应的接入节点的地址。
6.根据权利要求4所述的分布式服务协调装置，其特征在于，所述第二比较单元具体用于：
判断所述节点存储压力是否大于所述预设存储压力阈值；
当所述节点存储压力大于所述预设存储压力阈值时，生成所述存储节点隔离信息，所述存储节点隔离信息包括该节点存储压力对应的数据存储节点的地址。
7.一种计算机设备，包括存储器、处理器及存储在存储器上并在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至3任一项所述的分布式服务协调方法的步骤。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至3任一项所述的分布式服务协调方法的步骤。
9.一种分布式服务协调系统，其特征在于，包括：
位于数据存储层的数据存储节点、位于接入层的数据接入节点和位于同步协调层的同步协调节点；
所述数据接入节点发送节点接入压力至所述同步协调节点；
所述数据存储节点发送节点存储压力至所述同步协调节点；
所述同步协调节点接收所述节点接入压力和所述节点存储压力，根据所述节点接入压力确定接入层接入压力，根据所述接入层接入压力生成接入容量信息后发送至运维系统；所述接入容量信息为接入层扩容信息或接入层缩容信息；根据所述节点存储压力确定数据存储层存储压力，根据所述数据存储层存储压力生成存储容量信息后发送至运维系统；所述存储容量信息为数据存储层扩容信息或数据存储层缩容信息；
所述分布式服务协调系统还包括：第一负载均衡装置、第二负载均衡装置和客户端；
所述同步协调节点根据所述节点接入压力与预设接入压力阈值的比较结果发送接入节点隔离信息至第一负载均衡装置；
所述第一负载均衡装置根据所述接入节点隔离信息分配新增客户端至接入节点；
所述同步协调节点根据所述节点存储压力与预设存储压力阈值的比较结果发送数据存储节点隔离信息至第二负载均衡装置；
所述第二负载均衡装置根据所述数据存储节点隔离信息将服务数据发送至数据存储节点。
CN202010608840.1A 2020-06-30 2020-06-30 分布式服务协调方法、装置及系统 Active CN111796768B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010608840.1A CN111796768B (zh) 2020-06-30 2020-06-30 分布式服务协调方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010608840.1A CN111796768B (zh) 2020-06-30 2020-06-30 分布式服务协调方法、装置及系统

Publications (2)

Publication Number Publication Date
CN111796768A CN111796768A (zh) 2020-10-20
CN111796768B true CN111796768B (zh) 2023-08-22

Family

ID=72809741

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010608840.1A Active CN111796768B (zh) 2020-06-30 2020-06-30 分布式服务协调方法、装置及系统

Country Status (1)

Country Link
CN (1) CN111796768B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113515524A (zh) * 2021-07-29 2021-10-19 中国工商银行股份有限公司 一种分布式缓存接入层节点的自动动态分配方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106100867A (zh) * 2016-05-27 2016-11-09 乐视控股（北京）有限公司 分布式服务系统的运行维护方法及装置
WO2016177049A1 (zh) * 2015-08-31 2016-11-10 中兴通讯股份有限公司 一种实现接入设备扩缩容的方法和装置
CN107704201A (zh) * 2017-09-11 2018-02-16 厦门集微科技有限公司 数据存储处理方法及装置
CN108111628A (zh) * 2018-01-18 2018-06-01 吉浦斯信息咨询（深圳）有限公司 一种动态扩容存储方法及系统
WO2019001092A1 (zh) * 2017-06-30 2019-01-03 华为技术有限公司 负载均衡引擎，客户端，分布式计算系统以及负载均衡方法
CN111309476A (zh) * 2020-01-22 2020-06-19 福建天泉教育科技有限公司 推送系统自动调整资源的方法、存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016177049A1 (zh) * 2015-08-31 2016-11-10 中兴通讯股份有限公司 一种实现接入设备扩缩容的方法和装置
CN106100867A (zh) * 2016-05-27 2016-11-09 乐视控股（北京）有限公司 分布式服务系统的运行维护方法及装置
WO2019001092A1 (zh) * 2017-06-30 2019-01-03 华为技术有限公司 负载均衡引擎，客户端，分布式计算系统以及负载均衡方法
CN107704201A (zh) * 2017-09-11 2018-02-16 厦门集微科技有限公司 数据存储处理方法及装置
CN108111628A (zh) * 2018-01-18 2018-06-01 吉浦斯信息咨询（深圳）有限公司 一种动态扩容存储方法及系统
CN111309476A (zh) * 2020-01-22 2020-06-19 福建天泉教育科技有限公司 推送系统自动调整资源的方法、存储介质

Also Published As

Publication number Publication date
CN111796768A (zh) 2020-10-20

Similar Documents

Publication Publication Date Title
CN106899518B (zh) 一种基于互联网数据中心的资源处理方法以及装置
CN106331098B (zh) 一种服务器集群系统
CN110362381A (zh) Hdfs集群高可用部署方法、系统、设备及存储介质
CN106487486B (zh) 业务处理方法和数据中心系统
CN113010496B (zh) 一种数据迁移方法、装置、设备和存储介质
CN109218100A (zh) 分布式对象存储集群及其请求响应方法、系统和存储介质
KR101670343B1 (ko) 피어투피어 데이터 복제를 위한 방법, 장치, 및 시스템 및 마스터 노드 전환을 위한 방법, 장치, 및 시스템
CN107395458B (zh) 系统监控方法及装置
CN103095687A (zh) 元数据处理方法及装置
CN107666493B (zh) 一种数据库配置方法及其设备
CN104954444B (zh) 一种迁移缓存数据的方法及设备
CN111176888B (zh) 云存储的容灾方法、装置及系统
CN108259175A (zh) 一种分布式密码服务方法和系统
CN109151028A (zh) 一种分布式存储系统容灾方法及装置
CN108228393A (zh) 一种可扩展的大数据高可用的实现方法
CN112121413A (zh) 功能服务的响应方法、系统、装置、终端及介质
CN107040576A (zh) 信息推送方法及装置、通讯系统
CN111796768B (zh) 分布式服务协调方法、装置及系统
CN106227470B (zh) 一种存储资源管理方法及装置
EP3570169B1 (en) Method and system for processing device failure
CN101344882A (zh) 数据查询方法、插入方法及删除方法
CN100416542C (zh) 负载分配系统和方法
EP3349416B1 (en) Relationship chain processing method and system, and storage medium
CN111240933B (zh) 多数据中心的性能数据监测的方法、系统、设备及介质
CN102647424A (zh) 一种数据传输方法及其装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant