CN112416595B - 一种大规模集群减轻主监视器压力的方法及设备 - Google Patents

一种大规模集群减轻主监视器压力的方法及设备 Download PDF

Info

Publication number
CN112416595B
CN112416595B CN202011381962.8A CN202011381962A CN112416595B CN 112416595 B CN112416595 B CN 112416595B CN 202011381962 A CN202011381962 A CN 202011381962A CN 112416595 B CN112416595 B CN 112416595B
Authority
CN
China
Prior art keywords
data storage
messages
threshold value
message
monitor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011381962.8A
Other languages
English (en)
Other versions
CN112416595A (zh
Inventor
丁纯杰
孟祥瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202011381962.8A priority Critical patent/CN112416595B/zh
Publication of CN112416595A publication Critical patent/CN112416595A/zh
Application granted granted Critical
Publication of CN112416595B publication Critical patent/CN112416595B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system

Abstract

本发明提供了一种大规模集群减轻主监视器压力的方法，包括：重启数据存储设备；获取监视器内的存储消息，并检查所述数据存储设备的状态；获取所述数据存储设备中主动断开的消息，并增加标识字段；设定统计周期，分别统计所述数据存储设备中主动断开和连接的消息个数；设置所述消息个数的调整阈值，并触发调整议案，本发明通过获取监视器内的存储消息，并设定统计周期，分别统计所述数据存储设备中主动断开和连接的消息个数，以减缓主监视器所承受压力。

Description

一种大规模集群减轻主监视器压力的方法及设备
技术领域
本发明涉及计算机存储技术领域，一种大规模集群减轻主监视器压力的方法及设备。
背景技术
在分布式存储系统中，一般会设置多个监视器，即Monitor节点，Monitor节点包括主MON和备MON，以缓解所有消息都由一个节点处理时，节点压力较大的问题。但主MON与备MON在处理消息时还是有一定的功能区分：备MON上只能处理查询类的消息，如查询集群使用量、查询OSD列表等，其余所有的数据更新相关的消息则无法处理，只能由主MON进行处理；主MON可处理所有消息，对于查询类消息，主MON直接从数据库读取后进行结果返回，对于更新类消息，主MON会先更新本地所维护的信息，进行落盘，然后将落盘信息发送到各个备MON进行同步落盘。在这样的机制下，在平时无故障的场景下主MON的压力也较备MON的压力大些，而在一些特殊的故障场景下主MON的压力会骤增，从而导致主MON压力过大而故障，比如在重启集群所有OSD设备时，由于OSD Down或Up消息都需要更新MON所维护的数据，因而这些消息会全部转发到主MON进行处理。在大规模集群下，这些消息在数秒内可能会有几千甚至上万条，会导致主MON一直在频繁触发议案，频繁落盘，导致无法处理其他心跳相关消息而出现Down，进而出现集群异常主MON Down后会从备MON中选出一个主MON，但因为同样这么多消息无法处理而出现Down，最终使集群异常。
发明内容
本发明提供了一种大规模集群减轻主监视器压力的方法，通过获取监视器内的存储消息，并设定统计周期，分别统计所述数据存储设备中主动断开和连接的消息个数，以减缓主监视器所承受压力。
本发明提供的技术方案为：
一种大规模集群减轻主监视器压力的方法，其特征在于，包括：
重启数据存储设备；
获取监视器内的存储消息，并检查所述数据存储设备的状态；
获取所述数据存储设备中主动断开的消息，并增加标识字段；
设定统计周期，分别统计所述数据存储设备中主动断开和连接的消息个数；
设置所述消息个数的调整阈值，并触发调整议案。
优选的是，还包括：在所述调整议案完成后，将所述数据存储设备中主动断开和连接的消息统计清零。
优选的是，所述统计周期为2-4s。
优选的是，所述消息个数的调整阈值包括连接消息个数阈值和主动断开消息个数阈值。
优选的是，连接消息个数阈值为30％Mlink，所述主动断开消息个数阈值为40％Mlink；
其中，Mlink为数据存储设备个数。
优选的是，调整议案为修改配置文件的参数值或调整统计周期。
一种大规模集群减轻主监视器压力的装置，包括：
监视模块，其用于获取监视器内的存储消息，并检查所述数据存储设备的状态；
标识模块，其用于获取所述数据存储设备中主动断开的消息，并增加标识字段；
统计模块，其用于设定统计周期，分别统计所述数据存储设备中主动断开和连接的消息个数。
优选的是，还包括；调整模块，其用于设置所述消息个数的调整阈值，并触发调整议案。
一种计算机可读存储介质，存储有计算机指令，其特征在于，所述指令被处理器执行时可实现大规模集群减轻主监视器压力的方法的步骤。
一种电子设备，该电子设备包括如计算机可读存储介质，还包括可执行所述计算机可读存储介质的处理器。
有益效果
本发明提供了一种大规模集群减轻主监视器压力的方法，通过获取监视器内的存储消息，并设定统计周期，分别统计所述数据存储设备中主动断开和连接的消息个数，以减缓主监视器所承受压力，以避免集群异常。
附图说明
图1为本发明所述的大规模集群减轻主监视器压力的方法流程图。
图2为本发明所述的大规模集群减轻主监视器压力的装置结构示意图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在本发明的描述中，术语“中”、“上”、“下”、“横”、“内”等指示的方向或位置关系的术语是基于附图所示的方向或位置关系，这仅仅是为了便于描述，而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
此外，还需要说明的是，在本发明的描述中，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可根据具体情况理解上述术语在本发明中的具体含义。
如图1所示，基于背景技术提出的技术问题，本发明提供了一种大规模集群减轻主监视器压力的方法，包括：
步骤S110、重启数据存储设备；存储设备即为Object Storage Device，用于提供存储资源。
步骤S120、获取监视器内的存储消息，并检查数据存储设备的状态；其中，监视器标记为Monitor，即为群状态的管理者，维护整个集群的状态，与其它mon共同形成一个clustermap：clustermap为集群视图。leader：mon主节点正常的mon节点会找leader同步最新的版本号equester：请求者，down掉的mon节点，准备恢复中。找leader同步信息，但是leader会交给provider处理。
步骤S130、获取数据存储设备中主动断开的消息，并增加标识字段；
步骤S140、设定统计周期，分别统计数据存储设备中主动断开和连接的消息个数；优选的是，所述统计周期为2-4s。
步骤S150、设置消息个数的调整阈值，并触发调整议案。优选的是，消息个数的调整阈值包括连接消息个数阈值和主动断开消息个数阈值。
在另一实施例中，连接消息个数阈值为30％Mlink，所述主动断开消息个数阈值为40％Mlink；
其中，Mlink为数据存储设备个数。
在另一实施例中还包括：步骤S160、在所述调整议案完成后，将所述数据存储设备中主动断开和连接的消息统计清零。
优选的是，调整议案为修改配置文件的参数值或调整统计周期。
具体的说，本发明提供的大规模集群减轻主监视器压力的方法包括如下步骤：
步骤一、首先对OSD主动down的消息进行改造，增加辨识字段，便于统计
步骤二、设定统计周期，作为一种优选，本实施例中选取2s一个周期，在2s的统计周期内统计OSD down和boot的消息个数。
步骤三、确定议案调整条件，我们可以设定两个阈值，作为一种优选，这里的阈值及调整频段可以根据具体集群规模进行调整适应，如果消息数和达到低阈值场景时便将议案周期调整到5s，之前议案周期是2s，如果统计的消息数和达到高阈值场景时我们便立刻触发议案，以避免osd故障过多而没有及时处理场景。
步骤四、在议案触发后将消息计数清零，进行下个周期统计。
步骤五、在大规模集群下一直重复步骤二-四动态调整议案周期。
如图2所示，本发明还提供了一种大规模集群减轻主监视器压力的装置，包括：监视模块210、标识模块220、统计模块230。
监视模块210、用于获取监视器内的存储消息，并检查数据存储设备的状态；其中，监视器标记为Monitor，即为群状态的管理者，维护整个集群的状态，与其它mon共同形成一个clustermap：clustermap为集群视图。leader：mon主节点正常的mon节点会找leader同步最新的版本号equester：请求者，down掉的mon节点，准备恢复中。找leader同步信息，但是leader会交给provider处理。
标识模220、用于获取所述数据存储设备中主动断开的消息，并增加标识字段；标识字段用于标记信息数据。
统计模块230用于设定统计周期，分别统计数据存储设备中主动断开和连接的消息个数。
调整模块240用于设置所述消息个数的调整阈值，并触发调整议案。消息个数的调整阈值包括连接消息个数阈值和主动断开消息个数阈值。
在另一实施例中，连接消息个数阈值为30％Mlink，所述主动断开消息个数阈值为40％Mlink；其中，Mlink为数据存储设备个数。
在另一实施例中还包括：在所述调整议案完成后，将所述数据存储设备中主动断开和连接的消息统计清零。优选的是，调整议案为修改配置文件的参数值或调整统计周期。
本发明通过提出一种动态调整大规模集群下主MON议案周期的方法，根据单位时间内接受到的OSD down及boot消息自适应调整主MON议案周期，有效缓解主MON线程所承受的压力，提高大规模集群下分布式存储系统的可靠性及可用性。
在另一实施例中，本申请实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机软件指令，当计算机软件指令在处理设备上运行时，使得处理设备执行。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
在另一实施例中本发明提供了一种电子设备，该电子设备包括如计算机可读存储介质，还包括可执行所述计算机可读存储介质的处理器。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (6)

1.一种大规模集群减轻主监视器压力的方法，其特征在于，包括：
重启数据存储设备；
获取监视器内的存储消息，并检查所述数据存储设备的状态；
获取所述数据存储设备中主动断开的消息，并增加标识字段；
设定统计周期，分别统计所述数据存储设备中主动断开和连接的消息个数；
设置所述消息个数的调整阈值，并触发调整议案；
所述调整议案为修改配置文件的参数值或调整统计周期；
所述消息个数的调整阈值包括连接消息个数阈值和主动断开消息个数阈值；
连接消息个数阈值为
Figure DEST_PATH_IMAGE001
，所述主动断开消息个数阈值为
Figure 316555DEST_PATH_IMAGE002
；
其中，
Figure DEST_PATH_IMAGE003
为数据存储设备个数。
2.根据权利要求1所述的大规模集群减轻主监视器压力的方法，其特征在于，还包括：在所述调整议案完成后，将所述数据存储设备中主动断开和连接的消息统计清零。
3.根据权利要求1所述的大规模集群减轻主监视器压力的方法，其特征在于，所述统计周期为2-4s。
4.一种大规模集群减轻主监视器压力的装置，其特征在于，包括：
监视模块，其用于获取监视器内的存储消息，并检查数据存储设备的状态；
标识模块，其用于获取所述数据存储设备中主动断开的消息，并增加标识字段；
统计模块，其用于设定统计周期，分别统计所述数据存储设备中主动断开和连接的消息个数；
设置所述消息个数的调整阈值，并触发调整议案；
所述调整议案为修改配置文件的参数值或调整统计周期；
所述消息个数的调整阈值包括连接消息个数阈值和主动断开消息个数阈值；
连接消息个数阈值为
Figure 296013DEST_PATH_IMAGE004
，所述主动断开消息个数阈值为
Figure DEST_PATH_IMAGE005
；
其中，
Figure 872487DEST_PATH_IMAGE006
为数据存储设备个数。
5.一种计算机可读存储介质，存储有计算机指令，其特征在于，所述指令被处理器执行时可实现权利要求1～3任一项所述的方法的步骤。
6.一种电子设备，其特征在于，该电子设备包括如权利要求5所述的计算机可读存储介质，还包括可执行所述计算机可读存储介质的处理器。
CN202011381962.8A 2020-11-30 2020-11-30 一种大规模集群减轻主监视器压力的方法及设备 Active CN112416595B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011381962.8A CN112416595B (zh) 2020-11-30 2020-11-30 一种大规模集群减轻主监视器压力的方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011381962.8A CN112416595B (zh) 2020-11-30 2020-11-30 一种大规模集群减轻主监视器压力的方法及设备

Publications (2)

Publication Number Publication Date
CN112416595A CN112416595A (zh) 2021-02-26
CN112416595B true CN112416595B (zh) 2022-12-27

Family

ID=74830698

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011381962.8A Active CN112416595B (zh) 2020-11-30 2020-11-30 一种大规模集群减轻主监视器压力的方法及设备

Country Status (1)

Country Link
CN (1) CN112416595B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107436735A (zh) * 2017-07-28 2017-12-05 郑州云海信息技术有限公司 一种分布式文件系统中存储单元状态更新方法
CN107678923A (zh) * 2017-09-29 2018-02-09 郑州云海信息技术有限公司 一种分布式文件系统消息处理的优化方法
CN111953569A (zh) * 2020-08-27 2020-11-17 浪潮电子信息产业股份有限公司 状态信息上报方法、装置、设备及介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107436735A (zh) * 2017-07-28 2017-12-05 郑州云海信息技术有限公司 一种分布式文件系统中存储单元状态更新方法
CN107678923A (zh) * 2017-09-29 2018-02-09 郑州云海信息技术有限公司 一种分布式文件系统消息处理的优化方法
CN111953569A (zh) * 2020-08-27 2020-11-17 浪潮电子信息产业股份有限公司 状态信息上报方法、装置、设备及介质

Also Published As

Publication number Publication date
CN112416595A (zh) 2021-02-26

Similar Documents

Publication Publication Date Title
US10389801B2 (en) Service request processing method, related apparatus, and system
CN102387069B (zh) 客户端与服务端的连接方法及系统、客户端和服务端
US9473348B2 (en) Method and system for detecting changes in a network using simple network management protocol polling
CN110830283B (zh) 故障检测方法、装置、设备和系统
KR101871383B1 (ko) 계층적 데이터 구조의 노드 상에서 재귀적 이벤트 리스너를 사용하기 위한 방법 및 시스템
CN113515531B (zh) 数据访问方法、装置、客户端及存储介质
CN108540353B (zh) 一种网络节点的监测方法与系统
CN110650060A (zh) 流量告警的处理方法、设备及存储介质
US11734135B2 (en) Processor health monitoring with failback based on timestamps
CN110784530A (zh) 灰度的发布方法和服务器
EP1476821A1 (en) Remote sensing of power supply states
CN110891006B (zh) Hinoc通信方法、装置、设备及计算机可读存储介质
CN112416595B (zh) 一种大规模集群减轻主监视器压力的方法及设备
WO2017128712A1 (zh) 告警处理方法和告警处理设备
CN114844809A (zh) 基于网络心跳和内核磁盘心跳的多因子仲裁方法、装置
US10282245B1 (en) Root cause detection and monitoring for storage systems
CN109510730A (zh) 分布式系统及其监控方法、装置、电子设备及存储介质
US10223189B1 (en) Root cause detection and monitoring for storage systems
CN109039761B (zh) 集群控制通道中故障链路处理方法和装置
EP4181475A1 (en) Method, apparatus and system for processing fault
CN115794549A (zh) 一种应用程序占用资源管控方法、装置及介质
CN113259975A (zh) 网络游戏连接方法、电子设备和计算机可读介质
CN114143330A (zh) 一种时间服务器的配置方法、装置及系统
US20010015961A1 (en) Transmission system, supervisory control device, method of outputting data in the supervisory control device, and nodes for transmitting data in the transmission system
CN112769889B (zh) 服务数据的推送方法、装置、存储介质以及电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant