CN111124275A - 一种分布式块存储系统的监控服务优化方法及装置 - Google Patents
一种分布式块存储系统的监控服务优化方法及装置 Download PDFInfo
- Publication number
- CN111124275A CN111124275A CN201911120940.3A CN201911120940A CN111124275A CN 111124275 A CN111124275 A CN 111124275A CN 201911120940 A CN201911120940 A CN 201911120940A CN 111124275 A CN111124275 A CN 111124275A
- Authority
- CN
- China
- Prior art keywords
- monitoring service
- storage system
- ssd
- block storage
- distributed block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 235
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000005457 optimization Methods 0.000 title claims abstract description 21
- 238000005192 partition Methods 0.000 claims abstract description 36
- 230000007246 mechanism Effects 0.000 claims abstract description 35
- 230000005012 migration Effects 0.000 claims abstract description 29
- 230000008569 process Effects 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims description 27
- 238000004891 communication Methods 0.000 claims description 16
- 230000004048 modification Effects 0.000 claims description 14
- 238000012986 modification Methods 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 12
- 230000000694 effects Effects 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000013508 migration Methods 0.000 claims description 4
- 230000003993 interaction Effects 0.000 abstract description 10
- 238000007726 management method Methods 0.000 description 11
- 238000013500 data storage Methods 0.000 description 5
- 230000006872 improvement Effects 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000013403 standard screening design Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/061—Improving I/O performance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/064—Management of blocks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/0644—Management of space entities, e.g. partitions, extents, pools
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种分布式块存储系统的监控服务优化方法及装置，包括如下步骤：检测是否重新部署分布式块存储系统；若是，分布式块存储系统部署程序进行分布式块存储系统的部署，部署过程中选择一个SSD并划分设定阈值的分区作为监控服务的挂载点；进行分布式块存储系统部署时把监控服务放到SSD硬盘；若否，监控服务迁移程序将监控服务挂载到SSD中，同时将监控服务告警机制修改为按照设定阈值空间为标准检测剩余空间。解决元数据和数据与监控服务的交互能力瓶颈问题，提高存储系统的IO读写性能；还兼容已部署的分布式块存储系统监控服务不在SSD上场景，支持分布式块存储系统的跨版本升级。
Description
技术领域
本发明涉及分布式存储技术领域，具体涉及一种分布式块存储系统的监控服务优化方法及装置。
背景技术
分布式块存储系统在IT企业、云计算、大数据、虚拟化等领域得到了广泛应用，与此同时这些领域对IO读写性能要求也越来越高，提高分布式块存储系统的IO读写性能日益重要。分布式块存储系统的元数据信息非常少且访问频率不高，因此不需要通过守护进程将元数据加载到内存来提高元数据访问速度，所有的元数据和数据操作直接与存储系统中的监控服务(即MON服务)和数据存储服务(即OSD服务)交互。SSD硬盘具有高的IO读写性能，通常使用SSD硬盘分区做OSD journal和OSD缓存cache，这样可以实现日志快速下刷、IO操作缓存和预读等功能，提高元数据和数据与数据存储服务交互能力，从而提高了存储系统的IO读写性能。随着元数据和数据与数据存储服务交互能力的提升，它们与监控服务的交互能力就成为分布式块存储系统的瓶颈，这将导致监控服务处理缓慢、存储系统卡顿、甚至存储系统节点宕机等严重问题。
发明内容
针对随着元数据和数据与数据存储服务交互能力的提升，它们与监控服务的交互能力就成为分布式块存储系统的瓶颈，这将导致监控服务处理缓慢、存储系统卡顿、甚至存储系统节点宕机等严重问题，本发明提供一种分布式块存储系统的监控服务优化方法及装置。
本发明的技术方案是：
一方面，本发明技术方案提供一种分布式块存储系统的监控服务优化方法，包括如下步骤：
检测是否重新部署分布式块存储系统；
若是，分布式块存储系统部署程序进行分布式块存储系统的部署，部署过程中选择一个SSD并划分设定阈值的分区作为监控服务的挂载点；一般的监控服务所在的磁盘通常是SAS、SATA盘，进行分布式块存储系统部署时把监控服务放到SSD硬盘；
若否，监控服务迁移程序将监控服务挂载到SSD中，同时将监控服务告警机制修改为按照设定阈值空间为标准检测剩余空间。
优选地，所述的部署过程中选择一个SSD并划分设定阈值的分区作为监控服务的挂载点的步骤是根据分布式块存储系统的SSD和HDD的配比关系，选择OSD Journal和OSDCache挂载点少的SSD划分设定阈值分区作为监控服务的挂载点。这样保证Cache分区的足够大，通常Cache容量越大，系统性能越好。
优选地，所述的部署过程中选择一个SSD并划分设定阈值的分区作为监控服务的挂载点的步骤，具体包括：
OSD的Journal重定向到SSD的部分分区上；
SSD余下的空间再均分作为OSD Cache挂载点和监控服务挂载点，其中OSD的Cache和OSD Journal的大小关系是1∶1；
选择除去OSD Journal后余下空间较大的SSD再划分设定阈值分区作为监控服务挂载点。
优选地，若除去OSD Journal余下的SSD空间都相等，选择存储节点中的第一个SSD划分设定阈值空间做监控服务挂载点。解决元数据和数据与监控服务的交互能力瓶颈问题，提高存储系统的IO读写性能；还兼容已部署的分布式块存储系统监控服务不在SSD上场景，支持分布式块存储系统的跨版本升级。
优选地，所述的监控服务迁移程序将监控服务挂载到SSD中，同时将监控服务告警机制修改为按照设定阈值空间为标准检测剩余空间的步骤具体包括：
步骤301：系统状态获取模块获取系统状态并判断系统状态是否正常，若系统状态正常，与目录获取模块建立通信连接，执行步骤302；若系统状态不正常，等待设定时间再次执行步骤301；
步骤302：目录获取模块获取监控服务所在的具体目录以及最大的OSD Cache所在的目录，若监控服务目录在SSD上，输出无需迁移提示信息；若监控服务目录在系统盘内与监控服务阈值处理模块建立通信，执行步骤303；
步骤303：监控服务阈值处理模块将监控服务告警机制修改为按照设定阈值空间为标准检测剩余空间，监控服务告警机制修改完成后与系统配置文件管理模块建立通信，执行步骤304；
步骤304：当系统配置文件管理模块接收到监控服务告警机制修改完成信息后，修改存储系统配置文件并把监控服务启动的必备信息更新到系统配置文件中，待存储系统配置文件更新完成后，重启监控服务使新的监控服务生效。
优选地，监控服务迁移的步骤还包括步骤205：
步骤305：步骤304中新的监控服务生效后，系统状态获取模块获取到存储系统状态正常，目录获取模块更新监控服务所在的具体目录、最大的OSD Cache所在的目录信息。
由于分布式块存储系统的SSD和HDD有配比关系，监控服务迁移程序选择Cache空间较大的OSD Cache存放监控服务。同时，由于OSD Cache会随着数据写入空间利用率发生变化，如果还采用原来的监控服务告警机制最终会出现监控服务所在的空间使用率达到95％而造成监控服务退出，当多个监控服务退出时存储系统将不可再使用；因此把原来监控服务告警机制修改为按照10GB空间为标准检测剩余空间，即(OSD Cache中剩余空间)/(10GB空间)＜5％时监控服务才退出，分布式块存储系统对OSD Cache空间使用情况做了限制，OSD Cache并不会写满并留有一定的余量。其中，原来的监控服务告警机制，即空间阈值达到70％时出现监控服务告警且达到95％时监控服务退出。
另一方面，本发明技术方案还提供一种分布式块存储系统的监控服务优化装置，包括检测单元、分布式块存储系统部署程序单元和监控服务迁移程序单元；
检测单元，用于检测是否重新部署分布式块存储系统；
分布式块存储系统部署程序单元，用于接受检测单元输出的重新部署分布式块存储系统的信息进行分布式块存储系统的部署并在部署过程中选择一个SSD并划分设定阈值的分区作为监控服务的挂载点；
监控服务迁移程序单元，接受检测单元输出的不需要重新部署分布式块存储系统的信息后监控服务迁移程序将监控服务挂载到SSD中，同时将监控服务告警机制修改为按照设定阈值空间为标准检测剩余空间。
优选地，分布式块存储系统部署程序单元包括重定向模块、计算处理模块；
重定向模块，用于将OSD的Journal重定向到SSD的部分分区上；
计算处理模块，用于SSD余下的空间再均分作为OSDCache挂载点和监控服务挂载点，其中OSD的Cache和OSD Journal的大小关系是1∶1；选择除去OSDJournal后余下空间较大的SSD再划分设定阈值分区作为监控服务挂载点；
计算处理模块，还用于若除去OSD Journal余下的SSD空间都相等，选择存储节点中的第一个SSD划分设定阈值空间做监控服务挂载点。
优选地，所述的监控服务迁移程序单元包括系统状态获取模块、目录获取模块、监控服务阈值处理模块、系统配置文件管理模块；
系统状态获取模块，用于获取系统状态并判断系统状态是否正常，若系统状态正常，与目录获取模块建立通信连接；
目录获取模块，用于获取监控服务所在的具体目录以及最大的OSD Cache所在的目录，若监控服务目录在SSD上，输出无需迁移提示信息；若监控服务目录在系统盘内与监控服务阈值处理模块建立通信；
监控服务阈值处理模块，用于将监控服务告警机制修改为按照设定阈值空间为标准检测剩余空间，监控服务告警机制修改完成后与系统配置文件管理模块建立通信；
系统配置文件管理模块，用于接收到监控服务告警机制修改完成信息后，修改存储系统配置文件并把监控服务启动的必备信息更新到系统配置文件中，待存储系统配置文件更新完成后，重启监控服务使新的监控服务生效。
优选地，系统状态获取模块，还用于在新的监控服务生效后，获取到存储系统状态正常，目录获取模块更新监控服务所在的具体目录、最大的OSD Cache所在的目录信息。
从以上技术方案可以看出，本发明具有以下优点：本发明提出的分布式块存储系统的监控服务优化方法，不仅解决元数据和数据与监控服务的交互能力瓶颈问题，提高存储系统的IO读写性能；同时还兼容已部署的分布式块存储系统监控服务不在SSD上场景，支持分布式块存储系统的跨版本升级。分布式块存储系统的监控服务优化方法增加了分布式块存储系统的灵活性和可信度，提升了分布式块存储产品的竞争力。
此外，本发明设计原理可靠，结构简单，具有非常广泛的应用前景。
由此可见，本发明与现有技术相比，具有突出的实质性特点和显著地进步，其实施的有益效果也是显而易见的。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例一的方法的示意性流程图。
图2是本发明实施例二提供的监控服务迁移程序运行示意性流程图。
图3是本发明实施例三提供的监控服务迁移程序单元的运行示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
实施例一
如图1所示，本发明技术方案提供一种分布式块存储系统的监控服务优化方法，包括如下步骤：
步骤101：检测是否重新部署分布式块存储系统，若是，执行步骤102，若否，执行步骤103；
步骤102：分布式块存储系统部署程序进行分布式块存储系统的部署，部署过程中选择一个SSD并划分设定阈值的分区作为监控服务的挂载点；
一般的监控服务所在的磁盘通常是SAS、SATA盘，进行分布式块存储系统部署时把监控服务放到SSD硬盘；
根据分布式块存储系统的SSD和HDD的配比关系，选择OSD Journal和OSD Cache挂载点少的SSD划分设定阈值分区作为监控服务的挂载点。
由于分布式块存储系统中的监控服务所占用的空间不大，本实施例中，所述的设定阈值为10GB，因此在部署分布式块存储系统的时候通过特定算法选择存储系统中的某块SSD划分的单独10GB分区。根据SSD和HDD个数把OSD的Journal和Cache尽可能的均分到各个SSD上，具体包括：OSD的Journal重定向到SSD的部分分区上；通常分区大小5G，如sdb1-sdb5，SSD余下的空间再均分作为OSD Cache挂载点如sdb6-sdb10和监控服务挂载点sdb11，其中OSD的Cache和OSD Journal的大小关系是1∶1；选择除去OSD Journal后余下空间较大的SSD再划分10GB分区作为监控服务挂载点。若除去OSD Journal余下的SSD空间都相等，选择存储节点中的第一个SSD划分10GB空间做监控服务挂载点。这样保证Cache分区的足够大，通常Cache容量越大，系统性能越好。
步骤103：监控服务迁移程序将监控服务挂载到SSD中，同时将监控服务告警机制修改为按照设定阈值空间为标准检测剩余空间。
解决元数据和数据与监控服务的交互能力瓶颈问题，提高存储系统的IO读写性能；还兼容已部署的分布式块存储系统监控服务不在SSD上场景，支持分布式块存储系统的跨版本升级。
实施例二
如图2所示，本发明实施例提供一种分布式块存储系统的监控服务优化方法，所述的方法与实施例一的不同之处包括：
步骤103中，所述的监控服务迁移程序将监控服务挂载到SSD中，同时将监控服务告警机制修改为按照设定阈值空间为标准检测剩余空间的步骤具体包括：
步骤301：系统状态获取模块获取系统状态并判断系统状态是否正常，若系统状态正常，与目录获取模块建立通信连接，执行步骤302；若系统状态不正常，等待设定时间再次执行步骤301；
步骤302：目录获取模块获取监控服务所在的具体目录以及最大的OSD Cache所在的目录，若监控服务目录在SSD上，输出无需迁移提示信息；若监控服务目录在系统盘内与监控服务阈值处理模块建立通信，执行步骤303；
步骤303：监控服务阈值处理模块将监控服务告警机制修改为按照设定阈值空间为标准检测剩余空间，监控服务告警机制修改完成后与系统配置文件管理模块建立通信，执行步骤304；
步骤304：当系统配置文件管理模块接收到监控服务告警机制修改完成信息后，修改存储系统配置文件并把监控服务启动的必备信息更新到系统配置文件中，待存储系统配置文件更新完成后，重启监控服务使新的监控服务生效。
步骤305：新的监控服务生效后，系统状态获取模块获取到存储系统状态正常，目录获取模块更新监控服务所在的具体目录、最大的OSD Cache所在的目录信息。
由于分布式块存储系统的SSD和HDD有配比关系，监控服务迁移程序选择Cache空间较大的OSD Cache存放监控服务。同时，由于OSD Cache会随着数据写入空间利用率发生变化，如果还采用原来的监控服务告警机制最终会出现监控服务所在的空间使用率达到95％而造成监控服务退出，当多个监控服务退出时存储系统将不可再使用；因此把原来监控服务告警机制修改为按照10GB空间为标准检测剩余空间，即(OSD Cache中剩余空间)/(10GB空间)＜5％时监控服务才退出，分布式块存储系统对OSD Cache空间使用情况做了限制，OSD Cache并不会写满并留有一定的余量。其中，原来的监控服务告警机制，即空间阈值达到70％时出现监控服务告警且达到95％时监控服务退出。
本实施例提出的分布式块存储系统的监控服务优化方法，不仅解决元数据和数据与监控服务的交互能力瓶颈问题，提高存储系统的IO读写性能；同时还兼容已部署的分布式块存储系统监控服务不在SSD上场景，支持分布式块存储系统的跨版本升级。分布式块存储系统的监控服务优化方法增加了分布式块存储系统的灵活性和可信度，提升了分布式块存储产品的竞争力。
实施例三
如图3所示，本发明实施例还提供一种分布式块存储系统的监控服务优化装置，包括检测单元、分布式块存储系统部署程序单元和监控服务迁移程序单元；
检测单元，用于检测是否重新部署分布式块存储系统；
分布式块存储系统部署程序单元，用于接受检测单元输出的重新部署分布式块存储系统的信息进行分布式块存储系统的部署并在部署过程中选择一个SSD并划分设定阈值的分区作为监控服务的挂载点；分布式块存储系统部署程序单元包括重定向模块、计算处理模块；重定向模块，用于将OSD的Journal重定向到SSD的部分分区上；计算处理模块，用于SS D余下的空间再均分作为OSD Cache挂载点和监控服务挂载点，其中OSD的Cache和OSDJournal的大小关系是1∶1；选择除去OSD Journal后余下空间较大的SSD再划分设定阈值分区作为监控服务挂载点；计算处理模块，还用于若除去OSD Journal余下的SSD空间都相等，选择存储节点中的第一个SSD划分设定阈值空间做监控服务挂载点。监控服务迁移程序单元，接受检测单元输出的不需要重新部署分布式块存储系统的信息后监控服务迁移程序将监控服务挂载到SSD中，同时将监控服务告警机制修改为按照设定阈值空间为标准检测剩余空间。本实施例中设定阈值为10GB；通过监控服务迁移程序把监控服务放到节点的某一个特定的OSD Cache中(OSD Cache是放在SSD上的)。之所以需要把监控服务放到某一特定的OSD Cache中，是因为存储系统中的所有SSD的分区都已经被OSD Journal和OSD Cache占用完了；要想把监控服务放到SSD上，则只能放在某一特定的OSD Cache中。监控服务迁移程序包括系统状态获取模块、目录获取模块、监控服务阈值处理模块、系统配置文件管理模块。系统状态获取模块，用于获取系统状态并判断系统状态是否正常，若系统状态正常，与目录获取模块建立通信连接；目录获取模块，用于获取监控服务所在的具体目录以及最大的OSD Cache所在的目录，若监控服务目录在SSD上，输出无需迁移提示信息；若监控服务目录在系统盘内与监控服务阈值处理模块建立通信；监控服务阈值处理模块，用于将监控服务告警机制修改为按照设定阈值空间为标准检测剩余空间，监控服务告警机制修改完成后与系统配置文件管理模块建立通信；系统配置文件管理模块，用于接收到监控服务告警机制修改完成信息后，修改存储系统配置文件并把监控服务启动的必备信息更新到系统配置文件中，待存储系统配置文件更新完成后，重启监控服务使新的监控服务生效。系统状态获取模块，还用于在新的监控服务生效后，获取到存储系统状态正常，目录获取模块更新监控服务所在的具体目录、最大的OSD Cache所在的目录信息。系统状态获取模块获取到系统状态是否正常，如系统状态正常则与目录获取模块建立通信连接，若系统状态不正常则迁移程序给出″等系统状态正常再执行迁移动作″信息。目录获取模块记录着监控服务所在的具体目录、最大的OSD Cache所在的目录。监控服务阈值处理模块把原来监控服务告警机制修改为按照10GB空间为标准检测剩余空间，即(OSD Cache中剩余空间)/(10GB空间)＜5％时监控服务才退出，分布式块存储系统对OSD Cache空间使用情况做了限制，OSD Cache并不会写满并留有一定的余量(如2.5GB)。系统配置文件管理模块记录着监控服务迁移的新位置，并控制着新的监控服务是否能够正常工作，即通过重启监控服务进程使新的监控服务生效。
监控服务(MON，Monitor)负责监控存储系统的状态，包括Monitor状态、OSD状态，同时负责维护状态变化。
OSD(Object Storage Devices)对象存储设备，提供数据存储服务。
Cache是为了弥补高速设备和低速设备的鸿沟而引入的中间层，最终起到加快访问速度的作用。
尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述，但本发明并不限于此。在不脱离本发明的精神和实质的前提下，本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换，而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种分布式块存储系统的监控服务优化方法，其特征在于包括如下步骤：
检测是否重新部署分布式块存储系统；
若是，分布式块存储系统部署程序进行分布式块存储系统的部署，部署过程中选择一个SSD并划分设定阈值的分区作为监控服务的挂载点；
若否，监控服务迁移程序将监控服务挂载到SSD中，同时将监控服务告警机制修改为按照设定阈值空间为标准检测剩余空间。
2.根据权利要求1所述的一种分布式块存储系统的监控服务优化方法，其特征在于所述的部署过程中选择一个SSD并划分设定阈值的分区作为监控服务的挂载点的步骤是根据分布式块存储系统的SSD和HDD的配比关系，选择OSD Journal和OSD Cache挂载点少的SSD划分设定阈值分区作为监控服务的挂载点。
3.根据权利要求2所述的一种分布式块存储系统的监控服务优化方法，其特征在于所述的部署过程中选择一个SSD并划分设定阈值的分区作为监控服务的挂载点的步骤，具体包括：
OSD的Journal重定向到SSD的部分分区上；
SSD余下的空间再均分作为OSD Cache挂载点和监控服务挂载点，其中OSD的Cache和OSD Journal的大小关系是1∶1；
选择除去OSD Journal后余下空间较大的SSD再划分设定阈值分区作为监控服务挂载点。
4.根据权利要求3所述的一种分布式块存储系统的监控服务优化方法，其特征在于若除去OSD Journal余下的SSD空间都相等，选择存储节点中的第一个SSD划分设定阈值空间做监控服务挂载点。
5.根据权利要求1所述的一种分布式块存储系统的监控服务优化方法，其特征在于所述的监控服务迁移程序将监控服务挂载到SSD中，同时将监控服务告警机制修改为按照设定阈值空间为标准检测剩余空间的步骤具体包括：
步骤301：系统状态获取模块获取系统状态并判断系统状态是否正常，若系统状态正常，与目录获取模块建立通信连接，执行步骤302；若系统状态不正常，等待设定时间再次执行步骤301；
步骤302：目录获取模块获取监控服务所在的具体目录以及最大的OSD Cache所在的目录，若监控服务目录在SSD上，输出无需迁移提示信息；若监控服务目录在系统盘内与监控服务阈值处理模块建立通信，执行步骤303；
步骤303：监控服务阈值处理模块将监控服务告警机制修改为按照设定阈值空间为标准检测剩余空间，监控服务告警机制修改完成后与系统配置文件管理模块建立通信，执行步骤304；
步骤304：当系统配置文件管理模块接收到监控服务告警机制修改完成信息后，修改存储系统配置文件并把监控服务启动的必备信息更新到系统配置文件中，待存储系统配置文件更新完成后，重启监控服务使新的监控服务生效。
6.根据权利要求5所述的一种分布式块存储系统的监控服务优化方法，其特征在于监控服务迁移的步骤还包括步骤305：
步骤305：步骤304中新的监控服务生效后，系统状态获取模块获取到存储系统状态正常，目录获取模块更新监控服务所在的具体目录、最大的OSD Cache所在的目录信息。
7.一种分布式块存储系统的监控服务优化装置，其特征在于包括检测单元、分布式块存储系统部署程序单元和监控服务迁移程序单元；
检测单元，用于检测是否重新部署分布式块存储系统；
分布式块存储系统部署程序单元，用于接受检测单元输出的重新部署分布式块存储系统的信息进行分布式块存储系统的部署并在部署过程中选择一个SSD并划分设定阈值的分区作为监控服务的挂载点；
监控服务迁移程序单元，接受检测单元输出的不需要重新部署分布式块存储系统的信息后监控服务迁移程序将监控服务挂载到SSD中，同时将监控服务告警机制修改为按照设定阈值空间为标准检测剩余空间。
8.根据权利要求7所述的一种分布式块存储系统的监控服务优化装置，其特征在于分布式块存储系统部署程序单元包括重定向模块、计算处理模块；
重定向模块，用于将OSD的Journal重定向到SSD的部分分区上；
计算处理模块，用于SSD余下的空间再均分作为OSD Cache挂载点和监控服务挂载点，其中OSD的Cache和OSD Journal的大小关系是1∶1；选择除去OSD Journal后余下空间较大的SSD再划分设定阈值分区作为监控服务挂载点；
计算处理模块，还用于若除去OSD Journal余下的SSD空间都相等，选择存储节点中的第一个SSD划分设定阈值空间做监控服务挂载点。
9.根据权利要求7所述的一种分布式块存储系统的监控服务优化装置，其特征在于所述的监控服务迁移程序单元包括系统状态获取模块、目录获取模块、监控服务阈值处理模块、系统配置文件管理模块；
系统状态获取模块，用于获取系统状态并判断系统状态是否正常，若系统状态正常，与目录获取模块建立通信连接；
目录获取模块，用于获取监控服务所在的具体目录以及最大的OSD Cache所在的目录，若监控服务目录在SSD上，输出无需迁移提示信息；若监控服务目录在系统盘内与监控服务阈值处理模块建立通信；
监控服务阈值处理模块，用于将监控服务告警机制修改为按照设定阈值空间为标准检测剩余空间，监控服务告警机制修改完成后与系统配置文件管理模块建立通信；
系统配置文件管理模块，用于接收到监控服务告警机制修改完成信息后，修改存储系统配置文件并把监控服务启动的必备信息更新到系统配置文件中，待存储系统配置文件更新完成后，重启监控服务使新的监控服务生效。
10.根据权利要求9所述的一种分布式块存储系统的监控服务优化装置，其特征在于系统状态获取模块，还用于在新的监控服务生效后，获取到存储系统状态正常，目录获取模块更新监控服务所在的具体目录、最大的OSD Cache所在的目录信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911120940.3A CN111124275B (zh) | 2019-11-15 | 2019-11-15 | 一种分布式块存储系统的监控服务优化方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911120940.3A CN111124275B (zh) | 2019-11-15 | 2019-11-15 | 一种分布式块存储系统的监控服务优化方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111124275A true CN111124275A (zh) | 2020-05-08 |
| CN111124275B CN111124275B (zh) | 2022-10-18 |
Family
ID=70495960
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911120940.3A Active CN111124275B (zh) | 2019-11-15 | 2019-11-15 | 一种分布式块存储系统的监控服务优化方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111124275B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11599290B2 (en) * | 2020-07-31 | 2023-03-07 | EMC IP Holding Company LLC | Data storage method, electronic device, and computer program product |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103475732A (zh) * | 2013-09-25 | 2013-12-25 | 浪潮电子信息产业股份有限公司 | 一种基于虚拟地址池的分布式文件系统数据卷部署方法 |
| CN104268061A (zh) * | 2014-09-12 | 2015-01-07 | 国云科技股份有限公司 | 一种适用于虚拟机的存储状态监控机制 |
| CN108804038A (zh) * | 2018-05-29 | 2018-11-13 | 新华三技术有限公司 | 日志数据迁移的方法、装置、服务器和计算机可读介质 |
-
2019
- 2019-11-15 CN CN201911120940.3A patent/CN111124275B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103475732A (zh) * | 2013-09-25 | 2013-12-25 | 浪潮电子信息产业股份有限公司 | 一种基于虚拟地址池的分布式文件系统数据卷部署方法 |
| CN104268061A (zh) * | 2014-09-12 | 2015-01-07 | 国云科技股份有限公司 | 一种适用于虚拟机的存储状态监控机制 |
| CN108804038A (zh) * | 2018-05-29 | 2018-11-13 | 新华三技术有限公司 | 日志数据迁移的方法、装置、服务器和计算机可读介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11599290B2 (en) * | 2020-07-31 | 2023-03-07 | EMC IP Holding Company LLC | Data storage method, electronic device, and computer program product |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111124275B (zh) | 2022-10-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10671285B2 (en) | Tier based data file management | |
| US10635323B2 (en) | Managing storage system | |
| US10409508B2 (en) | Updating of pinned storage in flash based on changes to flash-to-disk capacity ratio | |
| US10318325B2 (en) | Host-side cache migration | |
| US20150039837A1 (en) | System and method for tiered caching and storage allocation | |
| US10977132B2 (en) | Selective placement and adaptive backups for point-in-time database recovery | |
| CN108268344B (zh) | 一种数据处理方法和装置 | |
| CN108595119B (zh) | 一种数据同步方法及分布式系统 | |
| US9792050B2 (en) | Distributed caching systems and methods | |
| US9460001B2 (en) | Systems and methods for identifying access rate boundaries of workloads | |
| CN110737924B (zh) | 一种数据保护的方法和设备 | |
| CN110633046A (zh) | 一种分布式系统的存储方法、装置、存储设备及存储介质 | |
| CN111240901B (zh) | 分布式块存储系统的节点动态扩展系统、方法及设备 | |
| US10209905B2 (en) | Reusing storage blocks of a file system | |
| US8775786B1 (en) | Boot caching for boot acceleration within data storage systems | |
| CN111124275B (zh) | 一种分布式块存储系统的监控服务优化方法及装置 | |
| US20150212847A1 (en) | Apparatus and method for managing cache of virtual machine image file | |
| US11226875B2 (en) | System halt event recovery | |
| US9239790B1 (en) | Techniques for evicting cached files | |
| US9378141B1 (en) | Local cache pre-warming | |
| US9436697B1 (en) | Techniques for managing deduplication of data | |
| CN110837428A (zh) | 存储设备管理方法及装置 | |
| US11126371B2 (en) | Caching file data within a clustered computing system | |
| US10712959B2 (en) | Method, device and computer program product for storing data | |
| US20210117094A1 (en) | Mirroring data onto disparate types of non-volatile data storage |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |