CN116360700A - 分布式集群中存储池的硬盘管理方法、装置、设备及介质 - Google Patents

分布式集群中存储池的硬盘管理方法、装置、设备及介质 Download PDF

Info

Publication number
CN116360700A
CN116360700A CN202310342070.4A CN202310342070A CN116360700A CN 116360700 A CN116360700 A CN 116360700A CN 202310342070 A CN202310342070 A CN 202310342070A CN 116360700 A CN116360700 A CN 116360700A
Authority
CN
China
Prior art keywords
hard disk
storage pool
packets
check blocks
residual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310342070.4A
Other languages
English (en)
Inventor
郭坤
谢鹏
张建刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Jinan data Technology Co ltd
Original Assignee
Inspur Jinan data Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Jinan data Technology Co ltd filed Critical Inspur Jinan data Technology Co ltd
Priority to CN202310342070.4A priority Critical patent/CN116360700A/zh
Publication of CN116360700A publication Critical patent/CN116360700A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0616—Improving the reliability of storage systems in relation to life time, e.g. increasing Mean Time Between Failures [MTBF]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0688—Non-volatile semiconductor memory arrays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0689—Disk arrays, e.g. RAID, JBOD
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明涉及存储技术领域，尤其涉及一种分布式集群中存储池的硬盘管理方法、装置、设备及介质。所述方法包括：获取存储池的数据保护策略以确定校验块个数；获取存储池的故障域类型以确定硬盘分组单位；利用硬盘分组单位进行分组并获取分组总数；按照每个分组中硬盘的最小剩余寿命由小到大对各分组进行排序以得到分组序列；对分组总数和校验块个数进行比较；响应于分组总数小于校验块个数则存储池始终安全；响应于分组总数等于校验块个数则存储池暂时安全且无需更换新硬盘；响应于分组总数大于校验块个数则存储池不安全且需要更换新硬盘。本发明的方案将硬盘物理分布与剩余寿命相结合判断存储池是否需要更换硬盘，能够节省成本、避免资源浪费。

Description

分布式集群中存储池的硬盘管理方法、装置、设备及介质
技术领域
本发明涉及存储技术领域，尤其涉及一种分布式集群中存储池的硬盘管理方法、装置、设备及介质。
背景技术
随着基于半导体电路的固态硬盘(Solid State Drive，简称SSD)和传统机械硬盘(Hard Disk Drive，简称HDD)成为分布式存储的重要物理存储单元，硬盘在分布式存储中使用越来越广，HDD硬盘和SSD硬盘的寿命预测则成为用户和厂商较为关注的方向。根据SSD硬盘的擦写次数有限的特性，厂商提供了包含在自我监测、分析及报告技术(Self-Monitoring Analysis and Reporting Technology，简称S.M.A.R.T.)中的剩余磨损百分比，可以根据持续采集的剩余磨损百分比的变化幅度及额定总擦写次数，预测出该SSD硬盘的剩余寿命。根据S.M.A.R.T.中HDD硬盘的端到端错误计数、不可纠正错误计数及错误扇区数量等属性及这些属性的最大经验值来预测HDD硬盘的剩余寿命。
目前，分布式集群中硬盘更换管理通常以所预测的剩余寿命为指标，例如当硬盘的剩余寿命小于某个设定值时立即进行更换。很显然，只得到各个硬盘的剩余寿命，并不能回答分布式存储的数据安全问题。按照存储池的策略，单个的硬盘寿命到期并不一定会导致数据丢失，如果按照单个硬盘的预测寿命去更换对应的硬盘，会造成资源的浪费及成本的提升。
发明内容
有鉴于此，有必要针对以上技术问题，提供一种分布式集群中存储池的硬盘管理方法、装置、设备及介质。
根据本发明的第一方面，提供了一种分布式集群中存储池的硬盘管理方法，所述方法包括：
获取存储池的数据保护策略，并根据所述数据保护策略确定校验块个数；
获取存储池的故障域类型，并根据所述故障域类型确定硬盘分组单位；
利用所述硬盘分组单位对存储池中所有硬盘进行分组并获取分组总数；
获取每个硬盘的剩余寿命，并按照每个分组中硬盘的最小剩余寿命由小到大对各分组进行排序以得到分组序列；
对所述分组总数和所述校验块个数进行比较；
响应于所述分组总数小于所述校验块个数，则确认存储池始终安全且无需更换新硬盘；
响应于所述分组总数等于所述校验块个数，则确认存储池暂时安全且无需更换新硬盘，以及根据所述分组序列确定存储池达到故障域的第一剩余时长并发出提醒；
响应于所述分组总数大于所述校验块个数，则确认存储池不安全且需要更换新硬盘，并根据所述分组序列确定存储池达到故障域的第一剩余时长和超出故障域的第二剩余时长以更换新硬盘。
在一些实施例中，获取存储池的数据保护策略，并根据所述数据保护策略确定校验块个数，包括：
响应于存储池的数据保护策略为多副本，则获取副本数，并将所述副本数减一作为校验块个数；
响应于存储池的数据保护策略为纠删码，则将纠删码中校验块值作为校验块个数。
在一些实施例中，获取存储池的故障域类型，并根据所述故障域类型确定分组单位，包括：
响应于故障域类型为节点，则将节点作为硬盘分组单位；
响应于故障域类型为机架，则将机架作为硬盘分组单位。
在一些实施例中，利用所述硬盘分组单位对存储池中所有硬盘进行分组并获取分组总数，包括：
响应于节点作为分组单位，则将属于相同节点的所有硬盘作为一组，并将节点总数作为分组总数；
响应于机架作为分组单位，则将属于相同机架的所有硬盘作为一组，并将机架总数作为分组总数。
在一些实施例中，根据所述分组序列确定存储池达到故障域的第一剩余时长并发出提醒，包括：
将所述分组序列中排位等于校验块个数的分组对应的最小剩余寿命作为第一剩余时长并发出提醒。
在一些实施例中，根据所述分组序列确定存储池达到故障域的第一剩余时长和超出故障域的第二剩余时长以更换新硬盘，包括：
将所述分组序列中排位等于校验块个数的分组对应的最小剩余寿命作为第一剩余时长；
将所述分组序列中排位等于校验块个数加一的分组对应的最小剩余寿命作为第二剩余时长；
在大于所述第一剩余时长且小于所述第二剩余时长的时间段内使用新硬盘更换存储池中剩余寿命最小的硬盘。
在一些实施例中，所述方法还包括：
响应于完成新硬盘更换，则返回再次执行所述获取每个硬盘的剩余寿命，并按照每个分组中硬盘的最小剩余寿命由小到大对各分组进行排序以得到分组序列的步骤。
根据本发明的第二方面，提供了一种分布式集群中存储池的硬盘管理装置，所述装置包括：
第一获取模块，配置用于获取存储池的数据保护策略，并根据所述数据保护策略确定校验块个数；
第二获取模块，配置用于获取存储池的故障域类型，并根据所述故障域类型确定硬盘分组单位；
分组模块，配置用于利用所述硬盘分组单位对存储池中所有硬盘进行分组并获取分组总数；
排序模块，配置用于获取每个硬盘的剩余寿命，并按照每个分组中硬盘的最小剩余寿命由小到大对各分组进行排序以得到分组序列；
比较模块，配置用于对所述分组总数和所述校验块个数进行比较；
第一确认模块，配置用于响应于所述分组总数小于所述校验块个数，则确认存储池始终安全且无需更换新硬盘；
第二确认模块，配置用于响应于所述分组总数等于所述校验块个数，则确认存储池暂时安全且无需更换新硬盘，以及根据所述分组序列确定存储池达到故障域的第一剩余时长并发出提醒；
第三确认模块，配置用于响应于所述分组总数大于所述校验块个数，则确认存储池不安全且需要更换新硬盘，并根据所述分组序列确定存储池达到故障域的第一剩余时长和超出故障域的第二剩余时长以更换新硬盘。
根据本发明的第三方面，还提供了一种计算机设备，该计算机设备包括：
至少一个处理器；以及
存储器，存储器存储有可在处理器上运行的计算机程序，处理器执行程序时执行前述的分布式集群中存储池的硬盘管理方法。
根据本发明的第四方面，还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时执行前述的分布式集群中存储池的硬盘管理方法。
上述一种分布式集群中存储池的硬盘管理方法，通过将数据保护策略及故障域的场景与硬盘剩余寿命相结合来判断存储池是否安全、以及是否需要更换相应的硬盘，解决了单纯依靠各个硬盘的剩余寿命时长来换盘的弊端，进而实现了在保证数据安全的前提下，达到节省成本和避免资源浪费的效果。
此外，本发明还提供了一种分布式集群中存储池的硬盘管理装置、一种计算机设备和一种计算机可读存储介质，同样能实现上述技术效果，这里不再赘述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1为本发明一个实施例提供的一种分布式集群中存储池的硬盘管理方法的流程图；
图2为本发明一个实施例提供的存储池不同策略对应的校验块个数示意图；
图3为本发明一个实施例提供的分布式集群中存储池的硬盘管理方法对应的数据流向示意图；
图4为本发明另一个实施例提供的存储池数据安全判断流程图；
图5为本发明另一个实施例提供的一种分布式集群中存储池的硬盘管理装置的结构示意图；
图6为本发明另一个实施例中计算机设备的内部结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。
在一个实施例中，请参照图1所示，本发明提供了一种分布式集群中存储池的硬盘管理方法100，具体来说，所述方法包括以下步骤：
步骤101，获取存储池的数据保护策略，并根据所述数据保护策略确定校验块个数；
步骤102，获取存储池的故障域类型，并根据所述故障域类型确定硬盘分组单位；
需要说明的是在分布式存储中，一般采用多副本或纠删码技术在不可靠的硬件系统中实现保障数据的可靠性。副本技术是将数据保护多份，如果数据丢失，可用副本修复丢失的数据。副本包括一副本、二副本、三副本和四副本等，校验块个数为副本数减一。纠删码技术是通过对数据做一定的冗余来增加系统的可靠性。纠删码技术支持K+M:N规则设置，其中K为数据块，M为校验块，N为冗余节点数。除了副本和纠删外，故障域技术进一步保障了数据安全。当故障域是节点时，假设有3台机器，允许2个节点同时发生故障，剩下1个节点提供服务。随着节点数的增加，多个节点同时发生故障的概率也会增加。当选择节点作为故障域时，那么由于多节点同时故障导致的服务不可用的概率就会增加，此时可以将故障域从节点提升为机架故障域。当到达故障域时，数据为安全状态，当超过故障域时，数据为风险状态。
步骤103，利用所述硬盘分组单位对存储池中所有硬盘进行分组并获取分组总数；
步骤104，获取每个硬盘的剩余寿命，并按照每个分组中硬盘的最小剩余寿命由小到大对各分组进行排序以得到分组序列；
步骤105，对所述分组总数和所述校验块个数进行比较；
步骤106，响应于所述分组总数小于所述校验块个数，则确认存储池始终安全且无需更换新硬盘；
步骤107，响应于所述分组总数等于所述校验块个数，则确认存储池暂时安全且无需更换新硬盘，以及根据所述分组序列确定存储池达到故障域的第一剩余时长并发出提醒；
步骤108，响应于所述分组总数大于所述校验块个数，则确认存储池不安全且需要更换新硬盘，并根据所述分组序列确定存储池达到故障域的第一剩余时长和超出故障域的第二剩余时长以更换新硬盘。
上述一种分布式集群中存储池的硬盘管理方法，通过将数据保护策略及故障域的场景与硬盘剩余寿命相结合来判断存储池是否安全、以及是否需要更换相应的硬盘，解决了单纯依靠各个硬盘的剩余寿命时长来换盘的弊端，进而实现了在保证数据安全的前提下，达到节省成本和避免资源浪费的效果。
在一些实施例中，请结合图2所示，前述步骤101，获取存储池的数据保护策略，并根据所述数据保护策略确定校验块个数，包括：
响应于存储池的数据保护策略为多副本，则获取副本数，并将所述副本数减一作为校验块个数；
响应于存储池的数据保护策略为纠删码，则将纠删码中校验块值作为校验块个数。
在一些实施例中，请再次结合图2所示，前述步骤102，获取存储池的故障域类型，并根据所述故障域类型确定分组单位，包括：
响应于故障域类型为节点，则将节点作为硬盘分组单位；
响应于故障域类型为机架，则将机架作为硬盘分组单位。
在一些实施例中，前述步骤103，利用所述硬盘分组单位对存储池中所有硬盘进行分组并获取分组总数，包括：
响应于节点作为分组单位，则将属于相同节点的所有硬盘作为一组，并将节点总数作为分组总数；
响应于机架作为分组单位，则将属于相同机架的所有硬盘作为一组，并将机架总数作为分组总数。
在一些实施例中，前述步骤107中的根据所述分组序列确定存储池达到故障域的第一剩余时长并发出提醒，包括：
将所述分组序列中排位等于校验块个数的分组对应的最小剩余寿命作为第一剩余时长并发出提醒。
在一些实施例中，前述步骤108中的根据所述分组序列确定存储池达到故障域的第一剩余时长和超出故障域的第二剩余时长以更换新硬盘，包括：
将所述分组序列中排位等于校验块个数的分组对应的最小剩余寿命作为第一剩余时长；
将所述分组序列中排位等于校验块个数加一的分组对应的最小剩余寿命作为第二剩余时长；
在大于所述第一剩余时长且小于所述第二剩余时长的时间段内使用新硬盘更换存储池中剩余寿命最小的硬盘。
在一些实施例中，所述方法还包括：
响应于完成新硬盘更换，则返回再次执行步骤104，获取每个硬盘的剩余寿命，并按照每个分组中硬盘的最小剩余寿命由小到大对各分组进行排序以得到分组序列。
在另一个实施例中，为了便于理解本发明的方案，下面以某个具体分布式集群为例，假设某个存储池包括四个硬盘，分别记作硬盘1至硬盘4，其中硬盘1和硬盘2分布在节点1上，硬盘3和硬盘4分布在节点2上，下面详细说明应用于该场景的分布式集群中存储池的硬盘管理方法的实施方式，请结合图3所示所述方法具体包括：
步骤一，实时数据采集模块会定时获取各个分布式存储上的存储池列表及硬盘列表，获取存储池的名称、策略、类型、故障域类型(节点或机架)，故障域名称等信息，获取硬盘的名称、所属节点名称、所属机架名称、所属池名称。这样就获取了每个存储池包含的硬盘列表。
步骤二，历史数据模块会定时查询分布式存储上各节点上的硬盘的S.M.A.R.T.数据，分布获取SSD硬盘的剩余磨损百分比和HDD硬盘的端到端错误计数、不可纠正错误计数及错误扇区数量的属性，并把采集时间和对应的这些属性值，持久化到数据库中。
步骤三，硬盘寿命预测模块根据历史数据模块中的采集时间和S.M.A.R.T.数据，计算SSD硬盘每磨损1％所需要的天数，进而推断出从当前的剩余磨损到剩余磨损为0时所需的天数，即剩余寿命时长；计算HDD硬盘错误属性的计数与最大经验值的比值，进而推断出从当前值到最大值时所需的天数，即剩余寿命时长；这样就得到了所有硬盘的剩余寿命时长。当硬盘的状态为故障时，设置剩余寿命时长为0。
步骤四，前三步我们已经得到每个存储池中的每个硬盘的物理分布及剩余寿命时长，存储池数据安全预测模块根据池的策略类型(1副本，2副本，3副本，4副本及k+m纠删或k+m:1纠删)，获取存储池的校验块的个数m。
步骤五，告警模块根据配置的超过故障域的时间的阈值，在各个存储池超过故障域的剩余时长小于该阈值时，在系统中产生告警，告警内容为步骤四中的记录的故障域硬盘列表，提示用户在某个时间段按照剩余时长从小到大的顺序换掉这些硬盘。在同一物理槽位更换新的硬盘后，平台会自动识别该硬盘，进行剩余时长的预测和存储池的数据安全预测。此时与新硬盘在同一节点或机架的最小剩余寿命时长的硬盘会重新参与排序，存储池的到达和超过故障域的时间也会随之更新，得出的结果会更加准确，告警的内容和换盘的顺序也会随之更新。比如节点1上有两个硬盘(硬盘1，硬盘2)的剩余时长为一周和2周，节点2上最小剩余寿命时长硬盘3为3周，告警时提示换盘顺序为硬盘1和硬盘3，更换硬盘1后，告警提示换盘顺序为硬盘2和硬盘3。
请结合图4所示，判断存储池数据是否安全的流程如下：
(1)首先，获取当前存储池的策略类型，计算存储池的校验块的个数m。
(2)然后，根据池的故障域类型(节点或机架)，进而找到分布在各个节点(或机架)的最小剩余寿命时长的硬盘。
(3)再对这些不同节点或机架的硬盘按照剩余寿命时长进行升序排列，重新组成硬盘列表。
(4)如果列表中的硬盘数目大于等于m+1，则第m+1个的硬盘的剩余寿命时长即为超过故障域的时间。
(5)如果列表中的硬盘数目大于等于m，则第m个的硬盘的剩余寿命时长即为到达故障域的时间。
(6)若列表中的硬盘数目小于m，则存储池暂时处于数据安全状态。
本实施例的一种分布式集群中存储池的硬盘管理方法从业务场景出发，根据存储池内的各硬盘的剩余寿命时长及硬盘的物理分布，来预测业务数据是否安全，提前预警进行换盘处理，该方法具备以下优势：
第一，解决了单纯依靠各个硬盘的剩余寿命时长来换盘的弊端，结合物理位置及故障域的场景来更换相应的硬盘。
第二，基于存储池的数据保护策略，在保证数据安全的前提下，达到节省成本和避免资源浪费的效果。
第三，管理平台获取存储池和硬盘的实时状态和历史数据，预测硬盘的剩余寿命时长及业务层的存储池的数据安全状态，并根据设定的告警阈值进行提前预警。
第四，在同一物理槽位更换新的硬盘后，平台会自动识别该硬盘，重新进行剩余时长的预测和存储池的数据安全预测及告警内容、换盘顺序的更新，换盘顺序考虑了新加入的硬盘，换盘顺序更加科学。
在一些实施例中，请参照图5所示，本发明还提供了一种分布式集群中存储池的硬盘管理装置200，所述装置包括：
第一获取模块201，配置用于获取存储池的数据保护策略，并根据所述数据保护策略确定校验块个数；
第二获取模块202，配置用于获取存储池的故障域类型，并根据所述故障域类型确定硬盘分组单位；
分组模块203，配置用于利用所述硬盘分组单位对存储池中所有硬盘进行分组并获取分组总数；
排序模块204，配置用于获取每个硬盘的剩余寿命，并按照每个分组中硬盘的最小剩余寿命由小到大对各分组进行排序以得到分组序列；
比较模块205，配置用于对所述分组总数和所述校验块个数进行比较；
第一确认模块206，配置用于响应于所述分组总数小于所述校验块个数，则确认存储池始终安全且无需更换新硬盘；
第二确认模块207，配置用于响应于所述分组总数等于所述校验块个数，则确认存储池暂时安全且无需更换新硬盘，以及根据所述分组序列确定存储池达到故障域的第一剩余时长并发出提醒；
第三确认模块208，配置用于响应于所述分组总数大于所述校验块个数，则确认存储池不安全且需要更换新硬盘，并根据所述分组序列确定存储池达到故障域的第一剩余时长和超出故障域的第二剩余时长以更换新硬盘。
上述一种分布式集群中存储池的硬盘管理装置，通过将数据保护策略及故障域的场景与硬盘剩余寿命相结合来判断存储池是否安全、以及是否需要更换相应的硬盘，解决了单纯依靠各个硬盘的剩余寿命时长来换盘的弊端，进而实现了在保证数据安全的前提下，达到节省成本和避免资源浪费的效果。达到节省成本和避免资源浪费的效果。
需要说明的是，关于分布式集群中存储池的硬盘管理装置的具体限定可以参见上文中对分布式集群中存储池的硬盘管理方法的限定，在此不再赘述。上述分布式集群中存储池的硬盘管理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
根据本发明的另一方面，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图请参照图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时实现以上所述的分布式集群中存储池的硬盘管理方法，具体来说，所述方法包括以下步骤：
获取存储池的数据保护策略，并根据所述数据保护策略确定校验块个数；
获取存储池的故障域类型，并根据所述故障域类型确定硬盘分组单位；
利用所述硬盘分组单位对存储池中所有硬盘进行分组并获取分组总数；
获取每个硬盘的剩余寿命，并按照每个分组中硬盘的最小剩余寿命由小到大对各分组进行排序以得到分组序列；
对所述分组总数和所述校验块个数进行比较；
响应于所述分组总数小于所述校验块个数，则确认存储池始终安全且无需更换新硬盘；
响应于所述分组总数等于所述校验块个数，则确认存储池暂时安全且无需更换新硬盘，以及根据所述分组序列确定存储池达到故障域的第一剩余时长并发出提醒；
响应于所述分组总数大于所述校验块个数，则确认存储池不安全且需要更换新硬盘，并根据所述分组序列确定存储池达到故障域的第一剩余时长和超出故障域的第二剩余时长以更换新硬盘。
根据本发明的又一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以上所述的分布式集群中存储池的硬盘管理方法，具体来说，所述方法包括以下步骤：
获取存储池的数据保护策略，并根据所述数据保护策略确定校验块个数；
获取存储池的故障域类型，并根据所述故障域类型确定硬盘分组单位；
利用所述硬盘分组单位对存储池中所有硬盘进行分组并获取分组总数；
获取每个硬盘的剩余寿命，并按照每个分组中硬盘的最小剩余寿命由小到大对各分组进行排序以得到分组序列；
对所述分组总数和所述校验块个数进行比较；
响应于所述分组总数小于所述校验块个数，则确认存储池始终安全且无需更换新硬盘；
响应于所述分组总数等于所述校验块个数，则确认存储池暂时安全且无需更换新硬盘，以及根据所述分组序列确定存储池达到故障域的第一剩余时长并发出提醒；
响应于所述分组总数大于所述校验块个数，则确认存储池不安全且需要更换新硬盘，并根据所述分组序列确定存储池达到故障域的第一剩余时长和超出故障域的第二剩余时长以更换新硬盘。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种分布式集群中存储池的硬盘管理方法，其特征在于，所述方法包括：
获取存储池的数据保护策略，并根据所述数据保护策略确定校验块个数；
获取存储池的故障域类型，并根据所述故障域类型确定硬盘分组单位；
利用所述硬盘分组单位对存储池中所有硬盘进行分组并获取分组总数；
获取每个硬盘的剩余寿命，并按照每个分组中硬盘的最小剩余寿命由小到大对各分组进行排序以得到分组序列；
对所述分组总数和所述校验块个数进行比较；
响应于所述分组总数小于所述校验块个数，则确认存储池始终安全且无需更换新硬盘；
响应于所述分组总数等于所述校验块个数，则确认存储池暂时安全且无需更换新硬盘，以及根据所述分组序列确定存储池达到故障域的第一剩余时长并发出提醒；
响应于所述分组总数大于所述校验块个数，则确认存储池不安全且需要更换新硬盘，并根据所述分组序列确定存储池达到故障域的第一剩余时长和超出故障域的第二剩余时长以更换新硬盘。
2.根据权利要求1所述的分布式集群中存储池的硬盘管理方法，其特征在于，获取存储池的数据保护策略，并根据所述数据保护策略确定校验块个数，包括：
响应于存储池的数据保护策略为多副本，则获取副本数，并将所述副本数减一作为校验块个数；
响应于存储池的数据保护策略为纠删码，则将纠删码中校验块值作为校验块个数。
3.根据权利要求1所述的分布式集群中存储池的硬盘管理方法，其特征在于，获取存储池的故障域类型，并根据所述故障域类型确定硬盘分组单位，包括：
响应于故障域类型为节点，则将节点作为硬盘分组单位；
响应于故障域类型为机架，则将机架作为硬盘分组单位。
4.根据权利要求3所述的分布式集群中存储池的硬盘管理方法，其特征在于，利用所述硬盘分组单位对存储池中所有硬盘进行分组并获取分组总数，包括：
响应于节点作为分组单位，则将属于相同节点的所有硬盘作为一组，并将节点总数作为分组总数；
响应于机架作为分组单位，则将属于相同机架的所有硬盘作为一组，并将机架总数作为分组总数。
5.根据权利要求1所述的分布式集群中存储池的硬盘管理方法，其特征在于，根据所述分组序列确定存储池达到故障域的第一剩余时长并发出提醒，包括：
将所述分组序列中排位等于校验块个数的分组对应的最小剩余寿命作为第一剩余时长并发出提醒。
6.根据权利要求1所述的分布式集群中存储池的硬盘管理方法，其特征在于，根据所述分组序列确定存储池达到故障域的第一剩余时长和超出故障域的第二剩余时长以更换新硬盘，包括：
将所述分组序列中排位等于校验块个数的分组对应的最小剩余寿命作为第一剩余时长；
将所述分组序列中排位等于校验块个数加一的分组对应的最小剩余寿命作为第二剩余时长；
在大于所述第一剩余时长且小于所述第二剩余时长的时间段内使用新硬盘更换存储池中剩余寿命最小的硬盘。
7.根据权利要求6所述的分布式集群中存储池的硬盘管理方法，其特征在于，所述方法还包括：
响应于完成新硬盘更换，则返回再次执行所述获取每个硬盘的剩余寿命，并按照每个分组中硬盘的最小剩余寿命由小到大对各分组进行排序以得到分组序列的步骤。
8.一种分布式集群中存储池的硬盘管理装置，其特征在于，所述装置包括：
第一获取模块，配置用于获取存储池的数据保护策略，并根据所述数据保护策略确定校验块个数；
第二获取模块，配置用于获取存储池的故障域类型，并根据所述故障域类型确定硬盘分组单位；
分组模块，配置用于利用所述硬盘分组单位对存储池中所有硬盘进行分组并获取分组总数；
排序模块，配置用于获取每个硬盘的剩余寿命，并按照每个分组中硬盘的最小剩余寿命由小到大对各分组进行排序以得到分组序列；
比较模块，配置用于对所述分组总数和所述校验块个数进行比较；
第一确认模块，配置用于响应于所述分组总数小于所述校验块个数，则确认存储池始终安全且无需更换新硬盘；
第二确认模块，配置用于响应于所述分组总数等于所述校验块个数，则确认存储池暂时安全且无需更换新硬盘，以及根据所述分组序列确定存储池达到故障域的第一剩余时长并发出提醒；
第三确认模块，配置用于响应于所述分组总数大于所述校验块个数，则确认存储池不安全且需要更换新硬盘，并根据所述分组序列确定存储池达到故障域的第一剩余时长和超出故障域的第二剩余时长以更换新硬盘。
9.一种计算机设备，其特征在于，包括：
至少一个处理器；以及
存储器，所述存储器存储有可在所述处理器中运行的计算机程序，所述处理器执行所述程序时执行权利要求1-7任意一项所述的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时执行权利要求1-7任意一项所述的方法。
CN202310342070.4A 2023-03-29 2023-03-29 分布式集群中存储池的硬盘管理方法、装置、设备及介质 Pending CN116360700A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310342070.4A CN116360700A (zh) 2023-03-29 2023-03-29 分布式集群中存储池的硬盘管理方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310342070.4A CN116360700A (zh) 2023-03-29 2023-03-29 分布式集群中存储池的硬盘管理方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN116360700A true CN116360700A (zh) 2023-06-30

Family

ID=86919882

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310342070.4A Pending CN116360700A (zh) 2023-03-29 2023-03-29 分布式集群中存储池的硬盘管理方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN116360700A (zh)

Similar Documents

Publication Publication Date Title
CN109828869B (zh) 预测硬盘故障发生时间的方法、装置及存储介质
US10013325B1 (en) Providing resiliency to a raid group of storage devices
US20140372838A1 (en) Bad disk block self-detection method and apparatus, and computer storage medium
US9251019B2 (en) Apparatus, system and method for managing solid-state retirement
US10176065B2 (en) Intelligent failure prediction and redundancy management in a data storage system
WO2013149558A1 (en) Systems and methods for preventing data loss
CN106537352B (zh) 分布式存储数据恢复
US9906242B2 (en) Control device performing lifetime prediction by error correction function
WO2017220013A1 (zh) 业务处理方法及装置、存储介质
CN114968652A (zh) 故障处理方法及计算设备
US11010072B2 (en) Data storage, distribution, reconstruction and recovery methods and devices, and data processing system
US20150199152A1 (en) Method of managing redundant array of independent disks (raid) groups in a solid state disk array
CN112148204A (zh) 用于管理独立冗余盘阵列的方法、设备和计算机程序产品
CN113051104A (zh) 基于纠删码的磁盘间数据恢复方法及相关装置
US20190087290A1 (en) Data storage systems using elastic spares
CN114116321A (zh) 一种冗余数据管理方法、装置、计算机设备和存储介质
CN116360700A (zh) 分布式集群中存储池的硬盘管理方法、装置、设备及介质
CN109992445B (zh) 一种修改写操作的处理方法、装置、电子设备及存储介质
CN109947587B (zh) 非均匀故障保护的分组修复码构造方法及故障修复方法
CN108964992B (zh) 一种节点故障检测方法、装置和计算机可读存储介质
CN114489504B (zh) 一种ssd数据管理方法及相关组件
CN109634531A (zh) 一种raid 5磁盘阵列监控方法、装置、设备及介质
CN108334279B (zh) 基于负载均衡模式的数据读写方法
US20170147460A1 (en) Data placement based on likelihoods of correlated storage-device failures
JP2005258633A (ja) ディスクアレイシステム及びハードディスクドライブの障害予測方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination