CN116414661B - 分布式存储的固态硬盘处理方法和装置 - Google Patents
分布式存储的固态硬盘处理方法和装置 Download PDFInfo
- Publication number
- CN116414661B CN116414661B CN202310678747.1A CN202310678747A CN116414661B CN 116414661 B CN116414661 B CN 116414661B CN 202310678747 A CN202310678747 A CN 202310678747A CN 116414661 B CN116414661 B CN 116414661B
- Authority
- CN
- China
- Prior art keywords
- solid state
- state disk
- data
- service
- monitoring result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000007787 solid Substances 0.000 title claims abstract description 221
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000012544 monitoring process Methods 0.000 claims abstract description 102
- 238000000034 method Methods 0.000 claims abstract description 48
- 238000012545 processing Methods 0.000 claims abstract description 40
- 238000012423 maintenance Methods 0.000 claims abstract description 21
- 230000008569 process Effects 0.000 claims abstract description 18
- 238000001514 detection method Methods 0.000 claims description 18
- 238000004458 analytical method Methods 0.000 claims description 12
- 238000002955 isolation Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 9
- 230000005012 migration Effects 0.000 claims description 8
- 238000013508 migration Methods 0.000 claims description 8
- 238000012937 correction Methods 0.000 claims description 3
- 230000005856 abnormality Effects 0.000 abstract description 6
- 238000007726 management method Methods 0.000 description 26
- 230000002159 abnormal effect Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000013403 standard screening design Methods 0.000 description 6
- 230000001960 triggered effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000001680 brushing effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000005201 scrubbing Methods 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3089—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3037—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a memory, e.g. virtual memory, cache
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3058—Monitoring arrangements for monitoring environmental properties or parameters of the computing system or of the computing system component, e.g. monitoring of power, currents, temperature, humidity, position, vibrations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
- G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C29/00—Checking stores for correct operation ; Subsequent repair; Testing stores during standby or offline operation
- G11C29/04—Detection or location of defective memory elements, e.g. cell constructio details, timing of test signals
- G11C29/08—Functional testing, e.g. testing during refresh, power-on self testing [POST] or distributed testing
- G11C29/12—Built-in arrangements for testing, e.g. built-in self testing [BIST] or interconnection details
- G11C29/44—Indication or identification of errors, e.g. for repair
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种分布式存储的固态硬盘处理方法和装置。其中,该方法包括:按照预定监控项,获取固态硬盘的底层信息;基于底层信息,确定固态硬盘的第一监控结果;获取固态硬盘在业务进程中的业务时延;基于业务时延,确定固态硬盘的第二监控结果;基于第一监控结果和第二监控结果,对固态硬盘进行运维处理。本发明解决了由于固态硬盘异常造成的分布式存储功能下降以及系统业务稳定性差的技术问题。
Description
技术领域
本发明涉及固态硬盘领域,具体而言,涉及一种分布式存储的固态硬盘处理方法和装置。
背景技术
在分布式存储相关技术中,使用固态硬盘时,通常仅对固态硬盘的一些常规参数进行检查,并没有针对固态硬盘的有效管理方法,无法判断固态硬盘状态,而固态硬盘的异常状态会直接影响存储功能以及业务系统的稳定性。
因此,在相关技术中,存在由于固态硬盘异常造成的分布式存储功能下降以及系统业务稳定性差的技术问题。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种分布式存储的固态硬盘处理方法和装置,以至少解决由于固态硬盘异常造成的分布式存储功能下降以及系统业务稳定性差的技术问题。
根据本发明实施例的一个方面,提供了一种分布式存储的固态硬盘处理方法,包括:按照预定监控项,获取固态硬盘的底层信息;基于底层信息,确定固态硬盘的第一监控结果;获取固态硬盘在业务进程中的业务时延;基于业务时延,确定固态硬盘的第二监控结果;基于第一监控结果和第二监控结果,对固态硬盘进行运维处理。
可选的,基于第一监控结果和第二监控结果,对固态硬盘进行运维处理,包括:在第一监控结果为电容错误的情况下,将固态硬盘隔离并对固态硬盘所属的集群进行重建;在第一监控结果为修正错误代码错误的情况下,基于固态硬盘的业务调度需求进行业务迁移,并对固态硬盘进行二次检测,且在二次检测结果为影响业务进程的情况下,隔离固态硬盘;在第一监控结果为介质错误的情况下,基于存储数据的冗余性对固态硬盘中的数据进行检验并重新读取目标数据,并在读取错误次数超过预定次数的情况下,对目标数据的存储区域进行标记,且在固态硬盘再次出现介质错误时隔离固态硬盘;在第一监控结果为链路错误的情况下,对固态硬盘所在的链路进行重置和复位,且若固态硬盘出现链路错误的次数在预定时间范围内增加,基于链路错误类型隔离固态硬盘对应的服务器。
可选的,基于业务时延,确定固态硬盘的第二监控结果包括:获取固态硬盘当前的业务场景;基于业务场景,确定固态硬盘的时延允许范围;在业务时延超过时延允许范围的情况下,对固态硬盘进行性能分析,并基于分析结果,对固态硬盘进行隔离探测,得到第二监控结果。
可选的,基于第一监控结果和第二监控结果,对固态硬盘进行运维处理,还包括:在第二监控结果为已知错误类型的情况下,发送与已知错误类型对应的告警信息,并隔离固态硬盘;在第二监控结果为未知错误类型的情况下,反馈当前已采集信息。
可选的,上述方法还包括:按照固态硬盘对应的预定生命周期,对固态硬盘进行监控管理。
可选的,上述方法还包括:基于固态硬盘的使用率,针对固态硬盘执行的数据类型设置优先级,其中,数据类型包括以下至少之一:管理命令数据,元数据,业务数据,同步数据,重建数据。
可选的,基于固态硬盘的使用率,针对固态硬盘执行的数据类型设置优先级,包括:在固态硬盘的使用率低于第一使用阈值的情况下,数据类型的优先级顺序为:管理命令数据=元数据=业务数据=同步数据>重建数据;在固态硬盘的使用率不低于第一使用阈值而小于第二使用阈值的情况下,数据类型的优先级顺序为:管理命令数据=元数据>业务数据=同步数据>重建数据;在固态硬盘的使用率不低于第二使用阈值的情况下,暂停执行重建数据。
根据本发明实施例的另一方面,还提供了一种分布式存储的固态硬盘处理装置,包括:第一获取模块,用于按照预定监控项,获取固态硬盘的底层信息;第一确定模块,用于基于底层信息,确定固态硬盘的第一监控结果;第二获取模块,用于获取固态硬盘在业务进程中的业务时延;第二确定模块,用于基于业务时延,确定固态硬盘的第二监控结果;处理模块,用于基于第一监控结果和第二监控结果,对固态硬盘进行运维处理。
根据本发明实施例的另一方面,还提供了一种计算机可读存储介质,计算机可读存储介质包括存储的程序,其中,在程序运行时控制计算机可读存储介质所在设备执行上述任意一项的分布式存储的固态硬盘处理方法。
根据本发明实施例的另一方面,还提供了一种计算机设备,包括:存储器和处理器,存储器存储有计算机程序;处理器,用于执行存储器中存储的计算机程序,计算机程序运行时使得处理器执行上述任意一项的分布式存储的固态硬盘处理方法。
在本发明实施例中,采用从底层信息和业务时延两个角度对固态硬盘进行监控的方式,通过在基于固态硬盘接口所反馈的信息对固态硬盘的底层信息进行监控的同时,还对固态硬盘与其它网络及网络间的设备之间的业务时延进行监控,可以准确判断固态硬盘的当前状态,且本发明实施例还可以对固态硬盘进行全生命周期的管理,另外,本发明实施例还对固态硬盘在业务执行过程中所接收及响应的数据类型的优先级进行设置,以满足业务需求,达到了基于固态硬盘的底层信息和业务时延对固态硬盘的状态进行实时监控的目的,从而实现了针对固态硬盘的异常状态及时进行运维处理,避免对固态硬盘的存储功能以及系统业务稳定性的影响的技术效果,进而解决了由于固态硬盘异常造成的分布式存储功能下降以及系统业务稳定性差的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例提供的分布式存储的固态硬盘处理方法的流程图;
图2是根据本发明可选实施方式提供的企业级SSD管理系统示意图;
图3是根据本发明可选实施方式提供的业务重平衡示意图;
图4是根据本发明实施例提供的分布式存储的固态硬盘处理装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
术语说明
NVMe(non-volatile memory express)是非易失性存储接口协议,为应用层服务,通过利用PCIe总线实现数据交互的功能,实现对物理层的抽象功能。
企业级 SSD(enterprise solid-state drive,企业级固态硬盘)是指应用于高性能计算、边缘计算、高端存储、数据中心等各种企业级场景中的固态硬盘,具备不间断工作能力,能够处理 I/O密集型工作负载,如数据库文件、索引日志、数据分析以及其它对性能要求较高的事务处理操作;通常包括SATA/SAS SSD 或NVMe SSD,本文重点解决NVMe 全闪存储的问题。
混闪分布式存储:企业SSD做缓存,HDD作为数据储存系统的分布式存储系统。
全闪分布式存储:全SSD的分布式存储系统。
在PCIe3.0的服务器平台中,为保障系统的稳定性,所有SATA接口盘均经过SASHBA卡,全系统的最大性能受PCIe3.0接口的带宽或SAS HBA卡的带宽限制。随着新技术的发展,单块NVMe SSD随机读写已达到100w级别的IOPS,与之匹配的硬件上已支持直通方式为每一块SSD提供一个PCIe4.0 x4的专属通道,多SSD能均分在双CPU上,实现更高并发性能。同时带来了批量SSD管理问题,如何在既保证可靠性又能够最大化发挥硬件性能成为了存储厂商技术攻关的重点和难点。仅沿用服务器厂商提供的接口和命令下发方式,很难形成具有竞争力的产品。
但根据现有技术中已有的技术方案,全闪存储作为解决用户在云平台&虚拟化,数据分析服务等主流业务场景内对高性能高扩展存储的需求的核心存储,系统可靠性及安全性更加苛刻,现有服务器提供的运维接口和级别远远无法满足此类核心存储的需求。另外,在低成本全闪方案中,会使用分层的缓存技术,在dwpd高的SSD中实现数据聚合,在低dwpd如QLC的SSD存储数据,来提升整个存储系统寿命;在此类系统中有着元数据和缓存共用SSD的需求,如何更好的实现IO调度及性能发挥上存在一定的瓶颈。
因此,现有技术中仍存在由于固态硬盘异常造成的分布式存储功能下降以及系统业务稳定性差的技术问题。
根据本发明实施例,提供了一种分布式存储的固态硬盘处理的方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例提供的分布式存储的固态硬盘处理方法的流程图,如图1所示,该方法包括如下步骤:
步骤S102,按照预定监控项,获取固态硬盘的底层信息;
步骤S104,基于底层信息,确定固态硬盘的第一监控结果;
步骤S106,获取固态硬盘在业务进程中的业务时延;
步骤S108,基于业务时延,确定固态硬盘的第二监控结果;
步骤S110,基于第一监控结果和第二监控结果,对固态硬盘进行运维处理。
通过上述步骤,采用从底层信息和业务时延两个角度对固态硬盘进行监控的方式,在基于固态硬盘接口所反馈的信息对固态硬盘的底层信息进行监控的同时,还对固态硬盘与其它网络及网络间的设备之间的业务时延进行监控,可以准确判断固态硬盘的当前状态,且本发明实施例还可以对固态硬盘进行全生命周期的管理,另外,本发明实施例还对固态硬盘在业务执行过程中所接收及响应的数据类型的优先级进行设置,以满足业务需求,达到了基于固态硬盘的底层信息和业务时延对固态硬盘的状态进行实时监控的目的,从而实现了针对固态硬盘的异常状态及时进行运维处理,避免对固态硬盘的存储功能以及系统业务稳定性的影响的技术效果,进而解决了由于固态硬盘异常造成的分布式存储功能下降以及系统业务稳定性差的技术问题。
需要说明的是,本发明实施例中的固态硬盘(SSD)为企业级固态硬盘(企业级SSD)。
其中,上述的预定监控项包括以下至少之一:电容,修正错误代码(ECC),介质错误,链路错误等等,本发明实施例可以根据从固态硬盘接口的信息实现对该固态硬盘的底层信息进行监控,得到上述的第一监控结果。
其中,电容监控项中包括电容容量(可以下刷数据量)和电压,当其数值过高或过低时会影响数据下刷的安全
作为一种可选的实施例,基于第一监控结果和第二监控结果,对固态硬盘进行运维处理,包括:在第一监控结果为电容错误的情况下,将固态硬盘隔离并对固态硬盘所属的集群进行重建;在第一监控结果为修正错误代码错误的情况下,基于固态硬盘的业务调度需求进行业务迁移,并对固态硬盘进行二次检测,且在二次检测结果为影响业务进程的情况下,隔离固态硬盘;在第一监控结果为介质错误的情况下,基于存储数据的冗余性对固态硬盘中的数据进行检验并重新读取目标数据,并在读取错误次数超过预定次数的情况下,对目标数据的存储区域进行标记,且在固态硬盘再次出现介质错误时隔离固态硬盘;在第一监控结果为链路错误的情况下,对固态硬盘所在的链路进行重置和复位,且若固态硬盘出现链路错误的次数在预定时间范围内增加,基于链路错误类型隔离固态硬盘对应的服务器。
本发明实施例在基于预定监控项对固态硬盘的底层信息进行实时监控时,可以根据不同的监控结果,及时对固态硬盘进行处理。
例如,当电容监控项出现错误时,即第一监控结果为电容错误时,可以直接出发告警,以提示当前该固态硬盘异常,同时隔离该固态硬盘,并进行集群重建,即重新建立各固态硬盘处理业务时的调度关系等,以便在异常固态硬盘被隔离的情况下恢复业务平衡。
例如,当ECC监控项出现错误时,即第一监控结果为修正错误代码错误时,需要结合业务响应和当前SSD的时延、系统日志等信息进行多角度的分析,为避免对相关业务造成影响,本发明实施例此时先确定该固态硬盘是否需要进行业务调度,并根据业务调度需求进行业务迁移,此处可以根据ECC错误种类或业务调度需求选择将该固态硬盘的部分业务或全部业务迁移至其它固态硬盘,用于业务迁移的固态硬盘可以根据业务调度需求进行确定,也可以预先指定用于业务迁移的固态硬盘,还可以根据需要迁移的业务量和其它固态硬盘当前负荷的业务量确定出一个或多个用于业务迁移的固态硬盘,等等。在业务迁移的同时,本发明实施例对该发生ECC错误的固态硬盘针对是否影响业务进程进行重点检测,即上述的二次检测,若二次检测的检测结果为影响业务进程,(例如,业务影响因素增加或业务影响因素对应的数值达到了预设阈值,等等),则对该固态硬盘进行隔离处理,同时出发告警,以提示用户该固态硬盘当前出现错误。
例如,当介质错误监控项出现错误时,即第一监控结果为介质错误时,若子系统出现数据读取错误,可先利用存数的冗余性对数据进行检验(例如,副本检验,EC算法,等等),并将数据备份到其它空余区间,同时针对数据读取错误的区域进行重试处理,若该区域仍然持续返错,则将该区域标记为坏区域,并发出告警,基于标记结果,若该固态硬盘再次出现介质错误,则触发该固态硬盘的隔离。
例如,当链路错误监控项出现错误时,即第一监控项为链路错误时,首先对SSD链路进行主动重置和复位,若该链路错误仍在短时间内持续增加,且问题指向服务器和PCIe链路错误,则此时触发告警并对服务器进行隔离。
作为一种可选的实施例,基于业务时延,确定固态硬盘的第二监控结果包括:获取固态硬盘当前的业务场景;基于业务场景,确定固态硬盘的时延允许范围;在业务时延超过时延允许范围的情况下,对固态硬盘进行性能分析,并基于分析结果,对固态硬盘进行隔离探测,得到第二监控结果。
由于分布式系统是一个复杂的网络系统,其稳定性同时也受限于网络及网络间的设备是否正常,因此,本发明实施例除了对固态硬盘的地层错误进行监控外,还从业务感知的时延、带宽和IOPS来判断性能瓶颈。以时延为例,不同的业务场景下允许的时延范围不同,本发明实施例先获取固态硬盘当前应用的业务场景,再通过获取得到的业务场景确定该固态硬盘的时延允许范围,然后基于该固态硬盘当前的业务时延和其业务场景对应的允许范围即可确定该固态硬盘是否出现异常的业务时延,例如,业务时延超过时延允许范围,在固态硬盘出现异常业务时延时,本发明实施例对该固态硬盘进行性能分析,其中,该性能分析的分析对象包括以下至少之一:底层SSD、预定关键参数的变化情况、系统及SSD日志、异常指标,且在必要时对该固态硬盘进行隔离探测。
作为一种可选的实施例,基于第一监控结果和第二监控结果,对固态硬盘进行运维处理,还包括:在第二监控结果为已知错误类型的情况下,发送与已知错误类型对应的告警信息,并隔离固态硬盘;在第二监控结果为未知错误类型的情况下,反馈当前已采集信息。当第二监控结果为已知错误类型时,可以根据预先设置的处理策略直接发送告警信息并隔离该固态硬盘,而若第二监控结果为未知错误类型,则为保证可以基于第二监控结果妥善处理该固态硬盘,本发明实施例将当前已采集的信息或根据预先设置的信息采集项采集信息并反馈给客户,以便于用户人工处理。
作为一种可选的实施例,上述方法还包括:按照固态硬盘对应的预定生命周期,对固态硬盘进行监控管理。本发明实施例在对固态硬盘进行监控的同时,还可以对固态硬盘进行全生命周期的管理,即上述的预定生命周期,其中,该固态硬盘的全生命周期包括以下至少之一:自动运维告警、点灯、坏盘、慢盘自动处理和寿命耗尽,本发明实施例可以在这整个生命周期中针对上述各周期进行实时监控,并根据出现的各种问题进行快速的信息收集与反馈,且全过程无需人工干预。
作为一种可选的实施例,上述方法还包括:基于固态硬盘的使用率,针对固态硬盘执行的数据类型设置优先级,其中,数据类型包括以下至少之一:管理命令数据,元数据,业务数据,同步数据,重建数据。为解决固态硬盘在数据调度时发生性能拥塞以及避免在业务重平衡时对前段业务造成影响,本发明实施例针对不同类型的数据分别设置优先级,保证根据业务需求有序高效地实现对固态硬盘中数据的调用。
作为一种可选的实施例,基于固态硬盘的使用率,针对固态硬盘执行的数据类型设置优先级,包括:在固态硬盘的使用率低于第一使用阈值的情况下,数据类型的优先级顺序为:管理命令数据=元数据=业务数据=同步数据>重建数据;在固态硬盘的使用率不低于第一使用阈值而小于第二使用阈值的情况下,数据类型的优先级顺序为:管理命令数据=元数据>业务数据=同步数据>重建数据;在固态硬盘的使用率不低于第二使用阈值的情况下,暂停执行重建数据。
本发明实施例针对不同的业务场景分别设置了不同的优先级顺序,以便更加适用于各场景中数据调用的需求。在固态硬盘的使用率低于第一使用阈值的情况下,(例如,运行常规业务且固态硬盘没有性能瓶颈时,或执行坏盘隔离后的集群重平衡时),可以令管理命令数据、元数据、业务数据和同步数据的优先级相同,即管理命令数据=元数据=业务数据=同步数据>重建数据,而若固态硬盘的使用率不低于第一使用阈值而小于第二使用阈值,(例如,SSD使用率高于阈值或达到该业务场景性能规格的阈值时),则优先级为管理命令数据=元数据>业务数据=同步数据>重建数据,而在固态硬盘的使用率不低于第二使用阈值的情况下,(例如,SSD使用率过高),则暂停重建,即暂停调用执行重建数据。另外,暂停重建之后,可在业务较小时(例如,固态硬盘的使用率小于第二使用阈值时)自动启动重建,当重建暂停时间过久仍未重建时,告警提醒当前集群状态,迁移部分业务,以保障集群的可靠性。
基于上述实施例及可选实施例,本发明提出一种可选实施方式,下面进行说明。
本发明可选实施方式提出一种企业级SSD管理方法、装置和分布式存储系统,在软件层开发实现SSD子系统管理和SSD的运维功能。本发明可选实施方式通过软件调用NVMe-MI标准接口实现对不同厂商、不同型号的SSD的管理,包括磁盘槽位、磁盘点灯、温度、Smart信息、剩余寿命等实现多维度的基础的管理功能,满足用户的基本管理需求。
SSD对外呈现的是一个黑盒子,在其出现慢盘坏盘时对存储的影响极大,本发明可选实施方式创新地将业务流量与SSD故障及错误码结合的方式,触发预判机制和多种运维策略,来最大化地降低异常SSD对系统业务稳定性的影响。
图2是根据本发明可选实施方式提供的企业级SSD管理系统示意图,如图2所示,本发明可选实施方式主动监控获取SSD子系统的关键监控项如电容、ECC、介质错误、链路错误等,这些关键项中还包含各类子项,下面针对不同监控项进行介绍。
1、当电容监控项中包括容量和电压、当其值过高或过低时会影响数据下刷的安全,此类异常可以直接调度触发告警,提示磁盘异常,并触发磁盘直接隔离,并进行集群重建。
2、SSD子系统的ECC错误广义上可分为可修复和不可修复的错误,当此类错误发生时,需要结合业务响应及当前SSD的时延、系统日志等多角度分析;确认该盘是否进行业务调度,迁移部分业务到其它盘,同时重点检测该盘,如果业务影响因素增加时对盘进行隔离处理并触发告警。
3、底层介质错误的感知能力高于操作系统上报的介质错误,当子系统中出现一定的读错误时,先利用存储的冗余性对数据进行检验,并备份到其它空余区间,并对错误区域进行重试处理,如果持续返错时,标记坏区域,并发出告警,当该盘再次出现错误时,触发SSD隔离。
4、子系统中的链路错误,此类错误发生时,主动去重置和复位SSD链路,如果错误依然短时间持续增加,问题指向服务器和PCIe链路错误,此时触发告警并实现对服务器的隔离。
上述问题的监控参数来源于底层错误的监控,但整个分布式系统是一个复杂的网络系统,受限于网络及网络间的设备是否正常;因此需要从业务感知的时延、带宽和IOPS来判断性能瓶颈。当出现非正常的业务时延时,会触发的查询底层SSD、关键参数的变化情况、系统及SSD日志、并对异常指标进行系统分析,必要时对盘进行隔离探测。探测结果为已知错误类型时,根据不同原因触发告警并隔离。未知原因时收集信息供客户提交反馈。
同时,本发明可选实施方式结合SSD的管理系统,可以实现分布式存储批量SSD的全生命周期的管理,包括SSD的自动运维告警、点灯、坏盘、慢盘自动处理和寿命耗尽的实时监控;疑难杂症的快速收集和反馈,无需人为干预。
另外,本发明可选实施方式对分布式存储SSD分区或共用场景也进行了性能优化。支持在混闪的缓存层或全闪中对SSD下发命令设置不同的优先级策略保证管理命令及元数据命令优先处理,以解决避免性能拥塞时,异常情况下命令处理顺序导致的数据不一致类问题,同时避免保证业务重平衡时,对前端业务的影响,图3是根据本发明可选实施方式提供的业务重平衡示意图。
常规的全闪系统中,SSD中执行的数据类型包括以下至少之一:1、管理命令 2、元数据3、业务数据 4、同步数据 5、重建数据。在本发明可选实施方式中,SSD按照数据类型进行有效调度;常规业务运行时,SSD无性能瓶颈时,可以实现1-4中数据类型相同优先级调度;当SSD使用率高于阈值或达到该业务场景性能规格的阈值时,元数据和管理命令优先于业务数据和同步数据。当执行坏盘隔离后的集群重平衡时,常规业务运行时,1-4同优先于重建数据,当SSD使用率过高时,暂停重建,在业务较小时自动启动重建,当重建暂停时间过久仍未重建时,告警提醒当前集群状态,请迁移部分业务,以保障集群的可靠性。
综上,本发明可选实施方式提出了一种软硬结合全链路的SSD管理维护方法,在SSD盘本身不能区分数据类型的情况下,通过上层数据分类调度的方式,定义数据IO的类型,实现快速调度和业务优先的需求,满足多场景需求,有效保障高业务或重建场景的业务稳定性,有效解决了分布式存储中因软件无法有效判断底层硬件问题而带来的巨大运维成本问题,同时,本发明可选实施方式解决了SSD的统一管理问题,并在硬件配置和深度配置和性能优化和可靠性上提供的有效的处理方法,为分布式全闪存储的开发提供稳定的基础平台,解决了分布式存储中软件无法有效判断底层硬件问题,运维困难的问题。且该SSD运维系统支持故障和错误的自动识别,并按照不同类型来执行不同的策略,简化了运维难度,更有利于分布式存储的推广和应用。
根据本发明实施例,还提供了一种分布式存储的固态硬盘处理装置,图4是根据本发明实施例提供的分布式存储的固态硬盘处理装置的结构框图,如图4所示,该装置包括:第一获取模块41,第一确定模块42,第二获取模块43,第二确定模块44和处理模块45,下面对该装置进行说明。
第一获取模块41,用于按照预定监控项,获取固态硬盘的底层信息;第一确定模块42,连接至上述第一获取模块41,用于基于底层信息,确定固态硬盘的第一监控结果;第二获取模块43,连接至上述第一确定模块42,用于获取固态硬盘在业务进程中的业务时延;第二确定模块44,连接至上述第二获取模块43,用于基于业务时延,确定固态硬盘的第二监控结果;处理模块45,连接至上述第二确定模块44,用于基于第一监控结果和第二监控结果,对固态硬盘进行运维处理。
根据本发明实施例,还提供了一种计算机可读存储介质,计算机可读存储介质包括存储的程序,其中,在程序运行时控制计算机可读存储介质所在设备执行上述任意一项的分布式存储的固态硬盘处理方法。
根据本发明实施例,还提供了一种计算机设备,包括:存储器和处理器,存储器存储有计算机程序;处理器,用于执行存储器中存储的计算机程序,计算机程序运行时使得处理器执行上述任意一项的分布式存储的固态硬盘处理方法。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (7)
1.一种分布式存储的固态硬盘处理方法,其特征在于,包括:
按照预定监控项,获取固态硬盘的底层信息;
基于所述底层信息,确定所述固态硬盘的第一监控结果;
获取所述固态硬盘在业务进程中的业务时延;
基于所述业务时延,确定所述固态硬盘的第二监控结果;
基于所述第一监控结果和所述第二监控结果,对所述固态硬盘进行运维处理;
所述基于所述第一监控结果和所述第二监控结果,对所述固态硬盘进行运维处理,包括:在所述第一监控结果为电容错误的情况下,将所述固态硬盘隔离并对所述固态硬盘所属的集群进行重建;在所述第一监控结果为修正错误代码错误的情况下,基于所述固态硬盘的业务调度需求进行业务迁移,并对所述固态硬盘进行二次检测,且在二次检测结果为影响业务进程的情况下,隔离所述固态硬盘;在所述第一监控结果为介质错误的情况下,基于存储数据的冗余性对所述固态硬盘中的数据进行检验并将数据备份到其它空余区间,重新读取目标数据,并在读取错误次数超过预定次数的情况下,对所述目标数据的存储区域进行标记,且在所述固态硬盘再次出现介质错误时隔离所述固态硬盘;在所述第一监控结果为链路错误的情况下,对所述固态硬盘所在的链路进行重置和复位,且若所述固态硬盘出现链路错误的次数在预定时间范围内增加,基于链路错误类型隔离所述固态硬盘对应的服务器;
所述方法还包括:调用NVMe-MI标准接口实现对固态硬盘的管理;
所述方法还包括:基于所述固态硬盘的使用率,针对所述固态硬盘执行的数据类型设置优先级,其中,所述数据类型包括以下至少之一:管理命令数据,元数据,业务数据,同步数据,重建数据;
所述基于所述固态硬盘的使用率,针对所述固态硬盘执行的数据类型设置优先级,包括:在所述固态硬盘的使用率低于第一使用阈值的情况下,所述数据类型的优先级顺序为:管理命令数据=元数据=业务数据=同步数据>重建数据;在所述固态硬盘的使用率不低于所述第一使用阈值而小于第二使用阈值的情况下,所述数据类型的优先级顺序为:管理命令数据=元数据>业务数据=同步数据>重建数据;在所述固态硬盘的使用率不低于所述第二使用阈值的情况下,暂停执行重建数据;在暂停重建之后,所述固态硬盘的使用率小于所述第二使用阈值的情况下,自动启动重建;在重建暂停时间过久仍未重建的情况下,告警提醒当前集群状态,迁移部分业务。
2.根据权利要求1所述的方法,其特征在于,所述基于所述业务时延,确定所述固态硬盘的第二监控结果包括:
获取所述固态硬盘当前的业务场景;
基于所述业务场景,确定所述固态硬盘的时延允许范围;
在所述业务时延超过所述时延允许范围的情况下,对所述固态硬盘进行性能分析,并基于分析结果,对所述固态硬盘进行隔离探测,得到所述第二监控结果。
3.根据权利要求1所述的方法,其特征在于,所述基于所述第一监控结果和所述第二监控结果,对所述固态硬盘进行运维处理,还包括:
在所述第二监控结果为已知错误类型的情况下,发送与所述已知错误类型对应的告警信息,并隔离所述固态硬盘;
在所述第二监控结果为未知错误类型的情况下,反馈当前已采集信息。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
按照所述固态硬盘对应的预定生命周期,对所述固态硬盘进行监控管理。
5.一种分布式存储的固态硬盘处理装置,其特征在于,包括:
第一获取模块,用于按照预定监控项,获取固态硬盘的底层信息;
第一确定模块,用于基于所述底层信息,确定所述固态硬盘的第一监控结果;
第二获取模块,用于获取所述固态硬盘在业务进程中的业务时延;
第二确定模块,用于基于所述业务时延,确定所述固态硬盘的第二监控结果;
处理模块,用于基于所述第一监控结果和所述第二监控结果,对所述固态硬盘进行运维处理;
所述装置,还用于在所述第一监控结果为电容错误的情况下,将所述固态硬盘隔离并对所述固态硬盘所属的集群进行重建;在所述第一监控结果为修正错误代码错误的情况下,基于所述固态硬盘的业务调度需求进行业务迁移,并对所述固态硬盘进行二次检测,且在二次检测结果为影响业务进程的情况下,隔离所述固态硬盘;在所述第一监控结果为介质错误的情况下,基于存储数据的冗余性对所述固态硬盘中的数据进行检验并将数据备份到其它空余区间,重新读取目标数据,并在读取错误次数超过预定次数的情况下,对所述目标数据的存储区域进行标记,且在所述固态硬盘再次出现介质错误时隔离所述固态硬盘;在所述第一监控结果为链路错误的情况下,对所述固态硬盘所在的链路进行重置和复位,且若所述固态硬盘出现链路错误的次数在预定时间范围内增加,基于链路错误类型隔离所述固态硬盘对应的服务器;
所述装置,还用于调用NVMe-MI标准接口实现对固态硬盘的管理;
所述装置,还用于基于所述固态硬盘的使用率,针对所述固态硬盘执行的数据类型设置优先级,其中,所述数据类型包括以下至少之一:管理命令数据,元数据,业务数据,同步数据,重建数据;
所述装置,还用于在所述固态硬盘的使用率低于第一使用阈值的情况下,所述数据类型的优先级顺序为:管理命令数据=元数据=业务数据=同步数据>重建数据;在所述固态硬盘的使用率不低于所述第一使用阈值而小于第二使用阈值的情况下,所述数据类型的优先级顺序为:管理命令数据=元数据>业务数据=同步数据>重建数据;在所述固态硬盘的使用率不低于所述第二使用阈值的情况下,暂停执行重建数据;在暂停重建之后,所述固态硬盘的使用率小于所述第二使用阈值的情况下,自动启动重建;在重建暂停时间过久仍未重建的情况下,告警提醒当前集群状态,迁移部分业务。
6.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的程序,其中,在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至4中任意一项所述的分布式存储的固态硬盘处理方法。
7.一种计算机设备,其特征在于,包括:存储器和处理器,
所述存储器存储有计算机程序;
所述处理器,用于执行所述存储器中存储的计算机程序,所述计算机程序运行时使得所述处理器执行权利要求1至4中任意一项所述的分布式存储的固态硬盘处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310678747.1A CN116414661B (zh) | 2023-06-08 | 2023-06-08 | 分布式存储的固态硬盘处理方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310678747.1A CN116414661B (zh) | 2023-06-08 | 2023-06-08 | 分布式存储的固态硬盘处理方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116414661A CN116414661A (zh) | 2023-07-11 |
CN116414661B true CN116414661B (zh) | 2023-09-08 |
Family
ID=87054640
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310678747.1A Active CN116414661B (zh) | 2023-06-08 | 2023-06-08 | 分布式存储的固态硬盘处理方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116414661B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117542403B (zh) * | 2024-01-09 | 2024-04-05 | 深圳市领德创科技有限公司 | 基于温控技术的固态硬盘运行管理系统及方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005267056A (ja) * | 2004-03-17 | 2005-09-29 | Nec Corp | ソフトウェアミラーリングディスク障害監視・復旧システム、その障害監視・復旧方法及びプログラム |
JP2007193711A (ja) * | 2006-01-20 | 2007-08-02 | Chugoku Electric Power Co Inc:The | ハードディスク冗長管理装置、方法、プログラムおよび監視制御システム |
CN115543702A (zh) * | 2022-09-19 | 2022-12-30 | 苏州云晨数安智能科技有限公司 | 一种多源固态硬盘协同故障诊断方法、系统、设备及介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104951383A (zh) * | 2014-03-31 | 2015-09-30 | 伊姆西公司 | 用于监测硬盘的健康状况的方法和装置 |
-
2023
- 2023-06-08 CN CN202310678747.1A patent/CN116414661B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005267056A (ja) * | 2004-03-17 | 2005-09-29 | Nec Corp | ソフトウェアミラーリングディスク障害監視・復旧システム、その障害監視・復旧方法及びプログラム |
JP2007193711A (ja) * | 2006-01-20 | 2007-08-02 | Chugoku Electric Power Co Inc:The | ハードディスク冗長管理装置、方法、プログラムおよび監視制御システム |
CN115543702A (zh) * | 2022-09-19 | 2022-12-30 | 苏州云晨数安智能科技有限公司 | 一种多源固态硬盘协同故障诊断方法、系统、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN116414661A (zh) | 2023-07-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11016956B2 (en) | Database management system with database hibernation and bursting | |
US9075838B2 (en) | Method and apparatus for an improved file repository | |
US9246996B1 (en) | Data volume placement techniques | |
US9503517B1 (en) | Data volume placement techniques | |
US8156381B2 (en) | Storage management apparatus and storage system | |
US9823840B1 (en) | Data volume placement techniques | |
CA3054040A1 (en) | Synchronously replicating datasets and other managed objects to cloud-based storage systems | |
US8122158B1 (en) | Method for improving I/O performance of host systems by applying future time interval policies when using external storage systems | |
US7702962B2 (en) | Storage system and a method for dissolving fault of a storage system | |
CN108153622B (zh) | 一种故障处理的方法、装置和设备 | |
JP2019511054A (ja) | 分散クラスタ型訓練方法及び装置 | |
US20160149828A1 (en) | Clustered storage system path quiescence analysis | |
US9804993B1 (en) | Data volume placement techniques | |
US6269410B1 (en) | Method and apparatus for using system traces to characterize workloads in a data storage system | |
US20130174176A1 (en) | Workload management in a data storage system | |
US8549360B2 (en) | Early collection of diagnostic information | |
US11157373B2 (en) | Prioritized transfer of failure event log data | |
US9984139B1 (en) | Publish session framework for datastore operation records | |
JP5938965B2 (ja) | マルチノードストレージシステムのノード装置および処理速度管理方法 | |
CN116414661B (zh) | 分布式存储的固态硬盘处理方法和装置 | |
CN109710456B (zh) | 一种数据恢复方法及装置 | |
US9390095B2 (en) | Rapid cloud-based image centralization | |
US20150370627A1 (en) | Management system, plan generation method, plan generation program | |
CN111324304A (zh) | 一种基于ssd硬盘寿命预测的数据保护方法及装置 | |
CN114064374A (zh) | 一种基于分布式块存储的故障检测方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |