CN115408161A - 固态硬盘的数据处理方法、装置及电子设备 - Google Patents

固态硬盘的数据处理方法、装置及电子设备 Download PDF

Info

Publication number
CN115408161A
CN115408161A CN202211173186.1A CN202211173186A CN115408161A CN 115408161 A CN115408161 A CN 115408161A CN 202211173186 A CN202211173186 A CN 202211173186A CN 115408161 A CN115408161 A CN 115408161A
Authority
CN
China
Prior art keywords
target
solid state
state disk
disk
load
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211173186.1A
Other languages
English (en)
Inventor
高志鹏
林娜
吴佳超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN202211173186.1A priority Critical patent/CN115408161A/zh
Publication of CN115408161A publication Critical patent/CN115408161A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083Techniques for rebalancing the load in a distributed system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2206/00Indexing scheme related to dedicated interfaces for computers
    • G06F2206/10Indexing scheme related to storage interfaces for computers, indexing schema related to group G06F3/06
    • G06F2206/1012Load balancing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请公开了一种固态硬盘的数据处理方法、装置及电子设备,接收基板管理控制器发送的第一指令,第一指令为用于表征对每一固态硬盘的写入次数进行监测得到的与目标负载状态相关的指令;基于第一指令,确定目标固态硬盘;确定与目标固态硬盘对应的目标负载均衡模式;基于目标负载均衡模式,对目标固态硬盘对应的存储资源进行处理,以使得目标固态硬盘的负载满足目标状态。实现了能够自动获取负载较大的目标固态硬盘,并执行与之对应的目标负载均衡模式实现负载均衡,提升了固态硬盘的寿命,提升了分布式存储系统的性能。

Description

固态硬盘的数据处理方法、装置及电子设备
技术领域
本申请涉及数据处理技术领域,更具体的说是涉及一种固态硬盘的数据处理方法、装置及电子设备。
背景技术
SSD(Solid State Disk,固态硬盘)被广泛用于数据存储和缓存设备中,当其作为缓存设备时,由于其具有擦除次数有限的特点,每次对SSD的读写操作(也可以称为擦除操作),是对SSD一定程度上的磨损。因此SSD的寿命和磨损度有关,磨损度越高,寿命越短。在分布式存储系统中在预期SSD寿命将至时,需要更换新的SSD,但是更换SSD的步骤繁琐且更换时间长,影响了分布式存储系统的性能。
发明内容
有鉴于此,本申请提供如下技术方案:
一种固态硬盘的数据处理方法,包括:
接收基板管理控制器发送的第一指令,所述第一指令为用于表征对每一固态硬盘的写入次数进行监测得到的与目标负载状态相关的指令;
基于所述第一指令,确定目标固态硬盘;
确定与所述目标固态硬盘对应的目标负载均衡模式;
基于所述目标负载均衡模式,对所述目标固态硬盘对应的存储资源进行处理,以使得所述目标固态硬盘的负载满足目标状态。
可选地,所述基于所述第一指令,确定目标固态硬盘,包括:
统计在目标时间段内接收到的所述第一指令的数量;
若所述数量大于目标数量阈值,将与所述第一指令对应的固态硬盘确定为目标固态硬盘。
可选地,所述基板管理控制器中存储有目标数据表,所述目标数据表包括每一固态硬盘的标识信息以及与每一固态硬盘对应的目标每日整盘写入次数,以使得所述基板管理控制器基于所述目标数据表生成第一指令。
可选地,其中,所述目标数据表基于固态硬盘的更新数据进行更新和/或基于基板管理控制器的更新数据进行更新。
可选地,所述确定与所述目标固态硬盘对应的目标负载均衡模式,包括:
获得与所述目标固态硬盘对应的存储池的状态信息;
基于所述状态信息,确定与所述目标固态硬盘对应的目标负载均衡模式。
可选地,所述基于所述状态信息,确定与所述目标固态硬盘对应的目标负载均衡模式,包括:
基于所述状态信息,获得所述目标固态硬盘所在存储池的每一存储盘的负载信息;
如果基于所述负载信息确定所述目标固态硬盘所在存储池中不存在满足负载条件的存储盘,将备份存储盘添加到所述目标固态硬盘所在的存储池;
如果基于所述负载信息确定所述目标固态硬盘所在存储池中不存在满足负载条件的存储盘,获得与所述目标固态硬盘所在存储池对应的关联存储池;
如果所述关联存储池中存在满足负载条件的第一存储盘;
将所述第一存储盘添加到所述目标固态硬盘所在的存储池;
基于目标存储盘,确定与所述目标固态硬盘对应的目标负载均衡模式,所述目标存储盘为所述目标固态硬盘所在存储池中添加的备份存储盘或者第一存储盘。
可选地,所述基于所述目标负载均衡模式,对所述目标固态硬盘对应的存储资源进行处理,包括:
基于所述目标负载均衡模式,将所述目标固态硬盘中的目标负载迁移至所述目标存储盘,以使得所述目标固态硬盘迁移出所述目标负载后的负载满足目标状态。
可选地,所述确定与所述目标固态硬盘对应的目标负载均衡模式,包括:
获取所述目标固态硬盘的当前负载资源缓存模式;
基于所述目标固态硬盘的当前负载状态信息,对所述当前负载资源缓存模式进行调整,得到目标负载资源缓存模式。
一种固态硬盘的数据处理装置,包括:
接收单元,用于接收基板管理控制器发送的第一指令,所述第一指令为用于表征对每一固态硬盘的写入次数进行监测得到的与目标负载状态相关的指令;
第一确定单元,用于基于所述第一指令,确定目标固态硬盘;
第二确定单元,用于确定与所述目标固态硬盘对应的目标负载均衡模式;
处理单元,用于基于所述目标负载均衡模式,对所述目标固态硬盘对应的存储资源进行处理,以使得所述目标固态硬盘的负载满足目标状态。
一种电子设备,包括:
存储器,用于存储应用程序和所述应用程序运行所产生的数据;
处理器,用于执行所述应用程序,以实现上述任一项所述的固态硬盘的数据处理方法。
一种可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,实现如上一项所述的固态硬盘的数据处理方法。
经由上述的技术方案可知,本申请公开了一种固态硬盘的数据处理方法、装置及电子设备,接收基板管理控制器发送的第一指令,第一指令为用于表征对每一固态硬盘的写入次数进行监测得到的与目标负载状态相关的指令;基于第一指令,确定目标固态硬盘;确定与目标固态硬盘对应的目标负载均衡模式;基于目标负载均衡模式,对目标固态硬盘对应的存储资源进行处理,以使得目标固态硬盘的负载满足目标状态。实现了能够自动获取负载较大的目标固态硬盘,并执行与之对应的目标负载均衡模式实现负载均衡,提升了固态硬盘的寿命,提升了分布式存储系统的性能。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种固态硬盘的数据处理方法的流程示意图;
图2为本申请实施例提供的一种分布式存储系统的架构示意图;
图3为本申请实施例提供的一种负载迁移的示意图;
图4为本申请实施例提供的一种缓存资源重分配的示意图;
图5为本申请实施例提供的一种固态硬盘的数据处理装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供一种固态硬盘的数据处理方法,可以应用于数据存储和缓存场景中,以提升固态硬盘的寿命和分布式存储系统的性能。为了便于对本申请实施例进行描述,现将本申请实施例用到的相关术语进行说明。
SSD(Solid State Disk,固态硬盘),又称固态驱动器,是用固态电子存储芯片阵列制成的硬盘,其由控制单元和存储单元(FLASH芯片、DRAM芯片)组成。
HDD(Hard Disk Drive,硬盘驱动器),是最基本的电脑存储器,电脑中常说的电脑硬盘C盘、D盘为磁盘分区都属于硬盘驱动器。
OSD(Object Storge Device,对象存储),对象存储设备有与之对应的处理器、内存、网格和磁盘系统,其主要功能包括数据存储和安全访问。
Ceph(分布式文件系统),其有高性能、高可用、高扩展性和特性丰富的特征。
参见图1,为本申请实施例提供的一种固态硬盘的数据处理方法的流程示意图,该方法可以包括以下步骤:
S101、接收基板管理控制器发送的第一指令。
其中,第一指令为用于表征对每一固态硬盘的写入次数进行监测得到的与目标负载状态相关的指令。
基板管理控制器(Baseboard Management Controller,BMC)是执行伺服器远端管理控制器,可以在机器未开机的状态下,对机器进行固件升级、查看机器设备等操作。因此,在本申请实施例通过基板管理控制器对每一固态硬盘的写入次数进行监测。即根据监测得到的每一固态硬盘的写入次数与对应的目标负载状态进行比较来生成第一指令。其中,目标负载状态是表征固态硬盘处于负载较为稳定不会对其寿命造成影响的状态,具体的,目标负载状态可以通过标准的每日整盘写入次数来表示,该标准的每日整盘写入次数是能够表征固态硬盘的负载处于一个较优状态对应的可写入次数。其中,每日整盘写入次数(DWPD)用来表示固态硬盘(SSD)产品寿命。
在一种实施方式中,基板管理控制器中存储有目标数据表,目标数据表包括每一固态硬盘的标识信息以及与每一固态硬盘对应的目标每日整盘写入次数,以使得基板管理控制器基于目标数据表生成第一指令。
即基板管理控制器可以通过实时对每一固态硬盘的写入状态进行监测来得到每一固态硬盘实际写入次数,对应的,基板管理控制器存储有与每一固态硬盘对应的目标每日整盘写入次数,并且可以通过固态硬盘的标识信息在目标数据表中进行查询来获得其对应的目标每日整盘写入次数。从而根据监测获得的实际写入次数和目标每日整盘写入次数来进行比较,若实际写入次数大于目标每日整盘写入次数,则BMC会生成第一指令,即提示当前的固态硬盘过度使用。
为了能够保证基板管理控制器对固态硬盘的写入次数进行监测的准确性,会定期对基板管理控制器存储的目标数据表进行更新。其中,目标数据表基于固态硬盘的更新数据进行更新和/或基于基板管理控制器的更新数据进行更新。当固态硬盘的使用状态或者对应执行的缓存数据的指令等发生改变时,会生成该固态硬盘的更新数据,即该更新数据能够更新对应固态硬盘的目标每日整盘写入次数。也可以是当基板管理控制器进行更新时对该目标数据表进行更新,如对基板管理控制器的访问接口等配置信息进行更新,也需要对目标数据表进行更新,以使得更新后的目标数据表能够被更新后的基板管理控制器进行读取。
S102、基于第一指令,确定目标固态硬盘。
当基板管理控制器对每一固态硬盘的写入次数进行监测时,若固态硬盘的实际写入次数大于标准的每日硬盘写入次数就会生成第一指令。为了能够准确对每一固态硬盘的负载状态进行监测,避免误处理的情况发生。可以是对第一指令的级别状态进行分级处理,例如,基板管理控制器在生成第一指令时,可以根据实际写入次数大于标准每日整盘写入次数的程度确定与第一指令对应的等级参数,即在发送第一指令的时候可以携带该等级参数,将等级参数最高的第一指令对应的固态硬盘作为目标固态硬盘。
还可以是确定一个监测时间段,在该监测时间段内针对同一固态硬盘的第一指令最多的固态硬盘确定为目标固态硬盘。在一种实施方式中,所述基于第一指令,确定目标固态硬盘,包括:统计在目标时间段内接收到的所述第一指令的数量;若所述数量大于目标数量阈值,将与所述第一指令对应的固态硬盘确定为目标固态硬盘。
例如,第一指令为固态硬盘(SSD)过度使用的指令,即固态硬盘的每日写入次数大于标准的每日写入次数,如果接收到第一指令的次数超过某个阈值,如,连续5天都收到某个固态硬盘过度使用的第一指令,则将该固态硬盘确定为目标固态硬盘,即需要执行相应的负载处理的固态硬盘。
S103、确定与目标固态硬盘对应的目标负载均衡模式。
S104、基于目标负载均衡模式,对目标固态硬盘对应的存储资源进行处理,以使得目标固态硬盘的负载满足目标状态。
在确定了目标固态硬盘后,需要根据目标固态硬盘当前的负载状态,其所在的存储系统或者对应的存储池的状态,来确定与之最匹配的目标负载均衡模式,一方面可以保证该目标固态硬盘的最佳负载状态,延长其使用寿命,另一方面还可以不影响目标固态硬盘所在的存储系统的整体性能。
确定了目标负载均衡模式后,可以对目标固态硬盘的当前存储资源进行处理,例如,对其存储资源进行迁移,或者对其缓存机制进行更新等。以使得目标固态硬盘的负载满足目标状态,即降低其负载,进一步保证整个存储系统(如分布式存储系统)的性能。
在本申请实施例的一种实施方式中,所述确定与目标固态硬盘对应的目标负载均衡模式,包括:
获得与目标固态硬盘对应的存储池的状态信息;基于所述状态信息,确定与目标固态硬盘对应的目标负载均衡模式。
以分布式存储系统为例,参见图2,其示出了本申请实施例提供的一种分布式存储系统(Ceph)的架构示意图,在该分布式存储系统中,Ceph的核心组件包括Client(客户端)、MON监控服务(图2中以MON MCR表示)、MDS元数据服务(图2中以MDS表示)、OSD存储服务(图2中以OSD表示),其中,一个Ceph客户端,通过librados直接与OSD交互,来存储和取出数据。为了与OSD交互,客户端应用必须直接调用librados,连接一个Ceph Monitor。一旦连接好以后,librados会从Monitor处取回一个Clustermap。当客户端的应用想读或者取数据的时候,它会创建一个I/O上下文并且与一个Storage pool(存储池)绑定。通过这个I/O上下文,客户端将Object的名字提供给librados,然后librados会根据Object的名字和Clustermap计算出相应的PG和OSD的位置。然后客户端就可以读或者写数据。RBD全称为RADOS BlockDevice,是一种构建在RADOS集群之上为客户端提供块设备接口的存储服务中间层。这类的客户端包括虚拟机KVM和云计算操作系统OpenStack、CloudStack等。RadosGW是对象存储(OSS,Object Storage Service)的一种实现方式,RADOS网关也称为Ceph对象网关、RADOSGW、RGW,是一种服务,使客户端能够利用标准对象存储API来访问Ceph集群。CephFS是一个支持POSFIX接口的文件系统,它使用Ceph存储集群来存储数据。文件系统对于客户端来说可以方便的挂载至本地使用。CephFS构建在RADOS之上,继承RADOS的容错性和扩展性,支持荣誉副本和数据高可靠性。Client客户端负责存储协议的接入,节点负载均衡。MON监控服务:负责监控整个集群,维护集群的健康状态,维护展示集群状态的各种图表,如OSDMap、MonitorMap、PG Map和CRUSH Map。MDS元数据服务:负责保存文件系统的元数据,管理目录结构。OSD存储服务:主要功能是存储数据、复制数据、平衡数据、恢复数据,以及与其它OSD间进行心跳检查等。一般情况下一块硬盘对应一个OSD。
在分布式存储系统中,SSD固态硬盘可以和HDD机械硬盘组成缓存关系,通过缓存软件将SSD和HDD组成“混合盘”,在混合盘上运行集群中本地硬盘的管理单元OSD组件的相关存储或缓存指令。因此,可以将多个OSD对应组成存储池。其中,不同的OSD可以共享对应的SSD,即存储池对应的存储设备为OSD对应的存储设备,具体可以是SSD或者HDD。
在本申请实施例中目标固态硬盘对应的存储池可以是目标固态硬盘其本身所在的存储池,也可以是目标固态硬盘关联的存储池,如目标固态硬盘所在存储池的相邻的存储池。存储池的状态信息主要包括存储池中的存储设备的空闲程度或者负载程度。从而可以根据存储池的状态信息来确定对应的目标负载均衡模式。
具体的,所述基于状态信息,确定与目标固态硬盘对应的目标负载均衡模式,包括:
基于状态信息,获得目标固态硬盘所在存储池的每一存储盘的负载信息;
如果基于负载信息确定目标固态硬盘所在存储池中不存在满足负载条件的存储盘,将备份存储盘添加到目标固态硬盘所在的存储池;
如果基于所述负载信息确定所述目标固态硬盘所在存储池中不存在满足负载条件的存储盘,获得与所述目标固态硬盘所在存储池对应的关联存储池;
如果所述关联存储池中存在满足负载条件的第一存储盘;
将所述第一存储盘添加到所述目标固态硬盘所在的存储池;
基于目标存储盘,确定与所述目标固态硬盘对应的目标负载均衡模式,所述目标存储盘为所述目标固态硬盘所在存储池中添加的备份存储盘或者第一存储盘。
对应的,所述基于所述目标负载均衡模式,对所述目标固态硬盘对应的存储资源进行处理,包括:
基于所述目标负载均衡模式,将所述目标固态硬盘中的目标负载迁移至所述目标存储盘,以使得所述目标固态硬盘迁移出所述目标负载后的负载满足目标状态。
目标固态硬盘为写入次数过度的的固态硬盘,为了能够保证目标固态硬盘的寿命,以及提升其所在的分布式存储系统的性能,需要降低目标固态硬盘的存储负载,并且要保证在对目标固态硬盘进行负载迁移的同时,不使得目标固态硬盘所在存储池的其他固态硬盘的写入次数过度增加。
首先,确定目标固态硬盘所在存储池的每一存储盘的负载信息,若目标固态硬盘所在存储池存在空闲或者负载很低的存储盘,可以将目标固态硬盘的负载迁移至该存储盘。若不存在满足负载条件的存储盘,即当前所在存储池的其他存储盘的负载均较大,可以通过在当前存储池中添加备份存储盘来实现负载均衡,即将当前目标固态硬盘的目标负载迁移至该备份存储盘,其中,目标负载为当前目标固态硬盘可以迁出的负载资源。
其次,若不存在备份存储盘,可以将该分布式系统中的负载较低的存储池确定为关联存储池,将该关联存储池中满足负载条件的第一存储盘添加到目标固态硬盘所在的存储池,例如,可以将关联存储池中的空闲存储盘添加到目标固体硬盘所在的存储池。
进一步地,在分布式存储系统中,删除或者下线某些存储盘并不会中断存储服务,但是为了更好地提升分布式存储系统的性能,可以监控各个存储盘的工作负载,确定各个存储盘相对较为空闲的时间窗口来执行上述的存储盘添加或迁移的操作,以实现目标固态存储盘的负载迁移。
举例说明,参见图3,其示出了本申请实施例提供的一种负载迁移的示意图。在图3所示的分布式存储系统中包括存储池(Storage pool)1和存储池(Storage pool)2。存储池1中的OSD1、OSD2、OSD3共享的SSD缓存写入量过大。存储池2中OSD对应的存储设备(SSD或者HDD)都是空闲的或者负载很低的。可以将存储池2中一些OSD存储设备移动到存储池1中,以缓解存储池1中目标固态硬盘以及其他存储盘的缓存压力。其中,OSD表示存储盘(SSD或者HDD)以及相关联的守护进程。
在本申请实施例的另一种实施方式中,所述确定与目标固态硬盘对应的目标负载均衡模式,包括:
获取目标固态硬盘的当前负载资源缓存模式;
基于所述目标固态硬盘的当前负载状态信息,对所述当前负载资源缓存模式进行调整,得到目标负载资源缓存模式。
以使得基于该目标负载资源缓存模式控制目标固态硬盘进行资源的缓存或存储。在该实施方式中,是通过调节当前存储节点(如服务器)的SSD缓存分配机制。
具体的,目标负载资源缓存模式可以是调整SSD对应的写入缓存的频率,还可以是调整其对应的写入资源。参见图4,为本申请实施例提供的一种缓存资源重分配的示意图。在图4上面中的SSD1是HDD1到HDD4的缓存,由于这几个HDD的负载较高,导致SSD1的写入量过大,为了防止SSD1继续过度写入,可以将HDD1到HDD4中写负载最大的HDD3迁出到SSD2对应的磁盘组,迁移后的架构如图4箭头下面所示的部分。
基于本申请实施例提供的固态硬盘的数据处理方法,可以基于BMC识别出过度使用的SSD,并自动执行与之对应的负载均衡模式,以延长SSD寿命,并降低数据中心的存储成本。
下面以分布式存储系统为例,对用于分布式存储系统的基于BMC的SSD负载均衡的处理流程进行说明,该处理过程包括:
S201、基于BMC对SSD进行监测,接收BMC发送的SSD过度使用的消息。
在BMC中存储并维持有包含各种已知型号SSD及其DWPD(每日整盘写入次数)的表。这个表可以在更新BMC的时候一同被更新,也可以通过BMC单独更新。对于那些不在表中的SSD,BMC可以根据一定的规则找到最匹配的DWPD,如可以通过类似型号的SSD,或者其使用状态等来确定DWPD。如果BMC检测到某个SSD修改过容量,可以通过容量与DWPD之间的关系,重新计算该SSD对应的DWPD。
BMC通过RAID或者HBA控制器、或者NVMe-MI over I2C,获取每一块SSD的数据写入量。这样,BMC就可以得到每个SSD的实际的DWPD以及每天的负载统计。如果实际的DWPD大于标准的DPWD,BMC产生一条“SSD过度使用”的告警信息。
S202、基于该SSD过度使用的消息,确定该SSD的每日写入次数是否超过写入次数阈值。
分布式存储系统的处理模块可以订阅“SSD过度使用”的告警信息。如果告警信息,即过度使用消息的次数超过某个阈值。比如连续5天都收到某个SSD过度使用的信息,就选择在工作负载较低的某个时间点,依据适当的负载均衡模式进行处理。其中,负载均衡模式可以包括将某些备份盘添加到当前存储池;从某些较低负载的存储池中移动一些存储盘到当前的存储池中。调节当前存储节点的SSD缓存分配机制。
S203、如果是,检测是否有备用存储盘;
S204、若存在备用存储盘,将该备用存储盘添加至该SSD所在存储池;
S205、若不存在备用存储盘,确定是否存在负载较低的存储池;
S206、若存在负载较低的存储池,确定在该负载较低的存储池中是否存在空闲的存储盘;
S207、若在负载较低的存储池中存在空闲的存储盘,将该空闲的存储盘添加到该SSD所在存储池;
S208、若不存在负载较低的存储池,确定是否可以将该SSD对应的缓存资源移动到其他SSD;
S209、如果是,将该SSD对应的缓存资源移动到其他SSD。
在本申请的另一实施例中还提供了一种固态硬盘的数据处理装置,参见图5,该装置包括:
接收单元501,用于接收基板管理控制器发送的第一指令,所述第一指令为用于表征对每一固态硬盘的写入次数进行监测得到的与目标负载状态相关的指令;
第一确定单元502,用于基于所述第一指令,确定目标固态硬盘;
第二确定单元503,用于确定与所述目标固态硬盘对应的目标负载均衡模式;
处理单元504,用于基于所述目标负载均衡模式,对所述目标固态硬盘对应的存储资源进行处理,以使得所述目标固态硬盘的负载满足目标状态。
本申请实施例公开了一种固态硬盘的数据处理装置,接收单元接收基板管理控制器发送的第一指令,第一指令为用于表征对每一固态硬盘的写入次数进行监测得到的与目标负载状态相关的指令;第一确定单元基于第一指令,确定目标固态硬盘;第二确定单元确定与目标固态硬盘对应的目标负载均衡模式;处理单元基于目标负载均衡模式,对目标固态硬盘对应的存储资源进行处理,以使得目标固态硬盘的负载满足目标状态。实现了能够自动获取负载较大的目标固态硬盘,并执行与之对应的目标负载均衡模式实现负载均衡,提升了固态硬盘的寿命,提升了分布式存储系统的性能。
在一种实施方式中,所述第一确定单元具体用于:
统计在目标时间段内接收到的所述第一指令的数量;
若所述数量大于目标数量阈值,将与所述第一指令对应的固态硬盘确定为目标固态硬盘。
在一种实施方式中,所述基板管理控制器中存储有目标数据表,所述目标数据表包括每一固态硬盘的标识信息以及与每一固态硬盘对应的目标每日整盘写入次数,以使得所述基板管理控制器基于所述目标数据表生成第一指令。
其中,所述目标数据表基于固态硬盘的更新数据进行更新和/或基于基板管理控制器的更新数据进行更新。
在一种实施方式中,所述第二确定单元包括:
第一获取子单元,用于获得与所述目标固态硬盘对应的存储池的状态信息;
第一确定子单元,用于基于所述状态信息,确定与所述目标固态硬盘对应的目标负载均衡模式。
可选地,所述第一确定子单元具体用于:
基于所述状态信息,获得所述目标固态硬盘所在存储池的每一存储盘的负载信息;
如果基于所述负载信息确定所述目标固态硬盘所在存储池中不存在满足负载条件的存储盘,将备份存储盘添加到所述目标固态硬盘所在的存储池;
如果基于所述负载信息确定所述目标固态硬盘所在存储池中不存在满足负载条件的存储盘,获得与所述目标固态硬盘所在存储池对应的关联存储池;
如果所述关联存储池中存在满足负载条件的第一存储盘;
将所述第一存储盘添加到所述目标固态硬盘所在的存储池;
基于目标存储盘,确定与所述目标固态硬盘对应的目标负载均衡模式,所述目标存储盘为所述目标固态硬盘所在存储池中添加的备份存储盘或者第一存储盘。
对应的,所述处理单元具体用于:
基于所述目标负载均衡模式,将所述目标固态硬盘中的目标负载迁移至所述目标存储盘,以使得所述目标固态硬盘迁移出所述目标负载后的负载满足目标状态。
在另一种实施方式中,所述第二确定单元还包括:
第二获取子单元,用于获取所述目标固态硬盘的当前负载资源缓存模式;
调整子单元,用于基于所述目标固态硬盘的当前负载状态信息,对所述当前负载资源缓存模式进行调整,得到目标负载资源缓存模式。
需要说明的是,本实施例中各个单元以及子单元的具体实现可以参考前文中的相应内容,此处不再详述。
在本申请的另一实施例中,还提供了一种可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,实现如上任一项所述的固态硬盘的数据处理各个步骤。
在本申请的另一实施例中,还提供了一种电子设备,所述电子设备可以包括:
存储器,用于存储应用程序和所述应用程序运行所产生的数据;
处理器,用于执行所述应用程序,以实现如上述中任一项所述固态硬盘的数据处理方法。
需要说明的是,本实施例中处理器的具体实现可以参考前文中的相应内容,此处不再详述。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种固态硬盘的数据处理方法,包括:
接收基板管理控制器发送的第一指令,所述第一指令为用于表征对每一固态硬盘的写入次数进行监测得到的与目标负载状态相关的指令;
基于所述第一指令,确定目标固态硬盘;
确定与所述目标固态硬盘对应的目标负载均衡模式;
基于所述目标负载均衡模式,对所述目标固态硬盘对应的存储资源进行处理,以使得所述目标固态硬盘的负载满足目标状态。
2.根据权利要求1所述的方法,所述基于所述第一指令,确定目标固态硬盘,包括:
统计在目标时间段内接收到的所述第一指令的数量;
若所述数量大于目标数量阈值,将与所述第一指令对应的固态硬盘确定为目标固态硬盘。
3.根据权利要求1所述的方法,所述基板管理控制器中存储有目标数据表,所述目标数据表包括每一固态硬盘的标识信息以及与每一固态硬盘对应的目标每日整盘写入次数,以使得所述基板管理控制器基于所述目标数据表生成第一指令。
4.根据权利要求3所述的方法,其中,所述目标数据表基于固态硬盘的更新数据进行更新和/或基于基板管理控制器的更新数据进行更新。
5.根据权利要求1所述的方法,所述确定与所述目标固态硬盘对应的目标负载均衡模式,包括:
获得与所述目标固态硬盘对应的存储池的状态信息;
基于所述状态信息,确定与所述目标固态硬盘对应的目标负载均衡模式。
6.根据权利要求5所述的方法,所述基于所述状态信息,确定与所述目标固态硬盘对应的目标负载均衡模式,包括:
基于所述状态信息,获得所述目标固态硬盘所在存储池的每一存储盘的负载信息;
如果基于所述负载信息确定所述目标固态硬盘所在存储池中不存在满足负载条件的存储盘,将备份存储盘添加到所述目标固态硬盘所在的存储池;
如果基于所述负载信息确定所述目标固态硬盘所在存储池中不存在满足负载条件的存储盘,获得与所述目标固态硬盘所在存储池对应的关联存储池;
如果所述关联存储池中存在满足负载条件的第一存储盘;
将所述第一存储盘添加到所述目标固态硬盘所在的存储池;
基于目标存储盘,确定与所述目标固态硬盘对应的目标负载均衡模式,所述目标存储盘为所述目标固态硬盘所在存储池中添加的备份存储盘或者第一存储盘。
7.根据权利要求6所述的方法,所述基于所述目标负载均衡模式,对所述目标固态硬盘对应的存储资源进行处理,包括:
基于所述目标负载均衡模式,将所述目标固态硬盘中的目标负载迁移至所述目标存储盘,以使得所述目标固态硬盘迁移出所述目标负载后的负载满足目标状态。
8.根据权利要求1所述的方法,所述确定与所述目标固态硬盘对应的目标负载均衡模式,包括:
获取所述目标固态硬盘的当前负载资源缓存模式;
基于所述目标固态硬盘的当前负载状态信息,对所述当前负载资源缓存模式进行调整,得到目标负载资源缓存模式。
9.一种固态硬盘的数据处理装置,包括:
接收单元,用于接收基板管理控制器发送的第一指令,所述第一指令为用于表征对每一固态硬盘的写入次数进行监测得到的与目标负载状态相关的指令;
第一确定单元,用于基于所述第一指令,确定目标固态硬盘;
第二确定单元,用于确定与所述目标固态硬盘对应的目标负载均衡模式;
处理单元,用于基于所述目标负载均衡模式,对所述目标固态硬盘对应的存储资源进行处理,以使得所述目标固态硬盘的负载满足目标状态。
10.一种电子设备,包括:
存储器,用于存储应用程序和所述应用程序运行所产生的数据;
处理器,用于执行所述应用程序,以实现如权利要求1-8中任一项所述的固态硬盘的数据处理方法。
CN202211173186.1A 2022-09-26 2022-09-26 固态硬盘的数据处理方法、装置及电子设备 Pending CN115408161A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211173186.1A CN115408161A (zh) 2022-09-26 2022-09-26 固态硬盘的数据处理方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211173186.1A CN115408161A (zh) 2022-09-26 2022-09-26 固态硬盘的数据处理方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN115408161A true CN115408161A (zh) 2022-11-29

Family

ID=84165868

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211173186.1A Pending CN115408161A (zh) 2022-09-26 2022-09-26 固态硬盘的数据处理方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN115408161A (zh)

Similar Documents

Publication Publication Date Title
US8645750B2 (en) Computer system and control method for allocation of logical resources to virtual storage areas
US9513810B2 (en) Fast accessible compressed thin provisioning volume
US7814351B2 (en) Power management in a storage array
US8738975B2 (en) Runtime dynamic performance skew elimination
US8566550B2 (en) Application and tier configuration management in dynamic page reallocation storage system
US8762667B2 (en) Optimization of data migration between storage mediums
US8762674B2 (en) Storage in tiered environment for colder data segments
US8271718B2 (en) Storage system and control method for the same, and program
US9753668B2 (en) Method and apparatus to manage tier information
JP2009500705A (ja) メモリ・マイグレーションのシステムおよび方法
EP2026185A2 (en) System and method for managing storage device capacity usage
CN110196770B (zh) 云系统内存数据处理方法、装置、设备及存储介质
US9021204B1 (en) Techniques for managing data storage
JP2007316725A (ja) 記憶領域管理方法及び管理計算機
US20110078405A1 (en) Computer system management apparatus and management method for the computer system
US8751739B1 (en) Data device spares
US20220058044A1 (en) Computer system and management method
US8627126B2 (en) Optimized power savings in a storage virtualization system
US8041917B2 (en) Managing server, pool adding method and computer system
US8850087B2 (en) Storage device and method for controlling the same
CN115408161A (zh) 固态硬盘的数据处理方法、装置及电子设备
US11144445B1 (en) Use of compression domains that are more granular than storage allocation units
US11971771B2 (en) Peer storage device messaging for power management
US9037622B1 (en) System and method for managing spool space in a mixed SSD and HDD storage environment
US10671525B2 (en) Space reclamation in data deduplication storage systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination