CN112306824A - 磁盘性能评估方法、系统、设备及计算机可读存储介质 - Google Patents

磁盘性能评估方法、系统、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN112306824A
CN112306824A CN201910699342.XA CN201910699342A CN112306824A CN 112306824 A CN112306824 A CN 112306824A CN 201910699342 A CN201910699342 A CN 201910699342A CN 112306824 A CN112306824 A CN 112306824A
Authority
CN
China
Prior art keywords
disk
node
expansion ratio
files
consumption time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910699342.XA
Other languages
English (en)
Other versions
CN112306824B (zh
Inventor
唐君行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Bilibili Technology Co Ltd
Original Assignee
Shanghai Bilibili Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Bilibili Technology Co Ltd filed Critical Shanghai Bilibili Technology Co Ltd
Priority to CN201910699342.XA priority Critical patent/CN112306824B/zh
Publication of CN112306824A publication Critical patent/CN112306824A/zh
Application granted granted Critical
Publication of CN112306824B publication Critical patent/CN112306824B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G06F11/3419—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment by assessing time

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例提供了一种磁盘性能评估方法，所述磁盘性能评估方法包括：将预定数量的文件写入到磁盘中；监测所述预定数量的文件在写入过程中的消耗时间的变化；根据所述消耗时间的变化，评估已写入的文件数量对所述磁盘性能的影响。本申请实施例提供的技术方案，可以根据已写入的文件数量评估磁盘的磁盘性能，从而得知计算机设备诸如CDN节点在密集请求或高负载条件下的磁盘存储性能。

Description

磁盘性能评估方法、系统、设备及计算机可读存储介质
技术领域
本申请实施例涉及计算机技术领域，尤其涉及一种磁盘性能评估方法、磁盘管理方法、系统、设备及计算机可读存储介质。
背景技术
随着互联网业务的发展，越来越多的内容被存储到远端服务器中。例如，用户或企业将内容交给能提供海量存储服务的数据中心存储；或者，内容提供者将内容分发到远程的CDN(Content Delivery Network，内容发布网络)服务器中，通过将内容发布到最接近用户的网络“边缘”，以提升用户获取内容的速度。
无论是作为数据中心节点的服务器还是CDN服务器，其都要面临海量数据的读取和写入。如何有效评估这些服务器在密集请求或高负载条件下的磁盘性能，成为各方要解决的技术难点之一。
发明内容
本申请实施例的目的是提供一种磁盘性能评估方法、磁盘管理方法、系统、计算机设备及计算机可读存储介质，用于解决如何评估磁盘的存储性能的技术问题。
本申请实施例的一个方面提供了一种磁盘性能评估方法，所述方法包括：将预定数量的文件写入到磁盘中；监测所述预定数量的文件在写入过程中的消耗时间的变化；及根据所述消耗时间的变化，评估已写入的文件数量对所述磁盘性能的影响。
可选的，监测所述多个文件被写过程中的消耗时间的时间变化，包括：监测所述预定数量的文件在写入过程中各个节点对应的消耗时间；其中，每个节点对应的消耗时间等于从开始写入第一个文件到完成写入第M个文件对应的消耗时间，且每个节点对应不同的M取值，M为自然数。
可选的，评估已写入的文件数量对所述磁盘性能的影响，包括：根据各个节点对应的消耗时间以及各个节点对应的M取值，获取所述磁盘在各个节点对应的膨胀比；其中，所述各个节点对应的膨胀比用于表示所述磁盘的磁盘性能对应不同的已写入的文件数量的衰减程度。
可选的，评估已写入的文件数量对所述磁盘性能的影响，还包括：根据所述各个节点对应的膨胀比定义膨胀比曲线，所述膨胀比曲线表示各个已写入的文件数量和各个膨胀比之间的映射关系。
可选的，根据各个节点对应的消耗时间以及各个节点对应的M取值，获取所述磁盘在各个节点对应的膨胀比，包括：计算第i节点的消耗时间比值与第i节点对应的M取值之间的比值，并确定所述比值被为所述第i节点的膨胀比；其中，所述第i节点的消耗时间比值等于第i节点对应的消耗时间除以第一节点对应的消耗时间，所述第一节点对应的M取值为1。
可选的，还包括：根据各个节点对应的膨胀比调整所述磁盘的存储策略。
可选的，根据各个节点对应的膨胀比调整所述磁盘的存储策略，包括：根据各个节点对应的膨胀比调整文件数量阈值，所述文件数量阈值用于限制所述磁盘的写入操作。
可选的，根据各个节点对应的膨胀比调整所述磁盘的存储策略，包括：根据各个节点对应的膨胀比，将所述磁盘的当前文件系统从第一文件系统切换为第二文件系统。
可选的，根据各个节点对应的膨胀比调整所述磁盘的存储策略，包括：根据各个节点对应的膨胀比，将所述磁盘的当前存储算法从第一存储算法切换为第二存储算法。
可选的，根据各个节点对应的膨胀比调整所述磁盘的存储策略，包括：根据各个节点对应的膨胀比为所述磁盘配置虚拟文件系统。
本申请实施例的一个方面又提供了一种磁盘性能评估系统，包括：写入模块，用于将预定数量的文件写入到磁盘中；监测模块，用于监测所述预定数量的文件在写入过程中的消耗时间的变化；评估模块，用于根据所述消耗时间的变化，评估已写入的文件数量对所述磁盘性能的影响。
本申请实施例的一个方面又提供了一种磁盘管理方法，所述磁盘管理方法包括：检测磁盘中已存储的文件数量；及根据所述已存储的文件数量判断所述磁盘的当前磁盘性能，根据所述当前磁盘性能执行相应的操作。
可选的，根据所述已存储的文件数量判断所述磁盘的当前磁盘性能，包括：根据所述已存储的文件数量获取多个膨胀比中的目标膨胀比，所述目标膨胀比用于表示所述当前磁盘性能；其中，所述多个膨胀比是预先得到的并用于评估所述磁盘的磁盘性能对应不同的已存储的文件数量时的衰减程度。
可选的，根据所述已存储的文件数量判断所述磁盘的当前磁盘性能，包括：根据所述已存储的文件数量及膨胀比曲线获取目标膨胀比，所述目标膨胀比用于表示所述当前磁盘性能；其中，所述膨胀比曲线是预先得到的并用于评估所述磁盘的磁盘性能对应不同的已存储的文件数量时的衰减程度。
可选的，根据所述当前磁盘性能执行相应的操作，包括：比较所述目标膨胀比和第一预设阈值；及如果所述目标膨胀比大于所述第一预设阈值，则限制所述磁盘的写入操作。
可选的，根据所述当前磁盘性能执行相应的操作，包括：比较所述目标膨胀比和第二预设阈值；及如果所述目标膨胀比大于所述第二预设阈值，则删除老化文件或通知写入设备改变存储路径。
可选的，根据所述已存储的文件数量判断所述磁盘的当前磁盘性能，包括：根据所述已存储的文件数量及膨胀比曲线获取所述磁盘性能的当前变化趋势；其中，所述膨胀比曲线是预先得到的并用于评估所述磁盘的磁盘性能的衰减趋势。
可选的，根据所述当前磁盘性能执行相应的操作，包括：根据所述当前变化趋势，确定是否限制所述磁盘的写入操作、删除老化文件或通知写入设备改变存储路径。
可选的，还包括：预先获取所述多个膨胀比及膨胀比曲线，包括：写入N个测试文件到磁盘中，并记录所述N个测试文件被写入过程中各个节点对应的消耗时间，每个节点对应的消耗时间等于从开始写入第一个测试文件到完成写入第M个测试文件对应的消耗时间，每个节点具有不同的M取值；根据各个节点对应的消耗时间，以及各个节点对应的M取值，计算所述磁盘各个节点对应的膨胀比；及根据所述各个节点对应的膨胀比定义膨胀比曲线。
可选的，计算所述磁盘各个节点对应的膨胀比，包括：计算第i节点的消耗时间比值与第i节点对应的M取值之间的比值，并确定所述比值被为所述第i节点的膨胀比；其中，所述第i节点的消耗时间比值等于第i节点对应的消耗时间除以第一节点对应的消耗时间，所述第一节点对应的M取值为1。
本申请实施例的一个方面又提供了一种磁盘管理系统，包括：检测模块，用于检测磁盘中已存储的文件数量；及调整模块，用于根据所述已存储的文件数量判断所述磁盘的当前磁盘性能，根据所述当前磁盘性能执行相应的操作。
本申请实施例的一个方面又提供了一种计算机设备，所述计算机设备包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时用于实现上述磁盘性能评估方法或磁盘管理方法的步骤。
本申请实施例的一个方面又提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以使所述至少一个处理器执行上述磁盘性能评估方法或磁盘管理方法的步骤。
本申请实施例提供的磁盘性能评估方法、系统、设备及计算机可读存储介质，可以根据已写入的文件数量评估磁盘的磁盘性能，从而得知计算机设备诸如CDN节点在密集请求或高负载条件下的磁盘存储性能。
附图说明
图1示意性示出了根据本申请实施例一的磁盘性能评估方法的流程图；
图2示意性示出了根据本申请实施例二的磁盘性能评估方法的流程图；
图3示意性示出了根据本申请实施例二的磁盘性能评估方法的另一流程图；
图4示意性示出了根据本申请实施例三的磁盘管理方法的流程图；
图5示意性示出了根据本申请实施例三的磁盘管理方法的另一流程图；
图6示意性示出了根据本申请实施例三的磁盘管理方法的另一流程图；
图7示意性示出了根据本申请实施例三的磁盘管理方法的新增步骤流程图；
图8示意性示出了根据本申请实施例四的磁盘性能评估系统的框图；
图9示意性示出了根据本申请实施例五的磁盘管理系统的框图；以及
图10示意性示出了根据本申请实施例六的适于实现磁盘管理方法或磁盘性能评估方法的计算机设备的硬件架构示意图。
具体实施方式
为了使本申请实施例的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请实施例进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请实施例，并不用于限定本申请实施例。基于本申请实施例中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请实施例保护的范围。
需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
某种程度上，磁盘性能取决于磁盘剩余容量和磁盘介质等，如SSD(solid statedrive，固态硬盘和HHD(hard disk drive，机械硬盘)就表现出具有差异性的磁盘性能。
但，本发明人还研究得出，磁盘性能还取决于文件数量。磁盘中所存储的文件数量的增加会引起磁盘底层的性能发现变化。本技术方案在于通过磁盘在文件数量增长是的耐受性，来评估磁盘的磁盘性能。
以下将以计算机设备2为执行主体，对本技术方案的磁盘性能评估方法进行示例性描述。其中，计算机设备2可以是服务器，如CDN节点或其他存储节点。
实施例一
图1示意性示出了根据本申请实施例一的磁盘性能评估方法的流程图。可以理解，本方法实施例中的流程图不用于对执行步骤的顺序进行限定。
如图1所示，该磁盘性能评估方法可以包括步骤S100～S104，其中：
步骤S100，将预定数量的文件写入到磁盘中。
步骤S102，监测所述预定数量的文件在写入过程中的消耗时间的变化。
步骤S104，根据所述消耗时间的变化，评估已写入的文件数量对所述磁盘性能的影响。
在示例性的实施例中，可以根据磁盘的容量和文件大小来确定所述预定文件数量。例如，可以将大小基本相同的20亿个文件写入到磁盘中；监测磁盘写入1个文件、10个文件、100个文件、1000个文件、1万个文件、5万个文件、20万个文件、…、20亿个文件，各自对应的消耗时间；根据这些消耗时间的时间变化，如，根据各个消耗时间之间的比值与对应的文件数量之间的比值，来评估不同文件数量下对写入速度的影响，即磁盘性能的影响。
不难理解，由于已写入的文件数量会引起磁盘性能的变化，这些消耗时间之间的比值与对应的文件数量之间的比值并不是呈正比的，例如，写入1亿个文件时对应的消耗时间为1万秒，写入20亿个文件对应的消耗时间并不是20万秒，而可能是40万秒。因此，磁盘随着已写入的文件数量的增加，后续的写入速度会逐渐下降。
基于本申请实施例一：
可以根据已写入的文件数量评估磁盘的磁盘性能，从而得知计算机设备诸如CDN节点在密集请求或高负载条件下的磁盘存储性能。
实施例二
图2示意性示出了根据本申请实施例二的磁盘性能评估方法的流程图。如图2所示，该磁盘性能评估方法可以包括步骤S200～S208，其中：
步骤S200，将预定数量的文件写入到磁盘中。
在示例性的实施例中，可以将大小基本相同的N亿个文件写入到磁盘中。
步骤S202，监测所述预定数量的文件在写入过程中各个节点对应的消耗时间。其中，每个节点对应的消耗时间等于从开始写入第一个文件到完成写入第M个文件对应的消耗时间，且每个节点对应不同的M取值。
不难理解，本申请实施例在于对文件数量进行取样，监测磁盘写入各个取样数量对应的多个文件所需要的消耗时间。例如，第一节点对应于磁盘写入1(M取1)个文件的消耗时间、第二节点对应于磁盘写入100(M取100)个文件的消耗时间、…、第S节点对应于磁盘写入20亿(M取20亿)个文件的消耗时间。
步骤S204，根据各个节点对应的消耗时间以及各个节点对应的M取值，获取所述磁盘在各个节点对应的膨胀比。
其中，所述各个节点对应的膨胀比用于表示所述磁盘的磁盘性能对应不同的已写入的文件数量的衰减程度。
在示例性的实施例中，以第i节点(i为自然数)为例，所述步骤S204可以包括步骤S204A：计算第i节点的消耗时间比值与第i节点对应的M取值之间的比值，并确定所述比值被为所述第i节点的膨胀比。其中，所述第i节点的消耗时间比值等于第i节点对应的消耗时间除以第一节点对应的消耗时间，所述第一节点对应的M取值为1。
如以下公式所述：PZDi＝(costi/cost1)/(counti/count1)；
其中，PZDi为第i节点对应的膨胀比，costi为第i节点对应的消耗时间，cost1为第一节点对应的消耗时间，counti为第i节点对应的M取值，count1为1。
步骤S206，根据所述各个节点对应的膨胀比定义膨胀比曲线。
所述膨胀比曲线表示各个已写入的文件数量和各个膨胀比之间的映射关系，亦用于表示所述磁盘的存储趋势(如，存储性能的衰减趋势)。
在示例性的实施例中，如图3所示，所述磁盘性能评估方法还包括步骤S208：根据各个节点对应的膨胀比调整所述磁盘的存储策略，或根据所述膨胀比曲线调整所述磁盘的存储。示例性的，可以通过如下几种方式调整所述存储策略：
策略一：根据各个节点对应的膨胀比调整文件数量阈值。
所述文件数量阈值用于限制所述磁盘的写入操作。不难理解，当磁盘中的文件数量超过文件数量阈值时，在已存储文件的文件数量未减少前，不允许写入新的文件，以确保磁盘的磁盘性能维持在预定水平上。这样做既可以确保磁盘中已存储文件的读取速度。
策略二：根据各个节点对应的膨胀比，将所述磁盘的当前文件系统从第一文件系统切换为第二文件系统。
所述当前文件系统，可以是或可以被切换为以下文件系统：EXT4(第四代扩展文件系统，fourth extended filesystem 4)、NTFS(新技术文件系统，new technology filesystem)、GFS(谷歌文件系统，google files system)等。
策略三：根据各个节点对应的膨胀比，将所述磁盘的当前存储算法从第一存储算法切换为第二存储算法。
所述当前存储算法，可以是或可以被切换为以下存储算法：哈希算法、文件依次排序法等。
策略四：根据各个节点对应的膨胀比为所述磁盘配置虚拟文件系统。
所述虚拟文件系统(VFS，Virtual File System)，是在磁盘的当前文件系统的基础上配置的虚拟文件系统，如“/proc文件系统”、“/sys文件系统”等。
以上几个示例性的存储策略调整方式，可以一定程度上优化磁盘的磁盘性能，如磁盘对文件数量增长的耐受性。
可以理解，经过上述方式调整存储策略之后，为确保调整存储策略后磁盘的磁盘性能是提升的，可以对存储策略调整之后的磁盘再次进行磁盘性能评估操作。
实施例三
图4示意性示出了根据本申请实施例三的磁盘管理方法的流程图。如图4所示，该磁盘管理方法可以包括步骤S400～S402，其中：
步骤S400，检测磁盘中已存储的文件数量。
步骤S402，根据所述已存储的文件数量判断所述磁盘的当前磁盘性能，根据所述当前磁盘性能执行相应的操作。
所述当前磁盘性能可以是当前的磁盘性能或当前的磁盘性能趋势：
如图5所示，所述步骤S402可以包括步骤S402A：根据所述已存储的文件数量获取多个膨胀比中的目标膨胀比，所述目标膨胀比用于表示所述当前磁盘性能。其中，所述多个膨胀比是预先得到的并用于评估所述磁盘的磁盘性能对应不同的已存储的文件数量时的衰减程度。
如图5所示，所述步骤S402可以包括步骤S402B：根据所述已存储的文件数量及膨胀比曲线获取目标膨胀比，所述目标膨胀比用于表示所述当前磁盘性能。其中，所述膨胀比曲线是预先得到的并用于评估所述磁盘的磁盘性能对应不同的已存储的文件数量时的衰减程度。
如图5所示，所述步骤S402可以包括步骤S402C：根据所述已存储的文件数量及膨胀比曲线获取所述磁盘性能的当前变化趋势。其中，所述膨胀比曲线是预先得到的并用于评估所述磁盘的磁盘性能的衰减趋势。
在示例性的实施例中，如图6所示，根据所述当前磁盘性能执行相应的操作，如，以下几种操作策略：
操作策略一：比较所述目标膨胀比和第一预设阈值；如果所述目标膨胀比大于所述第一预设阈值，则限制所述磁盘的写入操作。
操作策略二：比较所述目标膨胀比和第二预设阈值；如果所述目标膨胀比大于所述第二预设阈值，则删除老化文件。如，时间超过预设时间周期，或存储时间长且长时间为被读取过的文件。
操作策略三：比较所述目标膨胀比和第二预设阈值；如果所述目标膨胀比大于所述第二预设阈值，则通知写入设备改变存储路径。如计算机设备为CDN节点时，可以发送警示信息给内容提供设备，以通知内容提供设备改变缓存路径，存入到其他节点中。
操作策略四：根据所述磁盘性能的当前变化趋势，确定是否限制所述磁盘的写入操作、删除老化文件或通知写入设备改变存储路径。
例如，膨胀比曲线的X轴为文件数量、Y轴为膨胀比数值。通过所述已存储的文件数量找到膨胀比曲线上的点，计算该点在膨胀比曲线向的导数，根据导数大小来评估所述当前变化趋势。如果衰减趋势过大时，说明继续写入文件会导致磁盘性能的严重下滑。因此，可以设置一个与导数比较的阈值，来判断是否执行相应的操作。
其中，所述多个膨胀比和膨胀比曲线是预先得到的。多个膨胀比用于评估所述磁盘的磁盘性能对应不同的已存储的文件数量时的衰减程度。所述膨胀比曲线表示各个已写入的文件数量和各个膨胀比之间的映射关系(即，所述磁盘的磁盘性能对应不同的已存储的文件数量时的衰减程度)，亦用于表示所述磁盘的存储趋势(如，存储性能的衰减趋势)。如图7所示，所述多个膨胀比可以通过如下步骤得到：步骤S700，写入N个测试文件到磁盘中，并记录所述N个测试文件被写入过程中各个节点对应的消耗时间，每个节点对应的消耗时间等于从开始写入第一个测试文件到完成写入第M个测试文件对应的消耗时间，每个节点具有不同的M取值。步骤S702，根据各个节点对应的消耗时间，以及各个节点对应的M取值，计算所述磁盘各个节点对应的膨胀比。例如，计算第i节点的消耗时间比值与第i节点对应的M取值之间的比值，并确定所述比值被为所述第i节点的膨胀比。其中，所述第i节点的消耗时间比值等于第i节点对应的消耗时间除以第一节点对应的消耗时间，所述第一节点对应的M取值为1。步骤S704，根据所述各个节点对应的膨胀比定义膨胀比曲线。
M、N为自然数，M≤N。
所述膨胀比曲线可以是以文件数量为X轴、以膨胀比数值为Y轴的二维平滑曲线，根据所述文件数量可以定位到对应的目标膨胀比。
实施例四
图8示意性示出了根据本申请实施例四的磁盘性能评估系统的框图，该磁盘管理系统可以被分割成一个或多个程序模块，一个或者多个程序模块被存储于存储介质中，并由一个或多个处理器所执行，以完成本申请实施例。本申请实施例所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，比程序本身更适合描述磁盘性能评估系统在存储介质中的执行过程，以下描述将具体介绍本实施例各程序模块的功能。
如图8所示，该磁盘管理系统800可以包括写入模块810、监测模块820、评估模块830和调整模块840，其中：
写入模块810，用于将预定数量的文件写入到磁盘中。
监测模块820，用于监测所述预定数量的文件在写入过程中的消耗时间的变化。
评估模块830，用于根据所述消耗时间的变化，评估已写入的文件数量对所述磁盘性能的影响。
在示例性的实施例中，监测模块820，还用于：监测所述预定数量的文件在写入过程中各个节点对应的消耗时间；其中，每个节点对应的消耗时间等于从开始写入第一个文件到完成写入第M个文件对应的消耗时间，且每个节点对应不同的M取值。
在示例性的实施例中，评估模块830，还用于：根据各个节点对应的消耗时间以及各个节点对应的M取值，获取所述磁盘在各个节点对应的膨胀比；其中，所述各个节点对应的膨胀比用于表示所述磁盘的磁盘性能对应不同的已写入的文件数量的衰减程度。
在示例性的实施例中，评估模块830，还用于：根据所述各个节点对应的膨胀比定义膨胀比曲线，所述膨胀比曲线表示各个已写入的文件数量和各个膨胀比之间的映射关系。
在示例性的实施例中，评估模块830，还用于：计算第i节点的消耗时间比值与第i节点对应的M取值之间的比值，并确定所述比值被为所述第i节点的膨胀比；其中，所述第i节点的消耗时间比值等于第i节点对应的消耗时间除以第一节点对应的消耗时间，所述第一节点对应的M取值为1。
调整模块840，用于：根据各个节点对应的膨胀比调整所述磁盘的存储策略。
在示例性的实施例中，调整模块840，还用于：根据各个节点对应的膨胀比调整文件数量阈值，所述文件数量阈值用于限制所述磁盘的写入操作。
在示例性的实施例中，调整模块840，还用于：根据各个节点对应的膨胀比，将所述磁盘的当前文件系统从第一文件系统切换为第二文件系统。
在示例性的实施例中，调整模块840，还用于：根据各个节点对应的膨胀比，将所述磁盘的当前存储算法从第一存储算法切换为第二存储算法。
在示例性的实施例中，调整模块840，还用于：根据各个节点对应的膨胀比为所述磁盘配置虚拟文件系统。
实施例五
图9示意性示出了根据本申请实施例五的磁盘管理系统的框图，该磁盘管理系统可以被分割成一个或多个程序模块，一个或者多个程序模块被存储于存储介质中，并由一个或多个处理器所执行，以完成本申请实施例。本申请实施例所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，比程序本身更适合描述磁盘管理系统在存储介质中的执行过程，以下描述将具体介绍本实施例各程序模块的功能。
如图9所示，该磁盘管理系统900可以包括检测模块910、调整模块920和评估模块930，其中：
检测模块910，用于检测磁盘中已存储的文件数量。
调整模块920，用于根据所述已存储的文件数量判断所述磁盘的当前磁盘性能，根据所述当前磁盘性能执行相应的操作。
在示例性的实施例中，调整模块920，还用于：根据所述已存储的文件数量获取多个膨胀比中的目标膨胀比，所述目标膨胀比用于表示所述当前磁盘性能；其中，所述多个膨胀比是预先得到的并用于评估所述磁盘的磁盘性能对应不同的已存储的文件数量时的衰减程度。
在示例性的实施例中，调整模块920，还用于：根据所述已存储的文件数量及膨胀比曲线获取目标膨胀比，所述目标膨胀比用于表示所述当前磁盘性能；其中，所述膨胀比曲线是预先得到的并用于评估所述磁盘的磁盘性能对应不同的已存储的文件数量时的衰减程度。
在示例性的实施例中，调整模块920，还用于：比较所述目标膨胀比和第一预设阈值；及如果所述目标膨胀比大于所述第一预设阈值，则限制所述磁盘的写入操作。
在示例性的实施例中，调整模块920，还用于：比较所述目标膨胀比和第二预设阈值；及如果所述目标膨胀比大于所述第二预设阈值，则删除老化文件或通知写入设备改变存储路径。
在示例性的实施例中，调整模块920，还用于：根据所述已存储的文件数量及膨胀比曲线获取所述磁盘性能的当前变化趋势；其中，所述膨胀比曲线是预先得到的并用于评估所述磁盘的磁盘性能的衰减趋势。
在示例性的实施例中，调整模块920，还用于：根据所述当前变化趋势，确定是否限制所述磁盘的写入操作、删除老化文件或通知写入设备改变存储路径。
评估模块930，还用于：预先获取所述多个膨胀比及膨胀比曲线，包括：写入N个测试文件到磁盘中，并记录所述N个测试文件被写入过程中各个节点对应的消耗时间，每个节点对应的消耗时间等于从开始写入第一个测试文件到完成写入第M个测试文件对应的消耗时间，每个节点具有不同的M取值；根据各个节点对应的消耗时间，以及各个节点对应的M取值，计算所述磁盘各个节点对应的膨胀比；及根据所述各个节点对应的膨胀比定义膨胀比曲线。
在示例性的实施例中，评估模块930，还用于：计算所述磁盘各个节点对应的膨胀比，包括：计算第i节点的消耗时间比值与第i节点对应的M取值之间的比值，并确定所述比值被为所述第i节点的膨胀比；其中，所述第i节点的消耗时间比值等于第i节点对应的消耗时间除以第一节点对应的消耗时间，所述第一节点对应的M取值为1。
实施例六
图10示意性示出了根据本申请实施例六的适于实现磁盘性能评估方法和/或磁盘管理方法的计算机设备的硬件架构示意图。本实施例中，计算机设备2是一种能够按照事先设定或者存储的指令，自动进行数值计算和/或信息处理的设备。例如，可以是机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集合群)等。如图10所示，计算机设备2至少包括但不限于：可通过系统总线相互通信链接存储器1010、处理器1020、网络接口1030。其中：
存储器1010至少包括一种类型的计算机可读存储介质，可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器1010可以是计算机设备2的内部存储模块，例如该计算机设备2的硬盘或内存。在另一些实施例中，存储器1010也可以是计算机设备2的外部存储设备，例如该计算机设备2上配备的插接式硬盘，智能存储卡(Smart Media Card，简称为SMC)，安全数字(Secure Digital，简称为SD)卡，闪存卡(FlashCard)等。当然，存储器1010还可以既包括计算机设备2的内部存储模块也包括其外部存储设备。本实施例中，存储器1010通常用于存储安装于计算机设备2的操作系统和各类应用软件，例如磁盘评估方法或磁盘管理方法的程序代码等。此外，存储器1010还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器1020在一些实施例中可以是中央处理器(Central Processing Unit，简称为CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器1020通常用于控制计算机设备2的总体操作，例如执行与计算机设备2进行数据交互或者通信相关的控制和处理等。本实施例中，处理器1020用于运行存储器1010中存储的程序代码或者处理数据。
网络接口1030可包括无线网络接口或有线网络接口，该网络接口1030通常用于在计算机设备2与其他计算机设备之间建立通信链接。例如，网络接口1030用于通过网络将计算机设备2与外部终端相连，在计算机设备2与外部终端之间的建立数据传输通道和通信链接等。网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯系统(GlobalSystem of Mobile communication，简称为GSM)、宽带码分多址(Wideband Code DivisionMultiple Access，简称为WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi等无线或有线网络。
需要指出的是，图10仅示出了具有部件1010-1030的计算机设备，但是应理解的是，并不要求实施所有示出的部件，可以替代的实施更多或者更少的部件。
在本实施例中，存储于存储器1010中的磁盘性能评估方法或磁盘管理方法还可以被分割为一个或者多个程序模块，并由一个或多个处理器(本实施例为处理器1020)所执行，以完成本发明。
实施例七
本实施例还提供一种计算机可读存储介质，计算机可读存储介质其上存储有计算机程序，计算机程序被处理器执行时实现实施例中的磁盘性能评估方法或磁盘管理方法的步骤。
本实施例中，计算机可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，计算机可读存储介质可以是计算机设备的内部存储单元，例如该计算机设备的硬盘或内存。在另一些实施例中，计算机可读存储介质也可以是计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card，简称为SMC)，安全数字(Secure Digital，简称为SD)卡，闪存卡(Flash Card)等。当然，计算机可读存储介质还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中，计算机可读存储介质通常用于存储安装于计算机设备的操作系统和各类应用软件，例如实施例中的磁盘管理方法或磁盘管理方法的程序代码等。此外，计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的各类数据。
显然，本领域的技术人员应该明白，上述的本发明实施例的各模块或各步骤可以用通用的计算装置来实现，它们可以集合中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集合成电路模块，或者将它们中的多个模块或步骤制作成单个集合成电路模块来实现。这样，本发明实施例不限制于任何特定的硬件和软件结合。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (13)

1.一种磁盘性能评估方法，其特征在于，所述方法包括：
将预定数量的文件写入到磁盘中；
监测所述预定数量的文件在写入过程中的消耗时间的变化；及
根据所述消耗时间的变化，评估已写入的文件数量对所述磁盘性能的影响。
2.根据权利要求1所述的磁盘性能评估方法，其特征在于，监测所述预定数量的文件在写入过程中的消耗时间的变化，包括：
监测所述预定数量的文件在写入过程中各个节点对应的消耗时间；
其中，每个节点对应的消耗时间等于从开始写入第一个文件到完成写入第M个文件对应的消耗时间，且每个节点对应不同的M取值。
3.根据权利要求2所述的磁盘性能评估方法，其特征在于，评估已写入的文件数量对所述磁盘性能的影响，包括：
根据各个节点对应的消耗时间以及各个节点对应的M取值，获取所述磁盘在各个节点对应的膨胀比；
其中，所述各个节点对应的膨胀比用于表示所述磁盘的磁盘性能对应不同的已写入的文件数量的衰减程度。
4.根据权利要求3所述的磁盘性能评估方法，其特征在于，评估已写入的文件数量对所述磁盘性能的影响，还包括：
根据所述各个节点对应的膨胀比定义膨胀比曲线，所述膨胀比曲线表示各个已写入的文件数量和各个膨胀比之间的映射关系。
5.根据权利要求3所述的磁盘性能评估方法，其特征在于，根据各个节点对应的消耗时间以及各个节点对应的M取值，获取所述磁盘在各个节点对应的膨胀比，包括：
计算第i节点的消耗时间比值与第i节点对应的M取值之间的比值，并确定所述比值被为所述第i节点的膨胀比；
其中，所述第i节点的消耗时间比值等于第i节点对应的消耗时间除以第一节点对应的消耗时间，所述第一节点对应的M取值为1。
6.根据权利要求3所述的磁盘性能评估方法，其特征在于，还包括：根据各个节点对应的膨胀比调整所述磁盘的存储策略。
7.根据权利要求6所述的磁盘性能评估方法，其特征在于，根据各个节点对应的膨胀比调整所述磁盘的存储策略，包括：
根据各个节点对应的膨胀比调整文件数量阈值，所述文件数量阈值用于限制所述磁盘的写入操作。
8.根据权利要求6所述的磁盘性能评估方法，其特征在于，根据各个节点对应的膨胀比调整所述磁盘的存储策略，包括：
根据各个节点对应的膨胀比，将所述磁盘的当前文件系统从第一文件系统切换为第二文件系统。
9.根据权利要求6所述的磁盘性能评估方法，其特征在于，根据各个节点对应的膨胀比调整所述磁盘的存储策略，包括：
根据各个节点对应的膨胀比，将所述磁盘的当前存储算法从第一存储算法切换为第二存储算法。
10.根据权利要求6所述的磁盘性能评估方法，其特征在于，根据各个节点对应的膨胀比调整所述磁盘的存储策略，包括：
根据各个节点对应的膨胀比为所述磁盘配置虚拟文件系统。
11.一种磁盘性能评估系统，其特征在于，包括：
写入模块，用于将预定数量的文件写入到磁盘中；
监测模块，用于监测所述预定数量的文件在写入过程中的消耗时间的变化；
评估模块，用于根据所述消耗时间的变化，评估已写入的文件数量对所述磁盘性能的影响。
12.一种计算机设备，所述计算机设备包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时用于实现权利要求1～10中任意一项所述的磁盘性能评估方法的步骤。
13.一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以使所述至少一个处理器执行如权利要求1～10中任意一项所述的磁盘性能评估方法的步骤。
CN201910699342.XA 2019-07-31 2019-07-31 磁盘性能评估方法、系统、设备及计算机可读存储介质 Active CN112306824B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910699342.XA CN112306824B (zh) 2019-07-31 2019-07-31 磁盘性能评估方法、系统、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910699342.XA CN112306824B (zh) 2019-07-31 2019-07-31 磁盘性能评估方法、系统、设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN112306824A true CN112306824A (zh) 2021-02-02
CN112306824B CN112306824B (zh) 2022-07-26

Family

ID=74485967

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910699342.XA Active CN112306824B (zh) 2019-07-31 2019-07-31 磁盘性能评估方法、系统、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112306824B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103685544A (zh) * 2013-12-24 2014-03-26 华中科技大学 一种基于性能预估的客户端缓存分配方法和系统
CN103984619A (zh) * 2014-06-06 2014-08-13 山东超越数控电子有限公司 一种网络存储系统性能监测方法
CN104462148A (zh) * 2013-09-24 2015-03-25 浙江大华技术股份有限公司 一种数据存储管理方法及装置
CN105141532A (zh) * 2015-07-27 2015-12-09 浪潮(北京)电子信息产业有限公司 一种路由方法及路由器
CN106156283A (zh) * 2016-06-27 2016-11-23 江苏迪纳数字科技股份有限公司 基于数据温度和节点性能的异构Hadoop存储方法
CN108959055A (zh) * 2018-07-25 2018-12-07 郑州云海信息技术有限公司 xfs文件系统的读写性能测试方法、装置及设备
CN110018932A (zh) * 2019-03-26 2019-07-16 中国联合网络通信集团有限公司 一种容器磁盘的监控方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104462148A (zh) * 2013-09-24 2015-03-25 浙江大华技术股份有限公司 一种数据存储管理方法及装置
CN103685544A (zh) * 2013-12-24 2014-03-26 华中科技大学 一种基于性能预估的客户端缓存分配方法和系统
CN103984619A (zh) * 2014-06-06 2014-08-13 山东超越数控电子有限公司 一种网络存储系统性能监测方法
CN105141532A (zh) * 2015-07-27 2015-12-09 浪潮(北京)电子信息产业有限公司 一种路由方法及路由器
CN106156283A (zh) * 2016-06-27 2016-11-23 江苏迪纳数字科技股份有限公司 基于数据温度和节点性能的异构Hadoop存储方法
CN108959055A (zh) * 2018-07-25 2018-12-07 郑州云海信息技术有限公司 xfs文件系统的读写性能测试方法、装置及设备
CN110018932A (zh) * 2019-03-26 2019-07-16 中国联合网络通信集团有限公司 一种容器磁盘的监控方法及装置

Also Published As

Publication number Publication date
CN112306824B (zh) 2022-07-26

Similar Documents

Publication Publication Date Title
JP5211751B2 (ja) 計算機、ダンププログラムおよびダンプ方法
CN111324303B (zh) Ssd垃圾回收方法、装置、计算机设备及存储介质
CN112367384B (zh) 基于Kafka集群的动态限速方法、装置以及计算机设备
CN109445861A (zh) 系统启动方法、装置、计算机装置及存储介质
CN111400308A (zh) 缓存数据的处理方法、电子装置及可读存储介质
CN108845869B (zh) 并发请求控制方法、装置、计算机设备和存储介质
CN111752481A (zh) 一种基于spd的内存监控及寿命预测方法和系统
CN112235422B (zh) 数据处理方法、装置、计算机可读存储介质及电子装置
CN111291083A (zh) 网页源码数据处理方法、装置及计算机设备
CN108132759B (zh) 一种文件系统中管理数据的方法和装置
CN112306823B (zh) 磁盘管理方法、系统、设备及计算机可读存储介质
CN112306824B (zh) 磁盘性能评估方法、系统、设备及计算机可读存储介质
CN116578410A (zh) 资源管理方法、装置、计算机设备和存储介质
CN115509853A (zh) 一种集群数据异常检测方法及电子设备
CN115934354A (zh) 在线存储方法和装置
CN109213422B (zh) 分层存储方法、分层存储装置及计算机可读存储介质
CN112100143B (zh) 一种文件压缩存储方法、装置、设备及存储介质
CN115033551A (zh) 一种数据库迁移方法、装置、电子设备及存储介质
CN111966845B (zh) 图片管理方法、装置、存储节点及存储介质
CN114443583A (zh) 一种碎片空间整理方法、装置、设备及存储介质
CN109885551B (zh) 电子装置、元数据处理方法和计算机可读存储介质
CN111949604A (zh) 一种文件存储方法、装置、电子设备及可读存储介质
CN114003576B (zh) 文件遍历进度的计算方法、装置、计算机设备和存储介质
CN113411395B (zh) 访问请求路由方法、装置、计算机设备和存储介质
CN112115020B (zh) 一种数据库连接池异常监测方法、装置及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant