CN114564460A - 基于分布式存储系统的参数调优方法、装置、设备及介质 - Google Patents
基于分布式存储系统的参数调优方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN114564460A CN114564460A CN202210182704.XA CN202210182704A CN114564460A CN 114564460 A CN114564460 A CN 114564460A CN 202210182704 A CN202210182704 A CN 202210182704A CN 114564460 A CN114564460 A CN 114564460A
- Authority
- CN
- China
- Prior art keywords
- storage system
- distributed storage
- determining
- parameter
- performance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 108
- 238000010187 selection method Methods 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 16
- 238000011056 performance test Methods 0.000 claims abstract description 11
- 238000004590 computer program Methods 0.000 claims description 16
- 238000012360 testing method Methods 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 5
- 238000012423 maintenance Methods 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 10
- 238000012795 verification Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 238000005457 optimization Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 230000001680 brushing effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/172—Caching, prefetching or hoarding of files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请公开了一种基于分布式存储系统的参数调优方法、装置、设备及介质，该方法包括：获取分布式存储系统中进程对应的日志文件，并利用日志文件确定分布式存储系统中整条带刷新情况与系统读写性能情况，以确定分布式存储系统的业务应用模型，根据业务应用模型展开分析处理以得到性能参数模型与包含目标参数的参数配置列表，利用性能参数模型对目标参数进行随机取值，以生成不同的参数配置组合，利用参数配置组合对分布式存储系统进行性能测试，以得到对应的系统每秒进行读写操作的次数，基于系统每秒进行读写操作的次数并利用预设配置选择方法确定分布式存储系统的最优参数配置。本方法提升了参数调优效率，减少了系统资源的占用与运维成本。
Description
技术领域
本发明涉及分布式存储领域，特别涉及一种基于分布式存储系统的参数调优方法、装置、设备及介质。
背景技术
目前，分布式存储系统已经普遍应用于生成环境中，具有高扩展性，高可用性，高可靠性的特点，与此同时，分布式对象存储系统能够应用于多种场景，在商业化模式的推动下，对分布式存储系统的性能要求越来越高。
一般情况下，选取最佳的分布式存储系统配置参数值，需要对每个模块进行全面、深入的理解和测试验证，提高存储性能的同时也需要保证存储系统的稳定性、可靠性，但由于分布式存储系统参数繁多，模块间交互同步相互影响，采用手动调优并分组测试的方法，将消耗费大量人力时间成本，整个参数调优过程效率较低。
由上可见，在分布式存储系统参数调优过程中，如何避免出现由于传统手工调优方法导致调优过程效率较低的情况是本领域有待解决的问题。
发明内容
有鉴于此，本发明的目的在于提供一种基于分布式存储系统的参数调优方法、装置、设备及介质，能够提升参数调优效率，减少系统资源的占用和测试验证时间，进而减少运维成本。其具体方案如下：
第一方面，本申请公开了一种基于分布式存储系统的参数调优方法，包括：
获取分布式存储系统中进程对应的日志文件，并利用所述日志文件确定所述分布式存储系统中整条带刷新情况与系统读写性能情况，以确定所述分布式存储系统对应的业务应用模型；
根据所述业务应用模型展开相应的分析处理以得到相应的性能参数模型，并确定包含目标参数的参数配置列表；所述目标参数为对所述分布式存储系统具有性能影响的参数；
利用所述性能参数模型对所述参数配置列表中的所述目标参数进行随机取值，以生成不同的参数配置组合；
利用所述参数配置组合对所述分布式存储系统进行性能测试，以得到不同的所述参数配置组合分别对应的系统每秒进行读写操作的次数；
基于不同的所述参数配置组合分别对应的系统每秒进行读写操作的次数，并利用预设的基于参数权重的配置选择方法确定所述分布式存储系统的最优参数配置。
可选的，所述获取分布式存储系统中进程对应的日志文件，包括：
通过预设脚本程序获取套接字文件，并从所述套接字文件中提取进程信息；
确定所述进程信息对应的目标进程，并利用所述目标进程对objectcacher层进行日志收集，以获取与所述目标进程对应的日志文件。
可选的，所述利用所述日志文件确定所述分布式存储系统中整条带刷新情况与系统读写性能情况，包括：
根据所述日志文件确定所述分布式存储系统中的条带参数，并利用所述条带参数以及预设条带刷新规则确定整条带刷新率；
确定所述日志文件的追加写次数与缓存命中率，并根据所述追加写次数与所述缓存命中率确定当前的系统读写性能情况。
可选的，所述根据所述日志文件确定所述分布式存储系统中的条带参数，并利用所述条带参数以及预设条带刷新规则确定整条带刷新率，包括：
根据所述日志文件确定所述分布式存储系统中的条带参数，并确定系统的默认条带宽度；
利用所述条带参数对所述默认条带宽度进行取余操作；
若所述取余操作的结果为0，则判定相应的刷新类型为整条带刷新；
若所述取余操作的结果不为0，则判定相应的刷新类型为非整条带刷新；
基于所述整条带刷新与所述非整条带刷新确定整条带刷新率。
可选的，所述确定所述日志文件的追加写次数与缓存命中率，并根据所述追加写次数与所述缓存命中率确定当前的系统读写性能情况，包括：
对所述日志文件进行关键字过滤，并将每个写入对象的大小与预设默认对象大小进行与运算；
若与运算结果不为0，则获取当前的追加写次数，并统计缓存命中次数与缓存未命次数，然后基于所述缓存命中次数与所述缓存未命次数确定相应的缓存命中率；
根据所述追加写次数与所述缓存命中率确定当前的系统读写性能情况。
可选的，所述基于分布式存储系统的参数调优方法，还包括：
查询数据存入各对象存储设备的数据落盘耗时和写入日志耗时，并基于所述数据落盘耗时和所述写入日志耗时确定各所述对象存储设备的性能情况；
确定所述对象存储设备的性能情况中满足预设耗时规则的目标对象存储设备，并对所述目标对象存储设备进行日志统计，以获取与所述目标对象存储设备对应的读写延迟信息与索引节点；
利用所述索引节点确定客户端数据的目标路径，并基于所述目标路径进行存储池的绑定。
可选的，所述基于不同的所述参数配置组合分别对应的系统每秒进行读写操作的次数，并利用预设的基于参数权重的配置选择方法确定所述分布式存储系统的最优参数配置，包括：
根据所述业务应用模型确定参数权重组合，并基于所述参数权重组合确定配置选择方法；
基于不同的参数配置组合所对应的系统每秒进行读写操作的次数，并利用所述配置选择方法进行参数的自动迭代，以确定所述分布式存储系统的最优参数配置。
第二方面，本申请公开了一种基于分布式存储系统的参数调优装置，包括：
应用模型确定模块，用于获取分布式存储系统中进程对应的日志文件，并利用所述日志文件确定所述分布式存储系统中整条带刷新情况与系统读写性能情况，以确定所述分布式存储系统对应的业务应用模型；
参数模型确定模块，用于根据所述业务应用模型展开相应的分析处理以得到相应的性能参数模型，并确定包含目标参数的参数配置列表；所述目标参数为对所述分布式存储系统具有性能影响的参数；
参数取值模块，用于利用所述性能参数模型对所述参数配置列表中的所述目标参数进行随机取值，以生成不同的参数配置组合；
性能测试模块，用于利用所述参数配置组合对所述分布式存储系统进行性能测试，以得到不同的所述参数配置组合分别对应的系统每秒进行读写操作的次数；
最优配置确定模块，用于基于不同的所述参数配置组合分别对应的系统每秒进行读写操作的次数，并利用预设的基于参数权重的配置选择方法确定所述分布式存储系统的最优参数配置。
第三方面，本申请公开了一种电子设备，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现前述的基于分布式存储系统的参数调优方法。
第四方面，本申请公开了一种计算机存储介质，用于保存计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的基于分布式存储系统的参数调优方法的步骤。
本申请先获取分布式存储系统中进程对应的日志文件，并利用所述日志文件确定所述分布式存储系统中整条带刷新情况与系统读写性能情况，以确定所述分布式存储系统对应的业务应用模型，然后根据所述业务应用模型展开相应的分析处理以得到相应的性能参数模型，并确定包含目标参数的参数配置列表，所述目标参数为对所述分布式存储系统具有性能影响的参数，再利用所述性能参数模型对所述参数配置列表中的所述目标参数进行随机取值，以生成不同的参数配置组合，接着利用所述参数配置组合对所述分布式存储系统进行性能测试，以得到不同的所述参数配置组合分别对应的系统每秒进行读写操作的次数，最后基于不同的所述参数配置组合分别对应的系统每秒进行读写操作的次数，并利用预设的基于参数权重的配置选择方法确定所述分布式存储系统的最优参数配置。这样一来，本方法通过建立并使用业务应用模型与性能参数模型对不同业务场景下的分布式存储系统中的参数进行自动分析并确定适用于当前业务场景的最优参数配置，实现参数的自动化调优，提升了参数调优效率，减少系统资源的占用和测试验证时间，进而减少运维成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请提供的一种基于分布式存储系统的参数调优方法流程图；
图2为本申请提供的一种分布式存储系统的存储流程架构图；
图3为本申请提供的一种分布式存储集群OSD存储数据流程图；
图4为本申请提供的一种分布式存储系统的参数配置列表示意图；
图5为本申请提供的一种具体的基于分布式存储系统的参数调优方法流程图；
图6为本申请提供的一种基于分布式存储系统的参数调优装置结构示意图；
图7为本申请提供的一种电子设备结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
现有技术中，在分布式存储系统参数调优过程中，一般采用手动调优并分组测试的方法，将消耗费大量人力时间成本，整个参数调优过程效率较低。在本申请中，通过建立并使用性能参数模型对不同业务场景下的分布式存储系统中的参数进行自动分析而实现参数的自动化调优，提升了参数调优效率，减少系统资源的占用和测试验证时间，进而减少运维成本。
本发明实施例公开了基于分布式存储系统的参数调优方法，参见图1所述，该方法包括：
步骤S11：获取分布式存储系统中进程对应的日志文件，并利用所述日志文件确定所述分布式存储系统中整条带刷新情况与系统读写性能情况，以确定所述分布式存储系统对应的业务应用模型。
本实施例中所述的分布式存储系统提供一种统一的、自控的、可扩展的分布式存储功能，提供Object，Block和File System三种协议访问接口，可通过底层的动态库与后端交互，其中用于存储数据的对象存储单元内包含众多模块，包括网络模块、数据处理模块、日志处理模块FileJournal等，模块之间通过队列同步消息，相互协作共同完成存储IO(即Input/Output，输入/输出)的处理。本分布式存储系统可以采用CRUSH算法，能够通过计算进行数据的分配与定位，过程中的数据分布均衡，并行度高。同时充分考虑了容灾域的隔离，能够实现各类负载的副本放置规则，例如跨机房、机架感知等。能够支持上千个存储节点的规模，支持TB(即Terabyte)到PB(即petabyte)级的数据。
所述分布式存储系统的客户端可以是对象存储RGW(即Rados Gateway)，块存储(即RADOS Blcok Device，RBD)，文件File存储三种不同的请求，在进行Message消息封装后，发送至OSD(即Object-based Storage Device，对象存储设备)，在OSD接收Client信息后，会响应客户端请求返回具体数据的进程。在一种具体实施方式中，若客户端提出块存储RBD请求，则客户端业务应用调用librbd将客户端业务进行分片，并生成对象，librbd调用分布式对象存储librados将对象写入分布式对象存储集群，并通过crushmap算法对数据进行计算，最后写入到PG当中(即placement group，对象放置组)，此过程的目的是为了更好的分配和定位数据，并在海量对象存储中实现对数据的管理与维护，并提升故障恢复特性的高效性。最后，librados计算出PG后会向主OSD写入分片好的对象数据。
如图2所示为一种分布式存储系统的存储流程架构图，图中所示为客户端(即图中的client1、client2…clientn)向分布式存储系统提出基于对象存储RGW，块存储RBD，文件File存储的存储请求，在通过Message消息封装后，将数据发送至OSD，然后利用objectstore将OSD上的数据写到磁盘中，以实现数据的保存与持久化。
如图3为一种分布式存储集群OSD存储数据流程图，首先由client端创建创建cluster handler并读取集群参数配置文件，在与Mon(即monitor)建立TCP(即Transmission Control Protocol，传输控制协议)连接后，获取集群map信息，client的读写IO根据crshmap算法计算出主OSD数据节点，然后向主OSD发送数据读写请求，在主OSD接收到所述读写请求后，会向一个或者多个副OSD写入所述读写请求的副本，此时副本OSD为了保证数据的冗余，将所述读写请求写到日志(即图中Journal)就会返回，写入Journal中的数据会按时下刷到磁盘中进行持久化存储，分布式对象存储系统通过Event事件通知客户端数据写入磁盘成功。
需要指出的是，MON通常应位于专用节点上，为确保正确仲裁，MON的数量应当为奇数，且OSD的journal和data可能会放置于同一存储设备上，当写操作到PG主OSD的日志后，标志写操作已经完成。在一般的部署中，OSD使用延迟较高的传统磁盘，为最大化效率将单独的低延迟的固态硬盘用于OSD。
本实施例中，所述获取分布式存储系统中进程对应的日志文件，可以包括：通过预设脚本程序获取套接字文件，并从所述套接字文件中提取进程信息；确定所述进程信息对应的目标进程，并利用所述目标进程对objectcacher层进行日志收集，以获取与所述目标进程对应的日志文件。
可以理解的是，当不同的客户端业务应用读写到分布式存储过程中，均会通过上述分布式存储流程进行数据的存储。本步骤提出了一种应用模型的建立过程，首先通过可执行脚本程序获取分布式存储Client进程的套接字文件，并从所述套接字文件中获取进程信息，通过该进程对objectcacher层进行日志收集，然后通过调整debug日志级别获取objectcacher存储读写IO过程。此时还可以通过grep get_caps进而获取到对象存储的inode(即索引节点)列表。接着通过对分布式对象存储写数据下刷整条带占比情况进行统计，并通过统计当前文件的追加写情况与缓存命中情况确定当前的系统读写性能情况。
本实施例中，所述基于分布式存储系统的参数调优方法，还可以包括：查询数据存入各对象存储设备的数据落盘耗时和写入日志耗时，并基于所述数据落盘耗时和所述写入日志耗时确定各所述对象存储设备的性能情况；确定所述对象存储设备的性能情况中满足预设耗时规则的目标对象存储设备，并对所述目标对象存储设备进行日志统计，以获取与所述目标对象存储设备对应的读写延迟信息与索引节点；利用所述索引节点确定客户端数据的目标路径，并基于所述目标路径进行存储池的绑定。
可以理解的是，当数据写入OSD时会有一定的数据落盘耗时和写入日志耗时，本方法通过fs_commit_latency与fs_apply_latency对每个OSD的数据落盘耗时与写入日志耗时进行查询，将时延高于预设阈值的OSD进行日志收集，并获取到write和read的delayed_op和inode，利用前述获取的inode列表检索出当前inode对应的client的目录路径，然后根据路径下的具体文件，通过文件的布局属性进行存储池的绑定。需要指出的是，当读写次数较频繁的随机小文件进行读写时，绑定到固态盘存储池会提升OSD响应客户端的读写性能。
步骤S12：根据所述业务应用模型展开相应的分析处理以得到相应的性能参数模型，并确定包含目标参数的参数配置列表；所述目标参数为对所述分布式存储系统具有性能影响的参数。
可以理解的是，本方法在建立业务应用模型后，利用所述的统计分析业务应用模型展开相应的分析处理之后，得出对分布式存储系统性能影响较大的参数，根据这些参数建立性能参数模型，并生成包含这些参数的参数配置列表。如图4为一种分布式存储系统的参数配置列表示意图，展示了多种参数与参数对应的默认配置与含义。
步骤S13：利用所述性能参数模型对所述参数配置列表中的所述目标参数进行随机取值，以生成不同的参数配置组合。
在本步骤中，利用性能参数模型对所述目标参数进行随机组合，确定参数取值范围，进行组合采样，最终生成不同的参数配置组合。
步骤S14：利用所述参数配置组合对所述分布式存储系统进行性能测试，以得到不同的所述参数配置组合分别对应的系统每秒进行读写操作的次数。
可以理解的是，在每一种参数配置组合确认后，将会对应生成conf文件集，在运行业务数据并进行存储系统IO的正常运行后，记录每一种参数配置组合各自对应的IOPS值(即Input/Output Operations Per Second，每秒进行读写操作的次数)。
步骤S15：基于不同的所述参数配置组合分别对应的系统每秒进行读写操作的次数，并利用预设的基于参数权重的配置选择方法确定所述分布式存储系统的最优参数配置。
本实施例中，所述基于不同的所述参数配置组合分别对应的系统每秒进行读写操作的次数，并利用预设的基于参数权重的配置选择方法确定所述分布式存储系统的最优参数配置，可以包括：根据所述业务应用模型确定参数权重组合，并基于所述参数权重组合确定配置选择方法；基于不同的参数配置组合所对应的系统每秒进行读写操作的次数，并利用所述配置选择方法进行参数的自动迭代，以确定所述分布式存储系统的最优参数配置。
在一种具体的实施方式中，可以将所述参数权重组合确定为{W0，W1，W2}，其中W0代表小文件读写，W1代表大文件读写，W2代表大小混合文件读写，其中，可以将小于512KB(即Kilobyte，千字节)的所有文件设置为小文件，并将除小文件以外的其他文件设置为大文件。在确定参数权重组合后，将所述参数权重组合输入所述性能参数模型中，并利用预设迭代算法将参数进行迭代，最后生成最优选型的最优参数配置。
在一种具体的实施方式中，可以将PT值作为分布式存储性能的评价标志，PT值越高则表示性能越好，利用PT值作为分布式存储系统读写的IOPS值，通过公式
计算所有PT值与{W0，W1，W2}组合之和，并将计算得到的SumPT输入以下for循环中进行迭代，通过SumPT[i]的方式来访问数组的每个元素。
最后输出得到最优值，即最优参数配置，并记录配置文件conf文件，以记录最优配置参数项。
本实施例先通过获取分布式存储系统中进程对应的日志文件，并利用所述日志文件确定所述分布式存储系统中整条带刷新情况与系统读写性能情况，以确定所述分布式存储系统对应的业务应用模型，然后根据所述业务应用模型展开相应的分析处理以得到相应的性能参数模型，并确定包含目标参数的参数配置列表，所述目标参数为对所述分布式存储系统具有性能影响的参数，再利用所述性能参数模型对所述参数配置列表中的所述目标参数进行随机取值，以生成不同的参数配置组合，接着利用所述参数配置组合对所述分布式存储系统进行性能测试，以得到不同的所述参数配置组合分别对应的系统每秒进行读写操作的次数，最后基于不同的所述参数配置组合分别对应的系统每秒进行读写操作的次数，并利用预设的基于参数权重的配置选择方法确定所述分布式存储系统的最优参数配置。这样一来，本方法通过建立并使用业务应用模型与性能参数模型对不同业务场景下的分布式存储系统中的参数进行自动分析，针对不同的分布式存储系统应用场景，确定适用于当前业务场景的最优参数配置，实现参数的自动化调优，提升了参数调优效率，减少系统资源的占用和测试验证时间，进而减少运维成本。
图5为本申请实施例提供的一种具体的基于分布式存储系统的参数调优方法流程图。参见图5所示，该方法包括：
步骤S21：获取分布式存储系统中进程对应的日志文件。
步骤S22：根据所述日志文件确定所述分布式存储系统中的条带参数，并利用所述条带参数以及预设条带刷新规则确定整条带刷新率。
本实施例中，所述根据所述日志文件确定所述分布式存储系统中的条带参数，并利用所述条带参数以及预设条带刷新规则确定整条带刷新率，可以包括：根据所述日志文件确定所述分布式存储系统中的条带参数，并确定系统的默认条带宽度；利用所述条带参数对所述默认条带宽度进行取余操作；若所述取余操作的结果为0，则判定相应的刷新类型为整条带刷新；若所述取余操作的结果不为0，则判定相应的刷新类型为非整条带刷新；基于所述整条带刷新与所述非整条带刷新确定整条带刷新率。可以理解的是，本步骤通过获取分布式存储系统中进程对应的日志文件，根据所述日志文件确定所述分布式存储系统中的条带参数，并利用所述条带参数以及预设条带刷新规则确定整条带刷新率。
在一种具体的实施方式中，若默认分布式条带宽度stripe_width为8192，可以通过对步骤21获取的日志文件利用bh_write_scattered进行关键字检索，与存储池中的条带参数stripe_width进行取余操作，若满足取余操作结果为0，则判定为整条带刷新，否则为非整条带刷新。然后统计系统中的整条带刷新率，即为整条带刷新次数占所有条带刷新次数的比例。当系统中非整条带数据下刷的情况越多时，对数据写入性能影响越大，因为这种情况下会先读取整个存储池纠删条带的数据，然后再覆盖写，影响系统性能。
步骤S23：确定所述日志文件的追加写次数与缓存命中率，并根据所述追加写次数与所述缓存命中率确定当前的系统读写性能情况。
本实施例中，所述确定所述日志文件的追加写次数与缓存命中率，并根据所述追加写次数与所述缓存命中率确定当前的系统读写性能情况，可以包括：对所述日志文件进行关键字过滤，并将每个写入对象的大小与预设默认对象大小进行与运算；若与运算结果不为0，则获取当前的追加写次数，并统计缓存命中次数与缓存未命次数，然后基于所述缓存命中次数与所述缓存未命次数确定相应的缓存命中率；根据所述追加写次数与所述缓存命中率确定当前的系统读写性能情况。
在一种具体的实施方式中，可以通过对步骤21获取的objectcacher debug日志文件的追加写次数进行统计，其中，所述追加写判断依据是过滤存储关键字write，对每个写的Size与默认对象大小4M(即MByte，兆字节)进行相与处理，计算结果不为0，则为获取当前追加写次数。然后通过cache_ops_hit和cache_ops_miss可以获取缓存命中情况，最后计算出预读缓存命中率。
步骤S24：确定所述分布式存储系统对应的业务应用模型。
本步骤根据上述步骤中的读写流程确定所述分布式存储系统对应的业务应用模型。
步骤S25：根据所述业务应用模型展开相应的分析处理以得到相应的性能参数模型，并确定包含目标参数的参数配置列表；所述目标参数为对所述分布式存储系统具有性能影响的参数。
步骤S26：利用所述性能参数模型对所述参数配置列表中的所述目标参数进行随机取值，以生成不同的参数配置组合。
步骤S27：利用所述参数配置组合对所述分布式存储系统进行性能测试，以得到不同的所述参数配置组合分别对应的系统每秒进行读写操作的次数。
步骤S28：基于不同的所述参数配置组合分别对应的系统每秒进行读写操作的次数，并利用预设的基于参数权重的配置选择方法确定所述分布式存储系统的最优参数配置。
本实施例通过先获取分布式存储系统中进程对应的日志文件，然后根据所述日志文件确定所述分布式存储系统中的条带参数，并利用所述条带参数以及预设条带刷新规则确定整条带刷新率，再确定所述日志文件的追加写次数与缓存命中率，并根据所述追加写次数与所述缓存命中率确定当前的系统读写性能情况，最后确定所述分布式存储系统对应的业务应用模型，然后根据所述业务应用模型展开相应的分析处理以得到相应的性能参数模型，并确定包含目标参数的参数配置列表，所述目标参数为对所述分布式存储系统具有性能影响的参数，接着利用所述性能参数模型对所述参数配置列表中的所述目标参数进行随机取值，以生成不同的参数配置组合，最终利用所述参数配置组合对所述分布式存储系统进行性能测试，以得到不同的所述参数配置组合分别对应的系统每秒进行读写操作的次数，然后基于不同的所述参数配置组合分别对应的系统每秒进行读写操作的次数，并利用预设的基于参数权重的配置选择方法确定所述分布式存储系统的最优参数配置。本实施例详细展开了确定当前的系统读写性能情况的过程，提出自动统计存储IO读写顺序性、读写块大小、文件大小占比统计、数据下刷统计、获取文件内追加写次数、读写连续性统计分析、预读命中率统计的方法，并最终确定所述分布式存储系统的最优参数配置，实现参数的自动化调优，提升参数调优效率，减少系统资源的占用和测试验证时间，进而减少运维成本。
参见图6所示，本申请实施例公开了一种基于分布式存储系统的参数调优装置，具体可以包括：
应用模型确定模块11，用于获取分布式存储系统中进程对应的日志文件，并利用所述日志文件确定所述分布式存储系统中整条带刷新情况与系统读写性能情况，以确定所述分布式存储系统对应的业务应用模型；
参数模型确定模块12，用于根据所述业务应用模型展开相应的分析处理以得到相应的性能参数模型，并确定包含目标参数的参数配置列表；所述目标参数为对所述分布式存储系统具有性能影响的参数；
参数取值模块13，用于利用所述性能参数模型对所述参数配置列表中的所述目标参数进行随机取值，以生成不同的参数配置组合；
性能测试模块14，用于利用所述参数配置组合对所述分布式存储系统进行性能测试，以得到不同的所述参数配置组合分别对应的系统每秒进行读写操作的次数；
最优配置确定模块15，用于基于不同的所述参数配置组合分别对应的系统每秒进行读写操作的次数，并利用预设的基于参数权重的配置选择方法确定所述分布式存储系统的最优参数配置。
本实施例先通过获取分布式存储系统中进程对应的日志文件，并利用所述日志文件确定所述分布式存储系统中整条带刷新情况与系统读写性能情况，以确定所述分布式存储系统对应的业务应用模型，然后根据所述业务应用模型展开相应的分析处理以得到相应的性能参数模型，并确定包含目标参数的参数配置列表，所述目标参数为对所述分布式存储系统具有性能影响的参数，再利用所述性能参数模型对所述参数配置列表中的所述目标参数进行随机取值，以生成不同的参数配置组合，接着利用所述参数配置组合对所述分布式存储系统进行性能测试，以得到不同的所述参数配置组合分别对应的系统每秒进行读写操作的次数，最后基于不同的所述参数配置组合分别对应的系统每秒进行读写操作的次数，并利用预设的基于参数权重的配置选择方法确定所述分布式存储系统的最优参数配置。这样一来，本方法通过建立并使用业务应用模型与性能参数模型对不同业务场景下的分布式存储系统中的参数进行自动分析，针对不同的分布式存储系统应用场景，确定适用于当前业务场景的最优参数配置，实现参数的自动化调优，提升了参数调优效率，减少系统资源的占用和测试验证时间，进而减少运维成本。
在一些具体实施例中，所述应用模型确定模块11，包括：
进程信息提取单元，用于通过预设脚本程序获取套接字文件，并从所述套接字文件中提取进程信息；
日志文件收集单元，用于确定所述进程信息对应的目标进程，并利用所述目标进程对objectcacher层进行日志收集，以获取与所述目标进程对应的日志文件。
在一些具体实施例中，所述应用模型确定模块11，包括：
刷新率获取单元，用于根据所述日志文件确定所述分布式存储系统中的条带参数，并利用所述条带参数以及预设条带刷新规则确定整条带刷新率；
性能情况获取单元，用于确定所述日志文件的追加写次数与缓存命中率，并根据所述追加写次数与所述缓存命中率确定当前的系统读写性能情况。
在一些具体实施例中，所述刷新率获取单元，包括：
条带参数获取单元，用于根据所述日志文件确定所述分布式存储系统中的条带参数，并确定系统的默认条带宽度；
参数取余单元，用于利用所述条带参数对所述默认条带宽度进行取余操作；
第一取余结果单元，用于若所述取余操作的结果为0，则判定相应的刷新类型为整条带刷新；
第二取余结果单元，用于若所述取余操作的结果不为0，则判定相应的刷新类型为非整条带刷新；
刷新率确定单元，用于基于所述整条带刷新与所述非整条带刷新确定整条带刷新率。
在一些具体实施例中，所述刷新率获取单元，包括：
与运算单元，用于对所述日志文件进行关键字过滤，并将每个写入对象的大小与预设默认对象大小进行与运算；
缓存命中率确定单元，若与运算结果不为0，则获取当前的追加写次数，并统计缓存命中次数与缓存未命次数，然后基于所述缓存命中次数与所述缓存未命次数确定相应的缓存命中率；
性能情况确定单元，根据所述追加写次数与所述缓存命中率确定当前的系统读写性能情况。
在一些具体实施例中，所述基于分布式存储系统的参数调优方法，还包括：
时延确定单元，用于查询数据存入各对象存储设备的数据落盘耗时和写入日志耗时，并基于所述数据落盘耗时和所述写入日志耗时确定各所述对象存储设备的性能情况；
信息统计单元，确定所述对象存储设备的性能情况中满足预设耗时规则的目标对象存储设备，并对所述目标对象存储设备进行日志统计，以获取与所述目标对象存储设备对应的读写延迟信息与索引节点；
存储池绑定单元，用于利用所述索引节点确定客户端数据的目标路径，并基于所述目标路径进行存储池的绑定。
在一些具体实施例中，所述最优配置确定模块15，包括：
方法确定单元，用于根据所述业务应用模型确定参数权重组合，并基于所述参数权重组合确定配置选择方法；
参数迭代单元，用于基于不同的参数配置组合所对应的系统每秒进行读写操作的次数，并利用所述配置选择方法进行参数的自动迭代，以确定所述分布式存储系统的最优参数配置。
进一步的，本申请实施例还公开了一种电子设备，图7是根据示例性实施例示出的电子设备20结构图，图中的内容不能认为是对本申请的使用范围的任何限制。
图7为本申请实施例提供的一种电子设备20的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的基于分布式存储系统的参数调优方法中的相关步骤。另外，本实施例中的电子设备20具体可以为电子计算机。
本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源可以包括操作系统221、计算机程序222等，存储方式可以是短暂存储或者永久存储。
其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222，其可以是Windows Server、Netware、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的基于分布式存储系统的参数调优方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。
进一步的，本申请还公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的基于分布式存储系统的参数调优方法。关于该方法的具体步骤可以参考前述实施例中公开的相应内容，在此不再进行赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种基于分布式存储系统的参数调优方法、装置、设备、存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种基于分布式存储系统的参数调优方法，其特征在于，包括：
获取分布式存储系统中进程对应的日志文件，并利用所述日志文件确定所述分布式存储系统中整条带刷新情况与系统读写性能情况，以确定所述分布式存储系统对应的业务应用模型；
根据所述业务应用模型展开相应的分析处理以得到相应的性能参数模型，并确定包含目标参数的参数配置列表；所述目标参数为对所述分布式存储系统具有性能影响的参数；
利用所述性能参数模型对所述参数配置列表中的所述目标参数进行随机取值，以生成不同的参数配置组合；
利用所述参数配置组合对所述分布式存储系统进行性能测试，以得到不同的所述参数配置组合分别对应的系统每秒进行读写操作的次数；
基于不同的所述参数配置组合分别对应的系统每秒进行读写操作的次数，并利用预设的基于参数权重的配置选择方法确定所述分布式存储系统的最优参数配置。
2.根据权利要求1所述的基于分布式存储系统的参数调优方法，其特征在于，所述获取分布式存储系统中进程对应的日志文件，包括：
通过预设脚本程序获取套接字文件，并从所述套接字文件中提取进程信息；
确定所述进程信息对应的目标进程，并利用所述目标进程对objectcacher层进行日志收集，以获取与所述目标进程对应的日志文件。
3.根据权利要求1所述的基于分布式存储系统的参数调优方法，其特征在于，所述利用所述日志文件确定所述分布式存储系统中整条带刷新情况与系统读写性能情况，包括：
根据所述日志文件确定所述分布式存储系统中的条带参数，并利用所述条带参数以及预设条带刷新规则确定整条带刷新率；
确定所述日志文件的追加写次数与缓存命中率，并根据所述追加写次数与所述缓存命中率确定当前的系统读写性能情况。
4.根据权利要求3所述的基于分布式存储系统的参数调优方法，其特征在于，所述根据所述日志文件确定所述分布式存储系统中的条带参数，并利用所述条带参数以及预设条带刷新规则确定整条带刷新率，包括：
根据所述日志文件确定所述分布式存储系统中的条带参数，并确定系统的默认条带宽度；
利用所述条带参数对所述默认条带宽度进行取余操作；
若所述取余操作的结果为0，则判定相应的刷新类型为整条带刷新；
若所述取余操作的结果不为0，则判定相应的刷新类型为非整条带刷新；
基于所述整条带刷新与所述非整条带刷新确定整条带刷新率。
5.根据权利要求3所述的基于分布式存储系统的参数调优方法，其特征在于，所述确定所述日志文件的追加写次数与缓存命中率，并根据所述追加写次数与所述缓存命中率确定当前的系统读写性能情况，包括：
对所述日志文件进行关键字过滤，并将每个写入对象的大小与预设默认对象大小进行与运算；
若与运算结果不为0，则获取当前的追加写次数，并统计缓存命中次数与缓存未命次数，然后基于所述缓存命中次数与所述缓存未命次数确定相应的缓存命中率；
根据所述追加写次数与所述缓存命中率确定当前的系统读写性能情况。
6.根据权利要求1所述的基于分布式存储系统的参数调优方法，其特征在于，还包括：
查询数据存入各对象存储设备的数据落盘耗时和写入日志耗时，并基于所述数据落盘耗时和所述写入日志耗时确定各所述对象存储设备的性能情况；
确定所述对象存储设备的性能情况中满足预设耗时规则的目标对象存储设备，并对所述目标对象存储设备进行日志统计，以获取与所述目标对象存储设备对应的读写延迟信息与索引节点；
利用所述索引节点确定客户端数据的目标路径，并基于所述目标路径进行存储池的绑定。
7.根据权利要求1至6任一项所述的基于分布式存储系统的参数调优方法，其特征在于，所述基于不同的所述参数配置组合分别对应的系统每秒进行读写操作的次数，并利用预设的基于参数权重的配置选择方法确定所述分布式存储系统的最优参数配置，包括：
根据所述业务应用模型确定参数权重组合，并基于所述参数权重组合确定配置选择方法；
基于不同的参数配置组合所对应的系统每秒进行读写操作的次数，并利用所述配置选择方法进行参数的自动迭代，以确定所述分布式存储系统的最优参数配置。
8.一种基于分布式存储系统的参数调优装置，其特征在于，包括：
应用模型确定模块，用于获取分布式存储系统中进程对应的日志文件，并利用所述日志文件确定所述分布式存储系统中整条带刷新情况与系统读写性能情况，以确定所述分布式存储系统对应的业务应用模型；
参数模型确定模块，用于根据所述业务应用模型展开相应的分析处理以得到相应的性能参数模型，并确定包含目标参数的参数配置列表；所述目标参数为对所述分布式存储系统具有性能影响的参数；
参数取值模块，用于利用所述性能参数模型对所述参数配置列表中的所述目标参数进行随机取值，以生成不同的参数配置组合；
性能测试模块，用于利用所述参数配置组合对所述分布式存储系统进行性能测试，以得到不同的所述参数配置组合分别对应的系统每秒进行读写操作的次数；
最优配置确定模块，用于基于不同的所述参数配置组合分别对应的系统每秒进行读写操作的次数，并利用预设的基于参数权重的配置选择方法确定所述分布式存储系统的最优参数配置。
9.一种电子设备，其特征在于，包括处理器和存储器；其中，所述处理器执行所述存储器中保存的计算机程序时实现如权利要求1至7任一项所述的基于分布式存储系统的参数调优方法。
10.一种计算机可读存储介质，其特征在于，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的基于分布式存储系统的参数调优方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210182704.XA CN114564460B (zh) | 2022-02-25 | 2022-02-25 | 基于分布式存储系统的参数调优方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210182704.XA CN114564460B (zh) | 2022-02-25 | 2022-02-25 | 基于分布式存储系统的参数调优方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114564460A true CN114564460A (zh) | 2022-05-31 |
| CN114564460B CN114564460B (zh) | 2024-01-19 |
Family
ID=81716713
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210182704.XA Active CN114564460B (zh) | 2022-02-25 | 2022-02-25 | 基于分布式存储系统的参数调优方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114564460B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116107843A (zh) * | 2023-04-06 | 2023-05-12 | 阿里云计算有限公司 | 确定操作系统性能的方法、任务调度方法、设备 |
| CN117971508A (zh) * | 2024-03-29 | 2024-05-03 | 苏州元脑智能科技有限公司 | 一种数据存储方法、装置、分布式存储系统及介质 |
| CN118092813A (zh) * | 2024-04-22 | 2024-05-28 | 江苏华存电子科技有限公司 | 一种针对nand产品的预留空间调整方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7519628B1 (en) * | 2004-06-01 | 2009-04-14 | Network Appliance, Inc. | Technique for accelerating log replay with partial cache flush |
| CN106126407A (zh) * | 2016-06-22 | 2016-11-16 | 西安交通大学 | 一种针对分布式存储系统的性能监控调优系统及方法 |
| CN107480039A (zh) * | 2017-09-22 | 2017-12-15 | 郑州云海信息技术有限公司 | 一种分布式存储系统的小文件读写性能测试方法及装置 |
| CN108845768A (zh) * | 2018-06-19 | 2018-11-20 | 郑州云海信息技术有限公司 | 一种数据存储方法、装置、设备及存储介质 |
| CN109408341A (zh) * | 2018-11-13 | 2019-03-01 | 郑州云海信息技术有限公司 | 分布式存储系统性能监控方法、装置、设备及可读存储介质 |
| CN110780819A (zh) * | 2019-10-25 | 2020-02-11 | 浪潮电子信息产业股份有限公司 | 一种分布式存储系统的数据读写方法 |
| CN111045599A (zh) * | 2019-10-31 | 2020-04-21 | 平安科技（深圳）有限公司 | 分布式存储系统的参数配置方法、装置及计算机设备 |
| CN111984598A (zh) * | 2020-08-20 | 2020-11-24 | 重庆紫光华山智安科技有限公司 | 一种高性能元数据日志文件管理方法、系统、介质及终端 |
| CN113626431A (zh) * | 2021-07-28 | 2021-11-09 | 浪潮云信息技术股份公司 | 一种基于lsm树的延迟垃圾回收的键值分离存储方法及系统 |
| WO2021226822A1 (zh) * | 2020-05-12 | 2021-11-18 | 深圳市欢太科技有限公司 | 日志写入方法、装置、电子设备以及存储介质 |
-
2022
- 2022-02-25 CN CN202210182704.XA patent/CN114564460B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7519628B1 (en) * | 2004-06-01 | 2009-04-14 | Network Appliance, Inc. | Technique for accelerating log replay with partial cache flush |
| CN106126407A (zh) * | 2016-06-22 | 2016-11-16 | 西安交通大学 | 一种针对分布式存储系统的性能监控调优系统及方法 |
| CN107480039A (zh) * | 2017-09-22 | 2017-12-15 | 郑州云海信息技术有限公司 | 一种分布式存储系统的小文件读写性能测试方法及装置 |
| CN108845768A (zh) * | 2018-06-19 | 2018-11-20 | 郑州云海信息技术有限公司 | 一种数据存储方法、装置、设备及存储介质 |
| CN109408341A (zh) * | 2018-11-13 | 2019-03-01 | 郑州云海信息技术有限公司 | 分布式存储系统性能监控方法、装置、设备及可读存储介质 |
| CN110780819A (zh) * | 2019-10-25 | 2020-02-11 | 浪潮电子信息产业股份有限公司 | 一种分布式存储系统的数据读写方法 |
| CN111045599A (zh) * | 2019-10-31 | 2020-04-21 | 平安科技（深圳）有限公司 | 分布式存储系统的参数配置方法、装置及计算机设备 |
| WO2021226822A1 (zh) * | 2020-05-12 | 2021-11-18 | 深圳市欢太科技有限公司 | 日志写入方法、装置、电子设备以及存储介质 |
| CN111984598A (zh) * | 2020-08-20 | 2020-11-24 | 重庆紫光华山智安科技有限公司 | 一种高性能元数据日志文件管理方法、系统、介质及终端 |
| CN113626431A (zh) * | 2021-07-28 | 2021-11-09 | 浪潮云信息技术股份公司 | 一种基于lsm树的延迟垃圾回收的键值分离存储方法及系统 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116107843A (zh) * | 2023-04-06 | 2023-05-12 | 阿里云计算有限公司 | 确定操作系统性能的方法、任务调度方法、设备 |
| CN116107843B (zh) * | 2023-04-06 | 2023-09-26 | 阿里云计算有限公司 | 确定操作系统性能的方法、任务调度方法、设备 |
| CN117971508A (zh) * | 2024-03-29 | 2024-05-03 | 苏州元脑智能科技有限公司 | 一种数据存储方法、装置、分布式存储系统及介质 |
| CN117971508B (zh) * | 2024-03-29 | 2024-06-04 | 苏州元脑智能科技有限公司 | 一种数据存储方法、装置、分布式存储系统及介质 |
| CN118092813A (zh) * | 2024-04-22 | 2024-05-28 | 江苏华存电子科技有限公司 | 一种针对nand产品的预留空间调整方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114564460B (zh) | 2024-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114564460A (zh) | 基于分布式存储系统的参数调优方法、装置、设备及介质 | |
| EP3624398B1 (en) | Storage capacity evaluation method and apparatus based on cdn application | |
| US10019184B2 (en) | Amortized snapshots | |
| US8521986B2 (en) | Allocating storage memory based on future file size or use estimates | |
| US6493810B1 (en) | Method and system for allocating cache memory for a network database service | |
| US10079907B2 (en) | Cached data detection | |
| CN110457305B (zh) | 数据去重方法、装置、设备及介质 | |
| CN109740089A (zh) | 数据采集方法、装置、系统、可读存储介质及电子设备 | |
| CN113360947B (zh) | 数据脱敏方法及装置、计算机可读存储介质、电子设备 | |
| CN105912698A (zh) | 磁盘中数据文件的删除方法及系统 | |
| CN110515555B (zh) | 基于多路对象存储服务的高可靠性企业级存储系统及读写方法 | |
| CN114816240A (zh) | 一种数据写入方法及一种数据读取方法 | |
| CN109947730A (zh) | 元数据恢复方法、装置、分布式文件系统及可读存储介质 | |
| CN109254958A (zh) | 分布式数据读写方法、设备及系统 | |
| CN111741107B (zh) | 基于文件存储系统的分层方法及装置、电子设备 | |
| US9870385B2 (en) | Computer system, data management method, and computer | |
| CN112130759A (zh) | 一种存储系统的参数配置方法、系统及相关装置 | |
| CN115905114A (zh) | 元数据的批量更新方法、系统、电子设备及可读存储介质 | |
| CN113626382A (zh) | 分布式文件系统中聚合对象的索引方法、系统及相关装置 | |
| US9270547B1 (en) | Determining device counts | |
| CN111782588A (zh) | 一种文件读取方法、装置、设备和介质 | |
| US20210191901A1 (en) | Computer system and data access control method | |
| Słota et al. | Implementation of replication methods in the grid environment | |
| CN114238419B (zh) | 基于多租户SaaS应用系统的数据缓存方法及装置 | |
| US20150358419A1 (en) | Method and apparatus for caching user generated content messages |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |