CN115543222A - 一种存储优化方法、系统、设备及可读存储介质 - Google Patents
一种存储优化方法、系统、设备及可读存储介质 Download PDFInfo
- Publication number
- CN115543222A CN115543222A CN202211515911.9A CN202211515911A CN115543222A CN 115543222 A CN115543222 A CN 115543222A CN 202211515911 A CN202211515911 A CN 202211515911A CN 115543222 A CN115543222 A CN 115543222A
- Authority
- CN
- China
- Prior art keywords
- node
- nodes
- operation request
- disk
- utilization rate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000003860 storage Methods 0.000 title claims abstract description 40
- 238000005457 optimization Methods 0.000 title claims abstract description 36
- 238000009826 distribution Methods 0.000 claims abstract description 44
- 230000004044 response Effects 0.000 claims description 41
- 238000013507 mapping Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 18
- 230000035945 sensitivity Effects 0.000 claims description 16
- 238000012544 monitoring process Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 239000007787 solid Substances 0.000 abstract description 39
- 238000010586 diagram Methods 0.000 description 5
- 230000006872 improvement Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/061—Improving I/O performance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0629—Configuration or reconfiguration of storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0673—Single storage device
- G06F3/0674—Disk device
- G06F3/0676—Magnetic disk device
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明属于计算机领域，具体涉及一种存储优化方法、系统、设备及可读存储介质。其中，方法包括：根据服务器上的节点分布和磁盘个数建立节点与磁盘的分配策略；基于所述分配策略分配对磁盘执行操作的节点，并基于网卡的负载对所述分配策略进行优化。通过本发明提出的一种存储优化方法，提出了一种基于NUMA技术的NVME固态硬盘和处理器内核绑定策略。通过该策略实现了全闪服务器的性能优化，合理利用现有资源，无需升级更好的硬件，能够有效的大幅提升存储服务器的读写IOPS和时延等性能，更有利于节约成本、合理利用资源，发挥现有资源的最大价值。
Description
技术领域
本发明属于计算机领域，具体涉及一种存储优化方法、系统、设备及可读存储介质。
背景技术
随着科技洪流的推动，闪存存储时代已经全面开启，闪存阵列的大规模普及已经势不可挡。人工智能、大数据、云计算、5G、物联网等落地推进，随之带来了海量数据的爆发和对极致性能前所未有的需求。
过去全闪存储应用场景主要集中在对于响应延迟要求低、IOPS要求高的核心交易系统，如传统行业金融系统中的联机交易、网银、ODS，以及运营商的Billing系统和CRM系统，这些核心系统通常要求存储系统的性能高达8000 IOPS/TB。
随着全闪存储的需求量逐渐增加，如何将提升全闪服务器的性能，发挥全闪服务器的最大能力，成为各大存储厂商需要面对的巨大挑战。
传统的存储优化方案一般是增加硬件自身的性能，如更换读写速率更快，时延更低的ssd盘、更换主频更高的cpu来实现、更换带宽和时延更好的光纤网卡等。这种方式缺点在于成本较高、对于现用资源没有合理利用造成浪费并且基于传统的优化思想，要想提高存储性能只能随着硬件资源的更新迭代而随着进步，提供多好的存储性能完全取决于硬件商提供的产品，存储系统提供商完全被硬件厂商制约。
因此，亟需一种有效的解决方案以应对上述问题。
发明内容
为解决上述问题，本发明提出一种存储优化方法，包括：
根据服务器上的节点分布和磁盘个数建立节点与磁盘的分配策略；
基于所述分配策略分配对磁盘执行操作的节点，并基于网卡的负载对所述分配策略进行优化。
在本发明的一些实施方式中，根据服务器上的节点分布和磁盘个数建立节点与磁盘的分配策略包括：
响应于所述节点个数大于等于磁盘个数，为每个磁盘分配至少一个节点，并基于磁盘与节点的分配关系建立对应的映射表。
在本发明的一些实施方式中，基于所述分配策略分配对磁盘执行操作的节点包括：
响应于接收到对磁盘的操作请求，通过所述映射表确认所述分配给所述磁盘的节点，将所述操作请求分配给所述节点执行。
在本发明的一些实施方式中，方法还包括：
确认服务器上的节点中与磁盘接口最近的节点，并将所述节点作为磁盘优先节点。
在本发明的一些实施方式中，方法还包括：
响应于接收到对磁盘的操作请求，从产生请操作求的应用类型确认所述操作请求对延迟的要求是否敏感；
响应于所述操作请求对延迟的要求敏感，将所述操作请求分配到所述磁盘优先节点执行。
在本发明的一些实施方式中，方法还包括：
响应于接收到对磁盘的操作请求，从所述操作请求对数据操作方式确认所述操作请求对延迟的要求是否敏感；
响应于所述操作请求对延迟的要求敏感，将所述操作请求分配到所述磁盘优先节点执行。
在本发明的一些实施方式中，基于网卡的负载对所述分配策略进行优化包括：
确认处理网卡任务的节点，实时监控所述节点内各个核心的使用率，并基于各个核心的使用率确认所述节点的使用率；
将所述节点的使用率与第一预定阈值进行比较，响应于所述节点的使用率小于所述第一预定阈值，按照预定策略向所述节点分配操作请求。
在本发明的一些实施方式中，按照预定策略向所述节点分配操作请求包括：
按照预定算法基于所述节点的使用率向所述节点的部分核心分配操作请求。
在本发明的一些实施方式中，方法还包括：
响应于所述节点的使用率大于第一预定阈值，判断所述节点的使用率是否大于第二预定值；
响应于所述节点的使用率大于第二预定阈值，禁止向所述节点分配操作请求。
在本发明的一些实施方式中，方法还包括：
向所述节点的部分核心分配操作请求后，实时获取所述节点的使用率；
响应于所述节点的使用率超过所述第二预定阈值，且所述网卡对所述节点的任务请求增加，则暂停向所述节点分配操作请求，优先处理网卡对所述节点的任务请求。
本发明的另一方面还提出一种存储优化系统，包括：
策略制定模块，所述策略制定模块用于根据服务器上的节点分布和磁盘个数建立节点与磁盘的分配策略；
优化执行模块，所优化执行模块用于基于所述分配策略分配对磁盘执行操作的节点，并基于网卡的负载对所述分配策略进行优化。
在本发明的一些实施方式中，策略制定模块进一步配置用于：
响应于所述节点个数大于等于磁盘个数，为每个磁盘分配至少一个节点，并基于磁盘与节点的分配关系建立对应的映射表。
在本发明的一些实施方式中，策略制定模块进一步配置用于：
响应于接收到对磁盘的操作请求，通过所述映射表确认所述分配给所述磁盘的节点，将所述操作请求分配给所述节点执行。
在本发明的一些实施方式中，策略制定模块进一步配置用于：
确认服务器上的节点中与磁盘接口最近的节点，并将所述节点作为磁盘优先节点。
在本发明的一些实施方式中，策略制定模块进一步配置用于：
响应于接收到对磁盘的操作请求，从产生操作请求的应用类型确认所述操作请求对延迟的要求是否敏感；
响应于所述操作请求对延迟的要求敏感，将所述操作请求分配到所述磁盘优先节点执行。
在本发明的一些实施方式中，策略制定模块进一步配置用于：
响应于接收到对磁盘的操作请求，从所述操作请求对数据操作方式确认所述操作请求对延迟的要求是否敏感；
响应于所述操作请求对延迟的要求敏感，将所述操作请求分配到所述磁盘优先节点执行。
在本发明的一些实施方式中，优化执行模块进一步配置用于：
确认处理网卡任务的节点，实时监控所述节点内各个核心的使用率，并基于各个核心的使用率确认所述节点的使用率；
将所述节点的使用率与第一预定阈值进行比较，响应于所述节点的使用率小于所述第一预定阈值，按照预定策略向所述节点分配操作请求。
在本发明的一些实施方式中，优化执行模块进一步配置用于：
按照预定算法基于所述节点的使用率向所述节点的部分核心分配操作请求。
在本发明的一些实施方式中，优化执行模块进一步配置用于：
响应于所述节点的使用率大于第一预定阈值，判断所述节点的使用率是否大于第二预定值；
响应于所述节点的使用率大于第二预定阈值，禁止向所述节点分配操作请求。
在本发明的一些实施方式中，优化执行模块进一步配置用于：
向所述节点的部分核心分配操作请求后，实时获取所述节点的使用率；
响应于所述节点的使用率超过所述第二预定阈值，且所述网卡对所述节点的任务请求增加，则暂停向所述节点分配操作请求，优先处理网卡对所述节点的任务请求。
本发明的又一方面还提出一种计算机设备，包括：
至少一个处理器；以及
存储器，所述存储器存储有可在所述处理器上运行的计算机指令，所述指令由所述处理器执行时实现上述实施方式中任意一项所述方法的步骤。
本发明的再一方面还提出一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述实施方式中任意一项所述方法的步骤。
通过本发明提出的一种存储优化方法，提出了一种基于NUMA技术的NVME固态硬盘和处理器内核绑定策略。通过该策略实现了全闪服务器的性能优化，合理利用现有资源，无需升级更好的硬件，能够有效的大幅提升存储服务器的读写IOPS和时延等性能，更有利于节约成本、合理利用资源，发挥现有资源的最大价值。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种存储优化方法的实施例流程示意图；
图2为本发明实施例提供的一种存储优化系统的结构示意图；
图3为本发明实施例提供的一种计算机设备的结构示意图；
图4为本发明实施例提供的一种计算机可读存储介质的结构示意图；
图5为本发明实施例提供的现有的NVME硬盘的调度方法策略示意图；
图6为本发明实施例提供的本发明提出的NVME硬盘的调度方法示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。
本发明提供一种全闪存存储的优化方案，旨在优化现有的存储方案中对硬件资源的利用不充分的问题。全闪存，顾名思义，在存储子系统中用固态硬盘（SSD）或其他闪存介质代替传统硬盘（HDD）。最显而易见的特性在于它的高IOPS。全闪存技术起初是由于使用更高性能的SSD硬盘实现更高的IOPS，传统的全闪存方案中通常以“堆料”来提升全闪存系统的存储性能。即通过提升全闪存平台的硬件带宽、选择IOPS更高的SSD或则搭载带宽更高处理速度更快的CPU平台来实现提升全闪存平台的IOPS。这种情况下并没有有效根据选搭载的平台的硬件资源的特性进行优化。诚然，在固态硬盘领域发展迅速，家用级的固态硬盘的写入速度已达7000MB/S，而且随着闪存颗粒的快速迭代，PCEI总线带宽的升级。全闪存存储的提升只需提供更好的固态硬盘也可带来更高的IOPS性能。着力压榨平台性能的研发不如直接搭配新型的固态硬盘带来的性能提升。但这样“暴力”堆料方式则造成全闪存平台其他资源的浪费，但同时新型的固态硬盘代表着更高的成本。
如图1所示，为解决上述问题，本发明提出一种存储优化方法，包括：
步骤S1、根据服务器上的节点分布和磁盘个数建立节点与磁盘的分配策略；
步骤S2、基于所述分配策略分配对磁盘执行操作的节点，并基于网卡的负载对所述分配策略进行优化。
在本发明的实施例中，服务器上的节点是指服务器CPU中包含若干个处理器核心的一个单元，对于服务器级别的多核处理器，一般都远超桌面级使用的多核处理器，例如核心数量随着制作工艺的提升都在32核以上，在设计是将多个核心分为一个节点进行排布，因此，本发明中的节点是指包含多个处理器核心的模块。磁盘个数是指服务器上挂载的固态硬盘个数，一般为NVME协议的固态硬盘，当然也可以是其他类型的存储介质。
因此，在步骤S1中，确定服务器上挂载的NVME硬盘个数和服务器上CPU的节点分布，所谓节点分布包括节点个数、核心个数，然后根据CPU节点个数、核心个数，制定分配NVME 固态硬盘数据处理的策略。即设定访问NVME固态硬盘的处理器核心有哪些，访问的策略有哪些。
需要说明的是，在传统的技术实现上，是通过与NVME硬盘接口最近的节点负责对NVME固态硬盘的数据操作。如前所述，具有一定规模核心的CPU是将几个核心作为一个节点，同时一个CPU包含若干节点，在CPU芯片的排布上，定然有一个或多个节点与外设接口的距离最近。例如，如图5所示，在本发明实施例中选用的CPU为海光CS5250H，该CPU拥有128个处理核心，共编为8个节点，每个节点为16处理器核心，其中节点1和节点4与NVME固态硬盘连接的接口最近。按照传统的实现方法，会将节点1和节点4作为NVME固态硬盘的处理节点。即所有的对NVME固态硬盘的操作都会经由节点1和节点4上的核心处理。当产生对NVME固态硬盘的操作时，对应的存储软件会将操作请求发送到节点1或节点4。
而在本发明中，本发明基于NUMA（Non Uniform Memory Access，非一致性内存访问架构，可以使众多服务器像单一系统那样运转）软件的核心绑定技术，通过NUMA将处理器节点与对应的固态硬盘进行绑定。
因此在步骤S1中需要根据服务器上的节点数量和挂载的NVME硬盘数量确定对应的分配策略。在该步骤中可以通过软件检测的方式获取服务器上的处理器的节点以及核心数量，然后按照通用的分配方式生成适合该服务器的分配策略，也可以由用户根据需要手动设定处理器节点和NVME固态硬盘的分配策略。
在步骤S2中，在根据服务器的节点和NVME固态硬盘制定好对应的分配策略之后，当产生对某个固态硬盘的操作请求后，将对应的操作请求发送给分配策略规定的处理器节点。由处理器节点中的处理器核心执行该操作请求。
进一步，本发明中服务器是用于全闪存业务的服务器，服务器上的业务并不只是与NVME固态硬盘之间，全闪存服务器的数据大多来源于网络，需要通过网卡实现网络数据的接收与发送，同时网卡的数据也要有CPU进行处理，处理网卡的数据需要占用CPU的负载，因此，在基于NUMA技术以及分配策略将处理器的节点进行分配之后，在网卡负载变化时会对部分处理器的节点产生占用，出现网卡和NVME固态硬盘争夺处理器计算资源的情况，因此需要根据网卡的负载动态调整对NVME硬盘分配策略。例如，当网卡的负载较高时，将与网卡共用一个处理器节点的NVME固态硬盘的操作请求分配到其处理器节点。
在本发明的一些实施方式中，根据服务器上的节点分布和磁盘个数建立节点与磁盘的分配策略包括：
响应于所述节点个数大于等于磁盘个数，为每个磁盘分配至少一个节点，并基于磁盘与节点的分配关系建立对应的映射表。
在本实施例中，如果处理器的节点个数超过或者等于NVME固态硬盘的个数，推荐对每个NVME固态硬盘分配一个处理器节点。例如，如图6所示，图6示出的是处理器节点与挂载的NVEM恰好匹配的情况，一个节点与一个NVME固态硬盘通过NUMA技术进行绑定。进一步创建关于处理器节点与NVME固态硬盘的映射表。
在本发明的一些实施方式中，基于所述分配策略分配对磁盘执行操作的节点包括：
响应于接收到对磁盘的操作请求，通过所述映射表确认所述分配给所述磁盘的节点，将所述操作请求分配给所述节点执行。
在本实施例中，当系统或上层应用产生对某个NVME固态硬盘的操作请求后，基于该操作请求确认该操作请求访问的NVME固态硬盘，然后根据映射表找到对应处理该NVME固态硬盘的处理节点，通过NUMA技术将操作请求分配到对应的处理器节点。
在本发明的一些实施方式中，方法还包括：
确认服务器上的节点中与磁盘接口最近的节点，并将所述节点作为磁盘优先节点。
在本实施例中，如前所述，服务器上的处理器存在多个处理节点，在排布这些处理节点时，必然存在着与NVME固态硬盘接口最近的节点，因此，在本实施例中将与NVME固态硬盘接口最近的处理器节点作为磁盘优先节点。
在本发明的一些实施方式中，方法还包括：
响应于接收到对磁盘的操作请求，从产生请操作求的应用类型确认所述操作请求对延迟的要求是否敏感；
响应于所述操作请求对延迟的要求敏感，将所述操作请求分配到所述磁盘优先节点执行。
在本实施例中，在接收到对任一的NVME固态硬盘的操作请求时，可判断产生该操作请求应用程序对延迟是否敏感。例如，如果是数据库类型应用的查询服务，可将该操作请求发送交由磁盘优先节点来处理。即便该操作请求所要访问的NVME固态硬盘在预先的分配策略中并不是与磁盘优先节点绑定，仍然可以将所述操作请求分配到磁盘优先节点。通过NUMA命令对该操作请求指向到对应的磁盘优先节点。
在本发明的一些实施方式中，方法还包括：
响应于接收到对磁盘的操作请求，从所述操作请求对数据操作方式确认所述操作请求对延迟的要求是否敏感；
响应于所述操作请求对延迟的要求敏感，将所述操作请求分配到所述磁盘优先节点执行。
在本实施例中，所谓从所述操作请求对数据操作方式确认所述操作请求对延迟的要求是否敏感，是指操作请求在执行时是否在长时间占用处理器节点来完成对应的操作请求。例如写入或读取、对于写入或读取则判断写入获取读取数据的大小是否满足预设值，如果是小数据则可将对应的操作请求根据磁盘优先节点的使用率。如果写入数据很大，例如传输大量的文件，则拒绝这样的请求使用磁盘优先节点。
在本发明的一些实施方式中，基于网卡的负载对所述分配策略进行优化包括：
确认处理网卡任务的节点，实时监控所述节点内各个核心的使用率，并基于各个核心的使用率确认所述节点的使用率；
将所述节点的使用率与第一预定阈值进行比较，响应于所述节点的使用率小于所述第一预定阈值，按照预定策略向所述节点分配操作请求。
在本发明的一些实施方式中，按照预定策略向所述节点分配操作请求包括：
按照预定算法基于所述节点的使用率向所述节点的部分核心分配操作请求。
在本实施例中，如前所述，本发明通过NUMA将处理器节点与对应的NVME硬盘进行绑定。如果某个处理器节点在分配到对应的NVME固态硬盘的任务后，还执行有对网卡的处理任务，则获取该处理器节点每个核心的使用率，并确认该处理器节点使用率。如果该处理器节点的使用率低于50%，则基于2分法通过NUMA调整所述处理器节点的与对应的NVME固态硬盘的分配数量，假设该处理器节点有16个核心，则分配8个核心给NVME固态硬盘进行绑定，
如果该处理器节点使用率仍然偏低，例如低于25%，则可以将剩下的4个处理器核心通过NUMA分配给对应的NVME固态硬盘。
在本发明的一些实施方式中，方法还包括：
响应于所述节点的使用率大于第一预定阈值，判断所述节点的使用率是否大于第二预定值；
响应于所述节点的使用率大于第二预定阈值，禁止向所述节点分配操作请求。
在本实施例中，如果该处理器节点的使用率超过90%，则在此情况下，将停止对该处理器节点发送操作请求。
在本发明的一些实施方式中，方法还包括：
向所述节点的部分核心分配操作请求后，实时获取所述节点的使用率；
响应于所述节点的使用率超过所述第二预定阈值，且所述网卡对所述节点的任务请求增加，则暂停向所述节点分配操作请求，优先处理网卡对所述节点的任务请求。
在本实施例中，在向处理网卡网络数据的处理器节点分配操作请求后，监控该处理器节点的状态，如果该处理器节点的使用率超过90%，则暂停向该处理器节点分配操作请求。
通过本发明提出的一种存储优化方法，提出了一种基于NUMA技术的NVME固态硬盘和处理器内核绑定策略。通过该策略实现了全闪服务器的性能优化，合理利用现有资源，无需升级更好的硬件，能够有效的大幅提升存储服务器的读写IOPS和时延等性能，更有利于节约成本、合理利用资源，发挥现有资源的最大价值。
如图2所示，本发明的另一方面还提出一种存储优化系统，包括：
策略制定模块1，所述策略制定模1块用于根据服务器上的节点分布和磁盘个数建立节点与磁盘的分配策略；
优化执行模块2，所优化执行模块2用于基于所述分配策略分配对磁盘执行操作的节点，并基于网卡的负载对所述分配策略进行优化。
在本发明的一些实施方式中，策略制定模块1进一步配置用于：
响应于所述节点个数大于等于磁盘个数，为每个磁盘分配至少一个节点，并基于磁盘与节点的分配关系建立对应的映射表。
在本发明的一些实施方式中，策略制定模块1进一步配置用于：
响应于接收到对磁盘的操作请求，通过所述映射表确认所述分配给所述磁盘的节点，将所述操作请求分配给所述节点执行。
在本发明的一些实施方式中，策略制定模块1进一步配置用于：
确认服务器上的节点中与磁盘接口最近的节点，并将所述节点作为磁盘优先节点。
在本发明的一些实施方式中，策略制定模块1进一步配置用于：
响应于接收到对磁盘的操作请求，从产生操作请求的应用类型确认所述操作请求对延迟的要求是否敏感；
响应于所述操作请求对延迟的要求敏感，将所述操作请求分配到所述磁盘优先节点执行。
在本发明的一些实施方式中，策略制定模块1进一步配置用于：
响应于接收到对磁盘的操作请求，从所述操作请求对数据操作方式确认所述操作请求对延迟的要求是否敏感；
响应于所述操作请求对延迟的要求敏感，将所述操作请求分配到所述磁盘优先节点执行。
在本发明的一些实施方式中，优化执行模块2进一步配置用于：
确认处理网卡任务的节点，实时监控所述节点内各个核心的使用率，并基于各个核心的使用率确认所述节点的使用率；
将所述节点的使用率与第一预定阈值进行比较，响应于所述节点的使用率小于所述第一预定阈值，按照预定策略向所述节点分配操作请求。
在本发明的一些实施方式中，优化执行模块2进一步配置用于：
按照预定算法基于所述节点的使用率向所述节点的部分核心分配操作请求。
在本发明的一些实施方式中，优化执行模块2进一步配置用于：
响应于所述节点的使用率大于第一预定阈值，判断所述节点的使用率是否大于第二预定值；
响应于所述节点的使用率大于第二预定阈值，禁止向所述节点分配操作请求。
在本发明的一些实施方式中，优化执行模块2进一步配置用于：
向所述节点的部分核心分配操作请求后，实时获取所述节点的使用率；
响应于所述节点的使用率超过所述第二预定阈值，且所述网卡对所述节点的任务请求增加，则暂停向所述节点分配操作请求，优先处理网卡对所述节点的任务请求。
如图3所示，本发明的又一方面还提出一种计算机设备，包括：
至少一个处理器21；以及
存储器22，所述存储器22存储有可在所述处理器21上运行的计算机指令23，所述指令23由所述处理器21执行时实现一种存储优化方法，包括：
根据服务器上的节点分布和磁盘个数建立节点与磁盘的分配策略；
基于所述分配策略分配对磁盘执行操作的节点，并基于网卡的负载对所述分配策略进行优化。
在本发明的一些实施方式中，根据服务器上的节点分布和磁盘个数建立节点与磁盘的分配策略包括：
响应于所述节点个数大于等于磁盘个数，为每个磁盘分配至少一个节点，并基于磁盘与节点的分配关系建立对应的映射表。
在本发明的一些实施方式中，基于所述分配策略分配对磁盘执行操作的节点包括：
响应于接收到对磁盘的操作请求，通过所述映射表确认所述分配给所述磁盘的节点，将所述操作请求分配给所述节点执行。
在本发明的一些实施方式中，方法还包括：
确认服务器上的节点中与磁盘接口最近的节点，并将所述节点作为磁盘优先节点。
在本发明的一些实施方式中，方法还包括：
响应于接收到对磁盘的操作请求，从产生请操作求的应用类型确认所述操作请求对延迟的要求是否敏感；
响应于所述操作请求对延迟的要求敏感，将所述操作请求分配到所述磁盘优先节点执行。
在本发明的一些实施方式中，方法还包括：
响应于接收到对磁盘的操作请求，从所述操作请求对数据操作方式确认所述操作请求对延迟的要求是否敏感；
响应于所述操作请求对延迟的要求敏感，将所述操作请求分配到所述磁盘优先节点执行。
在本发明的一些实施方式中，基于网卡的负载对所述分配策略进行优化包括：
确认处理网卡任务的节点，实时监控所述节点内各个核心的使用率，并基于各个核心的使用率确认所述节点的使用率；
将所述节点的使用率与第一预定阈值进行比较，响应于所述节点的使用率小于所述第一预定阈值，按照预定策略向所述节点分配操作请求。
在本发明的一些实施方式中，按照预定策略向所述节点分配操作请求包括：
按照预定算法基于所述节点的使用率向所述节点的部分核心分配操作请求。
在本发明的一些实施方式中，方法还包括：
响应于所述节点的使用率大于第一预定阈值，判断所述节点的使用率是否大于第二预定值；
响应于所述节点的使用率大于第二预定阈值，禁止向所述节点分配操作请求。
在本发明的一些实施方式中，方法还包括：
向所述节点的部分核心分配操作请求后，实时获取所述节点的使用率；
响应于所述节点的使用率超过所述第二预定阈值，且所述网卡对所述节点的任务请求增加，则暂停向所述节点分配操作请求，优先处理网卡对所述节点的任务请求。
如图4所示，本发明的再一方面还提出一种计算机可读存储介质401，所述计算机可读存储介质401存储有计算机程序402，所述计算机程序402被处理器执行时实现一种存储优化方法，包括：
根据服务器上的节点分布和磁盘个数建立节点与磁盘的分配策略；
基于所述分配策略分配对磁盘执行操作的节点，并基于网卡的负载对所述分配策略进行优化。
在本发明的一些实施方式中，根据服务器上的节点分布和磁盘个数建立节点与磁盘的分配策略包括：
响应于所述节点个数大于等于磁盘个数，为每个磁盘分配至少一个节点，并基于磁盘与节点的分配关系建立对应的映射表。
在本发明的一些实施方式中，基于所述分配策略分配对磁盘执行操作的节点包括：
响应于接收到对磁盘的操作请求，通过所述映射表确认所述分配给所述磁盘的节点，将所述操作请求分配给所述节点执行。
在本发明的一些实施方式中，方法还包括：
确认服务器上的节点中与磁盘接口最近的节点，并将所述节点作为磁盘优先节点。
在本发明的一些实施方式中，方法还包括：
响应于接收到对磁盘的操作请求，从产生请操作求的应用类型确认所述操作请求对延迟的要求是否敏感；
响应于所述操作请求对延迟的要求敏感，将所述操作请求分配到所述磁盘优先节点执行。
在本发明的一些实施方式中，方法还包括：
响应于接收到对磁盘的操作请求，从所述操作请求对数据操作方式确认所述操作请求对延迟的要求是否敏感；
响应于所述操作请求对延迟的要求敏感，将所述操作请求分配到所述磁盘优先节点执行。
在本发明的一些实施方式中，基于网卡的负载对所述分配策略进行优化包括：
确认处理网卡任务的节点，实时监控所述节点内各个核心的使用率，并基于各个核心的使用率确认所述节点的使用率；
将所述节点的使用率与第一预定阈值进行比较，响应于所述节点的使用率小于所述第一预定阈值，按照预定策略向所述节点分配操作请求。
在本发明的一些实施方式中，按照预定策略向所述节点分配操作请求包括：
按照预定算法基于所述节点的使用率向所述节点的部分核心分配操作请求。
在本发明的一些实施方式中，方法还包括：
响应于所述节点的使用率大于第一预定阈值，判断所述节点的使用率是否大于第二预定值；
响应于所述节点的使用率大于第二预定阈值，禁止向所述节点分配操作请求。
在本发明的一些实施方式中，方法还包括：
向所述节点的部分核心分配操作请求后，实时获取所述节点的使用率；
响应于所述节点的使用率超过所述第二预定阈值，且所述网卡对所述节点的任务请求增加，则暂停向所述节点分配操作请求，优先处理网卡对所述节点的任务请求。
以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。
应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。
上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围（包括权利要求）被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上所述的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。
Claims (22)
1.一种存储优化方法，其特征在于，包括：
根据服务器上的节点分布和磁盘个数建立节点与磁盘的分配策略；
基于所述分配策略分配对磁盘执行操作的节点，并基于网卡的负载对所述分配策略进行优化。
2.根据权利要求1所述的方法，其特征在于，所述根据服务器上的节点分布和磁盘个数建立节点与磁盘的分配策略包括：
响应于所述节点个数大于等于磁盘个数，为每个磁盘分配至少一个节点，并基于磁盘与节点的分配关系建立对应的映射表。
3.根据权利要求2所述的方法，其特征在于，所述基于所述分配策略分配对磁盘执行操作的节点包括：
响应于接收到对磁盘的操作请求，通过所述映射表确认所述分配给所述磁盘的节点，将所述操作请求分配给所述节点执行。
4.根据权利要求1所述的方法，其特征在于，还包括：
确认服务器上的节点中与磁盘接口最近的节点，并将所述节点作为磁盘优先节点。
5.根据权利要求4所述的方法，其特征在于，还包括：
响应于接收到对磁盘的操作请求，从产生操作请求的应用类型确认所述操作请求对延迟的要求是否敏感；
响应于所述操作请求对延迟的要求敏感，将所述操作请求分配到所述磁盘优先节点执行。
6.根据权利要求5所述的方法，其特征在于，还包括：
响应于接收到对磁盘的操作请求，从所述操作请求对数据操作方式确认所述操作请求对延迟的要求是否敏感；
响应于所述操作请求对延迟的要求敏感，将所述操作请求分配到所述磁盘优先节点执行。
7.根据权利要求1所述的方法，其特征在于，所述基于网卡的负载对所述分配策略进行优化包括：
确认处理网卡任务的节点，实时监控所述节点内各个核心的使用率，并基于各个核心的使用率确认所述节点的使用率；
将所述节点的使用率与第一预定阈值进行比较，响应于所述节点的使用率小于所述第一预定阈值，按照预定策略向所述节点分配操作请求。
8.根据权利要求7所述的方法，其特征在于，所述按照预定策略向所述节点分配操作请求包括：
按照预定算法基于所述节点的使用率向所述节点的部分核心分配操作请求。
9.根据权利要求7所述的方法，其特征在于，还包括：
响应于所述节点的使用率大于第一预定阈值，判断所述节点的使用率是否大于第二预定值；
响应于所述节点的使用率大于第二预定阈值，禁止向所述节点分配操作请求。
10.根据权利要求8所述的方法，其特征在于，还包括：
向所述节点的部分核心分配操作请求后，实时获取所述节点的使用率；
响应于所述节点的使用率超过第二预定阈值，且所述网卡对所述节点的任务请求增加，则暂停向所述节点分配操作请求，优先处理网卡对所述节点的任务请求。
11.一种存储优化系统，其特征在于，包括：
策略制定模块，所述策略制定模块用于根据服务器上的节点分布和磁盘个数建立节点与磁盘的分配策略；
优化执行模块，所优化执行模块用于基于所述分配策略分配对磁盘执行操作的节点，并基于网卡的负载对所述分配策略进行优化。
12.根据权利要求11所述的系统，其特征在于，所述策略制定模块进一步配置用于：
响应于所述节点个数大于等于磁盘个数，为每个磁盘分配至少一个节点，并基于磁盘与节点的分配关系建立对应的映射表。
13.根据权利要求12所述的系统，其特征在于，所述策略制定模块进一步配置用于：
响应于接收到对磁盘的操作请求，通过所述映射表确认所述分配给所述磁盘的节点，将所述操作请求分配给所述节点执行。
14.根据权利要求11所述的系统，其特征在于，所述策略制定模块进一步配置用于：
确认服务器上的节点中与磁盘接口最近的节点，并将所述节点作为磁盘优先节点。
15.根据权利要求14所述的系统，其特征在于，所述策略制定模块进一步配置用于：
响应于接收到对磁盘的操作请求，从产生操作请求的应用类型确认所述操作请求对延迟的要求是否敏感；
响应于所述操作请求对延迟的要求敏感，将所述操作请求分配到所述磁盘优先节点执行。
16.根据权利要求15所述的系统，其特征在于，所述策略制定模块进一步配置用于：
响应于接收到对磁盘的操作请求，从所述操作请求对数据操作方式确认所述操作请求对延迟的要求是否敏感；
响应于所述操作请求对延迟的要求敏感，将所述操作请求分配到所述磁盘优先节点执行。
17.根据权利要求11所述的系统，其特征在于，所述优化执行模块进一步配置用于：
确认处理网卡任务的节点，实时监控所述节点内各个核心的使用率，并基于各个核心的使用率确认所述节点的使用率；
将所述节点的使用率与第一预定阈值进行比较，响应于所述节点的使用率小于所述第一预定阈值，按照预定策略向所述节点分配操作请求。
18.根据权利要求17所述的系统，其特征在于，所述优化执行模块进一步配置用于：
按照预定算法基于所述节点的使用率向所述节点的部分核心分配操作请求。
19.根据权利要求17所述的系统，其特征在于，所述优化执行模块进一步配置用于：
响应于所述节点的使用率大于第一预定阈值，判断所述节点的使用率是否大于第二预定值；
响应于所述节点的使用率大于第二预定阈值，禁止向所述节点分配操作请求。
20.根据权利要求18所述的系统，其特征在于，所述优化执行模块进一步配置用于：
向所述节点的部分核心分配操作请求后，实时获取所述节点的使用率；
响应于所述节点的使用率超过第二预定阈值，且所述网卡对所述节点的任务请求增加，则暂停向所述节点分配操作请求，优先处理网卡对所述节点的任务请求。
21.一种计算机设备，其特征在于，包括：
至少一个处理器；以及
存储器，所述存储器存储有可在所述处理器上运行的计算机指令，所述指令由所述处理器执行时实现权利要求1-10任意一项所述方法的步骤。
22.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-10任意一项所述方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211515911.9A CN115543222B (zh) | 2022-11-30 | 2022-11-30 | 一种存储优化方法、系统、设备及可读存储介质 |
| PCT/CN2023/109987 WO2024113925A1 (zh) | 2022-11-30 | 2023-07-28 | 一种存储优化方法、系统、设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211515911.9A CN115543222B (zh) | 2022-11-30 | 2022-11-30 | 一种存储优化方法、系统、设备及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115543222A true CN115543222A (zh) | 2022-12-30 |
| CN115543222B CN115543222B (zh) | 2023-03-10 |
Family
ID=84722412
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211515911.9A Active CN115543222B (zh) | 2022-11-30 | 2022-11-30 | 一种存储优化方法、系统、设备及可读存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN115543222B (zh) |
| WO (1) | WO2024113925A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024113925A1 (zh) * | 2022-11-30 | 2024-06-06 | 苏州元脑智能科技有限公司 | 一种存储优化方法、系统、设备及可读存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105224253A (zh) * | 2015-09-29 | 2016-01-06 | 浪潮电子信息产业股份有限公司 | 一种固态硬盘性能优化的方法 |
| CN111338580A (zh) * | 2020-02-29 | 2020-06-26 | 苏州浪潮智能科技有限公司 | 一种磁盘性能优化的方法和设备 |
| CN112256433A (zh) * | 2020-10-30 | 2021-01-22 | 上海哔哩哔哩科技有限公司 | 基于Kafka集群的分区迁移方法和装置 |
| CN112379825A (zh) * | 2019-09-24 | 2021-02-19 | 北京城建设计发展集团股份有限公司 | 基于数据特征分池的分布式数据存储方法及装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104199718B (zh) * | 2014-08-22 | 2017-08-11 | 上海交通大学 | 一种基于numa高性能网络缓存资源亲和度的虚拟处理器的调度方法 |
| CN106528488B (zh) * | 2016-10-09 | 2019-07-16 | 广州艾美网络科技有限公司 | 一种单机内计算集群系统和控制方法 |
| CN114090223A (zh) * | 2020-08-24 | 2022-02-25 | 北京百度网讯科技有限公司 | 访存请求调度方法、装置、设备以及存储介质 |
| CN115022336A (zh) * | 2022-05-31 | 2022-09-06 | 苏州浪潮智能科技有限公司 | 服务器资源负载均衡方法、系统、终端及存储介质 |
| CN115543222B (zh) * | 2022-11-30 | 2023-03-10 | 苏州浪潮智能科技有限公司 | 一种存储优化方法、系统、设备及可读存储介质 |
| CN116088758A (zh) * | 2022-12-30 | 2023-05-09 | 曙光信息产业(北京)有限公司 | 优化方法、装置、计算机设备、存储介质和程序产品 |
-
2022
- 2022-11-30 CN CN202211515911.9A patent/CN115543222B/zh active Active
-
2023
- 2023-07-28 WO PCT/CN2023/109987 patent/WO2024113925A1/zh unknown
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105224253A (zh) * | 2015-09-29 | 2016-01-06 | 浪潮电子信息产业股份有限公司 | 一种固态硬盘性能优化的方法 |
| CN112379825A (zh) * | 2019-09-24 | 2021-02-19 | 北京城建设计发展集团股份有限公司 | 基于数据特征分池的分布式数据存储方法及装置 |
| CN111338580A (zh) * | 2020-02-29 | 2020-06-26 | 苏州浪潮智能科技有限公司 | 一种磁盘性能优化的方法和设备 |
| CN112256433A (zh) * | 2020-10-30 | 2021-01-22 | 上海哔哩哔哩科技有限公司 | 基于Kafka集群的分区迁移方法和装置 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024113925A1 (zh) * | 2022-11-30 | 2024-06-06 | 苏州元脑智能科技有限公司 | 一种存储优化方法、系统、设备及可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2024113925A1 (zh) | 2024-06-06 |
| CN115543222B (zh) | 2023-03-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11960726B2 (en) | Method and apparatus for SSD storage access | |
| US9983642B2 (en) | Affinity-aware parallel zeroing of memory in non-uniform memory access (NUMA) servers | |
| JP6172649B2 (ja) | 情報処理装置、プログラム、及び、情報処理方法 | |
| CN108900626B (zh) | 一种云环境下数据存储方法、装置及系统 | |
| CN115129621B (zh) | 一种内存管理方法、设备、介质及内存管理模块 | |
| CN115543222B (zh) | 一种存储优化方法、系统、设备及可读存储介质 | |
| KR101765725B1 (ko) | 대용량 방송용 빅데이터 분산 병렬처리를 위한 동적 디바이스 연결 시스템 및 방법 | |
| CN114443211A (zh) | 虚拟机热迁移方法、设备及存储介质 | |
| CN113678104A (zh) | 设备内符号数据移动系统 | |
| EP3602309B1 (en) | A memory allocation manager and method performed thereby for managing memory allocation | |
| CN115586943A (zh) | 一种智能网卡虚拟机脏页的硬件标记实现方法 | |
| CN108139980B (zh) | 用于合并存储器页的方法和存储器合并功能 | |
| Katal et al. | Simulated annealing based approach for virtual machine live migration | |
| US11016685B2 (en) | Method and defragmentation module for defragmenting resources | |
| CN111338782A (zh) | 面向共享式突发数据缓存的基于竞争感知的节点分配方法 | |
| CN113704165B (zh) | 一种超融合服务器、数据处理方法及装置 | |
| CN118277344B (zh) | 分布式键值存储系统的存储节点层间合并方法及装置 | |
| CN117311910B (zh) | 一种高性能虚拟密码机运行方法 | |
| US20230266883A1 (en) | Memory allocation method and apparatus, electronic device, and storage medium | |
| EP3695319B1 (en) | Method and reallocation component for managing reallocation of information from source to target memory sled | |
| CN115562830A (zh) | 主机总线适配器调优方法及装置、电子设备、存储介质 | |
| CN118550717A (zh) | 一种内存资源处理方法、电子设备及存储介质 | |
| CN115827757A (zh) | 一种对多HBase集群的数据操作方法及装置 | |
| JP2022120246A (ja) | 制御装置及び制御方法 | |
| CN118672725A (zh) | 存储控制器以及操作包括存储控制器的电子系统的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |