CN111984407A - 一种数据块读写性能优化方法、系统、终端及存储介质 - Google Patents
一种数据块读写性能优化方法、系统、终端及存储介质 Download PDFInfo
- Publication number
- CN111984407A CN111984407A CN202010790530.6A CN202010790530A CN111984407A CN 111984407 A CN111984407 A CN 111984407A CN 202010790530 A CN202010790530 A CN 202010790530A CN 111984407 A CN111984407 A CN 111984407A
- Authority
- CN
- China
- Prior art keywords
- task queue
- data block
- read
- core
- pool
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000005457 optimization Methods 0.000 title description 6
- 238000012545 processing Methods 0.000 claims abstract description 19
- 230000004044 response Effects 0.000 claims description 34
- 238000012544 monitoring process Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 235000003642 hunger Nutrition 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000037351 starvation Effects 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/50—Indexing scheme relating to G06F9/50
- G06F2209/5011—Pool
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/54—Indexing scheme relating to G06F9/54
- G06F2209/548—Queue
Abstract
本发明提供一种数据块读写性能优化方法、系统、终端及存储介质，包括：创建第一核池和第二核池，并分别为所述第一核池和所述第二核池分配CPU核；根据数据块大小将数据块划分为第一等级和第二等级，并设定第一核池绑定第一等级数据块，第二核池绑定第二等级数据块；截取读写请求，并根据所述读写请求的数据块大小获取所述读写请求的数据块等级；将所述读写请求分配至与所述数据块等级绑定的核池，由分配的核池中的CPU核对所述读写请求进行处理。本发明针对用户多数据类型的场景，依据不同数据块流量调整CPU核分配，能够大大提升前端业务效率，提升存储设备整体性能。
Description
技术领域
本发明属于数据存储技术领域，具体涉及一种数据块读写性能优化方法、系统、终端及存储介质。
背景技术
随着互联网技术的发展，用户场景的多样化增多，数据量增大，数据请求的并发数越来越大，数据类型不同等因素对存储产品的性能要求越来越严格。
为了应对大量复杂数据业务的需求，只能通过使用性能更好的硬件规格，如处理能力更强的CPU、读写性能更好的SSD、NVMe硬盘等，或者在软件处调优，即提高队列深度、调整缓存策略等。
但是提高硬件规格会带来成本的提升，单一的提高队列深度，同样无法避免多线程并发下，有的线程一直无法获取IO，导致IO饿死；调整缓存策略会带来性能的提升，但该策略只对存在大量热点数据的场景有显著效果。
发明内容
针对现有技术的上述不足，本发明提供一种数据块读写性能优化方法、系统、终端及存储介质，以解决上述技术问题。
第一方面，本发明提供一种数据块读写性能优化方法，包括：
创建第一核池和第二核池，并分别为所述第一核池和所述第二核池分配CPU核；
根据数据块大小将数据块划分为第一等级和第二等级，并设定第一核池绑定第一等级数据块，第二核池绑定第二等级数据块；
截取读写请求，并根据所述读写请求的数据块大小获取所述读写请求的数据块等级；
将所述读写请求分配至与所述数据块等级绑定的核池，由分配的核池中的CPU核对所述读写请求进行处理。
进一步的，所述将读写请求分配至与所述数据块等级绑定的核池，包括：
预先创建所述第一核池的第一任务队列，并创建所述第二核池的第二任务队列；
若所述读写请求的数据块为第一等级，则将所述读写请求分配至第一核池的第一任务队列中；
若所述读写请求的数据块为第二等级，则将所述读写请求分配至第二核池的第二任务队列中。
进一步的，所述方法还包括：
采集所述第一任务队列和所述第二任务队列中的读写请求的目标地址；
将同一队列内的目标地址相邻的读写请求合并。
进一步的，所述方法还包括：
设定对所述第一任务队列和第二任务队列的监控周期；
根据所述监控周期定期采集所述第一任务队列和第二任务队列的平均数据块大小、平均CPU核利用率和请求平均响应时间；
将第一任务队列的平均数据块大小与第二任务队列的平均数据块大小之商作为比例系数；
分别计算第一任务队列和第二任务队列的平均CPU核利用率标准差，并将第一任务队列的平均CPU核利用率标准差与第二任务队列的平均CPU核利用率标准差的商作为CPU核利用率标准差偏离系数；
分别计算第一任务队列和第二任务队列的请求平均响应时间标准差，并将第一任务队列的请求平均响应时间标准差与第二任务队列的请求平均响应时间标准差的商作为响应时间标准差偏离系统；
根据所述比例系数、CPU核利用率标准差偏离系数和响应时间标准差偏离系统计算偏离度，并根据所述偏离度调整所述第一核池和第二核池的CPU核数量。
第二方面，本发明提供一种数据块读写性能优化系统，包括：
核池创建单元，配置用于创建第一核池和第二核池，并分别为所述第一核池和所述第二核池分配CPU核；
数据绑定单元，配置用于根据数据块大小将数据块划分为第一等级和第二等级，并设定第一核池绑定第一等级数据块，第二核池绑定第二等级数据块；
请求截留单元，配置用于截取读写请求，并根据所述读写请求的数据块大小获取所述读写请求的数据块等级；
请求分配单元，配置用于将所述读写请求分配至与所述数据块等级绑定的核池，由分配的核池中的CPU核对所述读写请求进行处理。
进一步的，所述请求分配单元包括：
队列创建模块，配置用于预先创建所述第一核池的第一任务队列，并创建所述第二核池的第二任务队列；
第一分配模块，配置用于若所述读写请求的数据块为第一等级，则将所述读写请求分配至第一核池的第一任务队列中；
第二分配模块，配置用于若所述读写请求的数据块为第二等级，则将所述读写请求分配至第二核池的第二任务队列中。
进一步的，所述系统还包括：
地址读取单元，配置用于采集所述第一任务队列和所述第二任务队列中的读写请求的目标地址；
请求合并单元，配置用于将同一队列内的目标地址相邻的读写请求合并。
进一步的，所述系统还包括：
周期设定单元，配置用于设定对所述第一任务队列和第二任务队列的监控周期；
数据采集单元，配置用于根据所述监控周期定期采集所述第一任务队列和第二任务队列的平均数据块大小、平均CPU核利用率和请求平均响应时间；
第一计算单元，配置用于将第一任务队列的平均数据块大小与第二任务队列的平均数据块大小之商作为比例系数；
第二计算单元，配置用于分别计算第一任务队列和第二任务队列的平均CPU核利用率标准差，并将第一任务队列的平均CPU核利用率标准差与第二任务队列的平均CPU核利用率标准差的商作为CPU核利用率标准差偏离系数；
第三计算单元，配置用于分别计算第一任务队列和第二任务队列的请求平均响应时间标准差，并将第一任务队列的请求平均响应时间标准差与第二任务队列的请求平均响应时间标准差的商作为响应时间标准差偏离系统；
资源均衡单元，配置用于根据所述比例系数、CPU核利用率标准差偏离系数和响应时间标准差偏离系统计算偏离度，并根据所述偏离度调整所述第一核池和第二核池的CPU核数量。
第三方面，提供一种终端，包括：
处理器、存储器，其中，
该存储器用于存储计算机程序，
该处理器用于从存储器中调用并运行该计算机程序，使得终端执行上述的终端的方法。
第四方面，提供了一种计算机存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。
本发明的有益效果在于，
本发明提供的数据块读写性能优化方法、系统、终端及存储介质，在应对用户多数据类型的场景时，通过将不同的数据块依照大小进行分类，同时将CPU核按不同类的数据块进行隔离绑定，并IO数据流加入不同的队列中，达到更有效的利用CPU核，避免部分IO线程长期占用CPU导致有写线程IO饿死，提升整体系统性能效果。本发明针对用户多数据类型的场景，依据不同数据块流量调整CPU核分配，能够大大提升前端业务效率，提升存储设备整体性能。
此外，本发明设计原理可靠，结构简单，具有非常广泛的应用前景。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例的方法的示意性流程图。
图2是本发明一个实施例的系统的示意性框图。
图3为本发明实施例提供的一种终端的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
下面对本发明中出现的关键术语进行解释。
英文缩写：DB、CPU、Core、Queue Depth
英文全称：Data Block、Central Processing Unit、Core、Queue Depth
中文全称：数据块、中央处理器、CPU核数、队列深度
图1是本发明一个实施例的方法的示意性流程图。其中，图1执行主体可以为一种数据块读写性能优化系统。
如图1所示，该方法100包括：
步骤110，创建第一核池和第二核池，并分别为所述第一核池和所述第二核池分配CPU核；
步骤120，根据数据块大小将数据块划分为第一等级和第二等级，并设定第一核池绑定第一等级数据块，第二核池绑定第二等级数据块；
步骤130，截取读写请求，并根据所述读写请求的数据块大小获取所述读写请求的数据块等级；
步骤140，将所述读写请求分配至与所述数据块等级绑定的核池，由分配的核池中的CPU核对所述读写请求进行处理。
具体的，所述数据块读写性能优化方法包括：
S1、创建第一核池和第二核池。
将CPU核按照3:3:4的比例(默认值，可以根据实际场景调整)，创建3个核池,CorePool1,CorePool2,CorePool3，池与池内的CPU核做好隔离。其中，CorePool2为第一核池，CorePool3为第二核池，CorePool1为除第一核池和第二核池以外的CPU核组成的核池。
CorePool1主要负责：a.平常非IO流请求处理如计算请求处理等；b.截取前端IO请求，按照不同的数据块大小投入到不同队列深度栈中；c.监控队列中的IO请求，根据LBA地址将相邻的IO请求合并，减少硬盘寻址次数；d.根据CorePool2与CorePool3中CPU核利用率与IO负载，动态调整CorePool2与CorePool3中CPU核比例，达到提高CPU利用率目的。
CorePool2负责处理小数据块的IO请求。
CorePool3负责处理大数据块的IO请求。
S2、为CorePool2和CorePool3创建任务队列。
创建2个队列深度，depth1深度默认值512用于处理小数据块；depth2深度默认256用于处理大数据块，CorePool2与depth1进行绑定保证CorePool2中的核只处理depth1中的IO请求，CorePool3与depth2进行绑定保证CorePool3中的核只处理depth1中的IO请求。
S3、分配读写请求。
CorePool1按照默认值数据块大小64k为标准，将截留的IO请求，小于64k的IO请求放入depth1中，大于64k的IO请求放入depth2中。
S4、对CorePool2和CorePool3的CPU核数量进行均衡。
周期计算depth1与depth2中IO请求数据块平均大小db1、db2，得出两个平均数据块的比例系数A＝db2/db1取整，周期计算CorePool2与CorePool3中CPU核平均利用率CoreRatio1、CoreRatio2，以及IO平均响应时间IOResponse1、IOResponse2。根据标准差公式
σ＝sqrt(((x1-x)^2+(x2-x)^2+......(xn-x)^2)/n)计算核平均利用率与IO平均响应时间标准差值CoreStandard1、CoreStandard2、IOResponseStandard1、IOResponseStandard2，根据标准差计算偏离系数Core＝CoreStandard2/CoreStandard1,Response＝IOResponseStandard2/IOResponseStandard1。
根据上述的比例系数A、Core、Response计算偏离度，具体技术方法为：当Core-A大于0，偏移度加1，反之减1，当Response-A大于0偏移度减1，反之加1。当偏离度到达10时，从CorePool2调CPU核到CorePool3，同时将偏离度置0；当偏离度到达-10时，从CorePool3调CPU核到CorePool2，同时将偏离度置0。
如图2所示，该系统200包括：
核池创建单元210，配置用于创建第一核池和第二核池，并分别为所述第一核池和所述第二核池分配CPU核；
数据绑定单元220，配置用于根据数据块大小将数据块划分为第一等级和第二等级，并设定第一核池绑定第一等级数据块，第二核池绑定第二等级数据块；
请求截留单元230，配置用于截取读写请求，并根据所述读写请求的数据块大小获取所述读写请求的数据块等级；
请求分配单元240，配置用于将所述读写请求分配至与所述数据块等级绑定的核池，由分配的核池中的CPU核对所述读写请求进行处理。
可选地，作为本发明一个实施例，所述请求分配单元包括：
队列创建模块，配置用于预先创建所述第一核池的第一任务队列，并创建所述第二核池的第二任务队列；
第一分配模块，配置用于若所述读写请求的数据块为第一等级，则将所述读写请求分配至第一核池的第一任务队列中；
第二分配模块，配置用于若所述读写请求的数据块为第二等级，则将所述读写请求分配至第二核池的第二任务队列中。
可选地，作为本发明一个实施例，所述系统还包括：
地址读取单元，配置用于采集所述第一任务队列和所述第二任务队列中的读写请求的目标地址；
请求合并单元，配置用于将同一队列内的目标地址相邻的读写请求合并。
可选地，作为本发明一个实施例，所述系统还包括：
周期设定单元，配置用于设定对所述第一任务队列和第二任务队列的监控周期；
数据采集单元，配置用于根据所述监控周期定期采集所述第一任务队列和第二任务队列的平均数据块大小、平均CPU核利用率和请求平均响应时间；
第一计算单元，配置用于将第一任务队列的平均数据块大小与第二任务队列的平均数据块大小之商作为比例系数；
第二计算单元，配置用于分别计算第一任务队列和第二任务队列的平均CPU核利用率标准差，并将第一任务队列的平均CPU核利用率标准差与第二任务队列的平均CPU核利用率标准差的商作为CPU核利用率标准差偏离系数；
第三计算单元，配置用于分别计算第一任务队列和第二任务队列的请求平均响应时间标准差，并将第一任务队列的请求平均响应时间标准差与第二任务队列的请求平均响应时间标准差的商作为响应时间标准差偏离系统；
资源均衡单元，配置用于根据所述比例系数、CPU核利用率标准差偏离系数和响应时间标准差偏离系统计算偏离度，并根据所述偏离度调整所述第一核池和第二核池的CPU核数量。
图3为本发明实施例提供的一种终端300的结构示意图，该终端300可以用于执行本发明实施例提供的数据块读写性能优化方法。
其中，该终端300可以包括：处理器310、存储器320及通信单元330。这些组件通过一条或多条总线进行通信，本领域技术人员可以理解，图中示出的服务器的结构并不构成对本发明的限定，它既可以是总线形结构，也可以是星型结构，还可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
其中，该存储器320可以用于存储处理器310的执行指令，存储器320可以由任何类型的易失性或非易失性存储终端或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。当存储器320中的执行指令由处理器310执行时，使得终端300能够执行以下上述方法实施例中的部分或全部步骤。
处理器310为存储终端的控制中心，利用各种接口和线路连接整个电子终端的各个部分，通过运行或执行存储在存储器320内的软件程序和/或模块，以及调用存储在存储器内的数据，以执行电子终端的各种功能和/或处理数据。所述处理器可以由集成电路(Integrated Circuit，简称IC)组成，例如可以由单颗封装的IC所组成，也可以由连接多颗相同功能或不同功能的封装IC而组成。举例来说，处理器310可以仅包括中央处理器(Central Processing Unit，简称CPU)。在本发明实施方式中，CPU可以是单运算核心，也可以包括多运算核心。
通信单元330，用于建立通信信道，从而使所述存储终端可以与其它终端进行通信。接收其他终端发送的用户数据或者向其他终端发送用户数据。
本发明还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可包括本发明提供的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文：read-only memory，简称：ROM)或随机存储记忆体(英文：random access memory，简称：RAM)等。
因此，本发明在应对用户多数据类型的场景时，通过将不同的数据块依照大小进行分类，同时将CPU核按不同类的数据块进行隔离绑定，并IO数据流加入不同的队列中，达到更有效的利用CPU核，避免部分IO线程长期占用CPU导致有写线程IO饿死，提升整体系统性能效果。本发明针对用户多数据类型的场景，依据不同数据块流量调整CPU核分配，能够大大提升前端业务效率，提升存储设备整体性能，本实施例所能达到的技术效果可以参见上文中的描述，此处不再赘述。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中如U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，包括若干指令用以使得一台计算机终端(可以是个人计算机，服务器，或者第二终端、网络终端等)执行本发明各个实施例所述方法的全部或部分步骤。
本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于终端实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述，但本发明并不限于此。在不脱离本发明的精神和实质的前提下，本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换，而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种数据块读写性能优化方法，其特征在于，包括：
创建第一核池和第二核池，并分别为所述第一核池和所述第二核池分配CPU核；
根据数据块大小将数据块划分为第一等级和第二等级，并设定第一核池绑定第一等级数据块，第二核池绑定第二等级数据块；
截取读写请求，并根据所述读写请求的数据块大小获取所述读写请求的数据块等级；
将所述读写请求分配至与所述数据块等级绑定的核池，由分配的核池中的CPU核对所述读写请求进行处理。
2.根据权利要求1所述的方法，其特征在于，所述将读写请求分配至与所述数据块等级绑定的核池，包括：
预先创建所述第一核池的第一任务队列，并创建所述第二核池的第二任务队列；
若所述读写请求的数据块为第一等级，则将所述读写请求分配至第一核池的第一任务队列中；
若所述读写请求的数据块为第二等级，则将所述读写请求分配至第二核池的第二任务队列中。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
采集所述第一任务队列和所述第二任务队列中的读写请求的目标地址；
将同一队列内的目标地址相邻的读写请求合并。
4.根据权利要求2所述的方法，其特征在于，所述方法还包括：
设定对所述第一任务队列和第二任务队列的监控周期；
根据所述监控周期定期采集所述第一任务队列和第二任务队列的平均数据块大小、平均CPU核利用率和请求平均响应时间；
将第一任务队列的平均数据块大小与第二任务队列的平均数据块大小之商作为比例系数；
分别计算第一任务队列和第二任务队列的平均CPU核利用率标准差，并将第一任务队列的平均CPU核利用率标准差与第二任务队列的平均CPU核利用率标准差的商作为CPU核利用率标准差偏离系数；
分别计算第一任务队列和第二任务队列的请求平均响应时间标准差，并将第一任务队列的请求平均响应时间标准差与第二任务队列的请求平均响应时间标准差的商作为响应时间标准差偏离系统；
根据所述比例系数、CPU核利用率标准差偏离系数和响应时间标准差偏离系统计算偏离度，并根据所述偏离度调整所述第一核池和第二核池的CPU核数量。
5.一种数据块读写性能优化系统，其特征在于，包括：
核池创建单元，配置用于创建第一核池和第二核池，并分别为所述第一核池和所述第二核池分配CPU核；
数据绑定单元，配置用于根据数据块大小将数据块划分为第一等级和第二等级，并设定第一核池绑定第一等级数据块，第二核池绑定第二等级数据块；
请求截留单元，配置用于截取读写请求，并根据所述读写请求的数据块大小获取所述读写请求的数据块等级；
请求分配单元，配置用于将所述读写请求分配至与所述数据块等级绑定的核池，由分配的核池中的CPU核对所述读写请求进行处理。
6.根据权利要求5所述的系统，其特征在于，所述请求分配单元包括：
队列创建模块，配置用于预先创建所述第一核池的第一任务队列，并创建所述第二核池的第二任务队列；
第一分配模块，配置用于若所述读写请求的数据块为第一等级，则将所述读写请求分配至第一核池的第一任务队列中；
第二分配模块，配置用于若所述读写请求的数据块为第二等级，则将所述读写请求分配至第二核池的第二任务队列中。
7.根据权利要求6所述的系统，其特征在于，所述系统还包括：
地址读取单元，配置用于采集所述第一任务队列和所述第二任务队列中的读写请求的目标地址；
请求合并单元，配置用于将同一队列内的目标地址相邻的读写请求合并。
8.根据权利要求6所述的系统，其特征在于，所述系统还包括：
周期设定单元，配置用于设定对所述第一任务队列和第二任务队列的监控周期；
数据采集单元，配置用于根据所述监控周期定期采集所述第一任务队列和第二任务队列的平均数据块大小、平均CPU核利用率和请求平均响应时间；
第一计算单元，配置用于将第一任务队列的平均数据块大小与第二任务队列的平均数据块大小之商作为比例系数；
第二计算单元，配置用于分别计算第一任务队列和第二任务队列的平均CPU核利用率标准差，并将第一任务队列的平均CPU核利用率标准差与第二任务队列的平均CPU核利用率标准差的商作为CPU核利用率标准差偏离系数；
第三计算单元，配置用于分别计算第一任务队列和第二任务队列的请求平均响应时间标准差，并将第一任务队列的请求平均响应时间标准差与第二任务队列的请求平均响应时间标准差的商作为响应时间标准差偏离系统；
资源均衡单元，配置用于根据所述比例系数、CPU核利用率标准差偏离系数和响应时间标准差偏离系统计算偏离度，并根据所述偏离度调整所述第一核池和第二核池的CPU核数量。
9.一种终端，其特征在于，包括：
处理器；
用于存储处理器的执行指令的存储器；
其中，所述处理器被配置为执行权利要求1-4任一项所述的方法。
10.一种存储有计算机程序的计算机可读存储介质，其特征在于，该程序被处理器执行时实现如权利要求1-4中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010790530.6A CN111984407B (zh) | 2020-08-07 | 2020-08-07 | 一种数据块读写性能优化方法、系统、终端及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010790530.6A CN111984407B (zh) | 2020-08-07 | 2020-08-07 | 一种数据块读写性能优化方法、系统、终端及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111984407A true CN111984407A (zh) | 2020-11-24 |
| CN111984407B CN111984407B (zh) | 2022-12-23 |
Family
ID=73445386
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010790530.6A Active CN111984407B (zh) | 2020-08-07 | 2020-08-07 | 一种数据块读写性能优化方法、系统、终端及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111984407B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112835716A (zh) * | 2021-02-02 | 2021-05-25 | 深圳震有科技股份有限公司 | 一种5g通信虚拟化网元的cpu缓存分配方法和终端 |
| CN113031873A (zh) * | 2021-03-26 | 2021-06-25 | 山东英信计算机技术有限公司 | 一种io请求处理方法、装置、设备及可读存储介质 |
| CN113094170A (zh) * | 2021-03-05 | 2021-07-09 | 深圳震有科技股份有限公司 | 一种5g通信虚拟化网元的内存总线分配方法和终端 |
| CN113253939A (zh) * | 2021-06-11 | 2021-08-13 | 锐掣(杭州)科技有限公司 | 数据处理方法、装置、电子设备及存储介质 |
| CN113448516A (zh) * | 2021-06-04 | 2021-09-28 | 山东英信计算机技术有限公司 | 一种基于raid卡的数据处理方法、系统、介质及设备 |
| CN114138179A (zh) * | 2021-10-19 | 2022-03-04 | 苏州浪潮智能科技有限公司 | 一种对写缓存空间进行动态调整的方法和装置 |
| CN114281531A (zh) * | 2021-12-10 | 2022-04-05 | 苏州浪潮智能科技有限公司 | 一种分配cpu核心的方法、系统、存储介质及设备 |
| CN115328661A (zh) * | 2022-09-09 | 2022-11-11 | 中诚华隆计算机技术有限公司 | 一种基于语音和图像特征的算力均衡执行方法及芯片 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103761051A (zh) * | 2013-12-17 | 2014-04-30 | 北京同有飞骥科技股份有限公司 | 一种基于持续数据多输入输出流并发写入性能优化方法 |
| CN103838552A (zh) * | 2014-03-18 | 2014-06-04 | 北京邮电大学 | 4g宽带通信系统多核并行流水线信号的处理系统和方法 |
| US20180307439A1 (en) * | 2017-04-24 | 2018-10-25 | Mangstor, Inc. | Lock-free raid implementation in multi-queue architecture |
| CN109445690A (zh) * | 2018-10-08 | 2019-03-08 | 郑州云海信息技术有限公司 | 一种raid卡性能优化方法、装置、终端及存储介质 |
-
2020
- 2020-08-07 CN CN202010790530.6A patent/CN111984407B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103761051A (zh) * | 2013-12-17 | 2014-04-30 | 北京同有飞骥科技股份有限公司 | 一种基于持续数据多输入输出流并发写入性能优化方法 |
| CN103838552A (zh) * | 2014-03-18 | 2014-06-04 | 北京邮电大学 | 4g宽带通信系统多核并行流水线信号的处理系统和方法 |
| US20180307439A1 (en) * | 2017-04-24 | 2018-10-25 | Mangstor, Inc. | Lock-free raid implementation in multi-queue architecture |
| CN109445690A (zh) * | 2018-10-08 | 2019-03-08 | 郑州云海信息技术有限公司 | 一种raid卡性能优化方法、装置、终端及存储介质 |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112835716A (zh) * | 2021-02-02 | 2021-05-25 | 深圳震有科技股份有限公司 | 一种5g通信虚拟化网元的cpu缓存分配方法和终端 |
| CN112835716B (zh) * | 2021-02-02 | 2023-12-01 | 深圳震有科技股份有限公司 | 一种5g通信虚拟化网元的cpu缓存分配方法和终端 |
| CN113094170B (zh) * | 2021-03-05 | 2023-01-03 | 深圳震有科技股份有限公司 | 一种5g通信虚拟化网元的内存总线分配方法和终端 |
| CN113094170A (zh) * | 2021-03-05 | 2021-07-09 | 深圳震有科技股份有限公司 | 一种5g通信虚拟化网元的内存总线分配方法和终端 |
| CN113031873A (zh) * | 2021-03-26 | 2021-06-25 | 山东英信计算机技术有限公司 | 一种io请求处理方法、装置、设备及可读存储介质 |
| CN113031873B (zh) * | 2021-03-26 | 2023-02-28 | 山东英信计算机技术有限公司 | 一种io请求处理方法、装置、设备及可读存储介质 |
| CN113448516A (zh) * | 2021-06-04 | 2021-09-28 | 山东英信计算机技术有限公司 | 一种基于raid卡的数据处理方法、系统、介质及设备 |
| CN113253939A (zh) * | 2021-06-11 | 2021-08-13 | 锐掣(杭州)科技有限公司 | 数据处理方法、装置、电子设备及存储介质 |
| CN114138179B (zh) * | 2021-10-19 | 2023-08-15 | 苏州浪潮智能科技有限公司 | 一种对写缓存空间进行动态调整的方法和装置 |
| CN114138179A (zh) * | 2021-10-19 | 2022-03-04 | 苏州浪潮智能科技有限公司 | 一种对写缓存空间进行动态调整的方法和装置 |
| CN114281531A (zh) * | 2021-12-10 | 2022-04-05 | 苏州浪潮智能科技有限公司 | 一种分配cpu核心的方法、系统、存储介质及设备 |
| CN114281531B (zh) * | 2021-12-10 | 2023-11-03 | 苏州浪潮智能科技有限公司 | 一种分配cpu核心的方法、系统、存储介质及设备 |
| CN115328661A (zh) * | 2022-09-09 | 2022-11-11 | 中诚华隆计算机技术有限公司 | 一种基于语音和图像特征的算力均衡执行方法及芯片 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111984407B (zh) | 2022-12-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111984407B (zh) | 一种数据块读写性能优化方法、系统、终端及存储介质 | |
| CN107993151B (zh) | 基金交易清算方法、装置、设备及计算机可读存储介质 | |
| US9454407B2 (en) | Service resource allocation | |
| CN112003797B (zh) | 一种虚拟化dpdk网络性能提高方法、系统、终端及存储介质 | |
| CN109445690B (zh) | 一种raid卡性能优化方法、装置、终端及存储介质 | |
| CN110727517A (zh) | 一种基于分区设计的内存分配方法和装置 | |
| CN112463356A (zh) | Gpu堆管理器内存地址分配方法、系统、终端及存储介质 | |
| CN111104219A (zh) | 虚拟核心与物理核心的绑定方法、装置、设备及存储介质 | |
| CN111176836B (zh) | 一种云渲染资源调度方法及装置 | |
| CN113821340A (zh) | 分布式系统的动态均衡方法、系统、终端及存储介质 | |
| US10606478B2 (en) | High performance hadoop with new generation instances | |
| CN110557432B (zh) | 一种缓存池均衡优化方法、系统、终端及存储介质 | |
| CN111338579B (zh) | 基于存储池的读写缓存优化方法、系统、终端及存储介质 | |
| CN106775925B (zh) | 一种虚拟机cpu的限额处理方法和装置 | |
| CN109819449B (zh) | 基于虚拟资源的基站硬件资源分配方法及装置 | |
| CN109285015B (zh) | 一种虚拟资源的分配方法及系统 | |
| CN114327862B (zh) | 一种内存分配方法、装置、电子设备及存储介质 | |
| CN110780992B (zh) | 一种云计算平台优化部署方法、系统、终端及存储介质 | |
| CN111949414B (zh) | 一种存储控制器性能优化方法、系统、终端及存储介质 | |
| US11016685B2 (en) | Method and defragmentation module for defragmenting resources | |
| CN109144231B (zh) | 一种虚拟化电力管理方法及设备 | |
| CN111339105A (zh) | 数据存储方法、装置及服务器 | |
| CN110955644A (zh) | 一种存储系统的io控制方法、装置、设备及存储介质 | |
| CN111552547A (zh) | 作业处理方法、装置以及计算机设备 | |
| CN111651123B (zh) | 一种并发io请求的处理方法、装置、设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |