CN118034613B - 一种存储空间数据智能调度方法、系统及存储器 - Google Patents
一种存储空间数据智能调度方法、系统及存储器 Download PDFInfo
- Publication number
- CN118034613B CN118034613B CN202410430927.2A CN202410430927A CN118034613B CN 118034613 B CN118034613 B CN 118034613B CN 202410430927 A CN202410430927 A CN 202410430927A CN 118034613 B CN118034613 B CN 118034613B
- Authority
- CN
- China
- Prior art keywords
- data
- request
- resources
- intensive
- storage space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000013500 data storage Methods 0.000 claims abstract description 61
- 238000007726 management method Methods 0.000 claims abstract description 8
- 230000004044 response Effects 0.000 claims description 82
- 238000004891 communication Methods 0.000 claims description 74
- 238000011156 evaluation Methods 0.000 claims description 28
- 230000003993 interaction Effects 0.000 claims description 20
- 230000008521 reorganization Effects 0.000 claims description 19
- 238000013468 resource allocation Methods 0.000 claims description 13
- 230000005540 biological transmission Effects 0.000 claims description 7
- 238000012544 monitoring process Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Abstract
本发明涉及数据存储调度管理相关领域,公开了一种存储空间数据智能调度方法、系统及存储器,通过对数据请求以及相对应的数据进行请求类型判断,将数据请求、数据以及数据存储空间划分为IO密集型与数据密集型两种类别,进而可以有效的优化数据请求对于存储空间以及可用的通信带宽的调度效果,相较于现有技术中对于数据的混合存储调度方式,在面对大量数据请求的情况下,通过对高频数据和高数据量数据的划分管控,可以有效的避免反馈用数据接口及通信带宽分配不合理而导致的请求任务队列严重、响应不及时等问题。
Description
技术领域
本发明涉及数据存储调度管理相关领域,具体是一种存储空间数据智能调度方法、系统及存储器。
背景技术
在数据存储中,尤其是会被不断访问并读写的数据库的数据存储中,数据的存储以及调度方式,对后续数据的读写请求响应效率均会产生不同的影响,尤其是对于体量较小且资源有限的数据库,这一点更为明显。
现有技术中,对于数据的存储方式均未做出过多的限定,大多均是将各种数据混合存储,这样的方式在资源有限的小型数据库中,使用时,就会发生大数据量的数据请求在响应中长时间占用通信带宽,进而影响低数据量的高频数据请求响应执行的问题。
发明内容
本发明的目的在于提供一种存储空间数据智能调度方法、系统及存储器,以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:
一种存储空间数据智能调度方法,包含:
基于请求响应日志进行请求类别评估;获取存储空间的历史的请求响应日志,并对所述请求响应中的单次数据请求进行请求类型判断,所述请求类型包括低数据量请求及高数据量请求;
基于评估结果对存储空间进行资源分配;基于低数据量请求与高数据量请求的占比对所述存储空间可调度的数据交互资源进行划分,以分别获取IO密集型分配资源和数据密集型分配资源;
对IO密集型分配资源进行调度管理;获取IO密集型分配资源的数个数据存储空间,并将可调用的数据接口与每一个数据存储空间建立可执行连接通道,且每个所述数据接口均可使用最大通信带宽;
对数据密集型分配资源进行调度管理;获取数据密集型分配资源的数个数据存储空间,将数个数据存储空间并列设置,且每个可调用的数据接口均可与并列设置的数个数据存储空间中的多个同时连接,所述数据接口通过调度获取通信带宽可用部分的额定比例以连接数据存储空间。
作为本发明的进一步方案:所述基于评估结果对存储空间进行资源分配的步骤具体包括:
基于时间轴对所述请求响应日志进行存储空间的通信带宽占用判断,获取高通信宽带占用时间节点的请求响应记录;
判断数个所述请求响应记录中低数据量请求与高数据量请求的通信带宽占用占比并取均值,以用于对数据交互资源的带宽资源进行比例分配,分别对应IO密集型分配资源与数据密集型分配资源;
获取所述高通信宽带占用时间节点相邻额定时间段内的请求响应记录,判断时间段内低数据量请求与高数据量请求的数据接口占用比值并取均值,以用于对数据交互资源的数据接口资源进行比例分配,分别对应IO密集型分配资源与数据密集型分配资源。
作为本发明的再进一步方案:还包括存储空间数据资源重组步骤,具体包括:
基于请求响应日志对存储空间中的每个数据对象进行请求频率的计算评估;
对所述IO密集型分配资源对应的数据对象进行数据资源重组;将对应的存储空间划分为多个存储区间,并基于请求频率的顺序变化序列将数个数据对象依次在不同所述存储区间内存储,每个所述存储区间中多个数据对象的请求频率总和均在相同的预设范围内,每个所述存储区间的大小与数据对象的总数据量成比例关系;
对所述数据密集型分配资源对应的数据对象进行数据资源重组;将对应的存储空间划分为多个等额存储区间,基于预设的最小拆分数据量将数个对应数据对象进行拆分,以获取多个数据段,多个数据段分别在多个存储区间内存储,每个数据对象的数据段总量不超过存储区间总数。
作为本发明的再进一步方案:还包括数据密集型的请求响应步骤,具体包括:
获取数据请求,基于所述数据请求对所请求的数据对象的数据存储类型进行判断;
若判断结果表征为数据密集型,则获取当前数据密集型分配资源的最大通信带宽的空闲余量,取所述空闲余量的额定比例进行请求响应通道的分配,并建立与多个并列存储空间的数据通信连接,以响应所述数据请求;
若所述请求响应通道对应的数据请求已执行完成,则基于当前最大通信带宽的分配子带宽数量对所述请求响应通道进行等额划分,并对当前的多个分配子带宽进行扩充。
作为本发明的再进一步方案:还包括数据缓冲层;
所述数据缓冲层与所述数据接口通信连接,当所述数据请求对应数据的频率超出预设值时,则将对应数据在数据缓冲层内备份,并用于所述数据请求的响应,所述数据缓冲层为随机存取存储器。
作为本发明的再进一步方案:还包括基于数据存储空间的请求响应监测步骤,具体包括:
对每个数据存储空间的数据接口进行通信占用监测,获取在一定时间段内该数据接口因满宽带占用而未响应的数据请求的队列时长;
若所述队列时长超出额定警戒值,则生成数据调度请求并执行,当所述数据调度请求执行时,所述数据存储空间中请求热度非零的一个或多个低热度数据调度转移至低通信占用的数据存储空间中。
本发明实施例旨在提供一种存储空间数据智能调度系统,包含:
请求类型判断模块,用于基于请求响应日志进行请求类别评估;获取存储空间的历史的请求响应日志,并对所述请求响应中的单次数据请求进行请求类型判断,所述请求类型包括低数据量请求及高数据量请求;
资源分配管理模块,用于基于评估结果对存储空间进行资源分配;基于低数据量请求与高数据量请求的占比对所述存储空间可调度的数据交互资源进行划分,以分别获取IO密集型分配资源和数据密集型分配资源;
IO密集资源调度模块,用于对IO密集型分配资源进行调度管理;获取IO密集型分配资源的数个数据存储空间,并将可调用的数据接口与每一个数据存储空间建立可执行连接通道,且每个所述数据接口均可使用最大通信带宽;
数据密集资源调度模块,用于对数据密集型分配资源进行调度管理;获取数据密集型分配资源的数个数据存储空间,将数个数据存储空间并列设置,且每个可调用的数据接口均可与并列设置的数个数据存储空间中的多个同时连接,所述数据接口通过调度获取通信带宽可用部分的额定比例以连接数据存储空间。
作为本发明的进一步方案:所述资源分配管理模块具体包括:
占用判断单元,用于基于时间轴对所述请求响应日志进行存储空间的通信带宽占用判断,获取高通信宽带占用时间节点的请求响应记录;
占比评估单元,用于判断数个所述请求响应记录中低数据量请求与高数据量请求的通信带宽占用占比并取均值,以用于对数据交互资源的带宽资源进行比例分配,分别对应IO密集型分配资源与数据密集型分配资源;
资源分配单元,用于获取所述高通信宽带占用时间节点相邻额定时间段内的请求响应记录,判断时间段内低数据量请求与高数据量请求的数据接口占用比值并取均值,以用于对数据交互资源的数据接口资源进行比例分配,分别对应IO密集型分配资源与数据密集型分配资源。
作为本发明的再进一步方案:还包括数据重组模块,具体包括:
请求热度评估单元,用于基于请求响应日志对存储空间中的每个数据对象进行请求频率的计算评估;
IO密集数据重组单元,用于对所述IO密集型分配资源对应的数据对象进行数据资源重组;将对应的存储空间划分为多个存储区间,并基于请求频率的顺序变化序列将数个数据对象依次在不同所述存储区间内存储,每个所述存储区间中多个数据对象的请求频率总和均在相同的预设范围内,每个所述存储区间的大小与数据对象的总数据量成比例关系;
数据密集数据重组单元,用于对所述数据密集型分配资源对应的数据对象进行数据资源重组;将对应的存储空间划分为多个等额存储区间,基于预设的最小拆分数据量将数个对应数据对象进行拆分,以获取多个数据段,多个数据段分别在多个存储区间内存储,每个数据对象的数据段总量不超过存储区间总数。
本发明实施例旨在提供一种存储器,所述存储器中存储有计算机程序,当所述计算机程序被处理器运行时,执行如存储空间数据智能调度方法的任一步骤。
与现有技术相比,本发明的有益效果是:通过对数据请求以及相对应的数据进行请求类型判断,将数据请求、数据以及数据存储空间划分为IO密集型与数据密集型两种类别,进而可以有效的优化数据请求对于存储空间以及可用的通信带宽的调度效果,相较于现有技术中对于数据的混合存储调度方式,在面对大量数据请求的情况下,通过对高频数据和高数据量数据的划分管控,可以有效的避免反馈用数据接口及通信带宽分配不合理而导致的请求任务队列严重、响应不及时等问题。
附图说明
图1为一种存储空间数据智能调度方法的流程框图。
图2为一种存储空间数据智能调度方法中数据资源重组步骤的流程框图。
图3为一种存储空间数据智能调度系统的组成框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
以下结合具体实施例对本发明的具体实现方式进行详细描述。
如图1所述,为本发明一个实施例提供的一种存储空间数据智能调度方法,包括以下步骤:
S10,基于请求响应日志进行请求类别评估;获取存储空间的历史的请求响应日志,并对所述请求响应中的单次数据请求进行请求类型判断,所述请求类型包括低数据量请求及高数据量请求。
S20,基于评估结果对存储空间进行资源分配;基于低数据量请求与高数据量请求的占比对所述存储空间可调度的数据交互资源进行划分,以分别获取IO密集型分配资源和数据密集型分配资源。
S30,对IO密集型分配资源进行调度管理;获取IO密集型分配资源的数个数据存储空间,并将可调用的数据接口与每一个数据存储空间建立可执行连接通道,且每个所述数据接口均可使用最大通信带宽。
S40,对数据密集型分配资源进行调度管理;获取数据密集型分配资源的数个数据存储空间,将数个数据存储空间并列设置,且每个可调用的数据接口均可与并列设置的数个数据存储空间中的多个同时连接,所述数据接口通过调度获取通信带宽可用部分的额定比例以连接数据存储空间。
本实施例中,给出了一种存储空间数据智能调度方法,通过对数据请求以及相对应的数据进行请求类型判断,将数据请求、数据以及数据存储空间划分为IO密集型与数据密集型两种类别,进而可以有效的优化数据请求对于存储空间以及可用的通信带宽的调度效果,相较于现有技术中对于数据的混合存储调度方式,在面对大量数据请求的情况下,通过对高频数据和高数据量数据的划分管控,可以有效的避免反馈用数据接口及通信带宽分配不合理而导致的请求任务队列严重、响应不及时等问题;具体的来说,在需要被不断读取的数据存储中,可以将数据划分为两类,一种是单个数据的数据量较小,但是其被请求读取的频率较高;另一种是单个数据的数据量较大,其在被读取请求时,会占用通信带宽较长的时间进行数据的传输(也可以指定更加详细的划分准则,根据级别范围,分配为三类或更多);若是将这两类数据混合存储的话,那么在使用时,就会发生大数据量的数据请求在响应中长时间占用通信带宽,进而影响低数据量的高频数据请求的响应执行,因此本申请中通过步骤S20对这两类数据在响应请求时对于通信资源的占用比例将资源进行划分,进而可以分别建立用于IO密集型数据与数据密集型数据的存储和通信资源(包括数据响应接口和通信带宽),且在对于通信资源的分配管理中,因为IO密集型数据可以在极端的时间内完成数据交互,因此对数据接口的占用优先级会更高,所以为了保证IO密集型的请求能够被第一时间响应,则需要分配更多的数据接口,且每个数据接口均分配最大的通信宽带,以用于快速的完成响应队列;而对于数据密集型的数据,因为数据的交互是需要较多的时间的,因此,为了让请求能够快速的被响应,则采用了拆分数据带宽的方式,使得多个请求任务能够同时被响应并执行,降低请求者队列进入响应的时间,进而优化用户体验。
作为本发明另一个优选的实施例,所述基于评估结果对存储空间进行资源分配的步骤具体包括:
基于时间轴对所述请求响应日志进行存储空间的通信带宽占用判断,获取高通信宽带占用时间节点的请求响应记录;
判断数个所述请求响应记录中低数据量请求与高数据量请求的通信带宽占用占比并取均值,以用于对数据交互资源的带宽资源进行比例分配,分别对应IO密集型分配资源与数据密集型分配资源;
获取所述高通信宽带占用时间节点相邻额定时间段内的请求响应记录,判断时间段内低数据量请求与高数据量请求的数据接口占用比值并取均值,以用于对数据交互资源的数据接口资源进行比例分配,分别对应IO密集型分配资源与数据密集型分配资源。
本实施例中,对资源分配的步骤进行了进一步的说明,这里具体的分配依据的占比标准是根据数据请求高发时间段的占比所判断的,具体的对应到IO密集型和数据密集型分别为高请求频率时间节点和高通信带宽占用时间段,因为在上一实施例中已经说明,IO密集型请求在高发时,占用更多的资源为请求接口(即对于请求响应的并列执行能力);而对于数据密集型,则对通信带宽的占用较多,因此采用的不同评估方法。
如图2所示,作为本发明另一个优选的实施例,还包括存储空间数据资源重组步骤,具体包括:
S51,基于请求响应日志对存储空间中的每个数据对象进行请求频率的计算评估;
S52,对所述IO密集型分配资源对应的数据对象进行数据资源重组;将对应的存储空间划分为多个存储区间,并基于请求频率的顺序变化序列将数个数据对象依次在不同所述存储区间内存储,每个所述存储区间中多个数据对象的请求频率总和均在相同的预设范围内,每个所述存储区间的大小与数据对象的总数据量成比例关系。
S53,对所述数据密集型分配资源对应的数据对象进行数据资源重组;将对应的存储空间划分为多个等额存储区间,基于预设的最小拆分数据量将数个对应数据对象进行拆分,以获取多个数据段,多个数据段分别在多个存储区间内存储,每个数据对象的数据段总量不超过存储区间总数。
本实施例中,对数据资源重组的步骤进行了补充,其中对于IO密集型数据,采取的方式是根据每个数据的请求热度,也就是在热度总量的资源需求不超出可用的资源总量时,将高热度的数据进行共同存储,例如a存储器可以承受单位时间100条请求,则a中存储的高热度数据的单位时间请求次数总量不能超出100,这样设置的好处是,可以在一定程度上保证数据存储设备中存储单元的寿命统一性;对于数据密集型数据,采用的方式则是将数据进行拆分为多个子数据段并分别在不同的存储区间内存储,这样设置的好处是,在响应请求时,可以同时通过多个存储区间进行同步的并列读取,可以有效的请求响应中对于数据的获取速度。
作为本发明另一个优选的实施例,还包括数据密集型的请求响应步骤,具体包括:
获取数据请求,基于所述数据请求对所请求的数据对象的数据存储类型进行判断;
若判断结果表征为数据密集型,则获取当前数据密集型分配资源的最大通信带宽的空闲余量,取所述空闲余量的额定比例进行请求响应通道的分配,并建立与多个并列存储空间的数据通信连接,以响应所述数据请求;
若所述请求响应通道对应的数据请求已执行完成,则基于当前最大通信带宽的分配子带宽数量对所述请求响应通道进行等额划分,并对当前的多个分配子带宽进行扩充。
本实施例中,补充了数据密集型数据在响应请求时的执行步骤,当数据请求被判定为数据密集型数据后,会根据当前带宽的剩余量进行比例分配,因这样的分配方式,对于数据请求会一直在第一时间得到响应而不是进入队列等待;再分配带宽后,则对应的进行数据的通信作业,而当某一请求在执行完成后,其占用带宽得到释放,为了保证后续其他请求的执行效率,则对释放的带宽进行再分配,将后续任务的可使用带宽进行扩增,以提高请求的执行效率。
作为本发明另一个优选的实施例,还包括数据缓冲层;
所述数据缓冲层与所述数据接口通信连接,当所述数据请求对应数据的频率超出预设值时,则将对应数据在数据缓冲层内备份,并用于所述数据请求的响应,所述数据缓冲层为随机存取存储器。
本实施例中,补充了数据缓冲层,其作用在于降低与存储空间的数据通信用带宽的占用压力,可以有效降低数据请求的响应压力,在不同时间段,不同的数据可能会处于一个超出常规的超高请求热度状态,而此时频发的向存储空间进行请求便会重复甚至并列占用通信带宽等资源,影响到其他数据的正常请求与响应,因此,在这些特殊时间段内,在数据处于超过请求热度状态后,将其缓存值数据缓冲层,则可以有效的规避其对于通信带宽等资源的占用,优化数据请求体验。
作为本发明另一个优选的实施例,还包括基于数据存储空间的请求响应监测步骤,具体包括:
对每个数据存储空间的数据接口进行通信占用监测,获取在一定时间段内该数据接口因满宽带占用而未响应的数据请求的队列时长;
若所述队列时长超出额定警戒值,则生成数据调度请求并执行,当所述数据调度请求执行时,所述数据存储空间中请求热度非零的一个或多个低热度数据调度转移至低通信占用的数据存储空间中。
本实施例中,补充了请求响应监测的步骤,其作用在于当监测到某一数据存储区块对应的带宽等通信资源占用满额且导致产生一定数量的请求无法及时响应而队列时,说明其中数据的热度已经发生了变化,因此需要对存储调度进行重新分配,以使其合理化,让后续的作业请求响应能够稳定进行。
如图3所示,本发明还提供了一种存储空间数据智能调度系统,其包含:
请求类型判断模块100,用于基于请求响应日志进行请求类别评估;获取存储空间的历史的请求响应日志,并对所述请求响应中的单次数据请求进行请求类型判断,所述请求类型包括低数据量请求及高数据量请求。
资源分配管理模块200,用于基于评估结果对存储空间进行资源分配;基于低数据量请求与高数据量请求的占比对所述存储空间可调度的数据交互资源进行划分,以分别获取IO密集型分配资源和数据密集型分配资源。
IO密集资源调度模块300,用于对IO密集型分配资源进行调度管理;获取IO密集型分配资源的数个数据存储空间,并将可调用的数据接口与每一个数据存储空间建立可执行连接通道,且每个所述数据接口均可使用最大通信带宽。
数据密集资源调度模块400,用于对数据密集型分配资源进行调度管理;获取数据密集型分配资源的数个数据存储空间,将数个数据存储空间并列设置,且每个可调用的数据接口均可与并列设置的数个数据存储空间中的多个同时连接,所述数据接口通过调度获取通信带宽可用部分的额定比例以连接数据存储空间。
作为本发明另一个优选的实施例,所述资源分配管理模块200具体包括:
占用判断单元,用于基于时间轴对所述请求响应日志进行存储空间的通信带宽占用判断,获取高通信宽带占用时间节点的请求响应记录;
占比评估单元,用于判断数个所述请求响应记录中低数据量请求与高数据量请求的通信带宽占用占比并取均值,以用于对数据交互资源的带宽资源进行比例分配,分别对应IO密集型分配资源与数据密集型分配资源;
资源分配单元,用于获取所述高通信宽带占用时间节点相邻额定时间段内的请求响应记录,判断时间段内低数据量请求与高数据量请求的数据接口占用比值并取均值,以用于对数据交互资源的数据接口资源进行比例分配,分别对应IO密集型分配资源与数据密集型分配资源。
作为本发明另一个优选的实施例,还包括数据重组模块,具体包括:
请求热度评估单元,用于基于请求响应日志对存储空间中的每个数据对象进行请求频率的计算评估;
IO密集数据重组单元,用于对所述IO密集型分配资源对应的数据对象进行数据资源重组;将对应的存储空间划分为多个存储区间,并基于请求频率的顺序变化序列将数个数据对象依次在不同所述存储区间内存储,每个所述存储区间中多个数据对象的请求频率总和均在相同的预设范围内,每个所述存储区间的大小与数据对象的总数据量成比例关系;
数据密集数据重组单元,用于对所述数据密集型分配资源对应的数据对象进行数据资源重组;将对应的存储空间划分为多个等额存储区间,基于预设的最小拆分数据量将数个对应数据对象进行拆分,以获取多个数据段,多个数据段分别在多个存储区间内存储,每个数据对象的数据段总量不超过存储区间总数。
本发明还提供了一种存储器,所述存储器中存储有计算机程序,当所述计算机程序被处理器运行时,执行如存储空间数据智能调度方法的任一步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本领域技术人员在考虑说明书及实施例处的公开后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (5)
1.一种存储空间数据智能调度方法,其特征在于,包含:
基于请求响应日志进行请求类别评估;获取存储空间的历史的请求响应日志,并对所述请求响应中的单次数据请求进行请求类型判断,所述请求类型包括低数据量请求及高数据量请求;
基于评估结果对存储空间进行资源分配;基于低数据量请求与高数据量请求的占比对所述存储空间可调度的数据交互资源进行划分,以分别获取IO密集型分配资源和数据密集型分配资源;
对IO密集型分配资源进行调度管理;获取IO密集型分配资源的数个数据存储空间,并将可调用的数据接口与每一个数据存储空间建立可执行连接通道,且每个所述数据接口均可使用最大通信带宽;
对数据密集型分配资源进行调度管理;获取数据密集型分配资源的数个数据存储空间,将数个数据存储空间并列设置,且每个可调用的数据接口均可与并列设置的数个数据存储空间中的多个同时连接,所述数据接口通过调度获取通信带宽可用部分的额定比例以连接数据存储空间;
所述基于评估结果对存储空间进行资源分配的步骤具体包括:
基于时间轴对所述请求响应日志进行存储空间的通信带宽占用判断,获取高通信宽带占用时间节点的请求响应记录;
判断数个所述请求响应记录中低数据量请求与高数据量请求的通信带宽占用占比并取均值,以用于对数据交互资源的带宽资源进行比例分配,分别对应IO密集型分配资源与数据密集型分配资源;
获取所述高通信宽带占用时间节点相邻额定时间段内的请求响应记录,判断时间段内低数据量请求与高数据量请求的数据接口占用比值并取均值,以用于对数据交互资源的数据接口资源进行比例分配,分别对应IO密集型分配资源与数据密集型分配资源;
还包括存储空间数据资源重组步骤,具体包括:
基于请求响应日志对存储空间中的每个数据对象进行请求频率的计算评估;
对所述IO密集型分配资源对应的数据对象进行数据资源重组;将对应的存储空间划分为多个存储区间,并基于请求频率的顺序变化序列将数个数据对象依次在不同所述存储区间内存储,每个所述存储区间中多个数据对象的请求频率总和均在相同的预设范围内,每个所述存储区间的大小与数据对象的总数据量成比例关系;
对所述数据密集型分配资源对应的数据对象进行数据资源重组;将对应的存储空间划分为多个等额存储区间,基于预设的最小拆分数据量将数个对应数据对象进行拆分,以获取多个数据段,多个数据段分别在多个存储区间内存储,每个数据对象的数据段总量不超过存储区间总数;
还包括数据密集型的请求响应步骤,具体包括:
获取数据请求,基于所述数据请求对所请求的数据对象的数据存储类型进行判断;
若判断结果表征为数据密集型,则获取当前数据密集型分配资源的最大通信带宽的空闲余量,获取所述空闲余量的额定比例进行请求响应通道的分配,并建立与多个并列存储空间的数据通信连接,以响应所述数据请求;
若所述请求响应通道对应的数据请求已执行完成,则基于当前最大通信带宽的分配子带宽数量对所述请求响应通道进行等额划分,并对当前的多个分配子带宽进行扩充。
2.根据权利要求1所述的一种存储空间数据智能调度方法,其特征在于,还包括数据缓冲层;
所述数据缓冲层与所述数据接口通信连接,当所述数据请求对应数据的频率超出预设值时,则将对应数据在数据缓冲层内备份,并用于所述数据请求的响应,所述数据缓冲层为随机存取存储器。
3.根据权利要求1所述的一种存储空间数据智能调度方法,其特征在于,还包括基于数据存储空间的请求响应监测步骤,具体包括:
对每个数据存储空间的数据接口进行通信占用监测,获取在一定时间段内该数据接口因满宽带占用而未响应的数据请求的队列时长;
若所述队列时长超出额定警戒值,则生成数据调度请求并执行,当所述数据调度请求执行时,所述数据存储空间中请求热度非零的一个或多个低热度数据调度转移至低通信占用的数据存储空间中。
4.一种存储空间数据智能调度系统,其特征在于,包含:
请求类型判断模块,用于基于请求响应日志进行请求类别评估;获取存储空间的历史的请求响应日志,并对所述请求响应中的单次数据请求进行请求类型判断,所述请求类型包括低数据量请求及高数据量请求;
资源分配管理模块,用于基于评估结果对存储空间进行资源分配;基于低数据量请求与高数据量请求的占比对所述存储空间可调度的数据交互资源进行划分,以分别获取IO密集型分配资源和数据密集型分配资源;
IO密集资源调度模块,用于对IO密集型分配资源进行调度管理;获取IO密集型分配资源的数个数据存储空间,并将可调用的数据接口与每一个数据存储空间建立可执行连接通道,且每个所述数据接口均可使用最大通信带宽;
数据密集资源调度模块,用于对数据密集型分配资源进行调度管理;获取数据密集型分配资源的数个数据存储空间,将数个数据存储空间并列设置,且每个可调用的数据接口均可与并列设置的数个数据存储空间中的多个同时连接,所述数据接口通过调度获取通信带宽可用部分的额定比例以连接数据存储空间;
所述资源分配管理模块具体包括:
占用判断单元,用于基于时间轴对所述请求响应日志进行存储空间的通信带宽占用判断,获取高通信宽带占用时间节点的请求响应记录;
占比评估单元,用于判断数个所述请求响应记录中低数据量请求与高数据量请求的通信带宽占用占比并取均值,以用于对数据交互资源的带宽资源进行比例分配,分别对应IO密集型分配资源与数据密集型分配资源;
资源分配单元,用于获取所述高通信宽带占用时间节点相邻额定时间段内的请求响应记录,判断时间段内低数据量请求与高数据量请求的数据接口占用比值并取均值,以用于对数据交互资源的数据接口资源进行比例分配,分别对应IO密集型分配资源与数据密集型分配资源;
还包括数据重组模块,具体包括:
请求热度评估单元,用于基于请求响应日志对存储空间中的每个数据对象进行请求频率的计算评估;
IO密集数据重组单元,用于对所述IO密集型分配资源对应的数据对象进行数据资源重组;将对应的存储空间划分为多个存储区间,并基于请求频率的顺序变化序列将数个数据对象依次在不同所述存储区间内存储,每个所述存储区间中多个数据对象的请求频率总和均在相同的预设范围内,每个所述存储区间的大小与数据对象的总数据量成比例关系;
数据密集数据重组单元,用于对所述数据密集型分配资源对应的数据对象进行数据资源重组;将对应的存储空间划分为多个等额存储区间,基于预设的最小拆分数据量将数个对应数据对象进行拆分,以获取多个数据段,多个数据段分别在多个存储区间内存储,每个数据对象的数据段总量不超过存储区间总数;
所述数据重组模块还用于执行数据密集型的请求响应,具体包括
获取数据请求,基于所述数据请求对所请求的数据对象的数据存储类型进行判断;
若判断结果表征为数据密集型,则获取当前数据密集型分配资源的最大通信带宽的空闲余量,获取所述空闲余量的额定比例进行请求响应通道的分配,并建立与多个并列存储空间的数据通信连接,以响应所述数据请求;
若所述请求响应通道对应的数据请求已执行完成,则基于当前最大通信带宽的分配子带宽数量对所述请求响应通道进行等额划分,并对当前的多个分配子带宽进行扩充。
5.一种存储器,其特征在于,所述存储器中存储有计算机程序,当所述计算机程序被处理器运行时,执行如权利要求1至3的任一步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410430927.2A CN118034613B (zh) | 2024-04-11 | 一种存储空间数据智能调度方法、系统及存储器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410430927.2A CN118034613B (zh) | 2024-04-11 | 一种存储空间数据智能调度方法、系统及存储器 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN118034613A CN118034613A (zh) | 2024-05-14 |
CN118034613B true CN118034613B (zh) | 2024-06-11 |
Family
ID=
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6956818B1 (en) * | 2000-02-23 | 2005-10-18 | Sun Microsystems, Inc. | Method and apparatus for dynamic class-based packet scheduling |
CN107515787A (zh) * | 2017-08-31 | 2017-12-26 | 广东欧珀移动通信有限公司 | 资源配置方法及相关产品 |
CN111124310A (zh) * | 2019-12-22 | 2020-05-08 | 苏州浪潮智能科技有限公司 | 存储系统调度优化方法及相关组件 |
CN111295649A (zh) * | 2019-09-12 | 2020-06-16 | 阿里巴巴集团控股有限公司 | 日志结构存储系统 |
WO2023029610A1 (zh) * | 2021-08-31 | 2023-03-09 | 超聚变数字技术有限公司 | 数据访问方法、装置及存储介质 |
CN117519945A (zh) * | 2023-12-07 | 2024-02-06 | 北京优炫软件股份有限公司 | 一种数据库资源调度方法、装置及系统 |
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6956818B1 (en) * | 2000-02-23 | 2005-10-18 | Sun Microsystems, Inc. | Method and apparatus for dynamic class-based packet scheduling |
CN107515787A (zh) * | 2017-08-31 | 2017-12-26 | 广东欧珀移动通信有限公司 | 资源配置方法及相关产品 |
CN111295649A (zh) * | 2019-09-12 | 2020-06-16 | 阿里巴巴集团控股有限公司 | 日志结构存储系统 |
CN111124310A (zh) * | 2019-12-22 | 2020-05-08 | 苏州浪潮智能科技有限公司 | 存储系统调度优化方法及相关组件 |
WO2023029610A1 (zh) * | 2021-08-31 | 2023-03-09 | 超聚变数字技术有限公司 | 数据访问方法、装置及存储介质 |
CN117519945A (zh) * | 2023-12-07 | 2024-02-06 | 北京优炫软件股份有限公司 | 一种数据库资源调度方法、装置及系统 |
Non-Patent Citations (1)
Title |
---|
面向新型存储的大数据存储架构与核心算法综述;金培权 等;计算机工程与科学;20131015(第10期);全文 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110166282B (zh) | 资源分配方法、装置、计算机设备和存储介质 | |
CN107426274B (zh) | 基于时序的业务应用及监控分析调度的方法和系统 | |
US20140282520A1 (en) | Provisioning virtual machines on a physical infrastructure | |
US7418568B2 (en) | Memory management technique | |
CN111522636B (zh) | 应用容器的调整方法、调整系统、计算机可读介质及终端设备 | |
US8627330B2 (en) | Workload manager managing a workload of an enterprise data warehouse | |
CN105516367A (zh) | 分布式数据存储系统、方法和装置 | |
CN111104208B (zh) | 进程调度管理方法、装置、计算机设备及存储介质 | |
JP2004062911A (ja) | コンピュータ資源の割り当てを管理するシステム | |
CN112689007B (zh) | 资源分配方法、装置、计算机设备和存储介质 | |
US11681447B2 (en) | Method, device and computer program product of balance of storage space for file system | |
US20100138627A1 (en) | Efficient alert mechanism for overutilization of storage resources | |
CN112269661B (zh) | 基于Kafka集群的分区迁移方法和装置 | |
CN116346740A (zh) | 一种负载均衡方法及装置 | |
CN111352735A (zh) | 数据加速方法、装置、存储介质及设备 | |
CN118034613B (zh) | 一种存储空间数据智能调度方法、系统及存储器 | |
CN118034613A (zh) | 一种存储空间数据智能调度方法、系统及存储器 | |
CN112817722A (zh) | 一种基于优先级的分时调度方法、终端及存储介质 | |
CN117234691A (zh) | 任务调度方法及装置 | |
CN111367660A (zh) | 一种集团共享资源的共享方法和系统 | |
CN114860449B (zh) | 数据处理方法、装置、设备和存储介质 | |
CN110928649A (zh) | 资源调度的方法和装置 | |
CN112667392B (zh) | 云计算资源分配方法、装置、计算机设备和存储介质 | |
CN111435319A (zh) | 一种集群的管理方法及装置 | |
CN113568891A (zh) | 分布式id生成方法、装置、服务器和可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |