CN115756812A - 一种资源调整方法及装置、存储介质 - Google Patents

一种资源调整方法及装置、存储介质 Download PDF

Info

Publication number
CN115756812A
CN115756812A CN202111026440.0A CN202111026440A CN115756812A CN 115756812 A CN115756812 A CN 115756812A CN 202111026440 A CN202111026440 A CN 202111026440A CN 115756812 A CN115756812 A CN 115756812A
Authority
CN
China
Prior art keywords
data
time period
resource
sample
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111026440.0A
Other languages
English (en)
Inventor
段盼盼
沈国栋
李学环
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Suzhou Software Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Suzhou Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Suzhou Software Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202111026440.0A priority Critical patent/CN115756812A/zh
Publication of CN115756812A publication Critical patent/CN115756812A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Debugging And Monitoring (AREA)

Abstract

本申请实施例提供了一种资源调整方法及装置、存储介质，该方法包括：确定目标任务在当前时间段内的第一数据量；将第一数据量输入负载预测模型中，得到目标任务在当前时间段之后的至少一个时间段对应的预测数据量；负载预测模型是根据样本历史数据日志中预设时间段内的历史样本数据量训练得到；利用预测数据量和当前时间段之后的至少一个时间段对应的预分配数据量，确定出当前时间段之后的至少一个时间段对应的资源调整结果；根据资源调整结果，对当前时间段之后的至少一个时间段的预分配数据资源进行资源调整。通过上述技术方案，达到实时调整资源，提高资源利用率的目的。

Description

一种资源调整方法及装置、存储介质
技术领域
本申请涉及计算机技术领域，尤其涉及一种资源调整方法及装置、存储介质。
背景技术
现有的资源分配方法通常是配置静态资源，即根据业务需求将资源提前分配好，同时，为了满足峰值的处理能力，一般预分配资源时都会进行过度分配，以防止在业务执行的过程中出现资源不足的情况，但是，这种资源分配方法不能在业务执行的过程中根据负载实时的调整分配资源，并且预先过度分配资源也会造成资源浪费的情况，导致资源的利用率低。
发明内容
本申请实施例提供一种资源调整方法及装置、存储介质，能够达到实时调整资源，提高资源利用率的目的。
本申请的技术方案是这样实现的：
第一方面，本申请实施例提供一种资源调整方法，所述方法包括：
确定目标任务在当前时间段内的第一数据量；
将所述第一数据量输入负载预测模型中，得到所述目标任务在所述当前时间段之后的至少一个时间段对应的预测数据量；所述负载预测模型是根据样本历史数据日志中预设时间段内的历史样本数据量训练得到；
利用所述预测数据量和所述当前时间段之后的至少一个时间段对应的预分配数据量，确定出所述当前时间段之后的至少一个时间段对应的资源调整结果；
根据所述资源调整结果，对所述当前时间段之后的至少一个时间段的预分配数据资源进行资源调整。
在上述资源调整方法中，所述利用所述预测数据量和所述当前时间段之后的至少一个时间段对应的预分配数据量，确定出所述当前时间段之后的至少一个时间段对应的资源调整结果，包括：
在所述预测数据量大于所述预分配数据量的情况下，确定所述资源调整结果为增加数据资源；
在所述预测数据量小于所述预分配数据量的情况下，确定所述资源调整结果为减少数据资源；
在所述预测数据量等于所述预分配数据量的情况下，确定所述资源调整结果为不调整数据资源。
在上述资源调整方法中，所述根据所述资源调整结果，对所述当前时间段之后的至少一个时间段的预分配数据资源进行资源调整，包括：
若确定所述资源调整结果为增加数据资源，则查找使用状态为空闲状态的空闲数据资源；
在查找到所述空闲数据资源的情况下，将所述空闲数据资源添加至所述预分配数据资源中。
在上述资源调整方法中，所述查找使用状态为空闲状态的空闲数据资源之后，所述方法还包括；
在未查找到所述空闲数据资源的情况下，统计资源分配次数和资源分配时间；
若所述资源分配次数未超过次数阈值或者所述资源分配时间未超过时间阈值，则继续查找所述空闲数据资源、直至查找到所述空闲数据资源，将所述空闲数据资源添加至所述预分配数据资源中。
在上述资源调整方法中，所述利用所述预测数据量和所述当前时间段之后的至少一个时间段对应的预分配数据量，确定出所述当前时间段之后的至少一个时间段对应的资源调整结果之后，所述方法还包括：
确定与所述目标任务相关的第二任务，并确定所述第二任务对应的第二预分配数据资源；
根据所述资源调整结果，对所述第二预分配数据资源进行资源调整。
在上述资源调整方法中，所述确定目标任务在当前时间段内的第一数据量之前，所述方法还包括：
获取样本任务对应的所述样本历史数据日志；并从所述样本历史数据日志中确定第一预设时间段内所述样本任务产生的第一样本数据量和所述第一样本数据量占用的第一样本数据资源；
将所述样本任务、所述第一样本数据量和所述第一样本数据资源输入初始负载预测模型中，得到所述样本任务在所述第一预设时间段之后的至少一个预设时间段对应的预测样本数据量；
从所述样本历史数据日志中查找所述至少一个预设时间段内的所述历史样本数据量；
利用所述预测样本数据量和所述历史样本数据量之间的差值对所述初始负载预测模型进行训练，得到所述负载预测模型。
第二方面，本申请实施例提供一种资源调整装置，所述装置包括：
确定单元，用于确定目标任务在当前时间段内的第一数据量；
输入单元，用于将所述第一数据量输入负载预测模型中，得到所述目标任务在所述当前时间段之后的至少一个时间段对应的预测数据量；所述负载预测模型是根据样本历史数据日志中预设时间段内的历史样本数据量训练得到；
所述确定单元，还用于利用所述预测数据量和所述当前时间段之后的至少一个时间段对应的预分配数据量，确定出所述当前时间段之后的至少一个时间段对应的资源调整结果；
资源调整单元，用于根据所述资源调整结果，对所述当前时间段之后的至少一个时间段的预分配数据资源进行资源调整。
在上述资源调整装置中，所述确定单元，还用于在所述预测数据量大于所述预分配数据量的情况下，确定所述资源调整结果为增加数据资源；在所述预测数据量小于所述预分配数据量的情况下，确定所述资源调整结果为减少数据资源；在所述预测数据量等于所述预分配数据量的情况下，确定所述资源调整结果为不调整数据资源。
第三方面，本申请实施例提供一种资源调整设备，其特征在于，所述设备包括：处理器、存储器及通信总线；所述处理器执行存储器存储的运行程序时实现如上述任一项所述的资源调整方法。
第四方面，本申请实施例提供一种存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如上述任一项所述的资源调整方法。
本申请实施例提供了一种资源调整方法及装置、存储介质，该方法包括：确定目标任务在当前时间段内的第一数据量；将第一数据量输入负载预测模型中，得到目标任务在当前时间段之后的至少一个时间段对应的预测数据量；负载预测模型是根据样本历史数据日志中预设时间段内的历史样本数据量训练得到；利用预测数据量和当前时间段之后的至少一个时间段对应的预分配数据量，确定出当前时间段之后的至少一个时间段对应的资源调整结果；根据资源调整结果，对当前时间段之后的至少一个时间段的预分配数据资源进行资源调整；采用上述实现方案，由于负载预测模型是利用样本历史数据日志中预设时间段内的历史样本数据量训练得到的，因此，通过此负载预测模型能够准确的预测后续时间段内目标任务所需的数据量，进而根据预测出的数据量来实时调整后续时间段给目标任务分配的数据资源，达到实时调整资源，提高资源利用率的目的。
附图说明
图1为本申请实施例提供的一种资源调整方法流程图；
图2为本申请实施例提供的一种示例性的资源调整方法模块流程图；
图3为本申请实施例提供的一种示例性的确定第一数据量流程图；
图4为本申请实施例提供的一种示例性的日志收集分析示意图；
图5为本申请实施例提供的一种示例性的训练负载预测模型流程图；
图6为本申请实施例提供的一种示例性的训练负载预测模型示意图；
图7为本申请实施例提供的一种示例性的确定资源调整结果示意图；
图8为本申请实施例提供的一种示例性的资源调度过程流程图；
图9为本申请实施例提供的一种资源调整装置1的组成结构示意图；
图10为本申请实施例提供的一种资源调整设备1的组成结构示意图。
具体实施方式
应当理解，此处描述的具体实施例仅仅用以解释本申请。并不用于限定本申请。
本申请实施例提供一种资源调整方法，应用于资源调整装置，图1为本申请实施例提供的一种资源调整方法流程图，如图1所示，资源调整方法可以包括：
S101、确定目标任务在当前时间段内的第一数据量。
在本申请实施例中，资源调整装置确定目标任务在当前时间段内的第一数据量。
在本申请实施例中，资源调整过程具体是通过五个模块进行实现的，图2为本申请实施例提供的一种示例性的资源调整方法模块流程图，如图2所示，五个模块分别为：日志收集分析模块、负载预测模型更新模块、监控模块、资源调度模块和通知模块。
需要说明的是，本实施例的步骤S101是通过图2中的日志收集分析模块实现的，具体的，图3为本申请实施例提供的一种示例性的确定第一数据量流程图，如图3所示，方法包括：
S201、从历史日志文件中获取当前时间段内目标任务对应的数据日志。
需要说明的是，当前时间段可以根据流计算的批次确定，获取当前批次目标任务对应的数据日志。示例性的，当前时间段可以是10秒钟或者是其他预设的时间间隔，具体的时间段根据实际情况确定，本申请在此不做限定。
示例性的，图4为本申请实施例提供的一种示例性的日志收集分析示意图，如图4所示，获取数据日志可以通过收集容器日志(Elasticsearch Fluentd Kibana，EFK)来获取，具体的获取方法根据实际情况确定，本申请在此不做限定。
需要说明的是，数据日志中包括爬虫、用户创建的任务、用户行为操作和上下游任务等。
S202、从数据日志中确定目标任务在当前时间段内产生的第一数据量。
需要说明的是，确定出的第一数据量是目标任务在当前时间段内产生的数据量，进一步的，还能从数据日志中确定出目标任务在产生第一数据量时所占用的第一数据资源。
需要说明的是，在确定出第一数据量和第一数据资源之后，将目标任务、第一数据量和第一数据资源一一对应存储至数据库中，如图4所示，可以存储至关系型数据库MySQL中。
需要说明的是，数据库可以是MySQL数据库，也可以是其他关系型数据库PostgreSQL、OracleSQL等，又或是其他类型的数据库，比如，分布式文件系统(HDFS)文件或者文件传输协议(FTP)文件这种存储数据的数据库，具体的数据库根据实际情况指定，本申请在此不做限定。
S102、将第一数据量输入负载预测模型中，得到目标任务在当前时间段之后的至少一个时间段对应的预测数据量；负载预测模型是根据样本历史数据日志中预设时间段内的历史样本数据量训练得到。
在本申请实施例中，资源调整装置在确定出第一数据量之后，将第一数据量输入负载预测模型中，得到目标任务在当前时间段之后的至少一个时间段对应的预测数据量；负载预测模型是根据样本历史数据日志中预设时间段内的历史样本数据量训练得到。
需要说明的是，至少一个时间段可以是当前时间段的下一个时间段，也可以是当前时间段之后的多个时间段，本申请实施例在此不做限定。
需要说明的是，此时的预测数据量可以是目标任务在当前时间段之后的一个时间段内运行时可能会产生的数据量，也可以是目标任务在当前时间段之后的多个时间段内运行时可能会产生的总数据量。
需要说明的是，本实施例的步骤S102是通过图2中的负载预测模型更新模块实现的，并且负载预测模型更新模块中还能够训练负载预测模型，具体的，图5为本申请实施例提供的一种示例性的训练负载预测模型流程图，如图5所示，方法包括：
S301、获取样本任务对应的样本历史数据日志；并从样本历史数据日志中确定第一预设时间段内样本任务产生的第一样本数据量和第一样本数据量占用的第一样本数据资源。
需要说明的是，通过样本任务对应的样本历史数据日志中的第一样本数据量和第一样本数据资源对初始负载预测模型进行训练，得到负载预测模型。
需要说明的是，确定出的第一样本数据量是样本任务在第一预设时间段内产生的数据量，确定出的第一样本数据资源为样本任务在产生第一数据量时所占用的数据资源。
S302、将样本任务、第一样本数据量和第一样本数据资源输入初始负载预测模型中，得到样本任务在第一预设时间段之后的至少一个预设时间段对应的预测样本数据量。
需要说明的是，可以将样本任务、第一样本数据量和第一样本数据资源确定为一条数据资源信息，然后将此数据资源信息输入初始负载预测模型中。
需要说明的是，也可以将多个预设时间段对应的样本任务、样本数据量和样本数据资源对应的多条数据资源信息确定为一个样本时间序列数据集，然后将此样本时间序列数据集输入初始负载预测模型中。
需要说明的是，此时的预测样本数据量可以是第一预设时间段之后的一个时间段内样本任务运行时可能产生的数据量，也可以是第一预设时间段之后的多个时间段内样本任务运行时可能产生的总数据量。
S303、从样本历史数据日志中查找至少一个预设时间段内的历史样本数据量。
需要说明的是，在得到预测样本数据量之后，通过查找样本历史数据日志中的历史样本数据量来判断初始负载预测模型的正确与否，从而进一步地对初始负载预测模型进行训练。
示例性的，假设此时预测出第二预设时间段内样本任务运行时可能产生500的数据量(预测样本数据量)，然后通过查找样本历史数据日志中，发现在第二预设时间段内样本任务运行时实际产生的数据量为400(历史样本数据量)，说明初始负载预测模型的准确率还有待提高，需要进一步的训练。
S304、利用预测样本数据量和历史样本数据量之间的差值对初始负载预测模型进行训练，得到负载预测模型。
示例性的，图6为本申请实施例提供的一种示例性的训练负载预测模型示意图，如图6所示，初始负载预测模型可以是基于EFK的时间循环神经网络(Long Short-TermMemory，LSTM)预测模型，即EFK-LSTM模型，具体的初始负载预测模型根据实际情况确定，本申请在此不做限定。
可以理解的是，由于LSTM神经网络内部的循环结构可以按时间展开，基于样本历史数据日志采集分析的结果可以构造出连续多个时间段内的数据资源信息作为LSTM的输入序列。相比传统的循环神经网络模型，可以避免历史数据丢失的问题。
需要说明的是，在得到预测样本数据量和历史样本数据量之间的差值之后，利用损失函数计算损失值，进一步地对初始负载预测模型进行训练，直至准确率达到预设阈值，停止训练，得到负载预测模型。
需要说明的是，如图6所示，在通过样本时间序列数据集训练初始负载预测模型时，可以将样本时间序列数据集按照4:1:1的比例进行划分，得到训练数据集、验证数据集和测试数据集，通过训练数据集、验证数据集和测试数据集训练初始负载预测模型，具体的划分比例根据实际情况确定，本申请在此不做限定。
需要说明的是，训练数据集是对初始负载预测模型进行训练的数据集，验证数据集对训练后的初始负载预测模型的正确性进行验证的数据集，测试数据集是对训练完成的负载预测模型进行测试的数据集。
在本申请实施例中，在得到负载预测模型之后，每隔预设时长往历史日志文件中增加最新日志文件，以供负载预测模型根据最新日志文件进行训练。
需要说明的是，由于用户在不同时间运行任务的规律不同，需要不断通过最新的历史日志文件对负载预测模型进行训练；假设用户在上半年偏好运行浏览器A，因此，浏览器A在上半年中的每个预设时间段内的数据量都很大，对应所占用的数据资源较多，而用户在下半年偏好运行浏览器B，不经常使用浏览器A了，则浏览器A在下半年中的每个预设时间段内的数据量都减少，因此，如果使用上半年训练的负载预测模型预测下半年浏览器A的数据量时，得到的预测数据量则不准确，因此，负载预测模型需要根据最新日志文件进行训练。
可以理解的是，通过定期往历史日志文件中增加最新日志文件，使得训练后的负载预测模型的预测结果更加准确。
S103、利用预测数据量和当前时间段之后的至少一个时间段对应的预分配数据量，确定出当前时间段之后的至少一个时间段对应的资源调整结果。
在本申请实施例中，资源调整装置在得到当前时间段之后的至少一个时间段对应的预测数据量之后，利用预测数据量和当前时间段之后的至少一个时间段对应的预分配数据量，确定出当前时间段之后的至少一个时间段对应的资源调整结果。
需要说明的是，预分配数据量为原本给目标任务在下一个时间段运行时预先分配的数据资源所能处理的数据量。
具体的，在预测数据量大于预分配数据量的情况下，确定资源调整结果为增加数据资源；在预测数据量小于预分配数据量的情况下，确定资源调整结果为减少数据资源；在预测数据量等于预分配数据量的情况下，确定资源调整结果为不调整数据资源。
需要说明的是，本实施例的步骤S103是通过图2中的监控模型实现的，图7为本申请实施例提供的一种示例性的确定资源调整结果示意图，如图7所示，假设通过负载预测模型更新模块预测出目标任务在下N个时间段运行时需要的数据量为DN，当前设备原本给目标任务在每个时间段运行时预先分配的数据资源所能处理的数据量为Di，通过公式(1)来表示两者的差值：
Rn＝DN-N×Di (1)
若Rn>0，则触发当前操作的资源扩展调整；若Rn＝0，资源不进行调整；若Rn<0，则资源进行收缩调整。
需要说明的是，在资源调整后有一定的锁定时间t，在锁定的时间范围内不能进行资源调整，可避免频繁的资源调整带来的额外资源消耗，如图7所示，只有在距离上次调整时间未超过t时间时，才通过通知模块告知资源调度模块，进行资源调整操作，并且对目标任务下游的第二任务对应的数据资源进行同样的资源调整操作。
具体的，确定与目标任务相关的第二任务，并确定第二任务对应的第二预分配数据资源；根据资源调整结果，对第二预分配数据资源进行资源调整。
示例性的，通过公式(2)来表示下游任务根据Rn的值进行调整：
Rn+1＝DN+1×(1+Rn/N)-N×Dj (2)
在上式(2)中，DN+1为负载预测模型给出的目标任务下游的任务后面N个时间段的数据量，Dj为设备原本给下游任务在每个时间段运行时分配的数据资源所能处理的数据量。同理，若Rn+1>0，则触发当前操作的数据资源扩展调整；若Rn+1＝0，数据资源不进行调整；若Rn+1<0，则数据资源进行收缩调整。
可以理解的是，本申请通过给上下游任务都设置了负载预测模型，能够提前预测出每一级任务运行时产生的数据量，从而结合上下级的数据量对上下级的数据资源进行调整，达到提高预测准确率的效果。
S104、根据资源调整结果，对当前时间段之后的至少一个时间段的预分配数据资源进行资源调整。
在本申请实施例中，资源调整装置在确定出资源调整结果之后，根据资源调整结果，对当前时间段之后的至少一个时间段的预分配数据资源进行资源调整。
需要说明的是，本实施例的步骤S104是通过图2中的资源调度模块实现的，图8为本申请实施例提供的一种示例性的资源调度过程流程图；如图8所示，资源调整装置在确定出资源调整结果为增加数据资源之后，判断系统是否有可用的空闲数据资源。
具体的，若确定资源调整结果为增加数据资源，则查找使用状态为空闲状态的空闲数据资源；在查找到空闲数据资源的情况下，将空闲数据资源添加至预分配数据资源中。
需要说明的是，在没有查找到空闲数据资源的情况下，表示此次资源调整失败，统计资源分配次数和资源分配时间。
在一种可选的实施例中，如图8所示，若资源分配次数未超过次数阈值或者资源分配时间未超过时间阈值，则继续查找空闲数据资源、直至查找到空闲数据资源，将空闲数据资源添加至预分配数据资源中。
在另一种可选的实施例中，如图8所示，若资源分配次数超过次数阈值或者资源分配时间超过时间阈值，则不再进行资源调整。示例性的，次数阈值可以是10次之后，则不进行资源调整了，又或者是，在时间阈值10秒钟之后，不进行资源调整，由于10秒钟之后可能目标任务在下一个时间段已经运行结束了，不需要资源调整了，具体的次数阈值和时间阈值根据实际情况确定，本申请在此不做限定。
需要说明的是，资源调整装置确定出资源调整结果为减少数据资源之后，直接进行减少数据资源操作，或者资源调整装置确定出资源调整结果为不调整数据资源之后，则不进行调整数据资源的操作。
在本申请实施例中，如图8所示，在进行资源调整操作之后，对资源池的数据资源状态进行更新。
需要说明的是，数据资源状态可以是空闲或者工作中，假设将空闲数据资源A增加至目标任务在下一个时间段的运行中，则将空闲数据资源A的状态从空闲更新为工作中，利于下一次资源调整。
本申请实施例提供了一种资源调整方法，该方法包括：确定目标任务在当前时间段内的第一数据量；将第一数据量输入负载预测模型中，得到目标任务在当前时间段之后的至少一个时间段对应的预测数据量；负载预测模型是根据样本历史数据日志中预设时间段内的历史样本数据量训练得到；利用预测数据量和当前时间段之后的至少一个时间段对应的预分配数据量，确定出当前时间段之后的至少一个时间段对应的资源调整结果；根据资源调整结果，对当前时间段之后的至少一个时间段的预分配数据资源进行资源调整；采用上述实现方案，由于负载预测模型是利用样本历史数据日志中预设时间段内的历史样本数据量训练得到的，因此，通过此负载预测模型能够准确的预测后续时间段内目标任务所需的数据量，进而根据预测出的数据量来实时调整后续时间段给目标任务分配的数据资源，达到实时调整资源，提高资源利用率的目的。
基于上述实施例，在本申请的另一实施例中，提供了一种资源调整装置1，图9为本申请提供的一种资源调整装置1的组成结构示意图，如图9所示，该资源调整装置1包括：
确定单元10，用于确定目标任务在当前时间段内的第一数据量；
输入单元11，用于将所述第一数据量输入负载预测模型中，得到所述目标任务在所述当前时间段之后的至少一个时间段对应的预测数据量；所述负载预测模型是根据样本历史数据日志中预设时间段内的历史样本数据量训练得到；
所述确定单元10，还用于利用所述预测数据量和所述当前时间段之后的至少一个时间段对应的预分配数据量，确定出所述当前时间段之后的至少一个时间段对应的资源调整结果；
资源调整单元12，用于根据所述资源调整结果，对所述当前时间段之后的至少一个时间段的预分配数据资源进行资源调整。
可选的，所述确定单元10，还用于在所述预测数据量大于所述预分配数据量的情况下，确定所述资源调整结果为增加数据资源；在所述预测数据量小于所述预分配数据量的情况下，确定所述资源调整结果为减少数据资源；在所述预测数据量等于所述预分配数据量的情况下，确定所述资源调整结果为不调整数据资源。
可选的，所述资源调整装置1还包括：查找单元、添加单元；
所述查找单元，用于若确定所述资源调整结果为增加数据资源，则查找使用状态为空闲状态的空闲数据资源；
所述添加单元，用于在查找到所述空闲数据资源的情况下，将所述空闲数据资源添加至所述预分配数据资源中。
可选的，所述资源调整装置1还包括：统计单元；
所述统计单元，用于在未查找到所述空闲数据资源的情况下，统计资源分配次数和资源分配时间；
所述添加单元，还用于若所述资源分配次数未超过次数阈值或者所述资源分配时间未超过时间阈值，则继续查找所述空闲数据资源、直至查找到所述空闲数据资源，将所述空闲数据资源添加至所述预分配数据资源中。
可选的，所述确定单元10，还用于确定与所述目标任务相关的第二任务，并确定所述第二任务对应的第二预分配数据资源；
所述资源调整单元12，还用于根据所述资源调整结果，对所述第二预分配数据资源进行资源调整。
可选的，所述资源调整装置1还包括：获取单元、训练单元；
所述获取单元，用于获取样本任务对应的所述样本历史数据日志；并从所述样本历史数据日志中确定第一预设时间段内所述样本任务产生的第一样本数据量和所述第一样本数据量占用的第一样本数据资源；
所述输入单元11，还用于将所述样本任务、所述第一样本数据量和所述第一样本数据资源输入初始负载预测模型中，得到所述样本任务在所述第一预设时间段之后的至少一个预设时间段对应的预测样本数据量；
所述查找单元，还用于从所述样本历史数据日志中查找所述至少一个预设时间段内的所述历史样本数据量；
所述训练单元，用于利用所述预测样本数据量和所述历史样本数据量之间的差值对所述初始负载预测模型进行训练，得到所述负载预测模型。
本申请实施例提供了一种资源调整装置，该装置包括：确定目标任务在当前时间段内的第一数据量；将第一数据量输入负载预测模型中，得到目标任务在当前时间段之后的至少一个时间段对应的预测数据量；负载预测模型是根据样本历史数据日志中预设时间段内的历史样本数据量训练得到；利用预测数据量和当前时间段之后的至少一个时间段对应的预分配数据量，确定出当前时间段之后的至少一个时间段对应的资源调整结果；根据资源调整结果，对当前时间段之后的至少一个时间段的预分配数据资源进行资源调整；采用上述实现方案，由于负载预测模型是利用样本历史数据日志中预设时间段内的历史样本数据量训练得到的，因此，通过此负载预测模型能够准确的预测后续时间段内目标任务所需的数据量，进而根据预测出的数据量来实时调整后续时间段给目标任务分配的数据资源，达到实时调整资源，提高资源利用率的目的。
图10为本申请实施例提供的一种资源调整设备1的组成结构示意图，在实际应用中，基于上述实施例的同一公开构思下，如图10所示，本实施例的资源调整设备1包括：处理器13、存储器14及通信总线15。
在具体的实施例的过程中，上述确定单元10、输入单元11、资源调整单元12、查找单元、添加单元、统计单元、获取单元和训练单元可由位于资源调整设备1上的处理器13实现，上述处理器13可以为特定用途集成电路(ASIC，Application Specific IntegratedCircuit)、数字信号处理器(DSP，Digital Signal Processor)、数字信号处理图像处理装置(DSPD，Digital Signal Processing Device)、可编程逻辑图像处理装置(PLD，Programmable Logic Device)、现场可编程门阵列(FPGA，Field Programmable GateArray)、CPU、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的资源调整设备，用于实现上述处理器功能的电子器件还可以为其它，本实施例不作具体限定。
在本申请实施例中，上述通信总线15用于实现处理器13和存储器14之间的连接通信；上述处理器13执行存储器14中存储的运行程序时实现如下的资源调整方法：
确定目标任务在当前时间段内的第一数据量；
将所述第一数据量输入负载预测模型中，得到所述目标任务在所述当前时间段之后的至少一个时间段对应的预测数据量；所述负载预测模型是根据样本历史数据日志中预设时间段内的历史样本数据量训练得到；
利用所述预测数据量和所述当前时间段之后的至少一个时间段对应的预分配数据量，确定出所述当前时间段之后的至少一个时间段对应的资源调整结果；
根据所述资源调整结果，对所述当前时间段之后的至少一个时间段的预分配数据资源进行资源调整。
可选的，所述处理器13，还用于在所述预测数据量大于所述预分配数据量的情况下，确定所述资源调整结果为增加数据资源；在所述预测数据量小于所述预分配数据量的情况下，确定所述资源调整结果为减少数据资源；在所述预测数据量等于所述预分配数据量的情况下，确定所述资源调整结果为不调整数据资源。
可选的，所述处理器13，还用于若确定所述资源调整结果为增加数据资源，则查找使用状态为空闲状态的空闲数据资源；在查找到所述空闲数据资源的情况下，将所述空闲数据资源添加至所述预分配数据资源中。
可选的，所述处理器13，还用于在未查找到所述空闲数据资源的情况下，统计资源分配次数和资源分配时间；若所述资源分配次数未超过次数阈值或者所述资源分配时间未超过时间阈值，则继续查找所述空闲数据资源、直至查找到所述空闲数据资源，将所述空闲数据资源添加至所述预分配数据资源中。
可选的，所述处理器13，还用于确定与所述目标任务相关的第二任务，并确定所述第二任务对应的第二预分配数据资源；根据所述资源调整结果，对所述第二预分配数据资源进行资源调整。
可选的，所述处理器13，还用于获取样本任务对应的所述样本历史数据日志；并从所述样本历史数据日志中确定第一预设时间段内所述样本任务产生的第一样本数据量和所述第一样本数据量占用的第一样本数据资源；将所述样本任务、所述第一样本数据量和所述第一样本数据资源输入初始负载预测模型中，得到所述样本任务在所述第一预设时间段之后的至少一个预设时间段对应的预测样本数据量；从所述样本历史数据日志中查找所述至少一个预设时间段内的所述历史样本数据量；利用所述预测样本数据量和所述历史样本数据量之间的差值对所述初始负载预测模型进行训练，得到所述负载预测模型。
本申请实施例提供一种存储介质，其上存储有计算机程序，上述计算机可读存储介质存储有一个或者多个程序，上述一个或者多个程序可被一个或者多个处理器执行，应用于资源调整设备中，该计算机程序实现如上述的资源调整方法。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本公开的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台图像显示设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本公开各个实施例所述的资源调整方法。
以上所述，仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。

Claims (10)

1.一种资源调整方法，其特征在于，所述方法包括：
确定目标任务在当前时间段内的第一数据量；
将所述第一数据量输入负载预测模型中，得到所述目标任务在所述当前时间段之后的至少一个时间段对应的预测数据量；所述负载预测模型是根据样本历史数据日志中预设时间段内的历史样本数据量训练得到；
利用所述预测数据量和所述当前时间段之后的至少一个时间段对应的预分配数据量，确定出所述当前时间段之后的至少一个时间段对应的资源调整结果；
根据所述资源调整结果，对所述当前时间段之后的至少一个时间段的预分配数据资源进行资源调整。
2.根据权利要求1所述的方法，其特征在于，所述利用所述预测数据量和所述当前时间段之后的至少一个时间段对应的预分配数据量，确定出所述当前时间段之后的至少一个时间段对应的资源调整结果，包括：
在所述预测数据量大于所述预分配数据量的情况下，确定所述资源调整结果为增加数据资源；
在所述预测数据量小于所述预分配数据量的情况下，确定所述资源调整结果为减少数据资源；
在所述预测数据量等于所述预分配数据量的情况下，确定所述资源调整结果为不调整数据资源。
3.根据权利要求2所述的方法，其特征在于，所述根据所述资源调整结果，对所述当前时间段之后的至少一个时间段的预分配数据资源进行资源调整，包括：
若确定所述资源调整结果为增加数据资源，则查找使用状态为空闲状态的空闲数据资源；
在查找到所述空闲数据资源的情况下，将所述空闲数据资源添加至所述预分配数据资源中。
4.根据权利要求3所述的方法，其特征在于，所述查找使用状态为空闲状态的空闲数据资源之后，所述方法还包括：
在未查找到所述空闲数据资源的情况下，统计资源分配次数和资源分配时间；
若所述资源分配次数未超过次数阈值或者所述资源分配时间未超过时间阈值，则继续查找所述空闲数据资源、直至查找到所述空闲数据资源，将所述空闲数据资源添加至所述预分配数据资源中。
5.根据权利要求1所述的方法，其特征在于，所述利用所述预测数据量和所述当前时间段之后的至少一个时间段对应的预分配数据量，确定出所述当前时间段之后的至少一个时间段对应的资源调整结果之后，所述方法还包括：
确定与所述目标任务相关的第二任务，并确定所述第二任务对应的第二预分配数据资源；
根据所述资源调整结果，对所述第二预分配数据资源进行资源调整。
6.根据权利要求1所述的方法，其特征在于，所述确定目标任务在当前时间段内的第一数据量之前，所述方法还包括：
获取样本任务对应的所述样本历史数据日志；并从所述样本历史数据日志中确定第一预设时间段内所述样本任务产生的第一样本数据量和所述第一样本数据量占用的第一样本数据资源；
将所述样本任务、所述第一样本数据量和所述第一样本数据资源输入初始负载预测模型中，得到所述样本任务在所述第一预设时间段之后的至少一个预设时间段对应的预测样本数据量；
从所述样本历史数据日志中查找所述至少一个预设时间段内的所述历史样本数据量；
利用所述预测样本数据量和所述历史样本数据量之间的差值对所述初始负载预测模型进行训练，得到所述负载预测模型。
7.一种资源调整装置，其特征在于，所述装置包括：
确定单元，用于确定目标任务在当前时间段内的第一数据量；
输入单元，用于将所述第一数据量输入负载预测模型中，得到所述目标任务在所述当前时间段之后的至少一个时间段对应的预测数据量；所述负载预测模型是根据样本历史数据日志中预设时间段内的历史样本数据量训练得到；
所述确定单元，还用于利用所述预测数据量和所述当前时间段之后的至少一个时间段对应的预分配数据量，确定出所述当前时间段之后的至少一个时间段对应的资源调整结果；
资源调整单元，用于根据所述资源调整结果，对所述当前时间段之后的至少一个时间段的预分配数据资源进行资源调整。
8.根据权利要求7所述的装置，其特征在于，所述确定单元，还用于在所述预测数据量大于所述预分配数据量的情况下，确定所述资源调整结果为增加数据资源；在所述预测数据量小于所述预分配数据量的情况下，确定所述资源调整结果为减少数据资源；在所述预测数据量等于所述预分配数据量的情况下，确定所述资源调整结果为不调整数据资源。
9.一种资源调整设备，其特征在于，所述设备包括：处理器、存储器及通信总线；所述处理器执行存储器存储的运行程序时实现如权利要求1-6任一项所述的资源调整方法。
10.一种存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-6任一项所述的资源调整方法。
CN202111026440.0A 2021-09-02 2021-09-02 一种资源调整方法及装置、存储介质 Pending CN115756812A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111026440.0A CN115756812A (zh) 2021-09-02 2021-09-02 一种资源调整方法及装置、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111026440.0A CN115756812A (zh) 2021-09-02 2021-09-02 一种资源调整方法及装置、存储介质

Publications (1)

Publication Number Publication Date
CN115756812A true CN115756812A (zh) 2023-03-07

Family

ID=85332112

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111026440.0A Pending CN115756812A (zh) 2021-09-02 2021-09-02 一种资源调整方法及装置、存储介质

Country Status (1)

Country Link
CN (1) CN115756812A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116149865A (zh) * 2023-04-10 2023-05-23 之江实验室 一种变频执行任务的方法、装置、设备及可读存储介质
CN116600015A (zh) * 2023-07-18 2023-08-15 湖南快乐阳光互动娱乐传媒有限公司 一种资源节点调整方法、系统、电子设备及可读存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116149865A (zh) * 2023-04-10 2023-05-23 之江实验室 一种变频执行任务的方法、装置、设备及可读存储介质
CN116600015A (zh) * 2023-07-18 2023-08-15 湖南快乐阳光互动娱乐传媒有限公司 一种资源节点调整方法、系统、电子设备及可读存储介质
CN116600015B (zh) * 2023-07-18 2023-10-10 湖南快乐阳光互动娱乐传媒有限公司 一种资源节点调整方法、系统、电子设备及可读存储介质

Similar Documents

Publication Publication Date Title
CN115756812A (zh) 一种资源调整方法及装置、存储介质
CN106874100B (zh) 计算资源分配方法及装置
CN111752706B (zh) 资源配置方法、装置及存储介质
US20220138012A1 (en) Computing Resource Scheduling Method, Scheduler, Internet of Things System, and Computer Readable Medium
CN115269108A (zh) 一种数据处理方法、装置及设备
CN111415027A (zh) 构建件量预测模型的方法和装置
CN111124791A (zh) 一种系统测试方法及装置
CN111143070A (zh) 一种资源调度方法和装置
CN109213965B (zh) 一种系统容量预测方法、计算机可读存储介质及终端设备
CN109992408B (zh) 一种资源分配方法、装置、电子设备和存储介质
CN110909884A (zh) 一种用于更新参数模型的方法、装置、产品及介质
CN114520773B (zh) 一种服务请求的响应方法、装置、服务器及存储介质
CN113254190B (zh) 基于负载能力的动态流调度方法、系统和计算机存储介质
CN113537631A (zh) 药品需求量的预测方法、装置、电子设备及存储介质
CN110134575B (zh) 一种服务器集群的服务能力计算方法及装置
CN113850428A (zh) 作业调度的预测处理方法、装置和电子设备
CN111490889B (zh) 一种无线业务增长预估方法及装置
CN108804640B (zh) 基于最大化iv的数据分组方法、装置、储存介质及设备
CN111367640B (zh) 数据统计周期确定方法、装置、电子设备及存储介质
CN111104569A (zh) 数据库表的区域切分方法、装置及存储介质
CN117319312B (zh) 一种数据流量控制方法及装置
CN112148491B (zh) 数据处理方法及装置
CN113891363B (zh) 小区扩容指数的预测方法、装置及计算机可读存储介质
US11829226B2 (en) Anomaly detection apparatus, anomaly detection method, and anomaly detection program
CN110113434B (zh) 作业自动调度均衡方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination