CN118210610A - 一种任务执行方法、装置、电子设备及存储介质 - Google Patents
一种任务执行方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN118210610A CN118210610A CN202410370455.6A CN202410370455A CN118210610A CN 118210610 A CN118210610 A CN 118210610A CN 202410370455 A CN202410370455 A CN 202410370455A CN 118210610 A CN118210610 A CN 118210610A
- Authority
- CN
- China
- Prior art keywords
- target
- task
- utilization rate
- determining
- system resource
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 157
- 238000003860 storage Methods 0.000 title claims abstract description 10
- 238000012545 processing Methods 0.000 claims abstract description 122
- 230000008569 process Effects 0.000 claims abstract description 115
- 230000015654 memory Effects 0.000 claims description 27
- 230000006870 function Effects 0.000 claims description 21
- 238000004891 communication Methods 0.000 claims description 19
- 238000004422 calculation algorithm Methods 0.000 claims description 17
- 238000012360 testing method Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000007726 management method Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 6
- 238000012546 transfer Methods 0.000 description 5
- 238000013523 data management Methods 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 241001290266 Sciaenops ocellatus Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000007334 memory performance Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000013024 troubleshooting Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明实施例提供了一种任务执行方法、装置、电子设备及存储介质，通过确定目标任务；确定针对所述系统资源设备的限制利用率，并对所述系统资源设备设置所述限制利用率；计算针对所述目标任务的预估处理时长；获取针对所述系统资源设备的空闲率和即时利用率；采用所述限制利用率、所述即时利用率和所述空闲率，计算针对所述系统资源设备的第一目标进程可用资源值；通过所述第一目标进程可用资源值和所述预估处理时长确定针对所述目标任务的起始时间；基于所述起始时间执行所述目标任务，从而实现根据对当前进程可使用中央处理器CPU资源的最合适时间段进行预测，并在指定的时间段执行目标任务，以大大降低大任务执行对当前其他进程的资源占用。
Description
技术领域
本发明涉及任务执行技术领域，特别是涉及一种任务执行方法、一种任务执行装置、一种电子设备以及一种计算机可读存储介质。
背景技术
在一些特定项目的任务执行过程中，可能会遇到数据量较大的任务，这些任务可以被称为大任务，针对大任务的执行，需要收集数据使用HTTPS(Hypertext TransferProtocol Secure，超文本传输安全)协议进行发送。该流程收集数据量较大，耗时较长，比较依赖中央处理器CPU执行，同时发送流程比较依赖带宽，这会降低发送流程对资源的过度占用，导致对其他服务造成影响，即，因资源阻塞导致的服务异常的可能性增加。
发明内容
本发明实施例是提供一种任务执行方法、装置、电子设备以及计算机可读存储介质，以克服上述问题或者至少部分地解决上述问题。
本发明实施例公开了一种任务执行方法，所述方法应用于设置有系统资源设备的计算设备，包括：
确定目标任务；
确定针对所述系统资源设备的限制利用率，并对所述系统资源设备设置所述限制利用率；
计算针对所述目标任务的预估处理时长；
获取针对所述系统资源设备的空闲率和即时利用率；
采用所述限制利用率、所述即时利用率和所述空闲率，计算针对所述系统资源设备的第一目标进程可用资源值；
通过所述第一目标进程可用资源值和所述预估处理时长确定针对所述目标任务的起始时间；
基于所述起始时间执行所述目标任务。
可选地，还包括：
获取多个任务；所述任务具有对应的数据量；
构建任务队列；所述任务队列由所述数据量大于预设阈值的任务组成；
所述确定目标任务的步骤包括：
从所述任务队列中确定出目标任务。
可选地，所述计算设备设置有操作系统，所述操作系统支持控制组资源限制功能；
所述确定针对所述系统资源设备的限制利用率，并对所述系统资源设备设置所述限制利用率的步骤包括：
采用所述控制组资源限制功能获取针对所述系统资源设备的初始利用率；
构建针对所述系统资源设备的计算机测试目录；
所述计算机测试目录包括针对所述系统资源设备的在调度周期内的使用时长文件和调度周期使用率文件；
确定针对所述使用时长文件的目标用时时长；
采用所述目标用时时长更新所述使用时长文件，以生成目标使用时长文件；
确定针对所述调度周期使用率文件的目标调度周期使用率；
采用所述目标调度周期使用率更新所述调度周期使用率文件，以生成目标调度周期使用率文件；
采用所述目标使用时长文件和所述目标调度周期使用率文件将所述初始利用率更新为限制利用率。
可选地，所述计算针对所述目标任务的预估处理时长的步骤包括：
获取针对所述计算设备的最大带宽值；
获取针对所述目标文件的目标文件数据量；
采用所述目标文件数据量除以所述最大带宽值，计算出初始预估处理时长；
将处于预设范围内的所述初始预估处理时长确定为预估处理时长。
可选地，所述采用所述限制利用率、所述即时利用率和所述空闲率，计算针对所述系统资源设备的第一目标进程可用资源值的步骤包括：
UAvailable＝min{UIdle,UConfig-UCurr}
其中，UAvailable为所述第一目标进程可用资源值，UIdle为所述空闲率，UConfig为所述限制利用率，UCurr为所述即时利用率。
可选地，所述系统资源设备包括多个计算节点，所述通过所述第一目标进程可用资源值和所述预估处理时长确定针对所述目标任务的起始时间的步骤包括：
按预设数值从所述计算节点中确定目标节点；
确定针对所述目标节点的第二目标进程可用资源值；
基于预设算法计算出所述第二目标进程可用资源值在若干个所述预估处理时长内的最大平均值，并确定与所述最大平均值对应的目标时段；
采用所述目标时段确定针对所述目标任务的起始时间。
可选地，所述预设算法为时间序列模型算法。
可选地，所述系统资源设备为中央处理器，还包括：
当判定所述操作系统不支持控制组资源限制功能时，采用针对所述中央处理器的功率限制工具对所述中央处理器设置所述限制利用率。
本发明实施例还公开了一种任务执行装置，所述装置应用于设置有系统资源设备的计算设备，包括：
目标任务确定模块，用于确定目标任务；
限制利用率设置模块，用于确定针对所述系统资源设备的限制利用率，并对所述系统资源设备设置所述限制利用率；
预估处理时长计算模块，用于计算针对所述目标任务的预估处理时长；
空闲率和即时利用率获取模块，用于获取针对所述系统资源设备的空闲率和即时利用率；
第一目标进程可用资源值计算模块，用于采用所述限制利用率、所述即时利用率和所述空闲率，计算针对所述系统资源设备的第一目标进程可用资源值；
起始时间确定模块，用于通过所述第一目标进程可用资源值和所述预估处理时长确定针对所述目标任务的起始时间；
目标任务执行模块，用于基于所述起始时间执行所述目标任务。
本发明实施例还公开了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口以及所述存储器通过所述通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行存储器上所存放的程序时，实现如本发明实施例所述的方法。
本发明实施例还公开了一种计算机可读存储介质，其上存储有指令，当由一个或多个处理器执行时，使得所述处理器执行如本发明实施例所述的方法。
本发明实施例包括以下优点：
本发明实施例，通过确定目标任务；确定针对所述系统资源设备的限制利用率，并对所述系统资源设备设置所述限制利用率；计算针对所述目标任务的预估处理时长；获取针对所述系统资源设备的空闲率和即时利用率；采用所述限制利用率、所述即时利用率和所述空闲率，计算针对所述系统资源设备的第一目标进程可用资源值；通过所述第一目标进程可用资源值和所述预估处理时长确定针对所述目标任务的起始时间；基于所述起始时间执行所述目标任务，从而实现根据对当前进程可使用中央处理器CPU资源的最合适时间段进行预测，并在指定的时间段执行目标任务，以大大降低大任务执行对当前其他进程的资源占用。
附图说明
图1是本发明实施例中提供的一种任务执行方法的步骤流程图；
图2是相关技术提供的一种任务执行方法的步骤流程图；
图3是本发明实施例中提供的一种大任务处理装置的结构示意图；
图4是本发明实施例中提供的一种任务执行装置的结构框图；
图5是本发明实施例中提供的一种电子设备的硬件结构框图；
图6是本发明实施例中提供的一种计算机可读介质的示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
参照图1，示出了本发明实施例中提供的一种任务执行方法的步骤流程图，具体可以包括如下步骤：
步骤101，确定目标任务；
步骤102，确定针对所述系统资源设备的限制利用率，并对所述系统资源设备设置所述限制利用率；
步骤103，计算针对所述目标任务的预估处理时长；
步骤104，获取针对所述系统资源设备的空闲率和即时利用率；
步骤105，采用所述限制利用率、所述即时利用率和所述空闲率，计算针对所述系统资源设备的第一目标进程可用资源值；
步骤106，通过所述第一目标进程可用资源值和所述预估处理时长确定针对所述目标任务的起始时间；
步骤107，基于所述起始时间执行所述目标任务。
在具体实现中，本发明实施例可以应用于设置有系统资源设备的计算设备。
中央处理器(Central Processing Unit，简称CPU)作为计算机系统的运算和控制核心，是信息处理、程序运行的最终执行单元。CPU自产生以来，在逻辑结构、运行效率以及功能外延上取得了巨大发展。
图形处理器(graphics processing unit，简称GPU)，又称显示核心、视觉处理器、显示芯片，是一种专门在个人电脑、工作站、游戏机和一些移动设备(如平板电脑、智能手机等)上做图像和图形相关运算工作的微处理器。
内存(Memory)是计算机的重要部件，也称内存储器和主存储器，它用于暂时存放CPU中的运算数据，以及与硬盘等外部存储器交换的数据。它是外存与CPU进行沟通的桥梁，计算机中所有程序的运行都在内存中进行，内存性能的强弱影响计算机整体发挥的水平。只要计算机开始运行，操作系统就会把需要运算的数据从内存调到CPU中进行运算，当运算完成，CPU将结果传送出来。
网卡是一块被设计用来允许计算机在计算机网络上进行通讯的计算机硬件。
主板，又叫主机板(mainboard)、系统板(systemboard)、或母板(motherboard)，是计算机最基本的同时也是最重要的部件之一。主板一般为矩形电路板，上面安装了组成计算机的主要电路系统，一般有BIOS芯片、I/O控制芯片、键盘和面板控制开关接口、指示灯插接件、扩充插槽、主板及插卡的直流电源供电接插件等元件。
本发明实施例的系统资源设备可以但不限于包括中央处理器(CPU)、内存、硬盘、显卡、主板和网卡等设备，也可以是例如虚拟网卡的那个模拟设备，而计算设备则可以是搭载有系统资源设备的服务器或个人计算机PC等。
BMC全称为基板管理控制器(Baseboard Management Controller)，是用于监控和管理服务器的专用控制器，主要4个功能如下：
①设备信息管理：记录服务器信息(型号、制造商、日期、各部件生产和技术信息、机箱信息、主板信息等)、BMC信息(服务器主机名、IP、BMC固件版本等信息)；
②服务器状态监控管理：对服务器各个部件(CPU、内存、硬盘、风扇、机框等)的温度、电压等健康状态进行检测，同时根据各个温度采集点情况实时调整风扇转速保证服务器不产生过温、而且控制总体功耗又不能过高；如果单板部件出现任何异常则通过SNMP协议、SMTP协议、Redfish协议等多种业界通用规范将信息及时上报给上层网管；
③服务器的远程控制管理：服务器的开关机、重启、维护、固件更新、系统安装等；
④维护管理：日志管理、用户管理、BIOS管理、告警管理等。
Debug是计算机排除故障的意思，在windows系统中也是极其重要的调试操作。
HTTPS(Hypertext Transfer Protocol Secure，超文本传输安全协议)，是以安全为目标的HTTP通道，在HTTP的基础上通过传输加密和身份认证保证了传输过程的安全性。HTTPS在HTTP的基础下加入SSL，HTTPS的安全基础是SSL，因此加密的详细内容就需要SSL。HTTPS存在不同于HTTP的默认端口及一个加密/身份验证层(在HTTP与TCP之间)。这个系统提供了身份验证与加密通讯方法。它被广泛用于万维网上安全敏感的通讯，例如交易支付等方面。
以搭载有基板管理控制器BMC的服务器为例，在某些BMC项目中，包含着多个任务，而这些任务中，可能会包含数据量大于预设阈值的任务，此类任务可以被称为大任务，针对大任务的执行，需要收集数据使用HTTPS协议进行发送，该流程收集数据量较大，耗时较长，比较依赖中央处理器CPU执行，同时发送流程比较依赖带宽，这会降低发送流程对资源的过度占用，导致对基板管理控制器BMC环境内其他服务的影响，进而导致因资源阻塞导致的服务异常的可能性增加，所以，可以将数据量大于预设阈值的任务确定为目标任务。
本发明实施例还可以确定针对系统资源设备的限制利用率，同时，对系统资源设备设置限制利用率，具体地，限制利用率可以是针对执行目标任务的进程的系统资源设备利用率。
示例性地，当系统资源设备为中央处理器CPU，且没有对中央处理器CPU的利用率进行限制时，中央处理器CPU对目标任务的任务进程的默认利用率为100％，此时，可以通过实际情况将针对该任务进程的限制利用率确定为20％，并基于限制利用率20％设置中央处理器CPU，以控制中央处理器CPU基于限制利用率20％执行针对目标任务的进程。
当然，上述例子仅作为示例，本领域技术人员可以按照任意比例设定限制利用率，对此，本发明实施例不作限定。
在具体实现中，本发明实施例可以计算针对目标任务的预估处理时长，预估处理时长可以用于表达执行目标任务的预测用时时长。
在具体实现中，本发明实施例可以获取针对系统资源设备的空闲率和即时利用率。示例性地，可以获取中央处理器的空闲率UIdle和即时利用率UCurr。
本发明实施例可以采用限制利用率、即时利用率和空闲率，计算针对系统资源设备的第一目标进程可用资源值，并通过第一目标进程可用资源值和预估处理时长确定针对目标任务的起始时间，最后基于起始时间执行目标任务。
示例性地，在获取到当前系统的中央处理器CPU空闲率UIdle，计算限制利用率UConfig与目标进程的中央处理器CPU即时利用率UCurr的差，将该差值确定为目标进程的可用中央处理器CPU资源为ULeft，比较空闲率UIdle和目标进程的可用中央处理器CPU资源ULeft，取其中较小的记为第一目标进程可用资源值UAvailable；在将第一目标进程可用资源值UAvailable进行保存后，可以在通过第一目标进程可用资源值UAvailable和预估处理时长确定执行目标任务的目标时段，该时段可以为表达空闲率较高利用率较低的时间段，在确定出目标时段后，可以将基于时段的起始时间开始执行目标任务，从而降低了发送流程对资源的占用，避免对BMC环境内其他服务的影响，同时降低了因资源阻塞导致的服务异常的可能性。
当然，上述例子仅作为示例，本领域技术人员可以采用其他任意算法采用限制利用率、即时利用率和空闲率，计算针对系统资源设备的第一目标进程可用资源值，例如，可以将UIdle和ULeft的平均值作为UAvailable，对此，本发明实施例不作限制。
本发明实施例，通过确定目标任务；确定针对所述系统资源设备的限制利用率，并对所述系统资源设备设置所述限制利用率；计算针对所述目标任务的预估处理时长；获取针对所述系统资源设备的空闲率和即时利用率；采用所述限制利用率、所述即时利用率和所述空闲率，计算针对所述系统资源设备的第一目标进程可用资源值；通过所述第一目标进程可用资源值和所述预估处理时长确定针对所述目标任务的起始时间；基于所述起始时间执行所述目标任务，从而实现根据对当前进程可使用中央处理器CPU资源的最合适时间段进行预测，并在指定的时间段执行目标任务，以大大降低大任务执行对当前其他进程的资源占用。
在上述实施例的基础上，提出了上述实施例的变型实施例，在此需要说明的是，为了使描述简要，在变型实施例中仅描述与上述实施例的不同之处。
在本发明的一个可选地实施例中，还包括：
获取多个任务；所述任务具有对应的数据量；
构建任务队列；所述任务队列由所述数据量大于预设阈值的任务组成；
所述确定目标任务的步骤包括：
从所述任务队列中确定出目标任务。
在实际应用中，大任务可能不止一个，所以，针对多个大任务的情况，可以获取多个任务，并通过构建针对目标任务的任务队列，以实现对多个大任务进行有序管理。
示例性地，确定出数据量大于1M的任务，并构建任务队列，将数据量大于1M的任务添加至任务队列中，定时读取任务队列，获取任务队列中的第一个任务作为目标任务。
当然，上述例子仅作为示例，本领域技术人员可以采用任意数据量作为区分是否为大任务的阈值，对此，本发明实施例不作限制。
本发明实施例，通过获取多个任务；所述任务具有对应的数据量；构建任务队列；所述任务队列由所述数据量大于预设阈值的任务组成；所述确定目标任务的步骤包括：从所述任务队列中确定出目标任务，从而实现对多个大任务进行有序管理。
在本发明的一个可选地实施例中，所述计算设备设置有操作系统，所述操作系统支持控制组资源限制功能；
所述确定针对所述系统资源设备的限制利用率，并对所述系统资源设备设置所述限制利用率的步骤包括：
采用所述控制组资源限制功能获取针对所述系统资源设备的初始利用率；
构建针对所述系统资源设备的计算机测试目录；
所述计算机测试目录包括针对所述系统资源设备的在调度周期内的使用时长文件和调度周期使用率文件；
确定针对所述使用时长文件的目标用时时长；
采用所述目标用时时长更新所述使用时长文件，以生成目标使用时长文件；
确定针对所述调度周期使用率文件的目标调度周期使用率；
采用所述目标调度周期使用率更新所述调度周期使用率文件，以生成目标调度周期使用率文件；
采用所述目标使用时长文件和所述目标调度周期使用率文件将所述初始利用率更新为限制利用率。
控制组资源限制功能Cgroup：Cgroup(Control Group)是Linux内核提供的一种资源管理和限制机制，用于对进程进行分组并对分组内的进程进行资源限制、优先级调整等操作。
示例性地，针对某一目标任务的进程，Cgroup组设置为使用的CPU不超过20％，则加入该组的进程的CPU利用率总和不超过系统CPU的20％。具体可以通过如下方式实现：
采用控制组资源限制功能获取针对中央处理器CPU的初始利用率100％，进入/sys/fs/cgroup/cpu，通过mkdir创建的针对中央处理器CPU的计算机测试目录，即cputest目录，然后进入到cputest目录，cputest目录有在调度周期内的使用时长文件cpu.cfs_period_us和调度周期使用率文件cpu.cfs_quota_us；其中，cpu.cfs_period_us为用于表达一个调度周期的使用时间的文件；cpu.cfs_quota_us则可以为表达一个调度周期内，可以使用的cpu时间的文件；所以，cpu.cfs_quota_us/cpu.cfs_period_us就是cpu使用率。
通过文件名后缀us可以确定时间单位为微秒，系统默认该值是500000，则可以确定针对使用时长文件的目标用时时长为100000；
采用目标用时时长100000更新使用时长文件，以生成目标使用时长文件，cpu.cfs_period_us(1)；
现在需要设置cpu使用率为20％，故可以确定针对使用时长文件的目标用时时长为20000，并采用20000更新cpu.cfs_quota_us，生成cpu.cfs_period_us(1)，然后采用目标使用时长文件cpu.cfs_period_us(1)和目标调度周期使用率文件cpu.cfs_period_us(1)将初始利用率更100％新为限制利用率20％。
本发明实施例，通过采用所述控制组资源限制功能获取针对所述系统资源设备的初始利用率；构建针对所述系统资源设备的计算机测试目录；所述计算机测试目录包括针对所述系统资源设备的在调度周期内的使用时长文件和调度周期使用率文件；确定针对所述使用时长文件的目标用时时长；采用所述目标用时时长更新所述使用时长文件，以生成目标使用时长文件；确定针对所述调度周期使用率文件的目标调度周期使用率；采用所述目标调度周期使用率更新所述调度周期使用率文件，以生成目标调度周期使用率文件；采用所述目标使用时长文件和所述目标调度周期使用率文件将所述初始利用率更新为限制利用率，高效完成对目标任务的线程的利用率进行限制，从而更进一步地提升了针对大任务的执行效率。
在本发明的一个可选地实施例中，所述系统资源设备为中央处理器，还包括：
当判定所述操作系统不支持控制组资源限制功能时，采用针对所述中央处理器的功率限制工具对所述中央处理器设置所述限制利用率。
具体可以包括：
获取针对所述中央处理器的检查系统信息；基于所述检查系统信息判断所述操作系统是否支持控制组资源限制功能；若判定所述操作系统不支持控制组资源限制功能，则通过配置功率限制工具cpulimiti获取针对目标任务的进程列表；通过所述进程列表确定针对所述中央处理器的即时使用率；定针对所述目标任务的进程的运行时间配额，并采用所述即时使用率和运行时间配额生成针对所述中央处理器的控制信号；向所述中央处理器发送所述控制信号；并当不存在针对控制组资源限制功能的agent进程时，基于所述控制信号控制所述中央处理器执行所述目标任务。
在具体实现中，cpulimit原理cpulimit是一个用于限制进程CPU使用率的工具。它可以控制进程在执行过程中的CPU占用率，防止系统因某个进程占用过多的CPU资源而导致系统卡死或崩溃的情况发生。
本发明实施例，通过获取针对所述中央处理器的检查系统信息；基于所述检查系统信息判断所述操作系统是否支持控制组资源限制功能；若判定所述操作系统不支持控制组资源限制功能，则通过配置cpulimiti获取针对目标任务的进程列表；通过所述进程列表确定针对所述中央处理器的即时使用率；确定针对所述目标任务的进程的运行时间配额，并采用所述即时使用率和运行时间配额生成针对所述中央处理器的控制信号；向所述中央处理器发送所述控制信号，基于所述控制信号控制所述中央处理器执行所述目标任务。能够限制指定进程的CPU使用率，避免指定进程CPU占用率过高影响其它进程的运行效率；自动检测系统环境，根据获取的系统基本信息选择最优的CPU使用率限制方法，当系统不支持cgroups时，选择cpulimit方式进行CPU使用率的监控，实现兼容不同的主机系统，自适应的对目标进程的CPU资源进行监控，并且在cpulimit的监控过程中，通过添加阈值控制逻辑，减少控制信号的发送，从而减少监控程序自身的CPU使用率。
在本发明的一个可选地实施例中，所述计算针对所述目标任务的预估处理时长的步骤包括：
获取针对所述计算设备的最大带宽值；
获取针对所述目标文件的目标文件数据量；
采用所述目标文件数据量除以所述最大带宽值，计算出初始预估处理时长；
将处于预设范围内的所述初始预估处理时长确定为预估处理时长。
在具体实现中，本发明可以获取针对计算设备的最大带宽值，以及针对目标文件的目标文件数据量，然后用目标文件数据量除以最大带宽值，计算出初始预估处理时长。
在实际应用中，初始预估处理时长可能会较长，有的初始预估处理时长甚至超过数小时，而这些超长的初始预估处理时长不应作为调整任务处理时间的参考条件，所以，在实际应用中，本发明实施例可以将处于预设范围内的初始预估处理时长确定为预估处理时长，例如，将不超过100S的初始预估处理时长确定为预估处理时长。
本发明实施例，通过获取针对所述计算设备的最大带宽值；获取针对所述目标文件的目标文件数据量；采用所述目标文件数据量除以所述最大带宽值，计算出初始预估处理时长；将处于预设范围内的所述初始预估处理时长确定为预估处理时长，可以高效地计算出初始预估处理时长，并通过将处于预设范围内的所述初始预估处理时长确定为预估处理时长，去除过长时长以去除干扰项，为后续能够更有效地确定起始时间，提供了先决条件。
在本发明的一个可选地实施例中，所述采用所述限制利用率、所述即时利用率和所述空闲率，计算针对所述系统资源设备的第一目标进程可用资源值可以通过如下公式实现：
UAvailable＝min{UIdle,UConfig-UCurr}
其中，UAvailable为所述第一目标进程可用资源值，UIdle为所述空闲率，UConfig为所述限制利用率，UCurr为所述即时利用率。
在具体实现中，在获取到当前系统的中央处理器CPU空闲率UIdle，计算限制利用率UConfig与目标进程的中央处理器CPU即时利用率UCurr的差，将该差值确定为目标进程的可用中央处理器CPU资源为ULeft，比较空闲率UIdle和目标进程的可用中央处理器CPU资源ULeft，取其中较小的记为第一目标进程可用资源值UAvailable。
在本发明的一个可选地实施例中，所述系统资源设备包括多个计算节点，所述通过所述第一目标进程可用资源值和所述预估处理时长确定针对所述目标任务的起始时间的步骤包括：
按预设数值从所述计算节点中确定目标节点；
确定针对所述目标节点的第二目标进程可用资源值；
基于预设算法计算出所述第二目标进程可用资源值在若干个所述预估处理时长内的最大平均值，并确定与所述最大平均值对应的目标时段；
采用所述目标时段确定针对所述目标任务的起始时间。
可选地，所述预设算法为时间序列模型算法。
在实际应用中，时间序列模型算法主要用于分析和预测时间序列数据，即按时间顺序排列的一系列数据点。常见的序列模型算法各有优劣，如自回归积分滑动平均(ARIMA)模型，长短期记忆网络(LSTM)，Prophet，NeuralProphet等。
在具体实现中，本发明实施例的第一目标进程可用资源值可以是只针对某一个单节点的目标进程可用资源值，而第二目标进程可用资源值可以用于表达多个节点的目标进程可用资源值，第二目标进程可用资源值可以有多个，多个第二目标进程可用资源值与多个节点可以一一对应。
示例性地，获取多个任务，确定出数据量大于1M的任务，并构建任务队列，将数据量大于1M的任务添加至任务队列中，定时读取任务队列，获取任务队列中的第一个任务作为目标任务；
对目标任务的进程的设置最大CPU使用率，即，限制利用率UConfig,限制目标任务的进程的CPU使用率，防止影响BMC环境中的其他服务；
获取针对计算设备的最大带宽值和针对目标文件的目标文件数据量，用目标文件数据量除最大带宽值为预估值计算出初始预估处理时长，且将不超过100s的初始预估处理时长，确定为预估处理时长，记为T；
在获取到当前系统的中央处理器CPU空闲率UIdle，计算限制利用率UConfig与目标进程的中央处理器CPU即时利用率UCurr的差，将该差值确定为目标进程的可用中央处理器CPU资源为ULeft，比较空闲率UIdle和目标进程的可用中央处理器CPU资源ULeft，取其中较小的记为第一目标进程可用资源值UAvailable；
在将第一目标进程可用资源值UAvailable进行保存后，以最近100个节点的第二目标进程可用资源值UAvailable(如果不足100个节点则可以按照实际数量为准确定节点数)，使用时间序列模型算法预测未来3T(3个预估时间)时间内每秒的最大平均值UAvailable；计算周期为T的平均UAvailable最大的目标时段，以这个目标时段的开始时间记为TStart，例如，从原始数据管理模块获取最近的不超过100个节点的数据，使用NeuralProphet算法预测未来3T个数据，记为{t1，t2，…，t3n}，计算连续T个数据的最大平均值，当结果为tx～tx+n，则预测的任务起始时间为x秒后。
为使本领域技术人员更好地理解本发明实施例，以下采用一完整示例对本发明实施例进行说明。
参考图2，图2是相关技术提供的一种任务执行方法的步骤流程图，在实际应用中，相关技术在接收到调度请求的情况下，通过确定所述调度请求对应的云服务平台中的各个待处理的工作流任务，以及所述云服务平台中的空闲服务资源；确定每个所述工作流任务的数据到达时间预测值以及任务处理时间预测值；根据每个所述工作流任务的所述数据到达时间预测值、所述任务处理时间预测值以及所述空闲服务资源生成调度方案，所述调度方案至少包括各个所述工作流任务的最优处理顺序；根据所述调度方案对各个所述工作流任务进行调度。应用本实施例提供的方法，能够避免服务资源浪费，提高工作流任务处理效率，由上可知，相关技术虽然可以提升系统内资源的利用效率，但并未突出任务的优先级特性，即，无法在资源有限的场景中，通过预测最适合处理任务的时间，减少大任务执行对当前其他进程的资源占用，从而无法保证系统整体的可靠性。
参考图3，图3是本发明实施例中提供的一种大任务处理装置的结构示意图，大任务处理装置可以包括任务管理模块301，Cgroup管理模块302，任务执行时间计算模块303，原始数据管理模块304，任务执行时刻预测模块305，任务执行模块306。
任务管理模块301可以用于获取多个任务，确定出数据量大于1M的任务，并构建任务队列，将数据量大于1M的任务添加至任务队列中，定时读取任务队列，获取任务队列中的第一个任务作为目标任务；
Cgroup管理模块302可以用于对目标任务的进程的设置最大CPU使用率，即，限制利用率UConfig,限制目标任务的进程的CPU使用率，防止影响BMC环境中的其他服务；
任务执行时间计算模块303可以用于获取针对针对计算设备的最大带宽值和针对目标文件的目标文件数据量，用目标文件数据量除最大带宽值为预估值计算出初始预估处理时长，且将不超过100s的初始预估处理时长，确定为预估处理时长，记为T；
原始数据管理模块304可以用于在获取到当前系统的中央处理器CPU空闲率UIdle，计算限制利用率UConfig与目标进程的中央处理器CPU即时利用率UCurr的差，将该差值确定为目标进程的可用中央处理器CPU资源为ULeft，比较空闲率UIdle和目标进程的可用中央处理器CPU资源ULeft，取其中较小的记为第一目标进程可用资源值UAvailable，并将第一目标进程可用资源值UAvailable进行保存；
任务执行时刻预测模块305可以用于在将第一目标进程可用资源值UAvailable进行保存后，以最近100个节点的第二目标进程可用资源值UAvailable(如果不足100个节点则可以按照实际数量为准确定节点数)，使用时间序列模型算法预测未来3T(3个预估时间)时间内每秒的最大平均值UAvailable；计算周期为T的平均UAvailable最大的目标时段，以这个目标时段的开始时间记为TStart，例如，从原始数据管理模块获取最近的不超过100个节点的数据，使用NeuralProphet算法预测未来3T个数据，记为{t1，t2，…，t3n}，计算连续T个数据的最大平均值，当结果为tx～tx+n，则预测的任务起始时间为x秒后；
任务执行模块306可以用于基于起始时间执行目标任务。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
参照图4，示出了本发明实施例中提供的一种任务执行装置的结构框图，具体可以包括如下模块：
目标任务确定模块401，用于确定目标任务；
限制利用率设置模块402，用于确定针对所述系统资源设备的限制利用率，并对所述系统资源设备设置所述限制利用率；
预估处理时长计算模块403，用于计算针对所述目标任务的预估处理时长；
空闲率和即时利用率获取模块404，用于获取针对所述系统资源设备的空闲率和即时利用率；
第一目标进程可用资源值计算模块405，用于采用所述限制利用率、所述即时利用率和所述空闲率，计算针对所述系统资源设备的第一目标进程可用资源值；
起始时间确定模块406，用于通过所述第一目标进程可用资源值和所述预估处理时长确定针对所述目标任务的起始时间；
目标任务执行模块407，用于基于所述起始时间执行所述目标任务。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本发明实施例还提供了一种电子设备，如图5所示，包括处理器501、通信接口502、存储器503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信，
存储器503，用于存放计算机程序；
处理器501，用于执行存储器503上所存放的程序时，实现如下步骤：
确定目标任务；
确定针对所述系统资源设备的限制利用率，并对所述系统资源设备设置所述限制利用率；
计算针对所述目标任务的预估处理时长；
获取针对所述系统资源设备的空闲率和即时利用率；
采用所述限制利用率、所述即时利用率和所述空闲率，计算针对所述系统资源设备的第一目标进程可用资源值；
通过所述第一目标进程可用资源值和所述预估处理时长确定针对所述目标任务的起始时间；
基于所述起始时间执行所述目标任务。
可选地，还包括：
获取多个任务；所述任务具有对应的数据量；
构建任务队列；所述任务队列由所述数据量大于预设阈值的任务组成；
所述确定目标任务的步骤包括：
从所述任务队列中确定出目标任务。
可选地，所述计算设备设置有操作系统，所述操作系统支持控制组资源限制功能；
所述确定针对所述系统资源设备的限制利用率，并对所述系统资源设备设置所述限制利用率的步骤包括：
采用所述控制组资源限制功能获取针对所述系统资源设备的初始利用率；
构建针对所述系统资源设备的计算机测试目录；
所述计算机测试目录包括针对所述系统资源设备的在调度周期内的使用时长文件和调度周期使用率文件；
确定针对所述使用时长文件的目标用时时长；
采用所述目标用时时长更新所述使用时长文件，以生成目标使用时长文件；
确定针对所述调度周期使用率文件的目标调度周期使用率；
采用所述目标调度周期使用率更新所述调度周期使用率文件，以生成目标调度周期使用率文件；
采用所述目标使用时长文件和所述目标调度周期使用率文件将所述初始利用率更新为限制利用率。
可选地，所述计算针对所述目标任务的预估处理时长的步骤包括：
获取针对所述计算设备的最大带宽值；
获取针对所述目标文件的目标文件数据量；
采用所述目标文件数据量除以所述最大带宽值，计算出初始预估处理时长；
将处于预设范围内的所述初始预估处理时长确定为预估处理时长。
可选地，所述采用所述限制利用率、所述即时利用率和所述空闲率，计算针对所述系统资源设备的第一目标进程可用资源值的步骤包括：
UAvailable＝min{UIdle,UConfig-UCurr}
其中，UAvailable为所述第一目标进程可用资源值，UIdle为所述空闲率，UConfig为所述限制利用率，UCurr为所述即时利用率。
可选地，所述系统资源设备包括多个计算节点，所述通过所述第一目标进程可用资源值和所述预估处理时长确定针对所述目标任务的起始时间的步骤包括：
按预设数值从所述计算节点中确定目标节点；
确定针对所述目标节点的第二目标进程可用资源值；
基于预设算法计算出所述第二目标进程可用资源值在若干个所述预估处理时长内的最大平均值，并确定与所述最大平均值对应的目标时段；
采用所述目标时段确定针对所述目标任务的起始时间。
可选地，所述预设算法为时间序列模型算法。
上述终端提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述终端与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
如图6所示，在本发明提供的又一实施例中，还提供了一种计算机可读存储介质601，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中所述的任务执行方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (10)
1.一种任务执行方法，其特征在于，所述方法应用于设置有系统资源设备的计算设备，包括：
确定目标任务；
确定针对所述系统资源设备的限制利用率，并对所述系统资源设备设置所述限制利用率；
计算针对所述目标任务的预估处理时长；
获取针对所述系统资源设备的空闲率和即时利用率；
采用所述限制利用率、所述即时利用率和所述空闲率，计算针对所述系统资源设备的第一目标进程可用资源值；
通过所述第一目标进程可用资源值和所述预估处理时长确定针对所述目标任务的起始时间；
基于所述起始时间执行所述目标任务。
2.根据权利要求1所述的方法，其特征在于，还包括：
获取多个任务；所述任务具有对应的数据量；
构建任务队列；所述任务队列由所述数据量大于预设阈值的任务组成；
所述确定目标任务的步骤包括：
从所述任务队列中确定出目标任务。
3.根据权利要求1所述的方法，其特征在于，所述计算设备设置有操作系统，所述操作系统支持控制组资源限制功能；
所述确定针对所述系统资源设备的限制利用率，并对所述系统资源设备设置所述限制利用率的步骤包括：
采用所述控制组资源限制功能获取针对所述系统资源设备的初始利用率；
构建针对所述系统资源设备的计算机测试目录；
所述计算机测试目录包括针对所述系统资源设备的在调度周期内的使用时长文件和调度周期使用率文件；
确定针对所述使用时长文件的目标用时时长；
采用所述目标用时时长更新所述使用时长文件，以生成目标使用时长文件；
确定针对所述调度周期使用率文件的目标调度周期使用率；
采用所述目标调度周期使用率更新所述调度周期使用率文件，以生成目标调度周期使用率文件；
采用所述目标使用时长文件和所述目标调度周期使用率文件将所述初始利用率更新为限制利用率。
4.根据权利要求1所述的方法，其特征在于，所述计算针对所述目标任务的预估处理时长的步骤包括：
获取针对所述计算设备的最大带宽值；
获取针对所述目标文件的目标文件数据量；
采用所述目标文件数据量除以所述最大带宽值，计算出初始预估处理时长；
将处于预设范围内的所述初始预估处理时长确定为预估处理时长。
5.根据权利要求1所述的方法，其特征在于，所述采用所述限制利用率、所述即时利用率和所述空闲率，计算针对所述系统资源设备的第一目标进程可用资源值的步骤包括：
UAvailable＝min{UIdle,UConfig-UCurr}
其中，UAvailable为所述第一目标进程可用资源值，UIdle为所述空闲率，UConfig为所述限制利用率，UCurr为所述即时利用率。
6.根据权利要求1所述的方法，其特征在于，所述系统资源设备包括多个计算节点，所述通过所述第一目标进程可用资源值和所述预估处理时长确定针对所述目标任务的起始时间的步骤包括：
按预设数值从所述计算节点中确定目标节点；
确定针对所述目标节点的第二目标进程可用资源值；
基于预设算法计算出所述第二目标进程可用资源值在若干个所述预估处理时长内的最大平均值，并确定与所述最大平均值对应的目标时段；
采用所述目标时段确定针对所述目标任务的起始时间。
7.根据权利要求3所述的方法，其特征在于，所述系统资源设备为中央处理器，还包括：
当判定所述操作系统不支持控制组资源限制功能时，采用针对所述中央处理器的功率限制工具对所述中央处理器设置所述限制利用率。
8.一种任务执行装置，其特征在于，所述装置应用于设置有系统资源设备的计算设备，包括：
目标任务确定模块，用于确定目标任务；
限制利用率设置模块，用于确定针对所述系统资源设备的限制利用率，并对所述系统资源设备设置所述限制利用率；
预估处理时长计算模块，用于计算针对所述目标任务的预估处理时长；
空闲率和即时利用率获取模块，用于获取针对所述系统资源设备的空闲率和即时利用率；
第一目标进程可用资源值计算模块，用于采用所述限制利用率、所述即时利用率和所述空闲率，计算针对所述系统资源设备的第一目标进程可用资源值；
起始时间确定模块，用于通过所述第一目标进程可用资源值和所述预估处理时长确定针对所述目标任务的起始时间；
目标任务执行模块，用于基于所述起始时间执行所述目标任务。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口以及所述存储器通过所述通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行存储器上所存放的程序时，实现如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其上存储有指令，当由一个或多个处理器执行时，使得所述处理器执行如权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410370455.6A CN118210610A (zh) | 2024-03-28 | 2024-03-28 | 一种任务执行方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410370455.6A CN118210610A (zh) | 2024-03-28 | 2024-03-28 | 一种任务执行方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118210610A true CN118210610A (zh) | 2024-06-18 |
Family
ID=91450265
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410370455.6A Pending CN118210610A (zh) | 2024-03-28 | 2024-03-28 | 一种任务执行方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118210610A (zh) |
-
2024
- 2024-03-28 CN CN202410370455.6A patent/CN118210610A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11269750B2 (en) | System and method to assess information handling system health and resource utilization | |
| US10069710B2 (en) | System and method to identify resources used by applications in an information handling system | |
| US9170916B2 (en) | Power profiling and auditing consumption systems and methods | |
| US10558544B2 (en) | Multiple modeling paradigm for predictive analytics | |
| US7925911B2 (en) | Managing computer power among a plurality of computers | |
| US20090070611A1 (en) | Managing Computer Power Consumption In A Data Center | |
| US7917677B2 (en) | Smart profiler | |
| CN110659499A (zh) | 用于高速缓存侧信道攻击检测和缓解的技术 | |
| WO2023115999A1 (zh) | 设备状态监控方法、装置、设备及计算机可读存储介质 | |
| US8103884B2 (en) | Managing power consumption of a computer | |
| JPWO2005017736A1 (ja) | ディスクアレイ装置におけるボトルネックを検出するシステムおよびプログラム | |
| EP3935503B1 (en) | Capacity management in a cloud computing system using virtual machine series modeling | |
| US20120174231A1 (en) | Assessing System Performance Impact of Security Attacks | |
| CN101771565A (zh) | 单一服务器实现大批量或不同种基板管理控制器模拟方法 | |
| CN113672345A (zh) | 一种基于io预测的云虚拟化引擎分布式资源调度方法 | |
| US20230359514A1 (en) | Operation-based event suppression | |
| Guan et al. | A Design That Incorporates Adaptive Reservation into Mixed‐Criticality Systems | |
| CN118210610A (zh) | 一种任务执行方法、装置、电子设备及存储介质 | |
| CN115599617A (zh) | 总线检测方法、装置、服务器及电子设备 | |
| US10917203B2 (en) | Estimate bit error rates of network cables | |
| CN114356699A (zh) | 一种嵌入式设备告警方法、装置、设备及存储介质 | |
| CN113448799A (zh) | 计算机系统和/或控制系统的鲁棒监测 | |
| CN111542048A (zh) | 侦码设备采集功能重启方法、装置、服务器及存储介质 | |
| US11809299B2 (en) | Predicting storage array capacity | |
| JP7110762B2 (ja) | 監視制御プログラム、監視制御方法および情報処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination |