CN114253695A - 一种计算节点资源信息更新方法、节点和存储介质 - Google Patents

一种计算节点资源信息更新方法、节点和存储介质 Download PDF

Info

Publication number
CN114253695A
CN114253695A CN202010997282.2A CN202010997282A CN114253695A CN 114253695 A CN114253695 A CN 114253695A CN 202010997282 A CN202010997282 A CN 202010997282A CN 114253695 A CN114253695 A CN 114253695A
Authority
CN
China
Prior art keywords
computing
task
sample data
node
subtasks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010997282.2A
Other languages
English (en)
Inventor
王凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Communications Ltd Research Institute
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Communications Ltd Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Communications Ltd Research Institute filed Critical China Mobile Communications Group Co Ltd
Priority to CN202010997282.2A priority Critical patent/CN114253695A/zh
Priority to PCT/CN2021/119600 priority patent/WO2022057940A1/zh
Publication of CN114253695A publication Critical patent/CN114253695A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5066—Algorithms for mapping a plurality of inter-dependent sub-tasks onto a plurality of physical CPUs

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明实施例公开了一种计算节点资源信息更新方法、节点和存储介质。所述方法包括：获得计算节点待处理的多个计算任务；对所述多个计算任务进行分割，获得对应于各计算任务的子任务；基于多个子任务的处理时长确定计算资源信息更新间隔；所述计算资源信息更新间隔与分割后的子任务的处理时长一致，或者，所述计算资源信息更新间隔与分割后的多个子任务的处理时长中的最小处理时长一致。

Description

一种计算节点资源信息更新方法、节点和存储介质
技术领域
本发明涉及边缘计算领域，具体涉及一种计算节点资源信息更新方法、节点和存储介质。
背景技术
目前，并未有计算节点资源信息更新策略。若是以固定的小时间间隔对计算节点资源信息进行更新，则持续高频率的更新对调度并没有帮助，反而会造成资源的浪费。若是以固定的大时间间隔对计算节点资源信息进行更新，过于低频的更新可能会造成某些任务无法完成原定目标。例如，如果某个设备发生闲置计算资源的大量减少，在系统进行资源状态更新前，调度节点会继续根据原有状态分发新任务到该节点，而这些新任务可能就会堆积甚至溢出，导致数据丢失、任务无法按时完成等问题。
发明内容
为解决现有存在的技术问题，本发明实施例提供一种计算节点资源信息更新方法、节点和存储介质。
为达到上述目的，本发明实施例的技术方案是这样实现的：
本发明实施例提供了一种计算节点资源信息更新方法，所述方法包括：
获得计算节点待处理的多个计算任务；
对所述多个计算任务进行分割，获得对应于各计算任务的子任务；
基于所述多个子任务的处理时长确定计算资源信息更新间隔；所述计算资源信息更新间隔与分割后的子任务的处理时长一致，或者，所述计算资源信息更新间隔与分割后的多个子任务的处理时长中的最小处理时长一致。
上述方案中，所述对所述多个计算任务进行分割，获得对应于各计算任务的子任务，包括：
基于各个计算任务的任务量以及各计算节点的状态对计算任务进行分割，获得子任务。
上述方案中，所述基于各个计算任务的任务量以及各计算节点的状态对计算任务进行分割，获得子任务，包括：
基于计算任务的任务量、各计算节点的状态以及预先获得的计算模型获得子任务的大小，基于所述子任务的大小对所述计算任务进行分割，获得对应于所述计算任务的多个子任务。
上述方案中，所述方法还包括：获得历史样本数据集；所述历史样本数据集包括多组历史样本数据；各组历史样本数据包括计算节点在各个历史时刻的历史状态以及历史计算任务的任务量；
基于所述历史样本数据集中的历史样本数据训练计算模型。
上述方案中，所述基于所述历史样本数据训练计算模型，包括：
对所述历史样本数据集中的各组历史样本数据采用主成分分析方法得到n个特征，按照预设规则选取所述n个特征中的部分特征作为目标变量集；n为正整数；
对所述历史样本数据集中的历史样本数据进行随机采样，形成N个样本子集；N为正整数；
基于所述目标变量集和所述N个样本子集进行建模，得到所述计算模型。
本发明实施例还提供了一种调度节点，所述调度节点包括：获取单元、分割单元和确定单元；其中，
所述获取单元，用于获得计算节点待处理的多个计算任务；
所述分割单元，用于对所述多个计算任务进行分割，获得对应于各计算任务的子任务；
所述确定单元，用于基于所述多个子任务的处理时长确定计算资源信息更新间隔；所述计算资源信息更新间隔与分割后的子任务的处理时长一致，或者，所述计算资源信息更新间隔与分割后的多个子任务的处理时长中的最小处理时长一致。
上述方案中，若所述多个子任务的处理时长相同，则所述计算资源信息更新间隔为所述多个子任务的处理时长；
若所述多个子任务的处理时长呈等比关系，则所述计算资源信息更新间隔为所述多个子任务的处理时长中的最小处理时长。
上述方案中，所述分割单元，用于基于各个计算任务的任务量以及各计算节点的状态对计算任务进行分割，获得子任务。
上述方案中，所述分割单元，用于基于计算任务的任务量、各计算节点的状态以及预先获得的计算模型获得子任务的大小，基于所述子任务的大小对所述计算任务进行分割，获得对应于所述计算任务的多个子任务。
上述方案中，所述调度节点还包括建模单元，用于获得历史样本数据集；所述历史样本数据集包括多组历史样本数据；各组历史样本数据包括计算节点在各个历史时刻的历史状态以及历史计算任务的任务量；基于所述历史样本数据集中的历史样本数据训练计算模型。
上述方案中，所述建模单元，用于对所述历史样本数据集中的各组历史样本数据采用主成分分析方法得到n个特征，按照预设规则选取所述n个特征中的部分特征作为目标变量集；n为正整数；对所述历史样本数据集中的历史样本数据进行随机采样，形成N个样本子集；N为正整数；基于所述目标变量集和所述N个样本子集进行建模，得到所述计算模型。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例所述方法的步骤。
本发明实施例还提供了一种调度节点，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本发明实施例所述方法的步骤。
本发明实施例提供的计算节点资源信息更新方法、节点和存储介质，所述方法包括：获得计算节点待处理的多个计算任务；对所述多个计算任务进行分割，获得对应于各计算任务的子任务；基于所述多个子任务的处理时长确定计算资源信息更新间隔；所述计算资源信息更新间隔与分割后的子任务的处理时长一致，或者，所述计算资源信息更新间隔与分割后的多个子任务的处理时长中的最小处理时长一致。采用本发明实施例的技术方案，通过将各计算任务分割为子任务，并将计算资源信息更新间隔确定为各子任务的处理时长或者各子任务的处理时长中的最小处理时长，实现了计算节点资源信息更新间隔可基于子任务的处理时长而动态调整，一方面，避免以固定的小时间间隔更新计算节点资源信息带来的资源浪费，也避免以固定的大时间间隔更新计算节点资源信息导致的任务堆积甚至溢出，导致数据丢失、任务无法按时完成等问题；另一方面，若计算节点的资源情况发生变化，调度节点也能够在计算资源信息更新间隔这个周期内，也即子任务的处理完成之前或者子任务处理完成时，获得计算节点的资源变化情况，以便于调度节点能够根据计算节点的当前实际资源情况进行任务调度，从而降低因为计算节点的资源变化而调度节点的计算资源信息更新不及时导致的任务延迟，同时减少任务协同所消耗的计算资源。
附图说明
图1为本发明实施例的计算节点资源信息更新方法应用的系统架构的一种示意图；
图2为本发明实施例的计算节点资源信息更新方法的流程示意图；
图3为本发明实施例的计算节点资源信息更新方法中的计算模型建立的示意图；
图4为本发明实施例的调度节点的组成结构示意图一；
图5为本发明实施例的调度节点的组成结构示意图二；
图6为本发明实施例的计算节点资源信息更新方法应用的系统架构的另一种示意图；
图7为本发明实施例的调度节点的硬件结构示意图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步详细的说明。
图1为本发明实施例的计算节点资源信息更新方法应用的系统架构示意图；如图1所示，系统可包括：计算模块、调度与资源分配模块和消费者模块。其中，
消费者模块，作为计算资源的消费者，能够产生任务数据，并接受任务数据对应的计算结果，基于计算结果开展更多的扩展应用。例如，语音分析与识别的计算结果可以被语音盒子消费，用于进一步交流的输入，也可以提供给空调、灯等其他智能化设备，进行智能家居控制操作。在一种示例中，消费者模块可以是网络摄像头，则网络摄像头采集到的视频数据可作为任务数据。在另一种示例中，消费者模块可以是麦克风，则麦克风采集到的音频数据可作为任务数据。
计算模块，将通用的计算能力作为模块提供给调度与资源分配模块，能够对任务数据进行计算。示例性的计算能力可包括：图像分析与识别能力、语音分析与识别能力等等。
调度与资源分配模块，该模块根据消费者模块的请求，管理闲置的计算资源，将需求与供给进行优化匹配，实现任务的完成。
基于图1所示的系统架构，提出本发明以下各实施例。
需要说明的是，本发明以下各实施例中的计算节点，相当于图1中所示的计算模块；调度节点，相当于图1中所示的调度与资源分配模块；消费者节点，相当于图1中所示的消费者模块。
本发明实施例提供了一种计算节点资源信息更新方法，应用于调度节点中。图2为本发明实施例的计算节点资源信息更新方法的流程示意图；如图2所示，所述方法包括：
步骤101：获得计算节点待处理的多个计算任务；
步骤102：对所述多个计算任务进行分割，获得对应于各计算任务的子任务；
步骤103：基于多个子任务的处理时长确定计算资源信息更新间隔；所述计算资源信息更新间隔与分割后的子任务的处理时长一致，或者，所述计算资源信息更新间隔与分割后的多个子任务的处理时长中的最小处理时长一致。
本实施例中，调度节点从消费者节点中获得计算任务。示例性的，若消费者节点为网络摄像头，则所述计算任务可以是网络摄像头采集的视频数据。
在一些可选实施例中，调度节点一方面从消费者节点中获得计算任务的任务数据；另一方面，从消费者节点中获得任务处理请求，则调度节点基于该任务处理请求对获得的任务数据进行分割，得到多个子任务。可选地，所述任务处理请求中可包括表示任务的指示信息；该任务例如可以是识别图像中的目标人物、识别图像中的人物数量、或者识别音频数据中的目标人物等等。示例性的，调度节点中可预先配置各任务以及对应的标识；识别任务处理请求中携带的指示标识，根据该指示标识可确定对应的目标任务。
本实施例中，调度节点对各个计算任务进行分割，将每个计算任务分割为多个子任务。其中，对应于各计算任务的子任务的处理时长相同或呈等比关系。对应于一个计算任务的多个子任务的处理时长相同。
在本发明的一些可选实施例中，所述对所述多个计算任务进行分割，获得对应于各计算任务的子任务，包括：基于各个计算任务的任务量以及各计算节点的状态对计算任务进行分割，获得子任务。
本实施例中，调度节点可按照预设规则获得各计算节点的状态。其中，计算节点的状态可包括：各类型资源的相关信息、内存的相关信息、闲置算力、已使用的计算资源的相关信息等等。其中，内存的相关信息可包括内存使用率。资源的类型可包括：中央处理器(CPU，Central Processing Unit)、图形处理器(GPU，Graphics Processing Unit)、神经网络处理器(NPU，Neural Network Processing Unit)等等；则各类型资源的相关信息可包括CPU使用率、GPU使用率、NPU使用率等等。可选地，计算节点的状态还可包括：已有进程数、节点设备的温度、任务类型等等。
示例性的，调度节点可按照预设周期获得各计算节点的状态；其中，所述预设周期可按照实际需求设置，本实施例中对此不做限定。
本实施例中，调度节点可基于各计算节点的状态结合各计算任务的任务量大小对各计算任务进行分割，从而使得分割后的对应于各计算节点的子任务在对应的计算节点的处理时长相同或呈等比关系。
例如，计算任务1分割后，其子任务的处理时长为t_1；计算任务2由于其流程需要减少数据读取次数，其子任务设置略大，处理时长为t_2＝2×t_1；计算任务3由于其处理时长要求尽可能短，所以将其子任务设置略小，处理时长为t_3＝t_1/2；所以三个计算任务的子任务的处理时长为等比关系，即t_1：t_2：t_3＝2：4：1。
在一些可选实施例中，若所述多个子任务的处理时长相同，则所述计算资源信息更新间隔为所述多个子任务的处理时长；若所述多个子任务的处理时长呈等比关系，则所述计算资源信息更新间隔为所述多个子任务的处理时长中的最小处理时长。
一个示例中，以上述示例为例，则所述计算资源信息更新间隔为上述t_3。
另一个示例中，若三个计算任务对应的子任务的处理时长均相同，则所述计算资源信息更新间隔三个计算任务对应的子任务的处理时长。
在本发明的一些可选实施例中，所述基于所述计算任务的任务量以及各计算节点的状态对所述计算任务进行分割，获得多个子任务，包括：基于所述计算任务的任务量、各计算节点的状态以及预先获得的计算模型获得个子任务的大小，基于所述子任务的大小对所述计算任务进行分割，获得多个子任务。
在本发明的一些可选实施例中，所述方法还包括：获得历史样本数据集；所述历史样本数据集包括多组历史样本数据；各组历史样本数据包括计算节点在各个历史时刻的历史状态以及历史计算任务的任务量；基于所述历史样本数据集中的历史样本数据训练计算模型。
本实施例中，调度节点可预先建立计算模型，基于计算模型确定各计算任务的子任务的任务量大小。
示例性的，获得历史样本数据集，历史样本数据集中包括多组历史样本数据，每组历史样本数据中可包括N个历史时刻的计算节点的历史状态X以及历史计算任务的任务量大小Y，基于历史状态X和历史计算任务的任务量大小Y训练计算模型。其中，历史状态X可包括以下至少之一：CPU使用率、GPU使用率、NPU使用率、内存使用率、已有进程数、节点设备的温度、任务类型等等。
在本发明的一些可选实施例中，所述基于所述历史样本数据训练计算模型，包括：对所述历史样本数据集中的各组历史样本数据采用主成分分析方法得到n个特征，按照预设规则选取所述n个特征中的部分特征作为目标变量集；n为正整数；对所述历史样本数据集中的历史样本数据进行随机采样，形成N个样本子集；N为正整数；基于所述目标变量集和所述N个样本子集进行建模，得到所述计算模型。
本实施例中，具体可参照图3所示，首先对各组历史样本数据采用主成分分析(PCA，Principal Component Analysis)方法得到n个特征，按照预设规则选取所述n个特征中的部分特征{VS1，VS2，VS3…VSm}作为目标变量集；其中，所述预设规则包括：根据不同特征在整体中的贡献，按照特定比例进行保留，以及保留所有大于1的特征值。其中，目标变量集中的各特征是历史样本数据中的部分特征的加权组合。
其次，对历史样本数据集中的历史样本数据进行随机采样，得到N个样本子集。
最后，基于所述目标变量集和所述N个样本子集进行建模，得到所述计算模型。
示例性的，所述基于所述目标变量集和所述N个样本子集进行建模，得到所述计算模型，包括：基于目标变量集，对各个样本子集进行建模。例如可采用线性回归算法进行建模，得到各个样本子集对应的模型，并基于各样本子集对应的模型得到各个样本子集中的历史计算任务的任务量大小Y对应的预测结果，该预测结果为任务量大小Y对应的预测的子任务大小yi；采用Ensemble集成算法、Bagging、boosting或随机森林的方式将多个样本子集对应的模型进行融合得到本实施例中的计算模型。
采用本发明实施例的技术方案，通过将各计算任务分割为子任务，并将计算资源信息更新间隔确定为各子任务的处理时长或者各子任务的处理时长中的最小处理时长，实现了计算节点资源信息更新间隔可基于子任务的处理时长而动态调整，一方面，避免以固定的小时间间隔更新计算节点资源信息带来的资源浪费，也避免以固定的大时间间隔更新计算节点资源信息导致的任务堆积甚至溢出，导致数据丢失、任务无法按时完成等问题；另一方面，若计算节点的资源情况发生变化，调度节点也能够在计算资源信息更新间隔这个周期内，也即子任务的处理完成之前或者子任务处理完成时，获得计算节点的资源变化情况，以便于调度节点能够根据计算节点的当前实际资源情况进行任务调度，从而降低因为计算节点的资源变化而调度节点的计算资源信息更新不及时导致的任务延迟，同时减少任务协同所消耗的计算资源。
示例性的，本实施例的系统可应用于以下场景：
以视频任务为例，系统把多个边缘设备连接形成行的视频处理通道。多个视频处理通道可实现对实时视频的并行处理。实时视频通过切片，分为多个视频任务包，分别分配到各个视频处理通道进行处理。处理完的视频数据融合到一起形成实时的视频处理结果流。
在视频任务的场景中，消费者模块(如摄像头)提供实时视频数据，向调度节点请求视频处理能力，调度节点根据各计算节点的状态，一方面请求视频处理任务数据下发到相应的计算节点，另一方面将实时视频数据进行切割，分配给相应的计算节点，由计算节点执行相应的处理任务。调度节点还会持续更新各计算节点的资源状况，当必要时进行任务调度的调整。
基于前述方法实施例，本发明实施例还提供了一种调度节点。图4为本发明实施例的调度节点的组成结构示意图；如图4所示，所述调度节点包括：获取单元21、分割单元22和确定单元23；其中，
所述获取单元21，用于获得计算节点待处理的多个计算任务；
所述分割单元22，用于对所述多个计算任务进行分割，获得对应于各计算任务的子任务；
所述确定单元23，用于基于多个子任务的处理时长确定计算资源信息更新间隔；所述计算资源信息更新间隔与分割后的子任务的处理时长一致，或者，所述计算资源信息更新间隔与分割后的多个子任务的处理时长中的最小处理时长一致。
在本发明的一些可选实施例中，所述分割单元22，用于基于各个计算任务的任务量以及各计算节点的状态对所述计算任务进行分割，获得子任务。
在本发明的一些可选实施例中，所述分割单元22，用于基于计算任务的任务量、各计算节点的状态以及预先获得的计算模型获得个子任务的大小，基于所述子任务的大小对所述计算任务进行分割，获得对应于所述计算任务的多个子任务。
在本发明的一些可选实施例中，如图5所示，所述调度节点还包括建模单元24，用于获得历史样本数据集；所述历史样本数据集包括多组历史样本数据；各组历史样本数据包括计算节点在各个历史时刻的历史状态以及历史计算任务的任务量；基于所述历史样本数据集中的历史样本数据训练计算模型。
在本发明的一些可选实施例中，所述建模单元24，用于对所述历史样本数据集中的各组历史样本数据采用主成分分析方法得到n个特征，按照预设规则选取所述n个特征中的部分特征作为目标变量集；n为正整数；对所述历史样本数据集中的历史样本数据进行随机采样，形成N个样本子集；N为正整数；基于所述目标变量集和所述N个样本子集进行建模，得到所述计算模型。
本发明实施例中，所述调度单元中的分割单元22和确定单元23和建模单元24，在实际应用中均可由所述调度单元中的中央处理器(CPU，Central Processing Unit)、数字信号处理器(DSP，Digital Signal Processor)、微控制单元(MCU，Microcontroller Unit)或可编程门阵列(FPGA，Field－Programmable Gate Array)实现；所述终端中的获取单元21，在实际应用中可通过通信模组(包含：基础通信套件、操作系统、通信模块、标准化接口和协议等)及收发天线实现。
需要说明的是：上述实施例提供的调度节点在进行计算节点资源信息更新时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将调度节点的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的调度节点与计算节点资源信息更新方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图6为本发明实施例的计算节点资源信息更新方法应用的系统架构的另一种示意图；如图6所示，调度节点可包括：信息收集子模块、资源分配子模块、任务分析子模块和任务分割子模块；其中，
信息收集子模块，用于整理计算资源信息，建立资源队列，记录资源的类型(例如GPU/CPU/NPU)、内存大小、闲置算力、已有计算模块等信息；并定期进行资源信息更新，以便资源分配子模块即时进行调度优化。
任务分析子模块，用于收集消费者需求，建立作业队列，记录每个作业的优先级、作业提交时间、要求计算完毕时间。
资源分配子模块，用于根据任务需求与计算资源，为每个任务分配相应的资源节点，也为资源节点从计算模组提供者模块请求模块下发。
任务分割子模块，用于根据任务需求与计算资源分配结果，考虑不同设备的算力不同，确定计算任务如何进行分割为子任务，使得每个设备的子任务处理时间相同；考虑不同计算任务的实际需求，确定不同计算任务分为子任务，使得不同任务的子任务处理时间相同或者为等比关系。
可以理解，上述信息收集子模块、资源分配子模块、任务分析子模块和任务分割子模块相当于图4中所示的获取单元、分割单元和确定单元，仅是各处理单元的功能划分方式的不同。
本发明实施例还提供了一种调度节点。图7为本发明实施例的调度节点的硬件结构示意图；如图7所示，所述调度节点包括存储器32、处理器31及存储在存储器32上并可在处理器31上运行的计算机程序，所述处理器31执行所述程序时实现本发明实施例所述的计算节点资源信息更新方法的步骤。
可选地，调度单元还包括一个或多个网络接口33。调度单元中的各个组件通过总线系统34耦合在一起。可理解，总线系统34用于实现这些组件之间的连接通信。总线系统34除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图7中将各种总线都标为总线系统34。
可以理解，存储器32可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random AccessMemory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储器32旨在包括但不限于这些和任意其它适合类型的存储器。
上述本发明实施例揭示的方法可以应用于处理器31中，或者由处理器31实现。处理器31可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器31中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器31可以是通用处理器、DSP，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器31可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器32，处理器31读取存储器32中的信息，结合其硬件完成前述方法的步骤。
在示例性实施例中，调度节点可以被一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，ProgrammableLogic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、FPGA、通用处理器、控制器、MCU、微处理器(Microprocessor)、或其他电子元件实现，用于执行前述方法。
在示例性实施例中，本发明实施例还提供了一种计算机可读存储介质，例如包括计算机程序的存储器32，上述计算机程序可由调度节点的处理器31执行，以完成前述方法所述步骤。计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、Flash Memory、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
本发明实施例提供的计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例所述的计算节点资源信息更新方法的步骤。
本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (12)

1.一种计算节点资源信息更新方法，其特征在于，所述方法包括：
获得计算节点待处理的多个计算任务；
对所述多个计算任务进行分割，获得对应于各计算任务的子任务；
基于多个子任务的处理时长确定计算资源信息更新间隔；所述计算资源信息更新间隔与分割后的子任务的处理时长一致，或者，所述计算资源信息更新间隔与分割后的多个子任务的处理时长中的最小处理时长一致。
2.根据权利要求1所述的方法，其特征在于，所述对所述多个计算任务进行分割，获得对应于各计算任务的子任务，包括：
基于各个计算任务的任务量以及各计算节点的状态对计算任务进行分割，获得子任务。
3.根据权利要求2所述的方法，其特征在于，所述基于各个计算任务的任务量以及各计算节点的状态对计算任务进行分割，获得子任务，包括：
基于计算任务的任务量、各计算节点的状态以及预先获得的计算模型获得子任务的大小，基于所述子任务的大小对所述计算任务进行分割，获得对应于所述计算任务的多个子任务。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
获得历史样本数据集；所述历史样本数据集包括多组历史样本数据；各组历史样本数据包括计算节点在各个历史时刻的历史状态以及历史计算任务的任务量；
基于所述历史样本数据集中的历史样本数据训练计算模型。
5.根据权利要求4所述的方法，其特征在于，所述基于所述历史样本数据训练计算模型，包括：
对所述历史样本数据集中的各组历史样本数据采用主成分分析方法得到n个特征，按照预设规则选取所述n个特征中的部分特征作为目标变量集；n为正整数；
对所述历史样本数据集中的历史样本数据进行随机采样，形成N个样本子集；N为正整数；
基于所述目标变量集和所述N个样本子集进行建模，得到所述计算模型。
6.一种调度节点，其特征在于，所述调度节点包括：获取单元、分割单元和确定单元；其中，
所述获取单元，用于获得计算节点待处理的多个计算任务；
所述分割单元，用于对所述多个计算任务进行分割，获得对应于各计算任务的子任务；
所述确定单元，用于基于多个子任务的处理时长确定计算资源信息更新间隔；所述计算资源信息更新间隔与分割后的子任务的处理时长一致，或者，所述计算资源信息更新间隔与分割后的多个子任务的处理时长中的最小处理时长一致。
7.根据权利要求6所述的调度节点，其特征在于，所述分割单元，用于基于各个计算任务的任务量以及各计算节点的状态对计算任务进行分割，获得子任务。
8.根据权利要求7所述的调度节点，其特征在于，所述分割单元，用于基于计算任务的任务量、各计算节点的状态以及预先获得的计算模型获得子任务的大小，基于所述子任务的大小对所述计算任务进行分割，获得对应于所述计算任务的多个子任务。
9.根据权利要求8所述的调度节点，其特征在于，所述调度节点还包括建模单元，用于获得历史样本数据集；所述历史样本数据集包括多组历史样本数据；各组历史样本数据包括计算节点在各个历史时刻的历史状态以及历史计算任务的任务量；基于所述历史样本数据集中的历史样本数据训练计算模型。
10.根据权利要求9所述的调度节点，其特征在于，所述建模单元，用于对所述历史样本数据集中的各组历史样本数据采用主成分分析方法得到n个特征，按照预设规则选取所述n个特征中的部分特征作为目标变量集；n为正整数；对所述历史样本数据集中的历史样本数据进行随机采样，形成N个样本子集；N为正整数；基于所述目标变量集和所述N个样本子集进行建模，得到所述计算模型。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至5任一项所述方法的步骤。
12.一种调度节点，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至5任一项所述方法的步骤。
CN202010997282.2A 2020-09-21 2020-09-21 一种计算节点资源信息更新方法、节点和存储介质 Pending CN114253695A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010997282.2A CN114253695A (zh) 2020-09-21 2020-09-21 一种计算节点资源信息更新方法、节点和存储介质
PCT/CN2021/119600 WO2022057940A1 (zh) 2020-09-21 2021-09-22 一种计算节点资源信息更新方法、节点和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010997282.2A CN114253695A (zh) 2020-09-21 2020-09-21 一种计算节点资源信息更新方法、节点和存储介质

Publications (1)

Publication Number Publication Date
CN114253695A true CN114253695A (zh) 2022-03-29

Family

ID=80778244

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010997282.2A Pending CN114253695A (zh) 2020-09-21 2020-09-21 一种计算节点资源信息更新方法、节点和存储介质

Country Status (2)

Country Link
CN (1) CN114253695A (zh)
WO (1) WO2022057940A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114697209B (zh) * 2022-03-30 2023-12-22 广州穗华能源科技有限公司 一种云边协同计算资源配置方法及配置系统
CN114978908B (zh) * 2022-05-11 2023-09-26 量子科技长三角产业创新中心 算力网络节点评价及操作方法和装置
CN115426363B (zh) * 2022-08-29 2023-05-23 广东鑫光智能系统有限公司 智能板材加工工厂的数据采集方法及终端
CN117278100B (zh) * 2023-09-21 2024-04-26 之江实验室 一种基于天基信息系统的业务执行方法、装置及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8990383B1 (en) * 2011-11-23 2015-03-24 Amazon Technologies, Inc. Elastic service level agreement for metrics accuracy computation
CN109298940B (zh) * 2018-09-28 2019-12-31 考拉征信服务有限公司 计算任务分配方法、装置、电子设备及计算机存储介质
CN109815011A (zh) * 2018-12-29 2019-05-28 东软集团股份有限公司 一种数据处理的方法和装置
CN111338791A (zh) * 2020-02-12 2020-06-26 平安科技（深圳）有限公司 集群队列资源的调度方法、装置、设备及存储介质

Also Published As

Publication number Publication date
WO2022057940A1 (zh) 2022-03-24

Similar Documents

Publication Publication Date Title
CN114253695A (zh) 一种计算节点资源信息更新方法、节点和存储介质
CN111427681A (zh) 边缘计算中基于资源监控的实时任务匹配调度系统和方法
US20140215484A1 (en) Managing model building components of data analysis applications
CN111768006A (zh) 一种人工智能模型的训练方法、装置、设备及存储介质
CN111813545A (zh) 一种资源配置方法、装置、介质和设备
CN112148468B (zh) 一种资源调度方法、装置、电子设备及存储介质
CN109189572B (zh) 一种资源预估方法及系统、电子设备和存储介质
CN114416352A (zh) 算力资源分配方法、装置、电子设备及储存介质
CN112540841A (zh) 任务调度的方法、装置、处理器与电子设备
KR20210094639A (ko) 리소스 스케줄링 방법 및 장치, 전자 디바이스 및 기록 매체
CN112422977A (zh) 音视频转码任务的分配方法和分配装置
CN111124644B (zh) 任务调度资源的确定方法、装置及系统
Choi et al. An enhanced data-locality-aware task scheduling algorithm for hadoop applications
CN113419846A (zh) 资源配置方法和装置、电子设备及计算机可读存储介质
CN115827250A (zh) 一种数据存储方法、装置及设备
CN117234733A (zh) 一种分布式系统任务分配方法、系统、存储介质及设备
CN115421930A (zh) 任务处理方法、系统、装置、设备及计算机可读存储介质
CN112148481B (zh) 一种执行仿真测试任务的方法、系统、设备及介质
CN115098252A (zh) 资源调度方法、设备及计算机可读介质
CN114090201A (zh) 资源调度方法、装置、设备及存储介质
CN109412973B (zh) 一种音频处理方法、装置及存储介质
CN112527482A (zh) 基于移动边缘云平台的任务管理方法及系统
CN112988383A (zh) 一种资源分配方法、装置、设备以及存储介质
CN115375208B (zh) 一种摄像头数据分析方法、装置、电子设备及存储介质
CN117376423B (zh) 一种深度学习推理服务调度方法、系统、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination