CN114741200A - 面向数据中台的计算资源分配方法、装置及电子设备 - Google Patents

面向数据中台的计算资源分配方法、装置及电子设备 Download PDF

Info

Publication number
CN114741200A
CN114741200A CN202210447909.6A CN202210447909A CN114741200A CN 114741200 A CN114741200 A CN 114741200A CN 202210447909 A CN202210447909 A CN 202210447909A CN 114741200 A CN114741200 A CN 114741200A
Authority
CN
China
Prior art keywords
computing
computing resource
resource allocation
determining
state information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210447909.6A
Other languages
English (en)
Inventor
裘洪彬
许梦晗
朱力鹏
周爱华
潘森
乔俊峰
蒋静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Smart Grid Research Institute Co ltd
State Grid Corp of China SGCC
Information and Telecommunication Branch of State Grid Jiangsu Electric Power Co Ltd
Original Assignee
State Grid Smart Grid Research Institute Co ltd
State Grid Corp of China SGCC
Information and Telecommunication Branch of State Grid Jiangsu Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Smart Grid Research Institute Co ltd, State Grid Corp of China SGCC, Information and Telecommunication Branch of State Grid Jiangsu Electric Power Co Ltd filed Critical State Grid Smart Grid Research Institute Co ltd
Priority to CN202210447909.6A priority Critical patent/CN114741200A/zh
Publication of CN114741200A publication Critical patent/CN114741200A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5011—Pool
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/502—Proximity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5021—Priority
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Abstract

本发明实施例涉及面向数据中台的计算资源分配方法、装置及电子设备，包括：接收用户的计算任务请求，并基于计算任务请求，确定计算任务类型和相应的计算资源需求量；获取计算资源池的运行基本状态信息，运行基本状态信息包括计算资源池的工作负载情况；基于运行基本状态信息、计算任务类型、计算资源需求量及预构建的计算资源分配效用模型，确定多个计算资源分配方案；基于工作负载情况和预构建的工作负载预测模型，确定计算资源池的工作负载值，并将其转换为代价向量；基于计算资源分配效用模型和代价向量，从多个计算资源分配方案中，确定最佳计算资源分配方案，并将最佳计算资源分配方案分配给计算任务请求。解决了计算资源利用率较低的问题。

Description

面向数据中台的计算资源分配方法、装置及电子设备
技术领域
本发明实施例涉及计算机技术领域，尤其涉及一种面向数据中台的计算资源分配方法、装置及电子设备。
背景技术
随着分布式能源的广泛接入，电网覆盖范围不断扩大，同时，电力生产、传输和转换等环节产生的数据也呈现着爆炸式增长趋势，传统数据管理系统与数据分析方法已不再适应大数据的管理、分析和高效利用。如何实现大数据的高效管理，已成为国内外的重点研究课题。
随着云计算和数据中台的快速发展，不同用户域的个性化需求以及云计算服务提供商的成本最小化问题相互制约，在复杂环境下研究如何智能化地分配、管理和调度各类计算资源(如CPU、内存和I/O)并提供适应不同用户需求的服务模式已成为了一个亟待解决的关键性技术问题。为了实现数据中台资源利用率和用户服务满意度的博弈平衡，一个实时动态、智能优化的计算资源调度管理方法就显得十分重要。
目前，针对于云计算系统中的资源调配问题，主要通过基于负载均衡的资源分配、基于能耗节约的资源分配、基于成本效益的资源分配等方法来解决。但上述针对云计算资源分配的研究尚停留在设定计算阈值来对资源分配进行条件约束，未能够实现计算资源的实时动态调配来满足不同用户集群的个性化需求。
可以看出，现有的计算资源调度管理方案不能够综合用户对计算资源的个性化需求以及计算服务商对计算资源的成本要求，因此，面向数据中台提出一种智能高效、实时动态的计算资源调度管理方法对数据中台计算资源调度管理领域意义重大。
发明内容
本申请提供了一种面向数据中台的计算资源分配方法、装置及电子设备，用以现有技术中解决数据中台中计算资源利用率不高的技术问题。
第一方面，本申请提供了一种面向数据中台的计算资源分配方法，该方法包括：
接收用户的计算任务请求，并基于计算任务请求，确定计算任务类型和相应的计算资源需求量；
获取计算资源池的运行基本状态信息，运行基本状态信息包括计算资源池的工作负载情况；
基于运行基本状态信息、计算任务类型、计算资源需求量及预构建的计算资源分配效用模型，确定多个计算资源分配方案；
基于工作负载情况和预构建的工作负载预测模型，确定计算资源池的工作负载值，并将工作负载值转换为代价向量；
基于计算资源分配效用模型和代价向量，从多个计算资源分配方案中，确定最佳计算资源分配方案，并将最佳计算资源分配方案分配给计算任务请求。
在一种可能的实现方式中，在确定多个计算资源分配方案前，方法还包括：
确定计算资源的剩余量不低于计算资源需求量，其中，运行基本状态信息还包括计算资源池的计算资源状态信息，计算资源状态信息包括计算资源的剩余量。
在一种可能的实现方式中，方法还包括：
当计算资源的剩余量低于计算资源需求量时，发出预警信息。
在一个示例中，预构建的计算资源分配效用模型为：
Figure BSA0000272090490000031
其中，θi，n为第i个计算任务请求选择计算资源分配方案n的效用值，
Figure BSA0000272090490000032
为第i个计算任务请求选择资源分配方案n，由计算任务类型的属性k得到的归一化效益，
Figure BSA0000272090490000033
为计算任务类型的属性k对第i个计算任务请求i的效益权值，εi，n为第i个计算任务请求选择计算资源分配方案n的代价向量。
第二方面，本申请提供了一种面向数据中台的计算资源分配装置，该装置包括：
任务请求模块，用于接收用户的计算任务请求，并基于计算任务请求，确定计算任务类型和相应的计算资源需求量；
资源监控模块，用于获取计算资源池的运行基本状态信息，运行基本状态信息包括计算资源池的工作负载情况；
资源分配模块，用于基于运行基本状态信息、计算任务类型、计算资源需求量及预构建的计算资源分配效用模型，确定多个计算资源分配方案；基于工作负载情况和预构建的工作负载预测模型，确定计算资源池的工作负载值，并将工作负载值转换为代价向量；基于计算资源分配效用模型和代价向量，从多个计算资源分配方案中，确定最佳计算资源分配方案，并将最佳计算资源分配方案分配给计算任务请求。
在一种可能的实现方式中，资源分配模块包括负载预测子模块、资源分配子模块和任务执行子模块；
资源分配子模块，用于基于运行基本状态信息、计算任务类型、计算资源需求量及预构建的计算资源分配效用模型，确定多个计算资源分配方案；
负载预测子模块，用于基于工作负载情况和预构建的工作负载预测模型，确定计算资源池的工作负载值，并将工作负载值转换为代价向量；
资源分配子模块，还用于基于计算资源分配效用模型和代价向量，从多个计算资源分配方案中，确定最佳计算资源分配方案；
任务执行子模块，用于将最佳计算资源分配方案分配给计算任务请求。
在一种可能的实现方式中，资源分配模块还用于在确定多个计算资源分配方案前，确定计算资源的剩余量不低于计算资源需求量，其中，运行基本状态信息还包括计算资源池的计算资源状态信息，计算资源状态信息包括计算资源的剩余量。
在一种可能的实现方式中，资源分配模块还包括资源预警子模块，用于当计算资源的剩余量低于计算资源需求量时，发出预警信息。
第三方面，本申请提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现如第一方面任一项实施例的面向数据中台的计算资源分配方法的步骤。
第四方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如第一方面任一项实施例的面向数据中台的计算资源分配方法的步骤。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点：
本申请实施例提供的该方法，接收用户的计算任务请求，并基于计算任务请求，确定计算任务类型和相应的计算资源需求量。获取计算资源池的运行基本状态信息，运行基本状态信息包括计算资源池的工作负载情况。基于运行基本状态信息、计算任务类型、计算资源需求量及预构建的计算资源分配效用模型，确定多个计算资源分配方案。基于工作负载情况和预构建的工作负载预测模型，确定计算资源池的工作负载值，并将工作负载值转换为代价向量。基于计算资源分配效用模型和代价向量，从多个计算资源分配方案中，确定最佳计算资源分配方案，并将最佳计算资源分配方案分配给计算任务请求。该方法是一种策略性方法，通过使用该方法可以使数据中台针对用户发起的任务请求实行动态合理的计算资源分配，确保用户请求的及时响应和计算资源的高效利用。
附图说明
图1为本发明实施例提供的一种面向数据中台的计算资源分配方法流程示意图；
图2为本发明实施例提供的一种面向数据中台的计算资源分配装置结构示意图；
图3为本发明实施例提供的一种任务请求模块的结构示意图；
图4为本发明实施例提供的一种资源监测模块结构示意图；
图5为本发明实施例提供的一种资源分配模块的结构示意图；
图6为本发明实施例提供的另一种资源分配模块的结构示意图；
图7为本发明实施例提供的另一种面向数据中台的计算资源分配方法流程示意图；
图8为本发明实施例提供的另一种面向数据中台的计算资源分配装置结构示意图；
图9为本发明实施例提供的一种电子设备结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为便于对本发明实施例的理解，下面将结合附图以具体实施例做进一步的解释说明，实施例并不构成对本发明实施例的限定。
针对背景技术中所提及的技术问题，本申请实施例提供了一种面向数据中台的计算资源分配方法。主要考虑两方面的问题：(1)如何量化计算资源的效用模型，根据计算资源池的现有资源为当前计算任务分配效用值最高的计算方案；(2)如何预测计算资源池的工作负载值，做到对用户的计算任务请求的提前响应和预先调配。具体的执行过程，还需要参见图1所示的方法流程示意图。图1为本发明实施例提供的一种面向数据中台的计算资源分配方法流程示意图，该方法步骤包括：
步骤110，接收用户的计算任务请求，并基于计算任务请求，确定计算任务类型和相应的计算资源需求量。
在接收到用户的计算任务请求时，根据计算任务请求优先级在任务排队序列等待计算资源池分配计算资源来执行任务。然后根据计算任务请求，确定该用户的计算任务类型和该计算任务请求对应的计算资源需求量(包括CPU、内存、IO等计算资源)。
在一个示例中，通过接收到的计算任务请求的先后顺序确定计算任务请求的优先级，或是通过接收的计算任务请求的重要程度来确定计算任务请求的优先级。
步骤120，获取计算资源池的运行基本状态信息，运行基本状态信息包括计算资源池的工作负载情况。
具体的，计算资源池的运行基本状态信息包括计算资源池的计算资源状态信息(如CPU、内存和IO的利用率和可支配量)、计算资源池的工作负载情况和计算任务执行情况。其中，计算资源状态信息又包括计算资源的利用情况和计算资源的剩余量，而计算资源的剩余量又称之为计算资源可支配量或可支配的计算资源量。
在一个示例中，该方法具有预警机制，确定计算资源的剩余量不低于计算资源需求量，则执行步骤130，而当计算资源的剩余量低于计算资源需求量时，发出预警信息，并重新进入任务排队序列等待。除此之外，当发生异常情况时也会及时给出预警信息，如工作负载值过高，或服务器带宽沾满等。此处介绍的两种预警情况，可同时发生也可单独发生，这里不详细赘述。
步骤130，基于运行基本状态信息、计算任务类型、计算资源需求量及预构建的计算资源分配效用模型，确定多个计算资源分配方案。
具体的，预构建的计算资源分配效用模型为：
Figure BSA0000272090490000071
其中，θi，n为第i个计算任务请求选择计算资源分配方案n的效用值，
Figure BSA0000272090490000072
为第i个计算任务请求选择资源分配方案n，由计算任务类型的属性k得到的归一化效益，
Figure BSA0000272090490000073
为计算任务类型的属性k对第i个计算任务请求i的效益权值，εi，n为第i个计算任务请求选择计算资源分配方案n的代价向量。
根据上述预构建的计算资源分配效用模型，针对用户的个性化计算任务请求给出多个可选的计算资源分配方案，此处的个性化计算任务请求是指，不同用户或同一个用户的不同计算任务请求。
步骤140，基于工作负载情况和预构建的工作负载预测模型，确定计算资源池的工作负载值，并将工作负载值转换为代价向量。
具体的，基于当前计算资源池的工作负载情况和预构建的工作负载预测模型，确定未来计算资源池的工作负载中，并将其转换为代价向量。
在一个示例中，通过历史负载数据并基于深度学习预训练一个工作负载预测模型，并根据当前队列中的工作负载情况进行工作负载值的预测，具体的，其中，输入数据为数据中台的管理控制终端每间隔预设时间段内计算任务请求数量的一维数组，然后使用卷积层提取工作负载数据的数据特征，接着由池化层对提取的数据特征进行聚合降维去冗余以提取主要特征，最终将主要特征输出至长短期记忆层以输出预测的工作负载值。
需要说明的是，步骤130和步骤140，可以根据实际情况，执行顺序可变动，也可先执行步骤140，后执行步骤130。
步骤150，基于计算资源分配效用模型和代价向量，从多个计算资源分配方案中，确定最佳计算资源分配方案，并将最佳计算资源分配方案分配给计算任务请求。
根据上述步骤获得的计算资源分配效用模型和代价向量，从多个计算资源分配方案中，确定计算任务分配效益值最高的计算资源，作为最佳计算资源分配方案，并将其分配给相应的计算任务请求。
本发明实施例提供的一种面向数据中台的计算资源分配方法，接收用户的计算任务请求，并基于计算任务请求，确定计算任务类型和相应的计算资源需求量。获取计算资源池的运行基本状态信息，运行基本状态信息包括计算资源池的工作负载情况。基于运行基本状态信息、计算任务类型、计算资源需求量及预构建的计算资源分配效用模型，确定多个计算资源分配方案。基于工作负载情况和预构建的工作负载预测模型，确定计算资源池的工作负载值，并将工作负载值转换为代价向量。基于计算资源分配效用模型和代价向量，从多个计算资源分配方案中，确定最佳计算资源分配方案，并将最佳计算资源分配方案分配给计算任务请求。该方法是一种策略性方法，通过使用该方法可以使数据中台针对用户发起的任务请求实行动态合理的计算资源分配，确保用户请求的及时响应和计算资源的高效利用。
以上，为本申请所提供的面向数据中台的计算资源分配方法实施例，下文中则介绍说明本申请所提供的面向数据中台的计算资源分配装置的实施例，具体参见如下。
图2为本发明实施例提供的一种面向数据中台的计算资源分配装置结构示意图，该装置包括：任务请求模块201、资源监控模块202和资源分配模块203。
任务请求模块201，用于接收用户的计算任务请求，并基于计算任务请求，确定计算任务类型和相应的计算资源需求量。
资源监控模块202，用于获取计算资源池的运行基本状态信息，运行基本状态信息包括计算资源池的工作负载情况。
资源分配模块203，用于基于运行基本状态信息、计算任务类型、计算资源需求量及预构建的计算资源分配效用模型，确定多个计算资源分配方案；基于工作负载情况和预构建的工作负载预测模型，确定计算资源池的工作负载值，并将工作负载值转换为代价向量；基于计算资源分配效用模型和代价向量，从多个计算资源分配方案中，确定最佳计算资源分配方案，并将最佳计算资源分配方案分配给计算任务请求。
在一个示例中，图3为本发明实施例提供的一种任务请求模块的结构示意图，如图3所示，任务请求模块201包括任务监测子模块2011与任务分析子模块2012。其中，
任务监测子模块2011，用于获取用户的计算任务请求。
任务分析子模块，用于根据计算任务请求，确定计算任务类型和相应的计算资源需求量2012。
具体的，任务检测子模块2011用于对用户提供接口，确保用户能够向数据中台提起计算任务请求，并能够被数据中台及时接收，以分配计算资源。而任务分析子模块2012用于分析用户发起的计算任务类型，并评估其所需要的计算资源。
在一个示例中，图4为本发明实施例提供的一种资源监测模块的结构示意图，如图4所示，资源监测模块202包括计算资源监测子模块2021、工作负载监测子模块2022及任务服务监测子模块2023。其中，
计算资源监测子模块2021，用于监测数据中台计算资源池的计算资源状态信息。
工作负载监测子模块2022，用于监测数据中台计算资源池的工作负载情况。
任务服务监测子模块2023，用于监测数据中台计算资源池中不同用户发起的计算请求执行情况。
图5为本发明实施例提供的一种资源分配模块的结构示意图，如图5所示，资源分配模块203包括负载预测子模块2031、资源分配子模块2032和任务执行子模块2033。
资源分配子模块2032，用于基于运行基本状态信息、计算任务类型、计算资源需求量及预构建的计算资源分配效用模型，确定多个计算资源分配方案。
负载预测子模块2031，用于基于工作负载情况和预构建的工作负载预测模型，确定计算资源池的工作负载值，并将工作负载值转换为代价向量；基于计算资源分配效用模型和代价向量。
资源分配子模块2032，还用于基于计算资源分配效用模型和代价向量，从多个计算资源分配方案中，确定最佳计算资源分配方案。
任务执行子模块2033，用于将最佳计算资源分配方案分配给计算任务请求。
在一个示例中，资源分配模块203还用于在确定多个计算资源分配方案前，确定计算资源的剩余量不低于计算资源需求量，其中，运行基本状态信息还包括计算资源池的计算资源状态信息，计算资源状态信息包括计算资源的剩余量。
在一个示例中，图6为本发明实施例提供的另一种资源分配模块的结构示意图，如图6所所示，资源分配模块还包括资源预警子模块2034，用于当计算资源的剩余量低于计算资源需求量时，发出预警信息。
本发明实施例提供的面向数据中台的计算资源分配装置中各部件所执行的功能均已在上述任一方法实施例中做了详细的描述，因此这里不再赘述。
本申请实施例提供的面向数据中台的计算资源分配装置，接收用户的计算任务请求，并基于计算任务请求，确定计算任务类型和相应的计算资源需求量。获取计算资源池的运行基本状态信息，运行基本状态信息包括计算资源池的工作负载情况。基于运行基本状态信息、计算任务类型、计算资源需求量及预构建的计算资源分配效用模型，确定多个计算资源分配方案。基于工作负载情况和预构建的工作负载预测模型，确定计算资源池的工作负载值，并将工作负载值转换为代价向量。基于计算资源分配效用模型和代价向量，从多个计算资源分配方案中，确定最佳计算资源分配方案，并将最佳计算资源分配方案分配给计算任务请求。该方法是一种策略性方法，通过使用该方法可以使数据中台针对用户发起的任务请求实行动态合理的计算资源分配，确保用户请求的及时响应和计算资源的高效利用。
在一个具体实施例方式中，图7为本发明实施例提供的另一种面向数据中台的计算资源分配方法流程示意图，图8为本发明实施例提供的另一种面向数据中台的计算资源分配装置结构示意图，图7中的方法应用于如图7所示的装置中，结合图7和图8所示，该方法包括以下步骤：
步骤1，任务请求模块201接收用户发起的计算任务请求，然后将其在任务排队序列等待计算资源池分配资源来执行任务，进入步骤2；
步骤2，任务监测子模块2011监测到用户的计算任务请求后，将其按序排队转发至任务分析子模块2012，进入步骤3；
步骤3，任务分析子模块2012收到用户发出的计算任务请求后，判断计算任务类型，并分析其所需要的计算资源，处理完毕后转发给资源分配管理模块203，进入步骤4；
步骤4，资源分配管理模块203收到计算任务及其所需的计算资源后，通过资源监测模块202提供的接口获取目前计算资源池的运行基本状态，进入步骤5；
步骤5，如果计算资源需求量大于计算资源的剩余值，则资源预警子模块2034向数据中台的管理控制终端提起预警信息，进入步骤2，否则进入步骤6；
步骤6，资源监测模块202收到资源分配管理模块203的请求后，将计算资源监测子模块2021、工作负载监测子模块2022及任务服务监测子模块2023所采集到的实时状态数据，即计算资源池的运行基本状态信息(包括计算资源池的计算资源利用情况及计算资源可支配量、工作负载情况、计算任务执行情况)回传给资源分配管理模块203，进入步骤7；
步骤7，资源分配管理模块203收到计算资源状态信息(包括计算资源池的计算资源利用情况及计算资源可支配量)、工作负载情况和任务执行情况后，根据当前任务请求所需要的计算资源调用资源分配子模块2032，进入步骤8；
步骤8，资源分配子模块2032根据资源分配效用模型
Figure BSA0000272090490000121
为当前计算任务请求给出多个可选的计算资源分配方案，其中，θi，n为第i个计算任务请求选择计算资源分配方案n的效用值，
Figure BSA0000272090490000122
为第i个计算任务请求选择资源分配方案n，由计算任务类型的属性k得到的归一化效益，
Figure BSA0000272090490000123
为计算任务类型的属性k对第i个计算任务请求i的效益权值，εi，n为第i个计算任务请求选择计算资源分配方案n的代价向量，为进入步骤9；
步骤9，负载预测子模块2031通过历史负载数据并基于长短时记忆神经网络训练一个工作负载预测模型，并根据当前队列中的工作负载情况进行预测，其中，输入数据为数据中台的管理控制终端间隔预设时间段内的计算任务请求数量的一维数组，然后使用卷积层提取工作负载数据的数据特征，接着由池化层对提取的数据特征进行聚合降维去冗余以提取主要特征，最终将主要特征输出至长短期记忆层，以输出预测的工作负载值，进入步骤10；
步骤10，负载预测子模块2031将预测的工作负载值转换为代价向量εi，n，进入步骤11；
步骤11，资源分配子模块2032根据资源分配效用模型和预测的工作负载值，选出效益值最高的计算资源分配方案，并回传给资源分配管理模块203，进入步骤12；
步骤12，计算资源分配管理模块203根据资源分配子模块2032返回的最优计算资源分配方案，调用任务执行子模块2033为用户计算任务分配效益值最高的计算资源(包括CPU、内存和IO等)，进入步骤13；
步骤13：循环结束。
通过本发明提供的方法，实现了用户对计算资源的个性化需求，提高了计算资源利用率，完成了计算资源管控系统对计算任务的提前感知和预先响应。
如图9所示，本申请实施例提供了一种云平台服务器，包括处理器111、通信接口112、存储器113和通信总线114，其中，处理器111，通信接口112，存储器113通过通信总线114完成相互间的通信。
存储器113，用于存放计算机程序；
在本申请一个实施例中，处理器111，用于执行存储器113上所存放的程序时，实现前述任意一个方法实施例提供的面向数据中台的计算资源分配方法，包括：
接收用户的计算任务请求，并基于计算任务请求，确定计算任务类型和相应的计算资源需求量；
获取计算资源池的运行基本状态信息，运行基本状态信息包括计算资源池的工作负载情况；
基于运行基本状态信息、计算任务类型、计算资源需求量及预构建的计算资源分配效用模型，确定多个计算资源分配方案；
基于工作负载情况和预构建的工作负载预测模型，确定计算资源池的工作负载值，并将工作负载值转换为代价向量；
基于计算资源分配效用模型和代价向量，从多个计算资源分配方案中，确定最佳计算资源分配方案，并将最佳计算资源分配方案分配给计算任务请求。
在一个示例中，在确定多个计算资源分配方案前，方法还包括：
确定计算资源的剩余量不低于计算资源需求量，其中，运行基本状态信息还包括计算资源池的计算资源状态信息，计算资源状态信息包括计算资源的剩余量。
在一个示例中，方法还包括：
当计算资源的剩余量低于计算资源需求量时，发出预警信息。
在一个示例中，预构建的计算资源分配效用模型为：
Figure BSA0000272090490000141
其中，θi，n为第i个计算任务请求选择计算资源分配方案n的效用值，
Figure BSA0000272090490000142
为第i个计算任务请求选择资源分配方案n，由计算任务类型的属性k得到的归一化效益，
Figure BSA0000272090490000143
为计算任务类型的属性k对第i个计算任务请求i的效益权值，εi，n为第i个计算任务请求选择计算资源分配方案n的代价向量。
本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如前述任意一个方法实施例提供的面向数据中台的计算资源分配方法，包括：
接收用户的计算任务请求，并基于计算任务请求，确定计算任务类型和相应的计算资源需求量；
获取计算资源池的运行基本状态信息，运行基本状态信息包括计算资源池的工作负载情况；
基于运行基本状态信息、计算任务类型、计算资源需求量及预构建的计算资源分配效用模型，确定多个计算资源分配方案；
基于工作负载情况和预构建的工作负载预测模型，确定计算资源池的工作负载值，并将工作负载值转换为代价向量；
基于计算资源分配效用模型和代价向量，从多个计算资源分配方案中，确定最佳计算资源分配方案，并将最佳计算资源分配方案分配给计算任务请求。
在一个示例中，在确定多个计算资源分配方案前，方法还包括：
确定计算资源的剩余量不低于计算资源需求量，其中，运行基本状态信息还包括计算资源池的计算资源状态信息，计算资源状态信息包括计算资源的剩余量。
在一个示例中，方法还包括：
当计算资源的剩余量低于计算资源需求量时，发出预警信息。
在一个示例中，预构建的计算资源分配效用模型为：
Figure BSA0000272090490000151
其中，θi，n为第i个计算任务请求选择计算资源分配方案n的效用值，
Figure BSA0000272090490000152
为第i个计算任务请求选择资源分配方案n，由计算任务类型的属性k得到的归一化效益，
Figure BSA0000272090490000153
为计算任务类型的属性k对第i个计算任务请求i的效益权值，εi，n为第i个计算任务请求选择计算资源分配方案n的代价向量。
专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.面向数据中台的计算资源分配方法，其特征在于，所述方法包括：
接收用户的计算任务请求，并基于所述计算任务请求，确定计算任务类型和相应的计算资源需求量；
获取计算资源池的运行基本状态信息，所述运行基本状态信息包括所述计算资源池的工作负载情况；
基于所述运行基本状态信息、所述计算任务类型、所述计算资源需求量及预构建的计算资源分配效用模型，确定多个计算资源分配方案；
基于所述工作负载情况和预构建的工作负载预测模型，确定所述计算资源池的工作负载值，并将所述工作负载值转换为代价向量；
基于所述计算资源分配效用模型和所述代价向量，从所述多个计算资源分配方案中，确定最佳计算资源分配方案，并将所述最佳计算资源分配方案分配给所述计算任务请求。
2.根据权利要求1所述的方法，其特征在于，在确定多个计算资源分配方案前，所述方法还包括：
确定所述计算资源的剩余量不低于所述计算资源需求量，其中，所述运行基本状态信息还包括所述计算资源池的计算资源状态信息，所述计算资源状态信息包括计算资源的剩余量。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
当所述计算资源的剩余量低于所述计算资源需求量时，发出预警信息。
4.根据权利要求1所述的方法，其特征在于，所述预构建的计算资源分配效用模型为：
Figure FSA0000272090480000011
其中，θi，n为第i个计算任务请求选择计算资源分配方案n的效用值，
Figure FSA0000272090480000012
为第i个计算任务请求选择资源分配方案n，由计算任务类型的属性k得到的归一化效益，
Figure FSA0000272090480000021
为计算任务类型的属性k对第i个计算任务请求i的效益权值，εi，n为第i个计算任务请求选择计算资源分配方案n的代价向量。
5.面向数据中台的计算资源分配装置，其特征在于，所述装置包括：
任务请求模块，用于接收用户的计算任务请求，并基于所述计算任务请求，确定计算任务类型和相应的计算资源需求量；
资源监控模块，用于获取计算资源池的运行基本状态信息，所述运行基本状态信息包括所述计算资源池的工作负载情况；
资源分配模块，用于基于所述运行基本状态信息、所述计算任务类型、所述计算资源需求量及预构建的计算资源分配效用模型，确定多个计算资源分配方案；基于所述工作负载情况和预构建的工作负载预测模型，确定所述计算资源池的工作负载值，并将所述工作负载值转换为代价向量；基于所述计算资源分配效用模型和所述代价向量，从所述多个计算资源分配方案中，确定最佳计算资源分配方案，并将所述最佳计算资源分配方案分配给所述计算任务请求。
6.根据权利要求5所述的装置，其特征在于，所述资源分配模块包括负载预测子模块、资源分配子模块和任务执行子模块；
所述资源分配子模块，用于基于所述运行基本状态信息、所述计算任务类型、所述计算资源需求量及预构建的计算资源分配效用模型，确定多个计算资源分配方案；
所述负载预测子模块，用于基于所述工作负载情况和预构建的工作负载预测模型，确定所述计算资源池的工作负载值，并将所述工作负载值转换为代价向量；
所述资源分配子模块，还用于基于所述计算资源分配效用模型和所述代价向量，从所述多个计算资源分配方案中，确定最佳计算资源分配方案；
所述任务执行子模块，用于将所述最佳计算资源分配方案分配给所述计算任务请求。
7.根据权利要求5所述的装置，其特征在于，所述资源分配模块还用于在确定多个计算资源分配方案前，确定所述计算资源的剩余量不低于所述计算资源需求量，其中，所述运行基本状态信息还包括所述计算资源池的计算资源状态信息，所述计算资源状态信息包括计算资源的剩余量。
8.根据权利要求7所述的装置，其特征在于，所述资源分配模块还包括资源预警子模块，用于当所述计算资源的剩余量低于所述计算资源需求量时，发出预警信息。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现如权利要求1-4任一项所述的面向数据中台的计算资源分配方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-4任一项所述的面向数据中台的计算资源分配方法的步骤。
CN202210447909.6A 2022-04-27 2022-04-27 面向数据中台的计算资源分配方法、装置及电子设备 Pending CN114741200A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210447909.6A CN114741200A (zh) 2022-04-27 2022-04-27 面向数据中台的计算资源分配方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210447909.6A CN114741200A (zh) 2022-04-27 2022-04-27 面向数据中台的计算资源分配方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN114741200A true CN114741200A (zh) 2022-07-12

Family

ID=82283727

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210447909.6A Pending CN114741200A (zh) 2022-04-27 2022-04-27 面向数据中台的计算资源分配方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN114741200A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117076133A (zh) * 2023-10-13 2023-11-17 深圳云天畅想信息科技有限公司 云游戏平台异构资源分配方法、计算机装置及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117076133A (zh) * 2023-10-13 2023-11-17 深圳云天畅想信息科技有限公司 云游戏平台异构资源分配方法、计算机装置及存储介质
CN117076133B (zh) * 2023-10-13 2024-01-26 深圳云天畅想信息科技有限公司 云游戏平台异构资源分配方法、计算机装置及存储介质

Similar Documents

Publication Publication Date Title
Yin et al. Tasks scheduling and resource allocation in fog computing based on containers for smart manufacturing
CN108509276B (zh) 一种边缘计算环境中的视频任务动态迁移方法
WO2022257347A1 (zh) 一种容器云弹性伸缩的方法及集群服务器
WO2021159638A1 (zh) 集群队列资源的调度方法、装置、设备及存储介质
CN110231976B (zh) 一种基于负载预测的边缘计算平台容器部署方法及系统
CN104991830A (zh) 基于服务等级协议的yarn资源分配和节能调度方法及系统
CN112000388B (zh) 基于多边缘集群协同的并发任务调度方法及装置
CN107370799B (zh) 一种混合移动云环境中高能效的多用户在线计算迁移方法
CN104375897A (zh) 基于最小相对负载不均衡度的云计算资源调度方法
CN112261120B (zh) 一种配电物联网云边协同任务卸载方法及装置
CN103699433A (zh) 一种于Hadoop平台中动态调整任务数目的方法及系统
CN108711007A (zh) 一种能源一体化采集系统的多任务实时调度方法
Li et al. Resource scheduling based on improved spectral clustering algorithm in edge computing
CN102339233A (zh) 云计算集中管理平台
CN113918240A (zh) 任务卸载方法及装置
CN114579270A (zh) 一种基于资源需求预测的任务调度方法及系统
CN108132840B (zh) 一种分布式系统中的资源调度方法及装置
CN113961264A (zh) 一种面向视频监控云边协同的智能卸载算法与系统
CN114780244A (zh) 容器云资源弹性分配方法、装置、计算机设备及介质
CN115629865A (zh) 一种基于边缘计算的深度学习推理任务调度方法
CN114741200A (zh) 面向数据中台的计算资源分配方法、装置及电子设备
CN114327811A (zh) 一种任务调度方法、装置、设备及可读存储介质
CN116402318B (zh) 面向配电网的多级算力资源分配方法、装置及网络架构
CN116643844B (zh) 面向电力超算云资源自动扩展的智能化管理系统及方法
CN110928659B (zh) 一种具有自适应功能的数值水池系统远程多平台接入方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination