CN106681826B - 丛集运算架构的资源规划方法、系统及装置 - Google Patents
丛集运算架构的资源规划方法、系统及装置 Download PDFInfo
- Publication number
- CN106681826B CN106681826B CN201510788437.0A CN201510788437A CN106681826B CN 106681826 B CN106681826 B CN 106681826B CN 201510788437 A CN201510788437 A CN 201510788437A CN 106681826 B CN106681826 B CN 106681826B
- Authority
- CN
- China
- Prior art keywords
- node device
- resource
- main controlled
- resource planning
- proposed projects
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000007613 environmental effect Effects 0.000 claims description 13
- 230000011218 segmentation Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 4
- 208000033748 Device issues Diseases 0.000 claims 1
- 238000013468 resource allocation Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5066—Algorithms for mapping a plurality of inter-dependent sub-tasks onto a plurality of physical CPUs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/24569—Query processing with adaptation to specific hardware, e.g. adapted for using GPUs or SSDs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Control By Computers (AREA)
Abstract
一种丛集运算架构的资源规划方法、系统及装置。资源规划装置基于所选择的待训练平台及其对应的设定值以及演算法特征,建立多个训练模型,使得主控节点装置依据各训练模型来进行运算,而获得运算时间,并且将各训练模型对应的运算时间储存至建议方案数据库。之后,依据选定的任务条件以及期望总工作时间,自建议方案数据库中获得建议方案,使得主控节点装置依据建议方案来决定丛集运算架构的硬件资源配置。通过实施本发明,可经由资源规划装置来对丛集运算架构进行训练,并建立建议方案数据库,藉以来即时提供最佳的硬件资源规划。
Description
技术领域
本发明是有关于一种资源规划机制,且特别是有关于一种丛集运算架构的资源规划方法、系统及装置。
背景技术
对于大数据(big data)时代的来临,如何储存、处理、分析巨量数据已经成为各大企业迫切需要解决的问题。目前常见的处理方式为通过丛集运算架构来解决储存空间的扩充以及计算能力的提升。而目前常见的Spark平台、Hadoop平台等丛集运算架构一般是根据使用者设定好的硬件资源限制下,根据任务优先顺序与权重来进行资源分配来运作。然而,目前使用者只能尽可能提供最多的硬件资源交给Spark平台或Hadoop平台来分配,并没有一套可依循的建议方法提供给使用者参考。
发明内容
本发明提供一种丛集运算架构的资源规划方法、系统及装置,可即时提供最佳的硬件资源规划。
本发明的丛集运算架构的资源规划方法,包括提供资源规划装置来建立一建议方案数据库至主控节点装置,其中建议方案数据库储存了用以部署一丛集运算架构的信息。上述由资源规划装置来建立建议方案数据库的步骤包括:依据所选择的待训练平台,自对应于待训练平台的设定档中,撷取出至少一设定值,并且撷取待训练平台所使用的至少一演算法特征,其中待训练平台为多个软件框架中的一个;基于上述设定值以及演算法特征建立至少一训练模型,并传送这些训练模型至主控节点装置,使得主控节点装置依据各训练模型来进行运算,而获得运算时间;以及自主控节点装置接收运算时间,并传送各训练模型对应的运算时间至建议方案数据库。之后,依据选定的任务条件以及期望总工作时间,通过资源规划装置自建议方案数据库中获得建议方案,而传送建议方案至主控节点装置,使得主控节点装置依据建议方案来决定丛集运算架构的硬件资源配置。
在本发明的一实施例中,上述资源规划方法,更包括:资源规划装置通过网络连线至主控节点装置,以查询主控节点装置中的影响因子数据库以及演算法数据库,其中影响因子数据库储存各种软件框架的设定档,演算法数据库储存多个演算法特征。
在本发明的一实施例中,上述设定值包括工作节点数量、工作节点资源配置、分析数据笔数、以及环境参数条件其中一个或其组合。演算法特征包括演算法、任务数量以及任务分割笔数其中一个或其组合。任务条件包括其中一个软件框架、分析数据笔数、环境参数条件、演算法、任务数量以及任务分割笔数其中一个或其组合。上述设定值可以为数值区间。
在本发明的一实施例中,上述资源规划方法更包括:在选定任务条件以及期望总工作时间之后,若在建议方案数据库中不存在对应的建议方案,则资源规划装置依据选定的任务条件,针对工作节点数量以及工作节点资源配置来重新进行训练,而自主控节点装置获得对应的运算时间,并储存至建议方案数据库。
在本发明的一实施例中,上述资源规划方法更包括:主控节点装置依据各训练模型来进行多次运算,而将多次运算所获得的时间平均值作为对应的运算时间。
在本发明的一实施例中,传送建议方案至主控节点装置使得主控节点装置依据建议方案来决定丛集运算架构的硬件资源配置的步骤,更包括:通过主控节点装置判断丛集运算架构下所包括的工作节点数量是否少于建议方案所包括的建议数量,以及判断丛集运算架构下所包括的工作节点硬件资源是否低于建议方案所包括的资源需求。在判定工作节点数量少于建议数量或工作节点硬件资源低于资源需求时,通过主控节点装置发出提示信息,以依据一指令来额外指派符合建议方案的工作节点装置至丛集运算架构。在判定工作节点数量未少于建议数量且工作节点硬件资源未低于资源需求时,通过主控节点装置来部属符合建议数量的工作节点装置各自的硬件资源配置。
本发明的资源规划系统,包括主控节点装置以及资源规划装置。主控节点装置用以分配丛集运算架构下的多个工作节点装置的硬件资源配置。资源规划装置通过网络与主控节点装置沟通,其中资源规划装置包括控制器。控制器依据所选择的待训练平台,自对应于待训练平台的设定档中,撷取出至少一设定值,并且撷取待训练平台所使用的至少一演算法特征,其中待训练平台为多个软件框架中的一个。控制器基于上述设定值以及演算法特征建立至少一训练模型,并传送上述训练模型至主控节点装置,使得主控节点装置依据各训练模型来进行运算,而获得运算时间。并且,控制器自主控节点装置接收运算时间,并储存各训练模型对应的运算时间至建议方案数据库中。控制器依据选定的任务条件以及期望总工作时间,自建议方案数据库中获得建议方案,而传送建议方案至主控节点装置,使得主控节点装置依据建议方案来决定丛集运算架构的硬件资源配置。
本发明的资源规划装置,包括储存单元以及控制器。储存单元包括影响因子数据库、演算法数据库及建议方案数据库。影响因子数据库用以储存多个软件框架各自的设定档。演算法数据库用以储存多个演算法特征。控制器耦接至储存单元,并且负责分配丛集运算架构下的多个工作节点装置的硬件资源配置。控制器依据自上述软件框架中所选择的一待训练平台,自对应于待训练平台的设定档中,撷取出至少一设定值,并且撷取待训练平台所使用的至少一演算法特征,基于上述设定值以及演算法特征建立至少一训练模型,并且在依据各训练模型来进行运算,而获得运算时间之后,将各训练模型对应的运算时间储存至建议方案数据库。控制器依据选定的任务条件以及期望总工作时间,自建议方案数据库中获得建议方案,并且,控制器依据建议方案来决定丛集运算架构的硬件资源配置。
基于上述,经由资源规划装置来对丛集运算架构进行训练,并建立建议方案数据库,藉以来即时提供最佳的硬件资源规划。
为让本发明的上述特征和优点能更明显易懂,下文特举实施例,并配合所附图式作详细说明如下。
附图说明
图1是依照本发明一实施例的资源规划系统的方块图。
图2是依照本发明一实施例的丛集运算架构的资源规划方法流程图。
图3是依照本发明一实施例的资源规划装置的方块图。
附图标号
100:资源规划系统
110、310:资源规划装置
111、311:控制器
120:主控节点装置
121:影响因子数据库
122:演算法数据库
123:建议方案数据库
S205~S220:丛集运算架构的资源规划方法各步骤
具体实施方式
图1是依照本发明一实施例的资源规划系统的方块图。请参照图1,资源规划系统100包括资源规划装置110以及主控节点装置120。
资源规划装置110例如为服务器、个人电脑、笔记本电脑、平板电脑、智能型手机等具有运算能力的电子装置。资源规划装置110包括控制器111。控制器111例如为中央处理单元(Central Processing Unit,CPU)、可程序化的微处理器(Microprocessor)、嵌入式控制芯片、数字信号处理器(Digital Signal Processor,DSP)、特殊应用集成电路(Application Specific Integrated Circuits,ASIC)或其他类似装置。
并且,资源规划装置110还具有一储存单元(可以是存储器或固件芯片),以储存一个或多个程序码片段。上述程序码片段在被安装后,会由控制器111来执行,进而实现丛集运算(cluster computing)架构的资源规划方法。
丛集运算架构例如为采用Hadoop、Spark、Storm等软件框架(softwareframework)的架构。在丛集运算架构中一台主机(或服务器)通常称为节点,可将任务分配到不同的节点而提高计算能力。例如,先拆解任务,分工处理再汇总结果。在丛集运算架构中,依照用途可以将这些节点分为主控(master)节点装置120以及工作(worker)节点装置。主控节点装置120用以分配丛集运算架构下的工作节点装置的硬件资源配置,并且分配任务至工作节点装置。而工作节点装置则负责执行任务。
在此,丛集运算架构下的工作节点数量可以为0或大于0的整数。当主控节点装置120判定工作节点装置的数量不足或是工作节点装置的硬件资源过低,则主控节点装置120可发出一提示信息来通知使用者新增工作节点装置,或者以高硬件资源的工作节点装置来替换低硬件资源的工作节点装置。
在此,主控节点装置120中事先内建有影响因子数据库121及演算法数据库122。而建议方案数据库123用来储存用以部署丛集运算架构的信息,其是通过资源规划装置110而建立。即,资源规划装置110通过网络与主控节点装置120沟通,以自影响因子数据库121及演算法数据库122撷取出需要的信息来建立建议方案数据库123。在建立建议方案数据库123时,存入的建议方案可与影响因子数据库121及演算法数据库122内对应的数据相互关联。
在资源规划装置110中,通过控制器111自多个软件框架中选定一个来作为待训练平台,并且建立多个训练模型来对待训练平台进行训练,藉以在主控节点装置120中建立建议方案数据库123。底下即搭配上述资源规划系统100来说明丛集运算架构的资源规划方法各步骤。
图2是依照本发明一实施例的丛集运算架构的资源规划方法流程图。请同时参照图1及图2,在步骤S205中,控制器111依据所选择的待训练平台,自对应于待训练平台的设定档中,撷取出会影响待训练平台的执行速度的一个或多个设定值,并且撷取待训练平台所使用的一个或多个演算法特征。控制器111会自多个软件框架(例如Hadoop平台、Spark平台、Storm平台等)中选定一个来作为待训练平台。
具体而言,控制器111在选定待训练平台之后,通过通讯单元连线至主控节点装置120,以查询影响因子数据库121来获得待训练平台对应的工作节点数量、工作节点资源配置(包括各工作节点装置的CPU核心数、存储器空间等)、分析数据笔数以及环境参数条件等设定值。上述环境参数条件包括所使用的计算模型及特定参数等。计算模型例如为平行运算或分散式运算。不同的计算模型所需要的运算时间会不同。特定参数包括执行器(executor)的数量、“spark.dynamicAllocation”是否使能、“shuffle”是否启用、“heartbeat”是否逾时等。
并且,控制器111查询演算法数据库122来获得待训练平台所使用的演算法(例如为最近邻居(k-nearest neighbors,KNN)演算法),并且获得此演算法所执行的任务数量以及任务分割笔数。
接着,在步骤S210中,控制器111基于上述所获得的设定值以及演算法特征来建立一个或多个训练模型,并传送上述训练模型至主控节点装置120,使得主控节点装置120依据各训练模型来进行运算,而获得运算时间。例如,可由控制器111依据所获得的设定值以及演算法特征,自动产生训练模型,或者可由使用者在上述设定值与演算法特征中自行选择来产生训练模型。并且,控制器111还可针对特定的条件来产生训练模型。例如,针对工作节点数量而言,设定一个数值范围,例如为1~5。进而,控制器111固定其他设定值与演算法特征,而以工作节点数量分别为1~5,依次来建立多个训练模型。据此,可获得在相同的环境下,对应于不同工作节点数量的运算时间。
另外,可根据各工作节点装置实际所能使用的硬件资源来设定数值范围。举例来说,假设目前各工作节点装置能够使用的CPU数量有6个,则控制器111可以针对在每个工作节点装置的CPU数量从1到6个的情况下,分别获得主控节点装置120进行运算所需的运算时间。
控制器111将训练模型(包括:工作节点数量、工作节点资源配置、分析数据笔数、环境参数条件、演算法、任务数量以及任务分割笔数)传送至主控节点装置120后,主控节点装置120根据训练模型来决定丛集运算架构的硬件资源配置,并且实际执行以获得对应的运算时间。此外,主控节点装置120还会依据各训练模型来进行多次运算,而将多次运算所获得的时间平均值作为对应的运算时间。主控节点装置120可以利用闲置的时间来基于训练模型进行运算。
而主控节点装置120还可利用机器学习来建立建议方案数据库123。例如,根据各待训练平台(例如Hadoop平台、Spark平台、Storm平台等)的内的设定档,厘清会影响到巨量数据的分析时间长短的因子,例如:是否分散运算、是否为MapReduce架构、每个执行器占用多少存储器空间与CPU占用率、每个任务分成几个执行器来执行运算等等,接着归纳整理这些设定档的参数设定档与栏位,最后针对所整理出来的参数栏位,订立各区间的学习追踪的参考值。然后,将此参考值对照所接收的训练模型,即,工作节点数量、工作节点资源配置(包含存储器空间、CPU数量等)、使用什么演算法、环境参数条件、分析数据笔数、任务数量以及任务分割笔数等,且根据上述各项数据,对照实际的分析总时间,经由机器学习推论,即可产生出一对照表。
使用者在实际分配硬件资源时,就可以依据对照表,对照打算使用的演算法、数据大小以及欲完成的时间(期望总工作时间),得知适当的硬件资源配置的建议方案。
另外,主控节点装置120也可以在目前系统环境设定下,以工作节点装置的CPU数量从1到6个分别跑出6个完成运算的运算时间,并将目前系统环境设定、CPU数量及对应的运算时间记录至建议方案数据库123。
之后,在步骤S215中,控制器111自主控节点装置120接收运算时间,并传送训练模型对应的运算时间至建议方案数据库123。而在建议方案数据库123中的运算时间与影响因子数据库121及演算法数据库122内对应的数据相互关联。例如,控制器111会对运算时间与其对应的训练模型所包括的所有条件(包括:存在于影响因子数据库121的环境参数条件以及存在于演算法数据库122的演算法特征)建立一关联性。
在建立了建议方案数据库123之后,在步骤S220中,控制器111依据选定的任务条件以及期望总工作时间,自建议方案数据库123中获得对应的建议方案,而传送建议方案至主控节点装置120,使得主控节点装置120依据建议方案来部署丛集运算架构的硬件资源配置。即,上述任务条件包括欲使用的软件框架、分析数据笔数、环境参数条件、演算法、任务数量以及任务分割笔数其中一个或其组合,而所获得的建议方案包括工作节点数量(工作节点装置的数量)及工作节点资源配置(工作节点装置的硬件资源配置)。
另外,在选定任务条件以及期望总工作时间之后,若在建议方案数据库123中不存在对应的建议方案,则控制器111可进行重新训练的动作。即,控制器111依据选定的任务条件,针对工作节点数量以及工作节点资源配置来重新建立训练模型,将训练模型传送至主控节点装置120,使得主控节点装置120依据各训练模型来进行运算,而获得对应的运算时间,并将上述训练模型与运算时间储存至建议方案数据库123。
而在选定任务条件以及期望总工作时间之后,若在建议方案数据库123中不存在对应的建议方案,控制器111还可进一步提示一通知信息,来通知使用者目前的建议方案数据库123中不存在对应的建议方案。此外,控制器111也可以取出相近的建议方案,经由推算来获得一个预测的建议方案。例如,若任务条件中的分析数据笔数为1万笔,而在建议方案数据库123中,在其他任务条件皆相同的情况下,只存在分析数据笔数为5千笔的建议方案,则控制器111可取出此建议方案,通过适当的推算来获得预测的建议方案。例如,分析数据笔数5千笔的建议方案为2台工作节点装置,则分析数据笔数为1万笔的预测的建议方案为4台工作节点装置。然,上述仅为举例说明,并不以此为限。
通过上述实施例,在使用者通过资源规划装置110设定了大数据资料(分析数据笔数)并且选定了欲使用的软件框架以及输入一期望总工作时间之后,控制器111可自影响因子数据库121中获得对应的环境参数条件,并且自演算法数据库122中获得对应的演算法特征,进而获得对应的建议方案,即,工作节点数量与工作节点资源配置。而使用者便能够依照回报的工作节点数量与工作节点资源配置,通过主控节点装置120来决定丛集运算架构的硬件资源配置。
具体而言,主控节点装置120判断丛集运算架构下所包括的工作节点数量是否少于建议方案所包括的建议数量,以及判断丛集运算架构下所包括的工作节点硬件资源是否低于建议方案所包括的资源需求。
在判定工作节点数量少于建议数量或工作节点硬件资源低于资源需求时,主控节点装置120会发出提示信息来通知使用者目前丛集运算架构下的工作节点装置的数量不足或是工作节点装置的硬件资源过低,进而由使用者来提供其他工作节点装置并输入一指令至主控节点装置120。之后,主控节点装置120依据上述指令来额外指派符合建议方案的其他工作节点装置至丛集运算架构下。而在判定工作节点数量未少于建议数量且工作节点硬件资源未低于资源需求时,主控节点装置120便可部属符合建议数量的各工作节点装置的硬件资源配置。
另外,资源规划装置110也可与主控节点装置120整合。举例来说,图3是依照本发明一实施例的资源规划装置的方块图。请参照图3,本实施例的资源规划装置300包括控制器311以及储存单元320。控制器311具有与控制器111相同的功能,并且还兼具主控节点装置120的功能,即,分配丛集运算架构下的多个工作节点装置的硬件资源配置。
储存单元320包括影响因子数据库121、演算法数据库122以及建议方案数据库123。通过控制器311自多个软件框架中选定一个来作为待训练平台,并且建立多个训练模型来对待训练平台进行训练,藉以建立建议方案数据库123。
控制器311依据所选择的待训练平台,自对应于待训练平台的设定档中,撷取出会影响待训练平台的执行速度的多个设定值,并且撷取待训练平台所使用的多个演算法特征,基于上述设定值以及演算法特征建立多个训练模型,并且在依据各训练模型来进行运算,而获得运算时间之后,将各训练模型对应的运算时间储存至建议方案数据库123。而详细建立建议方案数据库123的作法可参考步骤S205~S215。
在建议方案数据库123建立之后,控制器311依据选定的任务条件以及期望总工作时间,自建议方案数据库123中获得建议方案,并且,控制器311依据建议方案来部署丛集运算架构的硬件资源配置。
综上所述,本发明对丛集运算架构进行训练,并建立一建议方案数据库,让使用者在实际进行硬件资源的分配时,依据建议方案数据库来获得对应的建议方案,而能够即时获得最佳的硬件资源规划。
虽然本发明已以实施例揭露如上,然其并非用以限定本发明,任何所属技术领域中具有通常知识者,在不脱离本发明的精神和范围内,当可作些许的更动与润饰,故本发明的保护范围当视申请专利范围所界定者为准。
Claims (15)
1.一种丛集运算架构的资源规划方法,其特征在于,该丛集运算架构的资源规划方法包括:
提供一资源规划装置来建立一建议方案数据库至一主控节点装置,其中该建议方案数据库储存了用以部署一丛集运算架构的信息,而由该资源规划装置来建立该建议方案数据库的步骤包括:
从多个软件框架中选择一个作为待训练平台;
依据所选择的该待训练平台,自对应于该待训练平台的设定档中撷取至少一设定值,并且撷取该待训练平台所使用的至少一演算法特征;
基于该至少一设定值以及该至少一演算法特征建立至少一训练模型,并传送该至少一训练模型至该主控节点装置,使得该主控节点装置依据每一该至少一训练模型来进行运算,而获得一运算时间;以及
自该主控节点装置接收该运算时间,并传送每一该至少一训练模型对应的该运算时间至该建议方案数据库;以及
依据选定的一任务条件以及一期望总工作时间,通过该资源规划装置自该建议方案数据库中获得一建议方案,并传送该建议方案至该主控节点装置,使得该主控节点装置依据该建议方案来决定该丛集运算架构的硬件资源配置。
2.如权利要求1所述的丛集运算架构的资源规划方法,其特征在于,该丛集运算架构的资源规划方法更包括:
该资源规划装置通过一网络连线至该主控节点装置,以查询该主控节点装置中的一影响因子数据库以及一演算法数据库,其中该影响因子数据库储存每一所述软件框架的设定档,该演算法数据库储存该至少一演算法特征。
3.如权利要求1所述的丛集运算架构的资源规划方法,其特征在于,该至少一设定值包括一工作节点数量、一工作节点资源配置、一分析数据笔数、以及一环境参数条件其中一个或其组合;该至少一演算法特征包括一演算法、一任务数量以及一任务分割笔数其中一个或其组合;
该任务条件包括所述软件框架其中一个、该分析数据笔数、该环境参数条件、该演算法、该任务数量以及该任务分割笔数其中一个或其组合。
4.如权利要求1所述的丛集运算架构的资源规划方法,其特征在于,该至少一设定值为一数值区间。
5.如权利要求1所述的丛集运算架构的资源规划方法,其特征在于,该丛集运算架构的资源规划方法更包括:
在选定该任务条件以及该期望总工作时间之后,若在该建议方案数据库中不存在对应的该建议方案,则该资源规划装置依据选定的该任务条件,针对一工作节点数量以及一工作节点资源配置来重新进行训练,而自该主控节点装置获得对应的该运算时间,并储存至该建议方案数据库。
6.如权利要求1所述的丛集运算架构的资源规划方法,其特征在于,该丛集运算架构的资源规划方法更包括:
该主控节点装置依据每一该至少一训练模型来进行多次运算,而将多次运算所获得的时间平均值作为对应的该运算时间。
7.如权利要求1所述的丛集运算架构的资源规划方法,其特征在于,传送该建议方案至该主控节点装置使得该主控节点装置依据该建议方案来决定该丛集运算架构的硬件资源配置的步骤,更包括:
通过该主控节点装置判断该丛集运算架构下所包括的工作节点数量是否少于该建议方案所包括的一建议数量,以及判断该丛集运算架构下所包括的一工作节点硬件资源是否低于该建议方案所包括的一资源需求;
在判定该工作节点数量少于该建议数量或该工作节点硬件资源低于该资源需求时,通过该主控节点装置发出一提示信息,以依据一指令来额外指派符合该建议方案的至少一工作节点装置至该丛集运算架构;以及
在判定该工作节点数量未少于该建议数量且该工作节点硬件资源未低于该资源需求时,通过该主控节点装置来部署符合该建议数量的该至少一工作节点装置各自的该硬件资源配置。
8.一种资源规划系统,其特征在于,该资源规划系统包括:
一主控节点装置,分配一丛集运算架构下的硬件资源配置;以及
一资源规划装置,通过一网络与该主控节点装置沟通,其中该资源规划装置包括一控制器;
其中,该控制器从多个软件框架中选择一个作为待训练平台,依据所选择的该待训练平台,自对应于该待训练平台的设定档中撷取至少一设定值,并且撷取该待训练平台所使用的至少一演算法特征;
该控制器基于该至少一设定值以及该至少一演算法特征建立至少一训练模型,并传送该至少一训练模型至该主控节点装置,使得该主控节点装置依据每一该至少一训练模型来进行运算,而获得一运算时间;并且,该控制器自该主控节点装置接收该运算时间,并储存每一该至少一训练模型对应的该运算时间至一建议方案数据库中;
该控制器依据选定的一任务条件以及一期望总工作时间,自该建议方案数据库中获得一建议方案,而传送该建议方案至该主控节点装置,使得该主控节点装置依据该建议方案来决定该丛集运算架构的硬件资源配置。
9.如权利要求8所述的资源规划系统,其特征在于,该主控节点装置包括:
一影响因子数据库,储存每一所述软件框架的设定档;以及
一演算法数据库,储存该至少一演算法特征。
10.如权利要求8所述的资源规划系统,其特征在于,该至少一设定值包括一工作节点数量、一工作节点资源配置、一分析数据笔数以及一环境参数条件其中一个或其组合;该至少一演算法特征包括一演算法、一任务数量、一任务分割笔数其中一个或其组合;
该任务条件包括所述软件框架其中一个、该分析数据笔数、该环境参数条件、该演算法、该任务数量以及该任务分割笔数其中一个或其组合。
11.如权利要求8所述的资源规划系统,其特征在于,该至少一设定值为一数值区间。
12.如权利要求8所述的资源规划系统,其特征在于,在选定所述软件框架其中一个、该任务条件以及该期望总工作时间之后,若在该建议方案数据库中不存在对应的该建议方案,则该控制器依据选定的该任务条件,针对一工作节点数量以及一工作节点资源配置重新进行训练,而自该主控节点装置获得对应的该运算时间,并储存至该建议方案数据库。
13.如权利要求8所述的资源规划系统,其特征在于,该主控节点装置依据每一该至少一训练模型来进行多次运算,而将多次运算所获得的时间平均值作为对应的该运算时间。
14.如权利要求8所述的资源规划系统,其特征在于,该主控节点装置在接收到该建议方案之后,判断该丛集运算架构下所包括的一工作节点数量是否少于该建议方案所包括的一建议数量,以及判断该丛集运算架构下所包括的一工作节点硬件资源是否低于该建议方案所包括的一资源需求;
在判定该工作节点数量少于该建议数量或该工作节点硬件资源低于该资源需求时,该主控节点装置发出一提示信息,以依据一指令来额外指派符合该建议方案的至少一工作节点装置至该丛集运算架构;
在判定该工作节点数量未少于该建议数量且该工作节点硬件资源未低于该资源需求时,该主控节点装置来部署符合该建议数量的该至少一工作节点装置各自的该硬件资源配置。
15.一种资源规划装置,其特征在于,该资源规划装置包括:
一储存单元,包括:
一影响因子数据库,储存多个软件框架各自的设定档;
一演算法数据库,储存多个演算法特征;以及
一建议方案数据库;
一控制器,耦接至该储存单元,并且分配一丛集运算架构下的硬件资源配置;
其中,该控制器依据自所述软件框架中所选择的一待训练平台,自对应于该待训练平台的设定档中撷取至少一设定值,并且撷取该待训练平台所使用的至少一上述演算法特征,基于该至少一设定值以及该至少一演算法特征建立至少一训练模型,并且在依据每一该至少一训练模型来进行运算,而获得一运算时间之后,将每一该至少一训练模型对应的该运算时间储存至该建议方案数据库;
该控制器依据选定的一任务条件以及一期望总工作时间,自该建议方案数据库中获得一建议方案,并且,该控制器依据该建议方案来决定该丛集运算架构的硬件资源配置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW104136797A TWI547817B (zh) | 2015-11-09 | 2015-11-09 | 叢集運算架構的資源規劃方法、系統及裝置 |
TW104136797 | 2015-11-09 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106681826A CN106681826A (zh) | 2017-05-17 |
CN106681826B true CN106681826B (zh) | 2019-08-30 |
Family
ID=57444940
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510788437.0A Active CN106681826B (zh) | 2015-11-09 | 2015-11-17 | 丛集运算架构的资源规划方法、系统及装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10051056B2 (zh) |
CN (1) | CN106681826B (zh) |
TW (1) | TWI547817B (zh) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107885595B (zh) * | 2016-09-30 | 2021-12-14 | 华为技术有限公司 | 一种资源分配方法、相关设备及系统 |
US10736119B2 (en) * | 2017-02-21 | 2020-08-04 | Northwestern University | Radio resource management in large wireless networks |
US10304014B2 (en) * | 2017-07-07 | 2019-05-28 | International Business Machines Corporation | Proactive resource allocation plan generator for improving product releases |
CN109324890B (zh) * | 2017-07-31 | 2021-01-05 | 华为技术有限公司 | 资源管理方法、装置及计算机可读存储介质 |
TWI668572B (zh) * | 2018-09-27 | 2019-08-11 | 神雲科技股份有限公司 | 叢集式儲存系統之裝置資訊提供方法 |
CN111381891A (zh) * | 2018-12-28 | 2020-07-07 | 技嘉科技股份有限公司 | 记忆体的效能优化方法以及使用其的主机板 |
CN111381663A (zh) * | 2018-12-28 | 2020-07-07 | 技嘉科技股份有限公司 | 处理器的效能优化方法以及使用其的主机板 |
US11755377B2 (en) * | 2019-12-09 | 2023-09-12 | Hewlett Packard Enterprise Development Lp | Infrastructure resource mapping mechanism based on determined best match proposal for workload deployment |
CN111708818B (zh) * | 2020-05-28 | 2023-06-16 | 北京赛博云睿智能科技有限公司 | 一种智能计算方法 |
CN113762675A (zh) * | 2020-10-27 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 信息生成方法、装置、服务器、系统和存储介质 |
CN112953767B (zh) * | 2021-02-05 | 2022-11-04 | 深圳前海微众银行股份有限公司 | 基于Hadoop平台的资源分配参数设置方法、设备及存储介质 |
CN114780214B (zh) * | 2022-04-01 | 2024-01-09 | 中国电信股份有限公司 | 任务处理方法、装置、系统及设备 |
CN116595384B (zh) * | 2023-07-14 | 2023-11-24 | 支付宝(杭州)信息技术有限公司 | 模型训练方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6161097A (en) * | 1997-08-11 | 2000-12-12 | The United Sates Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Automated traffic management system and method |
US7971094B1 (en) * | 2009-03-03 | 2011-06-28 | Netapp, Inc. | Method, system and apparatus for creating and executing a failover plan on a computer network |
CN103701635A (zh) * | 2013-12-10 | 2014-04-02 | 中国科学院深圳先进技术研究院 | 一种在线配置Hadoop参数的方法和装置 |
CN104077398A (zh) * | 2014-06-30 | 2014-10-01 | 中华电信股份有限公司 | 基于Hadoop多丛集环境的工作分派系统及方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030061262A1 (en) * | 2001-09-25 | 2003-03-27 | Hahn Stephen C. | Method and apparatus for partitioning resources within a computer system |
US7970905B2 (en) * | 2008-07-03 | 2011-06-28 | International Business Machines Corporation | Method, system and computer program product for server selection, application placement and consolidation planning of information technology systems |
US8640137B1 (en) * | 2010-08-30 | 2014-01-28 | Adobe Systems Incorporated | Methods and apparatus for resource management in cluster computing |
CN104298550B (zh) | 2014-10-09 | 2017-11-14 | 南通大学 | 一种面向Hadoop的动态调度方法 |
US10623481B2 (en) * | 2015-04-27 | 2020-04-14 | Microsoft Technology Licensing, Llc | Balancing resources in distributed computing environments |
-
2015
- 2015-11-09 TW TW104136797A patent/TWI547817B/zh active
- 2015-11-17 CN CN201510788437.0A patent/CN106681826B/zh active Active
-
2016
- 2016-04-28 US US15/140,482 patent/US10051056B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6161097A (en) * | 1997-08-11 | 2000-12-12 | The United Sates Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Automated traffic management system and method |
US7971094B1 (en) * | 2009-03-03 | 2011-06-28 | Netapp, Inc. | Method, system and apparatus for creating and executing a failover plan on a computer network |
CN103701635A (zh) * | 2013-12-10 | 2014-04-02 | 中国科学院深圳先进技术研究院 | 一种在线配置Hadoop参数的方法和装置 |
CN104077398A (zh) * | 2014-06-30 | 2014-10-01 | 中华电信股份有限公司 | 基于Hadoop多丛集环境的工作分派系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
US10051056B2 (en) | 2018-08-14 |
CN106681826A (zh) | 2017-05-17 |
TW201717066A (zh) | 2017-05-16 |
US20170134304A1 (en) | 2017-05-11 |
TWI547817B (zh) | 2016-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106681826B (zh) | 丛集运算架构的资源规划方法、系统及装置 | |
US11392843B2 (en) | Utilizing a machine learning model to predict a quantity of cloud resources to allocate to a customer | |
CN105989408B (zh) | 用于将神经网络映射到神经突触基板上的系统和方法 | |
CN108090516A (zh) | 自动生成机器学习样本的特征的方法及系统 | |
Hunter et al. | Parallel ranking and selection | |
JP6844067B2 (ja) | IoT環境におけるエッジデバイスへのソフトウェアアプリケーションの供給 | |
CN103942197B (zh) | 数据监控处理方法及设备 | |
CN107657316A (zh) | 通用处理器与神经网络处理器的协同系统设计 | |
CN104520814A (zh) | 用于配置云计算系统的系统和方法 | |
CN104541247A (zh) | 用于调整云计算系统的系统和方法 | |
CN109918205A (zh) | 一种边缘设备调度方法、系统、装置及计算机存储介质 | |
CN109189762A (zh) | 一种工业物联网数据分析方法、系统及相关设备 | |
TW201835821A (zh) | 工作計劃最佳化裝置及工作計劃最佳化方法 | |
CN116127899B (zh) | 芯片设计系统、方法、电子设备和存储介质 | |
CN107679625A (zh) | 针对数据记录执行机器学习的分布式系统及其方法 | |
CN103729257A (zh) | 一种分布式并行计算方法以及系统 | |
da Rosa Righi et al. | Enhancing performance of IoT applications with load prediction and cloud elasticity | |
CN111950706A (zh) | 基于人工智能的数据处理方法、装置、计算机设备及介质 | |
JP7368143B2 (ja) | サービス配備制御システム、サービス配備制御方法及び記憶媒体 | |
CN112463532B (zh) | 构建snn工作负载自动映射器的方法及自动映射器 | |
Zhao et al. | Large-scale machine learning cluster scheduling via multi-agent graph reinforcement learning | |
WO2012147825A1 (ja) | アプリケーションアーキテクチャ設計方法、アプリケーションアーキテクチャ設計装置、および記録媒体 | |
US20160342899A1 (en) | Collaborative filtering in directed graph | |
CN111367632B (zh) | 一种基于周期特征的容器云调度方法 | |
Pflug et al. | Application of dynamic instance queuing to activity sequences in cooperative business process scenarios |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |