CN109558248A - 一种用于确定面向海洋模式计算的资源分配参数的方法及系统 - Google Patents
一种用于确定面向海洋模式计算的资源分配参数的方法及系统 Download PDFInfo
- Publication number
- CN109558248A CN109558248A CN201811511394.1A CN201811511394A CN109558248A CN 109558248 A CN109558248 A CN 109558248A CN 201811511394 A CN201811511394 A CN 201811511394A CN 109558248 A CN109558248 A CN 109558248A
- Authority
- CN
- China
- Prior art keywords
- nuclear resource
- ocean
- resource parameter
- parameter
- consuming
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5066—Algorithms for mapping a plurality of inter-dependent sub-tasks onto a plurality of physical CPUs
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种用于确定面向海洋模式计算的资源分配参数的方法,包括:步骤1,从输入设备获取已采集的海洋原始数据集;步骤2,向主控服务器发送参数分配请求,确定面向海洋模式计算中所需的主核资源参数和从核资源参数;步骤3,利用主核资源、从核资源、主核资源参数和从核资源参数进行并行计算,以获取海洋预测数据集;步骤4,确定预测耗时,并利用海洋原始数据集对应的海洋实际数据集和海洋预测数据集确定预测准确率;步骤5,判断预测准确率和预测耗时是否满足预设的最优方案确定条件;步骤6,满足时,确定当前的主核资源参数和从核资源参数为最优的资源分配参数;步骤7,不满足时,重新确定主核资源参数和从核资源参数并返回步骤3。
Description
技术领域
本发明涉及互联网技术领域,并且更具体地,涉及一种用于确定面向海洋模式计算的资源分配参数的方法及系统。
背景技术
近年来,随着技术发展和需求推动,众核处理器越来越成为各种超大规模计算所青睐的处理器系统。海洋模式计算就是其中一种基于众核的超大规模计算应用系统。海洋模式计算就是把采集到的过去的大量的海洋相关的数据作为输入,经过复杂、精密的计算,最终能够根据输入预测未来海洋相关的数据,并能够把这些预测直观的展示出来。普通单核或多核处理器已经无法满足海洋模式中海量计算的需求,众核的应运而生成为像海洋模式计算这类的超大规模计算应用系统发展的巨大推力。众核处理器核数的增加保证了计算和数据处理能力持续提高,然而如何合理分配主从核参数以使这种硬件能力转变成应用性能的大幅度提升,是众核时代面临的严峻挑战之一。研究表明,随着众核处理器核数的增加,当前众核运行时系统的核资源利用效率较低,导致系统的可扩展性较差,应用程序的性能不能与核数成正比增长。用户的需求主要体现在以下三个方面:
(1)由于整个地球生命系统都与海洋息息相关,且与海洋相关的数据量庞大,对实施监测的海洋数据进行高效快速处理无疑成为用户关注的重点。
(2)由于每次用户都需要先自行分配主从核资源参数,然后进行并行计算,庞大的数据量往往会耗费大量时间,然而又无法保证按照这一次的资源参数分配方案就能使得计算结果达到最理想最精确的效果,因此需要不断尝试新的资源参数分配方案进行并行计算。虽然资源参数分配方案有穷尽,但是人力有限,往往无法快速找到一个适合的分配方案,使得计算性能达到最大。
(3)利用一种结合梯度上升算法和模拟退火算法的机器学习模型,将输出结果和准确率以及输出完成耗时,作为综合判别某种主从核资源参数分配方案下的计算性能的依据,并将前一次的输出作为反馈,然后根据反馈自动分配新的参数再进行并行计算,不断循环迭代,直至找出面向海洋模式计算的最优主从核资源参数分配方案并输出,以此来体现出该发明的智能。
众核处理器具有强大的并行处理能力,广泛应用于路由转发、入侵检测、流量监控等数据包处理领域。目前的众核处理器可集成几十甚至几百个核,每个核是一个执行单元,对整个数据包或其中的一个子任务进行处理。现代高性能并行处理系统通常采用超标量流水线结构,数据包处理可以划分成多个并行子任务集,每个子任务集是由众核处理器中的若干个核并行执行,子任务集到核资源集的映射由运行时系统来完成。在数据包处理的多级流水线中,每个子任务根据工作量的不同对核资源有不同的需求量,不合理的子任务调度和核资源分配方案会导致核资源利用率低下,系统整体性能下降。
因此,需要一种能够自动找到该海洋模式计算中最优的资源参数分配方案,来为海洋模式计算提供服务。
发明内容
本发明提出一种用于确定面向海洋模式计算的资源分配参数的方法及系统,以解决如何自动找到该海洋模式计算中最优的资源参数分配方案,来为海洋模式计算提供服务。
为了解决上述问题,根据本发明的一个方面,提供了一种用于确定面向海洋模式计算的资源分配参数的方法,所述方法包括:
步骤1,从输入设备获取已采集的海洋原始数据集;
步骤2,向主控服务器发送参数分配请求,并接收所述主控服务器根据所述参数分配请求基于预设的参数分配规则确定的面向海洋模式计算中所需的主核资源参数和从核资源参数;
步骤3,利用海洋模式计算中的资源分配计算规则,从所述海洋原始数据集中确定主核资源和从核资源,并利用所述主核资源、从核资源、主核资源参数和从核资源参数进行并行计算,以获取当前的主核资源参数和从核资源参数分配方案对应的海洋预测数据集;
步骤4,确定预测耗时,并利用所述海洋原始数据集对应的海洋实际数据集和所述海洋预测数据集确定预测准确率;
步骤5,判断所述预测准确率和预测耗时是否满足预设的最优方案确定条件,若满足,则进入步骤6,反之,进入步骤7;
步骤6,当所述预测准确率和预测耗时满足预设的最优方案确定条件时,确定当前的主核资源参数和从核资源参数为最优的资源分配参数;
步骤7,当所述预测准确率和预测耗时不满足预设的最优方案确定条件时,重新确定主核资源参数和从核资源参数,并返回步骤3。
优选地,其中所述方法还包括:
在所述主控服务器根据所述参数分配请求基于预设的参数分配规则确定的面向海洋模式计算中所需的主核资源参数和从核资源参数之后,判断所述主核资源参数和从核资源参数是否满足并行计算要求,若满足,则继续进行并行计算;若不满足,则人工配置所述主核资源参数和从核资源参数。
优选地,其中所述判断所述预测准确率和预测耗时是否满足预设的最优方案确定条件,包括:
若判断所述预测准确率大于等于预设准确率阈值,并且预测耗时小于等于预设耗时阈值,则确定所述预测准确率和预测耗时满足预设的最优方案确定条件;反之,则确定所述预测准确率和预测耗时不满足预设的最优方案确定条件。
优选地,其中所述当所述预测准确率和预测耗时不满足预设的最优方案确定条件时,重新确定主核资源参数和从核资源参数,包括:
当所述预测准确率和预测耗时不满足预设的最优方案确定条件时,将当前的主核资源参数和从核资源参数分配方案下的海洋预测数据集、预测准确率和预测耗时作为综合判别依据,利用梯度上升算法和模拟退火算法的机器学习模型确定分配主核资源参数和从核资源参数。
优选地,其中所述方法还包括:
在重新确定主核资源参数和从核资源参数之前,判断预测次数是否达到预设次数阈值,若是,则不返回步骤3,并将最高的预测准确率最高对应的主核资源参数和从核资源参数作为最优的资源分配参数。
优选地,其中所述方法还包括:
存储该海洋模式计算中的最优的资源分配参数,以用于再次利用该海洋模式计算时,直接分配所述最优的资源分配参数作为主核资源参数和从核资源参数。
根据本发明的另一个方面,提供了一种用于确定面向海洋模式计算的资源分配参数的系统,所述系统包括:
数据获取单元,用于从输入设备获取已采集的海洋原始数据集;
资源参数初始化单元,用于向主控服务器发送参数分配请求,并接收所述主控服务器根据所述参数分配请求基于预设的参数分配规则确定的面向海洋模式计算中所需的主核资源参数和从核资源参数;
海洋预测数据集确定单元,用于利用海洋模式计算中的资源分配计算规则,从所述海洋原始数据集中确定主核资源和从核资源,并利用所述主核资源、从核资源、主核资源参数和从核资源参数进行并行计算,以获取当前的主核资源参数和从核资源参数分配方案对应的海洋预测数据集;
预测耗时和预测准确率确定单元,用于确定预测耗时,并利用所述海洋原始数据集对应的海洋实际数据集和所述海洋预测数据集确定预测准确率;
判断单元,用于判断所述预测准确率和预测耗时是否满足预设的最优方案确定条件,若满足,则进入资源分配参数确定单元,反之,进入资源参数重新确定单元;
资源分配参数确定单元,用于当所述预测准确率和预测耗时满足预设的最优方案确定条件时,确定当前的主核资源参数和从核资源参数为最优的资源分配参数;
资源参数重新确定单元,用于当所述预测准确率和预测耗时不满足预设的最优方案确定条件时,重新确定主核资源参数和从核资源参数,并进入海洋预测数据集确定单元。
优选地,其中所述系统还包括:
并行计算要求判断单元,用于在所述主控服务器根据所述参数分配请求基于预设的参数分配规则确定的面向海洋模式计算中所需的主核资源参数和从核资源参数之后,判断所述主核资源参数和从核资源参数是否满足并行计算要求,若满足,则继续进行并行计算;若不满足,则人工配置所述主核资源参数和从核资源参数。
优选地,其中所述判断单元,判断所述预测准确率和预测耗时是否满足预设的最优方案确定条件,包括:
若判断所述预测准确率大于等于预设准确率阈值,并且预测耗时小于等于预设耗时阈值,则确定所述预测准确率和预测耗时满足预设的最优方案确定条件;反之,则确定所述预测准确率和预测耗时不满足预设的最优方案确定条件。
优选地,其中所述资源参数重新确定单元,当所述预测准确率和预测耗时不满足预设的最优方案确定条件时,重新确定主核资源参数和从核资源参数,包括:
当所述预测准确率和预测耗时不满足预设的最优方案确定条件时,将当前的主核资源参数和从核资源参数分配方案下的海洋预测数据集、预测准确率和预测耗时作为综合判别依据,利用梯度上升算法和模拟退火算法的机器学习模型确定分配主核资源参数和从核资源参数。
优选地,其中所述资源参数重新确定单元,还包括:
在重新确定主核资源参数和从核资源参数之前,判断预测次数是否达到预设次数阈值,若是,则不进入海洋预测数据集确定单元,并将最高的预测准确率最高对应的主核资源参数和从核资源参数作为最优的资源分配参数。
优选地,其中所述系统还包括:
存储单元,用于存储该海洋模式计算中的最优的资源分配参数,以用于再次利用该海洋模式计算时,直接分配所述最优的资源分配参数作为主核资源参数和从核资源参数。
本发明提供了一种用于确定面向海洋模式计算的资源分配参数的方法及系统,利用已知的大量海洋相关的数据、主控服务器以及结合梯度上升算法和模拟退火算法的机器学习模型,能够自动找到该海洋模式计算中最优的资源参数分配方案,而且可以方便客户端获取该资源参数分配方案下相关的海洋数据信息,整个过程省去了人工尝试各种资源参数分配方案的时间和精力,对用户来说是一劳永逸的,也就是说,当用户下一次再用这个海洋模式计算的时候就可以直接分配所得的最优分配方案即可,无需再进行多次尝试;同时,如果用户想要获取其他分配方案情况下的准确率,也可以从数据存储服务器上下载日志文档,本申请的技术方案大大降低了人力修改资源参数分配的精力和耗时,提高了计算性能。
附图说明
通过参考下面的附图,可以更为完整地理解本发明的示例性实施方式:
图1为根据本发明实施方式的用于确定面向海洋模式计算的资源分配参数的方法100的流程图;
图2为根据本发明实施方式的客户端获取存储数据文件的流程示意图;
图3为根据本发明实施方式的梯度上升算法的原理图;
图4为根据本发明实施方式的梯度上升算法的流程示意图;以及
图5为根据本发明实施方式的用于确定面向海洋模式计算的资源分配参数的系统500的结构示意图。
具体实施方式
现在参考附图介绍本发明的示例性实施方式,然而,本发明可以用许多不同的形式来实施,并且不局限于此处描述的实施例,提供这些实施例是为了详尽地且完全地公开本发明,并且向所属技术领域的技术人员充分传达本发明的范围。对于表示在附图中的示例性实施方式中的术语并不是对本发明的限定。在附图中,相同的单元/元件使用相同的附图标记。
除非另有说明,此处使用的术语(包括科技术语)对所属技术领域的技术人员具有通常的理解含义。另外,可以理解的是,以通常使用的词典限定的术语,应当被理解为与其相关领域的语境具有一致的含义,而不应该被理解为理想化的或过于正式的意义。
图1为根据本发明实施方式的用于确定面向海洋模式计算的资源分配参数的方法100的流程图。如图1所示,本发明的实施方式提供的用于确定面向海洋模式计算的资源分配参数的方法,利用已知的大量海洋相关的数据、主控服务器以及结合梯度上升算法和模拟退火算法的机器学习模型,能够自动找到该海洋模式计算中最优的资源参数分配方案,而且可以方便客户端获取该资源参数分配方案下相关的海洋数据信息,整个过程省去了人工尝试各种资源参数分配方案的时间和精力,对用户来说是一劳永逸的,也就是说,当用户下一次再用这个海洋模式计算的时候就可以直接分配所得的最优分配方案即可,无需再进行多次尝试;同时,如果用户想要获取其他分配方案情况下的准确率,也可以从数据存储服务器上下载日志文档,本申请的技术方案大大降低了人力修改资源参数分配的精力和耗时,提高了计算性能。本发明的实施方式提供的用于确定面向海洋模式计算的资源分配参数的方法100从步骤101处开始,在步骤101从输入设备获取已采集的海洋原始数据集。
优选地,在步骤102,向主控服务器发送参数分配请求,并接收所述主控服务器根据所述参数分配请求基于预设的参数分配规则确定的面向海洋模式计算中所需的主核资源参数和从核资源参数。
在本发明的实施方式中,面向海洋模式计算的资源智能分配技术,主要包括已知的大量海洋相关的数据、主控服务器和一种结合梯度上升算法和模拟退火算法的机器学习模型,三者之间通过网络连接,客户端可以通过向所述主控服务器请求分配在众核处理器上所需的资源参数。其中,主从核资源分配的过程为:把获取到的过去的大量海洋相关的数据作为输入设备的输入,然后向所述主控服务器请求分配海洋模式计算中所需要的主从核资源参数,最后根据海洋模式计算中的计算规则根据分配的主从核资源进行并行计算,并将当前主从核资源分配方案下的输出结果和准确率以及输出完成耗时保存在所述日志文档中,同时上传到所述数据存储服务器中,输出当前主从核资源分配方案下预测结果的准确率和输出完成耗时;其中,输入设备为:平板电脑、台式机或PC机,输入时从客户端输入。
图2为根据本发明实施方式的客户端获取存储数据文件的流程示意图。如图2所示,包括:客户端向主控服务器发送获取数据需求,主控服务器根据请求的数据信息,找到要下载的数据文件所在的存储服务器,客户端从存储服务器下载相应的数据文件。
优选地,在步骤103,利用海洋模式计算中的资源分配计算规则,从所述海洋原始数据集中确定主核资源和从核资源,并利用所述主核资源、从核资源、主核资源参数和从核资源参数进行并行计算,以获取当前的主核资源参数和从核资源参数分配方案对应的海洋预测数据集。
优选地,其中所述方法还包括:
在所述主控服务器根据所述参数分配请求基于预设的参数分配规则确定的面向海洋模式计算中所需的主核资源参数和从核资源参数之后,判断所述主核资源参数和从核资源参数是否满足并行计算要求,若满足,则继续进行并行计算;若不满足,则人工配置所述主核资源参数和从核资源参数。
优选地,在步骤104,确定预测耗时,并利用所述海洋原始数据集对应的海洋实际数据集和所述海洋预测数据集确定预测准确率。
优选地,在步骤105,判断所述预测准确率和预测耗时是否满足预设的最优方案确定条件,若满足,则进入步骤106,反之,进入步骤107。
优选地,其中所述判断所述预测准确率和预测耗时是否满足预设的最优方案确定条件,包括:
若判断所述预测准确率大于等于预设准确率阈值,并且预测耗时小于等于预设耗时阈值,则确定所述预测准确率和预测耗时满足预设的最优方案确定条件;反之,则确定所述预测准确率和预测耗时不满足预设的最优方案确定条件。
优选地,在步骤106,当所述预测准确率和预测耗时满足预设的最优方案确定条件时,确定当前的主核资源参数和从核资源参数为最优的资源分配参数。
优选地,在步骤107,当所述预测准确率和预测耗时不满足预设的最优方案确定条件时,重新确定主核资源参数和从核资源参数,并返回步骤103。
优选地,其中所述当所述预测准确率和预测耗时不满足预设的最优方案确定条件时,重新确定主核资源参数和从核资源参数,包括:
当所述预测准确率和预测耗时不满足预设的最优方案确定条件时,将当前的主核资源参数和从核资源参数分配方案下的海洋预测数据集、预测准确率和预测耗时作为综合判别依据,利用梯度上升算法和模拟退火算法的机器学习模型确定分配主核资源参数和从核资源参数。
优选地,其中所述方法还包括:
在重新确定主核资源参数和从核资源参数之前,判断预测次数是否达到预设次数阈值,若是,则不返回步骤103,并将最高的预测准确率最高对应的主核资源参数和从核资源参数作为最优的资源分配参数。
优选地,其中所述方法还包括:
存储该海洋模式计算中的最优的资源分配参数,以用于再次利用该海洋模式计算时,直接分配所述最优的资源分配参数作为主核资源参数和从核资源参数。
在本发明的实施方式中,存储单元在存储最优的资源分配参数方案的同时也存储了其他分配方案情况以及对应的准确率,以使得在用户对计算模式中某些数据作出微小修改后,仍然有几种优先的可用的资源参数分配方案可以利用。
图3为根据本发明实施方式的梯度上升算法的原理图。如图3所示,图中的梯度上升算法沿梯度方向移动。梯度算子总是指向函数值增长最快的方向,而该算法中将一直进行迭代,直到达到某个停止条件为止,比如迭代次数达到某个指定值或算法达到某个可以允许的误差范围。
图4为根据本发明实施方式的梯度上升算法的流程示意图。如图4所示,包括:读入测试样本数据;初始化主从和资源分配参数;根据主从核资源参数分配和计算规则在对应的主从核上分别进行并行计算;将计算结果输出并与实际数据做相似度计算,以确定当前分配方案下的准确率;将准确率和完成耗时以及参数分配范围综合作为判定循环条件,若满足,则确定当前的分配方案为该海洋模式计算中的最佳者;若不满足,则按照梯度上升算法调整主从核资源参数分配,并重新进行并行计算,直至当前分配方案下的准确率满足判定循环条件,则确定当前的分配方案为该海洋模式计算中的最佳者。
在本发明的实施方式中,当所述预测准确率和预测耗时不满足预设的最优方案确定条件时,重新确定主核资源参数和从核资源参数,包括:根据所述前一次主从核资源分配方案下输出结果和准确率以及输出完成耗时,利用一种结合梯度上升算法和模拟退火算法的机器学习模型,将所述输出结果和准确率以及输出完成耗时,作为综合判别某种主从核资源参数分配方案下的计算性能的依据,并将前一次的输出作为反馈,然后根据反馈自动分配新的参数再进行并行计算,不断循环迭代,直至找出面向海洋模式计算的最优主从核资源参数分配方案并输出。
本发明的实施方式提供的技术方案能够将自动找到该海洋模式计算中最优的资源参数分配方案,而且可以方便客户端获取该资源参数分配方案下相关的海洋数据信息。整个过程省去了人工尝试各种资源参数分配方案的时间和精力,对用户来说是一劳永逸的,也就是说,当用户下一次再用这个海洋模式计算的时候就可以直接分配所得的最优分配方案即可,无需再进行多次尝试。与此同时,如果用户想要获取其他分配方案情况下的准确率,也可以从数据存储服务器上下载日志文档。
从输入设备的客户端获取一个已存储信息的具体过程为:所述客户端向所述主控服务器发送登录账号和密码,所述主控服务器在所述用户身份数据库内进行验证,待验证通过,所述客户端生成一个下载请求信息,将该下载请求信息发送至所述主控服务器,所述主控服务器根据请求下载的存储地址访问数据存储服务器,数据存储服务器检索至对应的信息,供所述主控服务器下载,所述主控服务器将下载的信息返回给所述客户端。
客户端把采集到的过去的大量海洋相关的数据作为输入,然后按照初始分配设置向主控服务器请求分配模式计算中所需要的主从核资源参数,进行并行计算,然后通过算法模型自动循环迭代;所述主控服务器将所述文件转存到与之对应的数据存储服务器中以备校验对比。
图5为根据本发明实施方式的用于确定面向海洋模式计算的资源分配参数的系统500的结构示意图。如图5所示,本发明的实施方式提供的用于确定面向海洋模式计算的资源分配参数的系统,所述系统包括:数据获取单元501、资源参数初始化单元502、海洋预测数据集确定单元503、预测耗时和预测准确率确定单元504、判断单元505、资源分配参数确定单元506和资源参数重新确定单元507。优选地,所述数据获取单元501,用于从输入设备获取已采集的海洋原始数据集。
优选地,所述资源参数初始化单元502,用于向主控服务器发送参数分配请求,并接收所述主控服务器根据所述参数分配请求基于预设的参数分配规则确定的面向海洋模式计算中所需的主核资源参数和从核资源参数。
优选地,所述海洋预测数据集确定单元503,用于利用海洋模式计算中的资源分配计算规则,从所述海洋原始数据集中确定主核资源和从核资源,并利用所述主核资源、从核资源、主核资源参数和从核资源参数进行并行计算,以获取当前的主核资源参数和从核资源参数分配方案对应的海洋预测数据集。
优选地,其中所述系统还包括:
并行计算要求判断单元,用于在所述主控服务器根据所述参数分配请求基于预设的参数分配规则确定的面向海洋模式计算中所需的主核资源参数和从核资源参数之后,判断所述主核资源参数和从核资源参数是否满足并行计算要求,若满足,则继续进行并行计算;若不满足,则人工配置所述主核资源参数和从核资源参数。
优选地,所述预测耗时和预测准确率确定单元504,用于确定预测耗时,并利用所述海洋原始数据集对应的海洋实际数据集和所述海洋预测数据集确定预测准确率。
优选地,所述判断单元505,用于判断所述预测准确率和预测耗时是否满足预设的最优方案确定条件,若满足,则进入资源分配参数确定单元506,反之,进入资源参数重新确定单元507。
优选地,其中所述判断单元505,判断所述预测准确率和预测耗时是否满足预设的最优方案确定条件,包括:若判断所述预测准确率大于等于预设准确率阈值,并且预测耗时小于等于预设耗时阈值,则确定所述预测准确率和预测耗时满足预设的最优方案确定条件;反之,则确定所述预测准确率和预测耗时不满足预设的最优方案确定条件。
优选地,所述资源分配参数确定单元506,用于当所述预测准确率和预测耗时满足预设的最优方案确定条件时,确定当前的主核资源参数和从核资源参数为最优的资源分配参数。
优选地,所述资源参数重新确定单元507,用于当所述预测准确率和预测耗时不满足预设的最优方案确定条件时,重新确定主核资源参数和从核资源参数,并进入海洋预测数据集确定单元503。
优选地,其中所述资源参数重新确定单元507,当所述预测准确率和预测耗时不满足预设的最优方案确定条件时,重新确定主核资源参数和从核资源参数,包括:当所述预测准确率和预测耗时不满足预设的最优方案确定条件时,将当前的主核资源参数和从核资源参数分配方案下的海洋预测数据集、预测准确率和预测耗时作为综合判别依据,利用梯度上升算法和模拟退火算法的机器学习模型确定分配主核资源参数和从核资源参数。
优选地,其中所述资源参数重新确定单元507,还包括:在重新确定主核资源参数和从核资源参数之前,判断预测次数是否达到预设次数阈值,若是,则不进入海洋预测数据集确定单元,并将最高的预测准确率最高对应的主核资源参数和从核资源参数作为最优的资源分配参数。
优选地,其中所述系统还包括:存储单元,用于存储该海洋模式计算中的最优的资源分配参数,以用于再次利用该海洋模式计算时,直接分配所述最优的资源分配参数作为主核资源参数和从核资源参数。
本发明的实施例的用于确定面向海洋模式计算的资源分配参数的系统500与本发明的另一个实施例的用于确定面向海洋模式计算的资源分配参数的方法100相对应,在此不再赘述。
已经通过参考少量实施方式描述了本发明。然而,本领域技术人员所公知的,正如附带的专利权利要求所限定的,除了本发明以上公开的其他的实施例等同地落在本发明的范围内。
通常地,在权利要求中使用的所有术语都根据他们在技术领域的通常含义被解释,除非在其中被另外明确地定义。所有的参考“一个/所述/该[装置、组件等]”都被开放地解释为所述装置、组件等中的至少一个实例,除非另外明确地说明。这里公开的任何方法的步骤都没必要以公开的准确的顺序运行,除非明确地说明。
Claims (12)
1.一种用于确定面向海洋模式计算的资源分配参数的方法,其特征在于,所述方法包括:
步骤1,从输入设备获取已采集的海洋原始数据集;
步骤2,向主控服务器发送参数分配请求,并接收所述主控服务器根据所述参数分配请求基于预设的参数分配规则确定的面向海洋模式计算中所需的主核资源参数和从核资源参数;
步骤3,利用海洋模式计算中的资源分配计算规则,从所述海洋原始数据集中确定主核资源和从核资源,并利用所述主核资源、从核资源、主核资源参数和从核资源参数进行并行计算,以获取当前的主核资源参数和从核资源参数分配方案对应的海洋预测数据集;
步骤4,确定预测耗时,并利用所述海洋原始数据集对应的海洋实际数据集和所述海洋预测数据集确定预测准确率;
步骤5,判断所述预测准确率和预测耗时是否满足预设的最优方案确定条件,若满足,则进入步骤6,反之,进入步骤7;
步骤6,当所述预测准确率和预测耗时满足预设的最优方案确定条件时,确定当前的主核资源参数和从核资源参数为最优的资源分配参数;
步骤7,当所述预测准确率和预测耗时不满足预设的最优方案确定条件时,重新确定主核资源参数和从核资源参数,并返回步骤3。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在所述主控服务器根据所述参数分配请求基于预设的参数分配规则确定的面向海洋模式计算中所需的主核资源参数和从核资源参数之后,判断所述主核资源参数和从核资源参数是否满足并行计算要求,若满足,则继续进行并行计算;若不满足,则人工配置所述主核资源参数和从核资源参数。
3.根据权利要求1所述的方法,其特征在于,所述判断所述预测准确率和预测耗时是否满足预设的最优方案确定条件,包括:
若判断所述预测准确率大于等于预设准确率阈值,并且预测耗时小于等于预设耗时阈值,则确定所述预测准确率和预测耗时满足预设的最优方案确定条件;反之,则确定所述预测准确率和预测耗时不满足预设的最优方案确定条件。
4.根据权利要求1所述的方法,其特征在于,所述当所述预测准确率和预测耗时不满足预设的最优方案确定条件时,重新确定主核资源参数和从核资源参数,包括:
当所述预测准确率和预测耗时不满足预设的最优方案确定条件时,将当前的主核资源参数和从核资源参数分配方案下的海洋预测数据集、预测准确率和预测耗时作为综合判别依据,利用梯度上升算法和模拟退火算法的机器学习模型确定分配主核资源参数和从核资源参数。
5.根据权利要求1-4中任一项所述的方法,其特征在于,所述方法还包括:
在重新确定主核资源参数和从核资源参数之前,判断预测次数是否达到预设次数阈值,若是,则不返回步骤3,并将最高的预测准确率最高对应的主核资源参数和从核资源参数作为最优的资源分配参数。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
存储该海洋模式计算中的最优的资源分配参数,以用于再次利用该海洋模式计算时,直接分配所述最优的资源分配参数作为主核资源参数和从核资源参数。
7.一种用于确定面向海洋模式计算的资源分配参数的系统,其特征在于,所述系统包括:
数据获取单元,用于从输入设备获取已采集的海洋原始数据集;
资源参数初始化单元,用于向主控服务器发送参数分配请求,并接收所述主控服务器根据所述参数分配请求基于预设的参数分配规则确定的面向海洋模式计算中所需的主核资源参数和从核资源参数;
海洋预测数据集确定单元,用于利用海洋模式计算中的资源分配计算规则,从所述海洋原始数据集中确定主核资源和从核资源,并利用所述主核资源、从核资源、主核资源参数和从核资源参数进行并行计算,以获取当前的主核资源参数和从核资源参数分配方案对应的海洋预测数据集;
预测耗时和预测准确率确定单元,用于确定预测耗时,并利用所述海洋原始数据集对应的海洋实际数据集和所述海洋预测数据集确定预测准确率;
判断单元,用于判断所述预测准确率和预测耗时是否满足预设的最优方案确定条件,若满足,则进入资源分配参数确定单元,反之,进入资源参数重新确定单元;
资源分配参数确定单元,用于当所述预测准确率和预测耗时满足预设的最优方案确定条件时,确定当前的主核资源参数和从核资源参数为最优的资源分配参数;
资源参数重新确定单元,用于当所述预测准确率和预测耗时不满足预设的最优方案确定条件时,重新确定主核资源参数和从核资源参数,并进入海洋预测数据集确定单元。
8.根据权利要求7所述的系统,其特征在于,所述系统还包括:
并行计算要求判断单元,用于在所述主控服务器根据所述参数分配请求基于预设的参数分配规则确定的面向海洋模式计算中所需的主核资源参数和从核资源参数之后,判断所述主核资源参数和从核资源参数是否满足并行计算要求,若满足,则继续进行并行计算;若不满足,则人工配置所述主核资源参数和从核资源参数。
9.根据权利要求7所述的系统,其特征在于,所述判断单元,判断所述预测准确率和预测耗时是否满足预设的最优方案确定条件,包括:
若判断所述预测准确率大于等于预设准确率阈值,并且预测耗时小于等于预设耗时阈值,则确定所述预测准确率和预测耗时满足预设的最优方案确定条件;反之,则确定所述预测准确率和预测耗时不满足预设的最优方案确定条件。
10.根据权利要求7所述的系统,其特征在于,所述资源参数重新确定单元,当所述预测准确率和预测耗时不满足预设的最优方案确定条件时,重新确定主核资源参数和从核资源参数,包括:
当所述预测准确率和预测耗时不满足预设的最优方案确定条件时,将当前的主核资源参数和从核资源参数分配方案下的海洋预测数据集、预测准确率和预测耗时作为综合判别依据,利用梯度上升算法和模拟退火算法的机器学习模型确定分配主核资源参数和从核资源参数。
11.根据权利要求7-10中任一项所述的系统,其特征在于,所述资源参数重新确定单元,还包括:
在重新确定主核资源参数和从核资源参数之前,判断预测次数是否达到预设次数阈值,若是,则不进入海洋预测数据集确定单元,并将最高的预测准确率最高对应的主核资源参数和从核资源参数作为最优的资源分配参数。
12.根据权利要求7所述的系统,其特征在于,所述系统还包括:
存储单元,用于存储该海洋模式计算中的最优的资源分配参数,以用于再次利用该海洋模式计算时,直接分配所述最优的资源分配参数作为主核资源参数和从核资源参数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811511394.1A CN109558248B (zh) | 2018-12-11 | 2018-12-11 | 一种用于确定面向海洋模式计算的资源分配参数的方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811511394.1A CN109558248B (zh) | 2018-12-11 | 2018-12-11 | 一种用于确定面向海洋模式计算的资源分配参数的方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109558248A true CN109558248A (zh) | 2019-04-02 |
CN109558248B CN109558248B (zh) | 2020-06-02 |
Family
ID=65869492
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811511394.1A Active CN109558248B (zh) | 2018-12-11 | 2018-12-11 | 一种用于确定面向海洋模式计算的资源分配参数的方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109558248B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021052460A1 (zh) * | 2019-09-18 | 2021-03-25 | 华为技术有限公司 | 数据处理方法、模型优化装置和模型执行装置 |
CN113190984A (zh) * | 2021-04-21 | 2021-07-30 | 中国海洋大学 | 水下声场模型bellhop并行实现方法 |
WO2022042519A1 (zh) * | 2020-08-27 | 2022-03-03 | 北京灵汐科技有限公司 | 资源分配方法和装置、计算机设备、计算机可读存储介质 |
CN114780225A (zh) * | 2022-06-14 | 2022-07-22 | 支付宝(杭州)信息技术有限公司 | 一种分布式模型训练系统、方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102591722A (zh) * | 2011-12-31 | 2012-07-18 | 龙芯中科技术有限公司 | 片上网络多核处理器多线程的资源分配处理方法和系统 |
CN104008013A (zh) * | 2013-02-26 | 2014-08-27 | 华为技术有限公司 | 一种核资源分配方法、装置及众核系统 |
CN104516785A (zh) * | 2014-12-19 | 2015-04-15 | 上海电机学院 | 一种云计算资源调度系统及方法 |
CN105843679A (zh) * | 2016-03-18 | 2016-08-10 | 西北工业大学 | 自适应众核资源调度方法 |
WO2016159765A1 (en) * | 2015-03-27 | 2016-10-06 | Recore Systems B.V. | Many-core processor architecture and many-core operating system |
-
2018
- 2018-12-11 CN CN201811511394.1A patent/CN109558248B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102591722A (zh) * | 2011-12-31 | 2012-07-18 | 龙芯中科技术有限公司 | 片上网络多核处理器多线程的资源分配处理方法和系统 |
CN104008013A (zh) * | 2013-02-26 | 2014-08-27 | 华为技术有限公司 | 一种核资源分配方法、装置及众核系统 |
CN104516785A (zh) * | 2014-12-19 | 2015-04-15 | 上海电机学院 | 一种云计算资源调度系统及方法 |
WO2016159765A1 (en) * | 2015-03-27 | 2016-10-06 | Recore Systems B.V. | Many-core processor architecture and many-core operating system |
CN105843679A (zh) * | 2016-03-18 | 2016-08-10 | 西北工业大学 | 自适应众核资源调度方法 |
Non-Patent Citations (2)
Title |
---|
曹仰杰: "众核处理器系统核资源动态分组的自适应调度算法", 《软件学报》 * |
罗章琪 等: "面向数据包处理的众核处理器核资源分配方法", 《计算机研究与发展》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021052460A1 (zh) * | 2019-09-18 | 2021-03-25 | 华为技术有限公司 | 数据处理方法、模型优化装置和模型执行装置 |
WO2022042519A1 (zh) * | 2020-08-27 | 2022-03-03 | 北京灵汐科技有限公司 | 资源分配方法和装置、计算机设备、计算机可读存储介质 |
CN113190984A (zh) * | 2021-04-21 | 2021-07-30 | 中国海洋大学 | 水下声场模型bellhop并行实现方法 |
CN114780225A (zh) * | 2022-06-14 | 2022-07-22 | 支付宝(杭州)信息技术有限公司 | 一种分布式模型训练系统、方法及装置 |
CN114780225B (zh) * | 2022-06-14 | 2022-09-23 | 支付宝(杭州)信息技术有限公司 | 一种分布式模型训练系统、方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN109558248B (zh) | 2020-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Lai et al. | Oort: Efficient federated learning via guided participant selection | |
US11009836B2 (en) | Apparatus and method for optimizing quantifiable behavior in configurable devices and systems | |
CN109558248A (zh) | 一种用于确定面向海洋模式计算的资源分配参数的方法及系统 | |
CN110389820B (zh) | 一种基于v-TGRU模型进行资源预测的私有云任务调度方法 | |
WO2018103595A1 (zh) | 一种授权策略推荐方法及装置、服务器、存储介质 | |
TW201820165A (zh) | 用於雲端巨量資料運算架構之伺服器及其雲端運算資源最佳化方法 | |
CN103403699B (zh) | 估算流数据库应用中的负荷削减数据的系统和方法 | |
CN113037877B (zh) | 云边端架构下时空数据及资源调度的优化方法 | |
CN109885452A (zh) | 性能监控方法、装置及终端设备 | |
CN109075988A (zh) | 任务调度和资源发放系统和方法 | |
Arkian et al. | Model-based stream processing auto-scaling in geo-distributed environments | |
Lai et al. | Oort: Informed participant selection for scalable federated learning | |
CN113467944B (zh) | 面向复杂软件系统的资源部署装置及方法 | |
CN109088747A (zh) | 云计算系统中资源的管理方法和装置 | |
CN109639791A (zh) | 一种容器环境下云工作流调度方法及系统 | |
Kanoun et al. | Big-data streaming applications scheduling based on staged multi-armed bandits | |
CN113902116A (zh) | 一种面向深度学习模型推理批处理优化方法与系统 | |
CN115794341A (zh) | 基于人工智能的任务调度方法、装置、设备及存储介质 | |
Liu et al. | A virtual machine migration strategy based on time series workload prediction using cloud model | |
Wang et al. | Online cloud resource prediction via scalable window waveform sampling on classified workloads | |
Dogani et al. | K-agrued: a container autoscaling technique for cloud-based web applications in kubernetes using attention-based gru encoder-decoder | |
Chen et al. | Silhouette: Efficient cloud configuration exploration for large-scale analytics | |
Song et al. | Adaptive and collaborative edge inference in task stream with latency constraint | |
CN113204429A (zh) | 一种数据中心的资源调度方法及系统、调度设备、介质 | |
CN116126415A (zh) | 一种基于场景的上云组件配置推荐方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |