CN111522885A - 一种基于动态规划的分布式数据库系统协同优化方法 - Google Patents

一种基于动态规划的分布式数据库系统协同优化方法 Download PDF

Info

Publication number
CN111522885A
CN111522885A CN202010478020.5A CN202010478020A CN111522885A CN 111522885 A CN111522885 A CN 111522885A CN 202010478020 A CN202010478020 A CN 202010478020A CN 111522885 A CN111522885 A CN 111522885A
Authority
CN
China
Prior art keywords
data
task
distributed
resources
tasks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010478020.5A
Other languages
English (en)
Inventor
曲逸文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202010478020.5A priority Critical patent/CN111522885A/zh
Publication of CN111522885A publication Critical patent/CN111522885A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/48Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806Task transfer initiation or dispatching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083Techniques for rebalancing the load in a distributed system

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Multi Processors (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于动态规划的分布式数据库系统协同优化方法。该方法包括以下步骤:采用数据流分块方法将分布式数据全集划分为若干不可再分的数据基元;并发处理任务的优化;分布式资源的负载平衡优化;计划任务的动态调度方法。本发明具有降维式搜索策略,在分布式大数据的多任务随发性处理过程中,保证了任务执行计划的全程最优化,具有效率高、负载均衡性好、资源利用率高和实时处理能力强的优点。

Description

一种基于动态规划的分布式数据库系统协同优化方法
本发明为申请号名称为“一种基于动态规划的分布式数据库系统协同优化方法”,申请号为“2018100723494”的发明专利的分案申请。
技术领域
本发明涉及一种基于动态规划的分布式数据库系统协同优化方法,属于互联网云计算和大数据领域。
背景技术
目前,在分布式数据库的并发任务优化领域,通行做法是先用一个通用的并发任务计划表述模型来描述任务计划,然后给出一个执行计划需要消耗的资源代价模型,最终制定执行策略,使得计划任务的代价最小。但以上思想在考虑到并发任务的同步性、优化过程自身的额外开销、多种同类资源的竞争以及数据倾斜和延迟性,使得高并发任务计划的建模很难精准,这在高并发分布式任务计划中,将对优化效果造成颠覆性的影响。
发明内容
为解决上述问题,本发明的目的在于提供一种基于动态规划的分布式任务协同优化方法,可将上述非确定性因素的影响降到最低。
本发明的技术方案为:
一种基于动态规划的分布式数据库系统协同优化方法,其特征在于,该方法包括以下步骤:
A.采用基于数据流分块方法,将分布式数据全集按照计划任务序列对数据单元的并更操作这一不可区分关系分块为一系列不可再分的数据基元;
B.并发处理任务的优化;
C.分布式资源的负载平衡优化,并计算出计划任务代价;
D.计划任务的动态调度方法。
进一步的,所述步骤A的具体实现方式为:
采用四元信息系统描述法,将分布式数据系统表示为INS=(U,Fh,Vra,f),其中INS表示目标分布式数据系统;U表示数据系统中所有个体的全集,是非空有限集;Fh表示个体的特征,是非空有限集;Vra表示特征Fh的值域;f为系统映射函数满足{f:U×Fh→Vra};因此,对任一特征Fhi∈Fh,数据集Ui∈U,有如下算式:
Figure BDA0002516428870000021
其中,
Figure BDA0002516428870000022
表示特征Fhi的值集;
记分布式数据系统的数据集合InD={d1,d2...dn},di表示数据集中的一个数据单元,其中i∈[1,n];计划任务序列MS={MS1,MS2…MSq},MSj表示分布式数据系统中的一个并发操作任务,其中j∈[1,q];则可得数据操作矩阵OPr:
Figure BDA0002516428870000023
将数据操作矩阵OPr映射到分布式数据系统INS=(U,Fh,Vra,f)上,令U=InD={d1,d2…dn},Fh=MS={MS1,MS2…MSq},Vra=OPr为特征Fh的值域,即Vra=U1≤i≤n,1≤j≤ qOPrij;系统映射函数f:定义为计划任务序列中的任务对分布式数据集合InD中的di有变更操作的函数输出为A,无变更操作的输出为N;
对于INS数据系统中任意一个个体的特征子集
Figure BDA0002516428870000033
则可以在U×U空间上定义一个不可区分的关系R(fh)={(u,u′)∈U×U:有f(u,fh)=f(u′,fh)},在U上按不可区分关系R(fh)可得数据分块U/R(fh)记为[u]fh,定义为本方法的数据基元,即不可再分块的数据最小单元。
进一步的,所述步骤B的具体实现方式为:
记β和γ表示分布式数据系统中任意两个逻辑表达式,则C(β∧γ)和C(β∨γ)可表示数据系统中的两个数据基元,其维度分别为|C(β∧γ)|和|C(β∨γ)|;记两并发任务的相似度为S:
Figure BDA0002516428870000031
设定两个并发任务可看做相似任务的充要条件是:S>0.5,若两任务为相似任务,可以降维合并,记为MSij=MSi∨MSj,即
Figure BDA0002516428870000032
进一步的,所述步骤C的具体实现方式为:
分布式资源的负载平衡方法为:记任务TS在一个分布式系统下的资源向量为MSResVector(TS),cpu向量MSCpuVector(TS),任务存储向量MSDisVector(TS),带宽资源向量MSNetVector(TS),内存资源向量MSMemVector(TS),则有:
Figure BDA0002516428870000041
其中,CPUi(TS)表示任务TS对各点CPU资源的占用;Diski(TS)表示对各点存储资源的占用;Neti(TS)表示对各站点带宽资源的占用;Memi(TS)表示对各点内存资源的占用;
利用均方根计算各种资源的优化因子,其中分布式CPU资源的优化因子为:
Figure BDA0002516428870000042
同理可得其他分布式资源的优化因子:
Figure BDA0002516428870000043
则任务TS的代价为:
Figure BDA0002516428870000044
进一步的,所述步骤D的具体实现方式为:
所述动态调度方法,即从计划任务序列中选择一个或若干适当的任务,根据系统当前资源占用情况为并发任务动态地分配所需资源,实现总体上更有效地利用分布式资源:
(1)计算当前系统资源占用向量SysResVector
假设系统的计划任务序列中共有n个任务,则每个任务的资源占用向量为:MSResVector(TSi),那么当前系统总体资源占用向量为:
Figure BDA0002516428870000045
(2)根据任务序列的执行代价和当前系统资源,选择可执行任务序列:
Compare(SysResVector,Cost(TS));
(3)无需动态调度,直接进入执行序列的任务:
设定平衡阈值
Figure BDA0002516428870000051
若某任务的执行代价
Figure BDA0002516428870000052
则该任务无需进入等待序列,直接插入执行序列;
(4)某任务响应完毕,释放资源到系统:
SysResVector=SysResVector-MSResVector(TSi)。
本发明的有益效果为:
本发明完成了基于动态规划的分布式数据库系统的协同优化方法,在分布式大数据的多任务随发性处理过程中,保证了任务执行计划的全程最优化,具有效率高、负载均衡性好、资源利用率高和实时处理能力强的优点。
附图说明
图1为基于动态规划的分布式数据库系统协同优化方法整体流程图。
图2为协同优化方法实际性能对比图。
具体实施方式
参照图1,本发明基于动态规划的分布式数据库系统协同优化方法包括以下步骤:
A.采用基于数据流分块方法,将分布式数据全集按照计划任务序列对数据单元的并更操作这一不可区分关系分块为一系列不可再分的数据基元:
在大数据处理领域,计算资源、数据以及处理请求点的最大特征就是分布性,并且数据呈现出非结构化趋势,因此预期数据流分块方法能够在这类分布式数据库系统中发挥良好的效果,必须设计一套充分考虑以上问题,通信代价低、结果可靠的数据分块方法。
该方法中,采用四元信息系统描述法,将分布式数据系统表示为INS=(U,Fh,Vra,f),其中INS表示目标分布式数据系统;U表示数据系统中所有个体的全集,是非空有限集;Fh表示个体的特征,是非空有限集;Vra表示特征Fh的值域;f为系统映射函数满足{f:U×Fh→Vra};因此,对任一特征Fhi∈Fh,数据集Ui∈U,有如下算式:
Figure BDA0002516428870000061
其中,
Figure BDA0002516428870000062
表示特征Fhi的值集;
记分布式数据系统的数据集合InD={d1,d2…dn},其中di(i∈[1,n])表示数据集中的一个数据单元;计划任务序列MS={MS1,MS2…MSq},其中MSj(j∈[1,q])表示分布式数据系统中的一个并发操作任务,则可得到数据操作矩阵OPr,表示如下:
Figure BDA0002516428870000063
将数据操作矩阵OPr映射到分布式数据系统INS=(U,Fh,Vra,f)上,令U=InD={d1,d2…dn},Fh=MS={MS1,MS2…MSq},Vra=OPr为特征Fh的值域,即,Vra=U1≤i≤n,1≤j≤ qOPrij;系统映射函数f:定义为计划任务序列中的任务对分布式数据集合InD中的di有变更操作的函数输出为A,无变更操作的输出为N。
对于INS数据系统中任意一个个体的特征子集
Figure BDA0002516428870000072
则可以在U×U空间上定义一个不可区分的关系R(fh)={(u,u′)∈U×U:有f(u,fh)=f(u′,fh)}。本方法在U上按不可区分关系R(fh)可得数据分块U/R(fh)记为[u]fh,定义为本方法的数据基元,即本方法中不可再分块的数据最小单元。
实例,假设一个分布式数据系统的数据全集为InD={d1,d2...d10},计划任务序列为MS={MS1,MS2…MS4},各任务对各数据单元的变更情况如表1所示:
表1计划任务序列对数据单元的变更情况表
Figure BDA0002516428870000071
依据上述定义,基于任务对数据单元的变更影响这一关系而得到的数据分块计算方法为:U/R(fh)=[u]fh={{d1,d6,d9},{d2},{d3},{d4},{d5,d8},{d7},{d10}},即完成了对分布式数据全集的分块,可见将全集分成了7个数据基元。
B.并发处理任务的优化方法:
以上基于数据基元的分块处理,可以使大部分并发任务的目标数据位于该任务的当地站点,减少了网络传输代价,但是随着计划任务序列维数的升高,对全集U的分块将越来越细化,数据基元数量越来越大,将导致数据连接大量增加,整个系统处理的复杂度呈几何级上涨。因此,需要对并发处理任务进行降维和优化。
记β和γ表示分布式数据系统中任意两个逻辑表达式,则,C(β∧γ)和C(β∨γ)可表示数据系统中的两个数据基元,其维度分别为|C(β∧γ)|和|C(β∨γ)|;记两并发任务的相似度为S,则有:
Figure BDA0002516428870000081
本方法认为两个并发任务可看做相似任务的充要条件是:S>0.5.仍然以表1所列实例说明:假设两个逻辑表达式如下:
Figure BDA0002516428870000082
则有如下算式:
Figure BDA0002516428870000083
Figure BDA0002516428870000084
进而算得MS3和MS4两任务相似度S:
Figure BDA0002516428870000091
因此MS3和MS4两任务为相似任务,可以降维合并,记为MS34=MS3∨MS4,即
Figure BDA0002516428870000092
降维后的结果如表2所示:
表2:对任务计划序列降维后的数据操作效果
Figure BDA0002516428870000093
经过以上计算后,即可实现对并发任务计划序列的降维,降低数据基元数目,达到并发任务的优化效果。
C.分布式资源的负载平衡优化方法,并计算出计划任务代价:
方法在优化并发计划任务的最优效果是:整个并发计划任务的响应时间最短。而资源消耗和并行化程度决定了响应时间。对于一个并发计划任务序列,其并行化程度采用方法优化后的效果是定值,因此控制资源消耗的水平直接决定着并发计划任务序列的响应时间。
如果某并发任务序列既能保证消耗最少的资源,又能使得这些占用资源分摊到整个分布式系统的资源点上,那么该并发任务序列的响应时间必定是最短的,即,分布式资源的负载平衡,算法如下:
记任务TS在一个分布式系统下的资源向量为MSResVector(TS),cpu向量MSCpuVector(TS),任务存储向量MSDisVector(TS),带宽资源向量MSNetVector(TS),内存资源向量MSMemVector(TS),则有:
Figure BDA0002516428870000101
其中,CPUi(TS)表示任务TS对各点CPU资源的占用;Diski(TS)表示对各点存储资源的占用;Neti(TS)表示对各站点带宽资源的占用;Memi(TS)表示对各点内存资源的占用。
通过以上表述,利用均方根计算各种资源的优化因子,以分布式CPU资源的优化因子为例,算法如下:
Figure BDA0002516428870000102
同理可得其他分布式资源的优化因子:
Figure BDA0002516428870000111
因此,任务TS的代价为:
Figure BDA0002516428870000112
D.计划任务的动态调度方法。
计划任务序列中的单个任务因其自身特性,往往无法最优化利用各点的分布式资源,因而影响整个系统的运行效率和吞吐。因此需要一套动态调度方法,从计划任务序列中选择一个或若干适当的任务,根据系统当前资源占用情况为并发任务动态地分配所需资源,实现总体上更有效地利用分布式资源。
(1)计算当前系统资源占用向量SysResVector
假设系统的计划任务序列中共有n个任务,则每个任务的资源占用向量为:MSResVector(TSi),那么当前系统总体资源占用向量为:
Figure BDA0002516428870000113
(2)根据任务序列的执行代价和当前系统资源,选择可执行任务序列:
Compare(SysResVector,Cost(TS));
(3)无需动态调度,直接进入执行序列的任务:
设定平衡阈值
Figure BDA0002516428870000114
若某任务的执行代价
Figure BDA0002516428870000115
则该任务无需进入等待序列,直接插入执行序列。
(4)某任务响应完毕,释放资源到系统:
SysResVector=SysResVector-MSResVector(TSi);
综上所述,便完成了基于动态规划的分布式数据库系统的协同优化方法,在分布式大数据的多任务随发性处理过程中,保证了任务执行计划的全程最优化,具有算法效率高、负载均衡性好、资源利用率高和实时处理能力强的优点。

Claims (1)

1.一种基于动态规划的分布式数据库系统协同优化方法,其特征在于,该方法包括以下步骤:
A.采用基于数据流分块方法,将分布式数据全集按照计划任务序列对数据单元的变更操作这一不可区分关系分块为一系列不可再分的数据基元;
采用四元信息系统描述法,将分布式数据系统表示为INS=(U,Fh,Vra,f),其中INS表示目标分布式数据系统;U表示数据系统中所有个体的全集,是非空有限集;Fh表示个体的特征,是非空有限集;Vra表示特征Fh的值域;f为系统映射函数满足{f:U×Fh→Vra};因此,对任一特征Fhi∈Fh,数据集Ui∈U,有如下算式:
Figure FDA0002516428860000011
其中,
Figure FDA0002516428860000012
表示特征Fhi的值集;
记分布式数据系统的数据集合InD={d1,d2...dn},di表示数据集中的一个数据单元,其中i∈[1,n];计划任务序列MS={MS1,MS2…MSq},MSj表示分布式数据系统中的一个并发操作任务,其中j∈[1,q];则可得数据操作矩阵OPr:
Figure FDA0002516428860000013
将数据操作矩阵OPr映射到分布式数据系统INS=(U,Fh,Vra,f)上,令U=InD={d1,d2...dn},Fh=MS={MS1,MS2…MSq},Vra=OPr为特征Fh的值域,即Vra=∪1≤i≤n,1≤j≤qOPrij;系统映射函数f:定义为计划任务序列中的任务对分布式数据集合InD中的di有变更操作的函数输出为A,无变更操作的输出为N;
对于INS数据系统中任意一个个体的特征子集
Figure FDA0002516428860000021
则可以在U×U空间上定义一个不可区分的关系R(fh)={(u,u′)∈U×U:有f(u,fh)=f(u′,fh)},在U上按不可区分关系R(fh)可得数据分块U/R(fh)记为[u]fh,定义为本方法的数据基元,即不可再分块的数据最小单元;
B.并发处理任务的优化;
C.分布式资源的负载平衡优化,并计算出计划任务代价;
分布式资源的负载平衡算法为:记任务TS在一个分布式系统下的资源向量为MSResVector(TS),cpu向量MSCpuVector(TS),任务存储向量MSDisVector(TS),带宽资源向量MSNetVector(TS),内存资源向量MSMemVector(TS),则有:
Figure FDA0002516428860000022
其中,CPUi(TS)表示任务TS对各点CPU资源的占用;Diski(TS)表示对各点存储资源的占用;Neti(TS)表示对各站点带宽资源的占用;Memi(TS)表示对各点内存资源的占用;
利用均方根计算各种资源的优化因子,其中分布式CPU资源的优化因子为:
Figure FDA0002516428860000031
同理可得其他分布式资源的优化因子:
Figure FDA0002516428860000032
则任务TS的代价为:
Figure FDA0002516428860000033
D.计划任务的动态调度方法;
所述步骤B的具体实现方式为:
记β和γ表示分布式数据系统中任意两个逻辑表达式,则C(β∧γ)和C(β∨γ)可表示数据系统中的两个数据基元,其维度分别为|C(β∧γ)|和|C(β∨γ)|;记两并发任务的相似度为S:
Figure FDA0002516428860000034
设定两个并发任务可看做相似任务的充要条件是:S>0.5,若两任务为相似任务,可以降维合并,记为MSij=MSi∨MSj,即
Figure FDA0002516428860000035
所述步骤D的具体实现方式为:
所述动态调度方法,即从计划任务序列中选择一个或若干适当的任务,根据系统当前资源占用情况为并发任务动态地分配所需资源,实现总体上更有效地利用分布式资源:
(1)计算当前系统资源占用向量SysResVector
假设系统的计划任务序列中共有n个任务,则每个任务的资源占用向量为:MSResVector(TSi),那么当前系统总体资源占用向量为:
Figure FDA0002516428860000036
(2)根据任务序列的执行代价和当前系统资源,选择可执行任务序列:
Compare(SysResVector,Cost(TS));
(3)无需动态调度,直接进入执行序列的任务:
设定平衡阈值
Figure FDA0002516428860000041
若某任务的执行代价
Figure FDA0002516428860000042
则该任务无需进入等待序列,直接插入执行序列;
(4)某任务响应完毕,释放资源到系统:
SysResVector=SySResVector-MSResVector(TSi)。
CN202010478020.5A 2018-01-25 2018-01-25 一种基于动态规划的分布式数据库系统协同优化方法 Withdrawn CN111522885A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010478020.5A CN111522885A (zh) 2018-01-25 2018-01-25 一种基于动态规划的分布式数据库系统协同优化方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810072349.4A CN108170861B (zh) 2018-01-25 2018-01-25 一种基于动态规划的分布式数据库系统协同优化方法
CN202010478020.5A CN111522885A (zh) 2018-01-25 2018-01-25 一种基于动态规划的分布式数据库系统协同优化方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201810072349.4A Division CN108170861B (zh) 2018-01-25 2018-01-25 一种基于动态规划的分布式数据库系统协同优化方法

Publications (1)

Publication Number Publication Date
CN111522885A true CN111522885A (zh) 2020-08-11

Family

ID=62515545

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010478020.5A Withdrawn CN111522885A (zh) 2018-01-25 2018-01-25 一种基于动态规划的分布式数据库系统协同优化方法
CN201810072349.4A Active CN108170861B (zh) 2018-01-25 2018-01-25 一种基于动态规划的分布式数据库系统协同优化方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201810072349.4A Active CN108170861B (zh) 2018-01-25 2018-01-25 一种基于动态规划的分布式数据库系统协同优化方法

Country Status (1)

Country Link
CN (2) CN111522885A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114201726A (zh) * 2020-09-18 2022-03-18 深圳先进技术研究院 一种卷积运算优化方法、系统、终端以及存储介质
CN115629717A (zh) * 2022-12-08 2023-01-20 四川汉唐云分布式存储技术有限公司 一种基于分布式存储的负载均衡方法和存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111400555B (zh) * 2020-03-05 2023-09-26 湖南大学 图数据查询任务处理方法、装置、计算机设备和存储介质
CN111949400B (zh) * 2020-07-31 2024-04-09 上海中通吉网络技术有限公司 业务线的任务资源消耗分摊方法、装置、设备和存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6754652B2 (en) * 2002-03-29 2004-06-22 International Business Machines Corporation Database query optimizer framework with dynamic strategy dispatch
US7277876B2 (en) * 2004-01-23 2007-10-02 Solomon Research Llc Dynamic adaptive distributed computer system
CN102073272B (zh) * 2011-02-24 2013-05-15 北京恩耐特分布能源技术有限公司 一种分布式能源整体规划优化的系统及其优化方法
CN104331321B (zh) * 2014-10-09 2017-04-19 冷明 基于禁忌搜索和负载均衡的云计算任务调度方法
CN105159762B (zh) * 2015-08-03 2018-09-07 冷子阳 基于贪心策略的启发式云计算任务调度方法
CN106155791B (zh) * 2016-06-30 2019-05-07 电子科技大学 一种分布式环境下的工作流任务调度方法
CN106844049A (zh) * 2017-01-13 2017-06-13 广西电网有限责任公司电力科学研究院 一种分布式计算系统的任务分配方法
CN107220113A (zh) * 2017-07-31 2017-09-29 西安电子科技大学 基于并行的自适应决策效率优化方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114201726A (zh) * 2020-09-18 2022-03-18 深圳先进技术研究院 一种卷积运算优化方法、系统、终端以及存储介质
CN115629717A (zh) * 2022-12-08 2023-01-20 四川汉唐云分布式存储技术有限公司 一种基于分布式存储的负载均衡方法和存储介质
CN115629717B (zh) * 2022-12-08 2023-03-21 四川汉唐云分布式存储技术有限公司 一种基于分布式存储的负载均衡方法和存储介质

Also Published As

Publication number Publication date
CN108170861B (zh) 2020-07-03
CN108170861A (zh) 2018-06-15

Similar Documents

Publication Publication Date Title
CN108170861B (zh) 一种基于动态规划的分布式数据库系统协同优化方法
CN103617087B (zh) 一种适合迭代计算的MapReduce优化方法
CN106447173A (zh) 一种支持任意流程结构的云工作流调度方法
CN113627871A (zh) 一种基于多目标粒子群算法的工作流调度方法、系统及存储介质
CN103473134A (zh) 一种异构多核处理器的依赖任务调度方法
EP3989067A1 (en) Data processing method and apparatus for dynamic runtime selection of a kernel candidate implementing a layer of a neural network
CN111813506A (zh) 一种基于粒子群算法资源感知计算迁移方法、装置及介质
CN113946431B (zh) 一种资源调度方法、系统、介质及计算设备
JP2022539955A (ja) タスクスケジューリング方法及び装置
US20210390405A1 (en) Microservice-based training systems in heterogeneous graphic processor unit (gpu) cluster and operating method thereof
CN114327811A (zh) 一种任务调度方法、装置、设备及可读存储介质
CN112114960A (zh) 一种适应互联网场景的遥感影像并行集群处理的调度策略
CN116263681A (zh) 移动边缘计算任务卸载方法、装置、设备及存储介质
CN115586961A (zh) 一种ai平台计算资源任务调度方法、装置及介质
CN113127173B (zh) 一种异构感知的集群调度方法及装置
CN112685162A (zh) 边缘服务器异构计算资源的高效能调度方法、系统和介质
CN112433844A (zh) 一种资源分配方法、系统、设备及计算机可读存储介质
CN115098240B (zh) 一种多处理器应用调度方法和系统及存储介质
CN114860417B (zh) 多核神经网络处理器及用于该处理器多任务分配调度方法
US20240086246A1 (en) Allocating Computational Tasks to Computer Hardware
CN116048759A (zh) 数据流的数据处理方法、装置、计算机和存储介质
CN116010051A (zh) 一种联邦学习多任务调度方法及装置
CN112598112B (zh) 一种基于图神经网络的资源调度方法
CN113407336B (zh) 基于禁忌搜索优化算法的全比较数据分发方法
CN114138484A (zh) 资源分配方法、装置以及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20200811