CN108920269A - 容器的i/o传输任务的调度方法和装置 - Google Patents

容器的i/o传输任务的调度方法和装置 Download PDF

Info

Publication number
CN108920269A
CN108920269A CN201810797460.XA CN201810797460A CN108920269A CN 108920269 A CN108920269 A CN 108920269A CN 201810797460 A CN201810797460 A CN 201810797460A CN 108920269 A CN108920269 A CN 108920269A
Authority
CN
China
Prior art keywords
container
current
containers
task
list
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810797460.XA
Other languages
English (en)
Other versions
CN108920269B (zh
Inventor
程筱彪
徐雷
贾宝军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China United Network Communications Group Co Ltd
Original Assignee
China United Network Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China United Network Communications Group Co Ltd filed Critical China United Network Communications Group Co Ltd
Priority to CN201810797460.XA priority Critical patent/CN108920269B/zh
Publication of CN108920269A publication Critical patent/CN108920269A/zh
Application granted granted Critical
Publication of CN108920269B publication Critical patent/CN108920269B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/48Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806Task transfer initiation or dispatching
    • G06F9/4843Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种容器的I/O传输任务的调度方法和装置。该方法包括:根据预先设置的容器的多个评价参数计算出容器列表中多个当前容器编号对应的容器的排序分数,每个所述当前容器编号用于标识对应的一个所述容器;根据所述容器的排序分数对多个容器进行优先级排序;对多个容器按优先级进行I/O传输任务的调度。本发明通过容器的排序分数对容器进行优先级排序,从而实现了动态实时调度I/O传输任务。

Description

容器的I/O传输任务的调度方法和装置
技术领域
本发明涉及通信技术领域,特别涉及一种容器的I/O传输任务的调度方法和装置。
背景技术
同一宿主机上容器集群对底层的物理资源(例如:CPU、磁盘、内存等)是完全共享的,各容器之间尤其是输入输出(Input/Output,简称I/O)密集型容器对磁盘I/O资源的竞争,很可能会导致整体系统的性能下降和延迟增大。
现有的容器I/O任务控制主要是,在各个容器创建时预设独立的磁盘I/O上限,从而防止某些容器因各种原因占用大量磁盘I/O带宽,因此能够一定程度上避免个别容器占用过多磁盘I/O而影响其他容器传输任务的情况。
但是,现有技术中,仅能对容器的磁盘I/O进行一个数量上的限制,对有大I/O需求的容器不能动态增加,对于I/O需求不多的容器也不会释放所分配的I/O资源,从而无法实现动态实时调度I/O传输任务。
发明内容
本发明提供一种容器的I/O传输任务的调度方法和装置,用于实现动态实时调度I/O传输任务。
为实现上述目的,本发明提供了一种容器的I/O传输任务的调度方法,包括:
根据预先设置的容器的多个评价参数计算出容器列表中多个当前容器编号对应的容器的排序分数,每个所述当前容器编号用于标识对应的一个所述容器;
根据所述容器的排序分数对多个容器进行优先级排序;
对多个容器按优先级进行I/O传输任务的调度。
可选地,所述容器列表包括多个当前容器编号,每个当前容器编号对应于多个评价参数,多个评价参数包括容器已等待时间、I/O传输数据量、任务预计完成所需时长、同时间同类容器并发数量和预设所属容器的重要程度;
所述根据预先设置的容器的多个评价参数计算出容器列表中多个当前容器编号对应的容器的排序分数包括:
根据多个当前容器编号和多个评价参数,生成归一化三元矩阵;
根据所述归一化三元矩阵,计算出每个所述评价参数对应的权重系数;
根据所述归一化三元矩阵和每个所述评价参数对应的权重系数,计算出每个容器的排序分数。
可选地,所述根据多个当前容器编号和多个评价参数,生成归一化三元矩阵包括:
根据多个当前容器编号和多个评价参数,生成初始三元矩阵,所述初始三元矩阵其中,A为初始三元矩阵,Cn为当前容器编号,n为容器数量,T为容器已等待时间,D为I/O传输数据量,C为任务预计完成所需时长,N为同时间同类容器并发数量,I为预设所属容器的重要程度,xij为初始三元矩阵的初始数值,i为列数,j为行数;
通过公式对所述初始三元矩阵中I/O传输数据量、任务预计完成所需时长和同时间同类容器并发数量所在行的初始数值进行计算,得出I/O传输数据量、任务预计完成所需时长和同时间同类容器并发数量所在行的归一化数值;
通过公式对所述初始三元矩阵中容器已等待时间和预设所属容器的重要程度所在行的初始数值进行计算,得出容器已等待时间和预设所属容器的重要程度所在行的归一化数值;
根据I/O传输数据量、任务预计完成所需时长和同时间同类容器并发数量所在行的归一化数值以及容器已等待时间和预设所属容器的重要程度所在行的归一化数值,生成归一化三元矩阵,所述归一化三元矩阵其中,B为归一化三元矩阵,yij为归一化三元矩阵的归一化数值。
可选地,所述根据所述归一化三元矩阵,计算出每个所述评价参数对应的权重系数包括:
根据所述归一化三元矩阵,通过公式计算出每个评价参数对应的比重,其中,Pj为比重,j=1时P1为容器已等待时间对应的比重,j=2时P2为I/O传输数据量对应的比重,j=3时P3为任务预计完成所需时长对应的比重,j=4时P4为同时间同类容器并发数量对应的比重,j=5时P5为预设所属容器的重要程度对应的比重;
通过公式对每个评价参数对应的比值进行计算,得出每个评价参数对应的差异性系数,其中,gj为差异性系数,k=1/ln(n),j=1时g1为容器已等待时间对应的差异性系数,j=2时g2为I/O传输数据量对应的差异性系数,j=3时g3为任务预计完成所需时长对应的差异性系数,j=4时g4为同时间同类容器并发数量对应的差异性系数,j=5时g5为预设所属容器的重要程度对应的差异性系数;
通过公式对每个评价参数对应的差异性系数进行归一化处理,得出每个评价参数对应的权重系数,其中,wj为权重系数,m为评价参数的数量,j=1时w1为容器已等待时间对应的权重系数,j=2时w2为I/O传输数据量对应的权重系数,j=3时w3为任务预计完成所需时长对应的权重系数,j=4时w4为同时间同类容器并发数量对应的权重系数,j=5时w5为预设所属容器的重要程度对应的权重系数。
可选地,所述根据所述归一化三元矩阵和每个所述评价参数对应的权重系数,计算出每个容器的排序分数包括:
通过公式对每个评价参数对应的权重系数和归一化三元矩阵中每个评价参数所在行的归一化数值进行计算,得出每个容器的排序分数。
可选地,所述容器列表包括多个当前容器编号,每个当前容器编号对应于多个评价参数和一个下一个容器编号;
所述根据预先设置的容器的多个评价参数计算出容器列表中多个当前容器编号对应的容器的排序分数之前包括:
判断所述容器列表中每个当前容器编号对应的下一个容器编号是否为空;
若判断出所述容器列表中任一当前容器编号对应的下一个容器编号为空,执行所述根据预先设置的容器的多个评价参数计算出容器列表中多个当前容器编号对应的容器的排序分数的步骤。
可选地,所述容器列表包括多个容器,每个容器包括当前容器编号、多个评价参数和下一个容器编号;
所述根据所述容器的排序分数对多个容器进行优先级排序之后还包括:
根据容器的优先级顺序对每个当前容器编号对应的下一个容器编号进行更新;
所述对多个容器按优先级进行I/O传输任务的调度包括:
根据每个当前容器编号和与每个当前容器编号对应的下一个容器编号对多个容器进行I/O传输任务的调度。
为实现上述目的,本发明提供了一种容器的I/O传输任务的调度装置,包括:
计算模块,用于根据预先设置的容器的多个评价参数计算出容器列表中多个当前容器编号对应的容器的排序分数,每个所述当前容器编号用于标识对应的一个所述容器;
排序模块,用于根据所述容器的排序分数对多个容器进行优先级排序;
调度模块,用于对多个容器按优先级进行I/O传输任务的调度。
可选地,所述容器列表包括多个当前容器编号,每个当前容器编号对应于多个评价参数和一个下一个容器编号;
所述装置还包括:
判断模块,用于判断所述容器列表中每个当前容器编号对应的下一个容器编号是否为空;若判断出所述容器列表中任一当前容器编号对应的下一个容器编号为空,触发所述计算模块执行所述根据预先设置的容器的多个评价参数计算出容器列表中多个当前容器编号对应的容器的排序分数的步骤。
可选地,所述容器列表包括多个容器,每个容器包括当前容器编号、多个评价参数和下一个容器编号;
所述装置还包括:更新模块;
所述更新模块用于根据容器的优先级顺序对每个当前容器编号对应的下一个容器编号进行更新;
所述调度模块具体用于根据每个当前容器编号和与每个当前容器编号对应的下一个容器编号对多个容器进行I/O传输任务的调度。
本发明具有以下有益效果:
本发明提供的容器的I/O传输任务的调度方法和装置的技术方案中,根据预先设置的容器的多个评价参数计算出容器列表中多个当前容器编号对应的容器的排序分数,每个当前容器编号用于标识对应的一个容器,根据容器的排序分数对多个容器进行优先级排序,对多个容器按优先级进行I/O传输任务的调度,本发明通过容器的排序分数对容器进行优先级排序,从而实现了动态实时调度I/O传输任务。
附图说明
图1为本发明实施例一提供的一种容器I/O传输任务的调度方法的流程图;
图2为本发明实施例二提供的一种容器I/O传输任务的调度方法的流程图;
图3为本发明实施例三提供的一种容器的I/O传输任务的调度装置的结构示意图。
具体实施方式
为使本领域的技术人员更好地理解本发明的技术方案,下面结合附图对本发明提供的容器的I/O传输任务的调度方法和装置进行详细描述。
图1为本发明实施例一提供的一种容器I/O传输任务的调度方法的流程图,如图1所示,该方法包括:
步骤101、根据预先设置的容器的多个评价参数计算出容器列表中多个当前容器编号对应的容器的排序分数,每个当前容器编号用于标识对应的一个容器。
步骤102、根据容器的排序分数对多个容器进行优先级排序。
步骤103、对多个容器按优先级进行I/O传输任务的调度。
本实施例提供的容器的I/O传输任务的调度方法的技术方案中,根据预先设置的容器的多个评价参数计算出容器列表中多个当前容器编号对应的容器的排序分数,每个当前容器编号用于标识对应的一个容器,根据容器的排序分数对多个容器进行优先级排序,对多个容器按优先级进行I/O传输任务的调度,本实施例通过容器的排序分数对容器进行优先级排序,从而实现了动态实时调度I/O传输任务。
图2为本发明实施例二提供的一种容器I/O传输任务的调度方法的流程图,如图2所示,该方法包括:
步骤201、获取容器列表,容器列表包括多个当前容器编号,并从数据库中获取与每个当前容器编号对应的下一个容器编号和多个评价参数,多个评价参数包括容器已等待时间、I/O传输数据量、任务预计完成所需时长、同时间同类容器并发数量和预设所属容器的重要程度。
本实施例中,定期获取已进入等待状态的当前容器编号,根据获取的已进入等待状态的当前容器编号形成容器列表,以实现获取容器列表。
本实施例中,数据库预先存储有多条容器数据,每条容器数据可包括一个当前容器编号、一个下一个容器编号和多个评价参数。其中,每条容器数据中下一个容器编号和多个评价参数与当前容器编号对应,换言之,每个当前容器编号对应于多个评价参数和一个下一个容器编号。本实施例中,可预先设置多个评价参数。数据库中存储的容器数据可以表示为:
其中,“Container”表示容器数据;“Container number”为当前容器编号;“Waiting time”为容器已等待时间,该容器已等待时间可用T表示;“Data size”为I/O传输数据量,该I/O传输数据量可用D表示,“Cost time”为任务预计完成所需时长,该任务预计完成所需时长可用C表示,“Concurrent number”为同时间同类容器并发数量,该同时间同类容器并发数量可用N表示,“Importance ranking”为预设所属容器的重要程度,该预设所属容器的重要程度可用I表示。“Next Container”为下一个容器编号,下一个容器编号的初始值可以为空。其中,容器编号可以用Cn表示,即:当前容器编号和下一个容器编号均可以用Cn表示。
步骤202、判断容器列表中每个当前容器编号对应的的下一个容器编号是否为空,若是,则执行步骤203;若否,则执行步骤208。
本步骤中,若判断出所述容器列表中任一当前容器编号对应的下一个容器编号为空,则执行步骤203;若判断出容器列表中任一当前容器编号对应的下一个容器编号均不为空,则执行步骤208。
步骤203、根据多个当前容器编号和多个评价参数,生成归一化三元矩阵。
本实施例中,步骤203具体包括:
步骤2031、根据多个当前容器编号和多个评价参数,生成初始三元矩阵,初始三元矩阵其中,A为初始三元矩阵,Cn为当前容器编号,n为容器数量,T为容器已等待时间,D为I/O传输数据量,C为任务预计完成所需时长,N为同时间同类容器并发数量,I为预设所属容器的重要程度,xij为初始三元矩阵的初始数值,i为列数,j为行数。
本实施例中,初始三元矩阵为当前容器编号、评价参数和初始数值构成的三元矩阵。
步骤2032、通过公式对初始三元矩阵中I/O传输数据量、任务预计完成所需时长和同时间同类容器并发数量所在行的初始数值进行计算,得出I/O传输数据量、任务预计完成所需时长和同时间同类容器并发数量所在行的归一化数值。
由于I/O传输数据量、任务预计完成所需时长和同时间同类容器并发数量均为逆向评价参数(即数值越小优先级越高),因此本步骤中,可通过上述公式,以模糊算法对初始三元矩阵中I/O传输数据量、任务预计完成所需时长和同时间同类容器并发数量所在行的初始数值进行计算进行数据归一化运算,以得出归一化数值。
步骤2033、通过公式对初始三元矩阵中容器已等待时间和预设所属容器的重要程度所在行的初始数值进行计算,得出容器已等待时间和预设所属容器的重要程度所在行的归一化数值。
由于容器已等待时间和预设所属容器的重要程度均为正向评价参数(即数值越大优先级越高),因此本步骤中,可通过上述公式,以模糊算法对初始三元矩阵中容器已等待时间和预设所属容器的重要程度所在行的初始数值进行数据归一化运算,以得出归一化数值。
步骤2034、根据I/O传输数据量、任务预计完成所需时长和同时间同类容器并发数量所在行的归一化数值以及容器已等待时间和预设所属容器的重要程度所在行的归一化数值,生成归一化三元矩阵,归一化三元矩阵其中,B为归一化三元矩阵,yij为归一化三元矩阵的归一化数值。
步骤204、根据归一化三元矩阵,计算出每个评价参数对应的权重系数。
本实施例中,步骤204具体包括:
步骤2041、根据归一化三元矩阵,通过公式计算出每个评价参数对应的比重,其中,Pj为比重,j=1时P1为容器已等待时间对应的比重,j=2时P2为I/O传输数据量对应的比重,j=3时P3为任务预计完成所需时长对应的比重,j=4时P4为同时间同类容器并发数量对应的比重,j=5时P5为预设所属容器的重要程度对应的比重。
本步骤中,可通过上述公式,以熵值法计算出每个评价参数对应的比重。
步骤2042、通过公式对每个评价参数对应的比值进行计算,得出每个评价参数对应的差异性系数,其中,gj为差异性系数,k=1/ln(n),j=1时g1为容器已等待时间对应的差异性系数,j=2时g2为I/O传输数据量对应的差异性系数,j=3时g3为任务预计完成所需时长对应的差异性系数,j=4时g4为同时间同类容器并发数量对应的差异性系数,j=5时g5为预设所属容器的重要程度对应的差异性系数。
步骤2043、通过公式对每个评价参数对应的差异性系数进行归一化处理,得出每个评价参数对应的权重系数,其中,wj为权重系数,m为评价参数的数量,j=1时w1为容器已等待时间对应的权重系数,j=2时w2为I/O传输数据量对应的权重系数,j=3时w3为任务预计完成所需时长对应的权重系数,j=4时w4为同时间同类容器并发数量对应的权重系数,j=5时w5为预设所属容器的重要程度对应的权重系数。
本实施例中,评价参数的数量为5个,因此m可以为1至5。
步骤205、根据归一化三元矩阵和每个评价参数对应的权重系数,计算出每个容器的排序分数。
本实施例中,步骤205具体包括:
步骤2051、通过公式对每个评价参数对应的权重系数和归一化三元矩阵中每个评价参数所在行的归一化数值进行计算,得出多个容器的排序分数。
本实施例中,每个容器对应于一个排序分数。例如:当前容器编号C1对应于k1,因此k1为当前容器编号C1对应的容器的排序分数;当前容器编号C2对应于k2,因此k2为当前容器编号C2对应的容器的排序分数;以此类推,当前容器编号Cn对应于kn,因此kn为当前容器编号Cn对应的容器的排序分数。
步骤206、根据容器的排序分数对多个容器进行优先级排序。
本实施例中,可按容器的排序分数从高到低对多个容器进行优先级排序。排序分数越高,容器的优先级越高,则排序时顺序越靠前。
排序后的容器的顺序为容器列表中的当前容器编号的顺序,例如:C1、C5、Cn、C7、……、C3
步骤207、根据容器的优先级顺序对最后一个当前容器编号之外的其余每个当前容器编号对应的下一个容器编号进行更新。
例如:当前容器编号C1对应于下一个容器编号C5;当前容器编号C5对应于下一个容器编号Cn;当前容器编号Cn对应于下一个容器编号C7;最后一个当前容器编号C3对应的下一个容器编号不更新。
步骤208、根据每个当前容器编号和与每个当前容器编号对应的下一个容器编号对多个容器进行I/O传输任务的调度。
本实施例提供的容器的I/O传输任务的调度方法的技术方案中,根据预先设置的容器的多个评价参数计算出容器列表中多个当前容器编号对应的容器的排序分数,每个当前容器编号用于标识对应的一个容器,根据容器的排序分数对多个容器进行优先级排序,对多个容器按优先级进行I/O传输任务的调度,本实施例通过容器的排序分数对容器进行优先级排序,从而实现了动态实时调度I/O传输任务。本实施例通过设置下一个容器编号,从而避免了多次重复计算。
图3为本发明实施例三提供的一种容器的I/O传输任务的调度装置的结构示意图,如图3所示,该装置包括:计算模块11、排序模块12和调度模块13。
计算模块11用于根据预先设置的容器的多个评价参数计算出容器列表中多个当前容器编号对应的容器的排序分数,每个所述当前容器编号用于标识对应的一个所述容器。排序模块12用于根据所述容器的排序分数对多个容器进行优先级排序。调度模块13用于对多个容器按优先级进行I/O传输任务的调度。
进一步地,容器列表包括多个当前容器编号,每个当前容器编号对应于多个评价参数和一个下一个容器编号。
该装置还包括:判断模块14。
判断模块14用于判断所述容器列表中每个当前容器编号对应的下一个容器编号是否为空;若判断出所述容器列表中任一当前容器编号对应的下一个容器编号为空,触发计算模块11执行所述根据预先设置的容器的多个评价参数计算出容器列表中多个当前容器编号对应的容器的排序分数的步骤。
进一步地,容器列表包括多个容器,每个容器包括当前容器编号、多个评价参数和下一个容器编号。
该装置还包括:更新模块15。
更新模块15用于根据容器的优先级顺序对每个当前容器编号对应的下一个容器编号进行更新。调度模块13具体用于根据每个当前容器编号和与每个当前容器编号对应的下一个容器编号对多个容器进行I/O传输任务的调度。
本实施例中,计算模块11可用于执行步骤203至步骤205,此处不再重复描述。
本实施例提供的容器的I/O传输任务的调度装置的技术方案中,根据预先设置的容器的多个评价参数计算出容器列表中多个当前容器编号对应的容器的排序分数,每个当前容器编号用于标识对应的一个容器,根据容器的排序分数对多个容器进行优先级排序,对多个容器按优先级进行I/O传输任务的调度,本实施例通过容器的排序分数对容器进行优先级排序,从而实现了动态实时调度I/O传输任务。
可以理解的是,以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式,然而本发明并不局限于此。对于本领域内的普通技术人员而言,在不脱离本发明的精神和实质的情况下,可以做出各种变型和改进,这些变型和改进也视为本发明的保护范围。

Claims (10)

1.一种容器的I/O传输任务的调度方法,其特征在于,包括:
根据预先设置的容器的多个评价参数计算出容器列表中多个当前容器编号对应的容器的排序分数,每个所述当前容器编号用于标识对应的一个所述容器;
根据所述容器的排序分数对多个容器进行优先级排序;
对多个容器按优先级进行I/O传输任务的调度。
2.根据权利要求1所述的容器的I/O传输任务的调度方法,其特征在于,所述容器列表包括多个当前容器编号,每个当前容器编号对应于多个评价参数,多个评价参数包括容器已等待时间、I/O传输数据量、任务预计完成所需时长、同时间同类容器并发数量和预设所属容器的重要程度;
所述根据预先设置的容器的多个评价参数计算出容器列表中多个当前容器编号对应的容器的排序分数包括:
根据多个当前容器编号和多个评价参数,生成归一化三元矩阵;
根据所述归一化三元矩阵,计算出每个所述评价参数对应的权重系数;
根据所述归一化三元矩阵和每个所述评价参数对应的权重系数,计算出每个容器的排序分数。
3.根据权利要求2所述的容器的I/O传输任务的调度方法,其特征在于,所述根据多个当前容器编号和多个评价参数,生成归一化三元矩阵包括:
根据多个当前容器编号和多个评价参数,生成初始三元矩阵,所述初始三元矩阵其中,A为初始三元矩阵,Cn为当前容器编号,n为容器数量,T为容器已等待时间,D为I/O传输数据量,C为任务预计完成所需时长,N为同时间同类容器并发数量,I为预设所属容器的重要程度,xij为初始三元矩阵的初始数值,i为列数,j为行数;
通过公式对所述初始三元矩阵中I/O传输数据量、任务预计完成所需时长和同时间同类容器并发数量所在行的初始数值进行计算,得出I/O传输数据量、任务预计完成所需时长和同时间同类容器并发数量所在行的归一化数值;
通过公式对所述初始三元矩阵中容器已等待时间和预设所属容器的重要程度所在行的初始数值进行计算,得出容器已等待时间和预设所属容器的重要程度所在行的归一化数值;
根据I/O传输数据量、任务预计完成所需时长和同时间同类容器并发数量所在行的归一化数值以及容器已等待时间和预设所属容器的重要程度所在行的归一化数值,生成归一化三元矩阵,所述归一化三元矩阵其中,B为归一化三元矩阵,yij为归一化三元矩阵的归一化数值。
4.根据权利要求2所述的容器的I/O传输任务的调度方法,其特征在于,所述根据所述归一化三元矩阵,计算出每个所述评价参数对应的权重系数包括:
根据所述归一化三元矩阵,通过公式计算出每个评价参数对应的比重,其中,Pj为比重,j=1时P1为容器已等待时间对应的比重,j=2时P2为I/O传输数据量对应的比重,j=3时P3为任务预计完成所需时长对应的比重,j=4时P4为同时间同类容器并发数量对应的比重,j=5时P5为预设所属容器的重要程度对应的比重;
通过公式对每个评价参数对应的比值进行计算,得出每个评价参数对应的差异性系数,其中,gj为差异性系数,k=1/ln(n),j=1时g1为容器已等待时间对应的差异性系数,j=2时g2为I/O传输数据量对应的差异性系数,j=3时g3为任务预计完成所需时长对应的差异性系数,j=4时g4为同时间同类容器并发数量对应的差异性系数,j=5时g5为预设所属容器的重要程度对应的差异性系数;
通过公式对每个评价参数对应的差异性系数进行归一化处理,得出每个评价参数对应的权重系数,其中,wj为权重系数,m为评价参数的数量,j=1时w1为容器已等待时间对应的权重系数,j=2时w2为I/O传输数据量对应的权重系数,j=3时w3为任务预计完成所需时长对应的权重系数,j=4时w4为同时间同类容器并发数量对应的权重系数,j=5时w5为预设所属容器的重要程度对应的权重系数。
5.根据权利要求1所述的容器的I/O传输任务的调度方法,其特征在于,所述根据所述归一化三元矩阵和每个所述评价参数对应的权重系数,计算出每个容器的排序分数包括:
通过公式对每个评价参数对应的权重系数和归一化三元矩阵中每个评价参数所在行的归一化数值进行计算,得出每个容器的排序分数。
6.根据权利要求1所述的容器的I/O传输任务的调度方法,其特征在于,所述容器列表包括多个当前容器编号,每个当前容器编号对应于多个评价参数和一个下一个容器编号;
所述根据预先设置的容器的多个评价参数计算出容器列表中多个当前容器编号对应的容器的排序分数之前包括:
判断所述容器列表中每个当前容器编号对应的下一个容器编号是否为空;
若判断出所述容器列表中任一当前容器编号对应的下一个容器编号为空,执行所述根据预先设置的容器的多个评价参数计算出容器列表中多个当前容器编号对应的容器的排序分数的步骤。
7.根据权利要求1所述的容器的I/O传输任务的调度方法,其特征在于,所述容器列表包括多个容器,每个容器包括当前容器编号、多个评价参数和下一个容器编号;
所述根据所述容器的排序分数对多个容器进行优先级排序之后还包括:
根据容器的优先级顺序对每个当前容器编号对应的下一个容器编号进行更新;
所述对多个容器按优先级进行I/O传输任务的调度包括:
根据每个当前容器编号和与每个当前容器编号对应的下一个容器编号对多个容器进行I/O传输任务的调度。
8.一种容器的I/O传输任务的调度装置,其特征在于,包括:
计算模块,用于根据预先设置的容器的多个评价参数计算出容器列表中多个当前容器编号对应的容器的排序分数,每个所述当前容器编号用于标识对应的一个所述容器;
排序模块,用于根据所述容器的排序分数对多个容器进行优先级排序;
调度模块,用于对多个容器按优先级进行I/O传输任务的调度。
9.根据权利要求8所述的容器的I/O传输任务的调度装置,其特征在于,所述容器列表包括多个当前容器编号,每个当前容器编号对应于多个评价参数和一个下一个容器编号;
所述装置还包括:
判断模块,用于判断所述容器列表中每个当前容器编号对应的下一个容器编号是否为空;若判断出所述容器列表中任一当前容器编号对应的下一个容器编号为空,触发所述计算模块执行所述根据预先设置的容器的多个评价参数计算出容器列表中多个当前容器编号对应的容器的排序分数的步骤。
10.根据权利要求8所述的容器的I/O传输任务的调度装置,其特征在于,所述容器列表包括多个容器,每个容器包括当前容器编号、多个评价参数和下一个容器编号;
所述装置还包括:更新模块;
所述更新模块用于根据容器的优先级顺序对每个当前容器编号对应的下一个容器编号进行更新;
所述调度模块具体用于根据每个当前容器编号和与每个当前容器编号对应的下一个容器编号对多个容器进行I/O传输任务的调度。
CN201810797460.XA 2018-07-19 2018-07-19 容器的i/o传输任务的调度方法和装置 Active CN108920269B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810797460.XA CN108920269B (zh) 2018-07-19 2018-07-19 容器的i/o传输任务的调度方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810797460.XA CN108920269B (zh) 2018-07-19 2018-07-19 容器的i/o传输任务的调度方法和装置

Publications (2)

Publication Number Publication Date
CN108920269A true CN108920269A (zh) 2018-11-30
CN108920269B CN108920269B (zh) 2021-03-19

Family

ID=64414856

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810797460.XA Active CN108920269B (zh) 2018-07-19 2018-07-19 容器的i/o传输任务的调度方法和装置

Country Status (1)

Country Link
CN (1) CN108920269B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110515704A (zh) * 2019-08-30 2019-11-29 广东浪潮大数据研究有限公司 基于Kubernetes系统的资源调度方法及装置

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101841565A (zh) * 2010-04-20 2010-09-22 中国科学院软件研究所 数据库集群系统负载均衡方法和数据库集群系统
CN104915407A (zh) * 2015-06-03 2015-09-16 华中科技大学 一种基于Hadoop多作业环境下的资源调度方法
CN105335229A (zh) * 2014-07-25 2016-02-17 杭州华三通信技术有限公司 一种业务资源的调度方法和装置
CN106445628A (zh) * 2015-08-11 2017-02-22 华为技术有限公司 一种虚拟化方法、装置和系统
CN106844055A (zh) * 2017-01-25 2017-06-13 北京百分点信息科技有限公司 一种任务的执行方法和装置
CN107239336A (zh) * 2016-03-28 2017-10-10 中兴通讯股份有限公司 一种实现任务调度的方法及装置
US20180089001A1 (en) * 2016-09-29 2018-03-29 Intel Corporation Cloud container resource binding and tasking using keys
US20180095789A1 (en) * 2015-04-23 2018-04-05 Alibaba Group Holding Limited Method and system for scheduling input/output resources of a virtual machine
CN107908457A (zh) * 2017-11-08 2018-04-13 河海大学 一种基于稳定匹配的容器化云资源分配方法
CN108055292A (zh) * 2017-10-30 2018-05-18 中国人民解放军空军工程大学 一种虚拟机向物理机映射的优化方法
CN108062254A (zh) * 2017-12-12 2018-05-22 腾讯科技(深圳)有限公司 作业处理方法、装置、存储介质及设备
US9983908B1 (en) * 2017-06-22 2018-05-29 International Business Machines Corporation Adjusting allocation of selected resources for capped and uncapped virtual machines

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101841565A (zh) * 2010-04-20 2010-09-22 中国科学院软件研究所 数据库集群系统负载均衡方法和数据库集群系统
CN105335229A (zh) * 2014-07-25 2016-02-17 杭州华三通信技术有限公司 一种业务资源的调度方法和装置
US20180095789A1 (en) * 2015-04-23 2018-04-05 Alibaba Group Holding Limited Method and system for scheduling input/output resources of a virtual machine
CN104915407A (zh) * 2015-06-03 2015-09-16 华中科技大学 一种基于Hadoop多作业环境下的资源调度方法
CN106445628A (zh) * 2015-08-11 2017-02-22 华为技术有限公司 一种虚拟化方法、装置和系统
CN107239336A (zh) * 2016-03-28 2017-10-10 中兴通讯股份有限公司 一种实现任务调度的方法及装置
US20180089001A1 (en) * 2016-09-29 2018-03-29 Intel Corporation Cloud container resource binding and tasking using keys
CN106844055A (zh) * 2017-01-25 2017-06-13 北京百分点信息科技有限公司 一种任务的执行方法和装置
US9983908B1 (en) * 2017-06-22 2018-05-29 International Business Machines Corporation Adjusting allocation of selected resources for capped and uncapped virtual machines
CN108055292A (zh) * 2017-10-30 2018-05-18 中国人民解放军空军工程大学 一种虚拟机向物理机映射的优化方法
CN107908457A (zh) * 2017-11-08 2018-04-13 河海大学 一种基于稳定匹配的容器化云资源分配方法
CN108062254A (zh) * 2017-12-12 2018-05-22 腾讯科技(深圳)有限公司 作业处理方法、装置、存储介质及设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110515704A (zh) * 2019-08-30 2019-11-29 广东浪潮大数据研究有限公司 基于Kubernetes系统的资源调度方法及装置
CN110515704B (zh) * 2019-08-30 2023-08-04 广东浪潮大数据研究有限公司 基于Kubernetes系统的资源调度方法及装置

Also Published As

Publication number Publication date
CN108920269B (zh) 2021-03-19

Similar Documents

Publication Publication Date Title
CN110737529B (zh) 一种面向短时多变大数据作业集群调度自适应性配置方法
CN105718479B (zh) 跨idc大数据处理架构下执行策略生成方法、装置
CN110399222B (zh) Gpu集群深度学习任务并行化方法、装置及电子设备
US10108458B2 (en) System and method for scheduling jobs in distributed datacenters
CN110837410A (zh) 任务调度方法、装置、电子设备及计算机可读存储介质
CN107579926A (zh) 基于令牌桶算法的Ceph云存储系统的QoS设置方法
US8695005B2 (en) Model for hosting and invoking applications on virtual machines in a distributed computing environment
CN110389816B (zh) 用于资源调度的方法、装置以及计算机可读介质
US9374314B2 (en) QoS aware balancing in data centers
CN103729246B (zh) 一种任务调度方法和装置
CN106209682A (zh) 业务调度方法、装置和系统
CN104636202A (zh) 计算机系统及其排程方法
CN107656813A (zh) 一种负载调度的方法、装置及终端
JP6908643B2 (ja) ノンプリエンプティブタスクの集合をマルチロボット環境でスケジュールするためのシステムおよび方法
CN111352736A (zh) 大数据资源的调度方法、装置、服务器及存储介质
CN108427602B (zh) 一种分布式计算任务的协同调度方法及装置
CN115543577B (zh) 基于协变量的Kubernetes资源调度优化方法、存储介质及设备
CN109857535A (zh) 面向Spark JDBC的任务优先级控制的实现方法及装置
CN110764898A (zh) 一种任务分配方法、装置、可读存储介质及终端设备
CN101169741B (zh) 确定作业的调度优先级的方法和系统
Glazebrook et al. On the optimal allocation of service to impatient tasks
CN103218322A (zh) 片上系统、电子系统以及操作其的方法
CN108920269A (zh) 容器的i/o传输任务的调度方法和装置
CN111080126B (zh) 任务分配方法和装置
CN108268313A (zh) 数据处理的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant