CN110865885B - 面向分布式数据处理与聚合的任务部署装置和方法 - Google Patents

面向分布式数据处理与聚合的任务部署装置和方法 Download PDF

Info

Publication number
CN110865885B
CN110865885B CN201910954974.6A CN201910954974A CN110865885B CN 110865885 B CN110865885 B CN 110865885B CN 201910954974 A CN201910954974 A CN 201910954974A CN 110865885 B CN110865885 B CN 110865885B
Authority
CN
China
Prior art keywords
task
subtask
resource
resources
completion time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910954974.6A
Other languages
English (en)
Other versions
CN110865885A (zh
Inventor
纪越峰
张佳玮
崔璐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201910954974.6A priority Critical patent/CN110865885B/zh
Publication of CN110865885A publication Critical patent/CN110865885A/zh
Application granted granted Critical
Publication of CN110865885B publication Critical patent/CN110865885B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5022—Mechanisms to release resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种面向分布式数据处理与聚合的任务部署装置和方法，所述方法包括：基于当前网络状态信息为当前待部署的任务分配可用的最大网络资源后，计算出所述任务的各子任务所需的完成时间；确定出最大完成时间Tmax及其对应的子任务；调整为其它子任务分配的带宽资源和计算资源，使得其它子任务所需的完成时间尽量延长至Tmax；基于调整后的带宽资源和计算资源，对所述任务的各子任务进行部署。应用本发明可以减小各子任务的处理结果到达目的数据中心的时间差，从而减少对作为目的数据中心的MEC服务器资源的浪费。

Description

面向分布式数据处理与聚合的任务部署装置和方法
技术领域
本发明涉及移动边缘计算领域，特别是指一种面向分布式数据处理与聚合的任务部署装置和方法。
背景技术
移动边缘计算(MEC，Mobile Edge Computing)作为下一代移动通信(5G)的关键技术，为低时延和大带宽业务提供了一个极具前景的解决方案。通过将计算能力引入到网络边缘，使得业务请求可以在距离用户更近的地方进行处理，减少了用户响应时延、缓解了网络回传带宽的压力。在实际网络场景中，常常完成一个业务请求所需要的原始数据(子任务)会存储在多个跨异地分布的MEC(Mobile Edge Computing，移动边缘计算)服务器中。为了满足特定业务的时延需求，需要先将存储在各地的原始数据先进行本地处理(这一过程叫做数据处理，每个处理过程称为子任务)，然后再将各个子任务处理得到的中间结果通过MEC服务器之间的网路汇聚到一个目标MEC服务器(这一过程叫做数据聚合)，聚合结束后继续完成后续处理操作。
例如，如图1所示，原始数据分散在不同的跨异地MEC服务器中，当业务A请求到来时，根据策略选取了MEC Server3作为目的数据中心进行聚合。聚合操作之前，所有的原始数据首先在本地进行处理：原始数据A1(即子任务A1)在MEC Server1进行处理，原始数据A2(即子任务A2)在MEC server2进行处理。之后，将计算出的中间结果通过MEC之间的网络进行数据传输，所有数据到达MEC Server3时进行聚合。
在实际应用中，本发明的发明人发现，现有技术中，将各个子任务处理得到的中间结果通过MEC服务器之间的网路汇聚到一个目标MEC服务器的任务聚合过程中，决定一个任务完成时间的关键是最后一个到达目的数据中心的子任务的时间。先到达的子任务的处理结果需要等待后到达的子任务的处理结果，并不能先开始进行聚合操作，而且先到达的子任务的处理结果将会消耗一定量的MEC服务器资源，导致MEC服务器资源的浪费。
发明内容
本发明提出了一种面向分布式数据处理与聚合的任务部署装置和方法，减小各子任务的处理结果到达目的数据中心的时间差，从而减少对作为目的数据中心的MEC服务器资源的浪费。
基于上述目的，本发明提供一种面向分布式数据处理与聚合的任务部署方法，包括：
基于当前网络状态信息为当前待部署的任务分配可用的最大网络资源后，计算出所述任务的各子任务所需的完成时间；
确定出最大完成时间Tmax及其对应的子任务；
调整为其它子任务分配的带宽资源和计算资源，使得其它子任务所需的完成时间尽量延长至Tmax；
基于调整后的带宽资源和计算资源，对所述任务的各子任务进行部署。
其中，所述调整为其它子任务分配的带宽资源和计算资源，使得其它子任务所需的完成时间尽量延长至Tmax，具体包括：
对于当前需要进行资源调整的子任务，根据预先划分的不同等级的计算资源和带宽资源组合方式，在当前网络状态信息状态下为该子任务选择最佳的等级所对应的计算资源和带宽资源组合方式，使得该子任务完成时间T最接近Tmax，且保证T<＝Tmax。
较佳地，在所述为当前待部署的任务分配可用的最大网络资源之前，还包括：
基于当前网络状态信息，判断所述任务是否满足部署条件；以及
所述为当前待部署的任务分配可用的最大网络资源，具体为：
在判断所述任务满足部署条件后，为当前待部署的任务分配可用的最大网络资源；
其中，所述部署条件具体包括：
对于所述任务的每个子任务，该子任务所在的MEC服务器的剩余计算资源满足该子任务的最小计算资源要求，所述MEC服务器至所述任务的目的数据中心的传输路径的剩余带宽资源满足该子任务的最小带宽资源要求。
较佳地，在所述为当前待部署的任务分配可用的最大网络资源之前，还包括：
若判断所述任务不满足部署条件，则等待其它任务执行完毕网络资源释放。
较佳地，在所述基于当前网络状态信息为当前待部署的任务分配可用的最大网络资源之前，还包括：
接收来自北向的任务请求；
对于接收的请求完成的每个任务，基于当前网络状态信息计算只部署该任务所需的完成时间；
根据计算的各任务所需的完成时间，对各任务进行升序排序；
将排序最前的任务确定为当前待部署的任务。
本发明还提供一种面向分布式数据处理与聚合的任务部署装置，包括：
子任务完成时间计算单元，用于基于当前网络状态信息为当前待部署的任务分配可用的最大网络资源后，计算出所述任务的各子任务所需的完成时间；并确定出最大完成时间Tmax及其对应的子任务；
资源调整单元，用于调整为其它子任务分配的带宽资源和计算资源，使得其它子任务所需的完成时间尽量延长至Tmax；
部署单元，用于基于调整后的带宽资源和计算资源，对所述任务的各子任务进行部署。
本发明还提供一种光网络控制器，包括：如上所述的面向分布式数据处理与聚合的任务部署装置。
本发明的技术方案中，基于当前网络状态信息为当前待部署的任务分配可用的最大网络资源后，计算出所述任务的各子任务所需的完成时间；确定出最大完成时间Tmax及其对应的子任务后，调整为其它子任务分配的带宽资源和计算资源，使得其它子任务所需的完成时间尽量延长至Tmax；基于调整后的带宽资源和计算资源，对所述任务的各子任务进行部署，从而达到减小各子任务的处理结果到达目的数据中心的时间差的目的，能够减少先到达的子任务的处理结果等待后到达的子任务的处理结果的时间，从而能够减少先到达的子任务的处理结果对MEC服务器资源的占用，减少对作为目的数据中心的MEC服务器资源的浪费。
附图说明
图1为现有技术的MEC技术中的分布式数据处理与聚合的示意图；
图2为本发明实施例提供的一种面向分布式数据处理与聚合的任务部署方法流程图；
图3为本发明实施例提供的一种面向分布式数据处理与聚合的任务部署装置的内部结构框图；
图4为本发明实施例提供的一种光网络控制器的内部结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。
本发明的发明人考虑到，由于MEC服务器的计算和存储资源受限，如果可以协调子任务的处理结果尽量在同一时刻到达目的数据中心，能够减少先到达的子任务的处理结果等待后到达的子任务的处理结果的时间，从而能够减少先到达的子任务的处理结果对MEC服务器资源的占用，减少对作为目的数据中心的MEC服务器资源的浪费。
由此，本发明的主要思路为，基于当前网络状态信息为当前待部署的任务分配可用的最大网络资源后，计算出所述任务的各子任务所需的完成时间；确定出最大完成时间Tmax及其对应的子任务后，调整为其它子任务分配的带宽资源和计算资源，使得其它子任务所需的完成时间尽量延长至Tmax；基于调整后的带宽资源和计算资源，对所述任务的各子任务进行部署，从而达到减小各子任务的处理结果到达目的数据中心的时间差的目的，能够减少先到达的子任务的处理结果等待后到达的子任务的处理结果的时间，从而能够减少先到达的子任务的处理结果对MEC服务器资源的占用，减少对作为目的数据中心的MEC服务器资源的浪费。
下面结合附图详细说明本发明实施例的技术方案。
本发明实施例提供的一种面向分布式数据处理与聚合的任务部署方法，流程如图2所示，具体包括如下步骤：
步骤S201：接收来自北向的任务请求。
本步骤中，接收来自北向的任务请求的消息，并将需要的部署的任务的信息从消息中解析出来。
步骤S202：对接收的各任务进行排序。
本步骤中，对于接收的请求完成的每个任务，基于当前网络状态信息计算只部署该任务所需的完成时间；根据计算的各任务所需的完成时间，对各任务进行升序排序；将排序最前的任务确定为当前待部署的任务。
步骤S203：基于当前网络状态信息，判断当前待部署的任务是否满足部署条件；若是，则继续执行如下步骤S204；若否，等待其它任务执行完毕网络资源释放后，重新执行本步骤S203。
本步骤中，基于当前网络状态信息，判断当前待部署的任务是否满足部署条件；其中，所述部署条件具体包括：对于所述任务的每个子任务，该子任务所在的MEC服务器的剩余计算资源满足该子任务的最小计算资源要求，所述MEC服务器至所述任务的目的数据中心的传输路径的剩余带宽资源满足该子任务的最小带宽资源要求。
也就是说，基于当前网络状态信息，对于所述任务的每个子任务，若该子任务所在的MEC服务器的剩余计算资源满足该子任务的最小计算资源要求，所述MEC服务器至所述任务的目的数据中心的传输路径的剩余带宽资源满足该子任务的最小带宽资源要求，则判断当前待部署的任务满足部署条件；
在判断当前待部署的任务满足部署条件后，继续执行如下步骤S204；
在判断当前待部署的任务不满足部署条件后，等待其它任务执行完毕网络资源释放后，重新执行本步骤S203。
步骤S204：基于当前网络状态信息为当前待部署的任务分配可用的最大网络资源后，计算出所述任务的各子任务所需的完成时间。
本步骤中，基于当前网络状态信息为当前待部署的任务分配可用的最大网络资源后，计算出所述任务的各子任务所需的完成时间后，确定出所需的完成时间最大的子任务，以及该子任务的完成时间Tmax；也就是说，确定出最大完成时间Tmax及其对应的子任务。
步骤S205：调整为其它子任务分配的带宽资源和计算资源，使得其它子任务所需的完成时间尽量延长至Tmax。
具体地，可以使用阶跃式的调整方式：预先将计算资源和带宽资源划分为若干个等级，每个等级对应着不同的计算资源和带宽资源的组合。对于需要先执行的子任务，可以先进行资源的调整；也就是说，根据子任务的执行顺序，依次对子任务进行带宽资源和计算资源的调整；对于当前需要进行资源调整的子任务，根据预先划分的不同等级的计算资源和带宽资源组合方式，在当前网络状态信息状态下为该子任务选择最佳的等级所对应的计算资源和带宽资源组合方式，使得该子任务完成时间T最接近Tmax，且保证T<＝Tmax。
步骤S206：基于调整后的带宽资源和计算资源，对所述任务的各子任务进行部署。
具体地，在经过上述步骤S205的带宽资源和计算资源的调整后，于本步骤中对所述任务的各子任务进行部署。
基于上述的面向分布式数据处理与聚合的任务部署方法，本发明实施例提供了一种面向分布式数据处理与聚合的任务部署装置，内部结构框图如图3所示，包括如下单元：子任务完成时间计算单元301、资源调整单元302、部署单元303。
子任务完成时间计算单元301用于基于当前网络状态信息为当前待部署的任务分配可用的最大网络资源后，计算出所述任务的各子任务所需的完成时间；并确定出最大完成时间Tmax及其对应的子任务；
资源调整单元302用于根据子任务完成时间计算单元301计算出所述任务的各子任务所需的完成时间，调整为其它子任务分配的带宽资源和计算资源，使得其它子任务所需的完成时间尽量延长至Tmax；具体地，资源调整单元302对于每个需要进行资源调整的子任务，根据预先划分的不同等级的计算资源和带宽资源组合方式，在当前网络状态信息状态下为该子任务选择最佳的等级所对应的计算资源和带宽资源组合方式，使得该子任务完成时间T最接近Tmax，且保证T<＝Tmax。
部署单元303用于基于资源调整单元302为各子任务调整后的带宽资源和计算资源，对所述任务的各子任务进行部署。
进一步，本发明实施例的一种面向分布式数据处理与聚合的任务部署装置还包括：请求接收单元304、任务排序单元305、部署条件判断单元306。
请求接收单元304用于接收来自北向的任务请求；
任务排序单元305用于对于接收的请求完成的每个任务，基于当前网络状态信息计算只部署该任务所需的完成时间；根据计算的各任务所需的完成时间，对各任务进行升序排序；将排序最前的任务确定为当前待部署的任务。
部署条件判断单元306用于基于当前网络状态信息，判断当前待部署的任务是否满足部署条件；若判断所述任务满足部署条件后，则通知所述子任务完成时间计算单元为所述任务分配可用的最大网络资源；若判断所述任务不满足部署条件，则等待其它任务执行完毕网络资源释放，直到当前待部署的任务满足部署条件。
相应地，子任务完成时间计算单元301具体用于在接收到部署条件判断单元306发送的通知后，基于当前网络状态信息为当前待部署的任务分配可用的最大网络资源后，计算出所述任务的各子任务所需的完成时间；并确定出最大完成时间Tmax及其对应的子任务。
上述的面向分布式数据处理与聚合的任务部署装置中各单元的功能的具体实现方法可参考上述图2所示方法流程中的各步骤，此处不再赘述。
在实际应用中，上述的面向分布式数据处理与聚合的任务部署装置可以设置于光网络控制器中，内部结构如图4所示，包括：连接请求建立模块401、部署策略模块402、虚拟容器管理与配置模块403、传输控制模块406、路径计算与配置模块407，以及数据库模块408。
其中，连接请求建立模块401用于接收来自北向的业务请求，并完成请求消息解析，从中获取出任务请求信息及其子任务信息；上述面向分布式数据处理与聚合的任务部署装置中的请求接收单元304可以设置于连接请求建立模块401中；
数据库模块408用于将网络状态信息存储于数据库中，并提供统一的对外访问接口；存储的网络状态信息包括网络与计算资源的使用情况；
路径计算与配置模块407用于配合部署策略模块402为每个子任务计算出传输的候选路径，并将计算结果反馈给部署策略模块402；
部署策略模块402用于从数据库中获取当前网络状态信息，并对于连接请求建立模块401接收的、请求完成的每个任务，按序确定部署策略：通过与路径计算与配置模块407的交互为当前待部署的任务的每个子任务计算出传输路径；并随后根据计算和带宽资源联合分配策略为子任务分配在并行处理和聚合过程中所需要的计算和带宽资源，并将计算结果作为该任务的部署策略发送给路径计算与配置模块407和虚拟容器管理与配置模块403，从而完成任务的部署；
具体地，上述面向分布式数据处理与聚合的任务部署装置中的任务排序单元305、部署条件判断单元306、子任务完成时间计算单元301和资源调整单元302可以设置于部署策略模块402中。
虚拟容器管理与配置模块403可以实现各种服务的管理与维护，可根据具体情况定制不同的服务；其中，服务类型主要包括：数据处理服务，数据发送服务，数据接收服务，数据聚合服务等；具体地，虚拟容器管理与配置模块403在接收到部署策略模块402发送的任务的部署策略后，实现子任务所需服务的部署，通过计算设备代理模块405完成服务部署和端口匹配；具体地，上述面向分布式数据处理与聚合的任务部署装置中的部署单元303可以设置于虚拟容器管理与配置模块403中。
路径计算与配置模块407还用于在收到部署策略模块402发送的任务的部署策略后，根据为各子任务的传输路径分配的带宽，通过向网络传输设备代理模块404发送路径配置消息完成链路构建。
本发明的技术方案中，基于当前网络状态信息为当前待部署的任务分配可用的最大网络资源后，计算出所述任务的各子任务所需的完成时间；确定出最大完成时间Tmax及其对应的子任务后，调整为其它子任务分配的带宽资源和计算资源，使得其它子任务所需的完成时间尽量延长至Tmax；基于调整后的带宽资源和计算资源，对所述任务的各子任务进行部署，从而达到减小各子任务的处理结果到达目的数据中心的时间差的目的，能够减少先到达的子任务的处理结果等待后到达的子任务的处理结果的时间，从而能够减少先到达的子任务的处理结果对MEC服务器资源的占用，减少对作为目的数据中心的MEC服务器资源的浪费。
本技术领域技术人员可以理解，本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种面向分布式数据处理与聚合的任务部署方法，其特征在于，包括：
基于当前网络状态信息为当前待部署的任务分配可用的最大网络资源后，计算出所述任务的各子任务所需的完成时间；
确定出最大完成时间T max及其对应的子任务；
调整为其它子任务分配的带宽资源和计算资源，使得其它子任务所需的完成时间尽量延长至T max；
基于调整后的带宽资源和计算资源，对所述任务的各子任务进行部署；
其中，所述子任务是先将存储在各地的原始数据先进行的本地处理，并根据子任务的执行顺序，依次对子任务进行带宽资源和计算资源的调整，预先将计算资源和带宽资源划分为若干个等级，每个等级对应着不同的计算资源和带宽资源的组合；决定一个任务完成时间的关键是最后一个到达目的数据中心的子任务的时间，先到达的子任务的处理结果需要等待后到达的子任务的处理结果；
所述调整为其它子任务分配的带宽资源和计算资源，使得其它子任务所需的完成时间尽量延长至T max，具体包括：
对于当前需要进行资源调整的子任务，根据预先划分的不同等级的计算资源和带宽资源组合方式，在当前网络状态信息状态下为该子任务选择最佳的等级所对应的计算资源和带宽资源组合方式，使得该子任务完成时间T最接近T max，且保证T<＝Tmax。
2.根据权利要求1所述的方法，其特征在于，在所述为当前待部署的任务分配可用的最大网络资源之前，还包括：
基于当前网络状态信息，判断所述任务是否满足部署条件；以及
所述为当前待部署的任务分配可用的最大网络资源，具体为：
在判断所述任务满足部署条件后，为当前待部署的任务分配可用的最大网络资源；
其中，所述部署条件具体包括：
对于所述任务的每个子任务，该子任务所在的MEC服务器的剩余计算资源满足该子任务的最小计算资源要求，所述MEC服务器至所述任务的目的数据中心的传输路径的剩余带宽资源满足该子任务的最小带宽资源要求。
3.根据权利要求2所述的方法，其特征在于，在所述为当前待部署的任务分配可用的最大网络资源之前，还包括：
若判断所述任务不满足部署条件，则等待其它任务执行完毕网络资源释放。
4.根据权利要求1-3任一所述的方法，其特征在于，在所述基于当前网络状态信息为当前待部署的任务分配可用的最大网络资源之前，还包括：
接收来自北向的任务请求；
对于接收的请求完成的每个任务，基于当前网络状态信息计算只部署该任务所需的完成时间；
根据计算的各任务所需的完成时间，对各任务进行升序排序；
将排序最前的任务确定为当前待部署的任务。
5.一种面向分布式数据处理与聚合的任务部署装置，其特征在于，包括：
子任务完成时间计算单元，用于基于当前网络状态信息为当前待部署的任务分配可用的最大网络资源后，计算出所述任务的各子任务所需的完成时间；并确定出最大完成时间Tmax及其对应的子任务；其中，所述子任务是先将存储在各地的原始数据先进行的本地处理，并根据子任务的执行顺序，依次对子任务进行带宽资源和计算资源的调整，预先将计算资源和带宽资源划分为若干个等级，每个等级对应着不同的计算资源和带宽资源的组合；决定一个任务完成时间的关键是最后一个到达目的数据中心的子任务的时间，先到达的子任务的处理结果需要等待后到达的子任务的处理结果；
资源调整单元，用于调整为其它子任务分配的带宽资源和计算资源，使得其它子任务所需的完成时间尽量延长至T max，其中，具体包括，对于当前需要进行资源调整的子任务，根据预先划分的不同等级的计算资源和带宽资源组合方式，在当前网络状态信息状态下为该子任务选择最佳的等级所对应的计算资源和带宽资源组合方式，使得该子任务完成时间T最接近T max，且保证T<＝T max；
部署单元，用于基于调整后的带宽资源和计算资源，对所述任务的各子任务进行部署。
6.根据权利要求5所述的装置，其特征在于，还包括：
部署条件判断单元，用于基于当前网络状态信息，判断所述任务是否满足部署条件；若判断所述任务满足部署条件后，则通知所述子任务完成时间计算单元为所述任务分配可用的最大网络资源；若判断所述任务不满足部署条件，则等待其它任务执行完毕网络资源释放。
7.根据权利要求5所述的装置，其特征在于，还包括：
请求接收单元，用于接收来自北向的任务请求；
任务排序单元，用于对于接收的请求完成的每个任务，基于当前网络状态信息计算只部署该任务所需的完成时间；根据计算的各任务所需的完成时间，对各任务进行升序排序；将排序最前的任务确定为当前待部署的任务。
8.一种光网络控制器，其特征在于，包括：如权利要求5-7任一所述的面向分布式数据处理与聚合的任务部署装置。
CN201910954974.6A 2019-10-09 2019-10-09 面向分布式数据处理与聚合的任务部署装置和方法 Active CN110865885B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910954974.6A CN110865885B (zh) 2019-10-09 2019-10-09 面向分布式数据处理与聚合的任务部署装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910954974.6A CN110865885B (zh) 2019-10-09 2019-10-09 面向分布式数据处理与聚合的任务部署装置和方法

Publications (2)

Publication Number Publication Date
CN110865885A CN110865885A (zh) 2020-03-06
CN110865885B true CN110865885B (zh) 2022-11-18

Family

ID=69652166

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910954974.6A Active CN110865885B (zh) 2019-10-09 2019-10-09 面向分布式数据处理与聚合的任务部署装置和方法

Country Status (1)

Country Link
CN (1) CN110865885B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111770477B (zh) * 2020-06-08 2024-01-30 中天通信技术有限公司 一种mec网络的保护资源的部署方法及相关装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622275A (zh) * 2012-04-19 2012-08-01 吴常国 一种云计算环境下负载均衡实现方法
CN103207807A (zh) * 2012-01-12 2013-07-17 阿里巴巴集团控股有限公司 任务调度方法和装置
CN107534584A (zh) * 2015-02-27 2018-01-02 加拿大皇家银行 通过网络化计算资源对数据进行协调处理
CN108494612A (zh) * 2018-01-19 2018-09-04 西安电子科技大学 一种提供移动边缘计算服务的网络系统及其服务方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10108458B2 (en) * 2017-02-28 2018-10-23 Huawei Technologies Canada Co., Ltd. System and method for scheduling jobs in distributed datacenters

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103207807A (zh) * 2012-01-12 2013-07-17 阿里巴巴集团控股有限公司 任务调度方法和装置
CN102622275A (zh) * 2012-04-19 2012-08-01 吴常国 一种云计算环境下负载均衡实现方法
CN107534584A (zh) * 2015-02-27 2018-01-02 加拿大皇家银行 通过网络化计算资源对数据进行协调处理
CN108494612A (zh) * 2018-01-19 2018-09-04 西安电子科技大学 一种提供移动边缘计算服务的网络系统及其服务方法

Also Published As

Publication number Publication date
CN110865885A (zh) 2020-03-06

Similar Documents

Publication Publication Date Title
CN108509276B (zh) 一种边缘计算环境中的视频任务动态迁移方法
CN110996393B (zh) 一种单边缘计算服务器与多用户协同的计算卸载与资源分配方法
CN108337109B (zh) 一种资源分配方法及装置和资源分配系统
Kadhim et al. Maximizing the utilization of fog computing in internet of vehicle using SDN
US9325585B1 (en) Mission-driven autonomous and adaptive resource management
US10652360B2 (en) Access scheduling method and apparatus for terminal, and computer storage medium
CN109582448B (zh) 一种面向关键度和时效性的边缘计算任务调度方法
CN108268318A (zh) 一种分布式系统任务分配的方法和装置
US20200358717A1 (en) Enhance communication of network traffic
CN108512672B (zh) 业务编排方法、业务管理方法及装置
EP3002918B1 (en) Time-based service processing method and device
CN106998590A (zh) 一种上行资源调度方法和装置
WO2020177255A1 (zh) 无线接入网的资源分配方法及装置
CN110865885B (zh) 面向分布式数据处理与聚合的任务部署装置和方法
US9008122B2 (en) Method and apparatus for triggering bandwidth upspeeding within an existing reservation
CN108512761B (zh) 文件传输调度方法、管理平台、请求平台以及存储介质
WO2020108337A1 (zh) 一种cpu资源调度方法及电子设备
Rotter et al. A queueing model for threshold-based scaling of UPF instances in 5G core
CN112437449B (zh) 联合资源分配方法
US9313144B2 (en) Network resource management for parallel computing
CN113032146A (zh) 一种面向多接入边缘计算环境的健壮性服务供应方法
CN110430236B (zh) 一种部署业务的方法以及调度装置
KR20160025926A (ko) 가상 응용서버들로 부하를 분산하는 장치 및 방법
CN107360483B (zh) 一种用于软件定义光网络的控制器负载均衡算法
CN109257227B (zh) 数据传输中的偶联管理方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant