CN107241752B - 一种感知网络流量的yarn调度方法及系统 - Google Patents

一种感知网络流量的yarn调度方法及系统 Download PDF

Info

Publication number
CN107241752B
CN107241752B CN201710383829.8A CN201710383829A CN107241752B CN 107241752 B CN107241752 B CN 107241752B CN 201710383829 A CN201710383829 A CN 201710383829A CN 107241752 B CN107241752 B CN 107241752B
Authority
CN
China
Prior art keywords
node
network flow
real
time network
container
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710383829.8A
Other languages
English (en)
Other versions
CN107241752A (zh
Inventor
辜希武
李瑞轩
王格
李玉华
杨琪
黄凤玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201710383829.8A priority Critical patent/CN107241752B/zh
Publication of CN107241752A publication Critical patent/CN107241752A/zh
Application granted granted Critical
Publication of CN107241752B publication Critical patent/CN107241752B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/02—Arrangements for optimising operational condition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/08—Load balancing or load distribution

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种感知网络流量的YARN调度方法及系统，包括：节点检测节点的网络流量，周期性地将网络流量发送给资源管理器，由资源管理器记录每个节点当前的网络流量信息，收到节点汇报的网络流量信息时，对这个值进行更新，在节点移除时，删掉该节点的网络流量信息；在应用向资源管理器申请容器时，为容器设置类型，以便资源管理器能识别容器的类型；在调度方面，根据当前节点与整个集群的网络流量信息，判断出当前节点的网络流量负载情况，选择合适的应用程序分配资源。本发明提供的调度方法能均衡集群中节点的网络负载，减少MapReduce应用的执行时间。

Description

一种感知网络流量的YARN调度方法及系统
技术领域
本发明属于互联网大数据技术领域，更具体地，涉及一种感知网络流量的YARN调度方法及系统。
背景技术
随着大数据时代的来临，每天产生大量非结构化和半结构化数据，传统的关系型数据库等解决方案无法存储和处理如此规模的数据量，于是MapReduce编程模型产生。YARN(Yet Another Resource Negotiator)作为一种资源管理平台，以其高可靠性，高容错性，支持多种计算框架而得到广泛应用。
由于YARN管理资源只包括了CPU和内存，没有包含节点的网络流量信息，而MapReduce应用非本地性的map任务需要到其他节点上去取数据，reduce任务需要到每个map任务所在的节点去取它需要处理的数据，这两种任务都需要占用网络资源。YARN调度器缺乏对整个集群中网络资源的感知，极易将reduce任务聚集在某些节点上，导致这些节点上的网络负载高于其他节点，延长作业的执行时间。
发明内容
针对现有技术的以上缺陷或改进需求，本发明的目的在于提供了一种感知网络流量的YARN调度方法及系统，由此解决现有技术中YARN调度器缺乏对整个集群中网络资源的感知，极易将reduce任务聚集在某些节点上，导致这些节点上的网络负载高于其他节点，延长作业的执行时间的技术问题。
为实现上述目的，按照本发明的一个方面，提供了一种感知网络流量的YARN调度方法，包括：
S1、应用程序在向YARN资源管理器申请Container时设置Container的类型；
S2、集群中的每个节点采集节点上的实时网络流量信息，并在心跳时向资源管理器汇报节点的实时网络流量信息；
S3、资源管理器记录每个节点上的实时网络流量信息，并在收到节点汇报的更新值时，对记录的相应节点的实时网络流量信息进行更新，和/或在节点移除时，删除记录的移除节点的实时网络流量信息；
S4、当前节点向资源管理器发送心跳信息时，若当前节点上存在可用资源，则根据记录的各节点的实时网络流量信息以及当前节点的实时网络流量信息，选择合适的应用程序的Container分配资源。
优选地，步骤S2具体包括如下子步骤：
S2.1、对集群中的每个节点，使用nload命令将节点的实时网络流量信息重定向到文件中；
S2.2、从文件中读取对应的字段，获取节点的实时网络流量信息；
S2.3、将节点的实时网络流量信息赋给NodeStatus的networkFlow字段；
S2.4、向资源管理器发送心跳信息汇报节点的实时网络流量信息。
优选地，步骤S4具体包括如下子步骤：
S4.1、根据记录的每个节点的实时网络流量信息和当前节点的实时网络流量信息确定当前节点需要的任务类型；
S4.2、若当前节点需要的任务类型是NORMAL，则进入步骤S4.3，否则，依次选择FIFO中的应用程序，再按照Container的优先级遍历所选的应用程序中的所有Container，判断是否存在Container的类型与当前节点需要的任务类型一致的Container，若存在，则将当前节点的资源分配给与当前节点需要的任务类型一致的Container，否则进入步骤S4.3；
S4.3、依次选择FIFO中的应用程序，再按照Container的优先级遍历所选的应用程序中的所有Container，将当前节点的资源分配给优先级最高的Container。
优选地，步骤S4.1具体包括如下子步骤：
S4.1.1、若集群中每个节点的实时网络流量均小于预设阈值，则认为当前集群没有网络任务在执行，直接返回NORMAL；
S4.1.2、计算出集群中所有节点的实时网络流量总和；
S4.1.3、用所有节点的实时网络流量总和除以集群中节点的数量得到网络流量平均值；
S4.1.4、若当前节点的实时网络流量大于网络流量平均值，则确定当前节点需要的任务类型为MAP，否则确定当前节点需要的任务类型为REDUCE。
按照本发明的另一方面，提供了一种感知网络流量的YARN调度系统，包括：
容器类型设置模块，用于在应用程序向YARN资源管理器申请Container时设置Container的类型；
流量信息收集模块，用于由集群中的每个节点采集节点上的实时网络流量信息，并在心跳时向资源管理器汇报节点的实时网络流量信息；
流量信息更新模块，用于由资源管理器记录每个节点上的实时网络流量信息，并在收到节点汇报的更新值时，对记录的相应节点的实时网络流量信息进行更新，和/或在节点移除时，删除记录的移除节点的实时网络流量信息；
资源调度模块，用于在当前节点向资源管理器发送心跳信息时，若当前节点上存在可用资源，则根据记录的各节点的实时网络流量信息以及当前节点的实时网络流量信息，选择合适的应用程序的Container分配资源。
优选地，所述流量信息收集模块包括：
重定向模块，用于对集群中的每个节点，使用nload命令将节点的实时网络流量信息重定向到文件中；
流量信息获取模块，用于从文件中读取对应的字段，获取节点的实时网络流量信息，并将节点的实时网络流量信息赋给NodeStatus的networkFlow字段；
发送模块，用于向资源管理器发送心跳信息汇报节点的实时网络流量信息。
优选地，所述资源调度模块包括：
确定模块，用于根据记录的每个节点的实时网络流量信息和当前节点的实时网络流量信息确定当前节点需要的任务类型；
第一调度模块，用于在当前节点需要的任务类型不是NORMAL时，依次选择FIFO中的应用程序，再按照Container的优先级遍历所选的应用程序中的所有Container，判断是否存在Container的类型与当前节点需要的任务类型一致的Container，若存在，则将当前节点的资源分配给与当前节点需要的任务类型一致的Container；
第二调度模块，用于在当前节点需要的任务类型是NORMAL时，或者，在不存在Container的类型与当前节点需要的任务类型一致的Container时，依次选择FIFO中的应用程序，再按照Container的优先级遍历所选的应用程序中的所有Container，将当前节点的资源分配给优先级最高的Container。
优选地，所述确定模块包括：
第一确定子模块，用于在集群中每个节点的实时网络流量均小于预设阈值时，认为当前集群没有网络任务在执行，直接返回NORMAL；
第一计算模块，用于计算出集群中所有节点的实时网络流量总和；
第二计算模块，用于用所有节点的实时网络流量总和除以集群中节点的数量得到网络流量平均值；
第二确定子模块，用于在当前节点的实时网络流量大于网络流量平均值时，确定当前节点需要的任务类型为MAP，否则确定当前节点需要的任务类型为REDUCE。
总体而言，本发明方法与现有技术方案相比，能够取得下列有益效果：
(1)每台节点上的网络资源利用的更加均匀，资源管理器能感知每台节点上面的实时网络流量值，根据这个值来分配任务，可以有效地避免集群节点网络使用不均匀的情况。
(2)本发明提出的基于网络流量的调度方法与YARN自带的FIFO，FAIR，CAPACITY调度算法相比，在运行不同类型的MapReduce应用时，能使每个节点上面的网络流量负载比较均匀，达到减少作业完成时间的目的，而任务的更快完成有利于更快地释放Container，提升了集群的资源利用率。
(3)虽然节点采集网络流量以及根据节点需要的任务类型来遍历应用程序选择Container会产生一定开销，但这种开销基本上可以忽略不计。
附图说明
图1为本发明实施例公开的一种感知网络流量的YARN调度方法的整体架构图；
图2为本发明实施例公开的一种感知网络流量的YARN调度方法的流程示意图；
图3为本发明实施例公开的一种检测节点网络流量并向资源管理器报告流量的方法流程示意图；
图4为本发明实施例公开的一种资源调度方法的流程示意图；
图5为本发明实施例公开的一种任务类型判断方法的流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
以下首先就本发明所涉及的技术术语进行解释和说明：
MapReduce：由Google提出的编程模型，用于大规模数据集的并行运算；
YARN：Yet Another Resource Negotiator，一种通用资源管理系统；
Container：CPU和内存的封装，应用程序申请资源的基本单位；
ApplicationMaster：管理一个在YARN内运行的应用程序的实例，ApplicationMaster负责向ResourceManager申请Container，并向NodeManager通信启动Container；
MRAppMaster：MapReduce应用的ApplicationMaster，YARN自带的，编程人员无需再为MapReduce应用编写ApplicationMaster；
ResourceManager：控制整个集群并管理应用程序向基础计算资源的分配，管理整个集群中的Container与应用程序；
NodeManager：集群中每个节点上的资源和任务管理器，监控Container的生命周期，也会跟踪节点健康状况；
调度器：YARN为应用程序分配资源的方式，按照一定的方式选择应用程序的Container为它分配资源；
nload：一款轻量级的Linux网络流量监控工具，可以很方便地获取节点上的当前网络流量，平均网络流量等信息。
以下结合具体实施例和附图对本发明所提供的感知网络流量的YARN调度方法做进一步说明。
本发明提供的感知网络流量的YARN调度方法，其目的在于解决了YARN没有对网络进行管理，可能会使MapReduce应用的占用网络的任务堆积在同一个节点上，导致作业完成时间增长的问题；采用基于网络流量的调度方案，可以实时感知到每个节点的网络流量，在为节点分配任务时，根据节点的网络负载，选择合适的任务分配到这个节点上运行，使得每个节点上面的网络负载比较均衡，最终减少MapReduce应用的完成时间，提升集群的资源利用率。
如图1所示是本发明实施例提供的基于网络流量的调度器的整体架构，调度方案修改了MRAppMaster，NodeManager和ResourceManager。因为YARN上面可以运行多种计算框架，而不仅仅是MapReduce应用，于是无法对MapReduce应用的任务做出专门的调度。因此在MRAppMaster端增加了任务类型(MAP和REDUCE)，以便资源管理器能感知。YARN自身没有对网络进行管理，所以需要节点检测网络流量之后向资源管理器汇报。MR Scheduler会根据集群的网络流量信息对任务进行调度。
如图2所示是本发明实施例公开的一种感知网络流量的YARN调度方法的流程示意图，在图2所示的方法中，具体包括如下步骤：
S1、应用程序在向YARN资源管理器申请Container时设置Container的类型(例如MAP和REDUCE)；
S2、集群中的每个节点采集节点上的实时网络流量信息，并在心跳时向资源管理器汇报节点的实时网络流量信息；
S3、资源管理器记录每个节点上的实时网络流量信息，并在收到节点汇报的更新值时，对记录的相应节点的实时网络流量信息进行更新，和/或在节点移除时，删除记录的移除节点的实时网络流量信息；
例如，资源管理器维护一个HashMap来记录每一个节点上的网络流量信息，在收到NodeManager的心跳时更新该值，在收到节点移出集群的消息时删除对应的记录。
S4、当前节点向资源管理器发送心跳信息时，若当前节点上存在可用资源，则根据记录的各节点的实时网络流量信息以及当前节点的实时网络流量信息，选择合适的应用程序的Container分配资源。
如图3所示为上述步骤S2的具体实施方式流程示意图，包括以下步骤：
S2.1、对集群中的每个节点，使用nload命令将节点的实时网络流量信息重定向到文件中；
S2.2、从文件中读取对应的字段，获取节点的实时网络流量信息；
S2.3、将节点的实时网络流量信息赋给NodeStatus的networkFlow字段；
S2.4、向资源管理器发送心跳信息汇报节点的实时网络流量信息。
如图4所示为上述步骤S4的具体实施方式流程示意图，包括以下步骤：
S4.1、根据记录的每个节点的实时网络流量信息和当前节点的实时网络流量信息确定当前节点需要的任务类型；
S4.2、若当前节点需要的任务类型是NORMAL，则进入步骤S4.3，否则，依次选择FIFO中的应用程序，再按照Container的优先级遍历所选的应用程序中的所有Container，判断是否存在Container的类型与当前节点需要的任务类型一致的Container，若存在，则将当前节点的资源分配给与当前节点需要的任务类型一致的Container，否则进入步骤S4.3；
S4.3、依次选择FIFO中的应用程序，再按照Container的优先级遍历所选的应用程序中的所有Container，将当前节点的资源分配给优先级最高的Container。
如图5所示为上述步骤S4.1的具体实施方式流程示意图，包括以下步骤：
S4.1.1、若集群中每个节点的实时网络流量均小于预设阈值，则认为当前集群没有网络任务在执行，直接返回NORMAL；其中，预设阈值可以根据实际需要进行确定。
S4.1.2、计算出集群中所有节点的实时网络流量总和；
S4.1.3、用所有节点的实时网络流量总和除以集群中节点的数量得到网络流量平均值；
S4.1.4、若当前节点的实时网络流量大于网络流量平均值，则确定当前节点需要的任务类型为MAP，否则确定当前节点需要的任务类型为REDUCE。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种感知网络流量的YARN调度方法，其特征在于，包括如下步骤：
S1、应用程序在向YARN资源管理器申请Container时设置Container的类型；
S2、对集群中的每个节点，采集节点上的实时网络流量信息，并在心跳时向资源管理器汇报节点的实时网络流量信息；
S3、资源管理器记录每个节点上的实时网络流量信息，并在收到节点汇报的更新值时，对记录的相应节点的实时网络流量信息进行更新，和/或在节点移除时，删除记录的移除节点的实时网络流量信息；
S4、当前节点向资源管理器发送心跳信息时，若当前节点上存在可用资源，则根据记录的各节点的实时网络流量信息以及当前节点的实时网络流量信息，选择合适的应用程序的Container分配资源。
2.根据权利要求1所述的方法，其特征在于，步骤S2具体包括如下子步骤：
S2.1、对集群中的每个节点，使用nload命令将节点的实时网络流量信息重定向到文件中；
S2.2、从文件中读取对应的字段，获取节点的实时网络流量信息；
S2.3、将节点的实时网络流量信息赋给NodeStatus的networkFlow字段；
S2.4、向资源管理器发送心跳信息汇报节点的实时网络流量信息。
3.根据权利要求1或2所述的方法，其特征在于，步骤S4具体包括如下子步骤：
S4.1、根据记录的每个节点的实时网络流量信息和当前节点的实时网络流量信息确定当前节点需要的任务类型；
S4.2、若当前节点需要的任务类型是NORMAL，则进入步骤S4.3，否则，依次选择FIFO中的应用程序，再按照Container的优先级遍历所选的应用程序中的所有Container，判断是否存在Container的类型与当前节点需要的任务类型一致的Container，若存在，则将当前节点的资源分配给与当前节点需要的任务类型一致的Container，否则进入步骤S4.3；
S4.3、依次选择FIFO中的应用程序，再按照Container的优先级遍历所选的应用程序中的所有Container，将当前节点的资源分配给优先级最高的Container。
4.根据权利要求3所述的方法，其特征在于，步骤S4.1具体包括如下子步骤：
S4.1.1、若集群中每个节点的实时网络流量均小于预设阈值，则认为当前集群没有网络任务在执行，直接返回NORMAL，否则，进入步骤S4.1.2；
S4.1.2、计算出集群中所有节点的实时网络流量总和；
S4.1.3、用所有节点的实时网络流量总和除以集群中节点的数量得到网络流量平均值；
S4.1.4、若当前节点的实时网络流量大于网络流量平均值，则确定当前节点需要的任务类型为MAP，否则确定当前节点需要的任务类型为REDUCE。
5.一种感知网络流量的YARN调度系统，其特征在于，包括：
容器类型设置模块，用于在应用程序向YARN资源管理器申请Container时设置Container的类型；
流量信息收集模块，用于对集群中的每个节点，采集节点上的实时网络流量信息，并在心跳时向资源管理器汇报节点的实时网络流量信息；
流量信息更新模块，用于由资源管理器记录每个节点上的实时网络流量信息，并在收到节点汇报的更新值时，对记录的相应节点的实时网络流量信息进行更新，和/或在节点移除时，删除记录的移除节点的实时网络流量信息；
资源调度模块，用于在当前节点向资源管理器发送心跳信息时，若当前节点上存在可用资源，则根据记录的各节点的实时网络流量信息以及当前节点的实时网络流量信息，选择合适的应用程序的Container分配资源。
6.根据权利要求5所述的系统，其特征在于，所述流量信息收集模块包括：
重定向模块，用于对集群中的每个节点，使用nload命令将节点的实时网络流量信息重定向到文件中；
流量信息获取模块，用于从文件中读取对应的字段，获取节点的实时网络流量信息，并将节点的实时网络流量信息赋给NodeStatus的networkFlow字段；
发送模块，用于向资源管理器发送心跳信息汇报节点的实时网络流量信息。
7.根据权利要求5或6所述的系统，其特征在于，所述资源调度模块包括：
确定模块，用于根据记录的每个节点的实时网络流量信息和当前节点的实时网络流量信息确定当前节点需要的任务类型；
第一调度模块，用于在当前节点需要的任务类型不是NORMAL时，依次选择FIFO中的应用程序，再按照Container的优先级遍历所选的应用程序中的所有Container，判断是否存在Container的类型与当前节点需要的任务类型一致的Container，若存在，则将当前节点的资源分配给与当前节点需要的任务类型一致的Container；
第二调度模块，用于在当前节点需要的任务类型是NORMAL时，或者，在不存在Container的类型与当前节点需要的任务类型一致的Container时，依次选择FIFO中的应用程序，再按照Container的优先级遍历所选的应用程序中的所有Container，将当前节点的资源分配给优先级最高的Container。
8.根据权利要求7所述的系统，其特征在于，所述确定模块包括：
第一确定子模块，用于在集群中每个节点的实时网络流量均小于预设阈值时，认为当前集群没有网络任务在执行，直接返回NORMAL；
第一计算模块，用于在集群中每个节点的实时网络流量不均小于预设阈值时，计算出集群中所有节点的实时网络流量总和；
第二计算模块，用于用所有节点的实时网络流量总和除以集群中节点的数量得到网络流量平均值；
第二确定子模块，用于在当前节点的实时网络流量大于网络流量平均值时，确定当前节点需要的任务类型为MAP，否则确定当前节点需要的任务类型为REDUCE。
CN201710383829.8A 2017-05-26 2017-05-26 一种感知网络流量的yarn调度方法及系统 Active CN107241752B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710383829.8A CN107241752B (zh) 2017-05-26 2017-05-26 一种感知网络流量的yarn调度方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710383829.8A CN107241752B (zh) 2017-05-26 2017-05-26 一种感知网络流量的yarn调度方法及系统

Publications (2)

Publication Number Publication Date
CN107241752A CN107241752A (zh) 2017-10-10
CN107241752B true CN107241752B (zh) 2019-10-25

Family

ID=59984733

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710383829.8A Active CN107241752B (zh) 2017-05-26 2017-05-26 一种感知网络流量的yarn调度方法及系统

Country Status (1)

Country Link
CN (1) CN107241752B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111930493B (zh) * 2019-05-13 2023-08-01 中国移动通信集团湖北有限公司 集群中NodeManager状态管理方法、装置及计算设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014210443A1 (en) * 2013-06-28 2014-12-31 Pepperdata, Inc. Systems, methods, and devices for dynamic resource monitoring and allocation in a cluster system
CN104615526A (zh) * 2014-12-05 2015-05-13 北京航空航天大学 一种大数据平台的监控系统
CN104780146A (zh) * 2014-01-13 2015-07-15 华为技术有限公司 资源管理方法及装置
CN104915793A (zh) * 2015-06-30 2015-09-16 北京西塔网络科技股份有限公司 基于大数据分析挖掘的公共信息智能分析平台
CN106708625A (zh) * 2016-12-08 2017-05-24 中国科学院软件研究所 一种基于最小费用最大流的大规模资源调度系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014210443A1 (en) * 2013-06-28 2014-12-31 Pepperdata, Inc. Systems, methods, and devices for dynamic resource monitoring and allocation in a cluster system
CN104780146A (zh) * 2014-01-13 2015-07-15 华为技术有限公司 资源管理方法及装置
CN104615526A (zh) * 2014-12-05 2015-05-13 北京航空航天大学 一种大数据平台的监控系统
CN104915793A (zh) * 2015-06-30 2015-09-16 北京西塔网络科技股份有限公司 基于大数据分析挖掘的公共信息智能分析平台
CN106708625A (zh) * 2016-12-08 2017-05-24 中国科学院软件研究所 一种基于最小费用最大流的大规模资源调度系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YARN平台上的并行主题标引算法;李瑞轩;廖东杰;辜希武;文坤梅;赵铄乂;董新华;《计算机科学与探索》;20140902;第1409-1421页 *

Also Published As

Publication number Publication date
CN107241752A (zh) 2017-10-10

Similar Documents

Publication Publication Date Title
CN106776005B (zh) 一种面向容器化应用的资源管理系统及方法
CN110858161B (zh) 资源分配方法、装置、系统、设备和介质
Chaczko et al. Availability and load balancing in cloud computing
US8949847B2 (en) Apparatus and method for managing resources in cluster computing environment
WO2017166803A1 (zh) 一种资源调度方法及装置
CN107925612A (zh) 网络监视系统、网络监视方法和程序
KR20190070659A (ko) 컨테이너 기반의 자원 할당을 지원하는 클라우드 컴퓨팅 장치 및 방법
CN103019853A (zh) 一种作业任务的调度方法和装置
CN106354729B (zh) 一种图数据处理方法、装置和系统
KR20210023693A (ko) 스파이크 검출 및 부하 분산 자원 관리 시스템 및 그 방법
CN112463375B (zh) 一种数据处理的方法和装置
Marchese et al. Network-aware container placement in cloud-edge kubernetes clusters
CN106250566A (zh) 一种分布式数据库及其数据运算的管理方法
CN112162852A (zh) 一种多架构cpu节点的管理方法、装置及相关组件
CN108153583A (zh) 任务分配方法及装置、实时计算框架系统
CN107241752B (zh) 一种感知网络流量的yarn调度方法及系统
Yazdanov et al. EHadoop: Network I/O aware scheduler for elastic MapReduce cluster
CN109032809A (zh) 基于遥感影像存储位置的异构并行调度系统
Lou et al. Energy-efficient joint task assignment and migration in data centers: A deep reinforcement learning approach
CN116402318B (zh) 面向配电网的多级算力资源分配方法、装置及网络架构
CN109614210A (zh) 基于能耗感知的Storm大数据节能调度方法
CN107122230A (zh) 一种基于服务器集群的高可用方法及其装置
CN110928649A (zh) 资源调度的方法和装置
CN108469990A (zh) 一种并行计算方法及系统
CN105988907B (zh) 业务监控方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant