CN107483364A - 一种Hadoop Yarn网络带宽资源调度、隔离方法和装置 - Google Patents
一种Hadoop Yarn网络带宽资源调度、隔离方法和装置 Download PDFInfo
- Publication number
- CN107483364A CN107483364A CN201610404404.6A CN201610404404A CN107483364A CN 107483364 A CN107483364 A CN 107483364A CN 201610404404 A CN201610404404 A CN 201610404404A CN 107483364 A CN107483364 A CN 107483364A
- Authority
- CN
- China
- Prior art keywords
- task
- network bandwidth
- resource
- bandwidth resources
- container
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/70—Admission control; Resource allocation
- H04L47/76—Admission control; Resource allocation using dynamic resource allocation, e.g. in-call renegotiation requested by the user or requested by the network in response to changing network conditions
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种Hadoop Yarn网络带宽资源调度、隔离方法和装置。该调度方法在RM侧执行，包括：接收AM发送的作业资源请求；所述工作资源请求包括：在作业中，每个任务的网络带宽资源需求量；根据每个所述任务的网络带宽需求量，采用预设的公平调度算法，为每个所述任务对应分配容器；其中，在每个所述容器中封装有对应任务的网络带宽资源分配量。该隔离方法在NM侧执行，包括：从AM获取多个容器；其中，每个所述容器中封装有对应的任务的网络带宽资源分配量；根据各个任务的网络带宽资源分配量，隔离各个任务占用的网络带宽资源。本发明在Yarn集群中增加了对网络带宽资源的调度，而且可以避免各个任务之间由于网络带宽资源的竞争而相互干扰。
Description
技术领域
本发明涉及大数据计算技术领域，特别是涉及一种Hadoop Yarn网络带宽资源调度、隔离方法和装置。
背景技术
Yarn(Yet Another Resource Negotiator，另一种资源协调者)为通用资源管理系统，负责Yarn集群的资源分配和任务调度，Yarn主要包括3个组件：RM(ResourceManager，资源管理器)，NM(Node Manager，节点管理器)和AM(Application Master，应用程序管理器)。
在Yarn中，资源的表示单位是容器(Container)，Container是从MRv1中分解出来的一部分。Container是Yarn中资源的抽象，封装了某个节点上一定量的运算资源和存储资源，如CPU和内存。Container是动态资源的划分单位，AM向RM申请资源，RM中的调度器为AM分配Container，AM接收到Container之后，会通知NM启动Container执行任务。具体的，每个作业(job)包含多个任务(task)，由AM为每个task申请资源，RM负责为每个task分配资源，NM负责运行和管理Container，每个task由一个Container运行。
HDFS(Hadoop Distributed File System，Hadoop分布式文件系统)包括一个namenode和多个datanode。HDFS存储了大量数据，提供客户端(client)和应用程序(application)的数据流访问。在HDFS中，较大的文件被分割成等大的数据块(block)，存储在datanode上。为确保可靠服务，防止datanode失效，提供副本策略，将同一数据块的副本(默认有3个副本)放在不同的datanode中保存。Namenode保存文件和目录的元数据(metadata)和文件的block 的位置信息。在HDFS中，所有的数据传输通过TCP/IP协议栈执行。一个block的传输需要通过2个pipes：一个TCP/IP pipe，位于container和datanode之间；另一个是disk io pipe，在datanode和内部block要存储的磁盘之间。
在大数据领域，Yarn需要成为一个通用的资源管理系统，建立一个全方位的资源管控网，管理集群中的各种资源，包括内存、CPU、网络带宽、磁盘等等，但是目前，Yarn只支持对内存和CPU的管理，不支持对网络带宽的管理；而且，由于Yarn集群中仍然存在多种资源不受Yarn管理，多租户多任务共享的Yarn集群中，这些不被管理的资源的存在会影响集群的健壮性：共享资源的不共享占用；遭受拒绝服务DoS(Denial of Service)攻击，比如恶意用户运行应用--占用尽可能少的受限资源和尽可能多的不受限资源，使过度使用的资源成为集群的瓶颈。基于以上考虑，本领域需要在Yarn中加入对网络带宽资源的管理。
发明内容
本发明提供一种Hadoop Yarn网络带宽资源调度、隔离方法和装置，用以调度和隔离Yarn中各个任务的网络带宽资源，避免任务之间因带宽竞争影响性能。
针对上述技术问题，本发明是通过以下技术方案来解决的。
本发明提供了一种Hadoop Yarn网络带宽资源调度方法，包括：RM接收AM发送的作业资源请求；其中，所述工作资源请求包括：在作业中，每个任务的网络带宽资源需求量、CPU资源需求量和内存资源需求量；所述RM根据每个所述任务的网络带宽需求量、CPU资源需求量和内存资源需求量，采用预设的公平调度算法，为每个所述任务对应分配容器，并将每个所述任务对应的容器传递给所述AM；其中，在每个所述容器中封装有对应任务的网络带宽分配量、CPU资源分配量和内存资源分配量；所述AM针对每个所述任务，向所述AM所在节点中的NM发送运行请求，使所述NM基于每个所述任务对应 的容器运行任务。
其中，在RM接收AM发送的作业资源请求之后，还包括：所述RM从所述作业资源请求的被预先扩展的Resource类中，提取每个任务的网络带宽资源需求量、CPU资源需求量和内存资源需求量；其中，预先扩展Resource类包括：在Resource类中添加用于表示网络带宽资源的变量以及用于计算每种任务的网络带宽资源需求量的函数。
其中，在所述RM接收AM发送的作业资源请求之前，还包括：所述RM接收所述NM定时发送的所述节点当前可用的网络带宽资源、CPU资源和内存资源；所述RM根据每个所述任务的网络带宽需求量、CPU资源需求量和内存资源需求量，采用预设的公平调度算法，为每个所述任务对应分配容器，包括：所述RM根据每个任务的CPU资源需求量、内存资源需求量和网络带宽资源需求量，采用预设的主资源公平调度算法，在所述节点当前可用的网络带宽资源、CPU资源和内存资源和中，为每个所述任务对应分配网络带宽分配量、CPU资源分配量和内存资源分配量；所述RM分别封装为每个所述任务对应分配的网络带宽分配量、CPU资源分配量和内存资源分配量，得到每个所述任务对应的容器。
本发明还提供了一种Hadoop Yarn网络带宽资源隔离方法，包括：NM从AM获取多个容器；其中，每个所述容器中封装有对应的任务的网络带宽资源分配量；所述NM根据各个任务的网络带宽资源分配量，隔离各个任务占用的网络带宽资源。
其中，NM从AM获取每个容器，包括：所述NM接收本节点中的AM发送的运行请求；所述运行请求用于请求所述NM运行某一任务；所述NM从所述AM中获取所述任务对应的容器；所述NM根据每个任务的网络带宽资源分配量，隔离各个任务占用的网络带宽资源，包括：所述NM根据所述容器运行所述任务，并且根据所述任务的网络带宽资源分配量，在本节点当前可用的网络带宽资源中，为所述任务分配网络带宽资源，并对分配的所述网络带宽资源进行隔离处理，使所述任务占用的网络带宽资源和其他任务占用的网络带宽资源不产生覆盖。
本发明还提供了一种Hadoop Yarn网络带宽资源调度装置，位于RM，包括：接收模块，用于接收AM发送的作业资源请求；其中，所述工作资源请求包括：在作业中，每个任务的网络带宽资源需求量、CPU资源需求量和内存资源需求量；调度模块，用于根据每个所述任务的网络带宽需求量、CPU资源需求量和内存资源需求量，采用预设的公平调度算法，为每个所述任务对应分配容器，并将每个所述任务对应的容器传递给所述AM，以使所述AM针对每个所述任务，向所述AM所在节点中的NM发送运行请求，使所述NM基于每个所述任务对应的容器运行任务；其中，在每个所述容器中封装有对应任务的网络带宽分配量、CPU资源分配量和内存资源分配量。
其中，所述接收模块包括提取单元；所述提取单元，用于在接收AM发送的作业资源请求之后，从所述作业资源请求的被预先扩展的Resource类中，提取每个任务的网络带宽资源需求量、CPU资源需求量和内存资源需求量；其中，预先扩展Resource类包括：在Resource类中添加用于表示网络带宽资源的变量以及用于计算每种任务的网络带宽资源需求量的函数。
其中，所述调度模块包括封装单元；所述接收模块，还用于在接收AM发送的作业资源请求之前，接收所述NM定时发送的所述节点当前可用的网络带宽资源、CPU资源和内存资源；所述调度模块，具体用于根据每个任务的CPU资源需求量、内存资源需求量和网络带宽资源需求量，采用预设的主资源公平调度算法，在所述节点当前可用的网络带宽资源、CPU资源和内存资源和中，为每个所述任务对应分配网络带宽分配量、CPU资源分配量和内存资源分配量；所述封装单元，用于分别封装为每个所述任务对应分配的网络带宽分配量、CPU资源分配量和内存资源分配量，得到每个所述任务对应的容器。
本发明还提供了一种Hadoop Yarn网络带宽资源隔离装置，位于NM，包括：获取模块，用于从AM获取多个容器；其中，每个所述容器中封装有对应 的任务的网络带宽资源分配量；隔离模块，用于根据各个任务的网络带宽资源分配量，隔离各个任务占用的网络带宽资源。
其中，所述获取模块，具体用于接收本节点中的AM发送的运行请求；所述运行请求用于请求所述NM运行某一任务；从所述AM中获取所述任务对应的容器；所述隔离模块，具体用于根据所述容器运行所述任务，并且根据所述任务的网络带宽资源分配量，在本节点当前可用的网络带宽资源中，为所述任务分配网络带宽资源，并对分配的所述网络带宽资源进行隔离处理，使所述任务占用的网络带宽资源和其他任务占用的网络带宽资源不产生覆盖。
本发明有益效果如下：
本发明包括对Yarn集群中的网络带宽的调度和隔离。网络带宽的调度包括：在AM中加入对任务的网络带宽的申请，RM采用公平调度算法对网络带宽资源的申请进行分配。网络带宽隔离采用基于linux操作系统的隔离，即利用linux内核中的Cgroups和TC相结合进行隔离。本发明在Yarn集群中增加了对网络带宽的调度，而且可以在网络空闲时，使各个任务获得尽可能大的网络带宽；在网络资源繁忙时，保证任务获取分配到的带宽，同时避免各个任务之间由于网络带宽资源的竞争导致的相互干扰。
附图说明
图1是根据本发明一实施例的Yarn集群的系统结构示意图；
图2是根据本发明一实施例的Hadoop Yarn网络带宽资源调度方法的流程图；
图3根据本发明一实施例的Hadoop Yarn的网络带宽资源隔离方法的流程图；
图4是根据本发明一实施例的Hadoop Yarn的网络带宽资源隔离方法的具体流程图；
图5是根据本发明一实施例的没有对网络带宽进行隔离的示意图；
图6是根据本发明一实施例的隔离后的网络带宽示意图；
图7是根据本发明一实施例的Hadoop Yarn网络带宽资源调度装置的结构图；
图8是根据本发明一实施例的Hadoop Yarn网络带宽资源隔离装置的结构图。
具体实施方式
以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不限定本发明。
图1是根据本发明一实施例的Yarn集群的系统结构示意图。
在Yarn集群中包括：资源调度器RM、节点管理器NM、应用程序管理器AM和客户端Client。
NM、AM、Client、RM之间通过RPC(Remote Procedure Call Protocol，远程过程调用协议)实现通信连接。系统中的每个节点包括：一个NM和至少一个AM。该节点具有运算、存储等功能。
Client用于向AM提交作业。在作业中包括多个任务。
AM用于向RM请求作业所需的资源。AM向RM请求的资源包括：作业中的每个任务所需的CPU资源、内存资源和网络带宽资源。
RM负责整个系统的资源管理和调度。根据AM的资源请求，可以为作业中的每个任务分配资源，并将资源分配结果反馈给该AM。
NM负责本节点的资源管理。NM用于在本节点的AM获得每个任务的容器后，执行该容器对应的任务，并对每个任务的网络带宽进行隔离。NM定时向RM上报本节点的资源使用情况以及本节点中各个容器的运行状态。
综上，每个作业(job)包含多个任务(task)，由AM为每个task申请容器(Container)，RM负责为每个task分配Container，NM负责运行和管理Container，每个task由一个Container运行。
基于上述Yarn集群的系统结构，本发明实施例提供了一种Hadoop Yarn网络带宽资源调度方法。图2是根据本发明一实施例的Hadoop Yarn网络带宽资源调度方法的流程图。
步骤S210，RM接收AM发送的作业资源请求。
工作资源请求包括：作业中的每个任务的网络带宽资源需求量、CPU资源需求量和内存资源需求量。
作业中包括多个任务，一个任务需要申请一个容器，因此，AM向RM发送的工作资源请求用于申请每个任务对应的容器的资源需求量，即多个任务中每个任务的资源需求量。每个容器的资源需求量包括：该容器对应的任务的网络带宽资源需求量、CPU资源需求量和内存资源需求量。后续可以通过容器来运行/执行该容器对应的任务。
具体的，各种资源的需求量都是整数形式。网络带宽资源需求量可以是执行任务时所需的网络带宽，如：2Gbps。CPU资源需求量可以是虚拟CPU(CPU-Vcore)的个数。内存资源需求量可以是执行任务时所需的内存空间。
由于不同节点的CPU性能不同，不同CPU的计算能力不同，所以为了弥补CPU的异构性，Yarn将一个物理CPU配置为多个虚拟CPU，虚拟CPU的个数可以由管理员进行配置；AM在申请资源时可以指定每个任务需要的虚拟CPU个数。
更具体的，AM通过作业资源请求中被预先扩展的Resource类向RM传递容器的资源需求量，因此，RM可以从该被预先扩展的Resource类中，提取每个任务的网络带宽资源需求量、CPU资源需求量和内存资源需求量。
在本实施例中，由于在Yarn中增加网络带宽管理，所以对Resource类进行扩展，以便在Resource类中增加网络带宽需求量。进一步地，在Resource类中已经封装有CPU资源和内存资源相关的变量和函数；扩展Resource类，即在Resource类中添加用于表示网络带宽资源的变量，以及用于计算每种任务 的网络带宽资源需求量的函数。该函数被称为入队带宽的算法。根据任务计算网络带宽资源需求量，并将该任务的网络带宽资源需求量通过Resource类向RM发送。
根据对Resource类的扩展，在作业资源请求中携带每个任务对应的资源请求(Resource Request)列表；其中，Resource Request列表中包括多个Resource Request，每个Resource Request用于描述一个资源的详细需求，该资源例如是该任务所需的CPU资源、内存资源或网络带宽资源。Resource Request中的字段信息包括：资源优先级、资源名称、资源需求量、满足条件的资源个数、是否支持本地性松弛等。Resource Request列表是应用Resource类的表现形式，Resource Request是一个可序列化的Java对象。
步骤S220，RM根据每个任务的网络带宽需求量，采用预设的公平调度算法，为每个任务对应分配容器，并将每个任务对应的容器传递给该AM。
为了实现资源的公平分配，本实施例优选的，公平调度算法为DRF(DomainResource Fair，主资源公平调度)算法。进一步地，RM采用DRF算法，为每个任务对应分配该任务所需的资源，并将资源封装到容器中。该容器为一个类。
为每个任务对应分配的容器中至少封装有以下信息：在AM所在节点中，该容器对应的任务的网络带宽资源分配量、CPU资源分配量和内存资源分配量。
具体的，AM所在节点的NM可以管理本节点的资源；在该节点启动之前，可以配置该节点可用的资源总量，即可用的CPU资源总量、内存资源总量和网络带宽资源总量；NM维护本节点的资源信息，包括：资源总量，当前可用的资源量等；每次有任务在该节点开始运行或结束运行，NM就会根据该任务使用的资源量对本节点当前可用的资源量进行修改。
AM所在节点的NM定时向RM发送本节点当前可用的资源量；RM根据作业资源请求中多个任务的资源需求量，采用DRF算法，在该节点当前可用的资源量中，为作业中的每个任务对应分配容器。进一步地，RM接收AM所 在节点的NM定时向RM发送的本节点当前可用的CPU资源、内存资源和网络带宽资源；RM根据每个任务的CPU资源需求量、内存资源需求量和网络带宽资源需求量，采用DRF算法，在该节点当前可用的CPU资源、内存资源和网络带宽资源中，为作业中的每个任务对应分配CPU资源分配量、内存资源分配量和网络带宽资源分配量，并分别将为每个任务对应分配的CPU资源分配量、内存资源分配量和网络带宽资源分配量，封装成该任务对应的容器。
在本实施例中，DRF算法针对每个任务，将该任务的CPU资源需求量、内存资源需求量和网络带宽资源需求量分别占各自资源总量的份额进行比较，将资源需求量所占份额最大的资源作为该任务的主资源；比较各个任务的主资源，优先为主资源所占份额最小的任务分配资源。
例如：假设当前节点中包括可用的9个CPU、18G内存和100Mbps的网络带宽，需要运行2个任务，其中，任务A的资源需求量为<1CPU,4G内存,10Mbps带宽>、任务B的资源需求量为<3CPU,2G内存,20Mbps带宽>；根据当前节点中包括可用的资源、以及任务A和任务B的资源需求量可以确定：任务A消耗总CPU的1/9、总内存的2/9和总网络带宽的1/10，2/9>1/9>1/10，所以确定任务A的主资源为内存，所占份额为2/9；任务B消耗总CPU的1/3、总内存的1/9和1/5，1/3>5/1>1/9，所以任务B的主资源为CPU，所占份额为1/3。经比较，任务A的主资源份额2/9小于任务B的主资源份额1/3。所以，在资源分配中，在当前节点可用的CPU资源、内存资源和网络带宽资源中，优先为任务A分配资源<1CPU,4G内存,10Mbps带宽>。
本实施例采用公平调度算法可以保证任何一个提交作业的用户在一定时间内得到响应，公平性好且效率高。在利用DRF算法进行资源分配之前，会比较任务对每个维度的资源需求量和NM当前可用资源量，当前可用资源量足够满足才进行分配；Yarn的资源模型中，还提供了资源保证机制，即当为任务申请的资源暂时得不到保证时，优先为该应用预留节点上的资源，直到该节点累计释放的空闲资源满足该任务的资源需求，这种资源保证机制是增量资源保 证机制。
步骤S230，AM向其所在节点中的NM发送运行请求，使该NM基于每个容器运行该容器对应的任务。
RM将为每个任务分配的网络带宽资源分配量、CPU资源分配量和内存资源分配量分别进行封装，形成每个任务各自对应的容器，并将多个容器都发送给AM。
AM在获得多个容器之后，针对每个容器，即针对每个任务，向NM发送一次启动请求，以便NM基于任务对应的容器运行该容器对应的任务；NM将执行结果返回给Client。该Client为提交作业的Client。
本实施例增加了对网络带宽的调度，可以在网络空闲时，使各个任务获得尽可能大的网络带宽；在网络繁忙时，保证任务获取分配到的带宽；同时避免各个任务之间由于网络带宽资源的竞争而相互干扰。
NM基于从AM获取的多个容器，分别基于每个容器，运行每个容器对应的任务，每个容器中封装有该容器对应的任务的网络带宽资源分配量；根据各个任务的网络带宽资源分配量，隔离各个任务占用的网络带宽资源，使各个任务占用的网络带宽资源互不侵占。
对各个任务占用的网络带宽资源进行隔离，可以保证各个任务之间不会抢占带宽资源；如果不对网络带宽资源进行隔离，为任务分配网络带宽资源后，各个任务运行过程中，不一定能够占用分配的带宽量，所以对网络带宽资源进行隔离是为了保证各个任务能够分别占用网络带宽资源分配量，不会占用额外的网络带宽资源。
本发明提供了一种Hadoop Yarn的网络带宽资源隔离方法。如图3所示，为根据本发明一实施例的Hadoop Yarn的网络带宽资源隔离方法的流程图。本实施例的执行主体为NM的内核层。
步骤S310，NM接收本节点中的AM发送的运行请求；该运行请求用于请 求所述NM运行某一任务。
步骤S320，NM从AM中获取该任务对应的容器；该容器中封装有该任务的网络带宽资源分配量。
NM对获取的容器进行解封装，得到该容器对应的任务的网络带宽资源分配量。进一步地，容器中还封装有该容器对应的任务的CPU资源分配量和内存资源分配量。进而通过解封装，NM可以得到该容器对应的任务的网络带宽资源分配量、CPU资源分配量和内存资源分配量。
步骤S330，NM根据该容器运行该任务，并且根据该任务的网络带宽资源分配量，在本节点当前可用的网络带宽资源中，为该任务分配网络带宽资源(即该任务占用的网络带宽资源)，并对分配的网络带宽资源进行隔离处理。
NM在本节点可用的网络带宽资源、CPU资源和内存资源中，为该任务划分出与网络带宽资源分配量、CPU资源分配量和内存资源分配量分别等量的网络带宽资源、CPU资源和内存资源，并基于为该任务划分出的资源运行该任务。
为了使各个任务的网络带宽之间不产生干扰，NM采用Cgroup+TC的方式，在本节点当前可用的网络带宽资源中隔离该任务占用的网络带宽，使该网络带宽不覆盖其他任务占用的网络带宽。
具体的，NM为该容器创建Cgroup，并为该容器设置标记；NM根据该容器中的网络带宽资源分配量，在本节点当前可用的网络带宽资源中，划分出与该网络带宽资源分配量相等的网络带宽资源，作为该任务占用的网络带宽资源；NM对该任务占用的网络带宽资源进行整形，将该任务占用的网络带宽资源与其他任务的网络带宽资源隔离开，使隔离出的多个网络带宽互不覆盖。
下面对本实施例的隔离方法进行详细描述，图4是根据本发明一实施例的HadoopYarn的网络带宽资源隔离方法的具体流程图。
步骤S410，NM启动。
具体的，挂载net_cls子系统，并使用TC命令配置网络接口。TC是Linux系统自带的模块。
本实施例通过net_cls子系统对各个任务占用的网络带宽资源进行隔离。
本实施例使用TC命令配置网络接口，包括：
步骤1，在网络接口的根目录下创建HTB(Hierarchy Token Bucket)队列。
HTB队列带有对应的handle(句柄)值。
步骤2，在HTB队列上添加根类，将该根类的网络带宽配置成网络接口的网络带宽。可以在HTB队列上建立分类，如一个分类对应一个任务，HTB队列可以限制每个分类可以使用的带宽。换言之，在网络接口中建立一个树形规则，该树形规则即是将叶子分类对应任务；每个任务对应一个叶子分类；叶子分类占用的网络带宽对应任务的网络带宽分配量。
TC创建分类时需要设定每个类的最小带宽和最大带宽。最小带宽为任务的网络带宽资源分配量，最大带宽可以设置为网络接口的带宽；在网络空闲时，任务可以占用大于最小带宽且小于最大带宽的网络带宽，即该任务可以使用更多的带宽；在网络繁忙时，保证任务占用的网络带宽不小于最小带宽。
步骤3，为Cgroup组添加过滤器，以便通过过滤器对数据包进行分类，使数据包进入相应的分类。
步骤4，为该根类添加两种子类，这两种子类分别是Yarn的根分类和默认分类。其中，Yarn根分类用于控制Yarn中以Container方式运行的任务的网络带宽；默认分类用于控制不以container方式运行的任务的消耗带宽。例如：默认分类为NM中的服务和应用任务，如：日志聚合服务等。根分类的子类的带宽可以根据实际需求分配。
NM启动完成之后，Yarn启动完成，这时，Client可以向AM提交job。
步骤S420，NM在从AM获取到容器之后，为该容器创建Cgroup，并为该容器设置标记。该标记用于识别数据包对应的容器。
当Yarn启动之后，若被分配到任务对应的container，则需要在net_cls子系统下创建该container相应的Cgroup，并为该container分配唯一的标记classid，用来标记container对应的Cgroup产生的网络数据包。
TC在创建分类(叶子分类)时，为分类分配一个分类handle值，该分类handle和为任务分配的classid对应，根据数据包的classid进行过滤，使不同classid的数据包进入不同的分类。
步骤S430，NM根据容器中的网络带宽资源分配量，在本节点当前可用的网络带宽中，采用TC的方法，对该容器对应的Cgroup进行网络带宽限制。
也即是说，本实施例采用Cgroup+TC的方式，对各个容器(任务)占用的网络带宽资源进行隔离。
根据container中网络带宽资源分配量，创建流量整形规则。流量整形规则用于根据每个任务对应的网络带宽资源分配量，对网络带宽进行隔离。进一步地，对网络接口中的各个叶子分类占用的网络带宽进行整形。NM在指定的网络接口执行流量整形规则，对每个classid对应的网络带宽进行整形。
流量整形规则包括：队列规定、分类和过滤器；流量整形规则是树形规则，有多个叶子分类，对各个叶子分类占用的网络带宽进行整形，使各个叶子分类占用的网络带宽之间互不侵占。
图5是没有对网络带宽进行隔离的网络带宽示意图，图6是对网络带宽进行隔离后的网络带宽示意图。图6显示了以container方式运行的任务的网络带宽；其中，为每个container分配的网络带宽分配量为1-10Mbps；默认分类带宽量为40Mbps。
本实施例通过对网络带宽进行隔离，可以避免各个任务之间由于网络带宽资源的竞争而相互干扰。
本实施例的隔离采用Cgroups+TC方式，这种方案相比于线程监控，更加严格和有效；相比于VM(Virtual Machine，虚拟机)，更轻量级；Cgroup中的net_cls控制器是linux内核提供的一种可以限制、隔离进程组使用的资源的机制，是通过其中的子系统(资源控制器)实现的。Net_cls可以使用等级识别符标记Cgroups发出的网络数据包；TC是Linux内核的流量控制器，它利用队列规定建立处理数据包的队列，并在队列中定义数据包被发送的方式，实现对 带宽的控制；TC可以识别Net_cls的标记，根据标记将网络数据包发送到相应的队列中，通过队列控制网络带宽。
本发明实施例还提供了一种Hadoop Yarn网络带宽资源调度装置。图7是根据本发明一实施例的Hadoop Yarn网络带宽资源调度装置的结构图。
该装置包括：
接收模块710，用于接收AM发送的作业资源请求；其中，所述工作资源请求包括：在作业中，每个任务的网络带宽资源需求量、CPU资源需求量和内存资源需求量。
调度模块720，用于根据每个所述任务的网络带宽资源需求量、CPU资源需求量和内存资源需求量，采用预设的公平调度算法，为每个所述任务对应分配容器，并将每个所述任务对应的容器传递给所述AM，以使所述AM针对每个所述任务，向所述AM所在节点中的NM发送运行请求，使所述NM基于每个所述任务对应的容器运行任务；其中，在每个所述容器中封装有对应任务的网络带宽资源分配量、CPU资源分配量和内存资源分配量。
所述接收模块710包括提取单元711。所述提取模块711，用于在接收AM发送的作业资源请求之后，从所述作业资源请求的被预先扩展的Resource类中，提取每个任务的网络带宽资源需求量、CPU资源需求量和内存资源需求量；其中，预先扩展的Resource类包括：在Resource类中添加用于表示网络带宽资源的变量以及用于计算每种任务的网络带宽资源需求量的函数。
所述调度模块720包括封装单元721。
所述接收模块710，还用于在接收AM发送的作业资源请求之前，接收所述NM定时发送的所述节点当前可用的网络带宽资源、CPU资源和内存资源。
所述调度模块720，具体用于根据每个任务的CPU资源需求量、内存资源需求量和网络带宽资源需求量，采用预设的主资源公平调度算法，在所述节点当前可用的网络带宽资源、CPU资源和内存资源和中，为每个所述任务对应分 配网络带宽分配量、CPU资源分配量和内存资源分配量；
所述封装单元721，用于分别封装为每个所述任务对应分配的网络带宽资源分配量、CPU资源分配量和内存资源分配量，得到每个所述任务对应的容器。
本实施例所述的装置的功能已经在图1～图7所示的方法实施例中进行了描述，故本实施例的描述中未详尽之处，可以参见前述实施例中的相关说明，在此不做赘述。
本发明实施例还提供了一种Hadoop Yarn网络带宽资源隔离装置。图8是根据本发明一实施例的Hadoop Yarn网络带宽资源隔离装置的结构图。
该装置包括：
获取模块810，用于从AM获取多个容器；其中，每个所述容器中封装有对应的任务的网络带宽资源分配量。
隔离模块820，用于根据各个任务的网络带宽资源分配量，隔离各个任务占用的网络带宽资源。
获取模块810，具体用于接收本节点中的AM发送的运行请求；所述运行请求用于请求所述NM运行某一任务；从所述AM中获取所述任务对应的容器。
隔离模块820，具体用于根据所述容器运行所述任务，并且根据所述任务的网络带宽资源分配量，在本节点当前可用的网络带宽资源中，为所述任务分配网络带宽资源，并对分配的所述网络带宽资源进行隔离处理，使所述任务占用的网络带宽资源和其他任务占用的网络带宽资源不产生覆盖。
本实施例所述的装置的功能已经在图1～图7所示的方法实施例中进行了描述，故本实施例的描述中未详尽之处，可以参见前述实施例中的相关说明，在此不做赘述。
尽管为示例目的，已经公开了本发明的优选实施例，本领域的技术人员将意识到各种改进、增加和取代也是可能的，因此，本发明的范围应当不限于上述实施例。
Claims (10)
1.一种Hadoop Yarn网络带宽资源调度方法，其特征在于，包括：
RM接收AM发送的作业资源请求；其中，所述工作资源请求包括：在作业中，每个任务的网络带宽资源需求量、CPU资源需求量和内存资源需求量；
所述RM根据每个所述任务的网络带宽需求量、CPU资源需求量和内存资源需求量，采用预设的公平调度算法，为每个所述任务对应分配容器，并将每个所述任务对应的容器传递给所述AM；其中，在每个所述容器中封装有对应任务的网络带宽分配量、CPU资源分配量和内存资源分配量；
所述AM针对每个所述任务，向所述AM所在节点中的NM发送运行请求，使所述NM基于每个所述任务对应的容器运行任务。
2.如权利要求1所述的方法，其特征在于，在RM接收AM发送的作业资源请求之后，还包括：
所述RM从所述作业资源请求的被预先扩展的Resource类中，提取每个任务的网络带宽资源需求量、CPU资源需求量和内存资源需求量；其中，
预先扩展Resource类包括：在Resource类中添加用于表示网络带宽资源的变量以及用于计算每种任务的网络带宽资源需求量的函数。
3.如权利要求1所述的方法，其特征在于，
在所述RM接收AM发送的作业资源请求之前，还包括：
所述RM接收所述NM定时发送的所述节点当前可用的网络带宽资源、CPU资源和内存资源；
所述RM根据每个所述任务的网络带宽需求量、CPU资源需求量和内存资源需求量，采用预设的公平调度算法，为每个所述任务对应分配容器，包括：
所述RM根据每个任务的CPU资源需求量、内存资源需求量和网络带宽资源需求量，采用预设的主资源公平调度算法，在所述节点当前可用的网络带宽资源、CPU资源和内存资源和中，为每个所述任务对应分配网络带宽分配量、CPU资源分配量和内存资源分配量；
所述RM分别封装为每个所述任务对应分配的网络带宽分配量、CPU资源分配量和内存资源分配量，得到每个所述任务对应的容器。
4.一种Hadoop Yarn网络带宽资源隔离方法，其特征在于，包括：
NM从AM获取多个容器；其中，每个所述容器中封装有对应的任务的网络带宽资源分配量；
所述NM根据各个任务的网络带宽资源分配量，隔离各个任务占用的网络带宽资源。
5.如权利要求4所述的方法，其特征在于，NM从AM获取每个容器，包括：
所述NM接收本节点中的AM发送的运行请求；所述运行请求用于请求所述NM运行某一任务；
所述NM从所述AM中获取所述任务对应的容器；
所述NM根据每个任务的网络带宽资源分配量，隔离各个任务占用的网络带宽资源，包括：
所述NM根据所述容器运行所述任务，并且根据所述任务的网络带宽资源分配量，在本节点当前可用的网络带宽资源中，为所述任务分配网络带宽资源，并对分配的所述网络带宽资源进行隔离处理，使所述任务占用的网络带宽资源和其他任务占用的网络带宽资源不产生覆盖。
6.一种Hadoop Yarn网络带宽资源调度装置，其特征在于，位于RM，包括：
接收模块，用于接收AM发送的作业资源请求；其中，所述工作资源请求包括：在作业中，每个任务的网络带宽资源需求量、CPU资源需求量和内存资源需求量；
调度模块，用于根据每个所述任务的网络带宽需求量、CPU资源需求量和内存资源需求量，采用预设的公平调度算法，为每个所述任务对应分配容器，并将每个所述任务对应的容器传递给所述AM，以使所述AM针对每个所述任务，向所述AM所在节点中的NM发送运行请求，使所述NM基于每个所述任务对应的容器运行任务；
其中，在每个所述容器中封装有对应任务的网络带宽分配量、CPU资源分配量和内存资源分配量。
7.如权利要求6所述的装置，其特征在于，所述接收模块包括提取单元；
所述提取单元，用于在接收AM发送的作业资源请求之后，从所述作业资源请求的被预先扩展的Resource类中，提取每个任务的网络带宽资源需求量、CPU资源需求量和内存资源需求量；其中，
预先扩展Resource类包括：在Resource类中添加用于表示网络带宽资源的变量以及用于计算每种任务的网络带宽资源需求量的函数。
8.如权利要求6所述的装置，其特征在于，所述调度模块包括封装单元；
所述接收模块，还用于在接收AM发送的作业资源请求之前，接收所述NM定时发送的所述节点当前可用的网络带宽资源、CPU资源和内存资源；
所述调度模块，具体用于根据每个任务的CPU资源需求量、内存资源需求量和网络带宽资源需求量，采用预设的主资源公平调度算法，在所述节点当前可用的网络带宽资源、CPU资源和内存资源和中，为每个所述任务对应分配网络带宽分配量、CPU资源分配量和内存资源分配量；
所述封装单元，用于分别封装为每个所述任务对应分配的网络带宽分配量、CPU资源分配量和内存资源分配量，得到每个所述任务对应的容器。
9.一种Hadoop Yarn网络带宽资源隔离装置，其特征在于，位于NM，包括：
获取模块，用于从AM获取多个容器；其中，每个所述容器中封装有对应的任务的网络带宽资源分配量；
隔离模块，用于根据各个任务的网络带宽资源分配量，隔离各个任务占用的网络带宽资源。
10.如权利要求9所述的装置，其特征在于，
所述获取模块，具体用于接收本节点中的AM发送的运行请求；所述运行请求用于请求所述NM运行某一任务；从所述AM中获取所述任务对应的容器；
所述隔离模块，具体用于根据所述容器运行所述任务，并且根据所述任务的网络带宽资源分配量，在本节点当前可用的网络带宽资源中，为所述任务分配网络带宽资源，并对分配的所述网络带宽资源进行隔离处理，使所述任务占用的网络带宽资源和其他任务占用的网络带宽资源不产生覆盖。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610404404.6A CN107483364A (zh) | 2016-06-08 | 2016-06-08 | 一种Hadoop Yarn网络带宽资源调度、隔离方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610404404.6A CN107483364A (zh) | 2016-06-08 | 2016-06-08 | 一种Hadoop Yarn网络带宽资源调度、隔离方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107483364A true CN107483364A (zh) | 2017-12-15 |
Family
ID=60594560
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610404404.6A Pending CN107483364A (zh) | 2016-06-08 | 2016-06-08 | 一种Hadoop Yarn网络带宽资源调度、隔离方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107483364A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109558446A (zh) * | 2018-12-13 | 2019-04-02 | 杭州数梦工场科技有限公司 | 作业请求方法、装置、电子设备及存储介质 |
| CN109885381A (zh) * | 2019-02-15 | 2019-06-14 | 合肥谐桐科技有限公司 | 基于kvm虚拟化实现内存份额调度管理的方法及其系统 |
| CN110597634A (zh) * | 2019-09-12 | 2019-12-20 | 腾讯科技（深圳）有限公司 | 一种数据处理方法、装置及计算机可读存储介质 |
| CN111770162A (zh) * | 2020-06-24 | 2020-10-13 | 重庆紫光华山智安科技有限公司 | 网络带宽限制方法、装置、主节点及存储介质 |
| CN112073532A (zh) * | 2020-09-15 | 2020-12-11 | 北京字节跳动网络技术有限公司 | 一种资源分配的方法及装置 |
| CN112084003A (zh) * | 2020-08-17 | 2020-12-15 | 北京字节跳动网络技术有限公司 | 一种隔离数据的方法、装置、介质和电子设备 |
| CN112783653A (zh) * | 2021-01-25 | 2021-05-11 | 中国工商银行股份有限公司 | 基于容器化的资源调度方法及装置 |
| CN114840125B (zh) * | 2022-03-30 | 2024-04-26 | 曙光信息产业(北京)有限公司 | 设备资源配置、管理方法、装置、设备、介质和程序产品 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103685492A (zh) * | 2013-12-03 | 2014-03-26 | 北京智谷睿拓技术服务有限公司 | Hadoop集群系统的调度方法、调度装置及其应用 |
| CN104991830A (zh) * | 2015-07-10 | 2015-10-21 | 山东大学 | 基于服务等级协议的yarn资源分配和节能调度方法及系统 |
| CN105373426A (zh) * | 2015-07-28 | 2016-03-02 | 哈尔滨工程大学 | 一种基于Hadoop的车联网内存感知实时作业调度方法 |
| US20160088006A1 (en) * | 2014-09-23 | 2016-03-24 | Chaitali GUPTA | Predictive model for anomaly detection and feedback-based scheduling |
| CN105512083A (zh) * | 2015-11-30 | 2016-04-20 | 华为技术有限公司 | 基于yarn的资源管理方法、装置及系统 |
-
2016
- 2016-06-08 CN CN201610404404.6A patent/CN107483364A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103685492A (zh) * | 2013-12-03 | 2014-03-26 | 北京智谷睿拓技术服务有限公司 | Hadoop集群系统的调度方法、调度装置及其应用 |
| US20160088006A1 (en) * | 2014-09-23 | 2016-03-24 | Chaitali GUPTA | Predictive model for anomaly detection and feedback-based scheduling |
| CN104991830A (zh) * | 2015-07-10 | 2015-10-21 | 山东大学 | 基于服务等级协议的yarn资源分配和节能调度方法及系统 |
| CN105373426A (zh) * | 2015-07-28 | 2016-03-02 | 哈尔滨工程大学 | 一种基于Hadoop的车联网内存感知实时作业调度方法 |
| CN105512083A (zh) * | 2015-11-30 | 2016-04-20 | 华为技术有限公司 | 基于yarn的资源管理方法、装置及系统 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109558446A (zh) * | 2018-12-13 | 2019-04-02 | 杭州数梦工场科技有限公司 | 作业请求方法、装置、电子设备及存储介质 |
| CN109885381A (zh) * | 2019-02-15 | 2019-06-14 | 合肥谐桐科技有限公司 | 基于kvm虚拟化实现内存份额调度管理的方法及其系统 |
| CN110597634A (zh) * | 2019-09-12 | 2019-12-20 | 腾讯科技（深圳）有限公司 | 一种数据处理方法、装置及计算机可读存储介质 |
| CN111770162A (zh) * | 2020-06-24 | 2020-10-13 | 重庆紫光华山智安科技有限公司 | 网络带宽限制方法、装置、主节点及存储介质 |
| CN112084003A (zh) * | 2020-08-17 | 2020-12-15 | 北京字节跳动网络技术有限公司 | 一种隔离数据的方法、装置、介质和电子设备 |
| CN112084003B (zh) * | 2020-08-17 | 2024-05-24 | 北京火山引擎科技有限公司 | 一种隔离数据的方法、装置、介质和电子设备 |
| CN112073532A (zh) * | 2020-09-15 | 2020-12-11 | 北京字节跳动网络技术有限公司 | 一种资源分配的方法及装置 |
| CN112073532B (zh) * | 2020-09-15 | 2022-09-09 | 北京火山引擎科技有限公司 | 一种资源分配的方法及装置 |
| CN112783653A (zh) * | 2021-01-25 | 2021-05-11 | 中国工商银行股份有限公司 | 基于容器化的资源调度方法及装置 |
| CN114840125B (zh) * | 2022-03-30 | 2024-04-26 | 曙光信息产业(北京)有限公司 | 设备资源配置、管理方法、装置、设备、介质和程序产品 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107483364A (zh) | 一种Hadoop Yarn网络带宽资源调度、隔离方法和装置 | |
| CN103092698B (zh) | 云计算应用自动部署系统及方法 | |
| CN104881325B (zh) | 一种资源调度方法和资源调度系统 | |
| CN100489790C (zh) | 处理管理装置、计算机系统、分布式处理方法 | |
| CN109783225B (zh) | 一种多租户大数据平台的租户优先级管理方法及系统 | |
| CN108667867B (zh) | 数据存储方法及装置 | |
| CN108762896A (zh) | 一种基于Hadoop集群任务调度方法及计算机设备 | |
| CN107066319A (zh) | 一种面向异构资源的多维调度系统 | |
| CN110597639B (zh) | Cpu分配控制方法、装置、服务器及存储介质 | |
| CN107450977A (zh) | 基于yarn的面向gpgpu集群的资源管理调度方法 | |
| TWI747092B (zh) | 資源調度方法、設備、系統及中心伺服器 | |
| CN102981973B (zh) | 在存储系统中执行请求的方法 | |
| WO2016095535A1 (zh) | 资源分配方法、装置和服务器 | |
| CN105373426B (zh) | 一种基于Hadoop的车联网内存感知实时作业调度方法 | |
| CN106533806A (zh) | 多租户SDN网络中基于应用感知提供跨层QoS的方法 | |
| CN107122233A (zh) | 一种面向tsn业务的多vcpu自适应实时调度方法 | |
| CN105592110A (zh) | 一种资源调度方法及装置 | |
| CN110661842A (zh) | 一种资源的调度管理方法、电子设备和存储介质 | |
| CN103763174A (zh) | 一种基于功能块的虚拟网络映射方法 | |
| CN100470486C (zh) | 处理管理装置、计算机系统、分布式处理方法和计算机程序 | |
| CN106716368A (zh) | 用于应用的网络分类 | |
| CN113672391A (zh) | 一种基于Kubernetes的并行计算任务调度方法与系统 | |
| WO2020108337A1 (zh) | 一种cpu资源调度方法及电子设备 | |
| Tantalaki et al. | Linear scheduling of big data streams on multiprocessor sets in the cloud | |
| Travostino et al. | Paths: Programming with system resources in support of real-time distributed applications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20220128 |
|
| AD01 | Patent right deemed abandoned |