CN105373426B - 一种基于Hadoop的车联网内存感知实时作业调度方法 - Google Patents
一种基于Hadoop的车联网内存感知实时作业调度方法 Download PDFInfo
- Publication number
- CN105373426B CN105373426B CN201510726818.6A CN201510726818A CN105373426B CN 105373426 B CN105373426 B CN 105373426B CN 201510726818 A CN201510726818 A CN 201510726818A CN 105373426 B CN105373426 B CN 105373426B
- Authority
- CN
- China
- Prior art keywords
- resource
- task
- node
- amount
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
- G06F9/4887—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues involving deadlines, e.g. rate based, periodic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明属于云计算领域,具体涉及一种满足实时性好,资源利用率高的要求的基于Hadoop的车联网内存感知实时作业调度方法。本发明包括:(1)用户将作业提交到主节点,主节点中的资源管理器对作业进行初始化操作,之后将作业交给资源分配中心进行可调度性判断;(2)资源分配中心根据集群负载情况和作业截止期为其分配资源;(3)将作业放入到队列中,等待从节点中的心跳包,将作业中的任务分配到从节点上执行。通过该方法能够满足车联网作业的实时性要求,同时方法中设计的抢占策略和资源分配中心能有效的提高资源的使用效率,并平衡节点间资源的分配。
Description
技术领域
本发明属于云计算领域,具体涉及一种满足实时性好,资源利用率高的要求的基于Hadoop的车联网内存感知实时作业调度方法。
背景技术
车辆网系统是物联网、云计算与车队系统相互结合的产物。车辆网系统以Hadoop2.0云计算平台为基础进行开发,要能够对处理公共用户和车队管理人员提交的作业请求进行高效处理,其服务对象为车队的管理人员和公共用户。当管理人员或用户提交作业时,数据中心根据一定的调度算法对作业进行处理。车辆网系统中的作业属于内存密集型作业,其对实时性有着较高的要求。因此,需要一个能同时兼顾内存分配和作业实时性的调度算法,来满足车联网中的作业调度要求。
现有的调度算法存在很多的缺陷。针对于Hadoop中MapReduce计算模型的作业处理方式,Anyawu等人提出了Deadline Constraint Scheduler算法。该算法通过作业计算代价模型来估计一个作业在MapReduce中的运行时间,通过该模型计算出的数值与Deadline进行比较判断作业是否能在Deadline之前完成。算法中每次对作业进行资源分配,都会为其分配所需资源的最小值,这样虽然能够保证作业在截止期前完成,但是当系统资源充足时,无法使系统资源得到充分的利用。针对这一问题兰州大学的周源提出了基于抢占模式的(Preemptive Deadline Constraint Scheduler(PDCS)算法。PDCS算法中通过在CS(Computer System,简称CS)中加入抢占模式,从而使得在系统资源充沛时作业可以分配到更多的资源,当系统资源出现紧缺的时候通过抢占使得当前作业能够获取足够的资源。然而PDCS算法虽然解决了DCS算法中资源利用不充分的问题,但是在资源抢占的过程中单纯从满足当前作业需求的角度出发,并没有考虑到整个集群的负载情况,因此这可能导致多次抢占的发生,进而使得集群整体性能下降。
为解决这一问题,我们采用内存感知、抢占式的方式优化资源配置。当用户提出作业请求时,通过资源分配中心选择最小资源量的资源分配方式,再通过双层抢占策略抢占资源。如果未同时使用最小资源评估模型和双层抢占策略,则不是本专利描述的方法。
发明内容
本发明的目的在于提供一种在Hadoop 2.0平台架构下,满足车联网的需求,设计合适的资源调度机制和抢占策略,提高资源的利用率,满足实时性的要求的基于Hadoop的车联网内存感知实时作业调度方法。
本发明的目的是这样实现的:
(1)用户将作业提交到主节点,主节点中的资源管理器对作业进行初始化操作,之后将作业交给资源分配中心进行可调度性判断;
(2)资源分配中心根据集群负载情况和作业截止期为其分配资源;
(3)将作业放入到队列中,等待从节点中的心跳包,将作业中的任务分配到从节点上执行;
所述步骤(1)中的资源分配中心在对集群资源和作业所需资源进行量化时,以内存资源为标准;对于集群中的节点,通过内存来描述其可用的资源量;任务对资源的需求同样采用内存资源进行量化;
所述步骤(1)中可调度性通过一个最小内存资源评估模型进行判断,通过最小内存资源评估模型能够判断出作业在Deadline前完成所需的最小资源量;
所述资源分配中心对含有过剩资源的作业采用红黑树进行管理;红黑树中每个节点表示一个含有过剩资源的作业,节点的关键字为作业的过剩资源量;在作业的抢占、开始和结束过程中,都需要通过修改红黑树来管理含有过剩资源的作业;
所述步骤(2)中在为作业分配资源时包括两种方案:当系统资源充足时,资源分配中心按照最大资源分配策略为作业分配资源;当系统资源紧缺时,按照最小资源分配策略为作业分配资源;在资源紧缺时,又分为非抢占和抢占两种情况;
所述的最小资源评估模型,以内存作为资源量化的标准,在计算最小资源量时,通过拉格朗日乘数法求得保证作业在Deadline前完成时Map和Reduce阶段所需的最小资源量;
在抢占过程中采用双层抢占策略:首先在所有含有过剩资源的作业中选择具有最大过剩资源量的作业;其次根据作业中任务的运行进度,选择进度最慢的任务进行强。
本发明的有益效果在于:
本发明是一种适合于车联网系统的调度方法——基于内存感知实时调度算法,发明中充分考虑到Hadoop 2.0中资源表示模型和作业调度模型的特点,并结合车联网中作业对资源和响应时间的要求。通过该方法能够满足车联网作业的实时性要求,同时方法中设计的抢占策略和资源分配中心能有效的提高资源的使用效率,并平衡节点间资源的分配。
附图说明
图1可调度性判断流程;
图2抢占过程描述图。
具体实施方式
下面结合附图对本发明做进一步描述。
联网系统的Hadoop内存感知实时作业调度器。本发明包括:在调度器中设计资源分配中心模块,负责作业可调度性分析、作业管理和资源分配工作;根据Hadoop 2.0中资源的表示模型和分配模型,方法中设计最小资源评估模型,保证作业的实时性;为了提高系统资源利用率,方法中设计了双层抢占策略,当系统资源发生紧缺时根据作业和任务抢占策略选择被抢占的资源。该调度器能够满足车联网作业的实时性要求,同时调度器中设计的抢占策略和资源分配中心能有效的提高资源的使用效率,并能够平衡节点间资源的分配。
在Hadoop 2.0平台架构下,满足车联网的需求,设计合适的资源调度机制和抢占策略,提高资源的利用率,满足实时性的要求。
本发明的技术方案按照以下方式实现:
(1)用户将作业提交到主节点,主节点中的资源管理器(Resource Manager,简称RM)对作业进行初始化操作,之后将作业交给资源分配中心进行可调度性判断。
(2)资源分配中心根据集群负载情况和作业截止期Deadline为其分配资源。
(3)将作业放入到队列中,等待从节点中的心跳包,将作业中的任务分配到从节点上执行。
步骤(1)中的资源分配中心在对集群资源和作业所需资源进行量化时,以内存资源为标准。对于集群中的节点,通过内存来描述其可用的资源量。任务对资源的需求同样采用内存资源进行量化。
步骤(1)中作业可调度性通过一个最小内存资源评估模型进行判断,通过最小内存资源评估模型能够判断出作业在Deadline前完成所需的最小资源量。
资源分配中心对含有过剩资源的作业采用红黑树进行管理。红黑树中每个节点表示一个含有过剩资源的作业,节点的关键字为作业的过剩资源量。在作业的抢占、开始和结束过程中,都需要通过修改红黑树来管理含有过剩资源的作业。
步骤(2)中在为作业分配资源时包括两种方案:当系统资源充足时,资源分配中心按照最大资源分配策略为作业分配资源;当系统资源紧缺时,按照最小资源分配策略为作业分配资源。在资源紧缺时,又分为非抢占和抢占两种情况。
在设计最小资源评估模型时,以内存作为资源量化的标准,避免动态资源表示模型带来的复杂性。在计算最小资源量时,通过拉格朗日乘数法求得保证作业在Deadline前完成时Map和Reduce阶段所需的最小资源量。
在抢占过程中采用双层抢占策略:首先在所有含有过剩资源的作业中选择具有最大过剩资源量的作业;其次根据作业中任务的运行进度,选择进度最慢的任务进行。
正对用户作业请求,进行可调度性判断。
作业可调度性判断过程如图1所示。用户提交作业Ji到RM(Resource Manager,简称RM,资源管理器)中,RM对作业进行基本的初始化操作,然后将作业交给MRScheduler(MemoryWare Real-Time Scheduler,简称MRScheduler,内存感知实时作业调度器)进行处理。MRScheduler收到作业后,首先交给资源分配中心(RAC)进行可调度性的判断。RAC会判断在资源充足的情况下,能否使得作业Ji在其提交的Di前完成,如果能则对作业Ji进行进一步的判断,否则向客户返回拒绝信息,提示修改截止期值。当接收作业Ji后,判断当前集群中资源的使用情况是否满足作业Ji中Map任务对资源的最小需求如果满足则接收作业,否则同样会向用户拒绝接收作业。当作业Ji的Map任务执行结束后,会判断当前集群中的资源是否能够满足其Reduce任务所需的最小资源需求如果能够满足则作业继续执行,否则提示用户作业执行失败。
针对可调度性作业,执行资源分配策略
本专利设计了Preemption Assign分配策略。为了提高集群资源使用效率,MRScheduler算法中先为Map任务分配作业,当Map任务执行结束后再为Reduce任务分配作业。因为Map和Reduce过程分配资源的过程类似,这里以为Map任务分配资源为例进行阐述。
在Preemption Assign中,当需要为作业Ji的Map任务分配资源时,首先需要判断该集群中空闲资源Mfree是否大于Map任务所需的最大资源总量若有则为作业的Map阶段分配大小为的资源量。此时由于为作业提供了最大的资源需求量,会导致作业在Deadline前完成,因此作业含有过剩的资源量。当此类型的作业运行后,称其为过剩作业(Surplus-Job)。若上述判断有则为作业分配大小资源量,该资源量能保证作业在Di时完成。然而当时又包含两种情况:一种是此时无需资源的抢占操作;当时,由于当前空闲的资源无法满足作业Ji的最小资源需求量,因此需要通过抢占来获得额外的资源,而此时抢占的目标为Surplus-Job。
资源紧缺情况下,执行抢占操作
由于MRScheduler中采用的是抢占资源分配模式,当资源紧缺时需要需要在所有Surplus-Jobs中选择作业进行抢占操作。方法中采用红黑树管理所有的Surplus-Jobs,红黑树能够高效的完成上述对于作业查找、删除的需求,其提供了最好可能的最坏情况担保,能够在O(logn)内完成上述操作,其中n为红黑树中节点的个数,在本文中为Surplus-Jobss的个数。
RAC中对于所有Surplus-Job通过一个红黑树(Surplus-RBTree,过剩红黑树)进行管理,而非过剩作业(Non-Surplus-Job)无需通过特殊的数据结构进行管理。Surplus-RBTree中每个节点表示一个正在运行Surplus-Job,节点的关键字为作业的Surplus值,作业Ji的Surplusi为(Reduce阶段为),即分配的资源量减去最小需求资源量。当有新的Surplus-Job执行时,会将其插入到Surplus-RBTree中;当Surplus-Job运行结束后,将其由Surplus-RBTree中删除。当MRScheduler中需要寻找一个作业进行资源的抢占时,会在Surplus-RBTree中寻找,找到Surplus值最大的作业,将其从Surplus-RBTree中删除。
资源的抢占发生在当一个作业需要进行调度时,发现系统的空闲资源量无法满足其最小资源量的需求,为此方法设计了抢占策略。总体上,MRScheduler中采用两级抢占策略,首先在所有已经运行Surplus-Jobs中选择一个合适的作业,之后在选择的作业中的一定数量的任务进行资源抢占。假设当前作业Ji需要抢占的资源量为资源抢占的步骤如下所示:
a.在Surplus-RBTree中选取符合条件的作业进行资源抢占。
b.由被选取的作业中,通过任务抢占策略选取Surplus个任务,使其终止执行并剥夺其所占有的资源。
c.统计本次作业抢占操作得到的资源总量∑Surplus,若有说明抢占的资源量已经满足当前作业的需求则结束抢占操作,否则返回a,b继续进行资源的抢占。
MRScheduler中采用的是三级抢占策略上述抢占策略,所以首先要判断如何在所有正在运行的Surplus-Jobs中选择一个作业进行资源抢占。在MRScheduler中,采用Maximum Surplus First(MSF)策略在运行的Surplus-Jobs中选择被抢占的对象,即在所有Surplus-Jobs中选择Surplusi值最大的作业Ji(假设具有最大Surplus值的作业ID为i)。由于所有Surplus-Jobs作业都通过Surplus-RBTree进行组织,查找拥有最大的Surplus的作业时,只要沿着Surplus-RBTree的右子树进行查找即可。当遍历到的节点右子树为空时,该节点所代表的作业即为被选择进行抢占的作业。
在确定了被抢占的作业和抢占的资源量后,本方法采用Shortest RemainingTime(SRT)策略进行任务选择,即运行时间短的任务会优先被抢占资源。任务的运行进度通过ProgressScore值来衡量,它是一个介于0~1的值,ProgressScore为0表示任务没有开始执行,为1表示任务已经运行结束。
对于Mapi其运行进度值其中表示Mapi已经读取的数据量,表示其共需要读取的数据量。在任务选择时,选择所有Map中ProgressScore值最小的任务进行抢占。对于Reduce任务,它的执行过程由三个阶段组成:Copy阶段、Sort阶段和Reduce阶段,这三个阶段依次执行,这里规定每个阶段的Score占ProgressScore的1/3。
综上所述ProgressScore、CopyScore、SortScore ReduceScore的取值范围为:ProgressScore∈[0,1]、CopyScore∈[1,1/3]、SortScore∈[1,1/3]、ReduceScore∈[1,1/3]。CopyScore、SortScore、ReduceScore的值为已处理数据与该阶段应进行处理的比值。例如,若Reduce阶段中1/2的数据已经进行了处理则整个Reduce任务的ProgressScore值为
在第一步中,当一个作业Ji被提交到系统中时,需要判断其最小资源量的大小,最小资源量的含义是满足作业Ji能够在Di内完成的所需要的最小资源量。下面将阐述最小资源量的计算方法和其原理。
对于作业Ji通过建立一个作业特征模型来描述其基本的性质,特征模型表示为其中符号含义如下表所示:
作业特征模型相关符号表
由前文可知,MRScheduler在资源分配时以内存作为资源衡量的标准,因此只要求得Ji在整个执行过程中所需资源量Mi的最小值即可。为了求得Mi首先需要建立一个作业运行时间推测模型,通过作业的运行时间和Di来推导出其Mi。由于MapReduce作业是由Map与Reduce两种类型的Task共同完成,且Reduce任务的执行需要Map任务的结果,因此这里假定首个Reduce Task在所有Map Task执行结束后方开始执行。
为了便于描述作业Ji的运行时间,通过下表来指明计算过程中需要用到的关键变量。其中tm与tr的值为用户提交时自行设定。
作业运行时间估计符号表
对于作业Ji的执行,由Map任务执行、数据传送和Reduce任务执行三个部分组成。三个部分的运行时间描述如下:
Tc=f·Ii·tc (3)
因此,作业Ji的执行时间可以表示为:
为了使得作业Ji能够在Di前完成,需要有
Ai+Ti≤Di即
因为,希望求得的是能够满足作业Ji在Di前完成,需满足如下等式即可:
对于作业Ji,其所需要资源总量Mi可以如下表示,有
为了在满足等式(5)时,求得Mi的最小值,这里使用拉格朗日乘数法。为了便于表示,对(5)和(6)中的符号做下述等价代换:a=Ii·tm、b=f·Ii·tr、c=Di-Ai-f·Ii·tc、 当前的目标就是在满足a/x+b/y-c=0时,求得f(x,y)=m·x+n·y的最小值。计算过程过程如下:
令
解方程组(4-8),由于x,y均大于0,可得到x,y的值分别如下:
由拉格朗日乘数法可知,(x,y)为f(x,y)的极值点,由实际问题出发可知,(x,y)只可能是极小值点且为最小值点,也就是使得f(x,y)的取得最小值的点,进而可以得到作业Ji的最小内存资源量。进一步将原有符号带入,得到在满足最小资源需求量时Map与Reduce阶段的内存需求如下所示:
于是通过上述的推导与计算可得,对于满足作业Ji在Di前执行完成作业的最小资源量Mi min可通过公式(11)得到:
当作业Ji被提交到Resouce Manager时,首先会通过RAC判断其可调度性,即判断当前集群的负载情况能否使得Ji在其截止期Di前执行完成。若能满足作业Ji的最小资源量,RAC则会进一步的为Ji分配资源。最后,将作业Ji放入到队列中,等待资源的分配。
队列中的作业按照Earliest Deadline First(EDF)的顺序进行排序,MRScheduler每次选择队列中的队头作业进行调度。当MRScheduler收到Node Manager的心跳包,表明该Node Manager中存在空闲的资源,并向MRScheduler申请新的任务。MRScheduler调度器会尽量将所有任务均衡的分配到各个节点中,因此调度器会根据当前集群的负载计算可以为该节点分配的资源量。NodeMen为节点中可用的资源量,UsedMen为节点中已经被使用的资源量,TotalMen为集群中的资源量总和。通过公式(13)可计算出当前集群的资源负载因子,通过公式(14)可计算出该节点当前可用的资源量AvailableMen。
Claims (1)
1.一种基于Hadoop的车联网内存感知实时作业调度方法,其特征在于,包括如下步骤:
(1)用户将作业提交到主节点,主节点中的资源管理器对作业进行初始化操作,之后将作业交给资源分配中心进行可调度性判断;
(2)资源分配中心根据集群负载情况和作业截止期为其分配资源;
(3)将作业放入到队列中,等待从节点中的心跳包,将作业中的任务分配到从节点上执行;
所述步骤(1)中的资源分配中心在对集群资源和作业所需资源进行量化时,以内存资源为标准;对于集群中的节点,通过内存来描述其可用的资源量;任务对资源的需求同样采用内存资源进行量化;
所述步骤(1)中可调度性通过一个最小内存资源评估模型进行判断,通过最小内存资源评估模型能够判断出作业在Deadline前完成所需的最小资源量;
所述资源分配中心对含有过剩资源的作业采用红黑树进行管理;红黑树中每个节点表示一个含有过剩资源的作业,节点的关键字为作业的过剩资源量;在作业的抢占、开始和结束过程中,都需要通过修改红黑树来管理含有过剩资源的作业;
所述步骤(2)中在为作业分配资源时包括两种方案:当系统资源充足时,资源分配中心按照最大资源分配策略为作业分配资源;当系统资源紧缺时,按照最小资源分配策略为作业分配资源;在资源紧缺时,又分为非抢占和抢占两种情况;
所述的最小内存资源评估模型,以内存作为资源量化的标准,在计算最小资源量时,通过拉格朗日乘数法求得保证作业在Deadline前完成时Map和Reduce阶段所需的最小资源量;
在抢占过程中采用双层抢占策略:首先在所有含有过剩资源的作业中选择具有最大过剩资源量的作业;其次根据作业中任务的运行进度,选择进度最慢的任务进行;
当一个作业Ji被提交到系统中时,需要判断其最小资源量的大小,最小资源量的含义是满足作业Ji能够在Di内完成的所需要的最小资源量;对于作业Ji通过建立一个作业特征模型来描述其基本的性质,特征模型表示为Ai为作业Ji的提交时间;Ii为完成作业Ji所需要的数据量;Di为作业Ji截止期时间;为作业Ji中所包含的Map Task的数量;为作业Ji中所包含的Reduce Task的数量;通过作业的运行时间和Di来推导出其Mi;MapReduce作业是由Map与Reduce两种类型的Task共同完成,对于作业Ji的执行,由Map任务执行、数据传送和Reduce任务执行三个部分组成;三个部分的运行时间描述如下:
Tc=f·Ii·tc (3)
因此,作业Ji的执行时间表示为:
Ai+Ti≤Di即
对于作业Ji,其所需要资源总量Mi表示为
使用拉格朗日乘数法,对公式(5)和公式(6)中的符号做下述等价代换:a=Ii·tm、b=f·Ii·tr、c=Di-Ai-f·Ii·tc、在满足a/x+b/y-c=0时,求得f(x,y)=m·x+n·y的最小值;
令
解方程组(4)-(8),x,y的值分别如下:
由拉格朗日乘数法,(x,y)为f(x,y)的极值点,(x,y)是极小值点且为最小值点,得到作业Ji的最小内存资源量,进一步将原有符号带入,得到在满足最小资源需求量时Map与Reduce阶段的内存需求如下所示:
通过上述的推导与计算可得,对于满足作业Ji在Di前执行完成作业的最小资源量Mi min通过公式(11)得到:
当作业Ji被提交到Resouce Manager时,首先会通过资源分配中心RAC判断其可调度性,即判断当前集群的负载情况能否使得Ji在其截止期Di前执行完成;若能满足作业Ji的最小资源量,RAC则会进一步的为Ji分配资源;最后,将作业Ji放入到队列中,等待资源的分配;
队列中的作业按照Earliest Deadline First的顺序进行排序,MRScheduler每次选择队列中的队头作业进行调度;当MRScheduler收到Node Manager的心跳包,表明该NodeManager中存在空闲的资源,并向MRScheduler申请新的任务;MRScheduler调度器将所有任务均衡的分配到各个节点中,调度器根据当前集群的负载计算可以为该节点分配的资源量;NodeMen为节点中可用的资源量,UsedMen为节点中已经被使用的资源量,TotalMen为集群中的资源量总和;通过公式(13)计算出当前集群的资源负载因子,通过公式(14)计算出该节点当前可用的资源量AvailableMen;
tm为作业Ji中Map任务的处执行时间;tr为作业Ji中Reduce任务的执行时间;tc为Reduce任务中copy阶段转移数据所需时间;为作业Ji中单一Map任务所需内存量;为作业Ji中单一Reduce任务所需内存量;为作业Ji中所有Map任务所需Container数量;为作业Ji中所有Reduce任务所需Container数量;f为Map阶段输入与输出数据量的比值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510726818.6A CN105373426B (zh) | 2015-07-28 | 2015-10-30 | 一种基于Hadoop的车联网内存感知实时作业调度方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2015104477353 | 2015-07-28 | ||
CN201510447735 | 2015-07-28 | ||
CN201510726818.6A CN105373426B (zh) | 2015-07-28 | 2015-10-30 | 一种基于Hadoop的车联网内存感知实时作业调度方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105373426A CN105373426A (zh) | 2016-03-02 |
CN105373426B true CN105373426B (zh) | 2019-01-15 |
Family
ID=55375651
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510726818.6A Active CN105373426B (zh) | 2015-07-28 | 2015-10-30 | 一种基于Hadoop的车联网内存感知实时作业调度方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105373426B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107483364A (zh) * | 2016-06-08 | 2017-12-15 | 国家计算机网络与信息安全管理中心 | 一种Hadoop Yarn网络带宽资源调度、隔离方法和装置 |
CN106447775A (zh) * | 2016-09-18 | 2017-02-22 | 电子科技大学 | 基于云计算的大规模曲面重建系统 |
CN109324890B (zh) * | 2017-07-31 | 2021-01-05 | 华为技术有限公司 | 资源管理方法、装置及计算机可读存储介质 |
CN107508891B (zh) * | 2017-08-28 | 2020-04-28 | 常熟理工学院 | 一种基于智能车联网的数据传输实现方法 |
CN111338785A (zh) * | 2018-12-18 | 2020-06-26 | 北京京东尚科信息技术有限公司 | 资源调度方法及装置、电子设备、存储介质 |
CN110134521B (zh) * | 2019-05-28 | 2021-06-11 | 北京达佳互联信息技术有限公司 | 资源分配的方法、装置、资源管理器及存储介质 |
CN110415560B (zh) * | 2019-08-07 | 2020-10-27 | 腾讯科技(深圳)有限公司 | 基于车联网系统的资源量估计方法、碰撞预测方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103577555A (zh) * | 2013-10-21 | 2014-02-12 | 汕头大学 | 一种基于车联网的大数据分析方法 |
CN104281492A (zh) * | 2013-07-08 | 2015-01-14 | 无锡南理工科技发展有限公司 | 一种异构环境下的Hadoop任务公平调度方法 |
CN104317650A (zh) * | 2014-10-10 | 2015-01-28 | 北京工业大学 | 一种面向Map/Reduce型海量数据处理平台的作业调度方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120304186A1 (en) * | 2011-05-26 | 2012-11-29 | International Business Machines Corporation | Scheduling Mapreduce Jobs in the Presence of Priority Classes |
-
2015
- 2015-10-30 CN CN201510726818.6A patent/CN105373426B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104281492A (zh) * | 2013-07-08 | 2015-01-14 | 无锡南理工科技发展有限公司 | 一种异构环境下的Hadoop任务公平调度方法 |
CN103577555A (zh) * | 2013-10-21 | 2014-02-12 | 汕头大学 | 一种基于车联网的大数据分析方法 |
CN104317650A (zh) * | 2014-10-10 | 2015-01-28 | 北京工业大学 | 一种面向Map/Reduce型海量数据处理平台的作业调度方法 |
Non-Patent Citations (1)
Title |
---|
基于Hadoop的车联网作业调度优化问题研究;颜廷帅;《工学硕士学位论文》;万方学位论文;20160505;第1-73页 |
Also Published As
Publication number | Publication date |
---|---|
CN105373426A (zh) | 2016-03-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105373426B (zh) | 一种基于Hadoop的车联网内存感知实时作业调度方法 | |
US10474504B2 (en) | Distributed node intra-group task scheduling method and system | |
US11243805B2 (en) | Job distribution within a grid environment using clusters of execution hosts | |
CN107992359B (zh) | 一种云环境下代价感知的任务调度方法 | |
CN105900064B (zh) | 调度数据流任务的方法和装置 | |
CN103870314B (zh) | 一种单节点同时运行不同类型虚拟机的方法及系统 | |
Yao et al. | Haste: Hadoop yarn scheduling based on task-dependency and resource-demand | |
CN106126323B (zh) | 基于云平台的实时任务调度方法 | |
CN103729246B (zh) | 一种任务调度方法和装置 | |
CN112416585B (zh) | 面向深度学习的gpu资源管理与智能化调度方法 | |
WO2020113310A1 (en) | System and method for resource partitioning in distributed computing | |
CN109783225B (zh) | 一种多租户大数据平台的租户优先级管理方法及系统 | |
CN106095582B (zh) | 云平台的任务执行方法 | |
CN109857535B (zh) | 面向Spark JDBC的任务优先级控制的实现方法及装置 | |
CN103491024B (zh) | 一种面向流式数据的作业调度方法及装置 | |
CN109491761A (zh) | 基于eda-ga混合算法的云计算多目标任务调度方法 | |
WO2024021489A1 (zh) | 一种任务调度方法、装置及Kubernetes调度器 | |
CN104881322A (zh) | 一种基于装箱模型的集群资源调度方法及装置 | |
CN108170517A (zh) | 一种容器分配方法、装置、服务器及介质 | |
CN115408152A (zh) | 一种自适应资源匹配获取方法及系统 | |
CN102207883A (zh) | 异构分布式实时系统的事务调度方法 | |
WO2020248226A1 (zh) | 一种基于负载预测的Hadoop计算任务初始分配方法 | |
WO2020134133A1 (zh) | 一种资源配置方法、变电站及计算机可读存储介质 | |
CN111913800B (zh) | 基于l-aco的云中微服务成本优化的资源分配方法 | |
CN104917839A (zh) | 一种用于云计算环境下的负载均衡方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |