CN111245909A - 分布式动态调度方法、装置、电子设备及存储介质 - Google Patents

分布式动态调度方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111245909A
CN111245909A CN201911425637.4A CN201911425637A CN111245909A CN 111245909 A CN111245909 A CN 111245909A CN 201911425637 A CN201911425637 A CN 201911425637A CN 111245909 A CN111245909 A CN 111245909A
Authority
CN
China
Prior art keywords
data processing
node
processing request
scheduling
request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911425637.4A
Other languages
English (en)
Other versions
CN111245909B (zh
Inventor
钟斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Intellifusion Technologies Co Ltd
Original Assignee
Shenzhen Intellifusion Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Intellifusion Technologies Co Ltd filed Critical Shenzhen Intellifusion Technologies Co Ltd
Priority to CN201911425637.4A priority Critical patent/CN111245909B/zh
Publication of CN111245909A publication Critical patent/CN111245909A/zh
Application granted granted Critical
Publication of CN111245909B publication Critical patent/CN111245909B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1095Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/14Session management
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/60Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources

Abstract

本申请提供了一种分布式动态调度方法、装置、电子设备及存储介质,该方法包括:调度节点获取数据处理请求,并将所述数据处理请求加入请求缓冲队列进行缓存;所述调度节点执行调度操作为所述数据处理请求选择出目标处理节点,将所述数据处理请求下发给所述目标处理节点;若所述数据处理请求是所述目标处理节点未处理的会话,则所述目标处理节点通过分布式状态缓存对所述数据处理请求的会话的配置信息和状态信息进行同步;所述目标处理节点对所述数据处理请求进行处理,并向所述调度节点同步所述数据处理请求的处理状态。本申请实施例通过状态与计算的分离,有利于使有状态的应用在调度层面实现无状态化,使计算灵活迁移。

Description

分布式动态调度方法、装置、电子设备及存储介质
技术领域
本申请涉及分布式系统技术领域,尤其涉及一种分布式动态调度方法、装置、电子设备及存储介质。
背景技术
随着业务量的增长,现有视频图像产品的计算能力也将受到严峻考验,为了达到对巨大计算能力的要求,分布式系统成为视频图像产品发展的重要方向。分布式系统是建立在网络之上的软件系统,目前采用分布式系统的视频图像产品多属于有状态应用,所谓有状态应用是指数据的计算处理依赖于一定的上下文关系,即前后的处理之间存在关联与影响,例如:任务、会话的计算或数据处理受配置信息或上下文信息的影响和控制。然而,正是这种关联与影响,使有状态应用计算难以实现灵活迁移。
发明内容
针对上述问题,本申请提供了一种分布式动态调度方法、装置、电子设备及存储介质,通过状态与计算的分离,有利于使有状态的应用在调度层面实现无状态化,使计算灵活迁移。
为实现上述目的,本申请实施例第一方面提供了一种分布式动态调度方法,该方法包括:
调度节点获取数据处理请求,并将所述数据处理请求加入请求缓冲队列进行缓存;
所述调度节点执行调度操作为所述数据处理请求选择出目标处理节点,将所述数据处理请求下发给所述目标处理节点;
若所述数据处理请求是所述目标处理节点未处理的会话,则所述目标处理节点通过分布式状态缓存对所述数据处理请求的会话的配置信息和状态信息进行同步;
所述目标处理节点对所述数据处理请求进行处理,并向所述调度节点同步所述数据处理请求的处理状态。
结合第一方面,在一种示例中,所述调度节点将所述数据处理请求加入请求缓冲队列进行缓存,包括:
将所述数据处理请求加入处理等待队列;
从所述处理等待队列中取出所述数据处理请求进行下发操作,若所述数据处理请求下发成功,则将所述数据处理请求加入ACK等待队列;若下发失败,则将所述数据处理放回所述处理等待队列。
结合第一方面,在一种示例中,所述调度节点执行调度操作为所述数据处理请求选择出目标处理节点,包括:
获取候选处理节点集合;
若所述数据处理请求的会话在所述分布式状态缓存中属于第一类别会话,则进行均衡调度从所述候选处理节点集合中选择出所述目标处理节点;
若所述数据处理请求的会话在所述分布式状态缓存中属于第二类别会话,则从所述候选处理节点集合中将所述数据处理请求的会话的上一次处理节点选为所述目标处理节点;
若所述数据处理请求的会话在所述分布式状态缓存中属于第二类别会话,且所述数据处理请求的会话的上一次处理节点已失效,则进行均衡调度从所述候选处理节点集合中选择出所述目标处理节点。
结合第一方面,在一种示例中,所述调度节点获取候选处理节点集合,包括:
初始化所述候选处理节点集合为空;
对节点信息库中的所有处理节点进行遍历,将处于准备状态的处理节点加入所述候选处理节点集合。
结合第一方面,在一种示例中,所述目标处理节点通过分布式状态缓存对所述数据处理请求的会话的配置信息和状态信息进行同步,包括:
从所述分布式状态缓存中,获取所述数据处理请求的会话的配置信息和状态信息;
将所述数据处理请求的会话的配置信息和状态信息同步到本地。
结合第一方面,在一种示例中,所述目标处理节点向所述调度节点同步所述数据处理请求的处理状态,包括:
从所述数据处理请求的处理状态中获取所述数据处理请求的会话标识;
若所述处理状态为成功,则向所述调度节点发送ACK信息,所述ACK信息携带有所述数据处理请求的会话标识;
若所述处理状态为失败,则向所述调度节点发送NACK信息,所述NACK信息携带有所述数据处理请求的会话标识。
结合第一方面,在一种示例中,所述方法还包括:
所述调度节点在接收到所述ACK信息的情况下,确定完成所述数据处理请求的处理;
所述调度节点在接收到所述NACK信息的情况下,将所述数据处理请求从所述ACK等待队列移回所述处理等待队列;
若所述数据处理请求在所述ACK等待队列中等待的时间超过预设时间,则所述调度节点将所述数据处理请求从所述ACK等待队列移回所述处理等待队列;
若所述数据处理请求在所述ACK等待队列中等待的时间未超过预设时间,则不做任何处理,继续等待。
本申请实施例第二方面提供了一种分布式动态调度装置,该装置包括:
请求缓冲模块,用于通过调度节点获取数据处理请求,并将所述数据处理请求加入请求缓冲队列进行缓存;
调度执行模块,用于通过所述调度节点执行调度操作为所述数据处理请求选择出目标处理节点,将所述数据处理请求下发给所述目标处理节点;
配置状态同步模块,用于若所述数据处理请求是所述目标处理节点未处理过的会话,则所述目标处理节点通过分布式状态缓存对所述数据处理请求的会话的配置信息和状态信息进行同步;
计算状态同步模块,用于通过所述目标处理节点对所述数据处理请求进行处理,并向所述调度节点同步所述数据处理请求的处理状态。
本申请实施例第三方面提供了一种电子设备,所述电子设备包括:处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述的分布式动态调度方法中的步骤。
本申请实施例第四方面提供了一种计算机存储介质,所述计算机存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述的分布式动态调度方法中的步骤。
本申请的上述方案至少包括以下有益效果:通过调度节点获取数据处理请求,并将所述数据处理请求加入请求缓冲队列进行缓存;调度节点执行调度操作为所述数据处理请求选择出目标处理节点,将所述数据处理请求下发给所述目标处理节点;若所述数据处理请求是所述目标处理节点未处理的会话,则目标处理节点通过分布式状态缓存对所述数据处理请求的会话的配置信息和状态信息进行同步;目标处理节点对所述数据处理请求进行处理,并向所述调度节点同步所述数据处理请求的处理状态。这样通过调度节点执行调度策略为数据处理请求选择一个目标处理节点,有利于使有状态的应用在调度层面实现无状态化,易于实现计算的均衡、计算的高可用和计算的动态伸缩,同时,通过分布式状态缓存对所有会话的配置状态进行存储和维护、通过目标处理节点实现当前数据处理请求的会话的配置状态同步和处理状态同步,实现了状态与计算的分离,有利于使计算灵活迁移。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种分布式架构图;
图2为本申请实施例提供的一种分布式架构内的处理过程示意图;
图3为本申请实施例提供的一种分布式动态调度方法的流程示意图;
图4为本申请实施例提供的一种请求缓冲队列的示意图;
图5为本申请实施例提供的一种节点信息库的示意图;
图6为本申请实施例提供的一种分布式状态缓存的示意图;
图7为本申请实施例提供的一种配置状态同步的示意图;
图8为本申请实施例提供的另一种分布式动态调度方法的流程示意图;
图9为本申请实施例提供的一种分布式动态调度装置的结构示意图;
图10为本申请提供一种电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
本申请说明书、权利要求书和附图中出现的术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。此外,术语“第一”、“第二”和“第三”等是用于区别不同的对象,而并非用于描述特定的顺序。
首先结合相关附图来举例介绍下本申请实施例的方案可能应用到的网络系统架构。请参见图1,图1为本申请实施例提供的一种分布式架构图,如图1所示,包括客户端、调度节点、处理节点和分布式状态缓存,具体如图2所示,调度节点中计算请求缓冲队列用于缓存客户端提交的数据处理请求,节点状态维护单元用于对系统中所有节点的状态进行维护,以提供调度过程所需的信息,调度单元用于根据节点状态维护单元中节点的信息执行高可用调度、均衡调度或者亲和性调度。分布式状态缓存用于对所有会话的配置状态进行存储和维护,其可在本地实现,也可以在云端实现。处理节点在接收到新的数据处理请求时,任务处理单元触发配置状态同步单元,配置状态同步单元根据分布式状态缓存对数据处理请求的会话进行同步,同步完成由任务处理单元执行处理,并将数据处理请求的处理状态传递给计算状态同步单元,计算状态同步单元将数据处理请求的处理状态反馈至调度节点中的计算请求缓冲队列。基于图1所示的分布式架构,以下结合其他附图对本申请实施例提供的分布式动态调度方法进行详细阐述。
请参见图3,图3为本申请实施例提供的一种分布式动态调度方法的流程示意图,如图3所示,包括步骤S31-S34:
S31,调度节点获取数据处理请求,并将所述数据处理请求加入请求缓冲队列进行缓存。
本申请具体实施例中,调度节点也可以是一种分布式调度器,客户端提交的数据处理请求从请求入口进入系统,由调度节点将数据处理请求加入请求缓冲队列进行缓存。如图4所示,请求缓冲队列中缓存有多个数据处理请求的会话(任务),每个数据处理请求在请求缓冲队列中是一个Map数据结构,其中Key为会话或任务ID,每个数据处理请求元素中还包括处理等待(Pending)队列和ACK(Acknowledge character,确认字符)等待队列。具体的,调度节点在对数据处理请求进行缓存时,先将数据处理请求加入处理等待队列,在为数据处理请求选出目标处理节点进行下发处理时,从处理等待队列中取出数据处理请求,当数据处理请求成功下发至目标处理节点时,将数据处理请求加入ACK等待队列,等待目标处理节点同步该数据处理请求的处理状态;当数据处理请求下发至目标处理节点失败时,将该数据处理请求放回处理等待队列缓存。
S32,所述调度节点执行调度操作为所述数据处理请求选择出目标处理节点,将所述数据处理请求下发给所述目标处理节点。
本申请具体实施例中,目标处理节点即需要对当前数据处理请求进行计算的处理节点,节点状态维护单元对节点信息库中的所有处理节点的状态、调度的配额/余量进行维护,如图5所示,节点信息库中的每个处理节点元素均包括节点ID(Identity document,标识)、节点的配置信息(如调度的配额、余量)、节点的状态信息(如准备状态Ready、未准备状态NotReady),每个处理节点元素同样是一个Map数据结构,Key为节点ID。调度节点对数据处理请求进行缓存时,触发该数据处理请求执行高可用调度策略,通过节点状态维护单元获取节点信息库中各处理节点状态信息,由当前可用的处理节点构成候选处理节点集合,具体实施为:初始化候选处理节点集合NodeReady为空,遍历节点信息库中的所有处理节点,将处于Ready状态的处理节点加入候选处理节点集合中,遍历过程中,如果某个处理节点处于NotReady状态,则跳过该处理节点,在本次调度中不考虑该处理节点。
在得到候选处理节点集合后,调度节点从数据处理请求中获取其会话ID,遍历分布式动态缓存中的所有会话,如图6所示,分布式状态缓存用于对系统内所有会话的配置信息和状态信息进行维护,每个会话的状态管理同样以Map数据结构缓存,Key为会话ID,结构中会话的配置信息可以是会话的输入数据源、处理结果的存储路径、回调的接收者等,会话的状态信息可以是会话处理的偏移量等。
若当前数据处理请求的会话已经存在分布式动态缓存中,但没有该数据处理请求的会话上一次调度处理节点的信息,则将该数据处理请求的会话标识为第一类别会话,即一个新的会话;若有该数据处理请求的会话上一次调度处理节点的信息,则将该数据处理请求的会话标识为第二类别会话,即历史存在的会话;若当前数据处理请求的会话在分布式状态缓存中不存在,则中止当前处理。如果该数据处理请求的会话属于新的会话,则进行均衡调度,采用轮询策略或其他策略从候选处理节点集合中选择一个处理节点作为目标处理节点,并存储此次的调度选择;如果该数据处理请求的会话属于历史存在的会话,则进行亲和性调度,根据历史存储的调度选择,从候选处理节点集合中将数据处理请求的会话的上一次处理节点选为目标处理节点;如果该数据处理请求的会话属于历史存在的会话,但是执行亲和性调度选择的上一次处理节点已失效,则再进行均衡调度,从候选处理节点集合中选择一个处理节点作为目标处理节点,存储此次的调度选择。选择出目标处理节点后,调度节点从处理等待队列中取出数据处理请求,将所述数据处理请求下发给目标处理节点,下发成功则将数据处理请求加入ACK等待队列。
S33,若所述数据处理请求是所述目标处理节点未处理的会话,则所述目标处理节点通过分布式状态缓存对所述数据处理请求的会话的配置信息和状态信息进行同步。
本申请具体实施例中,目标处理节点根据数据处理请求的会话ID对该数据处理请求进行判断,如果调度节点向目标处理节点下发的数据处理请求是目标处理节点未处理的新会话,则如图7所示,目标处理节点的任务处理单元会触发配置状态同步单元,使配置状态同步单元根据会话ID从分布式状态缓存中,获取该数据处理请求的会话的配置信息和状态信息,将获取到的配置信息和会话信息同步到本地,以完成本地处理会话的更新或同步。
S34,所述目标处理节点对所述数据处理请求进行处理,并向所述调度节点同步所述数据处理请求的处理状态。
本申请具体实施例中,数据处理请求的处理状态包括成功Success或失败Failed,在对数据处理请求的会话的配置信息和状态信息进行同步后,目标处理节点的任务处理单元执行该数据处理请求的处理操作,将处理状态传递给计算状态同步单元,计算状态同步单元在接收到所述处理状态的输入时,从数据处理请求的处理状态中获取数据处理请求的会话ID,若任务处理单元传递的处理状态为成功,则计算状态同步单元向调度节点发送ACK信息,调度节点在接收到该ACK信息的情况下,可根据ACK信息中携带的会话ID确定本次数据处理请求已完成,若任务处理单元传递的处理状态为失败,则计算状态同步单元向调度节点发送NACK(非确认字符)信息,调度节点在接收到该NACK信息的情况下,将数据处理请求从所述ACK等待队列移回处理等待队列。进一步的,如果调度节点一直未收到目标处理节点的任何信息,导致数据处理请求在ACK等待队列中等待的时间超过预设时间,则调度节点将数据处理请求从ACK等待队列移回处理等待队列,当然,如果数据处理请求在ACK等待队列中等待的时间未超过预设时间,则不做任何处理,继续等待。进一步的,如果调度节点向目标处理节点下发的数据处理请求是目标处理节点已经在处理的会话,表明本次处理所依赖的上下文、配置、状态等信息已经存在,无需再同步,则目标处理节点的任务处理单元直接对数据处理请求进行处理,通过计算状态同步单元向调度节点同步处理状态。
可以看出,本申请实施例通过调度节点获取数据处理请求,并将所述数据处理请求加入请求缓冲队列进行缓存;调度节点执行调度操作为所述数据处理请求选择出目标处理节点,将所述数据处理请求下发给所述目标处理节点;若所述数据处理请求是所述目标处理节点未处理的会话,则目标处理节点通过分布式状态缓存对所述数据处理请求的会话的配置信息和状态信息进行同步;目标处理节点对所述数据处理请求进行处理,并向所述调度节点同步所述数据处理请求的处理状态。这样通过调度节点执行调度策略为数据处理请求选择一个目标处理节点,有利于使有状态的应用在调度层面实现无状态化,易于实现计算的均衡、计算的高可用和计算的动态伸缩,同时,通过分布式状态缓存对所有会话的配置状态进行存储和维护、通过目标处理节点实现当前数据处理请求的会话的配置状态同步和处理状态同步,实现了状态与计算的分离,有利于使计算灵活迁移。
请参加图8,图8为本申请实施例提供的另一种分布式动态调度方法的流程示意图,如图8所示,包括步骤S81-S86:
S81,调度节点获取数据处理请求;
S82,所述调度节点将所述数据处理请求加入处理等待队列;
S83,所述调度节点执行调度操作为所述数据处理请求选择出目标处理节点;
S84,所述调度节点从所述处理等待队列中取出所述数据处理请求,向所述目标处理节点下发所述数据处理请求,若所述数据处理请求下发成功,则将所述数据处理请求加入ACK等待队列;若下发失败,则将所述数据处理放回所述处理等待队列;
S85,若所述数据处理请求是所述目标处理节点未处理的会话,则所述目标处理节点通过分布式状态缓存对所述数据处理请求的会话的配置信息和状态信息进行同步;
S86,所述目标处理节点对所述数据处理请求进行处理,并向所述调度节点同步所述数据处理请求的处理状态。
其中,图8所示的实施例的步骤在图3所示的实施例中已有相关说明,且能达到相同或相似的有益效果,为避免重复,此处不再赘述。
进一步的,本申请在系统初始化时,还设置有同步更新定时器,该定时器的定时周期为T,每个定时周期T结束时,定时器触发目标处理节点,所述方法还包括:目标处理节点遍历分布式状态缓存,从分布式状态缓存中获取数据处理请求的会话,获取数据处理请求的会话ID,使用数据处理请求的会话ID查询本地会话,若本地已经存在数据处理请求的会话,则确认数据处理请求的会话的配置信息和状态信息已经同步,若本地不存在数据处理请求的会话,则从分布式状态缓存中获取数据处理请求的会话的配置信息和状态信息同步到本地,对数据处理请求进行处理,向调度节点同步所述数据处理请求的处理状态,等待定时器的下一次触发。
请参见图9,图9为本申请实施例提供的一种分布式动态调度装置的结构示意图,如图9所示,该装置包括:
请求缓冲模块91,用于通过调度节点获取数据处理请求,并将所述数据处理请求加入请求缓冲队列进行缓存;
调度执行模块92,用于通过所述调度节点执行调度操作为所述数据处理请求选择出目标处理节点,将所述数据处理请求下发给所述目标处理节点;
配置状态同步模块93,用于若所述数据处理请求是所述目标处理节点未处理过的会话,则所述目标处理节点通过分布式状态缓存对所述数据处理请求的会话的配置信息和状态信息进行同步;
计算状态同步模块94,用于通过所述目标处理节点对所述数据处理请求进行处理,并向所述调度节点同步所述数据处理请求的处理状态。
在一种示例中,在将所述数据处理请求加入请求缓冲队列进行缓存方面,请求缓冲模块91具体用于:
通过所述调度节点将所述数据处理请求加入处理等待队列;从所述处理等待队列中取出所述数据处理请求进行下发操作,若所述数据处理请求下发成功,则将所述数据处理请求加入ACK等待队列;若下发失败,则将所述数据处理放回所述处理等待队列。
在一种示例中,在执行调度操作为所述数据处理请求选择出目标处理节点方面,调度执行模块92具体用于:
通过所述调度节点获取候选处理节点集合;若所述数据处理请求的会话在所述分布式状态缓存中属于第一类别会话,则进行均衡调度从所述候选处理节点集合中选择出所述目标处理节点;若所述数据处理请求的会话在所述分布式状态缓存中属于第二类别会话,则从所述候选处理节点集合中将所述数据处理请求的会话的上一次处理节点选为所述目标处理节点;若所述数据处理请求的会话在所述分布式状态缓存中属于第二类别会话,且所述数据处理请求的会话的上一次处理节点已失效,则进行均衡调度从所述候选处理节点集合中选择出所述目标处理节点。
在一种示例中,在获取候选处理节点集合方面,调度执行模块92具体用于:
通过调度节点初始化所述候选处理节点集合为空;对节点信息库中的所有处理节点进行遍历,将处于准备状态的处理节点加入所述候选处理节点集合。
在一种示例中,在通过分布式状态缓存对所述数据处理请求的会话的配置信息和状态信息进行同步方面,配置状态同步模块93具体用于:
通过所述目标处理节点从所述分布式状态缓存中获取所述数据处理请求的会话的配置信息和状态信息;将所述数据处理请求的会话的配置信息和状态信息同步到本地。
在一种示例中,在向所述调度节点同步所述数据处理请求的处理状态方面,计算状态同步模块94具体用于:
通过所述目标处理节点从所述数据处理请求的处理状态中获取所述数据处理请求的会话标识;若所述处理状态为成功,则向所述调度节点发送ACK信息,所述ACK信息携带有所述数据处理请求的会话标识;若所述处理状态为失败,则向所述调度节点发送NACK信息,所述NACK信息携带有所述数据处理请求的会话标识。
在一种示例中,请求缓冲模块91具体还用于:
所述调度节点在接收到所述ACK信息的情况下,确定完成所述数据处理请求的处理;
所述调度节点在接收到所述NACK信息的情况下,将所述数据处理请求从所述ACK等待队列移回所述处理等待队列;
若所述数据处理请求在所述ACK等待队列中等待的时间超过预设时间,则通过所述调度节点将所述数据处理请求从所述ACK等待队列移回所述处理等待队列;
若所述数据处理请求在所述ACK等待队列中等待的时间未超过预设时间,则不做任何处理,继续等待。
根据本申请的一个实施例,图9所示的分布式动态调度装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成,或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成,这可以实现同样的操作,而不影响本发明的实施例的技术效果的实现。上述单元是基于逻辑功能划分的,在实际应用中,一个单元的功能也可以由多个单元来实现,或者多个单元的功能由一个单元实现。在本发明的其它实施例中,分布式动态调度装置也可以包括其它单元,在实际应用中,这些功能也可以由其它单元协助实现,并且可以由多个单元协作实现。
根据本申请的另一个实施例,可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图3或图8中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码),来构造如图9所示的装置设备,以及来实现本发明实施例的上述方法。所述计算机程序可以记载于例如计算机可读记录介质上,并通过计算机可读记录介质装载于上述计算设备中,并在其中运行。
基于上述方法实施例以及装置实施例的描述,本发明实施例还提供一种电子设备。请参见图10,该电子设备至少包括处理器1001、输入设备1002、输出设备1003以及计算机存储介质1004。其中,电子设备内的处理器1001、输入设备1002、输出设备1003以及计算机存储介质1004可通过总线或其他方式连接。
计算机存储介质1004可以存储在电子设备的存储器中,所述计算机存储介质1004用于存储计算机程序,所述计算机程序包括程序指令,所述处理器1001用于执行所述计算机存储介质1004存储的程序指令。处理器1001(或称CPU(Central Processing Unit,中央处理器))是电子设备的计算核心以及控制核心,其适于实现一条或多条指令,具体适于加载并执行一条或多条指令从而实现相应方法流程或相应功能。
在一个实施例中,本申请实施例提供的电子设备的处理器1001可以用于进行一系列动态调度处理,包括:
通过调度节点获取数据处理请求,并将所述数据处理请求加入请求缓冲队列进行缓存;
通过所述调度节点执行调度操作为所述数据处理请求选择出目标处理节点,将所述数据处理请求下发给所述目标处理节点;
若所述数据处理请求是所述目标处理节点未处理的会话,则通过所述目标处理节点通过分布式状态缓存对所述数据处理请求的会话的配置信息和状态信息进行同步;
通过所述目标处理节点对所述数据处理请求进行处理,并向所述调度节点同步所述数据处理请求的处理状态。
在一种示例中,处理器1001执行所述将所述数据处理请求加入请求缓冲队列进行缓存,包括:
通过所述调度节点将所述数据处理请求加入处理等待队列;从所述处理等待队列中取出所述数据处理请求进行下发操作,若所述数据处理请求下发成功,则将所述数据处理请求加入ACK等待队列;若下发失败,则将所述数据处理放回所述处理等待队列。
在一种示例中,处理器1001执行调度操作为所述数据处理请求选择出目标处理节点,包括:
通过所述调度节点获取候选处理节点集合;若所述数据处理请求的会话在所述分布式状态缓存中属于第一类别会话,则进行均衡调度从所述候选处理节点集合中选择出所述目标处理节点;若所述数据处理请求的会话在所述分布式状态缓存中属于第二类别会话,则从所述候选处理节点集合中将所述数据处理请求的会话的上一次处理节点选为所述目标处理节点;若所述数据处理请求的会话在所述分布式状态缓存中属于第二类别会话,且所述数据处理请求的会话的上一次处理节点已失效,则进行均衡调度从所述候选处理节点集合中选择出所述目标处理节点。
在一种示例中,处理器1001执行所述获取候选处理节点集合,包括:
通过调度节点初始化所述候选处理节点集合为空;对节点信息库中的所有处理节点进行遍历,将处于准备状态的处理节点加入所述候选处理节点集合。
在一种示例中,处理器1001执行所述通过分布式状态缓存对所述数据处理请求的会话的配置信息和状态信息进行同步,包括:
通过所述目标处理节点从所述分布式状态缓存中获取所述数据处理请求的会话的配置信息和状态信息;将所述数据处理请求的会话的配置信息和状态信息同步到本地。
在一种示例中,处理器1001执行所述向所述调度节点同步所述数据处理请求的处理状态,包括:
通过所述目标处理节点从所述数据处理请求的处理状态中获取所述数据处理请求的会话标识;若所述处理状态为成功,则向所述调度节点发送ACK信息,所述ACK信息携带有所述数据处理请求的会话标识;若所述处理状态为失败,则向所述调度节点发送NACK信息,所述NACK信息携带有所述数据处理请求的会话标识。
在一种示例中,处理器1001还用于:
所述调度节点在接收到所述ACK信息的情况下,确定完成所述数据处理请求的处理;
所述调度节点在接收到所述NACK信息的情况下,将所述数据处理请求从所述ACK等待队列移回所述处理等待队列;
若所述数据处理请求在所述ACK等待队列中等待的时间超过预设时间,则通过所述调度节点将所述数据处理请求从所述ACK等待队列移回所述处理等待队列;
若所述数据处理请求在所述ACK等待队列中等待的时间未超过预设时间,则不做任何处理,继续等待。
示例性的,上述电子设备可以是计算机、笔记本电脑、平板电脑、掌上电脑、服务器等设备。电子设备可包括但不仅限于处理器1001、输入设备1002、输出设备1003以及计算机存储介质1004。本领域技术人员可以理解,所述示意图仅仅是电子设备的示例,并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件。
需要说明的是,由于电子设备的处理器1001执行计算机程序时实现上述的分布式动态调度方法中的步骤,因此上述分布式动态调度方法的实施例均适用于该电子设备,且均能达到相同或相似的有益效果。
本申请实施例还提供了一种计算机存储介质(Memory),所述计算机存储介质是电子设备中的记忆设备,用于存放程序和数据。可以理解的是,此处的计算机存储介质既可以包括终端中的内置存储介质,当然也可以包括终端所支持的扩展存储介质。计算机存储介质提供存储空间,该存储空间存储了终端的操作系统。并且,在该存储空间中还存放了适于被处理器1001加载并执行的一条或多条的指令,这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是,此处的计算机存储介质可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器;可选的,还可以是至少一个位于远离前述处理器1001的计算机存储介质。在一个实施例中,可由处理器1001加载并执行计算机存储介质中存放的一条或多条指令,以实现上述有关分布式动态调度方法的相应步骤。
示例性的,计算机存储介质的计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机存储介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
需要说明的是,由于计算机存储介质的计算机程序被处理器执行时实现上述的分布式动态调度方法中的步骤,因此上述分布式动态调度方法的所有例均适用于该计算机可读存储介质,且均能达到相同或相似的有益效果。
以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种分布式动态调度方法,其特征在于,所述方法包括:
调度节点获取数据处理请求,并将所述数据处理请求加入请求缓冲队列进行缓存;
所述调度节点执行调度操作为所述数据处理请求选择出目标处理节点,将所述数据处理请求下发给所述目标处理节点;
若所述数据处理请求是所述目标处理节点未处理的会话,则所述目标处理节点通过分布式状态缓存对所述数据处理请求的会话的配置信息和状态信息进行同步;
所述目标处理节点对所述数据处理请求进行处理,并向所述调度节点同步所述数据处理请求的处理状态。
2.根据权利要求1所述的方法,其特征在于,所述调度节点将所述数据处理请求加入请求缓冲队列进行缓存,包括:
将所述数据处理请求加入处理等待队列;
从所述处理等待队列中取出所述数据处理请求进行下发操作,若所述数据处理请求下发成功,则将所述数据处理请求加入ACK等待队列;若下发失败,则将所述数据处理放回所述处理等待队列。
3.根据权利要求1所述的方法,其特征在于,所述调度节点执行调度操作为所述数据处理请求选择出目标处理节点,包括:
获取候选处理节点集合;
若所述数据处理请求的会话在所述分布式状态缓存中属于第一类别会话,则进行均衡调度从所述候选处理节点集合中选择出所述目标处理节点;
若所述数据处理请求的会话在所述分布式状态缓存中属于第二类别会话,则从所述候选处理节点集合中将所述数据处理请求的会话的上一次处理节点选为所述目标处理节点;
若所述数据处理请求的会话在所述分布式状态缓存中属于第二类别会话,且所述数据处理请求的会话的上一次处理节点已失效,则进行均衡调度从所述候选处理节点集合中选择出所述目标处理节点。
4.根据权利要求3所述的方法,其特征在于,所述调度节点获取候选处理节点集合,包括:
初始化所述候选处理节点集合为空;
对节点信息库中的所有处理节点进行遍历,将处于准备状态的处理节点加入所述候选处理节点集合。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述目标处理节点通过分布式状态缓存对所述数据处理请求的会话的配置信息和状态信息进行同步,包括:
从所述分布式状态缓存中,获取所述数据处理请求的会话的配置信息和状态信息;
将所述数据处理请求的会话的配置信息和状态信息同步到本地。
6.根据权利要求2所述的方法,其特征在于,所述目标处理节点向所述调度节点同步所述数据处理请求的处理状态,包括:
从所述数据处理请求的处理状态中获取所述数据处理请求的会话标识;
若所述处理状态为成功,则向所述调度节点发送ACK信息,所述ACK信息携带有所述数据处理请求的会话标识;
若所述处理状态为失败,则向所述调度节点发送NACK信息,所述NACK信息携带有所述数据处理请求的会话标识。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
所述调度节点在接收到所述ACK信息的情况下,确定完成所述数据处理请求的处理;
所述调度节点在接收到所述NACK信息的情况下,将所述数据处理请求从所述ACK等待队列移回所述处理等待队列;
若所述数据处理请求在所述ACK等待队列中等待的时间超过预设时间,则所述调度节点将所述数据处理请求从所述ACK等待队列移回所述处理等待队列;
若所述数据处理请求在所述ACK等待队列中等待的时间未超过预设时间,则不做任何处理,继续等待。
8.一种分布式动态调度装置,其特征在于,所述装置包括:
请求缓冲模块,用于通过调度节点获取数据处理请求,并将所述数据处理请求加入请求缓冲队列进行缓存;
调度执行模块,用于通过所述调度节点执行调度操作为所述数据处理请求选择出目标处理节点,将所述数据处理请求下发给所述目标处理节点;
配置状态同步模块,用于若所述数据处理请求是所述目标处理节点未处理的会话,则所述目标处理节点通过分布式状态缓存对所述数据处理请求的会话的配置信息和状态信息进行同步;
计算状态同步模块,用于通过所述目标处理节点对所述数据处理请求进行处理,并向所述调度节点同步所述数据处理请求的处理状态。
9.一种电子设备,包括输入设备和输出设备,其特征在于,还包括:
处理器,适于实现一条或多条指令;以及,
计算机存储介质,所述计算机存储介质存储有一条或多条指令,所述一条或多条指令适于由所述处理器加载并执行如权利要求1-7任一项所述的方法。
10.一种计算机存储介质,其特征在于,所述计算机存储介质存储有一条或多条指令,所述一条或多条指令适于由处理器加载并执行如权利要求1-7任一项所述的方法。
CN201911425637.4A 2019-12-31 2019-12-31 分布式动态调度方法、装置、电子设备及存储介质 Active CN111245909B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911425637.4A CN111245909B (zh) 2019-12-31 2019-12-31 分布式动态调度方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911425637.4A CN111245909B (zh) 2019-12-31 2019-12-31 分布式动态调度方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111245909A true CN111245909A (zh) 2020-06-05
CN111245909B CN111245909B (zh) 2023-04-07

Family

ID=70877663

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911425637.4A Active CN111245909B (zh) 2019-12-31 2019-12-31 分布式动态调度方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111245909B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113438206A (zh) * 2021-06-02 2021-09-24 中科海微(北京)科技有限公司 分布式事件驱动的物联网运行时系统、方法、终端及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104219235A (zh) * 2014-08-28 2014-12-17 福建新大陆软件工程有限公司 一种分布式交易请求方法及装置
CN107682434A (zh) * 2017-09-30 2018-02-09 深圳市智慧海洋科技有限公司 一种水下传感器网络架构及其实现方法
CN108021430A (zh) * 2016-10-31 2018-05-11 杭州海康威视数字技术股份有限公司 一种分布式任务处理方法及装置
CN108897626A (zh) * 2018-07-20 2018-11-27 浪潮电子信息产业股份有限公司 一种资源调度方法及服务器
CN110083504A (zh) * 2019-03-29 2019-08-02 北京奇安信科技有限公司 分布式任务的运行状态监控方法及装置
CN110262888A (zh) * 2019-06-26 2019-09-20 京东数字科技控股有限公司 任务调度方法和装置及计算节点执行任务的方法和装置
WO2019204572A1 (en) * 2018-04-18 2019-10-24 Alibaba Group Holding Linited Task processing method, apparatus, and system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104219235A (zh) * 2014-08-28 2014-12-17 福建新大陆软件工程有限公司 一种分布式交易请求方法及装置
CN108021430A (zh) * 2016-10-31 2018-05-11 杭州海康威视数字技术股份有限公司 一种分布式任务处理方法及装置
CN107682434A (zh) * 2017-09-30 2018-02-09 深圳市智慧海洋科技有限公司 一种水下传感器网络架构及其实现方法
WO2019204572A1 (en) * 2018-04-18 2019-10-24 Alibaba Group Holding Linited Task processing method, apparatus, and system
CN108897626A (zh) * 2018-07-20 2018-11-27 浪潮电子信息产业股份有限公司 一种资源调度方法及服务器
CN110083504A (zh) * 2019-03-29 2019-08-02 北京奇安信科技有限公司 分布式任务的运行状态监控方法及装置
CN110262888A (zh) * 2019-06-26 2019-09-20 京东数字科技控股有限公司 任务调度方法和装置及计算节点执行任务的方法和装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113438206A (zh) * 2021-06-02 2021-09-24 中科海微(北京)科技有限公司 分布式事件驱动的物联网运行时系统、方法、终端及介质

Also Published As

Publication number Publication date
CN111245909B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
Harlap et al. Addressing the straggler problem for iterative convergent parallel ML
Tan et al. Coupling task progress for mapreduce resource-aware scheduling
US20200192724A1 (en) Resource scheduling method, scheduling server, cloud computing system, and storage medium
US20140181831A1 (en) DEVICE AND METHOD FOR OPTIMIZATION OF DATA PROCESSING IN A MapReduce FRAMEWORK
CN110196761B (zh) 延迟任务处理方法及装置
CN110247984B (zh) 业务处理方法、装置及存储介质
CN110795503A (zh) 分布式存储系统的多集群数据同步方法及相关装置
US9256506B1 (en) System and method for performing operations on target servers
EP3678030B1 (en) Distributed system for executing machine learning, and method therefor
US9104488B2 (en) Support server for redirecting task results to a wake-up server
KR20090080753A (ko) 다중 프로세서 시스템에서 작업을 이동시키는 방법 및 장치
US20170220385A1 (en) Cross-platform workload processing
CN106294496B (zh) 一种基于hadoop集群的数据迁移方法和工具
EP2833602B1 (en) Shared data de-publication method and system
CN105335512A (zh) 数据查询方法及装置
CN110673959A (zh) 用于处理任务的系统、方法和装置
CN105373563B (zh) 数据库切换方法及装置
CN111245909B (zh) 分布式动态调度方法、装置、电子设备及存储介质
CN106933654B (zh) 一种基于缓存的虚拟机启动方法
CN111435315A (zh) 分配资源的方法、装置、设备和计算机可读介质
CN111444148B (zh) 基于MapReduce的数据传输方法和装置
CN111597035B (zh) 基于多线程的仿真引擎时间推进方法及系统
US20220229689A1 (en) Virtualization platform control device, virtualization platform control method, and virtualization platform control program
CN110018782B (zh) 一种数据读/写方法及相关装置
US9626226B2 (en) Cross-platform workload processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant