CN111813513A - 基于分布式的实时任务调度方法、装置、设备及介质 - Google Patents

基于分布式的实时任务调度方法、装置、设备及介质 Download PDF

Info

Publication number
CN111813513A
CN111813513A CN202010591710.1A CN202010591710A CN111813513A CN 111813513 A CN111813513 A CN 111813513A CN 202010591710 A CN202010591710 A CN 202010591710A CN 111813513 A CN111813513 A CN 111813513A
Authority
CN
China
Prior art keywords
task
node
basic
time
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010591710.1A
Other languages
English (en)
Other versions
CN111813513B (zh
Inventor
邹芳
李彦良
黄鹏
赵永超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Life Insurance Company of China Ltd
Original Assignee
Ping An Life Insurance Company of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Life Insurance Company of China Ltd filed Critical Ping An Life Insurance Company of China Ltd
Priority to CN202010591710.1A priority Critical patent/CN111813513B/zh
Publication of CN111813513A publication Critical patent/CN111813513A/zh
Application granted granted Critical
Publication of CN111813513B publication Critical patent/CN111813513B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明公开了一种基于分布式的实时任务调度方法、装置、设备及存储介质，所述方法包括：通过Master节点接收每个待分配任务，得到任务队列，将任务队列分配到Redis节点中，通过Redis节点缓存任务队列，并将任务队列中的待分配任务，按照预设的方式，提交到主负载计算中心，通过主负载计算中心接收Redis节点提交的任务，作为基础任务，从工作集群统计中心，获取集群中每个节点服务器的的状态信息，作为当前状态，根据基础任务和当前状态，进行任务调度，得到目标任务，根据每个节点服务器的当前状态，将目标任务动态分配到每个节点服务器，本发明还涉及区块链技术，所述基础任务、当前状态和目标任务可存储于区块链节点中。本发明提高了任务调度效率。

Description

基于分布式的实时任务调度方法、装置、设备及介质
技术领域
本发明涉及数据处理领域，尤其涉及一种基于分布式的实时任务调度方法、装置、设备及介质。
背景技术
任务调度(Task scheduling)是指在任务较多时，对任务的执行顺序进行调整，随着信息技术的日益发展，任务调度系统应用越来越广泛，在外卖软件、打车软件、地图软件等涉及到如何分派任务的项目中十分常见。
在实现本申请的过程中，发明人意识到现有的任务调度系统至少存在如下问题：当前很多任务调度系统考虑的是如何进行调度算法本身的优化，而没有考虑到计算任务如何调度这个过程的优化。很多调度系统都是基于单机甚至单CPU的计算，对于需要进行大规模任务调度的系统来说，算力已经捉襟见肘，不足以支撑任务并发量较大的情况下的任务分配计算。如果是基于多维度的复杂考量下的任务调度，计算量会更大；并且，假设任务调度系统同时对实时性有较高要求，当前的这种方式很慢满足这种需求，因而，寻求一种在任务数据较多时，进行高效的实时任务调度方法，成为一个亟待解决的难题。
发明内容
本发明实施例提供一种基于分布式的实时任务调度方法、装置、计算机设备和存储介质，以提高实时任务调度的效率。
为了解决上述技术问题，本申请实施例提供一种基于分布式的实时任务调度方法，包括：
通过所述Master节点接收每个待分配任务，得到任务队列；
将所述任务队列分配到所述Redis节点中，通过所述Redis节点缓存所述任务队列，并将所述任务队列中的待分配任务，按照预设的方式，提交到所述主负载计算中心；
通过所述主负载计算中心接收Redis节点提交的任务，作为基础任务，并从所述工作集群统计中心，获取集群中每个节点服务器的的状态信息，作为当前状态；
根据所述基础任务和所述当前状态，进行任务调度，得到目标任务；
根据每个节点服务器的当前状态，将目标任务动态分配到每个节点服务器。
可选地，所述Master节点采用主备模式，在所述通过所述Master节点接收每个待分配任务，得到任务队列之前，所述基于分布式的实时任务调度方法还包括：
定时采用死连接检测机制实时对所述Master节点的主节点进行心跳监控；
若监测到所述Master节点的主节点心跳异常，则通过优先级竞选的方式，从所述Master节点的备用节点中，选举出目标节点；
采用死连接检测机制进行主备切换处理，将所述目标节点作为处理后的主节点。
可选地，采用令牌桶的形式对Master节点的接口进行限流；
所述将任务队列分配到Redis节点中包括：
获取所述任务队列中，所述待分配任务的数据包所需的令牌数据量A，其中，A为正整数；
获取补充令牌的时间点和当前时间点，并计算所述当前时间点与所述补充令牌的时间点之间的时间间隔Δt；
将所述时间间隔与预设间隔阈值T进行比较，得到比较结果；
按照所述比较结果对应的预设填充方式，计算可补充令牌数量M；
若M<A，则计算A与M的差值N，并从所述任务队列中选取N个待分配任务作为待处理任务，将所述待处理任务分配到Redis节点中。
可选地，所述按照所述比较结果对应的预设填充方式，计算可补充令牌数量M包括：
若比较结果为Δt≥T，则获取当前令牌数量E与预设的令牌上限F，按公式M＝F-E计算所述可补充令牌数量M；
若比较结果为Δt＜T，则按照如下公式计算所述可补充令牌数量M：
Figure BDA0002555812640000031
可选地，所述根据所述基础任务和所述当前状态，进行任务调度，得到目标任务包括：
根据每个所述基础任务的任务类型，确定所述基础任务的衰减系数；
基于预设计算方式和所述衰减系数，确定每个基础任务的执行收益率；
根据所述执行收益率和所述当前状态，确定分配执行的任务，作为所述目标任务。
可选地，所述基于预设计算方式和所述衰减系数，确定每个基础任务的执行收益率包括：
获取所述基础任务的数据记录的条数，并对每条所述数据记录进行顺序编号；
针对每条所述数据记录，使用该数据记录的编号对所述分片数目N进行取模运算，得到该数据记录的编号模；
将编号模相同的数据记录分入同一个分片集合中，并将每个所述分片集合中的数据记录作为一个基础分片数据，得到N个所述基础分片数据；
按照预设的负载均衡分配方式，从计算单元集合中选取目标计算单元，并将所述基础分片数据分配给所述目标计算单元；
通过所述目标计算单元，对基础分片数据中的基础任务进行执行收益率的计算，得到每个基础任务的执行收益率。
可选地，在所述根据所述基础任务和所述当前状态，进行任务调度，得到目标任务之后，所述基于分布式的实时任务调度方法还包括：将所述基础任务、所述当前状态和所述目标任务存储于区块链中。
为了解决上述技术问题，本申请实施例还提供一种基于分布式的实时任务调度装置，包括：
任务接收模块，用于通过所述Master节点接收每个待分配任务，得到任务队列；
任务缓存模块，用于将所述任务队列分配到所述Redis节点中，通过所述Redis节点缓存所述任务队列，并将所述任务队列中的待分配任务，按照预设的方式，提交到所述主负载计算中心；
状态获取模块，用于通过所述主负载计算中心接收Redis节点提交的任务，作为基础任务，并从所述工作集群统计中心，获取集群中每个节点服务器的的状态信息，作为当前状态；
目标任务确定模块，用于根据所述基础任务和所述当前状态，进行任务调度，得到目标任务；
任务分配模块，用于根据每个节点服务器的当前状态，将目标任务动态分配到每个节点服务器。
可选地，所述Master节点采用主备模式，，所述基于分布式的实时任务调度装置还包括：
监控模块，用于定时采用死连接检测机制实时对所述Master节点的主节点进行心跳监控；
选举模块，用于若监测到所述Master节点的主节点心跳异常，则通过优先级竞选的方式，从所述Master节点的备用节点中，选举出目标节点；
切换模块，用于采用死连接检测机制进行主备切换处理，将所述目标节点作为处理后的主节点。
可选地，任务缓存模块包括：
令牌数量获取单元，用于获取所述任务队列中，所述待分配任务的数据包所需的令牌数据量A，其中，A为正整数；
时间差计算单元，用于获取补充令牌的时间点和当前时间点，并计算所述当前时间点与所述补充令牌的时间点之间的时间间隔Δt；
时间比较单元，用于将所述时间间隔与预设间隔阈值T进行比较，得到比较结果；
第一计算单元，用于按照所述比较结果对应的预设填充方式，计算可补充令牌数量M；
任务缓存单元，用于若M<A，则计算A与M的差值N，并从所述任务队列中选取N个待分配任务作为待处理任务，将所述待处理任务分配到Redis节点中。
可选地，所述第一计算单元包括：
第一补充子单元，用于若比较结果为Δt≥T，则获取当前令牌数量E与预设的令牌上限F，按公式M＝F-E计算所述可补充令牌数量M；
第二补充子单元，用于若比较结果为Δt＜T，则按照如下公式计算所述可补充令牌数量M：
Figure BDA0002555812640000061
可选地，目标任务确定模块包括：
衰减系数确定单元，用于根据每个所述基础任务的任务类型，确定所述基础任务的衰减系数；
执行收益率获取单元，用于基于预设计算方式和所述衰减系数，确定每个基础任务的执行收益率；
目标任务生成单元，用于根据所述执行收益率和所述当前状态，确定分配执行的任务，作为所述目标任务。
可选地，执行收益率获取单元包括：
任务编号子单元，用于获取所述基础任务的数据记录的条数，并对每条所述数据记录进行顺序编号；
取模子单元，用于针对每条所述数据记录，使用该数据记录的编号对所述分片数目N进行取模运算，得到该数据记录的编号模；
分片子单元，用于将编号模相同的数据记录分入同一个分片集合中，并将每个所述分片集合中的数据记录作为一个基础分片数据，得到N个所述基础分片数据；
负载均衡子单元，用于按照预设的负载均衡分配方式，从计算单元集合中选取目标计算单元，并将所述基础分片数据分配给所述目标计算单元；
收益计算子单元，用于通过所述目标计算单元，对基础分片数据中的基础任务进行执行收益率的计算，得到每个基础任务的执行收益率。
可选地所述基于分布式的实时任务调度装置还包括：
存储模块，用于将所述基础任务、所述当前状态和所述目标任务存储于区块链中。
为了解决上述技术问题，本申请实施例还提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于分布式的实时任务调度方法的步骤。
为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于分布式的实时任务调度方法的步骤。
本发明实施例提供的基于分布式的实时任务调度方法、装置、计算机设备及存储介质，通过Master节点接收每个待分配任务，得到任务队列，将任务队列分配到Redis节点中，通过Redis节点缓存任务队列，并将任务队列中的待分配任务，按照预设的方式，提交到主负载计算中心，通过主负载计算中心接收Redis节点提交的任务，作为基础任务，在待分配任务数量量较大时，确保集群高可用，有利于提高任务分配效率，同时，从工作集群统计中心，获取集群中每个节点服务器的的状态信息，作为当前状态，根据基础任务和当前状态，进行任务调度，得到目标任务，根据每个节点服务器的当前状态，将目标任务动态分配到每个节点服务器，实现根据节点服务器的实时状态进行动态任务分配，提高任务分配效率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请可以应用于其中的示例性系统架构图；
图2是本申请的基于分布式的实时任务调度方法的一个实施例的流程图；
图3是根据本申请的基于分布式的实时任务调度装置的一个实施例的结构示意图；
图4是根据本申请的计算机设备的一个实施例的结构示意图。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture E界面显示perts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving PictureE界面显示perts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。
需要说明的是，本申请实施例所提供的基于分布式的实时任务调度方法由服务器执行，相应地，基于分布式的实时任务调度装置设置于服务器中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器，本申请实施例中的终端设备101、102、103具体可以对应的是实际生产中的应用系统。
请参阅图2，图2示出本发明实施例提供的一种基于分布式的实时任务调度方法，以该方法应用在图1中的服务端为例进行说明，详述如下：
S201：通过Master节点接收每个待分配任务，得到任务队列。
具体地，管理端通过集群通信的方式，向Master节点发送待分配任务，Master节点接收每个待分配任务，得到任务队列。
在本实施例中，Master节点采用主备模式，其中主备模式包括一对一(一主一备)和一对多(一主多备)，根据实际需要，可选取合适的主备模型，例如，在对容灾要求级别不高时，采用一对一的主备模型即可，在需要提供较高级别的容灾时，采用一对多的模式，其中，容灾(Disaster Tolerance)是指在服务端发生恶意或意外灾难发生时，在保证生产系统的数据尽量少丢失的情况下，保持生存系统的业务不间断地运行。
需要说明的是，本实施例中Master节点为基于Spark集群模式，可高效快速实现分布式任务接收。
S202：将任务队列分配到Redis节点中，通过Redis节点缓存任务队列，并将任务队列中的待分配任务，按照预设的方式，提交到主负载计算中心。
具体地，Master节点将任务队列中的待分配任务分配到Redis节点中，Redis节点根据需要对待分配任务进行缓存，并按照预设的方式，分批次提交到主负载计算中心。
其中，Redis(Remote Dictionary Server)，即远程字典服务，是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。Redis支持主从同步。数据可以从主服务器向任意数量的从服务器上同步，从服务器可以是关联其他从服务器的主服务器。这使得Redis可执行单层树复制。存盘可以有意无意的对数据进行写操作。由于完全实现了发布/订阅机制，使得从数据库在任何地方同步树时，可订阅一个频道并接收主服务器完整的消息发布记录。同步对读取操作的可扩展性和数据冗余很有帮助。
考虑到在任务数据流量较大时，可能会对被负载计算中心造成过大压力，作为一种优选方式，本实施例在Master节点的接口控制实现限流，具体可采用令牌桶的形式，或者用拦截器的方式。
具体地，令牌桶算法(Token Bucket)和Leaky Bucket效果一样但方向相反的算法，更加容易理解。随着时间流逝，桶会按恒定1/QPS时间间隔(如果QPS＝100，则间隔是10ms)往桶里加入Token(想象和漏洞漏水相反，有个水龙头在不断的加水)，如果桶已经满了就不再加了。新请求来临时，会各自拿走一个Token，如果没有Token可拿了就阻塞或者拒绝服务。
令牌桶的另外一个好处是可以方便的改变速度。一旦需要提高速率，则按需提高放入桶中的令牌的速率。一般会定时(比如100毫秒)往桶中增加一定数量的令牌，有些变种算法则实时的计算应该增加的令牌的数量。
其中，预设的方式，可以根据实际需要设置对应的负载方式或者数据传输方式。
S203：通过主负载计算中心接收Redis节点提交的任务，作为基础任务，并从工作集群统计中心，获取集群中每个节点服务器的的状态信息，作为当前状态。
具体地，Redis节点对任务进行缓存后，将待分配任务发送至主负载计算中心，主负载计算中心接收待分配任务，并从工作集群统计中心获取每个节点服务器的状态信息。
其中，任务负载计算中心，用于根据各个计算节点的负载进行平衡的任务调度计算分配，细化到每个计算节点的CPU负载情况。同时考虑任务优先级的概念，对于优先级较高的任务优先分配调度计算节点，并且可以根据任务情况进行动态的优先级调整(比如某个任务很久没有得到调度，则逐渐提高这个任务的优先级，由此可防止饥饿现象的发生)，防止出现某些任务一直得不到调度计算的情况。
其中，状态信息包括但不限于：负载情况、节点服务器的工作状态、已分配任务等，每个节点服务器实时与工作集群统计中心交互，工作集群统计中心交互收集这些信息，并在主负载计算中心需要时，供负载计算节点参考。
S204：根据基础任务和当前状态，进行任务调度，得到目标任务。
具体地，不同基础任务，其耗费资源、开始时间和等待时间不尽相同，系统往往会根据基础任务不同的考量维度来确定衡量指标，进行任务调度。例如，对于有截止时间的系统，可能衡量任务延迟率(可进一步细分为延迟时间率和延迟任务率)；对于截止时间严格要求的系统，可以衡量丢弃任务率；对于调度任务资源方面的维度，可以衡量资源负载情况、峰值所需资源数；对于整体任务执行情况，可以衡量最优跨度(从第一个任务开始执行到最后一个任务执行结束所需时间)。不同的考量指标之间可能存在相互关系，有些可能是正相关的，比如资源负载情况和峰值所需资源数；有些可能是负相关的，比如峰值所需资源数和任务丢弃率，峰值所需资源数和任务迟率。
需要说明的是，在根据基础任务确定任务优先级后，根据每个节点服务器的当前状态来进行任务调度，得到当前需要进行调度的目标任务。具体实现过程可参考后续实施例的描述，为避免重复，此处不再赘述。
S205：根据每个节点服务器的当前状态，将目标任务动态分配到每个节点服务器。
具体地，在获取到目标任务后，根据集群中每个节点服务器的当前状态，通过负载均衡的方式，将每个目标任务分配到最适合的节点服务器。
需要强调的是，为进一步保证基础任务、当前状态和目标任务不被非法篡改和可朔源核查，上述基础任务、当前状态和目标任务还可以存储于一区块链的节点中。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
在本实施例中，通过Master节点接收每个待分配任务，得到任务队列，将任务队列分配到Redis节点中，通过Redis节点缓存任务队列，并将任务队列中的待分配任务，按照预设的方式，提交到主负载计算中心，通过主负载计算中心接收Redis节点提交的任务，作为基础任务，在待分配任务数量量较大时，确保集群高可用，有利于提高任务分配效率，同时，从工作集群统计中心，获取集群中每个节点服务器的的状态信息，作为当前状态，根据基础任务和当前状态，进行任务调度，得到目标任务，根据每个节点服务器的当前状态，将目标任务动态分配到每个节点服务器，实现根据节点服务器的实时状态进行动态任务分配，提高任务分配效率。
在本实施例的一些可选的实现方式中，Master节点采用主备模式，在通过Master节点接收每个待分配任务，得到任务队列之前，基于分布式的实时任务调度方法还包括：
定时采用死连接检测机制实时对Master节点的主节点进行心跳监控；
若监测到Master节点的主节点心跳异常，则通过优先级竞选的方式，从Master节点的备用节点中，选举出目标节点；
采用死连接检测机制进行主备切换处理，将目标节点作为处理后的主节点。
具体地，具体地，在主备系统上会安装相应的死连接检测工具，备节点会不断监听主节点的心跳，如果发现断连，一段时间后将自动升为主节点。这里可能会发生主节点正常，而备节点与主节点之间的通讯发生问题，导致“脑裂”的问题，即备节点升为主节点，则两个节点同时都是主节点。为了避免这个问题，可以引入一个仲裁节点，当备节点发现主节点心跳丢失后，再连接仲裁节点，如果仲裁节点也发现主节点断连，再升为主节点。
其中，死连接检测机制是在TCP中一个可以检测死连接的机制，在节点(主机)出现故障时，实现备用节点(ip地址)的切换，优选地，本实施例中采用的死连接检测机制为KeepAlive机制。
进一步地，在主节点发生异常时，备用节点采用优先级竞选来实现主节点选举。
其中，优先级可根据实际需求进行预先设置，也可以根据当前资源利用情况和节点的硬件配置进行动态调节，此处不做具体限定。
在本实施例中，通过死连接检测机制实现主备模式的切换，有利于提高Master节点稳健性和高可用。
在本实施例的一些可选的实现方式中，步骤S202中，，采用令牌桶的形式对Master节点的接口进行限流，将任务队列分配到Redis节点中包括：
获取任务队列中，待分配任务的数据包所需的令牌数据量A，其中，A为正整数；
获取补充令牌的时间点和当前时间点，并计算当前时间点与补充令牌的时间点之间的时间间隔Δt；
将时间间隔与预设间隔阈值T进行比较，得到比较结果；
按照比较结果对应的预设填充方式，计算可补充令牌数量M；
若M<A，则计算A与M的差值N，并从任务队列中选取N个待分配任务作为待处理任务，将待处理任务分配到Redis节点中。
具体地，在将待处理任务分配到Redis节点中之前，为避免访问请求过多导致Redis节点的接口出现故障，需要进行限流，即进行访问请求数量控制。
其中，节点服务器的限流方式包括但不限于：计数算法、漏桶算法和令牌桶算法等。令牌桶算法是网络流量整形(Traffic Shaping)和速率限制(Rate Limiting)中最常使用的一种算法。
优选地，本实施例采用令牌桶算法的改进算法。
其中，令牌桶算法用来控制执行访问请求的数量，其原理为：每个访问请求消耗固定的令牌数量，令牌桶的容量，即容纳令牌数量上限是固定的，令牌桶可自行以恒定的速率源源不断地产生令牌。如果令牌不被消耗，或者被消耗的速度小于产生的速度，令牌就会不断地增多，直到把桶填满。后面再产生的令牌就会从桶中溢出。最后桶中可以保存的令牌数量永远不会超过令牌桶的容量。
进一步地，由于受到硬件配置、网络速度和技术瓶颈等的限制，其吞吐量具有上限，为保证节点服务器接口的正常使用，需要对接口的每秒查询率(Query Per Second，QPS)进行限定，需要获取当前时间点与补充令牌的时间点之间的时间间隔。
其中，每秒查询率是指节点服务器在规定时间内所处理的访问请求数量。
其中，补充令牌的时间点为上一次补充令牌所对应的时间点。
例如，在一具体实施方式中，当前时间点为17:03:21，补充令牌的时间点为17:02:14，则对应的时间间隔为67秒。
其中，预设间隔阈值是预先设置的时间间隔的值，具体可以是按照固定的填充速率填满整个令牌桶所需要的时间，该填充速率具体可以根据节点服务器接口的每秒查询率和节点服务器的吞吐量设置，可以理解的，不同的节点服务器对应的填充速率可能不同。例如，预设间隔阈值可以设置为6秒，也可以根据实际情况进行设置，此处不作具体限制。
比较结果为时间间隔Δt与预设间隔阈值T之间的大小结果，具体可以是时间间隔Δt大于或等于预设间隔阈值T，也可以是时间间隔Δt小于预设间隔阈值T。
需要说明的是，根据不同的比较结果，可以设置不同的填充方式，填充方式的不同对节点服务器接口的使用效率有会影响，具体填充方式可以根据实际情形设置，此处不做具体限制。
例如，在一具体实施方式中，在比较结果为时间间隔Δt大于或等于预设间隔阈值T时，采用第一预设填充方式，将令牌桶填满，在比较结果为时间间隔Δt小于预设间隔阈值T时，计算时间间隔Δt与每秒查询率的乘积，将该乘积作为可补充令牌数量M。
值得说明的是，本实施例中采用令牌桶算法的改进算法，将当前时间点与补充令牌的时间点的时间间隔，与预设间隔阈值进行比较，得出比较结果，进而根据该比较结果确定填充的数量，使得资源被充分利用的同时，也避免了超出Redis节点处理能力的访问请求导致节点服务器瘫痪的问题，保证了节点高可用的特性。
在本实施例中，采用改进后的令牌桶算法对节点的接口流量进行控制，确保Redis节点的高可用，提高了接口的使用效率。
在本实施例的一些可选的实现方式中，按照比较结果对应的预设填充方式，计算可补充令牌数量M包括：
若比较结果为Δt≥T，则获取当前令牌数量E与预设的令牌上限F，按公式M＝F-E计算所述可补充令牌数量M；
若比较结果为Δt＜T，则按照如下公式计算所述可补充令牌数量M：
Figure BDA0002555812640000171
具体地，节点按照固定的速率对令牌桶中的令牌进行填充，在当前时间点与补充令牌的时间点之间的时间间隔Δt大于或等于预设间隔阈值T时，节点有充足的填充时间来填满令牌桶，此时，可补充令牌数量M即为令牌桶令牌上限F与当前令牌数量E的差值。
其中，当前令牌数量是指填充之前令牌桶内剩余的令牌数量，预设的令牌上限即令牌桶的容量。
例如，在一具体实施方式中，预设间隔阈值为10秒，预设的令牌上限为150个，在某次接收到待分配任务之后，需要对令牌桶的令牌进行补充，计算出当前时间与补充令牌的时间点的时间间隔为13秒，令牌桶内当前令牌数量为120个，容易理解地，由于两次补充令牌的时间间隔大于预设间隔阈值，因此，此次令牌补充会将令牌桶填满，此时可补充令牌数量为30个。
进一步地，在当前时间点与补充令牌的时间点之间的时间间隔小于预设间隔阈值时，无法确定是否会将令牌桶填满，此时，计算该时间间隔Δt内，节点在固定的速率
Figure BDA0002555812640000181
时最多能够补充的令牌数量
Figure BDA0002555812640000182
并计算此时令牌桶最多可以补充的令牌数量F-E，若
Figure BDA0002555812640000183
小于F-E，则可补充数量为
Figure BDA0002555812640000184
若
Figure BDA0002555812640000185
大于或等于F-E，则最多只能将令牌桶填满，即可补充数量为F-E。
值得说明的是，在时间间隔小于预设间隔阈值时，通过计算最多能够补充的令牌数量和最多可以补充的令牌数量，并将这两者进行比较，取其中值较小的一个作为可补充令牌数量，既充分利用了节点的处理能力，又避免过多的非预期请求造成的异常。
在本实施例中，对得到的两种不同的比较结果，采用令牌桶的改进算法来进行限流，使得节点资源可以被充分利用，同时也避免短时高频的访问对节点服务器接口造成异常，有利于维持节点接口高可用的特征。
在本实施例的一些可选的实现方式中，步骤S204中，根据基础任务和当前状态，进行任务调度，得到目标任务包括：
根据每个基础任务的任务类型，确定基础任务的衰减系数；
基于预设计算方式和衰减系数，确定每个基础任务的执行收益率；
根据执行收益率和当前状态，确定分配执行的任务，作为目标任务。
具体地，在本实施例中，针对任务类型的不同，设置不同的衰减系数，并根据衰减系数和预设计算方式，计算每个基础任务的执行收益率，进而根据执行收益率和当前状态，确定分配执行的任务，作为目标任务。
在一具体实施方式中，根据三种不同的作业类型，可以划分的衰减系数取值为：
1)临界型作业：4≤uj≤6，这类作业对于截止时间有强制性要求，只要在截止时间前完成收益良好，一旦超过截止时间则迅速衰减。
2)敏感型作业：0.01≤uj≤1，这类作业对于完成时间较为敏感，会随着完成时间的不同对应的收益也不同。
3)不敏感型作业：uj＝0，这类作业对于截止时间要求比较宽松，收益值基本固定。
需要说明的是，对于不同类型的任务，就需要取不同的uj值，这是需要结合业务和模型仿真共同决定的数值。
进一步地，采用式(1)计算基础任务的执行收益。
Figure BDA0002555812640000191
式中，e为自然对数的底数，t为作业提交到最终完成时间的差值，dj为基础任务的目标完成时间(即最晚截止时间)，uj为衰减系数，用来控制作业收益值的衰减速度。
以上函数在衰减系数uj不同的情况下，会有不同的递减速度。
针对任务执行收益率采用式(2)进行优化，得到最终任务的执行收益率π：
Figure BDA0002555812640000192
其中，k为当前的任务，n为基础任务总数。
进一步地，根据执行收益率和当前状态，确定分配执行的任务，作为目标任务，具体可参考后续实施例的描述，为避免重复，此处不再赘述。
在本实施例中，针对同一维度的基础任务，通过计算任务收益率来动态确定任务优先级，再结合当前状态，确定当前进行分配执行的任务，作为目标任务，有利于提高任务调度的效率。
在本实施例的一些可选的实现方式中，基于预设计算方式和衰减系数，确定每个基础任务的执行收益率包括：
获取基础任务的数据记录的条数，并对每条数据记录进行顺序编号；
针对每条数据记录，使用该数据记录的编号对分片数目N进行取模运算，得到该数据记录的编号模；
将编号模相同的数据记录分入同一个分片集合中，并将每个分片集合中的数据记录作为一个基础分片数据，得到N个基础分片数据；
按照预设的负载均衡分配方式，从计算单元集合中选取目标计算单元，并将基础分片数据分配给目标计算单元；
通过目标计算单元，对基础分片数据中的基础任务进行执行收益率的计算，得到每个基础任务的执行收益率。
具体地，获取基础任务数据的数据记录的条数，在缓存记录中生成一个分片清单，将基础任务数据中的数据记录写入到分片清单中，并依次对每条数据记录进行编号，再通过取模运算，将编号模相同的数据记录分入同一个分片集合中，得到N个基础分片数据，并通过负载均衡的方式，分配到目标计算单元，通过目标计算单元进行计算，并将结果汇总。
值得说明的是，本实施例描述的取模过程，均在缓存中处理，最后得到的基础分片数据，最终也保存在分片清单中，这种处理方法能有效节省服务器的系统资源，节约分片的时间，提高了分片的效率。
其中，取模运算是一种数学运算，其基本形式为a％b，或a mod b，表示a除以b的余数。
例如，在一具体实施方式中，获取到的基础任务数据的数据记录的条数为50条，对每条数据记录进行编号，得到编号为1至编号为50的50个编号。分片数目为4，使用1至50分别对4进行取模运算，其中编号1、5、9、13、17、21、25、29、33、37、41、45和49对4取模得到的编号模为1，编号2、6、10、14、18、22、26、30、34、38、42、46和50对4取模得到的编号模为2，编号3、7、11、15、19、23、27、31、35、39、43和47对4取模得到的编号模为3，编号4、8、12、16、20、24、28、32、36、40、44和48对4取模得到的编号模为0。
需要说明的是，上述示例中，该50条数据记录按照编号模的特性，分成到4个基础分片数据中，且相邻的数据记录被分配到不同的分片数据中，后续将被分配到不同的计算单元中，使得后续在进行数据处理时，相邻编号的数据记录执行处理指令的时间点相差不会太大，即得到执行结果时间点相差不会太大，有利于提高执行结果汇总的效率。
在本实施例中，通过取模运算对任务数据进行分片，并将分片后的数据发送到计算单元中进行处理，有利于提高基础任务的执行收益率的计算效率。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
图3示出与上述实施例基于分布式的实时任务调度方法一一对应的基于分布式的实时任务调度装置的原理框图。如图3所示，该基于分布式的实时任务调度装置包括任务接收模块31、任务缓存模块32、状态获取模块33、目标任务确定模块34和任务分配模块35。各功能模块详细说明如下：
任务接收模块31，用于通过Master节点接收每个待分配任务，得到任务队列；
任务缓存模块32，用于将任务队列分配到Redis节点中，通过Redis节点缓存任务队列，并将任务队列中的待分配任务，按照预设的方式，提交到主负载计算中心；
状态获取模块33，用于通过主负载计算中心接收Redis节点提交的任务，作为基础任务，并从工作集群统计中心，获取集群中每个节点服务器的的状态信息，作为当前状态；
目标任务确定模块34，用于根据基础任务和当前状态，进行任务调度，得到目标任务；
任务分配模块35，用于根据每个节点服务器的当前状态，将目标任务动态分配到每个节点服务器。
可选地，Master节点采用主备模式，基于分布式的实时任务调度装置还包括：
监控模块，用于定时采用死连接检测机制实时对Master节点的主节点进行心跳监控；
选举模块，用于若监测到Master节点的主节点心跳异常，则通过优先级竞选的方式，从Master节点的备用节点中，选举出目标节点；
切换模块，用于采用死连接检测机制进行主备切换处理，将目标节点作为处理后的主节点。
可选地，任务缓存模块32包括：
令牌数量获取单元，用于获取所述任务队列中，所述待分配任务的数据包所需的令牌数据量A，其中，A为正整数；
时间差计算单元，用于获取补充令牌的时间点和当前时间点，并计算所述当前时间点与所述补充令牌的时间点之间的时间间隔Δt；
时间比较单元，用于将所述时间间隔与预设间隔阈值T进行比较，得到比较结果；
第一计算单元，用于按照所述比较结果对应的预设填充方式，计算可补充令牌数量M；
任务缓存单元，用于若M<A，则计算A与M的差值N，并从所述任务队列中选取N个待分配任务作为待处理任务，将所述待处理任务分配到Redis节点中。
可选地，所述第一计算单元包括：
第一补充子单元，用于若比较结果为Δt≥T，则获取当前令牌数量E与预设的令牌上限F，按公式M＝F-E计算所述可补充令牌数量M；
第二补充子单元，用于若比较结果为Δt＜T，则按照如下公式计算所述可补充令牌数量M：
Figure BDA0002555812640000231
可选地，目标任务确定模块34包括：
衰减系数确定单元，用于根据每个基础任务的任务类型，确定基础任务的衰减系数；
执行收益率获取单元，用于基于预设计算方式和衰减系数，确定每个基础任务的执行收益率；
目标任务生成单元，用于根据执行收益率和当前状态，确定分配执行的任务，作为目标任务。
可选地，执行收益率获取单元包括：
任务编号子单元，用于获取基础任务的数据记录的条数，并对每条数据记录进行顺序编号；
取模子单元，用于针对每条数据记录，使用该数据记录的编号对分片数目N进行取模运算，得到该数据记录的编号模；
分片子单元，用于将编号模相同的数据记录分入同一个分片集合中，并将每个分片集合中的数据记录作为一个基础分片数据，得到N个基础分片数据；
负载均衡子单元，用于按照预设的负载均衡分配方式，从计算单元集合中选取目标计算单元，并将基础分片数据分配给目标计算单元；
收益计算子单元，用于通过目标计算单元，对基础分片数据中的基础任务进行执行收益率的计算，得到每个基础任务的执行收益率。
可选地基于分布式的实时任务调度装置还包括：
存储模块，用于将基础任务、当前状态和目标任务存储于区块链中。
关于基于分布式的实时任务调度装置的具体限定可以参见上文中对于基于分布式的实时任务调度方法的限定，在此不再赘述。上述基于分布式的实时任务调度装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图4，图4为本实施例计算机设备基本结构框图。
所述计算机设备4包括通过系统总线相互通信连接存储器41、处理器42、网络接口43。需要指出的是，图中仅示出了具有组件连接存储器41、处理器42、网络接口43的计算机设备4，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器41至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或D界面显示存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器41可以是所述计算机设备4的内部存储单元，例如该计算机设备4的硬盘或内存。在另一些实施例中，所述存储器41也可以是所述计算机设备4的外部存储设备，例如该计算机设备4上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，所述存储器41还可以既包括所述计算机设备4的内部存储单元也包括其外部存储设备。本实施例中，所述存储器41通常用于存储安装于所述计算机设备4的操作系统和各类应用软件，例如电子文件的控制的程序代码等。此外，所述存储器41还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器42在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器42通常用于控制所述计算机设备4的总体操作。本实施例中，所述处理器42用于运行所述存储器41中存储的程序代码或者处理数据，例如运行电子文件的控制的程序代码。
所述网络接口43可包括无线网络接口或有线网络接口，该网络接口43通常用于在所述计算机设备4与其他电子设备之间建立通信连接。
本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有界面显示程序，所述界面显示程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的基于分布式的实时任务调度方法的步骤。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。

Claims (10)

1.一种基于分布式的实时任务调度方法，应用于集群服务器的任务调度，其特征在于，所述集群服务器包括Master节点、Redis节点、主负载计算中心、工作集群统计中心，所述基于分布式的实时任务调度方法包括：
通过所述Master节点接收每个待分配任务，得到任务队列；
将所述任务队列分配到所述Redis节点中，通过所述Redis节点缓存所述任务队列，并将所述任务队列中的待分配任务，按照预设的方式，提交到所述主负载计算中心；
通过所述主负载计算中心接收Redis节点提交的任务作为基础任务，并从所述工作集群统计中心，获取集群中每个节点服务器的的状态信息，作为当前状态；
根据所述基础任务和所述当前状态，进行任务调度，得到目标任务；
根据每个节点服务器的当前状态，将目标任务动态分配到每个节点服务器。
2.如权利要求1所述的基于分布式的实时任务调度方法，其特征在于，所述Master节点采用主备模式，在所述通过所述Master节点接收每个待分配任务，得到任务队列之前，所述基于分布式的实时任务调度方法还包括：
定时采用死连接检测机制实时对所述Master节点的主节点进行心跳监控；
若监测到所述Master节点的主节点心跳异常，则通过优先级竞选的方式，从所述Master节点的备用节点中，选举出目标节点；
采用死连接检测机制进行主备切换处理，将所述目标节点作为处理后的主节点。
3.如权利要求1所述的基于分布式的实时任务调度方法，其特征在于，采用令牌桶的形式对Master节点的接口进行限流；
所述将任务队列分配到Redis节点中包括：
获取所述任务队列中，所述待分配任务的数据包所需的令牌数据量A，其中，A为正整数；
获取补充令牌的时间点和当前时间点，并计算所述当前时间点与所述补充令牌的时间点之间的时间间隔Δt；
将所述时间间隔与预设间隔阈值T进行比较，得到比较结果；
按照所述比较结果对应的预设填充方式，计算可补充令牌数量M；
若M<A，则计算A与M的差值K，并从所述任务队列中选取K个待分配任务作为待处理任务，将所述待处理任务分配到Redis节点中。
4.如权利要求3所述的基于分布式的实时任务调度方法，其特征在于，所述按照所述比较结果对应的预设填充方式，计算可补充令牌数量M包括：
若比较结果为Δt≥T，则获取当前令牌数量E与预设的令牌上限F，按公式M＝F-E计算所述可补充令牌数量M；
若比较结果为Δt＜T，则按照如下公式计算所述可补充令牌数量M：
Figure FDA0002555812630000021
5.如权利要求1至4任一项所述的基于分布式的实时任务调度方法，其特征在于，所述根据所述基础任务和所述当前状态，进行任务调度，得到目标任务包括：
根据每个所述基础任务的任务类型，确定所述基础任务的衰减系数；
基于预设计算方式和所述衰减系数，确定每个基础任务的执行收益率；
根据所述执行收益率和所述当前状态，确定分配执行的任务，作为所述目标任务。
6.如权利要求5所述的基于分布式的实时任务调度方法，其特征在于，所述基于预设计算方式和所述衰减系数，确定每个基础任务的执行收益率包括：
获取所述基础任务的数据记录的条数，并对每条所述数据记录进行顺序编号；
针对每条所述数据记录，使用该数据记录的编号对所述分片数目N进行取模运算，得到该数据记录的编号模；
将编号模相同的数据记录分入同一个分片集合中，并将每个所述分片集合中的数据记录作为一个基础分片数据，得到N个所述基础分片数据；
按照预设的负载均衡分配方式，从计算单元集合中选取目标计算单元，并将所述基础分片数据分配给所述目标计算单元；
通过所述目标计算单元，对基础分片数据中的基础任务进行执行收益率的计算，得到每个基础任务的执行收益率。
7.如权利要求1所述的基于分布式的实时任务调度方法，其特征在于，在所述根据所述基础任务和所述当前状态，进行任务调度，得到目标任务之后，所述基于分布式的实时任务调度方法还包括：将所述基础任务、所述当前状态和所述目标任务存储于区块链中。
8.一种基于分布式的实时任务调度装置，应用于集群服务器的任务调度，其特征在于，所述基于分布式的实时任务调度装置包括：
任务接收模块，用于通过所述Master节点接收每个待分配任务，得到任务队列；
任务缓存模块，用于将所述任务队列分配到所述Redis节点中，通过所述Redis节点缓存所述任务队列，并将所述任务队列中的待分配任务，按照预设的方式，提交到所述主负载计算中心；
状态获取模块，用于通过所述主负载计算中心接收Redis节点提交的任务，作为基础任务，并从所述工作集群统计中心，获取集群中每个节点服务器的的状态信息，作为当前状态；
目标任务确定模块，用于根据所述基础任务和所述当前状态，进行任务调度，得到目标任务；
任务分配模块，用于根据每个节点服务器的当前状态，将目标任务动态分配到每个节点服务器。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的基于分布式的实时任务调度方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的基于分布式的实时任务调度方法。
CN202010591710.1A 2020-06-24 2020-06-24 基于分布式的实时任务调度方法、装置、设备及介质 Active CN111813513B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010591710.1A CN111813513B (zh) 2020-06-24 2020-06-24 基于分布式的实时任务调度方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010591710.1A CN111813513B (zh) 2020-06-24 2020-06-24 基于分布式的实时任务调度方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN111813513A true CN111813513A (zh) 2020-10-23
CN111813513B CN111813513B (zh) 2024-05-14

Family

ID=72855030

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010591710.1A Active CN111813513B (zh) 2020-06-24 2020-06-24 基于分布式的实时任务调度方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN111813513B (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112162865A (zh) * 2020-11-03 2021-01-01 中国工商银行股份有限公司 服务器的调度方法、装置和服务器
CN112417047A (zh) * 2020-11-23 2021-02-26 湖南智慧政务区块链科技有限公司 基于区块链的数据共享平台
CN112463390A (zh) * 2020-12-11 2021-03-09 厦门市美亚柏科信息股份有限公司 一种分布式任务调度方法、装置、终端设备及存储介质
CN112506955A (zh) * 2020-12-10 2021-03-16 星环信息科技(上海)股份有限公司 一种查询处理方法、计算机设备及存储介质
CN112596902A (zh) * 2020-12-25 2021-04-02 中科星通(廊坊)信息技术有限公司 基于cpu-gpu协同计算的任务调度方法及装置
CN112685157A (zh) * 2020-12-29 2021-04-20 平安普惠企业管理有限公司 任务处理方法、装置、计算机设备及存储介质
CN112765757A (zh) * 2021-01-21 2021-05-07 浙江运达风电股份有限公司 一种风电机组载荷计算工况设置和分布式计算方法
CN112925620A (zh) * 2021-02-24 2021-06-08 北京润尼尔网络科技有限公司 分布式的任务调度系统和方法
CN112965796A (zh) * 2021-03-01 2021-06-15 亿企赢网络科技有限公司 一种任务调度系统、方法和装置
CN113032131A (zh) * 2021-05-26 2021-06-25 天津中新智冠信息技术有限公司 基于Redis的分布式定时调度系统和方法
CN113238893A (zh) * 2021-05-11 2021-08-10 鸬鹚科技(深圳)有限公司 多数据中心的容灾系统、方法、计算机设备及介质
CN113282395A (zh) * 2021-06-09 2021-08-20 中国农业银行股份有限公司 基于Redis的作业请求调度方法、装置、设备及介质
CN113342502A (zh) * 2021-06-30 2021-09-03 招商局金融科技有限公司 数据湖的性能诊断方法、装置、计算机设备及存储介质
CN113485800A (zh) * 2021-06-23 2021-10-08 华泰证券股份有限公司 基于中心节点的自动派单方法、系统、设备及存储介质
CN113590708A (zh) * 2021-06-17 2021-11-02 北京房江湖科技有限公司 自适应延迟消费方法、程序产品及存储介质
CN113608869A (zh) * 2021-07-21 2021-11-05 中央广播电视总台 任务调度方法、装置、电子设备和计算机存储介质
CN113630451A (zh) * 2021-07-27 2021-11-09 山东浪潮科学研究院有限公司 一种基于区块链、spark的计算服务系统
CN113885794A (zh) * 2021-09-10 2022-01-04 鸬鹚科技(深圳)有限公司 基于多云存储的数据访问方法、装置、计算机设备及介质
CN113886089A (zh) * 2021-10-21 2022-01-04 上海勃池信息技术有限公司 一种任务处理方法、装置、系统、设备及介质
CN114741164A (zh) * 2022-01-19 2022-07-12 浙江大学 一种基于edf-vd的灵活混合临界调度方法
CN114760307A (zh) * 2022-03-31 2022-07-15 度小满科技(北京)有限公司 数据处理方法、装置、存储介质和处理器
CN114978871A (zh) * 2022-04-08 2022-08-30 北京航天飞行控制中心 业务系统的节点切换方法及节点切换装置、电子设备
CN115442432A (zh) * 2022-09-06 2022-12-06 上海浦东发展银行股份有限公司 一种控制方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180276031A1 (en) * 2015-09-15 2018-09-27 Alibaba Group Holding Limited Task allocation method and system
CN109144731A (zh) * 2018-08-31 2019-01-04 中国平安人寿保险股份有限公司 数据处理方法、装置、计算机设备及存储介质
CN109710407A (zh) * 2018-12-21 2019-05-03 浪潮电子信息产业股份有限公司 分布式系统实时任务调度方法、装置、设备及存储介质
CN110247954A (zh) * 2019-05-15 2019-09-17 南京苏宁软件技术有限公司 一种分布式任务的调度方法及系统
CN110445828A (zh) * 2019-06-14 2019-11-12 平安科技（深圳）有限公司 一种基于Redis的数据分布式处理方法及其相关设备
CN110764912A (zh) * 2019-10-25 2020-02-07 东北大学 一种自适应任务调度器及方法
CN111045810A (zh) * 2019-12-17 2020-04-21 浙江大华技术股份有限公司 一种任务调度处理方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180276031A1 (en) * 2015-09-15 2018-09-27 Alibaba Group Holding Limited Task allocation method and system
CN109144731A (zh) * 2018-08-31 2019-01-04 中国平安人寿保险股份有限公司 数据处理方法、装置、计算机设备及存储介质
CN109710407A (zh) * 2018-12-21 2019-05-03 浪潮电子信息产业股份有限公司 分布式系统实时任务调度方法、装置、设备及存储介质
CN110247954A (zh) * 2019-05-15 2019-09-17 南京苏宁软件技术有限公司 一种分布式任务的调度方法及系统
CN110445828A (zh) * 2019-06-14 2019-11-12 平安科技（深圳）有限公司 一种基于Redis的数据分布式处理方法及其相关设备
CN110764912A (zh) * 2019-10-25 2020-02-07 东北大学 一种自适应任务调度器及方法
CN111045810A (zh) * 2019-12-17 2020-04-21 浙江大华技术股份有限公司 一种任务调度处理方法及装置

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112162865A (zh) * 2020-11-03 2021-01-01 中国工商银行股份有限公司 服务器的调度方法、装置和服务器
CN112162865B (zh) * 2020-11-03 2023-09-01 中国工商银行股份有限公司 服务器的调度方法、装置和服务器
CN112417047A (zh) * 2020-11-23 2021-02-26 湖南智慧政务区块链科技有限公司 基于区块链的数据共享平台
CN112417047B (zh) * 2020-11-23 2023-08-08 湖南智慧政务区块链科技有限公司 基于区块链的数据共享平台
CN112506955A (zh) * 2020-12-10 2021-03-16 星环信息科技(上海)股份有限公司 一种查询处理方法、计算机设备及存储介质
CN112463390A (zh) * 2020-12-11 2021-03-09 厦门市美亚柏科信息股份有限公司 一种分布式任务调度方法、装置、终端设备及存储介质
CN112596902A (zh) * 2020-12-25 2021-04-02 中科星通(廊坊)信息技术有限公司 基于cpu-gpu协同计算的任务调度方法及装置
CN112685157A (zh) * 2020-12-29 2021-04-20 平安普惠企业管理有限公司 任务处理方法、装置、计算机设备及存储介质
CN112685157B (zh) * 2020-12-29 2024-04-02 武汉安辰鑫信息科技有限公司 任务处理方法、装置、计算机设备及存储介质
CN112765757A (zh) * 2021-01-21 2021-05-07 浙江运达风电股份有限公司 一种风电机组载荷计算工况设置和分布式计算方法
CN112925620A (zh) * 2021-02-24 2021-06-08 北京润尼尔网络科技有限公司 分布式的任务调度系统和方法
CN112965796A (zh) * 2021-03-01 2021-06-15 亿企赢网络科技有限公司 一种任务调度系统、方法和装置
CN112965796B (zh) * 2021-03-01 2024-04-09 亿企赢网络科技有限公司 一种任务调度系统、方法和装置
CN113238893A (zh) * 2021-05-11 2021-08-10 鸬鹚科技(深圳)有限公司 多数据中心的容灾系统、方法、计算机设备及介质
CN113032131A (zh) * 2021-05-26 2021-06-25 天津中新智冠信息技术有限公司 基于Redis的分布式定时调度系统和方法
CN113282395A (zh) * 2021-06-09 2021-08-20 中国农业银行股份有限公司 基于Redis的作业请求调度方法、装置、设备及介质
CN113282395B (zh) * 2021-06-09 2024-07-02 中国农业银行股份有限公司 基于Redis的作业请求调度方法、装置、设备及介质
CN113590708A (zh) * 2021-06-17 2021-11-02 北京房江湖科技有限公司 自适应延迟消费方法、程序产品及存储介质
CN113590708B (zh) * 2021-06-17 2024-02-20 贝壳找房(北京)科技有限公司 自适应延迟消费方法、程序产品及存储介质
CN113485800B (zh) * 2021-06-23 2024-01-23 华泰证券股份有限公司 基于中心节点的自动派单方法、系统、设备及存储介质
CN113485800A (zh) * 2021-06-23 2021-10-08 华泰证券股份有限公司 基于中心节点的自动派单方法、系统、设备及存储介质
CN113342502B (zh) * 2021-06-30 2023-01-20 招商局金融科技有限公司 数据湖的性能诊断方法、装置、计算机设备及存储介质
CN113342502A (zh) * 2021-06-30 2021-09-03 招商局金融科技有限公司 数据湖的性能诊断方法、装置、计算机设备及存储介质
CN113608869A (zh) * 2021-07-21 2021-11-05 中央广播电视总台 任务调度方法、装置、电子设备和计算机存储介质
CN113630451A (zh) * 2021-07-27 2021-11-09 山东浪潮科学研究院有限公司 一种基于区块链、spark的计算服务系统
CN113630451B (zh) * 2021-07-27 2023-05-16 山东浪潮科学研究院有限公司 一种基于区块链、spark的计算服务系统
CN113885794A (zh) * 2021-09-10 2022-01-04 鸬鹚科技(深圳)有限公司 基于多云存储的数据访问方法、装置、计算机设备及介质
CN113885794B (zh) * 2021-09-10 2024-01-26 鸬鹚科技(深圳)有限公司 基于多云存储的数据访问方法、装置、计算机设备及介质
CN113886089A (zh) * 2021-10-21 2022-01-04 上海勃池信息技术有限公司 一种任务处理方法、装置、系统、设备及介质
CN113886089B (zh) * 2021-10-21 2024-01-26 上海勃池信息技术有限公司 一种任务处理方法、装置、系统、设备及介质
CN114741164A (zh) * 2022-01-19 2022-07-12 浙江大学 一种基于edf-vd的灵活混合临界调度方法
CN114760307A (zh) * 2022-03-31 2022-07-15 度小满科技(北京)有限公司 数据处理方法、装置、存储介质和处理器
CN114978871B (zh) * 2022-04-08 2023-10-24 北京航天飞行控制中心 业务系统的节点切换方法及节点切换装置、电子设备
CN114978871A (zh) * 2022-04-08 2022-08-30 北京航天飞行控制中心 业务系统的节点切换方法及节点切换装置、电子设备
CN115442432A (zh) * 2022-09-06 2022-12-06 上海浦东发展银行股份有限公司 一种控制方法、装置、设备及存储介质
CN115442432B (zh) * 2022-09-06 2024-06-07 上海浦东发展银行股份有限公司 一种控制方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN111813513B (zh) 2024-05-14

Similar Documents

Publication Publication Date Title
CN111813513B (zh) 基于分布式的实时任务调度方法、装置、设备及介质
CN108848039B (zh) 服务器、消息分配的方法及存储介质
US10534542B2 (en) Dynamic core allocation for consistent performance in a non-preemptive scheduling environment
CN109218355B (zh) 负载均衡引擎，客户端，分布式计算系统以及负载均衡方法
CN108776934B (zh) 分布式数据计算方法、装置、计算机设备及可读存储介质
CN108462760B (zh) 电子装置、集群访问域名自动生成方法及存储介质
CN107729137B (zh) 服务器、区块链验签解密的方法及存储介质
US10394606B2 (en) Dynamic weight accumulation for fair allocation of resources in a scheduler hierarchy
CN111786895A (zh) 动态全局限流的方法和装置
CN109960575B (zh) 一种计算能力共享方法、系统及相关设备
US20170132040A1 (en) Methods to apply iops and mbps limits independently using cross charging and global cost synchronization
CN102473106A (zh) 虚拟环境中的资源分配
CN115277566B (zh) 数据访问的负载均衡方法、装置、计算机设备及介质
CN113342498A (zh) 并发请求处理方法、装置、服务器及存储介质
CN113285886B (zh) 一种带宽分配的方法、装置、电子设备及可读存储介质
CN112631800A (zh) 面向kafka的数据传输方法、系统、计算机设备及存储介质
CN111813573A (zh) 管理平台与机器人软件的通信方法及其相关设备
CN114675964A (zh) 基于联邦决策树模型训练的分布式调度方法、系统及介质
CN113918356B (zh) 基于cuda数据快速同步方法、装置、计算机设备及存储介质
CN116069493A (zh) 一种数据处理方法、装置、设备以及可读存储介质
CN112148467A (zh) 计算资源的动态分配
CN116842012A (zh) 一种Redis集群的分片存储方法、装置、设备及存储介质
CN112612583B (zh) 数据同步方法、装置、计算机设备和可读存储介质
CN113703945B (zh) 微服务集群的调度方法、装置、设备及存储介质
CN112685157B (zh) 任务处理方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant