CN112181662B - 任务调度方法、装置、电子设备及存储介质 - Google Patents

任务调度方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112181662B
CN112181662B CN202011092091.8A CN202011092091A CN112181662B CN 112181662 B CN112181662 B CN 112181662B CN 202011092091 A CN202011092091 A CN 202011092091A CN 112181662 B CN112181662 B CN 112181662B
Authority
CN
China
Prior art keywords
task
server
schedulable
scheduling
fragment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011092091.8A
Other languages
English (en)
Other versions
CN112181662A (zh
Inventor
刘根生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
OneConnect Financial Technology Co Ltd Shanghai
Original Assignee
OneConnect Financial Technology Co Ltd Shanghai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by OneConnect Financial Technology Co Ltd Shanghai filed Critical OneConnect Financial Technology Co Ltd Shanghai
Priority to CN202011092091.8A priority Critical patent/CN112181662B/zh
Publication of CN112181662A publication Critical patent/CN112181662A/zh
Priority to PCT/CN2021/123361 priority patent/WO2022078347A1/zh
Application granted granted Critical
Publication of CN112181662B publication Critical patent/CN112181662B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5017—Task decomposition
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)
  • Multi Processors (AREA)

Abstract

本发明涉及数据处理技术领域，提供一种任务调度方法、装置、电子设备及存储介质。方法包括：当接收到待处理任务时，获取并统计所有可调度服务器的任务并行度，获得任务总并行度；根据所述任务总并行度，对所述待处理任务进行分片处理，获得分片队列，其中，所述分片队列由多个数据量均匀的任务分片组成；根据每个所述可调度服务器的任务并行度，将所述分片队列中的任务分片调度至每个所述可调度服务器中；当检测到所有所述可调度服务器中存在发生异常的异常服务器时，根据所述分片队列，对所述异常服务器的任务分片进行任务转移。本发明能提高任务处理的效率。

Description

任务调度方法、装置、电子设备及存储介质
技术领域
本发明涉及数据处理技术领域，尤其涉及一种任务调度方法、装置、电子设备及存储介质。
背景技术
目前，在进行大量数据的处理过程中，为了提高效率，可以将一个任务拆分为多个任务分片，由多个服务器同时进行处理，但在实践中发现，不同服务器可能性能不一致，处理任务的效率不一致，且任务分片的划分也不均匀，存在一些服务器完成任务的时候，另外一些服务器还在处理任务，导致了部分资源的浪费，任务处理的效率不高。
因此，如何进行任务调度以提高任务处理的效率是一个需要解决的技术问题。
发明内容
鉴于以上内容，有必要提供一种任务调度方法，能够提高任务处理的效率。
本发明的第一方面提供一种任务调度方法，所述方法包括：
当接收到待处理任务时，获取并统计所有可调度服务器的任务并行度，获得任务总并行度；
根据所述任务总并行度，对所述待处理任务进行分片处理，获得分片队列，其中，所述分片队列由多个数据量均匀的任务分片组成；
根据每个所述可调度服务器的任务并行度，将所述分片队列中的任务分片调度至每个所述可调度服务器中；
当检测到所有所述可调度服务器中存在发生异常的异常服务器时，根据所述分片队列，对所述异常服务器的任务分片进行任务转移。
在一种可能的实现方式中，所述根据所述分片队列，进行任务转移包括：
获取所述分片队列的第一任务分片调度记录；
根据所述第一任务分片调度记录，确定调度至所述异常服务器的任务分片；
将所述异常服务器的任务分片添加至所述分片队列中，以重新对所述异常服务器的任务分片进行调度。
在一种可能的实现方式中，所述根据每个所述可调度服务器的任务并行度，将所述分片队列中的任务分片调度至每个所述可调度服务器中之后，所述任务调度方法还包括：
当检测到所有所述可调度服务器中存在已完成任务的目标服务器时，判断所述分片队列中是否存在剩余的任务分片；
若所述分片队列中存在剩余的任务分片，则根据所述目标服务器的任务并行度，从所述剩余的任务分片中确定待调度任务分片；
将所述待调度任务分片调度至所述目标服务器中。
在一种可能的实现方式中，所述根据每个所述可调度服务器的任务并行度，将所述分片队列中的任务分片调度至每个所述可调度服务器中包括：
针对每个所述可调度服务器，根据所述任务分片在所述分片队列的排列顺序，从所述任务分片中确定数量与所述可调度服务器的任务并行度一致的目标任务分片；
将所述目标任务分片调度至所述可调度服务器中。
在一种可能的实现方式中，所述根据所述任务总并行度，对所述待处理任务进行分片处理，获得分片队列包括：
对所述待处理任务进行划分，获得数量与所述任务总并行度一致的多个任务分片；
根据所述多个任务分片，生成所述分片队列。
在一种可能的实现方式中，所述根据每个所述可调度服务器的任务并行度，将所述分片队列中的任务分片调度至每个所述可调度服务器中之后，以及所述当检测到所有所述可调度服务器中存在发生异常的异常服务器时，根据所述分片队列，对所述异常服务器的任务分片进行任务转移之前，所述任务调度方法还包括：
获取所述分片队列的第二任务分片调度记录；
针对每个所述可调度服务器，判断所述第二任务分片调度记录中是否存在与所述可调度服务器对应的调度信息，其中，所述调度信息为调度至所述可调度服务器的任务分片信息；
若所述第二任务分片调度记录中不存在与所述可调度服务器对应的调度信息，将调度至所述可调度服务器中的任务分片信息写入所述第二任务分片调度记录中；或
若所述第二任务分片调度记录中存在与所述可调度服务器对应的调度信息，将所述调度信息替换为调度至所述可调度服务器中的任务分片信息。
在一种可能的实现方式中，所述当检测到所有所述可调度服务器中存在发生异常的异常服务器时，根据所述分片队列，对所述异常服务器的任务分片进行任务转移之后，所述任务调度方法还包括：
获取所述分片队列的第三任务分片调度记录；
从所述第三任务分片调度记录中删除所述异常服务器的调度信息。
本发明的第二方面提供一种任务调度装置，所述装置包括：
获取模块，用于当接收到待处理任务时，获取并统计所有可调度服务器的任务并行度，获得任务总并行度；
处理模块，用于根据所述任务总并行度，对所述待处理任务进行分片处理，获得分片队列，其中，所述分片队列由多个数据量均匀的任务分片组成；
调度模块，用于根据每个所述可调度服务器的任务并行度，将所述分片队列中的任务分片调度至每个所述可调度服务器中；
转移模块，用于当检测到所有所述可调度服务器中存在发生异常的异常服务器时，根据所述分片队列，对所述异常服务器的任务分片进行任务转移。
本发明的第三方面提供一种电子设备，所述电子设备包括处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序时实现所述的任务调度方法。
本发明的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述的任务调度方法。
由以上技术方案可知，本发明中，可以根据总任务并行度，将一个任务切割为多个数据量均匀的任务分片，每个可调度服务器处理的任务分片与自身的任务并行度一致，即每个可调度服务器可以同时完成各自得到的任务分片，使得不同服务器的资源可以得到充分利用，提高了任务处理的效率。同时，如果正在执行任务的服务器出现了异常，根据任务队列进行任务转移，即任意一台服务器在所述任务队列中通过注册任务获取分片数组再执行即可，确保任务的正常执行。
附图说明
图1是本发明公开的一种任务调度方法的较佳实施例的流程图。
图2是本发明公开的一种任务调度装置的较佳实施例的功能模块图。
图3是本发明实现任务调度方法的较佳实施例的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
本发明实施例的任务调度方法应用在电子设备中，也可以应用在电子设备和通过网络与所述电子设备进行连接的服务器所构成的硬件环境中，由服务器和电子设备共同执行。网络包括但不限于：广域网、城域网或局域网。
其中，服务器可以是指能对网络中其它设备(如电子设备)提供服务的计算机系统。如果一个个人电脑能够对外提供文件传输协议(File Transfer Protocol，简称FTP)服务，也可以叫服务器。从狭义范围上讲，服务器专指某些高性能计算机，能通过网络，对外提供服务，其相对于普通的个人电脑来说，稳定性、安全性、性能等方面都要求更高，因此在CPU、芯片组、内存、磁盘系统、网络等硬件和普通的个人电脑有所不同。
所述电子设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字处理器(DSP)、嵌入式设备等。所述电子设备还可包括网络设备和/或用户设备。其中，所述网络设备包括但不限于单个网络设备、多个网络设备组成的服务器组或基于云计算(Cloud Computing)的由大量主机或网络设备构成的云，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。所述用户设备包括但不限于任何一种可与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、个人数字助理PDA等。
请参见图1，图1是本发明公开的一种任务调度方法的较佳实施例的流程图。其中，根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。其中，所述任务调度方法的执行主体可以是电子设备。
S11、当接收到待处理任务时，获取并统计所有可调度服务器的任务并行度，获得任务总并行度。
其中，所述任务并行度是指可以同时处理的任务数量。
其中，所述任务总并行度可以是指所述所有可调度服务器的任务并行度的总和，即所述所有可调度服务器可以同时处理的任务的总数量。
其中，所述可调度服务器可以是指当前可以使用的服务器。
在该可选的实施方式中，可以通过预设的服务器(比如布置有任务调度中心系统的服务器)定时使用因特网包探索器(Packet Internet Groper，ping)获取所有在注册列表中的服务器的状态信息，如果可以正常接收到某个服务器的响应，则可以确定该服务器处于在线状态，是可以使用的可调度服务器；如果不能接收到某个服务器的响应，则可以确定该服务器处于下线状态，是不能使用的服务器。每个所述可调度服务器可以发送自身的任务并行度到所述预设的服务器中，所述预设的服务器可以对所有可调度服务器的任务并行度进行统计，获得所述任务总并行度。
其中，所述因特网包探索器是一种用于测试网络连接量的程序，可以通过一个服务命令Ping，向特定的目的主机发送请求报文，用于确定是否能与另一台主机成功交换数据包，判断另一条主机的运行是否正常、网络是否通畅等。
S12、根据所述任务总并行度，对所述待处理任务进行分片处理，获得分片队列，其中，所述分片队列由多个数据量均匀的任务分片组成。
本发明实施例中，可以对所述待处理任务进行分片处理，获得分片队列，比如所述待处理任务需要进行处理的数据有100万条，进行分片处理后，获得10个任务分片，每个任务分片有10万条数据，这些任务分片组成的分片队列可以表示为：[0,1,2,3,4,5,6,7,8,9]。
具体的，所述根据所述任务总并行度，对所述待处理任务进行分片处理，获得分片队列包括：
对所述待处理任务进行划分，获得数量与所述任务总并行度一致的多个任务分片；
根据所述多个任务分片，生成所述分片队列。
在该可选的实施方式中，可以根据所述任务总并行度对所述待处理任务进行分片处理，假设所述任务总并行度为M，则可以将所述待处理任务处理为M个任务分片，并生成所述分片队列[0,1,2,…,M-1]，每个任务分片的数据量均与其他任意一个任务分片的数据量一致。
S13、根据每个所述可调度服务器的任务并行度，将所述分片队列中的任务分片调度至每个所述可调度服务器中。
具体的，所述根据每个所述可调度服务器的任务并行度，将所述分片队列中的任务分片调度至每个所述可调度服务器中包括：
针对每个所述可调度服务器，根据所述任务分片在所述分片队列的排列顺序，从所述任务分片中确定数量与所述可调度服务器的任务并行度一致的目标任务分片；
将所述目标任务分片调度至所述可调度服务器中。
在该可选的实施方式中，针对每个所述可调度服务器，可以按照任务分片在分片队列中的排列顺序，依次从所述分片队列中获取数量与所述可调度服务器的任务并行度一致的目标任务分片，将所述目标任务分片调度至所述可调度服务器中，比如：假设所述可调度服务器的任务并行度为2，所述分片队列为[0,1,2,3,4]，按照从左到右的排序顺序，获取到的任务分片为“0”和“1”，即[0,1]，此时，所述分片队列变为[2,3,4]，假设下一个可调度服务器的任务并行度为1，则下一个可调度服务器获取到的任务分片为“2”，即[2]。
可选的，所述目标任务分片可以以数组的形式保存在与所述分片队列对应的任务分片调度记录中，比如“A：[0,1]”，可以用来表示服务器A最后获得的任务分片为“0”和“1”，若服务器A又被调度了任务分片“5”和“6”，则任务分片调度记录中的“A：[0,1]”会被“A：[5,6]”覆盖掉。
作为一种可选的实施方式，所述根据每个所述可调度服务器的任务并行度，将所述分片队列中的任务分片调度至每个所述可调度服务器中之后，以及所述当检测到所有所述可调度服务器中存在发生异常的异常服务器时，根据所述分片队列，对所述异常服务器的任务分片进行任务转移之前，所述方法还包括：
获取所述分片队列的第二任务分片调度记录；
针对每个所述可调度服务器，判断所述第二任务分片调度记录中是否存在与所述可调度服务器对应的调度信息，其中，所述调度信息为调度至所述可调度服务器的任务分片信息；
若所述第二任务分片调度记录中不存在与所述可调度服务器对应的调度信息，将调度至所述可调度服务器中的任务分片信息写入所述第二任务分片调度记录中；或
若所述第二任务分片调度记录中存在与所述可调度服务器对应的调度信息，将所述调度信息替换为调度至所述可调度服务器中的任务分片信息。
在该可选的实施方式中，可以将每个服务器最后获取的任务分片的信息进行记录，获得任务分片调度记录。当将任务分片调度至可调度服务器中时，需要对所述任务分片调度记录进行更新，所述任务分片调度记录中只保存可调度服务器最后一次获得的任务分片信息，信息量少，可以快速读取。本实施方式中，获取所述分片队列当前时刻的任务分片调度记录，即所述第二任务分片调度记录，针对每个所述可调度服务器，本实施方式要先判断所述第二任务分片调度记录中是否存在与所述可调度服务器对应的调度信息，如果所述第二任务分片调度记录中不存在与所述可调度服务器对应的调度信息，将调度至所述可调度服务器中的任务分片信息写入所述第二任务分片调度记录中；如果所述第二任务分片调度记录中存在与所述可调度服务器对应的调度信息，将所述调度信息替换为调度至所述可调度服务器中的任务分片信息。
S14、当检测到所有所述可调度服务器中存在发生异常的异常服务器时，根据所述分片队列，对所述异常服务器的任务分片进行任务转移。
本发明实施例中，可以对所有所述可调度服务器进行监控，当监控到存在发生异常的异常服务器时，能够及时根据所述分片队列，对所述异常服务器的任务分片进行任务转移，提高系统的稳定性。
具体的，所述根据所述分片队列，对所述异常服务器的任务分片进行任务转移包括：
获取所述分片队列的第一任务分片调度记录；
根据所述第一任务分片调度记录，确定调度至所述异常服务器的任务分片；
将所述异常服务器的任务分片添加至所述分片队列中，以重新对所述异常服务器的任务分片进行调度。
在该可选的实施方式中，当检测到所有所述可调度服务器中存在发生异常的异常服务器时，可以获取所述分片队列当前时刻的任务分片调度记录，即所述第一任务分片调度记录，从所述第一任务分片调度记录中获取所述异常服务器最后一次获得的任务分片的信息，以确定调度至所述异常服务器的任务分片，然后，将所述异常服务器最后一次获得的任务分片添加至所述分片队列中，比如所述异常服务器的任务分片为“3”和“4”，假设此时的分片队列为空，即分片队列的任务分片都已经被调度出去，将所述异常服务器的任务分片添加至所述分片队列中后，所述分片队列可以表示为[3,4]，这时，如果任务注册表中存在处于空闲状态的服务器，可以根据处于空闲状态的服务器的任务并行度，来将所述分片队列中的任务分片调度出去，比如，假设这个处于空闲状态的服务器的任务并行度为2，则可以将任务分片“3”和“4”都调度至这个处于空闲状态的服务器中。
作为一可选的实施方式，所述当检测到所有所述可调度服务器中存在发生异常的异常服务器时，根据所述分片队列，对所述异常服务器的任务分片进行任务转移之后，所述方法还包括：
获取所述分片队列的第三任务分片调度记录；
从所述第三任务分片调度记录中删除所述异常服务器的调度信息。
在该可选的实施方式中，在根据所述分片队列，进行任务转移之后，可以对所述分片队列当前时刻的任务分片调度记录进行维护，即对所述第三任务分片调度记录进行维护，从所述第三任务分片调度记录中删除所述异常服务器的调度信息，及时删除掉冗余的数据，提高系统性能。
作为一可选的实施方式，所述根据每个所述可调度服务器的任务并行度，将所述分片队列中的任务分片调度至每个所述可调度服务器中之后，所述方法还包括：
当检测到所有所述可调度服务器中存在已完成任务的目标服务器时，判断所述分片队列中是否存在剩余的任务分片；
若所述分片队列中存在剩余的任务分片，则根据所述目标服务器的任务并行度，从所述剩余的任务分片中确定待调度任务分片；
将所述待调度任务分片调度至所述目标服务器中。
在该可选的实施方式中，当检测到所有所述可调度服务器中存在已完成任务的目标服务器时或者存在新的空闲的目标服务器启动后变为可调度服务器时，确定所述目标服务器可以继续领取任务，若所述分片队列中存在剩余的任务分片，可以根据所述目标服务器的任务并行度，从所述剩余的任务分片中确定待调度任务分片，并将所述待调度任务分片调度至所述目标服务器中。
在图1所描述的方法流程中，可以根据总任务并行度，将一个任务切割为多个数据量均匀的任务分片，每个可调度服务器处理的任务分片与自身的任务并行度一致，即每个可调度服务器可以同时完成各自得到的任务分片，使得不同服务器的资源可以得到充分利用，提高了任务处理的效率。同时，如果正在执行任务的服务器出现了异常，根据任务队列进行任务转移，即任意一台服务器在所述任务队列中通过注册任务获取分片数组再执行即可，确保任务的正常执行。
图2是本发明公开的一种任务调度装置的较佳实施例的功能模块图。
请参见图2，所述任务调度装置20可运行于电子设备中。所述任务调度装置20可以包括多个由程序代码段所组成的功能模块。所述任务调度装置20中的各个程序段的程序代码可以存储于存储器中，并由至少一个处理器所执行，以执行图1所描述的任务调度方法中的部分或全部步骤。
本实施例中，所述任务调度装置20根据其所执行的功能，可以被划分为多个功能模块。所述功能模块可以包括：获取模块201、处理模块202、调度模块203及转移模块204。本发明所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段，其存储在存储器中。
获取模块201，用于当接收到待处理任务时，获取并统计所有可调度服务器的任务并行度，获得任务总并行度。
其中，所述任务并行度是指可以同时处理的任务数量。
其中，所述任务总并行度可以是指所述所有可调度服务器的任务并行度的总和，即所述所有可调度服务器可以同时处理的任务的总数量。
其中，所述可调度服务器可以是指当前可以使用的服务器。
在该可选的实施方式中，可以通过预设的服务器(比如布置有任务调度中心系统的服务器)定时使用因特网包探索器(Packet Internet Groper，ping)获取所有在注册列表中的服务器的状态信息，如果可以正常接收到某个服务器的响应，则可以确定该服务器处于在线状态，是可以使用的可调度服务器；如果不能接收到某个服务器的响应，则可以确定该服务器处于下线状态，是不能使用的服务器。每个所述可调度服务器可以发送自身的任务并行度到所述预设的服务器中，所述预设的服务器可以对所有可调度服务器的任务并行度进行统计，获得所述任务总并行度。
其中，所述因特网包探索器是一种用于测试网络连接量的程序，可以通过一个服务命令Ping，向特定的目的主机发送请求报文，用于确定是否能与另一台主机成功交换数据包，判断另一条主机的运行是否正常、网络是否通畅等。
处理模块202，用于根据所述任务总并行度，对所述待处理任务进行分片处理，获得分片队列，其中，所述分片队列由多个数据量均匀的任务分片组成。
本发明实施例中，可以对所述待处理任务进行分片处理，获得分片队列，比如所述待处理任务需要进行处理的数据有100万条，进行分片处理后，获得10个任务分片，每个任务分片有10万条数据，这些任务分片组成的分片队列可以表示为：[0,1,2,3,4,5,6,7,8,9]。
调度模块203，用于根据每个所述可调度服务器的任务并行度，将所述分片队列中的任务分片调度至每个所述可调度服务器中。
转移模块204，用于当检测到所有所述可调度服务器中存在发生异常的异常服务器时，根据所述分片队列，对所述异常服务器的任务分片进行任务转移。
本发明实施例中，可以对所有所述可调度服务器进行监控，当监控到存在发生异常的异常服务器时，能够及时根据所述分片队列，对所述异常服务器的任务分片进行任务转移，提高系统的稳定性。
作为一种可选的实施方式，所述转移模块204根据所述分片队列，对所述异常服务器的任务分片进行任务转移的方式具体为：
获取所述分片队列的第一任务分片调度记录；
根据所述第一任务分片调度记录，确定调度至所述异常服务器的任务分片；
将所述异常服务器的任务分片添加至所述分片队列中，以重新对所述异常服务器的任务分片进行调度。
在该可选的实施方式中，当检测到所有所述可调度服务器中存在发生异常的异常服务器时，可以获取所述分片队列当前时刻的任务分片调度记录，即所述第一任务分片调度记录，从所述第一任务分片调度记录中获取所述异常服务器最后一次获得的任务分片的信息，以确定调度至所述异常服务器的任务分片，然后，将所述异常服务器最后一次获得的任务分片添加至所述分片队列中，比如所述异常服务器的任务分片为“3”和“4”，假设此时的分片队列为空，即分片队列的任务分片都已经被调度出去，将所述异常服务器的任务分片添加至所述分片队列中后，所述分片队列可以表示为[3,4]，这时，如果任务注册表中存在处于空闲状态的服务器，可以根据处于空闲状态的服务器的任务并行度，来将所述分片队列中的任务分片调度出去，比如，假设这个处于空闲状态的服务器的任务并行度为2，则可以将任务分片“3”和“4”都调度至这个处于空闲状态的服务器中。
作为一种可选的实施方式，所述任务调度装置20还包括：
第一判断模块，用于所述调度模块203根据每个所述可调度服务器的任务并行度，将所述分片队列中的任务分片调度至每个所述可调度服务器中之后，当检测到所有所述可调度服务器中存在已完成任务的目标服务器时，判断所述分片队列中是否存在剩余的任务分片；
确定模块，用于若所述分片队列中存在剩余的任务分片，则根据所述目标服务器的任务并行度，从所述剩余的任务分片中确定待调度任务分片；
所述调度模块203，还用于将所述待调度任务分片调度至所述目标服务器中。
在该可选的实施方式中，当检测到所有所述可调度服务器中存在已完成任务的目标服务器时或者存在新的空闲的目标服务器启动后变为可调度服务器时，确定所述目标服务器可以继续领取任务，若所述分片队列中存在剩余的任务分片，可以根据所述目标服务器的任务并行度，从所述剩余的任务分片中确定待调度任务分片，并将所述待调度任务分片调度至所述目标服务器中。
作为一种可选的实施方式，所述调度模块203根据每个所述可调度服务器的任务并行度，将所述分片队列中的任务分片调度至每个所述可调度服务器中的方式具体为：
针对每个所述可调度服务器，根据所述任务分片在所述分片队列的排列顺序，从所述任务分片中确定数量与所述可调度服务器的任务并行度一致的目标任务分片；
将所述目标任务分片调度至所述可调度服务器中。
在该可选的实施方式中，针对每个所述可调度服务器，可以按照任务分片在分片队列中的排列顺序，依次从所述分片队列中获取数量与所述可调度服务器的任务并行度一致的目标任务分片，将所述目标任务分片调度至所述可调度服务器中，比如：假设所述可调度服务器的任务并行度为2，所述分片队列为[0,1,2,3,4]，按照从左到右的排序顺序，获取到的任务分片为“0”和“1”，即[0,1]，此时，所述分片队列变为[2,3,4]，假设下一个可调度服务器的任务并行度为1，则下一个可调度服务器获取到的任务分片为“2”，即[2]。
可选的，所述目标任务分片可以以数组的形式保存在与所述分片队列对应的任务分片调度记录中，比如“A：[0,1]”，可以用来表示服务器A最后获得的任务分片为“0”和“1”，若服务器A又被调度了任务分片“5”和“6”，则任务分片调度记录中的“A：[0,1]”会被“A：[5,6]”覆盖掉。
作为一种可选的实施方式，所述处理模块202根据所述任务总并行度，对所述待处理任务进行分片处理，获得分片队列的方式具体为：
对所述待处理任务进行划分，获得数量与所述任务总并行度一致的多个任务分片；
根据所述多个任务分片，生成所述分片队列。
在该可选的实施方式中，可以根据所述任务总并行度对所述待处理任务进行分片处理，假设所述任务总并行度为M，则可以将所述待处理任务处理为M个任务分片，并生成所述分片队列[0,1,2,…,M-1]，每个任务分片的数据量均与其他任意一个任务分片的数据量一致。
作为一种可选的实施方式，所述获取模块201，还用于所述调度模块203根据每个所述可调度服务器的任务并行度，将所述分片队列中的任务分片调度至每个所述可调度服务器中之后，以及所述转移模块204当检测到所有所述可调度服务器中存在发生异常的异常服务器时，根据所述分片队列，对所述异常服务器的任务分片进行任务转移之前，获取所述分片队列的第二任务分片调度记录；
所述任务调度装置20还包括：
第二判断模块，用于针对每个所述可调度服务器，判断所述第二任务分片调度记录中是否存在与所述可调度服务器对应的调度信息，其中，所述调度信息为调度至所述可调度服务器的任务分片信息；
写入模块，用于若所述第二任务分片调度记录中不存在与所述可调度服务器对应的调度信息，将调度至所述可调度服务器中的任务分片信息写入所述第二任务分片调度记录中；或
所述调度模块203，还用于若所述第二任务分片调度记录中存在与所述可调度服务器对应的调度信息，将所述调度信息替换为调度至所述可调度服务器中的任务分片信息。
在该可选的实施方式中，可以将每个服务器最后获取的任务分片的信息进行记录，获得任务分片调度记录。当将任务分片调度至可调度服务器中时，需要对所述任务分片调度记录进行更新，所述任务分片调度记录中只保存可调度服务器最后一次获得的任务分片信息，信息量少，可以快速读取。本实施方式中，获取所述分片队列当前时刻的任务分片调度记录，即所述第二任务分片调度记录，针对每个所述可调度服务器，本实施方式要先判断所述第二任务分片调度记录中是否存在与所述可调度服务器对应的调度信息，如果所述第二任务分片调度记录中不存在与所述可调度服务器对应的调度信息，将调度至所述可调度服务器中的任务分片信息写入所述第二任务分片调度记录中；如果所述第二任务分片调度记录中存在与所述可调度服务器对应的调度信息，将所述调度信息替换为调度至所述可调度服务器中的任务分片信息。
作为一种可选的实施方式，所述获取模块201，还用于所述转移模块204当检测到所有所述可调度服务器中存在发生异常的异常服务器时，根据所述分片队列，对所述异常服务器的任务分片进行任务转移之后，获取所述分片队列的第三任务分片调度记录；
所述任务调度装置20还包括：
删除模块，用于从所述第三任务分片调度记录中删除所述异常服务器的调度信息。
在该可选的实施方式中，在根据所述分片队列，进行任务转移之后，可以对所述分片队列当前时刻的任务分片调度记录进行维护，即对所述第三任务分片调度记录进行维护，从所述第三任务分片调度记录中删除所述异常服务器的调度信息，及时删除掉冗余的数据，提高系统性能。
在图2所描述的任务调度装置20中，可以根据总任务并行度，将一个任务切割为多个数据量均匀的任务分片，每个可调度服务器处理的任务分片与自身的任务并行度一致，即每个可调度服务器可以同时完成各自得到的任务分片，使得不同服务器的资源可以得到充分利用，提高了任务处理的效率。同时，如果正在执行任务的服务器出现了异常，根据任务队列进行任务转移，即任意一台服务器在所述任务队列中通过注册任务获取分片数组再执行即可，确保任务的正常执行。
如图3所示，图3是本发明实现任务调度方法的较佳实施例的电子设备的结构示意图。所述电子设备3包括存储器31、至少一个处理器32、存储在所述存储器31中并可在所述至少一个处理器32上运行的计算机程序33及至少一条通讯总线34。
本领域技术人员可以理解，图3所示的示意图仅仅是所述电子设备3的示例，并不构成对所述电子设备3的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子设备3还可以包括输入输出设备、网络接入设备等。
所述电子设备3还包括但不限于任何一种可与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、个人数字助理(Personal Digital Assistant，PDA)、游戏机、交互式网络电视(InternetProtocol Television，IPTV)、智能式穿戴式设备等。所述电子设备3所处的网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用网络(Virtual Private Network，VPN)等。
所述至少一个处理器32可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、分立硬件组件等。该处理器32可以是微处理器或者该处理器32也可以是任何常规的处理器等，所述处理器32是所述电子设备3的控制中心，利用各种接口和线路连接整个电子设备3的各个部分。
所述存储器31可用于存储所述计算机程序33和/或模块/单元，所述处理器32通过运行或执行存储在所述存储器31内的计算机程序和/或模块/单元，以及调用存储在存储器31内的数据，实现所述电子设备3的各种功能。所述存储器31可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备3的使用所创建的数据等。此外，存储器31可以包括易失性和非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件等。
结合图1，所述电子设备3中的所述存储器31存储多个指令以实现一种任务调度方法，所述处理器32可执行所述多个指令从而实现：
当接收到待处理任务时，获取并统计所有可调度服务器的任务并行度，获得任务总并行度；
根据所述任务总并行度，对所述待处理任务进行分片处理，获得分片队列，其中，所述分片队列由多个数据量均匀的任务分片组成；
根据每个所述可调度服务器的任务并行度，将所述分片队列中的任务分片调度至每个所述可调度服务器中；
当检测到所有所述可调度服务器中存在发生异常的异常服务器时，根据所述分片队列，对所述异常服务器的任务分片进行任务转移。
具体地，所述处理器32对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。
在图3所描述的电子设备3中，可以根据总任务并行度，将一个任务切割为多个数据量均匀的任务分片，每个可调度服务器处理的任务分片与自身的任务并行度一致，即每个可调度服务器可以同时完成各自得到的任务分片，使得不同服务器的资源可以得到充分利用，提高了任务处理的效率。同时，如果正在执行任务的服务器出现了异常，根据任务队列进行任务转移，即任意一台服务器在所述任务队列中通过注册任务获取分片数组再执行即可，确保任务的正常执行。
所述电子设备3集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存储器(RAM，Random Access Memory)等。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (8)

1.一种任务调度方法，其特征在于，所述任务调度方法包括：
当接收到待处理任务时，获取并统计所有可调度服务器的任务并行度，获得任务总并行度，所述任务并行度是指每个所述可调度服务器可同时处理的任务数量；
根据所述任务总并行度，对所述待处理任务进行分片处理，获得数量与所述任务总并行度一致的多个任务分片，根据所述多个任务分片生成分片队列，其中，所述分片队列中每个所述任务分片的数据量相同；
针对每个所述可调度服务器，根据所述任务分片在所述分片队列中的排列顺序，按照从左到右的排序顺序，依次在所述分片队列中获取数量与所述可调度服务器的任务并行度一致的目标任务分片，并将所述目标任务分片调度至所述可调度服务器中，所述目标任务分片以数组的形式保存在与所述分片队列对应的任务分片调度记录中，当将所述任务分片调度至所述可调度服务器中时，需要对所述任务分片调度记录进行更新，所述任务分片调度记录中只保存所述可调度服务器最后一次获得的任务分片信息；
当检测到所有所述可调度服务器中存在发生异常的异常服务器时，根据所述分片队列，对所述异常服务器的任务分片进行任务转移。
2.根据权利要求1所述的任务调度方法，其特征在于，所述根据所述分片队列，对所述异常服务器的任务分片进行任务转移包括：
获取所述分片队列的第一任务分片调度记录；
根据所述第一任务分片调度记录，确定调度至所述异常服务器的任务分片；
将所述异常服务器的任务分片添加至所述分片队列中，以重新对所述异常服务器的任务分片进行调度。
3.根据权利要求1所述的任务调度方法，其特征在于，所述针对每个所述可调度服务器，根据所述任务分片在所述分片队列中的排列顺序，按照从左到右的排序顺序，依次在所述分片队列中获取数量与所述可调度服务器的任务并行度一致的目标任务分片，并将所述目标任务分片调度至所述可调度服务器中之后，所述任务调度方法还包括：
当检测到所有所述可调度服务器中存在已完成任务的目标服务器时，判断所述分片队列中是否存在剩余的任务分片；
若所述分片队列中存在剩余的任务分片，则根据所述目标服务器的任务并行度，从所述剩余的任务分片中确定待调度任务分片；
将所述待调度任务分片调度至所述目标服务器中。
4.根据权利要求1至3中任一项所述的任务调度方法，其特征在于，所述针对每个所述可调度服务器，根据所述任务分片在所述分片队列中的排列顺序，按照从左到右的排序顺序，依次在所述分片队列中获取数量与所述可调度服务器的任务并行度一致的目标任务分片，并将所述目标任务分片调度至所述可调度服务器中之后，以及所述当检测到所有所述可调度服务器中存在发生异常的异常服务器时，根据所述分片队列，对所述异常服务器的任务分片进行任务转移之前，所述任务调度方法还包括：
获取所述分片队列的第二任务分片调度记录；
针对每个所述可调度服务器，判断所述第二任务分片调度记录中是否存在与所述可调度服务器对应的调度信息，其中，所述调度信息为调度至所述可调度服务器的任务分片信息；
若所述第二任务分片调度记录中不存在与所述可调度服务器对应的调度信息，将调度至所述可调度服务器中的任务分片信息写入所述第二任务分片调度记录中；或
若所述第二任务分片调度记录中存在与所述可调度服务器对应的调度信息，将所述调度信息替换为调度至所述可调度服务器中的任务分片信息。
5.根据权利要求1至3中任一项所述的任务调度方法，其特征在于，所述当检测到所有所述可调度服务器中存在发生异常的异常服务器时，根据所述分片队列，对所述异常服务器的任务分片进行任务转移之后，所述任务调度方法还包括：
获取所述分片队列的第三任务分片调度记录；
从所述第三任务分片调度记录中删除所述异常服务器的调度信息。
6.一种任务调度装置，其特征在于，所述任务调度装置包括：
获取模块，用于当接收到待处理任务时，获取并统计所有可调度服务器的任务并行度，获得任务总并行度，所述任务并行度是指每个所述可调度服务器可同时处理的任务数量；
处理模块，用于根据所述任务总并行度，对所述待处理任务进行分片处理，获得数量与所述任务总并行度一致的多个任务分片，根据所述多个任务分片生成分片队列，其中，所述分片队列中每个所述任务分片的数据量相同；
调度模块，用于针对每个所述可调度服务器，根据所述任务分片在所述分片队列中的排列顺序，按照从左到右的排序顺序，依次在所述分片队列中获取数量与所述可调度服务器的任务并行度一致的目标任务分片，并将所述目标任务分片调度至所述可调度服务器中，所述目标任务分片以数组的形式保存在与所述分片队列对应的任务分片调度记录中，当将所述任务分片调度至所述可调度服务器中时，需要对所述任务分片调度记录进行更新，所述任务分片调度记录中只保存所述可调度服务器最后一次获得的任务分片信息；
转移模块，用于当检测到所有所述可调度服务器中存在发生异常的异常服务器时，根据所述分片队列，对所述异常服务器的任务分片进行任务转移。
7.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序以实现如权利要求1至5中任意一项所述的任务调度方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有至少一个指令，所述至少一个指令被处理器执行时实现如权利要求1至5中任意一项所述的任务调度方法。
CN202011092091.8A 2020-10-13 2020-10-13 任务调度方法、装置、电子设备及存储介质 Active CN112181662B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011092091.8A CN112181662B (zh) 2020-10-13 2020-10-13 任务调度方法、装置、电子设备及存储介质
PCT/CN2021/123361 WO2022078347A1 (zh) 2020-10-13 2021-10-12 任务调度方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011092091.8A CN112181662B (zh) 2020-10-13 2020-10-13 任务调度方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112181662A CN112181662A (zh) 2021-01-05
CN112181662B true CN112181662B (zh) 2023-05-02

Family

ID=73949537

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011092091.8A Active CN112181662B (zh) 2020-10-13 2020-10-13 任务调度方法、装置、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN112181662B (zh)
WO (1) WO2022078347A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112181662B (zh) * 2020-10-13 2023-05-02 深圳壹账通智能科技有限公司 任务调度方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102243598A (zh) * 2010-05-14 2011-11-16 深圳市腾讯计算机系统有限公司 分布式数据仓库中的任务调度方法及系统
CN103365729A (zh) * 2013-07-19 2013-10-23 哈尔滨工业大学深圳研究生院 一种基于任务类型的动态MapReduce 调度方法及系统
CN109343941A (zh) * 2018-08-14 2019-02-15 阿里巴巴集团控股有限公司 任务处理方法、装置、电子设备及计算机可读存储介质
CN109992382A (zh) * 2017-12-29 2019-07-09 浙江宇视科技有限公司 任务调度方法、装置及任务调度器
CN110046042A (zh) * 2019-04-18 2019-07-23 合肥天毅网络传媒有限公司 一种计算机服务调度系统及方法
CN110298685A (zh) * 2019-05-22 2019-10-01 深圳壹账通智能科技有限公司 信息展示方法、装置、计算机设备及存储介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090077553A1 (en) * 2007-09-13 2009-03-19 Jian Tang Parallel processing of platform level changes during system quiesce
CN102279730B (zh) * 2010-06-10 2014-02-05 阿里巴巴集团控股有限公司 一种并行的数据处理方法、装置和并行的数据处理系统
US9274863B1 (en) * 2013-03-20 2016-03-01 Google Inc. Latency reduction in distributed computing systems
CN104133724B (zh) * 2014-04-03 2015-08-19 腾讯科技（深圳）有限公司 并发任务调度方法及装置
CN105095299A (zh) * 2014-05-16 2015-11-25 北京奇虎科技有限公司 图片抓取方法和系统
CN104216836B (zh) * 2014-08-28 2018-01-23 华为技术有限公司 一种存储系统的并行读写方法和装置
CN104615413A (zh) * 2015-02-13 2015-05-13 赛诺威盛科技（北京）有限公司 一种流水线任务自适应并行方法
US10554577B2 (en) * 2017-03-14 2020-02-04 International Business Machines Corporation Adaptive resource scheduling for data stream processing
US10365949B2 (en) * 2017-08-24 2019-07-30 Dropbox, Inc. Large-scale asynchronous event processor
GB2566514B (en) * 2017-09-15 2020-01-08 Imagination Tech Ltd Resource allocation
CN108363615B (zh) * 2017-09-18 2019-05-14 清华大学 用于可重构处理系统的任务分配方法和系统
CN107621978A (zh) * 2017-09-29 2018-01-23 郑州云海信息技术有限公司 一种并行计算环境下的高可用任务处理控制模型
CN111158896A (zh) * 2018-11-08 2020-05-15 中国移动通信集团上海有限公司 一种分布式进程调度方法及系统
CN111597033A (zh) * 2019-02-20 2020-08-28 北京京东尚科信息技术有限公司 一种任务调度方法和装置
CN110458468A (zh) * 2019-08-16 2019-11-15 北京百度网讯科技有限公司 一种任务处理方法、装置、电子设备及存储介质
CN112181662B (zh) * 2020-10-13 2023-05-02 深圳壹账通智能科技有限公司 任务调度方法、装置、电子设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102243598A (zh) * 2010-05-14 2011-11-16 深圳市腾讯计算机系统有限公司 分布式数据仓库中的任务调度方法及系统
CN103365729A (zh) * 2013-07-19 2013-10-23 哈尔滨工业大学深圳研究生院 一种基于任务类型的动态MapReduce 调度方法及系统
CN109992382A (zh) * 2017-12-29 2019-07-09 浙江宇视科技有限公司 任务调度方法、装置及任务调度器
CN109343941A (zh) * 2018-08-14 2019-02-15 阿里巴巴集团控股有限公司 任务处理方法、装置、电子设备及计算机可读存储介质
CN110046042A (zh) * 2019-04-18 2019-07-23 合肥天毅网络传媒有限公司 一种计算机服务调度系统及方法
CN110298685A (zh) * 2019-05-22 2019-10-01 深圳壹账通智能科技有限公司 信息展示方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN112181662A (zh) 2021-01-05
WO2022078347A1 (zh) 2022-04-21

Similar Documents

Publication Publication Date Title
US9104572B1 (en) Automated root cause analysis
US9880880B2 (en) Automatic scaling of computing resources using aggregated metrics
US9882830B2 (en) Architecture for metrics aggregation without service partitioning
CN102282544A (zh) 存储系统
US9882982B2 (en) Datastore for aggregated measurements for metrics
US9910755B2 (en) Retrieval of authoritative measurement data from in-memory datastores
US9690576B2 (en) Selective data collection using a management system
US11416166B2 (en) Distributed function processing with estimate-based scheduler
US9342390B2 (en) Cluster management in a shared nothing cluster
CN110825731B (zh) 数据存储方法、装置、电子设备及存储介质
CN111586126A (zh) 小程序预下载方法、装置、设备及存储介质
CN107924345B (zh) 用于度量的聚合测量结果的数据存储区
CN111880967A (zh) 云场景下的文件备份方法、装置、介质和电子设备
CN109359027B (zh) Monkey测试方法、装置、电子设备及计算机可读存储介质
US20130166797A1 (en) Storage apparatus and method for controlling same
CN112131196A (zh) 一种分布式日志处理方法、装置、终端设备及存储介质
CN112181662B (zh) 任务调度方法、装置、电子设备及存储介质
CN116760860A (zh) 基于云计算的集群日志收集方法及相关设备
CN110764705B (zh) 一种数据的读写方法、装置、设备和存储介质
CN108762684B (zh) 热点数据迁移流控方法、装置、电子设备及存储介质
CN112817742B (zh) 数据迁移方法、装置、设备及存储介质
US9880919B2 (en) Aggregation of metrics data with fine granularity
CN116391177A (zh) 带优先级的非活动存储器设备更新
CN109617954B (zh) 一种创建云主机的方法和装置
CN110069220B (zh) 分布式调度方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant