CN111158889A - 一种批量任务处理方法及系统 - Google Patents
一种批量任务处理方法及系统 Download PDFInfo
- Publication number
- CN111158889A CN111158889A CN202010002354.5A CN202010002354A CN111158889A CN 111158889 A CN111158889 A CN 111158889A CN 202010002354 A CN202010002354 A CN 202010002354A CN 111158889 A CN111158889 A CN 111158889A
- Authority
- CN
- China
- Prior art keywords
- task
- executed
- message queue
- message
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 28
- 238000000034 method Methods 0.000 claims abstract description 15
- 238000010586 diagram Methods 0.000 description 14
- 238000004590 computer program Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000005192 partition Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种批量任务处理方法及系统，所述方法包括：任务调度服务器将待执行任务发送到消息中间件的消息队列中，每个所述待执行任务对应一个任务类别；任务执行服务器根据所述任务类别从所述消息中间件的消息队列中获取对应的待执行任务并执行；其中，所述任务执行服务器对应至少一个所述任务类别。所述系统用于执行上述方法。本发明实施例提供的批量任务处理方法及系统，降低了批量任务处理的硬件成本。
Description
技术领域
本发明涉及计算机技术领域，具体涉及一种批量任务处理方法及系统。
背景技术
在很多大中型企业，尤其是金融、电信等领域的信息系统当中，都存在大量的自动化批量处理任务需求。
现有技术中，批量任务调度框架中调度系统和执行系统是一体的，使被执行的任务与调度系统和执行系统的编程语言和运行平台深度绑定，对于不同编程语言的任务，需要不同的调度系统和执行系统，导致系统扩容困难，增加系统的开发成本。
发明内容
针对现有技术中的问题，本发明实施例提供一种批量任务处理方法及系统，能够至少部分地解决现有技术中存在的问题。
一方面，本发明提出一种批量任务处理方法，包括：
任务调度服务器将待执行任务发送到消息中间件的消息队列中，每个所述待执行任务对应一个任务类别；
任务执行服务器根据所述任务类别从所述消息中间件的消息队列中获取对应的待执行任务并执行；其中，所述任务执行服务器对应至少一个所述任务类别。
另一方面，本发明提供一种批量任务处理系统，包括：
任务调度服务器，用于将待执行任务发送到消息中间件的消息队列中，每个所述待执行任务对应一个任务类别；
任务执行服务器，用于根据所述任务类别从所述消息中间件的消息队列中获取对应的待执行任务并执行；其中，所述任务执行服务器对应至少一个所述任务类别。
本发明实施例提供的批量任务处理方法及系统，任务调度服务器将待执行任务发送到消息中间件的消息队列中，每个所述待执行任务对应一个任务类别，任务执行服务器根据所述任务类别从所述消息中间件的消息队列中获取对应的待执行任务并执行，任务执行服务器对应至少一个任务类别，使待执行任务的分配和执行相互独立，不同任务类别的待执行任务能够在用一个任务调度服务器上进行调度，实现任务调度服务器的复用，降低了批量任务处理的硬件成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1是本发明一实施例提供的批量任务处理系统的结构示意图。
图2是本发明一实施例提供的批量任务处理方法的流程示意图。
图3是本发明另一实施例提供的批量任务处理方法的流程示意图。
图4是本发明另一实施例提供的批量任务处理系统的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
图1是本发明一实施例提供的批量任务处理系统的结构示意图，如图1所示，本发明实施例提供的批量任务处理系统包括任务调度服务器1和至少一个任务执行服务器2，任务调度服务器1和每个任务执行服务器2通信连接。在任务调度服务器1和每个任务执行服务器2上设置消息中间件，任务调度服务器1将待执行任务发送到所述消息中间件的消息队列，每个任务执行服务器2从所述消息队列中读取相应的待执行任务并执行。本发明实施例提供的批量任务处理系统用于执行本发明实施例提供的批量任务处理方法。
图2是本发明一实施例提供的批量任务处理方法的流程示意图，如图2所示，本发明实施例提供的批量任务处理方法，包括：
S201、任务调度服务器将待执行任务发送到消息中间件的消息队列中，每个所述待执行任务对应一个任务类别；
具体地，任务调度服务器可以获取批量任务，然后将批量任务中的每个任务作为一个待执行任务发送到消息中间件的消息队列中，所述消息队列中可以有多个所述待执行任务。其中，每个待执行任务对应一个任务类别。所述消息中间件根据实际需要进行选择，本发明实施例不做限定。
例如，所述任务类别是根据平台、操作系统和编程语言确定的，一种平台、一种操作系统和一种编程语言对应一个任务类别。所述平台包括但不限于X86、X64、IOS平台等。所述操作系统包括但不限于Linux系统、Windows系统、苹果系统等。所述编程语言包括但不限于JAVA语言、Python语言、C++语言等。
S202、任务执行服务器根据所述任务类别从所述消息中间件的消息队列中获取对应的待执行任务并执行；其中，所述任务执行服务器对应至少一个任务类别。
具体地，在所述任务调度服务器将所述待执行任务发送到所述消息中间件的消息队列中之后，任务执行服务器可以访问所述消息中间件的消息队列，然后根据所述任务执行服务器对应的任务类别从所述消息队列中获取对应的待执行任务，在获取到对应的待执行任务之后，所述待执行任务会执行所述待执行任务。其中，所述任务执行服务器对应至少一个任务类别，也就是说所述任务执行服务器能够执行至少一个任务类别的待执行任务。所述任务执行服务器对应的任务类别可以根据所述任务执行服务器的平台、操作系统以及安装的执行待执行任务的程序的编程语言确定的。
例如，任务执行服务器A对应4个任务类别，即任务执行服务器A可以执行4个任务类别的待执行任务。任务执行服务器A访问消息中间件的消息队列，判断所述消息队列中的每个待执行任务对应的任务类别是否属于任务执行服务器A对应的4个任务类别，如果所述待执行任务对应的任务类别属于任务执行服务器A对应的4个任务类别，任务执行服务器A可以获取所述待执行任务并执行，如果所述待执行任务对应的任务类别不属于任务执行服务器A对应的4个任务类别，任务执行服务器A不会获取所述待执行任务。
本发明实施例提供的批量任务处理方法，任务调度服务器将待执行任务发送到消息中间件的消息队列中，每个所述待执行任务对应一个任务类别，任务执行服务器根据所述任务类别从所述消息中间件的消息队列中获取对应的待执行任务并执行，任务执行服务器对应至少一个任务类别，使待执行任务的分配和执行相互独立，不同任务类别的待执行任务能够在用一个任务调度服务器上进行调度，实现任务调度服务器的复用，降低了批量任务处理的硬件成本。此外，能够基于任务类别获取待执行任务，方便进行任务执行服务器的扩展，提高了批量任务处理的扩展性。
在上述各实施例的基础上，进一步地，所述任务类别是根据平台、操作系统和编程语言确定的。
具体地，所述任务类别可以根据平台、操作系统和编程语言确定，一种平台、一种操作系统和一种编程语言对应一个任务类别。
例如，批量任务涉及到3种平台、3种操作系统和3种编程语言，那么所述待执行任务对应的任务类别的总数为27种。
图3是本发明另一实施例提供的批量任务处理方法的流程示意图，如图3所示，在上述各实施例的基础上，进一步地，本发明实施例提供的批量任务处理方法还包括：
S203、所述任务执行服务器将所述待执行任务的执行结果发送到所述消息队列；
具体地，所述任务执行服务器在执行完一个所述待执行任务之后，可以获得所述待执行任务的执行结果，然后将所述待执行任务的执行结果发送到所述消息队列。
S204、所述任务调度服务器从所述消息队列获取所述待执行任务的执行结果。
具体地，所述任务调度服务器可以访问所述消息队列，从所述消息队列中获取所述待执行任务的执行结果。所述任务调度服务器在获得所述待执行任务的执行结果之后，可以根据所述待执行任务的执行结果进行后续处理。
例如，如果所述待执行任务的执行结果表明所述待执行任务已经执行完成，那么所述任务调度服务器可以保存所述待执行任务的执行结果。如果所述待执行任务的执行结果表明所述待执行任务的完成应该触发一个任务的启动，那么所述任务调度服务器会获取需要启动的任务，将其作为一个待执行任务发送到消息队列中。
在上述各实施例的基础上，进一步地，所述任务执行服务器有多个，所述多个任务执行服务器采用轮询的方式从所述消息队列中获取对应的待执行任务。
具体地，执行批量任务的任务执行服务器可以有多个，所述多个任务执行服务器可以采用轮询的方式从所述消息队列中获取对应的待执行任务，即所述多个任务执行服务器依次访问所述消息队列获取对应的待执行任务，周而复始。
例如，某个批量任务处理系统中包括任务调度服务器B和三个任务执行服务器，三个任务执行服务器分别为任务执行服务器C、任务执行服务器D和任务执行服务器E。预先设定任务执行服务器C、任务执行服务器D和任务执行服务器E按顺序依次访问消息队列，获取各自对应的待执行任务。假设任务执行服务器C对应一个任务类型，任务执行服务器D对应两个任务类型，任务执行服务器E对应四个任务类型。任务执行服务器C通过所述消息中间件访问消息队列，判断所述消息队列中的每个待执行任务对应的任务类别是否是任务执行服务器C对应的任务类型，任务执行服务器C会获取任务类型与任务执行服务器C对应的任务类型相同的待执行任务。接着，任务执行服务器D通过所述消息中间件访问所述消息队列，判断所述消息队列中的每个待执行任务对应的任务类别是否属于任务执行服务器D对应的两个任务类型，任务执行服务器D会获取任务类型与任务执行服务器D对应的两个任务类型中任何一个相同的待执行任务。然后，任务执行服务器E通过所述消息中间件访问所述消息队列，判断所述消息队列中的每个待执行任务对应的任务类别是否属于任务执行服务器E对应的四个任务类型，任务执行服务器E会获取任务类型与任务执行服务器E对应的四个任务类型中任何一个相同的待执行任务。为了提高任务的执行效率，可以限制每个任务执行服务器每次最多获取2个相同任务类别的待执行任务，在未完成的待执行任务的数量不小于任务执行服务器对应的任务类型时，所述任务执行服务器不会去获取新的待执行任务。
在上述各实施例的基础上，进一步地，所述消息中间件采用ActiveMQ、RabbitMQ或者Kafka。
具体地，所述消息中间件包括ActiveMQ、RabbitMQ、Kafka等，ActiveMQ是采用Java语言编写的完全基于JMS1.1规范的面向消息的中间件，能够为应用程序提供高效的、可扩展的、稳定的和安全的企业级消息通信，RabbitMQ是采用Erlang语言实现的AMQP协议的消息中间件，在可靠性、可用性、扩展性、功能丰富等方面的表现卓越，Kafka是一个分布式、多分区、多副本且基于zookeeper协调的分布式消息系统，是一种高吞吐量的分布式发布订阅消息系统，具有能够水平扩展和高吞吐率的特点。可以根据实际需要选择一种或者几种消息中间件使用，本发明实施例不做限定。
例如，任务调度服务器H建立在X86平台Linux操作系统上，使用JAVA语言实现，消息中间件采用RabbitMQ。任务调度服务器H获取到待执行任务a，然后将待执行任务a发送到RabbitMQ的消息队列汇总。待执行任务a对应的任务类型为R1，R1对应的平台为小型机平台、Linux操作系统和Python语言。任务执行服务器P建立在小型机平台Linux操作系统上，能够执行采用Python语言编写的待执行任务，即任务执行服务器P对应任务类型R1，能够执行待执行任务a。任务执行服务器P访问RabbitMQ的消息队列，可以获取到任务类型为R1的待执行任务a，并执行，然后将待执行任务a的执行结果返回给RabbitMQ的消息队列。任务调度服务器H可以从RabbitMQ的消息队列中获得待执行任务a的执行结果。其中，待执行任务a可以是一个模型训练任务，待执行任务a可以包括模型训练任务的训练数据的获取地址等相关信息。
图4是本发明另一实施例提供的批量任务处理系统的结构示意图，如图4所示，本发明实施例提供的批量任务处理系统包括任务调度服务器401和任务执行服务器402，其中：
任务调度服务器401用于将待执行任务发送到消息中间件的消息队列中，每个所述待执行任务对应一个任务类别；任务执行服务器402用于根据所述任务类别从所述消息中间件的消息队列中获取对应的待执行任务并执行；其中，所述任务执行服务器对应至少一个所述任务类别。
具体地，任务调度服务器401可以获取批量任务，然后将批量任务中的每个任务作为一个待执行任务发送到消息中间件的消息队列中，所述消息队列中可以有多个所述待执行任务。其中，每个待执行任务对应一个任务类别。所述消息中间件根据实际需要进行选择，本发明实施例不做限定。
在所述任务调度服务器将所述待执行任务发送到所述消息中间件的消息队列中之后，任务执行服务器402可以访问所述消息中间件的消息队列，然后根据所述任务执行服务器对应的任务类别从所述消息队列中获取对应的待执行任务，在获取到对应的待执行任务之后，所述待执行任务会执行所述待执行任务。其中，所述任务执行服务器对应至少一个任务类别，也就是说所述任务执行服务器能够执行至少一个任务类别的待执行任务。所述任务执行服务器对应的任务类别可以根据所述任务执行服务器的平台、操作系统以及安装的执行待执行任务的程序的编程语言确定的。
本发明实施例提供的批量任务处理系统，任务调度服务器将待执行任务发送到消息中间件的消息队列中，每个所述待执行任务对应一个任务类别，任务执行服务器根据所述任务类别从所述消息中间件的消息队列中获取对应的待执行任务并执行，任务执行服务器对应至少一个任务类别，使待执行任务的分配和执行相互独立，不同任务类别的待执行任务能够在用一个任务调度服务器上进行调度，实现任务调度服务器的复用，降低了批量任务处理的硬件成本。此外，能够基于任务类别获取待执行任务，方便进行任务执行服务器的扩展，提高了批量任务处理的扩展性。
在上述各实施例的基础上，进一步地，所述任务类别是根据平台、操作系统和编程语言确定的。
具体地，所述任务类别可以根据平台、操作系统和编程语言确定，一种平台、一种操作系统和一种编程语言对应一个任务类别。
在上述各实施例的基础上，进一步地，本发明实施例提供的批量任务处理系统还包括：
任务执行服务器402用于将所述待执行任务的执行结果发送到所述消息队列；任务调度服务器401用于从所述消息队列获取所述待执行任务的执行结果。
具体地，任务执行服务器402在执行完一个所述待执行任务之后，可以获得所述待执行任务的执行结果，然后将所述待执行任务的执行结果发送到所述消息队列。
任务调度服务器401可以访问所述消息队列，从所述消息队列中获取所述待执行任务的执行结果。所述任务调度服务器在获得所述待执行任务的执行结果之后，可以根据所述待执行任务的执行结果进行后续处理。
在上述各实施例的基础上，进一步地，所述任务执行服务器有多个，所述多个任务执行服务器采用轮询的方式从所述消息队列中获取对应的待执行任务。
具体地，执行批量任务的任务执行服务器可以有多个，所述多个任务执行服务器可以采用轮询的方式从所述消息队列中获取对应的待执行任务，即所述多个任务执行服务器依次访问所述消息队列获取对应的待执行任务，周而复始。
在上述各实施例的基础上，进一步地，所述消息中间件采用ActiveMQ、RabbitMQ或者KAFKA。
具体地，所述消息中间件包括ActiveMQ、RabbitMQ、Kafka等，ActiveMQ是采用Java语言编写的完全基于JMS1.1规范的面向消息的中间件，能够为应用程序提供高效的、可扩展的、稳定的和安全的企业级消息通信，RabbitMQ是采用Erlang语言实现的AMQP协议的消息中间件，在可靠性、可用性、扩展性、功能丰富等方面的表现卓越，Kafka是一个分布式、多分区、多副本且基于zookeeper协调的分布式消息系统，是一种高吞吐量的分布式发布订阅消息系统，具有能够水平扩展和高吞吐率的特点。可以根据实际需要选择一种或者几种消息中间件使用，本发明实施例不做限定。
本发明实施例提供的服务器的实施例具体可以用于执行上述各方法实施例的处理流程，其功能在此不再赘述，可以参照上述方法实施例的详细描述。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在本说明书的描述中，参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种批量任务处理方法，其特征在于，包括：
任务调度服务器将待执行任务发送到消息中间件的消息队列中，每个所述待执行任务对应一个任务类别；
任务执行服务器根据所述任务类别从所述消息中间件的消息队列中获取对应的待执行任务并执行；其中，所述任务执行服务器对应至少一个所述任务类别。
2.根据权利要求1所述的方法，其特征在于，所述任务类别是根据平台、操作系统和编程语言确定的。
3.根据权利要求1所述的方法，其特征在于，还包括：
所述任务执行服务器将所述待执行任务的执行结果发送到所述消息队列；
所述任务调度服务器从所述消息队列获取所述待执行任务的执行结果。
4.根据权利要求1所述的方法，其特征在于，所述任务执行服务器有多个，所述多个任务执行服务器采用轮询的方式从所述消息队列中获取对应的待执行任务。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述消息中间件采用ActiveMQ、RabbitMQ或者Kafka。
6.一种批量任务处理系统，其特征在于，包括：
任务调度服务器，用于将待执行任务发送到消息中间件的消息队列中，每个所述待执行任务对应一个任务类别；
任务执行服务器，用于根据所述任务类别从所述消息中间件的消息队列中获取对应的待执行任务并执行；其中，所述任务执行服务器对应至少一个所述任务类别。
7.根据权利要求6所述的系统，其特征在于，所述任务类别是根据平台、操作系统和编程语言确定的。
8.根据权利要求6所述的系统，其特征在于，还包括：
所述任务执行服务器，用于将所述待执行任务的执行结果发送到所述消息队列；
所述任务调度服务器，用于从所述消息队列获取所述待执行任务的执行结果。
9.根据权利要求6所述的系统，其特征在于，所述任务执行服务器有多个，所述多个任务执行服务器采用轮询的方式从所述消息队列中获取对应的待执行任务。
10.根据权利要求6至9任一项所述的系统，其特征在于，所述消息中间件采用ActiveMQ、RabbitMQ或者Kafka。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010002354.5A CN111158889A (zh) | 2020-01-02 | 2020-01-02 | 一种批量任务处理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010002354.5A CN111158889A (zh) | 2020-01-02 | 2020-01-02 | 一种批量任务处理方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111158889A true CN111158889A (zh) | 2020-05-15 |
Family
ID=70561334
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010002354.5A Pending CN111158889A (zh) | 2020-01-02 | 2020-01-02 | 一种批量任务处理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111158889A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112380024A (zh) * | 2021-01-18 | 2021-02-19 | 天道金科股份有限公司 | 一种基于分布式计数的线程调度方法 |
| WO2024020743A1 (zh) * | 2022-07-25 | 2024-02-01 | 苏州中科天启遥感科技有限公司 | 数据生产的主从集群任务调度方法及应用 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140059000A1 (en) * | 2011-04-08 | 2014-02-27 | Hitachi, Ltd. | Computer system and parallel distributed processing method |
| CN107016480A (zh) * | 2016-01-28 | 2017-08-04 | 五八同城信息技术有限公司 | 任务调度方法、装置及系统 |
| CN107122232A (zh) * | 2017-03-27 | 2017-09-01 | 中央电视台 | 一种多媒体任务处理装置及方法 |
| CN108037983A (zh) * | 2017-11-22 | 2018-05-15 | 链家网（北京）科技有限公司 | 分布式调度系统中的任务调度方法及分布式调度系统 |
| CN109471710A (zh) * | 2018-10-25 | 2019-03-15 | 网易（杭州）网络有限公司 | 任务请求的处理方法、装置、处理器、终端及服务器 |
| CN109814998A (zh) * | 2019-01-22 | 2019-05-28 | 中国联合网络通信集团有限公司 | 一种多进程任务调度的方法及装置 |
-
2020
- 2020-01-02 CN CN202010002354.5A patent/CN111158889A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140059000A1 (en) * | 2011-04-08 | 2014-02-27 | Hitachi, Ltd. | Computer system and parallel distributed processing method |
| CN107016480A (zh) * | 2016-01-28 | 2017-08-04 | 五八同城信息技术有限公司 | 任务调度方法、装置及系统 |
| CN107122232A (zh) * | 2017-03-27 | 2017-09-01 | 中央电视台 | 一种多媒体任务处理装置及方法 |
| CN108037983A (zh) * | 2017-11-22 | 2018-05-15 | 链家网（北京）科技有限公司 | 分布式调度系统中的任务调度方法及分布式调度系统 |
| CN109471710A (zh) * | 2018-10-25 | 2019-03-15 | 网易（杭州）网络有限公司 | 任务请求的处理方法、装置、处理器、终端及服务器 |
| CN109814998A (zh) * | 2019-01-22 | 2019-05-28 | 中国联合网络通信集团有限公司 | 一种多进程任务调度的方法及装置 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112380024A (zh) * | 2021-01-18 | 2021-02-19 | 天道金科股份有限公司 | 一种基于分布式计数的线程调度方法 |
| CN112380024B (zh) * | 2021-01-18 | 2021-05-25 | 天道金科股份有限公司 | 一种基于分布式计数的线程调度方法 |
| WO2024020743A1 (zh) * | 2022-07-25 | 2024-02-01 | 苏州中科天启遥感科技有限公司 | 数据生产的主从集群任务调度方法及应用 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111768006B (zh) | 一种人工智能模型的训练方法、装置、设备及存储介质 | |
| US9189270B2 (en) | Realizing jumps in an executing process instance | |
| CN112035238B (zh) | 任务调度处理方法、装置、集群系统及可读存储介质 | |
| CN112363913B (zh) | 一种并行测试任务调度寻优的方法、装置和计算设备 | |
| CN110781180B (zh) | 一种数据筛选方法和数据筛选装置 | |
| CN110162344B (zh) | 一种隔离限流的方法、装置、计算机设备及可读存储介质 | |
| CN111158889A (zh) | 一种批量任务处理方法及系统 | |
| CN113553140B (zh) | 资源调度方法、设备及系统 | |
| CN111158887A (zh) | 一种集中式数据分布式处理方法及装置 | |
| CN109102200B (zh) | 一种定时任务处理方法及装置 | |
| CN109684051A (zh) | 一种混合式大数据任务异步提交的方法和系统 | |
| CN113268362A (zh) | 基于无服务器平台的运维方法、装置、设备及存储介质 | |
| CN110837446A (zh) | 应用于嵌入式系统的设备管理方法及装置、介质以及嵌入式设备 | |
| CN114327846A (zh) | 集群的扩容方法、装置、电子设备及计算机可读存储介质 | |
| CN113472557A (zh) | 一种虚拟网元处理方法、装置及电子设备 | |
| CN115712524A (zh) | 数据恢复方法及装置 | |
| CN115220887A (zh) | 调度信息的处理方法、任务处理系统、处理器和电子设备 | |
| CN116954878A (zh) | 容器集群的管理方法、装置、设备、存储介质及程序产品 | |
| CN113127221B (zh) | 一种限制消息消费速率的方法、装置、设备及存储介质 | |
| CN111190725B (zh) | 任务处理方法、装置、存储介质及服务器 | |
| CN112433950A (zh) | 自动搭建测试环境的方法、电子设备及存储介质 | |
| CN113742065A (zh) | 一种基于kubernetes容器集群的分布式强化学习方法及装置 | |
| CN113268324A (zh) | 一种任务调度方法及装置、存储介质、计算机设备 | |
| CN113742096B (zh) | 一种事件队列的实现方法及系统 | |
| CN117112231B (zh) | 一种多模型协同处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |