CN104462302B - 一种分布式数据处理协调方法及系统 - Google Patents
一种分布式数据处理协调方法及系统 Download PDFInfo
- Publication number
- CN104462302B CN104462302B CN201410710691.4A CN201410710691A CN104462302B CN 104462302 B CN104462302 B CN 104462302B CN 201410710691 A CN201410710691 A CN 201410710691A CN 104462302 B CN104462302 B CN 104462302B
- Authority
- CN
- China
- Prior art keywords
- processor
- task
- batch
- scheduling database
- task scheduling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开一种分布式数据处理协调方法及协调，方法包括：任务调度器对任务调度数据库中的任务进行分类，为每个任务关联批次，同一批次关联一个或多个任务，并将每个批次与一个处理器关联；处理器从任务调度数据库中获取关联的批次；处理器对关联的批次所关联的任务进行处理；任务调度器定时检查处理器的在线状态，将在线状态为下线的处理器作为下线处理器，将在线状态为在线的处理器作为在线处理器，获取与所述下线处理器关联的批次作为待分配批次，将所述待分配批次重新与一个在线处理器关联。本发明当处理器出现故障下线时，任务调度器对任务进行重新分配，使得分布式处理器能对任务进行协调处理。
Description
技术领域
本发明涉及分布式数据处理相关技术领域，特别是一种分布式数据处理协调方法及系统。
背景技术
当今互联网发展相当迅速，尤其是大数据时代到来，如何快速处理这些数据是所有公司面临的一大挑战，普遍采用的有以下几种方法，
一、采用单实例多线程处理，
这样的缺点是有单点的风险，一旦实例崩溃，所有数据将无法处理，对于大数据处理相对较慢，处理不及时，现在已经基本不用。
二、采用多实例
根据数据进行取模，取模后将不同的数据分给不同的实例，这样解决了系统的单点问题，然而其存在的问题为：当某个实例崩溃掉，相应的系统无法得到通知，就会造成数据无法得到处理。
发明内容
基于此，有必要针对现有技术在对分布式数据处理系统方面存在的问题，提供一种分布式数据处理协调方法及系统。
一种分布式数据处理协调方法，包括：
任务调度器分类步骤，任务调度器对任务调度数据库中的任务进行分类，为每个任务关联批次，同一批次关联一个或多个任务，并将每个批次与一个处理器关联；
处理器获取批次步骤，处理器从任务调度数据库中获取关联的批次；
处理器处理任务步骤，处理器对关联的批次所关联的任务进行处理；
任务调度器重分配步骤，任务调度器定时检查处理器的在线状态，将在线状态为下线的处理器作为下线处理器，将在线状态为在线的处理器作为在线处理器，获取与所述下线处理器关联的批次作为待分配批次，将所述待分配批次重新与一个在线处理器关联。
一种分布式数据处理协调系统，包括：
协调分类模块，用于任务调度器对任务调度数据库中的任务进行分类，为每个任务关联批次，同一批次关联一个或多个任务，并将每个批次与一个处理器关联；
处理器获取批次模块，用于处理器从任务调度数据库中获取关联的批次；
处理器处理任务模块，用于处理器对关联的批次所关联的任务进行处理；
任务调度器重分配模块，用于任务调度器定时检查处理器的在线状态，将在线状态为下线的处理器作为下线处理器，将在线状态为在线的处理器作为在线处理器，获取与所述下线处理器关联的批次作为待分配批次，将所述待分配批次重新与一个在线处理器关联。
本发明由任务调度器对任务进行分类，由处理器对与其关联的批次所关联的任务进行处理，由于采用了任务调度器进行协调，因此，当处理器出现故障下线时，任务调度器对任务进行重新分配，使得分布式处理器能对任务进行协调处理。
附图说明
图1为本发明一种分布式数据处理协调方法的工作流程图；
图2为本发明最佳实施例的系统结构图；
图3为本发明最佳实施例的工作流程图；
图4为本发明一种分布式数据处理协调系统的结构模块图。
具体实施方式
下面结合附图和具体实施例对本发明做进一步详细的说明。
如图1所示为本发明一种分布式数据处理协调方法的工作流程图，包括：
步骤S101，任务调度器对任务调度数据库中的任务进行分类，为每个任务关联批次，同一批次关联一个或多个任务，并将每个批次与一个处理器关联；
步骤S102，处理器从任务调度数据库中获取关联的批次；
步骤S103，处理器对关联的批次所关联的任务进行处理；
步骤S104，任务调度器定时检查处理器的在线状态，将在线状态为下线的处理器作为下线处理器，将在线状态为在线的处理器作为在线处理器，获取与所述下线处理器关联的批次作为待分配批次，将所述待分配批次重新与一个在线处理器关联。
其中，在任务调度器执行完步骤S101后，处理器会持续执行步骤S102和步骤S103以更新其所关联的批次，从而知道其所需要执行的任务。同时，任务调度器也会持续执行步骤S104以便定时检查处理器的在线状态。
上述步骤S102、S103和S104均长期执行直到接收到停止运行命令。
通过任务调度器执行步骤S104，使得下线处理器所处理的任务，能够由其他在线处理器及时处理。
本发明采用的是任务调度器专门进行对任务进行分配，使得处理器无需自行管理协调任务，提高了处理器的处理速度。
其中的批次，是由任务调度器对任务进行分配所预设的编号，将多个任务设定为同一批次，使得任务调度器能减少分配任务的工作量。将多少个任务或者哪些任务设定为同一批次，可以由用户通过配置文件进行设定。而将哪些批次分配给哪些处理器，也可以采用现有的各种算法实现。最简单的一种方式，是平均分配方法，即将多个批次平均分配给多个处理器。
在其中一个实施例中，还包括：
处理器心跳发送步骤，处理器定时向任务调度数据库发送心跳信息；
所述步骤S104中，任务调度器将超过预设时间内没有向任务调度数据库发送心跳信息的处理器的在线状态设为下线状态，将在预设时间内向任务调度数据库发送心跳信息的处理器的在线状态设为在线状态。
处理器定时向任务调度数据库发送心跳信息，则任务调度器可以根据该心跳信息判断处理器是否在线。优选地，一般设定五分钟内未更新心跳信息就表示对应的处理器已经下线。心跳信息可以与获取批次的信息一起共同发送。
下线，既可以是处理器与任务调度数据库之间的网络连接断掉，也可以是处理器宕机。无论针对那种情况，处理器均无法对任务调度数据库中的任务进行处理，因此其所关联的任务将由其他的在线处理器处理。
在其中一个实施例中：
所述任务调度器重分配步骤中，当任务调度器将所述待分配批次重新与一个在线处理器关联前，设定任务调度数据库的状态为正在重新分配批次状态，当任务调度器将所述待分配批次重新与一个在线处理器关联后，设定任务调度数据库的状态为正常工作状态；
所述处理器获取批次步骤，具体包括：
处理器检查任务调度数据库的状态：
如果任务调度数据库的状态为正在重新分配批次状态，则处理器间隔预设时间后重新执行所述处理器获取批次步骤；
如果任务调度数据库的状态为正常工作状态，则处理器从任务调度数据库中获取关联的批次，对关联的批次所关联的任务进行处理。
本实施例增加了任务调度数据库的状态，在任务调度器对任务调度数据库中的任务进行重新分配时，禁止处理器获取批次，从而避免数据冲突或者脏数据问题的出现。
在其中一个实施例中，还包括：
处理器注册步骤，处理器向任务调度数据库发送注册信息，任务调度数据库保存所述注册信息，并将处理器记录为已注册的处理器；
所述协调分类步骤中，任务调度器将每个批次与一个在任务调度数据库中已注册的处理器关联。
优选地：
所述处理器注册步骤，具体包括：处理器向任务调度数据库发送包括处理类型的注册信息，任务调度数据库保存所述注册信息，并将处理器记录为已注册的处理器，注册信息中的处理类型作为该已注册的处理器的处理类型；
所述协调分类步骤中，任务调度器对任务调度数据库中的任务进行分类，为每个任务关联批次，同一批次关联一个或多个相同处理类型的任务，并将每个批次与一个在任务调度数据库中已注册且具有相同处理类型的处理器关联。
不同的处理器的可处理类型可能会不同，或者即使不同的处理器的可处理类型相同，但为了处理效率的考虑，将不同的处理器设定为不同的用途，从而处理不同的处理类型，以提高处理效率。
如图2所示为本发明最佳实施例的系统结构图，具体包括三个处理器21、22、23，以及任务调度器24，以及任务调度数据库25。其中三个处理器21、22、23，以及任务调度器24均与任务调度数据库25连接以访问任务调度数据库25中的数据。
其中，任务调度器24与任务调度数据库24作为数据协调系统(分配者角色)
该系统充当现实生活的任务协调，数据分配的工作，该系统会维护与工作者之间的通信，随时发现是否有新的工作者加入，是否有工作者中途退出，合时重新分配任务等工作，该系统中主要有以下几个关键点：
任务分类：
在处理数据上把数据归类，比如对账数据，订单上架提醒，商品降价提醒，会员生日祝福等，任务分类不能重复，作为一个例子，定义一个生日祝福这样一个任务类型，为了方便后续说明，将其命名”birthdayType”，如表1所示为伪数据：
表1
| 任务类型 | 任务描述 | 状态 | 是否重新分配 |
| birthdayType | 发送生日祝福短信 | 0 | 1 |
| itemPriceDown | 商品降价通知 | 0 | 1 |
“状态“表示任务协调系统的一个状态，其中，0表示该任务工作者(处理器)可以正常处理，1表示任务工作者需要等待处理，任务协调系统(任务调度器)正在对任务进行从新分配，分配完了改成0使工作者可以继续处理。
“是否重新分配“，这个是有新工作加入，或者工作者突然退出提示任务协调系统需要对任务进行重新分配了。1代表需要重新分配，0代表不需要重新分配。
工作者注册：
所谓工作者对于计算机就是处理数据的处理器，所有处理任务的处理器需要到“任务协调系统”注册成为工作者，这样才能领到要处理的任务，而且每个工作者在注册时必须告知要处理那种任务，比如：生日祝福等。伪数据如表2所示：
表2
系统会根据某种类型处理工作者的个数来平均分配数据批次，根据心跳信息的时间来判断工作者是否仍在线，一般设定五分钟内不更新就表示该工作者已经下线。
数据批次：
数据量太大时如果对每个数据都进行协调分配是相当消耗性能，速度也会慢下来。数据批次，就是给数据一个编号，按照批次来分配相对就能减少性能消耗。表3为其伪数据：
表3
| 任务类型 | 批次 | 工作者 |
| birthdayType | 100 | Mac地址A |
| birthdayType | 101 | Mac地址B |
| birthdayType | 102 | Mac地址A |
| birthdayType | 103 | Mac地址B |
| birthdayType | 104 | Mac地址A |
如表3所示，工作者会被任务协调系统平均分配批次，最简单的分配方案就是依次分配，A分配一个批次，然后分配给B一个批次，然后再分配给A一个，下一个分配给B，依次类推直到同一任务类型的批次分配完毕为止。
三个处理器21、22、23为其中的工作者。工作者要做以下两件事：
一、每隔两分钟与数据协调系统进行通信，即完成心跳，告诉分配者我还在工作，可以继续给我分配工作，如果分配者收不到该消息就会认为该工作者已经不工作了，应该重新分配批次，保证数据正常处理。
二、工作者应该向数据协调系统索要分配给自己的批次，获取自己应该处理的数据范围，完成正常的数据处理，这里可以根据需要设定多线程处理，或则单线成处理，工作者每次在领取数据时要向数据协调系统咨询是否正在重新分配，如果没有就直接使用上次领取到的资源批次，如果数据协调系统正在重新分配批次，那么工作者需要等待分配者完成重新分配，获取重新分配后的批次，然后继续处理。
表4
| 手机号 | 祝福语 | 状态 | 批次 |
| 13391661730 | ***生日快乐 | 0 | 100 |
| 13391661731 | ***生日快乐 | 0 | 100 |
| 13391661731 | ***生日快乐 | 0 | 101 |
| 13391661731 | ***生日快乐 | 0 | 102 |
例如有表4的数据，对于处理器21来说只分到了100这个批次，那么处理器21只负责处理头两条批次的数据，其他数据由别的工作者处理。
如图3所示为本发明最佳实施例的工作流程图，包括：
步骤S301，每个处理器21、22、23会持续向任务调度数据库25发送消息获取批次并同时发送心跳信息；
步骤S302，每个处理器从任务调度数据库25获取批次，并执行相应任务；
步骤S303，任务调度器24每隔一段时间监控任务调度数据库中数据，依次来判断哪个处理器最近没有发送消息，超过规定时间任务调度者就认为该处理器已经下线，可以对该任务重新分配，比如原来有10个批次，有三个处理器时任务调度会依次分配这10个批次，批次一分给处理器21，批次二分给处理22，批次三分给处理器23，批次四再分给处理器21，依次循环，直到批次分配完成。过了一段时间任务调度器24发现处理者1挂掉了，那么任务调度器24再次分配任务时就只考虑处理器22，处理器23，仍然按照依次分配原则分配，直到分配完为止。
如图4所示为本发明一种分布式数据处理协调系统的结构模块图，包括：
协调分类模块401，用于任务调度器对任务调度数据库中的任务进行分类，为每个任务关联批次，同一批次关联一个或多个任务，并将每个批次与一个处理器关联；
处理器获取批次模块402，用于处理器从任务调度数据库中获取关联的批次；
处理器处理任务模块403，用于处理器对关联的批次所关联的任务进行处理；
任务调度器重分配模块404，用于任务调度器定时检查处理器的在线状态，将在线状态为下线的处理器作为下线处理器，将在线状态为在线的处理器作为在线处理器，获取与所述下线处理器关联的批次作为待分配批次，将所述待分配批次重新与一个在线处理器关联。
在其中一个实施例中，还包括：
处理器心跳发送模块，用于处理器定时向任务调度数据库发送心跳信息；
所述任务调度器重分配模块中，任务调度器将超过预设时间内没有向任务调度数据库发送心跳信息的处理器的在线状态设为下线状态，将在预设时间内向任务调度数据库发送心跳信息的处理器的在线状态设为在线状态。
在其中一个实施例中：
所述任务调度器重分配模块中，当任务调度器将所述待分配批次重新与一个在线处理器关联前，设定任务调度数据库的状态为正在重新分配批次状态，当任务调度器将所述待分配批次重新与一个在线处理器关联后，设定任务调度数据库的状态为正常工作状态；
所述处理器获取批次模块，具体用于：
处理器检查任务调度数据库的状态：
如果任务调度数据库的状态为正在重新分配批次状态，则处理器间隔预设时间后重新执行所述处理器获取批次模块；
如果任务调度数据库的状态为正常工作状态，则处理器从任务调度数据库中获取关联的批次，对关联的批次所关联的任务进行处理。
在其中一个实施例中，还包括：
处理器注册模块，用于处理器向任务调度数据库发送注册信息，任务调度数据库保存所述注册信息，并将处理器记录为已注册的处理器；
所述协调分类模块中，任务调度器将每个批次与一个在任务调度数据库中已注册的处理器关联。
在其中一个实施例中：
所述处理器注册模块，具体用于：处理器向任务调度数据库发送包括处理类型的注册信息，任务调度数据库保存所述注册信息，并将处理器记录为已注册的处理器，注册信息中的处理类型作为该已注册的处理器的处理类型；
所述协调分类模块中，任务调度器对任务调度数据库中的任务进行分类，为每个任务关联批次，同一批次关联一个或多个相同处理类型的任务，并将每个批次与一个在任务调度数据库中已注册且具有相同处理类型的处理器关联。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (9)
1.一种分布式数据处理协调方法，其特征在于，包括：
协调分类步骤，任务调度器对任务调度数据库中的任务进行分类，为每个任务关联批次，同一批次关联一个或多个任务，并将每个批次与一个处理器关联；
处理器获取批次步骤，处理器从任务调度数据库中获取关联的批次；
处理器处理任务步骤，处理器对关联的批次所关联的任务进行处理；
任务调度器重分配步骤，任务调度器定时检查处理器的在线状态，将在线状态为下线的处理器作为下线处理器，将在线状态为在线的处理器作为在线处理器，获取与所述下线处理器关联的批次作为待分配批次，将所述待分配批次重新与一个在线处理器关联；
所述协调分类步骤中所述同一批次关联一个或多个任务包括:同一批次关联一个或多个相同处理类型的任务；
所述任务调度器重分配步骤中，当任务调度器将所述待分配批次重新与一个在线处理器关联前，设定任务调度数据库的状态为正在重新分配批次状态，当任务调度器将所述待分配批次重新与一个在线处理器关联后，设定任务调度数据库的状态为正常工作状态；
所述处理器获取批次步骤，具体包括：
处理器检查任务调度数据库的状态：
如果任务调度数据库的状态为正在重新分配批次状态，则处理器间隔预设时间后重新执行所述处理器获取批次步骤；
如果任务调度数据库的状态为正常工作状态，则处理器从任务调度数据库中获取关联的批次，对关联的批次所关联的任务进行处理。
2.根据权利要求1所述的分布式数据处理协调方法，其特征在于，还包括：
处理器心跳发送步骤，处理器定时向任务调度数据库发送心跳信息；
所述任务调度器重分配步骤中，任务调度器将超过预设时间内没有向任务调度数据库发送心跳信息的处理器的在线状态设为下线状态，将在预设时间内向任务调度数据库发送心跳信息的处理器的在线状态设为在线状态。
3.根据权利要求1所述的分布式数据处理协调方法，其特征在于，还包括：
处理器注册步骤，处理器向任务调度数据库发送注册信息，任务调度数据库保存所述注册信息，并将处理器记录为已注册的处理器；
所述协调分类步骤中，任务调度器将每个批次与一个在任务调度数据库中已注册的处理器关联。
4.根据权利要求3所述的分布式数据处理协调方法，其特征在于：
所述处理器注册步骤，具体包括：处理器向任务调度数据库发送包括处理类型的注册信息，任务调度数据库保存所述注册信息，并将处理器记录为已注册的处理器，注册信息中的处理类型作为该已注册的处理器的处理类型；
所述协调分类步骤中，任务调度器对任务调度数据库中的任务进行分类，为每个任务关联批次，同一批次关联一个或多个相同处理类型的任务，并将每个批次与一个在任务调度数据库中已注册且具有相同处理类型的处理器关联。
5.一种分布式数据处理协调系统，其特征在于，包括：
协调分类模块，用于任务调度器对任务调度数据库中的任务进行分类，为每个任务关联批次，同一批次关联一个或多个任务，并将每个批次与一个处理器关联；
处理器获取批次模块，用于处理器从任务调度数据库中获取关联的批次；
处理器处理任务模块，用于处理器对关联的批次所关联的任务进行处理；
任务调度器重分配模块，用于任务调度器定时检查处理器的在线状态，将在线状态为下线的处理器作为下线处理器，将在线状态为在线的处理器作为在线处理器，获取与所述下线处理器关联的批次作为待分配批次，将所述待分配批次重新与一个在线处理器关联；
所述协调分类模块中所述同一批次关联一个或多个任务包括:同一批次关联一个或多个相同处理类型的任务；
所述任务调度器重分配模块中，当任务调度器将所述待分配批次重新与一个在线处理器关联前，设定任务调度数据库的状态为正在重新分配批次状态，当任务调度器将所述待分配批次重新与一个在线处理器关联后，设定任务调度数据库的状态为正常工作状态；
所述处理器获取批次模块，具体用于：
处理器检查任务调度数据库的状态：
如果任务调度数据库的状态为正在重新分配批次状态，则处理器间隔预设时间后重新执行所述处理器获取批次模块；
如果任务调度数据库的状态为正常工作状态，则处理器从任务调度数据库中获取关联的批次，对关联的批次所关联的任务进行处理。
6.根据权利要求5所述的分布式数据处理协调系统，其特征在于，还包括：
处理器心跳发送模块，用于处理器定时向任务调度数据库发送心跳信息；
所述任务调度器重分配模块中，任务调度器将超过预设时间内没有向任务调度数据库发送心跳信息的处理器的在线状态设为下线状态，将在预设时间内向任务调度数据库发送心跳信息的处理器的在线状态设为在线状态。
7.根据权利要求5所述的分布式数据处理协调系统，其特征在于，还包括：
处理器注册模块，用于处理器向任务调度数据库发送注册信息，任务调度数据库保存所述注册信息，并将处理器记录为已注册的处理器；
所述协调分类模块中，任务调度器将每个批次与一个在任务调度数据库中已注册的处理器关联。
8.根据权利要求7所述的分布式数据处理协调系统，其特征在于：
所述处理器注册模块，具体用于：处理器向任务调度数据库发送包括处理类型的注册信息，任务调度数据库保存所述注册信息，并将处理器记录为已注册的处理器，注册信息中的处理类型作为该已注册的处理器的处理类型；
所述协调分类模块中，任务调度器对任务调度数据库中的任务进行分类，为每个任务关联批次，同一批次关联一个或多个相同处理类型的任务，并将每个批次与一个在任务调度数据库中已注册且具有相同处理类型的处理器关联。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4中任意一项所述的分布式数据处理协调方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410710691.4A CN104462302B (zh) | 2014-11-28 | 2014-11-28 | 一种分布式数据处理协调方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410710691.4A CN104462302B (zh) | 2014-11-28 | 2014-11-28 | 一种分布式数据处理协调方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104462302A CN104462302A (zh) | 2015-03-25 |
| CN104462302B true CN104462302B (zh) | 2018-04-27 |
Family
ID=52908337
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410710691.4A Active CN104462302B (zh) | 2014-11-28 | 2014-11-28 | 一种分布式数据处理协调方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104462302B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104793994A (zh) * | 2015-04-27 | 2015-07-22 | 中国农业银行股份有限公司 | 批量作业处理方法、装置及系统 |
| US9870266B2 (en) | 2015-07-30 | 2018-01-16 | Nasdaq, Inc. | Background job processing framework |
| US9924041B2 (en) * | 2015-12-01 | 2018-03-20 | Afiniti Europe Technologies Limited | Techniques for case allocation |
| CN107092528A (zh) * | 2016-12-30 | 2017-08-25 | 北京小度信息科技有限公司 | 一种分布式任务调度方法、装置及系统 |
| CN107067187A (zh) * | 2017-05-09 | 2017-08-18 | 北京凤凰理理它信息技术有限公司 | 电话任务管理方法、存储设备、存储介质和装置 |
| CN109711779A (zh) * | 2018-12-26 | 2019-05-03 | 广东嘉腾机器人自动化有限公司 | 一种订单分配方法及存储装置及订单分配系统 |
| CN109858817A (zh) * | 2019-02-03 | 2019-06-07 | 北京奇艺世纪科技有限公司 | 一种工作流管理系统及方法 |
| CN109919749A (zh) * | 2019-03-29 | 2019-06-21 | 北京思特奇信息技术股份有限公司 | 一种对账方法、系统、存储介质及计算机设备 |
| CN110928696B (zh) * | 2020-02-13 | 2020-10-09 | 北京一流科技有限公司 | 用户级线程控制系统及其方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101446906A (zh) * | 2008-12-31 | 2009-06-03 | 中国建设银行股份有限公司 | 一种多批处理任务的调度方法及系统 |
| CN102622265A (zh) * | 2011-01-28 | 2012-08-01 | 天脉聚源(北京)传媒科技有限公司 | 一种任务分配方法和系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101165655A (zh) * | 2006-10-20 | 2008-04-23 | 国际商业机器公司 | 多处理器计算系统及其任务分配方法 |
-
2014
- 2014-11-28 CN CN201410710691.4A patent/CN104462302B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101446906A (zh) * | 2008-12-31 | 2009-06-03 | 中国建设银行股份有限公司 | 一种多批处理任务的调度方法及系统 |
| CN102622265A (zh) * | 2011-01-28 | 2012-08-01 | 天脉聚源(北京)传媒科技有限公司 | 一种任务分配方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104462302A (zh) | 2015-03-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104462302B (zh) | 一种分布式数据处理协调方法及系统 | |
| CN105892996A (zh) | 一种批量数据处理的流水线作业方法及装置 | |
| CN104391918B (zh) | 基于对等部署的分布式数据库查询优先级管理的实现方法 | |
| WO2021004468A1 (zh) | 一种航班舱位资源分配方法及装置 | |
| CN102799467B (zh) | 一种任务分配的方法及系统 | |
| Ouazene et al. | Workload balancing in identical parallel machine scheduling using a mathematical programming method | |
| CN107291550B (zh) | 一种针对迭代应用的Spark平台资源动态分配方法及系统 | |
| CN106681840A (zh) | 一种云操作系统的任务调度方法及装置 | |
| CN104850576B (zh) | 一种基于海量视频的快速特征提取系统 | |
| Hamayun et al. | An optimized shortest job first scheduling algorithm for CPU scheduling | |
| CN105912387A (zh) | 数据处理作业调度方法及装置 | |
| CN105589748A (zh) | 一种业务请求处理方法及装置 | |
| WO2016197918A1 (en) | Query plan and operation-aware communication buffer management | |
| CN106874109A (zh) | 一种分布式作业分发处理方法及系统 | |
| CN106776025A (zh) | 一种计算机集群作业调度方法及其装置 | |
| Rossi et al. | Dynamic set-up rules for hybrid flow shop scheduling with parallel batching machines | |
| CN106201665A (zh) | 一种动态队列布置方法及设备 | |
| CN103595654A (zh) | 基于多核CPU的HQoS实现方法、装置及网络设备 | |
| CN106354552B (zh) | 并行计算任务分配方法和装置 | |
| CN107085579A (zh) | 一种数据采集分发方法及装置 | |
| CN113946430B (zh) | 一种作业调度方法、计算设备及存储介质 | |
| CN113849295A (zh) | 模型训练的方法、装置及计算机可读存储介质 | |
| CN104156505A (zh) | 一种基于用户行为分析的Hadoop集群作业调度方法及装置 | |
| CN107918676B (zh) | 结构化查询的资源优化方法及数据库查询系统 | |
| CN108111590A (zh) | 一种基于多服务节点的数据处理系统及其方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |