CN109445921A - 一种分布式数据任务处理方法及装置 - Google Patents

一种分布式数据任务处理方法及装置 Download PDF

Info

Publication number
CN109445921A
CN109445921A CN201811247136.7A CN201811247136A CN109445921A CN 109445921 A CN109445921 A CN 109445921A CN 201811247136 A CN201811247136 A CN 201811247136A CN 109445921 A CN109445921 A CN 109445921A
Authority
CN
China
Prior art keywords
task
data processing
node
processing node
pending
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811247136.7A
Other languages
English (en)
Inventor
张可佳
李春生
胡亚楠
田枫
刘志刚
杜睿山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeast Petroleum University
Original Assignee
Northeast Petroleum University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeast Petroleum University filed Critical Northeast Petroleum University
Priority to CN201811247136.7A priority Critical patent/CN109445921A/zh
Publication of CN109445921A publication Critical patent/CN109445921A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/485—Task life-cycle, e.g. stopping, restarting, resuming execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues

Abstract

本发明实施例公开了一种分布式数据任务处理方法及装置，所述方法应用于调度服务器，包括：获取当前待执行的任务，将待执行任务生成任务列表，并为每个待执行任务生成对应的任务ID信息；获取当前可用的数据处理节点，将数据处理节点生成处理节点列表，并为每个数据处理节点生成对应节点ID信息；将任务列表中的待执行任务发送至可用的数据处理节点进行数据处理；在任务执行过程中，实时获取当前执行的任务的执行状态，判断任务进程是否中断，若任务已经中断，则返回包含任务ID信息、节点ID信息在内的中断信息至调度服务器，由调度服务器重新分配，在新的数据处理节点处理任务，能够数据分布式计算时任务中断无法快速恢复执行，提高计算效率。

Description

一种分布式数据任务处理方法及装置
技术领域
本发明涉及分布式智能技术领域，具体涉及一种分布式数据任务处理方法及装置。
背景技术
大数据技术虽然包含存储、计算和分析等一系列庞杂的技术，但分布式数据处理一直是其核心，分布式任务数据处理，就是利用分布式计算技术对任务数据进行处理。随着数据量的急剧膨胀，传统集中式数据处理已经渐渐复发适应市场的需求，相对于集中式数据处理，分布式数据处理将原先集中在单节点上的庞大计算任务被负载均衡的分配给分布式网络中的计算机并行的进行处理。虽然分布式系统由若干个独立的计算机组合而成，但是当解决某一个具体的问题时，各部分能够实现高效、统一的任务指令，随时随地都能与用户进行交互，既提高了系统性能，又提升了用户体验。
现有技术中的分布式任务处理，由于数据处理节点的分散特性，造成任务中断时无法快速恢复任务的执行，影响任务处理效率。
发明内容
本发明实施例的目的在于提供一种分布式数据任务处理方法及装置，用以解决现有数据分布式计算时任务中断无法快速恢复执行的问题。
为实现上述目的，本发明实施例提供如下技术方案：
一种分布式数据任务处理方法，应用于调度服务器，包括：
获取当前待执行的一个或多个任务，将一个或多个待执行任务生成任务列表，并为每个待执行任务生成对应的任务ID信息；
获取当前可用的一个或多个数据处理节点，将一个或多个数据处理节点生成处理节点列表，并为每个数据处理节点生成对应节点ID信息；
将任务列表中的一个或多个待执行任务发送至可用的一个或多个数据处理节点进行数据处理；
在任务执行过程中，实时获取当前执行的任务的执行状态，判断任务进程是否中断，若任务已经中断，则返回包含任务ID信息、节点ID信息在内的中断信息至调度服务器，由调度服务器重新将一个或多个待处理任务分配给一个或多个数据处理节点进行任务处理。
作为本发明的优选技术方案，获取当前待执行的一个或多个任务时，判断待执行任务的优先层级，包括获取待执行任务的任务类型、预估执行时间、预估占用资源大小、任务已排队等待时间中的至少一种任务信息，将所述任务信息进行权重比较，获取最高优先级任务进行执行。
作为本发明的优选技术方案，获取当前可用的一个或多个数据处理节点时，判断数据处理节点的优先层级，包括获取数据处理节点的当前工作状态，若所述数据处理节点处于工作状态，判断当前数据处理节点是否处于满负荷状态，若判断结果为是，则获取其他数据处理节点的当前工作状态，将待处理任务发送至空闲数据处理节点；若判断结果为否，则获取已执行任务所用时间、剩余时间，在剩余时间结束后，分配待处理案件至数据处理节点。
作为本发明的优选技术方案，所述分配待处理案件至数据处理节点后，标记当前数据处理节点的状态信息，将状态信息发送至调度服务器，以使调度服务器获取当前数据处理节点的工作状态。
作为本发明的优选技术方案，当任务处理完成后，标记当前数据处理节点的状态信息，将状态信息发送至调度服务器，以使调度服务器获取当前数据节点的工作状态。
作为本发明的优选技术方案，所述将任务列表中的一个或多个待执行任务发送至可用的一个或多个数据处理节点进行数据处理过程中，建立每个待执行任务与数据处理节点之间的安全协议，将每个待执行任务发送给数据处理节点。
本发明实施例还公开一种分布式数据任务处理装置，包括：
任务获取模块，用于获取当前待执行的一个或多个任务，将一个或多个待执行任务生成任务列表，并未每个待执行任务生成对应的任务ID信息；
数据处理节点获取模块，用于获取当前可用的一个或多个数据处理节点，将一个或多个数据处理节点生成处理节点列表，并未每个数据处理节点生成对应节点ID信息；
调配模块，用于获取任务列表中的任务信息，并分配至相应数据处理节点；
任务进程判断模块，用于实时获取当前执行的任务的执行状态，判断任务进程是否中断，若任务已经中断，则返回包含任务ID信息、节点ID信息在内的中断信息至调度服务器，由调度服务器重新将一个或多个待处理任务分配给一个或多个数据处理节点进行任务处理。
作为本发明的优选技术方案，还包括任务优先级判断模块，用于在获取当前待执行的一个或多个任务时，判断待执行任务的优先层级，包括获取待执行任务的任务类型、预估执行时间、预估占用资源大小、任务已排队等待时间中的至少一种任务信息，将所述任务信息进行权重比较，获取最高优先级任务进行执行。
作为本发明的优选技术方案，还包括节点优先级判断模块，用于获取数据处理节点的当前工作状态，若所述数据处理节点处于工作状态，判断当前数据处理节点是否处于满负荷状态，若判断结果为是，则获取其他数据处理节点的当前工作状态，将待处理任务发送至空闲数据处理节点；若判断结果为否，则获取已执行任务所用时间、剩余时间，在剩余时间结束后，分配待处理案件至数据处理节点。
本发明实施例具有如下优点：
本发明实施例利用调度服务器，将获取的任务生成任务列表，并对每个待执行任务生成任务ID信息，以使任务能够根据ID信息被快速捕捉及调配，同时，将数据处理节点也生成节点ID信息，以使数据处理节点能够根据ID信息被快速调用，当任务在当前数据处理节点执行过程中发生中断，则可以快速将包含任务ID信息、节点ID信息的数据返回至调度服务器，由调度服务器重新分配，在新的数据处理节点处理任务，避免异常节点的反复调用，能够数据分布式计算时任务中断无法快速恢复执行，提高计算效率。
附图说明
图1为本发明实施例1提供的方法流程图。
图2为本发明实施例2提供的方法流程图。
图3为本发明实施例4提供的结构框图。
图中：
1-任务获取模块，2-数据处理节点获取模块，3-调配模块，4-任务进程判断模块。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效。
须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时，本说明书中所引用的如“上”、“下”、“左”、右”、“中间”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
实施例1
见图1，为了解决现有数据分布式计算时任务中断无法快速恢复执行的问题，本实施例公开的一种分布式数据任务处理方法，应用于调度服务器。
其中，调度服务器用于实现将任务分配至合适的数据处理节点进行数据处理，在分配过程中通过有效的分配逻辑，将异常任务或异常节点进行重新匹配。
具体的，所述分布式数据任务处理方法包括：
步骤101获取当前待执行的一个或多个任务，将一个或多个待执行任务生成任务列表，并为每个待执行任务生成对应的任务ID信息，以便在分配任务、执行任务时均能够寻踪对应任务。当获取的任务为单一任务时，则将单一任务进行拆分，拆分为子任务，以便能够分配至多个数据处理节点。在进行任务列表生成时，可以将任务列表根据各自任务类型分别分配。
步骤102获取当前可用的一个或多个数据处理节点，将一个或多个数据处理节点生成处理节点列表，并为每个数据处理节点生成对应节点ID信息，以便分配任务时便于寻址。在进行数据处理节点列表生成时，为便于处理，可以将一定数量的数据处理节点汇总为一个总数据处理节点，再将若干总数据处理节点汇总至处理节点列表。
步骤103将任务列表中的一个或多个待执行任务发送至可用的一个或多个数据处理节点进行数据处理。
步骤104在任务执行过程中，实时获取当前执行的任务的执行状态，判断任务进程是否中断。
S105若判断结果为是，即任务已经中断，则返回包含任务ID信息、节点ID信息在内的中断信息至调度服务器。
S106由调度服务器重新将一个或多个待处理任务分配给一个或多个数据处理节点进行任务处理，在新的数据处理节点处理任务，避免异常节点的反复调用。
实施例2
见图2，为了解决现有数据分布式计算时任务中断无法快速恢复执行的问题，本实施例公开的一种分布式数据任务处理方法，应用于调度服务器，所述方法包括：
步骤201获取当前待执行的一个或多个任务，将一个或多个待执行任务生成任务列表，并为每个待执行任务生成对应的任务ID信息，以便在分配任务、执行任务时均能够寻踪对应任务。获取当前待执行的一个或多个任务时，判断待执行任务的优先层级，包括获取待执行任务的任务类型、预估执行时间、预估占用资源大小、任务已排队等待时间中的至少一种任务信息，将所述任务信息进行权重比较，获取最高优先级任务进行执行。如任务类型为后台辅助任务，则将后台辅助任务延时执行，如任务预估执行时间过长(与预设阈值对比)，则将任务进行拆分执行或者提至空闲数据处理节点率先执行，如任务排队等待时间过长，则率先执行。
步骤202获取当前可用的一个或多个数据处理节点，将一个或多个数据处理节点生成处理节点列表，并为每个数据处理节点生成对应节点ID信息，以便分配任务时便于寻址。获取当前可用的一个或多个数据处理节点时，判断数据处理节点的优先层级，包括获取数据处理节点的当前工作状态，若所述数据处理节点处于工作状态，判断当前数据处理节点是否处于满负荷状态，若判断结果为是，则获取其他数据处理节点的当前工作状态，将待处理任务发送至空闲数据处理节点；若判断结果为否，则获取已执行任务所用时间、剩余时间，在剩余时间结束后，分配待处理案件至数据处理节点。
步骤203将任务列表中的一个或多个待执行任务发送至可用的一个或多个数据处理节点进行数据处理。分配待处理案件至数据处理节点后，标记当前数据处理节点的状态信息，将状态信息发送至调度服务器，以使调度服务器获取当前数据处理节点的工作状态，以便于待执行任务分配时，不再访问该数据处理节点。当任务处理完成后，标记当前数据处理节点的状态信息，将状态信息发送至调度服务器，以使调度服务器获取当前数据节点的工作状态，以便于之后待执行任务的再次分配。
步骤204在任务执行过程中，实时获取当前执行的任务的执行状态，判断任务进程是否中断。
步骤205若判断结果为是，即任务已经中断，则返回包含任务ID信息、节点ID信息在内的中断信息至调度服务器。
步骤206重新将一个或多个待处理任务分配给一个或多个数据处理节点进行任务处理，在新的数据处理节点处理任务，避免异常节点的反复调用。
实施例3
为了进一步的在分布式任务计算时保证数据传输的安全性，本实施例公开的一种分布式数据任务处理方法，在实施例1或实施例2的前提下，所述将任务列表中的一个或多个待执行任务发送至可用的一个或多个数据处理节点进行数据处理过程中，建立每个待执行任务与数据处理节点之间的安全协议，将每个待执行任务发送给数据处理节点。
实施例4
为了解决现有数据分布式计算时任务中断无法快速恢复执行的问题，本实施例公开一种分布式数据任务处理装置，该装置可以为硬件装置，比如中央处理器、存储器等硬件装置，也可以为安装在任意类型或型号的设备中的软件，或者兼具硬件与软件的设备，比如手机、计算机等设备。见图3，本实施例公开一种分布式数据任务处理装置包括：
任务获取模块41，用于获取当前待执行的一个或多个任务，将一个或多个待执行任务生成任务列表，并未每个待执行任务生成对应的任务ID信息；
数据处理节点获取模块42，用于获取当前可用的一个或多个数据处理节点，将一个或多个数据处理节点生成处理节点列表，并未每个数据处理节点生成对应节点ID信息；
调配模块43，用于获取任务列表中的任务信息，并分配至相应数据处理节点；
任务进程判断模块44，用于实时获取当前执行的任务的执行状态，判断任务进程是否中断，若任务已经中断，则返回包含任务ID信息、节点ID信息在内的中断信息至调度服务器，由调度服务器重新将一个或多个待处理任务分配给一个或多个数据处理节点进行任务处理。
在本发明的一种实施例中，还包括任务优先级判断模块，用于在获取当前待执行的一个或多个任务时，判断待执行任务的优先层级，包括获取待执行任务的任务类型、预估执行时间、预估占用资源大小、任务已排队等待时间中的至少一种任务信息，将所述任务信息进行权重比较，获取最高优先级任务进行执行。
在本发明的一种实施例中，还包括节点优先级判断模块，用于获取数据处理节点的当前工作状态，若所述数据处理节点处于工作状态，判断当前数据处理节点是否处于满负荷状态，若判断结果为是，则获取其他数据处理节点的当前工作状态，将待处理任务发送至空闲数据处理节点；若判断结果为否，则获取已执行任务所用时间、剩余时间，在剩余时间结束后，分配待处理案件至数据处理节点。
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (9)

1.一种分布式数据任务处理方法，其特征在于，应用于调度服务器，包括：
获取当前待执行的一个或多个任务，将一个或多个待执行任务生成任务列表，并为每个待执行任务生成对应的任务ID信息；
获取当前可用的一个或多个数据处理节点，将一个或多个数据处理节点生成处理节点列表，并为每个数据处理节点生成对应节点ID信息；
将任务列表中的一个或多个待执行任务发送至可用的一个或多个数据处理节点进行数据处理；
在任务执行过程中，实时获取当前执行的任务的执行状态，判断任务进程是否中断，若任务已经中断，则返回包含任务ID信息、节点ID信息在内的中断信息至调度服务器，由调度服务器重新将一个或多个待处理任务分配给一个或多个数据处理节点进行任务处理。
2.根据权利要求1所述的一种分布式数据任务处理方法，其特征在于，获取当前待执行的一个或多个任务时，判断待执行任务的优先层级，包括获取待执行任务的任务类型、预估执行时间、预估占用资源大小、任务已排队等待时间中的至少一种任务信息，将所述任务信息进行权重比较，获取最高优先级任务进行执行。
3.根据权利要求1所述的一种分布式数据任务处理方法，其特征在于，获取当前可用的一个或多个数据处理节点时，判断数据处理节点的优先层级，包括获取数据处理节点的当前工作状态，若所述数据处理节点处于工作状态，判断当前数据处理节点是否处于满负荷状态，若判断结果为是，则获取其他数据处理节点的当前工作状态，将待处理任务发送至空闲数据处理节点；若判断结果为否，则获取已执行任务所用时间、剩余时间，在剩余时间结束后，分配待处理案件至数据处理节点。
4.根据权利要求3所述的一种分布式数据任务处理方法，其特征在于，所述分配待处理案件至数据处理节点后，标记当前数据处理节点的状态信息，将状态信息发送至调度服务器，以使调度服务器获取当前数据处理节点的工作状态。
5.根据权利要求4所述的一种分布式数据任务处理方法，其特征在于，当任务处理完成后，标记当前数据处理节点的状态信息，将状态信息发送至调度服务器，以使调度服务器获取当前数据节点的工作状态。
6.根据权利要求1所述的一种分布式数据任务处理方法，其特征在于，所述将任务列表中的一个或多个待执行任务发送至可用的一个或多个数据处理节点进行数据处理过程中，建立每个待执行任务与数据处理节点之间的安全协议，将每个待执行任务发送给数据处理节点。
7.一种分布式数据任务处理装置，其特征在于，包括：
任务获取模块，用于获取当前待执行的一个或多个任务，将一个或多个待执行任务生成任务列表，并未每个待执行任务生成对应的任务ID信息；
数据处理节点获取模块，用于获取当前可用的一个或多个数据处理节点，将一个或多个数据处理节点生成处理节点列表，并未每个数据处理节点生成对应节点ID信息；
调配模块，用于获取任务列表中的任务信息，并分配至相应数据处理节点；
任务进程判断模块，用于实时获取当前执行的任务的执行状态，判断任务进程是否中断，若任务已经中断，则返回包含任务ID信息、节点ID信息在内的中断信息至调度服务器，由调度服务器重新将一个或多个待处理任务分配给一个或多个数据处理节点进行任务处理。
8.根据权利要求7所述的一种分布式数据任务处理装置，其特征在于，还包括任务优先级判断模块，用于在获取当前待执行的一个或多个任务时，判断待执行任务的优先层级，包括获取待执行任务的任务类型、预估执行时间、预估占用资源大小、任务已排队等待时间中的至少一种任务信息，将所述任务信息进行权重比较，获取最高优先级任务进行执行。
9.根据权利要求7所述的一种分布式数据任务处理装置，其特征在于，还包括节点优先级判断模块，用于获取数据处理节点的当前工作状态，若所述数据处理节点处于工作状态，判断当前数据处理节点是否处于满负荷状态，若判断结果为是，则获取其他数据处理节点的当前工作状态，将待处理任务发送至空闲数据处理节点；若判断结果为否，则获取已执行任务所用时间、剩余时间，在剩余时间结束后，分配待处理案件至数据处理节点。
CN201811247136.7A 2018-10-24 2018-10-24 一种分布式数据任务处理方法及装置 Pending CN109445921A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811247136.7A CN109445921A (zh) 2018-10-24 2018-10-24 一种分布式数据任务处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811247136.7A CN109445921A (zh) 2018-10-24 2018-10-24 一种分布式数据任务处理方法及装置

Publications (1)

Publication Number Publication Date
CN109445921A true CN109445921A (zh) 2019-03-08

Family

ID=65547439

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811247136.7A Pending CN109445921A (zh) 2018-10-24 2018-10-24 一种分布式数据任务处理方法及装置

Country Status (1)

Country Link
CN (1) CN109445921A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110134502A (zh) * 2019-04-26 2019-08-16 北京迈格威科技有限公司 任务处理方法、装置、系统、计算机设备和存储介质
CN110708576A (zh) * 2019-09-25 2020-01-17 李多 收视数据处理方法、装置以及存储介质
CN111147541A (zh) * 2019-11-18 2020-05-12 广州文远知行科技有限公司 基于参数服务器的节点处理方法、装置、设备及存储介质
CN111966480A (zh) * 2020-08-28 2020-11-20 山东英信计算机技术有限公司 一种任务执行方法及相关装置
CN112149938A (zh) * 2019-06-28 2020-12-29 深圳迈瑞生物医疗电子股份有限公司 一种流水线系统和样本离心方法
CN115048247A (zh) * 2022-07-04 2022-09-13 北京志凌海纳科技有限公司 一种分布式任务的动态分配方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101986272A (zh) * 2010-11-05 2011-03-16 北京大学 一种云计算环境下的任务调度方法
CN103677973A (zh) * 2013-09-01 2014-03-26 西安重装渭南光电科技有限公司 一种分布式多任务调度管理系统
CN107291547A (zh) * 2016-03-31 2017-10-24 阿里巴巴集团控股有限公司 一种任务调度处理方法、装置及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101986272A (zh) * 2010-11-05 2011-03-16 北京大学 一种云计算环境下的任务调度方法
CN103677973A (zh) * 2013-09-01 2014-03-26 西安重装渭南光电科技有限公司 一种分布式多任务调度管理系统
CN107291547A (zh) * 2016-03-31 2017-10-24 阿里巴巴集团控股有限公司 一种任务调度处理方法、装置及系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110134502A (zh) * 2019-04-26 2019-08-16 北京迈格威科技有限公司 任务处理方法、装置、系统、计算机设备和存储介质
CN112149938A (zh) * 2019-06-28 2020-12-29 深圳迈瑞生物医疗电子股份有限公司 一种流水线系统和样本离心方法
CN110708576A (zh) * 2019-09-25 2020-01-17 李多 收视数据处理方法、装置以及存储介质
CN111147541A (zh) * 2019-11-18 2020-05-12 广州文远知行科技有限公司 基于参数服务器的节点处理方法、装置、设备及存储介质
CN111966480A (zh) * 2020-08-28 2020-11-20 山东英信计算机技术有限公司 一种任务执行方法及相关装置
CN115048247A (zh) * 2022-07-04 2022-09-13 北京志凌海纳科技有限公司 一种分布式任务的动态分配方法和系统

Similar Documents

Publication Publication Date Title
CN109445921A (zh) 一种分布式数据任务处理方法及装置
CN103309738B (zh) 用户作业调度方法及装置
CN107087019A (zh) 一种端云协同计算架构及任务调度装置及方法
CN114138486B (zh) 面向云边异构环境的容器化微服务编排方法、系统及介质
CN110113387A (zh) 一种基于分布式批量处理系统的处理方法、装置及系统
CN108170530B (zh) 一种基于混合元启发式算法的Hadoop负载均衡任务调度方法
CN109697122A (zh) 任务处理方法、设备及计算机存储介质
CN104901989B (zh) 一种现场服务提供系统及方法
CN100440891C (zh) 均衡网格负载的方法
CN102111337A (zh) 任务调度方法和系统
CN112000388B (zh) 基于多边缘集群协同的并发任务调度方法及装置
Amoon A fault-tolerant scheduling system for computational grids
CN110187960A (zh) 一种分布式资源调度方法及装置
CN108304256A (zh) 一种边缘计算中低开销的任务调度方法及装置
CN105808346B (zh) 一种任务调度方法与装置
CN103023980A (zh) 一种云平台处理用户服务请求的方法和系统
CN113259415B (zh) 一种网络报文处理方法、装置及网络服务器
CN103595654A (zh) 基于多核CPU的HQoS实现方法、装置及网络设备
CN106060145A (zh) 一种分布式多云数据中心中基于收益的请求访问控制方法
CN112241331A (zh) 一种基于深度神经网络的移动Web任务动态迁移方法
CN104298539B (zh) 基于网络感知的虚拟机调度与再调度方法
CN102609307A (zh) 多核多线程双操作系统网络设备及其控制方法
CN102281202A (zh) 一种调度方法、服务器及系统
CN104468379B (zh) 基于最短逻辑距离的虚拟Hadoop集群节点选择方法及装置
Lin et al. A workload-driven approach to dynamic data balancing in MongoDB

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190308

RJ01 Rejection of invention patent application after publication