CN107370808A - 一种用于对大数据任务进行分布式处理的方法 - Google Patents

一种用于对大数据任务进行分布式处理的方法 Download PDF

Info

Publication number
CN107370808A
CN107370808A CN201710568167.1A CN201710568167A CN107370808A CN 107370808 A CN107370808 A CN 107370808A CN 201710568167 A CN201710568167 A CN 201710568167A CN 107370808 A CN107370808 A CN 107370808A
Authority
CN
China
Prior art keywords
network node
group
order
task
task processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710568167.1A
Other languages
English (en)
Other versions
CN107370808B (zh
Inventor
袁敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Ruidao Network Technology Co.,Ltd.
Original Assignee
Yangcheng Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yangcheng Institute of Technology filed Critical Yangcheng Institute of Technology
Priority to CN201710568167.1A priority Critical patent/CN107370808B/zh
Publication of CN107370808A publication Critical patent/CN107370808A/zh
Application granted granted Critical
Publication of CN107370808B publication Critical patent/CN107370808B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/61—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources taking into account QoS or priority requirements

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer And Data Communications (AREA)
  • Multi Processors (AREA)

Abstract

本发明涉及一种用于对大数据任务进行分布式处理的方法，所述方法包括：确定针对大数据任务的任务处理次序，所述任务处理次序包括组间次序和组内次序；所述组间次序用于指示网络节点所在的组的次序，所述组内次序用于指示网络节点在其所属的组中的次序；根据至少两个网络节点各自对应的任务处理次序，确定所述至少两个网络节点中的要进行任务处理的网络节点，所述至少两个网络节点中任务处理次序低的网络节点的全部或部分任务依赖于至少一个任务处理次序高的网络节点；以及向所述要进行任务处理的网络节点发送任务处理指示，所述任务处理指示用于指示所述要进行任务处理的网络节点开始处理任务。

Description

一种用于对大数据任务进行分布式处理的方法
技术领域
本发明涉及分布式系统领域，并且更具体地涉及一种用于对大数据任务进行分布式处理的方法。
背景技术
目前，大数据平台技术框架支持的开发语言多种多样，开发人员的背景差异也很大，这就产生出大数据任务包括很多不同类型的子任务运行在大数据平台之上的情况，如：MapReduce、Hive、Pig、Spark、Java、Shell、Python等。
通常，这些子任务需要不同的运行环境，并且除了定时运行，各种类型之间的任务存在依赖关系。目前各业务的数据任务基本都是靠Crontab定时调度，各个任务之间的依赖仅靠简单的串行来实现。这样做的问题：很容易造成前面的任务未结束或者失败，后面的任务也运行起来，最终跑出错误的分析结果；任务不能并发执行，增加任务执行的整体时间窗口；任务管理和维护很不方便，不好统计任务的执行时间及运行日志；以及缺乏及时有效的告警。
发明内容
根据本发明的一个方面，提供一种用于对大数据任务进行分布式处理的设备，设备包括：
次序分配单元，用于确定针对大数据任务的任务处理次序，任务处理次序包括组间次序和组内次序；组间次序用于指示网络节点所在的组的次序，组内次序用于指示网络节点在其所属的组中的次序；其中，组间次序低的组中包含的网络节点的全部或部分任务依赖于至少一个组间次序高的组中包含的网络节点；在同一组内，组内次序低的网络节点的全部或部分任务依赖于至少一个组内次序高的网络节点；
任务指定单元，用于根据至少两个网络节点各自对应的任务处理次序，确定至少两个网络节点中的要进行任务处理的网络节点，至少两个网络节点中任务处理次序低的网络节点的全部或部分任务依赖于至少一个任务处理次序高的网络节点；以及控制单元，用于向要进行任务处理的网络节点发送任务处理指示，任务处理指示用于指示要进行任务处理的网络节点开始处理任务。
优选地，任务指定单元，用于当接收到至少两个网络节点中的请求网络节点发送的任务处理请求时，查询至少一个目标组，至少一个目标组是尚未完成任务处理的各个组中组间次序最高的组；获取任务处理列表，任务处理列表中包含每一个目标组中尚未完成任务处理的各个网络节点中、组内次序最高的至少一个网络节点；检测请求网络节点是否存在于任务处理列表中；若请求网络节点存在于任务处理列表中，则确定请求网络节点为要进行任务处理的网络节点。
优选地，任务指定单元，用于当接收到至少两个网络节点中的请求网络节点发送的任务处理请求时，查询请求网络节点的组间次序和组内次序；检测请求网络节点的组间次序是否为至少两个网络节点中尚未完成任务处理的各个网络节点的组间次序中的最高次序；若请求网络节点的组间次序是至少两个网络节点中尚未完成任务处理的各个网络节点的组间次序中的最高次序，则检测请求网络节点的组内次序是否为请求网络节点所在组内尚未完成任务处理的各个网络节点的组内次序中的最高次序；若请求网络节点的组内次序是请求网络节点所在组内尚未完成任务处理的各个网络节点的组内次序中的最高次序，则确定请求网络节点为要进行任务处理的网络节点。
优选地，任务指定单元，用于查询至少一个目标组，目标组是尚未完成任务处理的各个组中、组间次序最高的组；对于至少一个目标组中的每一个目标组，将目标组中尚未完成任务处理的各个网络节点中、组内次序最高的至少一个网络节点确定为要进行任务处理的网络节点。
优选地，系统还包括：
获取单元，用于在任务指定单元根据至少两个网络节点各自对应的任务处理次序，确定至少两个网络节点中的要进行任务处理的网络节点之前，获取至少两个网络节点之间的依赖关系；以及
次序确定单元，用于根据至少两个网络节点之间的依赖关系确定至少两个网络节点各自对应的任务处理次序。
根据本发明的另一个方面，提供一种用于对大数据任务进行分布式处理的方法，包括：
确定针对大数据任务的任务处理次序，任务处理次序包括组间次序和组内次序；组间次序用于指示网络节点所在的组的次序，组内次序用于指示网络节点在其所属的组中的次序；其中，组间次序低的组中包含的网络节点的全部或部分任务依赖于至少一个组间次序高的组中包含的网络节点；在同一组内，组内次序低的网络节点的全部或部分任务依赖于至少一个组内次序高的网络节点；
根据至少两个网络节点各自对应的任务处理次序，确定至少两个网络节点中的要进行任务处理的网络节点，至少两个网络节点中任务处理次序低的网络节点的全部或部分任务依赖于至少一个任务处理次序高的网络节点；以及
向要进行任务处理的网络节点发送任务处理指示，任务处理指示用于指示要进行任务处理的网络节点开始处理任务。
优选地，根据至少两个网络节点各自对应的任务处理次序，确定至少两个网络节点中的要进行任务处理的网络节点，包括：当接收到至少两个网络节点中的请求网络节点发送的任务处理请求时，查询至少一个目标组，至少一个目标组是尚未完成任务处理的各个组中组间次序最高的组；获取任务处理列表，任务处理列表中包含每一个目标组中尚未完成任务处理的各个网络节点中、组内次序最高的至少一个网络节点；检测请求网络节点是否存在于任务处理列表中；若请求网络节点存在于任务处理列表中，则确定请求网络节点为要进行任务处理的网络节点。
优选地，根据至少两个网络节点各自对应的任务处理次序，确定至少两个网络节点中的要进行任务处理的网络节点，包括：当接收到至少两个网络节点中的请求网络节点发送的任务处理请求时，查询请求网络节点的组间次序和组内次序；检测请求网络节点的组间次序是否为至少两个网络节点中尚未完成任务处理的各个网络节点的组间次序中的最高次序；若请求网络节点的组间次序是至少两个网络节点中尚未完成任务处理的各个网络节点的组间次序中的最高次序，则检测请求网络节点的组内次序是否为请求网络节点所在组内尚未完成任务处理的各个网络节点的组内次序中的最高次序；若请求网络节点的组内次序是请求网络节点所在组内尚未完成任务处理的各个网络节点的组内次序中的最高次序，则确定请求网络节点为要进行任务处理的网络节点。
优选地，根据至少两个网络节点各自对应的任务处理次序，确定至少两个网络节点中的要进行任务处理的网络节点，包括：查询至少一个目标组，目标组是尚未完成任务处理的各个组中、组间次序最高的组；对于至少一个目标组中的每一个目标组，将目标组中尚未完成任务处理的各个网络节点中、组内次序最高的至少一个网络节点确定为要进行任务处理的网络节点。
优选地，方法还包括：在根据至少两个网络节点各自对应的任务处理次序，确定至少两个网络节点中的要进行任务处理的网络节点之前，获取至少两个网络节点之间的依赖关系；根据至少两个网络节点之间的依赖关系确定至少两个网络节点各自对应的任务处理次序。
附图说明
通过参考下面的附图，可以更为完整地理解本发明的示例性实施方式：
图1为根据本发明优选实施方式的分布式处理系统的结构示意图；
图2为根据本发明实施方式的分布式处理设备的结构示意图；
图3为根据本发明另一实施方式的分布式处理设备的结构示意图；
图4为根据本发明实施方式的对大数据任务进行分布式处理的方法的流程图；
图5为根据本发明另一实施方式的对大数据任务进行分布式处理的方法的流程图；
图6为根据本发明优选实施方式的分布式处理方法的流程图。
具体实施方式
现在参考附图介绍本发明的示例性实施方式，然而，本发明可以用许多不同的形式来实施，并且不局限于此处描述的实施例，提供这些实施例是为了详尽地且完全地公开本发明，并且向所属技术领域的技术人员充分传达本发明的范围。对于表示在附图中的示例性实施方式中的术语并不是对本发明的限定。在附图中，相同的单元/元件使用相同的附图标记。
除非另有说明，此处使用的术语(包括科技术语)对所属技术领域的技术人员具有通常的理解含义。另外，可以理解的是，以通常使用的词典限定的术语，应当被理解为与其相关领域的语境具有一致的含义，而不应该被理解为理想化的或过于正式的意义。
图1为根据本发明优选实施方式的分布式处理系统100的结构示意图。在现有技术中，在进行大数据任务处理时，各个网络节点的任务处理时序依赖人工去控制。而当网络节点个数较多时，每次大数据任务处理都会占用大量的时间，这是因为网络节点的任务处理操作过程较为复杂。为了解决这个问题，分布式处理系统100预先确定针对大数据任务的任务处理次序，然后根据至少两个网络节点各自对应的任务处理次序，确定至少两个网络节点中的要进行任务处理的网络节点，并且指示要进行任务处理的网络节点开始处理任务。
如图1所示，分布式处理系统100包括网络节点组101-1、101-2、…、101-N，网络设备102以及分布式处理设备103。其中网络节点组101-1、101-2、…、101-N中的每个均包括多个网络节点。每个网络节点用于处理大数据任务中的一个或多个子任务。通常，大数据任务的子任务之间进行次序关系，或依赖关系。即，某些任务的执行需要以另一些任务的完成为基础。
优选地，网络设备102用于将分布式处理设备103与网络节点组101-1、101-2、…、101-N进行通信连接。网络设备102可以将分布式处理设备103的指令发送给网络节点组101-1、101-2、…、101-N。另一方面，网络节点组101-1、101-2、…、101-N可以将与任务处理相关的数据发送给分布式处理设备103以供其进行计算和处理。
优选地，分布式处理设备103确定针对大数据任务的任务处理次序。其中任务处理次序包括组间次序和组内次序。优选地，组间次序用于指示网络节点所在的组的次序，并且组内次序用于指示网络节点在其所属的组中的次序。其中，组间次序低的组中包含的网络节点的全部或部分任务依赖于至少一个组间次序高的组中包含的网络节点。此外，在同一组内，组内次序低的网络节点的全部或部分任务依赖于至少一个组内次序高的网络节点。
优选地，分布式处理设备103根据至少两个网络节点各自对应的任务处理次序，确定至少两个网络节点中的要进行任务处理的网络节点。其中，至少两个网络节点中任务处理次序低的网络节点的全部或部分任务依赖于至少一个任务处理次序高的网络节点。优选地，分布式处理设备103向要进行任务处理的网络节点发送任务处理指示，任务处理指示用于指示要进行任务处理的网络节点开始处理任务。
优选地，分布式处理设备103在接收到至少两个网络节点中的请求网络节点发送的任务处理请求时，查询至少一个目标组。其中，至少一个目标组是尚未完成任务处理的各个组中组间次序最高的组。优选地，分布式处理设备103获取任务处理列表，任务处理列表中包含每一个目标组中尚未完成任务处理的各个网络节点中、组内次序最高的至少一个网络节点。优选地，分布式处理设备103检测请求网络节点是否存在于任务处理列表中。若请求网络节点存在于任务处理列表中，则确定请求网络节点为要进行任务处理的网络节点。
优选地，分布式处理设备103在接收到至少两个网络节点中的请求网络节点发送的任务处理请求时，查询请求网络节点的组间次序和组内次序。优选地，分布式处理设备103检测请求网络节点的组间次序是否为至少两个网络节点中尚未完成任务处理的各个网络节点的组间次序中的最高次序。若请求网络节点的组间次序是至少两个网络节点中尚未完成任务处理的各个网络节点的组间次序中的最高次序，则检测请求网络节点的组内次序是否为请求网络节点所在组内尚未完成任务处理的各个网络节点的组内次序中的最高次序。另一方面，若请求网络节点的组内次序是请求网络节点所在组内尚未完成任务处理的各个网络节点的组内次序中的最高次序，则确定请求网络节点为要进行任务处理的网络节点。
优选地，分布式处理设备103查询至少一个目标组，其中目标组是尚未完成任务处理的各个组中、组间次序最高的组；对于至少一个目标组中的每一个目标组，将目标组中尚未完成任务处理的各个网络节点中、组内次序最高的至少一个网络节点确定为要进行任务处理的网络节点。
优选地，分布式处理设备103在任务指定单元根据至少两个网络节点各自对应的任务处理次序，确定至少两个网络节点中的要进行任务处理的网络节点之前，获取至少两个网络节点之间的依赖关系。优选地，分布式处理设备103根据至少两个网络节点之间的依赖关系确定至少两个网络节点各自对应的任务处理次序。
图1中的分布式处理设备可以以图2中的计算机设备200(或系统)的方式来实现。图2为本发明实施方式的分布式处理设备的结构示意图。如图2所示，将利用计算机设备200来实现分布式处理设备。计算机设备200包括至少一个处理器201，通信总线202，存储器203以及至少一个通信接口204。
优选地，处理器201可以是一个通用中央处理器(CPU)，微处理器，特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制本发明方案程序执行的集成电路。
优选地，通信总线202可包括一通路，在上述组件之间传送信息。通信接口204，使用任何收发器一类的装置，用于与其他设备或通信网络通信，如以太网，无线接入网(RAN)，无线局域网(Wireless Local Area Networks，WLAN)等。
优选地，存储器203可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线与处理器相连接。存储器也可以和处理器集成在一起。
其中，存储器203用于存储执行本发明方案的应用程序代码，并由处理器201来控制执行。处理器201用于执行存储器203中存储的应用程序代码。
在具体实现中，处理器201可以包括一个或多个CPU，每个CPU可以是一个单核(single-core)处理器，也可以是一个多核(multi-Core)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。
在具体实现中，作为一种实施例，计算机设备200还可以包括输入/输出(I/O)接口205。例如，输出设备可以是液晶显示器(liquid crystal display，LCD)，发光二级管(light emitting diode，LED)显示设备，阴极射线管(cathode ray tube，CRT)显示设备，或投影仪(projector)等。输入设备可以是鼠标、键盘、触摸屏设备或传感设备等。
上述的计算机设备200可以是一个通用计算机设备或者是一个专用计算机设备。在具体实现中，计算机设备200可以是台式机、便携式电脑、网络服务器、掌上电脑(Personal Digital Assistant，PDA)、移动手机、平板电脑、无线终端设备、通信设备、嵌入式设备或有图2中类似结构的设备。本发明实施例不限定计算机设备的类型。
如图1中的分布式处理设备可以为图2所示的计算机设备，分布式处理设备的存储器203中存储了一个或多个软件模块(例如：计算模块和判断模块)。分布式处理设备可以通过处理器以及存储器中的程序代码来实现软件模块，数据访问的重定向。
图3为根据本发明另一实施方式的分布式处理设备300的结构示意图。分布式处理设备300预先确定针对大数据任务的任务处理次序，然后根据至少两个网络节点各自对应的任务处理次序，确定至少两个网络节点中的要进行任务处理的网络节点，并且指示要进行任务处理的网络节点开始处理任务。
如图3所示，分布式处理设备300包括：次序分配单元301、任务指定单元302、控制单元303、获取单元304以及次序确定单元305。优选地，次序分配单元301确定针对大数据任务的任务处理次序，任务处理次序包括组间次序和组内次序。其中，组间次序用于指示网络节点所在的组的次序，组内次序用于指示网络节点在其所属的组中的次序。其中，组间次序低的组中包含的网络节点的全部或部分任务依赖于至少一个组间次序高的组中包含的网络节点。此外，在同一组内，组内次序低的网络节点的全部或部分任务依赖于至少一个组内次序高的网络节点。
优选地，任务指定单元302根据至少两个网络节点各自对应的任务处理次序，确定至少两个网络节点中的要进行任务处理的网络节点。其中，至少两个网络节点中任务处理次序低的网络节点的全部或部分任务依赖于至少一个任务处理次序高的网络节点。
优选地，任务指定单元302在接收到至少两个网络节点中的请求网络节点发送的任务处理请求时，查询至少一个目标组。其中至少一个目标组是尚未完成任务处理的各个组中组间次序最高的组。优选地，任务指定单元302获取任务处理列表，任务处理列表中包含每一个目标组中尚未完成任务处理的各个网络节点中、组内次序最高的至少一个网络节点。优选地，任务指定单元302检测请求网络节点是否存在于任务处理列表中。并且，若请求网络节点存在于任务处理列表中，则确定请求网络节点为要进行任务处理的网络节点。
优选地，任务指定单元302在接收到至少两个网络节点中的请求网络节点发送的任务处理请求时，查询请求网络节点的组间次序和组内次序。优选地，任务指定单元302检测请求网络节点的组间次序是否为至少两个网络节点中尚未完成任务处理的各个网络节点的组间次序中的最高次序。优选地，若请求网络节点的组间次序是至少两个网络节点中尚未完成任务处理的各个网络节点的组间次序中的最高次序，则检测请求网络节点的组内次序是否为请求网络节点所在组内尚未完成任务处理的各个网络节点的组内次序中的最高次序。或者，若请求网络节点的组内次序是请求网络节点所在组内尚未完成任务处理的各个网络节点的组内次序中的最高次序，则确定请求网络节点为要进行任务处理的网络节点。
优选地，任务指定单元302查询至少一个目标组，目标组是尚未完成任务处理的各个组中、组间次序最高的组。其中，对于至少一个目标组中的每一个目标组，将目标组中尚未完成任务处理的各个网络节点中、组内次序最高的至少一个网络节点确定为要进行任务处理的网络节点。
优选地，控制单元303向要进行任务处理的网络节点发送任务处理指示，任务处理指示用于指示要进行任务处理的网络节点开始处理任务。
优选地，获取单元304在任务指定单元根据至少两个网络节点各自对应的任务处理次序，确定至少两个网络节点中的要进行任务处理的网络节点之前，获取至少两个网络节点之间的依赖关系.
优选地，次序确定单元305根据至少两个网络节点之间的依赖关系确定至少两个网络节点各自对应的任务处理次序。
图4为根据本发明实施方式的对大数据任务进行分布式处理的方法400的流程图。如图4所示，以网络节点向分布式处理设备主动发起任务处理请求，并在分布式处理设备的控制下进行任务处理为例，对大数据任务进行分布式处理的方法可以包括：
优选地，在步骤401，分布式处理设备获取至少两个网络节点之间的依赖关系。在本发明实施例中，网络节点之间的依赖关系是指一个网络节点的全部或部分功能依赖于另外至少一个网络节点。比如，假设网络节点a要处理任务Wa时，需要从网络节点b获取与任务Wa相关的业务数据，则认为网络节点a对网络节点b有依赖关系。
分布式处理设备获取至少两个网络节点之间的依赖关系时，可以接收各个网络节点上报的依赖信息，该依赖信息用于指示对应的网络节点所依赖的网络节点，比如，网络节点a依赖网络节点b，则网络节点a上报给分布式处理设备的依赖信息中可以包含网络节点b的标识。分布式处理设备对各个网络节点发送的依赖信息进行统计，获得各个网络节点之间的依赖关系。或者，在另一种可能的实现方式中，也可以由管理员通过分布式处理设备的控制界面手动输入或者设置各个网络节点之间的依赖关系。
优选地，在步骤402，分布式处理设备根据该至少两个网络节点之间的依赖关系确定该至少两个网络节点各自对应的任务处理次序。优选地，任务处理次序包括组间次序和组内次序。优选地，组间次序用于指示对应网络节点所在的组的次序，并且组内次序用于指示对应网络节点在该对应网络节点所在的组中的次序。其中，该组间次序低的组中包含的网络节点的全部或部分功能依赖于至少一个该组间次序高的组中包含的网络节点。优选地，在一个该组内，该组内次序低的网络节点的全部或部分功能依赖于至少一个组内次序高的网络节点。
分布式处理设备在根据该至少两个网络节点之间的依赖关系确定该至少两个网络节点各自对应的任务处理次序时，可以根据该至少两个网络节点之间的依赖关系自动生成各个网络节点对应的任务处理次序。或者，分布式处理设备也可以向管理员展示根据各个网络节点之间的依赖关系(比如，向管理员展示可以指示各个网络节点之间的依赖关系的网状图，该网状图中的每个节点表示一个网络节点，网络节点之间的依赖关系通过节点之间的箭头表示)，由管理员根据展示的依赖关系来设置各个网络节点的任务处理次序。
例如，网络中有网络节点A、B、C、D和E五个网络节点。其中，网络节点A依赖网络节点B，网络节点C依赖网络节点D，网络节点C和D与网络节点A和B不相互依赖。网络节点E依赖网络节点A、B、C、D。则分布式处理设备可以将网络节点A、B、C、D、E划分为三个网络节点组，其中，
第1组包括：网络节点A、网络节点B；
第2组包括：网络节点C、网络节点D；
第3组包括：网络节点E。
上述三个组具有各自的组间次序，并且各个网络节点还具有自己的组内次序。上述三个组中每个网络节点的任务处理次序可以表示为X-x，其中，X为网络节点对应的组间次序，x为该网络节点对应的组内次序。
例如，在上述三个组中，组1和组2之间互不依赖，则组1和组2的组间次序可以为1(次序数字越小，表示次序越高)，组3中的网络节点需要依赖组1和组2中的网络节点，则组3的组间次序需要比组1和组2的组间次序低，例如，组3的组间次序可以为2。在单个组内，比如，在组1内，网络节点A需要依赖网络节点B，则网络节点A的组内次序可以设置为2，网络节点B的组内次序可以设置为1。同理，在组2中，网络节点C需要依赖网络节点D，则网络节点C的组内次序可以设置为2，网络节点D的组内次序可以设置为1。组3中只存在一个网络节点E，则网络节点E的组内次序可以设置为1。
综上所述，网络节点A、B、C、D和E的任务处理次序可以如下表1所示：
表1
可选地，在本发明实施例中，分布式处理设备确定该至少两个网络节点各自对应的任务处理次序之后，管理员还可以对其进行人工干预调整，比如，分布式处理设备可以提供任务处理次序调整界面，管理员在该调整界面中对某一个或者多个网络节点的任务处理次序进行人工调整。
优选地，在步骤403，分布式处理设备向该至少两个网络节点发送任务处理通知，该至少两个网络节点中的请求网络节点接收该任务处理通知，该任务处理通知用于指示可以进行网络节点任务处理。当至少两个网络节点需要任务处理时，分布式处理设备向该至少两个网络节点分别发送任务处理通知，以通知这些网络节点可以进行任务处理。
优选地，在步骤404，请求网络节点向分布式处理设备发送任务处理请求，分布式处理设备接收该任务处理请求。该至少两个网络节点中的一个请求网络节点接收到任务处理通知后，即可以向分布式处理设备发送任务处理请求，以查询该请求网络节点是否可以进行任务处理。
优选地，在步骤405，分布式处理设备查询至少一个目标组，该至少一个目标组是尚未完成任务处理的各个组中、组间次序最高的该组。
优选地，在步骤406，分布式处理设备获取任务处理列表，该任务处理列表中包含每一个该目标组中尚未完成任务处理的各个网络节点中、组内次序最高的至少一个网络节点。
优选地，在步骤407，分布式处理设备检测该请求网络节点是否存在于该任务处理列表中。
优选地，在步骤408，若该请求网络节点存在于该任务处理列表中，则分布式处理设备确定该请求网络节点为要进行任务处理的网络节点，向请求网络节点发送任务处理指令，该任务处理指令用于指示该请求网络节点开始任务处理。分布式处理设备接收到请求网络节点发送的任务处理请求后，首先根据该请求网络节点的任务处理次序检测该请求网络节点是否可以任务处理(即检测其是否为此时的要进行任务处理的网络节点)。
在上述步骤405至步骤408所示的方案中，分布式处理设备首先生成用于指示当前任务处理的各个网络节点的任务处理列表，再检测请求网络节点是否存在与该任务处理列表中，如果是，则说明当前未完成任务处理的其它网络节点中没有该请求网络节点需要依赖的网络节点，并向其发送任务处理指令。
可选地，在另一种可能的实现方式中，分布式处理设备在接收到该至少两个网络节点中的请求网络节点发送的任务处理请求时，也可以不获取任务处理列表，而是直接查询该请求网络节点的任务处理次序是否为当前任务处理的各个网络节点中的最高次序，如果是，则向请求网络节点发送任务处理指令，其实现过程如下：
分布式处理设备查询该请求网络节点的组间次序和组内次序；检测该请求网络节点的组间次序是否为该至少两个网络节点中尚未完成任务处理的各个网络节点的组间次序中的最高次序。优选地，若该请求网络节点的组间次序是该至少两个网络节点中尚未完成任务处理的各个网络节点的组间次序中的最高次序，则进一步检测该请求网络节点的组内次序是否为该请求网络节点所在组内尚未完成任务处理的各个网络节点的组内次序中的最高次序。或者若该请求网络节点的组内次序是该请求网络节点所在组内尚未完成任务处理的各个网络节点的组内次序中的最高次序，则确定该请求网络节点为该要进行任务处理的网络节点。
在上述实现过程中，分布式处理设备首先检测请求网络节点的组间次序是否为该至少两个网络节点中尚未完成任务处理的各个网络节点的组间次序中的最高次序，如果是，则说明该请求网络节点所在的组之外的其他组中，不可能存在该请求网络节点需要依赖且未完成任务处理的网络节点；反之，如果否，则说明该请求网络节点所在的组之外的其他组中，可能存在该请求网络节点需要依赖且未完成任务处理的网络节点，此时可以判定请求网络节点不是要进行任务处理的网络节点。
如果请求网络节点的组间次序是尚未完成任务处理的各个网络节点的组间次序中的最高次序，则分布式处理设备进一步检测该请求网络节点的组内次序是否为该请求网络节点所在组内尚未完成任务处理的各个网络节点的组内次序中的最高次序，如果是，则说明在该组内不存在该请求网络节点需要依赖的网络节点；反之，如果否，则说明该组存在该请求网络节点需要依赖的网络节点，此时可以判定请求网络节点不是要进行任务处理的网络节点。如果该请求网络节点的组内次序是该请求网络节点所在组内尚未完成任务处理的各个网络节点的组内次序中的最高次序，则分布式处理设备向该请求网络节点发送任务处理指令。
优选地，在步骤409，请求网络节点接收任务处理指令并开始任务处理。
优选地，在步骤410，请求网络节点任务处理完成后向分布式处理设备发送完成响应。请求网络节点任务处理完成之后，将通知分布式处理设备，以便分布式处理设备及时更新该请求网络节点的任务处理状态。
优选地，在步骤411，若该请求网络节点不存在于该任务处理列表中，则分布式处理设备向请求网络节点发送休眠指令。如果请求网络节点不存在与上述任务处理列表中，则说明未完成任务处理的其它网络节点中可能存在该请求网络节点需要依赖的网络节点，此时，分布式处理设备控制请求网络节点进入休眠状态，暂不任务处理。
优选地，在步骤412，请求网络节点接收该休眠指令，并在休眠指定时间后重新发送任务处理请求。请求网络节点在休眠的一段时间之后，重新向分布式处理设备发起任务处理请求。
比如，以上述网络节点A、B、C、D和E为例，分布式处理设备向网络节点A、B、C、D和E分别发送任务处理通知，分布式处理设备确定当前次序最高且未完成任务处理的组为组1和组2，进一步确定组1和组2中各自组内次序最高的网络节点为网络节点B和网络节点D，则生成用于指示网络节点B和网络节点D的任务处理别表，此时，若分布式处理设备接收到网络节点B或者D发送的任务处理请求，检测出网络节点B或者D存在于任务处理列表中，则向网络节点B或者D发送任务处理指令，网络节点B或者D接收到任务处理指令后，从任务处理包数据库获取任务处理数据包并进行任务处理，并在任务处理完成后向分布式处理设备返回任务处理完成响应，分布式处理设备接收到任务处理完成响应后，可以将网络节点B或者网络节点D从任务处理列表中移除，当任务处理列表中所有网络节点都被移除时，分布式处理设备重新获取任务处理列表。若分布式处理设备接收到网络节点A、C或者E发送的任务处理请求，则分布式处理设备向网络节点A、C或者E发送休眠指令，网络节点A、C或者E进入休眠一段时间(比如一小时)后，重新向分布式处理设备发送任务处理请求。
或者，在另一种可能的实现方式中，假设上述网络节点A、B、C、D和E均未完成任务处理，当分布式处理设备接收到网络节点A、B、C、D和E分别发送的任务处理请求后，首先根据网络节点A、B、C、D和E的组间次序确定网络节点A、B、C和D的组间次序为尚未完成任务处理的组的组间次序中最高次序，向网络节点E发送休眠指令。进一步地，分布式处理设备根据网络节点A、B、C和D的组内次序，确定网络节点B和网络节点D的组内次序是各自组内尚未完成任务处理的网络节点对应的组内次序中的最高次序，则分布式处理设备向网络节点B和网络节点D发送任务处理指令，并向网络节点A和网络节点C发送休眠指令。网络节点B和网络节点D接收到任务处理指令后，从任务处理包数据库获取任务处理数据包并进行任务处理，并在任务处理完成后向分布式处理设备返回任务处理完成响应，分布式处理设备接收到任务处理完成响应后，将网络节点B和网络节点D标记为已完成任务处理，网络节点A、C和E进入休眠一段时间(比如一小时)后，重新向分布式处理设备发送任务处理请求。
优选地，为了使不存在依赖关系的各个网络节点可以并行任务处理，以提高各个网络节点整体的任务处理效率。在本发明实施例中，如果两个组中的各个网络节点之间不存在依赖关系，则在满足与其它各个组之间的依赖关系的情况下，这两个组可以设置相同的组间次序，即这两个组中的网络节点可以同时进行任务处理。类似地，对于一个组中的多个网络节点，若其中两个网络节点之间不存在依赖关系，则在满足与组中其它各个网络节点之间的依赖关系的情况下，这两个网络节点可以设置相同的组内次序，即这两个网络节点可以同时进行任务处理。
综上所述，本发明实施例所示的控制网络节点任务处理的方法，分布式处理设备根据至少两个网络节点各自对应的、用于指示该至少两个网络节点之间的依赖关系的任务处理次序，确定该至少两个网络节点中的要进行任务处理的网络节点，并向该要进行任务处理的网络节点发送任务处理指令，指示该要进行任务处理的网络节点开始任务处理，根据各个网络节点之间的依赖关系自动确定哪些网络节点可以进行任务处理，并自动控制可以任务处理的网络节点进行任务处理，不需要手动选择要进行任务处理的网络节点，从而达到减少网络节点任务处理所占用的人力和时间，降低网络节点任务处理复杂度，以及提高要进行任务处理的网络节点选择准确性的效果。
图5为根据本发明另一实施方式的对大数据任务进行分布式处理的方法的流程图。如图5所示，以分布式处理设备主动通知网络节点进行任务处理为例，对大数据任务进行分布式处理的方法可以包括：
优选地，在步骤501，分布式处理设备获取至少两个网络节点之间的依赖关系。
优选地，在步骤502，分布式处理设备根据该至少两个网络节点之间的依赖关系确定该至少两个网络节点各自对应的任务处理次序。
优选地，在步骤503，分布式处理设备查询至少一个目标组，该至少一个目标组是尚未完成任务处理的各个组中、组间次序最高的该组。
优选地，在步骤504，对于该至少一个目标组中的每一个目标组，分布式处理设备将该目标组中尚未完成任务处理的各个网络节点中、组内次序最高的至少一个网络节点确定为要进行任务处理的网络节点。
在本发明实施例中，分布式处理设备可以主动通知任务处理次序满足条件的网络节点开始任务处理。具体地，分布式处理设备在确定要进行任务处理的网络节点时，首先查询当前未完成任务处理的各个组中，组间次序最高的至少一个组，对于该至少一个组中的每个组，将该组中尚未完成任务处理的各个网络节点中，组内次序最高的网络节点作为要进行任务处理的网络节点。
优选地，在步骤505，分布式处理设备向要进行任务处理的网络节点发送任务处理指令，该任务处理指令用于指示该要进行任务处理的网络节点开始任务处理。
优选地，在步骤506，要进行任务处理的网络节点接收任务处理指令并开始任务处理。
优选地，在步骤507，请求网络节点任务处理完成后向分布式处理设备发送完成响应。
例如，以上述网络节点A、B、C、D和E需要任务处理为例，分布式处理设备首先确定尚未完成任务处理的组中，组间次序最高的组为组1和组2，之后，分布式处理设备进一步从组1和组2中选择尚未完成任务处理且组内次序最高的网络节点B和网络节点D，将这两个网络节点作为要进行任务处理的网络节点，并向网络节点B和网络节点D发送任务处理指令。网络节点B和网络节点D完成任务处理后，向分布式处理设备发送完成响应，分布式处理设备更新网络节点的任务处理状态，并继续确定新的要进行任务处理的网络节点，比如，当分布式处理设备接收到网络节点B发送的完成响应后，可以确定网络节点A为下一个要进行任务处理的网络节点，并向网络节点A发送任务处理指令，当网络节点A、B、C和D都完成任务处理后，分布式处理设备确定网络节点E为要进行任务处理的网络节点。
综上所述，本发明实施例所示的控制网络节点任务处理的方法，分布式处理设备根据至少两个网络节点各自对应的、用于指示该至少两个网络节点之间的依赖关系的任务处理次序，确定该至少两个网络节点中的要进行任务处理的网络节点，并向该要进行任务处理的网络节点发送任务处理指令，指示该要进行任务处理的网络节点开始任务处理，根据各个网络节点之间的依赖关系自动确定哪些网络节点可以进行任务处理，并自动控制可以任务处理的网络节点进行任务处理，不需要手动选择要进行任务处理的的网络节点，从而达到减少网络节点任务处理所占用的人力和时间，降低网络节点任务处理复杂度，以及提高要进行任务处理的网络节点选择准确性的效果。
图6为根据本发明优选实施方式的分布式处理方法600的流程图。在现有技术中，在进行大数据任务处理时，各个网络节点的任务处理时序依赖人工去控制。而当网络节点个数较多时，每次大数据任务处理都会占用大量的时间，这是因为网络节点的任务处理操作过程较为复杂。为了解决这个问题，分布式处理方法600预先确定针对大数据任务的任务处理次序，然后根据至少两个网络节点各自对应的任务处理次序，确定至少两个网络节点中的要进行任务处理的网络节点，并且指示要进行任务处理的网络节点开始处理任务。
优选地，分布式处理方法600从步骤601处开始。优选地，在步骤601，确定针对大数据任务的任务处理次序，任务处理次序包括组间次序和组内次序；组间次序用于指示网络节点所在的组的次序，组内次序用于指示网络节点在其所属的组中的次序；其中，组间次序低的组中包含的网络节点的全部或部分任务依赖于至少一个组间次序高的组中包含的网络节点；在同一组内，组内次序低的网络节点的全部或部分任务依赖于至少一个组内次序高的网络节点。
优选地，在步骤602，根据至少两个网络节点各自对应的任务处理次序，确定至少两个网络节点中的要进行任务处理的网络节点，至少两个网络节点中任务处理次序低的网络节点的全部或部分任务依赖于至少一个任务处理次序高的网络节点；以及
优选地，在步骤603，向要进行任务处理的网络节点发送任务处理指示，任务处理指示用于指示要进行任务处理的网络节点开始处理任务。
优选地，根据至少两个网络节点各自对应的任务处理次序，确定至少两个网络节点中的要进行任务处理的网络节点，包括：当接收到至少两个网络节点中的请求网络节点发送的任务处理请求时，查询至少一个目标组，至少一个目标组是尚未完成任务处理的各个组中组间次序最高的组；获取任务处理列表，任务处理列表中包含每一个目标组中尚未完成任务处理的各个网络节点中、组内次序最高的至少一个网络节点；检测请求网络节点是否存在于任务处理列表中；若请求网络节点存在于任务处理列表中，则确定请求网络节点为要进行任务处理的网络节点。
优选地，根据至少两个网络节点各自对应的任务处理次序，确定至少两个网络节点中的要进行任务处理的网络节点，包括：当接收到至少两个网络节点中的请求网络节点发送的任务处理请求时，查询请求网络节点的组间次序和组内次序；检测请求网络节点的组间次序是否为至少两个网络节点中尚未完成任务处理的各个网络节点的组间次序中的最高次序；若请求网络节点的组间次序是至少两个网络节点中尚未完成任务处理的各个网络节点的组间次序中的最高次序，则检测请求网络节点的组内次序是否为请求网络节点所在组内尚未完成任务处理的各个网络节点的组内次序中的最高次序；若请求网络节点的组内次序是请求网络节点所在组内尚未完成任务处理的各个网络节点的组内次序中的最高次序，则确定请求网络节点为要进行任务处理的网络节点。
优选地，根据至少两个网络节点各自对应的任务处理次序，确定至少两个网络节点中的要进行任务处理的网络节点，包括：查询至少一个目标组，目标组是尚未完成任务处理的各个组中、组间次序最高的组；对于至少一个目标组中的每一个目标组，将目标组中尚未完成任务处理的各个网络节点中、组内次序最高的至少一个网络节点确定为要进行任务处理的网络节点。
优选地，方法还包括：在根据至少两个网络节点各自对应的任务处理次序，确定至少两个网络节点中的要进行任务处理的网络节点之前，获取至少两个网络节点之间的依赖关系；根据至少两个网络节点之间的依赖关系确定至少两个网络节点各自对应的任务处理次序。
已经通过参考少量实施方式描述了本发明。然而，本领域技术人员所公知的，正如附带的专利权利要求所限定的，除了本发明以上公开的其他的实施例等同地落在本发明的范围内。通常地，在权利要求中使用的所有术语都根据他们在技术领域的通常含义被解释，除非在其中被另外明确地定义。所有的参考“一个//该[装置、组件等]”都被开放地解释为装置、组件等中的至少一个实例，除非另外明确地说明。这里公开的任何方法的步骤都没必要以公开的准确的顺序运行，除非明确地说明。

Claims (10)

1.一种用于对大数据任务进行分布式处理的方法，其特征在于，所述方法包括：
确定针对大数据任务的任务处理次序，所述任务处理次序包括组间次序和组内次序；所述组间次序用于指示网络节点所在的组的次序，所述组内次序用于指示网络节点在其所属的组中的次序；其中，所述组间次序低的组中包含的网络节点的全部或部分任务依赖于至少一个组间次序高的组中包含的网络节点；在同一组内，组内次序低的网络节点的全部或部分任务依赖于至少一个组内次序高的网络节点；
根据至少两个网络节点各自对应的任务处理次序，确定所述至少两个网络节点中的要进行任务处理的网络节点，所述至少两个网络节点中任务处理次序低的网络节点的全部或部分任务依赖于至少一个任务处理次序高的网络节点；以及
向所述要进行任务处理的网络节点发送任务处理指示，所述任务处理指示用于指示所述要进行任务处理的网络节点开始处理任务。
2.根据权利要求1所述的一种用于对大数据任务进行分布式处理的方法，其特征在于，所述根据至少两个网络节点各自对应的任务处理次序，确定所述至少两个网络节点中的要进行任务处理的网络节点，包括：当接收到所述至少两个网络节点中的请求网络节点发送的任务处理请求时，查询至少一个目标组，所述至少一个目标组是尚未完成任务处理的各个组中组间次序最高的组；获取任务处理列表，所述任务处理列表中包含每一个所述目标组中尚未完成任务处理的各个网络节点中、组内次序最高的至少一个网络节点；检测所述请求网络节点是否存在于所述任务处理列表中；若所述请求网络节点存在于所述任务处理列表中，则确定所述请求网络节点为所述要进行任务处理的网络节点。
3.根据权利要求1所述的一种用于对大数据任务进行分布式处理的方法，其特征在于，所述根据至少两个网络节点各自对应的任务处理次序，确定所述至少两个网络节点中的要进行任务处理的网络节点，包括：当接收到所述至少两个网络节点中的请求网络节点发送的任务处理请求时，查询所述请求网络节点的组间次序和组内次序；检测所述请求网络节点的组间次序是否为所述至少两个网络节点中尚未完成任务处理的各个网络节点的组间次序中的最高次序；若所述请求网络节点的组间次序是所述至少两个网络节点中尚未完成任务处理的各个网络节点的组间次序中的最高次序，则检测所述请求网络节点的组内次序是否为所述请求网络节点所在组内尚未完成任务处理的各个网络节点的组内次序中的最高次序；若所述请求网络节点的组内次序是所述请求网络节点所在组内尚未完成任务处理的各个网络节点的组内次序中的最高次序，则确定所述请求网络节点为所述要进行任务处理的网络节点。
4.根据权利要求1所述的一种用于对大数据任务进行分布式处理的方法，其特征在于，所述根据至少两个网络节点各自对应的任务处理次序，确定所述至少两个网络节点中的要进行任务处理的网络节点，包括：查询至少一个目标组，所述目标组是尚未完成任务处理的各个组中、组间次序最高的组；对于所述至少一个目标组中的每一个目标组，将所述目标组中尚未完成任务处理的各个网络节点中、组内次序最高的至少一个网络节点确定为所述要进行任务处理的网络节点。
5.根据权利要求1所述的一种用于对大数据任务进行分布式处理的方法，其特征在于，所述方法还包括：在根据至少两个网络节点各自对应的任务处理次序，确定所述至少两个网络节点中的要进行任务处理的网络节点之前，获取所述至少两个网络节点之间的依赖关系；根据所述至少两个网络节点之间的依赖关系确定所述至少两个网络节点各自对应的任务处理次序。
6.一种用于对大数据任务进行分布式处理的设备，其特征在于，包括：
次序分配单元，用于确定针对大数据任务的任务处理次序，所述任务处理次序包括组间次序和组内次序；所述组间次序用于指示网络节点所在的组的次序，所述组内次序用于指示网络节点在其所属的组中的次序；其中，所述组间次序低的组中包含的网络节点的全部或部分任务依赖于至少一个组间次序高的组中包含的网络节点；在同一组内，组内次序低的网络节点的全部或部分任务依赖于至少一个组内次序高的网络节点；
任务指定单元，用于根据至少两个网络节点各自对应的任务处理次序，确定所述至少两个网络节点中的要进行任务处理的网络节点，所述至少两个网络节点中任务处理次序低的网络节点的全部或部分任务依赖于至少一个任务处理次序高的网络节点；以及控制单元，用于向所述要进行任务处理的网络节点发送任务处理指示，所述任务处理指示用于指示所述要进行任务处理的网络节点开始处理任务。
7.根据权利要求6所述的一种用于对大数据任务进行分布式处理的设备，其特征在于，所述任务指定单元，用于当接收到所述至少两个网络节点中的请求网络节点发送的任务处理请求时，查询至少一个目标组，所述至少一个目标组是尚未完成任务处理的各个组中组间次序最高的组；获取任务处理列表，所述任务处理列表中包含每一个所述目标组中尚未完成任务处理的各个网络节点中、组内次序最高的至少一个网络节点；检测所述请求网络节点是否存在于所述任务处理列表中；若所述请求网络节点存在于所述任务处理列表中，则确定所述请求网络节点为所述要进行任务处理的网络节点。
8.根据权利要求6所述的一种用于对大数据任务进行分布式处理的设备，其特征在于，所述任务指定单元，用于当接收到所述至少两个网络节点中的请求网络节点发送的任务处理请求时，查询所述请求网络节点的组间次序和组内次序；检测所述请求网络节点的组间次序是否为所述至少两个网络节点中尚未完成任务处理的各个网络节点的组间次序中的最高次序；若所述请求网络节点的组间次序是所述至少两个网络节点中尚未完成任务处理的各个网络节点的组间次序中的最高次序，则检测所述请求网络节点的组内次序是否为所述请求网络节点所在组内尚未完成任务处理的各个网络节点的组内次序中的最高次序；若所述请求网络节点的组内次序是所述请求网络节点所在组内尚未完成任务处理的各个网络节点的组内次序中的最高次序，则确定所述请求网络节点为所述要进行任务处理的网络节点。
9.根据权利要求6所述的一种用于对大数据任务进行分布式处理的设备，其特征在于，所述任务指定单元，用于查询至少一个目标组，所述目标组是尚未完成任务处理的各个组中、组间次序最高的组；对于所述至少一个目标组中的每一个目标组，将所述目标组中尚未完成任务处理的各个网络节点中、组内次序最高的至少一个网络节点确定为所述要进行任务处理的网络节点。
10.根据权利要求6所述的一种用于对大数据任务进行分布式处理的设备，其特征在于，所述系统还包括：
获取单元，用于在所述任务指定单元根据至少两个网络节点各自对应的任务处理次序，确定所述至少两个网络节点中的要进行任务处理的网络节点之前，获取所述至少两个网络节点之间的依赖关系；以及
次序确定单元，用于根据所述至少两个网络节点之间的依赖关系确定所述至少两个网络节点各自对应的任务处理次序。
CN201710568167.1A 2017-07-13 2017-07-13 一种用于对大数据任务进行分布式处理的方法 Active CN107370808B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710568167.1A CN107370808B (zh) 2017-07-13 2017-07-13 一种用于对大数据任务进行分布式处理的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710568167.1A CN107370808B (zh) 2017-07-13 2017-07-13 一种用于对大数据任务进行分布式处理的方法

Publications (2)

Publication Number Publication Date
CN107370808A true CN107370808A (zh) 2017-11-21
CN107370808B CN107370808B (zh) 2020-06-12

Family

ID=60306791

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710568167.1A Active CN107370808B (zh) 2017-07-13 2017-07-13 一种用于对大数据任务进行分布式处理的方法

Country Status (1)

Country Link
CN (1) CN107370808B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108021460A (zh) * 2017-12-06 2018-05-11 锐捷网络股份有限公司 基于Spark的任务处理方法及装置
CN108874520A (zh) * 2018-06-06 2018-11-23 成都四方伟业软件股份有限公司 计算方法及装置
CN111435938A (zh) * 2019-01-14 2020-07-21 阿里巴巴集团控股有限公司 一种数据请求的处理方法、装置及其设备
CN113467407A (zh) * 2021-09-06 2021-10-01 西安热工研究院有限公司 一种分散控制系统故障信息收集方法、系统及设备
WO2023200686A3 (en) * 2022-04-13 2023-11-16 Qualcomm Incorporated Location as a service

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1818868A (zh) * 2006-03-10 2006-08-16 浙江大学 嵌入式操作系统多任务并行启动优化实现方法
CN101038559A (zh) * 2006-09-11 2007-09-19 中国工商银行股份有限公司 批量任务调度引擎及调度方法
CN104520811A (zh) * 2014-05-09 2015-04-15 华为技术有限公司 优化具有多个中央处理器的计算机的启动时间的系统及方法
CN104915260A (zh) * 2015-06-19 2015-09-16 北京搜狐新媒体信息技术有限公司 一种Hadoop集群管理任务的分发方法和系统
WO2016159883A1 (en) * 2015-03-30 2016-10-06 National University Of Singapore Extracting information from a data set in a distributed computing environment
CN106557471A (zh) * 2015-09-24 2017-04-05 上海汽车集团股份有限公司 任务调度方法及装置
US20170147400A1 (en) * 2015-11-24 2017-05-25 Informatica Llc Method, apparatus, and computer-readable medium for performing a data exchange

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1818868A (zh) * 2006-03-10 2006-08-16 浙江大学 嵌入式操作系统多任务并行启动优化实现方法
CN101038559A (zh) * 2006-09-11 2007-09-19 中国工商银行股份有限公司 批量任务调度引擎及调度方法
CN104520811A (zh) * 2014-05-09 2015-04-15 华为技术有限公司 优化具有多个中央处理器的计算机的启动时间的系统及方法
WO2016159883A1 (en) * 2015-03-30 2016-10-06 National University Of Singapore Extracting information from a data set in a distributed computing environment
CN104915260A (zh) * 2015-06-19 2015-09-16 北京搜狐新媒体信息技术有限公司 一种Hadoop集群管理任务的分发方法和系统
CN106557471A (zh) * 2015-09-24 2017-04-05 上海汽车集团股份有限公司 任务调度方法及装置
US20170147400A1 (en) * 2015-11-24 2017-05-25 Informatica Llc Method, apparatus, and computer-readable medium for performing a data exchange

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王相伟: ""基于Hadoop的用电信息大数据计算服务与应用"", 《电网技术》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108021460A (zh) * 2017-12-06 2018-05-11 锐捷网络股份有限公司 基于Spark的任务处理方法及装置
CN108874520A (zh) * 2018-06-06 2018-11-23 成都四方伟业软件股份有限公司 计算方法及装置
CN111435938A (zh) * 2019-01-14 2020-07-21 阿里巴巴集团控股有限公司 一种数据请求的处理方法、装置及其设备
CN113467407A (zh) * 2021-09-06 2021-10-01 西安热工研究院有限公司 一种分散控制系统故障信息收集方法、系统及设备
CN113467407B (zh) * 2021-09-06 2021-11-16 西安热工研究院有限公司 一种分散控制系统故障信息收集方法、系统及设备
WO2023200686A3 (en) * 2022-04-13 2023-11-16 Qualcomm Incorporated Location as a service

Also Published As

Publication number Publication date
CN107370808B (zh) 2020-06-12

Similar Documents

Publication Publication Date Title
CN107370808A (zh) 一种用于对大数据任务进行分布式处理的方法
US11394628B1 (en) Monitoring and performance improvement of enterprise applications
US10423443B2 (en) Task management interface
US10877801B2 (en) Systems and methods for scheduling tasks
EP3098731B1 (en) System for linking diverse data systems
US10223437B2 (en) Adaptive data repartitioning and adaptive data replication
US20150142699A1 (en) Driving an Interactive Decision Service From a Forward-Chaining Rule Engine
WO2021076324A1 (en) Multi-faceted trust system
CN109885452A (zh) 性能监控方法、装置及终端设备
US11381463B2 (en) System and method for a generic key performance indicator platform
JP2012243325A5 (zh)
US20220198322A1 (en) Techniques for auto-remediating security issues with artificial intelligence
EP2739097B1 (en) A mobile telecommunication device in a cellular-digital wireless telecommunication system and a method for operating thereof
CN111966361B (zh) 用于确定待部署模型的方法、装置、设备及其存储介质
CN111191879A (zh) 一种综合评估的方法和系统
CN111355622A (zh) 容器的业务监控方法、系统和计算机可读存储介质
JP2022554384A (ja) ネットワークデータ分析方法、機能エンティティ及び電子機器
CN110291503A (zh) 信息处理系统和信息处理方法
CN109558248A (zh) 一种用于确定面向海洋模式计算的资源分配参数的方法及系统
CN109684172A (zh) 基于访问频率的日志推送方法、系统、设备及存储介质
WO2022057564A1 (zh) 通信方法及装置、系统
CN114924862A (zh) 利用整数规划求解器实现的任务处理方法、设备和介质
CN114707654A (zh) 基于人工智能框架的算法训练推理性能可视化方法及装置
CN115129463A (zh) 算力调度方法及装置、系统及存储介质
CN112700099A (zh) 基于强化学习和运筹学的资源调度规划方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210330

Address after: 224000 Building 5, No.49, Wengang South Road, Yannan high tech Zone, Yancheng City, Jiangsu Province

Patentee after: YANCHENG YIDONG TECHNOLOGY SERVICE Co.,Ltd.

Address before: 224051 Yancheng Institute Of Technology, 1 hope Avenue Middle Road, Yancheng City, Jiangsu

Patentee before: YANCHENG INSTITUTE OF TECHNOLOGY

TR01 Transfer of patent right
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20211213

Address after: 224041 group 3, Gougang village, Wuyou street, Yannan high tech Zone, Yancheng City, Jiangsu Province

Patentee after: YANCHENG JINGSHENG PETROCHEMICAL MACHINERY CO.,LTD.

Address before: 224000 Building 5, No.49, Wengang South Road, Yannan high tech Zone, Yancheng City, Jiangsu Province

Patentee before: YANCHENG YIDONG TECHNOLOGY SERVICE CO.,LTD.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221010

Address after: 224000 Building 5, No.49, Wengang South Road, Yannan high tech Zone, Yancheng City, Jiangsu Province

Patentee after: YANCHENG YIDONG TECHNOLOGY SERVICE CO.,LTD.

Address before: 224041 group 3, Gougang village, Wuyou street, Yannan high tech Zone, Yancheng City, Jiangsu Province

Patentee before: YANCHENG JINGSHENG PETROCHEMICAL MACHINERY CO.,LTD.

Effective date of registration: 20221010

Address after: Room 1714, Building 33, Yuecheng, Zhongnan Century City, Yannan Hi tech Zone, Yancheng City, Jiangsu Province 224000

Patentee after: Jiangsu Huajian Consulting Co.,Ltd.

Address before: 224000 Building 5, No.49, Wengang South Road, Yannan high tech Zone, Yancheng City, Jiangsu Province

Patentee before: YANCHENG YIDONG TECHNOLOGY SERVICE CO.,LTD.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230630

Address after: Room 301, 3rd Floor, Building 28, Yard 1, Wuliqiao 1st Street, Chaoyang District, Beijing, 100024

Patentee after: Beijing Ruidao Network Technology Co.,Ltd.

Address before: Room 1714, Building 33, Yuecheng, Zhongnan Century City, Yannan Hi tech Zone, Yancheng City, Jiangsu Province 224000

Patentee before: Jiangsu Huajian Consulting Co.,Ltd.