CN111885158B - 一种集群任务处理方法、装置、电子设备及存储介质 - Google Patents
一种集群任务处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111885158B CN111885158B CN202010713638.5A CN202010713638A CN111885158B CN 111885158 B CN111885158 B CN 111885158B CN 202010713638 A CN202010713638 A CN 202010713638A CN 111885158 B CN111885158 B CN 111885158B
- Authority
- CN
- China
- Prior art keywords
- node
- task
- nodes
- cluster
- computing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title abstract description 6
- 238000000034 method Methods 0.000 claims abstract description 52
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000004891 communication Methods 0.000 claims description 13
- 239000010410 layer Substances 0.000 description 36
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 235000008694 Humulus lupulus Nutrition 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 239000012792 core layer Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Information Transfer Between Computers (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请提供一种集群任务处理方法、装置、电子设备及存储介质。方法包括：集群中的登录节点接收任务信息，所述任务信息包括任务参数和任务分发结构参数；所述登录节点根据所述任务分发结构参数确定并选择对应的目标任务分发结构；其中，所述目标任务分发结构为预先配置好的；所述登录节点利用所述目标任务分发结构将所述任务信息分发给集群中的计算节点，以使所述计算节点根据所述任务参数执行对应的任务。本申请实施例通过预先配置多个任务分发结构，并根据不同的开销的任务选择不同的任务分发结构，保证任务能够尽快分发到各个计算节点，提高了任务分发的效率。
Description
技术领域
本申请涉及计算机集群技术领域，具体而言，涉及一种集群任务处理方法、装置、电子设备及存储介质。
背景技术
随着社会的发展和科技的进步，人类对于计算能力的需求越来越高。近年来，大型超级计算集群层出不穷。计算能力与日俱增的同时，集群节点数也越来越多，数千乃至上万节点的集群已经不再罕见。如此规模巨大的集群给调试、管理和维护等集群操作带来了巨大的挑战，例如批量安装操作系统、节点状态检查、分发文件等等。单节点或者小规模集群上普通的操作，如果在规模巨大的集群上串行进行，其成百上千倍的执行时间增长显然是无法接受的。即使在集群上并行批量执行，由于单节点负载能力、节点间网络延迟与带宽等限制，时间开销也往往远大于小规模时的情况。快速高效的集群任务批量执行方法对于大规模集群的建设与维护能够起到重要的支持作用。
任务的分发对大规模集群任务的执行效率有重要的影响，现有技术一般在一个主节点上向所有执行节点分发命令，当集群规模很大时会面临严重的单节点、单网络链路性能问题，进而导致任务分发效率低的问题。
发明内容
本申请实施例的目的在于提供一种集群任务处理方法、装置、电子设备及存储介质，用以解决现有技术中任务分发效率低的问题。
第一方面，本申请实施例提供一种集群任务处理方法，包括：集群中的登录节点接收任务信息，所述任务信息包括任务参数和任务分发结构参数；所述登录节点根据所述任务分发结构参数确定并选择对应的目标任务分发结构；其中，所述目标任务分发结构为预先配置好的；所述登录节点利用所述目标任务分发结构将所述任务信息分发给集群中的计算节点，以使所述计算节点根据所述任务参数执行对应的任务。
本申请实施例通过预先配置多个任务分发结构，并根据不同的开销的任务选择不同的任务分发结构，保证任务能够尽快分发到各个计算节点，提高了任务分发的效率。
进一步地，所述集群包括多个接入层交换机、至少一个登录节点、至少一个管理节点和多个计算节点；所述登录节点、所述管理节点和所述计算节点均与对应的接入层交换机通信连接；所述在所述登录节点根据所述任务分发结构参数确定对应的目标任务分发结构之前，所述方法还包括：通过如下方式预先配置多个集群任务分发结构：将一个接入层交换机或多个接入层交换机对应的计算节点分为一组，并且将集群中的登录节点和管理节点分散配置到各组中；将所述集群中的登录节点配置为分发任务的主节点；从每个分组中选择一个节点配置为头节点。
本申请实施例通过将临近的接入层交换机对应的节点划分为一组，相比任意划分，减少了整个集群任务执行时所经过的网络连接跳数，提高集群任务的执行效率。
进一步地，所述从每个分组中选择一个节点配置为头节点，包括：若分组中包括至少一个管理节点，则将任意一个管理节点配置为头节点；若分组中没有管理节点，则从对应的计算节点中选择一个配置为头节点。
进一步地，所述方法还包括：针对每一分组，若分组中包括管理节点和计算节点，将分组中的管理节点分为一层，计算节点作为管理节点对应层的下一层。
本申请实施例通过从每个分组中选择一个节点作为头节点，能够用于接收主节点发送的任务，并且将任务分发到组内的计算节点，以使计算节点处理该任务，避免了主节点直接向各个组中的计算节点进行任务的分发，使得主节点的负载过大的问题。
进一步地，所述方法还包括：将计算节点对应的层再次分为多个层，每层包括至少一个计算节点。通过再次分为多层使得该任务分发结构能够更加充分利用各个计算节点的带宽，进一步提高对数据处理的效率。
进一步地，所述任务信息还包括目标返回参数；所述登录节点接收计算节点返回的与所述目标返回参数相对应的返回值。
本申请实施例通过指定目标返回参数使得计算节点只返回与目标返回参数相对应的返回值即可，无需将所有的返回值都返回，从而节约了大量的工作，提高了返回的效率。
进一步地，所述登录节点利用所述目标任务分发结构将所述任务信息分发给集群中的计算节点，以使所述计算节点根据所述任务参数执行对应的任务，包括：若分组中的头节点为管理节点，则所述主节点将所述任务信息分发给头节点，以使所述头节点将所述任务信息分发给对应的计算节点，以使所述计算节点根据所述任务参数执行对应的任务；若分组中的头节点为计算节点，则所述主节点将所述任务信息分发给头节点，以使所述头节点将所述任务信息分发给除所述头节点之外的其他计算节点，并且头节点和其他计算节点根据所述任务参数执行对应的任务。
第二方面，本申请实施例提供一种集群任务处理装置，包括：信息接收模块，用于接收任务信息，所述任务信息包括任务参数和任务分发结构参数；结构确定模块，用于根据所述任务分发结构参数确定对应的目标任务分发结构；其中，所述目标任务分发结构为预先配置好的；任务分发模块，用于利用所述目标任务分发结构将所述任务信息分发给集群中的计算节点，以使所述计算节点根据所述任务参数执行对应的任务。
第三方面，本申请实施例提供一种电子设备，包括：处理器、存储器和总线，其中，所述处理器和所述存储器通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行第一方面的方法。
第四方面，本申请实施例提供一种非暂态计算机可读存储介质，包括：所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行第一方面的方法。
本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种集群任务处理方法流程示意图；
图2为一种典型的集群网络拓扑；
图3为本申请实施例提供的一种任务分发结构示意图；
图4为本申请实施例提供的另一种任务分发结构示意图；
图5为本申请实施例提供的集群任务处理装置结构示意图；
图6为本申请实施例提供的电子设备实体结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
为了解决现有技术中的任务分发效率低的问题，本申请实施例提供一种集群任务处理方法，根据待执行的任务开销的大小选择对应的任务分发结构，例如：对于任务开销小的任务，那么可以选择集群默认的任务分发结构，对于任务开销大的任务，可以选择经过配置的任务分发结构。其中，任务分发结构是指集群任务从主节点达到集群中各个节点所经过的路径的集合，是逻辑结构。通过上述方法提高了任务分发的效率。其具体方法参见图1，包括：
步骤101：集群中的登录节点接收任务信息，所述任务信息包括任务参数和任务分发结构参数；
步骤102：所述登录节点根据所述任务分发结构参数确定对应的目标任务分发结构；其中，所述目标任务分发结构为预先配置好的；
步骤103：所述登录节点利用所述目标任务分发结构将所述任务信息分发给集群中的计算节点，以使所述计算节点根据所述任务参数执行对应的任务。
其中，在步骤101中，集群中可以包括管理节点、登录节点、计算节点等不同角色的节点。其中，管理节点一般运行着集群管理服务程序，登录节点是指工作人员操作的设备，即发布任务的节点，在集群任务批量操作的场景下也可以称之为主节点。计算节点是指接收任务信息并执行相应的任务的节点。当集群中的节点被划分为组时，每组中接收主节点发送的任务信息并向其他计算节点分发任务信息的节点可以称为头节点。
任务参数是指具体任务是什么，例如：查找所有的计算节点中是否有某个目录，或者获取所有计算节点的操作系统类型等等。任务分发结构参数用来表征发送该任务信息对应的任务分发结构，不同的参数用来表征不同的任务分发结构。
在步骤102中，登录节点在接收到工作人员发布的任务后，根据任务信息中的任务分发结构参数确定发送任务的目标任务分发结构。可以理解的是，可以预先配置多个任务分发结构，每种任务分发结构适用于不同大小的任务开销。
在步骤103中，在确定了目标任务分发结构后，登录节点按照目标分发结构将任务信息分配给各个头节点，头节点再将任务信息分配给其所在组的计算节点，使得计算节点根据任务信息中的任务参数执行对应的任务。
本申请实施例通过预先配置多个任务分发结构，并根据不同开销的任务选择不同的任务分发结构，即开销小的任务可以划分较少的组，甚至不分组，开销较大的任务需要划分较多的组，甚至可以将整个集群配置为对等网络结构，因此本申请实施例既保证了执行开销小的任务的灵活性，又能够在执行开销大的任务时充分利用集群硬件资源，提高了任务分发的效率。
在上述实施例的基础上，所述集群包括多个接入层交换机、至少一个登录节点、至少一个管理节点和多个计算节点；所述登录节点、所述管理节点和所述计算节点均与对应的接入层交换机通信连接；所述在所述登录节点根据所述任务分发结构参数确定对应的目标任务分发结构之前，所述方法还包括：
通过如下方式预先配置多个集群任务分发结构：
将一个接入层交换机或多个接入层交换机对应的计算节点分为一组，并且将集群中的登录节点和管理节点分散配置到各组中；
将所述集群中的登录节点配置为分发任务的主节点；
从每个分组中选择一个节点配置为头节点。
在具体的实施过程中，以接入层交换机为单位，根据集群规模，将一个或多个相邻的接入层交换机所连接的计算节点分为一组。如果集群中配有登录节点和管理节点，则将登录节点和管理节点均匀的分散配置到各组中。可以理解的是，因为登录节点和管理节点是用来进行任务的分发的，如果一个组中全都是登录节点和管理节点，则该组中没有可以用来执行任务的节点。因此，通过分组后，每个组中包括的节点类型有以下几种：
1、同时包括登录节点、管理节点和计算节点；
2、包括登录节点和计算节点；
3、包括管理节点和计算节点；
4、只包括计算节点。
可以将集群中的一个登录节点配置为主节点，即工作人员操作的节点，对于集群中包括多个登录节点的情况，每个登录节点都可以由对应的工作人员操作，此时，多个登录节点均可以是主节点。
针对每个组来说，需要从每个组中选择一个节点作为头节点，用于接收主节点发送的任务信息并将任务信息发送给本组内的计算节点。
图2为一种典型的集群网络拓扑示意图，如图2所示，最下层为登录节点(L1、L2)、管理节点(M1-M4)以及大量的计算节点(E1-E16)，可以理解的是，每个分组中的节点数可以不同，图2中给出的每个组中节点数为4，其实际应用中，可以包括更多或更少的节点，本申请实施例针对每组中的节点类型以及节点个数不作具体限定。中间层是接入层交换机(AS1-AS4)，最上层是核心层交换机(CW1、CW2)，可以理解的是，交换机的层数本申请实施例也不作具体限定。该集群中所有节点均可互联互通，但不同节点间的网络连接跳数不同。以从登录节点L1向各计算节点分发命令为例，对于开销很小的任务，可以从L1直接通过交换机向所有计算节点发送任务。
在图2的基础上，还可以将一个或多个接入层交换机对应的节点作为一组，对于每组中，如果该组中包括至少一个管理节点，则将任意一个管理节点配置为头节点；如果分组中没有管理节点，则从对应的计算节点中选择一个计算节点配置为头节点。具体的，可以将该组中与对应的接入层交换机连接的第一个计算节点作为头节点。
应当说明的是，若分组中的头节点为管理节点，则主节点将任务信息分发给头节点，头节点将任务信息分发给所在组的计算节点，计算节点根据任务参数执行对应的任务；若分组中的头节点为计算节点，则主节点将任务信息分发给头节点，头节点将任务信息分发给除头节点之外的其他计算节点，并且头节点和其他计算节点根据任务参数执行对应的任务。
如图3所示，图3中是将每个接入层交换机对应的节点分为一组，每个组中均包括一个管理节点，因此，将每个组中的管理节点配置为头节点，主节点与头节点通信，头节点与对应组的计算节点通信。针对开销较大的任务，可以通过图3的方式，登录节点只向管理节点分发任务，管理节点再向本组的计算节点分发任务。这样一方面可以利用每组内管理节点和计算节点之间的带宽，增加总体聚合带宽，另一方面减少了跨组通信对部分链路的带宽压力，同时减少了跨组通信带来的跳数增加。可以理解的是，如果某个组中没有管理节点，则将选择作为头节点的计算节点与接入层交换机通信。
针对更大开销的任务，还可以再次对各组中的计算节点进行分层，如图4所示，将每个组中的计算节点分成了两层，可以理解的是，还可以分为更多层，具体层数可以根据实际的任务开销进行划分，本申请实施例对此不作具体限定。
基于上述提供的各种任务分发结构，对于有些开销很小的任务，例如查找某一目录是否在各个节点都存在，单一的主节点即可完成大量的并行任务分发，这种情况下可以免去节点分组和头节点指定的配置的结构，直接由主节点向执行节点发送命令并接收返回值；而另一些任务开销很大，尤其对网络带宽压力较大，比如大文件分发，可能即使在同一个节点组内，网络带宽也会成为限制任务执行的瓶颈，这种情况下，可以将分组的层数以及每层的组数增多，每组的节点数减少。极端情况下，可配置为peer to peer(对等网络)模式，相当于每组只有一个节点，每个完成文件接收的节点，都继续向其他节点传送文件，这样可以充分利用整个集群的网络带宽，提高传输效率。
因此，本申请实施例在构建任务分发结构时，充分考虑了集群实际的硬件结构，根据集群的网络拓扑和节点角色配置多种任务分发结构，以提高集群中任务执行的效率。
影响集群执行效率的另一个因素是数据的返回，对于集群批量执行任务的返回值，现有的工具可以提供相同返回值节点的归并显示功能，这一功能虽然方便了对集群任务执行结果的查看，但集群规模相当大时，却比较耗时。因为现有工具不论返回值呈何种分布，都需要等待所有节点都返回结果之后，再对所有结果进行比较，并将相同结果的节点名称进行合并显示。实际应用中，许多情况下并不需要将所有节点的返回值都进行比较并汇总显示。
因此，在上述实施例的基础上，所述任务信息还包括目标返回参数；
所述登录节点接收计算节点返回的与所述目标返回参数相对应的返回值。
在具体的实施过程中，由于计算节点在返回数据的时候会占用一定的带宽，如果将所有的数据都返回，那么登录节点需要等待较长时间。在实际中，很多集群任务往往有着可预期的结果。对于二元返回值的操作，例如查看某一目录是否在各计算节点中都存在，每个计算节点的返回值只有存在和不存在两种结果。如果该目录正常情况下应该存在，那么可以在任务信息中增加目标返回参数，即通过一个命令行选项，选择只显示该目录不存在的节点。这样，大量存在该目录的节点的返回值信息可以直接丢弃，最终只归并汇总少量不存在该目录的节点信息进行显示，这比现有方法中等待所有节点返回结果再分别归并节省了很多工作量。对于非二元返回值的操作，也可以通过在任务信息中增加相应的目标返回参数，即只汇总感兴趣的结果。例如查询各节点上某个库文件的版本是否为所需版本，可以选择只显示版本号为目标值的计算节点，则其余节点返回值信息不需要一一比较，节约了大量工作，后续只需将其余节点的该库文件进行升级替换即可。
应当说明的是，计算节点在向登录节点发送返回值时，是按照登录节点向计算节点发送任务信息的路径进行返回。例如：登录节点直接向计算节点发送任务信息，那么计算节点也直接向登录节点返回对应的返回值；如果登录节点先将任务信息发送给头节点，头节点再将任务信息分发给对应的计算节点，那么计算节点会将返回值先返回给对应的头节点，头节点再将返回值发送给登录节点。
图5为本申请实施例提供的集群任务处理装置结构示意图，该装置可以是电子设备上的模块、程序段或代码。应理解，该装置与上述图1方法实施例对应，能够执行图1方法实施例涉及的各个步骤，该装置具体的功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。该装置包括：信息接收模块501、结构确定模块502和任务分发模块503，其中：
信息接收模块501用于接收任务信息，所述任务信息包括任务参数和任务分发结构参数；结构确定模块502用于根据所述任务分发结构参数确定并选择对应的目标任务分发结构；其中，所述目标任务分发结构为预先配置好的；任务分发模块503用于利用所述目标任务分发结构将所述任务信息分发给集群中的计算节点，以使所述计算节点根据所述任务参数执行对应的任务。
在上述实施例的基础上，所述集群包括多个接入层交换机、至少一个登录节点、至少一个管理节点和多个计算节点；所述登录节点、所述管理节点和所述计算节点均与对应的接入层交换机通信连接；该装置还包括结构配置模块，用于：
通过如下方式预先配置多个集群任务分发结构：
将一个接入层交换机或多个接入层交换机对应的计算节点分为一组，并且将集群中的登录节点和管理节点分散配置到各组中；
将所述集群中的登录节点配置为分发任务的主节点；
从每个分组中选择一个节点配置为头节点。
在上述实施例的基础上，结构配置模块具体用于：
若分组中包括至少一个管理节点，则将任意一个管理节点配置为头节点；若分组中没有管理节点，则从对应的计算节点中选择一个配置为头节点。
在上述实施例的基础上，结构配置模块还用于：
针对每一分组，若分组中包括管理节点和计算节点，将分组中的管理节点分为一层，计算节点作为管理节点对应层的下一层。
在上述实施例的基础上，结构配置模块还用于：
将计算节点对应的层再次分为多个层，每层包括至少一个计算节点。
在上述实施例的基础上，所述任务信息还包括目标返回参数；该装置还包括接收模块，用于：
接收计算节点返回的与所述目标返回参数相对应的返回值。
在上述实施例的基础上，任务分发模块503具体用于：
若分组中的头节点为管理节点，则所述主节点将所述任务信息分发给头节点，以使所述头节点将所述任务信息分发给对应的计算节点，以使所述计算节点根据所述任务参数执行对应的任务；
若分组中的头节点为计算节点，则所述主节点将所述任务信息分发给头节点，以使所述头节点将所述任务信息分发给除所述头节点之外的其他计算节点，并且头节点和其他计算节点根据所述任务参数执行对应的任务。
图6为本申请实施例提供的电子设备实体结构示意图，如图6所示，所述电子设备，包括：处理器(processor)601、存储器(memory)602和总线603；其中，
所述处理器601和存储器602通过所述总线603完成相互间的通信；
所述处理器601用于调用所述存储器602中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：集群中的登录节点接收任务信息，所述任务信息包括任务参数和任务分发结构参数；所述登录节点根据所述任务分发结构参数确定对应的目标任务分发结构；其中，所述目标任务分发结构为预先配置好的；所述登录节点利用所述目标任务分发结构将所述任务信息分发给集群中的计算节点，以使所述计算节点根据所述任务参数执行对应的任务。
处理器601可以是一种集成电路芯片，具有信号处理能力。上述处理器601可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。其可以实现或者执行本申请实施例中公开的各种方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器602可以包括但不限于随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)等。
本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：集群中的登录节点接收任务信息，所述任务信息包括任务参数和任务分发结构参数；所述登录节点根据所述任务分发结构参数确定对应的目标任务分发结构；其中，所述目标任务分发结构为预先配置好的；所述登录节点利用所述目标任务分发结构将所述任务信息分发给集群中的计算节点，以使所述计算节点根据所述任务参数执行对应的任务。
本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：集群中的登录节点接收任务信息，所述任务信息包括任务参数和任务分发结构参数；所述登录节点根据所述任务分发结构参数确定对应的目标任务分发结构；其中，所述目标任务分发结构为预先配置好的；所述登录节点利用所述目标任务分发结构将所述任务信息分发给集群中的计算节点，以使所述计算节点根据所述任务参数执行对应的任务。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (9)
1.一种集群任务处理方法，其特征在于，包括：
集群中的登录节点接收任务信息，所述任务信息包括任务参数和任务分发结构参数；
所述登录节点根据所述任务分发结构参数确定并选择对应的目标任务分发结构；其中，所述目标任务分发结构为预先配置好的；
所述登录节点利用所述目标任务分发结构将所述任务信息分发给集群中的计算节点，以使所述计算节点根据所述任务参数执行对应的任务；
所述集群包括多个接入层交换机、至少一个登录节点、至少一个管理节点和多个计算节点；所述登录节点、所述管理节点和所述计算节点均与对应的接入层交换机通信连接；所述在所述登录节点根据所述任务分发结构参数确定对应的目标任务分发结构之前，所述方法还包括：
通过如下方式预先配置多个集群任务分发结构：
将一个接入层交换机或多个接入层交换机对应的计算节点分为一组，并且将集群中的登录节点和管理节点分散配置到各组中；
将所述集群中的登录节点配置为分发任务的主节点；
从每个分组中选择一个节点配置为头节点。
2.根据权利要求1所述的方法，其特征在于，所述从每个分组中选择一个节点配置为头节点，包括：
若分组中包括至少一个管理节点，则将任意一个管理节点配置为头节点；若分组中没有管理节点，则从对应的计算节点中选择一个配置为头节点。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
针对每一分组，若分组中包括管理节点和计算节点，将分组中的管理节点分为一层，计算节点作为管理节点对应层的下一层。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
将计算节点对应的层再次分为多个层，每层包括至少一个计算节点。
5.根据权利要求1所述的方法，其特征在于，所述任务信息还包括目标返回参数；所述方法还包括：
所述登录节点接收计算节点返回的与所述目标返回参数相对应的返回值。
6.根据权利要求1所述的方法，其特征在于，所述登录节点利用所述目标任务分发结构将所述任务信息分发给集群中的计算节点，以使所述计算节点根据所述任务参数执行对应的任务，包括：
若分组中的头节点为管理节点，则所述主节点将所述任务信息分发给头节点，以使所述头节点将所述任务信息分发给对应的计算节点，以使所述计算节点根据所述任务参数执行对应的任务；
若分组中的头节点为计算节点，则所述主节点将所述任务信息分发给头节点，以使所述头节点将所述任务信息分发给除所述头节点之外的其他计算节点，并且头节点和其他计算节点根据所述任务参数执行对应的任务。
7.一种集群任务处理装置，其特征在于，包括：
信息接收模块，用于接收任务信息，所述任务信息包括任务参数和任务分发结构参数；
结构确定模块，用于根据所述任务分发结构参数确定对应的目标任务分发结构；其中，所述目标任务分发结构为预先配置好的；
任务分发模块，用于利用所述目标任务分发结构将所述任务信息分发给集群中的计算节点，以使所述计算节点根据所述任务参数执行对应的任务；
所述集群包括多个接入层交换机、至少一个登录节点、至少一个管理节点和多个计算节点；所述登录节点、所述管理节点和所述计算节点均与对应的接入层交换机通信连接；该装置还包括结构配置模块，用于：
通过如下方式预先配置多个集群任务分发结构：
将一个接入层交换机或多个接入层交换机对应的计算节点分为一组，并且将集群中的登录节点和管理节点分散配置到各组中；
将所述集群中的登录节点配置为分发任务的主节点；
从每个分组中选择一个节点配置为头节点。
8.一种电子设备，其特征在于，包括：处理器、存储器和总线，其中，
所述处理器和所述存储器通过所述总线完成相互间的通信；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1-6任一项所述的方法。
9.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令被计算机运行时，使所述计算机执行如权利要求1-6任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010713638.5A CN111885158B (zh) | 2020-07-22 | 2020-07-22 | 一种集群任务处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010713638.5A CN111885158B (zh) | 2020-07-22 | 2020-07-22 | 一种集群任务处理方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111885158A CN111885158A (zh) | 2020-11-03 |
| CN111885158B true CN111885158B (zh) | 2023-05-02 |
Family
ID=73156269
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010713638.5A Active CN111885158B (zh) | 2020-07-22 | 2020-07-22 | 一种集群任务处理方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111885158B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112751926B (zh) * | 2020-12-29 | 2023-05-26 | 北京浪潮数据技术有限公司 | 一种集群中工作节点的管理方法、系统及相关装置 |
| CN112799782B (zh) * | 2021-01-20 | 2024-04-12 | 北京迈格威科技有限公司 | 模型生成系统、方法、电子设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103037002A (zh) * | 2012-12-21 | 2013-04-10 | 中标软件有限公司 | 一种云计算集群环境中服务器集群的部署方法及系统 |
| CN106713493A (zh) * | 2017-01-20 | 2017-05-24 | 郑州云海信息技术有限公司 | 一种在计算机集群环境中构建分布式文件系统及方法 |
| CN108055314A (zh) * | 2017-12-08 | 2018-05-18 | 锐捷网络股份有限公司 | 一种集群系统的管理方法与集群系统 |
| CN109165093A (zh) * | 2018-07-31 | 2019-01-08 | 宁波积幂信息科技有限公司 | 一种计算节点集群弹性分配系统及方法 |
| CN110472881A (zh) * | 2019-08-21 | 2019-11-19 | 重庆华医康道科技有限公司 | 基于区块链的状态机工作流引擎及分布式存储的工作方法 |
| CN111078396A (zh) * | 2019-11-22 | 2020-04-28 | 厦门安胜网络科技有限公司 | 一种基于多任务实例的分布式数据接入方法和系统 |
-
2020
- 2020-07-22 CN CN202010713638.5A patent/CN111885158B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103037002A (zh) * | 2012-12-21 | 2013-04-10 | 中标软件有限公司 | 一种云计算集群环境中服务器集群的部署方法及系统 |
| CN106713493A (zh) * | 2017-01-20 | 2017-05-24 | 郑州云海信息技术有限公司 | 一种在计算机集群环境中构建分布式文件系统及方法 |
| CN108055314A (zh) * | 2017-12-08 | 2018-05-18 | 锐捷网络股份有限公司 | 一种集群系统的管理方法与集群系统 |
| CN109165093A (zh) * | 2018-07-31 | 2019-01-08 | 宁波积幂信息科技有限公司 | 一种计算节点集群弹性分配系统及方法 |
| CN110472881A (zh) * | 2019-08-21 | 2019-11-19 | 重庆华医康道科技有限公司 | 基于区块链的状态机工作流引擎及分布式存储的工作方法 |
| CN111078396A (zh) * | 2019-11-22 | 2020-04-28 | 厦门安胜网络科技有限公司 | 一种基于多任务实例的分布式数据接入方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111885158A (zh) | 2020-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11477255B2 (en) | Hybrid network system, communication method and network node | |
| CN108564470B (zh) | 一种区块链中并行建块的交易分发方法 | |
| CN110389826B (zh) | 用于处理计算任务的方法、设备和计算程序产品 | |
| US10740198B2 (en) | Parallel partial repair of storage | |
| CN111885158B (zh) | 一种集群任务处理方法、装置、电子设备及存储介质 | |
| US11526276B2 (en) | Upgrade management method and scheduling node, and storage system | |
| CN111932257B (zh) | 一种区块链并行化处理方法及装置 | |
| CN113872997B (zh) | 基于容器集群服务的容器组pod重建方法及相关设备 | |
| CN112217847A (zh) | 微服务平台及其实现方法、电子设备及存储介质 | |
| US20170123941A1 (en) | Distributed processing system | |
| CN114579400A (zh) | 一种串口信息收集装置、方法及服务器 | |
| CN112416969A (zh) | 分布式数据库中的并行任务调度系统 | |
| CN114217920A (zh) | 作业调度方法和装置、计算机机群、计算机可读存储介质 | |
| US11595294B1 (en) | Satisfying demands in data communication networks | |
| CN111418187A (zh) | 云网络中的可伸缩统计和分析机制 | |
| US10223189B1 (en) | Root cause detection and monitoring for storage systems | |
| CN113656369A (zh) | 一种大数据场景下的日志分布式流式采集及计算方法 | |
| JP6256167B2 (ja) | データセンターネットワークにおけるリスク軽減 | |
| CN111258840A (zh) | 一种集群节点管理方法、装置及集群 | |
| CN113746763B (zh) | 一种数据处理的方法、装置和设备 | |
| CN113347238A (zh) | 基于区块链的消息分区方法及系统、设备、存储介质 | |
| CN110928679A (zh) | 一种资源分配方法及装置 | |
| US9898357B1 (en) | Root cause detection and monitoring for storage systems | |
| CN113485798A (zh) | 核函数生成方法、装置、设备以及存储介质 | |
| JPWO2014102996A1 (ja) | 情報処理システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240401 Address after: 266100 room 211, area a, software park, 169 Songling Road, Laoshan District, Qingdao City, Shandong Province Patentee after: Zhongke Shuguang International Information Industry Co.,Ltd. Country or region after: China Address before: Building 36, yard 8, Dongbei Wangxi Road, Haidian District, Beijing Patentee before: Dawning Information Industry (Beijing) Co.,Ltd. Country or region before: China |