CN112596858A - 一种数据处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明提供了一种数据处理方法、装置、电子设备及存储介质，属于服务器的技术领域，缓解了现有技术中存在的计算机集群任务分发方式占用系统资源过多，消耗大量系统资源，导致整体系统受影响的技术问题。所述方法包括：获取数据处理的任务；分析任务的类型；根据任务的类型选择处理该任务的虚集群；所选的虚集群将任务进行分解，并下发至所选的虚集群各级节点。

Description

一种数据处理方法、装置、电子设备及存储介质

技术领域

本发明涉及服务器技术领域，尤其是涉及一种数据处理方法、装置、电子设备及存储介质。

背景技术

计算机集群，简称集群，是一种计算机系统，其通过多个计算机(又称为计算资源，诸如软件和/或硬件资源)连接起来协作完成计算作业。这些计算资源位于同一管理域中，其具有统一的管理策略并且作为一个整体向用户提供服务。集群系统中的单个计算机通常称为节点或者计算节点。

集群系统有诸多优点。例如，当集群系统采用负载均衡方式工作时，通过由多台计算机完成同一工作，其能够达到更高的效率。集群系统也可以采用主从服务器方式工作。一旦主服务器失效，就由从服务器代替主服务器向用户提供服务，从而提供高容错性。

高性能计算通常把一个作业(job)分成若干可以并行的子任务(task)，各子任务间共同协作完成该作业。在高性能计算集群中，计算节点的规模非常大，高性能计算集群中存在一个主控节点(Home node)和若干计算节点(Computation node)。主控节点负责和用户交互，控制和信息管理。主控节点存储有收集到的高性能计算集群中所有节点的连接信息，当高性能计算集群接收到一个作业时，首先由主控节点为该作业分配资源，也就是将该作业分成若干任务，为每个任务找到合适的计算节点。

由于高性能计算集群中节点数量较多，同时任务分配和处理过程中，各节点状态信息获取以及元数据的管理，导致数据的同步和处理往往需要消耗大量的系统资源，导致整体系统时延受到影响。

发明内容

本发明的目的在于提供一种数据处理方法、装置、电子设备及存储介质，缓解了现有技术中存在的计算机集群任务分发方式占用系统资源过多，消耗大量系统资源，导致整体系统受影响的技术问题。

第一方面，本发明提供的数据处理方法，包括以下步骤：

获取数据处理的任务；

分析任务的类型；

根据任务的类型选择处理该任务的虚集群；

所选的虚集群将任务进行分解，并下发至所选的虚集群各级节点。

进一步的，所述获取数据处理的任务的步骤之前，还包括：

在各服务器节点中配置元数据文件，所述元数据文件中包括该服务器节点的性能参数，并设置文件句柄；

将文件句柄与服务器节点IP进行绑定；

获取各服务器节点的元数据信息；

根据服务器节点的性能特性将服务器节点进行分类，将同类服务器节点归于同一节点体系。

进一步的，所述获取数据处理的任务的步骤之前，还包括：

初始化各服务器节点；

设置主控节点和多级子节点；

将主控节点以及归属该主控节点的同一节点体系内的各级子节点进行虚集群化。

进一步的，根据任务的类型选择处理该任务的虚集群的步骤之前，还包括：

确认任务是否需要拆分；

若是，则将任务切分为多个数据处理任务，返回分析任务的类型的步骤；

若否，则执行根据任务的类型选择处理该任务的虚集群的步骤。

进一步的，所述所选的虚集群将任务进行分解，并下发至所选的虚集群各级节点的步骤之前，还包括：

确认是否需要协助分发任务；

若是，则进行多个虚集群之间的计算资源信息通信，将任务分解，并返回根据任务的类型选择处理该任务的虚集群的步骤；

若否，则执行所选的虚集群将任务进行分解，并下发至所选的虚集群各级节点的步骤。

进一步的，下发至所选的虚集群各级节点的步骤，包括：

获取任务分发时间、分发数据大小的信息以及各子节点当前状态信息；

根据数据大小、分发时间以及各子节点当前状态信息，将任务分发至子节点。

第二方面，本发明还提供一种数据处理装置，包括：

任务获取模块，用于获取数据处理的任务；

任务分析模块，用于分析任务的类型；

虚集群选择模块，用于根据任务的类型选择处理该任务的虚集群；

任务下发模块，用于将任务进行分解，并下发至所选的虚集群各级节点。

第三方面，本发明还提供一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

第四方面，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有机器可运行指令，所述计算机可运行指令在被处理器调用和运行时，所述计算机可运行指令促使所述处理器运行上述方法。

本发明提供的数据处理方法，在获取到数据处理的任务后，会对任务的类型进行分析，并根据任务的类型选择适合处理该任务的虚集群，并将任务下发至虚集群，由虚集群将任务分解后下发至其下级各节点，避免了由现有技术中的主节点选择各节点等步骤，减少主节点的资源消耗，减少资源占用，降低对整体的系统的影响。

相应地，本发明实施例提供的一种数据处理装置、电子设备及计算机可读存储介质，也同样具有上述技术效果。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的数据处理方法流程图；

图2为本发明实施例提供的虚集群搭建流程图；

图3为本发明实施例提供的数据处理装置示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例中所提到的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括其他没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

如图1所示，本发明实施例提供的数据处理方法，包括以下步骤：

S11：获取数据处理的任务；

S12：分析任务的类型；

S13：根据任务的类型选择处理该任务的虚集群；

S14：所选的虚集群将任务进行分解，并下发至所选的虚集群各级节点。

本发明提供的数据处理方法，在获取到数据处理的任务后，会对任务的类型进行分析，并根据任务的类型选择适合处理该任务的虚集群，并将任务下发至虚集群，由虚集群将任务分解后下发至其下级各节点，避免了由现有技术中的主节点选择各节点等步骤，减少主节点的资源消耗，减少资源占用，降低对整体的系统的影响。

如图2所示，在一种可能的实施方式中，所述获取数据处理的任务的步骤之前，还包括：

S211：在各服务器节点中配置元数据文件，所述元数据文件中包括该服务器节点的性能参数，并设置文件句柄；

S212：将文件句柄与服务器节点IP进行绑定；

S213：获取各服务器节点的元数据信息；

S214：根据服务器节点的性能特性将服务器节点进行分类，将同类服务器节点归于同一节点体系。

在一种可能的实施方式中，所述获取数据处理的任务的步骤之前，还包括：

S221：初始化各服务器节点；

S222：设置主控节点和多级子节点；

S223：将主控节点以及归属该主控节点的各级子节点进行虚集群化；

S23：完成虚集群化。

通过上述步骤，可以完成虚集群的搭建，当后续收到任务时，就可以根据虚集群的类型将任务分发至对应的虚集群，由虚集群进行下发，避免由现有技术中的主控节点分配所有任务。

如图1所示，在一种可能的实施方式中，根据任务的类型选择处理该任务的虚集群的步骤之前，还包括：

S130：确认任务是否需要拆分，若是，则执行步骤S131，若否，则执行步骤S13；

S131：将任务切分为多个数据处理任务，返回步骤S12。

当任务过大或过复杂时，需要将任务进行切分后再选择合适的虚集群处理该任务。

在一种可能的实施方式中，所述所选的虚集群将任务进行分解，并下发至所选的虚集群各级节点的步骤之前，还包括：

S140：确认是否需要协助分发任务，若是，则执行步骤S141；

S141：进行多个虚集群之间的计算资源信息通信，将任务分解，并返回步骤S13，若否，则执行步骤步骤S14。

若分发之后出现该虚集群不适合处理的子任务，则需要进行各虚集群之间的通信，将子任务分发给其它适合处理该任务的虚集群，以保证每一个任务都使用最适合处理的节点进行处理。

在一种可能的实施方式中，下发至所选的虚集群各级节点的步骤，包括：

获取任务分发时间、分发数据大小的信息以及各子节点当前状态信息；

根据数据大小、分发时间以及各子节点当前状态信息，将任务分发至子节点。

根据上述条件，主节点可以根据实际情况将任务分发给最适合处理该任务的子节点，以大大缩减分配对应的过程。

本发明实施例提供的数据处理方法，具体实施方式如下：

首先，在高性能集群中，初始化节点，并将节点按照数据流构建形成节点网络，依据数据流特点，将节点划分为主控节点和计算节点；然后将计算节点进行分层形成主控节点与多级子节点，并将主节点与归属该节点的各级节点进行虚集群化。

获取集群中各个服务器节点的ID，并设置文件句柄与服务器节点ID形成关联。按照节点性能特性将节点进行分类，将同类节点归于同一节点体系。

通过上述方式完成虚集群化，一个虚集群中主节点和归属该主节点的各级节点具备最佳的协同处理能力。主节点可以实时获取各服务器节点的元数据信息，及各服务器的性能信息，知悉各节点的计算性能信息。

在获取到数据处理的任务后，首先分析数据处理的任务类型，并确认任务是否需要切分，如果需要切分则会先将任务切分为多个数据处理的任务，并重新判定数据处理的任务类型，并确认任务是否需要切分，直至切分至不再需要切分。

在切分完成后，会根据任务的类型选择合适的虚集群处理该任务，并将任务下发至虚集群。虚集群会确认该任务是否需要分发协助，其原因为：当任务切分之后，可能出现部分子任务不再适合该虚集群进行处理，或其它虚集群更适合处理该子任务，当需要分发协助时，会进行不同虚集群内的计算资源信息通信，并将任务分解，转发至其它的虚集群。如果不需要分发协助，则主节点会将任务分解后根据分发时间以及各节点的实时信息等情况分发至最适合处理各个务的服务器节点，以完成任务分发。

如图3所示，本发明实施例还提供了一种数据处理装置，包括：

任务获取模块1，用于获取数据处理的任务；

任务分析模块2，用于分析任务的类型；

虚集群选择模块3，用于根据任务的类型选择处理该任务的虚集群；

任务下发模块4，用于将任务进行分解，并下发至所选的虚集群各级节点。

对应于上述方法，本发明实施例还提供了一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

对应于上述方法，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有机器可运行指令，所述计算机可运行指令在被处理器调用和运行时，所述计算机可运行指令促使所述处理器运行上述方法的步骤。

本发明实施例所提供的装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的系统、装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

又例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，再例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种数据处理方法，其特征在于，包括以下步骤：

获取数据处理的任务；

分析任务的类型；

根据任务的类型选择处理该任务的虚集群；

所选的虚集群将任务进行分解，并下发至所选的虚集群各级节点。

2.根据权利要求1所述的数据处理方法，其特征在于，所述获取数据处理的任务的步骤之前，还包括：

在各服务器节点中配置元数据文件，所述元数据文件中包括该服务器节点的性能参数，并设置文件句柄；

将文件句柄与服务器节点IP进行绑定；

获取各服务器节点的元数据信息；

根据服务器节点的性能特性将服务器节点进行分类，将同类服务器节点归于同一节点体系。

3.根据权利要求2所述的数据处理方法，其特征在于，所述获取数据处理的任务的步骤之前，还包括：

初始化各服务器节点；

设置主控节点和多级子节点；

将主控节点以及归属该主控节点的同一节点体系内的子节点进行虚集群化。

4.根据权利要求3所述的数据处理方法，其特征在于，根据任务的类型选择处理该任务的虚集群的步骤之前，还包括：

确认任务是否需要拆分；

若是，则将任务切分为多个数据处理任务，返回分析任务的类型的步骤；

若否，则执行根据任务的类型选择处理该任务的虚集群的步骤。

5.根据权利要求3所述的数据处理方法，其特征在于，所述所选的虚集群将任务进行分解，并下发至所选的虚集群各级节点的步骤之前，还包括：

确认是否需要协助分发任务；

若是，则进行多个虚集群之间的计算资源信息通信，将任务分解，并返回根据任务的类型选择处理该任务的虚集群的步骤；

若否，则执行所选的虚集群将任务进行分解，并下发至所选的虚集群各级节点的步骤。

6.根据权利要求3所述的数据处理方法，其特征在于，下发至所选的虚集群各级节点的步骤，包括：

获取任务分发时间、分发数据大小的信息以及各子节点当前状态信息；

根据数据大小、分发时间以及各子节点当前状态信息，将任务分发至子节点。

7.根据权利要求3所述的数据处理方法，其特征在于，所述获取数据处理的任务的步骤之前，还包括：

在主控节点之间建立通信通道，使任一主控节点可以获取到其它主控节点的数据处理余量，进而进行任务转发。

8.一种数据处理装置，其特征在于，包括：

任务获取模块，用于获取数据处理的任务；

任务分析模块，用于分析任务的类型；

虚集群选择模块，用于根据任务的类型选择处理该任务的虚集群；

任务下发模块，用于将任务进行分解，并下发至所选的虚集群各级节点。

9.一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至7任一项所述的方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有机器可运行指令，所述计算机可运行指令在被处理器调用和运行时，所述计算机可运行指令促使所述处理器运行所述权利要求1至7任一项所述的方法。

Images