CN109117252A - 基于容器的任务处理的方法、系统及容器集群管理系统 - Google Patents

Abstract

本申请公开一种基于容器的任务处理的方法、系统及容器集群管理系统。该方法包括：调度节点根据用户提交的任务向容器集群管理系统发送管理节点容器申请请求；所述容器集群管理系统根据所述管理节点容器申请请求启动管理节点容器，以启动管理节点；所述管理节点获取到来自所述调度节点的所述任务，并向所述容器集群管理系统发送执行节点容器申请请求；所述容器集群管理系统根据所述执行节点容器申请请求启动执行节点容器，以启动执行节点；所述执行节点获取到来自所述管理节点的所述任务，并执行所述任务，能够实现大集群规模的分布式计算平台。

Description

基于容器的任务处理的方法、系统及容器集群管理系统

技术领域

本发明涉及计算机科学技术领域，具体而言，涉及一种基于容器的任务处理的方法、系统及容器集群管理系统。

背景技术

随着互联网的发展，目前实时计算的场景越来越广泛，对实时计算平台的业务需求越来越高，对平台稳定性和资源利用率的要求也越来越高。

现有技术中，实时计算平台架构方案是基于物理机的技术方案，例如storm(流处理)，spark streaming(大数据流处理)。

storm计算平台是一个分布式的、容错的实时计算系统，用于实时数据处理的相关需求。Spark(大数据)平台是专为大规模数据处理而设计的快速通用的计算引擎，sparkstreaming的模式可以用于准实时计算。

storm技术架构方案所使用的调度方式限制了平台的集群规模，在集群规模上百台，集群任务数上千后会出现性能问题。

Spark streaming借助spark平台方案实现了准实时的批量数据处理，但是在集群任务资源隔离控制上管理较弱，不能实现大规模集群的方案。

传统的基于容器的storm方案，是直接使用容器替换物理机的功能，实现上简单，但是只达到了部署简单的目的，达不到处理进程级别的资源隔离，稳定性较差，同样不能支持大集群部署。

综上，现有技术中，实时计算方案在资源使用和调度上都不能实现海量集群规模。

因此，需要一种新的基于容器的任务处理的方法、系统及容器集群管理系统。

在所述背景技术部分公开的上述信息仅用于加强对本发明的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

有鉴于此，本发明提供一种基于容器的任务处理的方法、系统及容器集群管理系统，能够实现大集群规模的分布式计算平台。

本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。

根据本发明的第一方面，提供一种基于容器的任务处理的方法，其中，包括：

调度节点根据用户提交的任务向容器集群管理系统发送管理节点容器申请请求；

所述容器集群管理系统根据所述管理节点容器申请请求启动管理节点容器，以启动管理节点；

所述管理节点获取到来自所述调度节点的所述任务，并向所述容器集群管理系统发送执行节点容器申请请求；

所述容器集群管理系统根据所述执行节点容器申请请求启动执行节点容器，以启动执行节点；

所述执行节点获取到来自所述管理节点的所述任务，并执行所述任务。

根据一些实施例，所述管理节点获取到来自所述调度节点的所述任务，包括：所述容器集群管理系统向所述调度节点发送所述管理节点的地址信息；所述调度节点根据所述地址信息向所述管理节点发送所述任务。

根据一些实施例，所述管理节点获取到来自所述调度节点的所述任务，并向所述容器集群管理系统发送执行节点容器申请请求，包括：所述管理节点对所述任务进行解析，获取到子任务；所述管理节点根据所述子任务的数目，向所述容器集群管理系统发送执行节点容器申请请求。

根据一些实施例，所述管理节点对所述任务进行解析，还可以获取到任务拓扑；所述执行节点获取到来自所述管理节点的所述任务，并执行所述任务，包括；所述容器集群管理系统向所述管理节点发送所述执行节点的地址信息；所述管理节点根据所述地址信息向所述执行节点发送所述子任务和任务拓扑。

根据一些实施例，所述调度节点与所述管理节点之间保持心跳；当所述调度节点监测到所述管理节点容器故障时，所述调度节点重新向容器集群管理系统发送管理节点容器申请请求。

根据一些实施例，所述管理节点与所述执行节点之间保持心跳；当所述管理节点容器监测到所述执行节点容器故障时，所述管理节点重新向所述容器集群管理系统发送执行节点容器申请请求。

根据本发明的第二方面，提供一种基于容器的任务处理的方法，其中，包括：

根据调度节点响应于用户提交的任务发送的管理节点容器申请请求，启动管理节点容器，以启动管理节点，以使所述管理节点接收所述任务；

根据所述管理节点基于所述任务发送的执行节点容器申请请求，启动执行节点容器，以启动执行节点，以使所述执行节点执行所述任务。

根据一些实施例，启动管理节点后，所述方法还包括：将所述管理节点的地址信息发送给所述调度节点，以使所述调度节点将所述任务发送给所述管理节点。

根据一些实施例，根据所述管理节点容器基于所述任务发送的执行节点容器申请请求，启动执行节点容器，以启动执行节点，包括：通过所述管理节点对所述任务进行解析，获取到子任务；根据所述管理节点基于所述子任务的数目发送的执行节点容器申请请求，启动执行节点容器，以启动执行节点。

根据一些实施例，所述管理节点容器与所述执行节点容器之间保持心跳；当所述管理节点容器监测到所述执行节点容器故障时，根据所述管理节点容器重新发送的执行节点容器申请请求，启动执行节点容器，以启动执行节点。

根据本发明的第三方面，提供一种基于容器的任务处理的系统，其中，包括：

第一发送模块，用于通过调度节点根据用户提交的任务向容器集群管理系统发送管理节点容器申请请求；

第一启动模块，用于通过所述容器集群管理系统根据所述管理节点容器申请请求启动管理节点容器，以启动管理节点；

第二发送模块，用于通过所述管理节点获取到来自所述调度节点的所述任务，并向所述容器集群管理系统发送执行节点容器申请请求；

第二启动模块，用于通过所述容器集群管理系统根据所述执行节点容器申请请求启动执行节点容器，以启动执行节点；

执行模块，用于通过所述执行节点获取到来自所述管理节点的所述任务，并执行所述任务。

根据本发明的第四方面，提供一种基于容器的任务处理的容器集群管理系统，其中，包括：

第一启动模块，用于根据调度节点响应于用户提交的任务发送的管理节点容器申请请求，启动管理节点容器，以启动管理节点，以使所述管理节点接收所述任务；

第二启动模块，用于根据所述管理节点容器基于所述任务发送的执行节点容器申请请求，启动执行节点容器，以启动执行节点，以使所述执行节点执行所述任务。

根据本发明的第五方面，提供一种基于容器的任务处理的电子设备，其中，包括：

一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的方法。

根据本发明的第六方面，提供一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如第二方面所述的方法。

本发明实施例中，利用调度节点调度管理节点，以及利用管理节点调度执行节点，一方面，将调度节点的处理压力分散到各个管理节点，避免了任务节点和调度节点有直接的心跳联系以及处理逻辑联系，从而利用容器的沙箱机制，提高各个管理节点之间的资源隔离控制管理，另一方面，大大降低调度节点的资源和处理压力，提高了调度节点对大集群任务的处理能力，使用虚拟化容器技术来实现更大集群规模的分布式计算平台。

附图说明

通过参照附图详细描述其示例实施例，本发明的上述和其它目标、特征及优点将变得更加显而易见。

图1是本发明实施例提供的一种基于容器的任务处理的方法的流程图。

图2是本发明实施例提供的一种基于容器的任务处理的心跳关系图。

图3是本发明实施例提供的一种包括调度节点以及容器集群管理系统的系统的示意图。

图4是本发明实施例提供的另一种基于容器的任务处理的方法的流程图。

图5是本发明实施例提供的一种基于容器的任务处理的系统结构图。

图6是本发明实施例提供的另一种基于容器的任务处理的系统结构图。

图7是根据一示例性实施例示出一种用于行为数据处理的电子设备的计算机系统700的结构示意图。

具体实施例

现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本发明将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本发明的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

图1是本发明实施例提供的一种基于容器的任务处理的方法的流程图，该方法可应用于包括调度节点以及容器集群管理系统的系统中。

如图1所示，该方法至少包括以下步骤：

在S110中，调度节点根据用户提交的任务向容器集群管理系统发送管理节点容器申请请求。

根据示例实施例，调度节点在接收到用户提交的任务后，可以向容器集群管理系统发送管理节点容器的申请请求，以申请一个管理节点类型的容器。

在S120中，容器集群管理系统根据该管理节点容器申请请求启动管理节点容器，以启动管理节点。

容器集群管理系统接收到调度节点发送的管理节点容器的申请请求，启动一个容器资源，容器镜像使用管理节点镜像，从而实现启动管理节点容器，以启动管理节点。

本发明实施例中的容器集群管理系统可以包括但不限于Kubernetes和Mesos。Kubernetes是由谷歌开源的虚拟化容器Docker容器集群管理系统，为容器化的应用提供了资源调度、部署运行、服务发现、扩容、缩容等一整套功能。

根据示例实施例，调度节点与管理节点之间保持心跳。例如，管理节点不间断的发送或者周期性向调度节点发送心跳消息。当管理节点在心跳消息接收周期内未接收到心跳消息，则调度节点监测到管理节点容器故障，此时，该调度节点重新向容器集群管理系统发送管理节点容器申请请求，从而使容器集群管理系统重新启动一个管理节点。

容器是让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的操作系统上，也可以实现虚拟化。由于容器完全使用沙箱机制，相互之间不会有任何接口，因此能够达到处理进程级别的资源隔离，从而提高任务处理的稳定性。

本发明实施例中，利用调度节点与管理节点之间的心跳关系对管理节点进行监控，避免了管理节点故障而导致任务处理失败的情况。

在S130中，该管理节点获取到来自该调度节点的上述任务，并向该容器集群管理系统发送执行节点容器申请请求。

根据示例实施例，容器集群管理系统在启动管理节点后，向该调度节点发送该管理节点的地址信息，例如IP地址，调度节点在接收到地址信息后，根据所述地址信息向所述管理节点发送用户提交的任务，从而管理节点获取可以到来自该调度节点的上述任务。

根据示例实施例，该管理节点获取到任务后，对该任务进行解析，获取到子任务。该管理节点根据子任务的数目，向该容器集群管理系统发送执行节点容器申请请求，以使该容器集群管理系统启动执行节点。

例如，管理节点获取到子任务的数目为10个，则向该容器集群管理系统发送10个执行节点容器申请请求，以使该容器集群管理系统启动10执行节点。

需要注意的是，管理节点对所述任务进行解析，还可以获取到任务拓扑，其中，任务拓扑可用于指示任务执行的顺序。

在S140中，该容器集群管理系统根据上述执行节点容器申请请求启动执行节点容器，以启动执行节点。

根据示例实施例，容器集群管理系统每接收到管理节点发送的执行节点容器申请请求后，均启动一个容器资源，容器镜像均使用管理节点镜像，从而实现启动一个执行节点容器，以启动一个执行节点。

例如，当容器集群管理系统接收到10个执行节点容器申请请求，则最终会启动10个执行节点。

根据示例实施例，管理节点与执行节点之间保持心跳，例如，执行节点不间断的发送或者周期性向管理节点发送心跳消息。当管理节点在心跳消息接收周期内未接收到心跳消息，则该管理节点容器监测到执行节点容器故障，此时，该管理节点重新向该容器集群管理系统发送执行节点容器申请请求，以使该容器集群管理系统重新启动执行节点。

需要说明的是，管理节点与每个执行节点之间保持心跳，如果管理节点监测到某个执行节点故障时，则重新向该容器集群管理系统发送执行节点容器申请请求，以使该容器集群管理系统重新启动执行节点，并利用该重新启动的执行节点执行原来的故障的执行节点需要执行的子任务。

图2是本发明实施例提供的一种基于容器的任务处理的心跳关系图，如图2所示，调度节点21与管理节点22保持心跳，管理节点22与执行节点23之间保持心跳。

本发明实施例中，利用管理节点与执行节点之间的心跳关系对执行节点进行监控，避免了执行节点故障而导致任务处理失败的情况。

需要注意的是，本发明实施例中涉及到二级调度：一级是利用调度节点调度管理节点，二级是利用管理节点调度执行节点，而现有技术中是调度节点直接调度执行节点执行任务，现有技术中的这种调度方式，当调度节点需要处理大集群的任务时，调度节点与执行节点之间的数据交互量大而且次数频繁，增大调度节点处理压力，容易导致系统瘫痪。而本发明实施例中，利用二级调度巧妙的将调度节点的处理压力分散到各个管理节点，避免了任务节点和调度节点有直接的处理逻辑联系，利用容器的沙箱机制，提高各个管理节点之间的资源隔离控制管理，而且大大降低调度节点的资源和处理压力，提高了调度节点对大集群任务的处理能力。

图3是本发明实施例提供的一种包括调度节点以及容器集群管理系统的系统的示意图，如图3所示，调度节点32在接收到用户通过客户端31提交的任务后，向容器集群管理系统30发送管理节点容器的申请请求。容器集群管理系统30启动管理节点33。管理节点33接收到来自调度节点32的任务，对该任务进行解析，获取到任务拓扑和N个子任务，并向容器集群管理系统30发送N个执行节点容器的申请请求。容器集群管理系统启动N执行节点34。每个执行节点34接收到任务拓扑以及各自的子任务，并执行子任务。

在S150中，上述执行节点获取到来自上述管理节点的上述任务，并执行该任务。

根据示例实施例，容器集群管理系统在启动执行节点后，向该管理节点发送该执行节点的地址信息，例如IP地址，管理节点在接收到地址信息后，根据该地址信息向执行节点发送解析出的子任务以及任务拓扑，从而执行节点可以获取可以到来自来自上述管理节点的上述任务。

例如，当管理节点解析出子任务的数目为3，分别为子任务1、子任务2和子任务3，管理节点向容器集群管理系统发送了3个执行节点容器申请请求，容器集群管理系统启动了3个执行节点，分别为执行节点A、执行节点B和执行节点C。如表1所示，其为本发明实施例提供的执行节点与接收到的子任务的对应关系表。

子任务	执行节点
		1	A
2	B
		3	C

表1

由表1可知，解析出的每个子任务都会被不同的执行节点执行。

需要说明的是，管理节点需要将解析出来的任务拓扑发送给每个执行节点。执行节点在执行任务时，根据每个执行节点接收到的子任务和任务拓扑执行。

例如，假设子任务1和子任务2的任务拓扑为子任务2的层级关系在子任务1之下，如果子任务1发送到了执行节点B，子任务2发送到了执行节点A。则执行节点A和B接收到任务拓扑以及各自的子任务后，执行节点B首先获取数据并执行子任务1，获取到执行结果数据，然后根据任务拓扑将执行结果数据发送到执行节点A，执行节点A根据接收到的子任务1的执行结果数据后，根据子任务1对该执行结果数据进行计算，获取到子任务2的执行结果数据。

需要说明的是，容器之间实行沙箱机制，例如，允许在容器中运行浏览器或其他程序，因此运行所产生的变化可以随后删除。它创造了一个类似沙盒的独立作业环境，在其内部运行的程序并不能对硬盘产生永久性的影响。

本发明实施例中，利用调度节点调度管理节点，以及利用管理节点调度执行节点，一方面，将调度节点的处理压力分散到各个管理节点，避免了任务节点和调度节点有直接的心跳联系以及处理逻辑联系，从而利用容器的沙箱机制，提高各个管理节点之间的资源隔离控制管理，另一方面，大大降低调度节点的资源和处理压力，提高了调度节点对大集群任务的处理能力，使用虚拟化容器技术来实现更大集群规模的分布式计算平台。

应清楚地理解，本发明描述了如何形成和使用特定示例，但本发明的原理不限于这些示例的任何细节。相反，基于本发明公开的内容的教导，这些原理能够应用于许多其它实施例。

下面对容器集群管理系统侧的基于容器的任务处理的方法进行详细的说明。

图4是本发明实施例提供的另一种基于容器的任务处理的方法的流程图，如图4所示，该方法至少包括以下流程：

在S410中，根据调度节点响应于用户提交的任务发送的管理节点容器申请请求，启动管理节点容器，以启动管理节点，以使所述管理节点接收所述任务。

根据示例实施例，在启动管理节点后，容器集群管理系统可以将所述管理节点的地址信息发送给所述调度节点，以使所述调度节点将所述任务发送给所述管理节点。

根据示例实施例，调度节点与所述管理节点之间保持心跳，当所述调度节点监测到所述管理节点容器故障时，根据所述调度节点重新发送的管理节点容器申请请求，启动管理节点容器，以启动管理节点。

在S420中，根据该管理节点基于所述任务发送的执行节点容器申请请求，启动执行节点容器，以启动执行节点，以使所述执行节点执行所述任务。

根据示例实施例，通过该管理节点对所述任务进行解析，获取到子任务，根据该管理节点基于所述子任务的数目发送的执行节点容器申请请求，启动执行节点容器，以启动执行节点。

根据示例实施例管理节点容器与所述执行节点容器之间保持心跳，当所述管理节点容器监测到所述执行节点容器故障时，根据所述管理节点容器重新发送的执行节点容器申请请求，启动执行节点容器，以启动执行节点。

本发明实施例中，利用调度节点调度管理节点，以及利用管理节点调度执行节点，一方面，将调度节点的处理压力分散到各个管理节点，避免了任务节点和调度节点有直接的心跳联系以及处理逻辑联系，从而利用容器的沙箱机制，提高各个管理节点之间的资源隔离控制管理，另一方面，大大降低调度节点的资源和处理压力，提高了调度节点对大集群任务的处理能力，使用虚拟化容器技术来实现更大集群规模的分布式计算平台。

下述为本发明系统实施例，可以用于执行本发明方法实施例。在下文对系统的描述中，与前述方法相同的部分，将不再赘述。

图5是本发明实施例提供的一种基于容器的任务处理的系统结构图，如图5所示，该系统500包括：

第一发送模块510，用于通过调度节点根据用户提交的任务向容器集群管理系统发送管理节点容器申请请求；

第一启动模块520，用于通过所述容器集群管理系统根据所述管理节点容器申请请求启动管理节点容器，以启动管理节点；

第二发送模块530，用于通过所述管理节点获取到来自所述调度节点的所述任务，并向所述容器集群管理系统发送执行节点容器申请请求；

第二启动模块540，用于通过所述容器集群管理系统根据所述执行节点容器申请请求启动执行节点容器，以启动执行节点；

执行模块550，用于通过所述执行节点获取到来自所述管理节点的所述任务，并执行所述任务。

图6是本发明实施例提供的另一种基于容器的任务处理的系统结构图，如图6所示，该系统600包括：

第一启动模块610，用于根据调度节点响应于用户提交的任务发送的管理节点容器申请请求，启动管理节点容器，以启动管理节点，以使所述管理节点接收所述任务；

第二启动模块620，用于根据所述管理节点容器基于所述任务发送的执行节点容器申请请求，启动执行节点容器，以启动执行节点，以使所述执行节点执行所述任务。

本发明实施例中，利用调度节点调度管理节点，以及利用管理节点调度执行节点，一方面，将调度节点的处理压力分散到各个管理节点，避免了任务节点和调度节点有直接的心跳联系以及处理逻辑联系，从而利用容器的沙箱机制，提高各个管理节点之间的资源隔离控制管理，另一方面，大大降低调度节点的资源和处理压力，提高了调度节点对大集群任务的处理能力，使用虚拟化容器技术来实现更大集群规模的分布式计算平台。

图7是根据一示例性实施例示出一种用于行为数据处理的电子设备的计算机系统700的结构示意图。图7示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图7所示，计算机系统700包括中央处理单元(CPU)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有系统700操作所需的各种程序和数据。CPU 701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。

以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时，执行本申请的系统中限定的上述功能。

需要说明的是，本申请所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括发送单元、获取单元、确定单元和第一处理单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备可以执行：统计指定用户在第一时间段内针对指定品类的多个行为数据；调度节点根据用户提交的任务向容器集群管理系统发送管理节点容器申请请求；所述容器集群管理系统根据所述管理节点容器申请请求启动管理节点容器，以启动管理节点；所述管理节点获取到来自所述调度节点的所述任务，并向所述容器集群管理系统发送执行节点容器申请请求；所述容器集群管理系统根据所述执行节点容器申请请求启动执行节点容器，以启动执行节点；所述执行节点获取到来自所述管理节点的所述任务，并执行所述任务。

以上具体地示出和描述了本发明的示例性实施例。应可理解的是，本发明不限于这里描述的详细结构、设置方式或实现方法；相反，本发明意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。

Claims (14)

1.一种基于容器的任务处理的方法，其特征在于，包括：

调度节点根据用户提交的任务向容器集群管理系统发送管理节点容器申请请求；

所述容器集群管理系统根据所述管理节点容器申请请求启动管理节点容器，以启动管理节点；

所述管理节点获取到来自所述调度节点的所述任务，并向所述容器集群管理系统发送执行节点容器申请请求；

所述容器集群管理系统根据所述执行节点容器申请请求启动执行节点容器，以启动执行节点；

所述执行节点获取到来自所述管理节点的所述任务，并执行所述任务。

2.如权利要求1所述的方法，其特征在于，所述管理节点获取到来自所述调度节点的所述任务，包括：

所述容器集群管理系统向所述调度节点发送所述管理节点的地址信息；

所述调度节点根据所述地址信息向所述管理节点发送所述任务。

3.如权利要求1所述的方法，其特征在于，所述管理节点获取到来自所述调度节点的所述任务，并向所述容器集群管理系统发送执行节点容器申请请求，包括：

所述管理节点对所述任务进行解析，获取到子任务；

所述管理节点根据所述子任务的数目，向所述容器集群管理系统发送执行节点容器申请请求。

4.如权利要求3所述的方法，其特征在于，所述管理节点对所述任务进行解析，还可以获取到任务拓扑；

所述执行节点获取到来自所述管理节点的所述任务，并执行所述任务，包括；

所述容器集群管理系统向所述管理节点发送所述执行节点的地址信息；

所述管理节点根据所述地址信息向所述执行节点发送所述子任务和任务拓扑。

5.如权利要求1所述的方法，其特征在于，所述调度节点与所述管理节点之间保持心跳；

当所述调度节点监测到所述管理节点容器故障时，所述调度节点重新向容器集群管理系统发送管理节点容器申请请求。

6.如权利要求1所述的方法，其特征在于，所述管理节点与所述执行节点之间保持心跳；

当所述管理节点容器监测到所述执行节点容器故障时，所述管理节点重新向所述容器集群管理系统发送执行节点容器申请请求。

7.一种基于容器的任务处理的方法，其特征在于，包括：

根据调度节点响应于用户提交的任务发送的管理节点容器申请请求，启动管理节点容器，以启动管理节点，以使所述管理节点接收所述任务；

根据所述管理节点基于所述任务发送的执行节点容器申请请求，启动执行节点容器，以启动执行节点，以使所述执行节点执行所述任务。

8.如权利要求7所述的方法，其特征在于，启动管理节点后，所述方法还包括：

将所述管理节点的地址信息发送给所述调度节点，以使所述调度节点将所述任务发送给所述管理节点。

9.如权利要求8所述的方法，其特征在于，根据所述管理节点容器基于所述任务发送的执行节点容器申请请求，启动执行节点容器，以启动执行节点，包括：

通过所述管理节点对所述任务进行解析，获取到子任务；

根据所述管理节点基于所述子任务的数目发送的执行节点容器申请请求，启动执行节点容器，以启动执行节点。

10.如权利要求7所述的方法，其特征在于，所述管理节点容器与所述执行节点容器之间保持心跳；

当所述管理节点容器监测到所述执行节点容器故障时，根据所述管理节点容器重新发送的执行节点容器申请请求，启动执行节点容器，以启动执行节点。

11.一种基于容器的任务处理的系统，其特征在于，包括：

第一发送模块，用于通过调度节点根据用户提交的任务向容器集群管理系统发送管理节点容器申请请求；

第一启动模块，用于通过所述容器集群管理系统根据所述管理节点容器申请请求启动管理节点容器，以启动管理节点；

第二发送模块，用于通过所述管理节点获取到来自所述调度节点的所述任务，并向所述容器集群管理系统发送执行节点容器申请请求；

第二启动模块，用于通过所述容器集群管理系统根据所述执行节点容器申请请求启动执行节点容器，以启动执行节点；

执行模块，用于通过所述执行节点获取到来自所述管理节点的所述任务，并执行所述任务。

12.一种基于容器的任务处理的容器集群管理系统，其特征在于，包括：

第一启动模块，用于根据调度节点响应于用户提交的任务发送的管理节点容器申请请求，启动管理节点容器，以启动管理节点，以使所述管理节点接收所述任务；

第二启动模块，用于根据所述管理节点容器基于所述任务发送的执行节点容器申请请求，启动执行节点容器，以启动执行节点，以使所述执行节点执行所述任务。

13.一种基于容器的任务处理的电子设备，其特征在于，包括：

一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。

14.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-6中任一所述的方法。