CN110647440A - 一种基于状态机的大数据任务处理方法及系统 - Google Patents

Abstract

本申请公开了一种基于状态机的大数据任务处理方法及系统，应用于容器化场景下资源管理平台上的大数据任务处理。将状态机注入资源管理平台中，结合状态机的流转框架监测大数据任务的处理过程，并触发当前处理阶段所在的状态点对应的预先设置的反馈处理算法，进行资源管理平台中资源的调度分配以及任务的处理，并且随着大数据任务的处理进行状态点的转移。由此可见，采用本申请实施例的方案，通过状态机的流转框架，可以实现在资源管理平台上对大数据处理任务过程的监控，并且通过各个状态点的反馈处理算法，实现了在大数据任务处理的不同阶段对资源管理平台的资源的合理利用。

Description

一种基于状态机的大数据任务处理方法及系统

技术领域

本申请涉及大数据处理技术领域，特别是涉及一种基于状态机的大数据任务处理方法及系统。

背景技术

随着计算机技术的发展，容器技术逐渐成为一种广泛认可的服务器资源共享技术，并在近几年得到了飞速发展。其中，出现了类似于Kubernetes等基于容器化技术的资源管理平台。

但是，在现有技术中，Kubernetes等资源管理平台缺乏适应于大数据任务的处理方法，在大数据任务的处理过程中，由于缺乏对大数据任务处理过程的实时监控，容易导致在资源分配和容错管理上出现问题。可以理解的是，当大数据任务提交到Kubernetes等资源管理平台时，在任务处理的过程中，由于无法实时得到任务的处理阶段，难以及时的根据处理阶段的需要进行资源分配或者容错处理，导致容易出现资源分配不合理以及错误停止的情况。

发明内容

基于上述问题，本申请实施例的主要目的在于提供一种基于状态机的大数据任务处理方法及系统，能够实现对大数据任务的处理过程的实时监控以及相关处理，实现了在大数据任务处理的不同阶段对资源管理平台的资源的合理利用。

本申请实施例公开了如下技术方案：

第一方面，本申请实施例提供一种基于状态机的大数据任务处理方法，其特征在于，所述方法应用于容器化场景下资源管理平台上的大数据任务处理；该方法预先将大数据任务的处理过程进行多个处理阶段的划分，根据各个处理阶段设置所述状态机中的对应的状态点；根据所述处理阶段之间的先后关系，确定状态点之间的状态转移关系；所述方法包括：

将所述状态机注入所述资源管理平台；

根据状态机的流转框架监控大数据任务的处理过程；其中，所述状态机的流转框架是依据全部状态点和全部状态转移关系建立的；

当任务处理阶段进行到某个状态点时，触发针对该状态点所预先设置的反馈处理算法进行资源的调取与分配并进行任务处理；

根据大数据任务的处理过程，进行当前所处的处理阶段对应的状态点的转移。

可选的，所述全部状态点为：至少包括对应于两个处理阶段的状态点：一个为对应于任务创建阶段的状态点；另一个为对应于任务结束或任务更新阶段的状态点。

可选的，所述状态点为：与处理阶段一一对应的状态点。

可选的，所述状态转移关系为：一个状态点与下一个处理阶段对应的状态点之间建立的进行状态点转移的关系。

可选的，所述流转框架为：包含至少一个可循环的处理过程的流转框架。

第二方面，本申请实施例提供一种基于状态机的大数据任务处理系统，其特征在于，所述系统应用于容器化场景下资源管理平台上的大数据任务处理；该系统预先将大数据任务的处理过程进行多个处理阶段的划分，根据各个处理阶段设置所述状态机中的对应的状态点；根据所述处理阶段之间的先后关系，确定状态点之间的状态转移关系；所述系统包括：

状态机注入单元，用于将所述状态机注入到资源管理平台中；

任务进程监控单元，用于通过状态机的流转框架监控大数据任务的处理过程；其中，所述状态机的流转框架是依据全部状态点和全部状态转移关系建立的；

执行单元，用于在任务处理阶段进行到某个状态点时，执行在该状态点所预先设置的反馈处理算法，并且根据大数据任务的处理过程，进行当前所处的处理阶段对应的状态点的转移。

可选的，在任务进程监控单元中，所述全部状态点为：至少包括对应于两个处理阶段的状态点：一个为对应于任务创建阶段的状态点；另一个为对应于任务结束或任务更新阶段的状态点。

可选的，在任务进程监控单元中，所述状态点为：与处理阶段一一对应的状态点。

可选的，在任务进程监控单元中，所述状态转移关系为：一个状态点与下一个处理阶段对应的状态点之间建立的进行状态点转移的关系。

可选的，状态机设置单元中，所述流转框架为：包含至少一个可循环的处理过程的流转框架。

可选的，所述系统还包括：报警单元，用于监测任务进程监控单元和执行单元，当监测任务进程监控单元或执行单元出现问题时进行警告。

可选的，所述系统还包括：测试单元，用于测试状态机注入后是否可以正常运行。

相较于现有技术，本申请实施例具有以下优点：

本申请实施例提供的基于状态机的大数据任务处理方法及系统，应用于容器化场景下资源管理平台上的大数据任务处理，预先根据大数据任务的处理过程设置状态机的状态点以及状态点之间的状态流转关系，构建状态机流转框架。将所述状态机注入资源管理平台中，结合状态机的流转框架监测大数据任务的处理过程，并触发当前处理阶段所在的状态点对应的预先设置的反馈处理算法，进行资源管理平台中资源的调度分配以及任务的处理，并且随着大数据任务的处理进行状态点的转移。由此可见，采用本申请实施例的方案，通过状态机的流转框架，可以实现在资源管理平台上对大数据处理任务过程的监控，并且通过各个状态点的反馈处理算法，实现了在大数据任务处理的不同阶段对资源管理平台资源的合理利用，避免了由于无法监控大数据任务的处理进程，导致的无法实时的根据任务处理的需要进行资源的合理分配的问题。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种基于状态机的大数据任务处理方法的流程示意图；

图2为本申请实施例提供的一种基于状态机的大数据任务处理系统的状态机流转框架示意图；

图3为本申请实施例提供的一种基于状态机的大数据任务处理系统的结构示意图。

具体实施方式

正如前文描述，目前的容器化场景下的Kubernetes等资源管理平台正应用于微服务等领域，本申请的发明人经过研究发现，在现有技术中，可以理解的是，由于Kubernetes等资源管理平台的资源调度分配方法是通用的，缺乏与大数据处理技术的结合，导致在Kubernetes等资源管理平台进行大数据任务处理时，由于无法监控到大数据任务处理的进程，无法实现根据任务处理的需要，合理的调度与分配资源管理平台的资源，在实际操作中可能出现资源不足或者是内存溢出等情况。

本申请的发明人在研究中发现，为了实现可以根据大数据任务处理的不同阶段来合理的调度分配资源，首先要建立起可以监控大数据任务处理阶段的监控方法，可以随着任务的处理进行阶段的改变，避免现有技术中无法对大数据任务的处理进程实施监测的问题。其次在不同的处理阶段要根据资源的需求来调用和分配资源管理平台中的资源，保证针对任务不同处理阶段或者任务的不同类型进行资源分配。最后，完成各个处理阶段的任务，实现在资源管理平台上的大数据任务的高效处理。

鉴于此，本申请实施例提供了一种基于状态机的大数据任务处理方法及系统，应用于容器化场景下资源管理平台上的大数据任务处理，通过根据大数据任务的处理过程设置状态机的状态点以及状态点之间的状态流转关系，构建状态机流转框架。将状态机注入资源管理平台中，结合状态机的流转框架监测大数据任务的处理过程，并触发当前处理阶段所在的状态点对应的预先设置的反馈处理算法，进行资源管理平台中资源的调度分配以及任务的处理，并且随着大数据任务的处理进行状态点的转移。由此可见，采用本申请实施例的方案，通过状态机的流转框架，可以实现在资源管理平台上对大数据处理任务过程的监控，并且通过各个状态点的反馈处理算法，实现了在大数据任务处理的不同阶段对资源管理平台资源的合理利用，避免了由于无法监控大数据任务的处理进程，导致的无法实时的根据任务处理的需要进行资源的合理分配的问题。

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合附图，详细说明本申请的各种非限制性实施方式。

第一实施例

参见图1，该图为本申请实施例提供的一种基于状态机的大数据任务处理方法的流程示意图；

需要说明的是，本申请实施例提供的大数据任务处理方法可以应用于容器化场景下的例如Kubernetes等资源管理平台。

需要说明的是可以预先将大数据任务的处理过程进行多个处理阶段的划分，根据各个处理阶段设置所述状态机中的对应的状态点；根据所述处理阶段之间的先后关系，确定状态点之间的状态转移关系。

在本实施例中，所述方法例如可以通过如下步骤S101-S104实现。

S101：将所述状态机注入所述资源管理平台。

需要说明的是，本申请实施例中的状态机可以为一种状态控制方法。

需要说明的是，本申请实施例中不限定具体的资源管理平台。换言之，本申请实施例中的资源管理平台可以是容器化场景下的具有上述技术问题的资源管理平台，例如Kubernetes，其他作用相同的资源管理平台或者在处理大数据任务时具有相同或者类似技术问题的资源管理平台均可以应用本方法。

需要说明的是，本申请实施例中的状态机注入资源管理平台可以根据资源管理平台进行针对性设置，例如在Kubernetes资源管理平台上可以通过CRD资源控制器定制，以实现状态机注入到Kubernetes中。

需要说明的是，本申请实施例中的状态机可以根据大数据任务的处理过程进行分析设定，也可以根据该任务对应的大数据应用技术特征进行分析设定。例如可以根据大数据应用的技术特征，如有状态应用、无状态应用、计算密集型、IO密集型、网络密集型等技术特征，确定应用中的关键节点，确定状态机的状态点和状态转移关系，进而建立状态机的流转框架。

S102：根据状态机的流转框架监控大数据任务的处理过程；其中，所述状态机的流转框架是依据全部状态点和全部状态转移关系建立的。

需要说明的是，状态机中的状态点的状态转移关系可以是一个状态点与可以转移的下一个状态点之间建立的，每个状态转移关系都是基于特定的转移条件建立的。

需要说明的是，一个状态点可以与多个状态点之间建立对应的多个状态转移关系，也就是说，一个状态点可以基于不同的状态转移条件转移到不同的状态点，同样，多个不同的状态点可以转移到同一个状态点。例如，根据大数据任务处理过程的划分，设置集群启动状态点、数据储存点、任务提交状态点、失败状态点等，由于在集群启动、数据储存、任务提交时都有可能出现任务失败，所以基于不同的失败条件，集群启动状态点、数据储存点、任务提交状态点都可以转移到失败状态点。而集群启动状态点的下一个状态点可以是失败状态点也可以是数据储存点，所以集群启动状态点可以与上述这两个状态点分别建立状态转移关系。

需要说明的是，每个状态点有下个可以根据状态转移关系进行转移的状态点，其中下个转移的状态点可以是多个，也可以是一个；可以是除自身以外的状态点，也可以是所述状态点。但是当某个状态点的下个可以转移的状态点是自身时，需要有可以转移到其他状态点的状态转移关系，避免始终进行自身的循环。

需要说明的是，本申请实施例中的状态机的流转框架可以包括至少一个循环的过程，其他流转过程不限制。

需要说明的是，本申请实施例中的状态机的流转框架可以将所有的状态点以及可能存在的状态转移关系包括在内。

S103：任务处理阶段进行到某个状态点时，触发针对该状态点所预先设置的反馈处理算法进行资源的调取与分配并进行任务处理。

需要说明的是，本申请实施例中，所述反馈处理算法是根据该状态点所对应的任务处理阶段设计的，可以根据该阶段任务的需要进行相关算法的设计，可以包括但不限于对资源管理平台的资源调用与资源使用情况的监测、对任务的处理等。

需要说明的是，对应于每个状态点的反馈处理算法可以是预先设计好的，也可以根据需要进行修改和添加。

S104：根据大数据任务的处理过程进行当前所处的处理阶段对应的状态点的转移。

第二实施例

以上对本申请实施例提供的数据存储方法进行了介绍，以下结合具体场景对本申请实施例提供的方法进行介绍。

在该场景中，所述资源管理平台为Kubernetes，预先将大数据处理任务根据需要进行不同处理阶段的划分，并相对应的设置状态机的状态点，例如主要状态点包括：计算集群创建状态点、集群启动状态点、运行状态点、数据保存状态点、任务提交状态点、任务失败回滚状态点、资源动态申请管理状态点、任务更新状态点、部署失败状态点等。根据各个状态点所对应的任务处理阶段之间的先后关系，建立各个状态点之间的状态转移关系。其中状态转移关系是指一个状态点与一个状态点之间的状态转移关系，是由处理阶段的关系限定的。一个状态点可以与多个状态点建立相应的多个状态转移关系。例如：计算集群创建状态点对应任务的开始阶段，之后为集群启动阶段，所以计算集群状态点可以与集群启动状态点进行状态转移关系的建立。集群启动后如果正常就进入数据保存，如果出现问题就导致部署失败，所以集群启动状态点可以与数据保存状态点以及部署失败状态点分别建立对应的状态转移关系。以此类推，将所有的状态点与下个阶段对应的状态点建立状态转移关系。根据上述的主要状态点和状态转移关系，可以建立状态机的流转框架。所述建立的状态机流转框架如图2所示。在每个状态点上设置相对应的反馈处理算法，包括资源调度分配以及任务处理的算法，以便实现任务的正常完成。例如，对应于计算集群创建状态点的反馈处理算法主要解决大数据集群必要的资源配额问题。资源动态申请管理状态点的反馈处理算法主要解决大数据计算过程中，实时采集大数据集群资源使用情况，动态扩容集群资源或释放集群资源的问题。其他状态点的反馈处理算法设计方法类似，在此不再赘述。将上述完成流转框架建立以及完成各个状态点反馈处理算法设计的状态机，通过使用CRD资源控制器注入到Kubernetes资源管理平台，运行状态机。其中，注入是指将状态机对应的方法在资源管理平台上实现。当大数据任务提交到Kubernetes资源管理平台时，状态机中当前的状态点就为计算集群创建状态点，相应的触发对应于该状态点的反馈处理算法，进行大数据集群必要的资源配置。当计算集群创建完成时，开始进行集群启动时，状态机中当前的状态点转移到集群启动状态点，触发该状态点对应的反馈处理算法。集群启动完成后，如果集群启动正常，状态机的当前的状态点转移到数据保存状态点；如果无法正常启动，则将状态点转移到部署失败状态点。以此类推，任务的处理阶段按照状态机的流转框架进行流转，直到本次任务处理完成。

由此可见，本申请实施例提供的基于状态机的大数据任务处理方法，通过状态机的流转框架可以监控大数据任务的处理过程，并且可以通过触发各个状态点对应的反馈处理算法实现对资源的调度和分配。实现了在大数据任务处理的不同阶段对资源管理平台的资源的合理利用，避免了由于无法监控大数据任务的处理进程，导致的无法实时的根据任务处理需要进行资源的合理分配的问题。

第三实施例

参见图3，该图为本申请实施例提供的一种基于状态机的大数据任务处理系统的结构示意图。

所述系统300例如可以包括：状态机注入单元301、任务进程监控单元302和执行单元303。

状态机注入单元301，用于将已建立流转框架的状态机注入到资源管理平台中；

任务进程监控单元302，用于通过状态机的流转框架监控大数据任务的处理过程；其中，所述状态机的流转框架是依据全部状态点和全部状态转移关系建立的；

执行单元303，用于在任务处理阶段进行到某个状态点时，执行在该状态点所预先设置的反馈处理算法，并且根据任务处理阶段进行状态点的转移。

可选的，在任务进程监控单元中，所述全部状态点为：至少包括对应于两个处理阶段的状态点：一个为对应于任务创建阶段的状态点；另一个为对应于任务结束或任务更新阶段的状态点。

可选的，在任务进程监控单元中，所述状态点为：与处理阶段一一对应的状态点。

可选的，在任务进程监控单元中，所述状态转移关系为：一个状态点与下一个处理阶段对应的状态点之间建立的进行状态点转移的关系。

可选的，状态机设置单元中，所述流转框架为：包含至少一个可循环的处理过程的流转框架。

在一些可能的实施方式中，所述系统还包括：报警单元，用于监测任务进程监控单元和执行单元，当监测任务进程监控单元或执行单元出现问题时进行警告。

在另一些可能的实施方式中，所述系统还包括：测试单元，用于测试状态机注入后是否可以正常运行。

由于所述系统是与以上方法实施例提供的方法对应的系统，故，关于所述系统的各个单元的描述可以参考以上方法实施例的描述部分，此处不再赘述。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备及系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的设备及系统实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元提示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述，仅为本申请的一种具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (12)

1.一种基于状态机的大数据任务处理方法，其特征在于，所述方法应用于容器化场景下资源管理平台上的大数据任务处理；该方法预先将大数据任务的处理过程进行多个处理阶段的划分，根据各个处理阶段设置所述状态机中的对应的状态点；根据所述处理阶段之间的先后关系，确定状态点之间的状态转移关系；所述方法包括：

将所述状态机注入所述资源管理平台；

根据状态机的流转框架监控大数据任务的处理过程；其中，所述状态机的流转框架是依据全部状态点和全部状态转移关系建立的；

当任务处理阶段进行到某个状态点时，触发针对该状态点所预先设置的反馈处理算法进行资源的调取与分配并进行任务处理；

根据大数据任务的处理过程，进行当前所处的处理阶段对应的状态点的转移。

2.根据权利要求1所述的方法，其特征在于，所述全部状态点为：

至少包括对应于两个处理阶段的状态点：一个为对应于任务创建阶段的状态点；另一个为对应于任务结束或任务更新阶段的状态点。

3.根据权利要求1所述的方法，其特征在于，所述状态点为：与处理阶段一一对应的状态点。

4.根据权利要求1所述的方法，其特征在于，所述状态转移关系为：

一个状态点与下一个处理阶段对应的状态点之间建立的进行状态点转移的关系。

5.根据权利要求1所述的方法，其特征在于，所述流转框架为：包含至少一个可循环的处理过程的流转框架。

6.一种基于状态机的大数据任务处理系统，其特征在于，所述系统应用于容器化场景下资源管理平台上的大数据任务处理；该系统预先将大数据任务的处理过程进行多个处理阶段的划分，根据各个处理阶段设置所述状态机中的对应的状态点；根据所述处理阶段之间的先后关系，确定状态点之间的状态转移关系；所述系统包括：

状态机注入单元，用于将所述状态机注入到资源管理平台中；

任务进程监控单元，用于通过状态机的流转框架监控大数据任务的处理过程；其中，所述状态机的流转框架是依据全部状态点和全部状态转移关系建立的；

执行单元，用于在任务处理阶段进行到某个状态点时，执行在该状态点所预先设置的反馈处理算法，并且根据大数据任务的处理过程，进行当前所处的处理阶段对应的状态点的转移。

7.根据权利要求6所述的系统，其特征在于，在任务进程监控单元中，所述全部状态点为：

至少包括对应于两个处理阶段的状态点：一个为对应于任务创建阶段的状态点；另一个为对应于任务结束或任务更新阶段的状态点。

8.根据权利要求6所述的系统，其特征在于，在任务进程监控单元中，所述状态点为：与处理阶段一一对应的状态点。

9.根据权利要求6所述的系统，其特征在于，在任务进程监控单元中，所述状态转移关系为：

一个状态点与下一个处理阶段对应的状态点之间建立的进行状态点转移的关系。

10.根据权利要求6所述的系统，其特征在于，状态机设置单元中，所述流转框架为：包含至少一个可循环的处理过程的流转框架。

11.根据权利要求6所述的系统，其特征在于，所述系统还包括：报警单元：用于监测任务进程监控单元和执行单元，当监测任务进程监控单元或执行单元出现问题时进行警告。

12.根据权利要求6所述的系统，其特征在于，所述系统还包括：测试单元：用于测试状态机注入后是否可以正常运行。

Images