CN110019044A - 大数据集群准实时Yarn任务监控分析方法 - Google Patents

Abstract

本公开提供了一种用于监控和分析大数据集群中的任务的方法，包括：从集群中获取与任务有关的数据；将与任务有关的数据存储到分布式文件系统；创建指向分布式文件系统中与任务有关的数据的数据库表；部署分布式查询引擎以访问所述数据库表；以及在web端呈现由所述分布式查询引擎访问的与任务有关的数据，用于监控和分析。本公开实现了基于开源技术Hadoop集群结合Hive、Presto、Hcharts实现大数据集群环境下Yarn任务的监控分析。

Description

大数据集群准实时Yarn任务监控分析方法

技术领域

本公开涉及大数据后台优化技术领域，具体涉及一种用于监控和分析大数据集群中的任务的方法、装置、计算设备和存储介质。

背景技术

当前随着各行业业务创新与发展，尤其是互联网、金融、通信等行业，其数据类型、数据量、计算量出现爆发式增长。大数据与云服务技术此时应运而生。在大数据环境下，经常采用Hadoop与Yarn结合来实现集群搭建以及集群资源控制。集群上用户的任务运行状态、执行资源队列、执行进度等信息是监控集群运行健康状态的重要核心内容。因此，需要一种能够高效及时地监控分析大数据集群中的任务的技术。

发明内容

有鉴于此，本公开主要提供了一种基于Hadoop、Yarn、Hive、Presto、Hcharts开源技术实现的大数据集群环境下对Yarn任务(application)执行情况的准实时监控分析的方法、装置、存储介质和计算设备。

根据本公开的第一方面，提供了一种用于监控和分析大数据集群中的任务的方法，包括：从集群中获取与任务有关的数据；将与任务有关的数据存储到分布式文件系统；创建指向分布式文件系统中与任务有关的数据的数据库表；部署分布式查询引擎以访问所述数据库表；以及在web端呈现由所述分布式查询引擎访问的与任务有关的数据，用于监控和分析。

在一个实施例中，所述方法可以适用于Hadoop和Yarn的环境，其中获取与任务有关的数据并存储到分布式文件系统可以包括使用脚本获取Yarn任务列表和包括Yarn任务的提交数量、等待数量、运行数量、完成数量中的至少一个的Yarn指标，以及存储到分布式文件系统可以包括将Yarn任务列表和Yarn指标上传到集群HDFS。

在一个实施例中，所述数据库表可以包括两个Hive表，分别指向集群HDFS中的Yarn任务列表和Yarn指标。

在一个实施例中，所述部署分布式查询引擎可以包括部署Presto引擎并配置catlog hive.properties信息，使得Presto引擎能够访问所述Hive表。

在一个实施例中，呈现与任务有关的数据可以包括使用可视化工具进行呈现，提供任务的历史趋势、同比分析、环比分析、同步预警和环比预警中的至少一个。

根据本公开的第二方面，提供了一种用于监控和分析大数据集群中的任务的装置，包括：获取单元，被配置为从集群中获取与任务有关的数据；存储单元，被配置将将与任务有关的数据存储到分布式文件系统；数据表单元，被配置为创建指向分布式文件系统中与任务有关的数据的数据库表；查询引擎单元，被配置为部署分布式查询引擎以访问所述数据库表；以及监控分析单元，被配置为在web端呈现由所述分布式查询引擎访问的与任务有关的数据，用于监控和分析。

在一个实施例中，上述装置可以适用于Hadoop和Yarn的环境，其中，获取单元还可以被配置为使用脚本获取Yarn任务列表和包括Yarn任务的提交数量、等待数量、运行数量、完成数量中的至少一个的Yarn指标；以及存储单元还可以被配置为将Yarn任务列表和Yarn指标上传到集群HDFS。

在一个实施例中，所述数据库表可以包括两个Hive表，分别指向集群HDFS中的Yarn任务列表和Yarn指标。

在一个实施例中，所述查询引擎单元还可以被配置为部署Presto引擎并配置catlog hive.properties信息，使得Presto引擎能够访问所述Hive表。

在一个实施例中，监控分析单元还可以被配置为：使用可视化工具进行呈现，提供任务的历史趋势、同比分析、环比分析、同步预警和环比预警中的至少一个。

根据本公开的第三方面，提供了一种计算设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现根据本公开的第一方面所述的方法。

根据本公开的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令当被计算机执行，使得所述计算机执行根据本公开的第一方面所述的方法。

本公开实现了基于开源技术Hadoop集群结合Hive、Presto、Hcharts实现大数据集群环境下Yarn任务的监控分析方法、装置、存储介质和计算设备。本公开为集群健康度建设提供准实时的统计分析数据，屏蔽了数据分析的技术难度，使得普通运营、运维、研发人员、业务使用方能够通过web页面即可了解到Yarn任务提交、运行、等待、完成状态的历史趋势、对比变化情况。

附图说明

通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：

图1示出了根据本公开实施例的用于Hadoop集群中的Yarn任务的监控和分析的架构；

图2示出了根据本公开实施例的可适用于在Hadoop和Yarn的环境下监控和分析大数据集群中的任务的方法的流程图；

图3示出了用户通过web端的可视化工具准实时地了解集群任务随时间变化的示意图；

图4示出了根据本公开实施例的用于监控和分析大数据集群中的任务的装置的示意框图；

图5是示出可以应用本公开的用于监控和分析大数据集群中的任务的方法或装置的示例性系统架构的示意框图；以及

图6是示出用于实现本公开实施例的计算机系统的结构示意图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。这里使用的词语“一”、“一个(种)”和“该”等也应包括“多个”、“多种”的意思，除非上下文另外明确指出。此外，在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。

本发明主要实现一种基于Hadoop、Yarn、Hive、Presto开源技术实现的大数据集群环境下对Yarn任务的准实时监控分析方法，并且支持历史趋势分析、同比、环比等分析方法。

在详细描述本公开的具体实施例之前，首先对技术术语进行阐释，以便于更好地理解本公开。

Hadoop：Hadoop是一个由Apache基金会所开发的分布式系统基础架构。Hadoop框架的核心设计是HDFS(Hadoop分布式文件系统)和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算。

大数据：或称巨量资料，指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。

Yarn：是Yet Another Resource Negotiator，是一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。目前Yarn支持CPU和内存两种资源，且使用了轻量级资源隔离机制Cgroups进行资源隔离。

ResourceManager(RM)：是一个全局的资源管理器，负责整个系统的资源管理和分配。它主要由两个组件构成：调度器(Scheduler)和应用程序管理器(ApplicationsManager，ASM)。

ApplicationMaster(AM)：用户提交的每个应用程序均包含一个AM，与RM调度器协商以获取容器资源(Container)；将得到的任务进一步分配给内部的任务，即，资源的二次分配；与NM通信以启动/停止任务；监控所有任务运行状态，并在任务运行失败时重新为任务申请资源以重启任务。

NodeManager(NM)：是每个节点上的资源和任务管理器，一方面，它会定时地向RM汇报本节点上的资源使用情况和各个Container的运行状态；另一方面，它接收并处理来自AM的Container启动/停止等各种请求。

Container：也称为容器，是Yarn中的资源抽象，它封装了某个节点上的多维度资源，如内存、CPU、磁盘、网络等，当AM向RM申请资源时，RM为AM返回的容器资源便是用Container表示。Yarn会为每个任务分配一个Container，且该任务只能使用该Container中描述的资源。

HDFS：Hadoop分布式文件系统，其被设计成适合运行在通用硬件上的分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。

Hive：基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。

Presto：Facebook推出的一个基于Java开发的大数据分布式sql查询引擎，可对从数G到数P的大数据进行交互式的查询，查询的速度达到商业数据仓库的级别。单个Presto查询可合并来自多个数据源的数据进行统一分析，可以在可期望的响应时间内返回查询结果，

Highcharts：是一个用纯JavaScript编写的一个开源图表库，能够很简单便捷的在Web网站或是Web应用程序添加有交互性的图表。支持的图表类型有直线图、曲线图、区域图、柱状图、饼状图、散状点图、仪表图、气泡图、瀑布流图等多达20种图表，其中很多图表可以集成在同一个图形中形成混合图。

在现有的大数据环境下，经常采用Hadoop与Yarn结合来实现集群搭建。目前对大数据集群环境下查看Yarn当前运行任务列表方法可以是：

一、命令行查看方法，例如，yarn application-list；

二、在Yarn Web UI界面中查看，例如http：//bdp-testcluster-17088：8088/cluster/apps

然而，这两种方法都存在一些问题。命令行形式查询的结果比较凌乱，不便于搜索和定位具体的任务，而且查询的结果无法满足集群建设、集群运维、集群使用各方的统计分析需求。Yarn Web UI虽然有简单的web查询页面，但是也无法满足集群建设、集群运维、集群使用各方的统计分析需求。此外，命令行形式与Yarn Web UI都无法支持与其他运营分析系统有机结合。

图1示出了根据本发明实施例的用于Hadoop集群中的Yarn任务的监控和分析的架构100。

首先，描述Yarn任务的产生、存在和结束的过程。在Hadoop(2.x以上版本)集群中，采用Yarn管理集群CPU与内存资源。具体地，Yarn提供以下组件：一个全局的资源管理器ResourceManager 101、ResourceManager的每个节点代理NodeManager 102、表示每个应用的ApplicationMaster 103，其中，每个ApplicationMaster可以拥有多个Container在NodeManager上运行。

在一个实施例中，Yarn业务应用程序被提交到ResourceManager 101上。这时，ResourceManager 101为应用程序ApplicationMaster 103申请Container资源，并与NodeManager 102通信，以启动ApplicationMaster 103。接下来，ApplicationMaster 103与ResourceManager 101通信，为要执行的任务申请资源，获取资源后，与NodeManager 102通信，启动对应的任务。最后，任务运行完成后，ApplicationMaster 103向ResourceManager 101注销资源，应用程序运行结束。

接下来，将详细描述根据本发明实施例的一系列操作以便准实时地监控分析Yarn任务的过程。

首先，可以在ResourceManager 101所在服务器上编写Yarn任务信息抓取程序，周期(例如每分钟，本公开不限于此)获取与Yarn任务有关的数据。具体地，可以获取Yarn列表数据和Yarn指标。

例如，可以用shell程序脚本获取实时Yarn任务列表，例如：

该程序脚本将Yarn任务清单列表信息写入到ResourceManager服务器本地，之后使用Hadoop put命令，将本地数据上传到集群HDFS上。

再例如，用shell程序脚本通过Cluster Metrics API获取实时Yarn任务的指标，例如提交数量、等待数量、运行数量、完成数量等，例如：

URI

*http：//<rm http address：port>/ws/vl/cluster/metrics

Shell脚本程序核心代码示例：

#获取集群指标信息

#上传数据文件到hdfs并完善hive表元数据

同样，该程序脚本将Yarn任务指标信息写入到ResourceManager服务器本地，之后使用Hadoop put命令，将本地数据上传到集群HDFS上。

可以创建两个Hive表106，这两个Hive表的location分别指向存储Yarnapplication列表与Yarn application汇总信息的HDFS文件目录。例如，以Hive表app_bi_mycluster_yarnapplist_info存储Yarn application清单列表；以Hive表app_bi_mycluster_yarnappsum_di存储Yarn application提交数量、等待数量、运行数量、完成数量等指标信息。

然后，可以在Hadoop集群中部署Presto引擎106，并配置cataloghive.properties信息，使Presto引擎106可以访问上述Hive表106。

然后，可以提供Web端监控分析服务108。例如，可以使用Java引用开源报表软件Highcharts(也称为Hcharts)，利用Presto通过JDBC实现高效快速的访问Hive表数据。具体地，可以通过Hcharts配置Yarn任务的历史趋势、同比分析、环比分析、同比预警、环比预警。

最后，集群运营、集群运维、集群软件研发等用户可以通过Web端监控分析服务准实时地了解到集群任务提交、运行、等待、完成情况，根据该情况调整集群资源分配和任务调度，判断集群运行是否正常等。

图2示出了根据本公开实施例的可适用于在Hadoop和Yarn的环境下监控和分析大数据集群中的任务的方法200的流程图。

方法200包括：步骤210，从集群中获取与任务有关的数据；步骤220，将与任务有关的数据存储到分布式文件系统；步骤230，创建指向分布式文件系统中与任务有关的数据的数据库表；步骤240，部署分布式查询引擎以访问所述数据库表；以及步骤250，在web端呈现由所述分布式查询引擎访问的与任务有关的数据，用于监控和分析。

具体地，所述方法200可以适用于Hadoop和Yarn的环境，其中，获取与任务有关的数据并存储到分布式文件系统可以包括使用脚本(例如shell程序脚本)获取Yarn任务列表和包括Yarn任务的提交数量、等待数量、运行数量、完成数量中的至少一个的Yarn指标，并将获取的数据写入本地。相应地，存储到分布式文件系统可以包括将所获取的Yarn任务列表和Yarn指标上传到集群HDFS。

在一个实施例中，在一个实施例中，为了便于高效及时地获取与任务有关的数据的信息，例如Yarn任务列表和Yarn指标。Hive相比于其他数据仓库工具的优点在于，其可以直接使用存储在Hadoop文件系统中的数据，以类似sql的查询方式，将sql查询转换为MapReduce的job在Hadoop集群上执行。可以创建Hive数据库表来映射或指向HDFS中的数据。这里，可以创建两个Hive表，分别指向Yarn任务列表和Yarn指标。

在一个实施例中，可以配置或部署分布式查询引擎，例如Presto，来对接Hive表，例如，通过配置catlog hive.properties信息，使得Presto能够访问Hive表。例如，如果配置了Hive connector，则需要配置一个Hive MetaStore服务来为Presto提供Hive元信息(metadata)。

此外，在一个实施例中，还可以使用可视化工具，例如HightCharts，来呈现与Yarn任务有关的数据，并且可以提供与任务有关的数据的历史趋势、同比分析、环比分析、同步预警和环比预警中的至少一个。

图3示出了用户通过web端的可视化工具准实时地了解集群任务的提交数量随时间变化的示意图。

图3中，分别用三种不同的颜色绘制了连续三天的集群任务提交数量情况，其中，横轴表示一天中的时间(0时至24时)，纵轴表示任务提交数量。在一个实施例中，可视化工具提供各种分析组件，以便分析资源分配的历史趋势、同比分析、环比分析、同比预警、环比预警等。

图4示出了根据本公开实施例的用于监控和分析大数据集群中的任务的装置400的示意框图。装置400可以包括：获取单元410，被配置为从集群中获取与任务有关的数据；存储单元420，被配置将将与任务有关的数据存储到分布式文件系统；数据表单元430，被配置为创建指向分布式文件系统中与任务有关的数据的数据库表；查询引擎单元440，被配置为部署分布式查询引擎以访问所述数据库表；以及监控分析单元450，被配置为在web端呈现由所述分布式查询引擎访问的与任务有关的数据，用于监控和分析。

在一个实施例中，所述装置400可以适用于Hadoop和Yarn的环境，其中，获取单元410还可以被配置为使用脚本获取Yarn任务列表和包括Yarn任务的提交数量、等待数量、运行数量、完成数量中的至少一个的Yarn指标；以及存储单元还可以被配置为将Yarn任务列表和Yarn指标上传到集群HDFS。

在一个实施例中，所述数据库表包括两个Hive表，分别指向集群HDFS中的Yarn任务列表和Yarn指标。

在一个实施例中，查询引擎单元440还可以被配置为部署Presto引擎并配置catlog hive.properties信息，使得Presto能够访问所述Hive表。

在一个实施例中，监控分析单元450还可以被配置为：使用可视化工具进行呈现，提供任务的历史趋势、同比分析、环比分析、同步预警和环比预警中的至少一个。

基于以上，本公开实现了基于开源技术Hadoop集群结合Hive、Presto、Hcharts实现大数据集群环境下Yarn任务的监控分析。本公开为集群健康度建设提供准实时的统计分析数据，屏蔽了数据分析的技术难度，使得普通运营、运维、研发人员、业务使用方能够通过web页面即可了解到Yarn application任务提交、运行、等待、完成状态的历史趋势、对比变化情况。

需要注意的是，尽管本公开基于Hadoop、Hive、Presto、Hcharts等开源技术实现了大数据集群中的任务的web可视化监控分析，但是可以通过使用其他商业收费产品如(Cognos、MSTR、BO)进行web可视化监控分析。备选地，也可以采用hbase或mysql等数据库实现数据存储。

图5示出了可以应用本公开的用于监控和分析大数据集群中的任务的方法或装置的示例性系统架构500。

如图5所示，系统架构500可以包括终端设备501、502、503，网络504和服务器505(此架构仅仅是示例，具体架构中包含的组建可以根据申请具体情况调整)。网络504用以在终端设备501、502、503和服务器505之间提供通信链路的介质。网络504可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备501、502、503通过网络504与服务器505交互，以接收或发送消息等。终端设备501、502、503上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。

终端设备501、502、503可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器505可以是提供各种服务的服务器，例如对用户利用终端设备501、502、503所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的查询请求等数据进行分析等处理，并将处理结果反馈给终端设备。

应该理解，图5中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图6，其示出了适于用于实现本公开实施例的计算机系统600的结构示意图。图6示出的计算机系统仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图6所示，计算机系统600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本公开的系统中限定的上述功能。

需要说明的是，本申请所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

Claims (12)

1.一种用于监控和分析大数据集群中的任务的方法，包括：

从集群中获取与任务有关的数据；

将与任务有关的数据存储到分布式文件系统；

创建指向分布式文件系统中与任务有关的数据的数据库表；

部署分布式查询引擎以访问所述数据库表；以及

在web端呈现由所述分布式查询引擎访问的与任务有关的数据，用于监控和分析。

2.根据权利要求1所述的方法，适用于Hadoop和Yarn的环境，其中

获取与任务有关的数据并存储到分布式文件系统包括使用脚本获取Yarn任务列表和包括Yarn任务的提交数量、等待数量、运行数量、完成数量中的至少一个的Yarn指标，以及

存储到分布式文件系统包括将Yarn任务列表和Yarn指标上传到集群HDFS。

3.根据权利要求2所述的方法，其中，所述数据库表包括两个Hive表，分别指向集群HDFS中的Yarn任务列表和Yarn指标。

4.根据权利要求3所述的方法，其中，部署分布式查询引擎包括部署Presto引擎并配置catlog hive.properties信息，使得Presto引擎能够访问所述Hive表。

5.根据权利要求1所述的方法，其中，呈现与任务有关的数据包括使用可视化工具进行呈现，提供任务的历史趋势、同比分析、环比分析、同步预警和环比预警中的至少一个。

6.一种用于监控和分析大数据集群中的任务的装置，包括：

获取单元，被配置为从集群中获取与任务有关的数据；

存储单元，被配置将将与任务有关的数据存储到分布式文件系统；

数据表单元，被配置为创建指向分布式文件系统中与任务有关的数据的数据库表；

查询引擎单元，被配置为部署分布式查询引擎以访问所述数据库表；以及

监控分析单元，被配置为在web端呈现由所述分布式查询引擎访问的与任务有关的数据，用于监控和分析。

7.根据权利要求6所述的装置，适用于Hadoop和Yarn的环境，其中，

获取单元还被配置为使用脚本获取Yarn任务列表和包括Yarn任务的提交数量、等待数量、运行数量、完成数量中的至少一个的Yarn指标；以及

存储单元还被配置为将Yarn任务列表和Yarn指标上传到集群HDFS。

8.根据权利要求7所述的装置，其中，所述数据库表包括两个Hive表，分别指向集群HDFS中的Yarn任务列表和Yarn指标。

9.根据权利要求8所述的装置，其中，查询引擎单元还被配置为部署Presto引擎并配置catlog hive.properties信息，使得Presto引擎能够访问所述Hive表。

10.根据权利要求6所述的装置，其中，监控分析单元还被配置为：使用可视化工具进行呈现，提供任务的历史趋势、同比分析、环比分析、同步预警和环比预警中的至少一个。

11.一种计算设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至5中任一项所述的方法。

12.一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令当被计算机执行，使得所述计算机执行如权利要求1至5中任一项所述的方法。