CN108319538B - 大数据平台运行状态的监控方法和系统 - Google Patents

Abstract

本发明涉及一种大数据平台运行状态的监控方法和系统，该方法包括步骤：确定大数据平台的计算任务的各个任务阶段；通过预先部署在大数据平台的监控节点获取计算任务在各个任务阶段的任务执行情况；其中，所述监控节点与所述大数据平台的计算任务的各个任务阶段所在节点对应部署；根据所述计算任务在各个任务阶段的任务执行情况监控大数据平台的运行状态。上述方案通过预先部署的监控节点获取大数据平台的计算任务在各个任务阶段的任务执行情况，根据任务执行情况监控大数据平台的运行状态，克服了传统技术通过监控大数据平台的服务组件而导致准确性偏低的问题，实现对大数据平台的运行状态进行准确监控，还保证了大数据平台的运行效率。

Description

大数据平台运行状态的监控方法和系统

技术领域

本发明涉及大数据技术领域，特别是涉及一种大数据平台运行状态的监控方法和系统、计算机设备和计算机可读存储介质。

背景技术

随着社会信息化程度的不断提高，在诸多业务领域产生了海量、实时的数据。当前大数据分析逐渐以非结构化为主，单机存储空间与运算能力难以满足需求，所以基于分布式的hadoop集群、spark集群和storm集群等大数据系统被广泛应用。大数据集群系统通常部署了成百上千个节点，节点规模的扩展不仅使大数据平台的集群资源配置与服务部署维护等越发困难，而且也使大数据平台的计算作业的提交、调度、重试及撤销告警等任务耗时耗力。

监控是大数据平台的重要组成部分，大数据系统的动态性、复杂性给大数据平台运行状态的监控带来了诸多困难，如何对集群软硬件资源及不同粒度的作业进行有效监控和预警，并在出现故障时及时采取措施，是提高大数据平台计算准确性与时效性的关键。

传统技术通常通过监控大数据平台的各个服务组件的服务情况来获取大数据平台的运行状态，然而由于大数据平台的服务组件有限和难以对组件进行二次开发等原因，难以监控到大数据平台的具体业务需求，例如难以保证大数据平台的计算任务的计算质量，导致这种技术监控大数据平台的运行状态的准确性偏低。

发明内容

基于此，有必要针对传统技术准确性偏低问题，提供一种大数据平台运行状态的监控方法和系统、计算机设备和计算机可读存储介质。

一种大数据平台运行状态的监控方法，包括步骤：

确定大数据平台的计算任务的各个任务阶段；

通过预先部署在大数据平台的监控节点获取所述计算任务在各个任务阶段的任务执行情况；其中，所述监控节点与所述大数据平台的计算任务的各个任务阶段所在节点对应部署；

根据所述计算任务在各个任务阶段的任务执行情况监控所述大数据平台的运行状态。

上述方案通过预先部署的监控节点获取大数据平台的计算任务在各个任务阶段的任务执行情况，根据任务执行情况监控大数据平台的运行状态，克服了传统技术通过监控大数据平台的服务组件而导致准确性偏低的问题，实现对大数据平台的运行状态进行准确监控，还保证了大数据平台的运行效率。

在一个实施例中，所述通过预先部署在大数据平台的监控节点获取所述计算任务在各个任务阶段的任务执行情况的步骤包括：

获取所述计算任务的类型；其中，所述计算任务的类型包括离线任务和实时任务；

调用预先部署在大数据平台与该类型相应的监控节点，获取所述类型的计算任务在相应任务阶段的任务执行情况。

在一个实施例中，所述计算任务的类型为离线任务；所述计算任务的任务阶段包括：数据迁移阶段、数据清洗阶段、数据计算阶段、计算结果产生阶段和计算结束阶段。

在一个实施例中，所述计算任务的任务阶段是数据迁移阶段；所述获取所述类型的计算任务在相应任务阶段的任务执行情况的步骤包括：在所述大数据平台将离线任务的数据迁移到指定的HDFS目录时，获取所述离线任务在该HDFS目录中的文件数目和该大数据平台的数据迁移程序生成的响应码；根据所述文件数目和响应码判断所述离线任务在数据迁移阶段的任务是否成功执行。

在一个实施例中，所述计算任务的任务阶段是数据清洗阶段；所述获取所述类型的计算任务在相应任务阶段的任务执行情况的步骤包括：在所述大数据平台采用spark对离线任务的数据进行清洗过滤时，获取数据清洗程序生成的响应码；根据该响应码判断所述离线任务在数据清洗阶段的任务是否成功执行。

在一个实施例中，所述计算任务的任务阶段是数据计算阶段；所述获取所述类型的计算任务在相应任务阶段的任务执行情况的步骤包括：在所述大数据平台采用hive和spark对所述离线任务的清洗后的数据进行计算时，获取所述离线任务的各个计算单元的响应码，依据所述各个计算单元的响应码判断所述离线任务在数据计算阶段的任务是否成功执行。

在一个实施例中，所述计算任务的任务阶段是计算结果产生阶段；所述获取所述类型的计算任务在相应任务阶段的任务执行情况的步骤包括：获取所述离线任务的时间粒度，根据该时间粒度定时查询所述离线任务对应的数据库表产生的数据，得到所述离线任务在该时间粒度内的数据查询结果；依据所述数据查询结果确定所述离线任务在计算结果产生阶段的任务是否成功执行；

所述计算任务的任务阶段是计算结束阶段；所述获取所述类型的计算任务在相应任务阶段的任务执行情况的步骤包括：根据所述离线任务的时间粒度轮询所述离线任务的任务结束标志位；依据该标志位判断所述离线任务在计算结束阶段的任务是否成功执行。

在一个实施例中，所述计算任务的类型为实时任务；所述计算任务的任务阶段包括：实时读取阶段和实时计算阶段。

在一个实施例中，所述计算任务的任务阶段是实时读取阶段；所述获取所述类型的计算任务在相应任务阶段的任务执行情况的步骤包括：在所述大数据平台通过SparkStreaming和Storm读取实时任务的kafka数据流时，定时获取该实时任务的各个计算单元的标识；根据该标识查询所述实时任务的任务进程获取所述任务进程的查询结果；依据该查询结果判断所述实时任务在实时读取阶段的任务是否成功执行；

所述计算任务的任务阶段是实时计算阶段；所述获取所述类型的计算任务在相应任务阶段的任务执行情况的步骤包括：在所述大数据平台通过Spark Streaming和Storm对读取的kafka数据流进行计算时，定时查询所述实时任务对应的数据库表产生的数据得到数据查询结果；依据该数据查询结果判断所述实时任务在实时计算阶段的任务是否成功执行。

在一个实施例中，提供了一种大数据平台运行状态的监控系统，该监控系统包括：

确定模块，用于确定大数据平台的计算任务的各个任务阶段；

获取模块，通过预先部署在大数据平台的监控节点获取所述计算任务在各个任务阶段的任务执行情况；其中，所述监控节点与所述大数据平台的计算任务的各个任务阶段所在节点对应部署；

监控模块，根据所述计算任务在各个任务阶段的任务执行情况监控所述大数据平台的运行状态。

上述方案通过预先部署的监控节点获取大数据平台的计算任务在各个任务阶段的任务执行情况，根据任务执行情况监控大数据平台的运行状态，克服了传统技术通过监控大数据平台的服务组件而导致准确性偏低的问题，实现对大数据平台的运行状态进行准确监控，还保证了大数据平台的运行效率。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

确定大数据平台的计算任务的各个任务阶段；通过预先部署在大数据平台的监控节点获取所述计算任务在各个任务阶段的任务执行情况；根据所述计算任务在各个任务阶段的任务执行情况监控所述大数据平台的运行状态。

上述计算机设备，通过所述处理器上运行的计算机程序，实现对大数据平台的运行状态进行准确监控，还保证了大数据平台的运行效率。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

确定大数据平台的计算任务的各个任务阶段；通过预先部署在大数据平台的监控节点获取所述计算任务在各个任务阶段的任务执行情况；根据所述计算任务在各个任务阶段的任务执行情况监控所述大数据平台的运行状态。

上述计算机可读存储介质，通过其存储的计算机程序，实现对大数据平台的运行状态进行准确监控，还保证了大数据平台的运行效率。

附图说明

图1为一个实施例中大数据平台运行状态的监控方法的流程示意图；

图2为另一个实施例中大数据平台运行状态的监控方法的流程示意图；

图3为再一个实施例中大数据平台运行状态的监控方法的流程示意图；

图4为又一个实施例中大数据平台运行状态的监控方法的流程示意图；

图5为一个实施例中大数据平台运行状态的监控系统的结构框图；

图6为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，图1是一个实施例中大数据平台运行状态的监控方法的流程示意图，在一个实施例中，提供了一种大数据平台运行状态的监控方法，该方法可以包括以下步骤：

步骤S101，确定大数据平台的计算任务的各个任务阶段。

本步骤主要是在大数据平台启动大数据平台的计算任务时，确定该计算任务的各个计算任务阶段，其中，计算任务的类型可以包括实时任务和离线任务。可以通过获取大数据平台启动计算任务时发送的启动指令，根据该启动指令确定计算任务的所需要经历的各个计算任务阶段，为后续对计算任务的各个阶段进行监控做准备。

步骤S102，通过预先部署在大数据平台的监控节点获取计算任务在各个任务阶段的任务执行情况；其中，所述监控节点与大数据平台的计算任务的各个任务阶段所在节点对应部署。

其中，监控节点是指对大数据平台的计算任务的各个任务阶段进行监控的节点，计算任务的不同任务阶段通常在大数据平台的多个节点上执行，本步骤主要是将监控节点预先部署在与大数据平台的计算任务的各个任务阶段所对应的节点上，从而可以在大数据平台的计算任务被执行时，获取该任务在各个任务阶段的任务执行情况。

步骤S103，根据计算任务在各个任务阶段的任务执行情况监控大数据平台的运行状态。

在本步骤中，大数据平台的运行状态通过计算任务在各个任务阶段的任务执行情况进行监控，可以实时监控到该计算任务的任一任务阶段的执行情况，从而判断大数据平台的运行状态。例如可以在某个任务阶段发生错误时，发出该任务阶段失败的告警消息，从而根据各个任务阶段是否有告警消息确定该计大数据平台是否处于运行正常状态。

上述实施例提供的大数据平台运行状态的监控方法，通过预先部署的监控节点获取大数据平台的计算任务在各个任务阶段的任务执行情况，根据任务执行情况监控大数据平台的运行状态，上述方案克服了传统技术通过监控大数据平台的服务组件而导致准确性偏低的问题，实现对大数据平台的运行状态进行准确监控，还保证了大数据平台的运行效率。

在一个实施例中，步骤S102可以包括：获取计算任务的类型；其中，计算任务的类型包括离线任务和实时任务；调用预先部署在大数据平台与该类型相应的监控节点，获取该类型的计算任务在相应任务阶段的任务执行情况。

本实施例主要是考虑到计算任务具有不同的任务类型，可以根据计算任务的类型调用相应的监控节点来获取该类型的计算任务的各个任务阶段的任务执行情况，其中，计算任务的类型可以包括离线任务和实时任务，因此可以根据该类型调用相应的监控节点，对该类型的计算任务的任务执行情况进行监控，为大数据平台运行状态的准确监控提供基础数据支持。

在一个实施例中，计算任务的类型是离线任务，计算任务的任务阶段可以包括：数据迁移阶段、数据清洗阶段、数据计算阶段、计算结果产生阶段和计算结束阶段。

在本实施例中，大数据平台的计算任务的类型可以是离线任务，该计算任务的任务阶段可以包括数据迁移阶段、数据清洗阶段、数据计算阶段、计算结果产生阶段和计算结束阶段等任务阶段。其中，数据迁移阶段是指大数据平台将计算所需要的离线任务的数据迁移到指定文件目录的阶段，数据清洗阶段是指大数据平台对所需要计算的数据先进行清洗过滤的阶段，数据计算阶段是指对大数据平台的离线任务的数据进行相应计算的阶段，计算结果产生阶段是指在离线任务完成相应计算后，产生结果数据的阶段，计算结束阶段是指离线任务的各计算单元计算结束的阶段。

在一个实施例中，当计算任务的任务阶段是数据迁移阶段时，步骤S102的获取该类型的计算任务在相应任务阶段的任务执行情况的步骤可以包括：

在大数据平台将离线任务的数据迁移到指定的HDFS目录时，获取离线任务在该HDFS目录中的文件数目和该大数据平台的数据迁移程序生成的响应码；根据文件数目和响应码判断离线任务在数据迁移阶段的任务是否成功执行。

在本实施例中，由于大数据平台在对离线任务进行计算之前，通常会通过数据迁移程序将所需要的文件数据迁移到指定的HDFS目录中，所以可以获取离线任务在该HDFS目录中的文件数目以及该数据迁移程序生成的响应码，通过获取到的文件数目和响应码判断大数据平台的离线任务在数据迁移阶段的任务是否执行，一般来说，若获取的文件数目完成和响应码指示数据迁移完成的情况下，可以判断数据迁移阶段的任务被成功执行。

在一个实施例中，当计算任务的任务阶段是数据清洗阶段时，步骤S102的获取该类型的计算任务在相应任务阶段的任务执行情况的步骤可以包括：

在大数据平台采用spark对离线任务的数据进行清洗过滤时，获取数据清洗程序生成的响应码；根据该响应码判断所述离线任务在数据清洗阶段的任务是否成功执行。

大数据平台在执行离线任务时，通常会在将数据迁移到执行目录后先利用相应的数据清洗程序对计算需要的数据进行清洗过滤，所以可以获取数据清洗程序清洗数据时生成的响应码，通过获取的响应码来判断该离线任务的在数据清洗阶段的任务是否成功执行，可选的，可以在响应码指示清洗数据完毕的情况下判断数据清洗阶段的任务被成功执行。

在一个实施例中，当计算任务的任务阶段是数据计算阶段时，步骤S102中的获取该类型的计算任务在相应任务阶段的任务执行情况的步骤可以包括：

在大数据平台采用hive和spark对离线任务的清洗后的数据进行计算时，获取离线任务的各个计算单元的响应码，依据各个计算单元的响应码判断所述离线任务在数据计算阶段的任务是否成功执行。

本步骤主要是判断离线任任务在数据计算阶段的任务是否被成功执行。其中，大数据平台通常会采用hive和spark对清洗后的离线任务的数据进行计算，在对离线任务进行计算时，通常会将离线任务拆分为不同的计算单元，再利用相应的计算程序对各个计算单元进行计算，因此可以获取计算程序在对各个计算单元进行计算时产生的响应码，通过获取的响应码判断各个计算单元的计算任务是否完成，从而综合各个计算单元的计算任务完成情况判断离线任务在数据计算阶段的任务是否被成功执行。

在一个实施例中，当计算任务的任务阶段是计算结果产生阶段时，步骤S102的获取该类型的计算任务在相应任务阶段的任务执行情况的步骤可以包括：

获取离线任务的时间粒度，根据该时间粒度定时查询离线任务对应的数据库表产生的数据，得到离线任务在该时间粒度内的数据查询结果；依据数据查询结果确定离线任务在计算结果产生阶段的任务是否成功执行。

在本步骤中，由于离线任务通常是按照小时、天、周或月等不同时间粒度执行的，因此可以获取离线任务的时间粒度，依据不同的时间粒度定期查询离线任务对应的数据表产生的数据，依据查询得到的数据查询结果判断离线任务在计算结果产生阶段是否执行成功。一般来说，不同计算单元向数据库表写入的数据格式不同，所以可以按照写入数据的格式来查询该数据表，以时间为标识，将时间作为查询条件的一部分，查询在这段时间内是否有产生数据，如果没有产生数据则可以发出告警消息，否则可以认为离线任务在计算结果产生阶段的任务被成功执行。

在一个实施例中，当计算任务的任务阶段是计算结束阶段时，步骤S102的获取该类型的计算任务在相应任务阶段的任务执行情况的步骤可以包括：

根据离线任务的时间粒度轮询离线任务的任务结束标志位；依据该标志位判断离线任务在计算结束阶段的任务是否成功执行。

本步骤主要是判断离线任务是否成功完成。由于离线任务的各个计算单元在计算结束时通常会生成一个任务结束标志位，以及离线任务通常是按照小时、天、周或月等不同时间粒度执行的，所以可以根据离线任务的时间粒度来轮询离线任务的各个计算单元的任务结束标志位，依据查询的各个计算单元的结束情况来综合判断离线任务在计算结束阶段的任务是否被成功执行。

可选的，对于小时级别的离线任务，可以在每个小时的第20分钟，判别任务是否结束，若未结束则发出告警；针对天级别的离线任务，可以在每日5点，判别天任务的所有计算单元是否结束，若未结束则告警；针对周级别的离线任务，周级别任务也是每日执行一次，与天级别任务主要是数据源不同，周任务一般采用当日往前递推七天的数据，在每日12点，判别任务是否结束，若未结束则告警；针对月级别的离线任务，月级别任务与周级别任务类似，只是数据源不同，在每日20点，判别任务是否结束，若未结束则告警。

在一个实施例中，计算任务的类型是实时任务，计算任务的任务阶段可以包括：实时读取阶段和实时计算阶段。

在本实施例中，大数据平台的计算任务的任务类型可以是实时任务，该计算任务的任务阶段可以包括实时读取阶段和实时计算阶段等任务阶段，实时读取阶段是指对计算任务的数据进行实时读取的阶段，实时计算阶段是指对计算任务的数据进行实时计算的阶段。

在一个实施例中，当计算任务的任务阶段是实时读取阶段时，步骤S102的获取该类型的计算任务在相应任务阶段的任务执行情况的步骤可以包括：

在大数据平台通过Spark Streaming和Storm读取实时任务的kafka数据流时，定时获取该实时任务的各个计算单元的标识；根据该标识查询所述实时任务的任务进程获取任务进程的查询结果；依据该查询结果判断实时任务在实时读取阶段的任务是否成功执行。

在本实施例中，大数据平台在对实时任务进行数据清洗和计算之前，通常会采用Spark Streaming和Storm读取所需要的各个计算单元的kafka数据流，因此可以通过脚本定时过滤出该实时任务的各个计算单元的标识，从而依据该标识判断实时任务的任务进程是否存在，如果发现异常则可以重启计算任务。

在一个实施例中，当计算任务的任务阶段是实时计算阶段时，步骤S102的获取该类型的计算任务在相应任务阶段的任务执行情况的步骤可以包括：

在所述大数据平台通过Spark Streaming和Storm对读取的kafka数据流进行计算时，定时查询实时任务对应的数据库表产生的数据得到数据查询结果；依据该数据查询结果判断实时任务在实时计算阶段的任务是否成功执行。

本步骤主要是判断实时任务的计算是否被成功执行。在本实施例中，由于大数据平台一般会利用Spark Streaming和Storm对读取的各个计算单元的kafka数据流进行数据清洗和计算等处理，在大数据平台对各个计算单元进行计算时，会在对应的数据库表中产生数据结果，因此可以定时查询实时任务对应的数据库表是否产生有相应的数据，例如每3分钟判别一次实时任务对应的数据库表是否产生数据，如没有数据则可以发出告警，否则可以认为实时计算阶段的任务被成功执行。

参考图2，图2为另一个实施例中大数据平台运行状态的监控方法的流程示意图，在一个实施例中，提供了一种大数据平台运行状态的监控方法，包括如下步骤：

S201，确定大数据平台的离线任务的各个任务阶段；

S202，在所述大数据平台将离线任务的数据迁移到指定的HDFS目录时，获取所述离线任务在该HDFS目录中的文件数目和该大数据平台的数据迁移程序生成的响应码；根据所述文件数目和响应码判断所述离线任务在数据迁移阶段的任务是否成功执行；

S203，在所述大数据平台采用spark对离线任务的数据进行清洗过滤时，获取数据清洗程序生成的响应码；根据该响应码判断所述离线任务在数据清洗阶段的任务是否成功执行；

S204，在所述大数据平台采用hive和spark对所述离线任务的清洗后的数据进行计算时，获取所述离线任务的各个计算单元的响应码，依据所述各个计算单元的响应码判断所述离线任务在数据计算阶段的任务是否成功执行；

S205，获取所述离线任务的时间粒度，根据该时间粒度定时查询所述离线任务对应的数据库表产生的数据，得到所述离线任务在该时间粒度内的数据查询结果；依据所述数据查询结果确定所述离线任务在计算结果产生阶段的任务是否成功执行；

S206，根据所述离线任务的时间粒度轮询所述离线任务的任务结束标志位；依据该标志位判断所述离线任务在计算结束阶段的任务是否成功执行；

S207，根据所述离线任务在各个任务阶段的任务执行情况监控所述大数据平台的运行状态。

上述实施例提供的大数据平台运行状态的监控方法，通过确定大数据平台的离线任务的各个任务阶段，包括：数据迁移阶段、数据清洗阶段、数据计算阶段、计算结果产生阶段和计算结束阶段，获取离线任务在各个任务阶段中的执行情况，通过离线任务在各个任务阶段的任务执行情况监控所述大数据平台的运行状态，该方案能够为大数据平台执行离线任务的运行状态进行准确监控，从而保证大数据平台的运行效率，还实现对离线任务的计算结果的有效性提供保证，确保大数据平台的计算质量。

参考图3，图3为再一个实施例中大数据平台运行状态的监控方法的流程示意图，在一个实施例中，提供了一种大数据平台运行状态的监控方法，包括如下步骤：

S301，确定大数据平台的实时任务的各个任务阶段；

S302，在大数据平台通过Spark Streaming和Storm读取实时任务的kafka数据流时，定时获取该实时任务的各个计算单元的标识；根据该标识查询实时任务的任务进程获取任务进程的查询结果；依据该查询结果判断实时任务在实时读取阶段的任务是否成功执行；

S303，在大数据平台通过Spark Streaming和Storm对读取的kafka数据流进行计算时，定时查询实时任务对应的数据库表产生的数据得到数据查询结果；依据该数据查询结果判断实时任务在实时计算阶段的任务是否成功执行；

S304，根据实时任务在各个任务阶段的任务执行情况监控大数据平台的运行状态。

上述实施例提供的大数据平台运行状态的监控方法，通过确定大数据平台的实时任务的各个任务阶段，包括：实时读取阶段和实时计算阶段，获取实时任务在各个任务阶段中的执行情况，通过实时任务在各个任务阶段的任务执行情况监控所述大数据平台的运行状态，该方案能够为大数据平台执行实时任务的运行状态进行准确监控，从而保证大数据平台的运行效率，还实现对实时任务的计算结果的时效性提供保证，确保大数据平台的计算质量。

参考图4，图4为又一个实施例中大数据平台运行状态的监控方法的流程示意图，在一个实施例中，将大数据平台运行状态的监控方法应用于执行离线任务和实时任务的大数据平台阐明本发明的技术方案，该大数据平台的运行方式可以是：

第一阶段：执行计算任务阶段，分为两部分：针对离线任务，将所需数据迁移到指定HDFS目录，判别数据的完整性及是否迁移成功，可以通过判断数据文件数目来判断完整性，通过判断迁移程序的响应码来判断是否迁移成功；采用spark对原始数据进行清洗过滤并保存到指定HDFS目录，判别清洗任务是否执行成功并进行异常重试，可以通过程序响应码来判断清洗任务是否成功；采用hive及spark计算清洗完的数据，对每个计算单元进行任务监控及异常重试，其中，计算任务执行失败会返回一个错误的响应码，不同计算单元的响应码可以是相同的，可以都是通过响应值来判断是否异常。针对实时任务，由SparkStreaming和Storm直接读取kafka数据流，进行数据清洗和计算，可以每三分钟判别一次实时任务进程是否存在，判别方式可以是通过脚本过滤出相应计算单元的标识，看是否存在该标识来判断任务进程，若异常则重启任务。

第二阶段：校验计算结果的有效性阶段，分为两部分：针对离线任务，由于其本身是按小时、按天、按周、按月等不同时间粒度执行的，因此监控服务也按照这种时间粒度，定时查询任务对应的数据库表是否产生数据，由于不同计算单元向数据库表写入的数据格式也不同，可以按写入数据的格式来查询该数据库表，标识就是时间，时间是查询条件的一部分，看该时间内是否有数据，若无数据则告警。针对实时任务，可以每三分钟判别一次任务对应的数据库表是否产生数据，若无数据则告警。

第三阶段：校验计算结果的时效性阶段，针对小时级别的离线任务，可以在每个小时的第20分钟，判别任务是否结束，若未结束则告警；针对天级别的离线任务，可以在每日5点，判别天任务的所有计算单元是否结束，若未结束则告警；针对周级别的离线任务，周级别任务也是每日执行一次，与天级别任务主要是数据源不同，周任务是采用当日往前递推七天的数据，可以在每日12点，判别任务是否结束，若未结束则告警；针对月级别的离线任务，月级别任务与周级别任务类似，只是数据源不同，可以在每日20点，判别任务是否结束，若未结束则告警。

上述实施例的技术方案，按固定频次，循环判别实时任务的进程存在与否，解决实时任务的异常中断问题，按照计算任务的时间粒度，判别计算涉及的数据库表是否产生数据，解决计算结果的有效性问题，按固定时间节点，判别计算任务是否按时完成，解决计算结果的时效性问题，对监控到的实时任务进程中断、计算任务无结果、计算任务耗时超过预期等问题，及时以短信和邮件的方式进行告警，以便及时处理计算故障，对离线与实时任务是否产生计算结果的监控，解决了hive、spark和storm等大数据计算的有效性问题，对离线任务是否在计划时间内完成的监控，解决了hive和spark等大数据计算的时效性问题，保证了对hive离线计算任务、spark离线计算任务、Spark Streaming实时计算任务、Storm实时计算任务的监控，调度计算任务的执行逻辑、监控任务运行状况及运行结果、告警并重试异常任务，针对传统大数据平台的监控不能满足现实需求的情况，对大数据平台的作业调度、计算状态、计算结果等进行监控，提出了完整可行的监控策略，实现了对大数据离线计算任务及实时计算任务进行全过程监控。

参考图5，图5是一个实施例中大数据平台运行状态的监控系统的结构框图在一个实施例中，提供了一种大数据平台运行状态的监控系统，包括：确定模块101、获取模块102和监控模块103，其中：

确定模块101，用于确定大数据平台的计算任务的各个任务阶段；

获取模块102，通过预先部署在大数据平台的监控节点获取计算任务在各个任务阶段的任务执行情况；其中，监控节点与大数据平台的计算任务的各个任务阶段所在节点对应部署；

监控模块103，根据计算任务在各个任务阶段的任务执行情况监控大数据平台的运行状态。

上述实施例提供的大数据平台运行状态的监控系统，通过预先部署的监控节点获取大数据平台的计算任务在各个任务阶段的任务执行情况，根据任务执行情况监控大数据平台的运行状态，该方案克服了传统技术通过监控大数据平台的服务组件而导致准确性偏低的问题，实现对大数据平台的运行状态进行准确监控，还保证了大数据平台的运行效率。

关于大数据平台运行状态的监控系统的具体限定可以参见上文中对于大数据平台运行状态的监控方法的限定，在此不再赘述。上述大数据平台运行状态的监控系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示，图6为一个实施例中计算机设备的内部结构图。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库可以用于存储大数据平台的监控数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种大数据平台运行状态的监控方法。

本领域技术人员可以理解，图6中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：

确定大数据平台的计算任务的各个任务阶段；通过预先部署在大数据平台的监控节点获取所述计算任务在各个任务阶段的任务执行情况；根据所述计算任务在各个任务阶段的任务执行情况监控所述大数据平台的运行状态。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

获取计算任务的类型；调用预先部署在大数据平台与该类型相应的监控节点，获取该类型的计算任务在相应任务阶段的任务执行情况。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

获取离线任务在该HDFS目录中的文件数目和该大数据平台的数据迁移程序生成的响应码；根据文件数目和响应码判断离线任务在数据迁移阶段的任务是否成功执行。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

获取数据清洗程序生成的响应码；根据该响应码判断离线任务在数据清洗阶段的任务是否成功执行。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

获取离线任务的各个计算单元的响应码，依据各个计算单元的响应码判断所述离线任务在数据计算阶段的任务是否成功执行。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

获取离线任务的时间粒度，根据该时间粒度定时查询离线任务对应的数据库表产生的数据，得到离线任务在该时间粒度内的数据查询结果；依据数据查询结果确定离线任务在计算结果产生阶段的任务是否成功执行。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

根据离线任务的时间粒度轮询离线任务的任务结束标志位；依据该标志位判断离线任务在计算结束阶段的任务是否成功执行。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

定时获取该实时任务的各个计算单元的标识；根据该标识查询实时任务的任务进程获取任务进程的查询结果；依据该查询结果判断实时任务在实时读取阶段的任务是否成功执行。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

定时查询实时任务对应的数据库表产生的数据得到数据查询结果；依据该数据查询结果判断实时任务在实时计算阶段的任务是否成功执行。

上述各实施例提供的计算机设备，通过所述处理器上运行的计算机程序，实现对大数据平台的运行状态进行准确监控，还保证了大数据平台的运行效率。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

确定大数据平台的计算任务的各个任务阶段；通过预先部署在大数据平台的监控节点获取所述计算任务在各个任务阶段的任务执行情况；根据所述计算任务在各个任务阶段的任务执行情况监控所述大数据平台的运行状态。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

获取计算任务的类型；调用预先部署在大数据平台与该类型相应的监控节点，获取该类型的计算任务在相应任务阶段的任务执行情况。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

获取离线任务在该HDFS目录中的文件数目和该大数据平台的数据迁移程序生成的响应码；根据文件数目和响应码判断离线任务在数据迁移阶段的任务是否成功执行。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

获取数据清洗程序生成的响应码；根据该响应码判断离线任务在数据清洗阶段的任务是否成功执行。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

获取离线任务的各个计算单元的响应码，依据各个计算单元的响应码判断所述离线任务在数据计算阶段的任务是否成功执行。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

获取离线任务的时间粒度，根据该时间粒度定时查询离线任务对应的数据库表产生的数据，得到离线任务在该时间粒度内的数据查询结果；依据数据查询结果确定离线任务在计算结果产生阶段的任务是否成功执行。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

根据离线任务的时间粒度轮询离线任务的任务结束标志位；依据该标志位判断离线任务在计算结束阶段的任务是否成功执行。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

定时获取该实时任务的各个计算单元的标识；根据该标识查询实时任务的任务进程获取任务进程的查询结果；依据该查询结果判断实时任务在实时读取阶段的任务是否成功执行。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

定时查询实时任务对应的数据库表产生的数据得到数据查询结果；依据该数据查询结果判断实时任务在实时计算阶段的任务是否成功执行。

上述各实施例提供的计算机可读存储介质，通过其存储的计算机程序，实现对大数据平台的运行状态进行准确监控，还保证了大数据平台的运行效率。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种大数据平台运行状态的监控方法，其特征在于，包括步骤：

确定大数据平台的计算任务的各个任务阶段；

通过预先部署在大数据平台的监控节点获取所述计算任务在各个任务阶段的任务执行情况；其中，所述监控节点与所述大数据平台的计算任务的各个任务阶段所在节点对应部署；所述通过预先部署在大数据平台的监控节点获取所述计算任务在各个任务阶段的任务执行情况的步骤包括：调用预先部署在大数据平台与所述计算任务的类型相应的监控节点，获取所述类型的计算任务在相应任务阶段的任务执行情况；其中，所述计算任务的类型包括离线任务和实时任务；其中，

所述计算任务的类型为离线任务，所述计算任务的任务阶段是数据迁移阶段；所述获取所述类型的计算任务在相应任务阶段的任务执行情况的步骤包括：在所述大数据平台将离线任务的数据迁移到指定的HDFS目录时，获取所述离线任务在该HDFS目录中的文件数目和该大数据平台的数据迁移程序生成的响应码；根据所述文件数目和响应码判断所述离线任务在数据迁移阶段的任务是否成功执行；

所述计算任务的类型为离线任务，所述计算任务的任务阶段是数据清洗阶段；所述获取所述类型的计算任务在相应任务阶段的任务执行情况的步骤包括：在所述大数据平台采用spark对离线任务的数据进行清洗过滤时，获取数据清洗程序生成的响应码；根据该响应码判断所述离线任务在数据清洗阶段的任务是否成功执行；

根据所述计算任务在各个任务阶段的任务执行情况监控所述大数据平台的运行状态。

2.根据权利要求1所述的大数据平台运行状态的监控方法，其特征在于，所述通过预先部署在大数据平台的监控节点获取所述计算任务在各个任务阶段的任务执行情况的步骤还包括：

获取所述计算任务的类型。

3.根据权利要求1所述的大数据平台运行状态的监控方法，其特征在于，所述计算任务的类型为离线任务；所述计算任务的任务阶段还包括：数据计算阶段、计算结果产生阶段和计算结束阶段。

4.根据权利要求3所述的大数据平台运行状态的监控方法，其特征在于，

所述计算任务的任务阶段是数据计算阶段；所述获取所述类型的计算任务在相应任务阶段的任务执行情况的步骤包括：在所述大数据平台采用hive和spark对所述离线任务的清洗后的数据进行计算时，获取所述离线任务的各个计算单元的响应码，依据所述各个计算单元的响应码判断所述离线任务在数据计算阶段的任务是否成功执行。

5.根据权利要求3所述的大数据平台运行状态的监控方法，其特征在于，

所述计算任务的任务阶段是计算结果产生阶段；所述获取所述类型的计算任务在相应任务阶段的任务执行情况的步骤包括：获取所述离线任务的时间粒度，根据该时间粒度定时查询所述离线任务对应的数据库表产生的数据，得到所述离线任务在该时间粒度内的数据查询结果；依据所述数据查询结果确定所述离线任务在计算结果产生阶段的任务是否成功执行；

所述计算任务的任务阶段是计算结束阶段；所述获取所述类型的计算任务在相应任务阶段的任务执行情况的步骤包括：根据所述离线任务的时间粒度轮询所述离线任务的任务结束标志位；依据该标志位判断所述离线任务在计算结束阶段的任务是否成功执行。

6.根据权利要求1所述的大数据平台运行状态的监控方法，其特征在于，所述计算任务的类型为实时任务；所述计算任务的任务阶段包括：实时读取阶段和实时计算阶段。

7.根据权利要求6所述的大数据平台运行状态的监控方法，其特征在于，

所述计算任务的任务阶段是实时读取阶段；所述获取所述类型的计算任务在相应任务阶段的任务执行情况的步骤包括：在所述大数据平台通过Spark Streaming和Storm读取实时任务的kafka数据流时，定时获取该实时任务的各个计算单元的标识；根据该标识查询所述实时任务的任务进程获取所述任务进程的查询结果；依据该查询结果判断所述实时任务在实时读取阶段的任务是否成功执行；

所述计算任务的任务阶段是实时计算阶段；所述获取所述类型的计算任务在相应任务阶段的任务执行情况的步骤包括：在所述大数据平台通过Spark Streaming和Storm对读取的kafka数据流进行计算时，定时查询所述实时任务对应的数据库表产生的数据得到数据查询结果；依据该数据查询结果判断所述实时任务在实时计算阶段的任务是否成功执行。

8.一种大数据平台运行状态的监控系统，其特征在于，包括：

确定模块，用于确定大数据平台的计算任务的各个任务阶段；

获取模块，通过预先部署在大数据平台的监控节点获取所述计算任务在各个任务阶段的任务执行情况；其中，所述监控节点与所述大数据平台的计算任务的各个任务阶段所在节点对应部署；进一步用于：调用预先部署在大数据平台与所述计算任务的类型相应的监控节点，获取所述类型的计算任务在相应任务阶段的任务执行情况；其中，所述计算任务的类型包括离线任务和实时任务；其中，

所述计算任务的类型为离线任务，所述计算任务的任务阶段是数据迁移阶段；获取模块，进一步用于：在所述大数据平台将离线任务的数据迁移到指定的HDFS目录时，获取所述离线任务在该HDFS目录中的文件数目和该大数据平台的数据迁移程序生成的响应码；根据所述文件数目和响应码判断所述离线任务在数据迁移阶段的任务是否成功执行；

所述计算任务的类型为离线任务，所述计算任务的任务阶段是数据清洗阶段；获取模块，进一步用于：在所述大数据平台采用spark对离线任务的数据进行清洗过滤时，获取数据清洗程序生成的响应码；根据该响应码判断所述离线任务在数据清洗阶段的任务是否成功执行；

监控模块，根据所述计算任务在各个任务阶段的任务执行情况监控所述大数据平台的运行状态。

9.一种计算机设备，包括处理器和存储器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一项所述方法的步骤。