CN107870824A - 一种对组件进行巡检的方法及装置 - Google Patents

Abstract

本发明提供一种对组件进行巡检的方法及装置，用以解决现有技术不存在对Hadoop集群组件的功能进行巡检措施的问题。该方法包括：执行待巡检组件的业务，得到业务的执行结果；将执行结果与预设基准结果进行对比，确定执行结果与基准结果之间的差别；若执行结果与基准结果之间的差别在预设范围之内，则确定待巡检组件正常，否则，确定待巡检组件异常，该方案实现了对集群组件的功能和正确性进行检查，进而避免了由于集群的组件故障而导致的隐患。

Description

一种对组件进行巡检的方法及装置

技术领域

本发明涉及分布式存储技术领域，特别是涉及一种对组件进行巡检的方法及装置。

背景技术

Hadoop是一个能够对大量数据进行分布式处理的开源软件框架。Hadoop在可用的计算机集簇间分配数据并完成计算任务，而这些集簇可以扩展到数以千计的节点中。所以对于Hadoop来说，相对于某些节点的健康情况，更重要的是整个集群是否可以提供可靠的服务。

而当前Hadoop系统的巡检，大多是检查服务器软硬件的使用情况，如资源使用以及进程状态，并未对集群组件的功能提供和正确性进行检查，从而遗漏掉可能存在的重大隐患。

发明内容

本发明提供一种对组件进行巡检的方法及装置，用以解决现有技术不存在对Hadoop集群组件的功能进行巡检措施的问题。

根据本发明的一个方面，提供了一种对组件进行巡检的方法，包括：执行待巡检组件的业务，得到业务的执行结果；将执行结果与预设基准结果进行对比，确定执行结果与基准结果之间的差别；若执行结果与基准结果之间的差别在预设范围之内，则确定待巡检组件正常，否则，确定待巡检组件异常。

其中，执行待巡检组件的业务，得到业务的执行结果，包括：按照预先记录的执行步骤执行预先存储的组件的脚本文件。

进一步的，上述方法还包括：在执行待巡检组件的业务，得到业务的执行结果之前，录制待巡检组件使用的脚本文件，并存储脚本文件的执行步骤，以及保存脚本文件运行的结果作为基准结果。

进一步的，上述方法还包括：在执行待巡检组件的业务，得到业务的执行结果之前，预先存储待巡检组件执行业务所需的信息，信息至少包括：输入文件信息、数据库信息、资源配置、输出方式、执行命令以及业务开始执行时间。

其中，待巡检组件的业务至少包括以下一种：传输指定文件至文件存储系统、从文件存储系统上获取指定文件、提交多个任务，确定多个任务中能被分配到指定数量资源的任务的数量、写入结构化/非结构化数据、查询/输入指定的流式数据、为存储在分布式文件存储系统/数据存储系统的文件提供结构化查询；对指定节点的日志文件进行采集、聚合处理，并将处理结果输出至指定的输出数据接收方；生成指定文件的索引；对指定网页进行全文搜索和网络爬虫处理。

根据本发明的第二个方面，提供了一种对组件进行巡检的装置，包括：执行模块，用于执行待巡检组件的业务，得到业务的执行结果；对比模块，用于将执行结果与预设基准结果进行对比，确定执行结果与基准结果之间的差别；确定模块，用于若执行结果与基准结果之间的差别在预设范围之内，则确定待巡检组件正常，否则，确定待巡检组件异常。

其中，上述执行模块具体用于：根据预设规则按照预先记录的执行步骤执行预先存储的组件的脚本文件。

进一步的，上述装置还包括：第一存储模块，用于在执行待巡检组件的业务，得到业务的执行结果之前，录制待巡检组件使用的脚本文件，并存储脚本文件的执行步骤，以及保存脚本文件运行的结果作为基准结果。

进一步的，上述装置还包括：第二存储模块，用于在执行待巡检组件的业务，得到业务的执行结果之前，预先存储待巡检组件执行业务所需的信息，信息至少包括：输入文件信息、数据库信息、资源配置、输出方式、执行命令以及业务开始执行时间。

其中，上述待巡检组件的业务至少包括以下一种：传输指定文件至文件存储系统、从文件存储系统上获取指定文件、提交多个任务，确定多个任务中能被分配到指定数量资源的任务的数量、写入结构化/非结构化数据、查询/输入指定的流式数据、为存储在分布式文件存储系统/数据存储系统的文件提供结构化查询；对指定节点的日志文件进行采集、聚合处理，并将处理结果输出至指定的输出数据接收方；生成指定文件的索引；对指定网页进行全文搜索和网络爬虫处理。本发明有益效果如下：

本发明实施例提供的方案，通过预设规则执行待巡检的业务，并将业务执行结果与预设的基准结果进行对比，从而实现了对集群组件的功能和正确性进行检查，进而避免了由于集群的组件故障而导致的隐患。

附图说明

图1是本发明实施例中对组件进行巡检的方法的流程图；

图2是本发明实施例中对形成对组件进行巡检的装置的结构框图；

图3是本发明实施例中的一种基于hdfs对组件进行巡检的方法的流程；

图4是本发明实施例中的另一种基于hdfs对组件进行巡检的方法的流程；

图5是本发明实施例中的一种基于yarn对组件进行巡检的方法的流程；

图6是本发明实施例中的另一种基于yarn对组件进行巡检的方法的流程；

图7是本发明实施例中的一种基于Hbase对组件进行巡检的方法的流程；

图8是本发明实施例中另一种基于Hbase对组件进行巡检的方法的流程；

图9是本发明实施例中的一种基于kafka对组件进行巡检的方法的流程；

图10是本发明实施例中另一种基于kafka对组件进行巡检的方法的流程；

图11是本发明实施例中的一种基于impala对组件进行巡检的方法的流程；

图12是本发明实施例中另一种基于impala对组件进行巡检的方法的流程；

图13是本发明实施例中的一种基于flume对组件进行巡检的方法的流程；

图14是本发明实施例中一种基于nutch或solrflume对组件进行巡检的方法的流程；

图15是本发明实施例中的另一种基于nutch或solr对组件进行巡检的方法的流程；

图16是本发明提供的对组件进行巡检的装置的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

第一实施例

在通过本实施例对本发明提供的方案进行具体说明之前，首先对本发明的整体构思进行说明：

使用大数据管理系统录制各巡检组件的使用脚本文件并将其执行过程进行顺序存储，同时保存执行的结果作为基准；执行巡检功能时即开始脚本文件的运行；执行结束后将执行结果与基准结果进行对比，若误差在阈值范围之内则认为组件正常，可正常提供服务，否则确定组件异常，可以发出告警信息。

在上述构思的基础上，本实施例提供了一种对组件进行巡检的方法，图1是该方法的流程图，如图1所示，该方法包括如下处理：

步骤101：执行待巡检组件的业务，得到业务的执行结果；

其中，执行待巡检组件的业务，得到业务的执行结果，具体可以包括：按照预先记录的执行步骤执行预先存储的组件的脚本文件。进一步的，预设规则中可以包括预先存储的待巡检组件执行业务所需的信息，该信息至少包括以下一种，输入文件信息、数据库信息、资源配置、输出方式、执行命令以及业务开始执行时间，基于此，在执行该步骤101之前，本实施例提供的方法还可以包括：预先存储待巡检组件执行业务所需的信息。

步骤102：将执行结果与预设基准结果进行对比，确定执行结果与基准结果之间的差别；

优选的，本实施例提供的方法还可以包括：在执行待巡检组件的业务，得到业务的执行结果之前，录制待巡检组件使用的脚本文件，并存储脚本文件的执行步骤，以及保存脚本文件运行的结果作为基准结果。

步骤103：若执行结果与基准结果之间的差别在预设范围之内，则确定待巡检组件正常，否则，确定待巡检组件异常。

在本实施例中，待巡检组件的业务至少包括以下一种：

传输指定文件至文件存储系统、从文件存储系统上获取指定文件、提交多个任务，确定多个任务中能被分配到指定数量资源的任务的数量、写入结构化/非结构化数据、查询/输入指定的流式数据、为存储在分布式文件存储系统/数据存储系统的文件提供结构化查询；对指定节点的日志文件进行采集、聚合处理，并将处理结果输出至指定的输出数据接收方；生成指定文件的索引；对指定网页进行全文搜索和网络爬虫处理。

本实施例可以由大数据管理系统来实现，基于此，如图2所示，可以对现有的大数据管理系统进行改进，在现有的大数据管理系统中增加以下功能模块，以形成对组件进行巡检的装置：

输入模块，用于记录各个组件业务的执行步骤；

存储模块，用于保存各个组件业务的执行步骤；

执行模块，用于执行保存的业务，并输出执行结果；

处理模块，根据执行模块的结果，负责执行不同的操作。

其中，上述输入模块，还用于输入组件执行业务所需要的特定文件或数据，也用于输入巡检结果(即上述执行结果)与基准结果差值告警的阈值范围；由于文件和数据均是预先设置的，因此执行的输出结果应是完全可预测，所以基准结果也可提前输入。

其中，上述存储模块，还用于记录各个组件执行业务所需要的信息，包括输入文件信息，该输入文件信息可以是系统接收到的外部输入的信息、数据库信息，该数据库信息具体可以是数据存储的具体数据库位置、资源配置，资源配置具体可以是为当前巡检的组件所分配的资源、输出方式，可以是巡检结果的具体输出方式、执行命令、开始执行时间，该开始时间为组件所使用的脚本文件的执行时间，也用于记录告警阈值配置。

其中，上述执行模块，还用于通过读取存储模块中记录的信息，在规定的时间或指定的触发条件下按照配置信息提交各个组件的业务，并输出业务的执行结果。

其中，上述处理模块，还用于将执行模块输出的结果(即上述执行结果或巡检结果)与基准结果进行对比，若与基准之间的误差超出阈值范围，表示业务执行出现异常，则上报告警；反之则为正常，对比结束后输出结果。

在对本发明提供的对组件进行巡检的方法进行了上述说明的基础上，以下通过具体的实例，来对本发明提供的对组件进行巡检的方法进行进一步的说明：本发明提供的对组件进行巡检的方法可以包括如下业务的检测：

以hdfs为例，传输指定文件到文件存储系统上，检查上传后文件与原始文件是否完全相同。如图3所示，本发明提供的对组件进行巡检的方法具体可以包括：

准备指定文件，使用put方式将该指定文件传送至hdfs(Hadoop分布式文件系统)，使用cat方式获取上传文件的内容，确定上文文件的内容与预先设置的原文件的内容是否相同，若相同，则检测通过，否则发出告警信息。

从文件存储系统上获取指定文件，检查get到的文件与预先设置的原始文件是否完全相同。如图4所示，本发明提供的对组件进行巡检的方法具体可以包括：

在hdfs上准备上述指定文件，使用get方式获取hdfs文件，使用cat方式获取文件内容；确定get到的文件与预先设置的原始文件是否完全相同，若相同，则检测通过，否则发出告警信息。

以yarn为例，提交多个任务，计算任务是否都能分配到指定数量的资源。如图5所示，本发明提供的对组件进行巡检的方法具体可以包括：

检查是否有空闲资源，如果是，则提交计算作业，如果否，则继续检查是否有空闲资源；

等待规定的时间，检查计算作业是否完成，如果完成，则检查使用的资源是否合理，如果未完成，则发出告警信息；

如果使用资源合理，则检查通过，如果使用资源不合理，则发出告警信息。

以wordcount为例，统计单词的数量是否正确。如图6所示，本发明提供的对组件进行巡检的方法具体可以包括：检查是否有空闲资源，如果是，则提交计算作业，如果否，则继续检查是否有空闲资源；

等待规定的时间，检查计算作业是否完成，如果完成，则检查计算结果是否正确，如果未完成，则发出告警信息；

如果计算结果正确，则检查通过，如果计算结果不正确，则发出告警信息。

优选地，以Hbase为例，写入结构化的数据，查看是否能正确查询。如图7所示，本发明提供的对组件进行巡检的方法具体可以包括：准备结构化数据文件，将该文件加载至Hbase组件，查询表结果，比较结果与预先存储的原文件是否相同，如果相同，则检查通过，如果不相同，则发出告警信息。

写入非结构化的数据，查看是否能正确查询。如图8所示，本发明提供的对组件进行巡检的方法具体可以包括：

准备非结构化数据文件，将该非结构化数据文件加载至Hbase组件，查询表结果，比较结果与预先存储的原文件是否相同，如果相同，则检查通过，如果不相同，则发出告警信息。

优选地，以kafka为例，输入指定的流式数据，查看能否正确地将处理之后的结果持久化到介质中。如图9所示，本发明提供的对组件进行巡检的方法具体可以包括：

准备多条固定的数据内容，以数据流方式将数据发送至kafka，查询生成文件的结果，比较结果与预先存储的原文件是否相同，如果相同，则检查通过，如果不相同，则发出告警信息。

查询指定的流式数据，查看能否进行连续查询并把结果返回到客户端。如图10所示，本发明提供的对组件进行巡检的方法具体可以包括：准备多条固定的数据内容，以数据流方式将数据发送至kafka，以数据流方式从kafka获取数据，比较结果与预先存储的原文件是否相同，如果相同，则检查通过，如果不相同，则发出告警信息。

以impala为例，可以直接为存储在分布式文件存储系统(如hdfs)的指定文件提供快速的指定SQL查询，查询结果与预期相符合。如图11所示，本发明提供的对组件进行巡检的方法具体可以包括：

准备固定的结构化数据文件，上传该数据文件至HDFS，将数据文件加载至impala表中，执行固定查询语句，比较查询结果是否与预期结果相同，如果相同，则检查通过，如果不相同，则发出告警信息。

可以直接为存储在数据存储系统(如hbase)的指定数据提供快速的指定SQL查询，查询结果与预期相符合。如图12所示，本发明提供的对组件进行巡检的方法具体可以包括：

准备固定的结构化数据文件，上传该数据文件至Hbase，将数据文件加载至impala表中，执行固定查询语句，比较查询结果是否与预期结果相同，如果相同，则检查通过，如果不相同，则发出告警信息。

优选的，以flume为例，可以对指定节点的日志文件进行采集、聚合等处理，并输出到指定的不同类型的数据接收方，日志处理结果与预期相符合。如图13所示，本发明提供的对组件进行巡检的方法具体可以包括：准备固定的日志文件，通过flume对该日志文件进行处理，将处理结果输出至指定位置，比较处理结果是否与预期结果相同，如果相同，则检查通过，如果不相同，则发出告警信息。

优选的，以nutch或solr为例，可以对指定文件生成索引，查询结果与预期相符合。如图14所示，本发明提供的对组件进行巡检的方法具体可以包括：准备固定的数据文件，根据固定方式对数据文件创建索引，根据指定索引查询数据，比较查询结果是否与预期结果相同，如果相同，则检查通过，如果不相同，则发出告警信息。

可以对指定网页进行全文搜索和Web爬虫，结果与预期相符合。如图15所示，本发明提供的对组件进行巡检的方法具体可以包括：准备固定的网页，使用nutch进行搜索和爬虫任务，比较处理结果是否与预期结果相同，如果相同，则检查通过，如果不相同，则发出告警信息。

本发明还提供的一种对组件进行巡检的装置，该装置可以实现以下功能：

文件存储：检测大数据平台能否提供读写文件的功能；资源管理：检测大数据平台能否提供集群资源管理的功能；数据存储：检测大数据平台能否提供结构化数据和非结构化数据写入功的能；计算框架：检测大数据平台能否提供逻辑计算的功能；流式计算：检测大数据平台能否提供流式数据处理的功能；查询引擎：检测大数据平台能否提供sql语句执行的功能。日志收集：检测大数据平台能否提供分布式日志采集、处理的功能；搜索引擎：检测大数据平台能否提供文件、互联网搜索的功能。

为了实现上述功能，如图16所示，本发明提供的装置160需包括如下组成部分：

执行模块161，用于执行待巡检组件的业务，得到业务的执行结果；

对比模块162，用于将执行结果与预设基准结果进行对比，确定执行结果与基准结果之间的差别；

确定模块163，用于若二者之间的差别在预设范围之内，则确定待巡检组件正常，否则，确定待巡检组件异常。

其中，上述执行模块161具体可以用于：按照预先记录的执行步骤执行预先存储的组件的脚本文件。

进一步的，上述装置160还可以包括：

第一存储模块，用于在执行待巡检组件的业务，得到业务的执行结果之前，录制待巡检组件使用的脚本文件，并存储脚本文件的执行步骤，以及保存脚本文件运行的结果作为基准结果。

进一步的，上述装置160还可以包括：

第二存储模块，用于在执行待巡检组件的业务，得到业务的执行结果之前，预先存储待巡检组件执行业务所需的信息，信息至少包括：输入文件信息、数据库信息、资源配置、输出方式、执行命令以及业务开始执行时间。

其中，待巡检组件的业务至少包括以下一种：传输指定文件至文件存储系统、从文件存储系统上获取指定文件、提交多个任务，确定多个任务中能被分配到指定数量资源的任务的数量、写入结构化/非结构化数据、查询/输入指定的流式数据、为存储在分布式文件存储系统/数据存储系统的文件提供结构化查询；对指定节点的日志文件进行采集、聚合处理，并将处理结果输出至指定的输出数据接收方；生成指定文件的索引；对指定网页进行全文搜索和网络爬虫处理。

本发明实施例提供的方案，通过预设规则执行待巡检的业务，并将业务执行结果与预设的基准结果进行对比，从而实现了对集群组件的功能和正确性进行检查，进而避免了由于集群的组件故障而导致的隐患。

尽管为示例目的，已经公开了本发明的优选实施例，本领域的技术人员将意识到各种改进、增加和取代也是可能的，因此，本发明的范围应当不限于上述实施例。

Claims (10)

1.一种对组件进行巡检的方法，其特征在于，包括：

执行待巡检组件的业务，得到所述业务的执行结果；

将所述执行结果与预设基准结果进行对比，确定所述执行结果与所述基准结果之间的差别；

若执行结果与基准结果之间的差别在预设范围之内，则确定所述待巡检组件正常，否则，确定所述待巡检组件异常。

2.根据权利要求1所述的方法，其特征在于，所述执行待巡检组件的业务，得到所述业务的执行结果，包括：

按照预先记录的执行步骤执行预先存储的所述组件的脚本文件。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在执行待巡检组件的业务，得到所述业务的执行结果之前，录制待巡检组件使用的脚本文件，并存储所述脚本文件的执行步骤，以及保存所述脚本文件运行的结果作为所述基准结果。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在执行待巡检组件的业务，得到所述业务的执行结果之前，预先存储所述待巡检组件执行业务所需的信息，所述信息至少包括：

输入文件信息、数据库信息、资源配置、输出方式、执行命令以及业务开始执行时间。

5.根据权利要求1至4任意一项所述的方法，其特征在于，所述待巡检组件的业务至少包括以下一种：

传输指定文件至文件存储系统、从文件存储系统上获取指定文件、提交多个任务，确定所述多个任务中能被分配到指定数量资源的任务的数量、写入结构化/非结构化数据、查询/输入指定的流式数据、为存储在分布式文件存储系统/数据存储系统的文件提供结构化查询；对指定节点的日志文件进行采集、聚合处理，并将处理结果输出至指定的输出数据接收方；生成指定文件的索引；对指定网页进行全文搜索和网络爬虫处理。

6.一种对组件进行巡检的装置，其特征在于，包括：

执行模块，用于执行待巡检组件的业务，得到所述业务的执行结果；

对比模块，用于将所述执行结果与预设基准结果进行对比，确定所述执行结果与所述基准结果之间的差别；

确定模块，用于若执行结果与基准结果之间的差别在预设范围之内，则确定所述待巡检组件正常，否则，确定所述待巡检组件异常。

7.根据权利要求6所述的装置，其特征在于，所述执行模块具体用于：

根据所述预设规则按照预先记录的执行步骤执行预先存储的所述组件的脚本文件。

8.根据权利要求6所述的装置，其特征在于，所述装置还包括：

第一存储模块，用于在执行待巡检组件的业务，得到所述业务的执行结果之前，录制待巡检组件使用的脚本文件，并存储所述脚本文件的执行步骤，以及保存所述脚本文件运行的结果作为所述基准结果。

9.根据权利要求6所述的装置，其特征在于，所述装置还包括：

第二存储模块，用于在执行待巡检组件的业务，得到所述业务的执行结果之前，预先存储所述待巡检组件执行业务所需的信息，所述信息至少包括：输入文件信息、数据库信息、资源配置、输出方式、执行命令以及业务开始执行时间。

10.根据权利要求6至9任意一项所述的装置，其特征在于，所述待巡检组件的业务至少包括以下一种：

传输指定文件至文件存储系统、从文件存储系统上获取指定文件、提交多个任务，确定所述多个任务中能被分配到指定数量资源的任务的数量、写入结构化/非结构化数据、查询/输入指定的流式数据、为存储在分布式文件存储系统/数据存储系统的文件提供结构化查询；对指定节点的日志文件进行采集、聚合处理，并将处理结果输出至指定的输出数据接收方；生成指定文件的索引；对指定网页进行全文搜索和网络爬虫处理。