CN104572416A - 一种运维数据的处理方法及装置 - Google Patents

Abstract

本发明公开了一种运维数据的处理方法及装置，其中方法包括：被维护对象生成设定监控指标下的运维数据；被维护对象将运维数据按照设定传输规范输出至所在终端的日志文件中；所述终端对所述日志文件进行探测，获取有效运维数据，并将有效运维数据发送到运维服务器中；运维服务器对临时存储的有效运维数据进行整理组合处理，以获取目标运维数据，并将目标运维数据存储到运维服务器的持久化数据存储单元中；运维服务器接收用户获取运维数据的请求，并通过运维数据服务接口将目标运维数据发送给用户。本发明实施例提供的方法及装置提高了运维监控指标的覆盖率，简化了私有运维指标的运维过程，提高了运维数据的处理效率。

Description

一种运维数据的处理方法及装置

技术领域

本发明涉及IT运维领域，尤其涉及一种运维数据的处理方法及装置。

背景技术

随着大型分布式网络应用系统，尤其是大数据处理系统的应用日益广泛，系统运维工作的重要性凸显了出来。而运维工作的核心内容是及时发现故障，以及解决问题。现有技术中的运维数据处理方法，一般是通过设定关键运行指标，定时采集其数据，将数据代入到问题规则表达式中进行计算，从而判断是否出现故障，并及时通知维护人员。

上述运维数据处理方法存在以下不足：1、监控指标覆盖面窄。现有运维监控指标只能覆盖硬件、网络、操作系统和公共应用服务层面，而对于大型分布式网络应用，更多的监控指标是应用内部的私有运维指标，并且数量比传统的运维监控指标要多数倍；2、扩展性不佳。现有技术中的运维数据处理方法，需要通过复杂的配置，甚至编写插件模块，才能支持和应用内部的私有运维指标。

发明内容

本发明是为了解决现有技术中的上述不足而完成的，本发明的目的在于提出一种运维数据处理方法及装置，该方法和装置提高了运维监控指标的覆盖率，简化了私有运维指标的运维过程，提高了私有运维指标的运维数据处理效率。

为达此目的，本发明采用以下技术方案：

第一方面，本发明实施例提供了一种运维数据的处理方法，包括：

被维护对象生成设定监控指标下的运维数据；

被维护对象将所述运维数据按照设定传输规范输出至所在终端的日志文件中。

第二方面，本发明实施例提供了一种运维数据的处理方法，包括：

被维护对象所在的终端接收被维护对象按照设定传输规范输出到日志文件中的运维数据；

所述终端对所述日志文件进行探测，获取有效运维数据，并将所述有效运维数据发送到运维服务器中。

第三方面，本发明实施例提供了一种运维数据的处理方法，包括：

运维服务器将被维护对象所在终端发送的有效运维数据写入所述运维服务器的临时数据存储单元中；

所述运维服务器对临时存储的所述有效运维数据进行整理组合处理，以获取目标运维数据，并将所述目标运维数据存储到所述运维服务器的持久化数据存储单元中；

所述运维服务器接收用户获取运维数据的请求，并通过运维数据服务接口将所述目标运维数据发送给用户。

第四方面，本发明实施例提供了一种运维数据的处理装置，配置在被维护对象上，包括：

获取模块，用于生成设定监控指标下的运维数据；

传输模块，用将所述运维数据按照设定传输规范输出至所在终端的日志文件中。

第五方面，本发明实施例提供了一种运维数据的处理装置，配置在被维护对象所在的终端，包括：

输出模块，用于接收被维护对象按照设定传输规范输出到日志文件中的运维数据；

探测模块，用于对所述日志文件进行探测，获取有效运维数据，并将所述有效运维数据发送到运维服务器中。

第六方面，本发明提供实施例提供了一种运维数据的处理装置，配置在运维数据服务器端，包括：

写入模块，用于将被维护对象所在终端发送的有效运维数据写入所述运维服务器的临时数据存储单元中；

存储模块，用于对临时存储的所述有效运维数据进行整理组合处理，以获取目标运维数据，并将所述目标运维数据存储到所述运维服务器的持久化数据存储单元中；

发送模块，用于接收用户获取运维数据的请求，并通过运维数据服务接口将所述目标运维数据发送给用户。

本发明实施例通过被维护对象按照设定传输规范以JOSN文件格式将公有和私有监控指标监控的运维数据输出到被维护对象所在终端的日志文件中，所述终端探测日志文件中的内容，获取日志文件中新增的运维数据，将新增的运维数据发送到运维数据服务器的临时存储单元中，运维数据服务器对所述运维数据进行整合处理，将所述运维数据存储到持久化数据存储单元中，用户可以通过运维服务器的运维服务接口获取运维数据，不需要复杂的配置和额外编写运维数据处理的插件模块，可以对应用内部的私有运维监控指标监控的运维数据进行处理，提高了运维监控指标的覆盖率，简化了私有运维指标的运维过程，提高了私有运维指标的运维数据处理效率。

附图说明

为了更加清楚地说明本发明示例性实施例的技术方案，下面对描述实施例中所需要用到的附图做一简单介绍。显然，所介绍的附图只是本发明所要描述的一部分实施例的附图，而不是全部的附图，对于本领域普通技术人员，在不付出创造性劳动的前提下，还可以根据这些附图得到其他的附图。

图1是本发明实施例一提供的运维数据的处理方法的流程示意图。

图2是本发明实施例二提供的运维数据的处理方法的流程示意图。

图3是本发明实施例三提供的运维数据的处理方法的流程示意图。

图4是本发明实施例四提供的运维数据的处理方法的流程示意图。

图5是本发明实施例四提供的运维数据的处理方法的运维数据服务逻辑结构图。

图6是本发明实施例四提供的运维数据的处理方法的运行逻辑结构图。

图7是本发明实施例五提供的运维数据的处理装置的结构示意图。

图8是本发明实施例六提供的运维数据的处理装置的结构示意图。

图9是本发明实施例七提供的运维数据的处理装置的结构示意图。

图10是本发明实施例八提供的运维数据的处理装置的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，以下将结合本发明实施例中的附图，通过具体实施方式，完整地描述本发明的技术方案。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例，基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动的前提下获得的所有其他实施例，均落入本发明的保护范围之内。

实施例一：

图1给出了本发明实施例一提供的运维数据的处理方法的流程示意图。本实施例的方法可以由运维数据的处理装置来执行，该装置可通过硬件和/或软件的方式实现，一般可集成于被维护对象中。

如图1所示，本实施例提供的运维数据的处理方法包括以下操作：

S110，被维护对象生成设定监控指标下的运维数据；

本实施例中的被维护对象可以为被维护终端上的应用软件，所述运维数据可以为公共监控指标下的运维数据，也可以为私有监控指标下的运维数据。

S120，被维护对象将所述运维数据按照设定传输规范输出至所在终端的日志文件中。

该操作中，被维护对象将所述运维数据按照设定传输规范输出至所在终端的日志文件中包括：

被维护对象根据公共参数将所述运维数据的公共内容生成公共字段；

被维护对象将所述运维数据的私有内容生成私有字段；

被维护对象将所述公共字段与所述私有字段的组合，按照JSON文件格式输出至所在终端的日志文件中；

所述公共参数包括下述至少一项：

运维数据采集和传输规范的版本号V；

输出运维数据的所述被维护对象所在终端的IP地址IP；

运维数据输出的时间戳TS；以及

运维数据对应的监控项标识MID。

在一个具体例子中，所述版本号V为一个整数值，占一个字节；所述IP地址为一个遵循网络版本协议4的十进制整数，占4个字节；所述时间戳TS为一个十进制整数，占4个字节；所述监控项标识MID为一个十进制整数，占4个字节。

优选的，私有字段的名称为Data,一条运维数据可以为以下形式：

{“V”：1，“TS”：1416443942，“IP”：3232555078,“MID”：102000012005,

“Data”:{“serviceid”：27,“servicestatus”：3,“fileinput”：6785,“fileoutput”：6730}}。

本实施例中设定了运维数据的传输规范，被维护对象都按照该运维数据传输规范进行传输数据，被维护对象可以根据需要自定义监控指标，只要监控指标符合运维数据传输规范就都能够得到支持，扩大了维护数据的覆盖率。另外，被维护对象将运维数据输出至终端的日志文件中，后续再由终端将运维数据传输到运维数据服务器中，因此，在发生运维数据丢失的情况时，能够很容易地查明是数据输出出现了问题，还是数据获取时出现了问题，增强了运维系统的易维护性；当运维系统本身发生故障时，由于被维护对象产生的运维数据记录在日志文件中，一段时间内不会丢失，在此期间，若运维系统的故障被排除，则故障期间产生的运维数据仍然能被获取到，增强了运维系统的鲁棒性。

实施例二：

图2给出了本发明实施例二提供的运维数据的处理方法的流程示意图。本实施例的方法可以由运维数据的处理装置来执行，该装置可通过硬件和/或软件的方式实现，一般可集成于被维护对象所在的终端中。

如图2所示，本实施例提供的运维数据的处理方法包括以下操作：

S210，被维护对象所在的终端接收被维护对象按照设定传输规范输出到日志文件中的运维数据；

S220，所述终端对所述日志文件进行探测，获取有效运维数据，并将所述有效运维数据发送到运维服务器中。

具体的，所述终端对所述日志文件进行探测，获取其中的新增运维数据；所述终端对所述新增运维数据进行数据校验：如果校验通过，则将所述新增运维数据作为有效运维数据；否则，获取所述新增运维数据中的至少一项公共参数进行存储，以进行后续错误排查。

该操作中，被维护对象所在的终端从日志文件中读取运维数据，并对读取的数据按照传输规范制定的校验规范进行校验和过滤。

另外，本实施例还包括以下操作：所述终端对所述日志文件设置探测标记，其中，所述探测标记用于标记所述日志文件最后一次被探测的位置，所述探测标记包括下述至少一项：

索引节点号，用于标记所述日志文件的索引节点号；

主设备号，用于标记所述日志文件所在存储设备的主设备号；

次设备号，用于标记所述日志文件所在存储设备的次设备号；以及

行号，用于标记当前读取的行号；

相应的，所述终端对所述日志文件的内容进行探测，获取所述日志文件中的新增运维数据具体包括：

所述终端获取所述日志文件中的所述探测标记；

根据所述探测标记，获取所述日志文件中的新增运维数据。

由于所述日志文件可能会被重命名、移动或回滚删除，因此，为了能够继续读取日志文件中的内容，对所述日志文件设置了探测标记，将探测标记写入到日志文件中。写入日志文件的操作，在每读完一批日志文件中的运维数据，或达到指定的时间间隔时，都会被触发。

实施例三：

图3给出了本发明实施例三提供的运维数据的处理方法的流程示意图。本实施例的方法可以由运维数据的处理装置来执行，该装置可通过硬件和/或软件的方式实现，一般可集成于运维服务器中。

如图3所示，本实施例提供的运维数据的处理方法包括以下操作：

S310，运维服务器将被维护对象所在终端发送的有效运维数据写入所述运维服务器的临时数据存储单元中；

S320，所述运维服务器对临时存储的所述有效运维数据进行整理组合处理，以获取目标运维数据，并将所述目标运维数据存储到所述运维服务器的持久化数据存储单元中；

S330，所述运维服务器接收用户获取运维数据的请求，并通过运维数据服务接口将所述目标运维数据发送给用户。

优选的，所述运维数据服务接口为表述性状态转移Web服务接口，所述运维数据服务接口包括下述至少一项：

查询单个主机上单个监控项标识的运维数据的接口；

查询单个主机上至少两个监控项标识的运维数据的接口；以及

查询至少两个主机上的单个监控项标识的运维数据的接口。

本实施例运维服务器中的数据访问服务是一种Restful(RepresentationalState Transfer，表述性状态转移)风格的Web服务，服务的内容是运维数据资源，负责对外提供统一的运维数据访问服务接口，其中每一类运维数据访问接口都有起止时间戳，翻页等查询参数，以便更准确地返回所需的运维数据。

本实施例中采用了Restful风格的运维数据Web服务接口，将运维数据作为资源对外提供服务，因此不用关心运维数据用户的具体业务，与运维数据用户的业务解耦，使得用户支持面更广。

实施例四：

图4给出了本发明实施例四提供的运维数据的处理方法的流程示意图。本实施例以上述实施例一至实施例三为基础，提供一种优选的实施例，未在本实施例中详尽描述的技术细节，可参见上述实施例一至实施例三。如图4所示，本实施例四提供的运维数据的处理方法包括以下操作：

S410，被维护对象生成设定监控指标下的运维数据；

S420，被维护对象将所述运维数据按照设定传输规范输出至所在终端的日志文件中；

S430，被维护对象所在的终端接收被维护对象按照设定传输规范输出到日志文件中的运维数据；

S440，所述终端对所述日志文件进行探测，获取有效运维数据，并将所述有效运维数据发送到运维服务器中；

该操作中，终端获取有效数据后，对所述有效运维数据按照不同的编码逻辑进行编码，将编码后的有效运维数据传输到运维服务器，优选的，编码逻辑为以下三种方式：

1)明文传输。这种方式不对运维数据进行编码，适合于有安全保障的内联网，且网络带宽比较充足的场景，其优点是对被维护对象所在终端的CPU资源消耗较小，缺点是网络带宽占用较多；

2)压缩传输。这种方式适合于有安全保障的内联网，但网络带宽不充足的场景，其优点是网络带宽占用量很小，缺点是传输过程会消耗较多的被维护对象所在终端的CPU资源，其中，压缩算法可以为gzip压缩算法；

3)压缩后加密传输。这种方式适合于没有安全保障的互联网。其优点是安全，并且网络带宽占用较小，缺点是传输过程会消耗较多的被维护对象所在终端的CPU资源。加密算法可以为对称加密算法，如数据加密标准(DataEncryption Standard，DES)、高级加密标准(Advanced Encryption Standard，AES)；也可以为非对称加密算法(Rivest-Shamir-Adleman，RSA)。

S450，运维服务器将被维护对象所在终端发送的有效运维数据写入所述运维服务器的临时数据存储单元中；

该操作中，运维服务器将被维护对象所在终端传输的有效运维数据根据不同的解码逻辑进行解码并接收，与操作S440中的编码逻辑相对应的，优选的，编码逻辑为以下三种方式：不解码、解压缩和解密。

S460，所述运维服务器对临时存储的所述有效运维数据进行整理组合处理，以获取目标运维数据，并将所述目标运维数据存储到所述运维服务器的持久化数据存储单元中；

S470，所述运维服务器接收用户获取运维数据的请求，并通过运维数据服务接口将所述目标运维数据发送给用户。

本实施例运维服务器采用Restful风格的运维数据Web服务，图5是本发明实施例四提供的运维数据的处理方法的运维数据服务逻辑结构图。如图5所示，本实施例提供的运维数据的处理方法的运维数据服务逻辑结构包括：

(1)路由选择器501，用于运维服务器解析用户的URL请求，并将其转发到相应的请求处理器上；

(2)请求处理器502，用于从运维服务器中的持久化数据存储单元中查询指定的运维数据，并组装查询结果；

(3)响应输出器503，用于以JSON的格式输出查询结果，供用户504做后续的处理。

图6是本发明实施例四提供的运维数据的处理方法的运行逻辑结构图。如图6所示，本实施例由至少一个被维护对象601向被维护对象所在终端602发送运维数据，所述终端602将运维数据存储到日志文件603中，所述终端602对日志文件603进行探测，获取有效运维数据，将有效运维数据发送到运维服务器604，运维服务器将有效运维数据写入临时数据存储单元605，运维服务器604对临时存储单元605中的有效运维数据进行整合处理，获取目标运维数据，并将目标运维数据存储到所述运维服务器604的持久化数据存储单元606中，用户608可以通过运维服务器604的运维数据服务接口607来访问持久化存储单元606中的运维数据。

本实施例提供的运维数据的处理方法通过被维护对象按照设定传输规范以JOSN文件格式将公有和私有监控指标监控的运维数据输出到被维护对象所在终端的日志文件中，所述终端探测日志文件中的内容，获取日志文件中新增的运维数据，将新增的运维数据发送到运维数据服务器的临时存储单元中，运维数据服务器对所述运维数据进行整合处理，将所述运维数据存储到持久化数据存储单元中，用户可以通过运维服务器的运维服务接口获取运维数据，不需要复杂的配置和额外编写运维数据处理的插件模块，可以对应用内部的私有运维监控指标监控的运维数据进行处理，提高了运维监控指标的覆盖率，简化了私有运维指标的运维过程，提高了私有运维指标的运维数据处理效率。

实施例五：

图7给出了本发明实施例五提供的运维数据的处理装置的结构示意图，所述装置配置在被维护对象中。如图7所示，本实施例提供的运维数据的处理装置包括以下结构：

获取模块101，用于生成设定监控指标下的运维数据；

传输模块102，用于将所述运维数据按照设定传输规范输出至所在终端的日志文件中。

本发明实施例提供的一种运维数据的处理装置可执行本发明实施例一提供的一种运维数据的处理方法，具备执行方法相应的功能模块和有益效果。

实施例六：

图8给出了本发明实施例六提供的运维数据的处理装置的结构示意图，所述装置配置在被维护对象所在的终端中。如图8所示，本实施例提供的运维数据的处理装置包括以下结构：

输出模块203，用于接收被维护对象按照设定传输规范输出到日志文件中的运维数据；

探测模块204，用于对所述日志文件进行探测，获取有效运维数据，并将所述有效运维数据发送到运维服务器中。

本发明实施例提供的一种运维数据的处理装置可执行本发明实施例二提供的一种运维数据的处理方法，具备执行方法相应的功能模块和有益效果。

实施例七：

图9给出了本发明实施例七提供的运维数据的处理装置的结构示意图，所述终端配置在运维服务器中。如图9所示，本实施例提供的运维数据的处理装置包括以下结构：

写入模块301，用于将被维护对象所在终端发送的有效运维数据写入所述运维服务器的临时数据存储单元中；

存储模块302，用于对临时存储的所述有效运维数据进行整理组合处理，以获取目标运维数据，并将所述目标运维数据存储到所述运维服务器的持久化数据存储单元中；

发送模块303，用于接收用户获取运维数据的请求，并通过运维数据服务接口将所述目标运维数据发送给用户。

本发明实施例提供的一种运维数据的处理装置可执行本发明实施例三提供的一种运维数据的处理方法，具备执行方法相应的功能模块和有益效果。

实施例八：

图10给出了本发明实施例八提供的运维数据的处理装置的结构示意图。如图10所示，本实施例提供的运维数据的处理装置包括以下结构：

数据获取模块401，用于被维护对象生成设定监控指标下的运维数据；

数据传输模块402，用于被维护对象将所述运维数据按照设定传输规范输出至所在终端的日志文件中；

数据接收模块403，被维护对象所在的终端接收被维护对象按照设定传输规范输出到日志文件中的运维数据；

数据探测模块404，所述终端对所述日志文件进行探测，获取有效运维数据，并将所述有效运维数据发送到运维服务器中；

数据写入模块405，用于运维服务器将被维护对象所在终端发送的有效运维数据写入所述运维服务器的临时数据存储单元中；

数据存储模块406，用于所述运维服务器对临时存储的所述有效运维数据进行整理组合处理，以获取目标运维数据，并将所述目标运维数据存储到所述运维服务器的持久化数据存储单元中；

数据发送模块407，用于所述运维服务器接收用户获取运维数据的请求，并通过运维数据服务接口将所述目标运维数据发送给用户。

本发明实施例提供的一种运维数据的处理装置可执行本发明实施例四提供的一种运维数据的处理方法，具备执行方法相应的功能模块和有益效果。

上述仅为本发明的较佳实施例及所运用的技术原理。本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行的各种明显变化、重新调整及替代均不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由权利要求的范围决定。

Claims (10)

1.一种运维数据的处理方法，其特征在于，包括：

被维护对象生成设定监控指标下的运维数据；

被维护对象将所述运维数据按照设定传输规范输出至所在终端的日志文件中。

2.根据权利要求1所述的方法，其特征在于，被维护对象将所述运维数据按照设定传输规范输出至所在终端的日志文件中包括：

被维护对象根据公共参数将所述运维数据的公共内容生成公共字段；

被维护对象将所述运维数据的私有内容生成私有字段；

被维护对象将所述公共字段与所述私有字段的组合，按照JSON文件格式输出至所在终端的日志文件中；

所述公共参数包括下述至少一项：

运维数据采集和传输规范的版本号；

输出运维数据的所述被维护对象所在终端的IP地址；

运维数据输出的时间戳；以及

运维数据对应的监控项标识。

3.一种运维数据的处理方法，其特征在于，包括：

被维护对象所在的终端接收被维护对象按照设定传输规范输出到日志文件中的运维数据；

所述终端对所述日志文件进行探测，获取有效运维数据，并将所述有效运维数据发送到运维服务器中。

4.根据权利要求3所述的方法，其特征在于，所述终端对所述日志文件进行探测，获取有效运维数据，并将所述有效运维数据发送到运维服务器中包括：

所述终端对所述日志文件进行探测，获取其中的新增运维数据；

所述终端对所述新增运维数据进行数据校验：如果校验通过，则将所述新增运维数据作为有效运维数据；否则，获取所述新增运维数据中的至少一项公共参数进行存储，以进行后续错误排查。

5.根据权利要求3所述的方法，其特征在于，还包括：

所述终端对所述日志文件设置探测标记，其中，所述探测标记用于标记所述日志文件最后一次被探测的位置，所述探测标记包括下述至少一项：

索引节点号，用于标记所述日志文件的索引节点号；

主设备号，用于标记所述日志文件所在存储设备的主设备号；

次设备号，用于标记所述日志文件所在存储设备的次设备号；以及

行号，用于标记当前读取的行号；

相应的，所述终端对所述日志文件的内容进行探测，获取所述日志文件中的新增运维数据具体包括：

所述终端获取所述日志文件中的所述探测标记；

根据所述探测标记，获取所述日志文件中的新增运维数据。

6.一种运维数据的处理方法，其特征在于，包括：

运维服务器将被维护对象所在终端发送的有效运维数据写入所述运维服务器的临时数据存储单元中；

所述运维服务器对临时存储的所述有效运维数据进行整理组合处理，以获取目标运维数据，并将所述目标运维数据存储到所述运维服务器的持久化数据存储单元中；

所述运维服务器接收用户获取运维数据的请求，并通过运维数据服务接口将所述目标运维数据发送给用户。

7.根据权利要求6所述的方法，其特征在于，所述运维数据服务接口为表述性状态转移Web服务接口，所述运维数据服务接口包括下述至少一项：

查询单个主机上单个监控项标识的运维数据的接口；

查询单个主机上至少两个监控项标识的运维数据的接口；以及

查询至少两个主机上的单个监控项标识的运维数据的接口。

8.一种运维数据的处理装置，配置在被维护对象上，其特征在于，包括：

获取模块，用于生成设定监控指标下的运维数据；

传输模块，用于将所述运维数据按照设定传输规范输出至所在终端的日志文件中。

9.一种运维数据的处理装置，配置在被维护对象所在的终端，其特征在于，包括：

输出模块，用于接收被维护对象按照设定传输规范输出到日志文件中的运维数据；

探测模块，用于对所述日志文件进行探测，获取有效运维数据，并将所述有效运维数据发送到运维服务器中。

10.一种运维数据的处理装置，配置在运维数据服务器端，其特征在于，包括：

写入模块，用于将被维护对象所在终端发送的有效运维数据写入所述运维服务器的临时数据存储单元中；

存储模块，用于对临时存储的所述有效运维数据进行整理组合处理，以获取目标运维数据，并将所述目标运维数据存储到所述运维服务器的持久化数据存储单元中；

发送模块，用于接收用户获取运维数据的请求，并通过运维数据服务接口将所述目标运维数据发送给用户。