CN107241242A - 一种数据处理方法和装置 - Google Patents

Abstract

本申请提供一种数据处理方法和装置。方法包括：根据配置的监控项，连接与所述监控项相关联的至少一台服务器；依据与所述监控项对应的预设规则，从所述至少一台服务器上获取与所述监控项对应的至少一组数据；将获取到的所述至少一组数据整合后得到一条监控数据；将所述监控数据存储至数据库。本申请将与监控项对应的存储在不同服务器上的多组数据整合后得到的监控数据存储至数据库，当出现问题时，无需用户人工手动依次查看每台服务器硬盘上的日志数据，只需依据监控项，即可从数据库中将与监控项相关联的监控数据及时快速地查找出来，关键的日志数据的抓取更加快速、便捷，问题定位更加及时，大大地缩减了排查问题的时间成本，效率提高。

Description

一种数据处理方法和装置

技术领域

本申请涉及通信技术领域，尤其涉及一种数据处理方法和装置。

背景技术

服务器在运行过程中会生成日志，生成的日志存储在服务器的硬盘上。

当某个或多个服务器在运行过程中发生异常时，只能由用户查看发生异常的服务器硬盘上的日志数据，通过日志数据的分析来确定问题发生、发生原因等。

然而由于服务器集群的数量非常之大，用户不可能精确地获知每一条日志数据分别存储在哪一台服务器上，而且在海量的日志数据中更不可能及时查找到关键的日志数据。因此当出现问题时，只能由用户人工手动依次查看每台服务器硬盘上的日志数据来排查问题，这种方式非常浪费时间成本，效率很低。

发明内容

有鉴于此，本申请提供一种数据处理方法和装置，以解决现有由用户人工手动依次查看每台服务器硬盘上的日志数据来排查问题的方式，非常浪费时间成本，效率很低的问题。技术方案如下：

基于本申请的一方面，本申请提供一种数据处理方法，包括：

根据配置的监控项，连接与所述监控项相关联的至少一台服务器；

依据与所述监控项对应的预设规则，从所述至少一台服务器上获取与所述监控项对应的至少一组数据；

将获取到的所述至少一组数据整合后得到一条监控数据；

将所述监控数据存储至数据库。

优选地，所述将所述监控数据存储至数据库之后，所述方法还包括：

当接收到页面展示请求时，所述页面展示请求包括待监控项，从所述数据库中查找与所述待监控项相关联的第一监控数据；

将所述第一监控数据以预设展示方式进行展示。

优选地，所述将所述监控数据存储至数据库之后，所述方法还包括：

周期性从所述数据库中获取第二监控数据；

判断所述第二监控数据是否满足报警条件；

如果满足，执行报警。

优选地，所述执行报警的报警方式包括如下至少一种：发送短信和/或拨打电话至预设终端、控制前端页面展示报警信息、控制报警灯处于报警状态，所述报警状态包括报警灯常亮状态或报警灯闪烁状态。

优选地，所述根据配置的监控项，连接与所述监控项相关联的至少一台服务器包括：

根据配置的监控项，通过Java SSH客户端连接与所述监控项相关联的至少一台服务器。

基于本申请的另一方面，本申请还提供一种数据处理装置，包括：

连接单元，用于根据配置的监控项，连接与所述监控项相关联的至少一台服务器；

数据获取单元，用于依据与所述监控项对应的预设规则，从所述至少一台服务器上获取与所述监控项对应的至少一组数据；

数据整合单元，用于将获取到的所述至少一组数据整合后得到一条监控数据；

存储单元，用于将所述监控数据存储至数据库。

优选地，还包括：

页面展示请求接收单元，用于接收页面展示请求，所述页面展示请求包括待监控项；

监控数据查找单元，用于当所述页面展示请求接收单元接收到页面展示请求时，从所述数据库中查找与所述待监控项相关联的第一监控数据；

展示单元，用于将所述第一监控数据以预设展示方式进行展示。

优选地，还包括：

监控数据获取单元，用于周期性从所述数据库中获取第二监控数据；

判断单元，用于判断所述第二监控数据是否满足报警条件；

报警单元，用于当所述判断单元判断所述第二监控数据满足报警条件时，执行报警。

优选地，所述报警单元的报警方式包括如下至少一种：发送短信和/或拨打电话至预设终端、控制前端页面展示报警信息、控制报警灯处于报警状态，所述报警状态包括报警灯常亮状态或报警灯闪烁状态。

优选地，所述连接单元具体用于，根据配置的监控项，通过Java SSH客户端连接与所述监控项相关联的至少一台服务器。

本申请根据配置的监控项，连接与所述监控项相关联的至少一台服务器，进而依据与所述监控项对应的预设规则，从所述至少一台服务器上获取与所述监控项对应的至少一组数据，并将获取到的所述至少一组数据整合后得到一条监控数据，将所述监控数据存储至数据库。本申请将与监控项对应的存储在不同服务器上的多组数据整合后得到的监控数据存储至数据库，当出现问题时，无需用户人工手动依次查看每台服务器硬盘上的日志数据，只需依据监控项，即可从数据库中将与监控项相关联的监控数据及时快速地查找出来，关键的日志数据的抓取更加快速、便捷，问题定位更加及时，大大地缩减了排查问题的时间成本，效率提高。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请提供的一种数据处理方法的流程图；

图2为本申请提供的另一种数据处理方法的流程图；

图3为本申请提供的再一种数据处理方法的流程图；

图4为本申请提供的一种数据处理装置的结构示意图；

图5为本申请提供的另一种数据处理装置的结构示意图；

图6为本申请提供的再一种数据处理装置的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参阅图1，其示出了本申请提供的一种数据处理方法的流程图，本申请提供的数据处理方法可具体应用于一监控平台，方法具体包括：

步骤101，根据配置的监控项，连接与所述监控项相关联的至少一台服务器。

其中监控项可以是业务中任何一个依赖的第三方服务，也可以是自身业务处理的耗时、请求数量统计、返回结果统计等。本申请的监控平台包括供用户操作的前端页面，用户可以在前端页面根据自身不同的服务自行添加监控项。监控平台根据用户在前端页面配置的监控项，自动连接与所述监控项相关联的至少一台服务器。本申请支持用户在前端页面灵活动态地添加监控项，监控平台可以兼容不同业务的接入。

在实际应用过程中，每一个业务就是一个服务器集群，服务器集群是指为同一个业务提供服务的服务器组成的集群，一个服务器集群包括至少一台服务器。如微信业务，该微信业务的底层由多台服务器为其提供服务，该多台服务器便组成一个服务器集群。本申请中，用户在前端页面配置好监控项后，监控平台根据该监控项，查找到与所述监控项(即业务)对应的服务器集群，连接该服务器集群中的至少一台服务器。具体地，监控平台可以根据配置的监控项，通过Java SSH(Secure Shell，专为远程登录会话和其他网络服务提供安全性的协议)客户端连接与所述监控项相关联的至少一台服务器。

步骤102，依据与所述监控项对应的预设规则，从所述至少一台服务器上获取与所述监控项对应的至少一组数据。

对于不同的监控项，监控平台设置有对应不同监控项的不同预设规则，即监控项与预设规则一一对应。例如监控项为接口A的耗时，那么对应接口A的耗时的预设规则可以是，抓取过去5分钟内调用接口A的总请求数量、平均处理耗时、最大耗时、最小耗时、耗时在0到50毫秒的数量、50到200毫秒的数量、200到500毫秒的数量、500到1000毫秒的数量、1000到2000毫秒的数量、2000到3000毫秒的数量、3000毫秒以上的数量等。又例如监控项为接口A的请求数量，那么对应接口A的请求数量的预设规则可以是，抓取过去5分钟内调用接口A的总请求数量、最大请求数量、最小请求数量、平均请求数量等。

监控平台根据用户配置的监控项，以及预先配置的与监控项对应的预设规则，从与监控项相关联的至少一台服务器上获取与监控项对应的至少一组数据。以前述监控项为接口A的耗时为例来说，监控平台分别从与接口A相关联的多台服务器上依次获取与接口A相关联的日志数据，该与接口A相关联的日志数据为满足是接口A中且包含耗时数值的日志数据，进而通过对日志数据的分析，获取到满足预设规则的一组数据，假设分别为：{100 51001 1 60 20 10 8 2 0 0}，即总请求数量为100、平均处理耗时为5、最大耗时为1001、最小耗时为1、耗时在0到50毫秒的数量为60、50到200毫秒的数量为20、200到500毫秒的数量为10、500到1000毫秒的数量为8、1000到2000毫秒的数量为2、2000到3000毫秒的数量为0、3000毫秒以上的数量为0。

因为每一个业务都是一个服务器集群，即一个业务对应多台服务器，因此监控平台也会从不同的服务器上获取到与监控项对应的多组数据。监控平台在获取到从一台服务器上获取到的多组数据、以及从不同服务器上获取到的多组数据后，可以将获取到的所有数据暂时缓存在本地。

步骤103，将获取到的所述至少一组数据整合后得到一条监控数据。

监控平台获取到监控项对应在每个服务器上的多组数据后，将获取到的所有数据进行整合后得到一条完整的对于该监控项的监控数据。例如监控平台从一台服务器中获取到的接口A的耗时对应的一组数据为{100 5 1001 1 60 20 10 8 2 0 0}，监控平台一共从10台服务器中获取数据，便存在上述形式相同的10组数据，由此监控平台将该10组数据进行整合。

步骤104，将所述监控数据存储至数据库。

监控平台将整合后得到的监控数据存储至数据库。

应用本申请提供的上述技术方案，本申请将与监控项对应的存储在不同服务器上的多组数据整合后得到的监控数据存储至数据库，当出现问题时，无需用户人工手动依次查看每台服务器硬盘上的日志数据，只需依据监控项，即可从数据库中将与监控项相关联的监控数据及时快速地查找出来，关键的日志数据的抓取更加快速、便捷，问题定位更加及时，大大地缩减了排查问题的时间成本，提高了工作效率。

在上述实施例的基础上，为了便于用户对监控数据直观方便地查看，本申请对于监控数据的展示方式作了进一步扩展，具体地，在前述步骤104之后还可以包括，如图2所示：

步骤105，当监控平台接收到页面展示请求时，所述页面展示请求包括待监控项，从所述数据库中查找与所述待监控项相关联的第一监控数据。

步骤106，将所述第一监控数据以预设展示方式进行展示。

其中预设展示方式可以包括饼状图、折线图、柱状图、表格等。

例如，用户在监控平台的前端页面发起展示接口B的耗时数据的页面展示请求，监控平台接收到用户发送的展示接口B的耗时数据的页面展示请求后，从数据库中查找与接口B的耗时数据相关联的第一监控数据，具体例如，监控平台可以从数据库中将一定时间范围内(如过去一天)的数据查找出来，进行再次整合，如累加、对比等后，以RESTful(Representational State Transfer，一种软件架构风格)API(Application ProgrammingInterface，应用程序编程接口)的风格提供给前端页面使用，前端页面将第一监控数据以饼状图、折线图、柱状图、或表格等形式进行展示。本申请将监控项的各项指标数据以更直观形象的展示方式进行展示，助于用户能够及时敏感地查看监控数据，使得在系统性能出现下降时，用户能够及时发现问题并进行优化，特别是在监控平台兼容不同业务的动态接入时，监控平台能够从业务的角度展示各个监控项的数据，极大地节约了人力开发和排查成本。

在上述实施例的基础上，本申请还能够实现问题的自动排查和报警，在步骤104之后，或步骤106之后，还可以包括，如图3所示：

步骤107，周期性从所述数据库中获取第二监控数据。

监控平台可以利用定时器，周期性从数据库中获取第二监控数据。该第二监控数据可以是用户预先设定好的需要监控的监控项的监控数据，也可以是监控平台自动默认的监控数据。

步骤108，判断所述第二监控数据是否满足报警条件。如果满足，执行步骤109，如果不满足，返回步骤107。

用户可以针对各监控项，在不同的服务器上设置不同的报警阈值，例如监控项为接口C的失败次数，用户在服务器A上针对接口C设置的报警阈值为，五分钟内出现调用接口C的失败次数为20次。监控平台获取数据库中接口C最近五分钟的调用情况，当判断接口C最近五分钟内调用的失败次数大于20次，表示接口C的失败次数满足报警条件，则触发报警。

步骤109，执行报警。

本申请中执行报警的报警方式包括如下至少一种：发送短信和/或拨打电话至预设终端，其中预设终端例如为用户手机、控制前端页面展示报警信息、控制报警灯处于报警状态，其中报警状态包括报警灯常亮状态或报警灯闪烁状态等。

本申请通过动态配置监控项以及各监控项对应在不同服务器上的报警阈值，由监控平台自动实现针对指定业务下的监控项的精确监控和报警，在发生问题时，监控平台可以第一时间通过报警方式告知用户，且可以精准地告知用户发生问题的根源，例如针对指定监控业务下的具体服务的长耗时报警以及某一个错误原因的报警，可以帮助用户及时定位并发现问题，不仅大大减少了排查问题的时间成本，提高了工作效率，且及时准确的报警机制保证了系统的稳定性。

基于前文本申请提供的一种数据处理方法，本申请还提供一种数据处理装置，该数据处理装置可具体应用在监控平台中，如图4所示，包括：

连接单元100，用于根据配置的监控项，连接与所述监控项相关联的至少一台服务器。

其中监控项可以是业务中任何一个依赖的第三方服务，也可以是自身业务处理的耗时、请求数量统计、返回结果统计等。本申请中的监控平台包括供用户操作的前端页面，用户可以在前端页面根据自身不同的服务自行添加监控项。连接单元100根据用户在前端页面配置的监控项，自动连接与所述监控项相关联的至少一台服务器。本申请支持用户在前端页面灵活动态地添加监控项，监控平台可以兼容不同业务的接入。

其中，连接单元100具体用于，根据配置的监控项，通过Java SSH客户端连接与所述监控项相关联的至少一台服务器。

数据获取单元200，用于依据与所述监控项对应的预设规则，从所述至少一台服务器上获取与所述监控项对应的至少一组数据。

对于不同的监控项，监控平台设置有对应不同监控项的不同预设规则，即监控项与预设规则一一对应。例如监控项为接口A的耗时，那么对应接口A的耗时的预设规则可以是，抓取过去5分钟内调用接口A的总请求数量、平均处理耗时、最大耗时、最小耗时、耗时在0到50毫秒的数量、50到200毫秒的数量、200到500毫秒的数量、500到1000毫秒的数量、1000到2000毫秒的数量、2000到3000毫秒的数量、3000毫秒以上的数量等。又例如监控项为接口A的请求数量，那么对应接口A的请求数量的预设规则可以是，抓取过去5分钟内调用接口A的总请求数量、最大请求数量、最小请求数量、平均请求数量等。

数据获取单元200根据用户配置的监控项，以及预先配置的与监控项对应的预设规则，从与监控项相关联的至少一台服务器上获取与监控项对应的至少一组数据。以前述监控项为接口A的耗时为例来说，监控平台分别从与接口A相关联的多台服务器上依次获取与接口A相关联的日志数据，该与接口A相关联的日志数据为满足是接口A中且包含耗时数值的日志数据，进而通过对日志数据的分析，获取到满足预设规则的一组数据，假设分别为：{100 5 1001 1 60 20 10 8 2 0 0}，即总请求数量为100、平均处理耗时为5、最大耗时为1001、最小耗时为1、耗时在0到50毫秒的数量为60、50到200毫秒的数量为20、200到500毫秒的数量为10、500到1000毫秒的数量为8、1000到2000毫秒的数量为2、2000到3000毫秒的数量为0、3000毫秒以上的数量为0。

数据整合单元300，用于将获取到的所述至少一组数据整合后得到一条监控数据。

数据获取单元200在获取到监控项对应在每个服务器上的多组数据后，数据整合单元300将获取到的所有数据进行整合后得到一条完整的对于该监控项的监控数据。

存储单元400，用于将所述监控数据存储至数据库。

作为本申请的另一个实施例，本申请还包括，如图5所示：

页面展示请求接收单元500，用于接收页面展示请求，所述页面展示请求包括待监控项；

监控数据查找单元600，用于当所述页面展示请求接收单元500接收到页面展示请求时，从所述数据库中查找与所述待监控项相关联的第一监控数据；

展示单元700，用于将所述第一监控数据以预设展示方式进行展示。

其中预设展示方式可以包括饼状图、折线图、柱状图、表格等。

作为本申请的再一个实施例，本申请还包括，如图6所示：

监控数据获取单元800，用于周期性从所述数据库中获取第二监控数据；

判断单元900，用于判断所述第二监控数据是否满足报警条件；

报警单元1000，用于当所述判断单元900判断所述第二监控数据满足报警条件时，执行报警。

其中，所述报警单元1000的报警方式包括如下至少一种：发送短信和/或拨打电话至预设终端、控制前端页面展示报警信息、控制报警灯处于报警状态，所述报警状态包括报警灯常亮状态或报警灯闪烁状态。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本申请所提供的一种数据处理方法和装置进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种数据处理方法，其特征在于，包括：

根据配置的监控项，连接与所述监控项相关联的至少一台服务器；

依据与所述监控项对应的预设规则，从所述至少一台服务器上获取与所述监控项对应的至少一组数据；

将获取到的所述至少一组数据整合后得到一条监控数据；

将所述监控数据存储至数据库。

2.根据权利要求1所述的方法，其特征在于，所述将所述监控数据存储至数据库之后，所述方法还包括：

当接收到页面展示请求时，所述页面展示请求包括待监控项，从所述数据库中查找与所述待监控项相关联的第一监控数据；

将所述第一监控数据以预设展示方式进行展示。

3.根据权利要求1所述的方法，其特征在于，所述将所述监控数据存储至数据库之后，所述方法还包括：

周期性从所述数据库中获取第二监控数据；

判断所述第二监控数据是否满足报警条件；

如果满足，执行报警。

4.根据权利要求3所述的方法，其特征在于，所述执行报警的报警方式包括如下至少一种：发送短信和/或拨打电话至预设终端、控制前端页面展示报警信息、控制报警灯处于报警状态，所述报警状态包括报警灯常亮状态或报警灯闪烁状态。

5.根据权利要求1所述的方法，其特征在于，所述根据配置的监控项，连接与所述监控项相关联的至少一台服务器包括：

根据配置的监控项，通过Java SSH客户端连接与所述监控项相关联的至少一台服务器。

6.一种数据处理装置，其特征在于，包括：

连接单元，用于根据配置的监控项，连接与所述监控项相关联的至少一台服务器；

数据获取单元，用于依据与所述监控项对应的预设规则，从所述至少一台服务器上获取与所述监控项对应的至少一组数据；

数据整合单元，用于将获取到的所述至少一组数据整合后得到一条监控数据；

存储单元，用于将所述监控数据存储至数据库。

7.根据权利要求6所述的装置，其特征在于，还包括：

页面展示请求接收单元，用于接收页面展示请求，所述页面展示请求包括待监控项；

监控数据查找单元，用于当所述页面展示请求接收单元接收到页面展示请求时，从所述数据库中查找与所述待监控项相关联的第一监控数据；

展示单元，用于将所述第一监控数据以预设展示方式进行展示。

8.根据权利要求6所述的装置，其特征在于，还包括：

监控数据获取单元，用于周期性从所述数据库中获取第二监控数据；

判断单元，用于判断所述第二监控数据是否满足报警条件；

报警单元，用于当所述判断单元判断所述第二监控数据满足报警条件时，执行报警。

9.根据权利要求8所述的装置，其特征在于，所述报警单元的报警方式包括如下至少一种：发送短信和/或拨打电话至预设终端、控制前端页面展示报警信息、控制报警灯处于报警状态，所述报警状态包括报警灯常亮状态或报警灯闪烁状态。

10.根据权利要求6所述的装置，其特征在于，所述连接单元具体用于，根据配置的监控项，通过Java SSH客户端连接与所述监控项相关联的至少一台服务器。