CN108769112B - 一种非侵入式rpc接口监控方法及系统 - Google Patents

Abstract

本发明涉及系统监控技术领域，尤其公开了一种非侵入式RPC接口监控方法，其中，包括：Zookeeper客户端配置需要监控的RPC接口的接口属性信息；Zookeeper服务器存储所述接口属性信息，并向监控客户端发送接口信息变更的通知；所述监控客户端从所述Zookeeper服务器上读取最新的接口属性信息，根据所述接口属性信息执行监控操作，并将监控数据发送至监控中心；所述监控中心对监控数据进行处理得到监控结果，并将监控结果发送至数据存储模块；所述数据存储模块对所述监控结果进行存储。本发明还公开了一种非侵入式RPC接口监控系统。本发明提供的非侵入式RPC接口监控方法无需打包、编译和重分发，确保应用程序正常运行，同时减少了工作量。

Description

一种非侵入式RPC接口监控方法及系统

技术领域

本发明涉及系统监控技术领域，尤其涉及一种非侵入式RPC接口监控方法及一种非侵入式RPC接口监控系统。

背景技术

监控一直是行业很热门的话题，监控就像一双眼睛，通过监控我们才能保持系统运行的健康状态，在系统出问题时及时的发现问题并解决问题。传统的监控系统多是对主机、服务器、虚拟机等设备或者系统进行监控，当其出现异常或故障时运维人员根据故障特征寻找导致故障的原因。应用作为系统运行的核心，是系统提供服务的关键，因此对应用服务进行监控也是至关重要的。当前随着业务的扩展，应用向分布式形式扩展，各应用之间的相互调用也变得越来越频繁，功能的调用是他们通过彼此的RPC接口调用实现的。

RPC（Remote Procedure Calls）远程过程调用协议是为应用提供相互通信的方式，使应用之间可以相互请求并传输请求的结果。RPC没有语言的限制，应用程序不必了解支持通信的网络协议的情况，因此提高了程序的互操作性。应用程序的RPC远程接口监控一直是一个很热门的话题，RPC接口因为其依赖于第三方，调用系统无法知晓第三方系统的运行状况，特别是对于特别核心的RPC接口，当其出问题的时候调用系统直接无法服务，因此实时了解RPC接口运行情况，通过监控数据提前发现异常，及时通知第三方系统或提前做出应对方案。

现有监控RPC接口的方式通常采用埋点法，对于本系统调用远程接口的情况，开发人员会提前或事后在系统中添加远端RPC接口的埋点程序，有多个RPC接口就埋入多个点，然后对系统进行编译，重启服务。采集到的RPC接口的运行相关数据通过一定的方式发送给监控中心，进行存储展示或者分析报警。具体地埋点监控RPC接口的方式如图1所示。

当前传统的RPC监控方式埋点法会对调用程序产生代码入侵，每一个应用的埋点都需要添加一些相应的代码，不仅工作量大，而且限定了必须是技术人员才能完成。另外，版本更新的代价很大，容易造成埋点的混乱，每一次接口监控方案的更新，都需要将代码编译打包重新发布，然后才能进行监控，一旦有相当多数量的用户对新版的更新不关注不进行更新时，埋点代码能够采集到的数据也就得不到更新；同时对于一些核心应用，其要求全天24小时全年不间断运行，甚至若该应用部署在成百上千台服务器时，重新编译打包发布代价太大，数据传输的实时性和可靠性也不好保证。

因此，如何解决现有技术中的对RPC接口监控需要重新打包发布成为本领域技术人员亟待解决的技术问题。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一，提供一种非侵入式RPC接口监控方法及一种非侵入式RPC接口监控系统，以解决现有技术中的问题。

作为本发明的一个方面，提供一种非侵入式RPC接口监控方法，其中，每个待监控的应用系统均具有RPC接口，所述非侵入式RPC接口监控方法包括：

Zookeeper客户端配置需要监控的RPC接口的接口属性信息；

Zookeeper服务器存储所述接口属性信息，并向监控客户端发送接口信息变更的通知；

所述监控客户端从所述Zookeeper服务器上读取最新的接口属性信息，根据所述接口属性信息执行监控操作，并将监控数据发送至监控中心；

所述监控中心对监控数据进行处理得到监控结果，并将监控结果发送至数据存储模块；

所述数据存储模块对所述监控结果进行存储。

优选地，所述非侵入式RPC接口监控方法还包括在所述监控客户端将监控数据发送至监控中心的步骤前进行的：

所述监控客户端将监控数据发送至MQ集群；

所述MQ集群对所述监控数据进行暂时存储；

所述监控中心接收所述MQ集群发送的所述监控数据。

优选地，所述接口属性信息包括：接口监控类型、接口所示的包路径、类名和RPC接口方法名。

优选地，所述接口监控类型包括创建和删除。

优选地，所述监控客户端根据所述接口属性信息执行监控操作包括：

判断当前RPC接口对应的类是否被加载；

若当前RPC接口对应的类未被加载，则读取原字节码文件，并修改原字节码文件；

加载与当前RPC接口相关的监控代码，并生成带有监控代码的字节码文件；

将所述带有监控代码的字节码文件加载进内存。

优选地，所述监控客户端根据所述接口属性信息执行监控操作包括：

若当前RPC接口对应的类被加载，则获取原字节码文件；

将所述原字节码文件加入监控代码，生成带有监控代码的字节码文件；

创建自定义类加载器；

通过所述自定义类加载器将所述带有监控代码的字节码文件加载进内存。

优选地，所述判断当前RPC接口对应的类是否被加载包括通过类加载监听器判断当前RPC接口对应的类是否被加载。

优选地，所述监控中心对监控数据进行处理得到监控结果包括：

对所述监控数据进行数据处理；

对数据处理后的结果进行统计分析，判断是否存在异常；

若存在异常，则发出报警信号。

优选地，所述监控客户端对RPC接口进行监控的内容包括：RPC接口调用所花费时间、调用RPC接口的频率、调用RPC接口超时次数和调用RPC接口失败次数。

作为本发明的第二个方面，提供一种非侵入式RPC接口监控系统，其中，所述非侵入式RPC接口监控系统包括：

Zookeeper客户端，所述Zookeeper客户端用于配置需要监控的RPC接口的接口属性信息；

Zookeeper服务器，所述Zookeeper服务器用于存储所述接口属性信息，并向监控客户端发送接口信息变更的通知；

监控客户端，所述监控客户端用于从所述Zookeeper服务器上读取最新的接口属性信息，根据所述接口属性信息执行监控操作，并将监控数据发送至监控中心；

监控中心，所述监控中心用于对监控数据进行处理得到监控结果，并将监控结果发送至数据存储模块；

数据存储模块，所述数据存储模块用于对所述监控结果进行存储。

本发明提供的非侵入式RPC接口监控方法，通过采用Zookeeper客户端配置需要监控的RPC接口的接口属性信息，然后Zookeeper服务器存储所述接口属性信息，监控客户端根据接口属性信息执行监控操作，这样当需要监控某个接口的时候，开发人员只需通过客户端告诉服务需要监控此接口，就会自动通知各个应用系统，然后各个应用系统通过代码重组调用，调用监控程序，采集RPC运行状况数据，然后向数据中心发送数据，系统无需打包编译，也无需重启即可实现监控，因此，本发明提供的非侵入式RPC接口监控方法，由于非代码入侵式监控，保证原应用程序的安全，另外，无需打包、编译和重分发，确保应用程序正常运行，同时减少了工作量。

附图说明

附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：

图1为现有技术中的埋点监控RPC接口示意图。

图2为本发明提供的非侵入式RPC接口监控方法的流程图。

图3为本发明提供的监控客户端执行监控操作的流程图。

图4为本发明提供的非侵入式RPC接口监控系统的结构示意图。

图5为本发明提供的非侵入式RPC接口监控系统的具体实施方式结构示意图。

具体实施方式

以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

需要说明的是，RPC：Remote Procedure Calls，远程过程调用；Zookeeper：分布式应用程序协调服务；MQ：Message Queue，消息队列；JVM：Java Virtual Machine，Java虚拟机；Dynamic Proxy：动态代理。

作为本发明的一个方面，提供一种非侵入式RPC接口监控方法，其中，每个待监控的应用系统均具有RPC接口，如图2所示，所述非侵入式RPC接口监控方法包括：

S110、Zookeeper客户端配置需要监控的RPC接口的接口属性信息；

S120、Zookeeper服务器存储所述接口属性信息，并向监控客户端发送接口信息变更的通知；

S130、所述监控客户端从所述Zookeeper服务器上读取最新的接口属性信息，根据所述接口属性信息执行监控操作，并将监控数据发送至监控中心；

S140、所述监控中心对监控数据进行处理得到监控结果，并将监控结果发送至数据存储模块；

S150、所述数据存储模块对所述监控结果进行存储。

本发明提供的非侵入式RPC接口监控方法，通过采用Zookeeper客户端配置需要监控的RPC接口的接口属性信息，然后Zookeeper服务器存储所述接口属性信息，监控客户端根据接口属性信息执行监控操作，这样当需要监控某个接口的时候，开发人员只需通过客户端告诉服务需要监控此接口，就会自动通知各个应用系统，然后各个应用系统通过代码重组调用，调用监控程序，采集RPC运行状况数据，然后向数据中心发送数据，系统无需打包编译，也无需重启即可实现监控，因此，本发明提供的非侵入式RPC接口监控方法，由于非代码入侵式监控，保证原应用程序的安全，另外，无需打包、编译和重分发，确保应用程序正常运行，同时减少了工作量。

具体地，为了避免数据太多，监控中心处理不过来，所述非侵入式RPC接口监控方法还包括在所述监控客户端将监控数据发送至监控中心的步骤前进行的：

所述监控客户端将监控数据发送至MQ集群；

所述MQ集群对所述监控数据进行暂时存储；

所述监控中心接收所述MQ集群发送的所述监控数据。

具体地，所述接口属性信息包括：接口监控类型、接口所示的包路径、类名和RPC接口方法名。

进一步具体地，所述接口监控类型包括创建和删除。

优选地，可以采用1表示创建，0表示删除。

具体地，所述监控客户端根据所述接口属性信息执行监控操作包括：

判断当前RPC接口对应的类是否被加载；

若当前RPC接口对应的类未被加载，则读取原字节码文件，并修改原字节码文件；

加载与当前RPC接口相关的监控代码，并生成带有监控代码的字节码文件；

将所述带有监控代码的字节码文件加载进内存。

具体地，所述监控客户端根据所述接口属性信息执行监控操作包括：

若当前RPC接口对应的类被加载，则获取原字节码文件；

将所述原字节码文件加入监控代码，生成带有监控代码的字节码文件；

创建自定义类加载器；

通过所述自定义类加载器将所述带有监控代码的字节码文件加载进内存。

所述判断当前RPC接口对应的类是否被加载包括通过类加载监听器判断当前RPC接口对应的类是否被加载。

如图3所示，由于监控客户端是系统的核心，根据从Zookeeper目录下获取到的节点的接口信息，到应用系统的内存中去寻找该RPC接口，添加监控程序，用来获取该RPC接口的实际运行信息。

当获取到RPC接口的时候，通过类加载监听器，检测当前PRC接口对应的类是否被加载，如果未被加载，则读取原字节码，并修改原字节码文件，将监控的RPC相关的接口的代码加载进来（现有框架：java assist可直接修改原字节码），并生成新新的字节码文件，将带有监控程序的字节码加载进内存。

当RPC接口对应的类已经被加载的时候，则获取原字节码文件，并加入监控代码，生成新的字节码文件，由于一个类加载器不能两次加载同一个字节码文件，因此需要在重新加载该类的时候新创建一个自定义类加载器，用新的自定义类加载器加入监控代码后的字节码文件，jvm虚拟机会自动将新加载字节码替换原来的字节码，因为包名、类名、方法名都没有变，文件也没有变，只是文件中的字节码变了（现有热加载插件JRebel就是这种实现方式）。

具体地，所述监控中心对监控数据进行处理得到监控结果包括：

对所述监控数据进行数据处理；

对数据处理后的结果进行统计分析，判断是否存在异常；

若存在异常，则发出报警信号。

具体地，所述监控客户端对RPC接口进行监控的内容包括：RPC接口调用所花费时间、调用RPC接口的频率、调用RPC接口超时次数和调用RPC接口失败次数。

本发明提供的非侵入式RPC接口监控方法，整个过程不需要重新下线应用重新编译打包上线，达到实时添加需要监控的RPC接口的目的。当获取到RPC接口运行的信息以后，监控客户端通过发送程序将信息发送到MQ集群。MQ集群对数据进行缓存，避免数据太多，监控中心处理不过来。

监控中心消费MQ集群中缓存的消息，并对消息进行数据统计，异常分析，和异常报警，最终将相关数据存储到数据库中进行数据持久化，以备以后查询。

作为本发明的第二个方面，提供一种非侵入式RPC接口监控系统，其中，如图4所示，所述非侵入式RPC接口监控系统10包括：

Zookeeper客户端110，所述Zookeeper客户端110用于配置需要监控的RPC接口的接口属性信息；

Zookeeper服务器120，所述Zookeeper服务器120用于存储所述接口属性信息，并向监控客户端发送接口信息变更的通知；

监控客户端130，所述监控客户端130用于从所述Zookeeper服务器上读取最新的接口属性信息，根据所述接口属性信息执行监控操作，并将监控数据发送至监控中心；

监控中心140，所述监控中心140用于对监控数据进行处理得到监控结果，并将监控结果发送至数据存储模块；

数据存储模块150，所述数据存储模块150用于对所述监控结果进行存储。

本发明提供的非侵入式RPC接口监控系统，通过采用Zookeeper客户端配置需要监控的RPC接口的接口属性信息，然后Zookeeper服务器存储所述接口属性信息，监控客户端根据接口属性信息执行监控操作，这样当需要监控某个接口的时候，开发人员只需通过客户端告诉服务需要监控此接口，就会自动通知各个应用系统，然后各个应用系统通过代码重组调用，调用监控程序，采集RPC运行状况数据，然后向数据中心发送数据，系统无需打包编译，也无需重启即可实现监控，因此，本发明提供的非侵入式RPC接口监控系统，由于非代码入侵式监控，保证原应用程序的安全，另外，无需打包、编译和重分发，确保应用程序正常运行，同时减少了工作量。

具体地， Zookeeper客户端主要用于用户配置需要监控的RPC接口，将接口监控类型（新增监控或删除监控）、RPC接口所属类全路径、接口方法封装成特定格式发送给Zookeeper服务器端，如下格式所示：

{

type：监控类型，1（表示创建），0（表示删除）；

path：接口所示的包路径；

class：类名

method：RPC接口方法名

}

Zookeeper集群主要用于节点同步，Zookeeper服务器端收到Zookeeper客户端发送来的消息，根据监控类型type确定新建节点或删除节点。当type为1时，Zookeeper服务器在自己的目录下创建一个节点，包含类全路径和RPC接口。当type为0，Zookeeper服务器端删除其目录下已存在的接口对应的节点。当节点有变化时，Zookeeper服务端通知监控客户端去其目录下读取节点信息，用于更新监控客户端监控的接口。

如图5所示，为本发明提供的非侵入式RPC接口监控系统的具体实施方式结构示意图。

图5中所示的应用系统中设置有RPC接口，需要监控时，通过调用非侵入式RPC接口监控系统中的监控客户端实现监控。监控中心140具体地可以包括数据处理单元、统计分析单元和异常报警单元。

为了避免数据太多，监控中心处理不过来，所述非侵入式RPC接口监控系统还包括MQ集群，所述MQ集群用于对所述监控数据进行缓存处理。

可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (9)

1.一种非侵入式RPC接口监控方法，其特征在于，每个待监控的应用系统均具有RPC接口，所述非侵入式RPC接口监控方法包括：

Zookeeper客户端配置需要监控的RPC接口的接口属性信息；

Zookeeper服务器存储所述接口属性信息，并向监控客户端发送接口信息变更的通知；

所述监控客户端从所述Zookeeper服务器上读取最新的接口属性信息，根据所述接口属性信息执行监控操作，并将监控数据发送至监控中心；

所述监控中心对监控数据进行处理得到监控结果，并将监控结果发送至数据存储模块；

所述数据存储模块对所述监控结果进行存储；

其中，所述非侵入式RPC接口监控方法还包括在所述监控客户端将监控数据发送至监控中心的步骤前进行的：

所述监控客户端将监控数据发送至MQ集群；

所述MQ集群对所述监控数据进行暂时存储；

所述监控中心接收所述MQ集群发送的所述监控数据。

2.根据权利要求1所述的非侵入式RPC接口监控方法，其特征在于，所述接口属性信息包括：接口监控类型、接口所示的包路径、类名和RPC接口方法名。

3.根据权利要求2所述的非侵入式RPC接口监控方法，其特征在于，所述接口监控类型包括创建和删除。

4.根据权利要求2所述的非侵入式RPC接口监控方法，其特征在于，所述监控客户端根据所述接口属性信息执行监控操作包括：

判断当前RPC接口对应的类是否被加载；

若当前RPC接口对应的类未被加载，则读取原字节码文件，并修改原字节码文件；

加载与当前RPC接口相关的监控代码，并生成带有监控代码的字节码文件；

将所述带有监控代码的字节码文件加载进内存。

5.根据权利要求4所述的非侵入式RPC接口监控方法，其特征在于，所述监控客户端根据所述接口属性信息执行监控操作包括：

若当前RPC接口对应的类被加载，则获取原字节码文件；

将所述原字节码文件加入监控代码，生成带有监控代码的字节码文件；

创建自定义类加载器；

通过所述自定义类加载器将所述带有监控代码的字节码文件加载进内存。

6.根据权利要求4所述的非侵入式RPC接口监控方法，其特征在于，所述判断当前RPC接口对应的类是否被加载包括通过类加载监听器判断当前RPC接口对应的类是否被加载。

7.根据权利要求1至6中任意一项所述的非侵入式RPC接口监控方法，其特征在于，所述监控中心对监控数据进行处理得到监控结果包括：

对所述监控数据进行数据处理；

对数据处理后的结果进行统计分析，判断是否存在异常；

若存在异常，则发出报警信号。

8.根据权利要求1至6中任意一项所述的非侵入式RPC接口监控方法，其特征在于，所述监控客户端对RPC接口进行监控的内容包括：RPC接口调用所花费时间、调用RPC接口的频率、调用RPC接口超时次数和调用RPC接口失败次数。

9.一种非侵入式RPC接口监控系统，用于实现权利要求1至8中任意一项所述的非侵入式RPC接口监控方法，其特征在于，所述非侵入式RPC接口监控系统包括：

Zookeeper客户端，所述Zookeeper客户端用于配置需要监控的RPC接口的接口属性信息；

Zookeeper服务器，所述Zookeeper服务器用于存储所述接口属性信息，并向监控客户端发送接口信息变更的通知；

监控客户端，所述监控客户端用于从所述Zookeeper服务器上读取最新的接口属性信息，根据所述接口属性信息执行监控操作，并将监控数据发送至监控中心；

监控中心，所述监控中心用于对监控数据进行处理得到监控结果，并将监控结果发送至数据存储模块；

数据存储模块，所述数据存储模块用于对所述监控结果进行存储。

Images