CN106411639A

CN106411639A - 访问数据的监控方法及系统

Info

Publication number: CN106411639A
Application number: CN201610829087.2A
Authority: CN
Inventors: 王淀文; 卢巍; 杨忠伟; 郝峰; 顾思斌; 潘柏宇; 谢菲
Original assignee: 1Verge Internet Technology Beijing Co Ltd
Current assignee: 1Verge Internet Technology Beijing Co Ltd
Priority date: 2016-09-18
Filing date: 2016-09-18
Publication date: 2017-02-15

Abstract

本发明涉及一种访问数据的监控方法及系统。其中，所述访问数据的监控方法包括：在接收到客户端的访问数据的情况下，记录与所述访问数据相关的各参数信息；根据各所述参数信息，生成对应的各日志信息；根据各所述日志信息进行可视化处理。本实施例的访问数据的监控方法，能够精确、全量、实时地处理客户端的访问数据。对由访问数据所生成的日志信息进行可视化处理，可以更清楚地观察、分析日志信息包括的各项数据的变化趋势。

Description

访问数据的监控方法及系统

技术领域

本发明涉及服务器领域，尤其涉及一种访问数据的监控方法及系统。

背景技术

随着互联网使用的普及，网站架构越来越多的设计成RESTful风格的架构。因此，所产生的各个HTTP(HyperText Transfer Protocol，超文本传输协议)协议的接口承受越来越大的访问压力。其中，REST(Representational State Transfer)可以是一组架构约束条件和原则，满足这些约束条件和原则的应用程序或设计可以称为RESTful。

目前，所产生的各个HTTP协议的接口访问量巨大，同时实现实时读写比较困难。主流处理方式有：例如，采用访问采样或心跳检测法，即随机采集很少的样本，作为对整体访问的概括。再例如，把所有数据写入如HDFS(Hadoop Distributed File System，分布式文件系统)系统，在需要获取数据时，再采用Map-Reduce(映射-归约)的方式离线计算。

但采用访问采样或心跳检测法，容易以偏概全，无法做到完全精确，且监控的时间颗粒度无法自由调控。采用分布式文件存储虽然统计精确，但是计算耗时很长，无法做到实时监控，服务出现问题到解决问题所用周期过长。

发明内容

技术问题

有鉴于此，本发明要解决的技术问题是，如何监控服务器的运行状态。

解决方案

为了解决上述技术问题，根据本发明的一实施例，提供了一种访问数据的监控方法，包括：在接收到客户端的访问数据的情况下，记录与所述访问数据相关的各参数信息；根据各所述参数信息，生成对应的各日志信息；根据各所述日志信息进行可视化处理。

为了解决上述技术问题，根据本发明的另一实施例，提供了一种访问数据的监控系统，包括：HTTP服务器，用于在接收到客户端的访问数据的情况下，获取与所述访问数据相关的各参数信息；队列服务器，与所述HTTP服务器相通信，用于存储所述HTTP服务器所获取的各所述参数信息；日志采集器，与所述队列服务器相通信，用于根据所述队列服务器所存储的各所述参数信息，生成对应的各日志信息；搜索服务器，与所述日志采集器相通信，用于存储所述日志采集器所生成的各所述日志信息；显示服务器，与所述搜索服务器相通信，用于根据所述搜索服务器所存储的各所述日志信息进行可视化处理。

有益效果

本实施例的访问数据的监控方法，能够精确、全量、实时地处理客户端的访问数据。对由访问数据所生成的日志信息进行可视化处理，可以更清楚地观察、分析日志信息包括的各项数据的变化趋势。

进一步地，通过对日志信息的可视化处理，便于对日志信息中包括的各项数据的变化趋势进行分析，可以实现例如快速定位线上故障、预测未来服务器新增或者减少量等功能。

根据下面参考附图对示例性实施例的详细说明，本发明的其它特征及方面将变得清楚。

附图说明

包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本发明的示例性实施例、特征和方面，并且用于解释本发明的原理。

图1示出根据本发明一实施例的访问数据的监控方法的流程图；

图2示出根据本发明一实施例的访问数据的监控方法的另一流程图；

图3示出根据本发明一实施例的访问数据的监控过程的示意图；

图4示出根据本发明一实施例的搜索服务器的示意图；

图5示出根据本发明一实施例的可视化图表(访问请求量)的示意图；

图6示出根据本发明一实施例的可视化图表(客户端的远程IP地址)的示意图；

图7示出根据本发明一实施例的可视化图表的(接口响应状态)示意图；

图8示出根据本发明另一实施例的访问数据的监控方法的流程图；

图9示出根据本发明另一实施例的访问数据的监控方法的另一流程图；

图10示出根据本发明另一实施例的访问数据的监控方法的另一流程图；

图11示出根据本发明另一实施例的访问数据的监控方法的流程图；

图12示出根据本发明另一实施例的访问数据的监控方法的另一流程图；

图13示出根据本发明一实施例的访问数据的监控装置的结构框图；

图14示出根据本发明另一实施例的访问数据的监控方法的结构框图。

具体实施方式

以下将参考附图详细说明本发明的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

另外，为了更好的说明本发明，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本发明同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本发明的主旨。

实施例1

图1示出根据本发明一实施例的访问数据的监控方法的流程图。如图1所示，所述访问数据的监控方法可以包括：

在步骤S101中，在接收到客户端的访问数据的情况下，记录与所述访问数据相关的各参数信息。

在步骤S102中，根据各所述参数信息，生成对应的各日志信息。

在步骤S103中，根据各所述日志信息进行可视化处理。

本实施例的客户端可以包括各种类型的能够与服务器交互的设备(例如电脑、手机、平板电脑等)和软件(例如浏览器、应用程序等)，对此不作限定。本实施例不限定客户端访问服务器所产生的访问数据的具体类型。例如，访问数据可以包括客户端访问网页、视频、音频、图片或其他内容所产生的数据。作为本实施例的一个示例，用户可以在浏览器的搜索栏中输入网址例如http://www.youku.com/，以访问对应的网页。服务器在接收到需要访问网址http://www.youku.com/的网页访问请求的情况下，可以响应该网页访问请求并记录与该网页访问请求相关的各参数信息。

其中，与访问数据相关的各参数信息可以包括例如IP地址(Internet ProtocolAddress，互联网协议地址)、响应状态、服务名称等，对此不作限定。在实际应用过程中，可以根据分析需求，选择性地记录一种或多种参数信息。网络设备、系统及服务程序等，在运作时会产生日志信息。日志信息可以记载着日期、时间、使用者及动作等相关操作的描述，这些内容对系统的运营维持具有重要作用。

本实施例不限定可视化处理的具体方式，例如可以将日志信息的统计结果通过表格、图形等可视化的形式进行展现。对日志信息进行可视化处理，可以更清楚地观察、分析日志信息包括的各项数据的变化趋势。进一步地，对可视化的日志信息包括的各项数据的变化趋势进行分析，可以实现例如快速定位线上故障、预测未来服务器新增或者减少量等功能。

在一种可能的实现方式中，如图2所示，在接收到客户端的访问数据的情况下，记录与所述访问数据相关的各参数信息(步骤S101)可以包括：

在步骤S201中，HTTP服务器在接收到所述客户端的HTTP访问请求的情况下，获取与所述HTTP访问请求相关的各所述参数信息。

在步骤S202中，HTTP服务器将所获取的各所述参数信息写入队列服务器。

本实施例的HTTP服务器(Http Server)可以包括能够响应HTTP访问请求的各类服务器。其中，HTTP可以是客户端和服务器之间请求和应答的标准。进一步地，通过使用Web(网络)浏览器、网络爬虫或者其它的工具，客户端可以发起到服务器上指定端口的HTTP访问请求。应答的HTTP服务器将所存储的资源(例如HTML文件、视频、音频、图片或其他内容)返回给客户端。

本实施例不限定队列服务器(Queue Server)的具体类型，例如可以是高性能队列服务器。队列服务器可以提供可靠、海量、高并发的分布式消息队列服务，从而帮助应用开发者实现应用之间以及应用内部各组件之间的消息传递，解耦系统之间的依赖。在本实施例中，队列服务器可以实现解耦HTTP服务器和日志采集器之间的依赖。

在一种可能的实现方式中，HTTP服务器在接收到所述客户端的HTTP访问请求的情况下，获取与所述HTTP访问请求相关的各所述参数信息(步骤S201)，可以包括：HTTP服务器在接收到所述HTTP访问请求的情况下，向所述客户端返回HTTP访问响应，并通过代码钩子(Hook)获取与所述HTTP访问请求相关的各所述参数信息。

本实施例的代码钩子可以是用于处理消息的程序段。将代码钩子加入HTTP服务器响应逻辑的末尾，进一步地，在HTTP服务器响应客户端的访问请求的情况下，代码钩子可以记录与HTTP访问请求相关的参数信息。举例而言，各所述参数信息可以包括以下参数中的一种或多种：客户端的远程IP地址、HTTP服务器的当前IP地址、接口名称、接口响应状态、接口耗时、接口内存峰值和服务名称等。

作为本实施例的一个示例，在用户通过客户端浏览网页时，HTTP服务器可以接收到客户端的网页访问请求，例如http://www.youku.com/。其中，客户端的远程IP地址可以是发出网页访问请求的设备的逻辑地址，例如106.120.101.210。HTTP服务器的当前IP地址可以是响应网页访问请求的服务器的逻辑地址，例如43.250.12.42(网址www.youku.com对应的服务器的逻辑地址)。接口名称可以是HTTP服务器接口的名称，例如北京市优酷土豆股份有限公司BGP(Border Gateway Protocol，边界网关协议)节点。接口响应状态可以用于判断HTTP服务器是否正常响应，一般可以通过HTTP状态码(Http Status Code)获取，例如响应正常或响应异常等。其中，响应异常可以包括例如请求错误、服务器错误等。接口耗时可以是服务器响应客户端的网页访问请求所耗费的时间，例如30ms(毫秒)。接口内存峰值可以是预设时间段内客户端调用接口内存的最大值。服务名称可以是HTTP访问请求对应的服务的名称，例如可以是网页访问、视频浏览等。

在一种可能的实现方式中，如图2所示，根据各所述参数信息，生成对应的各日志信息(步骤S102)可以包括：

在步骤S203中，日志采集器从所述队列服务器获取各所述参数信息，并生成各所述参数信息对应的各所述日志信息。

在步骤S204中，所述日志采集器将所生成的各所述日志信息写入搜索服务器。

本实施例不限定日志采集器(Log Collector)的具体类型，例如可以是Logstash、Kibana等日志采集系统。日志文件可以是非结构化的文本文件，日志文件里面可以包括能够结构化的日志信息。其中，日志信息可以包括采集发生的时间、日志类型(Info，Error)、日志等级、关键异常、异常详细说明等相关信息。日志信息在结构化出来后可以被持久化的存储起来。

本实施例不限定搜索服务器(Elastic Search Cluster)的具体类型，例如可以是ElasticSearch等搜索服务系统。其中，ElasticSearch是一个基于Lucene(全文搜索引擎)的搜索服务器，其基于RESTful web接口，可以提供了分布式多用户能力的全文搜索引擎。Elasticsearch可以设计用于云计算中，能够达到实时搜索，具有稳定、可靠、快速、安装使用方便等优点。作为Apache许可条款下的开放源码发布，Elasticsearch是当前流行的企业级搜索引擎。

在一种可能的实现方式中，如图2所示，根据各所述日志信息进行可视化处理(步骤S103)可以包括：

在步骤S205中，显示服务器从所述搜索服务器获取各所述日志信息，并根据所获取的各所述日志信息生成可视化图表。

本实施例不限定显示服务器的具体类型，例如可以是结果输出的网络服务器(Show Web Server)。举例而言，可视化图表可以包括表格、图形等，其中，图形可以包括例如折线图、柱状图、饼图等，本实施例不限定图标的具体形式。将日志信息生成可视化图表，可以更清楚地观察、分析日志信息包括的各项数据的变化趋势。进一步地，通过对可视化的日志信息包括的各项数据的变化趋势进行分析，可以实现例如快速定位线上故障、预测未来服务器新增或者减少量等功能。

作为本实施例的一个示例，如图3所示，访问数据的监控方法可以包括以下步骤：

S10、客户端向HTTP服务器发送HTTP访问请求。一般而言，每日可能产生数亿次HTTP访问请求。

S20、HTTP服务器响应客户端的HTTP访问请求，并通过代码钩子，记录客户端的远程IP地址、HTTP服务器的当前IP地址、接口名称、接口响应状态、接口耗时、接口内存峰值和服务名称等，并将上述参数信息写入队列服务器。

S30、日志采集器根据队列服务器中所存储的参数信息，实时生成日志信息，并且采用大量写入缓存的方式，将日志信息大量写入进搜索服务器。

S40、为了支持海量数据读写，搜索服务器可以是多台服务器组成的集群。集群可以包括一个或多个主节点(Master Node)和若干个从属节点(Drone Node)或者从节点(Slave Node)。

如图4所示，搜索服务器的具体架构如下所述：通过Paxos算法选举产生主节点。主节点可以不参数数据存储，而负责将读写数据分发到各个数据节点。数据节点可以负责数据的读写，还可以例如每30s建立一次倒排序索引，以实现对数据的实时处理。

其中，Paxos算法解决的问题是一个分布式系统如何就某个值(决议)达成一致。一个典型的场景是，在一个分布式数据库系统中，如果各节点的初始状态一致，每个节点执行相同的操作序列，那么他们最后能得到一致的状态。倒排索引源于实际应用中需要根据属性的值来查找记录。这种索引表中的每一项都包括一个属性值和具有该属性值的各记录的地址。

S50、搜索服务器实现了一套RESTful风格的API((Application ProgrammingInterface，应用程序编程接口)。显示服务器可以组织HTTP访问请求访问搜索服务器，进一步从所述搜索服务器获取各所述日志信息，并根据所获取的各所述日志信息生成可视化图表。

作为本实施例的一个示例，图5为对HTTP服务器的访问量与时间的折线图。其中，横轴为时间轴，纵轴为访问量轴。统计每30分钟内的访问量，生成如图5所示的坐标图。通过观察可以发现，大约在9：00-12：00的时间段内(图5所示方框)对HTTP服务器的访问量出现了突然升高，同时，增长数值超过了500000，存在异常访问。此时，根据对HTTP服务器的访问量的变化趋势，可以判断存在对HTTP服务器的访问是否存在异常情况。

作为本实施例的另一个示例，图6为客户端的远程IP地址的分布饼图。其中，每一个扇形区域可以代表一个客户端的远程IP地址对HTTP服务器的访问量。通过观察可以获取客户端的远程IP地址的分布规律。例如，IP地址为10.100.31.43对网址(领域)remote.raw的访问量为1515225。进一步地，客户端的远程IP地址(10.100.31.43)访问量占总访问量的比例为20.46％。

作为本实施例的另一个示例，图7为接口响应状态与时间的柱状图。其中，横轴为时间轴，纵轴为响应正常的请求量和响应异常的请求量。进一步地，下方的柱状体代表响应正常的请求量，上方的柱状体代表响应异常的请求量。统计每30分钟内的访问量，生成如图7所示的坐标图。通过观察可以发现，11:00左右的访问量达到峰值，5:00左右的访问量达到低谷。还可以发现5:00-11:00期间的访问量呈现增长趋势，11:00-23:00期间的访问量趋于保持平稳。

实施例2

图8示出根据本发明另一实施例的访问数据的监控方法的流程图。图8中标号与图1至图2相同的步骤具有相同的含义，为简明起见，省略对这些步骤的详细说明。如图8所示，所述访问数据的监控方法还可以包括：

在步骤S801中，根据各所述日志信息，获取预设时间段内的对HTTP服务器的调用峰值。

在步骤S802中，在所述调用峰值超出第一范围的情况下，获取所述客户端对所述HTTP服务器的调用比例数据。

在步骤S803中，在所述调用比例数据大于或等于第一阈值的情况下，确定所述客户端存在异常操作。

在一种可能的实现方式中，如图8所示，所述访问数据的监控方法，可以包括：

在步骤S804中，在所述调用比例数据小于第一阈值且大于或等于第二阈值的情况下，确定HTTP服务器存在异常。

在步骤S805中，在所述调用比例数据小于第二阈值的情况下，确定存在业务下线。

需要说明的是，本实施例对调用峰值的具体比较方法可以有多种。举例而言，可以采用绝对的比较方法，例如将调用峰值与确定的阈值进行比较。也可以采用相对的比较方法，例如获取当前预设时间段内的当前调用峰值，将当前调用峰值与上一个预设时间段内的历史调用峰值进行计算，将其增加值或下降值与确定的阈值进行比较。对调用比例数据的比较方法与对调用峰值的比较方法类似，在此不再赘述。

作为本实施例的一个示例，在代码上线后，本示例的访问数据的监控方法，可以用于快速定位上线代码的故障。如图9所示，将代码上线(步骤S901)，通过显示服务器查看对HTTP服务器的调用量是否存在异常(步骤S902)。在对HTTP服务器的调用量异常的情况下，查看错误编码(步骤S903)，并进行快速定位。然后通知业务人员修复漏洞(Bug)(步骤S904)。在业务人员成功修复漏洞之后，重新将代码上线。在对HTTP服务器的调用量正常的情况下，通知上线成功(步骤S905)。

作为本实施例的另一个示例，通过历史日志信息对HTTP服务器的调用量进行比较，可以发现例如DDOS(Distributed Denial of Service，分布式拒绝服务)攻击、恶意抓取、代码重复调用等问题，也可以发现例如HTTP服务器存在异常等问题，还可以检测业务是否下线，是否需要通知运营维护人员回收机器。如图10所示，通过API聚合例如一个小时内对HTTP服务器的当前调用峰值(步骤S1001)。将当前调用峰值与前一个小时内对HTTP服务器的历史调用峰值进行比较(步骤S1002)，具体可以包括以下情况：

情况1、当前调用峰值上升超出第一范围。

在此种情况下，通过API查询消费者对HTTP服务器的调用百分比(步骤S1003)。其中，消费者对HTTP服务器的调用可以包括用户通过客户端正常发起访问请求的各种行为。例如请求浏览网页、观看视频等。进一步地，将消费者对HTTP服务器的调用百分比与预设阈值进行比较(步骤S1004)。在消费者对HTTP服务器的调用百分比上升超过第一阈值的情况下，确定所述客户端是否存在异常操作(步骤S1005)。例如是否存在DDOS攻击、网络爬虫、恶意抓取、代码重复调用、热门活动等情况。在消费者对HTTP服务器的调用百分比正常的情况下，提示HTTP服务器存在异常(步骤S1006)。

情况2、当前调用峰值下降超出第一范围。

在此种情况下，通过API查询消费者对HTTP服务器的调用百分比(步骤S1003)。进一步地，将消费者对HTTP服务器的调用百分比与预设阈值进行比较(步骤S1004)。在消费者对HTTP服务器的调用百分比下降低于第二阈值的情况下，确定是否存在业务下线(步骤S1007)，并在业务下线的情况下通知运营维护人员回收HTTP服务器。在消费者对HTTP服务器的调用百分比正常的情况下，提示HTTP服务器存在异常(步骤S1006)。

情况3、当前调用峰值正常。

在此种情况下，客户端和HTTP服务器的运行稳定。

实施例3

图11示出根据本发明另一实施例的访问数据的监控方法的流程图。图11中标号与图1至图2相同的步骤具有相同的含义，为简明起见，省略对这些步骤的详细说明。如图11所示，所述访问数据的监控方法还可以包括：

在步骤S1101中，对各所述日志信息进行多元回归分析，获取预设时间段内对所述客户端的访问的估计值。

在步骤S1102中，在所述估计值大于第三阈值的情况下，提示增加HTTP服务器的数量。

在一种可能的实现方式中，如图11所示，所述访问数据的监控方法，还可以包括：

在步骤S1103中，在所述估计值小于第四阈值的情况下，提示减少HTTP服务器的数量。

作为本实施例的一个示例，如图12所示，例如每日获取服务器所有接口的日志信息(步骤S1201)，通过多元回归分析，预测未来6个月访问量的估计值(步骤S1202)。进一步地，在访问量的估计值上升超过第三阈值的情况下，例如可以提前1个月通知运营维护人员增加HTTP服务器的数量(步骤S1203)。在访问量的估计值下降低于第四阈值的情况下，例如可以提前1个月通知运营维护人员减少HTTP服务器的数量(步骤S1204)。

实施例4

图13示出根据本发明一实施例的访问数据的监控装置的结构框图。如图13所示，所述访问数据的监控装置，可以包括：HTTP服务器11，用于在接收到客户端的访问数据的情况下，获取与所述访问数据相关的各参数信息；队列服务器13，与所述HTTP服务器11相通信，用于存储所述HTTP服务器11所获取的各所述参数信息；日志采集器15，与所述队列服务器13相通信，用于根据所述队列服务器13所存储的各所述参数信息，生成对应的各日志信息；搜索服务器17，与所述日志采集器15相通信，用于存储所述日志采集器15所生成的各所述日志信息；显示服务器19，与所述搜索服务器17相通信，用于根据所述搜索服务器17所存储的各所述日志信息进行可视化处理。

在一种可能的实现方式中，所述HTTP服务器11包括：参数信息获取模块，用于在接收到所述客户端的HTTP访问请求的情况下，获取与所述HTTP访问请求相关的各所述参数信息；参数信息写入模块，与所述参数信息获取模块连接，用于将所获取的各所述参数信息写入队列服务器13。

在一种可能的实现方式中，所述参数信息获取模块包括：参数信息获取单元，用于在接收到所述HTTP访问请求的情况下，向所述客户端返回HTTP访问响应，并通过代码钩子获取与所述HTTP访问请求相关的各所述参数信息。

在一种可能的实现方式中，所述日志采集器15包括：日志信息生成模块，用于从所述队列服务器13获取各所述参数信息，并生成各所述参数信息对应的各所述日志信息；日志信息写入模块，与所述日志信息生成模块连接，用于将所生成的各所述日志信息写入搜索服务器。

在一种可能的实现方式中，所述显示服务器19包括：可视化模块，用于从所述搜索服务器获取各所述日志信息，并根据所获取的各所述日志信息生成可视化图表。

在一种可能的实现方式中，各所述参数信息包括以下至少一项：所述客户端的远程IP地址、所述HTTP服务器的当前IP地址、接口名称、接口响应状态、接口耗时、接口内存峰值和服务名称。

在一种可能的实现方式中，所述系统还包括：调用峰值获取模块，用于根据各所述日志信息，获取预设时间段内的对HTTP服务器的调用峰值；调用比例数据获取模块，与所述调用峰值获取模块连接，用于在所述调用峰值超出第一范围的情况下，获取所述客户端对所述HTTP服务器的调用比例数据；第一确定模块，与所述调用比例数据获取模块连接，用于在所述调用比例数据大于或等于第一阈值的情况下，确定所述客户端存在异常操作；和/或第二确定模块，与所述调用比例数据获取模块连接，用于在所述调用比例数据小于第一阈值且大于或等于第二阈值的情况下，确定HTTP服务器存在异常；和/或第三确定模块，与所述调用比例数据获取模块连接，用于在所述调用比例数据小于第二阈值的情况下，确定存在业务下线。

在一种可能的实现方式中，所述系统还包括：估计值获取模块，用于对各所述日志信息进行多元回归分析，获取预设时间段内对所述客户端的访问的估计值；第一提示模块，与所述估计值获取模块连接，用于在所述估计值大于第三阈值的情况下，提示增加HTTP服务器的数量；和/或第二提示模块，与所述估计值获取模块连接，用于在所述估计值小于第四阈值的情况下，提示减少HTTP服务器的数量。

本实施例的访问数据的监控装置，能够精确、全量、实时地处理客户端的访问数据。对由访问数据所生成的日志信息进行可视化处理，可以更清楚地观察、分析日志信息包括的各项数据的变化趋势。

实施例5

图14示出了本发明的另一个实施例的一种访问数据的监控装置的结构框图。所述访问数据的监控装置1100可以是具备计算能力的主机服务器、个人计算机PC、或者可携带的便携式计算机或终端等。本发明具体实施例并不对计算节点的具体实现做限定。

所述访问数据的监控装置1100包括处理器(processor)1110、通信接口(Communications Interface)1120、存储器(memory)1130和总线1140。其中，处理器1110、通信接口1120、以及存储器1130通过总线1140完成相互间的通信。

通信接口1120用于与网络设备通信，其中网络设备包括例如虚拟机管理中心、共享存储等。

处理器1110用于执行程序。处理器1110可能是一个中央处理器CPU，或者是专用集成电路ASIC(Application Specific Integrated Circuit)，或者是被配置成实施本实施例的一个或多个集成电路。

存储器1130用于存放文件。存储器1130可能包括高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器1130也可以是存储器阵列。存储器1130还可能被分块，并且所述块可按一定的规则组合成虚拟卷。

在一种可能的实施方式中，上述程序可为包括计算机操作指令的程序代码。该程序具体可用于：实现实施例1至实施例3中各步骤的操作。

本领域普通技术人员可以意识到，本文所描述的实施例中的各示例性单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件形式来实现，取决于技术方案的特定应用和设计约束条件。专业技术人员可以针对特定的应用选择不同的方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

如果以计算机软件的形式来实现所述功能并作为独立的产品销售或使用时，则在一定程度上可认为本发明的技术方案的全部或部分(例如对现有技术做出贡献的部分)是以计算机软件产品的形式体现的。该计算机软件产品通常存储在计算机可读取的非易失性存储介质中，包括若干指令用以使得计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各实施例方法的全部或部分步骤。而前述的存储介质包括U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims

1.一种访问数据的监控方法，其特征在于，包括：

在接收到客户端的访问数据的情况下，记录与所述访问数据相关的各参数信息；

根据各所述参数信息，生成对应的各日志信息；

根据各所述日志信息进行可视化处理。

2.根据权利要求1所述的方法，其特征在于，在接收到客户端的访问数据的情况下，记录与所述访问数据相关的各参数信息，包括：

超文本传输协议HTTP服务器在接收到所述客户端的HTTP访问请求的情况下，获取与所述HTTP访问请求相关的各所述参数信息；

HTTP服务器将所获取的各所述参数信息写入队列服务器。

3.根据权利要求2所述的方法，其特征在于，HTTP服务器在接收到所述客户端的HTTP访问请求的情况下，获取与所述HTTP访问请求相关的各所述参数信息，包括：

所述HTTP服务器在接收到所述HTTP访问请求的情况下，向所述客户端返回HTTP访问响应，并通过代码钩子获取与所述HTTP访问请求相关的各所述参数信息。

4.根据权利要求2所述的方法，其特征在于，根据各所述参数信息，生成对应的各日志信息，包括：

日志采集器从所述队列服务器获取各所述参数信息，并生成各所述参数信息对应的各所述日志信息；

所述日志采集器将所生成的各所述日志信息写入搜索服务器。

5.根据权利要求4所述的方法，其特征在于，根据各所述日志信息进行可视化处理，包括：

显示服务器从所述搜索服务器获取各所述日志信息，并根据所获取的各所述日志信息生成可视化图表。

6.根据权利要求2至5中任一项所述的方法，其特征在于，各所述参数信息包括以下至少一项：所述客户端的远程IP地址、所述HTTP服务器的当前IP地址、接口名称、接口响应状态、接口耗时、接口内存峰值和服务名称。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据各所述日志信息，获取预设时间段内的对HTTP服务器的调用峰值；

在所述调用峰值超出第一范围的情况下，获取所述客户端对所述HTTP服务器的调用比例数据；

在所述调用比例数据大于或等于第一阈值的情况下，确定所述客户端存在异常操作；或在所述调用比例数据小于第一阈值且大于或等于第二阈值的情况下，确定HTTP服务器存在异常；或在所述调用比例数据小于第二阈值的情况下，确定存在业务下线。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对各所述日志信息进行多元回归分析，获取预设时间段内对所述客户端的访问的估计值；

在所述估计值大于第三阈值的情况下，提示增加HTTP服务器的数量；或在所述估计值小于第四阈值的情况下，提示减少HTTP服务器的数量。

9.一种访问数据的监控系统，其特征在于，包括：

HTTP服务器，用于在接收到客户端的访问数据的情况下，获取与所述访问数据相关的各参数信息；

队列服务器，与所述HTTP服务器相通信，用于存储所述HTTP服务器所获取的各所述参数信息；

日志采集器，与所述队列服务器相通信，用于根据所述队列服务器所存储的各所述参数信息，生成对应的各日志信息；

搜索服务器，与所述日志采集器相通信，用于存储所述日志采集器所生成的各所述日志信息；

显示服务器，与所述搜索服务器相通信，用于根据所述搜索服务器所存储的各所述日志信息进行可视化处理。

10.根据权利要求9所述的系统，其特征在于，所述HTTP服务器包括：

参数信息获取模块，用于在接收到所述客户端的HTTP访问请求的情况下，获取与所述HTTP访问请求相关的各所述参数信息；

参数信息写入模块，与所述参数信息获取模块连接，用于将所获取的各所述参数信息写入队列服务器。

11.根据权利要求10所述的系统，其特征在于，所述参数信息获取模块包括：

参数信息获取单元，用于在接收到所述HTTP访问请求的情况下，向所述客户端返回HTTP访问响应，并通过代码钩子获取与所述HTTP访问请求相关的各所述参数信息。

12.根据权利要求10所述的系统，其特征在于，所述日志采集器包括：

日志信息生成模块，用于从所述队列服务器获取各所述参数信息，并生成各所述参数信息对应的各所述日志信息；

日志信息写入模块，与所述日志信息生成模块连接，用于将所生成的各所述日志信息写入搜索服务器。

13.根据权利要求12所述的系统，其特征在于，所述显示服务器包括：

可视化模块，用于从所述搜索服务器获取各所述日志信息，并根据所获取的各所述日志信息生成可视化图表。

14.根据权利要求10至13所述的系统，其特征在于，各所述参数信息包括以下至少一项：所述客户端的远程IP地址、所述HTTP服务器的当前IP地址、接口名称、接口响应状态、接口耗时、接口内存峰值和服务名称。

15.根据权利要求9所述的系统，其特征在于，所述系统还包括：

调用峰值获取模块，用于根据各所述日志信息，获取预设时间段内的对HTTP服务器的调用峰值；

调用比例数据获取模块，与所述调用峰值获取模块连接，用于在所述调用峰值超出第一范围的情况下，获取所述客户端对所述HTTP服务器的调用比例数据；

第一确定模块，与所述调用比例数据获取模块连接，用于在所述调用比例数据大于或等于第一阈值的情况下，确定所述客户端存在异常操作；和/或第二确定模块，与所述调用比例数据获取模块连接，用于在所述调用比例数据小于第一阈值且大于或等于第二阈值的情况下，确定HTTP服务器存在异常；和/或第三确定模块，与所述调用比例数据获取模块连接，用于在所述调用比例数据小于第二阈值的情况下，确定存在业务下线。

16.根据权利要求9所述的系统，其特征在于，所述系统还包括：

估计值获取模块，用于对各所述日志信息进行多元回归分析，获取预设时间段内对所述客户端的访问的估计值；

第一提示模块，与所述估计值获取模块连接，用于在所述估计值大于第三阈值的情况下，提示增加HTTP服务器的数量；和/或第二提示模块，与所述估计值获取模块连接，用于在所述估计值小于第四阈值的情况下，提示减少HTTP服务器的数量。