CN111654410A - 网关请求监控方法、装置、设备及介质 - Google Patents
网关请求监控方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN111654410A CN111654410A CN202010352091.0A CN202010352091A CN111654410A CN 111654410 A CN111654410 A CN 111654410A CN 202010352091 A CN202010352091 A CN 202010352091A CN 111654410 A CN111654410 A CN 111654410A
- Authority
- CN
- China
- Prior art keywords
- gateway
- request
- node
- log
- requests
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/66—Arrangements for connecting between networks having differing types of switching systems, e.g. gateways
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/04—Processing captured monitoring data, e.g. for logfile generation
- H04L43/045—Processing captured monitoring data, e.g. for logfile generation for graphical visualisation of monitoring data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
- H04L69/161—Implementation details of TCP/IP or UDP/IP stack architecture; Specification of modified or new header fields
- H04L69/162—Implementation details of TCP/IP or UDP/IP stack architecture; Specification of modified or new header fields involving adaptations of sockets based mechanisms
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Environmental & Geological Engineering (AREA)
- Computer Security & Cryptography (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种网关请求监控方法，涉及数据分析领域，旨在实现对Ceph对象存储过程中的所有网关请求进行监控和有效统计。该方法包括以下步骤：监听各网关节点；获取各网关节点的日志；分析所述各网关节点的日志，提取所述日志中的网关请求；分别统计各网关节点的网关请求，得到各网关节点的网关请求统计结果；存储所述各网关节点的网关请求统计结果。本发明还公开了一种网关请求监控装置、电子设备和计算机存储介质。
Description
技术领域
本发明涉及数据分析领域，尤其涉及一种网关请求监控方法、装置、设备及介质。
背景技术
Ceph是一个可靠地、具有自动重均衡和自动恢复功能的分布式存储系统，Ceph一般分为三大块服务，分别是对象存储、块设备存储和文件系统服务。在虚拟化存储的应用场景里，比较常用的是Ceph的块设备存储服务，例如在OpenStack项目里，Ceph的块设备存储服务可以直接对接OpenStack的cinder后端存储、Glance的镜像存储和虚拟机的数据存储，Ceph集群可以提供一个raw格式的块存储来作为虚拟机实例的硬盘。
Ceph集群相比其他存储系统的优点不仅仅在于存储能力上，Ceph集群还充分利用了存储节点上的计算能力，在存储每一个数据时，都会通过计算得到该数据存储的位置，尽量保证数据分布均衡。同时由于Ceph集群采用了CRUSH算法、HASH环等方法，因此不存在单点故障的问题，且随着存储规模的扩大，且性能也不会受到影响。
其中，Ceph集群的对象存储服务应用非常广泛，Ceph对象存储服务使用Ceph对象网关守护进程(radosgw)，它是个与Ceph集群交互的FastCGI模块，提供了与OpenStackSwift和Amazon S3兼容的接口，这些接口就是简单的GET、PUT、DEL和其他扩展，存储类型就是通常意义上的键值存储。但是一个对象存储系统，一天可以产生上万条请求，对这些请求进行有效统计分析对系统运维十分重要，而如何对这些请求进行有效的管理和统计分析是当前亟需解决的问题。
发明内容
为了克服现有技术的不足，本发明的目的之一在于提供一种网关请求监控方法，能对Ceph对象存储过程中的所有网关请求进行监控和有效统计，使得运维人员能实时掌握集群运行过程中产生的请求情况，为集群维护提供数据支持。
本发明的目的之一采用以下技术方案实现：
网关请求监控方法，包括以下步骤：
监听Ceph集群的各网关节点；
获取各网关节点的日志；
分析所述各网关节点的日志，提取所述日志中的网关请求；
分别统计各网关节点的网关请求，得到各网关节点的网关请求统计结果；
存储所述各网关节点的网关请求统计结果。
进一步地，监听各网关节点，包括：
创建Greenlet协程；
通过Greenlet协程对所述Ceph集群的各网关节点进行Socket监听。
进一步地，获取各网关节点的日志，包括：
通过Greenlet协程判断当前系统时间是否在所述预设时间段内，若当前系统时间在所述预设时间段内且未获取过日志，则获取各网关节点的日志。
进一步地，分析所述各网关节点的日志，提取所述日志中的网关请求，包括：
逐行提取所述日志中的日志内容；
根据预设关键词判断所述日志内容是否为网关请求；
若为网关请求，则将所述日志内容与预设文本格式进行比对，确定并提取所述网关请求的请求类型；
根据所述日志内容，确定并提取所述网关请求的请求内容；
得到各网关节点的网关请求；
其中，提取到的各网关节点的网关请求包括请求类型和请求内容。
进一步地，统计各网关节点的网关请求，得到各网关节点的网关请求统计结果，包括：
对每个网关节点的网关请求分别进行统计处理，包括：
根据网关请求的请求类型，统计每种请求类型对应的网关请求数量；
根据网关请求的请求内容，统计每种请求内容对应的网关请求数量；
得到各网关节点的网关请求统计结果，包括每种请求类型对应的网关请求数量和每种请求内容对应的网关请求数量。
进一步地，统计各网关节点的网关请求，还包括如下步骤：
通过定时心跳获取各网关节点的主机名和各网关节点所属Ceph集群的唯一标识，得到各网关节点与集群的对应关系；
根据各网关节点与集群的对应关系，将各网关节点的网关请求按集群进行分类统计。
进一步地，存储所述各网关节点的网关请求统计结果后，还包括以下步骤：
对所述各网关节点的网关请求统计结果进行可视化处理；
输出可视化处理结果。
本发明的目的之二在于提供一种网关请求监控装置，旨在实现对Ceph对象存储过程中的所有网关请求进行监控和有效统计。
本发明的目的之二采用以下技术方案实现：
网关请求监控装置，其包括：
监听模块，用于监听Ceph集群的各网关节点；
日志获取模块，用于获取各网关节点的日志；
日志分析模块，用于分析所述各网关节点的日志，提取所述日志中的网关请求；
统计模块，用于统计各网关节点的网关请求，得到各网关节点的网关请求统计结果；
存储模块，用于存储所述各网关节点的网关请求统计结果。
本发明的目的之三在于提供执行发明目的之一的电子设备，其包括处理器、存储介质以及计算机程序，所述计算机程序存储于存储介质中，所述计算机程序被处理器执行时实现上述的网关请求监控方法。
本发明的目的之四在于提供存储发明目的之一的计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的网关请求监控方法。
相比现有技术，本发明的有益效果在于：
本发明针对Ceph集群的网关节点进行网关请求统计，通过监听网关节点，获取网关节点的日志进行网关请求提取，并对提取到的网关请求进行统计，使得运维人员能根据统计结果对集群进行维护。
附图说明
图1是本发明网关请求监控方法的流程图；
图2是实施例1中的日志获取流程图；
图3是实施例1中的日志分析流程图；
图4是实施例2中的网关请求监控装置的结构框图；
图5是实施例3的电子设备的结构框图。
具体实施方式
以下将结合附图，对本发明进行更为详细的描述，需要说明的是，参照附图对本发明进行的描述仅是示意性的，而非限制性的。各个不同实施例之间可以进行相互组合，以构成未在以下描述中示出的其他实施例。
实施例1
本实施例提供了一种网关请求监控方法，基于Ceph分布式存储系统，部署Ceph集群，在Ceph集群的部分主机上配置Rgw网关服务，将配置Rgw网关服务主机作为网关节点，通过对这些网关节点进行监控，获取网关节点的日志进行分析，以提取网关请求，并对来自不同网关节点的网关请求进行统计，得到集群中不同网关节点的网关请求统计结果，为集群维护提供数据支持。
根据上述原理，对网关请求监控方法进行介绍，如图1所示，网关请求监控方法，具体包括以下步骤：
网关请求监控方法，包括以下步骤：
监听Ceph集群的各网关节点；
获取各网关节点的日志；
分析所述各网关节点的日志，提取所述日志中的网关请求；
分别统计各网关节点的网关请求，得到各网关节点的网关请求统计结果；
存储所述各网关节点的网关请求统计结果。
在进行上述网关请求监控方法时，首先部署Ceph集群，并为集群中所有主机配置ssh免密通信，在部分主机上配置Rgw网关服务作为网关节点，并将网关节点设置为Salt通信编组，实现对接Ceph集群的Monitor控制节点，通过Monitor控制节点运行监控服务，且监控服务在后台运行，不影响其他操作。
在具体实施例中，采用Salt(配置管理工具)的方式管理各个网关节点，可以从一个控制节点对所有的网关节点进行控制，配置简单、操作方便、易于维护，并提供了丰富的接口以供使用。且各个节点之间采用ssh进行互相通信，连接快速稳定，适用于中等规模的集群远程控制，通过ssh通信实现日志获取。
需要注意的是，在执行上述网关请求监控方法时，后台运行有一个守护进程服务，且通过systemctl对该守护进程服务进行管理，其中systemctl命令用于查看系统状态和管理系统及服务。
通过对各网关节点进行监听，获取各网关节点的日志进行分析，以提取集群运行过程产生的网关请求，并对网关请求进行统计，存储统计结果，在集群维护时可以随时调用该统计结果进行查看，使得运维人员能实时掌握集群运行过程中产生的请求情况，为集群维护提供数据支持。
优选地，监听各网关节点，包括：
创建Greenlet协程；
通过Greenlet协程对Ceph集群的各网关节点进行Socket监听。
在本实施例中，采用Gevent的方式创建Greenlet协程，具体为：创建一个Gevent.Greenlet.greenlet类。运行Greenlet协程监听self._complete状态，若协程未自行退出或者未被其他协程抢占，则开始轮询各网关节点，接受各网关节点的信息。每轮询一次，调用self._complete.wait()设置间隔时间。使用Greenlet协程，可以实现不同协程之间的自动切换，增加运行效率。
通过Greenlet协程对Ceph集群的各网关节点进行Socket监听，实现获取各网关节点的运行动态。
优选地，如图2所示，获取各网关节点的日志，包括：
通过Greenlet协程判断当前系统时间是否在所述预设时间段内，若当前系统时间在所述预设时间段内且未获取过日志，则获取各网关节点的日志。
在本实施例中在Greenlet协程中预设时间段，例如设定每半小时获取一次网关节点的日志，则将一天24小时划分48个时间段，预设时间段即为0:00-0:30、0:30-1:00、1:00-1:30、1:30-2:00等。
在实际应用时，获取当前系统时间，通过Greenlet协程判断当前系统时间是否在所述预设时间段内，若当前系统时间在所述预设时间段内且未获取过日志，则获取各网关节点的日志，否则重新对所述各网关节点进行Socket监听，以实现准确统计各个时间段产生的请求数量以及请求内容。
由于日志的数量巨大，因此在本实施例中设定在一个预设时间段中只进行一次日志获取，且在获取日志时，设置标志位flag标记获取位置，将已经获取过的日志的标志位设置为1。
在本实施例中，若当前系统时间在所述预设时间段内且未获取过日志，则下发一个Salt调用线程，通过Salt抓取各个网关节点的日志，并通过ssh进行传输，以实现日志获取，用于后续分析。
优选地，如图3所示，分析所述各网关节点的日志，提取所述日志中的网关请求，包括：
逐行提取所述日志中的日志内容；
根据预设关键词判断所述日志内容是否为网关请求；
若为网关请求，则将所述日志内容与预设文本格式进行比对，确定并提取所述网关请求的请求类型；
根据所述日志内容，确定并提取所述网关请求的请求内容；
得到各网关节点的网关请求；
其中，提取到的各网关节点的网关请求包括请求类型和请求内容。
对每个网关节点的日志分别进行分析，在本实施例中，针对一份日志，逐行提取日志内容，若一行日志内容内包含预设关键词，则判定该行日志内容为网关请求，所述预设关键词在本实施例中为civetweb。
将网关请求与预设文本格式进行比对，所述预设文本格式包括post、get、head、put等请求文本格式，以判定该网关请求的请求类型，即确定该网关请求属于post、get、head、put中的任意一种请求类型，并提取该网关请求属于的请求类型。
然后提取该网关请求的具体请求内容，例如请求内容为视频或图片等。
需要注意的是，在本实施例中，提取网关请求时，还将从日志中提取发起该网关请求的时间戳。
优选地，统计各网关节点的网关请求，得到各网关节点的网关请求统计结果，包括：
对每个网关节点的网关请求，进行统计处理，包括：
根据网关请求的请求类型，统计每种请求类型对应的网关请求数量；
根据网关请求的请求内容，统计每种请求内容对应的网关请求数量；
得到各网关节点的网关请求统计结果，包括每种请求类型对应的网关请求数量和每种请求内容对应的网关请求数量。
具体地，分别对来自同一网关节点的网关请求进行统计：统计同一时间段内，每种请求类型对应的网关请求数量和每种请求内容对应的网关请求数量，得到每个时间段内各网关节点的网关请求统计结果。
将所述网关请求统计结果进行存储，在本实施例中选用Postgresql数据库存储网关请求统计结果，通过安装的Sqlarchemy中间件将统计结果写入Postgresql数据库中。
优选地，在对多个集群进行统一管理时，统计各网关节点的网关请求，还包括如下步骤：
通过定时心跳获取各网关节点的主机名和各网关节点所属集群的唯一标识，得到各网关节点与集群的对应关系；
根据各网关节点与集群的对应关系，将各网关节点的网关请求按集群进行分类统计。
具体地，预先设定各网关节点的定时心跳，网关节点通过定时心跳上报产生的asok文件，调取命令获取asok文件的信息，得到各网关节点的主机名和各网关节点所属的Ceph集群的唯一标识，从而得到各网关节点与Ceph集群的对应关系。
根据各网关节点与集群的对应关系，将各网关节点的网关请求按集群进行分类统计。
在本实施例中，根据各网关节点与集群的对应关系，将网关节点所属Ceph集群的唯一标识与该网关节点的网关请求统计结果进行关联，在存储时，将所属的Ceph集群的唯一标识作为表字段，以实现按集群分类统计。当然在其他实施例中，也可以根据各网关节点所属的集群，将各网关节点的网关请求统计结果按集群进行分类，并对分类后的网关请求结果进行再统计，得到每个集群的网关请求数量，包括每种请求类型对应的网关请求数量和每种请求内容对应的网关请求数量。
在本实施例中，所述网关请求统计结果写入Postgresql数据库时，以ID为主键，形成表记录，一条表记录包括ID(主键)、Fsid、Host、Period、Put、Head、Get、Post，Jpg、Mp4等字段，所述Fsid字段存储集群的唯一标识，所述Host字段存储网关节点的主机名，Period字段存储获取日志的时间段，Put、Head、Get、Post字段分别存储统计的Put、Head、Get、Post类型的网关请求数量，Jpg、Mp4字段分别存储请求内容为Jpg、Mp4格式的网关请求数量。所述网关请求统计结果形成的数据表，如下表所示：
| ID | Fsid | Host | Period | Put | Head | Get | Post | Jpg | Mp4 |
| 1 | ab1e512e-d34a-4bc4-ba4f-ed9e3d246e4a | 10.11.3.56 | 6-7-1030 | 23 | 6 | 123 | 45 | 78 | 23 |
| 2 | ab1e512e-d34a-4bc4-ba4f-ed9e3d246e4a | 10.11.3.56 | 6-7-1100 | 12 | 7 | 98 | 64 | 68 | 34 |
| 3 | ab1e512e-d34a-4bc4-ba4f-ed9e3d246e4a | 10.11.3.57 | 6-7-1100 | 11 | 8 | 323 | 34 | 57 | 25 |
| 4 | 635b389a-5f18-4a12-a94f-f85dd0ff8b86 | 198.12.3.55 | 6-7-1100 | 5 | 2 | 23 | 75 | 23 | 12 |
| 5 | 635b389a-5f18-4a12-a94f-f85dd0ff8b86 | 198.12.3.59 | 6-7-1130 | 6 | 3 | 45 | 34 | 24 | 9 |
优选地，存储所述各网关节点的网关请求统计结果后，还包括以下步骤：
对所述各网关节点的网关请求统计结果进行可视化处理；
输出可视化处理结果。
所述可视化处理为本领域常规技术手段，在此不作限定，只要是读取数据库中的表数据形成可视化图表进行显示的方法即可，比如读取一天中某个时段来自不同网关节点的网关请求量形成可视化图表。通过可视化处理，使得运维人员通过查看图表，能直观地掌握集群的运行情况。
在本发明的其他实施例中，分析所述各网关节点的日志，提取所述日志中的网关请求，同时进行网关请求的统计，包括：
将每一份日志的每一行日志内容分别形成一个列表(将每一行日志内容的文本按空格进行切分，切分后组合成一个列表)，若列表长度大于6并且包含关键词civetweb，则提取该列表进行进一步分析，即确定请求类型和请求内容；
依次遍历提取出来的列表，若包含post、head、put、get这些关键词，则来自该网关节点的特定请求类型的网关请求数量加一；依次遍历提取出来的列表，若包含特定的请求内容，则来自该网关节点的包含特定请求内容的网关请求数量加一，从而得到各网关节点的网关请求统计结果。
需要注意的是，为了实现高可用并增加集群运行的稳定性，不同节点之间的配置文件、控制状态以及密钥在运行过程中必须保持一致，并使用sersync来保证多个把节点之间的文件同步，有效防止了单节点故障。
本发明使用协程来实现任务间的并行运行和切换，充分提高网关请求监控方法的运行效率。
本发明相比于传统的Ceph对象存储集群，能够有效对Ceph对象存储过程中所有的对象存储请求(网关请求)进行分析统计，统计内容包括了所有请求的请求类型以及内容。
本发明相较于单一的存储集群管理，能实现多集群管理，可以统计来自不同集群的网关请求数据并分类管理。
实施例2
本实施例对应实施例1的网关请求监控方法，公开了一种网关请求监控的装置，为上述实施例1的虚拟装置结构，如图4所示，包括：
监听模块410，用于监听Ceph集群的各网关节点；
日志获取模块420，用于获取各网关节点的日志；
日志分析模块430，用于分析所述各网关节点的日志，提取所述日志中的网关请求；
统计模块440，用于统计各网关节点的网关请求，得到各网关节点的网关请求统计结果；
存储模块450，用于存储所述各网关节点的网关请求统计结果。
在监听模块410中，通过创建的Greenlet协程对所述各网关节点进行Socket监听。
日志获取模块420获取各网关节点的日志时，通过Greenlet协程判断当前系统时间是否在所述预设时间段内，若当前系统时间在所述预设时间段内且未获取过日志，则获取各网关节点的日志。
在本实施例中，通过Salt调用线程抓取各个网关节点的日志，并通过ssh通信实现日志获取。
日志分析模块430分析所述各网关节点的日志，提取所述日志中的网关请求时，具体执行以下处理：
逐行提取所述日志中的日志内容；
根据预设关键词判断所述日志内容是否为网关请求；
若为网关请求，则将所述日志内容与预设文本格式进行比对，确定并提取所述网关请求的请求类型；
根据所述日志内容，确定并提取所述网关请求的请求内容；
得到各网关节点的网关请求；
其中，提取到的各网关节点的网关请求包括请求类型和请求内容。
统计模块440对每个网关节点的网关请求，进行统计处理，得到各网关节点的网关请求统计结果，对每个网关节点的网关请求进行统计包括：
根据网关请求的请求类型，统计每种请求类型对应的网关请求数量；
根据网关请求的请求内容，统计每种请求内容对应的网关请求数量，
单个网关请求的统计结果包括每种请求类型对应的网关请求数量和每种请求内容对应的网关请求数量。
优选地，在对多个集群进行统一管理时，所述统计模块440还将用于获取各网关节点与所属Ceph集群的对应关系，并根据各网关节点与集群的对应关系，将各网关节点的网关请求按集群进行分类统计。
存储模块450将所述网关请求统计结果进行存储。在本实施例中，存储模块450通过安装的Sqlarchemy中间件将网关请求统计结果写入Postgresql数据库。
在本发明的其他实施例中，所述网关请求监控的装置还包括可视化模块，用于调用数据库中的数据生成可视化图表。
实施例3
图5为本发明实施例3提供的一种电子设备的结构示意图，如图5所示，该电子设备包括处理器510、存储器520、输入装置530和输出装置540；电子设备中处理器510的数量可以是一个或多个，图5中以一个处理器510为例；电子设备中的处理器510、存储器520、输入装置530和输出装置540可以通过总线或其他方式连接，图5中以通过总线连接为例。
存储器520作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的网关请求监控方法对应的程序指令/模块(例如，网关请求监控装置中的监听模块410、日志获取模块420、日志分析模块430、统计模块440、存储模块450)。处理器510通过运行存储在存储器520中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现实施例1的网关请求监控方法。
存储器520可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器520可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器520可进一步包括相对于处理器510远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置530可用于接收输入的调用指令或设置等。输出装置540可为显示屏等显示设备，用于显示可视化处理结果。
实施例4
本发明实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行网关请求监控方法，该方法包括：
监听Ceph集群的各网关节点；
获取各网关节点的日志；
分析所述各网关节点的日志，提取所述日志中的网关请求；
分别统计各网关节点的网关请求，得到各网关节点的网关请求统计结果；
存储所述各网关节点的网关请求统计结果。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的网关请求监控方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台电子设备(可以是手机，个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述网关请求监控装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
对本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及形变，而所有的这些改变以及形变都应该属于本发明权利要求的保护范围之内。
Claims (10)
1.一种网关请求监控方法，其特征在于，包括以下步骤：
监听Ceph集群的各网关节点；
获取各网关节点的日志；
分析所述各网关节点的日志，提取所述日志中的网关请求；
分别统计各网关节点的网关请求，得到各网关节点的网关请求统计结果；
存储所述各网关节点的网关请求统计结果。
2.如权利要求1所述的网关请求监控方法，其特征在于，监听各网关节点，包括：
创建Greenlet协程；
通过Greenlet协程对所述Ceph集群的各网关节点进行Socket监听。
3.如权利要求1或2所述的网关请求监控方法，其特征在于，获取各网关节点的日志，包括：
通过Greenlet协程判断当前系统时间是否在所述预设时间段内，若当前系统时间在所述预设时间段内且未获取过日志，则获取各网关节点的日志。
4.如权利要求1所述的网关请求监控方法，其特征在于，分析所述各网关节点的日志，提取所述日志中的网关请求，包括：
逐行提取所述日志中的日志内容；
根据预设关键词判断所述日志内容是否为网关请求；
若为网关请求，则将所述日志内容与预设文本格式进行比对，确定并提取所述网关请求的请求类型；
根据所述日志内容，确定并提取所述网关请求的请求内容；
得到各网关节点的网关请求；
其中，提取到的各网关节点的网关请求包括请求类型和请求内容。
5.如权利要求4所述的网关请求监控方法，其特征在于，统计各网关节点的网关请求，得到各网关节点的网关请求统计结果，包括：
对每个网关节点的网关请求分别进行统计处理，包括：
根据网关请求的请求类型，统计每种请求类型对应的网关请求数量；
根据网关请求的请求内容，统计每种请求内容对应的网关请求数量；
得到各网关节点的网关请求统计结果，包括每种请求类型对应的网关请求数量和每种请求内容对应的网关请求数量。
6.如权利要求1所述的网关请求监控方法，其特征在于，统计各网关节点的网关请求，还包括如下步骤：
通过定时心跳获取各网关节点的主机名和各网关节点所属Ceph集群的唯一标识，得到各网关节点与集群的对应关系；
根据各网关节点与集群的对应关系，将各网关节点的网关请求按集群进行分类统计。
7.如权利要求6所述的网关请求监控方法，其特征在于，存储所述各网关节点的网关请求统计结果后，还包括以下步骤：
对所述各网关节点的网关请求统计结果进行可视化处理；
输出可视化处理结果。
8.一种网关请求监控装置，其特征在于，包括：
监听模块，用于监听Ceph集群的各网关节点；
日志获取模块，用于获取各网关节点的日志；
日志分析模块，用于分析所述各网关节点的日志，提取所述日志中的网关请求；
统计模块，用于统计各网关节点的网关请求，得到各网关节点的网关请求统计结果；
存储模块，用于存储所述各网关节点的网关请求统计结果。
9.一种电子设备，其包括处理器、存储介质以及计算机程序，所述计算机程序存储于存储介质中，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一项所述的网关请求监控方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一项所述的网关请求监控方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010352091.0A CN111654410B (zh) | 2020-04-28 | 2020-04-28 | 网关请求监控方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010352091.0A CN111654410B (zh) | 2020-04-28 | 2020-04-28 | 网关请求监控方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111654410A true CN111654410A (zh) | 2020-09-11 |
| CN111654410B CN111654410B (zh) | 2021-12-24 |
Family
ID=72348184
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010352091.0A Active CN111654410B (zh) | 2020-04-28 | 2020-04-28 | 网关请求监控方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111654410B (zh) |
Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140025770A1 (en) * | 2012-07-17 | 2014-01-23 | Convergent.Io Technologies Inc. | Systems, methods and devices for integrating end-host and network resources in distributed memory |
| CN104935601A (zh) * | 2015-06-19 | 2015-09-23 | 北京奇虎科技有限公司 | 基于云的网站日志安全分析方法、装置及系统 |
| CN105574205A (zh) * | 2016-01-18 | 2016-05-11 | 国家电网公司 | 分布式计算环境的日志动态分析系统 |
| US20160173620A1 (en) * | 2014-12-11 | 2016-06-16 | International Business Machines Corporation | Time-based data placement in a distributed storage system |
| US20160203219A1 (en) * | 2015-01-13 | 2016-07-14 | Elastifile Ltd. | Distributed file system for virtualized computing clusters |
| US20170010930A1 (en) * | 2015-07-08 | 2017-01-12 | Cisco Technology, Inc. | Interactive mechanism to view logs and metrics upon an anomaly in a distributed storage system |
| CN107835093A (zh) * | 2017-10-26 | 2018-03-23 | 郑州云海信息技术有限公司 | 一种存储管理方法及装置 |
| CN108076090A (zh) * | 2016-11-11 | 2018-05-25 | 华为技术有限公司 | 数据处理方法和存储管理系统 |
| US20180167434A1 (en) * | 2016-12-14 | 2018-06-14 | Verizon Digital Media Services Inc. | Distributed Management of Live Stream Storage |
| CN108874487A (zh) * | 2018-06-13 | 2018-11-23 | 北京九章云极科技有限公司 | 基于工作流的数据分析处理方法及系统 |
| CN109039787A (zh) * | 2018-09-28 | 2018-12-18 | 新华三大数据技术有限公司 | 日志处理方法、装置及大数据集群 |
| CN109039743A (zh) * | 2018-08-03 | 2018-12-18 | 西安东美信息科技有限公司 | 分布式存储ceph群集网络的集中管理方法 |
| CN109818805A (zh) * | 2019-02-27 | 2019-05-28 | 山东浪潮云信息技术有限公司 | 一种服务网关日志记录及检索方法 |
| CN110381137A (zh) * | 2019-07-19 | 2019-10-25 | 浪潮云信息技术有限公司 | 基于ceph的对象存储使用量统计方法及系统 |
| US20200021492A1 (en) * | 2019-09-23 | 2020-01-16 | Intel Corporation | Technologies for storage cluster rebuild service traffic management |
| CN110716829A (zh) * | 2019-10-10 | 2020-01-21 | 浪潮云信息技术有限公司 | 基于Ceph技术的块存储备份方法、终端及存储介质 |
| CN110750334A (zh) * | 2019-10-25 | 2020-02-04 | 北京计算机技术及应用研究所 | 一种基于Ceph的网络靶场后端存储系统设计方法 |
| CN111045599A (zh) * | 2019-10-31 | 2020-04-21 | 平安科技（深圳）有限公司 | 分布式存储系统的参数配置方法、装置及计算机设备 |
-
2020
- 2020-04-28 CN CN202010352091.0A patent/CN111654410B/zh active Active
Patent Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140025770A1 (en) * | 2012-07-17 | 2014-01-23 | Convergent.Io Technologies Inc. | Systems, methods and devices for integrating end-host and network resources in distributed memory |
| US20160173620A1 (en) * | 2014-12-11 | 2016-06-16 | International Business Machines Corporation | Time-based data placement in a distributed storage system |
| US20160203219A1 (en) * | 2015-01-13 | 2016-07-14 | Elastifile Ltd. | Distributed file system for virtualized computing clusters |
| CN104935601A (zh) * | 2015-06-19 | 2015-09-23 | 北京奇虎科技有限公司 | 基于云的网站日志安全分析方法、装置及系统 |
| US20170010930A1 (en) * | 2015-07-08 | 2017-01-12 | Cisco Technology, Inc. | Interactive mechanism to view logs and metrics upon an anomaly in a distributed storage system |
| CN105574205A (zh) * | 2016-01-18 | 2016-05-11 | 国家电网公司 | 分布式计算环境的日志动态分析系统 |
| CN108076090A (zh) * | 2016-11-11 | 2018-05-25 | 华为技术有限公司 | 数据处理方法和存储管理系统 |
| US20180167434A1 (en) * | 2016-12-14 | 2018-06-14 | Verizon Digital Media Services Inc. | Distributed Management of Live Stream Storage |
| CN107835093A (zh) * | 2017-10-26 | 2018-03-23 | 郑州云海信息技术有限公司 | 一种存储管理方法及装置 |
| CN108874487A (zh) * | 2018-06-13 | 2018-11-23 | 北京九章云极科技有限公司 | 基于工作流的数据分析处理方法及系统 |
| CN109039743A (zh) * | 2018-08-03 | 2018-12-18 | 西安东美信息科技有限公司 | 分布式存储ceph群集网络的集中管理方法 |
| CN109039787A (zh) * | 2018-09-28 | 2018-12-18 | 新华三大数据技术有限公司 | 日志处理方法、装置及大数据集群 |
| CN109818805A (zh) * | 2019-02-27 | 2019-05-28 | 山东浪潮云信息技术有限公司 | 一种服务网关日志记录及检索方法 |
| CN110381137A (zh) * | 2019-07-19 | 2019-10-25 | 浪潮云信息技术有限公司 | 基于ceph的对象存储使用量统计方法及系统 |
| US20200021492A1 (en) * | 2019-09-23 | 2020-01-16 | Intel Corporation | Technologies for storage cluster rebuild service traffic management |
| CN110716829A (zh) * | 2019-10-10 | 2020-01-21 | 浪潮云信息技术有限公司 | 基于Ceph技术的块存储备份方法、终端及存储介质 |
| CN110750334A (zh) * | 2019-10-25 | 2020-02-04 | 北京计算机技术及应用研究所 | 一种基于Ceph的网络靶场后端存储系统设计方法 |
| CN111045599A (zh) * | 2019-10-31 | 2020-04-21 | 平安科技（深圳）有限公司 | 分布式存储系统的参数配置方法、装置及计算机设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111654410B (zh) | 2021-12-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109034993B (zh) | 对账方法、设备、系统及计算机可读存储介质 | |
| CN107506451B (zh) | 用于数据交互的异常信息监控方法及装置 | |
| CN109918349B (zh) | 日志处理方法、装置、存储介质和电子装置 | |
| WO2021169268A1 (zh) | 数据处理方法、装置、设备和存储介质 | |
| CN101997925A (zh) | 具有预警功能的服务器监控方法及其系统 | |
| CN111125260A (zh) | 一种基于SQL Server的数据同步方法及系统 | |
| JP6996812B2 (ja) | 分散データベースにおけるデータブロックを処理する方法、プログラム、およびデバイス | |
| CN108228322B (zh) | 一种分布式链路跟踪、分析方法及服务器、全局调度器 | |
| CN112351024B (zh) | 一种公网通信安全监测系统及方法 | |
| CN107133231B (zh) | 一种数据获取方法和装置 | |
| CN108170832B (zh) | 一种面向工业大数据的异构数据库的监控系统及监控方法 | |
| CN111339118A (zh) | 基于Kubernetes的资源变更历史记录方法及装置 | |
| CN111913933B (zh) | 基于统一支撑平台的电网历史数据管理方法及系统 | |
| CN114356692A (zh) | 一种应用监控链路的可视化处理方法、装置及存储介质 | |
| CN110928851A (zh) | 处理日志信息的方法、装置、设备及存储介质 | |
| CN111258973A (zh) | Redis慢日志的存储、展示方法、装置、设备和介质 | |
| CN113420032A (zh) | 一种日志的分类存储方法及装置 | |
| CN111752918B (zh) | 一种历史数据交互系统及其配置方法 | |
| US10572458B2 (en) | Method and apparatus of collecting and reporting database application incompatibilities | |
| CN110309206B (zh) | 订单信息采集方法及系统 | |
| CN111654410B (zh) | 网关请求监控方法、装置、设备及介质 | |
| CN111831688A (zh) | 运维数据的管理方法和管理系统 | |
| CN115269719A (zh) | 数据同步方法及装置 | |
| CN115269519A (zh) | 一种日志检测方法、装置及电子设备 | |
| CN114020819A (zh) | 一种多系统参数同步方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |