CN111049673A - 一种服务网关中api调用统计和监控的方法及系统 - Google Patents

一种服务网关中api调用统计和监控的方法及系统 Download PDF

Info

Publication number
CN111049673A
CN111049673A CN201911148316.4A CN201911148316A CN111049673A CN 111049673 A CN111049673 A CN 111049673A CN 201911148316 A CN201911148316 A CN 201911148316A CN 111049673 A CN111049673 A CN 111049673A
Authority
CN
China
Prior art keywords
log
monitoring
api
message
api call
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911148316.4A
Other languages
English (en)
Inventor
朱子连
周明强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Health Medical Big Data Co ltd
Original Assignee
Shandong Health Medical Big Data Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Health Medical Big Data Co ltd filed Critical Shandong Health Medical Big Data Co ltd
Priority to CN201911148316.4A priority Critical patent/CN111049673A/zh
Publication of CN111049673A publication Critical patent/CN111049673A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H04L43/045—Processing captured monitoring data, e.g. for logfile generation for graphical visualisation of monitoring data

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Debugging And Monitoring (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明公开了一种服务网关中API调用统计和监控的方法及系统，属于数据分析领域，本发明要解决的技术问题为输出日志文件造成本地磁盘占用过高和多节点分析统计日志困难，采用的技术方案为：该方法是将打印日志转变为使用日志生产模块输出API信息到消息队列，日志消费模块监听消息队列的消费日志消息，日志分析模块将消息属性提取并结构化后输出到持久化存储中，同时对结构化数据加以统计实现API监控；具体步骤如下：S1、API调用日志生产；S2、API调用日志消费；S3、API调用日志分析。该系统包括日志生产模块、日志消费模块和日志分析模块。

Description

一种服务网关中API调用统计和监控的方法及系统
技术领域
本发明涉及数据分析领域，具体地说是一种服务网关中API调用统计和监控的方法及系统。
背景技术
随着微服务架构的兴起和开放合作思维的盛行，越来越多的互联网服务采用服务网关作为接入服务器的唯一入口。API的调用状态关系到服务网关的健康运行，也关系到业务流程能否顺利开展。
服务网关是外部请求访问服务器上多种服务的唯一入口，在整个互联网项目中的意义十分重要，记录进出服务网关的API的日志情况对于整个服务网关的健康运行尤为重要。在服务网关中对于API调用情况一般是打印调用日志进行记录，这样的方式会占用磁盘IO性能，还会造成多个不同节点、多个不同的服务之间处理日志非常繁琐、不方便，占用过多的本地磁盘空间，在多节点部署时，日志消息无法简单的统一处理。
为了现在越来越多的业务API通过服务网关调用，能对日志信息进行统一的结构化处理统计显得十分必要。
专利号为CN108712329A的专利文献公开了基于Elasticsearch的服务网关及日志记录检索装置，该服务网关实现了统一的服务调用请求转发，它封装了系统内部架构，为客户端设备统一提供服务，包括：路由、结果缓存、黑名单、断路器、负载均衡、权限认证、网络安全、监控&日志、协议适配。并借助Kafka、Elasticsearch等大数据技术，构建了日志记录检索装置，该装置实现了不同设备对通过网关发送统一的服务请求，并根据不同的请求参数进行响应的权限认证，认证通过转发到对应的数据接口，同时保存数据请求的日志记录，实现对网关调用日志的分布式存储和快速索引，实现对网关使用情况的实时监控，提高了系统使用的可控性。但是该技术方案不能解决输出日志文件造成本地磁盘占用过高和多节点分析统计日志困难的问题。
专利号为CN109756364A的专利文献公开了一种基于日志分析的微服务性能优化方法，包括以下步骤：微服务模块的关键接口通过日志sdk记录接口调用的进出日志；日志采集代理模块每隔一定时间采集服务系统的性能监控信息；统一日志分析平台根据进出日志进行提取和分析，得到系统的性能瓶颈点；微服务网关每隔一定时间通过各微服务模块的性能指标更新智能路由模块的路由策略，同时API监控模块通过日志分析系统处理提取出外部请求数和吞吐量，然后根据外部请求数、吞吐量和性能瓶颈点得到微服务网关的外部限流权重。该技术方案通过日志的自动提取和分析，生成调完整的调用链拓扑和发现隐藏的性能疑点，快速找出系统的性能瓶颈点，能够有效地减少开发和运维人员的实际工作量，但是不能解决输出日志文件造成本地磁盘占用过高和多节点分析统计日志困难的问题。
发明内容
本发明的技术任务是提供一种服务网关中API调用统计和监控的方法及系统，来解决输出日志文件造成本地磁盘占用过高和多节点分析统计日志困难的问题。
本发明的技术任务是按以下方式实现的，一种服务网关中API调用统计和监控的方法，该方法是将打印日志转变为使用日志生产模块输出API信息到消息队列，日志消费模块监听消息队列的消费日志消息，日志分析模块将消息属性提取并结构化后输出到持久化存储中，同时对结构化数据加以统计实现API监控；具体步骤如下：
S1、API调用日志生产；
S2、API调用日志消费；
S3、API调用日志分析。
作为优选，所述步骤S1中API调用日志生产的具体步骤如下：
S101、生产线程建立与日志消息队列的连接、重连、日志消息队列监听；
S102、将服务网关中API调用日志发送到消息队列。
作为优选，所述步骤S2中API调用日志消费的具体步骤如下：
S201、消费线程建立与日志消息队列的连接、重连、日志消息队列监听；
S202、从消息队列中消费消息，并将获取的消息发送给API调用日志分析模块。
作为优选，所述步骤S3中API调用分析的具体步骤如下：
S301、将从API调用日志消费模块接收到的消息进行属性提取，生成结构化数据并做持久化存储；
S302、分析结构化数据，将告警信息通知管理员进行处理；
S303、对结构化数据进行定时按照不同时间粒度进行统计，并将统计结果保存到数据库中；
S304、API将告警信息通过WEB前端UI组件进行可视化展示，以便管理员能够最快时间发现系统中存在的安全隐患。
更优地，所述步骤S302中告警信息通过发送邮件、通知的方式通知管理员。
一种服务网关中API调用统计和监控的系统，该系统包括，
日志生产模块，用于输出API消息到消息队列；
日志消费模块，用于监听消息队列的消费日志消息；
日志分析模块，用于将消息属性提取并结构化后输出到持久化存储中，同时对结构化数据加以统计实现API监控。
作为优选，所述日志生产模块的工作过程如下：
(1)、生产线程建立与日志消息队列的连接、重连、日志消息队列监听；
(2)、将服务网关中API调用日志发送到消息队列。
作为优选，所述日志消费模块的具体步骤如下：
①、消费线程建立与日志消息队列的连接、重连、日志消息队列监听；
②、从消息队列中消费消息，并将获取的消息发送给API调用日志分析模块。
作为优选，所述日志分析模块的具体步骤如下：
(一)、将从API调用日志消费模块接收到的消息进行属性提取，生成结构化数据并做持久化存储；
(二)、分析结构化数据，将告警信息通知管理员进行处理；
(三)、对结构化数据进行定时按照不同时间粒度进行统计，并将统计结果保存到数据库中；
(四)、API将告警信息通过WEB前端UI组件进行可视化展示，以便管理员能够最快时间发现系统中存在的安全隐患。
更优地，所述步骤(二)中告警信息通过发送邮件、通知的方式通知管理员。
本发明的服务网关中API调用统计和监控的方法及系统具有以下优点：
(一)本发明解决了输出日志文件导致本地磁盘占用高，多节点部署时不同节点的日志统计繁琐的问题，将日志的存储和分析放到与业务系统不同的节点上，避免日志文件给业务系统带来占用磁盘IO、存储空间不足等问题；
(二)本发明可以做到多个不同节点、多个不同业务的日志信息进行统一处理；
(三)API日志分析处理和监控可视化展示对于服务网关或者业务应用几乎没有影响或者影响非常小，不会影响服务网关或者业务应用的性能；
(四)本发明使用消息队列将日志进行收集和传输；消费日志接收到消息后，对日志的属性进行结构化提取并加以保存；对于结构化数据进行定时结构化分析，通过邮件、通知推送告警信息，通过WEB前端UI组件实现可视化监控，以便管理员能够最快时间发现系统中存在的安全隐患；
(五)本发明对结构化数据加以统计可以实现API监控，可以节省本地磁盘空间，同时在多节点部署时，通过消息队列汇聚API的调用日志，可以将调用日志统一进行处理。
附图说明
下面结合附图对本发明进一步说明。
附图1为服务网关中API调用统计和监控的方法流程框图；
附图2为服务网关中API调用统计和监控的结构框图。
具体实施方式
参照说明书附图和具体实施例对本发明的一种服务网关中API调用统计和监控的方法及系统作以下详细地说明。
实施例1：
如附图1所示，本发明的服务网关中API调用统计和监控的方法,该方法是将打印日志转变为使用日志生产模块输出API信息到消息队列，日志消费模块监听消息队列的消费日志消息，日志分析模块将消息属性提取并结构化后输出到持久化存储中，同时对结构化数据加以统计实现API监控；具体步骤如下：
S1、API调用日志生产；具体步骤如下：
S101、生产线程建立与日志消息队列的连接、重连、日志消息队列监听；
S102、将服务网关中API调用日志发送到消息队列。
S2、API调用日志消费；具体步骤如下：
S201、消费线程建立与日志消息队列的连接、重连、日志消息队列监听；
S202、从消息队列中消费消息，并将获取的消息发送给API调用日志分析模块。
S3、API调用日志分析；具体步骤如下：
S301、将从API调用日志消费模块接收到的消息进行属性提取，生成结构化数据并做持久化存储；
S302、分析结构化数据，将告警信息通过发送邮件、通知的方式通知管理员进行处理；
S303、对结构化数据进行定时按照不同时间粒度进行统计，并将统计结果保存到数据库中；
S304、API将告警信息通过WEB前端UI组件进行可视化展示，以便管理员能够最快时间发现系统中存在的安全隐患。
实施例2：
如附图2所示，本发明的服务网关中API调用统计和监控的系统，该系统包括，
日志生产模块，用于输出API消息到消息队列；
日志消费模块，用于监听消息队列的消费日志消息；
日志分析模块，用于将消息属性提取并结构化后输出到持久化存储中，同时对结构化数据加以统计实现API监控。
其中，日志生产模块的工作过程如下：
(1)、生产线程建立与日志消息队列的连接、重连、日志消息队列监听；
(2)、将服务网关中API调用日志发送到消息队列。
日志消费模块的具体步骤如下：
①、消费线程建立与日志消息队列的连接、重连、日志消息队列监听；
②、从消息队列中消费消息，并将获取的消息发送给API调用日志分析模块。
日志分析模块的具体步骤如下：
(一)、将从API调用日志消费模块接收到的消息进行属性提取，生成结构化数据并做持久化存储；
(二)、分析结构化数据，将告警信息通过发送邮件、通知的方式通知管理员进行处理；
(三)、对结构化数据进行定时按照不同时间粒度进行统计，并将统计结果保存到数据库中；
(四)、API将告警信息通过WEB前端UI组件进行可视化展示，以便管理员能够最快时间发现系统中存在的安全隐患。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种服务网关中API调用统计和监控的方法，其特征在于，该方法是将打印日志转变为使用日志生产模块输出API信息到消息队列，日志消费模块监听消息队列的消费日志消息，日志分析模块将消息属性提取并结构化后输出到持久化存储中，同时对结构化数据加以统计实现API监控；具体步骤如下：
S1、API调用日志生产；
S2、API调用日志消费；
S3、API调用日志分析。
2.根据权利要求1所述的服务网关中API调用统计和监控的方法，其特征在于，所述步骤S1中API调用日志生产的具体步骤如下：
S101、生产线程建立与日志消息队列的连接、重连、日志消息队列监听；
S102、将服务网关中API调用日志发送到消息队列。
3.根据权利要求1所述的服务网关中API调用统计和监控的方法，其特征在于，所述步骤S2中API调用日志消费的具体步骤如下：
S201、消费线程建立与日志消息队列的连接、重连、日志消息队列监听；
S202、从消息队列中消费消息，并将获取的消息发送给API调用日志分析模块。
4.根据权利要求1所述的服务网关中API调用统计和监控的方法，其特征在于，所述步骤S3中API调用分析的具体步骤如下：
S301、将从API调用日志消费模块接收到的消息进行属性提取，生成结构化数据并做持久化存储；
S302、分析结构化数据，将告警信息通知管理员进行处理；
S303、对结构化数据进行定时按照不同时间粒度进行统计，并将统计结果保存到数据库中；
S304、API将告警信息通过WEB前端UI组件进行可视化展示，以便管理员能够最快时间发现系统中存在的安全隐患。
5.根据权利要求4所述的服务网关中API调用统计和监控的方法，其特征在于，所述步骤S302中告警信息通过发送邮件、通知的方式通知管理员。
6.一种服务网关中API调用统计和监控的系统，其特征在于，该系统包括，
日志生产模块，用于输出API消息到消息队列；
日志消费模块，用于监听消息队列的消费日志消息；
日志分析模块，用于将消息属性提取并结构化后输出到持久化存储中，同时对结构化数据加以统计实现API监控。
7.根据权利要求6所述的服务网关中API调用统计和监控的系统，其特征在于，所述日志生产模块的工作过程如下：
(1)、生产线程建立与日志消息队列的连接、重连、日志消息队列监听；
(2)、将服务网关中API调用日志发送到消息队列。
8.根据权利要求6所述的服务网关中API调用统计和监控的系统，其特征在于，所述日志消费模块的具体步骤如下：
①、消费线程建立与日志消息队列的连接、重连、日志消息队列监听；
②、从消息队列中消费消息，并将获取的消息发送给API调用日志分析模块。
9.根据权利要求6所述的服务网关中API调用统计和监控的系统，，其特征在于，所述日志分析模块的具体步骤如下：
(一)、将从API调用日志消费模块接收到的消息进行属性提取，生成结构化数据并做持久化存储；
(二)、分析结构化数据，将告警信息通知管理员进行处理；
(三)、对结构化数据进行定时按照不同时间粒度进行统计，并将统计结果保存到数据库中；
(四)、API将告警信息通过WEB前端UI组件进行可视化展示，以便管理员能够最快时间发现系统中存在的安全隐患。
10.根据权利要求6所述的服务网关中API调用统计和监控的系统，，其特征在于，所述步骤(二)中告警信息通过发送邮件、通知的方式通知管理员。
CN201911148316.4A 2019-11-21 2019-11-21 一种服务网关中api调用统计和监控的方法及系统 Pending CN111049673A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911148316.4A CN111049673A (zh) 2019-11-21 2019-11-21 一种服务网关中api调用统计和监控的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911148316.4A CN111049673A (zh) 2019-11-21 2019-11-21 一种服务网关中api调用统计和监控的方法及系统

Publications (1)

Publication Number Publication Date
CN111049673A true CN111049673A (zh) 2020-04-21

Family

ID=70233022

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911148316.4A Pending CN111049673A (zh) 2019-11-21 2019-11-21 一种服务网关中api调用统计和监控的方法及系统

Country Status (1)

Country Link
CN (1) CN111049673A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111796935A (zh) * 2020-06-29 2020-10-20 中国工商银行股份有限公司 调用日志信息的消费实例分配方法及系统
CN112039701A (zh) * 2020-08-27 2020-12-04 中国平安财产保险股份有限公司 接口调用监控方法、装置、设备及存储介质
CN112333188A (zh) * 2020-11-04 2021-02-05 成都中科大旗软件股份有限公司 数据服务接口、日志监管方法、系统、存储介质及终端
CN112381347A (zh) * 2020-10-13 2021-02-19 广州赛意信息科技股份有限公司 一种基于api网关的生产设备状态数据实时监控方法及系统
CN113259408A (zh) * 2021-03-30 2021-08-13 中海油信息科技有限公司 数据传输方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108712329A (zh) * 2018-05-02 2018-10-26 山东汇贸电子口岸有限公司 一种基于Elasticsearch的服务网关及日志记录检索装置
CN109818805A (zh) * 2019-02-27 2019-05-28 山东浪潮云信息技术有限公司 一种服务网关日志记录及检索方法
CN110309130A (zh) * 2018-03-21 2019-10-08 中国人民财产保险股份有限公司 一种用于主机性能监控的方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110309130A (zh) * 2018-03-21 2019-10-08 中国人民财产保险股份有限公司 一种用于主机性能监控的方法及装置
CN108712329A (zh) * 2018-05-02 2018-10-26 山东汇贸电子口岸有限公司 一种基于Elasticsearch的服务网关及日志记录检索装置
CN109818805A (zh) * 2019-02-27 2019-05-28 山东浪潮云信息技术有限公司 一种服务网关日志记录及检索方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111796935A (zh) * 2020-06-29 2020-10-20 中国工商银行股份有限公司 调用日志信息的消费实例分配方法及系统
CN111796935B (zh) * 2020-06-29 2023-08-08 中国工商银行股份有限公司 调用日志信息的消费实例分配方法及系统
CN112039701A (zh) * 2020-08-27 2020-12-04 中国平安财产保险股份有限公司 接口调用监控方法、装置、设备及存储介质
CN112039701B (zh) * 2020-08-27 2023-08-15 中国平安财产保险股份有限公司 接口调用监控方法、装置、设备及存储介质
CN112381347A (zh) * 2020-10-13 2021-02-19 广州赛意信息科技股份有限公司 一种基于api网关的生产设备状态数据实时监控方法及系统
CN112333188A (zh) * 2020-11-04 2021-02-05 成都中科大旗软件股份有限公司 数据服务接口、日志监管方法、系统、存储介质及终端
CN113259408A (zh) * 2021-03-30 2021-08-13 中海油信息科技有限公司 数据传输方法和系统
CN113259408B (zh) * 2021-03-30 2023-06-20 中海油信息科技有限公司 数据传输方法和系统

Similar Documents

Publication Publication Date Title
CN111049673A (zh) 一种服务网关中api调用统计和监控的方法及系统
CN109714192B (zh) 一种监控云平台的监控方法及系统
CN106452881B (zh) 一种基于云加端模式的运维数据处理系统
EP2661020B1 (en) Adaptive monitoring of telecommunications networks
CN111124819B (zh) 全链路监控的方法和装置
CN103856963A (zh) 一种创建智能通信通道的方法
CN101714930A (zh) 一种实现网络监控的方法及系统
WO2012146026A1 (zh) 一种物联网监控方法及系统
CN103259684A (zh) 互联网业务监控方法和系统
CN110231998B (zh) 分布式定时任务的检测方法、装置及存储介质
CN102882701A (zh) 一种电网核心业务数据智能化监控告警系统及方法
CN101409654B (zh) 一种网络管理系统中处理snmp信息的方法
CN102195791A (zh) 一种告警的分析方法、装置及系统
CN113760634A (zh) 一种数据处理方法和装置
CN113794719B (zh) 一种基于Elasticsearch技术网络异常流量分析方法、装置和电子设备
CN116166499A (zh) 数据监测方法、装置、电子设备及非易失性存储介质
CN115001989A (zh) 一种设备预警方法、装置、设备及可读存储介质
CN106488416B (zh) 行业短信发送方法与装置
CN202841168U (zh) 网络资源监控系统
CN113656252A (zh) 故障定位方法、装置、电子设备以及存储介质
EP1622310A2 (en) Administration system for network management systems
CN116662127A (zh) 一种设备告警信息分类并预警的方法、系统、设备和介质
CN115080363B (zh) 一种基于业务日志的系统容量评估方法及装置
CN104038372B (zh) 电力广域网流量监控方法
CN109120439B (zh) 分布式集群告警输出方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200421

RJ01 Rejection of invention patent application after publication