CN115102845A - 一种api网关故障定位方法、装置、系统和介质 - Google Patents
一种api网关故障定位方法、装置、系统和介质 Download PDFInfo
- Publication number
- CN115102845A CN115102845A CN202210719973.5A CN202210719973A CN115102845A CN 115102845 A CN115102845 A CN 115102845A CN 202210719973 A CN202210719973 A CN 202210719973A CN 115102845 A CN115102845 A CN 115102845A
- Authority
- CN
- China
- Prior art keywords
- data
- interface access
- api gateway
- access data
- fault
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000012216 screening Methods 0.000 claims abstract description 16
- 238000004590 computer program Methods 0.000 claims description 15
- 230000004807 localization Effects 0.000 claims 1
- 238000013024 troubleshooting Methods 0.000 abstract description 5
- 239000002699 waste material Substances 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 238000012544 monitoring process Methods 0.000 description 7
- 230000002354 daily effect Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000003203 everyday effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0677—Localisation of faults
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/66—Arrangements for connecting between networks having differing types of switching systems, e.g. gateways
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请提供了一种API网关故障定位方法、装置、系统和介质，该方法包括：获取API网关接口访问数据，建立接口访问数据和预先定义的数据特征之间的对应关系，根据预先定义的数据特征中的错误数据特征筛选接口访问数据，以得到接口访问数据中的报错数据，根据报错数据得到报错数据对应的故障出现的集群和用户，以实现API网关故障的定位，无需人工手动排查故障原因即可实现API网关故障的准确定位，从而减少了时间的浪费，节约了时间成本和人力成本。
Description
技术领域
本申请涉及计算机领域，特别涉及一种API网关故障定位方法、装置、系统和介质。
背景技术
API(Application Programming Interface，应用程序接口)网关作为民航业提供服务的统一出入口，当出现故障时，由于通常API网关会以集群的方式部署，且用户对API网关的访问量非常大，导致靠手动查看日志，排查故障原因的时间会变得非常长，影响用户的使用，且靠人工手动排查故障原因易出错。
因此，如何快速准确的定位故障原因是本领域需要解决的技术问题。
发明内容
有鉴于此，本申请的目的在于提供一种API网关故障定位方法、装置、系统和介质，
为实现上述目的，本申请有如下技术方案：
第一方面，本申请实施例提供了一种API网关故障定位方法，包括：
获取API网关接口访问数据；
建立所述接口访问数据和预先定义的数据特征之间的对应关系；
根据所述预先定义的数据特征中的错误数据特征筛选所述接口访问数据，以得到所述接口访问数据中的报错数据；
根据所述报错数据得到所述报错数据对应的故障出现的集群和用户，以实现API网关故障的定位。
第二方面，本申请实施例提供了一种API网关故障定位装置，包括：
获取单元，用于获取API网关接口访问数据；
建立单元，用于建立所述接口访问数据和预先定义的数据特征之间的对应关系；
筛选单元，根据所述预先定义的数据特征中的错误数据特征筛选所述接口访问数据，以得到所述接口访问数据中的报错数据；
定位单元，用于根据所述报错数据得到所述报错数据对应的故障出现的集群和用户，以实现API网关故障的定位。
本申请实施例提供了一种API网关故障定位方法、装置、系统和介质，该方法包括：获取API网关接口访问数据，建立接口访问数据和预先定义的数据特征之间的对应关系，根据预先定义的数据特征中的错误数据特征筛选接口访问数据，以得到接口访问数据中的报错数据，根据报错数据得到报错数据对应的故障出现的集群和用户，以实现API网关故障的定位，无需人工手动排查故障原因即可实现API网关故障的准确定位，从而减少了时间的浪费，节约了时间成本和人力成本。
提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1示出了本申请实施例提供的一种API网关故障定位方法的流程图；
图2示出了本申请实施例提供的一种API网关故障定位系统的示意图；
图3示出了本申请实施例提供的一种离线聚合访问数据包含的信息的示意图；
图4示出了本申请实施例提供的一种离线聚合错误数据包含的信息的示意图；
图5示出了本申请实施例提供的一种API网关故障定位装置的示意图。
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
正如背景技术中的描述，API(Application Programming Interface，应用程序接口)网关作为民航业提供服务的统一出入口，当出现故障时，由于通常API网关会以集群的方式部署，且用户对API网关的访问量非常大，导致靠手动查看日志，排查故障原因的时间会变得非常长，影响用户的使用，且靠人工手动排查故障原因易出错。
因此，如何快速准确的定位故障原因是本领域需要解决的技术问题。
为了解决以上技术问题，本申请实施例提供了一种API网关故障定位方法、装置、系统和介质，该方法包括：获取API网关接口访问数据，建立接口访问数据和预先定义的数据特征之间的对应关系，根据预先定义的数据特征中的错误数据特征筛选接口访问数据，以得到接口访问数据中的报错数据，根据报错数据得到报错数据对应的故障出现的集群和用户，以实现API网关故障的定位，无需人工手动排查故障原因即可实现API网关故障的准确定位，从而减少了时间的浪费，节约了时间成本和人力成本。
示例性方法
参见图1所示，为本申请实施例提供的一种API网关故障定位方法的流程图，包括：
S101：获取API网关接口访问数据。
在本申请实施例中，API网关作为民航业网络提供服务的统一出入口，用户对API网关的访问量会非常大，因此API网关的性能和稳定性至关重要，为了定位当前API网关可能出现的故障，首先需要获取API网关接口的访问数据。
具体的，当API网关上线后，或者出现问题时，需要对其进行监控，以便及时定位API网关故障，如果只对单个网络服务器进行日志分析定位故障，操作较为容易，只需要熟悉操作系统就可以进行查看。
但是民航业网络提供服务的API网关访问量极大，调用后台也很多，所以会作为大型系统，进行分布式部署。如果此时监控定位故障的手段仅仅有查看日志，是明显不够的，在部分用户出现故障甚至出现大规模的故障下，效率会极其低下，主要面临的问题有：
1)通常网关会以集群的方式部署，也就意味着排查问题时，需要排查整个集群众多机器；
2)网关的访问量很大，也就意味着日志体量大，导致文本搜索难度很大；
3)问题可能出现在所有服务器，也有可能是因为配置、部署或者机器原因仅出现在一台服务器上，无法精准定位故障。
这些问题导致靠手动查看日志，排查问题的时间会变得非常长，影响用户的使用，也可能会使故障的规模扩大，此时就需要一种手段，可以通过故障的关键信息，快速定位到具体的服务器，查看到故障日志，快速发现故障原因从而解决问题。
具体的，获取API网关接口的访问数据可以在用户调用API网关接口之后以主动推送的方式获取，参见图2所示，为本申请实施例提供的一种API网关故障定位系统的示意图，API网关服务可以包括接口访问信息推送模块，可以采取主动推送结构化日志的方式，将用户访问网关接口的重要特征作为结构化日志向外推送，可选的API网关接口访问数据可以包括访问者信息(访问IP地址(Internet Protocol Address，互联网协议地址)、访问时间戳、请求号、用户名、用户渠道)、调用后台服务信息(访问接口名称及版本、访问接口协议类型、后台耗时)、访问网关信息(交易号、执行结果、错误编码、错误信息、网关耗时)等。
即在本申请实施例中，采用主动推送的方式，将API网关接口访问数据进行结构化推送，可以提高日志解析效率。
在一种可能的实现方式中，可以利用卡夫卡Kafka集群获取API网关接口访问数据，参见图2所示，即通过kafka集群可以获取API网关接口访问数据的结构化日志，具体的，kafka集群为一种开源的高吞吐量的分布式发布订阅消息系统，即其为一个分布式流媒体平台，即使对TB太字节级以上数据也能保证常数时间的访问性能，其高吞吐率的流式计算特性也保证了单机的传输效率，在本申请实施例提供的API网关故障定位系统中kafka集群作为分布式接口访问日志推送管道使用，用于获取API网关接口访问数据。
S102：建立所述接口访问数据和预先定义的数据特征之间的对应关系。
在本申请实施例中，为了实现准确定位API网关故障，当获取了API网关接口访问数据之后，可以建立接口访问数据和预先定义的数据特征之间的对应关系，以便后续利用数据特征来准确定位API网关故障。
在一种可能的实现方式中，参见图2所示，可以利用Logstash工具将接口访问数据和预先定义的数据特征之间的对应关系存储在弹性搜索Elasticsearch引擎中，具体的，Logstash工具主要是用来进行日志的搜集、分析、过滤日志的工具，在本申请实施例中，Logstash工具可以作为日志过滤工具，即通过接收来自Kafka的结构化日志即获取的API网关接口访问数据、按配置生成特征键值对存储到Elasticsearch中，即建立接口访问数据和预先定义的数据特征之间的对应关系。
其中，弹性搜索Elasticsearch引擎为一种开源分布式搜索引擎，可以提供搜集、分析、存储数据三大功能。
S103：根据所述预先定义的数据特征中的错误数据特征筛选所述接口访问数据，以得到所述接口访问数据中的报错数据；
S104：根据所述报错数据得到所述报错数据对应的故障出现的集群和用户，以实现API网关故障的定位。
在本申请实施例中，可以根据预先定义的数据特征中的错误数据特征筛选接口访问数据，以得到接口访问数据中的报错数据，以便于后续根据报错数据准确定位API网关故障。
在一种可能的实现方式中，可以利用Kibana基巴纳平台根据预先定义的数据特征中的错误数据特征筛选接口访问数据，以得到接口访问数据中的报错数据，其中，Kibana是一个开源的分析与可视化平台，可以用kibana搜索、查看存放在Elasticsearch中的数据、提供运维人员搜索特定特征值的结果展示功能，即在利用Logstash工具将接口访问数据和预先定义的数据特征之间的对应关系存储在弹性搜索Elasticsearch引擎中后，可以利用kibana根据预先定义的数据特征中的错误数据特征筛选接口访问数据，以得到接口访问数据中的报错数据。
举例来说，错误数据特征可以包括执行结果为业务失败，错误信息为超时，可以根据该错误数据特征，以及API网关的访问接口名等筛选出包含以上所有特征的访问请求记录，以得到接口访问数据中的报错数据。
在本申请实施例中，在得到了接口访问数据中的报错数据后，可以根据报错数据得到报错数据对应的故障出现的集群和用户，以实现API网关故障的定位，具体的，可以结合报错数据以及报错数据其对应的故障出现的集群和用户，根据这些信息来判断是用户访问不规范还是该API网关后台应用运行不健康导致无法处理访问的请求，以便后续运维人员能够对故障实现精准处理。
即在本申请实施例中，将API网关接口访问数据结合ELK(ELK是Elasticsearch,logstash,kibana的结合，是一种实时日志分析平台)作为消息对外推送，相比传统的埋点进行数据采集的方式，不会对网关有侵入式性能影响，从而将网关故障定位监控功能和网关正常服务功能隔离开。
在一种可能的实现方式中，本申请实施例提供的方法还包括：利用格拉法纳Grafana平台将报错数据对应的故障出现的集群和用户进行展示，以便后续运维人员根据可以根据展示对故障进行及时处理。
其中，Grafana是一种开源的可视化数据监控和数据分析平台，其可以将复杂数据清楚明了简洁的展示出来，Grafana还支持多数据源和告警功能，可以使用Grafana提供的一些开源表盘及实时日志数据提供多种不同维度的可视化页面。
即在本申请实施例中，使用kibana、grafana开源工具定制个性化前端页面，可以从多角度、多维度展示监控数据。提供一段时间内、根据指定特征值查询功能，从而可以快速定位问题。
上述实施例主要示出了在实时监控场景下，针对API网关的故障定位，实时接口访问数据可以用来快速定位某个特定的请求存在的问题，但有些问题比如触发接口熔断、受季节性因素影响的接口访问量陡增陡降等则需要基于该接口的统计聚合数据来判断问题，因此，本申请实施例还可以基于聚合离线数据提供一种可视化监控功能，以实现对API网关的故障定位。
具体的，实时数据由于需要定位到单个请求，通常包含信息冗余较高，当某些接口受季节性、节假日影响，则需要较长时间范围内的历史数据作为参考，在本申请实施例中，参见图2所示，可以通过定时任务每日运行一次，查询Elasticsearch及日志得到接口访问的聚合离线数据，即在离线聚合情况下，通过定时任务将每日接口访问情况经统计计算，处理成集群访问量，用户访问量以及接口访问量等信息后入库，具体的，查询得到的聚合离线数据可以包括图3和图4中包括的各种信息。
举例来说，以某API网关接口访问量陡增陡降为例，该情况可能导致的因素众多，也可能是正常情况，可以根据问题出现的现象筛选出一段时间内所有访问记录进而分析问题原因。
具体的，首先可以定时任务通过查询日志、Elasticsearch，将每日接口访问情况聚合计算后入库。
然后可以通过每日离线聚合日报或实时监控可视化前端获取某接口访问量存在陡增的情况，可以查询该接口过去一段时间内的调用总量情况，是否存在周期性的陡增陡降。以订票网关接口为例，在国庆黄金周期间该接口访问量存在陡增的现象，通过和去年国庆陡增的比例对比，发现这是正常现象。但如果该接口错误率过高，则要考虑API网关后台是否因访问量陡增无法百分百正常提供服务，从而发出警告，以便后续运维人员能够根据警告及时进行维修。
即在本申请实施例中，可以使用定时任务，将每日接口访问情况聚合整理并持久化、并作为日报每日可视化展示，方便快速了解过去一天的整体访问情况。同时提供智能化监控能力，比如结合历史数据分析一些受季节性、节假日影响的接口服务。
本申请实施例提供了一种API网关故障定位方法，该方法包括：获取API网关接口访问数据，建立接口访问数据和预先定义的数据特征之间的对应关系，根据预先定义的数据特征中的错误数据特征筛选接口访问数据，以得到接口访问数据中的报错数据，根据报错数据得到报错数据对应的故障出现的集群和用户，以实现API网关故障的定位，无需人工手动排查故障原因即可实现API网关故障的准确定位，从而减少了时间的浪费，节约了时间成本和人力成本。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
示例性装置
参见图5所示，为本申请实施例提供的一种API网关故障定位装置，包括：
获取单元501，用于获取API网关接口访问数据；
建立单元502，用于建立所述接口访问数据和预先定义的数据特征之间的对应关系；
筛选单元503，根据所述预先定义的数据特征中的错误数据特征筛选所述接口访问数据，以得到所述接口访问数据中的报错数据；
定位单元504，用于根据所述报错数据得到所述报错数据对应的故障出现的集群和用户，以实现API网关故障的定位。
在一种可能的实现方式中，所述获取单元，具体用于：
利用卡夫卡Kafka集群获取API网关接口访问数据。
在一种可能的实现方式中，所述建立单元，具体用于：
利用Logstash工具将所述接口访问数据和预先定义的数据特征之间的对应关系存储在弹性搜索Elasticsearch引擎中。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在上述实施例的基础上，本申请实施例还提供了一种一种API网关故障定位系统，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上述API网关故障定位方法的步骤。
在上述实施例的基础上，本申请实施例还提供了一种计算机可读介质，计算机可读介质上存储有计算机程序，计算机程序被处理执行时实现如上述API网关故障定位方法的步骤。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。
根据本公开的一个或多个实施例，提供了一种API网关故障定位方法，包括：
获取API网关接口访问数据；
建立所述接口访问数据和预先定义的数据特征之间的对应关系；
根据所述预先定义的数据特征中的错误数据特征筛选所述接口访问数据，以得到所述接口访问数据中的报错数据；
根据所述报错数据得到所述报错数据对应的故障出现的集群和用户，以实现API网关故障的定位。
根据本公开的一个或多个实施例，提供了一种API网关故障定位方法，所述获取API网关接口访问数据，包括：
利用卡夫卡Kafka集群获取API网关接口访问数据。
根据本公开的一个或多个实施例，提供了一种API网关故障定位方法，所述建立所述接口访问数据和预先定义的数据特征之间的对应关系包括：
利用Logstash工具将所述接口访问数据和预先定义的数据特征之间的对应关系存储在弹性搜索Elasticsearch引擎中。
根据本公开的一个或多个实施例，提供了一种API网关故障定位方法，所述根据所述预先定义的数据特征中的错误数据特征筛选所述接口访问数据，以得到所述接口访问数据中的报错数据，包括：
利用Kibana基巴纳平台根据所述预先定义的数据特征中的错误数据特征筛选所述接口访问数据，以得到所述接口访问数据中的报错数据。
根据本公开的一个或多个实施例，提供了一种API网关故障定位方法，
所述方法还包括：
利用格拉法纳Grafana平台将所述报错数据对应的故障出现的集群和用户进行展示。
根据本公开的一个或多个实施例，提供了一种API网关故障定位装置，包括：
获取单元，用于获取API网关接口访问数据；
建立单元，用于建立所述接口访问数据和预先定义的数据特征之间的对应关系；
筛选单元，根据所述预先定义的数据特征中的错误数据特征筛选所述接口访问数据，以得到所述接口访问数据中的报错数据；
定位单元，用于根据所述报错数据得到所述报错数据对应的故障出现的集群和用户，以实现API网关故障的定位。
根据本公开的一个或多个实施例，所述获取单元，具体用于：
利用卡夫卡Kafka集群获取API网关接口访问数据。
根据本公开的一个或多个实施例，所述建立单元，具体用于：
利用Logstash工具将所述接口访问数据和预先定义的数据特征之间的对应关系存储在弹性搜索Elasticsearch引擎中。
根据本公开的一个或多个实施例，提供了一种API网关故障定位系统，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上述API网关故障定位方法的步骤。
根据本公开的一个或多个实施例，提供了一种计算机可读介质，所述计算机可读介质上存储有计算机程序，所述计算机程序被处理执行时实现如上述API网关故障定位方法的步骤。
以上所述仅是本申请的优选实施方式，虽然本申请已以较佳实施例披露如上，然而并非用以限定本申请。任何熟悉本领域的技术人员，在不脱离本申请技术方案范围情况下，都可利用上述揭示的方法和技术内容对本申请技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本申请技术方案的内容，依据本申请的技术实质对以上实施例所做的任何的简单修改、等同变化及修饰，均仍属于本申请技术方案保护的范围内。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。
虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (10)
1.一种API网关故障定位方法，其特征在于，包括：
获取API网关接口访问数据；
建立所述接口访问数据和预先定义的数据特征之间的对应关系；
根据所述预先定义的数据特征中的错误数据特征筛选所述接口访问数据，以得到所述接口访问数据中的报错数据；
根据所述报错数据得到所述报错数据对应的故障出现的集群和用户，以实现API网关故障的定位。
2.根据权利要求1所述的方法，其特征在于，所述获取API网关接口访问数据，包括：
利用卡夫卡Kafka集群获取API网关接口访问数据。
3.根据权利要求1所述的方法，其特征在于，所述建立所述接口访问数据和预先定义的数据特征之间的对应关系包括：
利用Logstash工具将所述接口访问数据和预先定义的数据特征之间的对应关系存储在弹性搜索Elasticsearch引擎中。
4.根据权利要求1所述的方法，其特征在于，所述根据所述预先定义的数据特征中的错误数据特征筛选所述接口访问数据，以得到所述接口访问数据中的报错数据，包括：
利用Kibana基巴纳平台根据所述预先定义的数据特征中的错误数据特征筛选所述接口访问数据，以得到所述接口访问数据中的报错数据。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
利用格拉法纳Grafana平台将所述报错数据对应的故障出现的集群和用户进行展示。
6.一种API网关故障定位装置，其特征在于，包括：
获取单元，用于获取API网关接口访问数据；
建立单元，用于建立所述接口访问数据和预先定义的数据特征之间的对应关系；
筛选单元，根据所述预先定义的数据特征中的错误数据特征筛选所述接口访问数据，以得到所述接口访问数据中的报错数据；
定位单元，用于根据所述报错数据得到所述报错数据对应的故障出现的集群和用户，以实现API网关故障的定位。
7.根据权利要求6所述的装置，其特征在于，所述获取单元，具体用于：
利用卡夫卡Kafka集群获取API网关接口访问数据。
8.根据权利要求6所述的装置，其特征在于，所述建立单元，具体用于：
利用Logstash工具将所述接口访问数据和预先定义的数据特征之间的对应关系存储在弹性搜索Elasticsearch引擎中。
9.一种API网关故障定位系统，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1-4任意一项所述API网关故障定位方法的步骤。
10.一种计算机可读介质，其特征在于，所述计算机可读介质上存储有计算机程序，所述计算机程序被处理执行时实现如权利要求1-4任意一项所述API网关故障定位方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210719973.5A CN115102845A (zh) | 2022-06-23 | 2022-06-23 | 一种api网关故障定位方法、装置、系统和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210719973.5A CN115102845A (zh) | 2022-06-23 | 2022-06-23 | 一种api网关故障定位方法、装置、系统和介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115102845A true CN115102845A (zh) | 2022-09-23 |
Family
ID=83293452
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210719973.5A Pending CN115102845A (zh) | 2022-06-23 | 2022-06-23 | 一种api网关故障定位方法、装置、系统和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115102845A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111787073A (zh) * | 2020-06-18 | 2020-10-16 | 多加网络科技(北京)有限公司 | 一种统一服务的限流熔断平台及其方法 |
| CN113190423A (zh) * | 2021-04-20 | 2021-07-30 | 北京异乡旅行网络科技有限公司 | 业务数据的监控方法、装置及系统 |
| WO2022071615A1 (ko) * | 2020-09-29 | 2022-04-07 | 제이엠사이트 주식회사 | 장애 예측 방법, 그리고 이를 구현하기 위한 장치 |
| CN114398200A (zh) * | 2022-01-20 | 2022-04-26 | 中国农业银行股份有限公司 | 一种系统报错处理方法、装置、电子设备及存储介质 |
-
2022
- 2022-06-23 CN CN202210719973.5A patent/CN115102845A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111787073A (zh) * | 2020-06-18 | 2020-10-16 | 多加网络科技(北京)有限公司 | 一种统一服务的限流熔断平台及其方法 |
| WO2022071615A1 (ko) * | 2020-09-29 | 2022-04-07 | 제이엠사이트 주식회사 | 장애 예측 방법, 그리고 이를 구현하기 위한 장치 |
| CN113190423A (zh) * | 2021-04-20 | 2021-07-30 | 北京异乡旅行网络科技有限公司 | 业务数据的监控方法、装置及系统 |
| CN114398200A (zh) * | 2022-01-20 | 2022-04-26 | 中国农业银行股份有限公司 | 一种系统报错处理方法、装置、电子设备及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| 湛林福等: "一种基于日志分析的智能告警技术", 《信息技术与信息化》, no. 09, 28 September 2020 (2020-09-28), pages 208 - 210 * |
| 秦锐等: "基于ELK流量分析平台在高校网络安全管理中的应用", 《计算机应用与软件》, no. 06, 12 June 2019 (2019-06-12), pages 323 - 327 * |
| 陈楠等: "基于ELK的用户访问行为分析技术", 《气象科技进展》, no. 01, 15 February 2018 (2018-02-15), pages 183 - 187 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107832196B (zh) | 一种用于实时日志异常内容的监测装置及监测方法 | |
| CN108039957B (zh) | 复杂网络流量包智能分析系统 | |
| US10664837B2 (en) | Method and system for real-time, load-driven multidimensional and hierarchical classification of monitored transaction executions for visualization and analysis tasks like statistical anomaly detection | |
| CN103425750A (zh) | 一种跨平台跨应用的日志收集系统及其收集管理方法 | |
| CN101997925A (zh) | 具有预警功能的服务器监控方法及其系统 | |
| CN111339175B (zh) | 数据处理方法、装置、电子设备及可读存储介质 | |
| CN112416645A (zh) | 一种基于人工智能的故障根因推断定位方法及装置 | |
| CN109885453B (zh) | 基于流数据处理的大数据平台监控系统 | |
| US20230094834A1 (en) | Fault Detection Method and Device of Live Stream Service, Electronic Device, and Readable Storage Medium | |
| CN112181931A (zh) | 一种大数据系统链路追踪方法及电子设备 | |
| CN113760641A (zh) | 业务监控方法、装置、计算机系统和计算机可读存储介质 | |
| CN109783754A (zh) | 一种基于web技术实现的日志展示方法及系统 | |
| CN114648393A (zh) | 一种应用于招投标的数据挖掘方法、系统及设备 | |
| CN114039900A (zh) | 一种高效网络数据包协议分析方法和系统 | |
| CN114095333A (zh) | 一种网络排障方法、装置、设备及可读存储介质 | |
| CN112269727A (zh) | 一种基于日志信息的监控告警方法及系统 | |
| CN112052134A (zh) | 一种业务数据的监控方法及装置 | |
| CN114253806A (zh) | 一种接入层日志收集分析预警系统 | |
| CN113312321A (zh) | 一种业务量的异常监测方法及相关设备 | |
| CN115102845A (zh) | 一种api网关故障定位方法、装置、系统和介质 | |
| CN108959041B (zh) | 信息发送的方法、服务器及计算机可读存储介质 | |
| CN101674594A (zh) | 基于dns的移动数据业务监控系统和方法 | |
| CN115514618A (zh) | 告警事件的处理方法、装置、电子设备和介质 | |
| CN114531338A (zh) | 一种基于调用链数据的监控告警和溯源方法及系统 | |
| CN113760669A (zh) | 问题数据的告警方法及装置、电子设备、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |