CN116488932A - 一种接口安全监控方法、系统、设备及介质 - Google Patents

一种接口安全监控方法、系统、设备及介质 Download PDF

Info

Publication number
CN116488932A
CN116488932A CN202310611648.1A CN202310611648A CN116488932A CN 116488932 A CN116488932 A CN 116488932A CN 202310611648 A CN202310611648 A CN 202310611648A CN 116488932 A CN116488932 A CN 116488932A
Authority
CN
China
Prior art keywords
monitoring
interface
flow
rule
real time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310611648.1A
Other languages
English (en)
Inventor
雷加伟
刘奇
刘剑群
吴朝亮
邢佳佳
赵毅
王学文
许佳行
宫冠鹏
王亚州
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianyi Electronic Commerce Co Ltd
Original Assignee
Tianyi Electronic Commerce Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianyi Electronic Commerce Co Ltd filed Critical Tianyi Electronic Commerce Co Ltd
Priority to CN202310611648.1A priority Critical patent/CN116488932A/zh
Publication of CN116488932A publication Critical patent/CN116488932A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/16—Threshold monitoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40—Network security protocols
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明提出了一种接口安全监控方法、系统、设备及介质，涉及通信技术领域。其包括：对目标生产环境的流量进行实时采集，并发送到指定消息队列中；基于预定的数据转换规则将指定消息队列中的数据进行格式转换，得到标准数据信息；基于服务器的当前性能负载情况、以及正则匹配的采样概率配置参数之间的逻辑关系进行构建参数调整规则，并根据构建的参数调整规则进行动态调整采样概率配置参数的取值情况；以及定时从内存规则库中获取相应的接口监控规则，并基于接口监控规则对标准数据信息进行正则匹配，得到对应的匹配结果信息。其在不额外增加服务器资源的情况下，能够在接口安全监控过程中进行动态的适应不同时间段的流量压力。

Description

一种接口安全监控方法、系统、设备及介质
技术领域
本发明涉及通信技术领域，具体而言，涉及一种接口安全监控方法、系统、设备及介质。
背景技术
随着电商网络的发展，网络购物越来越普及，电商平台通常会发放一些豆、大额优惠券或者红包来吸引用户流量，这些利益有时候会引来一些别有用心的人的觊觎，他们通过仿造接口请求在短时间内大规模调用接口，将这些豆、券或者是红包刷走，以谋取暴利。
为了应对上述问题，在现有技术中大都采用接口鉴权、数据加密、限流控制、参数校验、接口监控、持续漏洞监控和安全审计等方法进行确保接口的安全。其中，针对目前接口安全审计领域中流处理实时产生的接口调用流量的场景，在实际进行实践的过程中发现在高并发的场景下，流处理程序所在服务器总是出现CPU占用很高的情况，而且这种情况在当下各种电商活动情境下出现的会更加频繁。所以，很多企业都是通过大量的增加服务器去应对这种服务压力的暴增。
但是，服务的请求流量会在活动进行时，甚至白天，夜里这些不同的活动时段都会有极大的不同，如果一昧大量的增加机器资源，其实是对资源的一种占用，对企业来说将资源浪费在这种对业务无直接影响的产品上无疑是一种很大的浪费。
发明内容
本发明的目的在于提供一种接口安全监控方法、系统、设备及介质，其在不额外增加服务器资源的情况下，能够在接口安全监控过程中动态的适应不同时间段的流量压力，避免因服务资源被耗尽而导致安全监控时延。
本发明是这样实现的：
第一方面，本申请提供一种接口安全监控方法，包括以下步骤：
对目标生产环境的流量进行实时采集，并发送到指定消息队列中；基于预定的数据转换规则将上述指定消息队列中的数据进行格式转换，得到标准数据信息；基于服务器的当前性能负载情况、以及正则匹配的采样概率配置参数之间的逻辑关系进行构建参数调整规则，并根据构建的上述参数调整规则进行动态调整上述采样概率配置参数的取值情况；以及定时从内存规则库中获取相应的接口监控规则，并基于上述接口监控规则对上述标准数据信息进行正则匹配，得到对应的匹配结果信息。
进一步的，基于前述方案，还包括：基于上述匹配结果信息将满足接口监控规则的流量及触发的规则信息进行组合，得到告警信息，并将上述告警信息发送至指定系统和/或安全管理员。
第二方面，本申请提供一种接口安全监控方法，包括以下步骤：
利用流量探针在目标生产环境对应的网关Nginx进行流量采集，并发送给kafka系统；利用流处理引擎Flink使用管理员实时配置的接口监控规则对kafka系统中的流量进行监控处理，并将监控处理过程中聚合生成的告警事件发送给kafka系统，以将上述告警事件存储至目标MySQL系统和/或web端。
进一步的，基于前述方案，上述利用流处理引擎Flink使用管理员实时配置的接口监控规则对kafka系统中的流量进行监控处理时，包括：将监控处理过程中触发告警的流量日志记录至ES集群中。
进一步的，基于前述方案，上述管理员实时配置的接口监控规则，为从预先构建的内存规则库中定时拉取的当前时刻的接口监控规则。
进一步的，基于前述方案，上述利用流处理引擎Flink使用管理员实时配置的接口监控规则对kafka系统中的流量进行监控处理时，包括基于服务器的当前性能负载情况，动态地控制流处理引擎Flink进行监控处理时的正则匹配的核心采样概率配置，具体包括：
基于服务器的当前性能负载情况、以及正则匹配的核心参数之间的逻辑关系进行构建参数调整规则，并根据构建的上述参数调整规则进行动态调整上述核心参数的取值情况；上述核心参数为控制上述核心采样概率配置的参数。
第三方面，本申请提供一种接口安全监控系统，其包括：
流量采集模块，被配置为：对目标生产环境的流量进行实时采集，并发送到指定消息队列中；格式转换模块，被配置为：基于预定的数据转换规则将上述指定消息队列中的数据进行格式转换，得到标准数据信息；自适应模块，被配置为：基于服务器的当前性能负载情况、以及正则匹配的采样概率配置参数之间的逻辑关系进行构建参数调整规则，并根据构建的上述参数调整规则进行动态调整上述采样概率配置参数的取值情况；以及匹配监控模块，被配置：为定时从内存规则库中获取相应的接口监控规则，并基于上述接口监控规则对上述标准数据信息进行正则匹配，得到对应的匹配结果信息。
第四方面，本申请提供一种接口安全监控系统，其包括：
数据获取模块，被配置为：利用流量探针在目标生产环境对应的网关Nginx进行流量采集，并发送给kafka系统；匹配告警模块，被配置为：利用流处理引擎Flink使用管理员实时配置的接口监控规则对kafka系统中的流量进行监控处理，并将监控处理过程中聚合生成的告警事件发送给kafka系统，以将上述告警事件存储至目标MySQL系统和/或web端。
第五方面，本申请提供一种电子设备，包括至少一个处理器、至少一个存储器和数据总线；其中：上述处理器与上述存储器通过上述数据总线完成相互间的通信；上述存储器存储有被上述处理器执行的程序指令，上述处理器调用上述程序指令以执行如上述第一方面和第二方面中任一项所述的方法。
第六方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面和第二方面中任一项所述的方法。
相对于现有技术，本发明至少具有如下优点或有益效果：
在不额外增设服务器资源的情况下，通过配置相应的处理流程进行动态的调整接口监控规则，从而能够利用基础的服务器资源来应对大流量的请求，并进行有效地安全监控。或者说，可以使得其能够适应不同的时间段的流量压力，从而避免因服务资源被耗尽导致的安全监控时延。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明一种接口安全监控方法一实施例的流程图；
图2为本发明一种接口安全监控方法一实施例的示意图；
图3为本发明一种接口安全监控方法又一实施例的流程图；
图4为本发明一种接口安全监控系统一实施例的结构框图；
图5为本发明一种接口安全监控系统又一实施例的结构框图；
图6为本发明实施例提供的一种电子设备的结构框图。
图标：1、流量采集模块；2、格式转换模块；3、自适应模块；4、匹配监控模块；5、数据获取模块；6、匹配告警模块；7、处理器；8、存储器；9、数据总线。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的各个实施例及实施例中的各个特征可以相互组合。
安全审计是记录接口安全事件和用户行为的重要手段，在电商、金融等行业大面积使用。其中，目前针对接口安全审计的做法大致包括以下几类：
1、在被监控的应用中记录接口访问日志，通过对日志文件中的访问日志记录进行分析来判断接口是否被恶意访问或者应用接口是否有敏感数据泄露风险。这种方式首先针对每个特定应用需要做特定改造，无法快速推广，其次时效性很差。
2、通过流量探针将所有应用访问流量发送到存储单元进行存储，然后对存储的访问日志进行分析，判断接口是否被恶意访问或者有敏感数据泄露风险。这种方式虽然针对特定的应用进行接口安全审计时不需要进行专门改造，但是时效性还是很差。
3、通过流量探针把生产环境的流量进行实时采集并发送到流处理系统进行实时处理，但是由于需要匹配的恶意行为或者行为模式规则过多，且生产环境的服务请求tps极大，在对流量内数据进行实时正则匹配的时候导致服务器的cpu占用极高，进而导致消息堆积和处理时延，无法满足对金融安全的生产要求。传统的做法是通过不断地新增服务器去负载这些实时监控压力，然而服务器资源对企业来说也是宝贵的资源。
也就是说，针对对金融安全实时性要求很高的金融等企业应用场景，如何在生产成本较低的情况下，进行满足对企业内部服务的安全进行监控，是一个亟需解决的问题。
实施例1
为了应对上述问题，本申请实施例提供了一种接口安全监控方法，其在不额外增加服务器资源的情况下，能够在接口安全监控过程中动态的适应不同时间段的流量压力，避免因服务资源被耗尽而导致安全监控时延。
请参阅图1，该一种接口安全监控方法包括以下步骤：
步骤S101：对目标生产环境的流量进行实时采集，并发送到指定消息队列中。
“消息”是在两台计算机间传送的数据单位。消息可以非常简单，例如只包含文本字符串；也可以更复杂，可能包含嵌入对象。“消息队列”是在消息的传输过程中保存消息的容器。消息队列管理器在将“消息”从它的源中继到它的目标时充当中间人。队列的主要目的是提供路由并保证消息的传递；如果发送消息时接收者不可用，消息队列会保留消息，直到可以成功地传递它。也就说，通过对目标企业的目标生产环境的流量入口处进行流量采集，并将进行流量采集产生和获取的“消息”发送到指定的“消息队列”中，将可以为后续处理提供原始数据支撑。
步骤S102：基于预定的数据转换规则将上述指定消息队列中的数据进行格式转换，得到标准数据信息。
由于指定消息队列中存放的数据可能存在一些不规范的特点，例如量纲可能不同，或者存在解析错误的数据，亦或者是存在重复数据。因此，可以对其进行格式转换，或者说对其进行数据清洗，以得到后续能够进行正则匹配的标准数据信息，以保证正确的进行正则匹配，实现接口的有效监控。
步骤S103：基于服务器的当前性能负载情况、以及正则匹配的采样概率配置参数之间的逻辑关系进行构建参数调整规则，并根据构建的上述参数调整规则进行动态调整上述采样概率配置参数的取值情况。
步骤S104：定时从内存规则库中获取相应的接口监控规则，并基于上述接口监控规则对上述标准数据信息进行正则匹配，得到对应的匹配结果信息。
在面对大流量情况时，生产环境的服务请求tps极大，从而对流量内数据进行实时正则匹配的时候将导致服务器的cpu占用极高，进而导致消息堆积和处理时延。在现有技术中是不断的新增服务器去负载这些实时的监控压力，然而其将导致成本较高(服务器资源较为宝贵)，并且大流量情况并不是始终存在的，从而在流量回归常规情况时，新增设的服务器将会闲置，造成较大的浪费。
而在上述步骤中，通过进行监控所在服务器的实时压力，进行动态的调整后续进行正则匹配时的采样概率配置参数，从而可以进行实时调整采集过来的流量，去适应不同时间段的流量压力，避免因服务器资源耗尽而导致的安全监控时延。示例性地，在基于服务器的当前性能负载情况、以及正则匹配的采样概率配置参数之间的逻辑关系进行构建参数调整规则时，可以基于常规情况、大流量情况、小流量情况构建三套不同的采样概率配置参数，从而在不同流量情况下直接调用配置好的采样概率参数，提升其配置效率。当然，也可以根据其服务器的当前性能负载情况、以及正则匹配的采样概率配置参数之间的逻辑关系，进行构建采样概率配置参数随着服务器的当前性能负载实时变化的参数调整规则，从而可以使得配置的采样概率参数能够更好的适应于服务器的当前性能负载情况。
在获取到了匹配结果信息后，将可以开始从匹配结果信息中分析提取表征接口状态的信息，以及可以将其转换为可视化的自然性语言，让对应的人员或系统能够及时的根据该表征接口状态的信息，对相应的接口进行针对性的处理。从而，在本发明的一些实施例中，该接口安全监控方法中，还包括：基于上述匹配结果信息将满足接口监控规则的流量及触发的规则信息进行组合，得到告警信息，并将上述告警信息发送至指定系统和/或安全管理员。
如图2所示，在本发明的一些实现方式中，通过流量探针获取目标生产环境的流量，然后送入核心流处理安全审计流程中进行匹配处理，而后将可以根据匹配处理结果进行告警或将异常情况进行存储处理。其中，核心流处理安全审计流程的运算逻辑包括：进行探测服务器的配置、以及服务器的性能负载，用以更改流处理正则匹配的核心概率配置，进行适配实时请求流量，以及进行正则实时匹配安全规则策略进行接口安全监控。
需要说明的是，流量探针是一种用来获取网络流量的硬件设备，使用时将它串接在需要捕获流量的链路中，通过分流链路上的数字信号获取流量信息。一个流量探针监测一个子网的流量信息(通常是一条链路)。对于全网的监测需要采用分布式方案，在每条链路部署一个流量探针，再通过后台服务器和数据库，收集所有流量探针的数据，做全网的流量分析和长期报告。该方式，能够提供丰富的从物理层到应用层的详细信息。
也就是说，在本发明的一些实现方式中，大网流量网关能够对企业的全流量入口进行监控，将监控的全流量信息发送到指定消息队列中；实时流处理引擎利用从数据库中定时获取的最新的监控接口的规则，控制流处理引擎对流量进行针对性监控，进行规则匹配；在核心流处理程序中，对实时的机器负载进行监控，调整正则匹配的核心抽样概率配置，以使流处理服务适应实时的流量压力，进行正则匹配；而后将满足规则的流量及触发的规则信息组合成告警信息再通过消息中间件发送给告警处理系统存储到数据库供安全管理员查阅。
请参阅图3，在本发明的一些实施例中，该一种接口安全监控方法包括以下步骤：
步骤S201：利用流量探针在目标生产环境对应的网关Nginx进行流量采集，并发送给kafka系统。
步骤S202：利用流处理引擎Flink使用管理员实时配置的接口监控规则对kafka系统中的流量进行监控处理，并将监控处理过程中聚合生成的告警事件发送给kafka系统，以将上述告警事件存储至目标MySQL系统和/或web端。
kafka系统是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。从而可以对从网关Nginx采集的流量数据进行处理，并提供实时的消息。管理员实时配置的接口监控规则，为管理者根据最新的安全漏洞或敏感数据要求，对接口监控规则进行的实时配置。其并不需要重新开发修改针对新接口监控规则的监控程序或重启实时流处理程序，可以降低运维成本。然后，流处理引擎Flink可以基于该实时配置的接口监控规则对kafka系统中的流量进行监控处理，从而用以根据需要对不同情况下的流量进行针对性的监控处理。
需要说明的是，其中的管理员可以是一个实际存在的管理人员，也可是虚拟存在的对接口监控规则进行实时配置的程序、代码或电子设备。另外，其根据最新的安全漏洞或者敏感数据要求，对接口监控规则进行的实时配置时，可以是基于当前服务器的流量负载情况进行的针对性配置，用以动态的适应不同时间段的流量压力，避免因服务资源被耗尽而导致安全监控时延。也可以是在不需要考虑服务器压力的情况时，对监控的粒度(细度)需求不同而进行的针对性配置，以动态的适应不同监控粒度(细度)下的监控处理。
在本发明的一些实施例中，上述利用流处理引擎Flink使用管理员实时配置的接口监控规则对kafka系统中的流量进行监控处理时，包括：将监控处理过程中触发告警的流量日志记录至ES集群中。从而可以便于后续对接口的监控情况进行追溯和佐证。
ES，英文全称为Elasticsearch，是一个接近实时的搜索平台，这意味着，从索引一个文档直到这个文档能够被搜索到有一个轻微的延迟(通常是1秒)。
在本发明的一些实施例中，上述管理员实时配置的接口监控规则，为从预先构建的内存规则库中定时拉取的当前时刻的接口监控规则。即，通过提前构建一个内存规则库，用以为流处理引擎Flink提供规则素材，其中包含的接口监控规则，会根据需要进行新增或修改。需要说明的是，其中的定时拉取是指根据需要进行周期性的获取其中的接口监控规则，从而保证能够获取到最新的接口监控规则。从而，若接口监控规则在较短的时间段内即会发生现有的变动，这可以将定时拉取的时间间隔设置的较短，从而满足其时效性的需求。本发明在具体实现时，可以人工的对内存规则库中的接口监控规则进行新增或修改，也可以构建几套不同的接口监控规则，然后利用定时器在不同时间段内将其调整为对应配套的接口监控规则。
在本发明的一些实施例中，上述利用流处理引擎Flink使用管理员实时配置的接口监控规则对kafka系统中的流量进行监控处理时，包括基于服务器的当前性能负载情况，动态地控制流处理引擎Flink进行监控处理时的正则匹配的核心采样概率配置，具体包括：
基于服务器的当前性能负载情况、以及正则匹配的核心参数之间的逻辑关系进行构建参数调整规则，并根据构建的上述参数调整规则进行动态调整上述核心参数的取值情况；上述核心参数为控制上述核心采样概率配置的参数。从而利用服务器的实时负载情况进行更改正则匹配相关的核心监控配置，用以实现在无需人为参与的情况以及面对大流量压力的情况下进行实时流量监控。
实施例2
请参阅图4，本申请实施例提供了一种接口安全监控系统，其包括：
流量采集模块1，被配置为：对目标生产环境的流量进行实时采集，并发送到指定消息队列中；格式转换模块2，被配置为：基于预定的数据转换规则将上述指定消息队列中的数据进行格式转换，得到标准数据信息；自适应模块3，被配置为：基于服务器的当前性能负载情况、以及正则匹配的采样概率配置参数之间的逻辑关系进行构建参数调整规则，并根据构建的上述参数调整规则进行动态调整上述采样概率配置参数的取值情况；以及匹配监控模块4，被配置：为定时从内存规则库中获取相应的接口监控规则，并基于上述接口监控规则对上述标准数据信息进行正则匹配，得到对应的匹配结果信息。
可选地，还包括告警模块，被配置为基于上述匹配结果信息将满足接口监控规则的流量及触发的规则信息进行组合，得到告警信息，并将上述告警信息发送至指定系统和/或安全管理员。
请参阅图5，本申请实施例提供了一种接口安全监控系统，其包括：
数据获取模块5，被配置为：利用流量探针在目标生产环境对应的网关Nginx进行流量采集，并发送给kafka系统；匹配告警模块6，被配置为：利用流处理引擎Flink使用管理员实时配置的接口监控规则对kafka系统中的流量进行监控处理，并将监控处理过程中聚合生成的告警事件发送给kafka系统，以将上述告警事件存储至目标MySQL系统和/或web端。
可选地，上述匹配告警模块6在利用流处理引擎Flink使用管理员实时配置的接口监控规则对kafka系统中的流量进行监控处理时，包括：将监控处理过程中触发告警的流量日志记录至ES集群中。
可选地，上述管理员实时配置的接口监控规则，为从预先构建的内存规则库中定时拉取的当前时刻的接口监控规则。
可选地，上述匹配告警模块6在利用流处理引擎Flink使用管理员实时配置的接口监控规则对kafka系统中的流量进行监控处理时，包括基于服务器的当前性能负载情况，动态地控制流处理引擎Flink进行监控处理时的正则匹配的核心采样概率配置，具体包括：
基于服务器的当前性能负载情况、以及正则匹配的核心参数之间的逻辑关系进行构建参数调整规则，并根据构建的上述参数调整规则进行动态调整上述核心参数的取值情况；上述核心参数为控制上述核心采样概率配置的参数。
上述系统具体实现过程请参照实施例1中提供的一种接口安全监控方法，在此不再赘述。
实施例3
请参阅图6，本申请实施例提供了一种电子设备，该电子设备包括至少一个处理器7、至少一个存储器8和数据总线9；其中：处理器7与存储器8通过数据总线9完成相互间的通信；存储器8存储有可被处理器7执行的程序指令，处理器7调用程序指令以执行一种接口安全监控方法。例如实现：
对目标生产环境的流量进行实时采集，并发送到指定消息队列中；基于预定的数据转换规则将上述指定消息队列中的数据进行格式转换，得到标准数据信息；基于服务器的当前性能负载情况、以及正则匹配的采样概率配置参数之间的逻辑关系进行构建参数调整规则，并根据构建的上述参数调整规则进行动态调整上述采样概率配置参数的取值情况；以及定时从内存规则库中获取相应的接口监控规则，并基于上述接口监控规则对上述标准数据信息进行正则匹配，得到对应的匹配结果信息。
或者实现：
利用流量探针在目标生产环境对应的网关Nginx进行流量采集，并发送给kafka系统；利用流处理引擎Flink使用管理员实时配置的接口监控规则对kafka系统中的流量进行监控处理，并将监控处理过程中聚合生成的告警事件发送给kafka系统，以将上述告警事件存储至目标MySQL系统和/或web端。
其中，存储器8可以是但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。
处理器7可以是一种集成电路芯片，具有信号处理能力。该处理器7可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可以理解，图6所示的结构仅为示意，电子设备还可包括比图6中所示更多或者更少的组件，或者具有与图6所示不同的配置。图6中所示的各组件可以采用硬件、软件或其组合实现。
实施例4
本发明提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器7执行时实现一种接口安全监控方法。例如实现：
对目标生产环境的流量进行实时采集，并发送到指定消息队列中；基于预定的数据转换规则将上述指定消息队列中的数据进行格式转换，得到标准数据信息；基于服务器的当前性能负载情况、以及正则匹配的采样概率配置参数之间的逻辑关系进行构建参数调整规则，并根据构建的上述参数调整规则进行动态调整上述采样概率配置参数的取值情况；以及定时从内存规则库中获取相应的接口监控规则，并基于上述接口监控规则对上述标准数据信息进行正则匹配，得到对应的匹配结果信息。
或者实现：
利用流量探针在目标生产环境对应的网关Nginx进行流量采集，并发送给kafka系统；利用流处理引擎Flink使用管理员实时配置的接口监控规则对kafka系统中的流量进行监控处理，并将监控处理过程中聚合生成的告警事件发送给kafka系统，以将上述告警事件存储至目标MySQL系统和/或web端。
上述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其它的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (10)

1.一种接口安全监控方法，其特征在于，包括以下步骤：
对目标生产环境的流量进行实时采集，并发送到指定消息队列中；
基于预定的数据转换规则将所述指定消息队列中的数据进行格式转换，得到标准数据信息；
基于服务器的当前性能负载情况、以及正则匹配的采样概率配置参数之间的逻辑关系进行构建参数调整规则，并根据构建的所述参数调整规则进行动态调整所述采样概率配置参数的取值情况；以及
定时从内存规则库中获取相应的接口监控规则，并基于所述接口监控规则对所述标准数据信息进行正则匹配，得到对应的匹配结果信息。
2.如权利要求1所述的一种接口安全监控方法，其特征在于，还包括：
基于所述匹配结果信息将满足接口监控规则的流量及触发的规则信息进行组合，得到告警信息，并将所述告警信息发送至指定系统和/或安全管理员。
3.一种接口安全监控方法，其特征在于，包括以下步骤：
利用流量探针在目标生产环境对应的网关Nginx进行流量采集，并发送给Kafka系统；
利用流处理引擎Flink使用管理员实时配置的接口监控规则对kafka系统中的流量进行监控处理，并将监控处理过程中聚合生成的告警事件发送给kafka系统，以将所述告警事件存储至目标MySQL系统和/或web端。
4.如权利要求3所述的一种接口安全监控方法，其特征在于，所述利用流处理引擎Flink使用管理员实时配置的接口监控规则对kafka系统中的流量进行监控处理时，包括：
将监控处理过程中触发告警的流量日志记录至ES集群中。
5.如权利要求3所述的一种接口安全监控方法，其特征在于，所述管理员实时配置的接口监控规则，为从预先构建的内存规则库中定时拉取的当前时刻的接口监控规则。
6.如权利要求3所述的一种接口安全监控方法，其特征在于，所述利用流处理引擎Flink使用管理员实时配置的接口监控规则对kafka系统中的流量进行监控处理时，包括基于服务器的当前性能负载情况，动态地控制流处理引擎Flink进行监控处理时的正则匹配的核心采样概率配置，具体包括：
基于服务器的当前性能负载情况、以及正则匹配的核心参数之间的逻辑关系进行构建参数调整规则，并根据构建的所述参数调整规则进行动态调整所述核心参数的取值情况；所述核心参数为控制所述核心采样概率配置的参数。
7.一种接口安全监控系统，其特征在于，包括：
流量采集模块，被配置为：对目标生产环境的流量进行实时采集，并发送到指定消息队列中；
格式转换模块，被配置为：基于预定的数据转换规则将所述指定消息队列中的数据进行格式转换，得到标准数据信息；
自适应模块，被配置为：基于服务器的当前性能负载情况、以及正则匹配的采样概率配置参数之间的逻辑关系进行构建参数调整规则，并根据构建的所述参数调整规则进行动态调整所述采样概率配置参数的取值情况；以及
匹配监控模块，被配置：为定时从内存规则库中获取相应的接口监控规则，并基于所述接口监控规则对所述标准数据信息进行正则匹配，得到对应的匹配结果信息。
8.一种接口安全监控系统，其特征在于，包括：
数据获取模块，被配置为：利用流量探针在目标生产环境对应的网关Nginx进行流量采集，并发送给kafka系统；
匹配告警模块，被配置为：利用流处理引擎Flink使用管理员实时配置的接口监控规则对kafka系统中的流量进行监控处理，并将监控处理过程中聚合生成的告警事件发送给kafka系统，以将所述告警事件存储至目标MySQL系统和/或web端。
9.一种电子设备，其特征在于，包括至少一个处理器、至少一个存储器和数据总线；其中：所述处理器与所述存储器通过所述数据总线完成相互间的通信；所述存储器存储有被所述处理器执行的程序指令，所述处理器调用所述程序指令以执行如权利要求1-6任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-6中任一项所述的方法。
CN202310611648.1A 2023-05-27 2023-05-27 一种接口安全监控方法、系统、设备及介质 Pending CN116488932A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310611648.1A CN116488932A (zh) 2023-05-27 2023-05-27 一种接口安全监控方法、系统、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310611648.1A CN116488932A (zh) 2023-05-27 2023-05-27 一种接口安全监控方法、系统、设备及介质

Publications (1)

Publication Number Publication Date
CN116488932A true CN116488932A (zh) 2023-07-25

Family

ID=87212043

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310611648.1A Pending CN116488932A (zh) 2023-05-27 2023-05-27 一种接口安全监控方法、系统、设备及介质

Country Status (1)

Country Link
CN (1) CN116488932A (zh)

Similar Documents

Publication Publication Date Title
US11792229B2 (en) AI-driven defensive cybersecurity strategy analysis and recommendation system
US20220078210A1 (en) System and method for collaborative cybersecurity defensive strategy analysis utilizing virtual network spaces
US10205735B2 (en) Graph-based network security threat detection across time and entities
US20220078188A1 (en) Change Monitoring and Detection for a Cloud Computing Environment
US20180248902A1 (en) Malicious activity detection on a computer network and network metadata normalisation
CN111752799A (zh) 一种业务链路跟踪方法、装置、设备及储存介质
CN107888452B (zh) 一种24小时分布式网站性能监测和实时告警方法
US20120311562A1 (en) Extendable event processing
CN113157545A (zh) 业务日志的处理方法、装置、设备及存储介质
EP3085023B1 (en) Communications security
US20200349647A1 (en) System and method for crowd-sourced refinement of natural phenomenon for risk management and contract validation
CN111770022B (zh) 基于链路监控的扩容方法、系统、设备及计算机存储介质
CN111740868B (zh) 告警数据的处理方法和装置及存储介质
EP3494506A1 (en) Detection mitigation and remediation of cyberattacks employing an advanced cyber-decision platform
WO2021216163A2 (en) Ai-driven defensive cybersecurity strategy analysis and recommendation system
CN110620690A (zh) 一种网络攻击事件的处理方法及其电子设备
WO2019018829A1 (en) MITIGATING IMPROVED CYBERSECURITY THREATS USING DEEP AND BEHAVIORAL ANALYTICS
CN111612085B (zh) 一种对等组中异常点的检测方法及装置
CN107885634B (zh) 监控中异常信息的处理方法和装置
CN113282920B (zh) 日志异常检测方法、装置、计算机设备和存储介质
CN110633165B (zh) 故障处理方法、装置、系统服务器及计算机可读存储介质
CN116488932A (zh) 一种接口安全监控方法、系统、设备及介质
CN115664992A (zh) 网络运行数据的处理方法、装置、电子设备及介质
CN115496470A (zh) 全链路配置化数据处理方法、装置和电子设备
CN114238069A (zh) 一种Web应用防火墙测试方法、装置、电子设备、介质及产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination