CN114584346B - 日志流的处理方法、系统、终端设备及存储介质 - Google Patents
日志流的处理方法、系统、终端设备及存储介质 Download PDFInfo
- Publication number
- CN114584346B CN114584346B CN202210107558.4A CN202210107558A CN114584346B CN 114584346 B CN114584346 B CN 114584346B CN 202210107558 A CN202210107558 A CN 202210107558A CN 114584346 B CN114584346 B CN 114584346B
- Authority
- CN
- China
- Prior art keywords
- log
- merging
- rate
- log stream
- gear
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 238000000034 method Methods 0.000 claims abstract description 56
- 238000012545 processing Methods 0.000 claims abstract description 40
- 238000012544 monitoring process Methods 0.000 claims abstract description 23
- 238000001914 filtration Methods 0.000 abstract description 18
- 230000008569 process Effects 0.000 description 21
- 238000005516 engineering process Methods 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005111 flow chemistry technique Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种日志流的处理方法、系统、终端设备及存储介质。该方法包括：监测日志流的流量速率；基于所述流量速率、速率判决阈值，确定所述日志流对应的归并算法，其中，所述归并算法包括一档归并算法、二档归并算法；通过所述日志流对应的归并算法对所述日志流的日志进行归并。本发明在大流量日志场景下，提高了日志过滤的有效性，使日志数据不易丢失。
Description
技术领域
本发明涉及流量监测技术领域，尤其涉及一种日志流的处理方法、系统、终端设备及存储介质。
背景技术
随着网络技术的发展，数据流量变得越来越庞大，流经防火墙等设备的流量也成几何倍数增长，造成防火墙的流量数据过大，日志过多，严重影响防火墙的正常运行。目前大都使用限速的方式对日志流量进行控制，当日志流量过大时，无差别丢弃过载日志，导致关键信息丢失。
发明内容
本发明实施例的主要目的在于提供一种日志流的处理方法、系统、终端设备及存储介质，在大流量日志场景下，提高了日志过滤的有效性，使日志数据不易丢失。
为实现上述目的，本发明实施例提供一种日志流的处理方法，所述日志流的处理方法包括：
监测日志流的流量速率；
基于所述流量速率、速率判决阈值，确定所述日志流对应的归并算法，其中，所述归并算法包括一档归并算法、二档归并算法；
通过所述日志流对应的归并算法对所述日志流的日志进行归并。
可选地，所述速率判决阈值包括一档速率阈值、二档速率阈值，所述基于所述流量速率、速率判决阈值，确定所述日志流对应的归并算法的步骤包括：
当所述流量速率高于所述一档速率阈值，低于所述二档速率阈值时，确定所述日志流对应的归并算法为所述一档归并算法；
当所述流量速率高于所述二档速率阈值时，确定所述日志流对应的归并算法为所述二档归并算法。
可选地，若确定所述日志流对应的归并算法为所述一档归并算法，则所述通过所述日志流对应的归并算法对所述日志流的日志进行归并的步骤包括：
对所述日志流的日志进行三元组归并；
检测所述日志流三元组归并后的速率回差，得到第一速率回差；
若所述第一速率回差低于一档速率回差，则返回执行步骤：对所述日志流的日志进行三元组归并；或对所述日志流的日志不进行归并。
可选地，若确定所述日志流对应的归并算法为所述二档归并算法，则所述通过所述日志流对应的归并算法对所述日志流的日志进行归并的步骤包括：
对所述日志流的日志进行一元组归并；
检测所述日志流一元组归并后的速率回差，得到第二速率回差；
若所述第二速率回差低于二档速率回差，则返回执行步骤：对所述日志流的日志进行一元组归并；
若所述第二速率回差高于所述二档速率回差，则返回执行步骤：对所述日志流的日志进行三元组归并。
可选地，所述基于所述流量速率、速率判决阈值，确定所述日志流对应的归并算法的步骤之前包括：
根据所述日志流对应的设备的性能设置所述速率判决阈值；
基于所述流量速率、所述日志流对应的设备的速率判决阈值，确定所述日志流对应的归并算法。
可选地，所述监测日志流的流量速率的步骤之前包括：
开启所述日志流对应的设备的线程；
通过所述线程监测所述日志流的流量速率。
可选地，所述若所述第一速率回差低于一档速率回差，则返回执行步骤：对所述日志流的日志进行三元组归并；或对所述日志流的日志不进行归并的步骤之前包括：
监测所述日志流三元组归并后的流量速率，得到归并速率；
若所述第一速率回差低于所述一档速率回差，并且所述归并速率小于所述一档速率阈值与所述一档速率回差的差值，则对所述日志流的日志不进行归并；
若所述第一速率回差低于所述一档速率回差，并且所述归并速率大于所述一档速率阈值与所述一档速率回差的差值，则返回执行步骤：对所述日志流的日志进行三元组归并。
此外，为实现上述目的，本发明还提供一种日志流的处理系统，所述系统包括：
流量监测模块，用于监测日志流的流量速率；
算法确定模块，用于基于所述流量速率、速率判决阈值，确定所述日志流对应的归并算法，其中，所述归并算法包括一档归并算法、二档归并算法；
日志归并模块，用于通过所述日志流对应的归并算法对所述日志流的日志进行归并。
此外，为实现上述目的，本发明还提供一种终端设备，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的日志流的处理方法，所述日志流的处理的程序被所述处理器执行时实现如上所述的日志流的处理方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有日志流的处理的程序，所述日志流的处理的程序被处理器执行时实现如上所述的日志流的处理方法的步骤。
本发明实施例提出的日志流的处理方法、系统、终端设备及存储介质，监测日志流的流量速率，以根据日志的流量速率选择对应的归并算法，增加日志过滤的准确性；基于所述流量速率、速率判决阈值，确定所述日志流对应的归并算法，其中，所述归并算法包括一档归并算法、二档归并算法，以根据日志的流量速率匹配相应的归并算法，提高日志过滤的准确性，使日志记录更全面；通过所述日志流对应的归并算法对所述日志流的日志进行归并，以降低资源的浪费，提高用户提示的精准率。通过上述方式，本发明提高了日志过滤的有效性，使日志数据不易丢失，日志记录更全面。
附图说明
图1为本发明日志流的处理装置所属终端设备的功能模块示意图；
图2为本发明日志流的处理方法第一实施例的流程示意图；
图3为本发明日志流的处理方法第二实施例的流程示意图；
图4为本发明日志流的处理系统的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例的主要解决方案是：监测日志流的流量速率；基于所述流量速率、速率判决阈值，确定所述日志流对应的归并算法，其中，所述归并算法包括一档归并算法、二档归并算法；通过所述日志流对应的归并算法对所述日志流的日志进行归并。
本发明实施例涉及的技术术语：
Ip：(Internet Protocol Address，互联网协议地址、IP地址)，IP地址是IP协议提供的一种统一的地址格式，它为互联网上的每一个网络和每一台主机分配一个逻辑地址，以此来屏蔽物理地址的差异。
http：(Hyper Text Transfer Protocol，超文本传输协议)，是一个简单的请求-响应协议，它通常运行在TCP之上。它指定了客户端可能发送给服务器什么样的消息以及得到什么样的响应。请求和响应消息的头以ASCII形式给出；而消息内容则具有一个类似MIME的格式。
https：(Hyper Text Transfer Protocol over SecureSocket Layer，超文本传输安全协议)，是以安全为目标的HTTP通道，在HTTP的基础上通过传输加密和身份认证保证了传输过程的安全性。HTTPS在HTTP的基础下加入SSL，HTTPS的安全基础是SSL，因此加密的详细内容就需要SSL。HTTPS存在不同于HTTP的默认端口及一个加密/身份验证层(在HTTP与TCP之间)。这个系统提供了身份验证与加密通讯方法。
归并算法：(Merge Sort，归并排序)，是建立在归并操作上的一种有效，稳定的排序算法，该算法是采用分治法(Divide and Conquer)的一个非常典型的应用。将已有序的子序列合并，得到完全有序的序列；即先使每个子序列有序，再使子序列段间有序。若将两个有序表合并成一个有序表，称为二路归并。
线程：(thread)是操作系统能够进行运算调度的最小单位。它被包含在进程之中，是进程中的实际运作单位。一条线程指的是进程中一个单一顺序的控制流，一个进程中可以并发多个线程，每条线程并行执行不同的任务。在Unix System V及SunOS中也被称为轻量进程(lightweight processes)，但轻量进程更多指内核线程(kernel thread)，而把用户线程(user thread)称为线程。
线程是独立调度和分派的基本单位。线程可以为操作系统内核调度的内核线程，如Win32线程；由用户进程自行调度的用户线程，如Linux平台的POSIX Thread；或者由内核与用户进程，如Windows 7的线程，进行混合调度。
同一进程中的多条线程将共享该进程中的全部系统资源，如虚拟地址空间，文件描述符和信号处理等等。但同一进程中的多个线程有各自的调用栈(call stack)，自己的寄存器环境(register context)，自己的线程本地存储(thread-local storage)。
一个进程可以有很多线程，每条线程并行执行不同的任务。在多核或多CPU，或支持Hyper-threading的CPU上使用多线程程序设计的好处是显而易见，即提高了程序的执行吞吐率。在单CPU单核的计算机上，使用多线程技术，也可以把进程中负责I/O处理、人机交互而常被阻塞的部分与密集计算的部分分开来执行，编写专门的workhorse线程执行密集计算，从而提高了程序的执行效率。
在大流量日志场景下，通常采用如下方式进行处理：
典型场景是通过网关新建连接日志。通常为100条/s，采用源ip、目的ip、源端口的方式进行归并。
例如：在http、https请求中，因为搜索过程，时常需要通过链接跳转不同的搜索信息，但是存储内容的服务器不同，这就造成每次请求都可能会重新建立一条连接，而源端口不同，造成了每个不同的连接都对应有一条不同的日志，但是对于用户来说，这其实都是同一条连接，造成资源浪费。
在大流量的日志场景下，新建连接日志可能会暴增10倍，并且面临突发事件或攻击。所以在这种场景下，仍然采用三元组的方法，会导致归并后仍然超过限速，丢弃大量有用信息。
本发明提供一种解决方案，在大流量日志场景下，提高了日志过滤的有效性，使日志数据不易丢失，日志记录更全面。
具体地，参照图1，图1是本发明日志流的处理装置所属终端设备的功能模块示意图。该日志流的处理装置可以为独立于终端设备的、能够进行图片处理、网络模型训练的装置，其可以通过硬件或软件的形式承载于终端设备上。该终端设备可以为手机、平板电脑等具有数据处理功能的智能移动终端，还可以为具有数据处理功能的固定终端设备或服务器等。
在本实施例中，该日志流的处理装置所属终端设备至少包括输出模块110、处理器120、存储器130以及通信模块140。
存储器130中存储有操作方法以及日志流的处理程序；输出模块110可为显示屏等。通信模块140可以包括WIFI模块、移动通信模块以及蓝牙模块等，通过通信模块140与外部设备或服务器进行通信。
其中，存储器130中的日志流的处理程序被处理器执行时实现以下步骤：
监测日志流的流量速率；
基于所述流量速率、速率判决阈值，确定所述日志流对应的归并算法，其中，所述归并算法包括一档归并算法、二档归并算法；
通过所述日志流对应的归并算法对所述日志流的日志进行归并。
进一步地，存储器130中的日志流的处理程序被处理器执行时还实现以下步骤：
当所述流量速率高于所述一档速率阈值，低于所述二档速率阈值时，确定所述日志流对应的归并算法为所述一档归并算法；
当所述流量速率高于所述二档速率阈值时，确定所述日志流对应的归并算法为所述二档归并算法。
进一步地，存储器130中的日志流的处理程序被处理器执行时还实现以下步骤：
对所述日志流的日志进行三元组归并；
检测所述日志流三元组归并后的速率回差，得到第一速率回差；
若所述第一速率回差低于一档速率回差，则返回执行步骤：对所述日志流的日志进行三元组归并；或对所述日志流的日志不进行归并。
进一步地，存储器130中的日志流的处理程序被处理器执行时还实现以下步骤：
对所述日志流的日志进行一元组归并；
检测所述日志流一元组归并后的速率回差，得到第二速率回差；
若所述第二速率回差低于二档速率回差，则返回执行步骤：对所述日志流的日志进行一元组归并；
若所述第二速率回差高于所述二档速率回差，则返回执行步骤：对所述日志流的日志进行三元组归并。
进一步地，存储器130中的日志流的处理程序被处理器执行时还实现以下步骤：
根据所述日志流对应的设备的性能设置所述速率判决阈值；
基于所述流量速率、所述日志流对应的设备的速率判决阈值，确定所述日志流对应的归并算法。
进一步地，存储器130中的日志流的处理程序被处理器执行时还实现以下步骤：
开启所述日志流对应的设备的线程；
通过所述线程监测所述日志流的流量速率。
进一步地，存储器130中的日志流的处理程序被处理器执行时还实现以下步骤：
监测所述日志流三元组归并后的流量速率，得到归并速率；
所述若所述第一速率回差低于一档速率回差，则返回执行步骤：对所述日志流的日志进行三元组归并；或对所述日志流的日志不进行归并的步骤包括：
若所述第一速率回差低于所述一档速率回差，并且所述归并速率小于所述一档速率阈值与所述一档速率回差的差值，则对所述日志流的日志不进行归并；
若所述第一速率回差低于所述一档速率回差，并且所述归并速率大于所述一档速率阈值与所述一档速率回差的差值，则返回执行步骤：对所述日志流的日志进行三元组归并。
本实施例通过上述方案，具体通过监测日志流的流量速率；基于所述流量速率、速率判决阈值，确定所述日志流对应的归并算法，其中，所述归并算法包括一档归并算法、二档归并算法；通过所述日志流对应的归并算法对所述日志流的日志进行归并。本发明在大流量日志场景下，提高了日志过滤的有效性，使日志数据不易丢失，日志记录更完整。
基于上述终端设备架构但不限于上述架构，提出本发明方法实施例。
参照图2，图2为本发明日志流的处理方法第一实施例的流程示意图。所述日志流的处理方法包括：
步骤S101，监测日志流的流量速率。
本实施例方法的执行主体可以是一种日志流的处理装置，也可以是一种日志流的处理终端设备或服务器，本实施例以日志流的处理装置进行举例，该日志流的处理装置可以集成在具有数据处理功能的智能手机、平板电脑等终端设备上。
为了提高日志过滤的有效性，在本实施例中，首先，根据防火墙的性能设置速率判决阈值。
其中，防火墙是通过有机结合各类用于安全管理与筛选的软件和硬件设备，帮助计算机网络于其内、外网之间构建一道相对隔绝的保护屏障，以保护用户资料与信息安全性的一种技术。防火墙技术的功能主要在于及时发现并处理计算机网络运行时可能存在的安全风险、数据传输等问题，其中处理措施包括隔离与保护，同时可对计算机网络安全当中的各项操作实施记录与检测，以确保计算机网络运行的安全性，保障用户资料与信息的完整性，为用户提供更好、更安全的计算机网络使用体验。
由于不同类型的防火墙具有不同的功能，因此，根据防火墙的性能，设置了相应的速率判决阈值；其中，不同的速率判决阈值对应着不同档次的归并算法。
由此，根据防火墙的性能设置速率判决阈值，使各类型的防火墙均有其特定的速率判决阈值，以提高对防火墙流量处理的有效性、及时性、针对性，提高日志过滤的有效性，进而提高效率。
进一步地，监测日志流的流量速率。
具体地，开启日志流对应的设备的线程；通过线程监测日志流的流量速率。
更为具体地，日志流的处理装置包括防火墙日志流量模块，对防火墙日志流量模块开启单独线程，并通过单独线程对日志的流量速率进行监测；其中，将单位时间段内，防火墙产生的日志，作为日志流，防火墙产生的日志条数作为日志流的流量速率。
由此，通过监测防火墙日志流的流量速率，以根据流量速率采用不同档次的归并算法，识别出造成网络问题的关键信息，并对其进行归并，缩减日志的流量速率。
步骤S102，基于所述流量速率、速率判决阈值，确定所述日志流对应的归并算法，其中，所述归并算法包括一档归并算法、二档归并算法。
步骤S103，通过所述日志流对应的归并算法对所述日志流的日志进行归并。
在本实施例中，基于流量速率、日志流对应的设备的速率判决阈值，确定日志流对应的归并算法，并通过日志流对应的归并算法对日志流的日志进行归并；其中，归并算法包括一档归并算法，二档归并算法，速率判决阈值包括一档速率阈值、二档速率阈值。
具体地，基于流量速率、日志流对应的防火墙的一档速率阈值、二档速率阈值，确定日志流对应的归并算法，其中，将日志流对应的防火墙作为日志流对应的设备。
若确定日志流对应的归并算法为一档归并算法，则通过一档归并算法对日志流的日志进行归并。
若确定日志流对应的归并算法为二档归并算法，则通过二档归并算法对日志流的日志进行归并。
具体地，若确定日志流对应的归并算法为一档归并算法，则自动对日志流的日志采用三元组归并，其中，三源组归并包括源ip、目的ip、源端口。
若确定日志流对应的归并算法为二档归并算法，则自动对日志流的日志采用一元组归并，其中，一元组归并主要是源ip。
由此，基于流量速率、日志流对应的防火墙的一档速率阈值、二档速率阈值，自动采用不同档次的归并算法对日志流的日志进行归并，提取有效的信息，缩减了日志流的流量速率，提高了日志过滤的有效性。
本实施例通过上述方案，具体通过监测日志流的流量速率；基于所述流量速率、速率判决阈值，确定所述日志流对应的归并算法，其中，所述归并算法包括一档归并算法、二档归并算法；通过所述日志流对应的归并算法对所述日志流的日志进行归并。本发明在大流量日志场景下，根据日志流不同级别的流量速度，自动采用不同的归并算法提取有效信息，提高了日志过滤的有效性，使日志数据不易丢失，日志记录更全面。
基于上述图2所示的实施例，在本实施例中，步骤S102：基于所述流量速率、速率判决阈值，确定所述日志流对应的归并算法，其中，所述归并算法包括一档归并算法、二档归并算法包括：
步骤S1021，当所述流量速率高于所述一档速率阈值，低于所述二档速率阈值时，确定所述日志流对应的归并算法为所述一档归并算法。
作为一种实施方式，在本实施例中，速率判决阈值包括一档速率阈值、二档速率阈值。
当流量速率高于一档速率阈值，低于二档速率阈值时，确定日志流对应的归并算法为一档归并算法。
具体地，当流量速率高于(一档速率阈值-一档速率回差)，低于(二档速率阈值-二档速率回差)时，确定日志流对应的归并算法为一档归并算法。
当流量速率低于(一档速率阈值-一档速率回差)时，不再对日志流的日志进行归并。
由于归并算法在回退时，会产生速率回差，因此，将流量速率与一档速率阈值、一档速率回差、二档速率阈值、二档速率回差进行比较，降低由于速率回差产生的抖动，提高日志过滤的有效性。
步骤S1022，当所述流量速率高于所述二档速率阈值时，确定所述日志流对应的归并算法为所述二档归并算法。
当流量速率高于二档速率阈值时，确认日志流对应的归并算法为二档归并算法。
具体地，当流量速率高于(二档速率阈值-二档速率回差)时，确认日志流对应的归并算法为二档归并算法。
当流量速率低于(二档速率阈值-二档速率回差)，高于(一档速率阈值-一档速率回差)时，将二档归并算法切换为一档归并算法。
由于归并算法在回退时，会产生速率回差，因此，将流量速率与一档速率阈值、一档速率回差、二档速率阈值、二档速率回差进行比较，降低由于速率回差产生的抖动，提高日志过滤的有效性。
当日志流的流量速率升高时，自动向上切换二档归并算法(高档归并算法)，当日志流的流量速率降低时，自动向下切换低一档归并算法(低档归并算法)，以此提高日志过滤的有效性，降低展示用户数据时产生的影响，即使数据流量过大，也可以精准的向用户发出提示信息，并且，日志数据不易丢失，日志记录更全面。
本实施例通过上述方案，具体通过监测日志流的流量速率；基于所述流量速率、速率判决阈值，确定所述日志流对应的归并算法，其中，所述归并算法包括一档归并算法、二档归并算法；通过所述日志流对应的归并算法对所述日志流的日志进行归并。本发明根据防火墙的日志的流量速率，自动采用不同档次的日志归并算法，提高日志过滤的有效性，降低展示用户数据时产生的影响，即使数据流量过大，也可以精准的向用户发出提示信息，并且，日志数据不易丢失，日志记录更全面。
参照图3，图3为本发明日志流的处理方法第二实施例的流程示意图。
作为一种实施方式，在本实施例中，首先，对日志流量速率进行监控。
若日志流量速率高于阈值1(一档速率阈值)，则自动通过一档归并算法对日志进行处理。
具体地，若日志流量速率高于阈值1(一档速率阈值)，则对日志采取三元组归并，包括源ip、目的ip、源端口。
若日志流量速率低于阈值1(一档速率阈值)，则对日志不进行归并。
进一步地，对速率回差进行监控，若速率回差未发生大变动(速率回差小于一档速率回差，且流量速率大于一档速率阈值与一档速率回差的差值)，则继续通过一档归并算法对日志进行处理。
若速率回差未发生大变动(速率回差小于一档速率回差、且流量速率小于一档速率阈值与一档速率回差的差值)，则对日志不进行归并。
若速率回差发生大变动，且流量速率高于阈值2(二档速率阈值)，则自动通过二档归并算法对日志进行处理。
具体地，若速率回差发生大变动，且流量速率高于阈值2(二档速率阈值)，则自动对日志采取一元组归并(包括源ip)，并向用户精准展示流量来源、保留关键日志信息。
进一步地，对速率回差进行监控，若速率回差未发生大变动(速率回差小于二档速率回差，且流量速率大于二档速率阈值与二档速率回差的差值)，则继续通过二档归并算法对日志进行处理。
具体地，对速率回差进行监控，若速率回差未发生大变动(速率回差小于二档速率回差，且流量速率大于二档速率阈值与二档速率回差的差值)，则继续对日志进行一元组归并。
若速率回差发生大变动(速率回差大于二档速率回差，且流量速率小于二档速率阈值与二档速率回差的差值)，则通过一档归并算法对日志进行处理。
具体地，若速率回差发生大变动(速率回差大于二档速率回差，且流量速率小于二档速率阈值与二档速率回差的差值)，则通过对日志进行三元组归并。
由此，当日志的流量速率增加时，自动向上切换为一元归并(二档归并算法)，当日志的流量速率减少时，自动向下切换为三元归并(一档归并算法)，以此提高日志过滤的有效性。
本实施例通过上述方案，具体通过监测日志流的流量速率；基于所述流量速率、速率判决阈值，确定所述日志流对应的归并算法，其中，所述归并算法包括一档归并算法、二档归并算法；通过所述日志流对应的归并算法对所述日志流的日志进行归并。本发明在大流量日志场景下，当日志的流量速率增加时，自动向上切换为一元归并(二档归并算法)，当日志的流量速率减少时，自动向下切换为三元归并(一档归并算法)，以此提高日志过滤的有效性。
参照图4，图4为本发明日志流的处理系统的功能模块示意图。日志流的处理系统包括：
流量监测模块10，用于监测日志流的流量速率；
算法确定模块20，用于基于所述流量速率、速率判决阈值，确定所述日志流对应的归并算法，其中，所述归并算法包括一档归并算法、二档归并算法；
日志归并模块30，用于通过所述日志流对应的归并算法对所述日志流的日志进行归并。
本实施例实现日志流的处理的原理及实施过程，请参照上述各实施例，在此不再赘述。
此外，本发明实施例还提出一种终端设备，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的日志流的处理程序，所述日志流的处理程序被所述处理器执行时实现如上所述的日志流的处理方法的步骤。
由于本日志流的处理程序被处理器执行时，采用了前述所有实施例的全部技术方案，因此至少具有前述所有实施例的全部技术方案所带来的所有有益效果，在此不再一一赘述。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有日志流的处理程序，所述日志流的处理程序被处理器执行时实现如上所述的日志流的处理方法的步骤。
由于本日志流的处理程序被处理器执行时，采用了前述所有实施例的全部技术方案，因此至少具有前述所有实施例的全部技术方案所带来的所有有益效果，在此不再一一赘述。
相比现有技术，本发明提供的一种日志流的处理方法、系统、终端设备及存储介质，通过监测日志流的流量速率；基于所述流量速率、速率判决阈值，确定所述日志流对应的归并算法，其中，所述归并算法包括一档归并算法、二档归并算法；通过所述日志流对应的归并算法对所述日志流的日志进行归并。本发明在大流量日志场景下，提高了日志过滤的有效性，使日志数据不易丢失，日志记录更全面。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者方法中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，被控终端，或者网络设备等)执行本发明每个实施例的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (9)
1.一种日志流的处理方法，其特征在于，所述方法包括如下步骤：
监测日志流的流量速率；
基于所述流量速率、速率判决阈值，确定所述日志流对应的归并算法，其中，所述归并算法包括一档归并算法、二档归并算法；
通过所述日志流对应的归并算法对所述日志流的日志进行归并；
若确定所述日志流对应的归并算法为所述一档归并算法，则所述通过所述日志流对应的归并算法对所述日志流的日志进行归并的步骤包括：
对所述日志流的日志进行三元组归并；
检测所述日志流三元组归并后的速率回差，得到第一速率回差；
若所述第一速率回差低于一档速率回差，则返回执行步骤：对所述日志流的日志进行三元组归并；或对所述日志流的日志不进行归并。
2.根据权利要求1所述的日志流的处理方法，其特征在于，所述速率判决阈值包括一档速率阈值、二档速率阈值，所述基于所述流量速率、速率判决阈值，确定所述日志流对应的归并算法的步骤包括：
当所述流量速率高于所述一档速率阈值，低于所述二档速率阈值时，确定所述日志流对应的归并算法为所述一档归并算法；
当所述流量速率高于所述二档速率阈值时，确定所述日志流对应的归并算法为所述二档归并算法。
3.根据权利要求2所述的日志流的处理方法，其特征在于，若确定所述日志流对应的归并算法为所述二档归并算法，则所述通过所述日志流对应的归并算法对所述日志流的日志进行归并的步骤包括：
对所述日志流的日志进行一元组归并；
检测所述日志流一元组归并后的速率回差，得到第二速率回差；
若所述第二速率回差低于二档速率回差，则返回执行步骤：对所述日志流的日志进行一元组归并；
若所述第二速率回差高于所述二档速率回差，则返回执行步骤：对所述日志流的日志进行三元组归并。
4.根据权利要求1所述的日志流的处理方法，其特征在于，所述基于所述流量速率、速率判决阈值，确定所述日志流对应的归并算法的步骤之前包括：
根据所述日志流对应的设备的性能设置所述速率判决阈值；
所述基于所述流量速率、速率判决阈值，确定所述日志流对应的归并算法的步骤包括：
基于所述流量速率、所述日志流对应的设备的速率判决阈值，确定所述日志流对应的归并算法。
5.根据权利要求1所述的日志流的处理方法，其特征在于，所述监测日志流的流量速率的步骤之前包括：
开启所述日志流对应的设备的线程；
所述监测日志流的流量速率的步骤包括：
通过所述线程监测所述日志流的流量速率。
6.根据权利要求2所述的日志流的处理方法，其特征在于，所述若所述第一速率回差低于一档速率回差，则返回执行步骤：对所述日志流的日志进行三元组归并；或对所述日志流的日志不进行归并的步骤之前包括：
监测所述日志流三元组归并后的流量速率，得到归并速率；
所述若所述第一速率回差低于一档速率回差，则返回执行步骤：对所述日志流的日志进行三元组归并；或对所述日志流的日志不进行归并的步骤包括：
若所述第一速率回差低于所述一档速率回差，并且所述归并速率小于所述一档速率阈值与所述一档速率回差的差值，则对所述日志流的日志不进行归并；
若所述第一速率回差低于所述一档速率回差，并且所述归并速率大于所述一档速率阈值与所述一档速率回差的差值，则返回执行步骤：对所述日志流的日志进行三元组归并。
7.一种日志流的处理系统，其特征在于，包括：
流量监测模块，用于监测日志流的流量速率；
算法确定模块，用于基于所述流量速率、速率判决阈值，确定所述日志流对应的归并算法，其中，所述归并算法包括一档归并算法、二档归并算法；
日志归并模块，用于通过所述日志流对应的归并算法对所述日志流的日志进行归并；
所述日志归并模块，还用于若确定所述日志流对应的归并算法为所述一档归并算法，则对所述日志流的日志进行三元组归并，检测所述日志流三元组归并后的速率回差，得到第一速率回差，若所述第一速率回差低于一档速率回差，则返回执行：对所述日志流的日志进行三元组归并；或对所述日志流的日志不进行归并。
8.一种终端设备，其特征在于，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的日志流的处理方法，所述日志流的处理程序被所述处理器执行时实现如权利要求1-6中任一项所述的日志流的处理方法的步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有日志流的处理的程序，所述日志流的处理的程序被处理器执行时实现如权利要求1-6中任一项所述的日志流的处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210107558.4A CN114584346B (zh) | 2022-01-28 | 2022-01-28 | 日志流的处理方法、系统、终端设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210107558.4A CN114584346B (zh) | 2022-01-28 | 2022-01-28 | 日志流的处理方法、系统、终端设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114584346A CN114584346A (zh) | 2022-06-03 |
| CN114584346B true CN114584346B (zh) | 2024-01-12 |
Family
ID=81770873
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210107558.4A Active CN114584346B (zh) | 2022-01-28 | 2022-01-28 | 日志流的处理方法、系统、终端设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114584346B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104717086A (zh) * | 2013-12-16 | 2015-06-17 | 华为技术有限公司 | 抑制日志风暴的方法及装置 |
| CN107809331A (zh) * | 2017-10-25 | 2018-03-16 | 北京京东尚科信息技术有限公司 | 识别异常流量的方法和装置 |
| CN108388478A (zh) * | 2018-02-07 | 2018-08-10 | 平安普惠企业管理有限公司 | 日志数据处理方法和系统 |
| CN109165201A (zh) * | 2018-07-25 | 2019-01-08 | 平安科技（深圳）有限公司 | 日志的归并方法及终端设备 |
| CN109828960A (zh) * | 2018-12-14 | 2019-05-31 | 平安科技（深圳）有限公司 | 日志库扩容方法、系统、计算机装置及可读存储介质 |
| CN112333294A (zh) * | 2020-09-14 | 2021-02-05 | 国网思极网安科技（北京）有限公司 | 日志归并方法、装置、介质和设备 |
| CN112994924A (zh) * | 2019-12-18 | 2021-06-18 | 中国科学院声学研究所 | 一种网络业务日志在线归并方法 |
| CN113590556A (zh) * | 2021-07-30 | 2021-11-02 | 中国工商银行股份有限公司 | 一种基于数据库的日志处理方法、装置及设备 |
| CN113760644A (zh) * | 2021-03-05 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 处理日志的方法、装置、计算设备及介质 |
| CN113946552A (zh) * | 2021-10-20 | 2022-01-18 | 星辰天合（北京）数据科技有限公司 | 数据处理方法及电子装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10440037B2 (en) * | 2017-03-31 | 2019-10-08 | Mcafee, Llc | Identifying malware-suspect end points through entropy changes in consolidated logs |
-
2022
- 2022-01-28 CN CN202210107558.4A patent/CN114584346B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104717086A (zh) * | 2013-12-16 | 2015-06-17 | 华为技术有限公司 | 抑制日志风暴的方法及装置 |
| CN107809331A (zh) * | 2017-10-25 | 2018-03-16 | 北京京东尚科信息技术有限公司 | 识别异常流量的方法和装置 |
| CN108388478A (zh) * | 2018-02-07 | 2018-08-10 | 平安普惠企业管理有限公司 | 日志数据处理方法和系统 |
| CN109165201A (zh) * | 2018-07-25 | 2019-01-08 | 平安科技（深圳）有限公司 | 日志的归并方法及终端设备 |
| CN109828960A (zh) * | 2018-12-14 | 2019-05-31 | 平安科技（深圳）有限公司 | 日志库扩容方法、系统、计算机装置及可读存储介质 |
| CN112994924A (zh) * | 2019-12-18 | 2021-06-18 | 中国科学院声学研究所 | 一种网络业务日志在线归并方法 |
| CN112333294A (zh) * | 2020-09-14 | 2021-02-05 | 国网思极网安科技（北京）有限公司 | 日志归并方法、装置、介质和设备 |
| CN113760644A (zh) * | 2021-03-05 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 处理日志的方法、装置、计算设备及介质 |
| CN113590556A (zh) * | 2021-07-30 | 2021-11-02 | 中国工商银行股份有限公司 | 一种基于数据库的日志处理方法、装置及设备 |
| CN113946552A (zh) * | 2021-10-20 | 2022-01-18 | 星辰天合（北京）数据科技有限公司 | 数据处理方法及电子装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114584346A (zh) | 2022-06-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112035258B (zh) | 数据处理方法、装置、电子设备及介质 | |
| US10917417B2 (en) | Method, apparatus, server, and storage medium for network security joint defense | |
| US10257224B2 (en) | Method and apparatus for providing forensic visibility into systems and networks | |
| US9871818B2 (en) | Managing workflows upon a security incident | |
| US10505819B2 (en) | Method and apparatus for computing cell density based rareness for use in anomaly detection | |
| US20220377106A1 (en) | Managing transmissions of virtual machines using a network interface controller | |
| US8004998B2 (en) | Capture and regeneration of a network data using a virtual software switch | |
| US20220239683A1 (en) | Security threat detection based on network flow analysis | |
| RU2666289C1 (ru) | Система и способ для ограничения запросов доступа | |
| US20090013407A1 (en) | Intrusion detection system/intrusion prevention system with enhanced performance | |
| CN113595922B (zh) | 一种流量限制方法、装置、服务器及存储介质 | |
| WO2012058486A2 (en) | Automated policy builder | |
| EP3633948B1 (en) | Anti-attack method and device for server | |
| Zhang et al. | Optimization of traditional Snort intrusion detection system | |
| US20220255898A1 (en) | Systems and methods for monitoring and securing networks using a shared buffer | |
| CN113472798B (zh) | 一种网络数据包的回溯解析方法、装置、设备及介质 | |
| US20140244666A1 (en) | Systems and methods for preventing overload of an application | |
| CN114584346B (zh) | 日志流的处理方法、系统、终端设备及存储介质 | |
| CN113382010A (zh) | 基于协同入侵检测的大规模网络安全防御系统 | |
| Killer et al. | Threat management dashboard for a blockchain collaborative defense | |
| CN110650126A (zh) | 一种防网站流量攻击方法、装置以及智能终端、存储介质 | |
| CN106528267A (zh) | 基于Xen特权域的网络通信监控系统及方法 | |
| CN102932330A (zh) | 一种检测分布式拒绝服务攻击的方法和装置 | |
| US11425092B2 (en) | System and method for analytics based WAF service configuration | |
| CN113014555B (zh) | 一种攻击事件的确定方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |