CN107426055B - 异常流量监测方法、装置及计算机可读存储介质 - Google Patents

异常流量监测方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN107426055B
CN107426055B CN201710639714.0A CN201710639714A CN107426055B CN 107426055 B CN107426055 B CN 107426055B CN 201710639714 A CN201710639714 A CN 201710639714A CN 107426055 B CN107426055 B CN 107426055B
Authority
CN
China
Prior art keywords
monitoring
flow
current
data
monitoring data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710639714.0A
Other languages
English (en)
Other versions
CN107426055A (zh
Inventor
林浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nubia Technology Co Ltd
Original Assignee
Nubia Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nubia Technology Co Ltd filed Critical Nubia Technology Co Ltd
Priority to CN201710639714.0A priority Critical patent/CN107426055B/zh
Publication of CN107426055A publication Critical patent/CN107426055A/zh
Application granted granted Critical
Publication of CN107426055B publication Critical patent/CN107426055B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/02—Capturing of monitoring data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/16—Threshold monitoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H04L63/1458—Denial of Service

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Alarm Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种异常流量监测方法、装置及存储介质，旨在至少解决大量异常流量可能导致Flume中心集群负载过高的问题。所述方法包括：对当前监测数据进行解析，确定出所述当前监测数据对应的预设监测对象；读取所述监测对象的当前流量；判断所述当前流量是否达到预设流量配额；在判定达到所述流量配额时，丢弃所述当前监测数据。本发明可以有效解决数据采集端出现的短时间大量异常流量可能导致Flume中心集群负载过高，甚至停止服务的问题。

Description

异常流量监测方法、装置及计算机可读存储介质
技术领域
本发明涉及网络技术领域，尤其涉及一种异常流量监测方法、装置及计算机可读存储介质。
背景技术
在使用Flume(聚合和传输的系统)进行日志数据采集的阶段，通常无法控制采集端上报上来的数据量。当某个数据采集端出现异常，例如当上报的是Tomcat日志数据时，系统错误可能导致短时间内的大量日志数据产生。并且这类数据具有以下特点：数据量大、重复度高(一般是反复报同一个错误)。目前缺乏有效的针对Flume中心集群的异常流量监测方法。
然而，如果没有针对这部分异常流量进行及时处理至少具有如下缺陷：
(1)数据采集端出现的短时间大量异常流量可能导致Flume中心集群负载过高，甚至停止服务。
(2)这类异常流量出现时相关的维护人员无法知晓，失去了处理该类问题的最佳时机。
发明内容
本发明的主要目的在于提出一种异常流量监测方法、装置及存储介质，旨在至少解决大量异常流量可能导致Flume中心集群负载过高的问题。
为实现上述目的，本发明提供一种异常流量监测方法，所述方法包括：
对当前监测数据进行解析，确定出所述当前监测数据对应的预设监测对象；
读取所述监测对象的当前流量；
判断所述当前流量是否达到预设流量配额；
在判定达到所述流量配额时，丢弃所述当前监测数据。
可选地，所述对监测数据进行解析，确定出所述监测数据对应的预设监测对象之前，还包括：
从Flume中心集群的节点接收数据，将接收的数据作为所述监测数据。
具体地，所述从Flume中心集群的节点接收数据，将接收的数据作为所述监测数据之前，还包括：
在不同的服务器上分别搭建Flume组件；
基于搭建Flume组件的服务器组建所述Flume中心集群。
可选地，所述对当前监测数据进行解析，确定出所述当前监测数据对应的预设监测对象，包括：
对所述当前监测数据进行解析，获取标识所述当前监测数据的属性信息；
根据所述属性信息确定出对应的预设监测对象。
可选地，所述读取所述监测对象的当前流量，包括：
获取在先存储的所述监测对象的流量值；
记录所述当前监测数据占用的存储空间；
根据获取的流量值和所述占用的存储空间确定当前流量，并进行存储；
读取存储的当前流量。
具体地，所述根据获取的流量值和所述占用的存储空间确定当前流量，并进行存储，还包括：
将所述当前流量进行内存性键值存储。
可选地，所述方法还包括：
判断所述当前流量是否达到预设预警阈值；
在判定达到所述预警阈值时，发出监控预警。
具体地，所述预警阈值小于所述流量配额；所述方法还包括：
将所述流量配额存储于关系型数据库中，并进行内存性键值缓存。
此外，为实现上述目的，本发明还提出一种异常流量监测装置，所述装置包括存储器和处理器；所述存储器存储有异常流量监测计算机程序；所述处理器执行所述计算机程序以实现如上任意一项所述方法的步骤。
进一步，为实现上述目的，本发明还提出一种计算机可读存储介质，其特征在于，所述介质存储有异常流量监测计算机程序；所述计算机程序被至少一个处理器执行时，以实现如上任意一项所述方法的步骤。
本发明提出的异常流量监测方法、装置及介质，通过对当前监测数据进行解析，确定出所述当前监测数据对应的预设监测对象；从而读取所述监测对象的当前流量；同时判断所述当前流量是否达到预设流量配额；并在判定达到所述流量配额时，丢弃所述当前监测数据，从而可以有效解决数据采集端出现的短时间大量异常流量可能导致Flume中心集群负载过高，甚至停止服务的问题。
附图说明
图1为本发明实施例中一种异常流量监测方法的主流程图；
图2为本发明实施例二中一种异常流量监测方法的流程图；
图3为本发明实施例三中一种异常流量监测方法的流程图；
图4为本发明实施例四中一种异常流量监测方法的流程图；
图5为本发明实施例五中一种异常流量监测方法的流程图；
图6为本发明实施例中一种异常流量监测装置的结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。
终端可以以各种形式来实施。例如，本发明中描述的终端可以包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(Personal Digital Assistant，PDA)、便捷式媒体播放器(Portable Media Player，PMP)、导航装置、可穿戴设备、智能手环、计步器等移动终端，以及诸如数字TV、台式计算机等固定终端。
现有技术中一些日志中心项目，需要采集各个项目上报上来的日志。由于日志数据本身的特点，当系统出现异常时，可能会日志量突增，这个时候大量数据涌入Flume中心集群可能导致集群负载过高甚至宕机情况的出现。本发明针对Flume中心集群流量监测模块的引入，不仅对异常流量给运维人员进行预警，并防止Flume中心集群的负载过高情况。
实施例一
如图1所示，本发明实施例提供一种异常流量监测方法，所述方法包括：
S101，对当前监测数据进行解析，确定出所述当前监测数据对应的预设监测对象；
S102，读取所述监测对象的当前流量；
S103，判断所述当前流量是否达到预设流量配额；
S104，在判定达到所述流量配额时，丢弃所述当前监测数据。
本发明实施例通过对当前监测数据进行解析，确定出所述当前监测数据对应的预设监测对象；从而读取所述监测对象的当前流量；同时判断所述当前流量是否达到预设流量配额；并在判定达到所述流量配额时，丢弃所述当前监测数据，从而可以有效解决数据采集端出现的短时间大量异常流量可能导致Flume中心集群负载过高，甚至停止服务的问题。
本发明实施例中，监测数据是数据采集层会往Flume中心集群上报的数据。
本发明实施例中，监测对象可以是项目、模块等等。
本发明实施例中，流量配额为管理员对一个监测对象预先设置的流量额度。
当然在本发明实施例中的S104之后，还可以包括：
在判定未达到所述流量配额时，进行下一个监测数据的监测，也即是说，重新执行S101。
例如，采用本发明实施例中方法对浏览器项目进行监测，监测方法包括：
步骤1，Flume中心集群接收到数据采集层上报的数据，并作为监测数据。
步骤2，对监测数据进行解析，并且解析出监测数据对应的监测对象为浏览器项目。
步骤3，读取浏览器项目的当前流量。
详细说明本步骤。
假如在线存储的浏览器的流量为X，监测数据所占空间为Y，则当前流量为X+Y。
具体说，在先存储表示在接收到本条数据之前，存储的浏览器流量，比如，当第一次对监测数据进行异常流量判断时，在先存储的浏览器流量X1＝0，当前流量即为0+Y1；当第二次对监测数据进行异常流量判断时，在先存储的浏览器流量X2＝Y1，当前流量即为X1+Y2，以此类推，当第n次对监测数据进行异常流量判断时，在先存储的浏览器流量X＝Y1+Y2+…+Yn-1，当前流量即为X1+Yn。
步骤4，如果当前流量超过了流量配额，则说明监测数据为异常流量了，此时即可丢弃当前监测数据。
如果当前流量没有超过流量配额，则继续一个监测数据的判断；也就是说，从新执行步骤1。
又如，对一个APP的接收模块进行监测，包括：
步骤1，Flume中心集群接收到数据采集层上报的数据，并作为监测数据。
步骤2，对监测数据进行解析，并且解析出监测数据对应的监测对象为该APP的接收模块。
步骤3，读取接收模块的当前流量。
步骤4，如果当前流量超过了流量配额，则说明监测数据为异常流量了，此时即可丢弃当前监测数据。
如果当前流量没有超过流量配额，则继续一个监测数据的判断；也就是说，重新执行步骤1。
实施例二
如图2所示，本发明实施例提供一种异常流量监测方法，所述方法包括：
S201，从Flume中心集群的节点接收数据，将接收的数据作为所述监测数据；
S202，对当前监测数据进行解析，确定出所述当前监测数据对应的预设监测对象；
S203，读取所述监测对象的当前流量；
S204，判断所述当前流量是否达到预设流量配额；
S205，在判定达到所述流量配额时，丢弃所述当前监测数据。
也就是说，本发明实施例中数据采集层会持续往Flume中心集群上报数据，这条数据便有可能被Flume中心集群的节点A所接收。
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方(可定制)的能力。
本发明实施例中Flume中心集群是由分布在不同服务器上搭建的Flume组件所共同组成，用于提升集群总体处理能力。
也就是说，在不同的服务器上分别搭建Flume组件；
基于搭建Flume组件的服务器组建所述Flume中心集群。
实施例三
如图3所示，本发明实施例提供一种异常流量监测方法，所述方法包括：
S301，对当前监测数据进行解析，对所述当前监测数据进行解析，获取标识所述当前监测数据的属性信息；
S302，根据所述属性信息确定出对应的预设监测对象。
S303，读取所述监测对象的当前流量；
S304，判断所述当前流量是否达到预设流量配额；
S305，在判定达到所述流量配额时，丢弃所述当前监测数据。
当然，在本发明实施例中，所述对当前监测数据进行解析，对所述当前监测数据进行解析，获取标识所述当前监测数据的属性信息之前，还可以包括：
从Flume中心集群的节点接收数据，将接收的数据作为所述监测数据。
在本发明实施例中属性信息用来标识出监测数据的所属信息，例如监测数据所属的项目、模块等等。
属性信息可以根据实际情况设定，在此不做具体限定。
实施例四
如图4所示，本发明实施例中一种异常流量监测方法，所述方法包括：
S401，对当前监测数据进行解析，确定出所述当前监测数据对应的预设监测对象；
S402，获取在先存储的所述监测对象的流量值；
S403，记录所述当前监测数据占用的存储空间；
S404，根据获取的流量值和所述占用的存储空间确定当前流量，并进行存储；
S405，读取存储的当前流量；
S406，判断所述当前流量是否达到预设流量配额；
S407，在判定达到所述流量配额时，丢弃所述当前监测数据。
进一步说，所述根据获取的流量值和所述占用的存储空间确定当前流量，并进行存储，还可以包括：
将所述当前流量进行内存性键值存储。
实施例五
如图5所示，本发明实施例中一种异常流量监测方法，所述方法包括：
S501，对当前监测数据进行解析，确定出所述当前监测数据对应的预设监测对象；
S502，读取所述监测对象的当前流量；
S503，判断所述当前流量是否达到预设预警阈值；
S504，在判定达到所述预警阈值时，发出监控预警；
S505，进一步判断所述当前流量是否达到预设流量配额；
S506，在判定达到所述流量配额时，丢弃所述当前监测数据。
进一步说，将所述流量配额存储于关系型数据库中，并进行内存性键值缓存。
本发明实施例通过判断所述当前流量是否达到预设预警阈值；在判定达到所述预警阈值时，发出监控预警；从而能够对超过流量阈值的监测对象，进行监测预警，及时通知相关运维人员，从而进一步对Flume中心集群中超过流量配额的监测对象，进行限制，防止压垮Flume中心集群。
在本发明实施例中，流量阈值指的是触发流量超标预警的额度，用于发送预警提示运维人员进行处理，其通常情况由另一后台管理系统进行管理，并保存于永久存储中。
在本发明实施例中，监控预警指的是给该检测对象的维护人员发送诸如邮件、短信等警告信息。
其中，流量阈值可设为流量配额(简称为配额)的80％。
举例说明.
例如，采用本发明实施例中方法对浏览器项目进行监测，监测方法包括：
步骤1，Flume中心集群接收到数据采集层上报的数据，并作为监测数据。
步骤2，对监测数据进行解析，并且解析出监测数据对应的监测对象为浏览器项目。
步骤3，读取浏览器项目的当前流量。
步骤4，判断所述当前流量是否达到预设预警阈值；
步骤5，在判定达到所述预警阈值时，发出监控预警；此时，说明当前监测数据可能为异常流量，因此向相应的运维人员发出监控预警后，从而可以有效的辅助运维人员进行异常流量的处理，从而可以进一步对Flume中心集群中超过流量配额的监测对象，进行限制，防止压垮Flume中心集群。
步骤6，进一步，判断如果当前流量超过了流量配额，则说明监测数据为异常流量了，此时即可丢弃当前监测数据。
如果当前流量没有超过流量配额，则继续一个监测数据的判断；也就是说，从新执行步骤1。
又如，对一个APP的接收模块进行监测，包括：
步骤1，Flume中心集群接收到数据采集层上报的数据，并作为监测数据。
步骤2，对监测数据进行解析，并且解析出监测数据对应的监测对象为该APP的接收模块。
步骤3，读取接收模块的当前流量。
步骤4，判断所述当前流量是否达到预设预警阈值；
步骤5，在判定达到所述预警阈值时，发出监控预警；此时，说明当前监测数据可能为异常流量，因此向相应的运维人员发出监控预警后，从而可以有效的辅助运维人员进行异常流量的处理，从而可以进一步对Flume中心集群中超过流量配额的监测对象，进行限制，防止压垮Flume中心集群
步骤6，进一步判断，如果当前流量超过了流量配额，则说明监测数据为异常流量了，此时即可丢弃当前监测数据。
如果当前流量没有超过流量配额，则继续一个监测数据的判断；也就是说，重新执行步骤1。
实施例六
本发明实施例举一具体应用例详细描述本发明中方法。
本发明实施例中一种异常流量监测方法，包括：
步骤1、获取监测数据。
具体说，数据采集层会持续往Flume中心集群上报数据，为了便于说明，以一条数据为例进行说明，同时假设这条数据被Flume中心集群的节点A所接收。
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方(可定制)的能力。
进一步说，Flume中心集群是由分布在不同服务器上搭建的Flume组件所共同组成，用于提升集群总体处理能力。
本步骤中，Flume中心集群的节点A的Source模块接收到一条从数据采集层上报的数据data，并发往流量监测模块。
步骤2、流量监测模块解析该条数据。
具体地，流量监测模块首先对该条数据进行解析，获取标识该条数据所属信息(即属性信息)。例如该条信息所属的项目、模块等，也就是用于将该条数据归属到某一监测对象中。其中，流量监测模块是一个Flume Interceptor(流量拦截器)。
步骤3、持久化监测数据。
具体地，将该条监测数据所占空间进行记录，通常是byte数。并读取出在先存储中该监测对象的流量数值，将两者进行相加并存储。
可选地，上述监测数据存储可以为内存型KV存储，例如Redis，其具有读写快的优点。
步骤4、判定监测对象流量是否达到预警阈值。
具体地，从步骤3中所述监测数据存储中读取当前监测对象的流量值，并读取管理员配置的预警阈值，检查前者是否已经超过后者，如果超过则触发监控预警。
其中监控预警指的是给该检测对象的维护人员发送诸如邮件、短信等警告信息。
预警阈值指的是触发流量超标预警的额度，用于发送预警提示运维人员进行处理，其通常情况由另一后台管理系统进行管理，并保存于永久存储中。
可选地，流量阈值可设为流量配额的80％。
步骤5、判定监测对象流量是否达到流量配额。
具体地，从步骤3中所述监测数据存储中读取当前监测对象的当前流量值，并读取管理员配置的流量配额，检查前者是否已经超过后者，如果超过则不执行后续处理，直接丢弃该条数据，并返回步骤1继续执行。如果没有超过，则执行步骤6。
其中流量配额可以由另一后台管理系统进行管理，并保存于永久存储中。
可选地，流量配额可存储于关系型数据MySQL中，并缓存于内存型KV存储Redis中，实际读取则先从Redis中读取，如果获取不到再读取MySQL数据库。
步骤6、执行持久化等进一步操作。
具体地，由于监测对象的流量未超标，可继续执行业务流程操作。该步骤完成后重复步骤1，继续读取下一条数据，如此反复循环。
通常情况下，上述业务流程操作为执行对采集对象的持久化操作。
实施例七
如图6所示，本发明实施例中一种异常流量监测装置，包括存储器和处理器；所述存储器存储有异常流量监测计算机程序；所述处理器执行所述计算机程序以实现如上任意实施例所述方法的步骤。
具体说，发明实施例中一种异常流量监测装置，包括存储器和处理器；所述存储器存储有异常流量监测计算机程序；所述处理器执行所述计算机程序以实现如下步骤：
对当前监测数据进行解析，确定出所述当前监测数据对应的预设监测对象；
读取所述监测对象的当前流量；
判断所述当前流量是否达到预设流量配额；
在判定达到所述流量配额时，丢弃所述当前监测数据。
本发明实施例通过对当前监测数据进行解析，确定出所述当前监测数据对应的预设监测对象；从而读取所述监测对象的当前流量；同时判断所述当前流量是否达到预设流量配额；并在判定达到所述流量配额时，丢弃所述当前监测数据，从而可以有效解决数据采集端出现的短时间大量异常流量可能导致Flume中心集群负载过高，甚至停止服务的问题。
可选地，所述对监测数据进行解析，确定出所述监测数据对应的预设监测对象之前，还包括：
从Flume中心集群的节点接收数据，将接收的数据作为所述监测数据。
具体地，所述从Flume中心集群的节点接收数据，将接收的数据作为所述监测数据之前，还包括：
在不同的服务器上分别搭建Flume组件；
基于搭建Flume组件的服务器组建所述Flume中心集群。
可选地，所述对当前监测数据进行解析，确定出所述当前监测数据对应的预设监测对象，包括：
对所述当前监测数据进行解析，获取标识所述当前监测数据的属性信息；
根据所述属性信息确定出对应的预设监测对象。
可选地，所述读取所述监测对象的当前流量，包括：
获取在先存储的所述监测对象的流量值；
记录所述当前监测数据占用的存储空间；
根据获取的流量值和所述占用的存储空间确定当前流量，并进行存储；
读取存储的当前流量。
具体地，所述根据获取的流量值和所述占用的存储空间确定当前流量，并进行存储，还包括：
将所述当前流量进行内存性键值存储。
可选地，所述方法还包括：
判断所述当前流量是否达到预设预警阈值；
在判定达到所述预警阈值时，发出监控预警。
本发明实施例通过判断所述当前流量是否达到预设预警阈值；在判定达到所述预警阈值时，发出监控预警；从而能够对超过流量阈值的监测对象，进行监测预警，及时通知相关运维人员，从而进一步对Flume中心集群中超过流量配额的监测对象，进行限制，防止压垮Flume中心集群。
具体地，所述预警阈值小于所述流量配额；所述方法还包括：
将所述流量配额存储于关系型数据库中，并进行内存性键值缓存。
实施例八
如图6所示，发明实施例中一种异常流量监测装置，包括存储器和处理器；所述存储器存储有异常流量监测计算机程序；所述处理器执行所述计算机程序以实现如下步骤：
从Flume中心集群的节点接收数据，将接收的数据作为所述监测数据；
对当前监测数据进行解析，确定出所述当前监测数据对应的预设监测对象；
读取所述监测对象的当前流量；
判断所述当前流量是否达到预设流量配额；
在判定达到所述流量配额时，丢弃所述当前监测数据。
实施例九
如图6所示，发明实施例中一种异常流量监测装置，包括存储器和处理器；所述存储器存储有异常流量监测计算机程序；所述处理器执行所述计算机程序以实现如下步骤：
在不同的服务器上分别搭建Flume组件；
基于搭建Flume组件的服务器组建所述Flume中心集群；
从Flume中心集群的节点接收数据，将接收的数据作为所述监测数据；
对当前监测数据进行解析，确定出所述当前监测数据对应的预设监测对象；
读取所述监测对象的当前流量；
判断所述当前流量是否达到预设流量配额；
在判定达到所述流量配额时，丢弃所述当前监测数据。
实施例十
如图6所示，发明实施例中一种异常流量监测装置，包括存储器和处理器；所述存储器存储有异常流量监测计算机程序；所述处理器执行所述计算机程序以实现如下步骤：
对当前监测数据进行解析，获取标识所述当前监测数据的属性信息；
根据所述属性信息确定出对应的预设监测对象；
读取所述监测对象的当前流量；
判断所述当前流量是否达到预设流量配额；
在判定达到所述流量配额时，丢弃所述当前监测数据。
实施例十一
如图6所示，发明实施例中一种异常流量监测装置，包括存储器和处理器；所述存储器存储有异常流量监测计算机程序；所述处理器执行所述计算机程序以实现如下步骤：
对当前监测数据进行解析，获取标识所述当前监测数据的属性信息；
根据所述属性信息确定出对应的预设监测对象；
获取在先存储的所述监测对象的流量值；
记录所述当前监测数据占用的存储空间；
根据获取的流量值和所述占用的存储空间确定当前流量，并进行存储；
读取存储的当前流量；
判断所述当前流量是否达到预设流量配额；
在判定达到所述流量配额时，丢弃所述当前监测数据。
进一步说，
所述根据获取的流量值和所述占用的存储空间确定当前流量，并进行存储，还包括：
将所述当前流量进行内存性键值存储。
实施例十二
如图6所示，本发明实施例中一种异常流量监测装置，包括存储器和处理器；所述存储器存储有异常流量监测计算机程序；所述处理器执行所述计算机程序以实现如下步骤：
对当前监测数据进行解析，确定出所述当前监测数据对应的预设监测对象；
读取所述监测对象的当前流量；
判断所述当前流量是否达到预设预警阈值；
在判定达到所述预警阈值时，发出监控预警；
进一步判断所述当前流量是否达到预设流量配额；
在判定达到所述流量配额时，丢弃所述当前监测数据。
本发明实施例通过判断所述当前流量是否达到预设预警阈值；在判定达到所述预警阈值时，发出监控预警；从而能够对超过流量阈值的监测对象，进行监测预警，及时通知相关运维人员，从而进一步对Flume中心集群中超过流量配额的监测对象，进行限制，防止压垮Flume中心集群。
实施例十三
本发明实施例提供一种计算机可读存储介质，所述介质存储有异常流量监测计算机程序；所述计算机程序被至少一个处理器执行时，以实现如上任意一方法实施例的步骤。
具体说，本发明实施例提供一种计算机可读存储介质，所述介质存储有异常流量监测计算机程序；所述计算机程序被至少一个处理器执行时，以实现如下步骤：
对当前监测数据进行解析，确定出所述当前监测数据对应的预设监测对象；
读取所述监测对象的当前流量；
判断所述当前流量是否达到预设流量配额；
在判定达到所述流量配额时，丢弃所述当前监测数据。
本发明实施例通过对当前监测数据进行解析，确定出所述当前监测数据对应的预设监测对象；从而读取所述监测对象的当前流量；同时判断所述当前流量是否达到预设流量配额；并在判定达到所述流量配额时，丢弃所述当前监测数据，从而可以有效解决数据采集端出现的短时间大量异常流量可能导致Flume中心集群负载过高，甚至停止服务的问题。
可选地，所述对监测数据进行解析，确定出所述监测数据对应的预设监测对象之前，还包括：
从Flume中心集群的节点接收数据，将接收的数据作为所述监测数据。
具体地，所述从Flume中心集群的节点接收数据，将接收的数据作为所述监测数据之前，还包括：
在不同的服务器上分别搭建Flume组件；
基于搭建Flume组件的服务器组建所述Flume中心集群。
可选地，所述对当前监测数据进行解析，确定出所述当前监测数据对应的预设监测对象，包括：
对所述当前监测数据进行解析，获取标识所述当前监测数据的属性信息；
根据所述属性信息确定出对应的预设监测对象。
可选地，所述读取所述监测对象的当前流量，包括：
获取在先存储的所述监测对象的流量值；
记录所述当前监测数据占用的存储空间；
根据获取的流量值和所述占用的存储空间确定当前流量，并进行存储；
读取存储的当前流量。
具体地，所述根据获取的流量值和所述占用的存储空间确定当前流量，并进行存储，还包括：
将所述当前流量进行内存性键值存储。
可选地，所述方法还包括：
判断所述当前流量是否达到预设预警阈值；
在判定达到所述预警阈值时，发出监控预警。
本发明实施例通过判断所述当前流量是否达到预设预警阈值；在判定达到所述预警阈值时，发出监控预警；从而能够对超过流量阈值的监测对象，进行监测预警，及时通知相关运维人员，从而进一步对Flume中心集群中超过流量配额的监测对象，进行限制，防止压垮Flume中心集群。
具体地，所述预警阈值小于所述流量配额；所述方法还包括：
将所述流量配额存储于关系型数据库中，并进行内存性键值缓存。
实施例十四
本发明实施例提供一种计算机可读存储介质，所述介质存储有异常流量监测计算机程序；所述计算机程序被至少一个处理器执行时，以实现如下步骤：
从Flume中心集群的节点接收数据，将接收的数据作为所述监测数据；
对当前监测数据进行解析，确定出所述当前监测数据对应的预设监测对象；
读取所述监测对象的当前流量；
判断所述当前流量是否达到预设流量配额；
在判定达到所述流量配额时，丢弃所述当前监测数据。
实施例十五
本发明实施例提供一种计算机可读存储介质，所述介质存储有异常流量监测计算机程序；所述计算机程序被至少一个处理器执行时，以实现如下步骤：
对所述当前监测数据进行解析，获取标识所述当前监测数据的属性信息；
根据所述属性信息确定出对应的预设监测对象；
读取所述监测对象的当前流量；
判断所述当前流量是否达到预设流量配额；
在判定达到所述流量配额时，丢弃所述当前监测数据。
实施例十六
本发明实施例提供一种计算机可读存储介质，所述介质存储有异常流量监测计算机程序；所述计算机程序被至少一个处理器执行时，以实现如下步骤：
对当前监测数据进行解析，确定出所述当前监测数据对应的预设监测对象；
获取在先存储的所述监测对象的流量值；
记录所述当前监测数据占用的存储空间；
根据获取的流量值和所述占用的存储空间确定当前流量，并进行存储；
读取存储的当前流量；
判断所述当前流量是否达到预设流量配额；
在判定达到所述流量配额时，丢弃所述当前监测数据。
实施例十七
本发明实施例提供一种计算机可读存储介质，所述介质存储有异常流量监测计算机程序；所述计算机程序被至少一个处理器执行时，以实现如下步骤：
对当前监测数据进行解析，确定出所述当前监测数据对应的预设监测对象；
读取所述监测对象的当前流量；
判断所述当前流量是否达到预设预警阈值；
在判定达到所述预警阈值时，发出监控预警；
进一步判断所述当前流量是否达到预设流量配额；
在判定达到所述流量配额时，丢弃所述当前监测数据。
本发明实施例中计算机可读存储介质可以是RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动硬盘、CD-ROM或者本领域已知的任何其他形式的存储介质。可以将一种存储介质藕接至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息；或者该存储介质可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路中。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (8)

1.一种异常流量监测方法，其特征在于，所述方法包括：
对当前监测数据进行解析，确定出所述当前监测数据对应的预设监测对象；
读取所述监测对象的当前流量；
将所述当前流量进行内存性键值存储；
对超过预警阈值的检测对象进行监测预警；
判断所述当前流量是否达到预设流量配额；
在判定达到所述流量配额时，丢弃所述当前监测数据；
其中，预警阈值为流量配额的80%；
将所述流量配额存储于关系型数据库中，并进行内存性键值缓存。
2.如权利要求1所述的方法，其特征在于，对监测数据进行解析，确定出所述监测数据对应的预设监测对象之前，还包括：
从Flume中心集群的节点接收数据，将接收的数据作为所述监测数据。
3.如权利要求2所述的方法，其特征在于，所述从Flume中心集群的节点接收数据，将接收的数据作为所述监测数据之前，还包括：
在不同的服务器上分别搭建Flume组件；
基于搭建Flume组件的服务器组建所述Flume中心集群。
4.如权利要求1所述的方法，其特征在于，所述对当前监测数据进行解析，确定出所述当前监测数据对应的预设监测对象，包括：
对所述当前监测数据进行解析，获取标识所述当前监测数据的属性信息；
根据所述属性信息确定出对应的预设监测对象。
5.如权利要求1所述的方法，其特征在于，所述读取所述监测对象的当前流量，包括：
获取在先存储的所述监测对象的流量值；
记录所述当前监测数据占用的存储空间；
根据获取的流量值和所述占用的存储空间确定当前流量，并进行存储；
读取存储的当前流量。
6.如权利要求1-5中任意一项所述的方法，其特征在于，所述方法还包括：
判断所述当前流量是否达到预设预警阈值；
在判定达到所述预警阈值时，发出监控预警。
7.一种异常流量监测装置，其特征在于，所述装置包括存储器和处理器；所述存储器存储有异常流量监测计算机程序；所述处理器执行所述计算机程序以实现如权利要求1-6中任意一项所述方法的步骤。
8.一种计算机可读存储介质，其特征在于，所述介质存储有异常流量监测计算机程序；所述计算机程序被至少一个处理器执行时，以实现如权利要求1-6中任意一项所述方法的步骤。
CN201710639714.0A 2017-07-31 2017-07-31 异常流量监测方法、装置及计算机可读存储介质 Active CN107426055B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710639714.0A CN107426055B (zh) 2017-07-31 2017-07-31 异常流量监测方法、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710639714.0A CN107426055B (zh) 2017-07-31 2017-07-31 异常流量监测方法、装置及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN107426055A CN107426055A (zh) 2017-12-01
CN107426055B true CN107426055B (zh) 2021-09-07

Family

ID=60431427

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710639714.0A Active CN107426055B (zh) 2017-07-31 2017-07-31 异常流量监测方法、装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN107426055B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108295408A (zh) * 2017-12-27 2018-07-20 国家电网公司 灭火器监管方法、系统及终端设备
CN108471387B (zh) * 2018-03-27 2022-10-21 中国农业银行股份有限公司 一种日志流量分散控制方法及系统
CN109032884B (zh) * 2018-06-11 2021-05-28 平安科技（深圳）有限公司 一种监控数据的处理方法、服务器及计算机可读存储介质
CN109379719B (zh) * 2018-11-26 2021-11-16 努比亚技术有限公司 一种应用程序广播处理方法、设备及计算机可读存储介质
CN111277640B (zh) * 2020-01-17 2022-03-01 平安科技（深圳）有限公司 用户请求处理方法、装置、系统、计算机设备和存储介质
CN113309990B (zh) * 2021-05-28 2023-01-03 深圳四维集思技术服务有限公司 一种管道的检测预警方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101384054A (zh) * 2007-09-04 2009-03-11 中兴通讯股份有限公司 一种通过性能数据监测网络异常情况的方法
CN105094881A (zh) * 2014-05-23 2015-11-25 中兴通讯股份有限公司 一种终端以及管理终端应用的方法
CN105471663A (zh) * 2014-08-18 2016-04-06 中兴通讯股份有限公司 网络异常的检测方法、装置、通信网络检测装置及系统
CN105939234A (zh) * 2016-06-15 2016-09-14 乐视控股（北京）有限公司 数据监控方法及装置
CN106790565A (zh) * 2016-12-27 2017-05-31 中国电子科技集团公司第五十二研究所 一种网络附属存储集群系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0978202A2 (en) * 1998-02-20 2000-02-09 Koninklijke Philips Electronics N.V. Method in a selective call system including a primary station with means for sending a qualifying call from which data can be determined at a secondary station
CN102546202A (zh) * 2010-12-17 2012-07-04 无锡江南计算技术研究所 一种无限带宽网络流量监控方法、装置及系统
CN102833156B (zh) * 2012-08-07 2015-08-19 北京经纬恒润科技有限公司 一种网络数据的处理方法及装置
CN102970349B (zh) * 2012-11-02 2015-11-25 上海交通大学 一种dht网络的存储负载均衡方法
CN106330951B (zh) * 2016-09-14 2019-11-19 北京神州绿盟信息安全科技股份有限公司 一种网络防护方法、装置和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101384054A (zh) * 2007-09-04 2009-03-11 中兴通讯股份有限公司 一种通过性能数据监测网络异常情况的方法
CN105094881A (zh) * 2014-05-23 2015-11-25 中兴通讯股份有限公司 一种终端以及管理终端应用的方法
CN105471663A (zh) * 2014-08-18 2016-04-06 中兴通讯股份有限公司 网络异常的检测方法、装置、通信网络检测装置及系统
CN105939234A (zh) * 2016-06-15 2016-09-14 乐视控股（北京）有限公司 数据监控方法及装置
CN106790565A (zh) * 2016-12-27 2017-05-31 中国电子科技集团公司第五十二研究所 一种网络附属存储集群系统

Also Published As

Publication number Publication date
CN107426055A (zh) 2017-12-01

Similar Documents

Publication Publication Date Title
CN107426055B (zh) 异常流量监测方法、装置及计算机可读存储介质
US8738721B1 (en) System and method for detecting spam using clustering and rating of E-mails
CN110347716B (zh) 日志数据处理方法、装置、终端设备及存储介质
CN112636957B (zh) 基于日志的预警方法、装置、服务器及存储介质
CN107172171B (zh) 一种服务请求处理方法、装置及计算机可读存储介质
CN109885453B (zh) 基于流数据处理的大数据平台监控系统
US20120296898A1 (en) Efficient Publication of Sparse Data
CN110191109B (zh) 一种报文采样方法及装置
CN113392082A (zh) 一种日志去重方法、装置、电子设备及存储介质
US20160248724A1 (en) Social Message Monitoring Method and Apparatus
CN110647472A (zh) 崩溃信息统计方法、装置、计算机设备及存储介质
WO2016165542A1 (zh) 缓存命中率分析的方法及设备
CN111970168A (zh) 全链路服务节点的监控方法、装置和存储介质
CN114662772A (zh) 交通噪音预警方法、模型训练方法、装置、设备及介质
EP4075749A1 (en) Detection method and detection device for heavy flow data stream
CN104065617A (zh) 一种骚扰邮件处理方法、装置和系统
CN111782621A (zh) 一种业务应用日志处理方法及装置
CN107025148B (zh) 一种海量数据的处理方法和装置
CN110780820A (zh) 一种连续存储空间确定方法、装置及电子设备和存储介质
CN113722183A (zh) 日志告警方法、装置及电子设备
CN109710552B (zh) 总线传输质量评估方法、系统和计算机存储介质
CN112235312A (zh) 一种安全事件的可信度确定方法、装置及电子设备
CN107171944B (zh) 垃圾邮件的识别方法及装置
CN107025266B (zh) 业务数据的处理方法和装置
CN109388546B (zh) 处理应用程序的故障的方法、装置和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant