CN111163073A - 流量数据处理方法和装置 - Google Patents

流量数据处理方法和装置 Download PDF

Info

Publication number
CN111163073A
CN111163073A CN201911351235.4A CN201911351235A CN111163073A CN 111163073 A CN111163073 A CN 111163073A CN 201911351235 A CN201911351235 A CN 201911351235A CN 111163073 A CN111163073 A CN 111163073A
Authority
CN
China
Prior art keywords
data
target object
flow
holiday
comparison result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911351235.4A
Other languages
English (en)
Inventor
张晔
沈捷
蒋东毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hillstone Networks Corp
Original Assignee
Hillstone Networks Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hillstone Networks Corp filed Critical Hillstone Networks Corp
Priority to CN201911351235.4A priority Critical patent/CN111163073A/zh
Publication of CN111163073A publication Critical patent/CN111163073A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425Traffic logging, e.g. anomaly detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/06Generation of reports
    • H04L43/067Generation of reports using time frame reporting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416Event detection, e.g. attack signature detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种流量数据处理方法和装置。该方法包括:获取被监测的网络流量数据;从被监测的网络流量数据中提取目标对象的流量数据;将目标对象的流量数据与目标对象的标准特征流量数据进行比对,得到比对结果,其中,目标对象的标准特征流量数据为通过预定数量的样本数据得到的,预定数量的样本数据包括工作日数据和假期数据;根据比对结果确定被监测的网络流量数据的产生时间的类型,其中,类型包括工作日或假期。通过本发明,达到了自动确定假期和工作日提高操作效率的效果。

Description

流量数据处理方法和装置
技术领域
本发明涉及通信领域,具体而言,涉及一种流量数据处理方法和装置。
背景技术
网络流量分析(Network Traffic Analysis)通过记录、审查和分析网络流量数据,检查网络在安全性、操作、管理或网络健康状况方面的状况,网络流量分析系统在一段时间内对所检测流量进行学习,构建其流量特征基线模型,在随后的检测过程中,将实际流量与基线模型对比,从而发现流量异常及恶意网络行为。周期性基线模型是一种常用的模型,由于企业业务和员工工作多以周单位,周常作为周期性模型的周期单位,在一周中工作日和双休日的流量会有较大区别,准确判定假期是分析和检测流量异常的必要条件,日历上的双休日和法定假期不一定适用于所有企业。
现有的解决方案是引用日历固定假期并结合管理员手动修改,以配合企业的运行节奏,但此方法流程繁琐,人为疏漏会导致网络异常的漏报或误报,降低了网络流量分析系统的防护效能。
相关技术中,采用的是基于日历的假期配置,人为输入或设备引用固定日历,指定双休日、假日等特殊日期,但是人为输入工作繁琐,固定日历不一定与企业的运营周期完全一致,任何疏漏或不匹配都会造成异常事件检测的误报或漏报,当错误地把工作日当作假期时,正常的业务流量会导致大量异常报警,但错误地把假期当作工作日时,不该出现的可疑流量会被认为正常,导致漏报。
针对相关技术中通过人工确定假期和工作日导致操作效率低的问题,目前尚未提出有效的解决方案。
发明内容
本发明的主要目的在于提供一种流量数据处理方法和装置,以解决通过人工确定假期和工作日导致操作效率低的问题。
为了实现上述目的,根据本发明的一个方面,提供了一种流量数据处理方法,该方法包括:获取被监测的网络流量数据;从所述被监测的网络流量数据中提取目标对象的流量数据;将所述目标对象的流量数据与所述目标对象的标准特征流量数据进行比对,得到比对结果,其中,所述目标对象的标准特征流量数据为通过预定数量的样本数据得到的,所述预定数量的样本数据包括工作日数据和假期数据;根据所述比对结果确定所述被监测的网络流量数据的产生时间的类型,其中,所述类型包括工作日或假期。
进一步地,在根据所述比对结果确定所述被监测的网络流量数据的产生时间的类型之后,所述方法还包括:监测新产生的网络流量数据;根据当前的时间类型和所述新产生的网络流量数据判断是否存在异常网络行为;在判断结果为是的情况下,发出报警信息。
进一步地,在将所述目标对象的流量数据与所述目标对象的标准特征流量数据进行比对,得到比对结果之前,所述方法还包括:监测所述预定数量的所述目标对象的流量数据作为样本数据;根据所述样本数据构造所述目标对象的标准特征流量基线,其中,所述目标对象的标准特征流量基线包括工作日基线和假期基线。
进一步地,将所述目标对象的流量数据与所述目标对象的标准特征流量数据进行比对,得到比对结果包括:将所述目标对象的流量数据与所述目标对象的标准特征流量基线进行比对,得到比对结果;在连续得到相同比对结果的次数超过预设阈值的情况下,将所述比对结果作为最终比对结果输出。
进一步地,监测所述预定数量的所述目标对象的流量数据作为样本数据包括:将多个终端或服务器的流量数据聚合后作为所述样本数据,其中,所述多个终端或服务器的流量数据在工作日和假期差距超过预设流量阈值。
为了实现上述目的,根据本发明的另一方面,还提供了一种流量数据处理装置,该装置包括:获取单元,用于获取被监测的网络流量数据;提取单元,用于从所述被监测的网络流量数据中提取目标对象的流量数据;比对单元,用于将所述目标对象的流量数据与所述目标对象的标准特征流量数据进行比对,得到比对结果,其中,所述目标对象的标准特征流量数据为通过预定数量的样本数据得到的,所述预定数量的样本数据包括工作日数据和假期数据;确定单元,用于根据所述比对结果确定所述被监测的网络流量数据的产生时间的类型,其中,所述类型包括工作日或假期。
进一步地,所述装置还包括:第一监测单元,用于在根据所述比对结果确定所述被监测的网络流量数据的产生时间的类型之后,监测新产生的网络流量数据;判断单元,用于根据当前的时间类型和所述新产生的网络流量数据判断是否存在异常网络行为;报警单元,用于在判断结果为是的情况下,发出报警信息。
进一步地,所述装置还包括:第二监测单元,用于在将所述目标对象的流量数据与所述目标对象的标准特征流量数据进行比对,得到比对结果之前,监测所述预定数量的所述目标对象的流量数据作为样本数据;构造单元,用于根据所述样本数据构造所述目标对象的标准特征流量基线,其中,所述目标对象的标准特征流量基线包括工作日基线和假期基线。
为了实现上述目的,根据本发明的另一方面,还提供了一种存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行本发明所述的流量数据处理方法。
为了实现上述目的,根据本发明的另一方面,还提供了一种设备,至少包括一个处理器,以及与所述处理器连接的至少一个存储器、总线,其中,所述处理器、所述存储器通过所述总线完成相互间的通信,所述处理器用于调用所述存储器中的程序指令,以执行本发明所述的流量数据处理方法
本发明通过获取被监测的网络流量数据;从被监测的网络流量数据中提取目标对象的流量数据;将目标对象的流量数据与目标对象的标准特征流量数据进行比对,得到比对结果,其中,目标对象的标准特征流量数据为通过预定数量的样本数据得到的,预定数量的样本数据包括工作日数据和假期数据;根据比对结果确定被监测的网络流量数据的产生时间的类型,其中,类型包括工作日或假期,解决了通过人工确定假期和工作日导致操作效率低的问题,进而达到了自动确定假期和工作日提高操作效率的效果。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的流量数据处理方法的流程图;
图2是根据本发明实施例的模块关系框图;
图3是本发明实施例的日期判定的流程图;
图4是根据本发明实施例的流量数据处理装置的示意图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例提供了一种流量数据处理方法。
图1是根据本发明实施例的流量数据处理方法的流程图,如图1所示,该方法包括以下步骤:
步骤S102:获取被监测的网络流量数据;
步骤S104:从被监测的网络流量数据中提取目标对象的流量数据;
步骤S106:将目标对象的流量数据与目标对象的标准特征流量数据进行比对,得到比对结果,其中,目标对象的标准特征流量数据为通过预定数量的样本数据得到的,预定数量的样本数据包括工作日数据和假期数据;
步骤S108:根据比对结果确定被监测的网络流量数据的产生时间的类型,其中,类型包括工作日或假期。
该实施例采用获取被监测的网络流量数据;从被监测的网络流量数据中提取目标对象的流量数据;将目标对象的流量数据与目标对象的标准特征流量数据进行比对,得到比对结果,其中,目标对象的标准特征流量数据为通过预定数量的样本数据得到的,预定数量的样本数据包括工作日数据和假期数据;根据比对结果确定被监测的网络流量数据的产生时间的类型,其中,类型包括工作日或假期,解决了通过人工确定假期和工作日导致操作效率低的问题,进而达到了自动确定假期和工作日提高操作效率的效果。
本发明实施例的方案中,被监测的网络流量数据可以是所有网络流量,例如一个公司的对内服务器中产生的流量和对外服务器中产生的流量,还可以包括其他需要监测的网络流量数据,从中可以仅提取对内流量或者对外流量,也可以两者都提取,或者仅提取符合某个条件的目标对象的流量数据,由于不同的流量数据在工作日和假期由显著不同,因而可以通过其工作日和假期的标准流量特征数据来比对得到当前的流量数据对应的是工作日或周末。
可选地,在根据比对结果确定被监测的网络流量数据的产生时间的类型之后,监测新产生的网络流量数据;根据当前的时间类型和新产生的网络流量数据判断是否存在异常网络行为;在判断结果为是的情况下,发出报警信息。
根据当前的时间类型和新产生的网络流量数据判断是否存在异常网络行为,例如,在判断出当前的时间是周末后,发现对内服务器流量数据较大,说明可能存在数据泄露等异常风险,这时候可发出报警信息,以便管理人员及时查看。
可选地,在将目标对象的流量数据与目标对象的标准特征流量数据进行比对,得到比对结果之前,监测预定数量的目标对象的流量数据作为样本数据;根据样本数据构造目标对象的标准特征流量基线,其中,目标对象的标准特征流量基线包括工作日基线和假期基线。
样本数据需要选取工作日和周末流量差距大的目标对象,这样可以提取整体的流量数据进行标准特征流量基线指定,例如连续一个月每个工作日流量超过A,则可以选择A为工作日流量基线,每个假期流量都小于B,则可以选取B为假期流量基线,其中,B需要远小于A。
可选地,将目标对象的流量数据与目标对象的标准特征流量数据进行比对,得到比对结果包括:将目标对象的流量数据与目标对象的标准特征流量基线进行比对,得到比对结果;在连续得到相同比对结果的次数超过预设阈值的情况下,将比对结果作为最终比对结果输出。
预设阈值可以是3,例如连续3次比对结果都超过预设工作日流量基线后,说明当前是工作日的概率更大,防止误判。
可选地,监测预定数量的目标对象的流量数据作为样本数据包括:将多个终端或服务器的流量数据聚合后作为样本数据,其中,多个终端或服务器的流量数据在工作日和假期差距超过预设流量阈值。
为了数据更加典型,选择工作日和假期流量数据差距大的目标对象来当样本数据,并且将多个终端或服务器的流量数据聚合后作为样本数据,防止单个对象的流量数据有波动影响判断结果。
下面结合一种优选实施方式对本发明的方案进行说明。
本实施例提供一种自动假期检测技术和系统设计,能够通过流量学习,自动识别当日为正常工作日还是假期,针对不同工作状态启动对应的基线模型,将基线模型用于对实际流量的监控,发现并报告流量异常。
整体架构由流量选择、工作日假期基线构造、日期判定和流量检测等4个模块构成。图2是根据本发明实施例的模块关系框图,如图2所示,各模块功能如下:
1、流量选择模块
本模块是通过对流量的检测自动分别工作日和假期的。企业网络上可能存在着多种类型的网络资产,例如对外服务器、对内服务器和个人主机等等,每种资产的流量特征在不同时间段可能有不同,例如在双休日和假期期间,对外媒体服务器的流量会高于工作日,而对内服务器和个人主机的流量在此期间会远远低于工作日或近乎于零。
流量选择模块从可以从众多流量中筛选出对工作日和假期敏感的流量,以提供模型构造和日期识别,此类流量称为假期识别流量,可选择的过滤条件包括但不限于接口、网段、网络协议和网络应用等等,流量选择需要具有群体效应,选择一类具有代表性的设备流量,避免使用一两个样本点,最简单的过滤条件可以是将监控的全部流量用于假期识别。
2、工作日假期基线构造模块
网络流量分析系统能够针对某一终端、服务器、协议以及应用采集多种流量数据参数,构建基线模型并检测网络异常行为,系统一般需要使用大量数据存储和复杂模型构造算法来完成以上任务。
工作日和假期的判定算法要较上述要求更为简单,在企业内部,大量用户终端和服务器在工作日和假期的网络行为有明显不同且彼此有很大的相似性,因此将所有终端或服务器的流量聚合后提取网络流量参数,仍然具有足够的的代表性,在流量选择模块上配置适合的流量过滤条件,假期识别流量转发至工作日假期基线构造模块,此模块学习并构造工作日和假期的两条基线,其基线数据将由假期判定模块使用。
工作日和假期基线构造的算法包括但不局限于以天为周期的每小时流量加和模型,工作日基线记录在工作日一天24小时每小时假期识别流量的特征;假期基线记录在假期内一天24小时每小时假期识别流量的特征,初始的工作日基线和假期基线可以通过学习期间观测,并由管理员人为选定,或管理员指定工作日流量特征的某个百分比为假期特征值。
鉴于假期识别流量每天输入到此模块,与其他流量基线一样,此模块可根据实际流量的变化调整这两条基线,使其自动跟踪业务流量的变化。
3、日期判定模块
日期判定模块使用工作日假期基线构造模块生成的工作日和假期基线,与实时的假期识别流量进行比较,自动判定当日为工作日还是假期,其判定结果输出到流量检测模块,作为判定流量异常的判据之一。
日期判定模块以一小时为单位运行如下流程:在每一整点时刻,模块构造过去一小时假期识别流量的流量特征,以此特征与对应时段的工作日和假期基线进行比较,特征符合工作日基线,符合假期基线,或者因对应时段两基线无差别而无定论,对应未定情况,流程回到起始点,等待下一个时段继续计算。
如果符合工作日基线,工作日计数加1,假期计数置0,继续检查是否已经多次判定为工作日(工作日计数>=3),是则日期判定置为工作日并输出到流量检测模块。
如果符合假期基线,假期计数加1,工作日计数置0,继续检查是否已经多次判定为假期(假期计数>=3),是则日期判定置为假期并输出到流量检测模块。
图3是本发明实施例的日期判定的流程图,如图3所示,此流程每小时执行一次,以24小时为一循环周期,循环周期的起始点可以定在上午8点,适合大多数企业的开始工作时间,但起始点的选择并不影响流程执行的正确性,根据系统所部署的行业,循环周期可延长或缩短,同一日期类型的多次判定次数也可以调整。
此模块的判定输出也会回送到工作日假期基线构造模块,以便该模块利用日期判定来指导其工作日和假期基线的动态学习和调整。
4、流量检测模块
流量检测模块针对管理员指定的终端、服务器、服务端口或应用,将实际观测到的流量特征与通过学习构造的基线进行比较,当实际值超越基线部分跨界时,产生异常流量报警。
流量检测模块针对被观测流量保存了工作日基线和假期基线,日期判定模块的输出决定此模块使用哪个基线与实际特征对比,选用正确的基线以保证对实时流量判断的正确性和对异常流量检测的敏感性。
在每一个日期检测循环周期起始点,流量检测模块可将日期判定缺省设置为工作日,当日期判定模块有输出时,再根据其输出进行调整。
另一实现方案是将前一天的日期判定作为下一个检测循环的初始值,同样根据日期判定模块的输出进行调整。
以上的技术方案完整的呈现了本发明中通过流量选择、工作日假期基线构造、日期判定和流量检测模块以及对应的流程和实现方法,实现了针对假期的自动识别,通过此发明,网络流量分析系统可自动识别工作日和假期,将对应的流量基线应用到实时流量检测中,从而保证有效地检测出异常网络行为并降低误报和漏报。
本实施例的应用场景举例:
场景1:某企业部署了网络流量分析系统,其业务系统周一至周六工作,周日进入维修状态,系统部署本发明后,可自动跟随其业务运行时段选择对应的基线,管理员不需要再输入标准日历后,再手动地将52个周六设置为工作日。
场景2:某企业部署了网络流量分析系统,该企业使用标准的周一至周五工作制,但某个周四周五全体员工外出团建两天,系统部署本发明后可自动识别出周四周五为假期,并使用假期基线进行流量检测,如有恶意软件发作或骇客入侵导致假期期间不该出现的网络行为,系统将报警。
场景3:网络流量分析系统部署于大学机房,每年寒假、暑假和其他假日的时段都有可能不同,在署本发明后,管理员不必根据不同的假期随时调整假期时间段,而是依靠本发明的自动识别功能,由系统自动辨别假期的开始和结束,并将此信息应用到异常流量检测中,大大降低了管理员的工作量。
本实施例的技术方案可以实现在管理员不参与的情况下,自动识别日期状态,从而保障安全防护不因人为疏忽而缺失,系统可自动识别工作日和假期,管理员无需进行繁琐的手动配置,减轻其工作量。广泛适用于一年之中假期较多且日期不定的场景,避免了由于部门间信息交互遗漏导致的安全隐患。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本发明实施例提供了一种流量数据处理装置,该装置可以用于执行本发明实施例的流量数据处理方法。
图4是根据本发明实施例的流量数据处理装置的示意图,如图4所示,该装置包括:
获取单元10,用于获取被监测的网络流量数据;
提取单元20,用于从被监测的网络流量数据中提取目标对象的流量数据;
比对单元30,用于将目标对象的流量数据与目标对象的标准特征流量数据进行比对,得到比对结果,其中,目标对象的标准特征流量数据为通过预定数量的样本数据得到的,预定数量的样本数据包括工作日数据和假期数据;
确定单元40,用于根据比对结果确定被监测的网络流量数据的产生时间的类型,其中,类型包括工作日或假期。
该实施例采用获取单元10,用于获取被监测的网络流量数据;提取单元20,用于从被监测的网络流量数据中提取目标对象的流量数据;比对单元30,用于将目标对象的流量数据与目标对象的标准特征流量数据进行比对,得到比对结果,其中,目标对象的标准特征流量数据为通过预定数量的样本数据得到的,预定数量的样本数据包括工作日数据和假期数据;确定单元40,用于根据比对结果确定被监测的网络流量数据的产生时间的类型,其中,类型包括工作日或假期,解决了通过人工确定假期和工作日导致操作效率低的问题,进而达到了自动确定假期和工作日提高操作效率的效果。
可选地,该装置还包括:第一监测单元,用于在根据比对结果确定被监测的网络流量数据的产生时间的类型之后,监测新产生的网络流量数据;判断单元,用于根据当前的时间类型和新产生的网络流量数据判断是否存在异常网络行为;报警单元,用于在判断结果为是的情况下,发出报警信息。
可选地,该装置还包括:第二监测单元,用于在将目标对象的流量数据与目标对象的标准特征流量数据进行比对,得到比对结果之前,监测预定数量的目标对象的流量数据作为样本数据;构造单元,用于根据样本数据构造目标对象的标准特征流量基线,其中,目标对象的标准特征流量基线包括工作日基线和假期基线。
所述流量数据处理装置包括处理器和存储器,上述获取单元、提取单元等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来自动确定假期和工作日提高操作效率。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
本发明实施例提供了一种存储介质,其上存储有程序,该程序被处理器执行时实现所述流量数据处理方法。
本发明实施例提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行所述流量数据处理方法。
本发明实施例提供了一种设备,设备包括至少一个处理器、以及与处理器连接的至少一个存储器、总线;其中,处理器、存储器通过总线完成相互间的通信;处理器用于调用存储器中的程序指令,以执行上述的流量数据处理方法。本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序:获取被监测的网络流量数据;从被监测的网络流量数据中提取目标对象的流量数据;将目标对象的流量数据与目标对象的标准特征流量数据进行比对,得到比对结果,其中,目标对象的标准特征流量数据为通过预定数量的样本数据得到的,预定数量的样本数据包括工作日数据和假期数据;根据比对结果确定被监测的网络流量数据的产生时间的类型,其中,类型包括工作日或假期。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种流量数据处理方法,其特征在于,包括:
获取被监测的网络流量数据;
从所述被监测的网络流量数据中提取目标对象的流量数据;
将所述目标对象的流量数据与所述目标对象的标准特征流量数据进行比对,得到比对结果,其中,所述目标对象的标准特征流量数据为通过预定数量的样本数据得到的,所述预定数量的样本数据包括工作日数据和假期数据;
根据所述比对结果确定所述被监测的网络流量数据的产生时间的类型,其中,所述类型包括工作日或假期。
2.根据权利要求1所述的方法,其特征在于,在根据所述比对结果确定所述被监测的网络流量数据的产生时间的类型之后,所述方法还包括:
监测新产生的网络流量数据;
根据当前的时间类型和所述新产生的网络流量数据判断是否存在异常网络行为;
在判断结果为是的情况下,发出报警信息。
3.根据权利要求1所述的方法,其特征在于,在将所述目标对象的流量数据与所述目标对象的标准特征流量数据进行比对,得到比对结果之前,所述方法还包括:
监测所述预定数量的所述目标对象的流量数据作为样本数据;
根据所述样本数据构造所述目标对象的标准特征流量基线,其中,所述目标对象的标准特征流量基线包括工作日基线和假期基线。
4.根据权利要求3所述的方法,其特征在于,将所述目标对象的流量数据与所述目标对象的标准特征流量数据进行比对,得到比对结果包括:
将所述目标对象的流量数据与所述目标对象的标准特征流量基线进行比对,得到比对结果;
在连续得到相同比对结果的次数超过预设阈值的情况下,将所述比对结果作为最终比对结果输出。
5.根据权利要求3所述的方法,其特征在于,监测所述预定数量的所述目标对象的流量数据作为样本数据包括:
将多个终端或服务器的流量数据聚合后作为所述样本数据,其中,所述多个终端或服务器的流量数据在工作日和假期差距超过预设流量阈值。
6.一种流量数据处理装置,其特征在于,包括:
获取单元,用于获取被监测的网络流量数据;
提取单元,用于从所述被监测的网络流量数据中提取目标对象的流量数据;
比对单元,用于将所述目标对象的流量数据与所述目标对象的标准特征流量数据进行比对,得到比对结果,其中,所述目标对象的标准特征流量数据为通过预定数量的样本数据得到的,所述预定数量的样本数据包括工作日数据和假期数据;
确定单元,用于根据所述比对结果确定所述被监测的网络流量数据的产生时间的类型,其中,所述类型包括工作日或假期。
7.根据权利要求6所述的装置,其特征在于,所述装置还包括:
第一监测单元,用于在根据所述比对结果确定所述被监测的网络流量数据的产生时间的类型之后,监测新产生的网络流量数据;
判断单元,用于根据当前的时间类型和所述新产生的网络流量数据判断是否存在异常网络行为;
报警单元,用于在判断结果为是的情况下,发出报警信息。
8.根据权利要求6所述的装置,其特征在于,所述装置还包括:
第二监测单元,用于在将所述目标对象的流量数据与所述目标对象的标准特征流量数据进行比对,得到比对结果之前,监测所述预定数量的所述目标对象的流量数据作为样本数据;
构造单元,用于根据所述样本数据构造所述目标对象的标准特征流量基线,其中,所述目标对象的标准特征流量基线包括工作日基线和假期基线。
9.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行权利要求1至5中任意一项所述的流量数据处理方法。
10.一种设备,其特征在于,所述设备至少包括一个处理器,以及与所述处理器连接的至少一个存储器、总线,其中,所述处理器、所述存储器通过所述总线完成相互间的通信,所述处理器用于调用所述存储器中的程序指令,以执行权利要求1至5中任意一项所述的流量数据处理方法。
CN201911351235.4A 2019-12-24 2019-12-24 流量数据处理方法和装置 Pending CN111163073A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911351235.4A CN111163073A (zh) 2019-12-24 2019-12-24 流量数据处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911351235.4A CN111163073A (zh) 2019-12-24 2019-12-24 流量数据处理方法和装置

Publications (1)

Publication Number Publication Date
CN111163073A true CN111163073A (zh) 2020-05-15

Family

ID=70557960

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911351235.4A Pending CN111163073A (zh) 2019-12-24 2019-12-24 流量数据处理方法和装置

Country Status (1)

Country Link
CN (1) CN111163073A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112214386A (zh) * 2020-09-30 2021-01-12 福建奇点时空数字科技有限公司 一种基于流量数据处理的服务器行为可视化管理方法
CN112436968A (zh) * 2020-11-23 2021-03-02 恒安嘉新(北京)科技股份公司 一种网络流量的监测方法、装置、设备及存储介质
CN117793783A (zh) * 2024-02-27 2024-03-29 深圳市英迈通信技术有限公司 一种5g手机数据流量监控方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105281966A (zh) * 2014-06-13 2016-01-27 腾讯科技(深圳)有限公司 网络设备的异常流量识别方法及相关装置
CN107871190A (zh) * 2016-09-23 2018-04-03 阿里巴巴集团控股有限公司 一种业务指标监控方法及装置
CN108550046A (zh) * 2018-03-07 2018-09-18 阿里巴巴集团控股有限公司 一种资源和营销推荐方法、装置及电子设备
CN109873790A (zh) * 2017-12-04 2019-06-11 中国电信股份有限公司 网络安全检测方法、装置以及计算机可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105281966A (zh) * 2014-06-13 2016-01-27 腾讯科技(深圳)有限公司 网络设备的异常流量识别方法及相关装置
CN107871190A (zh) * 2016-09-23 2018-04-03 阿里巴巴集团控股有限公司 一种业务指标监控方法及装置
CN109873790A (zh) * 2017-12-04 2019-06-11 中国电信股份有限公司 网络安全检测方法、装置以及计算机可读存储介质
CN108550046A (zh) * 2018-03-07 2018-09-18 阿里巴巴集团控股有限公司 一种资源和营销推荐方法、装置及电子设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112214386A (zh) * 2020-09-30 2021-01-12 福建奇点时空数字科技有限公司 一种基于流量数据处理的服务器行为可视化管理方法
CN112436968A (zh) * 2020-11-23 2021-03-02 恒安嘉新(北京)科技股份公司 一种网络流量的监测方法、装置、设备及存储介质
CN112436968B (zh) * 2020-11-23 2023-10-17 恒安嘉新(北京)科技股份公司 一种网络流量的监测方法、装置、设备及存储介质
CN117793783A (zh) * 2024-02-27 2024-03-29 深圳市英迈通信技术有限公司 一种5g手机数据流量监控方法和系统
CN117793783B (zh) * 2024-02-27 2024-04-26 深圳市英迈通信技术有限公司 一种5g手机数据流量监控方法和系统

Similar Documents

Publication Publication Date Title
US10776196B2 (en) Systems and methods for anomaly detection in a distributed computing system
CN109299135B (zh) 基于识别模型的异常查询识别方法、识别设备及介质
CN111163073A (zh) 流量数据处理方法和装置
CN111178760B (zh) 风险监测方法、装置、终端设备及计算机可读存储介质
CN111935172A (zh) 基于网络拓扑的网络异常行为检测方法、计算机装置及计算机可读存储介质
CN109947079A (zh) 基于边缘计算的区域异常检测方法和边缘计算设备
RU2017118317A (ru) Система и способ автоматического расчета кибер-риска в бизнес-критических приложениях
CN113176978B (zh) 基于日志文件的监控方法、系统、设备及可读存储介质
CN111131290B (zh) 流量数据处理方法和装置
JP6165224B2 (ja) アプリケーション層ログ分析を基礎とする情報セキュリティー管理システム及びその方法
CN108306846B (zh) 一种网络访问异常检测方法及系统
EP2936772B1 (en) Network security management
US9600391B2 (en) Operations management apparatus, operations management method and program
CN111694718A (zh) 内网用户异常行为识别方法、装置、计算机设备及可读存储介质
EP3343421A1 (en) System to detect machine-initiated events in time series data
CN108696486A (zh) 一种异常操作行为检测处理方法及装置
CN107465652B (zh) 一种操作行为检测方法、服务器及系统
CN110674149B (zh) 业务数据处理方法、装置、计算机设备和存储介质
CN110191097B (zh) 登录页面安全性的检测方法、系统、设备及存储介质
CN107766737B (zh) 一种数据库审计方法
CN113949652A (zh) 基于人工智能的用户异常行为检测方法、装置及相关设备
CN109598525B (zh) 数据处理方法和装置
CN109218062B (zh) 基于置信区间的互联网业务报警方法和装置
CN110958129A (zh) 流量分析的方法、系统和装置
KR101973728B1 (ko) 통합 보안 이상징후 모니터링 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200515

RJ01 Rejection of invention patent application after publication