CN112615857A - 网络数据处理方法、装置与系统 - Google Patents

网络数据处理方法、装置与系统 Download PDF

Info

Publication number
CN112615857A
CN112615857A CN202011494272.3A CN202011494272A CN112615857A CN 112615857 A CN112615857 A CN 112615857A CN 202011494272 A CN202011494272 A CN 202011494272A CN 112615857 A CN112615857 A CN 112615857A
Authority
CN
China
Prior art keywords
traffic
data
network
flow
snapshot data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011494272.3A
Other languages
English (en)
Other versions
CN112615857B (zh
Inventor
董瑞光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou DPTech Technologies Co Ltd
Original Assignee
Hangzhou DPTech Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou DPTech Technologies Co Ltd filed Critical Hangzhou DPTech Technologies Co Ltd
Priority to CN202011494272.3A priority Critical patent/CN112615857B/zh
Publication of CN112615857A publication Critical patent/CN112615857A/zh
Application granted granted Critical
Publication of CN112615857B publication Critical patent/CN112615857B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441Countermeasures against malicious traffic
    • H04L63/1458Denial of Service
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0631Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本公开提供一种网络数据处理方法、装置与系统。网络数据处理方法包括:响应网络攻击告警信号在流量快照数据集中获取目标流量快照数据;根据所述网络攻击告警信号及其对应的所述目标流量快照数据生成并存储告警流量快照数据。本公开实施例可以提高筛选网络攻击流量的效率。

Description

网络数据处理方法、装置与系统
技术领域
本公开涉及互联网技术领域,具体而言,涉及一种网络数据处理方法、装置与系统。
背景技术
DDOS(Distributed Denial of Service,分布式拒绝服务)攻击是指处于不同位置的多个攻击者同时向一个或数个攻击目标发动攻击,或者一个攻击者控制了位于不同位置的多台机器并利用这些机器对受害者同时实施攻击的网络攻击行为。
为了及时检测目标网络遭受的DDOS攻击和网络流量情况,相关技术采用流量快照数据来保存目标网络的网络流量,并在后续分析过程中,通过对全部流量快照数据进行统计分析,排查DDOS攻击时间段,以及在该攻击时间段内的攻击总流量、流量峰值等数据,以便制定更加正确的应对策略。
但是,由于流量快照数据数量庞大,查询时往往占用大量时间,统计效率极低。如果在自定义时间维度聚合出累计数据进行分析以提高统计效率,又容易导致遗漏攻击流量或者将非攻击流量统计到该时间维度中作为攻击流量的累加值,造成分析不准确。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种网络数据处理方法、装置与系统,用于至少在一定程度上克服由于相关技术的限制和缺陷而导致的网络攻击数据统计效率低或者不准确的问题。
根据本公开实施例的第一方面,提供一种网络数据处理方法,包括:响应网络攻击告警信号在流量快照数据集中获取目标流量快照数据;根据所述网络攻击告警信号及其对应的所述目标流量快照数据生成并存储告警流量快照数据。
在本公开的一种示例性实施例中,还包括:
响应对应目标告警信号种类的流量查询请求,返回与所述目标告警信号种类对应的告警流量快照数据。
在本公开的一种示例性实施例中,所述根据所述网络攻击告警信号及其对应的所述目标流量快照数据生成并存储告警流量快照数据包括:
将所述网络攻击告警信号的告警信号种类识别符写入所述告警流量快照数据的信息头节点。
在本公开的一种示例性实施例中,所述响应网络攻击告警信号在流量快照数据集中获取目标流量快照数据包括:
根据所述网络攻击告警信号确定告警流量对应的源IP地址、流量类型、目的IP地址;
获取流量数据集中的多条流量快照数据;
在所述多条流量快照数据中确定对应所述源IP地址、所述流量类型、所述目的IP地址的目标流量快照数据。
在本公开的一种示例性实施例中,所述获取流量数据集中的多条流量快照数据包括:
在所述流量快照数据集中获取当前时间之前预设时间段内的多条流量快照数据。
根据本公开的第二方面,提供一种网络数据处理系统,包括:
流量检测装置,用于持续接收网络流量,生成流量快照数据,并在所述网络流量符合预设条件时发送网络攻击告警信号;
数据处理装置,连接所述流量检测装置,用于根据所述流量快照数据生成流量数据集,以及响应所述网络攻击告警信号执行如上任一项所述的方法生成并存储告警流量快照数据;
数据库,连接所述流量检测装置和所述数据处理装置,用于存储所述流量数据集以及是告警流量快照数据。
在本公开的一种示例性实施例中,所述流量检测装置设置为:
当预设流量类型的流量在预设时长内的数量超过预设阈值时,在每条新的所述预设流量类型的流量到达时,发送与所述预设流量类型对应的网络攻击告警信号;
当检测到所述预设时长内所述预设流量类型的流量不超过所述预设阈值时,停止发送所述网络攻击告警信号。
根据本公开实施例的第三方面,提供一种网络数据处理装置,包括:
数据筛选模块,设置为响应网络攻击告警信号在流量快照数据集中获取目标流量快照数据;
数据生成模块,设置为根据所述网络攻击告警信号及其对应的所述目标流量快照数据生成并存储告警流量快照数据。
根据本公开的第四方面,提供一种电子设备,包括:存储器;以及耦合到所属存储器的处理器,所述处理器被配置为基于存储在所述存储器中的指令,执行如上述任意一项所述的网络数据处理方法。
根据本公开的第五方面,提供一种计算机可读存储介质,其上存储有程序,该程序被处理器执行时实现如上述任意一项所述的网络数据处理方法。
本公开实施例通过在获取到网络攻击告警信号时马上查找到最近的目标流量快照数据,并根据告警信号和该目标流量快照数据生成并存储告警流量数据,可以仅在接收到网络攻击告警信号时才产生告警流量数据,进而大大压缩告警流量数据的数量,为后续分析过程提高统计效率、准确定位到告警的流量快照数据提供有力的支持,极大提高了网络数据的统计分析效率和准确度。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本公开实施例提供的网络数据处理系统的示意图。
图2是本公开示例性实施例中网络数据处理方法的流程图。
图3是本公开一个实施例中步骤S1的子流程图。
图4是本公开一个实施例中应用场景的示意图。
图5是本公开一个实施例中一种网络数据处理装置的方框图。
图6是本公开一个实施例中一种电子设备的方框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本公开的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而省略所述特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外,附图仅为本公开的示意性图解,图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
下面结合附图对本公开示例实施方式进行详细说明。
图1是本公开实施例提供的网络数据处理系统的示意图。
参考图1,网络数据处理系统100可以用于执行网络数据处理方法,网络数据处理系统100可以包括:
流量检测装置11,用于持续接收网络流量,生成流量快照数据,并在网络流量符合预设条件时发送网络攻击告警信号;
数据处理装置12,连接流量检测装置,用于根据流量快照数据生成流量数据集,以及响应网络攻击告警信号执行如上任一项的方法生成并存储告警流量快照数据;
数据库13,连接流量检测装置和数据处理装置,用于存储流量数据集以及是告警流量快照数据。
在本公开实施例中,流量检测装置11持续接收网络流量,生成流量快照数据,并将流量快照数据发送到数据库13进行存储。在一个实施例中,流量检测装置11也可以将流量快照数据发送到数据处理装置12,由数据处理装置12将流量快照数据发送到数据库13进行存储,以避免后续数据处理装置12获取流量快照数据时读取数据库13降低处理效率。在另一个实施例中流量检测装置11还可以在生成流量快照数据后,复制一份流量快照数据,然后将相同的两份流量快照数据一份发送到数据库13进行存储,一份发送到数据处理装置12进行数据处理。流量检测装置11发送流量快照数据的方法可以由本领域技术人员根据实际情况自行设置,本公开对此不作特殊限制。
本公开实施例中所述的流量快照数据,是指保存每条网络流量的源IP地址、目的IP地址、流量类型等信息,以便于后续统计网络流量的快照数据。每条网络流量对应一个流量快照数据。
流量检测装置11除了用于保存流量快照数据外,还可以检测网络流量,以便于及时报警。在一个实施例中,流量检测装置设置为当预设流量类型的流量在预设时长内的数量超过预设阈值时,在每条新的预设流量类型的流量到达时,发送与预设流量类型对应的网络攻击告警信号;当检测到预设时长内预设流量类型的流量不超过预设阈值时,停止发送网络攻击告警信号。
具体而言,流量检测装置11检测每条网络流量的流量类型、源IP地址、目的IP地址,并进行统计。假设预设时长是10s,预设阈值是1000条,如果在最近10s内,一个流量类型对应的网络流量超过1000条,则在接收到每条最新的该流量类型对应的网络流量时,均发送与该流量类型对应的网络攻击告警信号;如果在持续监控过程中,发现最近10s内上述触发网络攻击告警信号的流量类型对应的网络流量变少,未超过1000条,则停止对新到达的该流量类型的网络流量发送网络攻击告警信号。每个网络攻击告警信号均与一条网络流量对应。
在本公开的其他实施例中,流量检测装置11还可以根据其他逻辑触发网络攻击告警信号,本公开对此不作特殊限制。
数据处理装置12用于接收网络流量告警信号,并对该网络流量告警信号进行响应,以执行本公开实施例提供的网络流量处理方法。
图2是本公开示例性实施例中网络数据处理方法的流程图。
参考图2,网络数据处理方法200可以包括:
步骤S1,响应网络攻击告警信号在流量快照数据集中获取目标流量快照数据;
步骤S2,根据所述网络攻击告警信号及其对应的所述目标流量快照数据生成并存储告警流量快照数据。
本公开实施例通过在获取到网络攻击告警信号时马上查找到最近的目标流量快照数据,并根据告警信号和该目标流量快照数据生成并存储告警流量数据,可以仅在接收到网络攻击告警信号时才产生告警流量数据,进而大大压缩告警流量数据的数量,为后续分析过程提高统计效率、准确定位到告警的流量快照数据提供有力的支持,极大提高了网络数据的统计分析效率和准确度。
下面,对网络数据处理方法100的各步骤进行详细说明。
在步骤S1,响应网络攻击告警信号在流量快照数据集中获取目标流量快照数据。
图3是本公开一个实施例中步骤S1的子流程图。
参考图3,在一个实施例中,步骤S1可以包括:
步骤S11,根据所述网络攻击告警信号确定告警流量对应的源IP地址、流量类型、目的IP地址;
步骤S12,获取流量数据集中的多条流量快照数据;
步骤S13,在所述多条流量快照数据中确定对应所述源IP地址、所述流量类型、所述目的IP地址的目标流量快照数据。
数据处理装置12接收到网络攻击告警信号后,可以将网络攻击告警信号存储到内存中,以备后续在获取到目标流量快照数据后,根据网络攻击告警信号生成告警流量快照数据。
在一个实施例中,流量检测装置11直接将流量快照数据发送到数据库13存储,以生成流量快照数据集,此时数据处理装置12在接收到网络流量告警信号时,从数据库13的流量快照数据集中读取流量快照数据。
在另一个实施例中,流量检测装置11直接将流量快照数据发送到数据处理装置12,通过复制将流量快照数据发送到数据库13,或者经由数据处理装置12将流量快照数据发送到数据库13。此时数据处理装置12可以直接获取到流量快照数据,无需读取数据库。
在一个实施例中,步骤S12例如可以为在流量快照数据集中获取当前时间之前预设时间段内的多条流量快照数据,流量快照数据集存储于数据库13或数据处理装置12中。通过在接收到网络攻击告警信号后,实时获取最近一段时间的流量数据,进行及时加工,可以有效提高信息加工的效率和准确率,避免后续查找带来的效率低下或者出错概率高等问题。
数据处理装置12可以将获取到的多条流量快照数据与告警流量对应的源IP地址、流量类型、目的IP地址进行比对,确定哪条流量快照数据是告警流量的流量快照数据,以将该告警流量的流量快照数据确定为目标流量快照数据。当数据处理装置12持续接收到多条网络攻击告警信号时,重复以上过程,持续确定多条目标流量快照数据,确保每一条网络攻击告警信号均对应一个目标流量快照数据。
在步骤S2,根据所述网络攻击告警信号及其对应的所述目标流量快照数据生成并存储告警流量快照数据。
在一个实施例中,数据处理装置12将网络攻击告警信号的告警信号种类识别符写入告警流量快照数据的信息头节点。网络攻击告警信号的告警信号种类识别符例如可以为告警流量的流量类型识别符,例如SYN、ACK、FIN等。
在另一个实施例中,数据处理装置12还可以将网络攻击告警信号的其他信息写入告警流量快照数据的头几个节点,例如网络攻击告警信号的发生时间、源IP地址、目的IP地址等。然后,将与该网络攻击告警信号对应的目标流量快照数据的信息写入告警流量快照数据的后续节点,以生成一个包含网络攻击告警信号的信息、触发该网络攻击告警信号的告警流量的目标流量快照数据的告警流量快照数据。
通过将网络攻击告警信号的信息写入告警流量快照数据的信息头结点,可以提高检索、统计告警流量快照数据的效率。
数据处理装置12生成告警流量快照数据后,将告警流量快照数据发送到数据库13进行存储,以备后续统计。可以理解的是,当流量检测装置11不直接发送流量快照数据给数据库13时,数据处理装置12还可以同时将原始的流量快照数据存储到数据库13以进行数据备份。
后续进行攻击数据统计时,数据处理装置12可以响应对应目标告警信号种类的流量查询请求,在数据库13中检索信息头结点中包含该目标告警信号种类的告警信号种类识别符的告警流量快照数据,返回与该目标告警信号种类对应的告警流量快照数据。此外,数据处理装置12还可以进一步根据时间筛选信息、目的IP地址筛选信息等筛选信息,在数据库13中检索信息头结点中包含上述筛选信息的告警流量快照数据。由于告警流量快照数据仅在接收到网络攻击告警信号时生成,数据数量少,数据准确度高,因此可以非常准确及时地返回所有涉及到网络攻击告警信号的流量快照数据,供后续分析,从而有效提高数据分析效率和准确度。
下面通过具体应用场景来对上述方法进行详细说明。
图4是本公开一个实施例中应用场景的示意图。
参考图4,流量检测装置11可以发送流量快照数据111、网络攻击告警信号112给数据处理装置12,数据处理装置12根据流量快照数据111、网络攻击告警信号112生成告警流量快照数据121,数据处理装置12将告警流量快照数据121发送到数据库13进行存储。
流量快照数据111可以包括一条网络流量对应的源IP地址、目的IP地址、流量类型、位(bit)数据、包(packet,pkt)数据等;网络攻击告警信号112例如可以包括网络攻击告警信号的识别符(告警ID)、网络攻击的告警时间、源IP地址、目的IP地址、告警信号种类识别符等等;告警流量快照数据121可以包括网络攻击告警信号的识别符(告警ID)、网络攻击告警的开始时间、源IP地址、目的IP地址、告警信号种类识别符、位(bit)数据、包(packet,pkt)数据等(例如为流量快照数据111和网络攻击告警信号112的信息合集)。
目标网络旁路部署流量检测装置11后,为了记录网络运行状态,流量检测装置11实时将流量快照数据111通过与数据处理装置12协商的自定义应用层协议发送给数据处理装置12。数据处理装置12在接收到流量快照数据报文后,解析报文数据,将报文数据存储到数据库13。
当流量检测装置11检测到目标网络遭受DDOS攻击时,向数据处理装置12发送DDOS网络攻击告警信号112直到攻击结束。数据处理装置12将网络攻击告警信号112存放在内存表中,并根据流量检测装置11发送的网络攻击告警信号112实时更新内存表。于此同时,流量快照数据111也在不停的发送到数据处理装置12,数据处理装置12将原始的流量快照数据报文存储到数据库13中,并复制了一份流量快照数据报文给DDOS攻击统计线程。DDOS攻击统计线程拿这份复制数据在内存表中与网络攻击告警信号112进行比对,如果源IP地址、流量类型、目的IP地址等数据与内存表中的某条记录匹配,那么就向这条数据添加一个包含网络攻击告警信号112的信息的头部(简称告警信息头)以生成告警流量快照数据121,并将告警流量快照数据121存储到数据库13。
当网络管理员对数据处理装置12发送查看某条DDOS攻击告警的统计数据的查询请求时,数据处理装置12启动查询线程查询数据库13中带告警信息头的数据。因为带告警信息头的告警流量快照数据只有在目标网络遭受DDOS攻击时才会产生,所以查询数据量较小。且告警信息头可以精确的匹配到需要查询统计的告警ID,统计出符合真实攻击情况的流量数据。
综上所述,本公开实施例通过实时将DDOS攻击警数据与流量快照数据结合,生成新的统计攻击流量的数据,可以在保证查询效率的同时又可以保证查询的准确性,高效、精确地统计DDOS攻击流量。
对应于上述方法实施例,本公开还提供一种网络数据处理装置,可以用于执行上述方法实施例。
图5是本公开一个示例性实施例中一种网络数据处理装置的方框图。
参考图5,网络数据处理装置500可以包括:
数据筛选模块51,设置为响应网络攻击告警信号在流量快照数据集中获取目标流量快照数据;
数据生成模块52,设置为根据所述网络攻击告警信号及其对应的所述目标流量快照数据生成并存储告警流量快照数据。
在本公开的一种示例性实施例中,网络数据处理装置500还包括:
数据查询模块53,响应对应目标告警信号种类的流量查询请求,返回与所述目标告警信号种类对应的告警流量快照数据。
在本公开的一种示例性实施例中,数据生成模块52设置为:将所述网络攻击告警信号的告警信号种类识别符写入所述告警流量快照数据的信息头节点。
在本公开的一种示例性实施例中,数据筛选模块51设置为:根据所述网络攻击告警信号确定告警流量对应的源IP地址、流量类型、目的IP地址;获取流量数据集中的多条流量快照数据;在所述多条流量快照数据中确定对应所述源IP地址、所述流量类型、所述目的IP地址的目标流量快照数据。
在本公开的一种示例性实施例中,数据筛选模块51设置为:在所述流量快照数据集中获取当前时间之前预设时间段内的多条流量快照数据。
由于装置500的各功能已在其对应的方法实施例中予以详细说明,本公开于此不再赘述。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
在本公开的示例性实施例中,还提供了一种能够实现上述方法的电子设备。
所属技术领域的技术人员能够理解,本发明的各个方面可以实现为系统、方法或程序产品。因此,本发明的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。
下面参照图6来描述根据本发明的这种实施方式的电子设备600。图6显示的电子设备600仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示,电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于:上述至少一个处理单元610、上述至少一个存储单元620、连接不同系统组件(包括存储单元620和处理单元610)的总线630。
其中,所述存储单元存储有程序代码,所述程序代码可以被所述处理单元610执行,使得所述处理单元610执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如,所述处理单元610可以执行如图2中所示的步骤。
存储单元620可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202,还可以进一步包括只读存储单元(ROM)6203。
存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204,这样的程序模块6205包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备600交互的设备通信,和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且,电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器660通过总线630与电子设备600的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备600使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
概括而言,网络快照是探针(Probe)向日志采集器发送的记录目标网络的运行状态的数据,可以准确反映通过目标网络的流量的趋势。同时以IP、类型、流向、时间点四元组的网络快照数据是庞大的,操作这些海量的快照数据会导致统计效率变低。为了压缩体积庞大的网络快照数据,通常会根据小的时间区间,将属于这一时间区间且IP、类型、流向这三元组相同的网络快照数据压缩为一条数据存储数据库。这样在统计网络趋势时,时间精度变小换来的是高效的查询。但是在统计DDOS攻击告警数据时,网络快照的时间点是重要的统计依据,因为需要统计在DDOS攻击开始和结束时间段内的网络快照数据。为了查询效率查询压缩后的网络快照数据时,压缩数据时间精度降低导致统计出的攻击流量不准确。查询原始网络快照数据又导致查询效率降低。实时将DDOS攻击警数据与网络快照数据结合,生成新的统计攻击流量的数据,在保证查询效率的同时又可以保证查询的准确性。目标网络旁路部署探针设备后,为了记录网络运行状态Probe实时将网络快照数据通过与数据采集器协商的自定义应用层协议发送给数据采集器。数据采集器接在收到网络快照数据报文后,解析报文数据,将数据存储数据库。当探针设备检测到目标网络遭受DDOS攻击时,向数据采集器发送DDOS攻击告警数据直到攻击结束。数据采集器将攻击告警数据存放在服务器内存表中,并根据探针发送的攻击告警数据实时更新内存表。与此同时,网络快照报文也在不停的发送到数据采集器服务器,数据采集器将原始的网络快照存储到数据库中,并复制了一份数据给DDOS攻击统计线程。DDOS攻击统计线程拿这份复制数据区攻击告警内存表中比对,如果IP、类型、流向等数据与内存表中的某条记录匹配,那么就向这条数据添加一个包含告警信息的头部并存储数据库。当用网络管理员数据采集器发送查看某条DDOS攻击告警的统计数据时,数据采集器启动查询线程查询数据库中带告警信息头的数据。因为带告警头部信息的网络快照日志只有在目标网络遭受DDOS攻击时才会产生,所以查询数据量较小。且告警头部信息可以精确的匹配到需要查询统计的告警ID,统计出符合真实攻击情况的流量数据。简而言之,数据采集器接收探针发送的实时网络快照数据,并存储数据库;当目标网络遭受DDOS攻击时,探针发送DDOS攻击告警,数据采集器将告警数据存储内存表;数据采集器拿实时网络快照数据到内存表中对照,如果有对应的告警数据,则数据采集器将网络快照数据加告警信息头部并存数据库;以及.数据采集器查询带告警头部的网络快照日志统计DDOS告警攻击流量。
通过以上实施方式的描述,本领域技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
在本公开的示例性实施例中,还提供了一种计算机可读存储介质,其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中,本发明的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当所述程序产品在终端设备上运行时,所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。
根据本发明的实施方式的用于实现上述方法的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本发明的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外,上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和构思由权利要求指出。

Claims (10)

1.一种网络数据处理方法,其特征在于,包括:
响应网络攻击告警信号在流量快照数据集中获取目标流量快照数据;
根据所述网络攻击告警信号及其对应的所述目标流量快照数据生成并存储告警流量快照数据。
2.如权利要求1所述的网络数据处理方法,其特征在于,还包括:
响应对应目标告警信号种类的流量查询请求,返回与所述目标告警信号种类对应的告警流量快照数据。
3.如权利要求1所述的网络数据处理方法,其特征在于,所述根据所述网络攻击告警信号及其对应的所述目标流量快照数据生成并存储告警流量快照数据:
将所述网络攻击告警信号的告警信号种类识别符写入所述告警流量快照数据的信息头节点。
4.如权利要求1或3所述的网络数据处理方法,其特征在于,所述响应网络攻击告警信号在流量快照数据集中获取目标流量快照数据包括:
根据所述网络攻击告警信号确定告警流量对应的源IP地址、流量类型、目的IP地址;
获取流量数据集中的多条流量快照数据;
在所述多条流量快照数据中确定对应所述源IP地址、所述流量类型、所述目的IP地址的目标流量快照数据。
5.如权利要求4所述的网络数据处理方法,其特征在于,所述获取流量数据集中的多条流量快照数据包括:
在所述流量快照数据集中获取当前时间之前预设时间段内的多条流量快照数据。
6.一种网络数据处理系统,其特征在于,包括:
流量检测装置,用于持续接收网络流量,生成流量快照数据,并在所述网络流量符合预设条件时发送网络攻击告警信号;
数据处理装置,连接所述流量检测装置,用于根据所述流量快照数据生成流量数据集,以及响应所述网络攻击告警信号执行如权利要求1~5任一项所述的方法生成并存储告警流量快照数据;
数据库,连接所述流量检测装置和所述数据处理装置,用于存储所述流量数据集以及是告警流量快照数据。
7.如权利要求6所述的网络数据处理系统,其特征在于,所述流量检测装置设置为:
当预设流量类型的流量在预设时长内的数量超过预设阈值时,在每条新的所述预设流量类型的流量到达时,发送与所述预设流量类型对应的网络攻击告警信号;
当检测到所述预设时长内所述预设流量类型的流量不超过所述预设阈值时,停止发送所述网络攻击告警信号。
8.一种网络数据处理装置,其特征在于,包括:
数据筛选模块,设置为响应网络攻击告警信号在流量快照数据集中获取目标流量快照数据;
数据生成模块,设置为根据所述网络攻击告警信号及其对应的所述目标流量快照数据生成并存储告警流量快照数据。
9.一种电子设备,其特征在于,包括:
存储器;以及
耦合到所述存储器的处理器,所述处理器被配置为基于存储在所述存储器中的指令,执行如权利要求1-5任一项所述的网络数据处理方法。
10.一种计算机可读存储介质,其上存储有程序,该程序被处理器执行时实现如权利要求1-5任一项所述的网络数据处理方法。
CN202011494272.3A 2020-12-17 2020-12-17 网络数据处理方法、装置与系统 Active CN112615857B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011494272.3A CN112615857B (zh) 2020-12-17 2020-12-17 网络数据处理方法、装置与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011494272.3A CN112615857B (zh) 2020-12-17 2020-12-17 网络数据处理方法、装置与系统

Publications (2)

Publication Number Publication Date
CN112615857A true CN112615857A (zh) 2021-04-06
CN112615857B CN112615857B (zh) 2023-02-17

Family

ID=75240518

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011494272.3A Active CN112615857B (zh) 2020-12-17 2020-12-17 网络数据处理方法、装置与系统

Country Status (1)

Country Link
CN (1) CN112615857B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113904845A (zh) * 2021-10-08 2022-01-07 杭州迪普科技股份有限公司 一种攻击流量统计方法及装置

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1697404A (zh) * 2005-06-10 2005-11-16 广东省电信有限公司研究院 一种交互式的网络蠕虫检测系统和方法
CN101247619A (zh) * 2008-02-29 2008-08-20 中兴通讯股份有限公司 无线通信系统及其告警同步方法
CN102053876A (zh) * 2009-11-06 2011-05-11 杭州华三通信技术有限公司 快照建立方法、系统及应用服务器
CN104967535A (zh) * 2015-06-09 2015-10-07 南京联成科技发展有限公司 一种应用于信息安全运维管理的大数据分析
CN105554041A (zh) * 2016-03-01 2016-05-04 江苏三棱智慧物联发展股份有限公司 一种检测基于流表超时机制的分布式拒绝服务攻击的方法
CN106203088A (zh) * 2016-06-24 2016-12-07 北京奇虎科技有限公司 信息获取的方法及装置
CN107135266A (zh) * 2017-05-19 2017-09-05 成都极玩网络技术有限公司 Http代理框架安全数据传输方法
CN107231258A (zh) * 2017-06-01 2017-10-03 国网电子商务有限公司 一种网络告警数据处理方法及装置
CN107528734A (zh) * 2017-08-31 2017-12-29 叶晓鸣 一种基于动态图的异常主机群检测方法
CN108833310A (zh) * 2018-06-12 2018-11-16 国网江苏省电力有限公司无锡供电分公司 具备人工智能分析的交换机
CN109039781A (zh) * 2018-09-21 2018-12-18 锐捷网络股份有限公司 一种网络设备故障诊断方法、执行节点、服务器和系统
CN109165363A (zh) * 2018-08-27 2019-01-08 成都深思科技有限公司 一种网络数据快照的配置方法
US20200042707A1 (en) * 2018-07-31 2020-02-06 EMC IP Holding Company LLC Storage system with snapshot-based detection and remediation of ransomware attacks
CN111212055A (zh) * 2019-12-30 2020-05-29 上海安洵信息技术有限公司 非侵入式网站远程检测系统及检测方法
CN111490970A (zh) * 2020-02-19 2020-08-04 西安交大捷普网络科技有限公司 一种网络攻击的溯源分析方法
US10756996B2 (en) * 2018-09-19 2020-08-25 Ciena Corporation Systems and methods for capturing packet loss and disruption duration information during service restoration
CN111752793A (zh) * 2020-05-27 2020-10-09 中国平安财产保险股份有限公司 系统异常的监控方法、装置、计算机设备及存储介质
CN111985192A (zh) * 2020-09-28 2020-11-24 杭州安恒信息安全技术有限公司 一种Web攻击报告生成方法、装置、设备及计算机介质

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1697404A (zh) * 2005-06-10 2005-11-16 广东省电信有限公司研究院 一种交互式的网络蠕虫检测系统和方法
CN101247619A (zh) * 2008-02-29 2008-08-20 中兴通讯股份有限公司 无线通信系统及其告警同步方法
CN102053876A (zh) * 2009-11-06 2011-05-11 杭州华三通信技术有限公司 快照建立方法、系统及应用服务器
CN104967535A (zh) * 2015-06-09 2015-10-07 南京联成科技发展有限公司 一种应用于信息安全运维管理的大数据分析
CN105554041A (zh) * 2016-03-01 2016-05-04 江苏三棱智慧物联发展股份有限公司 一种检测基于流表超时机制的分布式拒绝服务攻击的方法
CN106203088A (zh) * 2016-06-24 2016-12-07 北京奇虎科技有限公司 信息获取的方法及装置
CN107135266A (zh) * 2017-05-19 2017-09-05 成都极玩网络技术有限公司 Http代理框架安全数据传输方法
CN107231258A (zh) * 2017-06-01 2017-10-03 国网电子商务有限公司 一种网络告警数据处理方法及装置
CN107528734A (zh) * 2017-08-31 2017-12-29 叶晓鸣 一种基于动态图的异常主机群检测方法
CN108833310A (zh) * 2018-06-12 2018-11-16 国网江苏省电力有限公司无锡供电分公司 具备人工智能分析的交换机
US20200042707A1 (en) * 2018-07-31 2020-02-06 EMC IP Holding Company LLC Storage system with snapshot-based detection and remediation of ransomware attacks
CN109165363A (zh) * 2018-08-27 2019-01-08 成都深思科技有限公司 一种网络数据快照的配置方法
US10756996B2 (en) * 2018-09-19 2020-08-25 Ciena Corporation Systems and methods for capturing packet loss and disruption duration information during service restoration
CN109039781A (zh) * 2018-09-21 2018-12-18 锐捷网络股份有限公司 一种网络设备故障诊断方法、执行节点、服务器和系统
CN111212055A (zh) * 2019-12-30 2020-05-29 上海安洵信息技术有限公司 非侵入式网站远程检测系统及检测方法
CN111490970A (zh) * 2020-02-19 2020-08-04 西安交大捷普网络科技有限公司 一种网络攻击的溯源分析方法
CN111752793A (zh) * 2020-05-27 2020-10-09 中国平安财产保险股份有限公司 系统异常的监控方法、装置、计算机设备及存储介质
CN111985192A (zh) * 2020-09-28 2020-11-24 杭州安恒信息安全技术有限公司 一种Web攻击报告生成方法、装置、设备及计算机介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李杰: "IT运维监控系统的设计与实现", 《中国优秀硕士学位论文全文数据库(电子期刊) 信息科技辑》, no. 7, 15 July 2020 (2020-07-15) *
邓浩: "福建电信IDC安全增值业务研究", 《中国优秀硕士学位论文全文数据库(电子期刊) 信息科技辑》, no. 4, 15 April 2012 (2012-04-15), pages 136 - 196 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113904845A (zh) * 2021-10-08 2022-01-07 杭州迪普科技股份有限公司 一种攻击流量统计方法及装置
CN113904845B (zh) * 2021-10-08 2023-08-25 杭州迪普科技股份有限公司 一种攻击流量统计方法及装置

Also Published As

Publication number Publication date
CN112615857B (zh) 2023-02-17

Similar Documents

Publication Publication Date Title
CN109710615B (zh) 数据库的访问管理方法、系统、电子设备和存储介质
US8819497B1 (en) Storage of mass data for monitoring
CN107992398A (zh) 一种业务系统的监控方法和监控系统
CN110489315B (zh) 一种操作请求的跟踪方法、跟踪装置及服务器
CN111881011A (zh) 日志管理方法、平台、服务器及存储介质
JP2019506678A (ja) アプリケーション情報に関するシステム依存関係解析についての高忠実度データ縮約
CN108228322B (zh) 一种分布式链路跟踪、分析方法及服务器、全局调度器
CN113472772B (zh) 网络攻击的检测方法、装置、电子设备及存储介质
CN113704790A (zh) 一种异常日志信息汇总方法及计算机设备
CN112615857B (zh) 网络数据处理方法、装置与系统
CN110855461A (zh) 一种基于关联分析和规则库的日志分析方法
CN114844771A (zh) 微服务系统的监测方法、装置、存储介质、程序产品
CN112241355A (zh) 链路追踪方法、系统、计算机可读存储介质及电子设备
US7653742B1 (en) Defining and detecting network application business activities
CN111291367A (zh) 访问控制方法及系统、电子设备、存储介质
CN113392079B (zh) 一种分布式存储集群日志存储优化方法、系统及终端
CN113259386A (zh) 恶意请求拦截方法、装置及计算机设备
CN113254313A (zh) 一种监控指标异常检测方法、装置、电子设备及存储介质
US8032797B1 (en) Storage of mass data for monitoring
JP5538810B2 (ja) 監視のための大量データ記憶システム
CN112148508A (zh) 一种信息处理的方法及相关装置
CN110896545A (zh) 在线计费漫游故障定位方法及相关装置、存储介质
CN114422324B (zh) 一种告警信息的处理方法、装置、电子设备及存储介质
CN113992404B (zh) 一种攻击证据记录方法及装置
CN116821798B (zh) 一种故障预警的服务器、方法及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant