CN105959253A - 一种确定待清洗数据流的方法及装置 - Google Patents

一种确定待清洗数据流的方法及装置 Download PDF

Info

Publication number
CN105959253A
CN105959253A CN201510802035.1A CN201510802035A CN105959253A CN 105959253 A CN105959253 A CN 105959253A CN 201510802035 A CN201510802035 A CN 201510802035A CN 105959253 A CN105959253 A CN 105959253A
Authority
CN
China
Prior art keywords
data flow
label
destination interface
sub data
data stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510802035.1A
Other languages
English (en)
Inventor
张高磊
何东杰
刘国宝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Unionpay Co Ltd
Original Assignee
China Unionpay Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Unionpay Co Ltd filed Critical China Unionpay Co Ltd
Priority to CN201510802035.1A priority Critical patent/CN105959253A/zh
Publication of CN105959253A publication Critical patent/CN105959253A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0807—Network architectures or network communication protocols for network security for authentication of entities using tickets, e.g. Kerberos
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2463/00—Additional details relating to network architectures or network communication protocols for network security covered by H04L63/00
    • H04L2463/143—Denial of service attacks involving systematic or selective dropping of packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H04L63/145—Countermeasures against malicious traffic the attack involving the propagation of malware through the network, e.g. viruses, trojans or worms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H04L63/1458—Denial of Service

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明实施例公开了一种确定待清洗数据流的方法及装置。本发明实施例中，首先获取待处理数据流，将待处理数据流中目的端口相同的数据流确定为一个子数据流，并根据各个所述子数据流的目的端口，确定各个所述子数据流的标签；获取异常数据流的标签后，在所述子数据流的标签与所述异常数据流的标签相同的情况下，将所述子数据流确定为待清洗数据流；其中，所述异常数据流是根据各个所述子数据流以及各个所述子数据流对应的目的端口的历史数据流统计得到的。本发明实施例可实现对待处理数据流进行精准地清洗，减轻清洗设备的性能压力，有效地提升清洗设备的处理效率。

Description

一种确定待清洗数据流的方法及装置
技术领域
本发明涉及通信技术领域，尤其涉及一种确定待清洗数据流的方法及装置。
背景技术
随着互联网业务的飞速发展以及宽带网络的快速普及，越来越多的人开始使用网络业务，享受着互联网时代所带来的便利与变革。但同时，由于用户安全意识薄弱，使用的智能嵌入式设备(路由器等)防护不到位，存在弱口令或安全漏洞，给黑客制造了可乘之机。目前出现较多的是带有后门、攻击者可以远程控制被感染的机器的恶意软件，被这种恶意软件感染的机器通常被称为“bot”，被感染机器组成的受控网络常被称为“botnet”，即僵尸网络，控制僵尸网络的攻击者被称为botmaster。如图1所示，这种恶意软件的运行过程如下：bot连接C&C服务器，它们组成一个僵尸网络，共同接受和响应C&C服务器的指令；C&C服务器给bot下发攻击指令，里面包含受害者的IP、端口、攻击持续时间等各种攻击参数；bot执行指令，对受害者发起DDOS(Distributed Denial of Service，分布式拒绝服务)攻击。由于上述恶意软件的存在，使得运营商网络中充斥着大量僵木蠕流量，严重影响网络服务质量和正常运行。
针对上述网络安全问题，现有的DDOS防御技术分流量检测、流量清洗两部分，流量检测一般是通过比较之前同一周期的周、天的数据流，或者周期性分析数据流最多的源IP等方法，对互联网数据流进行判定；当判定数据流异常时，检测设备发送被攻击目的IP的通知消息给网络设备，网络设备把异常源IP的数据流全部引流到清洗设备，通过把这些流扔到流量黑洞的方式，实现DDOS的清洗。采用这种方法，缺点主要有：(1)引流数据流不够精细，传统基于异常源IP清洗技术，会导致一部分正常的流量也被引流到清洗设备；(2)清洗不够精准，由于对数据流处理不够精准，会造成一部分正常的流量被扔到流量黑洞；(3)清洗设备性能瓶颈，现阶段万兆的数据流都比较常见，防御设备负责接收数据、分析数据及清洗数据，对设备性能消耗比较大，一旦DDOS流量过大，会导致清洗设备性能无法满足要求，出现数据丢失的情况。
综上，目前亟需一种确定待清洗数据流的方法，实现对数据流进行有针对性地清洗，并以减轻清洗设备的性能压力。
发明内容
本发明实施例提供一种确定待清洗数据流的方法及装置，用以实现对数据流进行有针对性地清洗。
本发明实施例提供的一种确定待清洗数据流的方法，包括：
获取待处理数据流；
将所述待处理数据流中目的端口相同的数据流确定为一个子数据流；根据各个所述子数据流的目的端口，确定各个所述子数据流的标签；
获取异常数据流的标签；所述异常数据流是根据各个所述子数据流以及各个所述子数据流对应的目的端口的历史数据流统计得到的；
在所述子数据流的标签与所述异常数据流的标签相同的情况下，将所述子数据流确定为待清洗数据流。
较佳地，所述异常数据流是根据各个所述子数据流以及各个所述子数据流的目的端口的历史数据流得到的，包括：
根据各个所述子数据流的目的端口在设定周期内的历史数据流的流量大小，确定出各个所述子数据流的目的端口在设定周期内的平均流量；
在第一子数据流的流量与所述第一子数据流的目的端口在设定周期内的平均流量的差值大于第一阈值的情况下，确定所述第一子数据流为异常数据流。
较佳地，所述根据各个所述子数据流的目的端口，确定各个所述子数据流的标签，包括：
若所述子数据流的目的端口为第一类型目的端口，则根据已存储的第一类型目的端口与标签之间的对应关系，得到所述子数据流的目的端口对应的第一标签；所述第一类型目的端口为根据应用协议得到的端口；
将所述子数据流的目的端口对应的第一标签确定为所述子数据流的标签。
较佳地，所述根据各个所述子数据流的目的端口，确定各个所述子数据流的标签，包括：
若所述子数据流的目的端口为第二类型目的端口，则从待分配标签集合中为所述子数据流的目的端口分配第二标签，并将所述第二标签从所述待分配标签集合中删除；所述待分配标签集合中的标签为标签集合中除所述第一类型目的端口对应的标签以外的标签；所述第二类型目的端口为除所述第一类型目的端口以外的端口。
将所述子数据流的目的端口对应的所述第二标签确定为所述子数据流的标签。
较佳地，所述将所述待处理数据流确定为待清洗数据流之后，还包括：
将所述第二标签添加到所述待分配标签集合中。
本发明实施例提供的一种确定待清洗数据流的装置，该装置包括：
第一获取模块，用于获取待处理数据流；
第一确定模块，用于将所述待处理数据流中目的端口相同的数据流确定为一个子数据流；根据各个所述子数据流的目的端口，确定各个所述子数据流的标签；
第二获取模块，用于获取异常数据流的标签；所述异常数据流是根据各个所述子数据流以及各个所述子数据流对应的目的端口的历史数据流统计得到的；
第二确定模块，用于在所述子数据流的标签与所述异常数据流的标签相同的情况下，将所述子数据流确定为待清洗数据流。
较佳地，所述第二获取模块还用于：
根据各个所述子数据流的目的端口在设定周期内的历史数据流的流量大小，确定出各个所述子数据流的目的端口在设定周期内的平均流量；
在第一子数据流的流量与所述第一子数据流的目的端口在设定周期内的平均流量的差值大于第一阈值的情况下，确定所述第一子数据流为异常数据流。
较佳地，所述第一确定模块具体用于：
若所述子数据流的目的端口为第一类型目的端口，则根据已存储的第一类型目的端口与标签之间的对应关系，得到所述子数据流的目的端口对应的第一标签；所述第一类型目的端口为根据应用协议得到的端口；
将所述子数据流的目的端口对应的第一标签确定为所述子数据流的标签。
较佳地，所述第一确定模块具体用于：
若所述子数据流的目的端口为第二类型目的端口，则从待分配标签集合中为所述子数据流的目的端口分配第二标签，并将所述第二标签从所述待分配标签集合中删除；所述待分配标签集合中的标签为所述标签集合中除所述第一类型目的端口对应的标签以外的标签；所述第二类型目的端口为除所述第一类型目的端口以外的端口。
将所述子数据流的目的端口对应的所述第二标签确定为所述子数据流的标签。
较佳地，所述第一确定模块还用于：
将所述第二标签添加到所述待分配标签集合中。
本发明的上述实施例中，首先获取待处理数据流，将待处理数据流中目的端口相同的数据流确定为一个子数据流，并根据各个所述子数据流的目的端口，确定各个所述子数据流的标签；获取异常数据流的标签后，在所述子数据流的标签与所述异常数据流的标签相同的情况下，将所述子数据流确定为待清洗数据流；其中，所述异常数据流是根据各个所述子数据流以及各个所述子数据流对应的目的端口的历史数据流统计得到的。本发明实施例中，根据子数据流的目的端口确定子数据流的标签，并在获取到异常数据流的标签后，将子数据流的标签与所述异常数据流的标签进行比较，确定出待清洗数据流，从而可实现对待处理数据流进行精准地清洗，减轻清洗设备的性能压力，有效地提升清洗设备的处理效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为背景技术中DDOS型botnet拓扑图；
图2为本发明实施例提供的一种确定待清洗数据流的方法所对应的流程示意图；
图3为本发明实施例提供的一种确定待清洗数据流的装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
图2为本发明实施例提供的一种确定待清洗数据流的方法所对应的流程示意图，该方法包括：
步骤201，获取待处理数据流；
步骤202，将所述待处理数据流中目的端口相同的数据流确定为一个子数据流；根据各个所述子数据流的目的端口，确定各个所述子数据流的标签；
步骤203，获取异常数据流的标签；所述异常数据流是根据各个所述子数据流以及各个所述子数据流对应的目的端口的历史数据流统计得到的；
步骤204，在所述子数据流的标签与所述异常数据流的标签相同的情况下，将所述子数据流确定为待清洗数据流。
本发明实施例中，根据子数据流的目的端口确定子数据流的标签，并在获取到异常数据流的标签后，将子数据流的标签与所述异常数据流的标签进行比较，确定出待清洗数据流，从而可实现对待处理数据流进行精准地清洗，减轻清洗设备的性能压力，有效地提升清洗设备的处理效率。
具体地，在步骤201中，所述待处理数据流可以为发往某个被攻击对象的数据流。
在步骤202中，获取到待处理数据流后，将所述待处理数据流中目的端口相同的数据流确定为一个子数据流，并根据各个所述子数据流的目的端口，确定各个所述子数据流的标签；
互联网数据都是以太网的数据帧，数据帧格式有8个字节的保留位，本发明实施例中使用数据帧保留的8个字节作为目的端口对应的标签，由于根据数据包的协议及端口来分配标签，最多支持255个标签，因此，标签的数据是固定的。为防止目的端口的数据量过多，而无法实现目的端口与标签一一对应的分配，本发明实施例中将目的端口分为第一类型目的端口和第二类型目的端口，同时将标签集合中的255个标签分为两类，一类为与第一类型目的端口对应的固定标签，另一类为与第二类型目的端口对应的动态标签。
本发明实施例中，第一类型目的端口为根据应用协议得到的端口；第二类型目的端口为通过对所述待处理数据流进行分析所得到除所述第一类型目的端口以外的端口。进一步地，第一类型目的端口可以通过调研互联网出口应用的设计方案、开放的端口策略，归类应用的协议、端口使用情况来确定。第二类型目的端口可以通过每隔一个设定的时间周期(比如，1分钟或5分钟)收集互联网数据流，根据数据包分析仪对目的端口进行归类来确定。
针对于第一类型目的端口，由于第一类型目的端口具有稳定性，因此可预先设置第一类型目的端口与固定标签的对应关系并存储，该对应关系可在设定时长内保持不变。具体地，第一类型目的端口与固定标签的对应关系可以通过多种方式来存储，例如，采用数据库的方式存储，如表1所示。
表1
固定标签 第一类型目的端口
00000001 端口80
00000010 端口443
00000011 端口22
本发明实施例中通过设置并存储第一类型目的端口与固定标签的对应关系，从而使得可通过该对应关系，直接获取到第一类型目的端口对应的第一标签，进而确定出待处理数据流的标签，提高了为待处理数据流确定标签的效率。
针对于第二类型目的端口，由于第二类型目的端口的动态性，因此，在有限标签的情况下，可从待分配标签结合中为第二类型目的端口分配动态标签。其中，所述待分配标签集合中的标签为所述标签集合中除所述第一类型目的端口对应的标签以外的标签。
例如，标签集合中的00000001-00111111均已与第一类型目的端口相对应，此时，待分配标签集合中包括的标签为01000000-11111111，针对于第二类型目的端口(如ICMP端口、UDP端口)，可从待分配标签集合中为ICMP端口、UDP端口分配第二标签，具体地，可设置ICMP端口对应的标签为01000000，UDP端口对应的标签为01000001。
本发明实施例中，在一个设定周期内，若确定出的第二类型目的端口的个数少于动态标签的个数，则在保证第二类型目的端口与标签一一对应的前提下，可随机设置第二类型目的端口对应的标签。
进一步地，在确定出待清洗数据流之后，为保证在下一个设定周期内确定出的第二类型目的端口与动态标签的对应关系，本发明实施例中，优选将所述第二标签添加到所述待分配标签集合中，从而使得在下一个设定周期内有足够的动态标签来分配。
例如，在第N周期内，设置ICMP端口对应的标签为01000000，UDP端口对应的标签为01000001，则在第N+1周期内，可以将上述对应关系清除，并将标签01000000和01000001添加到待分配标签集合中。若第N+1周期内仍检测到ICMP端口、UDP端口，此时可从待分配标签集合重新为ICMP端口、UDP端口设置对应的动态标签；若第N+1周期内检测到除ICMP端口、UDP端口以外的第二类型目的端口，此时可将标签01000000、标签01000001设置为其它第二类型目的端口的标签。
本发明实施例中，通过为第二类型目的端口设置动态标签，弥补了标签数量不足的劣势，实现了标签的有效分配。
在互联网的环境下，一直发生大量DDOS攻击，DDOS攻击者预先会对被攻击对象进行端口扫描，根据端口进行有目的性的入侵，因此，在步骤203中，可通过检测设备确定出被攻击目的端口，根据各个所述子数据流的目的端口在设定周期内的历史数据流的流量大小，确定出各个所述子数据流的目的端口在设定周期内的平均流量；在第一子数据流的流量与所述第一子数据流的目的端口在设定周期内的平均流量的差值大于第一阈值的情况下，确定所述第一子数据流为异常数据流，例如，可将第一子数据流的流量与第一子数据流的目的端口在之前同一周期的周、天数据流的平均流量进行比较。其中，第一阈值可由本领域技术人员根据经验设置。
在步骤204中，将子数据流的标签与异常数据流的标签进行比较，若子数据流的标签与异常数据流的标签相同，则说明该子数据流为异常数据流，此时可将该子数据流确定为待清洗数据流；若子数据流的标签与异常数据流的标签不相同，则说明子数据流为正常数据流，此时可不对该正常数据流进行清洗，从而减轻清洗设备的性能压力。
本发明实施例中，由于数据流带有标签，因此可根据标签对数据流进行数据归类、流量清洗，并按照日线及周线等方式进行绘图，进而通过对数据流的统计和学习，绘制成一张不同应用类型的日图及周图，从而为判定DDOS攻击提供有效的依据。
本发明的上述实施例中，首先获取待处理数据流，将待处理数据流中目的端口相同的数据流确定为一个子数据流，并根据各个所述子数据流的目的端口，确定各个所述子数据流的标签；获取异常数据流的标签后，在所述子数据流的标签与所述异常数据流的标签相同的情况下，将所述子数据流确定为待清洗数据流；其中，所述异常数据流是根据各个所述子数据流以及各个所述子数据流对应的目的端口的历史数据流统计得到的。本发明实施例中，根据子数据流的目的端口确定子数据流的标签，并在获取到异常数据流的标签后，将子数据流的标签与所述异常数据流的标签进行比较，确定出待清洗数据流，从而可实现对待处理数据流进行精准地清洗，减轻清洗设备的性能压力，有效地提升清洗设备的处理效率。
针对上述方法流程，本发明实施例还提供确定待清洗数据流的装置，该装置的具体内容可以参照上述方法实施。
图3为本发明实施例提供的一种确定待清洗数据流的装置的结构示意图，该装置包括：
第一获取模块301，用于获取待处理数据流；
第一确定模块302，用于将所述待处理数据流中目的端口相同的数据流确定为一个子数据流；根据各个所述子数据流的目的端口，确定各个所述子数据流的标签；
第二获取模块303，用于获取异常数据流的标签；所述异常数据流是根据各个所述子数据流以及各个所述子数据流对应的目的端口的历史数据流统计得到的；
第二确定模块304，用于在所述子数据流的标签与所述异常数据流的标签相同的情况下，将所述子数据流确定为待清洗数据流。
较佳地，所述第二获取模块303还用于：
根据各个所述子数据流的目的端口在设定周期内的历史数据流的流量大小，确定出各个所述子数据流的目的端口在设定周期内的平均流量；
在第一子数据流的流量与所述第一子数据流的目的端口在设定周期内的平均流量的差值大于第一阈值的情况下，确定所述第一子数据流为异常数据流。
较佳地，所述第一确定模块302具体用于：
若所述子数据流的目的端口为第一类型目的端口，则根据已存储的第一类型目的端口与标签之间的对应关系，得到所述子数据流的目的端口对应的第一标签；所述第一类型目的端口为根据应用协议得到的端口；
将所述子数据流的目的端口对应的第一标签确定为所述子数据流的标签。
较佳地，所述第一确定模块302具体用于：
若所述子数据流的目的端口为第二类型目的端口，则从待分配标签集合中为所述子数据流的目的端口分配第二标签，并将所述第二标签从所述待分配标签集合中删除；所述待分配标签集合中的标签为所述标签集合中除所述第一类型目的端口对应的标签以外的标签；所述第二类型目的端口为除所述第一类型目的端口以外的端口。
将所述子数据流的目的端口对应的所述第二标签确定为所述子数据流的标签。
较佳地，所述第一确定模块302还用于：
将所述第二标签添加到所述待分配标签集合中。
从上述内容可以看出：
本发明的上述实施例中，首先获取待处理数据流，将待处理数据流中目的端口相同的数据流确定为一个子数据流，并根据各个所述子数据流的目的端口，确定各个所述子数据流的标签；获取异常数据流的标签后，在所述子数据流的标签与所述异常数据流的标签相同的情况下，将所述子数据流确定为待清洗数据流；其中，所述异常数据流是根据各个所述子数据流以及各个所述子数据流对应的目的端口的历史数据流统计得到的。本发明实施例中，根据子数据流的目的端口确定子数据流的标签，并在获取到异常数据流的标签后，将子数据流的标签与所述异常数据流的标签进行比较，确定出待清洗数据流，从而可实现对待处理数据流进行精准地清洗，减轻清洗设备的性能压力，有效地提升清洗设备的处理效率。
本领域内的技术人员应明白，本发明的实施例可提供为方法、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种确定待清洗数据流的方法，其特征在于，该方法包括：
获取待处理数据流；
将所述待处理数据流中目的端口相同的数据流确定为一个子数据流；根据各个所述子数据流的目的端口，确定各个所述子数据流的标签；
获取异常数据流的标签；所述异常数据流是根据各个所述子数据流以及各个所述子数据流对应的目的端口的历史数据流统计得到的；
在所述子数据流的标签与所述异常数据流的标签相同的情况下，将所述子数据流确定为待清洗数据流。
2.如权利要求1所述的方法，其特征在于，所述异常数据流是根据各个所述子数据流以及各个所述子数据流的目的端口的历史数据流得到的，包括：
根据各个所述子数据流的目的端口在设定周期内的历史数据流的流量大小，确定出各个所述子数据流的目的端口在设定周期内的平均流量；
在第一子数据流的流量与所述第一子数据流的目的端口在设定周期内的平均流量的差值大于第一阈值的情况下，确定所述第一子数据流为异常数据流。
3.如权利要求1所述的方法，其特征在于，所述根据各个所述子数据流的目的端口，确定各个所述子数据流的标签，包括：
若所述子数据流的目的端口为第一类型目的端口，则根据已存储的第一类型目的端口与标签之间的对应关系，得到所述子数据流的目的端口对应的第一标签；所述第一类型目的端口为根据应用协议得到的端口；
将所述子数据流的目的端口对应的第一标签确定为所述子数据流的标签。
4.如权利要求3所述的方法，其特征在于，所述根据各个所述子数据流的目的端口，确定各个所述子数据流的标签，包括：
若所述子数据流的目的端口为第二类型目的端口，则从待分配标签集合中为所述子数据流的目的端口分配第二标签，并将所述第二标签从所述待分配标签集合中删除；所述待分配标签集合中的标签为标签集合中除所述第一类型目的端口对应的标签以外的标签；所述第二类型目的端口为除所述第一类型目的端口以外的端口；
将所述子数据流的目的端口对应的所述第二标签确定为所述子数据流的标签。
5.如权利要求4所述的方法，其特征在于，所述将所述待处理数据流确定为待清洗数据流之后，还包括：
将所述第二标签添加到所述待分配标签集合中。
6.一种确定待清洗数据流的装置，其特征在于，该装置包括：
第一获取模块，用于获取待处理数据流；
第一确定模块，用于将所述待处理数据流中目的端口相同的数据流确定为一个子数据流；根据各个所述子数据流的目的端口，确定各个所述子数据流的标签；
第二获取模块，用于获取异常数据流的标签；所述异常数据流是根据各个所述子数据流以及各个所述子数据流对应的目的端口的历史数据流统计得到的；
第二确定模块，用于在所述子数据流的标签与所述异常数据流的标签相同的情况下，将所述子数据流确定为待清洗数据流。
7.如权利要求6所述的装置，其特征在于，所述第二获取模块还用于：
根据各个所述子数据流的目的端口在设定周期内的历史数据流的流量大小，确定出各个所述子数据流的目的端口在设定周期内的平均流量；
在第一子数据流的流量与所述第一子数据流的目的端口在设定周期内的平均流量的差值大于第一阈值的情况下，确定所述第一子数据流为异常数据流。
8.如权利要求6所述的装置，其特征在于，所述第一确定模块具体用于：
若所述子数据流的目的端口为第一类型目的端口，则根据已存储的第一类型目的端口与标签之间的对应关系，得到所述子数据流的目的端口对应的第一标签；所述第一类型目的端口为根据应用协议得到的端口；
将所述子数据流的目的端口对应的第一标签确定为所述子数据流的标签。
9.如权利要求8所述的装置，其特征在于，所述第一确定模块具体用于：
若所述子数据流的目的端口为第二类型目的端口，则从待分配标签集合中为所述子数据流的目的端口分配第二标签，并将所述第二标签从所述待分配标签集合中删除；所述待分配标签集合中的标签为所述标签集合中除所述第一类型目的端口对应的标签以外的标签；所述第二类型目的端口为除所述第一类型目的端口以外的端口；
将所述子数据流的目的端口对应的所述第二标签确定为所述子数据流的标签。
10.如权利要求9所述的装置，其特征在于，所述第一确定模块还用于：
将所述第二标签添加到所述待分配标签集合中。
CN201510802035.1A 2015-11-19 2015-11-19 一种确定待清洗数据流的方法及装置 Pending CN105959253A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510802035.1A CN105959253A (zh) 2015-11-19 2015-11-19 一种确定待清洗数据流的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510802035.1A CN105959253A (zh) 2015-11-19 2015-11-19 一种确定待清洗数据流的方法及装置

Publications (1)

Publication Number Publication Date
CN105959253A true CN105959253A (zh) 2016-09-21

Family

ID=56917050

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510802035.1A Pending CN105959253A (zh) 2015-11-19 2015-11-19 一种确定待清洗数据流的方法及装置

Country Status (1)

Country Link
CN (1) CN105959253A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109299183A (zh) * 2018-11-20 2019-02-01 北京锐安科技有限公司 一种数据处理方法、装置、终端设备和存储介质
CN109756456A (zh) * 2017-11-06 2019-05-14 中兴通讯股份有限公司 一种提高网络设备安全的方法、网络设备及可读存储介质
CN109951466A (zh) * 2019-03-08 2019-06-28 新华三信息安全技术有限公司 端口流量监控方法、装置、电子设备及机器可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101014008A (zh) * 2007-02-15 2007-08-08 杭州华为三康技术有限公司 多协议标签交换业务分类处理方法及网络设备
CN101697544A (zh) * 2009-10-28 2010-04-21 中兴通讯股份有限公司 一种标签的冲突避免方法及装置
CN102195843A (zh) * 2010-03-02 2011-09-21 中国移动通信集团公司 一种流量控制系统和方法
CN103227753A (zh) * 2013-04-01 2013-07-31 北京东土科技股份有限公司 一种网络拥塞处理方法、系统及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101014008A (zh) * 2007-02-15 2007-08-08 杭州华为三康技术有限公司 多协议标签交换业务分类处理方法及网络设备
CN101697544A (zh) * 2009-10-28 2010-04-21 中兴通讯股份有限公司 一种标签的冲突避免方法及装置
CN102195843A (zh) * 2010-03-02 2011-09-21 中国移动通信集团公司 一种流量控制系统和方法
CN103227753A (zh) * 2013-04-01 2013-07-31 北京东土科技股份有限公司 一种网络拥塞处理方法、系统及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109756456A (zh) * 2017-11-06 2019-05-14 中兴通讯股份有限公司 一种提高网络设备安全的方法、网络设备及可读存储介质
CN109299183A (zh) * 2018-11-20 2019-02-01 北京锐安科技有限公司 一种数据处理方法、装置、终端设备和存储介质
CN109951466A (zh) * 2019-03-08 2019-06-28 新华三信息安全技术有限公司 端口流量监控方法、装置、电子设备及机器可读存储介质
CN109951466B (zh) * 2019-03-08 2021-10-26 新华三信息安全技术有限公司 端口流量监控方法、装置、电子设备及机器可读存储介质

Similar Documents

Publication Publication Date Title
CN111935170B (zh) 一种网络异常流量检测方法、装置及设备
CN105681250B (zh) 一种僵尸网络分布式实时检测方法和系统
US20190334937A1 (en) Method and apparatus for detecting port scans in a network
CN105745870B (zh) 从用于检测大流的串行多级过滤器去除头部过滤器以便清除流以实现延长操作
US9934379B2 (en) Methods, systems, and computer readable media for detecting a compromised computing host
CN107135187A (zh) 网络攻击的防控方法、装置及系统
CN106790170B (zh) 一种数据包过滤方法及装置
CN107690776A (zh) 用于异常检测中的将特征分组为具有选择的箱边界的箱的方法和装置
CN103607399A (zh) 基于暗网的专用ip网络安全监测系统及方法
CN106657025A (zh) 网络攻击行为检测方法及装置
CN105282169A (zh) 基于SDN控制器阈值的DDoS攻击预警方法及其系统
CN109257326A (zh) 防御数据流攻击的方法、装置和存储介质及电子设备
US10050892B2 (en) Method and apparatus for packet classification
CN106657126B (zh) 检测及防御DDoS攻击的装置及方法
CN109450955A (zh) 一种基于网络攻击的流量处理方法及装置
CN108471420A (zh) 基于网络模式识别和匹配的容器安全防御方法与装置
EP3242240B1 (en) Malicious communication pattern extraction device, malicious communication pattern extraction system, malicious communication pattern extraction method and malicious communication pattern extraction program
CN105959253A (zh) 一种确定待清洗数据流的方法及装置
CN104702623B (zh) Ip封锁方法及系统
CN107612890A (zh) 一种网络监测方法及系统
CN106686007A (zh) 一种发现内网被控重路由节点的主动流量分析方法
CN107623691A (zh) 一种基于反向传播神经网络算法的DDoS攻击检测系统及方法
US8775613B2 (en) Method and system for providing network monitoring, security event collection apparatus and service abnormality detection apparatus for network monitoring
CN107426132A (zh) 网络攻击的检测方法和装置
Songma et al. Classification via k-means clustering and distance-based outlier detection

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160921

RJ01 Rejection of invention patent application after publication