CN112118271B - 流量清洗方法、装置、设备及计算机可读存储介质 - Google Patents

流量清洗方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN112118271B
CN112118271B CN202011182907.6A CN202011182907A CN112118271B CN 112118271 B CN112118271 B CN 112118271B CN 202011182907 A CN202011182907 A CN 202011182907A CN 112118271 B CN112118271 B CN 112118271B
Authority
CN
China
Prior art keywords
flow
feature value
hardware module
feature
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011182907.6A
Other languages
English (en)
Other versions
CN112118271A (zh
Inventor
邢涛
杨林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou DPTech Technologies Co Ltd
Original Assignee
Hangzhou DPTech Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou DPTech Technologies Co Ltd filed Critical Hangzhou DPTech Technologies Co Ltd
Priority to CN202011182907.6A priority Critical patent/CN112118271B/zh
Publication of CN112118271A publication Critical patent/CN112118271A/zh
Application granted granted Critical
Publication of CN112118271B publication Critical patent/CN112118271B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H04L63/1458—Denial of Service
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请提供了一种流量清洗方法，使用软硬件结合的方式，将复杂的特征匹配和特征筛选工作交由更灵活的软件模块完成，根据不同特征值的统计结果，识别出抽样流量中的异常流量，并将相关特征值交给硬件模块形成防护策略表，由硬件模块基于防护策略表对后续报文进行优先匹配，以便对后续报文采取丢包或转发处理，从而提高了硬件模块的处理性能。可见，通过上述方式，可以只让硬件模块保存部分配置和防护功能，减少了硬件模块不必要的存储和筛选特征等消耗，这样可以提升对超大流量的清洗效率；而且，匹配特征值和筛选清洗流量的工作交由更为灵活的软件模块进行，可以满足各种复杂流量的清洗需求。

Description

流量清洗方法、装置、设备及计算机可读存储介质
技术领域
本申请涉及通信技术领域，特别涉及一种流量清洗方法、装置、设备及计算机可读存储介质。
背景技术
流量清洗，通常是指将流量中含有的分布式拒绝服务攻击(Distributed Denialof Service Attack，简称DDoS)进行拦截，并将正常业务流量回注至网络，其中，流量是指转发的数据报文合集。
当需要对超大型的流量进行清洗时，所有的清洗工作均由硬件完成，即，由硬件保存复杂配置，并由硬件对超大流量中的异常流量进行匹配、筛选和防护，以及由硬件对符合清洗的流量进行防护。具体地，通过下发指定偏移长度和匹配的长度给硬件，由硬件存储相应的防护策略，利用该防护策略对超大流量中的每条报文进行策略匹配，当与某条策略匹配的报文超过一定阈值之后，由硬件将与该条策略匹配的报文进行防护处理。
但是，对于某些硬件来讲，该硬件的缓存是有限的，这使得硬件能够存储的配置信息和流量信息是有限的，故而，硬件在存储性能上有一定的局限性，导致清洗效率不高；此外，对超大流量中的异常流量进行匹配、筛选和防护等工作，均由硬件完成，这导致硬件能够进行的防护多样性不够、且灵活性不足，无法对各种复杂流量进行清洗。可见，当采用硬件对超大流量中的异常流量进行清洗时，会影响超大流量的清洗效率、且无法满足各种复杂流量的清洗需求。
发明内容
有鉴于此，本申请提供了一种流量清洗方法、装置、设备及计算机可读存储介质，在对超大流量进行清洗时，能够提升清洗效率、且能够对各种复杂流量进行清洗。
具体地，本申请是通过如下技术方案实现的：
一种流量清洗方法，所述方法应用于一种流量清洗系统，所述流量清洗系统包括硬件模块和软件模块，所述方法包括：
所述硬件模块实时的对接收的流量进行抽样处理，并将当前抽样得到的抽样流量发送给所述软件模块；
所述软件模块对所述抽样流量进行特征筛选，对于筛选出的每一特征值，确定所述抽样流量中具有该特征值的报文数目，并且，若所述报文数目超过该特征值对应的防护阈值，则将该特征值发送给所述硬件模块；
所述硬件模块将接收到的后续报文与防护策略表进行匹配，根据匹配结果对所述后续报文进行丢包或转发处理，所述防护策略表包括所述硬件模块从所述软件模块接收并保存的各个特征值。
一种流量清洗装置，所述装置应用于一种流量清洗系统，所述流量清洗系统包括硬件模块和软件模块；
所述硬件模块，用于实时的对接收的流量进行抽样处理，并将当前抽样得到的抽样流量发送给所述软件模块；
所述软件模块，用于对所述抽样流量进行特征筛选，对于筛选出的每一特征值，确定所述抽样流量中具有该特征值的报文数目，并且，若所述报文数目超过该特征值对应的防护阈值，则将该特征值发送给所述硬件模块；
所述硬件模块，用于将接收到的后续报文与防护策略表进行匹配，根据匹配结果对所述后续报文进行丢包或转发处理，所述防护策略表包括所述硬件模块从所述软件模块接收并保存的各个特征值。
一种电子设备，包括：处理器、存储器；
所述存储器，用于存储计算机程序；
所述处理器，用于通过调用所述计算机程序，执行上述流量清洗方法。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述流量清洗方法。
由以上本申请提供的技术方案可见，使用软硬件结合的方式，将复杂的特征匹配和特征筛选工作交由更灵活的软件模块完成，根据不同特征值的统计结果，识别出抽样流量中的异常流量，并将相关特征值交给硬件模块形成防护策略表，由硬件模块基于防护策略表对后续报文进行优先匹配，以便对后续报文采取丢包或转发处理，从而提高了硬件模块的处理性能。可见，通过上述方式，可以只让硬件模块保存部分配置和防护功能，减少了硬件模块不必要的存储和筛选特征等消耗，这样可以提升对超大流量的清洗效率；而且，匹配特征值和筛选清洗流量的工作交由更为灵活的软件模块进行，可以提高防护的多样性和灵活性，从而满足各种复杂流量的清洗需求。
附图说明
图1为本申请示出的一种流量清洗系统的系统框图；
图2为本申请示出的一种流量清洗方法的流程示意图；
图3为本申请示出的一种流量清洗装置的组成示意图；
图4为本申请示出的一种电子设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
本申请实施例将提供一种流量清洗方法，该方法可以应用于一种流量清洗系统，流量清洗系统也即流量清洗中心，其可以将流量牵引至流量清洗系统进行清洗并回注正常业务流量，其中，回注是指在清洗完成后将正常业务流量重新转发回路由器。
在该流量清洗系统中，其可以包括硬件模块和软件模块，本申请实施例可以利用软硬结合的方式实现流量清洗，需要说明的是，可以采用本申请实施例提供的流量清洗方法，对超大型的流量(比如DDoS超大流量)进行清洗，亦可以对较小型的流量进行清洗。
在本申请实施例中，不对上述硬件模块的类型进行限定，该硬件模块可以是现场可编程逻辑门阵列(Field Programmable Gate Array，简称FPGA)，也可以是其它可用于流量清洗的硬件。
可以将流量清洗系统所包括的硬件模块和软件模块，按照功能划分成不同的子模块，例如，参见图1所示的流量清洗系统的系统框图，硬件模块可以包括采样模块和防护模块，软件模块可以包括筛选模块。
对于本申请实施例提供的流量清洗方法，可以将对流量进行匹配、筛选的功能由软件模块承担，将对流量进行防护的功能由硬件模块承担，这样，可以加强异常流量清洗的多样性和灵活性，并且能够对一些复杂流量进行清洗，对超大异常流量的清洗效率有一定的优化。具体来讲，由于采用硬件处理流量的性能较高，但硬件处理复杂的特征匹配和特征筛选的性能不足，因此，可以采用软件处理复杂的特征匹配和特征筛选，软件对此具有较高的处理能力，但软件处理流量的性能具有明显的瓶颈，基于此，可以采取软硬件结合的方式处理超大型的流量清洗，让软硬件分别处理擅长部分，从而协同处理超大异常流量的清洗。
本申请实施例可以利用硬件的高性能流量转发能力、结合软件对复杂特征匹配的处理能力，实现了对超大DDoS异常流量的防护。
下面对本申请实施例提供的流量清洗方法进行介绍。
参见图2所示的流量清洗方法的流程示意图，该方法可以包括以下步骤S201-S203：
S201：硬件模块实时的对接收的流量进行抽样处理，并将当前抽样得到的抽样流量发送给软件模块。
硬件模块需要实时的对接收的流量进行抽样处理，具体可以将超大流量抽样成软件可以处理的镜像流量，在本申请实施例中，不对预设时间间隔的时长进行限定，比如，预设时间间隔可以是以每秒为间隔。
如图1所示，可以由硬件模块中的采样模块，实时的对接收的流量进行抽样处理，并将当前抽样得到的抽样流量发送给软件模块中的筛选模块。
在本申请实施例中，软件模块存储的配置信息可以包括各个特征值以及与每一特征值对应的防护阈值，硬件模块存储的配置信息可以包括各个特征值。具体地，流量清洗系统可以将配置信息分别下发给软件模块和硬件模块，软件模块保存的配置信息包括至少一个特征值以及每一特征值对应的防护阈值等信息，硬件模块保存的配置信息包括至少一个特征值等信息；由于硬件模块可以保存软件模块的全部或部分的相同特征值，这使得软件模块和硬件模块，可以协同处理流量清洗工作、而不会产生偏差，此外，由于硬件模块保存的配置信息内容较少，这种方式减少了硬件模块存储配置的压力。
在本申请实施例的一种实现方式中，S201中的“对接收的流量进行抽样处理”，具体可以包括：按照预设比例，对接收的流量进行抽样处理。
在该实现方式中，不对预设比例进行限定，比如，该预设比例可以是1000:1或100:1。也就是说，可以按照一定的采样比(即预设比例)从硬件模块抽取少量的流量。
参见图1，当硬件模块有配置信息时，即，硬件模块的抽样开关有值，可以由其采样模块实时的以预设比例对接收的流量进行抽样处理，并交由筛选模块对抽样流量进行匹配、筛选；当硬件模块没有配置信息时，则硬件模块的抽样开关关闭，其采样模块不再对流量进行抽样、并上送给筛选模块。
S202：软件模块对抽样流量进行特征筛选，对于筛选出的每一特征值，确定抽样流量中具有该特征值的报文数目，并且，若报文数目超过该特征值对应的防护阈值，则将该特征值发送给硬件模块。
在本申请实施例中，由于上层系统会向软件模块下发防护策略，该防护策略用于记录具体的防护内容、也可以理解为具体的防护对象，该防护策略可以包括一个或多个防护对象。例如，以域名系统(Domain Name System，DNS)为例，该防护策略中可以记录需要防护的DNS字段，比如，某个DNS字段可以涉及报文接收端口。实际上，每一个防护对象即为一个特征值。
基于此，软件模块可以基于防护策略中的记载内容，对抽样流量进行特征筛选，如果能从抽样流量中筛选出防护策略中记录的一个或多个特征值，则对于筛选出的每一特征值，确定抽样流量中具有该特征值的报文数目，并且，将该报文数目与该特征值对应的防护阈值进行比较，若报文数目超过该特征值对应的防护阈值，则将该特征值发送给硬件模块。
如图1所示，可以由软件模块中的筛选模块，对抽样流量进行特征筛选，对于筛选出的每一特征值，确定抽样流量中具有该特征值的报文数目，并且，若报文数目超过该特征值对应的防护阈值，则将该特征值发送给硬件模块中的防护模块。
在S201中，由于硬件模块是实时的对接收的流量进行抽样处理的，因此，对每次抽样得到的抽样流量，按照S202进行处理。
软件模块可以根据软件保存的配置信息，对本次抽样得到的抽样流量进行匹配，以筛选出抽样流量具有的所有特征值。根据抽样流量中特征值的不同，保存至映射的相应内存，并对匹配命中的报文数目进行统计，也就是说，在软件模块对应的内存空间中，可以将抽样流量具有的N(N大于或等于1)个不同特征值，保存到N个不同的内存单元中，对于这N个特征值中的每一特征值，统计本次抽样流量中命中该特征值的报文数目，因而，这N个特征值分别对应一个报文数目。
在上述N个特征值中，每个特征值均对应一个预设的防护阈值，通常情况下，由于这N个特征值是不同的特征值，而不同特征值代表不同的物理含义，因此，这N个特征值各自的防护阈值可以不同，当然，也可能全部或部分相同。此外，不同特征值对应的防护阈值，可以根据实验和经验进行预先设定。
然后，在上述N个特征值中，如果某个特征值对应统计的报文数目，超过该特征值对应的防护阈值，则由软件模块保存相应的状态，具体保存方式不做限定，比如，0表示超过预设阈值、1表示未超过预设阈值。
最后，对于超过对应防护阈值的特征值，软件模块可以将该特征值发送给硬件模块，当然，软件模块还可以进一步将该特征值对应的报文数目一并发送给硬件模块，以便硬件模块接收并保存软件模块发送的数据，并基于这些数据进行防护操作。
在本申请实施例的一种实现方式中，S202中的“软件模块对抽样流量进行特征筛选”，具体可以包括：软件模块利用存储的各个特征值，对抽样流量进行特征筛选。在本实现方式中，由于软件模块预先存储了配置信息、且该配置信息中包括至少一个特征值，因此，软件模块可以基于存储的配置信息对抽样流量进行特征提取和筛选。
需要说明的是，采用上述方式处理目标流量(比如硬件模块接收的DDoS超大流量)是可行的，因为目标流量本身和抽样流量是等比的，对于目标流量中的异常流量特征值，该异常流量特征值在抽样流量中也会出现，这就给了软件模块处理抽样流量、硬件模块处理目标流量的可能。软件模块在对抽样流量进行处理的时候，只需要在等比的基础上对抽样流量进行识别，从而放大到目标流量中就能够使得硬件模块进行处理。
还需要说明的是，对于任一个特征值来讲，如果软件模块之前已经将该特征值下发给了硬件模块、且确认硬件模块中记录了该特征值，则可以不必重复下发。
S203：硬件模块将接收到的后续报文与防护策略表进行匹配，根据匹配结果对后续报文进行丢包或转发处理，其中，该防护策略表包括硬件模块从软件模块接收并保存的各个特征值。
如图1所示，可以由硬件模块中的防护模块，将接收到的后续报文与防护策略表进行匹配，根据匹配结果对后续报文进行丢包或转发处理。
在本申请实施例中，对于软件模块下发给硬件模块的每一特征值，硬件模块可以将这些特征值组织成防护策略表，即，硬件模块每接收到软件模块下发的特征值，便将接收的特征值添加到防护策略表中，以更新防护策略表，这样，防护策略表中便包括了不同的特征值。
需要说明的是，对于防护策略表中的特征值，当该特征值满足某种预设情形时，可以删除该特征值，具体的删除处理方式将在后续内容中介绍。
在本申请实施例中，对于硬件模块接收的后续报文，硬件模块会优先将该后续报文与该防护策略表中的表项进行匹配，并根据匹配结果对该后续报文进行丢包或转发处理。
在本申请实施例的一种实现方式中，S203中的“根据匹配结果对所述后续报文进行丢包或转发处理”，具体可以包括：若匹配到防护策略表中的特征值，则将后续报文进行丢包处理；若未匹配到防护策略表中的特征值，则将后续报文进行转发处理。在本实现方式中，硬件模块将该后续报文与该防护策略表中的表项进行匹配后，若该后续报文命中该防护策略表中的任一表项，说明该后续报文是异常流量，则将该后续报文进行丢包处理，反之，若该后续报文未命中该防护策略表中的任一表项，说明该后续报文是正常流量，则将该后续报文按照路由进行转发处理。
在上述内容中，提及了“对于防护策略表中的特征值，当该特征值满足某种预设情形时，可以删除该特征值”，本申请实施例给出了三种情形。
在第一种情形中，对于防护策略表中的每一特征值，软件模块对该特征值的命中报文数目进行统计，若该特征值在第一预设时长内的命中报文数目未超过该特征值对应的防护阈值，则向硬件模块下发携带该特征值的第一删除通知；硬件模块在接收到第一删除通知后，从防护策略表中删除第一删除通知中携带的特征值。
在本申请实施例中，不对上述第一预设时长的时间长度进行限定，比如，该第一预设时长为30s。例如，假设第一预设时长为30s，对于某特征值来讲，在这30s内，如果断断续续有报文命中该特征值、但命中报文数目未超过该特征值对应的防护阈值，则下发第一删除通知，以告知硬件模块删除该特征值。
需要说明的是，上述第一种情形中的软件模块的相关功能可以由图1所示的筛选模块实现、硬件模块的相关功能可以由图1所示的防护模块实现。
对于交由防护模块的每一特征值，可以记录该特征值的命中时长以及在该命中时长内的命中次数，在第一预设时长内，如果命中该特征值的报文数目没有超过该特征值对应的防护阈值，则说明该特征值对应的异常特征不会经常出现在报文中，因此，软件模块可以生成一个删除通知，以通知硬件模块将该特征值从防护策略表中删除。
在第二种情形中，对于防护策略表中的每一特征值，软件模块对该特征值的命中报文数目进行统计，若该特征值在第二预设时长内的命中报文数目为零，则向硬件模块下发携带该特征值的第二删除通知；硬件模块在接收到第二删除通知后，从防护策略表中删除第二删除通知中携带的特征值。
在本申请实施例中，不对上述第二预设时长的时间长度进行限定，第二预设时长可以小于上述第一预设时长，比如，该第二预设时长为20s。例如，假设第二预设时长为20s，对于某特征值来讲，在这持续的20s内，如果没有报文命中该特征值(即，持续的长时间没有报文命中该特征值)，则下发第二删除通知，以告知硬件模块删除该特征值；反之，如果在这20s内有报文命中该特征值，可以判断报文命中数目是否满足上述第一预设时长(比如30s)的要求，继续确定是否下发第一删除通知。
需要说明的是，上述第二种情形中的软件模块的相关功能可以由图1所示的筛选模块实现、硬件模块的相关功能可以由图1所示的防护模块实现。
对于交由防护模块中的每一特征值，可以记录该特征值的命中时长以及在该命中时长内的命中次数，在第二预设时长内，如果没有报文命中该特征值，即长时间没有报文命中某特征值，则说明该特征值对应的异常特征不会经常出现在报文中，因此，软件模块可以生成一个删除通知，以通知硬件模块将该特征值从防护策略表中删除。
在第三种情形中，用户可以直接删除一些特征值，即，用户可以从防护策略表中选择N(N≥1)个特征值，并触发第三删除通知，硬件模块在接收到第三删除通知后，从防护策略表中删除这N个特征值。
在上述本申请实施例提供的流量清洗方法中，硬件模块实时的对接收的流量进行抽样处理，并将当前抽样得到的抽样流量发送给软件模块；软件模块对抽样流量进行特征筛选，对于筛选出的每一特征值，确定抽样流量中具有该特征值的报文数目，若报文数目超过该特征值对应的防护阈值，则将该特征值发送给硬件模块；硬件模块将接收到的后续报文与防护策略表进行匹配，根据匹配结果对后续报文进行丢包或转发处理，防护策略表包括硬件模块从软件模块接收并保存的各个特征值。可见，本申请实施例使用软硬件结合的方式，将复杂的特征匹配和特征筛选工作交由更灵活的软件模块完成，根据不同特征值的统计结果不同，识别出抽样流量中的异常流量，并将相关特征值交给硬件模块形成防护策略表，由硬件模块基于防护策略表对后续报文进行优先匹配，以便对后续报文采取丢包或转发处理，从而提高了硬件模块的处理性能。
此外，通过上述方式，可以只让硬件模块保存部分配置和防护功能，减少了硬件模块不必要的存储和筛选特征等消耗，这样可以提升对超大流量的清洗效率；而且，匹配特征值和筛选清洗流量的工作交由更为灵活的软件模块进行，可以提高防护的多样性和灵活性，从而满足各种复杂流量的清洗需求；进一步地，还可以由软件模块下发指令，指示硬件模块添加和删除防护策略表中的特征值。通过上述方式，可以有效掌握流量清洗的节奏，从而轻松应对超大流量的清洗工作。
参见图3，为本申请实施例示出的一种流量清洗装置的组成示意图，该装置应用于一种流量清洗系统，所述流量清洗系统包括硬件模块310和软件模块320；
所述硬件模块310，用于实时的对接收的流量进行抽样处理，并将当前抽样得到的抽样流量发送给所述软件模块320；
所述软件模块320，用于对所述抽样流量进行特征筛选，对于筛选出的每一特征值，确定所述抽样流量中具有该特征值的报文数目，并且，若所述报文数目超过该特征值对应的防护阈值，则将该特征值发送给所述硬件模块310；
所述硬件模块310，用于将接收到的后续报文与防护策略表进行匹配，根据匹配结果对所述后续报文进行丢包或转发处理，所述防护策略表包括所述硬件模块310从所述软件模块320接收并保存的各个特征值。
在本申请实施例的一种实现方式中，所述硬件模块310，具体用于按照预设比例，对接收的流量进行抽样处理。
在本申请实施例的一种实现方式中，所述软件模块320，具体用于利用存储的各个特征值，对所述抽样流量进行特征筛选。
在本申请实施例的一种实现方式中，所述软件模块320，还用于对于所述防护策略表中的每一特征值，对该特征值的命中报文数目进行统计，若该特征值在第一预设时长内的命中报文数目未超过该特征值对应的防护阈值，则向所述硬件模块310下发携带该特征值的第一删除通知；
所述硬件模块310，还用于在接收到所述第一删除通知后，从所述防护策略表中删除所述第一删除通知中携带的特征值。
在本申请实施例的一种实现方式中，所述软件模块320，还用于对于所述防护策略表中的每一特征值，对该特征值的命中报文数目进行统计，若该特征值在第二预设时长内的命中报文数目为零，则向所述硬件模块310下发携带该特征值的第二删除通知；
所述硬件模块310，还用于在接收到所述第二删除通知后，从所述防护策略表中删除所述第二删除通知中携带的特征值。
在本申请实施例的一种实现方式中，所述硬件模块310具体用于：
若匹配到所述防护策略表中的特征值，则将所述后续报文进行丢包处理；
若未匹配到所述防护策略表中的特征值，则将所述后续报文进行转发处理。
在本申请实施例的一种实现方式中，所述硬件模块为现场可编程逻辑门阵列FPGA。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本申请实施例还提供了一种电子设备，该电子设备的结构示意图如图4所示，该电子设备4000包括至少一个处理器4001、存储器4002和总线4003，至少一个处理器4001均与存储器4002电连接；存储器4002被配置用于存储有至少一个计算机可执行指令，处理器4001被配置用于执行该至少一个计算机可执行指令，从而执行如本申请中任意一个实施例或任意一种可选实施方式提供的任意一种流量清洗方法的步骤。
进一步，处理器4001可以是FPGA(Field－Programmable Gate Array，现场可编程门阵列)或者其它具有逻辑处理能力的器件，如MCU(Microcontroller Unit，微控制单元)、CPU(Central Process Unit，中央处理器)。
应用本申请实施例，使用软硬件结合的方法，将复杂的特征匹配和特征筛选工作交由更灵活的软件模块完成，根据不同特征值的统计结果不同，识别出抽样流量中的异常流量，并将相关特征值交给硬件模块形成防护策略表，由硬件模块基于防护策略表对后续报文进行优先匹配，以便对后续报文采取丢包或转发处理，从而提高了硬件模块的处理性能。此外，通过上述方式，可以只让硬件模块保存部分配置和防护功能，减少了硬件模块不必要的存储和筛选特征等消耗，这样可以提升对超大流量的清洗效率；而且，匹配特征值和筛选清洗流量的工作交由更为灵活的软件模块进行，可以满足各种复杂流量的清洗需求；进一步地，还可以由软件模块下发指令，指示硬件模块添加和删除防护策略表中的特征值。通过上述方式，可以有效掌握流量清洗的节奏，从而轻松应对超大流量的清洗工作。
本申请实施例还提供了另一种计算机可读存储介质，存储有计算机程序，该计算机程序用于被处理器执行时实现本申请中任意一个实施例或任意一种可选实施方式提供的任意一种流量清洗方法的步骤。
本申请实施例提供的计算机可读存储介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory，只读存储器)、RAM(RandomAccess Memory，随即存储器)、EPROM(Erasable Programmable Read-Only Memory，可擦写可编程只读存储器)、EEPROM(Electrically Erasable Programmable Read-Only Memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，可读存储介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。
应用本申请实施例，使用软硬件结合的方法，将复杂的特征匹配和特征筛选工作交由更灵活的软件模块完成，根据不同特征值的统计结果不同，识别出抽样流量中的异常流量，并将相关特征值交给硬件模块形成防护策略表，由硬件模块基于防护策略表对后续报文进行优先匹配，以便对后续报文采取丢包或转发处理，从而提高了硬件模块的处理性能。此外，通过上述方式，可以只让硬件模块保存部分配置和防护功能，减少了硬件模块不必要的存储和筛选特征等消耗，这样可以提升对超大流量的清洗效率；而且，匹配特征值和筛选清洗流量的工作交由更为灵活的软件模块进行，可以满足各种复杂流量的清洗需求；进一步地，还可以由软件模块下发指令，指示硬件模块添加和删除防护策略表中的特征值。通过上述方式，可以有效掌握流量清洗的节奏，从而轻松应对超大流量的清洗工作。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (9)

1.一种流量清洗方法，其特征在于，所述方法应用于一种流量清洗系统，所述流量清洗系统包括硬件模块和软件模块，所述方法包括：
所述硬件模块实时的对接收的流量进行抽样处理，并将当前抽样得到的抽样流量发送给所述软件模块；
所述软件模块对所述抽样流量进行特征筛选，对于筛选出的每一特征值，确定所述抽样流量中具有该特征值的报文数目，并且，若所述报文数目超过该特征值对应的防护阈值，则将该特征值发送给所述硬件模块，以及，对于防护策略表中的每一特征值，对该特征值的命中报文数目进行统计，若该特征值在第一预设时长内的命中报文数目未超过该特征值对应的防护阈值，则向所述硬件模块下发携带该特征值的第一删除通知；
所述硬件模块将接收到的后续报文与防护策略表进行匹配，根据匹配结果对所述后续报文进行丢包或转发处理，所述防护策略表包括所述硬件模块从所述软件模块接收并保存的各个特征值，以及，在接收到所述第一删除通知后，从所述防护策略表中删除所述第一删除通知中携带的特征值。
2.根据权利要求1所述的方法，其特征在于，所述对接收的流量进行抽样处理，包括：
按照预设比例，对接收的流量进行抽样处理。
3.根据权利要求1所述的方法，其特征在于，所述软件模块对所述抽样流量进行特征筛选，包括：
所述软件模块利用存储的各个特征值，对所述抽样流量进行特征筛选。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对于所述防护策略表中的每一特征值，所述软件模块对该特征值的命中报文数目进行统计，若该特征值在第一预设时长内的命中报文数目未超过该特征值对应的防护阈值，则向所述硬件模块下发携带该特征值的第一删除通知；
所述硬件模块在接收到所述第一删除通知后，从所述防护策略表中删除所述第一删除通知中携带的特征值。
5.根据权利要求1所述的方法，其特征在于，所述根据匹配结果对所述后续报文进行丢包或转发处理，包括：
若匹配到所述防护策略表中的特征值，则将所述后续报文进行丢包处理；
若未匹配到所述防护策略表中的特征值，则将所述后续报文进行转发处理。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述硬件模块为现场可编程逻辑门阵列FPGA。
7.一种流量清洗装置，其特征在于，所述装置应用于一种流量清洗系统，所述流量清洗系统包括硬件模块和软件模块；
所述硬件模块，用于实时的对接收的流量进行抽样处理，并将当前抽样得到的抽样流量发送给所述软件模块；
所述软件模块，用于对所述抽样流量进行特征筛选，对于筛选出的每一特征值，确定所述抽样流量中具有该特征值的报文数目，并且，若所述报文数目超过该特征值对应的防护阈值，则将该特征值发送给所述硬件模块，以及，对于防护策略表中的每一特征值，对该特征值的命中报文数目进行统计，若该特征值在第一预设时长内的命中报文数目未超过该特征值对应的防护阈值，则向所述硬件模块下发携带该特征值的第一删除通知；
所述硬件模块，用于将接收到的后续报文与防护策略表进行匹配，根据匹配结果对所述后续报文进行丢包或转发处理，所述防护策略表包括所述硬件模块从所述软件模块接收并保存的各个特征值，以及，在接收到所述第一删除通知后，从所述防护策略表中删除所述第一删除通知中携带的特征值。
8.一种电子设备，其特征在于，包括：处理器、存储器；
所述存储器，用于存储计算机程序；
所述处理器，用于通过调用所述计算机程序，执行如权利要求1-6中任一项所述的流量清洗方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-6任一项所述的流量清洗方法。
CN202011182907.6A 2020-10-29 2020-10-29 流量清洗方法、装置、设备及计算机可读存储介质 Active CN112118271B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011182907.6A CN112118271B (zh) 2020-10-29 2020-10-29 流量清洗方法、装置、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011182907.6A CN112118271B (zh) 2020-10-29 2020-10-29 流量清洗方法、装置、设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN112118271A CN112118271A (zh) 2020-12-22
CN112118271B true CN112118271B (zh) 2023-06-27

Family

ID=73794060

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011182907.6A Active CN112118271B (zh) 2020-10-29 2020-10-29 流量清洗方法、装置、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112118271B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113595936B (zh) * 2021-08-03 2022-09-20 中国电信股份有限公司 流量监管方法、网关设备和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107016284A (zh) * 2017-03-31 2017-08-04 武汉光迅科技股份有限公司 一种数据通信设备cpu前端动态防护方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100428688C (zh) * 2005-06-09 2008-10-22 杭州华三通信技术有限公司 网络攻击的防护方法
CN105991637B (zh) * 2015-06-15 2019-06-07 杭州迪普科技股份有限公司 网络攻击的防护方法和装置
CN109167776B (zh) * 2018-08-28 2021-02-26 杭州迪普科技股份有限公司 提升流量清洗设备的防护规格的方法及相关设备
CN111064676B (zh) * 2018-10-16 2023-02-28 中兴通讯股份有限公司 一种流量监管方法、设备、装置和计算机存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107016284A (zh) * 2017-03-31 2017-08-04 武汉光迅科技股份有限公司 一种数据通信设备cpu前端动态防护方法及系统

Also Published As

Publication number Publication date
CN112118271A (zh) 2020-12-22

Similar Documents

Publication Publication Date Title
US8886827B2 (en) Flow cache mechanism for performing packet flow lookups in a network device
US8079083B1 (en) Method and system for recording network traffic and predicting potential security events
EP1648118B1 (en) Bridge node with MAC address table overflow protection
WO2018107681A1 (zh) 一种队列操作中的处理方法、装置及计算机存储介质
CN108134748B (zh) 一种基于快速转发表项的丢包方法和装置
CN107547567A (zh) 一种防攻击方法和装置
JP6323107B2 (ja) スイッチ装置、情報処理システムおよびスイッチ装置の制御方法
US11665179B2 (en) Threat detection method and apparatus
CN109873768A (zh) 更新转发表的方法、硬件加速器、ovs和服务器
CN112118271B (zh) 流量清洗方法、装置、设备及计算机可读存储介质
CN109450955A (zh) 一种基于网络攻击的流量处理方法及装置
WO2017067476A1 (zh) Mac地址处理方法及装置
CN110912912B (zh) 一种切换ip信誉检测模式的方法及装置
WO2016127582A1 (zh) 一种防御消息攻击的方法及装置
CN111031077B (zh) 一种流量清洗方法、流量清洗系统和设备
CN111988238B (zh) 一种报文转发方法及装置
CN111131337B (zh) UDP Flood攻击的检测方法及装置
CN112738110A (zh) 一种旁路阻断方法、装置、电子设备和存储介质
CN109617779B (zh) 基于vtep的路由表维护方法及装置
CN109474525B (zh) 报文的处理方法、装置、设备及可读存储介质
US8005106B2 (en) Apparatus and methods for hybrid fair bandwidth allocation and drop precedence
CN111224964A (zh) 访问控制方法及设备
CN112637083B (zh) 丢包处理方法、装置、设备及计算机可读存储介质
Molina A scalable and efficient methodology for flow monitoring in the Internet
CN107086965B (zh) 一种arp表项的生成方法、装置及交换机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant