CN115118473A - 数据处理方法、装置、设备及存储介质 - Google Patents

数据处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115118473A
CN115118473A CN202210698922.9A CN202210698922A CN115118473A CN 115118473 A CN115118473 A CN 115118473A CN 202210698922 A CN202210698922 A CN 202210698922A CN 115118473 A CN115118473 A CN 115118473A
Authority
CN
China
Prior art keywords
data
abnormal data
cleaning
processing
abnormal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210698922.9A
Other languages
English (en)
Other versions
CN115118473B (zh
Inventor
曹云飞
庞冉
霍龙社
崔煜喆
徐治理
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China United Network Communications Group Co Ltd
Original Assignee
China United Network Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China United Network Communications Group Co Ltd filed Critical China United Network Communications Group Co Ltd
Priority to CN202210698922.9A priority Critical patent/CN115118473B/zh
Publication of CN115118473A publication Critical patent/CN115118473A/zh
Application granted granted Critical
Publication of CN115118473B publication Critical patent/CN115118473B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H04L63/1458—Denial of Service
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请提供一种数据处理方法、装置、设备及存储介质，涉及通信技术领域，能够解决当异常数据的数据量过大时，单一的清洗中心无法完全清洗异常数据的问题。该方法包括：获取异常数据，异常数据为存在异常代码的数据；根据异常数据的类型以及数据调度设备的能力信息，确定目标处理策略，目标处理策略为第一处理策略或第二处理策略，第一处理策略是指使用多个清洗中心独立对异常数据进行处理，第二处理策略是指使用至少一个清洗中心对异常数据进行协同处理，多个清洗中心的数据清洗能力之和以及至少一个清洗中心的数据清洗能力大于或等于异常数据的数据量；根据目标处理策略对异常数据进行处理。

Description

数据处理方法、装置、设备及存储介质
技术领域
本申请涉及网络安全技术领域，尤其涉及一种数据处理方法、装置、设备及存储介质。
背景技术
分布式拒绝服务攻击(distributed denial of service，DDoS)防护系统一般包括数据采集设备、数据调度设备和多个清洗中心等。其中，数据采集设备用于实时采集网络中的数据。数据调度设备用于根据采集的网络中的数据，判别数据是否异常，当数据异常时，通过清洗中心对该数据进行处理，并将处理后的数据发送到网络当中。
然而，现有技术是通过单一的清洗中心对异常数据进行清洗。但是，当一些情况下，异常数据的数据量过大时，单一的清洗中心无法完全清洗异常数据时，未被清洗的异常数据仍然会发送给一些主机设备，进而导致接收到异常数据的主机设备承载过大。
发明内容
本申请提供一种数据处理方法、装置、设备及存储介质，用于解决当异常数据的数据量过大时，单一的清洗中心无法完全清洗异常数据的问题。
为达到上述目的，本申请采用如下技术方案：
第一方面，本申请提供一种数据处理方法，包括：获取异常数据，异常数据为存在异常代码的数据；根据异常数据的类型以及数据调度设备的能力信息，确定目标处理策略，目标处理策略为第一处理策略或第二处理策略，第一处理策略是指使用多个清洗中心独立对异常数据进行处理，第二处理策略是指使用至少一个清洗中心对异常数据进行协同处理，多个清洗中心的数据清洗能力之和以及至少一个清洗中心的数据清洗能力大于或等于异常数据的数据量；根据目标处理策略对异常数据进行处理。
可选的，数据调度设备的能力信息用于指示数据调度设备是否具有预测异常数据的数据量的能力，根据异常数据的类型以及数据调度设备的能力信息，确定目标处理策略，包括：在异常数据的类型为第一类型且数据调度设备具有预测异常数据的数据量的能力的情况下，确定目标策略为第一处理策略，第一类型的异常数据包括多个目标IP地址，目标IP地址用于指示接收异常数据的目的节点，不同的目标IP地址对应不同的目的节点；在异常数据的类型为第二类型或数据调度设备不具有预测异常数据的数据量的能力的情况下，确定目标处理策略为第二处理策略，第二类型的异常数据包括一个目标IP地址。
可选的，当目标处理策略为第一处理策略时，根据目标处理策略对异常数据进行处理，包括：将异常数据拆分为多个子异常数据，并确定每个子异常数据对应的清洗中心，每个清洗中心的数据处理能力大于或等于接收到的子异常数据的数据量，一个子异常数据包括一个目标IP地址，不同的子异常数据包括的目标IP地址不同；向每个清洗中心发送对应的子异常数据，以使得每个清洗中心执行第一操作，第一操作包括：对接收到的子异常数据进行清洗，并根据子异常数据包括的目标IP地址，将处理后的数据发送给目标IP地址对应的目的节点。
可选的，当目标处理策略为第二处理策略时，根据目标处理策略对异常数据进行处理，包括：向第一清洗中心发送异常数据，以使得第一清洗中心执行第二操作，第二操作包括：对异常数据进行处理，得到处理后的异常数据，第一清洗中心为传输时延小于预设门限的多个清洗中心中数据清洗能力最大的清洗中心。
可选的，当处理后的异常数据还包括异常代码时，第二操作还包括：将处理后的异常数据发送给第二清洗中心，以使得第二清洗中心对处理后的异常数据继续处理，第二清洗中心为多个清洗中心中除第一清洗中心之外的传输时延小于预设门限和/或数据清洗能力最大的清洗中心。
可选的，当处理后的异常数据不包括异常代码时，第二操作还包括：向异常数据包括的IP地址对应的目的节点发送处理后的异常数据。
第二方面，本申请提供一种数据处理装置，包括：获取单元、确定单元以及处理单元；获取单元，用于获取异常数据，异常数据为存在异常代码的数据；确定单元，用于根据异常数据的类型以及数据调度设备的能力信息，确定目标处理策略，目标处理策略为第一处理策略或第二处理策略，第一处理策略是指使用多个清洗中心独立对异常数据进行处理，第二处理策略是指使用至少一个清洗中心对异常数据进行协同处理，多个清洗中心的数据清洗能力之和以及至少一个清洗中心的数据清洗能力大于或等于异常数据的数据量；处理单元，用于根据目标处理策略对异常数据进行处理。
可选的，数据调度设备的能力信息用于指示数据调度设备是否具有预测异常数据的数据量的能力，确定单元，具体用于：在异常数据的类型为第一类型且数据调度设备具有预测异常数据的数据量的能力的情况下，确定目标策略为第一处理策略，第一类型的异常数据包括多个目标IP地址，目标IP地址用于指示接收异常数据的目的节点，不同的目标IP地址对应不同的目的节点；在异常数据的类型为第二类型或所述数据调度设备不具有预测所述异常数据的数据量的能力的情况下，确定目标处理策略为第二处理策略，第二类型的异常数据包括一个目标IP地址。
可选的，当目标处理策略为第一处理策略时，处理单元，具体用于：将异常数据拆分为多个子异常数据，并确定每个子异常数据对应的清洗中心，每个清洗中心的数据处理能力大于或等于接收到的子异常数据的数据量，一个子异常数据包括一个目标IP地址，不同的子异常数据包括的目标IP地址不同；向每个清洗中心发送对应的子异常数据，以使得每个清洗中心执行第一操作，第一操作包括：对接收到的子异常数据进行清洗，并根据子异常数据包括的目标IP地址，将处理后的数据发送给目标IP地址对应的目的节点。
可选的，当目标处理策略为第二处理策略时，处理单元，具体用于：向第一清洗中心发送异常数据，以使得第一清洗中心执行第二操作，第二操作包括：对异常数据进行处理，得到处理后的异常数据，第一清洗中心为传输时延小于预设门限的多个清洗中心中且数据清洗能力最大的清洗中心。
可选的，当处理后的异常数据还包括异常代码时，第二操作还包括：将处理后的异常数据发送给第二清洗中心，以使得第二清洗中心对处理后的异常数据继续处理，第二清洗中心为多个清洗中心中除第一清洗中心之外的传输时延小于预设门限和/或数据清洗能力最大的清洗中心。
可选的，当处理后的异常数据不包括异常代码时，第二操作还包括：向目的节点发送处理后的异常数据。
第三方面，本申请提供一种数据处理装置，数据处理装置包括：处理器、通信接口和存储器；其中，存储器用于存储一个或多个程序，该一个或多个程序包括计算机执行指令，当数据处理装置运行时，处理器执行该存储器存储的该计算机执行指令，以使数据处理装置执行上述第一方面及其各种可选的实现方式中任意之一的数据处理方法。
第四方面，本申请提供一种计算机可读存储介质，计算机可读存储介质中存储有一个或多个程序，一个或多个程序包括指令，当计算机执行该指令时，该计算机执行上述第一方面及其各种可选的实现方式中任意之一的数据处理方法。
基于本申请实施例提供的技术方案，通过获取异常数据，异常数据为存在异常代码的数据；根据异常数据的类型以及数据调度设备的能力信息，确定目标处理策略，目标处理策略为第一处理策略或第二处理策略，第一处理策略是指使用多个清洗中心独立对异常数据进行处理，第二处理策略是指使用至少一个清洗中心对异常数据进行协同处理，多个清洗中心的数据清洗能力之和以及至少一个清洗中心的数据清洗能力大于或等于异常数据的数据量；根据目标处理策略对异常数据进行处理。由此，本申请可以通过异常数据的类型，动态利用多个清洗中心清洗异常数据，使用第一处理策略时利用多个清洗中心独立处理异常数据，不仅可以提高异常数据的处理效率，且由于多个清洗中心的数据清洗能力之和大于或等于异常数据的数据量，可以确保异常数据被完全清洗。使用第二处理策略时，使用至少一个清洗中心对异常数据进行协同处理，由于第二处理策略对应的异常数据无法被拆分，且至少一个清洗中心的数据清洗能力大于或等于异常数据的数据量，可以确保异常数据被完全清洗。
附图说明
图1为本申请实施例提供的一种DDoS防护系统的拓扑结构示意图；
图2a为本申请实施例提供的一种DDoS防护系统示意图；
图2b为本申请实施例提供的一种DDoS防护系统示意图；
图2c为本申请实施例提供的一种第一处理策略的流程示意图；
图2d为本申请实施例提供的一种第二处理策略的流程示意图；
图3为本申请实施例提供的一种数据处理装置的结构示意图；
图4为本申请实施例提供的一种数据处理方法的流程示意图；
图5为本申请实施例提供的一种数据处理方法的流程示意图；
图6为本申请实施例提供的一种子异常数据的分配示意图；
图7为本申请实施例提供的一种数据处理方法的示意图；
图8为本申请实施例提供的一种数据处理装置的结构示意图。
具体实施方式
下面结合附图对本申请实施例提供的一种数据处理方法、装置、设备及存储介质进行详细地描述。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
本申请的说明书以及附图中的术语“第一”和“第二”等是用于区别不同的对象，或者用于区别对同一对象的不同处理，而不是用于描述对象的特定顺序。
此外，本申请的描述中所提到的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括其他没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是，本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
在本申请的描述中，除非另有说明，“多个”的含义是指两个或两个以上。
在介绍本申请实施例之前，对本申请实施例中的名词进行解释。
数据清洗：是一种针对DDoS攻击、告警和防护的一种网络安全服务。通过数据清洗，可以将异常数据中的异常代码进行删除，以得到正常数据。正常数据可以是指数据格式符合网络安全服务协议标准的协议。
异常数据：是指存在异常代码的数据，或数据对应的发送节点与目的节点之间建立握手协议的次数大于预设值的数据。预设值可以根据需要设置，例如，可以3、4、5等。异常数据可以对服务器/主机发起DDoS攻击，以使得受到DDoS攻击的服务器/主机无法提供服务。
例如，在网际互连协议(internet protocol，IP)网络中，异常数据可以以基于互联网协议第6版的、包括异常代码的分段路由(segment routing internet protocolversion 6，SRv6)报文、互联网协议第6版(internet protocol version6，IPv6)报文等形式传输。
分布式拒绝服务攻击(distributed denial of service，DDoS)：表示处于不同位置的多个主机在短时间内向一个或多个服务器/节点发送异常数据，用以对该一个或多个服务器/节点发起DDoS攻击。DDoS的攻击类型可以包括饱和攻击(也可以称为容量耗尽攻击)、协议攻击和应用层攻击。
其中，饱和攻击可以是指采用海量虚假数据以耗尽网络带宽的攻击。协议攻击可以表示利用协议堆栈中的漏洞耗尽服务器的资源的攻击。例如，异常主机可以通过发出虚假的协议请求来消耗服务器、防火墙和负载均衡器等网络基础结构的所有资源，从而导致服务中断。应用程序层攻击可以表示利用协议堆栈中的漏洞耗尽服务器的资源的攻击。例如。异常主机可以通过向目标主机发送大量数据以使得服务器过载，进而导致服务器无法处理正常数据。
为了避免DDoS攻击，可以在服务器/节点上设置DDoS防护系统，用以阻止来自其他主机的DDoS攻击。
通常情况下，DDoS防护系统可以在检测到异常数据时，通过对异常数据进行清洗，从而可以得到正常数据。DDoS在对清洗异常数据时，可以根据清洗中心的负载状况为异常数据分配清洗中心。但是，当异常数据的数据量大于或等于清洗中心的数据清洗能力时，可能会导致清洗中心无法完全清洗接收到的异常数据，出现清洗中心可能会将未完全清洗的异常数据发送给接收异常数据的服务器/目的节点，导致服务器/目的节点承载过大，影响了服务器/目的节点的正常工作。
鉴于此，本申请实施例提供了一种数据处理方法，当接收到异常数据时，数据调度设备可以根据异常数据的类型，选择不同的处理策略对该异常数据进行处理。例如，可以使用多个清洗中心独立或协同对该异常数据进行清洗。同时，该多个清洗中心的数据清洗能力大于或等于异常数据的数据量。如此，可以解决当异常数据的数据量过大时，无法完全清洗异常数据的问题。
下面结合说明书附图对本申请实施例提供的一种数据处理方法(以下简称处理方法)进行说明。
一种示例中，本申请实施例提供的处理方法可以应用于图1所示的DDoS防护系统。如图1所示，DDoS防护系统可以包括数据调度设备21、多个清洗中心22、数据采集设备23。该数据调度设备21与多个清洗中心22以及数据采集设备23通信连接。例如，可以无线通信连接。例如，多个清洗中心22可以包括第一清洗中心、第二清洗中心…第n清洗中心，n为正整数。例如，清洗中心22可以为服务器等。
其中，数据采集设备23用于采集网络中的异常数据，并向数据调度设备21发送异常数据。
其中，数据调度设备21可以用于接收数据采集设备23发送的异常数据，并根据异常数据的类型，确定与异常数据的类型对应的处理策略。例如，数据调度设备21可以为路由器等。
其中，清洗中心22可以用于接收数据调度设备21发送的异常数据，并对异常数据进行清洗。
需要说明的是，本申请实施例中，数据调度设备可以为路由器。例如，可以为SRv6路由器。
又一种示例中，如图2a所示，为本申请实施例提供的又一种DDoS防护系统的结构示意图，包括：互联网服务提供商(internet service provider，ISP)、路由器、一个或多个清洗中心、交换机(switch，SW)设备以及目的节点。
其中，路由器的第一端与ISP连接。路由器的第二端与SW设备连接。路由器的第三端与清洗中心的第一端连接。清洗中心的第二端与SW设备的第二端连接。SW设备的第三端与目的节点连接。
其中，ISP可以用于向路由器输出原始数据。原始数据可以包括正常数据和/或异常数据。例如，ISP可以响应于目的节点的请求，向目的节点发送数据。当ISP收到其他主机的异常攻击时，ISP向目的节点发送的数据可能包括异常数据。
路由器可以用于在接收到来ISP的原始数据后，对原始数据进行分析检测，以确定该原始数据是否包括异常数据。当检测到原始数据包括异常数据时，向DDoS防护系统发送异常数据；当检测到原始数据包括正常数据时，向SW设备发送正常数据。
例如，若路由器检测到原始数据中存在无法识别的代码(也即异常代码)，或者，原始数据对应的源节点与目的节点的握手次数大于预设值，则可以确定该原始数据包括异常数据。
SW设备可以用于接收路由器发送的正常数据以及DDoS防护系统发送的处理后的异常数据，并将接收到的数据发送给目的节点。
又一种示例中，如图2b所示，为本申请实施例提供的又一种DDoS防护系统的结构示意图。该DDoS防护系统可以包括监测调度层和清洗处理层。
其中，监测调度层可以包括异常数据监测设备、数据调度设备、清洗中心状态监测设备。清洗处理层可以包括流分类器、多个SFF设备(如第一SFF、第二SFF、……、第nSFF设备)、多个清洗中心(如第一清洗中心、第二清洗中心、…、第n清洗中心)、多个推理模块。其中，异常数据监测设备可以用于监测异常数据，并向流分类器发送监测到的异常数据。清洗中心状态监测设备可以用于监测清洗中心的负载状态。数据调度设备可以用于根据监测清洗中心的负载状态以及监测到的异常数据确定目标处理策略，并向流分类器发送目标处理策略。流分类器可以用于接收数据调度设备发送的目标处理策略，并利用推理模块选择合适的清洗中心。SFF设备可以用于接收来自流分类器的异常数据，并向目标节点发送处理后的异常数据。
例如，目标处理策略可以用于确定异常数据的处理方法。例如，目标处理策略可以为第一处理策略或第二处理策略。第一处理策略可以是指使用多个清洗中心独立对异常数据进行处理。多个清洗中心的数据清洗能力之和大于或等于异常数据的数据量。第二处理策略可以是指使用至少一个清洗中心对异常数据进行协同处理。至少一个清洗中心的数据清洗能力大于或等于异常数据的数据量。
其中，清洗中心的数据清洗能力可以是指单位时间段内清洗中心可以清洗异常数据的数据量。
一种示例中，如图2c所示，以异常数据包括2个目标IP地址(如目标IP地址1和目标IP地址2)为例，目标IP地址用于表示接收异常数据的地址，执行第一处理策略的过程可以包括以下步骤：
1、异常数据探测单元检测到异常数据之后，向流分类器发送该异常数据。
2、流分类器接收异常数据探测单元发送的异常数据，并将异常数据拆分为第一子异常数据和第二子异常数据，向第一SFF设备发送第一子异常数据，向第二SFF设备发送第二子异常数据。
其中，第一子异常数据包括目标IP地址1，第二子异常数据包括目标IP地址2。
3、第一SFF设备接收流分类器发送的第一子异常数据，并向第一清洗中心发送第一子异常数据。第二SFF设备接收流分类器发送的第二子异常数据，并向第二清洗中心发送第二子异常数据。
其中，第一清洗中心的数据清洗能力大于第一子异常数据的数据量，第二清洗中心的数据清洗能力大于第二子异常数据的数据量。
4、第一清洗中心在接收到来自第一SFF设备发送的第一子异常数据，可以对第一子异常数据进行处理，得到处理后的第一子异常数据。处理后的第一子异常数据是指第一清洗中心对第一子异常数据进行处理后所得到的数据。向第一SFF设备发送处理后的第一子异常数据。第二清洗中心接收第二SFF设备发送的第二子异常数据，并在对第二子异常数据进行处理之后，向第二SFF设备发送处理后的第二子异常数据。
5、第一SFF设备接收第一清洗中心发送的处理后的第一子异常数据，并向终结节点发送处理后的第一子异常数据。第二SFF设备接收第二清洗中心发送的处理后的第二子异常数据，并向终结节点发送处理后的第二子异常数据。
6、终结节点接收处理后的第一子异常数据和第二子异常数据，并向城域网发送处理后的第一子异常数据和第二子异常数据。
又一种示例中，如图2d所示，以异常数据包括1个目标IP地址为例，第二处理策略的过程可以包括以下步骤：
1、异常数据探测单元检测到异常数据之后，向流分类器发送该异常数据。
2、流分类器接收异常数据探测单元发送的异常数据，并向第一SFF设备发送该异常数据。
3、第一SFF设备接收流分类器发送的异常数据，并向第一清洗中心发送该异常数据。
其中，第一清洗中心为传输时延小于预设门限的多个清洗中心中数据清洗能力最大的清洗中心。
4、第一清洗中心接收第一SFF设备发送的异常数据，并在对异常数据进行处理之后，向第一SFF设备发送处理后的异常数据。
5、第一SFF设备接收第一清洗中心发送的处理后的异常数据，并向第二SFF设备发送处理后的异常数据。
6、第二SFF设备接收第一SFF设备发送的处理后的异常数据，并向第二清洗中心发送处理后的异常数据。
7、第二清洗中心接收第二SFF设备发送的处理后的异常数据，并在对处理后的异常数据进行二次处理之后，向第二SFF设备发送二次处理后的异常数据。
8、第二SFF设备接收第二清洗中心发送的二次处理后的异常数据，并向终结节点发送二次处理后的异常数据。
9、终结节点接收第二SFF设备发送的二次处理后的异常数据，并向城域网发送二次处理后的异常数据。
一种示例中，清洗处理层还可以设置有多个推理模块。该多个推理模块分别与流分类器对应、清洗中心对应。其中，流分类器对应的推理模块可以位于流分类器中，也可以是单独的模块。每个清洗中心可以对应一个推理模块，以及一个SFF设备。例如，如图2b所示，第一清洗中心与第一SFF对应，第二清洗中心与第二SFF对应，第三清洗中心与第三SFF对应。
其中，流分类器、多个SFF设备可以为路由器。例如，可以为SRv6路由器。每个SFF设备可以对应一个绑定的段标识(binding segment identifier，BSID)。例如，第一SFF设备对应的BSID可以为SID-1，第二SFF设备对应的BSID可以为SID-2。一个SID可以用于标识一个SFF设备。
需要说明的是，图1、图2a、图2b仅为示例性架构图，除图1、图2a、图2b中所示功能单元之外，该网络架构还可以包括其他功能单元，本申请实施例对此不进行限定。
在具体实现时，图1、图2a、图2b中的各个设备可以采用图3所示的组成结构，或者包括图3所示的部件。图3为本申请实施例提供的一种处理装置的组成示意图，该处理装置包括处理器301、通信接口302、通信线路303以及存储器304。
其中，处理器301可以是CPU、通用处理器网络处理器(network processor，NP)、数字信号处理器(digital signal processing，DSP)、微处理器、微控制器、可编程逻辑器件(programmable logic device，PLD)或它们的任意组合。处理器301还可以是其它具有处理功能的装置，例如电路、器件或软件单元，不予限制。在一种示例中，处理器301可以包括一个或多个CPU，例如，图3中的CPU0和CPU1。
通信接口302，用于与其他设备或其它数据处理网络进行数据处理。该其它数据处理网络可以为以太网，无线接入网(radio access network，RAN)设备，无线局域网(wireless local area networks，WLAN)等。通信接口可以是单元、电路、通信接口或者任何能够实现数据处理的装置。
通信线路303，用于在分配装置所包括的各部件之间传送消息。
存储器304，用于存储指令。其中，指令可以是计算机程序。
其中，存储器304可以是只读存储器(read-only memory，ROM)或可存储静态消息和/或指令的其他类型的静态存储设备，也可以是随机存取存储器(random accessmemory，RAM)或可存储消息和/或指令的其他类型的动态存储设备，还可以是电可擦可编程只读存储器(ally erasable programmable read-only memory，EEPROM)、只读光盘(compact disc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或其他磁存储设备等，不予限制。
需要指出的是，存储器304可以独立于处理器301存在，也可以和处理器301集成在一起。存储器304可以用于存储指令或者程序代码或者一些网络数据等。存储器304可以位于处理装置内，也可以位于处理装置外，不予限制。处理器301，用于执行存储器304中存储的指令，以实现本申请下述实施例提供的数据处理方法。
作为一种可选的实现方式，处理装置包括多个处理器，例如，除图3中的处理器301之外，还可以包括处理器307。
作为一种可选的实现方式，处理装置还包括输出设备305和输入设备306。示例性地，输入设备306是键盘、鼠标、麦克风或操作杆等设备，输出设备305是显示屏、扬声器(speaker)等设备。
本申请实施例中，芯片系统可以由芯片构成，也可以包括芯片和其他分立器件。
此外，本申请的各实施例之间涉及的动作、术语等均可以相互参考，不予限制。本申请的实施例中各个设备之间交互的消息名称或消息中的参数名称等只是一个示例，具体实现中也可以采用其他的名称，不予限制。
如图4所示，本申请实施例提供的数据处理方法可以应用于如图1、图2a或图2b所示的网络架构，该方法可以包括下述S401-S403。
S401、数据调度设备获取异常数据。
其中，数据调度设备可以为图2a中的数据调度设备21，也可以为数据调度设备21中的器件，如芯片。
其中，异常数据包括发送该异常数据的源IP地址和接收该异常数据的目标IP地址。源IP地址用于指示发送异常数据的源节点。不同的源IP地址对应不同的源节点。目标IP地址用于指示接收异常数据的目的节点，不同的目标IP地址对应不同的目的节点。
一种可能的实现方式中，数据调度设备可以通过数据采集设备获取异常数据。例如，数据采集设备可以在数据中存在异常代码时确定该数据为异常数据，还可以在确定数据中源IP地址对应的源节点和目的IP地址对应的目的节点之间建立握手协议的次数大于预设值时，确定该数据为异常数据。
一种示例中，数据调度设备可以设置有计数器，数据调度设备可以通过计数器确定原始数据中源IP地址对应的源节点和目的IP地址对应的目的节点之间建立握手协议的次数。
S402、数据调度设备根据异常数据的类型以及数据调度设备的能力信息，确定与异常数据的类型对应的目标处理策略。
其中，异常数据的类型可以是指异常数据包括目标IP地址的数量。不同类型的异常数据包括的目标IP地址的数量不同。多个类型可以为第一类型和第二类型。第一类型的异常数据包括目标IP地址的数量为多个。第二类型的异常数据包括目标IP地址的数量为一个。
其中，数据调度设备的能力信息用于指示数据调度设备能否预测异常数据的数据量。例如，当数据调度设备设置有异常数据预测模型时，则说明数据调度设备可以预测异常数据的数据量；当数据调度设备没有设置异常数据预测模型时，则说明数据调度设备不可以预测异常数据的数据量。异常数据预设模型可以用于预测异常数据的数据量。
作为一种可能的实现方式，数据调度设备可以在异常数据的类型为第一类型且数据调度设备具有预测异常数据的数据量的能力的情况下，确定目标处理策略为第一处理策略，在异常数据的类型为第二类型或所述数据调度设备不具有预测所述异常数据的数据量的能力的情况下，确定目标处理策略为第二处理策略。
S403、数据调度设备根据目标处理策略对异常数据进行处理。
其中，对异常数据进行处理可以是指将异常数据发送给清洗中心，以使得清洗中心对异常数据进行处理。
作为一种可能的实现方式，在目标处理策略为第一处理策略的情况下，数据调度设备可以将异常数据拆分为多个子异常数据，并确定每个子异常数据对应的清洗中心，向每个清洗中心发送对应的子异常数据，以使得每个清洗中心对各自接收到的子异常数据进行处理，得到处理后的数据。具体的，可以参照下述实施例的描述。
其中，将异常数据拆分为多个子异常数据的过程可以参照下述S502的描述，不予赘述。
作为又一种可能的实现方式，在目标处理策略为第二处理策略的情况下，数据调度设备通过一个或多个清洗中心依次对异常数据进行处理，得到处理后的数据。具体的，可以参照下述实施例的描述。
基于本申请实施例提供的技术方案，通过确定异常数据，异常数据为存在异常代码的数据；根据异常数据的类型，确定与异常数据的类型对应的目标处理策略，目标处理策略为第一处理策略或第二处理策略，第一处理策略是指使用多个清洗中心独立对异常数据进行处理，第二处理策略是指使用多个清洗中心中的至少一个清洗中心对异常数据进行协同处理，多个清洗中心的数据清洗能力之和以及至少一个清洗中心的数据清洗能力大于或等于异常数据的数据量；根据目标处理策略对异常数据进行处理。由此，本申请可以通过异常数据的类型，动态利用多个清洗中心清洗异常数据，使用第一处理策略时利用多个清洗中心独立处理异常数据，不仅可以提高异常数据的处理效率，且由于多个清洗中心的数据清洗能力之和大于或等于异常数据的数据量，可以确保异常数据被清洗完成。使用第二处理策略时，使用至少一个清洗中心对异常数据进行协同处理，由于第二处理策略对应的异常数据无法被拆分，且至少一个清洗中心的数据清洗能力大于或等于异常数据的数据量，可以确保异常数据被完全清洗。
一种可能的实施例中，当目标处理策略为第一处理策略时，如图5所示，上述S403可以通过下述S501-S502实现。
S501、数据调度设备将异常数据拆分为多个子异常数据，并确定每个子异常数据对应的清洗中心。
其中，具体步骤可以参照上述S402的描述，不予赘述。
S502、数据调度设备向每个清洗中心发送对应的子异常数据，以使得每个清洗中心执行第一操作。
其中，第一操作可以包括：每个清洗中心对接收到的子异常数据进行处理，并根据子异常数据包括的目标IP地址，将处理后的子异常数据发送给目标IP对应的目的节点。每个清洗中心的数据处理能力大于或等于接收到的子异常数据的数据量。例如，在清洗中心的数据处理能力为1000兆/秒时，清洗中心接收到的子异常数据的数据量小于1000兆/秒。
其中，每个清洗中心对接收到的子异常数据进行处理可以包括：每个清洗中心对接收到的子异常数据进行清洗。
需要说明的，数据调度设备可以根据目标IP地址的数量对异常数据进行拆分。例如，在目标IP地址的数量为10的情况下，数据调度设备可以将异常数据拆分为10个子异常数据，并为每个子异常数据分配清洗中心。
作为一种可能的实现方式，数据调度设备在确定每个子异常数据对应的清洗中心后，数据调度设备可以根据清洗中心与SFF设备的BSID之间的对应关系，确定每个清洗中心对应的SFF设备，并向每个清洗中心对应的SFF设备发送子异常数据。如此，SFF设备在接收到子异常数据之后，可以将该子异常数据转发给对应的清洗中心。
例如，如图6所示，其中，第一清洗中心、第二清洗中心、第三清洗中心、第n清洗中心的对应的SFF设备的BSID可以分别为SID-1、SID-2、SID-3、SID-n。数据调度设备可以根据每个BSID向清洗中心发送子异常数据。
需要说明的，异常数据可以通过原始报文进行传输，原始报文包括异常数据的源地址和目的地址，例如，源地址为发送异常数据的源节点，目的地址为接收异常数据的目的节点。数据调度设备在接收端异常数据的原始报文后，可以更新异常数据的源地址和目的地址。例如，数据调度设备可以生成第一SRv6报文，并将异常数据的原始报文保存至第一SRv6报文，第一SRv6报文包括报文头，第一SRv6报文的报文头可以包括更新的异常数据的源地址和目的地址，源地址可以为第一SFF设备，目的地址可以为终结节点。
其中，生成第一SRv6报文的过程具体可以包括：数据调度设备为每个子异常数据生成一条分段路由头(segment routing header，SRH)。例如，在子异常数据的数量为2的情况下，数据调度设备可以为第一子异常数据生成第一SRH，并为第二子异常数据生成第二SRH。第一SRH可以为<Segment List[0]＝SID-end,Segment List[1]＝SID-1>，第二SRH可以为<Segment List[0]＝SID-end,Segment List[1]＝SID-2>。
其中，Segment List[0]表示目的地址，Segment List[1]表示源地址。SID-1表示第一SFF设备对应的BSID，SID-2表示第二SFF设备对应的BSID，SID-end表示终结节点。如此，数据调度设备可以向第一SFF设备发送第一SRv6报文和异常数据。
第一SFF设备在接收到来自数据调度设备发送的第一SRv6报文和异常数据之后，第一SFF设备可以保存第一SRv6报文的报文头，并对第一SRv6报文进行修改，得到第二SRv6报文。例如，第一SFF设备可以解析第一SRv6报文的报文头，得到第一SRv6报文中的源地址和目的地址；并将源地址修改为第一SFF设备的输出接口的标识，将目的地址修改为第一清洗中心的输入接口的标识；将修改后的报文重新封装，得到第二SRv6报文。第二SRv6的报文头包括第一SFF的输出接口的标识、第一清洗中心的输入接口的标识。如此，可以通过修改报文头，调整异常数据的传输路径，使得第一SFF设备向第一清洗中心发送异常数据。
进一步的，第一SFF设备在接收到来自第一清洗中心发送的处理后的第一子异常数据之后，可以为处理后的第一子异常数据分配预先保存的第一SRv6报文。并在解析第一SRv6报文，以得到第一SRv6报文中的目的地址(终结节点)，进而向终结节点发送处理后的第一子异常数据以及第一SRv6报文。终结节点在接收到来自第一SFF设备发送的处理后的第一子异常数据以及第一SRv6报文之后，可以解析第一SRv6报文以得到原始报文，解析原始报文，以得到原始报文中的目的地址(目的节点)，并向目的节点发送处理后的第一子异常数据。
基于图5的技术方案，数据调度设备可以利用多个清洗中心独立处理异常数据，提高了处理异常数据的效率。
一种可能的实施例中，当目标处理策略为第二处理策略时，如图7所示，本申请实施例提供的数据处理方法，还可以包括下述S701。
S701、流量调度设备向第一清洗中心发送异常数据，以使得第一清洗中心执行第二操作。
其中，第二操作包括对异常数据进行处理，得到处理后的异常数据。第一清洗中心为传输时延小于预设门限的多个清洗中心中数据清洗能力最大的清洗中心。预设门限可以根据需要设置，例如，可以为0.1毫秒，0.2毫秒等。
一种可能的实施例中，为了避免出现在异常数据超出第一清洗中心的处理能力的情况下，未被清洗的异常数据仍然会发送给目的节点的问题，第二操作还可以包括：在确定处理后的异常数据还存在异常代码时，第一清洗中心将处理后的异常数据发送给第二清洗中心，以使得第二清洗中心对处理后的异常数据继续处理，第二清洗中心为多个清洗中心中除第一清洗中心之外的传输时延小于预设门限的和/或数据清洗能力最大的清洗中心。
例如，若第一清洗中心的处理能力为1000兆/秒，第一清洗中心接收到的异常数据的数据量大于1000兆/秒，则第一清洗中心确定处理后的异常数据还存在异常代码。
作为一种可能的实现方式，当第一清洗中心确定处理后的异常数据还包括异常代码时，第一清洗中心可以通过预设指令将第二SFF设备的BSID插入到第一SFF设备的BSID队列，BSID队列可以用于指示处理异常数据的所使用的清洗中心。例如，第一SFF设备的BSID队列可以为<SID-end,SID-1>，SID-1表示第一SFF设备的标识，SID-end表示终结节点对应的标识，如此，第一SFF设备可以将第一清洗中心处理后的异常数据发送给终结节点。
例如，第二SFF设备的BSID可以为SID-2，第一清洗中心可以通过预设指令将SID-2插入到第一SFF设备的BSID队列，第一SFF设备的BSID队列可以更新为<SID-end,SID-2，SID-1>。如此，第一SFF设备可以向第二SFF设备发送处理后的异常数据，以使得第二SFF设备可以将处理后的异常数据转发给第二清洗中心。第二清洗中心在接收到来自第二SFF设备的处理后的异常数据之后，可以继续对处理后的异常数据进行处理。
其中，预设指令可以为End.B6.Insert指令。
进一步的，当第二清洗中心确定无法清洗完成处理后的异常数据，或者清洗后的异常数据还存在异常代码，第二清洗中心可以向第三SFF设备发送第二清洗中心处理后的异常数据，以使得第三SFF设备可以向第三清洗中心发送该处理后异常数据。第三清洗中心可以继续对该处理后的异常数据进行处理，直至原始数据中的异常代码被完全清洗。
基于图7的技术方案，数据调度设备可以优先利用处理能力最强的清洗中心处理异常数据，在处理后的清洗中心依然存在异常代码的情况下，还可以利用其他清洗中心继续清洗该处理后的异常数据，可以确保异常数据被完全清洗。
一种可能的实施例中，当处理后的异常数据不包括异常代码时，第二操作还包括：清洗中心向异常数据包括的IP地址对应的目的节点发送处理后的异常数据。
作为一种可能的实现方式，清洗中心可以通过终结节点向目的节点发送处理后的异常处理，相应的，终结节点接收清洗中心发送的处理后的异常数据，并向目的节点发送处理后的异常数据。
如此，当处理后的异常数据不包括异常代码时，数据调度设备可以及时向目的节点发送处理后的异常数据，降低了数据的传输时延。
本申请实施例可以根据上述方法示例对服务器进行功能单元或者功能单元的划分，例如，可以对应各个功能划分各个功能单元或者功能单元，也可以将两个或两个以上的功能集成在两个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元或者功能单元的形式实现。其中，本申请实施例中对单元或者单元的划分是示意性的，仅仅为一种逻辑功能划分，实际划分时可以有另外的划分方式。
图8示出了上述实施例中所涉及的处理装置的一种可能的结构示意图。如图8所示，该处理装置80包括：获取单元801、确定单元802、处理单元803。
获取单元801，用于获取异常数据，异常数据为存在异常代码的数据。例如，如图4所示，获取单元801可以用于执行S401。
确定单元802，还用于根据异常数据的类型以及数据调度设备的能力信息，确定与异常数据的类型对应的目标处理策略，目标处理策略为第一处理策略或第二处理策略，第一处理策略是指使用多个清洗中心独立对异常数据进行处理，第二处理策略是指使用至少一个清洗中心对异常数据进行协同处理，多个清洗中心的数据清洗能力之和以及至少一个清洗中心的数据清洗能力大于或等于异常数据的数据量。例如，如图4所示，确定单元802可以用于执行S402。
处理单元803，用于根据目标处理策略对异常数据进行处理。例如，如图4所示，处理单元803可以用于执行S403。
一种可能的设计中，确定单元802，具体用于：在异常数据的类型为第一类型且数据调度设备具有预测异常数据的数据量的能力的情况下，确定目标策略为第一处理策略，第一类型的异常数据包括多个目标IP地址，目标IP地址用于指示接收异常数据的目的节点，不同的目标IP地址对应不同的目的节点；在异常数据的类型为第二类型或数据调度设备不具有预测异常数据的数据量的能力的情况下，确定目标处理策略为第二处理策略，第二类型的异常数据包括一个目标IP地址。
一种可能的设计中，当目标处理策略为第一处理策略时，处理单元803具体用于，将异常数据拆分为多个子异常数据；确定每个子异常数据对应的清洗中心，每个清洗中心的数据处理能力大于或等于接收到的子异常数据的数据量；向每个清洗中心发送对应的子异常数据，以使得每个清洗中心执行第一操作，第一操作包括：对接收到的子异常数据进行清洗，并根据子异常数据包括的目标IP地址，将处理后的数据发送给目标IP地址对应的目的节点。例如，如图5所示，处理单元803可以用于执行S501-S502。
一种可能的设计中，当目标处理策略为第二处理策略时，处理单元803还用于：向第一清洗中心发送异常数据，以使得第一清洗中心执行第二操作，第二操作包括：对异常数据进行处理，得到处理后的异常数据，第一清洗中心为传输时延小于预设门限的多个清洗中心中数据清洗能力最大的清洗中心。例如，如图7所示，处理单元803可以用于执行S701。
一种可能的设计中，当处理后的异常数据还包括异常代码时，第二操作还包括：将处理后的异常数据发送给第二清洗中心，以使得第二清洗中心对处理后的异常数据继续处理，第二清洗中心为多个清洗中心中除第一清洗中心之外的传输时延小于预设门限和/或数据清洗能力最大的清洗中心。
一种可能的设计中，当处理后的异常数据不包括异常代码时，第二操作还包括：向目的节点发送处理后的异常数据。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能单元的划分进行举例说明，实际应用中，可以根据需要而将上述功能数据处理由不同的功能单元完成，即将装置的内部结构划分成不同的功能单元，以完成以上描述的全部或者部分功能。上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请实施例提供一种包含指令的计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行上述方法实施例的数据处理方法。
本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当数据处理装置执行该指令时，该数据处理装置执行上述方法实施例所示的方法流程中数据处理装置执行的各个步骤。
其中，计算机可读存储介质，例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(Random Access Memory，RAM)、只读存储器(Read-Only Memory，ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、寄存器、硬盘、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合、或者本领域熟知的任何其它形式的计算机可读存储介质。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于特定用途集成电路(Application Specific Integrated Circuit，ASIC)中。在本申请实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (14)

1.一种数据处理方法，其特征在于，应用于数据调度设备，所述方法包括：
获取异常数据，所述异常数据为存在异常代码的数据；
根据所述异常数据的类型以及所述数据调度设备的能力信息，确定目标处理策略，所述目标处理策略为第一处理策略或第二处理策略，所述第一处理策略是指使用多个清洗中心独立对所述异常数据进行处理，所述第二处理策略是指使用至少一个清洗中心对所述异常数据进行协同处理，所述多个清洗中心的数据清洗能力之和以及所述至少一个清洗中心的数据清洗能力大于或等于所述异常数据的数据量；
根据所述目标处理策略对所述异常数据进行处理。
2.根据权利要求1所述的方法，其特征在于，所述数据调度设备的能力信息用于指示所述数据调度设备是否具有预测所述异常数据的数据量的能力，所述根据所述异常数据的类型以及所述数据调度设备的能力信息，确定目标处理策略，包括：
在所述异常数据的类型为第一类型且所述数据调度设备具有预测所述异常数据的数据量的能力的情况下，确定所述目标策略为所述第一处理策略，所述第一类型的异常数据包括多个目标IP地址，所述目标IP地址用于指示接收所述异常数据的目的节点，不同的目标IP地址对应不同的目的节点；
在所述异常数据的类型为第二类型或所述数据调度设备不具有预测所述异常数据的数据量的能力的情况下，确定所述目标处理策略为所述第二处理策略，所述第二类型的异常数据包括一个目标IP地址。
3.根据权利要求2所述的方法，其特征在于，当所述目标处理策略为所述第一处理策略时，所述根据所述目标处理策略对所述异常数据进行处理，包括：
将所述异常数据拆分为多个子异常数据，并确定每个子异常数据对应的清洗中心，每个清洗中心的数据处理能力大于或等于接收到的子异常数据的数据量，一个子异常数据包括一个目标IP地址，不同的子异常数据包括的目标IP地址不同；
向所述每个清洗中心发送对应的子异常数据，以使得所述每个清洗中心执行第一操作，所述第一操作包括：对接收到的子异常数据进行清洗，并根据所述子异常数据包括的目标IP地址，将处理后的数据发送给所述目标IP地址对应的目的节点。
4.根据权利要求2所述的方法，其特征在于，当所述目标处理策略为所述第二处理策略时，所述根据所述目标处理策略对所述异常数据进行处理，包括：
向第一清洗中心发送所述异常数据，以使得所述第一清洗中心执行第二操作，所述第二操作包括：对所述异常数据进行处理，得到处理后的异常数据，所述第一清洗中心为传输时延小于预设门限的多个清洗中心中数据清洗能力最大的清洗中心。
5.根据权利要求4所述的方法，其特征在于，当所述处理后的异常数据还包括异常代码时，所述第二操作还包括：将所述处理后的异常数据发送给第二清洗中心，以使得所述第二清洗中心对所述处理后的异常数据继续处理，所述第二清洗中心为所述多个清洗中心中除所述第一清洗中心之外的传输时延小于预设门限和/或数据清洗能力最大的清洗中心。
6.根据权利要求4所述的方法，其特征在于，当所述处理后的异常数据不包括异常代码时，所述第二操作还包括：
向所述异常数据包括的IP地址对应的目的节点发送所述处理后的异常数据。
7.一种数据处理装置，其特征在于，所述装置包括：获取单元、确定单元以及处理单元；
所述获取单元，用于获取异常数据，所述异常数据为存在异常代码的数据；
所述确定单元，用于根据所述异常数据的类型以及所述数据调度设备的能力信息，确定目标处理策略，所述目标处理策略为第一处理策略或第二处理策略，所述第一处理策略是指使用多个清洗中心独立对所述异常数据进行处理，所述第二处理策略是指使用至少一个清洗中心对所述异常数据进行协同处理，所述多个清洗中心的数据清洗能力之和以及所述至少一个清洗中心的数据清洗能力大于或等于所述异常数据的数据量；
所述处理单元，用于根据所述目标处理策略对所述异常数据进行处理。
8.根据权利要求7所述的装置，其特征在于，所述数据调度设备的能力信息用于指示所述数据调度设备是否具有预测所述异常数据的数据量的能力，所述确定单元，具体用于：
在所述异常数据的类型为第一类型且所述数据调度设备具有预测所述异常数据的数据量的能力的情况下，确定所述目标策略为所述第一处理策略，所述第一类型的异常数据包括多个目标IP地址，所述目标IP地址用于指示接收所述异常数据的目的节点，不同的目标IP地址对应不同的目的节点；
在所述异常数据的类型为第二类型或所述数据调度设备不具有预测所述异常数据的数据量的能力的情况下，确定所述目标处理策略为所述第二处理策略，所述第二类型的异常数据包括一个目标IP地址。
9.根据权利要求8所述的装置，其特征在于，当所述目标处理策略为所述第一处理策略时，所述处理单元，具体用于：
将所述异常数据拆分为多个子异常数据，并确定每个子异常数据对应的清洗中心，每个清洗中心的数据处理能力大于或等于接收到的子异常数据的数据量，一个子异常数据包括一个目标IP地址，不同的子异常数据包括的目标IP地址不同；
向所述每个清洗中心发送对应的子异常数据，以使得所述每个清洗中心执行第一操作，所述第一操作包括：对接收到的子异常数据进行清洗，并根据所述子异常数据包括的目标IP地址，将处理后的数据发送给所述目标IP地址对应的目的节点。
10.根据权利要求8所述的装置，其特征在于，当所述目标处理策略为所述第二处理策略时，所述处理单元，具体用于：
向第一清洗中心发送所述异常数据，以使得所述第一清洗中心执行第二操作，所述第二操作包括：对所述异常数据进行处理，得到处理后的异常数据，所述第一清洗中心为传输时延小于预设门限的多个清洗中心中数据清洗能力最大的清洗中心。
11.根据权利要求10所述的装置，其特征在于，当所述处理后的异常数据还包括异常代码时，所述第二操作还包括：将所述处理后的异常数据发送给第二清洗中心，以使得所述第二清洗中心对所述处理后的异常数据继续处理，所述第二清洗中心为所述多个清洗中心中除所述第一清洗中心之外传输时延小于预设门限和/或数据清洗能力最大的清洗中心。
12.根据权利要求10所述的装置，其特征在于，当所述处理后的异常数据不包括异常代码时，所述第二操作还包括：
向目的节点发送所述处理后的异常数据。
13.一种数据处理装置，其特征在于，所述数据处理装置包括：处理器、通信接口和存储器；其中，存储器用于存储一个或多个程序，该一个或多个程序包括计算机执行指令，当所述数据处理装置运行时，处理器执行该存储器存储的该计算机执行指令，以使所述数据处理装置执行权利要求1-6中任一项所述的方法。
14.一种存储一个或多个程序的计算机可读存储介质，其特征在于，所述一个或多个程序包括指令，当所述指令被计算机执行时使所述计算机执行所述权利要求1-6中任一项所述的方法。
CN202210698922.9A 2022-06-20 2022-06-20 数据处理方法、装置、设备及存储介质 Active CN115118473B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210698922.9A CN115118473B (zh) 2022-06-20 2022-06-20 数据处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210698922.9A CN115118473B (zh) 2022-06-20 2022-06-20 数据处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN115118473A true CN115118473A (zh) 2022-09-27
CN115118473B CN115118473B (zh) 2023-07-14

Family

ID=83327529

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210698922.9A Active CN115118473B (zh) 2022-06-20 2022-06-20 数据处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115118473B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111131199A (zh) * 2019-12-11 2020-05-08 中移（杭州）信息技术有限公司 业务攻击流量清洗控制方法、装置、服务器及存储介质
CN111818159A (zh) * 2020-07-08 2020-10-23 腾讯科技（深圳）有限公司 数据处理节点的管理方法、装置、设备及存储介质
CN111953668A (zh) * 2020-07-30 2020-11-17 中国工商银行股份有限公司 网络安全信息处理方法及装置
WO2021008028A1 (zh) * 2019-07-18 2021-01-21 平安科技（深圳）有限公司 网络攻击源定位及防护方法、电子设备及计算机存储介质
US20210185072A1 (en) * 2018-09-27 2021-06-17 Bayshore Networks, Inc. System and methods for automated computer security policy generation and anomaly detection
CN113064885A (zh) * 2020-12-29 2021-07-02 中国移动通信集团贵州有限公司 一种数据清洗方法和装置
CN114244611A (zh) * 2021-12-17 2022-03-25 中国平安财产保险股份有限公司 异常攻击检测方法、装置、设备及存储介质
CN114398239A (zh) * 2022-01-18 2022-04-26 平安国际智慧城市科技股份有限公司 日志监控方法、装置、计算机设备及存储介质
CN114629691A (zh) * 2022-02-25 2022-06-14 北京珞安科技有限责任公司 数据处理方法、装置以及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210185072A1 (en) * 2018-09-27 2021-06-17 Bayshore Networks, Inc. System and methods for automated computer security policy generation and anomaly detection
WO2021008028A1 (zh) * 2019-07-18 2021-01-21 平安科技（深圳）有限公司 网络攻击源定位及防护方法、电子设备及计算机存储介质
CN111131199A (zh) * 2019-12-11 2020-05-08 中移（杭州）信息技术有限公司 业务攻击流量清洗控制方法、装置、服务器及存储介质
CN111818159A (zh) * 2020-07-08 2020-10-23 腾讯科技（深圳）有限公司 数据处理节点的管理方法、装置、设备及存储介质
CN111953668A (zh) * 2020-07-30 2020-11-17 中国工商银行股份有限公司 网络安全信息处理方法及装置
CN113064885A (zh) * 2020-12-29 2021-07-02 中国移动通信集团贵州有限公司 一种数据清洗方法和装置
CN114244611A (zh) * 2021-12-17 2022-03-25 中国平安财产保险股份有限公司 异常攻击检测方法、装置、设备及存储介质
CN114398239A (zh) * 2022-01-18 2022-04-26 平安国际智慧城市科技股份有限公司 日志监控方法、装置、计算机设备及存储介质
CN114629691A (zh) * 2022-02-25 2022-06-14 北京珞安科技有限责任公司 数据处理方法、装置以及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张鑫;: "IP城域网异常流量清洗与阻断技术研究", 中国新通信, no. 03 *
齐星;李光磊;周华春;陈佳;: "多数据中心基于流量感知的DDoS攻击消除策略", 计算机工程与应用, no. 24 *

Also Published As

Publication number Publication date
CN115118473B (zh) 2023-07-14

Similar Documents

Publication Publication Date Title
US10917322B2 (en) Network traffic tracking using encapsulation protocol
US11671402B2 (en) Service resource scheduling method and apparatus
JP5050781B2 (ja) マルウエア検出装置、監視装置、マルウエア検出プログラム、およびマルウエア検出方法
KR100900491B1 (ko) 분산 서비스 거부 공격의 차단 방법 및 장치
US10033602B1 (en) Network health management using metrics from encapsulation protocol endpoints
RU2666289C1 (ru) Система и способ для ограничения запросов доступа
CN110557342B (zh) 用于分析和减轻丢弃的分组的设备
EP2613480A1 (en) Communication quality monitoring system, communication quality monitoring method, and storage medium
US20080165682A1 (en) Communication control apparatus, communication control method and communication control program product
CN112788060B (zh) 数据包传输方法和装置、存储介质和电子设备
US11336545B2 (en) Network device measurements employing white boxes
WO2013133303A1 (ja) ネットワークシステム、コントローラ、及び負荷分散方法
CN108028828A (zh) 一种分布式拒绝服务DDoS攻击检测方法及相关设备
KR20190065440A (ko) 통신 네트워크를 위한 방법 및 전자 제어 유닛
EP4311248A2 (en) Real-time detection of completion of sensor wrap completion in gnmi telemetry of a network device
EP2896158A1 (en) Determining a load distribution for data units at a packet inspection device
JP5917678B1 (ja) 情報処理装置、方法およびプログラム
KR20110067871A (ko) Ｉｐ 망에서 ｏａｍ 패킷을 이용한 트래픽 감시 및 제어를 위한 네트워크 액세스 장치 및 방법
US11595419B2 (en) Communication monitoring system, communication monitoring apparatus, and communication monitoring method
CN114978600B (zh) 异常流量处理方法、系统、设备及存储介质
CN115118473B (zh) 数据处理方法、装置、设备及存储介质
EP4404527A1 (en) Service scheduling method and apparatus, device and computer readable storage medium
JP3892322B2 (ja) 不正アクセス経路解析システム及び不正アクセス経路解析方法
Bull et al. A flow analysis and preemption framework for periodic traffic in an SDN network
WO2022049751A1 (ja) コネクション数計測装置、方法、およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant