CN106209840A - 一种网络包去重方法及装置 - Google Patents

一种网络包去重方法及装置 Download PDF

Info

Publication number
CN106209840A
CN106209840A CN201610545279.0A CN201610545279A CN106209840A CN 106209840 A CN106209840 A CN 106209840A CN 201610545279 A CN201610545279 A CN 201610545279A CN 106209840 A CN106209840 A CN 106209840A
Authority
CN
China
Prior art keywords
network packet
described network
tcp link
ident value
belonging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610545279.0A
Other languages
English (en)
Inventor
乐振浒
林诰
刘金杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Unionpay Co Ltd
Original Assignee
China Unionpay Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Unionpay Co Ltd filed Critical China Unionpay Co Ltd
Priority to CN201610545279.0A priority Critical patent/CN106209840A/zh
Publication of CN106209840A publication Critical patent/CN106209840A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22—Parsing or analysis of headers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/32—Flow control; Congestion control by discarding or delaying data units, e.g. packets or frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种网络包去重方法及装置，该方法包括获取对网络包解析后的数据，所述对网络包解析后的数据包括所述网络包的多个元素和标识值，计算所述网络包的多个元素的哈希值，并确定所述网络包所属的TCP链路，若存储键值映射的集合中包含有所述多个元素的哈希值，则确定所述网络包的标识值是否存在于所述网络包所属的TCP链路对应的标识列表中，若是，则将所述网络包丢弃。通过网络包的多个元素可以获知该网络包所属的TCP链路，然后在单一的TCP链路中判断该网络包的标识值是否在该TCP链路对应的标识列表中，从而确定该网络包是否为重复的网络包，可以解决干扰后续协议解析的问题，从而提高数据的准确度。

Description

一种网络包去重方法及装置
技术领域
本发明实施例涉及计算机技术领域，尤其涉及一种网络包去重方法及装置。
背景技术
随着业务的发展，企业的生产应用系统越来越多、也越来越复杂；通过对生产交换机SPAN(Switched Port Analyzer，交换端口分析器)镜像流量的采集和解析，能够有效地分析监控日益复杂的生产应用系统，而且既不对生产系统产生影响，又能够回溯真实的交互数据。
但是，当需要镜像的流量越来越多、当多个网段、多个节点的流量都汇聚在一起的时候，就会出现重复的网络包。重复网络包所带来的问题是，会对后续的协议解析产生严重的干扰，比如拼接网络包、匹配请求应答对、计算响应时间、关联交易等等，使得数据准确度降低。
对此，现有的去除重复网络包的技术方案是调整生产网络拓扑，以避免流量汇聚时产生的重复的网络包。但是对于大型企业而言，生产网络拓扑级别的调整的风险大，会影响到企业的业务运行。
发明内容
本发明实施例提供一种网络包去重方法及装置，用以解决网络包干扰后续协议解析的问题，提高数据的准确率。
本发明实施例提供的一种网络包去重方法，包括：
获取对网络包解析后的数据，所述对网络包解析后的数据包括所述网络包的多个元素和标识值；
计算所述网络包的多个元素的哈希值，并确定所述网络包所属的TCP(TransferControl Protocol，传送控制协议)链路；
若存储键值映射的集合中包含有所述多个元素的哈希值，则确定所述网络包的标识值是否存在于所述网络包所属的TCP链路对应的标识列表中；
若是，则将所述网络包丢弃。
优选地，若所述存储键值映射的集合中不包含所述多个元素的哈希值，则将所述多个元素的哈希值存储在所述存储键值映射的集合中；并将所述网络包的标识值存储在所述网络包所属的TCP链路对应的标识列表中。
优选地，若所述网络包的标识值不存在于所述网络包所属的TCP链路对应的标识列表中，则将所述网络包的标识值存储在所述网络包所属的TCP链路对应的标识列表中。
优选地，在所述将所述网络包的标识值存储在所述网络包所属的TCP链路对应的标识列表中之后，还包括：
确定所述网络包所属的TCP链路是否已拆链完成；
若是，则从所述存储键值映射的集合中移除所述多个元素的哈希值，并将所述网络包所属的TCP链路对应的标识列表清空，否则继续获取所述TCP链路中对下一个网络包解析后的数据。
优选地，所述网络包的多个元素至少包括下述元素：
源IP(Internet Protocol，互联网协议)地址、源端口、目标IP地址、目标端口。
相应地，本发明实施例还提供了一种网络包去重装置，包括：
获取单元，用于获取对网络包解析后的数据，所述对网络包解析后的数据包括所述网络包的多个元素和标识值；
处理单元，用于计算所述网络包的多个元素的哈希值，并确定所述网络包所属的TCP链路；以及若存储键值映射的集合中包含有所述多个元素的哈希值，则确定所述网络包的标识值是否存在于所述网络包所属的TCP链路对应的标识列表中；若是，则将所述网络包丢弃。
优选地，所述处理单元还用于：
若所述存储键值映射的集合中不包含所述多个元素的哈希值，则将所述多个元素的哈希值存储在所述存储键值映射的集合中；并将所述网络包的标识值存储在所述网络包所属的TCP链路对应的标识列表中。
优选地，所述处理单元还用于：
若所述网络包的标识值不存在于所述网络包所属的TCP链路对应的标识列表中，则将所述网络包的标识值存储在所述网络包所属的TCP链路对应的标识列表中。
优选地，所述处理单元还用于：
在所述将所述网络包的标识值存储在所述网络包所属的TCP链路对应的标识列表中之后，确定所述网络包所属的TCP链路是否已拆链完成；
若是，则从所述存储键值映射的集合中移除所述多个元素的哈希值，并将所述网络包所属的TCP链路对应的标识列表清空，否则继续获取所述TCP链路中对下一个网络包解析后的数据。
优选地，所述网络包的多个元素至少包括下述元素：
源IP地址、源端口、目标IP地址、目标端口。
本发明实施例表明，获取对网络包解析后的数据，所述对网络包解析后的数据包括所述网络包的多个元素和标识值，计算所述网络包的多个元素的哈希值，并确定所述网络包所属的TCP链路，若存储键值映射的集合中包含有所述多个元素的哈希值，则确定所述网络包的标识值是否存在于所述网络包所属的TCP链路对应的标识列表中，若是，则将所述网络包丢弃。通过网络包的多个元素可以获知该网络包所属的TCP链路，然后在单一的TCP链路中判断该网络包的标识值是否在该TCP链路对应的标识列表中，从而确定该网络包是否为重复的网络包，可以解决干扰后续协议解析的问题，从而提高数据的准确度。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种系统架构的结构示意图；
图2为本发明实施例提供的一种网络包去重方法的流程示意图；
图3为本发明实施例提供的一种网络包去重方法的流程示意图；
图4为本发明实施例提供的一种网络包去重装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
图1示出了本发明实施例适用的一种网络包去重方法的系统架构，该系统架构可以包括流量采集模块101、网络包解析模块102、网络包去重模块103、协议解析模块104以及入库模块105。
首先，将生产交换机的网络流量镜像到分流环境，作为流量采集模块101的数据源；然后流量采集模块101将网络流量中生产环境所需要的应用系统的进出流量进行过滤采集，发送给网络包解析模块102；网络包解析模块102将每个网络包由二进制流进行结构化，并通过消息中间件发送给网络包去重模块103；网络包去重模块103按去重算法进行处理，去除重复的网络包后，发送给协议解析模块104进行处理；协议解析模块104按各标准规范进行协议解析，并将解析后的数据发送给入库模块105；入库模块105将结构化数据插入数据库中，处理完成。
在本发明实施例中通过上述网络包去重模块实现了网络包去重的流程，基于上述描述，图2示出了本发明实施例提供的一种网络包去重的流程，该流程可以由网络包去重装置执行，该装置可以位于上述网络包去重模块中，也可以是上述网络包去重模块。
如图2所示，该流程的具体步骤包括：
步骤201，获取对网络包解析后的数据。
步骤202，计算所述网络包的多个元素的哈希值，并确定所述网络包所属的传输控制协议TCP链路。
步骤203，若存储键值映射的集合中包含有所述多个元素的哈希值，则确定所述网络包的标识值是否存在于所述网络包所属的TCP链路对应的标识列表中。
步骤204，若所述网络包的标识值存在于所述网络包所属的TCP链路对应的标识列表中，则将所述网络包丢弃。
在本发明实施例中，通过网络包解析模块对网络包进行解析，可以获取对网络包解析后的数据，该网络包解析后的数据包括该网络包的多个元素和标识值，该网络包的标识值可以是网络包的IP包头中标识字段的值。该网络包的多个元素至少包括源IP地址、源端口、目标IP地址和目标端口这四个元素，通过该源IP地址、源端口、目标IP地址和目标端口可以确定出该网络包所属的TCP链路，也就是说通过解析出的源IP地址、源端口、目标IP地址和目标端口可以将所有获取的网络包按照TCP链路进行划分。按照单一TCP链路进行判断每个网络包的标识值，可以快速的确定出重复的网络包，提高的去重的效率以及数据的准确率。在同一条TCP链路中，所有网络包的源IP地址、源端口、目标IP地址和目标端口都相同，因此，计算的哈希值也就相同，但是每个网络包所承载的业务不同，也就是说完全相同的网络包承载的业务也是相同的，而不同的网络包只是源IP地址、源端口、目标IP地址和目标端口，而承载的业务不同，并且标识值不同，因此，可以通过继续判断网络包的标识值从而可以确定出重复的网络包。
在得到上述网络包的多个元素之后，还需要计算该网络包的多个元素的哈希值，计算多个元素的哈希值的方法为现有技术，本发明实施例不再详述。
在得到网络包的多个元素的哈希值之后，确定该网络包的多个元素的哈希值是否存在于存储键值映射的集合中，该存储键值映射的集合是用来存储网络包的多个元素的哈希值的。若该存储键值映射的集合中包含有多个元素的哈希值，则还需要继续确定网络包的标识值是否存在于该网络包所属的TCP链路对应的标识列表中，否则就需要将多个元素的哈希值存储在该存储键值映射的集合中，标明该网络包为一个新的网络包，并不是重复的网络包，将该网络包的多个元素的哈希值进行存储之后，可以用于判断后续的网络包是否为重复的网络包。并且在将多个元素的哈希值进行存储之后，还要将该网络包的标识值存储在该网络包所属的TCP链路对应的标识列表中，同样可以用于判断后续的网络包是否为重复的网络包。上述标识列表可以如表1所示，在同一个TCP链路中不同的网络包的标识值不同。
表1
网络包 标识值
第一个 2
第二个 3
第三个 5
… …
若可以确定网络包的标识值存在于该网络包所属的TCP链路对应的标识列表中，则表明该网络包为重复的网络包，可以将该网络包丢弃。否则，也需要将该网络包的标识值存储在该网络包所属的TCP链路对应的标识列表中，以用于判断后续的网络包是否为重复的网络包，提高去重重复网络包的效率。
优选地，为了提高网络包去重的效率，在上述将网络包的标识值存储在该网络包所属的TCP链路对应的标识列表中之后，还需要判断该网络包所属的TCP链路是否已经拆链完成，如果已经拆链完成，表明无需再判断该条TCP链路中的网络包是否有重复，因此，可以从存储键值映射的集合中移除上述网络包的多个元素的哈希值，并将网络包所属的TCP链路对应的标识列表清空，否则还需要继续获取TCP链路中对下一个网络包解析后的数据，继续判断是否还有重复的网络包。
为了更好的解释本发明实施例，下面将通过如图3所示的流程来描述完整的网络包去重的流程。
如图3所示，该流程具体步骤包括：
步骤301，获取对网络包解析后的数据。
步骤302，计算所述网络包的多个元素的哈希值，并确定所述网络包所属的传输控制协议TCP链路。
步骤303，判断存储键值映射的集合中是否包含有所述多个元素的哈希值，若是，则转入步骤304，若否，则转入步骤306。
步骤304，确定所述网络包的标识值是否存在于所述网络包所属的TCP链路对应的标识列表中，若是，则转入步骤305，若否，则转入步骤307。
步骤305，将所述网络包丢弃。
步骤306，将所述多个元素的哈希值存储在所述存储键值映射的集合中。
步骤307，将所述网络包的标识值存储在所述网络包所属的TCP链路对应的标识列表中。
步骤308，确定所述网络包所属的TCP链路是否已拆链完成，若是，则转入步骤309，若否，则转入步骤301。
步骤309，从所述存储键值映射的集合中移除所述多个元素的哈希值，并将所述网络包所属的TCP链路对应的标识列表清空。
上述实施例表明，获取对网络包解析后的数据，所述对网络包解析后的数据包括所述网络包的多个元素和标识值，计算所述网络包的多个元素的哈希值，并确定所述网络包所属的TCP链路，若存储键值映射的集合中包含有所述多个元素的哈希值，则确定所述网络包的标识值是否存在于所述网络包所属的TCP链路对应的标识列表中，若是，则将所述网络包丢弃。通过网络包的多个元素可以获知该网络包所属的TCP链路，然后在单一的TCP链路中判断该网络包的标识值是否在该TCP链路对应的标识列表中，从而确定该网络包是否为重复的网络包，可以解决干扰后续协议解析的问题，从而提高数据的准确度。
基于相同的技术方案，图4示出了本发明实施例提供的一种网络包去重装置的结构，该装置可以执行网络包去重的流程。
如图4所示，该装置具体包括：
获取单元401，用于获取对网络包解析后的数据，所述对网络包解析后的数据包括所述网络包的多个元素和标识值；
处理单元402，用于计算所述网络包的多个元素的哈希值，并确定所述网络包所属的TCP链路；以及若存储键值映射的集合中包含有所述多个元素的哈希值，则确定所述网络包的标识值是否存在于所述网络包所属的TCP链路对应的标识列表中；若是，则将所述网络包丢弃。
优选地，所述处理单元402还用于：
若所述存储键值映射的集合中不包含所述多个元素的哈希值，则将所述多个元素的哈希值存储在所述存储键值映射的集合中；并将所述网络包的标识值存储在所述网络包所属的TCP链路对应的标识列表中。
优选地，所述处理单元402还用于：
若所述网络包的标识值不存在于所述网络包所属的TCP链路对应的标识列表中，则将所述网络包的标识值存储在所述网络包所属的TCP链路对应的标识列表中。
优选地，所述处理单元402还用于：
在所述将所述网络包的标识值存储在所述网络包所属的TCP链路对应的标识列表中之后，确定所述网络包所属的TCP链路是否已拆链完成；
若是，则从所述存储键值映射的集合中移除所述多个元素的哈希值，并将所述网络包所属的TCP链路对应的标识列表清空，否则继续获取所述TCP链路中对下一个网络包解析后的数据。
优选地，所述网络包的多个元素至少包括下述元素：
源IP地址、源端口、目标IP地址、目标端口。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种网络包去重方法，其特征在于，包括：
获取对网络包解析后的数据，所述对网络包解析后的数据包括所述网络包的多个元素和标识值；
计算所述网络包的多个元素的哈希值，并确定所述网络包所属的传输控制协议TCP链路；
若存储键值映射的集合中包含有所述多个元素的哈希值，则确定所述网络包的标识值是否存在于所述网络包所属的TCP链路对应的标识列表中；
若是，则将所述网络包丢弃。
2.如权利要求1所述的方法，其特征在于，若所述存储键值映射的集合中不包含所述多个元素的哈希值，则将所述多个元素的哈希值存储在所述存储键值映射的集合中；并将所述网络包的标识值存储在所述网络包所属的TCP链路对应的标识列表中。
3.如权利要求1所述的方法，其特征在于，若所述网络包的标识值不存在于所述网络包所属的TCP链路对应的标识列表中，则将所述网络包的标识值存储在所述网络包所属的TCP链路对应的标识列表中。
4.如权利要求2或3所述的方法，其特征在于，在所述将所述网络包的标识值存储在所述网络包所属的TCP链路对应的标识列表中之后，还包括：
确定所述网络包所属的TCP链路是否已拆链完成；
若是，则从所述存储键值映射的集合中移除所述多个元素的哈希值，并将所述网络包所属的TCP链路对应的标识列表清空，否则继续获取所述TCP链路中对下一个网络包解析后的数据。
5.如权利要求1所述的方法，其特征在于，所述网络包的多个元素至少包括下述元素：
源互联网协议IP地址、源端口、目标IP地址、目标端口。
6.一种网络包去重装置，其特征在于，包括：
获取单元，用于获取对网络包解析后的数据，所述对网络包解析后的数据包括所述网络包的多个元素和标识值；
处理单元，用于计算所述网络包的多个元素的哈希值，并确定所述网络包所属的传输控制协议TCP链路；以及若存储键值映射的集合中包含有所述多个元素的哈希值，则确定所述网络包的标识值是否存在于所述网络包所属的TCP链路对应的标识列表中；若是，则将所述网络包丢弃。
7.如权利要求6所述的装置，其特征在于，所述处理单元还用于：
若所述存储键值映射的集合中不包含所述多个元素的哈希值，则将所述多个元素的哈希值存储在所述存储键值映射的集合中；并将所述网络包的标识值存储在所述网络包所属的TCP链路对应的标识列表中。
8.如权利要求6所述的装置，其特征在于，所述处理单元还用于：
若所述网络包的标识值不存在于所述网络包所属的TCP链路对应的标识列表中，则将所述网络包的标识值存储在所述网络包所属的TCP链路对应的标识列表中。
9.如权利要求7或8所述的装置，其特征在于，所述处理单元还用于：
在所述将所述网络包的标识值存储在所述网络包所属的TCP链路对应的标识列表中之后，确定所述网络包所属的TCP链路是否已拆链完成；
若是，则从所述存储键值映射的集合中移除所述多个元素的哈希值，并将所述网络包所属的TCP链路对应的标识列表清空，否则继续获取所述TCP链路中对下一个网络包解析后的数据。
10.如权利要求6所述的装置，其特征在于，所述网络包的多个元素至少包括下述元素：
源互联网协议IP地址、源端口、目标IP地址、目标端口。
CN201610545279.0A 2016-07-12 2016-07-12 一种网络包去重方法及装置 Pending CN106209840A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610545279.0A CN106209840A (zh) 2016-07-12 2016-07-12 一种网络包去重方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610545279.0A CN106209840A (zh) 2016-07-12 2016-07-12 一种网络包去重方法及装置

Publications (1)

Publication Number Publication Date
CN106209840A true CN106209840A (zh) 2016-12-07

Family

ID=57477280

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610545279.0A Pending CN106209840A (zh) 2016-07-12 2016-07-12 一种网络包去重方法及装置

Country Status (1)

Country Link
CN (1) CN106209840A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107133329A (zh) * 2017-05-09 2017-09-05 腾讯科技（深圳）有限公司 数据处理方法、数据处理装置及存储介质
CN109039947A (zh) * 2018-09-21 2018-12-18 广州西麦科技股份有限公司 网络包去重方法、装置、网络分流设备及存储介质
CN111064637A (zh) * 2019-12-13 2020-04-24 中盈优创资讯科技有限公司 NetFlow数据去重方法及装置
CN111107042A (zh) * 2018-10-26 2020-05-05 广州汽车集团股份有限公司 报文解析方法、装置、计算机设备和存储介质
CN112491745A (zh) * 2020-11-17 2021-03-12 广州西麦科技股份有限公司 一种流量去重方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101540727A (zh) * 2009-05-05 2009-09-23 曙光信息产业(北京)有限公司 一种ip报文的硬件分流方法
US7729240B1 (en) * 2005-06-30 2010-06-01 Opnet Technologies, Inc. Method and system for identifying duplicate packets in flow-based network monitoring system
CN102831127A (zh) * 2011-06-17 2012-12-19 阿里巴巴集团控股有限公司 重复数据处理方法、装置及系统
CN103609068A (zh) * 2011-04-08 2014-02-26 吉盖蒙公司 用于数据包冗余清除的系统和方法
CN105468733A (zh) * 2015-11-23 2016-04-06 上海爱数信息技术股份有限公司 一种基于源端数据重删的卷复制方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7729240B1 (en) * 2005-06-30 2010-06-01 Opnet Technologies, Inc. Method and system for identifying duplicate packets in flow-based network monitoring system
CN101540727A (zh) * 2009-05-05 2009-09-23 曙光信息产业(北京)有限公司 一种ip报文的硬件分流方法
CN103609068A (zh) * 2011-04-08 2014-02-26 吉盖蒙公司 用于数据包冗余清除的系统和方法
CN102831127A (zh) * 2011-06-17 2012-12-19 阿里巴巴集团控股有限公司 重复数据处理方法、装置及系统
CN105468733A (zh) * 2015-11-23 2016-04-06 上海爱数信息技术股份有限公司 一种基于源端数据重删的卷复制方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107133329A (zh) * 2017-05-09 2017-09-05 腾讯科技（深圳）有限公司 数据处理方法、数据处理装置及存储介质
CN107133329B (zh) * 2017-05-09 2022-03-08 腾讯科技（深圳）有限公司 数据处理方法、数据处理装置及存储介质
CN109039947A (zh) * 2018-09-21 2018-12-18 广州西麦科技股份有限公司 网络包去重方法、装置、网络分流设备及存储介质
CN111107042A (zh) * 2018-10-26 2020-05-05 广州汽车集团股份有限公司 报文解析方法、装置、计算机设备和存储介质
CN111107042B (zh) * 2018-10-26 2021-03-09 广州汽车集团股份有限公司 报文解析方法、装置、计算机设备和存储介质
CN111064637A (zh) * 2019-12-13 2020-04-24 中盈优创资讯科技有限公司 NetFlow数据去重方法及装置
CN111064637B (zh) * 2019-12-13 2021-10-01 中盈优创资讯科技有限公司 NetFlow数据去重方法及装置
CN112491745A (zh) * 2020-11-17 2021-03-12 广州西麦科技股份有限公司 一种流量去重方法和装置

Similar Documents

Publication Publication Date Title
CN106209840A (zh) 一种网络包去重方法及装置
JP6920294B2 (ja) ルート追跡を用いて地理位置を特定するための方法、システムおよび装置
CN105745870B (zh) 从用于检测大流的串行多级过滤器去除头部过滤器以便清除流以实现延长操作
CN111431758B (zh) 云网络设备的测试方法、装置、存储介质和计算机设备
CN107683586A (zh) 用于异常检测中的计算基于小区密度的稀有度的方法和装置
CN107690776A (zh) 用于异常检测中的将特征分组为具有选择的箱边界的箱的方法和装置
RU2015156608A (ru) Сетевое устройство и способ управления процессом службы
CN110347708A (zh) 一种数据处理方法以及相关设备
CN107426059A (zh) Dpi设备特征库自动更新方法、系统、dpi设备及云端服务器
CN111815946A (zh) 一种异常路段的确定方法、装置、存储介质和电子设备
CN109035777A (zh) 交通运行态势分析方法及系统
CN104038382B (zh) 网络监视系统
CN114374626A (zh) 一种5g网络条件下的路由器性能检测方法
CN106713162B (zh) 统计bgp团体属性或扩展团体属性流量值的方法及装置
CN105264833B (zh) 一种业务路径计算方法及装置
CN112822123A (zh) 一种数据采集方法及装置
CN107360062A (zh) Dpi设备识别结果的验证方法、系统及dpi设备
CN103997518A (zh) 一种cdn节点文件同步方法和装置
CN105634999B (zh) 一种介质访问控制地址的老化方法及装置
CN104038420A (zh) 一种路由计算方法和设备
CN115440037B (zh) 交通流量数据采集方法、装置、电子设备及存储介质
CN105488289B (zh) 分布式环境下动态图结构匹配的方法
CN105049437A (zh) 一种网络应用层数据过滤方法
CN106506376A (zh) 一种被监控邻居初始路由信息发送方法及装置
CN110166295B (zh) 一种用于判断网络拓扑支持拜占庭容错与否的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20161207