CN113660182A - 流量镜像的数据处理方法及其系统 - Google Patents

流量镜像的数据处理方法及其系统 Download PDF

Info

Publication number
CN113660182A
CN113660182A CN202110931765.7A CN202110931765A CN113660182A CN 113660182 A CN113660182 A CN 113660182A CN 202110931765 A CN202110931765 A CN 202110931765A CN 113660182 A CN113660182 A CN 113660182A
Authority
CN
China
Prior art keywords
data
tcp
module
traffic
data processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110931765.7A
Other languages
English (en)
Inventor
沈渊
曹辉
滕建斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI TELECOM TECHNOLOGY DEVELOPMENT CO LTD
Original Assignee
SHANGHAI TELECOM TECHNOLOGY DEVELOPMENT CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANGHAI TELECOM TECHNOLOGY DEVELOPMENT CO LTD filed Critical SHANGHAI TELECOM TECHNOLOGY DEVELOPMENT CO LTD
Priority to CN202110931765.7A priority Critical patent/CN113660182A/zh
Publication of CN113660182A publication Critical patent/CN113660182A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/20—Support for services
    • H04L49/208—Port mirroring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/90—Buffering arrangements
    • H04L49/9057—Arrangements for supporting packet reassembly or resequencing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及一种流量镜像的数据处理方法，包括如下步骤：利用镜像端口获取流量数据；识别流量数据的边界，以将流量数据分割为若干数据包；将数据包发送给应用层。本发明有效地解决了传统网络流量数据处理困难的问题，通过优化数据的处理方式，以减小后续分析难度，缩短处理时间，加快处理速度，提升处理效率。

Description

流量镜像的数据处理方法及其系统
技术领域
本发明涉及计算机技术领域，特指一种流量镜像的数据处理方法及其系统。
背景技术
传统的数据获取方法是通过开启网络设备的端口镜像功能，将网络流量全部存储至分析软件中进行后续处理分析，然而由于引入软件的网络流量没有进行筛选，重复流量多，增加了分析难度，降低了后续数据处理的速度，效率较低。
发明内容
本发明的目的在于克服现有技术的缺陷，提供一种流量镜像的数据处理方法及其系统，解决了传统网络流量数据处理困难的问题，通过优化数据的处理方式，以减小后续分析难度，缩短处理时间，加快处理速度，提升处理效率。
实现上述目的的技术方案是：
本发明提供了一种流量镜像的数据处理方法，包括如下步骤：
利用镜像端口获取流量数据；
识别流量数据的边界，以将流量数据分割为若干数据包；
将数据包发送给应用层。
本发明提出了一种流量镜像的数据处理方法，通过利用镜像端口获取流量数据后，识别流量数据的边界，以将流量数据分割为若干数据包，进而将数据包发送给应用层，这种方式直接对流量数据进行了处理，解决了传统网络流量数据处理困难的问题，通过优化数据的处理方式，以减小后续分析难度，缩短处理时间，加快处理速度，提升处理效率。
本发明流量镜像的数据处理方法的进一步改进在于，网络层中客户端与服务端TCP连接，获取流量数据时，还包括：
跟踪TCP的连接状态以获取对应的TCP报文，获取TCP报文中的序列号，当序列号异常时，向应用层报警。
本发明流量镜像的数据处理方法的进一步改进在于，还包括：
对应客户端和服务端建立第一缓存区和第二缓存区；
获取客户端和服务端的流量数据并分别存储至第一缓存区和第二缓存区。
本发明流量镜像的数据处理方法的进一步改进在于，还包括：
根据TCP报文中的标志位确定TCP的连接进度；
若连接进度为TCP连接的第二次握手或第一次挥手或第三次挥手时，则复位第一缓存区和第二缓存区。
本发明流量镜像的数据处理方法的进一步改进在于，还包括：
将流量数据转化为小端模式，进而分割形成若干数据包。
本发明还提供了一种流量镜像的数据处理系统，包括：
采集模块，以利用镜像端口获取流量数据；
处理模块，用于识别流量数据的边界，并将流量数据分割为若干数据包；以及
传输模块，用于将数据包发送给应用层。
本发明流量镜像的数据处理系统的进一步改进在于，网络层中客户端与服务端TCP连接；
该数据处理系统还包括连接跟踪模块以及与连接跟踪模块通讯连接的报警模块，该连接跟踪模块用于获取TCP报文并根据TCP报文中的标志位确定TCP的连接进度，报警模块用于获取连接跟踪模块中的TCP报文，且判断TCP报文中的序列号是否异常，当序列号异常时，向应用层报警。
本发明流量镜像的数据处理系统的进一步改进在于，还包括对应客户端和服务端建立的第一缓存区和第二缓存区，分别用于存储客户端和服务端的流量数据。
本发明流量镜像的数据处理系统的进一步改进在于，还包括与第一缓存区和第二缓存区控制连接的复位模块，当连接跟踪模块跟踪到TCP的连接进度为第二次握手或第一次挥手或第三次挥手时，复位模块复位第一缓存区和第二缓存区。
本发明流量镜像的数据处理系统的进一步改进在于，还包括与采集模块和处理模块通讯连接的转化模块，用于将流量数据转化为小端模式并发送给处理模块进行分割。
附图说明
图1为本发明流量镜像的数据处理方法的流程图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明。
参阅图1，本发明提供了一种流量镜像的数据处理方法及其系统，通过利用镜像端口获取流量数据后，识别流量数据的边界，以将流量数据分割为若干数据包，进而将数据包发送给应用层，这种方式直接对流量数据进行了处理，解决了传统网络流量数据处理困难的问题，通过优化数据的处理方式，以减小后续分析难度，缩短处理时间，加快处理速度，提升处理效率。下面结合附图对本发明流量镜像的数据处理方法及其系统进行说明。
参阅图1，显示了本发明流量镜像的数据处理方法的流程图。下面结合图1，对本发明流量镜像的数据处理方法及其系统进行说明。
如图1所示，本发明提供了一种流量镜像的数据处理方法，包括如下步骤：
利用镜像端口获取流量数据；
识别流量数据的边界，以将流量数据分割为若干数据包；
将数据包发送给应用层。
作为本发明的一较佳实施方式，网络层中客户端与服务端TCP连接，获取流量数据时，还包括：
跟踪TCP的连接状态以获取对应的TCP报文，获取TCP报文中的序列号，当序列号异常时，向应用层报警。
较佳地，通过跟踪并记录TcpPacket类的SequenceNumber属性以及PayloadData.Count属性以判断序列号是否异常，若序列号重复则表明可能出现重传包，若序列号跳号则表明可能出现丢包的情况，可根据实际情况删除、提取或拆分对应的数据包。
进一步的，还包括：
对应客户端和服务端建立第一缓存区和第二缓存区；
获取客户端和服务端的流量数据并分别存储至第一缓存区和第二缓存区。
进一步的，还包括：
根据TCP报文中的标志位确定TCP的连接进度，即TCP的SYN及ACK标志位均置1时，为TCP连接的第二次握手时，当TCP标志位FIN、ACK置1时，为TCP连接的第一次挥手或第三次挥手；
若连接进度为TCP连接的第二次握手或第一次挥手或第三次挥手时，则复位第一缓存区和第二缓存区。
具体的，复位缓存区包括清空缓冲区中未处理字节以及复位相应的TCP序列号等操作。
较佳地，还包括：
将流量数据转化为小端模式，进而分割形成若干数据包。
本发明的具体实施方式如下：
获取流量数据，跟踪网络层中客户端和服务端的TCP连接状态，获取对应的TCP报文，根据TCP包围中的标志位确定TCP的连接进度，当处于TCP连接的第二次握手或第一次挥手或第三次挥手时，复位第一缓存区和第二缓存区；
根据实际需求可将流量数据转化为小端模式，以适应X86架构；
有些流量数据的头部定义了包长或有些流量数据通过字符标记了边界，根据其包长或字符标记分割流量数据并形成若干数据包，将数据包发送给应用层；
在获取流量数据的过程中监控TCP报文中的序列号，若序列号出现重复或跳号等情况时，可能出现重传包、粘包或是丢包的情况，此时向应用层报警，可根据实际情况删除、提取或拆分对应的数据包。
本发明还提供了一种的流量镜像的数据处理系统，包括：
采集模块，以利用镜像端口获取流量数据；
处理模块，用于识别流量数据的边界，并将流量数据分割为若干数据包；以及
传输模块，用于将数据包发送给应用层。
进一步的，网络层中客户端与服务端TCP连接；
该数据处理系统还包括连接跟踪模块以及与连接跟踪模块通讯连接的报警模块，连接跟踪模块用于获取TCP报文并根据TCP报文中的标志位确定TCP的连接进度，该报警模块用于获取连接跟踪模块中的TCP报文，且判断TCP报文中的序列号是否异常，当序列号异常时，向应用层报警。
具体的，还包括对应客户端和服务端建立的第一缓存区和第二缓存区，分别用于存储客户端和服务端的流量数据。
进一步的，还包括与第一缓存区和第二缓存区控制连接的复位模块，当连接跟踪模块跟踪到TCP的连接进度为TCP连接的第二次握手或第一次挥手或第三次挥手时，则复位第一缓存区和第二缓存区。
较佳地，还包括与采集模块和处理模块通讯连接的转化模块，用于将流量数据转化为小端模式并发送给处理模块进行分割。
本发明提供的系统实际实施的操作方式如下：
采集模块获取流量数据，连接跟踪模块跟踪网络层中客户端和服务端的TCP连接状态，获取对应的TCP报文，根据TCP包围中的标志位确定TCP的连接进度，当处于TCP连接的第二次握手或第一次挥手或第三次挥手时，复位模块复位第一缓存区和第二缓存区；
根据实际需求可利用转化模块将流量数据转化为小端模式，以适应X86架构；
有些流量数据的头部定义了包长或有些流量数据通过字符标记了边界，利用处理模块根据其包长或字符标记分割流量数据并形成若干数据包，传输模块将数据包发送给应用层；
在采集模块获取流量数据的过程中，报警模块监控TCP报文中的序列号，若序列号出现重复或跳号等情况时，可能出现重传包、粘包或是丢包的情况，此时报警模块向应用层报警，可根据实际情况删除、提取或拆分对应的数据包。
以上结合附图实施例对本发明进行了详细说明，本领域中普通技术人员可根据上述说明对本发明做出种种变化例。因而，实施例中的某些细节不应构成对本发明的限定，本发明将以所附权利要求书界定的范围作为本发明的保护范围。

Claims (10)

1.一种流量镜像的数据处理方法，其特征在于，包括如下步骤：
利用镜像端口获取流量数据；
识别所述流量数据的边界，以将所述流量数据分割为若干数据包；
将所述数据包发送给应用层。
2.如权利要求1所述的流量镜像的数据处理方法，其特征在于，网络层中客户端与服务端TCP连接，获取流量数据时，还包括：
跟踪TCP的连接状态以获取对应的TCP报文，获取所述TCP报文中的序列号，当所述序列号异常时，向应用层报警。
3.如权利要求2所述的流量镜像的数据处理方法，其特征在于，还包括：
对应所述客户端和所述服务端建立第一缓存区和第二缓存区；
获取所述客户端和所述服务端的流量数据并分别存储至所述第一缓存区和所述第二缓存区。
4.如权利要求3所述的流量镜像的数据处理方法，其特征在于，还包括：
根据所述TCP报文中的标志位确定TCP的连接进度；
若所述连接进度为TCP连接的第二次握手或第一次挥手或第三次挥手时，则复位所述第一缓存区和所述第二缓存区。
5.如权利要求1所述的流量镜像的数据处理方法，其特征在于，还包括：
将所述流量数据转化为小端模式，进而分割形成若干所述数据包。
6.一种流量镜像的数据处理系统，其特征在于，包括：
采集模块，以利用镜像端口获取流量数据；
处理模块，用于识别所述流量数据的边界，并将所述流量数据分割为若干数据包；以及
传输模块，用于将所述数据包发送给应用层。
7.如权利要求6所述的流量镜像的数据处理系统，其特征在于，网络层中客户端与服务端TCP连接；
所述数据处理系统还包括连接跟踪模块以及与所述连接跟踪模块通讯连接的报警模块，所述连接跟踪模块用于获取TCP报文并根据所述TCP报文中的标志位确定TCP的连接进度，所述报警模块用于获取所述连接跟踪模块中的TCP报文，且判断所述TCP报文中的序列号是否异常，当所述序列号异常时，向所述应用层报警。
8.如权利要求7所述的流量镜像的数据处理系统，其特征在于，还包括对应所述客户端和所述服务端建立的第一缓存区和第二缓存区，分别用于存储所述客户端和所述服务端的流量数据。
9.如权利要求8所述的流量镜像的数据处理系统，其特征在于，还包括与所述第一缓存区和所述第二缓存区控制连接的复位模块，当所述连接跟踪模块跟踪到TCP的连接进度为第二次握手或第一次挥手或第三次挥手时，所述复位模块复位所述第一缓存区和所述第二缓存区。
10.如权利要求6所述的流量镜像的数据处理系统，其特征在于，还包括与所述采集模块和所述处理模块通讯连接的转化模块，用于将所述流量数据转化为小端模式并发送给所述处理模块进行分割。
CN202110931765.7A 2021-08-13 2021-08-13 流量镜像的数据处理方法及其系统 Withdrawn CN113660182A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110931765.7A CN113660182A (zh) 2021-08-13 2021-08-13 流量镜像的数据处理方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110931765.7A CN113660182A (zh) 2021-08-13 2021-08-13 流量镜像的数据处理方法及其系统

Publications (1)

Publication Number Publication Date
CN113660182A true CN113660182A (zh) 2021-11-16

Family

ID=78480230

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110931765.7A Withdrawn CN113660182A (zh) 2021-08-13 2021-08-13 流量镜像的数据处理方法及其系统

Country Status (1)

Country Link
CN (1) CN113660182A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106330964A (zh) * 2016-10-14 2017-01-11 成都信息工程大学 一种网络入侵探测与主动防御联动控制装置
CN110417612A (zh) * 2019-06-11 2019-11-05 北京全路通信信号研究设计院集团有限公司 一种基于网元的网络流量监测系统及方法
US20200267167A1 (en) * 2019-02-20 2020-08-20 GAVS Technologies Pvt. Ltd. Method and system for detecting and preventing data exfiltration attacks
CN112039904A (zh) * 2020-09-03 2020-12-04 福州林科斯拉信息技术有限公司 一种网络流量分析与文件提取系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106330964A (zh) * 2016-10-14 2017-01-11 成都信息工程大学 一种网络入侵探测与主动防御联动控制装置
US20200267167A1 (en) * 2019-02-20 2020-08-20 GAVS Technologies Pvt. Ltd. Method and system for detecting and preventing data exfiltration attacks
CN110417612A (zh) * 2019-06-11 2019-11-05 北京全路通信信号研究设计院集团有限公司 一种基于网元的网络流量监测系统及方法
CN112039904A (zh) * 2020-09-03 2020-12-04 福州林科斯拉信息技术有限公司 一种网络流量分析与文件提取系统及方法

Similar Documents

Publication Publication Date Title
CN109451006B (zh) 一种数据传输方法、装置、服务器及计算机存储介质
US8832375B2 (en) Object type aware byte caching
CN104618961A (zh) 应用于智能电网的单通道tcp/ip头压缩方法及系统
US20180213232A1 (en) Graphical instruction data processing method and apparatus, and system
CN113645118B (zh) 一种基于sdn的工业互联网标识流量缓存处理方法
CN113986862A (zh) 一种客户端日志收集方法
CN114422807B (zh) 一种基于Spice协议的传输优化方法
CN115599744A (zh) 文件的转码方法、装置、存储介质及电子装置
US11509428B2 (en) Data transmission method and apparatus having data reuse mechanism
CN113660182A (zh) 流量镜像的数据处理方法及其系统
CN108696713A (zh) 码流的安全测试方法、装置及测试设备
CN116303173B (zh) 减少rdma引擎片上缓存的方法、装置、系统及芯片
CN111741328B (zh) 视频分析方法、电子设备、存储介质及系统
CN112187774A (zh) 一种基于http/2传输特征的加密数据长度还原方法
CN111224891A (zh) 一种基于动态学习三元组的流量应用识别系统及方法
CN115866331A (zh) 视频抽帧分析方法、装置、设备及存储介质
CN105704215A (zh) 文件共享系统及相应的文件发送、接收方法及装置
CN113535436A (zh) 一种数据处理方法、装置、存储介质
CN102891732A (zh) 数据发送方法和装置以及数据接收方法和装置
CN113407769A (zh) 一种用于手机非编剪辑短视频的缓存映像方法
CN103580805B (zh) 报文的处理方法及装置
CN113630442A (zh) 数据传输方法、装置及系统
CN113507629B (zh) 物联网中视频端与通信端之间的数据传输控制方法和系统
JP5630033B2 (ja) バッファ管理プログラム及び方法、並びにメッセージ分析装置
CN105681211B (zh) 基于信息萃取的流量记录方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20211116

WW01 Invention patent application withdrawn after publication