CN111147483B - 一种对原始网络数据包的有损压缩存储方法和装置 - Google Patents

一种对原始网络数据包的有损压缩存储方法和装置 Download PDF

Info

Publication number
CN111147483B
CN111147483B CN201911358385.8A CN201911358385A CN111147483B CN 111147483 B CN111147483 B CN 111147483B CN 201911358385 A CN201911358385 A CN 201911358385A CN 111147483 B CN111147483 B CN 111147483B
Authority
CN
China
Prior art keywords
field
layer
lossy compression
network
protocol
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911358385.8A
Other languages
English (en)
Other versions
CN111147483A (zh
Inventor
王梦来
牛晨光
张本军
叶志钢
谭国权
李明栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Greenet Information Service Co Ltd
Original Assignee
Wuhan Greenet Information Service Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Greenet Information Service Co Ltd filed Critical Wuhan Greenet Information Service Co Ltd
Priority to CN201911358385.8A priority Critical patent/CN111147483B/zh
Publication of CN111147483A publication Critical patent/CN111147483A/zh
Application granted granted Critical
Publication of CN111147483B publication Critical patent/CN111147483B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/04Protocols for data compression, e.g. ROHC
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22Parsing or analysis of headers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/30Definitions, standards or architectural aspects of layered protocol stacks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及网络数据处理技术领域,提供了一种对原始网络数据包的有损压缩存储方法和装置。方法包括对于每一个链路层数据包,确定链路层数据包类型字段的内容并非IPv4协议或者IPv6协议,则确定其后数据是隧道协议,直接丢弃相应的链路层数据包;则直接丢弃网络层中版本号字段、头长度字段、标识字段和总和校验字段,保留源IP地址字段、目的IP地址字段和下一层的协议字段;若无需保真还原传输层相关信息,丢弃选项字段、校验字段、窗口大小字段、序列号、确认序列号和紧急指针字段,保留源端口号和目的端口号中。本发明实施例提供的方法能很好的缓解有限存储空间内的存储需求。

Description

一种对原始网络数据包的有损压缩存储方法和装置
【技术领域】
本发明涉及网络数据处理技术领域,特别是涉及一种对原始网络数据包的有损压缩存储方法和装置。
【背景技术】
电信运营商相关OSS系统中为了能通过某些专家子系统导出和查看单用户在其网络中的控制面和业务面的原始数据,要求建设的诸如DPI系统支持根据用户号码存储和查询用户信令原始数据。
目前以省为单位建设的DPI系统承载的用户数大都在1000万以上,实时产生的原始信令包速据高达6000000pps,而这些数据包又存在包量非常大,包体积却很小的情况。在有限的存储空间内要尽可能存储更多的网络数据包,成为当下网络数据爆炸式增长情况下,急需解决的问题。
鉴于此,克服该现有技术所存在的缺陷是本技术领域亟待解决的问题。
【发明内容】
本发明要解决的技术问题是在有限的存储空间内要尽可能存储更多的网络数据包,成为当下网络数据爆炸式增长情况下,急需解决的问题。
本发明进一步要解决的技术问题是如何提供一种有效机制,能够保证供wireshark软件有效的还原出有损数据,并进行有效的呈现。
本发明采用如下技术方案:
第一方面,本发明提供了一种对原始网络数据包的有损压缩存储方法,确认当前的有损压缩策略包括无需保真还原链路层相关信息、无需保真还原网络层相关信息和无需保真还原传输层相关信息中的一项或者多项,则有损压缩存储方法包括:
若无需保真还原链路层相关信息,则对于每一个链路层数据包,确定链路层数据包类型字段的内容并非IPv4协议或者IPv6协议,则确定其后数据是隧道协议,直接丢弃相应的链路层数据包;确定链路层数据包类型字段的内容为IPv4协议或者IPv6协议,则直接删除源MAC地址、目的MAC地址和类型字段;其中,在链路层中由源MAC地址字段、目的MAC地址字段和类型字段三部分组成;
若无需保真还原网络层相关信息,则直接丢弃网络层中版本号字段、头长度字段、标识字段和总和校验字段中的一个或者多个,保留源IP地址字段、目的IP地址字段和下一层的协议字段;
若无需保真还原传输层相关信息,则在传输层为TCP层时,丢弃选项字段、校验字段、窗口大小字段、序列号、确认序列号和紧急指针字段中的一个或者多个,保留源端口号和目的端口号。
优选的,还包括无需保真还原基于HTTP协议的应用层,具体的:
HTTP协议由方法、URL、HTTP版本、一组或者多组头域名称和头域值组合,以及body构成,若无需保真还原基于HTTP协议的应用,则将body部分全部丢弃。
优选的,所述有损压缩应用于电信运营商,其中,电信运营商关注数据载荷所包涵的信息。
优选的,所述有损压缩后的数据,在使用wireshark软件进行呈现时,其还原过程具体包括:
若网络层在有损压缩过程中,网络层中版本号字段、头长度字段、标识字段和总和校验字段被丢弃,则在还原过程中,需要基于当前已经被压缩过的数据,重新计算总和校验,并保存在被还原数据中链路层中相应总和校验字段中;
若传输层在有损压缩过程中,传输层中的选项字段、校验字段、窗口大小字段、序列号、确认序列号和紧急指针字段被丢弃,则在还原过程中,需要基于当前已经被压缩过的数据,重新计算校验字段,并保存在被还原数据中链路层中相应总和校验字段中;
以便在wireshark软件使用时,能够通过对所述总和校验字段和校验字段的校验过程。
优选的,有损压缩前的标准存储结构包括链路层、网络层、传输层和应用层,其数据包头部在网络层为IPV4和传输层为UDP组合时,一共占用42字节;在网络层为IPV4和传输层为TCP组合时,一共占用54字节;在网络层为IPV6和传输层为UDP组合时,一共占用62字节;在网络层为IPV6和传输层为TCP组合时,一共占用74字节;
经过直接丢弃网络层中版本号字段、头长度字段、标识字段和总和校验字段,以及丢弃选项字段、校验字段、窗口大小字段、序列号、确认序列号和紧急指针字段的有损压缩后,每一个数据包压缩后得出数据包头部分,在网络层为IPV4和传输层为TCP组合时一共占用14字节;在网络层为IPV6和传输层为TCP组合时一共占用38字节。
优选的,有损压缩之后的数据存储格式为:
由IPv6/IPv4标识位、源端IP地址字段、目的端IP地址字段、传输层协议字段、源端端口、目的端端口,以及应用层数据构成。
优选的,若传输层在有损压缩过程中,包括丢弃序列号、确认序列号,则在进行所述有损压缩过程之前,所述方法还包括:
对于接收到的源数据包,先根据原数据包的序列号的值,按照相应顺序存储源数据包;
在进行所述有损压缩过程中,按照相应源数据包的存储顺序进行有损压缩,并将有损压缩后的数据包仍然以相应顺序进行存储,以便后续在还原有损压缩数据时候,同时还原源数据包固有的顺序关系。
优选的,所述有损压缩存储方法基于四层网络模型实现,其中,所述四层网络模型包括应用层、传输层、网络层和链路层。
优选的,所述确定链路层数据包类型字段的内容并非IPv4协议或者IPv6协议,则确定其后数据是隧道协议,直接丢弃相应的链路层数据包后,跳过对应数据包在其他网络层、传输层和应用层的有损压缩过程。
第二方面,本发明还提供了一种对原始网络数据包的有损压缩存储装置,用于实现第一方面所述的对原始网络数据包的有损压缩存储方法,所述装置包括:
至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述处理器执行,用于执行第一方面所述的对原始网络数据包的有损压缩存储方法。
第三方面,本发明还提供了一种非易失性计算机存储介质,所述计算机存储介质存储有计算机可执行指令,该计算机可执行指令被一个或多个处理器执行,用于完成第一方面所述的对原始网络数据包的有损压缩存储方法。
本发明提供的方法能很好的缓解有限存储空间内的存储需求,并且,利用本发明所提出方法有损压缩后的数据,能够在配套的还原方法处理后,被已有的工具软件wireshark有效的呈现内容,具有了高实用性。
【附图说明】
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地,下面所描述的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的现有四层网络架构程示意图;
图2是本发明实施例提供的现有四层网络架构对应数据存储格式示意图;
图3是本发明实施例提供的现有数据链路层示意图;
图4是本发明实施例提供的现有网络层示意图;
图5是本发明实施例提供的现有传输层示意图;
图6是本发明实施例提供的一种对原始网络数据包的有损压缩存储方法流程示意图;
图7是本发明实施例提供的一种对原始网络数据包的有损压缩存储方法流程示意图;
图8是本发明实施例提供的一种对原始网络数据包的还原方法流程示意图;
图9是本发明实施例提供的一种对原始网络数据包的有损压缩存储数据结构示意图;
图10是本发明实施例提供的一种对原始网络数据包的有损压缩存储预处理方法流程示意图;
图11是本发明实施例提供的一种对原始网络数据包的有损压缩存储预处理方法流程示意图;
图12是本发明实施例提供的一种对原始网络数据包的有损压缩存储装置结果示意图。
【具体实施方式】
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
在本发明的描述中,术语“内”、“外”、“纵向”、“横向”、“上”、“下”、“顶”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明而不是要求本发明必须以特定的方位构造和操作,因此不应当理解为对本发明的限制。
在本发明中,有损压缩存储方法基于四层网络模型实现,如图1所示,所述四层网络模型包括应用层、传输层、网络层和链路层,对应的网络数据存储格式如图2所示(本发明将在后续实施例1中具体展示经过本发明有损压缩后存储的数据格式,用以与现有的存储格式进行对比)。对于各层的压缩分析如下:
1、链路层压缩
如图3所示,链路层由源MAC地址字段(即src mac addr)、目的MAC地址字段(即dstmac addr)和类型字段(即type)这三部分组成。对于链路层的压缩,首先可以直接丢弃前面两个物理地址,然后结合type字段进行甄别,在具体事例场景中(例如运营商场景)关心type标示为IPv4或者IPv6的协议,其它的协议不在关心范围,可以直接丢弃整个数据包。
2、网络层压缩
如图4所示,网络层中版本号字段(version)和头长度字段(headlen)这两个都是可以推算出来的,这里直接丢弃。标识字段(Flag)在实际使用中没人关注因此直接丢弃。总和校验(Checksum)字段可以通过重新计算得出直接丢弃。只要保留源目的IP和下一层的协议。
3、传输层压缩
传输层常见的有TCP层和UDP层,但是由于UDP层只有8个字节,可优化空间不大,所以这里只介绍对TCP层的压缩。
如图5所示,首先去掉可变长度的选项字段部分,这部分可以节约4个字节,当然并不是所有的TCP都携带这部分信息。去掉了可变长度的选项字段以后,必然也要去掉2个字节的校验和字段,因为TCP首部随便哪个字节变动了,校验都要重新计算。紧接着的2个字节的紧急指针也可以去掉了,这两个字节在实际网络中几乎不会使用,对于本发明实施例所拟定的应用场景中也无需关心。窗口大小字段同样是可以忽略的,在通信过程中,TCP根据这个字段来确定接下来要发送数据的长度。而在查看数据的时候,这个信息并没有任何用处。在本发明的适用范围内,端口是至关重要的,所以并不能作为丢弃的信息。
4、应用层压缩
应用层压缩需要结合协议进行,本节以HTTP为例对应用层压缩进行说明。HTTP协议以方法+URL+HTTP版本+头域名称:头域值+头域名称:头域值...+body组成。在本发明的适用场景中,只关心HTTP的头域部分,故可以将body部分全部丢弃。这有的时候甚至可以节省一半以上的空间。
基于如图1所示的网络架构所述确定链路层数据包类型字段的内容并非IPv4协议或者IPv6协议,则确定其后数据是隧道协议,直接丢弃相应的链路层数据包后,跳过对应数据包在其他网络层、传输层和应用层的有损压缩过程。
此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
实施例1:
本发明实施例1提供了一种对原始网络数据包的有损压缩存储方法,确认当前的有损压缩策略包括无需保真还原链路层相关信息、无需保真还原网络层相关信息和无需保真还原传输层相关信息中的一项或者多项,则如图6所示,有损压缩存储方法包括:
在步骤201中,若无需保真还原链路层相关信息,则对于每一个链路层数据包,确定链路层数据包类型字段的内容并非IPv4协议或者IPv6协议,则确定其后数据是隧道协议,直接丢弃相应的链路层数据包;确定链路层数据包类型字段的内容为IPv4协议或者IPv6协议,则直接删除源MAC地址、目的MAC地址和类型字段;其中,在链路层中由源MAC地址字段、目的MAC地址字段和类型字段三部分组成。
在步骤202中,若无需保真还原网络层相关信息,则直接丢弃网络层中版本号字段、头长度字段、标识字段和总和校验字段中的一个或者多个,保留源IP地址字段、目的IP地址字段和下一层的协议字段。
在步骤203中,若无需保真还原传输层相关信息,则在传输层为TCP层时,丢弃选项字段、校验字段、窗口大小字段、序列号、确认序列号和紧急指针字段中的一个或者多个,保留源端口号和目的端口号。
本发明实施例提供的方法能很好的缓解有限存储空间内的存储需求,并且,利用本发明所提出方法有损压缩后的数据,能够在配套的还原方法处理后,被已有的工具软件wireshark有效的呈现内容,具有了高实用性。
在本发明实施例中,对于有损压缩除了包含上述步骤201中所描述的链路层的有损压缩、步骤202中描述的网络层有损压缩和步骤203中描述的传输层有损压缩以外,结合本发明实施例,还可以对应用层进行有损压缩。而在具体实现过程中,应用层的协议又以HTTP居多,因此,本发明实施例还包括无需保真还原基于HTTP协议的应用层,如图7所示,具体的:
在步骤204中,若无需保真还原基于HTTP协议的应用,则将body部分全部丢弃。其中,HTTP协议由方法(在HTTP中,方法包括不限于GET,POST,PUT,DELETE等)、URL、HTTP版本、一组或者多组头域名称和头域值组合,以及body构成。
本发明实施例所提出的步骤201-203的方法,或者由上述步骤201-204构成的方法,在具体实现过程中尤其适用于电信运营商,其中,电信运营商关注数据载荷所包涵的信息,其中,所述数据载荷所包涵的信息每个接口不一样,起载荷所包涵的意义也不一样。可概括的总结为体现网络质量优劣的信息,例如:用户指标的信息。
在前述的实施例1中的方法过程主要表现的有损压缩过程,而作为一个有效的压缩过程,必定涉及数据的还原,因此,结合本发明实施例还存在一种可选的扩展方案,在所述扩展方案中,所述有损压缩后的数据,使用wireshark软件进行呈现,在本发明中,所述wireshark软件仅仅是一示例性的用于还原数据呈现的载体,却并非是本发明所能还原出数据唯一的呈现软件,如图8所示,其还原过程具体包括:
在步骤301中,若网络层在有损压缩过程中,网络层中版本号字段、头长度字段、标识字段和总和校验字段被丢弃,则在还原过程中,需要基于当前已经被压缩过的数据,重新计算总和校验,并保存在被还原数据中链路层中相应总和校验字段中。
在步骤302中,若传输层在有损压缩过程中,传输层中的选项字段、校验字段、窗口大小字段、序列号、确认序列号和紧急指针字段被丢弃,则在还原过程中,需要基于当前已经被压缩过的数据,重新计算校验字段,并保存在被还原数据中链路层中相应总和校验字段中。以便在wireshark软件使用时,能够通过对所述总和校验字段和校验字段的校验过程。
在阐述了上述的有损压缩方法后,进一步的,通过一组数据来论证其压缩动作对于数据存储空间节省的有效性,有损压缩前的标准存储结构包括链路层、网络层、传输层和应用层,其数据包头部在网络层为IPV4和传输层为UDP组合时,一共占用42字节;在网络层为IPV4和传输层为TCP组合时,一共占用54字节;在网络层为IPV6和传输层为UDP组合时,一共占用62字节;在网络层为IPV6和传输层为TCP组合时,一共占用74字节;
经过直接丢弃网络层中版本号字段、头长度字段、标识字段和总和校验字段,以及丢弃选项字段、校验字段、窗口大小字段、序列号、确认序列号和紧急指针字段的有损压缩后,每一个数据包压缩后得出数据包头部分,在网络层为IPV4和传输层为TCP组合时一共占用14字节;在网络层为IPV6和传输层为TCP组合时一共占用38字节。
在本发明实施例中,为了更直观的理解压缩后的数据存储形式,如图9所示,提供了有损压缩之后的数据存储格式表现为:
由IPv6/IPv4标识位(即图中所示的是否为IPv6,例如标志位为0表明是IPv4,而标志位为1则表明是IPv6)、源端IP地址字段(即SRC_IP)、目的端IP地址字段(即DST_IP)、传输层协议字段(即PROTO_IP)、源端端口(即SRC_PORT)、目的端端口(即DST_PORT),以及应用层数据构成。
在本发明中,针对步骤203中的有损压缩过程,若传输层在有损压缩过程中,包括丢弃序列号、确认序列号,则在进行所述有损压缩过程(即开始执行步骤201)之前,如图10所示,所述方法还包括:
在步骤401中,对于接收到的源数据包,先根据原数据包的序列号的值,按照相应顺序存储源数据包。
在步骤402中,在进行所述有损压缩过程中,按照相应源数据包的存储顺序进行有损压缩,并将有损压缩后的数据包仍然以相应顺序进行存储,以便后续在还原有损压缩数据时候,同时还原源数据包固有的顺序关系。
实施例2:
本发明实施例2提供了一种对原始网络数据包的有损压缩存储方法,相比较实施例1而言,本发明实施例所表现的压缩力度是最大的,如图11所示,有损压缩存储方法包括:
在步骤501中,对于每一个链路层数据包,确定链路层数据包类型字段的内容并非IPv4协议或者IPv6协议,则确定其后数据是隧道协议,直接丢弃相应的链路层数据包,此时跳过后续步骤502-步骤504继续执行对下一个源数据包的有损压缩处理(即对应步骤501-504的步骤过程);确定链路层数据包类型字段的内容为IPv4协议或者IPv6协议,则直接删除源MAC地址、目的MAC地址和类型字段,并进一步执行后续步骤502和503;其中,在链路层中由源MAC地址字段、目的MAC地址字段和类型字段三部分组成。
在步骤502中,直接丢弃网络层中版本号字段、头长度字段、标识字段和总和校验字段,保留源IP地址字段、目的IP地址字段和下一层的协议字段。
在步骤503中,在传输层为TCP层时,丢弃选项字段、校验字段、窗口大小字段、序列号、确认序列号和紧急指针字段,保留源端口号和目的端口号。
在步骤504中,将基于HTTP协议的应用中的body部分全部丢弃。其中,HTTP协议由方法、URL、HTTP版本、一组或者多组头域名称和头域值组合,以及body构成。
本发明实施例提供的方法能很好的缓解有限存储空间内的存储需求,并且,利用本发明所提出方法有损压缩后的数据,能够在配套的还原方法处理后,被已有的工具软件wireshark有效的呈现内容,具有了高实用性。
经过本发明实施例方法过程,能够达到以下论证的压缩数据效果:
通过一组数据来论证其压缩动作对于数据存储空间节省的有效性,有损压缩前的标准存储结构包括链路层、网络层、传输层和应用层,其数据包头部在网络层为IPV4和传输层为UDP组合时,一共占用42字节;在网络层为IPV4和传输层为TCP组合时,一共占用54字节;在网络层为IPV6和传输层为UDP组合时,一共占用62字节;在网络层为IPV6和传输层为TCP组合时,一共占用74字节;
经过直接丢弃网络层中版本号字段、头长度字段、标识字段和总和校验字段,以及丢弃选项字段、校验字段、窗口大小字段、序列号、确认序列号和紧急指针字段的有损压缩后,每一个数据包压缩后得出数据包头部分,在网络层为IPV4和传输层为TCP组合时一共占用14字节;在网络层为IPV6和传输层为TCP组合时一共占用38字节。
实施例3:
如图12所示,是本发明实施例的对原始网络数据包的有损压缩存储装置的架构示意图。本实施例的对原始网络数据包的有损压缩存储装置包括一个或多个处理器21以及存储器22。其中,图12中以一个处理器21为例。
处理器21和存储器22可以通过总线或者其他方式连接,图12中以通过总线连接为例。
存储器22作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序和非易失性计算机可执行程序,如实施例1中的对原始网络数据包的有损压缩存储方法。处理器21通过运行存储在存储器22中的非易失性软件程序和指令,从而执行对原始网络数据包的有损压缩存储方法。
存储器22可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中,存储器22可选包括相对于处理器21远程设置的存储器,这些远程存储器可以通过网络连接至处理器21。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述程序指令/模块存储在所述存储器22中,当被所述一个或者多个处理器21执行时,执行上述实施例1中的对原始网络数据包的有损压缩存储方法,例如,执行以上描述的图6-图8所示的各个步骤。
值得说明的是,上述装置和系统内的模块、单元之间的信息交互、执行过程等内容,由于与本发明的处理方法实施例基于同一构思,具体内容可参见本发明方法实施例中的叙述,此处不再赘述。
本领域普通技术人员可以理解实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取存储器(RAM,Random AccessMemory)、磁盘或光盘等。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (9)

1.一种对原始网络数据包的有损压缩存储方法,其特征在于,确认当前的有损压缩策略包括无需保真还原链路层相关信息、无需保真还原网络层相关信息和无需保真还原传输层相关信息中的一项或者多项,则有损压缩存储方法包括:
若无需保真还原链路层相关信息,则对于每一个链路层数据包,确定链路层数据包类型字段的内容并非IPv4协议或者IPv6协议,则确定其后数据是隧道协议,直接丢弃相应的链路层数据包;确定链路层数据包类型字段的内容为IPv4协议或者IPv6协议,则直接删除源MAC地址、目的MAC地址和类型字段;其中,在链路层中由源MAC地址字段、目的MAC地址字段和类型字段三部分组成;
若无需保真还原网络层相关信息,则直接丢弃网络层中版本号字段、头长度字段、标识字段和总和校验字段中的一个或者多个,保留源IP地址字段、目的IP地址字段和下一层的协议字段;
若无需保真还原传输层相关信息,则在传输层为TCP层时,丢弃选项字段、校验字段、窗口大小字段、序列号、确认序列号和紧急指针字段中的一个或者多个,保留源端口号和目的端口号;
若传输层在有损压缩过程中,包括丢弃序列号、确认序列号,则在进行所述有损压缩过程之前,所述方法还包括:
对于接收到的源数据包,先根据原数据包的序列号的值,按照相应顺序存储源数据包;
在进行所述有损压缩过程中,按照相应源数据包的存储顺序进行有损压缩,并将有损压缩后的数据包仍然以相应顺序进行存储,以便后续在还原有损压缩数据时候,同时还原源数据包固有的顺序关系。
2.根据权利要求1所述的对原始网络数据包的有损压缩存储方法,其特征在于,还包括无需保真还原基于HTTP协议的应用层,具体的:
HTTP协议由方法、URL、HTTP版本、一组或者多组头域名称和头域值组合,以及body构成,若无需保真还原基于HTTP协议的应用,则将body部分全部丢弃。
3.根据权利要求1所述的对原始网络数据包的有损压缩存储方法,其特征在于,所述有损压缩应用于电信运营商。
4.根据权利要求1所述的对原始网络数据包的有损压缩存储方法,其特征在于,所述有损压缩后的数据,在使用wireshark软件进行呈现时,其还原过程具体包括:
若网络层在有损压缩过程中,网络层中版本号字段、头长度字段、标识字段和总和校验字段被丢弃,则在还原过程中,需要基于当前已经被压缩过的数据,重新计算总和校验,并保存在被还原数据中链路层中相应总和校验字段中;
若传输层在有损压缩过程中,传输层中的选项字段、校验字段、窗口大小字段、序列号、确认序列号和紧急指针字段被丢弃,则在还原过程中,需要基于当前已经被压缩过的数据,重新计算校验字段,并保存在被还原数据中链路层中相应总和校验字段中;
以便在wireshark软件使用时,能够通过对所述总和校验字段和校验字段的校验过程。
5.根据权利要求4所述的对原始网络数据包的有损压缩存储方法,其特征在于,有损压缩前的标准存储结构包括链路层、网络层、传输层和应用层,其数据包头部在网络层为IPV4和传输层为UDP组合时,一共占用42字节;在网络层为IPV4和传输层为TCP组合时,一共占用54字节;在网络层为IPV6和传输层为UDP组合时,一共占用62字节;在网络层为IPV6和传输层为TCP组合时,一共占用74字节;
经过直接丢弃网络层中版本号字段、头长度字段、标识字段和总和校验字段,以及丢弃选项字段、校验字段、窗口大小字段、序列号、确认序列号和紧急指针字段的有损压缩后,每一个数据包压缩后得出数据包头部分,在网络层为IPV4和传输层为TCP组合时一共占用14字节;在网络层为IPV6和传输层为TCP组合时一共占用38字节。
6.根据权利要求5所述的对原始网络数据包的有损压缩存储方法,其特征在于,有损压缩之后的数据存储格式为:
由IPv6/IPv4标识位、源端IP地址字段、目的端IP地址字段、传输层协议字段、源端端口、目的端端口,以及应用层数据构成。
7.根据权利要求1-5任一所述的对原始网络数据包的有损压缩存储方法,其特征在于,所述有损压缩存储方法基于四层网络模型实现,其中,所述四层网络模型包括应用层、传输层、网络层和链路层。
8.根据权利要求1所述的对原始网络数据包的有损压缩存储方法,其特征在于,所述确定链路层数据包类型字段的内容并非IPv4协议或者IPv6协议,则确定其后数据是隧道协议,直接丢弃相应的链路层数据包后,跳过对应数据包在其他网络层、传输层和应用层的有损压缩过程。
9.一种对原始网络数据包的有损压缩存储装置,其特征在于,所述装置包括:
至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述处理器执行,用于执行权利要求1-8任一所述的对原始网络数据包的有损压缩存储方法。
CN201911358385.8A 2019-12-25 2019-12-25 一种对原始网络数据包的有损压缩存储方法和装置 Active CN111147483B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911358385.8A CN111147483B (zh) 2019-12-25 2019-12-25 一种对原始网络数据包的有损压缩存储方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911358385.8A CN111147483B (zh) 2019-12-25 2019-12-25 一种对原始网络数据包的有损压缩存储方法和装置

Publications (2)

Publication Number Publication Date
CN111147483A CN111147483A (zh) 2020-05-12
CN111147483B true CN111147483B (zh) 2021-11-12

Family

ID=70520029

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911358385.8A Active CN111147483B (zh) 2019-12-25 2019-12-25 一种对原始网络数据包的有损压缩存储方法和装置

Country Status (1)

Country Link
CN (1) CN111147483B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112398865B (zh) * 2020-11-20 2022-11-08 苏州攀秉科技有限公司 多层协议嵌套情况下的应用层信息推理方法
CN115250453A (zh) * 2021-04-26 2022-10-28 华为技术有限公司 一种数据传输方法及设备
CN115334176B (zh) * 2022-07-27 2024-08-16 广州安凯微电子股份有限公司 数据传输方法、装置、计算机设备、存储介质和程序产品

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1694429A (zh) * 2005-05-20 2005-11-09 北京交通大学 一种IPv6传感器网络中支持压缩包并行传输的实现方法
CN101854361A (zh) * 2010-05-21 2010-10-06 南京邮电大学 一种基于物联网的下一代互联网协议报头压缩方法
CN101894153A (zh) * 2010-06-29 2010-11-24 武汉绿色网络信息服务有限责任公司 一种基于环形存储表的数据动态压缩保存方法
CN102255972A (zh) * 2011-08-10 2011-11-23 北京邮电大学 6LoWPAN网络中面向HTTP协议的TCP首部压缩方法
CN102711175A (zh) * 2012-05-16 2012-10-03 中兴通讯股份有限公司南京分公司 数据传输方法及装置
CN104639560A (zh) * 2006-08-03 2015-05-20 思杰系统有限公司 用于提供多模式传输层压缩的系统和方法
EP2908491A1 (en) * 2014-02-12 2015-08-19 HOB GmbH & Co. KG A communication system for transmitting data under a tunnel protocol
CN109526030A (zh) * 2017-09-18 2019-03-26 华为技术有限公司 报文的处理方法、装置和设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9680750B2 (en) * 2010-07-06 2017-06-13 Nicira, Inc. Use of tunnels to hide network addresses

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1694429A (zh) * 2005-05-20 2005-11-09 北京交通大学 一种IPv6传感器网络中支持压缩包并行传输的实现方法
CN104639560A (zh) * 2006-08-03 2015-05-20 思杰系统有限公司 用于提供多模式传输层压缩的系统和方法
CN101854361A (zh) * 2010-05-21 2010-10-06 南京邮电大学 一种基于物联网的下一代互联网协议报头压缩方法
CN101894153A (zh) * 2010-06-29 2010-11-24 武汉绿色网络信息服务有限责任公司 一种基于环形存储表的数据动态压缩保存方法
CN102255972A (zh) * 2011-08-10 2011-11-23 北京邮电大学 6LoWPAN网络中面向HTTP协议的TCP首部压缩方法
CN102711175A (zh) * 2012-05-16 2012-10-03 中兴通讯股份有限公司南京分公司 数据传输方法及装置
EP2908491A1 (en) * 2014-02-12 2015-08-19 HOB GmbH & Co. KG A communication system for transmitting data under a tunnel protocol
CN109526030A (zh) * 2017-09-18 2019-03-26 华为技术有限公司 报文的处理方法、装置和设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"CPRI Data Compression Using Non-Uniform Quantized Huffman Technique in C-RAN";M. Saeed Darweesh、Ramez M. Elaskary、Tawfik Ismail;《2018 14th International Computer Engineering Conference (ICENCO)》;IEEE;20190207;全文 *
"基于Spice协议的图像分类与压缩设计与分析";邓丽萍;《信息与电脑(理论版)》;20180925;第19卷;第144-147页 *

Also Published As

Publication number Publication date
CN111147483A (zh) 2020-05-12

Similar Documents

Publication Publication Date Title
CN111147483B (zh) 一种对原始网络数据包的有损压缩存储方法和装置
US10652147B2 (en) Packet coalescing
US7561573B2 (en) Network adaptor, communication system and communication method
DE60305378T2 (de) Verfahren zum Weitergeben von einem Netzwerkstapel
US9130991B2 (en) Processing data packets in performance enhancing proxy (PEP) environment
US8009672B2 (en) Apparatus and method of splitting a data stream over multiple transport control protocol/internet protocol (TCP/IP) connections
US7969976B2 (en) Gateway apparatus, packet forwarding method, and program
US20150350383A1 (en) Hardware-Based Packet Editor
EP2061190A1 (en) Method, apparatus and system for complex flow classification of fragmented datagrams
KR20010052198A (ko) 무선 통신망에서의 축소 패킷 헤더
KR20130046540A (ko) 데이터 전송 장치 및 방법
CN104618961A (zh) 应用于智能电网的单通道tcp/ip头压缩方法及系统
CN112436998A (zh) 一种数据传输方法及电子设备
JP2005520374A (ja) Tcp/ipに対する変更
CN109951425B (zh) 基于fpga的tcp流状态完整性检测方法
US11196792B2 (en) Method, device and system for transmitting data
EP1460804B1 (en) System and method for handling out-of-order frames (fka reception of out-of-order tcp data with zero copy service)
US20120233344A1 (en) Communication apparatus
JP2016174268A (ja) ネットワークシステム、ネットワークシステムの制御方法、通信装置、及びプログラム
CN106789878A (zh) 一种面向大流量环境的文件还原系统以及方法
CN109039811B (zh) 用于网络性能监控的网络数据包包头压缩方法及装置
US7738459B2 (en) Method, system and apparatus for reliably transmitting packets of an unreliable protocol
JP2008113327A (ja) ネットワークインターフェース装置
JP5606059B2 (ja) プロトコルスタックにおいて下位層から上位層まで受信データセグメントを送信する方法、プロトコルスタック、及びプロトコルスタックの端末
US20170064046A1 (en) Communication device, communication method, and computer program product

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant