CN113329442A - 一种通用的多链路载荷压缩与解压缩方法和系统 - Google Patents

一种通用的多链路载荷压缩与解压缩方法和系统 Download PDF

Info

Publication number
CN113329442A
CN113329442A CN202110426441.8A CN202110426441A CN113329442A CN 113329442 A CN113329442 A CN 113329442A CN 202110426441 A CN202110426441 A CN 202110426441A CN 113329442 A CN113329442 A CN 113329442A
Authority
CN
China
Prior art keywords
data
compressed data
compressed
compression
protocol header
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110426441.8A
Other languages
English (en)
Other versions
CN113329442B (zh
Inventor
张凯
郑应强
刘同鹤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing LSSEC Technology Co Ltd
Original Assignee
Beijing LSSEC Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing LSSEC Technology Co Ltd filed Critical Beijing LSSEC Technology Co Ltd
Priority to CN202110426441.8A priority Critical patent/CN113329442B/zh
Publication of CN113329442A publication Critical patent/CN113329442A/zh
Application granted granted Critical
Publication of CN113329442B publication Critical patent/CN113329442B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W28/00Network traffic management; Network resource management
    • H04W28/02Traffic management, e.g. flow control or congestion control
    • H04W28/06Optimizing the usage of the radio link, e.g. header compression, information sizing, discarding information
    • H04W28/065Optimizing the usage of the radio link, e.g. header compression, information sizing, discarding information using assembly or disassembly of packets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/04Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/04Protocols for data compression, e.g. ROHC
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明提供了一种通用的多链路载荷压缩与解压缩方法和系统,所述方法包括:获取多链路传输中的载荷中的传输协议头和实际数据内容;将所述传输协议头进行压缩,得到压缩后的传输协议头;将所述压缩后的传输协议头与所述实际数据内容进行结合,获得第一数据;将所述第一数据进行压缩,获取第一压缩数据,并在所述第一压缩数据头部写入压缩标志;通过多链路将所述第一压缩数据发送至接收端,接收端根据第一压缩数据是否有压缩标志判断是否对该第一压缩数据进行自适应解压,所述系统包括与所述方法步骤对应的模块。

Description

一种通用的多链路载荷压缩与解压缩方法和系统
技术领域
本发明涉及数据处理领域,特别涉及到一种通用的多链路载荷压缩与解压缩方法和系统。
背景技术
目前,现有技术中,由于物理条件的限制,无线链路传输和有线链路传输相比,传输速率较低、误码率较高、往返时间(Round Trip Time,RTT)较长。在这种传输环境下,传输载荷未经过压缩,数据传输效率低,且在无线环境下,由于单包数据过长,容易造成丢包重传等不利影响。
发明内容
为解决上述问题,本发明提供了一种通用的多链路载荷压缩与解压缩方法和系统,所述方法包括:
获取多链路传输中的载荷中的传输协议头和实际数据内容;
将所述传输协议头进行压缩,得到压缩后的传输协议头;
将所述压缩后的传输协议头与所述实际数据内容进行结合,获得第一数据;
将所述第一数据进行压缩,获取第一压缩数据,并在所述第一压缩数据头部写入压缩标志;
通过多链路将所述第一压缩数据发送至接收端,接收端根据第一压缩数据是否有压缩标志判断是否对该第一压缩数据进行自适应解压。
进一步地,所述传输协议头包括:
应用层协议头,通用分组无线服务隧道GTP协议头;
传输层协议头,用户数据报UDP协议头;
网络层协议头,互联网IP协议头。
进一步地,所述将所述第一数据进行压缩,压缩时并在所述第一数据头部写入压缩标志,获取第一压缩数据,包括:
将第一数据拆分成多个数据块,并统计所述数据块的个数;
获取所述第一数据中的每个字符串的数据特征,所述每个字符串中包括数据特征不同的至少两个子字符串,每个子字符串包括至少一个字符;
将所述第一数据中每个字符串中数据特征相同的子字符串作为一个数据块,并得到多个数据块;
获取第一数据中数据块,每个数据块包含所述第一数据中每个字符串中长度相同的子字符串;
针对第一数据中的每个数据块分别使用压缩算法进行压缩,并在压缩完成后在对每个压缩后的数据块进行整合,形成第一压缩数据;
将形成的第一压缩数据的头部写入压缩标志。
进一步地,所述接收端根据第一压缩数据是否有压缩标志判断是否对该第一压缩数据进行自适应解压,包括:
所述接收端接受到所述第一压缩数据,判断是否有压缩标志;
若有压缩标志,则根据压缩算法的逆运算解压所述第一压缩数据,从而获取解压后的数据;
若无压缩标志,则无法进行解压操作。
进一步地,所述接收端接收到所述第一压缩数据吗,判断是否有压缩标志的具体步骤如下:
步骤A1,首先获取m个已经确定是否含有压缩标志的第一压缩数据,所述将m个已经确定是否含有压缩标志的第一压缩数据形成一个历史数据矩阵X,所述历史数据矩阵X为m行n列,n代表第一压缩数据的数据维度,将m个第一压缩数据则含有m个判断类别结果,将m个判断类别结果形成一个判断结果矩阵Y,所述判断结果矩阵Y为m行1列,每行值代表一个第一压缩数据中是否存在压缩标志,当第一压缩数据含有压缩标志时,所述第一压缩数据对应的判断结果为1,当第一压缩数据不含有压缩标志时,所述第一压缩数据对应的判断结果为0;
其次,对历史数据矩阵X和判断结果矩阵Y构建一个学习函数:
Figure BDA0003029762520000031
其中,f(X)代表构建的学习函数,Yi,1代表判断结果矩阵Y第i行第1列的值,Xi,j代表历史数据矩阵X第i行第j列的值,θ0代表初始的常数值,初始值为0,θi,j代表初始的参数值,初始值为0,i=1,2,3...m,j=1,2,3...n;
步骤A2,根据以下公式确定更新后的常数值和参数值:
Figure BDA0003029762520000032
其中,θ0′代表更新后的常数值,θi,j′代表更新后的参数值,α代表学习率,初始值为0.001,
Figure BDA0003029762520000033
代表学习函数f(X)对初始的参数值θi,j做偏导,
Figure BDA0003029762520000034
代表学习函数f(X)对初始的常数值θ0做偏导;
步骤A3,将新的第一压缩数据转换成数据矩阵P,根据以下公式进行判断第一压缩数据是否存在压缩标志:
Figure BDA0003029762520000035
其中,W代表结果判定值,Pi,j代表数据矩阵P第i行第j列的值,且当
Figure BDA0003029762520000036
时,则代表当前第一压缩数据不存在压缩标志,且当
Figure BDA0003029762520000037
时,则代表当前第一压缩数据存在压缩标志,从而进行自适应解压。
一种通用的多链路载荷压缩与解压缩系统,所述系统包括:
获取模块,用于获取多链路传输中的载荷中的传输协议头和实际数据内容:
压缩模块,用于将所述传输协议头进行压缩,得到压缩后的传输协议头;
合并模块,用于将所述压缩后的传输协议头与所述实际数据内容进行结合,获得第一数据;
写入模块,用于将所述第一数据进行压缩,获取第一压缩数据,并在所述第一压缩数据头部写入压缩标志;
传输模块,用于通过多链路将所述第一压缩数据发送至接收端;
解压模块,用于接收端根据第一压缩数据是否有压缩标志判断是否对该第一压缩数据进行自适应解压。
进一步地,所述传输协议头包括:
应用层协议头,通用分组无线服务隧道GTP协议头;
传输层协议头,用户数据报UDP协议头;
网络层协议头,互联网IP协议头。
进一步地,所述写入模块进行将所述第一数据进行压缩,获取第一压缩数据,并在所述第一压缩数据头部写入压缩标志的具体步骤如下:
将第一数据拆分成多个数据块,并统计所述数据块的个数;
获取所述第一数据中的每个字符串的数据特征,所述每个字符串中包括数据特征不同的至少两个子字符串,每个子字符串包括至少一个字符;
将所述第一数据中每个字符串中数据特征相同的子字符串作为一个数据块,并得到多个数据块;
获取第一数据中数据块,每个数据块包含所述第一数据中每个字符串中长度相同的子字符串;
针对第一数据中的每个数据块分别使用压缩算法进行压缩,并在压缩完成后在对每个压缩后的数据块进行整合,形成第一压缩数据;
将形成的第一压缩数据的头部写入压缩标志。
进一步地,所述解压模块进行根据第一压缩数据是否有压缩标志判断是否对该第一压缩数据进行自适应解压的具体步骤如下:
所述接收端接受到所述第一压缩数据,判断是否有压缩标志;
若有压缩标志,则根据压缩算法的逆运算解压所述第一压缩数据,从而获取解压后的数据;
若无压缩标志,则无法进行解压操作。
进一步地,所述解压模块判断是否有压缩标志的具体步骤如下:
步骤A1,首先获取m个已经确定是否含有压缩标志的第一压缩数据,所述将m个已经确定是否含有压缩标志的第一压缩数据形成一个历史数据矩阵X,所述历史数据矩阵X为m行n列,n代表第一压缩数据的数据维度,将m个第一压缩数据则含有m个判断类别结果,将m个判断类别结果形成一个判断结果矩阵Y,所述判断结果矩阵Y为m行1列,每行值代表一个第一压缩数据中是否存在压缩标志,当第一压缩数据含有压缩标志时,所述第一压缩数据对应的判断结果为1,当第一压缩数据不含有压缩标志时,所述第一压缩数据对应的判断结果为0;
其次,对历史数据矩阵X和判断结果矩阵Y构建一个学习函数:
Figure BDA0003029762520000051
其中,f(X)代表构建的学习函数,Yi,1代表判断结果矩阵Y第i行第1列的值,Xi,j代表历史数据矩阵X第i行第j列的值,θ0代表初始的常数值,初始值为0,θi,j代表初始的参数值,初始值为0,i=1,2,3...m,j=1,2,3...n;
步骤A2,根据以下公式确定更新后的常数值和参数值:
Figure BDA0003029762520000061
其中,θ0′代表更新后的常数值,θi,j′代表更新后的参数值,α代表学习率,初始值为0.001,
Figure BDA0003029762520000062
代表学习函数f(X)对初始的参数值θi,j做偏导,
Figure BDA0003029762520000063
代表学习函数f(X)对初始的常数值θ0做偏导;
步骤A3,将新的第一压缩数据转换成数据矩阵P,根据以下公式进行判断第一压缩数据是否存在压缩标志:
Figure BDA0003029762520000064
其中,W代表结果判定值,Pi,j代表数据矩阵P第i行第j列的值,且当
Figure BDA0003029762520000065
时,则代表当前第一压缩数据不存在压缩标志,且当
Figure BDA0003029762520000066
时,则代表当前第一压缩数据存在压缩标志,从而进行自适应解压。
与现有技术相比,本发明的有益效果:本发明提供了一种通用的多链路载荷压缩与解压缩方法和系统,所述方法包括:获取多链路传输中的载荷中的传输协议头和实际数据内容;将所述传输协议头进行压缩,得到压缩后的传输协议头;将所述压缩后的传输协议头与所述实际数据内容进行结合,获得第一数据;将所述第一数据进行压缩,获取第一压缩数据,并在所述第一压缩数据头部写入压缩标志;通过多链路将所述第一压缩数据发送至接收端,接收端根据第一压缩数据是否有压缩标志判断是否对该第一压缩数据进行自适应解压,
通过采用多链路方法传输数据,并在传输中的载荷中的传输协议头和实际数据内容进行压缩,与原数据相比,在链路间传输的载荷数据都会有不同比例的下降,节省了带宽,在无线场景下,由于传输数据包变小,使得通信更加可靠。
下文中将结合附图对实施本发明的最优实施例进行更详尽的描述,以便能容易地理解本发明的特征和优点。
附图说明
为了更清楚地说明本发明实施例的技术方案,下文中将对本发明实施例的附图进行简单介绍。其中,附图仅仅用于展示本发明的一些实施例,而非将本发明的全部实施例限制于此。
图1为本发明所述的一种通用的多链路载荷压缩与解压缩方法流程图;
图2为本发明所述的一种通用的多链路载荷压缩与解压缩系统框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1、2所示,本发明解决的技术问题是,提供一种文件授权保护方法和系统,所述方法包括:
S1,获取多链路传输中的载荷中的传输协议头和实际数据内容;
S2,将所述传输协议头进行压缩,得到压缩后的传输协议头;
S3,将所述压缩后的传输协议头与所述实际数据内容进行结合,获得第一数据;
S4,将所述第一数据进行压缩,获取第一压缩数据,并在所述第一压缩数据头部写入压缩标志;
S5,通过多链路将所述第一压缩数据发送至接收端,接收端根据第一压缩数据是否有压缩标志判断是否对该第一压缩数据进行自适应解压。
上述技术方案的工作原理及有益效果:首先,获取多链路传输中的载荷中的传输协议头和实际数据内容,其中传输协议头包括应用层协议头即为通用分组无线服务隧道GTP协议头,传输层协议头即为用户数据报UDP协议头,网络层协议头即为互联网IP协议头;然后,将所述传输协议头进行压缩,得到压缩后的传输协议头;其次,通将所述压缩后的传输协议头与所述实际数据内容进行结合,获得第一数据;接着,将所述第一数据进行压缩,获取第一压缩数据,并在所述第一压缩数据头部写入压缩标志;最后,通过多链路将所述第一压缩数据发送至接收端,接收端根据第一压缩数据是否有压缩标志判断是否对该第一压缩数据进行自适应解压;其中,所述采用多链路技术手段,使得数据多维度传输至接收端,提高了传输速率,增加攻击者获取全部数据的难度,增强了数据的安全性,进一步缓解对通信密钥的攻击分析,所述随机延时采用的是时间因子,其中,利用大数据技术对传输数据进行压缩加密,这样会重复利用集群硬件资源,压缩后的数据不仅提高了网络传输的速率,而且压缩后大大缩减了数据体积,能够提高传输速率,进一步提高传输效率,压缩后的载荷数据,和原始数据相比,在链路间传输的载荷数据都会有不同比例的下降,节省了带宽,在无线场景下,由于传输数据包变小,使得通信更加可靠。
本发明提供的一个实施例中,所述将所述第一数据进行压缩,压缩时并在所述第一数据头部写入压缩标志,获取第一压缩数据,包括:
将第一数据拆分成多个数据块,并统计所述数据块的个数;
获取所述第一数据中的每个字符串的数据特征,所述每个字符串中包括数据特征不同的至少两个子字符串,每个子字符串包括至少一个字符;
将所述第一数据中每个字符串中数据特征相同的子字符串作为一个数据块,并得到多个数据块;
获取第一数据中数据块,每个数据块包含所述第一数据中每个字符串中长度相同的子字符串;
针对第一数据中的每个数据块分别使用压缩算法进行压缩,并在压缩完成后在对每个压缩后的数据块进行整合,形成第一压缩数据;
将形成的第一压缩数据的头部写入压缩标志。
上述技术方案的工作原理及有益效果:首先,将第一数据拆分成多个数据块,并统计所述数据块的个数;其次,获取所述第一数据中的每个字符串的数据特征,所述每个字符串中包括数据特征不同的至少两个子字符串,每个子字符串包括至少一个字符;然后,将所述第一数据中每个字符串中数据特征相同的子字符串作为一个数据块,并得到多个数据块;接着,获取第一数据中数据块,每个数据块包含所述第一数据中每个字符串中长度相同的子字符串;紧接着,针对第一数据中的每个数据块分别使用压缩算法进行压缩,并在压缩完成后在对每个压缩后的数据块进行整合,形成第一压缩数据;最后,将形成的第一压缩数据的头部写入压缩标志。其中,通过拆分成多个数据块进行分块压缩,从而增加了压缩速率,通过将相同特征的子字符串关联起来作为数据块,保证了数据之间的相关性,进而通过压缩算法对每个数据块进行压缩,所述压缩算法采用LZW字典压缩算法,通过选择字符串,利用字典把每个字符串进行编码作为一个标识,字典保存字符串,可以实现静态和动态保存,其中压缩算法对数据进行一一分析,避免了因分析不到位而导致数据的压缩错误,其中,采用字典压缩算法,压缩数据的速率不超过1k,可以更好的应用于较为庞大的数据中,在压缩完成的数据中写入压缩标志,从而防止数据压缩完毕而造成的遗漏,保证了后期的解压操作,进而加强了系统的安全性能,保证了数据传输的安全性,避免了传输错误而造成的损失。
本发明提供的一个实施例中,所述接收端根据第一压缩数据是否有压缩标志判断是否对该第一压缩数据进行自适应解压,包括:
所述接收端接受到所述第一压缩数据,判断是否有压缩标志;
若有压缩标志,则根据压缩算法的逆运算解压所述第一压缩数据,从而获取解压后的数据;
若无压缩标志,则无法进行解压操作;
其中所述判断是否有压缩标志的具体步骤如下:
步骤A1,首先获取m个已经确定是否含有压缩标志的第一压缩数据,所述将m个已经确定是否含有压缩标志的第一压缩数据形成一个历史数据矩阵X,所述历史数据矩阵X为m行n列,n代表第一压缩数据的数据维度,将m个第一压缩数据则含有m个判断类别结果,将m个判断类别结果形成一个判断结果矩阵Y,所述判断结果矩阵Y为m行1列,每行值代表一个第一压缩数据中是否存在压缩标志,当第一压缩数据含有压缩标志时,所述第一压缩数据对应的判断结果为1,当第一压缩数据不含有压缩标志时,所述第一压缩数据对应的判断结果为0;
其次,对历史数据矩阵X和判断结果矩阵Y构建一个学习函数:
Figure BDA0003029762520000101
其中,f(X)代表构建的学习函数,Yi,1代表判断结果矩阵Y第i行第1列的值,Xi,j代表历史数据矩阵X第i行第j列的值,θ0代表初始的常数值,初始值为0,θi,j代表初始的参数值,初始值为0,i=1,2,3...m,j=1,2,3...n;
步骤A2,根据以下公式确定更新后的常数值和参数值:
Figure BDA0003029762520000102
其中,θ0′代表更新后的常数值,θi,j′代表更新后的参数值,α代表学习率,初始值为0.001,
Figure BDA0003029762520000103
代表学习函数f(X)对初始的参数值θi,j做偏导,
Figure BDA0003029762520000104
代表学习函数f(X)对初始的常数值θ0做偏导;
步骤A3,将新的第一压缩数据转换成数据矩阵P,根据以下公式进行判断第一压缩数据是否存在压缩标志:
Figure BDA0003029762520000111
其中,W代表结果判定值,Pi,j代表数据矩阵P第i行第j列的值,且当
Figure BDA0003029762520000112
时,则代表当前第一压缩数据不存在压缩标志,且当
Figure BDA0003029762520000113
时,则代表当前第一压缩数据存在压缩标志,从而进行自适应解压。
以上技术方案的有益效果:利用以上技术方案可以对第一压缩数据进行智能检测,通过程序代码进行循环判断第一压缩数据中是否存在压缩标志,若所述第一压缩数据存在压缩标志,则对第一压缩数据进行解压,若所述第一压缩数据不存在压缩标志,则提醒系统数据压缩失败,以上算法在进行判断时进行获取历史判断结果和历史数据,从而通过采用学习函数学习历史判断结果和历史数据中的特征值,通过根据学习函数中的常数值和参数值来衡量学习结果,通过迭代求解学习函数中的常数值和参数值,进而获得检测模型,利用检测模型进行智能化判断之后的第一压缩数据,从而节省了人力物力,保证了检测速率和精确度,避免了人为判断而造成的损失,以上检测全部为计算机自动检测和计算,不需要额外的增加人工维护,从而大幅度的体现了智能化水平,此外以上算法通过学习历史判断结果和历史数据的特征,从而对压缩标志更为敏感,进而大幅度的提升了检测的准确率。
本发明提供的一个实施例中,所述系统包括:
获取模块,用于获取多链路传输中的载荷中的传输协议头和实际数据内容;
压缩模块,用于将所述传输协议头进行压缩,得到压缩后的传输协议头;
合并模块,用于将所述压缩后的传输协议头与所述实际数据内容进行结合,获得第一数据;
写入模块,用于将所述第一数据进行压缩,获取第一压缩数据,并在所述第一压缩数据头部写入压缩标志;
传输模块,用于通过多链路将所述第一压缩数据发送至接收端;
解压模块,用于接收端根据第一压缩数据是否有压缩标志判断是否对该第一压缩数据进行自适应解压。
上述技术方案的工作原理及有益效果:首先,获取模块获取多链路传输中的载荷中的传输协议头和实际数据内容,其中传输协议头包括应用层协议头即为通用分组无线服务隧道GTP协议头,传输层协议头即为用户数据报UDP协议头,网络层协议头即为互联网IP协议头;然后,压缩模块将所述传输协议头进行压缩,得到压缩后的传输协议头;其次,合并模块通将所述压缩后的传输协议头与所述实际数据内容进行结合,获得第一数据;接着,写入模块将所述第一数据进行压缩,获取第一压缩数据,并在所述第一压缩数据头部写入压缩标志;最后,传输模块通过多链路将所述第一压缩数据发送至接收端,解压模块根据第一压缩数据是否有压缩标志判断是否对该第一压缩数据进行自适应解压;其中,所述采用多链路技术手段,使得数据多维度传输至接收端,提高了传输速率,增加攻击者获取全部数据的难度,增强了数据的安全性,进一步缓解对通信密钥的攻击分析,所述随机延时采用的是时间因子,其中,利用大数据技术对传输数据进行压缩加密,这样会重复利用集群硬件资源,压缩后的数据不仅提高了网络传输的速率,而且压缩后大大缩减了数据体积,能够提高传输速率,进一步提高传输效率,压缩后的载荷数据,和原始数据相比,在链路间传输的载荷数据都会有不同比例的下降,节省了带宽,在无线场景下,由于传输数据包变小,使得通信更加可靠。
在本发明提供的一个实施例中,所述写入模块进行将所述第一数据进行压缩,获取第一压缩数据,并在所述第一压缩数据头部写入压缩标志的具体步骤如下:
将第一数据拆分成多个数据块,并统计所述数据块的个数;
获取所述第一数据中的每个字符串的数据特征,所述每个字符串中包括数据特征不同的至少两个子字符串,每个子字符串包括至少一个字符;
将所述第一数据中每个字符串中数据特征相同的子字符串作为一个数据块,并得到多个数据块;
获取第一数据中数据块,每个数据块包含所述第一数据中每个字符串中长度相同的子字符串;
针对第一数据中的每个数据块分别使用压缩算法进行压缩,并在压缩完成后在对每个压缩后的数据块进行整合,形成第一压缩数据;
将形成的第一压缩数据的头部写入压缩标志。
上述技术方案的工作原理及有益效果:首先,将第一数据拆分成多个数据块,并统计所述数据块的个数;其次,获取所述第一数据中的每个字符串的数据特征,所述每个字符串中包括数据特征不同的至少两个子字符串,每个子字符串包括至少一个字符;然后,将所述第一数据中每个字符串中数据特征相同的子字符串作为一个数据块,并得到多个数据块;接着,获取第一数据中数据块,每个数据块包含所述第一数据中每个字符串中长度相同的子字符串;紧接着,针对第一数据中的每个数据块分别使用压缩算法进行压缩,并在压缩完成后在对每个压缩后的数据块进行整合,形成第一压缩数据;最后,将形成的第一压缩数据的头部写入压缩标志。其中,通过拆分成多个数据块进行分块压缩,从而增加了压缩速率,通过将相同特征的子字符串关联起来作为数据块,保证了数据之间的相关性,进而通过压缩算法对每个数据块进行压缩,所述压缩算法采用LZW字典压缩算法,通过选择字符串,利用字典把每个字符串进行编码作为一个标识,字典保存字符串,可以实现静态和动态保存,其中压缩算法对数据进行一一分析,避免了因分析不到位而导致数据的压缩错误,其中,采用字典压缩算法,压缩数据的速率不超过1k,可以更好的应用于较为庞大的数据中,在压缩完成的数据中写入压缩标志,从而防止数据压缩完毕而造成的遗漏,保证了后期的解压操作,进而加强了系统的安全性能,保证了数据传输的安全性,避免了传输错误而造成的损失。
在本发明的一个实施例中,所述解压模块进行根据第一压缩数据是否有压缩标志判断是否对该第一压缩数据进行自适应解压的具体步骤如下:
所述接收端接受到所述第一压缩数据,判断是否有压缩标志;
若有压缩标志,则根据压缩算法的逆运算解压所述第一压缩数据,从而获取解压后的数据;
若无压缩标志,则无法进行解压操作;
所述解压模块判断是否有压缩标志的具体步骤如下:
步骤A1,首先获取m个已经确定是否含有压缩标志的第一压缩数据,所述将m个已经确定是否含有压缩标志的第一压缩数据形成一个历史数据矩阵X,所述历史数据矩阵X为m行n列,n代表第一压缩数据的数据维度,将m个第一压缩数据则含有m个判断类别结果,将m个判断类别结果形成一个判断结果矩阵Y,所述判断结果矩阵Y为m行1列,每行值代表一个第一压缩数据中是否存在压缩标志,当第一压缩数据含有压缩标志时,所述第一压缩数据对应的判断结果为1,当第一压缩数据不含有压缩标志时,所述第一压缩数据对应的判断结果为0;
其次,对历史数据矩阵X和判断结果矩阵Y构建一个学习函数:
Figure BDA0003029762520000141
其中,f(X)代表构建的学习函数,Yi,1代表判断结果矩阵Y第i行第1列的值,Xi,j代表历史数据矩阵X第i行第j列的值,θ0代表初始的常数值,初始值为0,θi,j代表初始的参数值,初始值为0,i=1,2,3...m,j=1,2,3...n;
步骤A2,根据以下公式确定更新后的常数值和参数值:
Figure BDA0003029762520000151
其中,θ0′代表更新后的常数值,θi,j′代表更新后的参数值,α代表学习率,初始值为0.001,
Figure BDA0003029762520000152
代表学习函数f(X)对初始的参数值θi,j做偏导,
Figure BDA0003029762520000153
代表学习函数f(X)对初始的常数值θ0做偏导;
步骤A3,将新的第一压缩数据转换成数据矩阵P,根据以下公式进行判断第一压缩数据是否存在压缩标志:
Figure BDA0003029762520000154
其中,W代表结果判定值,Pi,j代表数据矩阵P第i行第j列的值,且当
Figure BDA0003029762520000155
时,则代表当前第一压缩数据不存在压缩标志,且当
Figure BDA0003029762520000156
时,则代表当前第一压缩数据存在压缩标志,从而进行自适应解压。
以上技术方案的有益效果:利用以上技术方案可以对第一压缩数据进行智能检测,通过程序代码进行循环判断第一压缩数据中是否存在压缩标志,若所述第一压缩数据存在压缩标志,则对第一压缩数据进行解压,若所述第一压缩数据不存在压缩标志,则提醒系统数据压缩失败,以上算法在进行判断时进行获取历史判断结果和历史数据,从而通过采用学习函数学习历史判断结果和历史数据中的特征值,通过根据学习函数中的常数值和参数值来衡量学习结果,通过迭代求解学习函数中的常数值和参数值,进而获得检测模型,利用检测模型进行智能化判断之后的第一压缩数据,从而节省了人力物力,保证了检测速率和精确度,避免了人为判断而造成的损失,以上检测全部为计算机自动检测和计算,不需要额外的增加人工维护,从而大幅度的体现了智能化水平,此外以上算法通过学习历史判断结果和历史数据的特征,从而对压缩标志更为敏感,进而大幅度的提升了检测的准确率。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则范围之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种通用的多链路载荷压缩与解压缩方法,其特征在于,所述方法包括:
获取多链路传输中的载荷中的传输协议头和实际数据内容;
将所述传输协议头进行压缩,得到压缩后的传输协议头;
将所述压缩后的传输协议头与所述实际数据内容进行结合,获得第一数据;
将所述第一数据进行压缩,获取第一压缩数据,并在所述第一压缩数据头部写入压缩标志;
通过多链路将所述第一压缩数据发送至接收端,接收端根据第一压缩数据是否有压缩标志判断是否对该第一压缩数据进行自适应解压。
2.根据权利要求1所述的一种通用的多链路载荷压缩与解压缩方法,其特征在于,所述传输协议头包括:
应用层协议头,通用分组无线服务隧道GTP协议头;
传输层协议头,用户数据报UDP协议头;
网络层协议头,互联网IP协议头。
3.根据权利要求1所述的一种通用的多链路载荷压缩与解压缩方法,其特征在于,所述将所述第一数据进行压缩,压缩时并在所述第一数据头部写入压缩标志,获取第一压缩数据,包括:
将第一数据拆分成多个数据块,并统计所述数据块的个数;
获取所述第一数据中的每个字符串的数据特征,所述每个字符串中包括数据特征不同的至少两个子字符串,每个子字符串包括至少一个字符;
将所述第一数据中每个字符串中数据特征相同的子字符串作为一个数据块,并得到多个数据块;
获取第一数据中数据块,每个数据块包含所述第一数据中每个字符串中长度相同的子字符串;
针对第一数据中的每个数据块分别使用压缩算法进行压缩,并在压缩完成后在对每个压缩后的数据块进行整合,形成第一压缩数据;
将形成的第一压缩数据的头部写入压缩标志。
4.根据权利要求1所述的一种通用的多链路载荷压缩与解压缩方法,其特征在于,所述接收端根据第一压缩数据是否有压缩标志判断是否对该第一压缩数据进行自适应解压,包括:
所述接收端接受到所述第一压缩数据,判断是否有压缩标志;
若有压缩标志,则根据压缩算法的逆运算解压所述第一压缩数据,从而获取解压后的数据;
若无压缩标志,则无法进行解压操作。
5.根据权利要求4所述的一种通用的多链路载荷压缩与解压缩方法,其特征在于,所述接收端接收到所述第一压缩数据,判断是否有压缩标志的具体步骤如下:
步骤A1,首先获取m个已经确定是否含有压缩标志的第一压缩数据,所述将m个已经确定是否含有压缩标志的第一压缩数据形成一个历史数据矩阵X,所述历史数据矩阵X为m行n列,n代表第一压缩数据的数据维度,将m个第一压缩数据则含有m个判断类别结果,将m个判断类别结果形成一个判断结果矩阵Y,所述判断结果矩阵Y为m行1列,每行值代表一个第一压缩数据中是否存在压缩标志,当第一压缩数据含有压缩标志时,所述第一压缩数据对应的判断结果为1,当第一压缩数据不含有压缩标志时,所述第一压缩数据对应的判断结果为0;
其次,对历史数据矩阵X和判断结果矩阵Y构建一个学习函数:
Figure FDA0003029762510000031
其中,f(X)代表构建的学习函数,Yi,1代表判断结果矩阵Y第i行第1列的值,Xi,j代表历史数据矩阵X第i行第j列的值,θ0代表初始的常数值,初始值为0,θi,j代表初始的参数值,初始值为0,i=1,2,3…m,j=1,2,3…n;
步骤A2,根据以下公式确定更新后的常数值和参数值:
Figure FDA0003029762510000032
其中,θ0′代表更新后的常数值,θi,j′代表更新后的参数值,α代表学习率,初始值为0.001,
Figure FDA0003029762510000033
代表学习函数f(X)对初始的参数值θi,j做偏导,
Figure FDA0003029762510000034
代表学习函数f(X)对初始的常数值θ0做偏导;
步骤A3,将新的第一压缩数据转换成数据矩阵P,根据以下公式进行判断第一压缩数据是否存在压缩标志:
Figure FDA0003029762510000035
其中,W代表结果判定值,Pi,j代表数据矩阵P第i行第j列的值,且当
Figure FDA0003029762510000036
时,则代表当前第一压缩数据不存在压缩标志,且当
Figure FDA0003029762510000037
时,则代表当前第一压缩数据存在压缩标志,从而进行自适应解压。
6.一种通用的多链路载荷压缩与解压缩系统,其特征在于,所述系统包括:
获取模块,用于获取多链路传输中的载荷中的传输协议头和实际数据内容;
压缩模块,用于将所述传输协议头进行压缩,得到压缩后的传输协议头;
合并模块,用于将所述压缩后的传输协议头与所述实际数据内容进行结合,获得第一数据;
写入模块,用于将所述第一数据进行压缩,获取第一压缩数据,并在所述第一压缩数据头部写入压缩标志;
传输模块,用于通过多链路将所述第一压缩数据发送至接收端;
解压模块,用于接收端根据第一压缩数据是否有压缩标志判断是否对该第一压缩数据进行自适应解压。
7.根据权利要求6所述的一种通用的多链路载荷压缩与解压缩系统,其特征在于,所述传输协议头包括:
应用层协议头,通用分组无线服务隧道GTP协议头;
传输层协议头,用户数据报UDP协议头;
网络层协议头,互联网IP协议头。
8.根据权利要求6所述的一种通用的多链路载荷压缩与解压缩系统,其特征在于,所述写入模块进行将所述第一数据进行压缩,获取第一压缩数据,并在所述第一压缩数据头部写入压缩标志的具体步骤如下:
将第一数据拆分成多个数据块,并统计所述数据块的个数;
获取所述第一数据中的每个字符串的数据特征,所述每个字符串中包括数据特征不同的至少两个子字符串,每个子字符串包括至少一个字符;
将所述第一数据中每个字符串中数据特征相同的子字符串作为一个数据块,并得到多个数据块;
获取第一数据中数据块,每个数据块包含所述第一数据中每个字符串中长度相同的子字符串;
针对第一数据中的每个数据块分别使用压缩算法进行压缩,并在压缩完成后在对每个压缩后的数据块进行整合,形成第一压缩数据;
将形成的第一压缩数据的头部写入压缩标志。
9.根据权利要求6所述的一种通用的多链路载荷压缩与解压缩系统,其特征在于,所述解压模块进行根据第一压缩数据是否有压缩标志判断是否对该第一压缩数据进行自适应解压的具体步骤如下:
所述接收端接受到所述第一压缩数据,判断是否有压缩标志;
若有压缩标志,则根据压缩算法的逆运算解压所述第一压缩数据,从而获取解压后的数据;
若无压缩标志,则无法进行解压操作。
10.根据权利要求6所述的一种通用的多链路载荷压缩与解压缩系统,其特征在于,所述解压模块判断是否有压缩标志的具体步骤如下:
步骤A1,首先获取m个已经确定是否含有压缩标志的第一压缩数据,所述将m个已经确定是否含有压缩标志的第一压缩数据形成一个历史数据矩阵X,所述历史数据矩阵X为m行n列,n代表第一压缩数据的数据维度,将m个第一压缩数据则含有m个判断类别结果,将m个判断类别结果形成一个判断结果矩阵Y,所述判断结果矩阵Y为m行1列,每行值代表一个第一压缩数据中是否存在压缩标志,当第一压缩数据含有压缩标志时,所述第一压缩数据对应的判断结果为1,当第一压缩数据不含有压缩标志时,所述第一压缩数据对应的判断结果为0;
其次,对历史数据矩阵X和判断结果矩阵Y构建一个学习函数:
Figure FDA0003029762510000051
其中,f(X)代表构建的学习函数,Yi,1代表判断结果矩阵Y第i行第1列的值,Xi,j代表历史数据矩阵X第i行第j列的值,θ0代表初始的常数值,初始值为0,θi,j代表初始的参数值,初始值为0,i=1,2,3…m,j=1,2,3…n;
步骤A2,根据以下公式确定更新后的常数值和参数值:
Figure FDA0003029762510000061
其中,θ0′代表更新后的常数值,θi,j′代表更新后的参数值,α代表学习率,初始值为0.001,
Figure FDA0003029762510000062
代表学习函数f(X)对初始的参数值θi,j做偏导,
Figure FDA0003029762510000063
代表学习函数f(X)对初始的常数值θ0做偏导;
步骤A3,将新的第一压缩数据转换成数据矩阵P,根据以下公式进行判断第一压缩数据是否存在压缩标志:
Figure FDA0003029762510000064
其中,W代表结果判定值,Pi,j代表数据矩阵P第i行第j列的值,且当
Figure FDA0003029762510000065
时,则代表当前第一压缩数据不存在压缩标志,且当
Figure FDA0003029762510000066
时,则代表当前第一压缩数据存在压缩标志,从而进行自适应解压。
CN202110426441.8A 2021-04-20 2021-04-20 一种通用的多链路载荷压缩与解压缩方法和系统 Active CN113329442B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110426441.8A CN113329442B (zh) 2021-04-20 2021-04-20 一种通用的多链路载荷压缩与解压缩方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110426441.8A CN113329442B (zh) 2021-04-20 2021-04-20 一种通用的多链路载荷压缩与解压缩方法和系统

Publications (2)

Publication Number Publication Date
CN113329442A true CN113329442A (zh) 2021-08-31
CN113329442B CN113329442B (zh) 2022-02-11

Family

ID=77414942

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110426441.8A Active CN113329442B (zh) 2021-04-20 2021-04-20 一种通用的多链路载荷压缩与解压缩方法和系统

Country Status (1)

Country Link
CN (1) CN113329442B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114979290A (zh) * 2022-04-14 2022-08-30 中国联合网络通信集团有限公司 一种态势感知压缩算法的选择方法及装置
CN117640443A (zh) * 2023-11-30 2024-03-01 南京海汇装备科技有限公司 一种基于大数据的数据链通信监测系统及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040103277A1 (en) * 2002-11-22 2004-05-27 Karim Seada Method, apparatus and system for compressing IPSec-protected IP packets
CN101197823A (zh) * 2006-12-08 2008-06-11 华为技术有限公司 在压缩/解压缩过程中传输解压缩信息的方法、系统及装置
CN101369977A (zh) * 2008-09-18 2009-02-18 华为技术有限公司 数据传输的方法、装置和系统
CN102122960A (zh) * 2011-01-18 2011-07-13 西安理工大学 一种针对二进制数据的多字符组合无损数据压缩方法
CN103973645A (zh) * 2013-01-30 2014-08-06 华为技术有限公司 一种数据传输方法和相关装置
US20170064596A1 (en) * 2014-07-10 2017-03-02 Huawei Technologies Co., Ltd. Data transmission method and system, and related apparatus
CN111769914A (zh) * 2020-06-23 2020-10-13 北京四季豆信息技术有限公司 数据通信方法和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040103277A1 (en) * 2002-11-22 2004-05-27 Karim Seada Method, apparatus and system for compressing IPSec-protected IP packets
CN101197823A (zh) * 2006-12-08 2008-06-11 华为技术有限公司 在压缩/解压缩过程中传输解压缩信息的方法、系统及装置
CN101369977A (zh) * 2008-09-18 2009-02-18 华为技术有限公司 数据传输的方法、装置和系统
CN102122960A (zh) * 2011-01-18 2011-07-13 西安理工大学 一种针对二进制数据的多字符组合无损数据压缩方法
CN103973645A (zh) * 2013-01-30 2014-08-06 华为技术有限公司 一种数据传输方法和相关装置
US20170064596A1 (en) * 2014-07-10 2017-03-02 Huawei Technologies Co., Ltd. Data transmission method and system, and related apparatus
CN111769914A (zh) * 2020-06-23 2020-10-13 北京四季豆信息技术有限公司 数据通信方法和存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114979290A (zh) * 2022-04-14 2022-08-30 中国联合网络通信集团有限公司 一种态势感知压缩算法的选择方法及装置
CN117640443A (zh) * 2023-11-30 2024-03-01 南京海汇装备科技有限公司 一种基于大数据的数据链通信监测系统及方法
CN117640443B (zh) * 2023-11-30 2024-05-07 南京海汇装备科技有限公司 一种基于大数据的数据链通信监测系统及方法

Also Published As

Publication number Publication date
CN113329442B (zh) 2022-02-11

Similar Documents

Publication Publication Date Title
CN113329442B (zh) 一种通用的多链路载荷压缩与解压缩方法和系统
KR100359703B1 (ko) 헤더 압축에 의한 패킷 전송 방법 및 장치
CN1163046C (zh) 分组数据网中传输具有压缩头标的数据分组的系统和方法
US20170300595A1 (en) Data packet extraction method and apparatus
US8155035B2 (en) Reception apparatus and method, program, and recording medium
CN106067847B (zh) 一种语音数据传输方法及装置
US9496894B1 (en) System and method for data compression over a communication network
CN1156124C (zh) 传输数据分组的方法和设备
CN110620637B (zh) 一种基于fpga的数据解压装置及方法
CN113452676B (zh) 一种检测器分配方法和物联网检测系统
CN113259886B (zh) 工业边缘端的数据传输方法和装置
CN1913531B (zh) 一种tcp/ip包头的传输方法、压缩方法和装置
CN114362885A (zh) 物联网数据传输方法、装置、设备和介质
CN115913473B (zh) 一种数据选择性重传方法及其系统、存储介质、电子设备
Jin et al. Performance comparison of header compression schemes for RTP/UDP/IP packets
CN108573069B (zh) 一种加速压缩流量正则表达式匹配的Twins方法
CN103067971A (zh) 一种无线IPv6互连网中TCP信头压缩方法
Woo et al. Performance analysis of robust header compression over mobile wimax
CN109587157B (zh) 一种基于公交车物联网通讯协议的通讯方法
WO2021036189A1 (zh) Rdma数据发送及接收方法、电子设备及可读存储介质
CN105592006B (zh) 一种rohc压缩器的ir态回迁周期选择方法和装置
JP4456574B2 (ja) 圧縮データ送信方法
Kalyanasundaram et al. Performance analysis and optimization of the window-based least significant bits encoding technique of ROHC
CN113179277B (zh) 一种隐藏于标准http明文消息头的校验方法
KR102671446B1 (ko) Can 통신 장치 및 이의 can 프레임 압축 통신 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant