CN113220652B - 一种基于压缩处理的多链路并发传输方法和系统 - Google Patents

一种基于压缩处理的多链路并发传输方法和系统 Download PDF

Info

Publication number
CN113220652B
CN113220652B CN202110488282.4A CN202110488282A CN113220652B CN 113220652 B CN113220652 B CN 113220652B CN 202110488282 A CN202110488282 A CN 202110488282A CN 113220652 B CN113220652 B CN 113220652B
Authority
CN
China
Prior art keywords
data
transmission
fragment data
multilink
compressed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110488282.4A
Other languages
English (en)
Other versions
CN113220652A (zh
Inventor
张凯
郑应强
霍文阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing LSSEC Technology Co Ltd
Original Assignee
Beijing LSSEC Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing LSSEC Technology Co Ltd filed Critical Beijing LSSEC Technology Co Ltd
Priority to CN202110488282.4A priority Critical patent/CN113220652B/zh
Publication of CN113220652A publication Critical patent/CN113220652A/zh
Application granted granted Critical
Publication of CN113220652B publication Critical patent/CN113220652B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/174Redundancy elimination performed by the file system
    • G06F16/1744Redundancy elimination performed by the file system using compression, e.g. sparse files
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1448Management of the data involved in backup or backup restore
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38Information transfer, e.g. on bus
    • G06F13/40Bus structure
    • G06F13/4004Coupling between buses
    • G06F13/4009Coupling between buses with data restructuring
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Communication Control (AREA)

Abstract

本发明提供一种基于压缩处理的多链路并发传输方法和系统,其中,基于压缩处理的多链路并发传输方法包括:确定传输数据,并调用破碎算法对传输数据进行破碎处理,获得碎片数据;使用minilzo压缩软件分别将碎片数据进行压缩处理;将压缩处理后的碎片数据发送端接口通过多链路进行传输;接收端接口接收压缩处理后的碎片数据,并将压缩处理后的碎片数据解压处理,获得接收数据碎片;针对接收数据碎片进行数据重组,获得传输数据。本发明提供了一种基于压缩处理的多链路并发传输方法和系统,通过对数据进行压缩处理后再并发传输,有效解决了现有技术方案在发送大文件时,带宽被占满和传输时间过长的问题。

Description

一种基于压缩处理的多链路并发传输方法和系统
技术领域
本发明涉及信息传输技术领域,特别涉及一种基于压缩处理的多链路并发传输方法和系统。
背景技术
数据传输是数据从一个地方传送到另一个地方的通信过程。在数据通信网中,按一种链路协议的技术要求连接两个或多个数据站的电信设施,称为数据链路,简称数据链。在数据传输过程中往往通过多条链路并发传输实现通信,但是目前的技术方案,带宽和传输速度有限,在发送大文件时带宽被占满并且会导致传输时间过长,因此,本发明提出了一种基于压缩处理的多链路并发传输方法和系统,通过对数据进行压缩处理,在带宽和传输速度有限的情况下,使得在固定时间内传输更多的数据容量。
发明内容
本发明提供了一种基于压缩处理的多链路并发传输方法和系统,通过对数据进行压缩处理后再并发传输,有效解决了现有技术方案在发送大文件时,带宽被占满和传输时间过长的问题。
本发明提供一种基于压缩处理的多链路并发传输方法,包括:
确定传输数据,并调用破碎算法对所述传输数据进行破碎处理,获得碎片数据;
使用minilzo压缩软件分别将所述碎片数据进行压缩处理;
将压缩处理后的碎片数据发送端接口通过多链路进行传输;
接收端接口接收所述压缩处理后的碎片数据,并将所述压缩处理后的碎片数据解压处理,获得接收数据碎片;
针对所述接收数据碎片进行数据重组,获得传输数据。
进一步地,所述确定传输数据之前还进行传输准备处理,所述传输准备处理包括:
建立发送端与接收端之间的通信连接;
针对发送端接口和接收端接口进行初始化处理。
进一步地,所述使用minilzo压缩软件分别将所述碎片数据进行压缩处理时,解析出包头部和数据后再进行压缩处理。
进一步地,所述通过多链路进行传输时,通过MAC学习功能,自动学习并识别通讯协议中的MAC值,自动判断出所述压缩处理后的碎片数据发送的目标接收端接口,所述通过多链路进行传输时,通过MAC学习功能,自动学习并识别通讯协议中的MAC值,自动判断出所述压缩处理后的碎片数据发送的目标接收端接口;所述通过多链路进行传输时,通过如下公式预估链路传输成功概率;
Figure BDA0003051353070000021
Figure BDA0003051353070000022
上述公式中,yl表示接收端的接收正常比率,p表示发送端的传输功率,r表示单位长度功率损耗,δ表示功率衰减系数,Ll表示链路两端的距离,L0表示参照只,在这里取1,Q表示接收端接收功率最小值,Pl表示链路l成功传输的概率,vl表示数据速率,t表示传输消耗时间,H表示压缩处理后的碎片数据的大小,k表示压缩处理后的碎片数据的传输次数;
进而在多条链路中选择链路传输成功概率较高的链路进行传输。
进一步地,所述针对所述接收数据碎片进行数据重组,包括:
分析所述接收数据碎片,获取破碎处理时采用的破碎算法信息;
根据所述破碎算法信息确定重组算法;
通过所述重组算法对所述接收数据碎片进行数据重组,获得传输数据。
进一步地,所述进行数据重组的过程是在一个新线程中进行的,所述重组算法在新线程中的重组线程中一个控制函数指针的集合,所述重组线程在针对所述接收数据碎片进行数据重组时调用所述控制函数指针的集合中对应函数完成重组工作。
进一步地,所述重组线程在进行数据重组时,当所述接收数据碎片重组成功时,将所述接收数据碎片从当前队列中移除,并且在哈希表中也移除对应的信息,并放入发送队列中,在所述发送队列中按照接收时间进行数据确定,获得传输数据;当所述接收数据碎片重组失败时,重新针对所述接收数据碎片进行数据重组,直至重组成功。
进一步地,所述发送端接口在将所述压缩处理后的碎片数据进行传输时还将所述压缩处理后的碎片数据进行暂时备份缓存,然后根据所述接收端接口反馈的响应信号进行清除缓存,其过程包括:
针对所述压缩处理后的碎片数据进行暂时备份缓存;将所述发送端接口的压缩处理后的碎片数据进行备份,然后将备份数据存储到临时存储空间中;
在所述发送端接口将所述压缩处理后的碎片数据通过多链路进行传输时,获取传输初始时间,并预估所述压缩处理后的碎片数据通过多链路进行传输时的时间消耗;
接收所述接收端接口反馈的响应信号,并确定响应信号接收时间;在所述接收端接口接收到所述压缩处理后的碎片数据时,向所述发送端接口发送响应信号;
确定传输结果;根据所述传输初始时间、响应信号接收时间和预估所述压缩处理后的碎片数据通过多链路进行传输时的时间消耗确定传输结果,当在预估所述压缩处理后的碎片数据通过多链路进行传输时的时间消耗内未获得响应信号接收时间,或者所述传输初始时间和响应信号接收时间之间的时间差与预估所述压缩处理后的碎片数据通过多链路进行传输时的时间消耗差距较大,则传输结果为传输失败;否则传输结果为传输成功;
根据所述传输结果确定是否将所述备份数据删除;当所述传输结果为成功时,将所述备份数据删除;当所述传输结果为失败时,将在所述发送端接口调出所述备份数据重新进行传输。
本发明提供一种基于压缩处理的多链路并发传输系统,包括:破碎处理模块、压缩处理模块、链路传输模块、接收解压模块和数据重组模块;
所述破碎处理模块,用于确定传输数据,并调用破碎算法对所述传输数据进行破碎处理,获得碎片数据;
所述压缩处理模块,用于使用minilzo压缩软件分别将所述碎片数据进行压缩处理;
所述链路传输模块,用于将压缩处理后的碎片数据发送端接口通过多链路进行传输;
所述接收解压模块,用于接收端接口接收所述压缩处理后的碎片数据,并将所述压缩处理后的碎片数据解压处理,获得接收数据碎片;
所述数据重组模块,用于针对所述接收数据碎片进行数据重组,获得传输数据。
进一步地,还包括传输准备模块;所述传输准备模块包括通信连接单元和初始化单元;
所述通信连接单元,用于建立发送端与接收端之间的通信连接;
所述初始化单元,用于针对发送端接口和接收端接口进行初始化处理。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1为本发明所述的一种基于压缩处理的多链路并发传输方法流程图;
图2为本发明所述的一种基于压缩处理的多链路并发传输系统示意图;
图3为本发明所述的又一种基于压缩处理的多链路并发传输系统示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
如图1所示,本发明实施例提供了一种基于压缩处理的多链路并发传输方法,包括:
步骤一、确定传输数据,并调用破碎算法对所述传输数据进行破碎处理,获得碎片数据;
步骤二、使用minilzo压缩软件分别将所述碎片数据进行压缩处理;
步骤三、将压缩处理后的碎片数据发送端接口通过多链路进行传输;
步骤四、接收端接口接收所述压缩处理后的碎片数据,并将所述压缩处理后的碎片数据解压处理,获得接收数据碎片;
步骤五、针对所述接收数据碎片进行数据重组,获得传输数据。
上述技术方案中,在进行数据传输时,首先,确定传输数据,并调用破碎算法对传输数据进行破碎处理,获得碎片数据;然后,使用minilzo压缩软件分别将碎片数据进行压缩处理;接着,将压缩处理后的碎片数据发送端接口通过多链路进行传输;以及,接收端接口接收压缩处理后的碎片数据,并将压缩处理后的碎片数据解压处理,获得接收数据碎片;最后,针对接收数据碎片进行数据重组,获得传输数据。上述技术方案通过进行破碎处理使在传输文件被分成多个数据碎片之后再进行传输,从而使得对于大文件也能够进行传输,扩大了适用范围,而且数据碎片在进行传输时压缩处理后再传输,使得在带宽和传输速度有限的情况下,不仅能够在固定时间内传输更多的数据容量,而且还能够提高传输数据的传输效率。
本发明提供的一个实施例中,所述确定传输数据之前还进行传输准备处理,所述传输准备处理包括:
建立发送端与接收端之间的通信连接;
针对发送端接口和接收端接口进行初始化处理。
上述技术方案中,在进行传输数据之前通过传输准备处理确保传输数据能够发送端准确传输到目标接收端,通过建立发送端与接收端之间的通讯连接,能够将目标接收端与发送端联系起来,明确传输数据传输过程的始末,避免传输出错;通过对发送端接口和接收端接口进行初始化处理,清除发送端接口以及接收端接口与传输数据无关的其他数据的干扰,避免发送端接口和接收端接口对压缩处理后的碎片数据造成改变。
本发明提供的一个实施例中,所述使用minilzo压缩软件分别将所述碎片数据进行压缩处理时,解析出包头部和数据后再进行压缩处理。
上述技术方案中,在对碎片数据进行压缩处理的过程中,先是将碎片数据的包头部和数据,再进行压缩处理,从而使得接收端在解压处理后仍然可以比较清楚的得到包头部和数据,进而能够了解传输数据采用的破碎算法的信息,同时还有利于进行数据重组。
本发明提供的一个实施例中,所述通过多链路进行传输时,通过MAC学习功能,自动学习并识别通讯协议中的MAC值,自动判断出所述压缩处理后的碎片数据发送的目标接收端接口,所述通过多链路进行传输时,通过MAC学习功能,自动学习并识别通讯协议中的MAC值,自动判断出所述压缩处理后的碎片数据发送的目标接收端接口;所述通过多链路进行传输时,通过如下公式预估链路传输成功概率;
Figure BDA0003051353070000071
Figure BDA0003051353070000072
上述公式中,yl表示接收端的接收正常比率,p表示发送端的传输功率,r表示单位长度功率损耗,δ表示功率衰减系数,Ll表示链路两端的距离,L0表示参照只,在这里取1,Q表示接收端接收功率最小值,Pl表示链路l成功传输的概率,vl表示数据速率,t表示传输消耗时间,H表示压缩处理后的碎片数据的大小,k表示压缩处理后的碎片数据的传输次数;
进而在多条链路中选择链路传输成功概率较高的链路进行传输。
上述技术方案中,在多链路传输发射端接口输出的压缩处理后的碎片数据时,通过自动学习与识别通讯协议中的MAC值,使得能够自动判断出接收的压缩处理后的碎片数据的接收端接口,从而清楚发送端接口与接收端接口之间对接关系,而且上述过程是自动执行的,无需人为进行操作,不仅便捷,而且执行实现速度快。此外,在通过多链路进行传输时,首先针对链路进行传输成功概率预估,然后根据预估的传输成功概率选择传输成功概率较高的链路进行传输,从而提高传输成功的概率,而且在预估链路传输成功概率时,充分考虑传输过程中的功率衰减以及接收端接收功率最小值,使得传输的压缩处理后的碎片数据能够在接收端实现接收,从而使得压缩处理后的碎片数据传输成功,进而使得预估的预估链路传输成功概率更加准确。
本发明提供的一个实施例中,所述针对所述接收数据碎片进行数据重组,包括:
分析所述接收数据碎片,获取破碎处理时采用的破碎算法信息;
根据所述破碎算法信息确定重组算法;
通过所述重组算法对所述接收数据碎片进行数据重组,获得传输数据。
上述技术方案中,在针对接收数据碎片进行数据重组时,首先,分析接收数据碎片,获取破碎处理时采用的破碎算法信息;然后,根据破碎算法信息确定重组算法;最后,通过重组算法对接收数据碎片进行数据重组,获得传输数据。上述技术方案通过分析接收数据碎片能将压缩处理后的碎片数据在进行压缩之前进行破碎处理时采用的破碎算法的信息确定出来,进而可以根据破碎算法信息确定与破碎算法逆向的重组算法,从而使得进行数据重组之后得到的传输数据与发送端的传输数据一模一样。
本发明提供的一个实施例中,所述进行数据重组的过程是在一个新线程中进行的,所述重组算法在新线程中的重组线程中一个控制函数指针的集合,所述重组线程在针对所述接收数据碎片进行数据重组时调用所述控制函数指针的集合中对应函数完成重组工作。
上述技术方案中,另起一个新的线程进行数据重组能够使得在进行数据重组时,接收端的接口仍然可以继续进行接收压缩处理后的碎片数据以及对接收端接收到的压缩处理后的碎片数据进行解压处理,能够提高接收端得到传输数据的速度;在重组线程中每个接收数据碎片根据重组算法在控制函数指针的集合中匹配对应的函数实现重组,在重组算法中存在碎片数据与控制函数的映射关系,使得重组工作能够顺利实现,而且还能够避免使用统一的控制函数进行重组产生重组错乱,有效提高数据重组的准确度。
本发明提供的一个实施例中,所述发送端接口在将所述压缩处理后的碎片数据进行传输时还将所述压缩处理后的碎片数据进行暂时备份缓存,然后根据所述接收端接口反馈的响应信号进行清除缓存,其过程包括:
针对所述压缩处理后的碎片数据进行暂时备份缓存;将所述发送端接口的压缩处理后的碎片数据进行备份,然后将备份数据存储到临时存储空间中;
在所述发送端接口将所述压缩处理后的碎片数据通过多链路进行传输时,获取传输初始时间,并预估所述压缩处理后的碎片数据通过多链路进行传输时的时间消耗;
接收所述接收端接口反馈的响应信号,并确定响应信号接收时间;在所述接收端接口接收到所述压缩处理后的碎片数据时,向所述发送端接口发送响应信号;
确定传输结果;根据所述传输初始时间、响应信号接收时间和预估所述压缩处理后的碎片数据通过多链路进行传输时的时间消耗确定传输结果,当在预估所述压缩处理后的碎片数据通过多链路进行传输时的时间消耗内未获得响应信号接收时间,或者所述传输初始时间和响应信号接收时间之间的时间差与预估所述压缩处理后的碎片数据通过多链路进行传输时的时间消耗差距较大,则传输结果为传输失败;否则传输结果为传输成功;
根据所述传输结果确定是否将所述备份数据删除;当所述传输结果为成功时,将所述备份数据删除;当所述传输结果为失败时,将在所述发送端接口调出所述备份数据重新进行传输。
上述技术方案中,在重组线程进行数据重组时,如果接收数据碎片没有重组成功,则继续对接收数据碎片进行数据重组,直至重组成功,如果接收数据碎片重组成功,则将接收数据碎片从当前队列中移除,并且在哈希表中也移除对应的信息,并放入发送队列中,通过将重组成功的接收数据碎片在当前队列中移除能够避免重组成功的接收数据碎片对还未进行数据重组的接收数据碎片进行数据重组造成干扰,同时还能够使得当前队列中只存在未重组成功的接收数据碎片,避免出现混肴,从而降低出错的概率。
本发明提供的一个实施例中,所述发送端接口在将所述压缩处理后的碎片数据进行传输时还将所述压缩处理后的碎片数据进行暂时备份缓存,所述接收端接口接收到所述压缩处理后的碎片数据时向所发送端接口反馈响应信号,所述发送端接口在接收到所述响应信号后将缓存的暂时备份的所述压缩处理后的碎片数据进行删除。
上述技术方案中,发送端接口在将压缩处理后的碎片数据传输之后对传的压缩处理后的碎片数据进行暂时备份缓存,然后在接收到接收端接口反馈的响应信号之后再将暂时备份缓存的数据删除,如果长时间未收到反馈的响应信号,则将暂时备份缓存的数据重新通过发送端接口进行传输,通过在发送端接口与接收端接口之间建立一个反馈关系使得传输数据能够稳定完成传输,避免传输途中造成压缩处理后的碎片数据丢失。
如图2所示,本发明实施例提供了一种基于压缩处理的多链路并发传输系统,包括:破碎处理模块、压缩处理模块、链路传输模块、接收解压模块和数据重组模块;
所述破碎处理模块,用于确定传输数据,并调用破碎算法对所述传输数据进行破碎处理,获得碎片数据;
所述压缩处理模块,用于使用minilzo压缩软件分别将所述碎片数据进行压缩处理;
所述链路传输模块,用于将压缩处理后的碎片数据发送端接口通过多链路进行传输;
所述接收解压模块,用于接收端接口接收所述压缩处理后的碎片数据,并将所述压缩处理后的碎片数据解压处理,获得接收数据碎片;
所述数据重组模块,用于针对所述接收数据碎片进行数据重组,获得传输数据。
上述技术方案中,多链路并发传输系统包括:破碎处理模块、压缩处理模块、链路传输模块、接收解压模块和数据重组模块;通过破碎处理模块确定传输数据,并调用破碎算法对传输数据进行破碎处理,获得碎片数据;通过压缩处理模块使用minilzo压缩软件分别将碎片数据进行压缩处理;通过链路传输模块将压缩处理后的碎片数据发送端接口通过多链路进行传输;通过接收解压模块接收端接口接收压缩处理后的碎片数据,并将压缩处理后的碎片数据解压处理,获得接收数据碎片;通过数据重组模块针对接收数据碎片进行数据重组,获得传输数据。上述技术方案通过破碎处理模块进行破碎处理使在传输文件被分成多个数据碎片之后再进行传输,从而使得对于大文件也能够进行传输,扩大了适用范围,通过压缩处理模块使得数据碎片在进行传输时压缩处理后再传输,使得在带宽和传输速度有限的情况下,不仅能够在固定时间内传输更多的数据容量,而且还能够提高传输数据的传输效率,此外,链路传输模块采用多链路进行传输有效提高传输的效率。
如图3所示,本发明提供的一个实施例中,还包括传输准备模块;所述传输准备模块包括通信连接单元和初始化单元;
所述通信连接单元,用于建立发送端与接收端之间的通信连接;
所述初始化单元,用于针对发送端接口和接收端接口进行初始化处理。
上述技术方案中,多链路并发传输系统中还包括传输准备模块;通过传输准备模块在将传输数据传输之前进行传输准备,传输准备模块包括通信连接单元和初始化单元,通过通信连接单元建立发送端与接收端之间的通信连接,将目标接收端与发送端联系起来,明确传输数据传输过程的始末,避免传输出错;通过初始化单元针对发送端接口和接收端接口进行初始化处理,清除发送端接口以及接收端接口与传输数据无关的其他数据的干扰,避免发送端接口和接收端接口对压缩处理后的碎片数据造成改变。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种基于压缩处理的多链路并发传输方法,其特征在于,包括:
确定传输数据,并调用破碎算法对所述传输数据进行破碎处理,获得碎片数据;
使用minilzo压缩软件分别将所述碎片数据进行压缩处理;
将压缩处理后的碎片数据发送端接口通过多链路进行传输;所述发送端接口在将所述压缩处理后的碎片数据进行传输时还将所述压缩处理后的碎片数据进行暂时备份缓存,然后根据接收端接口反馈的响应信号进行清除缓存,其过程包括:针对所述压缩处理后的碎片数据进行暂时备份缓存;将所述发送端接口的压缩处理后的碎片数据进行备份,然后将备份数据存储到临时存储空间中;在所述发送端接口将所述压缩处理后的碎片数据通过多链路进行传输时,获取传输初始时间,并预估所述压缩处理后的碎片数据通过多链路进行传输时的时间消耗;接收所述接收端接口反馈的响应信号,并确定响应信号接收时间;在所述接收端接口接收到所述压缩处理后的碎片数据时,向所述发送端接口发送响应信号;确定传输结果;根据所述传输初始时间、响应信号接收时间和预估所述压缩处理后的碎片数据通过多链路进行传输时的时间消耗确定传输结果,当在预估所述压缩处理后的碎片数据通过多链路进行传输时的时间消耗内未获得响应信号接收时间,或者所述传输初始时间和响应信号接收时间之间的时间差与预估所述压缩处理后的碎片数据通过多链路进行传输时的时间消耗差距较大,则传输结果为传输失败;否则传输结果为传输成功;根据所述传输结果确定是否将所述备份数据删除;当所述传输结果为成功时,将所述备份数据删除;当所述传输结果为失败时,将在所述发送端接口调出所述备份数据重新进行传输;所述通过多链路进行传输时,通过MAC学习功能,自动学习并识别通讯协议中的MAC值,自动判断出所述压缩处理后的碎片数据发送的目标接收端接口;所述通过多链路进行传输时,通过如下公式预估链路传输成功概率;
Figure FDA0003375878310000021
Figure FDA0003375878310000022
上述公式中,yl表示接收端的接收正常比率,p表示发送端的传输功率,r表示单位长度功率损耗,δ表示功率衰减系数,Ll表示链路两端的距离,L0表示参照只,在这里取1,Q表示接收端接收功率最小值,Pl表示链路l成功传输的概率,vl表示数据速率,t表示传输消耗时间,H表示压缩处理后的碎片数据的大小,k表示压缩处理后的碎片数据的传输次数;进而在多条链路中选择链路传输成功概率较高的链路进行传输;
接收端接口接收所述压缩处理后的碎片数据,并将所述压缩处理后的碎片数据解压处理,获得接收数据碎片;
针对所述接收数据碎片进行数据重组,获得传输数据。
2.根据权利要求1所述的基于压缩处理的多链路并发传输方法,其特征在于,所述确定传输数据之前还进行传输准备处理,所述传输准备处理包括:
建立发送端与接收端之间的通信连接;
针对发送端接口和接收端接口进行初始化处理。
3.根据权利要求1所述的基于压缩处理的多链路并发传输方法,其特征在于,所述使用minilzo压缩软件分别将所述碎片数据进行压缩处理时,解析出包头部和数据后再进行压缩处理。
4.根据权利要求1所述的基于压缩处理的多链路并发传输方法,其特征在于,所述针对所述接收数据碎片进行数据重组,包括:
分析所述接收数据碎片,获取破碎处理时采用的破碎算法信息;
根据所述破碎算法信息确定重组算法;
通过所述重组算法对所述接收数据碎片进行数据重组,获得传输数据。
5.根据权利要求4所述的基于压缩处理的多链路并发传输方法,其特征在于,所述进行数据重组的过程是在一个新线程中进行的,所述重组算法在新线程中的重组线程中一个控制函数指针的集合,所述重组线程在针对所述接收数据碎片进行数据重组时调用所述控制函数指针的集合中对应函数完成重组工作。
6.根据权利要求5所述的基于压缩处理的多链路并发传输方法,其特征在于,所述重组线程在进行数据重组时,当所述接收数据碎片重组成功时,将所述接收数据碎片从当前队列中移除,并且在哈希表中也移除对应的信息,并放入发送队列中,在所述发送队列中按照接收时间进行数据确定,获得传输数据;当所述接收数据碎片重组失败时,重新针对所述接收数据碎片进行数据重组,直至重组成功。
7.一种基于压缩处理的多链路并发传输系统,其特征在于,包括:破碎处理模块、压缩处理模块、链路传输模块、接收解压模块和数据重组模块;
所述破碎处理模块,用于确定传输数据,并调用破碎算法对所述传输数据进行破碎处理,获得碎片数据;
所述压缩处理模块,用于使用minilzo压缩软件分别将所述碎片数据进行压缩处理;
所述链路传输模块,用于将压缩处理后的碎片数据发送端接口通过多链路进行传输;所述发送端接口在将所述压缩处理后的碎片数据进行传输时还将所述压缩处理后的碎片数据进行暂时备份缓存,然后根据接收端接口反馈的响应信号进行清除缓存,其过程包括:针对所述压缩处理后的碎片数据进行暂时备份缓存;将所述发送端接口的压缩处理后的碎片数据进行备份,然后将备份数据存储到临时存储空间中;在所述发送端接口将所述压缩处理后的碎片数据通过多链路进行传输时,获取传输初始时间,并预估所述压缩处理后的碎片数据通过多链路进行传输时的时间消耗;接收所述接收端接口反馈的响应信号,并确定响应信号接收时间;在所述接收端接口接收到所述压缩处理后的碎片数据时,向所述发送端接口发送响应信号;确定传输结果;根据所述传输初始时间、响应信号接收时间和预估所述压缩处理后的碎片数据通过多链路进行传输时的时间消耗确定传输结果,当在预估所述压缩处理后的碎片数据通过多链路进行传输时的时间消耗内未获得响应信号接收时间,或者所述传输初始时间和响应信号接收时间之间的时间差与预估所述压缩处理后的碎片数据通过多链路进行传输时的时间消耗差距较大,则传输结果为传输失败;否则传输结果为传输成功;根据所述传输结果确定是否将所述备份数据删除;当所述传输结果为成功时,将所述备份数据删除;当所述传输结果为失败时,将在所述发送端接口调出所述备份数据重新进行传输;所述通过多链路进行传输时,通过MAC学习功能,自动学习并识别通讯协议中的MAC值,自动判断出所述压缩处理后的碎片数据发送的目标接收端接口;所述通过多链路进行传输时,通过如下公式预估链路传输成功概率;
Figure FDA0003375878310000041
Figure FDA0003375878310000042
上述公式中,yl表示接收端的接收正常比率,p表示发送端的传输功率,r表示单位长度功率损耗,δ表示功率衰减系数,Ll表示链路两端的距离,L0表示参照只,在这里取1,Q表示接收端接收功率最小值,Pl表示链路l成功传输的概率,vl表示数据速率,t表示传输消耗时间,H表示压缩处理后的碎片数据的大小,k表示压缩处理后的碎片数据的传输次数;进而在多条链路中选择链路传输成功概率较高的链路进行传输;
所述接收解压模块,用于接收端接口接收所述压缩处理后的碎片数据,并将所述压缩处理后的碎片数据解压处理,获得接收数据碎片;
所述数据重组模块,用于针对所述接收数据碎片进行数据重组,获得传输数据。
8.根据权利要求7所述的基于压缩处理的多链路并发传输系统,其特征在于,还包括传输准备模块;所述传输准备模块包括通信连接单元和初始化单元;
所述通信连接单元,用于建立发送端与接收端之间的通信连接;
所述初始化单元,用于针对发送端接口和接收端接口进行初始化处理。
CN202110488282.4A 2021-05-06 2021-05-06 一种基于压缩处理的多链路并发传输方法和系统 Active CN113220652B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110488282.4A CN113220652B (zh) 2021-05-06 2021-05-06 一种基于压缩处理的多链路并发传输方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110488282.4A CN113220652B (zh) 2021-05-06 2021-05-06 一种基于压缩处理的多链路并发传输方法和系统

Publications (2)

Publication Number Publication Date
CN113220652A CN113220652A (zh) 2021-08-06
CN113220652B true CN113220652B (zh) 2022-02-11

Family

ID=77090881

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110488282.4A Active CN113220652B (zh) 2021-05-06 2021-05-06 一种基于压缩处理的多链路并发传输方法和系统

Country Status (1)

Country Link
CN (1) CN113220652B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115052044B (zh) * 2022-08-12 2022-11-18 南瑞轨道交通技术有限公司 一种基于双网双链路的海量数据传输方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111225021A (zh) * 2019-11-13 2020-06-02 北京连山时代科技有限公司 一种基于文件破碎与重组的多链路并发传输方法和系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9881099B2 (en) * 2010-05-24 2018-01-30 International Business Machines Corporation System, method and computer program product for data transfer management
CN101909079B (zh) * 2010-07-15 2013-04-24 北京迈朗世讯科技有限公司 一种骨干网链路中用户上网行为数据采集方法和系统
CN105657777B (zh) * 2016-03-14 2018-11-20 西安电子科技大学 基于链路质量和节点转发能力的路由协议设计方法
US10311026B2 (en) * 2016-05-27 2019-06-04 International Business Machines Corporation Compressed data layout for optimizing data transactions
CN108173963A (zh) * 2018-01-19 2018-06-15 大唐终端技术有限公司 一种高效的可调度的二维码传输文件的方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111225021A (zh) * 2019-11-13 2020-06-02 北京连山时代科技有限公司 一种基于文件破碎与重组的多链路并发传输方法和系统

Also Published As

Publication number Publication date
CN113220652A (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
US5701302A (en) Method and apparatus for adaptively companding data packets in a data communication system
US20040071140A1 (en) Determining network path transmission unit
WO2002032039A2 (en) Systems and methods for implementing hierarchical aknowledgement bitmaps in an arq protocol
CN108512785B (zh) 一种数据传输协议方法
WO1998023067A1 (en) System and method for dynamically reconfigurable packet transmission
CN100446514C (zh) 以分组流传输数据分组的方法及其装置
CN102164043A (zh) 日志上报方法及终端
CN111464635B (zh) 一种字典索引传输方法及装置
CN109787722A (zh) 数据传输方法、装置和服务器
CN113220652B (zh) 一种基于压缩处理的多链路并发传输方法和系统
CN104618961A (zh) 应用于智能电网的单通道tcp/ip头压缩方法及系统
CN108834218A (zh) 一种面向预测控制的短包无线传输方法
EP2119148A1 (en) Network offloading with reduced packet loss
WO2002010929A1 (en) System and method for serving compressed content over a computer network
CN112566180B (zh) 一种提升tetra系统分组数据传输速率的方法
CN113992306A (zh) 一种多链路数据重传方法及系统
CN106713432B (zh) 数据缓存方法及网络代理设备
US20040165542A1 (en) Packet transmitter and packet transmitter method
CN112671515B (zh) 一种无线链路控制层有限重传数据传输方法
CN109547420B (zh) 一种适用于无线链路的路由报文自适应回溯压缩方法
US20050086383A1 (en) Optimizing the compression efficiency in a packet data communication
US5515385A (en) Device and method for limiting delay by substantial elimination of duplicate synchronous data frames in a communication system
CN110289932B (zh) 一种乱序深度值更新方法和装置
CN115022419B (zh) 一种自动调整mss的方法、装置和存储介质
CN114726790B (zh) 一种基于传输内容大小的拥塞控制选择方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant