CN117255128A - 一种数据处理方法及相关设备 - Google Patents

一种数据处理方法及相关设备 Download PDF

Info

Publication number
CN117255128A
CN117255128A CN202210647535.2A CN202210647535A CN117255128A CN 117255128 A CN117255128 A CN 117255128A CN 202210647535 A CN202210647535 A CN 202210647535A CN 117255128 A CN117255128 A CN 117255128A
Authority
CN
China
Prior art keywords
network device
compression parameter
global
compression
local
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210647535.2A
Other languages
English (en)
Inventor
孙超
程剑
张亮
崔洪斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202210647535.2A priority Critical patent/CN117255128A/zh
Priority to PCT/CN2023/098195 priority patent/WO2023236876A1/zh
Publication of CN117255128A publication Critical patent/CN117255128A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/565Conversion or adaptation of application format or content
    • H04L67/5651Reducing the amount or size of exchanged application data

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请公开了一种数据处理方法,应用于通信技术领域。控制设备分别从多个网络设备获取多个局部压缩参数,基于该多个局部压缩参数生成全局压缩参数,该全局压缩参数用于压缩和解压缩。该多个局部压缩参数分别是对应的网络设备基于处理过的数据获取的。在该方案中,网络设备仅需和控制设备同步压缩参数,且仅需维护少数个全局压缩参数,不需要维护与其他多个网络设备通信的压缩参数,降低了网络设备维护压缩参数的复杂度。

Description

一种数据处理方法及相关设备
技术领域
本申请涉及通信技术领域,尤其涉及一种数据处理方法及相关设备。
背景技术
随着云计算的流行,用于承载云计算业务的数据中心间的网络或数据中心与本地网络间传输的数据量越来越大。
如果数据中心或本地网络的入口设备支持数据压缩,将可以大大降低网络间传输的数据量。为了避免压缩参数的老化问题,组网场景中的每个网络设备需要不断更新压缩参数。任意两个通信的网络设备需要持续的传输更新后的压缩参数。
因此,在组网场景包含大量网络设备的情况下,每一个网络设备需要与其他的任一个网络设备进行压缩参数的同步,以在本地为每个其他网络设备维护一个最新的压缩参数。这使得网络设备间的压缩参数维护的复杂度较高,而且每个网络设备还得存储多个压缩参数。
发明内容
本申请提供了一种数据处理方法,可以减少网络设备存储压缩参数的数量,降低网络设备维护压缩参数的复杂度。
本申请第一方面提供了一种数据处理方法,该方法可以由第一网络设备执行,也可以由第一网络设备的部件(例如,主控板、业务板、交换网板、接口板等)执行。该方法包括:第一网络设备获取第一局部压缩参数和第二局部压缩参数,第一局部压缩参数由第一网络设备或第二网络设备生成,第二局部压缩参数由第三网络设备生成;第一网络设备根据第一局部压缩参数和第二局部压缩参数生成第一全局压缩参数,第一全局压缩参数用于压缩和解压缩。
在该技术方案中,第一网络设备获取多个局部压缩参数,并基于多个局部压缩参数生成全局压缩参数。该多个局部压缩参数可以分别由多个其他网络设备生成,例如,该多个其他网络设备包括第二网络设备和第三网络设备。全局压缩参数用于压缩或解压缩。这使得网络设备仅需维护少数个(例如1个)全局压缩参数,而且网络设备仅需和第一网络设备同步压缩参数,降低了网络设备维护压缩参数的复杂度。另外,该第一网络设备基于多个其他网络设备处生成的局部压缩参数更新全局压缩参数,使得该全局压缩参数是基于更广范围的数据处理结果获得的,可以进一步提升数据压缩的效率。
可选地,在第一方面的一种可能的实现方式中,第一网络设备发送同步请求给第二网络设备和/或第三网络设备,以请求第一局部压缩参数和/或第二局部压缩参数。
该种可能的实现方式中,第一网络设备可以根据实际需要主动发送同步请求的方式收集各网络设备的局部压缩参数,提升第一网络设备更新/生成全局压缩参数的效率。
可选地,在第一方面的一种可能的实现方式中,第一网络设备发送第一压缩策略给第二网络设备和/或第三网络设备。第一压缩策略包括同步策略和/或保留策略。同步策略用于第二网络设备和/或第三网络设备生成并发送本地局部压缩参数。保留策略用于指示第二网络设备和/或第三网络设备存储第一全局压缩参数之前的至少一个全局压缩参数。
该种可能的实现方式中,第一网络设备可以通过第一压缩策略控制多个其他网络设备,使得后续多个其他网络设备上报的局部压缩参数以及存储的全局压缩参数数量符合第一网络设备的压缩参数同步需求。
可选地,在第一方面的一种可能的实现方式中,上述的同步策略包括业务类型和与业务类型对应的压缩策略。业务类型和与业务类型对应的压缩策略用于指示第二网络设备和/或第三网络设备基于与业务类型对应的压缩策略处理业务类型对应的报文,和/或,基于与业务类型对应的压缩策略生成与业务类型对应的局部压缩参数。
该种可能的实现方式中,第一网络设备可以为不同的业务类型设置不同的压缩策略。不同的业务类型的报文可能有不同的特征,由此可能导致不同的业务类型的报文具有不同的压缩率。区分业务类型后,控制设备可以为高压缩率的业务类型生成全局压缩参数,不为低压缩率的业务类型生成全局压缩参数,即网络设备不压缩低压缩率的业务类型的报文。另外,不同的业务类型具有不同的业务需求,例如,语音类业务要求低时延,下载类业务要求高吞吐。控制设备可以根据各业务类型的业务需求生成不同的全局压缩参数。
可选地,在第一方面的一种可能的实现方式中,第一网络设备发送第一全局压缩参数给至少一个网络设备,至少一个网络设备包括以下一个或多个网络设备:第二网络设备、第三网络设备。
该种可能的实现方式中,上报局部压缩参数的网络设备,也接收全局压缩参数。且该全局压缩参数是基于网络设备上报的局部压缩参数生成,进而全局压缩参数更适用于该网络设备。
可选地,在第一方面的一种可能的实现方式中,第一网络设备发送第一标识给至少一个网络设备,第一标识用于标识第一全局压缩参数。
该种可能的实现方式中,通过发送全局压缩参数对应的标识,可以使得至少一个网络设备明确各个全局压缩参数,以便于后续通过标识准确使用全局压缩参数。
可选地,在第一方面的一种可能的实现方式中,第一网络设备获取第二压缩策略,第二压缩策略包括以下一项或多项:第一网络设备生成/发送第一全局压缩参数的时刻或周期、第一网络设备发送同步请求的时刻或周期、业务类型和与业务类型对应的压缩策略、预设条件;预设条件用于指示第一网络设备在满足预设条件时发送第一全局压缩参数。
该种可能的实现方式中,可以通过第二压缩策略控制第一网络设备执行压缩参数同步的过程。例如,在第二压缩策略是管理员配置的情况下,可以使得压缩参数的同步过程满足管理员的实际需要。
可选地,在第一方面的一种可能的实现方式中,第一网络设备与第二网络设备和/或第三网络设备基于边界网关路由(Border Gateway Protocol,BGP)消息进行通信,通信的信息包括以下一项或多项:同步请求,第一局部压缩参数,第二局部压缩参数,第一全局压缩参数,或者第一压缩策略。
该种可能的实现方式中,第一网络设备与其他网络设备可以通过BGP协议进行通信,增强了该方案的实现灵活性。
可选地,在第一方面的一种可能的实现方式中,上述的第一局部压缩参数、第二局部压缩参数和第一全局压缩参数为字典;第一局部压缩参数包括第一字符串,第二压缩参数包括第二字符串,第一全局压缩参数包括第一字符串与第二字符串的并集。
该种可能的实现方式中,生成的第一全局压缩参数不仅包括第一局部压缩参数的字符串,还包括第二局部压缩参数的字符串,可以进一步提升数据压缩的效率。
可选地,在第一方面的一种可能的实现方式中,第一局部压缩参数为第一局部编码表,所述第二局部压缩参数为第二局部编码表,所述第一全局压缩参数为第一全局编码表,第一局部编码表包括第一元素的频率或次数,第二局部编码表包括第二元素的频率或次数,第一元素与第二元素为编码字符集中的元素,第一网络设备根据第一元素的频率或次数与第二元素的频率或次数,生成第一全局编码表,第一全局编码表包括编码字符集中的各元素以及各元素对应的码字。
该种可能的实现方式中,第一网络设备基于各局部编码表中元素出现的频率或次数生成第一全局编码表,可以进一步提升数据压缩的效率。
可选地,在第一方面的一种可能的实现方式中,第一网络设备获取第二全局压缩参数,第一网络设备根据第一局部压缩参数、第二局部压缩参数和第二全局压缩参数生成第一全局压缩参数。
该种可能的实现方式中,可以使用多个其他网络设备上报的局部压缩参数更新已有的全局压缩参数,使得更新后的全局压缩参数是基于更多的已处理数据生成的,可以进一步提升数据压缩的效率。
可选地,在第一方面的一种可能的实现方式中,上述的预设条件包括以下至少一项:第一网络设备的时间为预设时刻,或者距离上一次向至少一个网络设备发送全局压缩参数的时刻的时间间隔达到或超过预设时间段;第一全局压缩参数中的至少一个元素的出现次数或频率的变化量大于或等于第一阈值;第一全局压缩参数中的字符串的长度与第二全局压缩参数字符串的长度之差大于或等于第二阈值;第一全局压缩参数中字符串的长度相比于第二全局压缩参数中字符串的长度大于或等于第三阈值;在基于第二全局压缩参数生成第一全局压缩参数的过程中,第二全局压缩参数中的子字符串或元素的顺序的调整次数大于或等于第四阈值。
该种可能的实现方式中,通过设置预设条件,控制发送全局压缩参数的时机。例如:新增的字符串大于某个阈值等等,可以在更新量较少的情况,不必同步全局压缩参数,减少压缩参数同步带来的消耗。另外,通过限定发送全局压缩参数的条件,可以使得第一网络设备更明确全局压缩参数的发送条件。
本申请第二方面提供了一种数据处理方法,该方法可以由第二网络设备执行,也可以由第二网络设备的部件(例如,主控板、业务板、交换网板、接口板等)执行。该方法包括:第二网络设备获取第一局部压缩参数;第二网络设备发送第一局部压缩参数给第一网络设备;第二网络设备接收第一网络设备发送的第一全局压缩参数,第一全局压缩参数是基于第一局部压缩参数与第二局部压缩参数生成的;第二网络设备基于第一全局压缩参数压缩/解压缩目标数据,目标数据为第二网络设备传输的数据。
在该技术方案中,第二网络设备向第一网络设备发送第一局部压缩参数,进而第一网络设备可以根据第一局部压缩参数生成第一全局压缩参数。第二网络设备接收第一网络设备发送的第一全局压缩参数,该第一全局压缩参数用于压缩/解压缩第二网络设备传输的目标数据。这使得网络设备仅需维护少数个(例如1个)全局压缩参数,而且仅需和第一网络设备同步压缩参数,降低了维护压缩参数的复杂度。另外,该第一全局压缩参数是第一网络设备基于多个其他网络设备处生成的局部压缩参数更新得到的,使得该第一全局压缩参数是基于更广范围的数据处理结果获得的,可以进一步提升数据压缩的效率。
可选地,在第二方面的一种可能的实现方式中,第二网络设备获取至少一个训练样本,每个训练样本包括训练报文中的字符串/元素,元素为编码字符集中的元素;第二网络设备获取字符串中各子字符串或元素的重复次数,并基于各子字符串或元素的重复次数获取第一局部压缩参数。
该种可能的实现方式中,通过各子字符串或元素的重复次数确定局部压缩参数,提升后续根据该重复次数生成的全局压缩参数的压缩率。
可选地,在第二方面的一种可能的实现方式中,第二网络设备接收第一网络设备发送的第一标识,第一标识用于标识第一全局压缩参数。
该种可能的实现方式中,通过接收全局压缩参数对应的标识,可以使得第二网络设备明确各个全局压缩参数,以便于后续通过标识准确使用全局压缩参数。
可选地,在第二方面的一种可能的实现方式中,若满足预设条件,第二网络设备发送第一局部压缩参数给第一网络设备。预设条件包括以下至少一项:第二网络设备存储的第二全局压缩参数的压缩率小于或等于第一阈值;第二网络设备处理的报文数量或报文字节长度大于或等于第二阈值;第二网络设备的时间为预设时刻,或者距离上一次向第一网络设备发送局部压缩参数的时刻的时间间隔达到或超过预设时间段;第二网络设备接收到第一网络设备发送的同步请求,同步请求用于收集第一局部压缩参数。
该种可能的实现方式中,通过限定发送局部压缩参数的条件,可以使得第二网络设备更明确局部压缩参数的发送条件,提升第二网络设备的处理效率以及后续第一网络设备生成全局压缩参数的效率。
可选地,在第二方面的一种可能的实现方式中,第二网络设备获取压缩策略。压缩策略包括同步策略和/或保留策略。同步策略用于第二网络设备生成并发送本地局部压缩参数。保留策略用于指示第二网络设备存储第一全局压缩参数之前的至少一个全局压缩参数。
该种可能的实现方式中,第一网络设备或者管理员可以通过压缩策略控制第二网络设备,使得后续第二网络设备上报的局部压缩参数以及存储的全局压缩参数数量符合第一网络设备的压缩参数同步需求。
可选地,在第二方面的一种可能的实现方式中,同步策略包括业务类型和与业务类型对应的压缩策略。业务类型和与业务类型对应的压缩策略用于指示第二网络设备基于与业务类型对应的压缩策略处理业务类型对应的报文,和/或,基于与业务类型对应的压缩策略生成与业务类型对应的局部压缩参数。
可选地,在第二方面的一种可能的实现方式中,第二网络设备与第一网络设备基于边界网关路由BGP消息进行通信,通信的信息包括以下一项或多项:同步请求,第一局部压缩参数,第一全局压缩参数,或者压缩策略。
可选地,在第二方面的一种可能的实现方式中,第一局部压缩参数包括第一字符串,第二局部压缩参数包括第二字符串,第一全局压缩参数包括第一字符串与第二字符串的并集。
本申请第三方面提供了一种第一网络设备。该第一网络设备包括获取单元和生成单元。获取单元,用于获取第一局部压缩参数和第二局部压缩参数,第一局部压缩参数由第一网络设备或第二网络设备生成,第二局部压缩参数由第三网络设备生成。生成单元,用于根据第一局部压缩参数和第二局部压缩参数生成第一全局压缩参数,第一全局压缩参数用于压缩和解压缩。
可选地,在第三方面的一种可能的实现方式中,第一网络设备还包括发送单元。发送单元用于发送同步请求给第二网络设备和/或第三网络设备,以请求第一局部压缩参数和第二局部压缩参数。
可选地,在第三方面的一种可能的实现方式中,发送单元还用于发送第一压缩策略给第二网络设备和/或第三网络设备。第一压缩策略包括同步策略和/或保留策略,同步策略用于第二网络设备和/或第三网络设备生成并发送本地局部压缩参数,保留策略用于指示第二网络设备和/或第三网络设备存储第一全局压缩参数之前的至少一个全局压缩参数。
可选地,在第三方面的一种可能的实现方式中,同步策略包括业务类型和与业务类型对应的压缩策略。业务类型和与业务类型对应的压缩策略用于指示第二网络设备和/或第三网络设备基于与业务类型对应的压缩策略处理业务类型对应的报文,和/或,基于与业务类型对应的压缩策略生成与业务类型对应的局部压缩参数。
可选地,在第三方面的一种可能的实现方式中,发送单元,还用于发送第一全局压缩参数给至少一个网络设备。至少一个网络设备包括以下一个或多个网络设备:第二网络设备、第三网络设备。
可选地,在第三方面的一种可能的实现方式中,发送单元,还用于发送第一标识给至少一个网络设备,第一标识用于标识第一全局压缩参数。
可选地,在第三方面的一种可能的实现方式中,发送单元,具体用于与第二网络设备和/或第三网络设备基于边界网关路由BGP消息进行通信,通信的信息包括以下一项或多项:同步请求,第一局部压缩参数,第二局部压缩参数,第一全局压缩参数,或者第一压缩策略。
可选地,在第三方面的一种可能的实现方式中,获取单元还用于获取第二压缩策略。第二压缩策略包括以下一项或多项:第一网络设备生成/发送第一全局压缩参数的时刻或周期、第一网络设备发送同步请求的时刻或周期、业务类型和与业务类型对应的压缩策略、预设条件。预设条件用于指示第一网络设备在满足预设条件时发送第一全局压缩参数。
可选地,在第三方面的一种可能的实现方式中,第一局部压缩参数、第二局部压缩参数和第一全局压缩参数为字典;第一局部压缩参数包括第一字符串,第二压缩参数包括第二字符串,第一全局压缩参数包括第一字符串与第二字符串的并集。
可选地,在第三方面的一种可能的实现方式中,第一局部压缩参数为第一局部编码表,第二局部压缩参数为第二局部编码表,第一全局压缩参数为第一全局编码表;第一局部编码表包括第一元素的频率或次数,第二局部编码表包括第二元素的频率或次数,第一元素与第二元素为编码字符集中的元素;生成单元,具体用于根据第一元素的频率或次数与第二元素的频率或次数,生成第一全局编码表,第一全局编码表包括编码字符集中的各元素以及各元素对应的码字。
可选地,在第三方面的一种可能的实现方式中,获取单元,还用于获取第二全局压缩参数。生成单元,具体用于根据第一局部压缩参数、第二局部压缩参数和第二全局压缩参数生成第一全局压缩参数。
可选地,在第三方面的一种可能的实现方式中,预设条件包括以下至少一项:第一网络设备的时间为预设时刻,或者距离上一次向至少一个网络设备发送全局压缩参数的时刻的时间间隔达到或超过预设时间段;第一全局压缩参数中的至少一个元素的出现次数或频率的变化量大于或等于第一阈值;第一全局压缩参数中的字符串的长度与第二全局压缩参数字符串的长度之差大于或等于第二阈值;第一全局压缩参数中字符串的长度相比于第二全局压缩参数中字符串的长度大于或等于第三阈值;在基于第二全局压缩参数生成第一全局压缩参数的过程中,第二全局压缩参数中的子字符串或元素的顺序的调整次数大于或等于第四阈值。
本申请第四方面提供了一种第二网络设备,该第二网络设备包括获取单元、发送单元、接收单元和处理单元。获取单元用于获取第一局部压缩参数。发送单元用于发送第一局部压缩参数给第一网络设备。接收单元。用于接收第一网络设备发送的第一全局压缩参数,第一全局压缩参数是基于第一局部压缩参数与第二局部压缩参数生成的。处理单元用于基于第一全局压缩参数压缩/解压缩目标数据,目标数据为第二网络设备传输的数据。
可选地,在第四方面的一种可能的实现方式中,获取单元,还用于获取至少一个训练样本。每个训练样本包括训练报文中的字符串/元素,元素为编码字符集中的元素。获取单元,具体用于获取字符串中各子字符串或元素的重复次数,并基于各子字符串或元素的重复次数获取第一局部压缩参数。
可选地,在第四方面的一种可能的实现方式中,接收单元,还用于接收第一网络设备发送的第一标识,第一标识用于标识第一全局压缩参数。
可选地,在第四方面的一种可能的实现方式中,发送单元,具体用于若满足预设条件,发送第一局部压缩参数给第一网络设备。预设条件包括以下至少一项:第二网络设备存储的第二全局压缩参数的压缩率小于或等于第一预设阈值;处理单元处理的报文数量或报文字节长度大于或等于第二预设阈值,处理包括:压缩、接收、发送中的至少一项;第二网络设备的本地时钟为预设时刻,或者距离上一次向第一网络设备发送局部压缩参数的时刻的时间间隔达到或超过预设时间段;接收单元接收到第一网络设备发送的同步请求,同步请求用于收集第一局部压缩参数。
可选地,在第四方面的一种可能的实现方式中,获取单元,还用于获取压缩策略。压缩策略包括同步策略和/或保留策略。同步策略用于第二网络设备生成并发送本地局部压缩参数。保留策略用于指示第二网络设备存储第一全局压缩参数之前的至少一个全局压缩参数。
可选地,在第四方面的一种可能的实现方式中,同步策略包括业务类型和与业务类型对应的压缩策略。业务类型和与业务类型对应的压缩策略用于指示第二网络设备基于与业务类型对应的压缩策略处理业务类型对应的报文,和/或,基于与业务类型对应的压缩策略生成与业务类型对应的局部压缩参数。
可选地,在第四方面的一种可能的实现方式中,发送单元,具体用于与第一网络设备基于边界网关路由BGP消息进行通信,通信的信息包括以下一项或多项:同步请求,第一局部压缩参数,第一全局压缩参数,或者压缩策略。
可选地,在第四方面的一种可能的实现方式中,第一局部压缩参数包括第一字符串,第二局部压缩参数包括第二字符串,第一全局压缩参数包括第一字符串与第二字符串的并集。
本申请第五方面提供了一种第一网络设备,包括:处理器,处理器与存储器耦合,存储器用于存储程序或指令,当程序或指令被处理器执行时,使得该第一网络设备实现上述第一方面或第一方面的任意可能的实现方式中的方法。
本申请第六方面提供了一种第二网络设备,包括:处理器,处理器与存储器耦合,存储器用于存储程序或指令,当程序或指令被处理器执行时,使得该第二网络设备实现上述第二方面或第二方面的任意可能的实现方式中的方法。
本申请第七方面提供了一种通信系统,该通信系统包括上述第五方面的第一网络设备,和/或第六方面的第二网络设备。
本申请第八方面提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,该指令在计算机上执行时,使得计算机执行前述第一方面或第一方面的任意可能的实现方式、第二方面或第二方面的任意可能的实现方式中的方法。
本申请实第九方面提供了一种计算机程序产品,该计算机程序产品在计算机上执行时,使得计算机执行前述第一方面或第一方面的任意可能的实现方式、第二方面或第二方面的任意可能的实现方式中的方法。
附图说明
图1为本申请实施例提供的一种应用场景示意图;
图2为本申请实施例提供的一种字典压缩方法的流程示意图;
图3为本申请实施例提供的网络设备的一种结构示意图;
图4为本申请实施例提供的数据处理方法的一种流程示意图;
图5为本申请实施例提供的字典蒸馏的几种示例图;
图6为本申请实施例提供的BGP报文常用类型的示意图;
图7为本申请实施例提供的BGP报文格式的示例图;
图8为本申请实施例提供的控制设备与网络设备通过发布-订阅机制进行通信的示意图;
图9为本申请实施例提供的控制设备向网络场景中各网络设备发送同步请求的示意图;
图10为本申请实施例提供的不同网络设备生成的不同业务局部字典的流程示意图;
图11为本申请实施例提供的控制设备向不同网络设备下发不同业务全局字典的流程示意图;
图12为本申请实施例提供的网络场景中下发第一压缩策略的流程示意图;
图13为本申请实施例提供的网络设备应用压缩策略的流程示意图;
图14为本申请实施例提供的数据处理方法的另一种流程示意图;
图15为本申请实施例提供的网络设备更新本地存储的全局字典的示例图;
图16为本申请实施例提供的第一网络设备的一种结构示意图;
图17为本申请实施例提供的第二网络设备的一种结构示意图;
图18为本申请实施例提供的网络设备的另一种结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
图1为本申请实施例提供的一种应用场景的示意图。如图1所示,该应用场景包括网络设备101至106。网络设备101至106中的任意两个网络设备可以互相通信。
可选地,该网络设备101至106可分别用于连接一个本地网络,例如,数据中心网络(Data Center network,DCN)、园区网络或城域网等。例如,网络设备101和网络设备104分别为数据中心1和数据中心2的入口设备,数据中心1通过网络设备101与其他设备/网络通信,数据中心2通过网络设备104与其他设备/网络通信。
本申请实施例中的网络设备可以是多种设备,例如,路由器、交换机(例如:框式交换机、可插拔板卡形式的交换机等)等主要用于路由/转发的设备,或者云端的服务器、网关、防火墙等设备,具体此处不做限定。
本地网络与其他网络之间通常需要传输大量的数据。为降低网络中传输的数据量或本地网络的入口设备(例如,网络设备101和网络设备104)的带宽需求,不同本地网络的入口设备间在传输数据之前可以压缩数据以降低传输的数据量。例如,在发送数据之前,网络设备压缩待传输的数据(原始数据)。为保证压缩参数(例如,字典,编码表等)和解压缩参数一致,在传输数据之前,发送数据的网络设备和接收数据的网络设备同步压缩参数和解压缩参数。例如,如图2所示,发送数据的网络设备和接收数据的网络设备同步用于压缩和解压缩的字典,发送数据的网络设备使用字典压缩原始数据得到目标数据,并向接收数据的网络设备发送目标数据,接收数据的网络设备使用相同的字典解压缩该目标数据以得到原始数据。
为提升数据压缩效率,网络设备可以根据历史上已经处理过的数据更新压缩参数。一旦一个网络设备更新压缩参数,与该网络设备通信的其他网络设备也必须更新本地存储的压缩参数,以保证能解压接收到的来自于该网络设备的压缩数据。网络中的每个网络设备都可能会更新压缩参数,这将导致网络中的每个网络设备需要与其他的任一个网络设备进行压缩参数的同步,以在本地为每个其他网络设备维护一个最新的压缩参数。这使得网络设备间的压缩参数维护的复杂度较高,而且每个网络设备还得存储多个压缩参数。
鉴于此,本申请实施例提供了一种数据处理方法及相关设备。在该方法中,多个网络设备中的至少两个网络设备根据已处理过的历史数据生成局部压缩参数,控制设备从该至少两个网络设备处获取局部压缩参数,再基于该至少两个网络设备的局部压缩参数生成全局压缩参数,然后发送该全局压缩参数给各网络设备,各网络设备基于接收的全局压缩参数压缩和解压缩数据。该至少两个网络设备可以阶段性的生成新的局部压缩参数,该控制设备还可以基于新的局部压缩参数更新全局压缩参数并发送新的全局压缩参数给各网络设备。这使得各网络设备仅需维护少数个(例如1个)全局压缩参数,而且各网络设备仅需和控制设备同步压缩参数,降低了维护压缩参数的复杂度。另外,该控制设备基于多个网络设备处生成的局部压缩参数更新全局压缩参数,使得该全局压缩参数是基于更广范围的数据处理结果获得的,可以进一步提升数据压缩的效率。
可选地,控制设备可以是一个独立于网络设备的设备,例如,控制设备为网络中的网管设备,该多个网络设备为图1所示的网络设备101至106,网管设备接收网络设备101至106中的至少两个网络设备发送的局部压缩参数,基于接收到的局部压缩参数生成/更新全局压缩参数,并发送全局压缩参数给该至少两个网络设备。
可选地,控制设备还可以是该多个网络设备中的一个网络设备,例如,控制设备为图1所示的网络设备101,网络设备101接收网络设备102至106中的至少一个网络设备的局部压缩参数,基于接收到的局部压缩参数和网络设备101自身生成的局部压缩参数生成或更新全局压缩参数,并发送全局压缩参数给该至少一个网络设备。
可选地,控制设备还可以发送全局压缩参数给其他网络设备,例如,控制设备发送全局压缩参数给网络设备101至106中除上述至少两个网络设备之外的网络设备,或者发送给上述至少一个网络设备之外的网络设备,或者发送给其他网络场景中的网络设备,以使得其他网络设备也可以基于全局压缩参数进行压缩和解压缩。
压缩参数用于数据发送端压缩原始数据以获取压缩数据,并用于数据接收端解压缩压缩数据以获取原始数据。可选地,该压缩参数包括字典和/或编码表。
本申请实施例中的字典包括字符串。该字符串用于压缩/解压缩数据。例如,当待传输报文中的某个字符串与字典中的一个子字符串一致时,发送端的网络设备可以使用该子字符串在字典中的起始位置和该子字符串的长度来表示该待传输报文中的该字符串。基于字典对待传输报文进行压缩,可以实现用较少的位数表示较频繁出现的符号。接收端的网络设备可以基于压缩报文携带的每个子字符串在字典中的起始位置和该子字符串的长度查询字典以还原子字符串,从而解压缩接收到的压缩报文。
本申请实施例中,用于编码和解码的编码表包括元素和与元素对应的码字。发送端的网络设备可以使用熵编码(例如,哈夫曼编码、算术编码、香农编码等)将高频使用的元素编码为长度短的码字,以节省数据传输量。接收端的网络设备根据编码表还原出原始数据。
下面结合附图详细说明本申请实施例提供的数据处理方法及相关设备。
请参考图3,为本申请实施例提供的一种网络设备的结构示意图。该网络设备包括交换网板、主控板、接口板和业务板。
交换网板主要用于网络设备内部的数据交换,也可以理解为是用于传输业务数据。主要是负责跨接口板之间的数据转发交换,负责各接口板之间报文的交换、分发、调度、控制等功能。通常交换网板采用高性能的专用集成电路(Application SpecificIntegrated Circuit,ASIC)芯片,提供线速转发。
主控板主要用于提供网络设备的管理和控制功能以及数据平面的协议处理功能。作为用户操作的代理,主控板根据用户的操作指令来管理系统、监视性能,并向用户反馈网络设备的运行情况。例如,配置策略下发、对接口板、风扇、电源等进行监控和维护等。
接口板主要用于提供业务传输的外部物理接口,实现业务数据的接收/发送。例如,执行访问控制列表(Access Control List,ACL)策略等。另外,接口板的数量可以是一个或多个,可以根据具体需要设置,此处不做限定。
业务板主要用于执行对业务数据的处理,该处理例如包括:压缩、解压缩、加密、解密等。
在一种可能实现的方式中,图3所示的网络设备是前述的控制设备。图3中的接口板还用于:接收至少两个网络设备发送的局部压缩参数,通过交换网板向业务板发送局部压缩参数等等。业务板还用于:接收接口板通过交换网板发送的局部压缩参数,基于至少两个网络设备的局部压缩参数生成全局压缩参数,并通过交换网板、接口板发送该全局压缩参数给各网络设备等等。该全局压缩参数用于各网络设备压缩和解压缩数据。
在另一种可能实现的方式中,图3所示的网络设备是前述生成局部压缩参数的网络设备。图3中的业务板还用于:基于处理的数据生成局部压缩参数,通过交换网板与接口板向控制设备发送该局部压缩参数,通过交换网板与接口板接收控制设备发送的全局压缩参数,使用该全局压缩参数压缩/解压缩传输的业务数据等等。
图3所示的硬件结构中,可以使得网络设备(生成局部压缩参数的网络设备)中的业务板仅需维护少数个(例如1个)全局压缩参数,而且各网络设备中的业务板仅需和控制设备同步压缩参数,降低了业务板维护压缩参数的复杂度。
下面对本申请实施例提供的数据处理方法进行描述。如图4所示,该数据处理方法可以包括步骤401至步骤405。在该方法中,第一网络设备获取多个局部压缩参数,并基于多个局部压缩参数生成全局压缩参数。该多个局部压缩参数可以分别由多个其他网络设备生成,例如,该多个其他网络设备包括第二网络设备和第三网络设备。第一网络设备在生成全局压缩参数后,该第一网络设备发送该全局压缩参数给该多个其他网络设备,以使该多个其他网络设备使用该全局压缩参数压缩/解压缩数据。
步骤401,第二网络设备获取第一局部压缩参数。
第二网络设备例如是图1所示的网络设备101至106中的任意一个网络设备。
第二网络设备获取至少一个训练报文,并根据该至少一个训练报文获取第一局部压缩参数。第二网络设备可以统计每个训练报文中的字符串/元素出现的次数,然后基于出现的字符串/元素生成第一局部压缩参数。第一局部压缩参数包括出现的字符串或元素。第一局部压缩参数还可以包括各字符串或元素出现的次数。第二网络根据该至少一个训练报文获取第一局部压缩参数可以是基于每个训练报文的负荷获取第一局部压缩参数。例如,第二网络设备逐一的统计每个训练报文的负荷中出现的字符串及各字符串重复出现的次数。
第二网络设备可以通过多种方式获取训练报文,例如,该至少一个训练报文可以是第二网络设备传输的报文,或者该至少一个训练报文是第二网络设备生成的报文,或者该至少一个训练报文是第二网络设备从云端服务器处获取的报文等,具体此处不做限定。
本申请中的压缩参数可以是字典和/或编码表等,基于压缩参数的不同,第二网络设备基于至少一个训练报文获取第一局部压缩参数的方式有所不同,下面分别描述。
第一种,第一局部压缩参数为第一局部字典。
该种情况下,第二网络设备提取训练报文中出现的子字符串和各子字符串出现的次数,例如,第二网络设备基于子字符串查找算法(例如,子字符串查找、后缀数组等)从训练报文的负荷中查找子字符串,确定各子字符串出现的次数。
获取各子字符串与次数之后,第二网络设备根据各子字符串的出现次数对各子字符串进行从大到小的排序,再对各子字符串进行合并处理以得到第一局部字典。其中,合并处理可以包括以下至少一项:逗号分隔值(Comma-Separated Values,CSV)处理(即按照逗号分割)、分号分割处理(即按照分号分割)等,具体此处不做限定。
可选地,第二网络设备提取每个字符串中各子字符串的重复次数,并按照重复次数由大到小组织各子字符串以得到第一局部字典的字典内容,例如,第二网络设备根据ZSTD(Zstandard)字典训练算法生成第一局部字典。
示例性的,第一局部字典的第一字符串包括两个子字符串,分别为:“abc”与“01234”。且“abc”子字符串在多个训练报文中出现的次数大于“01234”子字符串在多个训练报文中出现的次数。第一局部字典的内容为:“abc,01234”。该示例下,分割处理采用的是上述CSV处理。
进一步的,第二网络设备还可以记录各子字符串的重复次数,并将各子字符串的重复次数存储在第一局部字典中。
第二种,第一局部压缩参数为第一局部编码表。
该种情况下,第二网络设备根据训练报文的编码方式(例如,统一码转换格式(Universal Character Set/Unicode Transformation Format,UTF8)、美国信息交换标准代码(ASICII)编码等)获取与编码方式对应的编码字符集元素,统计各元素在训练报文中出现的次数。该第一局部编码表包括:训练报文中出现的元素以及各元素出现的次数。可以理解的是,各元素出现的次数还可以用其他数值代替,例如,各元素出现的频率和总次数。
步骤402,第二网络设备向第一网络设备发送第一局部压缩参数。相应的,第一网络设备接收第二网络设备发送的第一局部压缩参数。
第二网络设备获取第一局部压缩参数之后,可以向第一网络设备发送第一局部压缩参数。相应的,第一网络设备接收第二网络设备发送的第一局部压缩参数。
可选地,为了减少第一局部压缩参数的传输量,第二网络设备还可以对第一局部压缩参数再进行编码处理,并向第一网络设备发送编码处理后的第一局部压缩参数。其中,编码处理可以包括:熵编码(例如,哈夫曼编码、算术编码、香农编码等)处理等等,具体此处不做限定。以熵编码处理为例,第二网络设备可以使用预先存储的熵编码表对第一局部字典进行编码处理。
可选地,为了明确第二网络设备发送第一局部压缩参数的时机,本步骤402可以有触发条件,即若满足预设条件,第二网络设备向第一网络设备发送第一局部压缩参数。为了区分后续第一网络设备发送全局压缩参数的触发条件,后续将第二网络设备发送第一局部压缩参数的预设条件称为第一预设条件,第一网络设备发送全局压缩参数的预设条件称为第二预设条件。另外,发送局部压缩参数的多个网络设备的触发条件类似,以及为了区分第一网络设备与其他网络设备,下面使用控制设备代替第一网络设备,使用网络设备代替第二网络设备与后续的第三网络设备。
上述的第一预设条件可以包括以下至少一项:
1、网络设备存储的第二全局压缩参数的压缩率小于或等于第一预设阈值,该第二全局压缩参数为网络设备本地存储的压缩参数。其中,该第二全局压缩参数可以是网络设备预先配置的初始压缩参数,也可以是在发送第一局部压缩参数之前,从控制设备获取的全局压缩参数。该种情况可以理解为是将压缩率恶化作为触发条件的一种示例。
2、网络设备处理报文的数量或报文字节长度大于或等于第二预设阈值,该处理包括:压缩、接收、发送等中的至少一项。该种情况可以理解为第一预设条件包括定量触发条件的一种示例。
3、网络设备的本地时钟为第一预设时刻,或者距离上一次向控制设备发送局部压缩参数的时刻的时间间隔达到或超过第一预设时间段。该种情况可以理解为第一预设条件包括定时/周期触发条件的一种示例。
4、接收到控制设备发送的同步请求,该同步请求用于获取该第一局部压缩参数。对于同步请求的相关描述可以参考后续控制设备向网络设备发送同步请求的描述,此处不再赘述。
可以理解的是,上述第一预设条件的几种情况只是举例,在实际应用中,第一预设条件还可以有其他情况,具体此处不做限定。
步骤403,第三网络设备获取第二局部压缩参数。
第三网络设备例如是图1所示的网络设备101至106中除了第二网络设备以外的任意一个网络设备。
第三网络设备获取第二局部压缩参数的描述与前述步骤401中第二网络设备获取第一局部压缩参数的方式类似,此处不再赘述。
示例性的,以第二局部压缩参数为第二局部字典为例,第二局部字典的内容为第二字符串:“abcde,012”。
步骤404,第三网络设备向第一网络设备发送第二局部压缩参数。相应的,第一网络设备接收第三网络设备发送的第二局部压缩参数。
第三网络设备获取第二局部压缩参数之后,可以向控制设备发送第二局部压缩参数。
可选地,与前述步骤402中关于第二网络设备向控制设备发送第一局部压缩参数的描述类似。一方面,为了减少第二局部压缩参数的传输量,第三网络设备可以对第二局部压缩参数进行编码,并向控制设备发送编码后的第二局部压缩参数。另一方面,为了明确第三网络设备发送第二局部压缩参数的时机,本步骤404也可以有触发条件,即若满足第一预设条件,第三网络设备向控制设备发送第二局部压缩参数。其中,第一预设条件可以参考前述步骤402中的描述,此处不再赘述。
步骤405,第一网络设备根据第一局部压缩参数和第二局部压缩参数生成第一全局压缩参数。
控制设备获取第一局部压缩参数与第二局部压缩参数之后,可以根据第一局部压缩参数与第二局部压缩参数生成第一全局压缩参数。该第一全局压缩参数用于压缩和解压缩。
压缩参数可以是字典和/或编码表等,基于压缩参数的不同,控制设备根据第一局部压缩参数和第二局部压缩参数生成第一全局压缩参数的方式有所不同,下面分别描述。
第一种,第一局部压缩参数为第一局部字典,第二局部压缩参数为第二局部字典,第一全局压缩参数为第一全局字典。
该种情况下,控制设备对第一局部字典中的子字符串与第二局部字典中的子字符串取并集以得到第一全局字典。其中,取并集可以理解为使用第一局部字典中的每个子字符串遍历第二局部字典中的每个子字符串寻找包含关系。若在第二局部字典中找到包含该子字符串的子字符串,则将在第二局部字典中找到的子字符串作为第一全局字典的子字符串。若在第二局部字典中未找到包含该子字符串的子字符串或在第二局部字典中找到该子字符串的子集,则将该第一局部字典中的子字符串作为第一全局字典的子字符串。针对第二布局字典中与第一局部字典无关的子字符串(例如,既不是第一局部字典中的子字符串的子字符串,也不包含第一局部字典中的子字符串),可以直接将该字符串加入全局字典。
示例性的,延续上述对于第一局部字典与第二局部字典的举例。第一局部字典的内容为第一字符串:“abc,01234”,第二局部字典的内容为第二字符串:“abcde,012”。通过上述取并集的处理,使用abc子字符串在第二局部字典子字符串中查找到包括abc子字符串的abcde子字符串,则第一全局字典中的子字符串包括abcde子字符串。使用01234子字符串在第二局部字典子字符串中查找到012子字符串为第一局部字典中01234子字符串的子集,则第一全局字典中的子字符串还包括01234子字符串。即第一全局字典包括“abcde01234”或“01234abcde”。
进一步的,为了提升后续第一全局字典的压缩效率,前述第二网络设备获取第一局部字典的同时,还可以获取第一局部字典中各子字符串出现的次数,并将该次数上报给控制设备。同理,第三网络设备获取第二局部字典的同时,还可以获取第二局部字典中各子字符串出现的次数,并将该次数上报给控制设备。控制设备获取各子字符串出现的次数之后,可以根据各子字符串的次数对各子字符串进行排序,以得到第一全局字典。
示例性的,延续上述举例,第一全局字典包括两个子字符串:“abcde”与“01234”,且第二网络设备上报的第一局部字典中“01234”子字符串的次数为1000次,第三网络设备上报的第二局部字典中“abcde”子字符串的次数为2000次,则按照次数由大到小的方式,第一全局字典包括的字符串具体可以是“abcde01234”。如此,对于更频繁出现的“abcde”子字符串或者“abcde”的子字符串(例如,“abc”),可以对应于更小的位置索引,更小的位置索引可能对应于更小的数据传输量。
示例性的,图5展示了控制设备根据第一局部字典与第二局部字典生成第一全局字典(这个过程可以称之为字典蒸馏)的几种示例。控制设备通过对第一局部字典与第二局部字典取并集获得第一全局字典。例如,在组合方式1中,第一局部字典包括“abc,01234”,第二局部字典包括“abcde,012”,则取并集后获取的第一全局字典包括“abcde01234”。又例如,在组合方式2中,第一局部字典包括“abcde,01234”,第二局部字典包括“abc,012”,则取并集后获取的第一全局字典包括“abcde01234”。又例如,在组合方式3中,第一局部字典包括“abc,012”,第二局部字典包括“cde,234”,则取并集后获取的第一全局字典包括“abcde01234”。又例如,在组合方式4中,第一局部字典包括“abcde”,第二局部字典包括“01234”,则取并集后获取的第一全局字典包括“abcde01234”。可以理解的是,图5所示的组合方式以及取并集获取全局字典的方式只是举例。
可以理解的是,上述几种生成第一全局字典的情况只是举例,在实际应用中,还有可以有其他方式,例如,控制设备可以通过某种规则从第一局部字典中选取部分,从第二局部字典中选取部分,并将选取的两个部分合成第一全局字典等等,具体此处不做限定。其中,该规则可以包括:控制设备选取局部字典中次数大于或等于某个阈值的子字符串。若第一全局字典的长度大于或等于长度阈值,则控制设备可以删除第一全局字典中次数小于某个阈值的子字符串,或者,控制设备可以删除局部字典中字数小于某个阈值的子字符串,再使用删除后的局部字典重新生成第一全局字典。
示例性的,例如时刻T,控制设备收到网络设备上报的局部字典1与局部字典2。其中,局部字典1内容:子字符串1,子字符串2;局部字典2内容:子字符串1,子字符串3。控制设备根据局部字典1与局部字典2生成全局字典1,全局字典1内容:子字符串1,子字符串2,子字符串3。时刻T+t(t>0),控制设备收到网络设备上报的局部字典3与局部字典4。其中,局部字典3内容:子字符串2,子字符串4;局部字典4内容:子字符串3,子字符串4;则控制设备可以根据局部字典3、局部字典4以及全局字典1生成全局字典2,全局字典2内容:子字符串2,子字符串3,子字符串4。这样,子字符串1被剔除出全局字典2,子字符串4被收录进全局字典2中,在维护全局字典规模、保证字典查找遍历效率同时,有效提高了后续时刻各网络设备压缩效果。
可以理解的是,控制设备可以根据更多的局部字典生成或更新全局字典。例如,控制设备接收到第一局部字典、第二局部字典和第三局部字典,控制设备先根据第一局部字典和第二局部字典生成中间字典,再根据中间字典和第三局部字典生成第一全局字典。其中,根据中间字典和第三全局字典生成第一全局字典的方式类似于上文关于根据第一局部字典和第二局部字典生成第一全局字典的描述。
第二种,第一局部压缩参数为第一局部编码表,第二局部压缩参数为第二局部编码表,第一全局压缩参数为第一全局编码表。
该种情况下,控制设备基于各局部编码表中的元素以及各元素出现的次数生成第一全局编码表,该第一全局编码表包括上述编码字符集中的各元素以及各元素对应的码字。针对编码字符集中的任一个元素,控制设备累加该元素在各局部编码表中出现的次数,以获取任一个元素出现的总次数,然后基于每个元素出现的总次数或频率生成各元素的码字。例如,控制设备根据霍夫曼编码或算数编码等生成各元素的码字。对于在各局部编码表中均为出现的元素,控制设备可以将其的出现次数设置为0。
可选地,若控制设备之前存储有第二全局压缩参数,则控制设备可以使用第一局部压缩参数与第二局部压缩参数更新第二全局压缩参数,以得到第一全局压缩参数。
在压缩参数是字典的情况下,第二全局压缩参数包括一个字符串,局部压缩参数包括多个子字符串。控制设备使用子字符串在字符串中匹配,如果匹配不到,则把该子字符串加入第二全局压缩参数。如果匹配到,控制设备还可以根据各子字符串出现的次数,调整各字符串在全局压缩参数中的顺序。如果匹配不到,控制设备可以将子字符串放置到字符串前端以得到第一全局压缩参数,或者根据各子字符串出现的次数调整各子字符串在字符串中出现的顺序,将出现次数多的子字符串放置在字符串的前端。若第一全局压缩参数具有长度限制,控制设备还可以根据删除出现次数少的子字符串,例如,删除字符串的末尾子字符串。上述更新第二全局压缩参数的过程包括:控制设备在第二全局字典基础上增加第一子字符串,控制设备删除第二子字符串,控制设备调整第二全局字典中的各子字符串出现的顺序。第一子字符串为第一局部字典与第二局部字典相较于第二全局字典增加的字符串,第二子字符串为大于预设长度以外的子字符串。若网络设备还向控制设备上报子字符串的出现次数,则第二子字符串还可以为出现次数小于某一阈值的子字符串。
在压缩参数是编码表的情况下,控制设备根据各局部编码表中的元素和元素的出现次数更新第二全局编码表中的各元素的出现次数,并基于更新后的各元素的出现次数生成各元素对应的码字,以得到第一全局编码表。
进一步地,控制设备生成第一全局压缩参数之后,可以向至少一个网络设备发送第一全局压缩参数,以便于至少一个网络设备使用该第一全局压缩参数传输数据。其中,至少一个网络设备可以包括以下一个或多个网络设备:第二网络设备、第三网络设备、其他网络设备(例如,图1所示应用场景中除第二网络设备和第三网络设备之外的网络设备,或者其他应用场景中的网络设备)。
可选地,控制设备向至少一个网络设备发送第一全局压缩参数可以有触发条件,即若满足第二预设条件,控制设备向至少一个网络设备发送第一全局压缩参数。
第二预设条件可以包括以下至少一项:
1、控制设备的时间为第二预设时刻,或者距离上一次向至少一个网络设备发送全局压缩参数的时刻的时间间隔达到或超过第二预设时间段。该种情况可以理解为第二预设条件包括定时/周期触发条件的一种示例。
2、第一全局压缩参数中的至少一个元素的出现次数或频率的变化量大于或等于第一阈值。
3、第一全局压缩参数中的字符串的长度与第二全局压缩参数字符串的长度之差大于或等于第二阈值。
4、控制设备在基于第二全局压缩参数生成第一全局压缩参数的过程中,第二全局压缩参数中子字符串或元素的顺序的调整次数大于或等于第三阈值。例如,某一个子字符串/元素在第二全局压缩参数中记录的次数是100次,局部压缩参数上报该子字符串/元素的新增次数是200,则第一全局压缩参数中该子字符串/元素出现的次数为300,若该子字符串/元素在第二全局压缩参数的字符串/所有元素中的次数超过其他子字符串/元素,则将该300次的子字符串/元素向前移动。控制设备可以比较各子字符串或元素在第一全局压缩参数中的相对位置与在第二全局压缩参数中的相对位置,若一个子字符串或元素的相对位置发生了变化,则第二全局压缩参数中的子字符串或元素的顺序的调整次数加1。例如,假设第二全局压缩参数为编码表,编码表中各元素的相对位置为A,B,C,D,E,第一全局压缩参数中各元素的相对位置为B,C,D,E,A,则各元素的相对位置都发生了变化,此时第二全局压缩参数中的元素的顺序的调整次数为5。又例如,假设第二全局压缩参数为第二全局字典,第二全局字典包括的字符串为ABCabcDEFdef,第一全局字典包括的字符串为abcDEFdefABC,则各子字符串的相对位置都发生了变化,此时第二全局压缩参数中的各子字符串的顺序的调整次数为4。
可以理解的是,上述几种情况只是举例,在实际应用中,第二预设条件还可以有其他情况,具体此处不做限定。
需要注意的是,各网络设备上报的局部压缩参数中各子字符串或元素的出现次数可以是各子字符串或元素出现的总次数(例如,网络设备统计的一个元素从网络设备开始运行至每次上报前在训练报文中出现的次数),也可以是各子字符串或元素的出现次数的变化量(例如,网络设备统计的一个元素从上次上报后至此次上报前在训练报文中出现的次数)。
本申请实施例中,对于各步骤之间的时序不做限制,例如:步骤401与步骤403/步骤404之间没有时序限制,步骤402与步骤403/步骤404之间没有时序限制。例如,步骤401与步骤402可以在步骤403之后,也可以在步骤404之后。又例如,步骤402可以在步骤404之后等等,具体此处不做限定。
另外,步骤401至步骤405可以重复执行,重复执行的次数可以根据实际需要设置,例如,周期性执行步骤401至步骤405。网络设备可以根据收到的全局压缩参数压缩待传输的报文,并继续统计各待传输的报文中出现的各子字符串或元素,以及他们的出现次数以生成新的局部压缩参数。
本申请实施例中,第一网络设备获取多个局部压缩参数,基于多个局部压缩参数生成全局压缩参数。该多个局部压缩参数可以分别由多个其他网络设备生成,例如,该多个其他网络设备包括第二网络设备和第三网络设备。全局压缩参数用于压缩或解压缩。这使得网络设备仅需维护少数个(例如1个)全局压缩参数,而且网络设备仅需和第一网络设备同步压缩参数,降低了维护压缩参数的复杂度。另外,该第一网络设备基于多个其他网络设备处生成的局部压缩参数更新全局压缩参数,使得该全局压缩参数是基于更广范围的数据处理结果获得的,可以进一步提升数据压缩的效率。
可选地,第一网络设备与第二网络设备是同一个网络设备,上述至少一个网络设备包括第三网络设备。该种情况下,图4所示的实施例可以理解为是两个网络设备之间的交互。则图4所示的数据处理方法可以包括:第一网络设备生成第一局部压缩参数,接收第三网络设备发送的第二局部压缩参数,根据第一局部压缩参数与第二局部压缩参数生成第一全局压缩参数,将第一全局压缩参数发送给第三网络设备。该方案可以实现第一网络设备与第三网络设备使用该第一全局压缩参数压缩/解压缩目标数据,目标数据为第一网络设备与第三网络设备之间传输的数据。
可选地,至少一个网络设备包括第二网络设备与第三网络设备。该种情况下,上报局部压缩参数的网络设备会接收全局压缩参数,并使用全局压缩参数压缩/解压缩该网络设备传输的数据。图4所示的实施例可以理解为是三个网络设备之间的交互。图4所示的数据处理方法可以包括:第二网络设备生成第一局部压缩参数,第三网络设备生成第二局部压缩参数,第一网络设备接收第二网络设备发送的第一局部压缩参数与第三网络设备发送的第二局部压缩参数,第一网络设备根据第一局部压缩参数与第二局部压缩参数生成第一全局压缩参数,第一网络设备将第一全局压缩参数发送给第二网络设备与第三网络设备。该方案可以实现第二网络设备与第三网络设备使用该第一全局压缩参数压缩/解压缩目标数据,目标数据为第二网络设备与第三网络设备之间传输的数据。或者理解为,第二网络设备与第三网络设备不仅作为局部压缩参数的“采集者”,还作为全局压缩参数的“使用者”。
可选地,至少一个网络设备可以是图1所示网络设备101至106中除第一网络设备、第二网络设备、第三网络设备以外的至少一个网络设备。
该种情况下,可以理解为基于第二网络设备和第三网络设备上报的局部压缩参数生成的全局压缩参数还可以用于其他场景。例如,提供给其他具有类似的业务交互的网络设备使用。
可以理解的是,上述几种情况只是各网络设备之间的几种关系说明,在实际应用中,各网络设备之间的关系还可以有其他情况,具体此处不做限定。
可选地,第一网络设备可以是独立于网络设备的设备,例如,第一网络设备为网络中的网管设备。第一网络设备还可以是图1所示网络设备102至106中的任意一个网络设备。网络设备可以基于选举规则选举一个网络设备作为第一网络设备。例如,若第一网络设备是图1所示网络场景中的任意一个网络设备,则第一网络设备可以是图1所示网络场景中标识号最大或最小的网络设备。该标识号可以包括MAC地址标识、与设备硬件相关的参数值等。上述的参数值包括:网络设备中处理器数量、核数、缓存大小、缓存极数、内存大小、产品序列号等中的至少一个。
示例性的,网络场景中选择处理器数量最多的网络设备为第一网络设备。又例如,网络场景中的各网络设备可以通过广播的方式选举出标识号最大的设备为第一网络设备。当然,为了保证第一网络设备异常时不影响网络场景中压缩参数同步过程,也可以将标识号第二大的网络设备为第一网络设备的备选设备。
本申请实施例中,上述控制设备(例如,第一网络设备)与网络设备(例如,第二网络设备和/或第三网络设备)可以基于多种方式(或通信规则)交互数据,下面分别描述。
第一种,控制设备与网络设备之间通过扩展的边界网关路由(Border GatewayProtocol,BGP)协议进行通信。
该种情况下,控制设备与网络设备先建立好BGP会话,互为对等体(peers),可以实现相互发送BGP报文。现有的BGP报文类型包括1至5,用于对等体之间更新路由,分别如图6所示,类型值为1的BGP报文的报文类型为OPEN,类型值为2的BGP报文的报文类型为UPDATE,类型值为3的BGP报文的报文类型为NOTIFICATION,类型值为4的BGP报文的报文类型为KEEPALIVE,类型值为5的BGP报文的报文类型为REFRESH。
本申请实施例通过定义新的报文类型扩展BGP协议以实现控制设备与网络设备之间压缩参数的同步。例如,本申请实施例新增下述4种报文类型(6、7、8、9)中的至少一种。
类型值为6的BGP报文用于控制设备向网络设备发送同步请求,该同步请求用于获取局部压缩参数。例如,图3所示实施例中的控制设备可以通过向网络设备发送该类型值为6的BGP报文以向网络设备请求局部压缩参数。下文会对同步请求进行详细描述,此处不再赘述。
类型值为7的BGP报文用于网络设备向控制设备发送局部压缩参数。例如,图3所示实施例中的网络设备可以通过向控制设备发送该类型值为7的BGP报文以向控制设备发送局部压缩参数。
类型值为8的BGP报文用于控制设备向网络设备发送全局压缩参数。例如,图3所示实施例中的控制设备可以通过向网络设备发送该类型值为8的BGP报文以向网络设备发送全局压缩参数。
类型值为9的BGP报文用于控制设备向网络设备发送压缩策略。该压缩策略包括同步策略和/或保留策略,同步策略用于网络设备生成并发送本地局部压缩参数,保留策略用于指示网络设备存储第一全局压缩参数之前的至少一个全局压缩参数。下文会对压缩策略进行详细描述,此处不再赘述。
示例性的,以基于传输控制协议(Transmission Control Protocol,TCP)传输BGP消息为例介绍BGP扩展报文,如图7所示,TCP报文包括MAC头、IP头、TCP头以及TCP负载。TCP负载包括BGP头与BGP负载。BGP头最后一个字节为“类型”,该类型的取值可以参考前述类型值为1至9的描述。另外,类型值为7的BGP报文对应的BGP负载可以是局部压缩参数,类型值为8的BGP报文对应的BGP负载可以是全局压缩参数,类型值为9的BGP报文对应的BGP负载可以是压缩策略。
第二种,控制设备与网络设备之间通过发布-订阅机制进行通信。
该种情况下,控制设备与网络设备通过发布-订阅机制进行通信。消息发布者对外提供接口,消息订阅者根据该接口订阅消息频道。消息发布者在该消息频道上发布消息,消息订阅者从该消息频道上获取该消息。示例性的,控制设备与网络设备可以通过消息中间件共享信息。例如,该消息中间件为kafka或ActiveMQ等。
该种情况也可以理解为,网络设备订阅控制设备发布的消息频道,控制设备订阅至少一个网络设备发布的频道,至少一个网络设备可以包括以下一个或多个网络设备:第二网络设备、第三网络设备。
示例性的,如图8所示,以3种消息频道为例,每一个消息频道上承载有一个类型消息。3个类型消息包括:“同步请求”类型消息、“局部压缩参数”类型消息以及“全局压缩参数”类型消息。“同步请求”类型消息用于控制设备向网络设备发送同步请求,该同步请求用于获取局部压缩参数。例如,图3所示实施例中的控制设备可以通过“同步请求”类型消息向网络设备发送同步请求。“局部压缩参数”类型消息用于网络设备向控制设备发送局部压缩参数。例如,图3所示实施例中的网络设备可以通过该“局部压缩参数”类型消息向控制设备上报局部压缩参数。“全局压缩参数”类型消息用于控制设备向网络设备发送全局压缩参数。例如,图3所示实施例中的控制设备可以通过该“全局压缩参数”类型消息向至少一个网络设备下发全局压缩参数。可以理解的是,也可以增加“压缩策略”类型消息(图8中未示出),该“压缩策略”类型消息用于控制设备向网络设备下发压缩策略。
可以理解的是,上述两种方式只是举例,在实际应用中,控制设备与网络设备还可以通过其他方式进行交互,例如,通过定制化的协议进行交互,具体此处不做限定。
可选地,在前述图3所示实施例中网络设备向控制设备发送局部压缩参数之前,网络设备还可以接收控制设备发送的同步请求,该同步请求用于收集网络设备的局部压缩参数,或者理解为,该同步请求用于控制设备主动获取网络设备的局部压缩参数。其中,控制设备可以通过广播、组播、单播等方式向图1所示网络场景中的网络设备发送同步请求。
示例性的,图9为控制设备向图1所示网络场景中的网络设备发送同步请求的示例。
需要说明的是,控制设备可以存储各网络设备上报的局部压缩参数(具体数量可以根据实际需要设置),在没有收到某个网络设备上报的新的局部压缩参数时,控制设备可以基于存储的该网络设备的局部压缩参数和其他网络设备上报的新的局部压缩参数更新全局压缩参数。
可选地,控制设备还可以为不同的业务类型设置不同的压缩策略,例如,生成不同的全局压缩参数。不同的业务类型的报文可能有不同的特征,由此可能导致不同的业务类型的报文具有不同的压缩率。区分业务类型后,控制设备可以为高压缩率的业务类型生成全局压缩参数,不为低压缩率的业务类型生成全局压缩参数,即网络设备不压缩低压缩率的业务类型的报文。另外,不同的业务类型具有不同的业务需求,例如,语音类业务要求低时延,下载类业务要求高吞吐。控制设备可以根据各业务类型的业务需求生成不同的全局压缩参数。例如,针对低时延业务,控制设备生成短的字典,以降低网络设备查询字典进行编码的时延。又例如,针对高吞吐业务,控制设备生成长的字典,以使得网络设备可以尽可能地压缩带传输的数据。又例如,针对高吞吐业务,控制设备还可以设置多次压缩策略,以使得网络设备对高吞吐业务的数据进行多次压缩以尽可能地降低待传输的数据量,例如,先进行字典压缩,再进行熵编码压缩。
示例地,本申请实施例中数据的业务类型具体可以包括以下几类:
第一类:低时延业务。例如,即时通讯类业务。该类业务对端到端的传输时延有较高的要求。对于该类业务,为了满足低时延要求,网络设备不宜在压缩处理上消耗较多的时间。因此,控制设备在为低时延业务生成全局压缩参数时,可以减少压缩参数的长度,使得网络设备可以快速地完成对报文的压缩。
第二类:高吞吐业务。例如:文件下载、数据库备份等。该类业务的数据量较大,对网络带宽需求高,但对时延需求低。为了降低该类业务对网络资源的消耗,控制设备在为高吞吐业务生成全局压缩参数时,可以增加压缩参数的长度,以使得网络设备可以尽量地压缩传输的数据,提升待传输数据的压缩率,降低该类业务对网络资源的消耗。控制设备还可以为该类业务设置多次压缩,以再次降低待传输数据的数据量。
第三类:无需再压缩的业务。例如,图片、视频等。这类业务的数据本身已是充分压缩过的,网络设备再压缩的空间不大,因此,网络设备可以不必再压缩此类业务,控制设备也无需为此类业务生成/更新全局压缩参数。
第四类,其他业务。其他业务可以是可压缩的业务,且对时延或吞吐均没有要求的业务。针对其他业务,控制设备生成的全局压缩参数的长度可以介于低时延业务的全局压缩参数的长度和高吞吐业务的全局压缩参数的长度之间。
另外,设备(例如,网络设备或控制设备)可以基于数据报文的五元组、流标识、报文间隔、特定报文字段等中的至少一项确定数据报文所属的业务类型,也可以通过接收配置策略等方式明确数据报文所属的业务类型,具体此处不做限定。其中,配置策略可以包括:业务类型及对应的压缩策略。其中,压缩策略包括:是否使能压缩,是否多次压缩。
可选地,网络设备获取具体业务的压缩参数(可以称为业务局部压缩参数)具体可以包括:网络设备使用特定业务类型的训练报文生成特定业务类型的业务局部压缩参数。并向控制设备上报业务局部压缩参数。为了使得控制设备快速区分各业务局部压缩参数所属的业务类型,网络设备还可以上报各业务局部压缩参数所属的业务标识,该业务标识用于指示局部压缩参数所属的业务类型。以便于控制设备生成具体业务的全局压缩参数过程中,可以基于业务标识选择局部压缩参数。
进一步的,为了后续全局压缩参数与具体业务的适配,网络设备在生成局部压缩参数的过程中使用的训练报文的业务类型与该网络设备后续压缩/解压缩报文的业务类型一致。
示例性的,以压缩参数是字典为例,图10为不同网络设备生成的不同业务局部字典的示例。网络设备1使用业务1的训练报文生成业务1局部字典1。网络设备2使用业务1的训练报文生成业务1局部字典2。网络设备3使用业务1的训练报文生成业务1局部字典3。网络设备4使用业务1的训练报文生成业务1局部字典4,并使用业务2的训练报文生成业务2局部字典1。网络设备5使用业务1的训练报文生成业务1局部字典5,并使用业务2的训练报文生成业务2局部字典2。网络设备6使用业务1的训练报文生成业务1局部字典6,并使用业务2的训练报文生成业务2局部字典3。网络设备1至网络设备6分别向控制设备发送各业务的局部字典以及对应业务标识。控制设备在接收各网络设备上报的各业务的局部字典之后,使用相同业务标识的局部字典生成对应的全局字典。具体的,控制设备基于业务1局部字典1、业务1局部字典2、业务1局部字典3、业务1局部字典4、业务1局部字典5以及业务1局部字典6生成业务1全局字典。控制设备基于业务2局部字典1、业务2局部字典2以及业务2局部字典3生成业务2全局字典。
示例性的,延续上述图10的举例,图11为控制设备下发业务全局字典的示例。一般情况下,针对于网络设备上报局部字典的业务类型,确定向该网络设备发送哪些业务全局字典。具体的,控制设备向网络设备1至网络设备6发送业务1全局字典。控制设备向网络设备4至网络设备6发送业务2全局字典。进而使得,各网络设备使用接收到的业务全局字典处理不同业务的数据报文。
另外,网管设备/控制设备还可以基于第一压缩策略控制网络设备执行同步压缩参数的过程。网络设备获取局部压缩参数之前,网络设备还可以获取来自网管设备/控制设备的第一压缩策略,该第一压缩策略包括同步策略和/或保留策略,同步策略用于网络设备生成并发送本地局部压缩参数,保留策略用于指示网络设备存储第一全局压缩参数之前的至少一个全局压缩参数。该保留策略也可以理解为是用于指示网络设备存储全局压缩参数的数量。
进一步的,上述第一压缩策略中的同步策略可以包括:业务类型和对应的压缩策略、网络设备生成/发送局部压缩参数的时刻或周期、第一预设条件等中的至少一项。其中,业务类型用于指示网络设备为该业务类型单独生成局部压缩参数或不为该业务类型生成局部压缩参数。例如,若一个业务类型的压缩策略为使能压缩,则指示网络设备根据该业务类型的报文生成该业务类型的局部压缩参数;若一个业务类型的压缩策略为不使能压缩,则指示网络设备不压缩该业务类型的报文,也不根据该业务类型的报文生成局部压缩参数。业务类型可以通过五元组、流标识、报文特征、报文特定字段表示。报文特征例如为报文间隔、报文大小等。第一压缩策略中的保留策略包括:网络设备存储全局压缩参数的数量等。可以理解的是,若网络设备初始没有配置压缩参数,则上述的第一压缩策略中还可以包括初始的压缩参数。
示例性的,以前述图1的网络场景为例,第一压缩策略的下发过程可以如图12所示,控制设备/网管设备向各网络设备下发第一压缩策略。进一步的,该第一压缩策略除了之前的描述,还可以包括以下一项或多项:是否使能压缩参数、压缩方式(例如,字典压缩、编码表压缩、二次压缩等)、是否基于业务配置压缩参数(即前述所提到的局部压缩参数是否与业务类型相关)、第一网络设备选举规则、网络设备的通信规则。结合前述图3所示的网络设备描述该第一压缩策略的应用过程,如图13所示,控制设备/网管设备向网络设备发送第一压缩策略,网络设备主控板接收到上述的第一压缩策略后,将第一压缩策略下发到业务板,以使得业务板基于第一压缩策略生成/发送局部压缩参数。另外,主控板还可以获取访问控制列表(Access Control List,ACL)策略,并向接口板发送该ACL策略,该ACL策略可以用于指示接口板转发需进行压缩处理的报文至业务板)。接口板根据上述的ACL策略收发报文。具体地,接口板将可压缩报文(在将命中ACL策略的报文)转发到业务板,将不可压缩报文转发到另一接口板。该ACL策略可以是控制设备生成并发送给网络设备,也可以是网络设备的主控板根据第一压缩策略生成的,例如,第一压缩策略指定了需压缩处理的数据流的五元组,则该ACL策略指示接口板将该五元组对应的报文转发至业务板。
通过上述方式,一方面,网管设备或控制设备可以基于第一压缩策略控制网络设备生成并发送本地局部压缩参数。另一方面,由于不压缩的报文不用进入业务板,可以减少业务板中待处理报文的阻塞,提升网络设备的性能。
同理,控制设备还可以获取第二压缩策略。例如,控制设备接收来自于网管设备的第二压缩策略,或接收用户配置的第二压缩策略。该第二压缩策略包括以下一项或多项:控制设备生成/发送第一全局压缩参数的时刻或周期、控制设备发送同步请求的时刻或周期、业务类型及对应的压缩策略以及第二预设条件。
另外,为了方便网络设备在本地存储多个全局压缩参数(如前保留策略所述),控制设备除了向网络设备发送全局压缩参数以外,还发送该全局压缩参数的标识。下面以控制设备向第二网络设备与第三网络设备发送全局压缩参数为例,结合图14描述,该标识在处理流程中的使用方法。该方法包括步骤1401至步骤1408,下面分别进行描述:
步骤1401,控制设备向第二网络设备与第三网络设备发送携带有第一标识的第一全局压缩参数。相应的,第二网络设备与第三网络设备接收控制设备发送的携带有第一标识的第一全局压缩参数。
可选地,本步骤之前,控制设备可以基于第一局部压缩参数与第二局部压缩参数生成第一全局压缩参数,该第一局部压缩参数由第二网络设备生成,第二局部压缩参数由第三网络设备生成。
控制设备生成第一全局压缩参数之后,可以向第二网络设备与第三网络设备发送携带有第一标识的第一全局压缩参数。该第一标识用于标识该第一全局压缩参数,例如,该第一标识为第一全局压缩参数的版本号。
可选地,在压缩参数与业务类型相关的情况下,上述的第一标识还可以用于指示第一全局压缩参数所属的业务类型。例如,第一标识的前几个比特位用于指示版本号,后几个比特位用于指示业务类型。
步骤1402,第二网络设备与第三网络设备基于保留策略以及本地存储全局压缩参数的数量确定是否删除本地存储的全局压缩参数。
可选地,网络设备(即第二网络设备与第三网络设备)在本步骤之前获取保留策略,该保留策略用于指示网络设备存储全局压缩参数的数量。
网络设备接收到的全局压缩参数之后,发现本地存储的全局压缩参数会超过保留策略中的数量,则删除本地存储的标识最小的全局压缩参数(假设新的全局压缩参数的标识大于旧的全局压缩参数的标识)。
示例性的,假设保留策略用于指示网络设备存储全局压缩参数的数量为3,且网络设备在接收第一全局压缩参数之前已经存储有三个版本的全局压缩参数,则网络设备接收第一全局压缩参数之后,可以将本地存储的三个版本的全局压缩参数中最旧的版本去除,以保证满足该保留策略。进一步的,结合前述图3所示的硬件架构,以全局压缩参数为全局压缩字典为例,删除最旧版本全局字典的过程如图15所示。控制设备向网络设备发送第一全局压缩参数(标识n),网络设备的主控板接收到该第一全局压缩参数后向业务板发送第一全局压缩参数(标识n)。业务板在接收第一全局压缩参数(标识n)之前已经存储有三个版本的全局压缩参数(标识n-1、标识n-2、标识n-3),则业务板接收第一全局压缩参数(标识n)之后,可以将本地存储的三个版本的全局压缩参数中最旧的版本(即标识n-3的全局字典)删除。
进一步的,网络设备接收到第一标识的全局压缩参数之后,可以先检查本地存储的全局压缩参数的标识,若本地存储的全局压缩参数的标识小于第一标识,则使用第一全局压缩参数执行以下至少一项:更新本地存储的全局压缩参数、更新局部压缩参数、直接用第一全局压缩参数替换本地存储的全局压缩参数。
示例性的,延续图15的举例,业务板已有标识n的全局字典,使用标识n的全局字典压缩数据报文,并在压缩过程中不断产生和更新局部字典。具体的,业务板收到全局字典之后,还可以基于该全局字典更新本地的局部字典。例如时刻T,业务板收到标识n的全局字典,包含内容:字符串1,字符串2以及字符串3;业务板使用标识n全局字典压缩数据报文时,字符串1不再出现,出现新的字符串记为字符串4,因此业务板进行字典训练得到标识n-1局部字典,包含内容:字符串2,字符串4。
步骤1403,第二网络设备基于本地存储的第二全局压缩参数压缩原始数据1得到目标数据1。
第二网络设备基于本地存储的第二全局压缩参数压缩原始数据1得到目标数据1。
步骤1404,第二网络设备向第三网络设备发送携带有第二标识的目标数据1。相应的,第三网络设备接收第二网络设备发送的携带有第二标识的目标数据1。
第二网络设备基于本地存储的第二全局压缩参数压缩原始数据1得到目标数据1之后,可以向第三网络设备发送携带有第二标识的目标数据1。该第二标识用于指示第二全局压缩参数。
步骤1405,第三网络设备基于第二标识使用第二全局压缩参数解压缩目标数据1,以得到原始数据1。
第三网络设备接收第二网络设备发送的携带有第二标识的目标数据1之后,基于第二标识确定解压缩目标数据1所需的第二全局压缩参数。并使用第二全局压缩参数解压缩目标数据1,以得到原始数据1。
步骤1406,第二网络设备基于本地存储的第一全局压缩参数压缩原始数据2得到目标数据2。
第二网络设备基于第一全局压缩参数压缩原始数据2得到目标数据2。
步骤1407,第二网络设备向第三网络设备发送携带有第一标识的目标数据2。相应的,第三网络设备接收第二网络设备发送的携带有第一标识的目标数据2。
第二网络设备基于第一全局压缩参数压缩原始数据2得到目标数据2之后,可以向第三网络设备发送携带有第一标识的目标数据2。该第一标识用于指示第一全局压缩参数。
步骤1408,第三网络设备基于第一标识使用第一全局压缩参数解压缩目标数据2,以得到原始数据2。
第三网络设备接收第二网络设备发送的携带有第一标识的目标数据2之后,基于第一标识确定解压缩目标数据2所需的第一全局压缩参数。并使用第一全局压缩参数解压缩目标数据2,以得到原始数据2。
本实施例中,各步骤之间的时序不做限定。例如,步骤1403可以在步骤1401之前,步骤1404可以在步骤1401之后,步骤1406在步骤1403之前等等。
本实施例中,数据发送方可以灵活地选择压缩参数,数据接收方可以根据接收到的报文中携带的压缩参数的标识选择正确地压缩参数进行解压,增强了方案的灵活性。另外,当数据接收方没有存储数据发送方选择的压缩参数后,数据接收方还可以携带接收到的报文中携带的压缩参数的标识向控制设备获取该压缩参数以进行解压,增强了该方案的鲁棒性。
上面对本申请实施例提供的数据处理方法进行了描述,下面对本申请实施例提供的第一网络设备进行描述,请参阅图16,本申请中第一网络设备的一个实施例包括获取单元1601和生成单元1602。
获取单元1601,用于获取第一局部压缩参数和第二局部压缩参数。第一局部压缩参数由第一网络设备或第二网络设备生成,第二局部压缩参数由第三网络设备生成。
生成单元1602,用于根据第一局部压缩参数和第二局部压缩参数生成第一全局压缩参数。第一全局压缩参数用于压缩和解压缩。
可选地,本实施例中的第一网络设备还发送单元1603。发送单元1603,用于发送第一全局压缩参数给至少一个网络设备,至少一个网络设备包括以下一个或多个网络设备:第二网络设备、第三网络设备。
可选地,发送单元1603还用于发送同步请求给第二网络设备和/或第三网络设备,以请求第一局部压缩参数和/或第二局部压缩参数。
可选地,发送单元1603,还用于发送第一压缩策略给第二网络设备和/或第三网络设备。
本实施例中,第一网络设备中各单元所执行的操作与前述图4至图15所示实施例中描述的类似,此处不再赘述。
本实施例中,网络设备仅需和第一网络设备同步压缩参数,降低了维护压缩参数的复杂度。另外,该生成单元1602基于多个其他网络设备处生成的局部压缩参数更新全局压缩参数,使得该全局压缩参数是基于更广范围的数据处理结果获得的,可以进一步提升数据压缩的效率。
请参阅图17,本申请中第二网络设备的一个实施例包括获取单元1701,发送单元1702,接收单元1703和处理单元1704。
获取单元1701,用于获取第一局部压缩参数。
发送单元1702,用于发送第一局部压缩参数给第一网络设备。
接收单元1703,用于接收第一网络设备发送的第一全局压缩参数。第一全局压缩参数是基于第一局部压缩参数与第二局部压缩参数生成的。
处理单元1704,用于基于第一全局压缩参数压缩/解压缩目标数据,目标数据为第二网络设备传输的数据。
本实施例中,第二网络设备中各单元所执行的操作与前述图4至图15所示实施例中描述的类似,此处不再赘述。
本实施例中,发送单元1702向第一网络设备发送第一局部压缩参数,进而第一网络设备可以根据第一局部压缩参数生成第一全局压缩参数。接收单元1703接收第一网络设备发送的第一全局压缩参数,该第一全局压缩参数用于处理单元1704压缩/解压缩第二网络设备传输的目标数据。网络设备仅需和第一网络设备同步压缩参数,而且网络设备仅需维护来自于第一网络设备的少数个(例如1个)全局压缩参数,无需为每一个其他的网络设备维护一个全局压缩参数,降低了维护压缩参数的复杂度。另外,该第一全局压缩参数是第一网络设备基于多个其他网络设备处生成的局部压缩参数更新得到的,使得该第一全局压缩参数是基于更广范围的数据处理结果获得的,可以进一步提升数据压缩的效率。
参阅图18,本申请实施例提供的一种网络设备的结构示意图。该网络设备可以是前述图4所示实施例中的第一网络设备或第二网络设备。该网络设备可以包括处理器1801、存储器1802和通信端口1803。该处理器1801、存储器1802和通信端口1803通过线路互联。其中,存储器1802中存储有程序指令和数据。
存储器1802中存储了前述图4至图15所示对应的实施方式中,由第一网络设备/第二网络设备执行的步骤对应的程序指令以及数据。
处理器1801,用于执行前述图4至图15所示实施例中任一实施例所示的由第一网络设备/第二网络设备执行的步骤。
通信端口1803可以用于进行数据的接收和发送,用于执行前述图4至图15所示实施例中任一实施例中与获取、发送、接收相关的步骤。
一种实现方式中,网络设备可以包括相对于图18更多或更少的部件,本申请对此仅仅是示例性说明,并不作限定。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,read-onlymemory)、随机存取存储器(RAM,random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (41)

1.一种数据处理方法,其特征在于,所述方法包括:
第一网络设备获取第一局部压缩参数和第二局部压缩参数,所述第一局部压缩参数由所述第一网络设备或第二网络设备生成,所述第二局部压缩参数由第三网络设备生成;
所述第一网络设备根据所述第一局部压缩参数和所述第二局部压缩参数生成第一全局压缩参数,所述第一全局压缩参数用于压缩和解压缩。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
所述第一网络设备发送同步请求给所述第二网络设备和/或所述第三网络设备,以请求所述第一局部压缩参数和/或所述第二局部压缩参数。
3.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
所述第一网络设备发送第一压缩策略给所述第二网络设备和/或所述第三网络设备,所述第一压缩策略包括同步策略和/或保留策略,所述同步策略用于所述第二网络设备和/或所述第三网络设备生成并发送本地局部压缩参数,所述保留策略用于指示所述第二网络设备和/或所述第三网络设备存储所述第一全局压缩参数之前的至少一个全局压缩参数。
4.根据权利要求3所述的方法,其特征在于,所述同步策略包括业务类型和与所述业务类型对应的压缩策略,所述业务类型和与所述业务类型对应的压缩策略用于指示所述第二网络设备和/或所述第三网络设备基于所述与所述业务类型对应的压缩策略处理所述业务类型对应的报文,和/或,基于所述与所述业务类型对应的压缩策略生成与所述业务类型对应的局部压缩参数。
5.根据权利要求1至4任一所述的方法,其特征在于,所述方法还包括:
所述第一网络设备发送所述第一全局压缩参数给至少一个网络设备,所述至少一个网络设备包括以下一个或多个网络设备:所述第二网络设备、所述第三网络设备。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
所述第一网络设备发送第一标识给所述至少一个网络设备,所述第一标识用于标识所述第一全局压缩参数。
7.根据权利要求1至6任一所述的方法,其特征在于,所述方法还包括:
所述第一网络设备获取第二压缩策略,所述第二压缩策略包括以下一项或多项:所述第一网络设备生成/发送所述第一全局压缩参数的时刻或周期、所述第一网络设备发送所述同步请求的时刻或周期、所述业务类型和与所述业务类型对应的压缩策略、预设条件;
所述预设条件用于指示所述第一网络设备在满足所述预设条件时发送所述第一全局压缩参数。
8.根据权利要求1至7任一所述的方法,其特征在于,所述方法还包括:
所述第一网络设备与所述第二网络设备和/或所述第三网络设备基于边界网关路由BGP消息进行通信,通信的信息包括以下一项或多项:所述同步请求,所述第一局部压缩参数,所述第二局部压缩参数,所述第一全局压缩参数,或者所述第一压缩策略。
9.根据权利要求1至8任一所述的方法,其特征在于,
所述第一局部压缩参数、所述第二局部压缩参数和所述第一全局压缩参数为字典;
所述第一局部压缩参数包括第一字符串,所述第二压缩参数包括第二字符串,所述第一全局压缩参数包括所述第一字符串与所述第二字符串的并集。
10.根据权利要求1至8任一所述的方法,其特征在于,
所述第一局部压缩参数为第一局部编码表,所述第二局部压缩参数为第二局部编码表,所述第一全局压缩参数为第一全局编码表;
所述第一局部编码表包括第一元素的频率或次数,所述第二局部编码表包括第二元素的频率或次数,所述第一元素与所述第二元素为编码字符集中的元素;
所述第一网络设备根据所述第一局部压缩参数和所述第二局部压缩参数生成第一全局压缩参数,包括:
所述第一网络设备根据所述第一元素的频率或次数与所述第二元素的频率或次数,生成第一全局编码表,所述第一全局编码表包括所述编码字符集中的各元素以及各元素对应的码字。
11.根据权利要求1至10任一所述的方法,其特征在于,所述方法还包括:
所述第一网络设备获取第二全局压缩参数;
所述第一网络设备根据所述第一局部压缩参数和所述第二局部压缩参数生成第一全局压缩参数,包括:
所述第一网络设备根据所述第一局部压缩参数、所述第二局部压缩参数和所述第二全局压缩参数生成所述第一全局压缩参数。
12.根据权利要求7至11任一所述的方法,其特征在于,所述预设条件包括以下至少一项:
所述第一网络设备的时间为预设时刻,或者距离上一次向至少一个网络设备发送全局压缩参数的时刻的时间间隔达到或超过预设时间段;
所述第一全局压缩参数中的至少一个元素的出现次数或频率的变化量大于或等于第一阈值;
所述第一全局压缩参数中的字符串的长度与所述第二全局压缩参数字符串的长度之差大于或等于第二阈值;
所述第一全局压缩参数中字符串的长度相比于所述第二全局压缩参数中字符串的长度大于或等于第三阈值;
在基于所述第二全局压缩参数生成所述第一全局压缩参数的过程中,所述第二全局压缩参数中的子字符串或元素的顺序的调整次数大于或等于第四阈值。
13.一种数据处理方法,其特征在于,所述方法包括:
第二网络设备获取第一局部压缩参数;
所述第二网络设备发送所述第一局部压缩参数给第一网络设备;
所述第二网络设备接收所述第一网络设备发送的第一全局压缩参数,所述第一全局压缩参数是基于所述第一局部压缩参数与第二局部压缩参数生成的;
所述第二网络设备基于所述第一全局压缩参数压缩/解压缩目标数据,所述目标数据为所述第二网络设备传输的数据。
14.根据权利要求13所述的方法,其特征在于,所述第二网络设备获取第一局部压缩参数,包括:
所述第二网络设备获取至少一个训练样本,每个训练样本包括训练报文中的字符串或元素,所述元素为编码字符集中的元素;
所述第二网络设备获取所述字符串中各子字符串或元素的重复次数;
所述第二网络设备基于所述各子字符串或元素的重复次数获取所述第一局部压缩参数。
15.根据权利要求13或14所述的方法,其特征在于,所述方法还包括:
所述第二网络设备接收所述第一网络设备发送的第一标识,所述第一标识用于标识所述第一全局压缩参数。
16.根据权利要求13至15任一所述的方法,其特征在于,所述第二网络设备发送所述第一局部压缩参数给所述第一网络设备,包括:
若满足预设条件,所述第二网络设备发送所述第一局部压缩参数给所述第一网络设备;
所述预设条件包括以下至少一项:
所述第二网络设备存储的第二全局压缩参数的压缩率小于或等于第一阈值;
所述第二网络设备处理的报文数量或报文字节长度大于或等于第二阈值;
所述第二网络设备的时间为预设时刻,或者距离上一次向所述第一网络设备发送局部压缩参数的时刻的时间间隔达到或超过预设时间段;
所述第二网络设备接收到所述第一网络设备发送的同步请求,所述同步请求用于收集所述第一局部压缩参数。
17.根据权利要求13至16任一所述的方法,其特征在于,所述方法还包括:
所述第二网络设备获取压缩策略,所述压缩策略包括同步策略和/或保留策略,所述同步策略用于所述第二网络设备生成并发送本地局部压缩参数,所述保留策略用于指示所述第二网络设备存储所述第一全局压缩参数之前的至少一个全局压缩参数。
18.根据权利要求17所述的方法,其特征在于,所述同步策略包括业务类型和与所述业务类型对应的压缩策略,所述业务类型和与所述业务类型对应的压缩策略用于指示所述第二网络设备基于所述与所述业务类型对应的压缩策略处理所述业务类型对应的报文,和/或,基于所述与所述业务类型对应的压缩策略生成与所述业务类型对应的局部压缩参数。
19.根据权利要求13至17任一所述的方法,其特征在于,所述第二网络设备与所述第一网络设备基于边界网关路由BGP消息进行通信,通信的信息包括以下一项或多项:所述同步请求,所述第一局部压缩参数,所述第一全局压缩参数,或者所述压缩策略。
20.一种第一网络设备,其特征在于,所述第一网络设备包括:
获取单元,用于获取第一局部压缩参数和第二局部压缩参数,所述第一局部压缩参数由所述第一网络设备或第二网络设备生成,所述第二局部压缩参数由第三网络设备生成;
生成单元,用于根据所述第一局部压缩参数和所述第二局部压缩参数生成第一全局压缩参数,所述第一全局压缩参数用于压缩和解压缩。
21.根据权利要求20所述的第一网络设备,其特征在于,所述第一网络设备还包括发送单元,
所述发送单元,用于发送同步请求给所述第二网络设备和/或所述第三网络设备,以请求所述第一局部压缩参数和/或所述第二局部压缩参数。
22.根据权利要求20或21所述的第一网络设备,其特征在于,
所述发送单元用于发送第一压缩策略给所述第二网络设备和/或所述第三网络设备,所述第一压缩策略包括同步策略和/或保留策略,所述同步策略用于所述第二网络设备和/或所述第三网络设备生成并发送本地局部压缩参数,所述保留策略用于指示所述第二网络设备和/或所述第三网络设备存储所述第一全局压缩参数之前的至少一个全局压缩参数。
23.根据权利要求22所述的第一网络设备,其特征在于,所述同步策略包括业务类型和与所述业务类型对应的压缩策略,所述业务类型和与所述业务类型对应的压缩策略用于指示所述第二网络设备和/或所述第三网络设备基于所述与所述业务类型对应的压缩策略处理所述业务类型对应的报文,和/或,基于所述与所述业务类型对应的压缩策略生成与所述业务类型对应的局部压缩参数。
24.根据权利要求20至23任一所述的第一网络设备,其特征在于,
所述发送单元用于发送所述第一全局压缩参数给至少一个网络设备,所述至少一个网络设备包括以下一个或多个网络设备:所述第二网络设备、所述第三网络设备。
25.根据权利要求24所述的第一网络设备,其特征在于,所述发送单元,还用于发送第一标识给所述至少一个网络设备,所述第一标识用于标识所述第一全局压缩参数。
26.根据权利要求21至25任一所述的第一网络设备,其特征在于,所述发送单元,具体用于与所述第二网络设备和/或所述第三网络设备基于边界网关路由BGP消息进行通信,通信的信息包括以下一项或多项:所述同步请求,所述第一局部压缩参数,所述第二局部压缩参数,所述第一全局压缩参数,或者所述第一压缩策略。
27.根据权利要求20至26任一所述的第一网络设备,其特征在于,所述获取单元,还用于获取第二压缩策略,所述第二压缩策略包括以下一项或多项:所述第一网络设备生成/发送所述第一全局压缩参数的时刻或周期、所述第一网络设备发送所述同步请求的时刻或周期、所述业务类型和与所述业务类型对应的压缩策略、预设条件;
所述预设条件用于指示所述第一网络设备在满足所述预设条件时发送所述第一全局压缩参数。
28.根据权利要求20至27任一所述的第一网络设备,其特征在于,
所述第一局部压缩参数、所述第二局部压缩参数和所述第一全局压缩参数为字典;
所述第一局部压缩参数包括第一字符串,所述第二压缩参数包括第二字符串,所述第一全局压缩参数包括所述第一字符串与所述第二字符串的并集。
29.根据权利要求20至27任一所述的第一网络设备,其特征在于,
所述第一局部压缩参数为第一局部编码表,所述第二局部压缩参数为第二局部编码表,所述第一全局压缩参数为第一全局编码表;
所述第一局部编码表包括第一元素的频率或次数,所述第二局部编码表包括第二元素的频率或次数,所述第一元素与所述第二元素为编码字符集中的元素;
所述生成单元,具体用于根据所述第一元素的频率或次数与所述第二元素的频率或次数,生成第一全局编码表,所述第一全局编码表包括所述编码字符集中的各元素以及各元素对应的码字。
30.根据权利要求20至29任一所述的第一网络设备,其特征在于,
所述获取单元,还用于获取第二全局压缩参数;
所述生成单元,具体用于根据所述第一局部压缩参数、所述第二局部压缩参数和所述第二全局压缩参数生成所述第一全局压缩参数。
31.根据权利要求27至30任一所述的第一网络设备,其特征在于,所述预设条件包括以下至少一项:
所述第一网络设备的时间为预设时刻,或者距离上一次向至少一个网络设备发送全局压缩参数的时刻的时间间隔达到或超过预设时间段;
所述第一全局压缩参数中的至少一个元素的出现次数或频率的变化量大于或等于第一阈值;
所述第一全局压缩参数中的字符串的长度与所述第二全局压缩参数字符串的长度之差大于或等于第二阈值;
所述第一全局压缩参数中字符串的长度相比于所述第二全局压缩参数中字符串的长度大于或等于第三阈值;
在基于所述第二全局压缩参数生成所述第一全局压缩参数的过程中,所述第二全局压缩参数中的子字符串或元素的顺序的调整次数大于或等于第四阈值。
32.一种第二网络设备,其特征在于,所述第二网络设备包括:
获取单元,用于获取第一局部压缩参数;
发送单元,用于发送所述第一局部压缩参数给第一网络设备;
接收单元,用于接收所述第一网络设备发送的第一全局压缩参数,所述第一全局压缩参数是基于所述第一局部压缩参数与第二局部压缩参数生成的;
处理单元,用于基于所述第一全局压缩参数压缩/解压缩目标数据,所述目标数据为所述第二网络设备传输的数据。
33.根据权利要求32所述的第二网络设备,其特征在于,所述获取单元,具体用于获取至少一个训练样本,每个训练样本包括训练报文中的字符串或元素,所述元素为编码字符集中的元素;
所述获取单元,具体用于获取所述字符串中各子字符串或元素的重复次数;
所述获取单元,具体用于基于所述各子字符串或元素的重复次数获取所述第一局部压缩参数。
34.根据权利要求32或33所述的第二网络设备,其特征在于,所述接收单元,还用于接收所述第一网络设备发送的第一标识,所述第一标识用于标识所述第一全局压缩参数。
35.根据权利要求32至34任一所述的第二网络设备,其特征在于,所述发送单元,具体用于若满足预设条件,发送所述第一局部压缩参数给所述第一网络设备;
所述预设条件包括以下至少一项:
所述第二网络设备存储的第二全局压缩参数的压缩率小于或等于第一阈值;
所述处理单元处理的报文数量或报文字节长度大于或等于第二阈值;
所述第二网络设备的时间为预设时刻,或者距离上一次向所述第一网络设备发送局部压缩参数的时刻的时间间隔达到或超过预设时间段;
所述接收单元接收到所述第一网络设备发送的同步请求,所述同步请求用于收集所述第一局部压缩参数。
36.根据权利要求32至35任一所述的第二网络设备,其特征在于,
所述获取单元,还用于获取压缩策略,所述压缩策略包括同步策略和/或保留策略,所述同步策略用于所述第二网络设备生成并发送本地局部压缩参数,所述保留策略用于指示所述第二网络设备存储所述第一全局压缩参数之前的至少一个全局压缩参数。
37.根据权利要求36所述的第二网络设备,其特征在于,所述同步策略包括业务类型和与所述业务类型对应的压缩策略,所述业务类型和与所述业务类型对应的压缩策略用于指示所述第二网络设备基于所述与所述业务类型对应的压缩策略处理所述业务类型对应的报文,和/或,基于所述与所述业务类型对应的压缩策略生成与所述业务类型对应的局部压缩参数。
38.根据权利要求32至36任一所述的第二网络设备,其特征在于,所述发送单元,具体用于与所述第一网络设备基于边界网关路由BGP消息进行通信,通信的信息包括以下一项或多项:所述同步请求,所述第一局部压缩参数,所述第一全局压缩参数,或者所述压缩策略。
39.一种网络设备,其特征在于,包括处理器,所述处理器与存储器耦合,所述存储器用于存储计算机程序或指令,所述处理器用于执行存储器中的所述计算机程序或指令,使得权利要求1至19中任一项所述的方法被执行。
40.一种计算机可读存储介质,其特征在于,所述介质存储有指令,当所述指令被计算机执行时,实现权利要求1至19中任一项所述的方法。
41.一种计算机程序产品,其特征在于,包括指令,当所述指令在计算机上运行时,使得所述计算机执行如权利要求1至19中任一项所述的方法。
CN202210647535.2A 2022-06-09 2022-06-09 一种数据处理方法及相关设备 Pending CN117255128A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210647535.2A CN117255128A (zh) 2022-06-09 2022-06-09 一种数据处理方法及相关设备
PCT/CN2023/098195 WO2023236876A1 (zh) 2022-06-09 2023-06-05 一种数据处理方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210647535.2A CN117255128A (zh) 2022-06-09 2022-06-09 一种数据处理方法及相关设备

Publications (1)

Publication Number Publication Date
CN117255128A true CN117255128A (zh) 2023-12-19

Family

ID=89117576

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210647535.2A Pending CN117255128A (zh) 2022-06-09 2022-06-09 一种数据处理方法及相关设备

Country Status (2)

Country Link
CN (1) CN117255128A (zh)
WO (1) WO2023236876A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AR042582A1 (es) * 2000-11-16 2005-06-29 Ericsson Telefon Ab L M Sistema y metodo de comunicaciones que utilizan formas de comunicacion de peticion - repuesta para la compresion de los datos
GB0513433D0 (en) * 2005-06-30 2005-08-10 Nokia Corp Signal message compressor
EP1780947B1 (en) * 2005-10-27 2009-06-17 Alcatel Lucent Data collection from network nodes in a telecommunication network
CN102194499A (zh) * 2010-03-15 2011-09-21 华为技术有限公司 一种压缩字典同步的方法和装置
US8937562B1 (en) * 2013-07-29 2015-01-20 Sap Se Shared data de-duplication method and system

Also Published As

Publication number Publication date
WO2023236876A1 (zh) 2023-12-14

Similar Documents

Publication Publication Date Title
JP3982688B2 (ja) テンポラリ圧縮テーブルを用いた通信システム及び方法
US6950445B2 (en) Communication system and method for shared context compression
US6985965B2 (en) Static information knowledge used with binary compression methods
US20150295807A1 (en) Manipulation of streams of monitoring data
US9954720B2 (en) Method and apparatus for determining an event instance
EP2372918A1 (en) Compression dictionary synchronization method and device
US8400334B2 (en) Asymmetric dictionary-based compression/decompression useful for broadcast or multicast unidirectional communication channels
US9092319B2 (en) State memory management, wherein state memory is managed by dividing state memory into portions each portion assigned for storing state information associated with a specific message class
US6963587B2 (en) Communication system and method utilizing request-reply communication patterns for data compression
EP3163837B1 (en) Header compression for ccn messages using a static dictionary
CA2428788C (en) Static information knowledge used with binary compression methods
WO2017157023A1 (zh) 一种soap报文传输方法及系统
US8886913B2 (en) Apparatus and method for identifier management
EP3166277A1 (en) Bit-aligned header compression for ccn messages using dictionary
CN111711968B (zh) 报文处理方法、装置、通信设备和通信系统
EP3163838B1 (en) Header compression for ccn messages using dictionary learning
CN117255128A (zh) 一种数据处理方法及相关设备
Gobatto et al. Improving content-aware video streaming in congested networks with in-network computing
CN107615810B (zh) 用于在线网络代码的包头压缩系统和方法
CN114979093B (zh) 一种基于rtp的数据传输方法、装置、设备和介质
CN107800653B (zh) 报文压缩方法及装置
WO2002041498A2 (en) Communication system and method utilizing request-reply communication patterns for data compression
CN115604364A (zh) 一种数据封装处理方法、装置、存储介质及电子装置
CN117255138A (zh) 一种数据处理方法及相关设备
CN117354377A (zh) 报文处理方法、网络设备及通信系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication