CN102938683B - 一种数据处理的方法和装置 - Google Patents

一种数据处理的方法和装置 Download PDF

Info

Publication number
CN102938683B
CN102938683B CN201210358295.0A CN201210358295A CN102938683B CN 102938683 B CN102938683 B CN 102938683B CN 201210358295 A CN201210358295 A CN 201210358295A CN 102938683 B CN102938683 B CN 102938683B
Authority
CN
China
Prior art keywords
data
terminal
compression
receiving terminal
transmitting terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210358295.0A
Other languages
English (en)
Other versions
CN102938683A (zh
Inventor
李南
聂世玮
游泳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201210358295.0A priority Critical patent/CN102938683B/zh
Publication of CN102938683A publication Critical patent/CN102938683A/zh
Application granted granted Critical
Publication of CN102938683B publication Critical patent/CN102938683B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种数据处理的方法和装置,属于通信技术领域。所述方法包括:查找向接收端发送的数据中本端允许压缩的数据;根据所述本端允许压缩的数据向所述接收端发送协商请求,所述协商请求用于确认所述接收端允许本端压缩的数据;接收所述接收端返回的确认信息,根据所述确认信息中所述接收端允许本端压缩的数据,对后续发送的数据中所述接收端允许本端压缩的数据进行压缩处理。本发明通过将传送的数据中允许压缩的内容进行压缩处理后发送至接收端,相同时间内减少了传输的数据量,提高了传输数据过程中的带宽利用率。

Description

一种数据处理的方法和装置
技术领域
本发明涉及通信技术领域,特别涉及一种数据处理的方法和装置。
背景技术
现有的网络是通过至少一个以上的设备进行互联组成的,在网络中的硬件设备(如各种计算机、终端设备等)实体之间通信需要通信之间双方共同的遵循一定的通信规则,用来规定通信的内容、通信的方式和通信的时序。
现有技术中,以太网是局域网中应用最广泛的联网技术,通过以太网传输的数据报文是基于IEEE(Institute of Electrical and Electronics Engineers,美国电气和电子工程师协会)制定的802.3标准的以太网数据帧格式的封装实现的,以太网数据帧格式是根据固定的格式对数据进行封装发送的,其中包括:前导码、帧起始定界符、目的MAC(Media Access Control,介质访问控制)地址、源MAC地址、类型/长度、数据、帧校验序列。通过以太网在两个设备之间通信在某段时间内数据报文中的一些信息是固定的,例如传输的每一帧中保存的设备双方源MAC地址以及目的MAC地址是固定不变的。
在实现本发明的过程中,发明人发现现有技术至少存在以下问题:
在PON(Passive Optical Network:无源光纤网络)系统中,由于发送的以太网数据帧格式的数据报文的格式是固定不变的,因此在发送数据报文时由于前的同步时间、保护时间和激光器打开或关闭的时间因素,以及数据报文中的前导码的因素,会导致实际有效业务带宽小于线速,即一定时间内有效数据量小于理论最大的数据量,使得带宽利用率低。进一步的,相同带宽若传输数据量不同,传输越大的数据量,则激光头打开时间越长,由此导致功耗越多。
发明内容
为了解决现有技术中数据传输时带宽利用率低的问题,本发明实施例提供了一种数据处理的方法和装置。所述技术方案如下:
一方面,提供了一种数据处理的方法,所述方法包括:
查找向接收端发送的数据中本端允许压缩的数据;
根据所述本端允许压缩的数据向所述接收端发送协商请求,所述协商请求用于确认所述接收端允许本端压缩的数据;
接收所述接收端返回的确认信息,根据所述确认信息中所述接收端允许本端压缩的数据,对后续发送的数据中所述接收端允许本端压缩的数据进行压缩处理;
其中,所述接收所述接收端返回的确认信息,根据所述确认信息中所述接收端允许本端压缩的数据,对后续发送的数据中所述接收端允许本端压缩的数据进行压缩处理,包括:
接收所述接收端返回的确认信息,获取所述确认信息中所述接收端允许本端压缩的数据;
在所述后续发送的数据中,添加压缩标识,以指示所述接收端该数据报文是经过压缩处理的;将所述接收端允许本端压缩的数据对应的索引信息替换所述接收端允许本端压缩的数据,并在预先指定的位置保存;
其中,所述压缩标识通过算法隐藏在所述发送的数据中。
另一方面,还提供了一种数据处理的方法,所述方法包括:
接收发送端发送的协商请求,用于确认本端允许所述发送端压缩的数据;
根据所述协商请求确定本端允许所述发送端压缩的数据,并将所述本端允许所述发送端压缩的数据通过确认信息返回给所述发送端;
接收所述发送端发送的数据,根据所述协商请求对所述发送端发送的数据进行解压缩恢复原始数据;
其中,所述接收所述发送端发送的数据,根据所述协商请求对所述发送端发送的数据进行解压缩恢复原始数据,包括:
接收到所述发送端发送的数据,判断在所述数据中预先指定的存储位置是否存在的压缩标识;
若存在所述压缩标识,则表明所述接收的数据被压缩,根据所述接收的数据中被压缩的数据的索引信息的存储位置查找到所述索引信息,并根据所述索引信息对应的原始数据、存储位置以及长度信息对所述接收的数据中被压缩的数据进行解压缩处理,恢复原始数据;
其中,所述压缩标识通过算法隐藏在所述发送的数据中。
一方面,提供了一种数据处理的装置,所述装置包括:
查找模块,用于查找向接收端发送的数据中本端允许压缩的数据;
发送模块,用于根据所述本端允许压缩的数据向所述接收端发送协商请求,所述协商请求用于确认所述接收端允许本端压缩的数据;
数据压缩模块,用于接收所述接收端返回的确认信息,根据所述确认信息中所述接收端允许本端压缩的数据,对后续发送的数据中所述接收端允许本端压缩的数据进行压缩处理;
其中,所述数据压缩模块,包括:
第三处理单元,用于接收所述接收端返回的确认信息,获取所述确认信息中所述接收端允许本端压缩的数据;
数据处理单元,用于在所述后续发送的数据中,添加所述压缩标识,以指示所述接收端该数据报文是经过压缩处理的;将所述接收端允许本端压缩的数据对应的索引信息替换所述接收端允许本端压缩的数据,并在预先指定的位置保存;
其中,所述压缩标识通过算法隐藏在所述发送的数据中。
另一方面,还提供了一种数据处理的装置,所述装置包括:
接收模块,用于接收发送端发送的协商请求,用于确认本端允许所述发送端压缩的数据;
第二处理模块,用于根据所述协商请求确定本端允许所述发送端压缩的数据,并将所述本端允许所述发送端压缩的数据通过确认信息返回给所述发送端;
数据解压缩模块,用于接收所述发送端发送的数据,根据所述协商请求对所述发送端发送的数据进行解压缩恢复原始数据;
其中,所述数据解压缩模块,包括:
判断单元,用于接收到所述发送端发送的数据,判断在所述数据中预先指定的存储位置是否存在的压缩标识;
数据解压缩单元,用于若存在所述压缩标识,则表明所述接收的数据被压缩,根据所述接收的数据中被压缩的数据的索引信息的存储位置查找到所述索引信息,并根据所述索引信息对应的原始数据、存储位置以及长度信息对所述接收的数据中被压缩的数据进行解压缩处理,恢复原始数据;
其中,所述压缩标识通过算法隐藏在所述发送的数据中。
本发明实施例提供的技术方案带来的有益效果是:
通过将传送的数据中允许压缩的内容进行压缩处理后发送至接收端,相同时间内减少了传输的数据量,提高了传输数据过程中的带宽利用率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的数据处理的方法流程图;
图2是本发明实施例二提供的数据处理的方法流程图;
图3是本发明实施例三提供的数据处理的方法流程图;
图4是本发明实施例四提供的数据处理的方法流程图;
图5是本发明实施例五提供的数据处理的装置结构示意图;
图6是本发明实施例六提供的数据处理的装置结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
实施例一
参见图1,本发明实施例提供了一种数据处理的方法,所述方法包括:
需要说明的是,本发明实施例以EPON(Ethernet Passive Optical Network,以太网无源光网络)系统中发送端发送数据报文为例进行描述。
101:查找向接收端发送的数据中本端允许压缩的数据;
102:根据所述本端允许压缩的数据向所述接收端发送协商请求,所述协商请求用于确认所述接收端允许本端压缩的数据;
103:接收所述接收端返回的确认信息,根据所述确认信息中所述接收端允许本端压缩的数据,对后续发送的数据中所述接收端允许本端压缩的数据进行压缩处理。
本发明实施例通过将传送的数据中允许压缩的内容进行压缩处理后发送至接收端,相同时间内减少了传输的数据量,提高了传输数据过程中的带宽利用率。
实施例二
参见图2,本发明实施例提供了一种数据处理的方法,是根据实施例一改进而来的,所述方法包括:
需要说明的是,本发明实施例以EPON(Ethernet Passive Optical Network,以太网无源光网络)系统中发送端发送数据报文为例进行描述。
201:发送端查找向接收端发送的数据中本端允许压缩的数据。
具体的,两个设备在通信过程中,某段时间内数据报文中的一些信息是固定的,例如数据报文帧格式中,发送端设备的源MAC地址和接收端的目的MAC地址是固定不变的。将这些固定不变的内容在发送端进行压缩处理,并在接收端进行解压缩处理,减少了发送的数据量,节约了带宽利用率。
首先需要发送端确认发送的报文中哪一部分是在发送过程中不变化的,即为发送端允许压缩的数据。其次,根据预先指定的方式确认发送端允许压缩的数据的相关信息,其中该相关信息可以包括:发送端允许压缩的数据对应的存储位置、长度信息、原始内容、所述发送端允许压缩的数据的个数、发送端允许压缩的数据对应的索引信息、索引信息的存储位置。进一步的发送端在确认上述允许压缩的数据的相关信息后,还需根据预先指定的内容确定数据报文的压缩标识以及压缩标识的存储位置,用以告知接收端发送的数据是否被压缩。
对于发送端压缩数据以及接收端可以通过建立压缩表的方式进行,通过将压缩与解压缩过程中的数据保存在一个压缩表中,以便发送端和接收端压缩以及解压缩时对压缩的数据进行管理。建立压缩表后,将该压缩表发送至接收端,对发送端压缩的数据内容与接收端解压缩的数据内容进行同步,使得发送端根据该压缩表的内容对允许压缩的数据进行压缩,使得接收端根据对应建立的解压缩表的内容对已经压缩的数据进行解压缩还原原始数据报文。
发送端查找向接收端发送的数据中本端允许压缩的数据可以通过以下两种方式得到。
第一种方式为通过发送端发送的数据报文之间进行对比,具体过程为:
通过对第一数据报文与第二数据报文进行对比,其中第一数据报文是先发送的数据报文,第二数据报文是在第一数据报文之后发送的。若在两个数据报文中相同的位置存在相同内容的数据,那么该位置的数据为可以压缩的数据,可以根据该数据的相关信息,通过类似哈希算法,但不限于该算法的方式,计算得到该数据对应的索引信息,索引信息即为允许压缩的数据压缩后对应的数据。其中相关信息至少包括该数据的存储位置、长度信息、数据的内容,并将这些相关信息以及该数据对应的索引信息作为一组信息保存在压缩表中。其中,每一个允许压缩的数据的相关信息唯一对应一个索引信息。
第二种方式为系统手工进行添加,可以理解为系统已知了数据报文中各个相同数据的各种相关信息,根据数据的相关信息通过类似哈希算法,但不限于该算法的方式,计算得到对应的索引信息,索引信息即为压缩后的数据。并将数据对应的相关信息以及索引信息添加入压缩表中保存。其中,每一个允许压缩的数据的相关信息唯一对应一个索引信息。
进一步的,压缩相关信息不仅包括压缩表中的允许压缩的数据对应的存储位置、长度信息、允许压缩的数据的原始内容、允许压缩的数据对应的索引信息,还要至少包括:数据报文中允许压缩的数据的个数、允许压缩的数据对应的索引信息的存放位置、数据报文的压缩标识以及压缩标识的存放位置。
因此步骤201可以具体为:
2011:将向接收端发送的数据中的第一数据报文与第二数据报文进行比对;
2012:若在两个数据报文中相同的位置存在相同内容的数据,则确定所述相同的内容为所述本端允许压缩的数据。
202:根据所述本端允许压缩的数据向所述接收端发送协商请求,所述协商请求用于确认所述接收端允许本端压缩的数据。
发送端向接收端发送协商请求,用于确认接收端的处理能力即允许发送端压缩的数据,这是对不同设备间友好兼容的实现。进一步的,发送的协商请求的内容是根据发送端允许压缩的数据的相关信息确定的,接收端根据协商请求中的压缩相关信息确定本端可以解压的数据。
进一步的,协商请求可以通过发送端发送管理报文的形式发送。协商请求中需要告知接收端发送端在数据报文中允许压缩的数据,以及该数据的相关信息,其中至少包括:允许压缩的数据压缩后对应的数据、存储位置、长度信息、允许压缩的数据的原始内容、数据报文中允许压缩的数据的个数、允许压缩的数据对应的索引信息的存放位置。进一步的,还需要互相约定一些参数的存放位置、存放方式等需要发送端接收端协商确认的参数,因此在协商请求中还需要包括预先指定的压缩标识以及预先指定的压缩标识的存储位置。
接收端接收到发送端的压缩表后,解析该管理报文。在正确解析处理此管理报文后,接收端根据接收到的内容发送端允许压缩的数据进行确认,确认允许压缩的数据中有哪些数据在接收端有能力对其进行解压缩处理。确认之后会返回发送端一个确认信息,告知发送端哪些数据是接收端允许进行压缩的数据。
因此,步骤202可以具体为:
2021:将所述本端允许压缩的数据对应的索引信息、所述索引信息的存储位置、所述本端允许压缩的数据的相关信息、预先指定的压缩标识、所述压缩标识的存储位置作为所述数据的协商数据;
2022:向所述接收端发送携带所述协商数据的协商请求。
203:发送端接收所述接收端返回的确认信息,根据所述确认信息中所述接收端允许本端压缩的数据,对后续发送的数据中所述接收端允许本端压缩的数据进行压缩处理。
发送端在接收到接收端返回的确认信息,即可确认接收端有能力对哪些数据进行解压缩,那么就可对接收端允许进行压缩的数据进行压缩处理。
压缩处理需要在数据报文中增加压缩标识,使得经过压缩处理的数据报文在接收端能被识别。具体的增加压缩标识的方式可以在后续发送的数据中的指定位置增加压缩标识,在接收端接收到数据时,通过在预先协商的保存压缩标识的位置,来识别该数据是否被压缩;也可以通过将压缩标识在后续发送的数据中通过算法隐藏在发送的数据中,使得原数据在不增加额外内容的情况下,在接收端接收到数据时,通过确认是否包含隐藏压缩标识报文的方式来识别。
对于第一种在指定的位置增加压缩标识的情况,可以为:在数据报文的前导码中加入1bit的数据作为压缩标识。
对于第二种将压缩标识通过算法隐藏在发送的数据中可以例如:通常由于物理链路一些不可抗拒因素影响,导致数据报文在传输过程中有可能受到干扰,因此数据报文内容可能就被篡改,因此检错和纠错在通信系统里被大量应用,可以通过该检错和纠错的方式加入压缩标识,以以太报文为例子,以太报文通常在报文后加上4个字节的CRC校验信息,假设报文长度为64字节:为了方便描述,假设64字节前60字节均为0,最后4字节为CRC校验信息,通过接收端和发送端协商隐藏区域是报文的第一个字节,正常情况下若报文没有加密,则发送端发送的报文是60字节的全“0”+4字节的CRC校验信息,接收端接收进行校验,线路无误码的情况下,校验正确,判定此报文没有隐藏压缩标识。假设报文需要加密,则发送端在协商好的隐藏区域通过一种可逆算发(例如进行按位取反运算),将约定好的隐藏区域进行按位取反后,其它报文信息保持不变,发送给接收端,因此这时发送的数据报文是第1字节为全1,后面的59字节还是为全0,最后+4字节的CRC校验信息,接收端接收到数据报文后首先进行校验,在线路无误码的情况下,由于发送端对于约定区域进行了按位取反操作,所以会导致校验失败,这时,接收端需要进一步确认校验失败是由于线路误码引起还是因为隐藏了压缩标识引起,所以对约定好的隐藏区域进行相同的可逆算法,这里是按位取反,然后再进行校验,校验成功则说明隐藏了压缩标识。对于这种将压缩标识通过算法隐藏的方式可以但不限于此种方式,本发明实施例对此并不作出限定。
优选的,步骤202中提到的索引信息也可以使用此种方式进行隐藏。
根据压缩相关信息保存在压缩表中的允许压缩的数据对应的索引信息进行压缩,在数据报文中的预先设定的位置添加允许压缩的数据对应的索引信息。其中,并不一定需要在原允许压缩的数据对应的位置添加索引信息,也可以在其他预先指定的位置进行添加,在此并不对其作出限定。在本发明实施例是将固定时间内数据报文中比对后,对发送端的源MAC地址以及接收端的目的MAC地址这个固定不变的内容进行压缩,减小发送的数据报文的体积,提高了带宽率用率,同时由于数据量变小,因此在光纤通信过程中打开激光头的时间会随之减小,使得系统功耗降低。
因此步骤203可以具体为:
2031:接收所述接收端返回的确认信息,获取所述确认信息中所述接收端允许本端压缩的数据;
2032:在所述后续发送的数据中,添加所述压缩标识,以指示所述接收端该数据报文是经过压缩处理的;将所述接收端允许本端压缩的数据对应的索引信息替换所述接收端允许本端压缩的数据,并在预先指定的位置保存。
204:在经过预设时间和/或预设发送数据的次数时,所述接收端允许本端压缩的数据的压缩处理次数小于或等于预设阈值时,在后续发送的数据中对该段数据正常发送不再进行压缩处理,并向所述接收端发送变更信息,使得所述接收端对该段数据正常接收不再进行解压缩处理。
为了提高发送端压缩表和接收端解压缩表中压缩内容的使用效率,发送端和接收端应当定期对发送端压缩表和接收端解压缩表进行维护管理,将利用率低或者不再使用的发送端压缩表和接收端解压缩表中的表项进行清除,以便用于其它报文进行压缩。
对压缩相关信息的维护是由发送端发起的,具体为:发送端对于发送端压缩表进行检测,检测方法具体有两种,至少满足下面三种判断的方法,则认定此压缩表中的表项利用率低或者不再使用,则将此压缩表中的表项进行删除。
方法一:当发送端检测到经过预设时间内,发送端压缩表中某表项使用次数小于或等于预设阈值的次数;
方法二:当发送端检测到经过预设连续发送报文的次数时,发送端压缩表中某表项使用次数小于或等于预设阈值的次数;
方法三:系统手工删除。
发送端删除压缩表中的某个表项后,则向对应的接收端发送对接收端的解压缩表中对应表项删除的信息,具体的删除接收端解压缩表中对应的表项,可以通过发送端发送相应的管理报文实现。
本发明实施例通过将传送的数据中允许压缩的内容进行压缩处理后发送至接收端,相同时间内减少了传输的数据量,提高了传输数据过程中的带宽利用率。
实施例三
参见图3,本发明实施例提供了一种数据处理的方法,所述方法包括:
需要说明的是,本发明实施例以EPON系统中接收端接收数据报文为例进行描述。
301:接收发送端发送的协商请求,用于确认本端允许所述发送端压缩的数据;
302:根据所述协商请求确定本端允许所述发送端压缩的数据,并将所述本端允许所述发送端压缩的数据通过确认信息返回给所述发送端;
303:接收所述发送端发送的数据,根据所述协商请求对所述发送端发送的数据进行解压缩恢复原始数据。
本发明实施例通过将传送的数据中允许压缩的内容进行压缩处理后发送至接收端,相同时间内减少了传输的数据量,提高了传输数据过程中的带宽利用率。
实施例四
参见图4,本发明实施例提供了一种数据处理的方法,是根据实施例三改进而来的,所述方法包括:
需要说明的是,本发明实施例以EPON系统中接收端接收数据报文为例进行描述。
401:接收发送端发送的协商请求,用于确认本端允许所述发送端压缩的数据。
其中,接收的协商请求用于发送端向接收端确认接收端的解压缩能力,具体的为接收端根据协商请求中携带的发送端允许压缩的数据的相关信息进行判断,确认本端对发送端允许压缩的数据中哪些可以进行解压缩处理。其中协商请求中携带的内容至少包括:发送端允许压缩的数据对应的存储位置、长度信息、原始内容、所述发送端允许压缩的数据的个数、发送端允许压缩的数据对应的索引信息、索引信息的存储位置、预先指定的压缩标识以及预先指定的压缩标识的存储位置。
402:根据所述协商请求确定本端允许所述发送端压缩的数据,并将所述本端允许所述发送端压缩的数据通过确认信息返回给所述发送端。
对协商请求进行解析,从中获取到发送端允许压缩的数据的相关信息,其中压缩相关信息至少包括:发送端允许压缩的数据对应的存储位置、长度信息、原始内容、所述发送端允许压缩的数据的个数、发送端允许压缩的数据对应的索引信息、索引信息的存储位置。并根据发送端允许压缩的数据对应的存储位置、长度信息、原始内容以及发送端允许压缩的数据对应的索引信息在接收端创建解压缩表,以便解压缩时通过该表中的内容对压缩的数据进行解压缩。
进一步的,接收端压缩相关信息中的发送端允许压缩的数据对应的存储位置、长度信息、原始内容、发送端允许压缩的数据的个数、发送端允许压缩的数据对应的索引信息、索引信息的存放位置,确认接收端端对发送端允许压缩的数据的解压缩能力。将接收端允许解压缩的数据以确认信息的形式返回给发送端,以指示发送端根据接收端有能力解压缩的数据进行数据报文的压缩处理。
因此步骤402可以具体为:
4021:解析所述协商请求,从中获取所述协商请求中的协商数据,其中所述协商数据至少包括所述发送端允许压缩的数据对应的索引信息、所述发送端允许压缩的数据的相关信息以及预先指定的压缩标识;
4022:根据所述发送端允许压缩的数据的相关信息中所述允许压缩的数据的存储位置以及长度信息,确认本端允许发送端压缩的数据;
4023:根据所述本端允许发送端压缩的数据,向所述发送端返回确认信息。
403:接收所述发送端发送的数据,根据所述协商请求对所述发送端发送的数据进行解压缩恢复原始数据。
发送端在确认接收端的解压缩能力以后,按照接收端允许解压缩的数据对数据报文进行压缩处理,然后发送给接收端。
接收端接收到数据报文后,首先需要确认该数据报文属否被压缩处理过,通过判断该数据报文中是否存在协商请求中压缩相关信息的压缩标识,来确定该数据报文是否经过压缩处理。若所述数据报文中预先指定的位置存在压缩标识,则说明所述数据报文被压缩。然后对压缩的数据报文进行解压缩处理,根据协商报文中发送来的被压缩的数据在数据报文中的存储位置,即索引信息的存储位置找到被压缩的数据内容,然后根据解压缩表中的该索引数据对应的被压缩数据的原始内容、存储位置以及长度信息对被压缩的数据进行解压缩,还原原始报文。
因此步骤403可以具体为:
4031:接收到所述发送端发送的数据,判断在所述数据中预先指定的位置是否存在的压缩标识;
4032:若存在所述压缩标识,则表明所述接收的数据被压缩,根据所述接收的数据中被压缩的数据的索引信息的存储位置查找到所述索引信息,并根据所述索引信息对应的原始数据、存储位置以及长度信息对所述接收的数据中被压缩的数据进行解压缩处理,恢复原始数据。
404:接收所述发送端发送的变更信息,获取所述变更信息中所述发送端不再进行压缩处理的数据,在后续接收的数据中对所述不再进行压缩处理的数据正常接收,不再进行解压缩处理。
对于发送端发起的维护接收端解压缩表的报文,接收端接收后按照报文中要求删除的命令对接收端解压缩表中的相应的数据进行删除处理,发送端在这之后对这些数据并不进行压缩处理,因此接收端也无需对其解压缩。
在本发明实施例中,对应发送端压缩数据报文中的源MAC地址和目的MAC地址进行了压缩处理,接收端判断发送端发送的数据报文是经过压缩处理之后,根据解压缩表中索引信息以及压缩相关信息中的索引信息的存放位置查找数据报文中压缩的数据,根据解压缩表中对应的压缩的数据对应的长度信息、存储位置、以及原始内容回复出压缩前的数据,进而恢复出原始报文。
本发明实施例通过将传送的数据中允许压缩的内容进行压缩处理后发送至接收端,相同时间内减少了传输的数据量,提高了传输数据过程中的带宽利用率。
实施例五
参见图5,本发明实施例提供了一种数据处理的装置,所述装置包括:
查找模块501,用于查找向接收端发送的数据中本端允许压缩的数据;
发送模块502,用于根据所述本端允许压缩的数据向所述接收端发送协商请求,所述协商请求用于确认所述接收端允许本端压缩的数据;
数据压缩模块503,用于接收所述接收端返回的确认信息,根据所述确认信息中所述接收端允许本端压缩的数据,对后续发送的数据中所述接收端允许本端压缩的数据进行压缩处理。
在具体实施方式中,所述查找模块501,包括:
比对单元5011,用于将向接收端发送的数据中的第一数据报文与第二数据报文进行比对;
第一处理单元5012,用于若在两个数据报文中相同的位置存在相同内容的数据,则确定所述相同的内容为所述本端允许压缩的数据。
所述发送模块502,包括:
第二处理单元5021,用于将所述本端允许压缩的数据对应的索引信息、所述索引信息的存储位置、所述本端允许压缩的数据的相关信息、预先指定的压缩标识、所述压缩标识的存储位置作为所述数据的协商数据;
发送单元5022,用于向所述接收端发送携带所述协商数据的协商请求。
所述数据压缩模块503,包括:
第三处理单元5031,用于接收所述接收端返回的确认信息,获取所述确认信息中所述接收端允许本端压缩的数据;
数据处理单元5032,用于在所述后续发送的数据中,添加所述压缩标识,以指示所述接收端该数据报文是经过压缩处理的;将所述接收端允许本端压缩的数据对应的索引信息替换所述接收端允许本端压缩的数据,并在预先指定的位置保存。
所述装置还包括:
第一处理模块504,用于在经过预设时间和/或预设发送数据的次数时,所述接收端允许本端压缩的数据的压缩处理次数小于或等于预设阈值时,在后续发送的数据中对该段数据正常发送不再进行压缩处理,并向所述接收端发送变更信息,使得所述接收端对该段数据正常接收不再进行解压缩处理。
本发明实施例通过将传送的数据中允许压缩的内容进行压缩处理后发送至接收端,相同时间内减少了传输的数据量,提高了传输数据过程中的带宽利用率。
实施例六
参见图6,本发明实施例提供了一种数据处理的装置,所述装置包括:
接收模块601,用于接收发送端发送的协商请求,用于确认本端允许所述发送端压缩的数据;
第二处理模块602,用于根据所述协商请求确定本端允许所述发送端压缩的数据,并将所述本端允许所述发送端压缩的数据通过确认信息返回给所述发送端;
数据解压缩模块603,用于接收所述发送端发送的数据,根据所述协商请求对所述发送端发送的数据进行解压缩恢复原始数据。
在具体实施方式中,所述第二处理模块602,包括:
解析单元6021,用于解析所述协商请求,从中获取所述协商请求中的协商数据,其中所述协商数据至少包括所述发送端允许压缩的数据对应的索引信息、所述发送端允许压缩的数据的相关信息以及预先指定的压缩标识;
第四处理单元6022,用于根据所述发送端允许压缩的数据的相关信息中所述允许压缩的数据的存储位置以及长度信息,确认本端允许发送端压缩的数据;
返回单元6023,用于根据所述本端允许发送端压缩的数据,向所述发送端返回确认信息。
所述数据解压缩模块603,包括:
判断单元6031,用于接收到所述发送端发送的数据,判断在所述数据中预先指定的存储位置是否存在的压缩标识;
数据解压缩单元6032,用于若存在所述压缩标识,则表明所述接收的数据被压缩,根据所述接收的数据中被压缩的数据的索引信息的存储位置查找到所述索引信息,并根据所述索引信息对应的原始数据、存储位置以及长度信息对所述接收的数据中被压缩的数据进行解压缩处理,恢复原始数据。
所述装置还包括:
第三处理模块604,用于接收所述发送端发送的变更信息,获取所述变更信息中所述发送端不再进行压缩处理的数据,在后续接收的数据中对所述不再进行压缩处理的数据正常接收,不再进行解压缩处理。
本发明实施例通过将传送的数据中允许压缩的内容进行压缩处理后发送至接收端,相同时间内减少了传输的数据量,提高了传输数据过程中的带宽利用率。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (14)

1.一种数据处理的方法,其特征在于,所述方法包括:
查找向接收端发送的数据中本端允许压缩的数据;
根据所述本端允许压缩的数据向所述接收端发送协商请求,所述协商请求用于确认所述接收端允许本端压缩的数据;
接收所述接收端返回的确认信息,根据所述确认信息中所述接收端允许本端压缩的数据,对后续发送的数据中所述接收端允许本端压缩的数据进行压缩处理;
其中,所述接收所述接收端返回的确认信息,根据所述确认信息中所述接收端允许本端压缩的数据,对后续发送的数据中所述接收端允许本端压缩的数据进行压缩处理,包括:
接收所述接收端返回的确认信息,获取所述确认信息中所述接收端允许本端压缩的数据;
在所述后续发送的数据中,添加压缩标识,以指示所述接收端该数据报文是经过压缩处理的;将所述接收端允许本端压缩的数据对应的索引信息替换所述接收端允许本端压缩的数据,并在预先指定的位置保存;
其中,所述压缩标识通过算法隐藏在所述发送的数据中。
2.根据权利要求1所述的方法,其特征在于,所述查找向接收端发送的数据中本端允许压缩的数据,包括:
将向接收端发送的数据中的第一数据报文与第二数据报文进行比对;
若在两个数据报文中相同的位置存在相同内容的数据,则确定所述相同的内容为所述本端允许压缩的数据。
3.根据权利要求1所述的方法,其特征在于,所述根据所述本端允许压缩的数据向所述接收端发送协商请求,包括:
将所述本端允许压缩的数据对应的索引信息、所述索引信息的存储位置、所述本端允许压缩的数据的相关信息、预先指定的压缩标识、所述压缩标识的存储位置作为所述数据的协商数据;
向所述接收端发送携带所述协商数据的协商请求。
4.根据权利要求1所述的方法,其特征在于,所述接收所述接收端返回的确认信息,根据所述确认信息中所述接收端允许本端压缩的数据,对后续发送的数据中所述接收端允许本端压缩的数据进行压缩处理之后,所述方法还包括:
在经过预设时间和/或预设发送数据的次数时,所述接收端允许本端压缩的数据的压缩处理次数小于或等于预设阈值时,在后续发送的数据中对该段数据正常发送不再进行压缩处理,并向所述接收端发送变更信息,使得所述接收端对该段数据正常接收不再进行解压缩处理。
5.一种数据处理的方法,其特征在于,所述方法包括:
接收发送端发送的协商请求,用于确认本端允许所述发送端压缩的数据;
根据所述协商请求确定本端允许所述发送端压缩的数据,并将所述本端允许所述发送端压缩的数据通过确认信息返回给所述发送端;
接收所述发送端发送的数据,根据所述协商请求对所述发送端发送的数据进行解压缩恢复原始数据;
其中,所述接收所述发送端发送的数据,根据所述协商请求对所述发送端发送的数据进行解压缩恢复原始数据,包括:
接收到所述发送端发送的数据,判断在所述数据中预先指定的存储位置是否存在的压缩标识;
若存在所述压缩标识,则表明所述接收的数据被压缩,根据所述接收的数据中被压缩的数据的索引信息的存储位置查找到所述索引信息,并根据所述索引信息对应的原始数据、存储位置以及长度信息对所述接收的数据中被压缩的数据进行解压缩处理,恢复原始数据;
其中,所述压缩标识通过算法隐藏在所述发送的数据中。
6.根据权利要求5所述的方法,其特征在于,所述根据所述协商请求确定本端允许所述发送端压缩的数据,并将所述本端允许所述发送端压缩的数据通过确认信息返回给所述发送端,具体包括:
解析所述协商请求,从中获取所述协商请求中的协商数据,其中所述协商数据至少包括所述发送端允许压缩的数据对应的索引信息、所述发送端允许压缩的数据的相关信息以及预先指定的压缩标识;
根据所述发送端允许压缩的数据的相关信息中所述允许压缩的数据的存储位置以及长度信息,确认本端允许发送端压缩的数据;
根据所述本端允许发送端压缩的数据,向所述发送端返回确认信息。
7.根据权利要求5所述的方法,其特征在于,所述接收所述发送端发送的数据,根据所述协商请求对所述发送端发送的数据进行解压缩恢复原始数据之后,所述方法还包括:
接收所述发送端发送的变更信息,获取所述变更信息中所述发送端不再进行压缩处理的数据,在后续接收的数据中对所述不再进行压缩处理的数据正常接收,不再进行解压缩处理。
8.一种数据处理的装置,其特征在于,所述装置包括:
查找模块,用于查找向接收端发送的数据中本端允许压缩的数据;
发送模块,用于根据所述本端允许压缩的数据向所述接收端发送协商请求,所述协商请求用于确认所述接收端允许本端压缩的数据;
数据压缩模块,用于接收所述接收端返回的确认信息,根据所述确认信息中所述接收端允许本端压缩的数据,对后续发送的数据中所述接收端允许本端压缩的数据进行压缩处理;
其中,所述数据压缩模块,包括:
第三处理单元,用于接收所述接收端返回的确认信息,获取所述确认信息中所述接收端允许本端压缩的数据;
数据处理单元,用于在所述后续发送的数据中,添加所述压缩标识,以指示所述接收端该数据报文是经过压缩处理的;将所述接收端允许本端压缩的数据对应的索引信息替换所述接收端允许本端压缩的数据,并在预先指定的位置保存;
其中,所述压缩标识通过算法隐藏在所述发送的数据中。
9.根据权利要求8所述的装置,其特征在于,所述查找模块,包括:
比对单元,用于将向接收端发送的数据中的第一数据报文与第二数据报文进行比对;
第一处理单元,用于若在两个数据报文中相同的位置存在相同内容的数据,则确定所述相同的内容为所述本端允许压缩的数据。
10.根据权利要求8所述的装置,其特征在于,所述发送模块,包括:
第二处理单元,用于将所述本端允许压缩的数据对应的索引信息、所述索引信息的存储位置、所述本端允许压缩的数据的相关信息、预先指定的压缩标识、所述压缩标识的存储位置作为所述数据的协商数据;
发送单元,用于向所述接收端发送携带所述协商数据的协商请求。
11.根据权利要求8所述的装置,其特征在于,所述装置还包括:
第一处理模块,用于在经过预设时间和/或预设发送数据的次数时,所述接收端允许本端压缩的数据的压缩处理次数小于或等于预设阈值时,在后续发送的数据中对该段数据正常发送不再进行压缩处理,并向所述接收端发送变更信息,使得所述接收端对该段数据正常接收不再进行解压缩处理。
12.一种数据处理的装置,其特征在于,所述装置包括:
接收模块,用于接收发送端发送的协商请求,用于确认本端允许所述发送端压缩的数据;
第二处理模块,用于根据所述协商请求确定本端允许所述发送端压缩的数据,并将所述本端允许所述发送端压缩的数据通过确认信息返回给所述发送端;
数据解压缩模块,用于接收所述发送端发送的数据,根据所述协商请求对所述发送端发送的数据进行解压缩恢复原始数据;
其中,所述数据解压缩模块,包括:
判断单元,用于接收到所述发送端发送的数据,判断在所述数据中预先指定的存储位置是否存在的压缩标识;
数据解压缩单元,用于若存在所述压缩标识,则表明所述接收的数据被压缩,根据所述接收的数据中被压缩的数据的索引信息的存储位置查找到所述索引信息,并根据所述索引信息对应的原始数据、存储位置以及长度信息对所述接收的数据中被压缩的数据进行解压缩处理,恢复原始数据;
其中,所述压缩标识通过算法隐藏在所述发送的数据中。
13.根据权利要求12所述的装置,其特征在于,所述第二处理模块,包括:
解析单元,用于解析所述协商请求,从中获取所述协商请求中的协商数据,其中所述协商数据至少包括所述发送端允许压缩的数据对应的索引信息、所述发送端允许压缩的数据的相关信息以及预先指定的压缩标识;
第四处理单元,用于根据所述发送端允许压缩的数据的相关信息中所述允许压缩的数据的存储位置以及长度信息,确认本端允许发送端压缩的数据;
返回单元,用于根据所述本端允许发送端压缩的数据,向所述发送端返回确认信息。
14.根据权利要求12所述的装置,其特征在于,所述装置还包括:
第三处理模块,用于接收所述发送端发送的变更信息,获取所述变更信息中所述发送端不再进行压缩处理的数据,在后续接收的数据中对所述不再进行压缩处理的数据正常接收,不再进行解压缩处理。
CN201210358295.0A 2012-09-24 2012-09-24 一种数据处理的方法和装置 Active CN102938683B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210358295.0A CN102938683B (zh) 2012-09-24 2012-09-24 一种数据处理的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210358295.0A CN102938683B (zh) 2012-09-24 2012-09-24 一种数据处理的方法和装置

Publications (2)

Publication Number Publication Date
CN102938683A CN102938683A (zh) 2013-02-20
CN102938683B true CN102938683B (zh) 2015-07-29

Family

ID=47697558

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210358295.0A Active CN102938683B (zh) 2012-09-24 2012-09-24 一种数据处理的方法和装置

Country Status (1)

Country Link
CN (1) CN102938683B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106817350A (zh) * 2015-11-30 2017-06-09 中兴通讯股份有限公司 报文处理方法及装置
CN105812094B (zh) * 2016-03-07 2019-08-02 电信科学技术研究院 一种数据处理的方法、装置、终端及接入设备
WO2017156684A1 (zh) * 2016-03-14 2017-09-21 华为技术有限公司 一种用于传输数据的方法、装置和系统
CN108574656A (zh) * 2017-03-07 2018-09-25 华为技术有限公司 数据处理方法及设备
CN111200479B (zh) * 2018-11-19 2022-04-12 福建天泉教育科技有限公司 传输数据的校验方法、存储介质
WO2021195825A1 (en) * 2020-03-30 2021-10-07 Intel Corporation Dynamic compression for multiprocessor platforms and interconnects
CN112583829A (zh) * 2020-12-14 2021-03-30 上海英方软件股份有限公司 一种自适配多级端到端传输行情信息流的方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101400083A (zh) * 2007-09-29 2009-04-01 华为技术有限公司 对报文进行头压缩和业务流分类发送的方法、系统及装置
CN102025737A (zh) * 2010-12-09 2011-04-20 中兴通讯股份有限公司 微波通信中以太网数据包压缩、传输方法和压缩机、系统
CN102638391A (zh) * 2012-01-30 2012-08-15 华为技术有限公司 一种帧中继压缩报文传输的方法和设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101400083A (zh) * 2007-09-29 2009-04-01 华为技术有限公司 对报文进行头压缩和业务流分类发送的方法、系统及装置
CN102025737A (zh) * 2010-12-09 2011-04-20 中兴通讯股份有限公司 微波通信中以太网数据包压缩、传输方法和压缩机、系统
CN102638391A (zh) * 2012-01-30 2012-08-15 华为技术有限公司 一种帧中继压缩报文传输的方法和设备

Also Published As

Publication number Publication date
CN102938683A (zh) 2013-02-20

Similar Documents

Publication Publication Date Title
CN102938683B (zh) 一种数据处理的方法和装置
CN110008757B (zh) 一种物联网终端固件更新中数据保护方法及系统
US9158806B2 (en) Integrity checking and selective deduplication based on network parameters
US20110173209A1 (en) Method for lossless data reduction of redundant patterns
CN103765848A (zh) 用于媒体访问控制替换的装置和方法
CN106453474A (zh) 在不稳定网络环境中的大文件的网络传输
CN104378422A (zh) 一种移动终端及其文件传输方法和系统
CN1921682B (zh) 增强通用鉴权框架中的密钥协商方法
CN107959715A (zh) 基于无线通讯的远程终端信息识别软件系统及识别方法
US10419212B2 (en) Methods, systems, apparatuses, and devices for securing network communications using multiple security protocols
CN109729000B (zh) 一种即时通信方法及装置
CN103259797A (zh) 数据文件传输方法及平台
CN103313308A (zh) 一种数据传输方法和设备
CN105119900A (zh) 信息安全传输方法、联网接入方法及相应的终端
CN111786868B (zh) 服务器之间的数据传输方法及strongswan服务器
CN105227309A (zh) 用于物联网终端与云端通讯的加密方法
CN111416864A (zh) 一种基于区块链的互联网用数据管理系统
CN105120454A (zh) 信息传输方法、联网接入方法及相应的终端
CN114338510A (zh) 控制和转发分离的数据转发方法和系统
CN115361455B (zh) 一种数据传输存储方法、装置以及计算机设备
CN111225077A (zh) 物联网设备配网方法、装置和系统
CN113114465B (zh) 归属权限的处理方法及装置、存储介质、电子装置
US20160054949A1 (en) Method for storing data in a computer system performing data deduplication
CN104933059A (zh) 文件信誉获取方法、网关设备和文件信誉服务器
CN113676314B (zh) 量子密钥管理方法、比对方法、输出方法、装置及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant