CN102932277A - 数据缓存方法及系统 - Google Patents

Abstract

本发明涉及一种数据缓存方法，包括：客户端接收下发数据包，计算所述下发数据包的特征码；所述客户端根据所述特征码判断缓存中是否存在所述下发数据包，若是，则获取与所述特征码的生成顺序对应的特征码序列并上传；服务器获取原始数据包，计算所述原始数据包的特征码；所述服务器判断所述原始数据包的特征码是否属于接收到的所述特征码序列，若是，则获取与所述特征码对应的确认信息并返回；所述客户端根据接收到的确认信息在所述缓存中获取下发数据包并转发。此外，还包括一种数据缓存系统。上述数据缓存方法及系统可以仅在客户端单边部署缓存，从而提高存储资源的利用率。

Description

数据缓存方法及系统

技术领域

本发明涉及网络技术领域，特别是涉及一种数据缓存方法及系统。

背景技术

目前，越来越多的企业、机构通过网络来进行办公和开展业务，而且对网络的质量要求也越来越高。日益增加的数据量致使企业、机构在网络设施中投入成本越来越高。但是，据统计，网络上大约70%的数据量都是冗余的，所以如果能削减这部分的冗余数据量，那么就能大幅提升网络带宽，降低网络投入成本，提升办公效率。

各大广域网优化厂商的广域网优化系统除了采用传统的压缩算法压缩数据外，常采取数据缓存的办法来削减流量。通常在广域网两端都存储相同的数据，通过Hash查找，编码等手段达到削减流量，即双边缓存。

然而传统技术中的双边缓存方法中，服务端和客户端优化系统均需要缓存数据，浪费了不少存储资源，使得存储资源的利用率不高。

发明内容

基于此，有必要提供一种能提高存储资源的利用率的数据缓存方法。

一种数据缓存方法，包括：

客户端接收下发数据包，计算所述下发数据包的特征码；

所述客户端根据所述特征码判断缓存中是否存在所述下发数据包，若是，则获取与所述特征码的生成顺序对应的特征码序列并上传；

服务器获取原始数据包，计算所述原始数据包的特征码；

所述服务器判断所述原始数据包的特征码是否属于接收到的所述特征码序列，若是，则获取与所述原始数据包的特征码对应的确认信息并返回；

所述客户端根据接收到的确认信息在所述缓存中获取数据包并转发。

在其中一个实施例中，所述客户端根据所述特征码判断缓存中是否存在所述下发数据包的步骤之后还包括：

若缓存中不存在所述下发数据包，则所述客户端根据所述特征码将所述下发数据包存储到缓存中。

在其中一个实施例中，所述客户端根据所述特征码将所述下发数据包存储到缓存中的步骤为：

根据所述特征码的生成顺序将所述特征码对应的下发数据包顺序存储到缓存中。

在其中一个实施例中，所述服务器获取与所述特征码对应的确认信息的步骤为：

所述服务器获取属于接收到的特征码序列的所述原始数据包的特征码的集合；

所述服务器根据所述获取到的特征码的集合生成确认信息。

在其中一个实施例中，所述客户端根据接收到的确认信息在所述缓存中获取数据包的步骤为：

所述客户端在所述接收到的确认信息中提取特征码的集合；

所述客户端提取所述特征码的集合中的特征码，根据所述特征码在所述缓存中获取数据包。

此外，还有必要提供一种能提高存储资源的利用率的数据缓存系统。

一种数据缓存系统，包括客户端和服务器，所述客户端包括：

数据包接收模块，用于接收下发数据包，计算所述下发数据包的特征码；

特征码查询模块，用于根据所述特征码判断缓存中是否存在所述下发数据包；

特征码上传模块，用于在所述缓存中存在所述下发数据包时，获取与所述特征码的生成顺序对应的特征码序列并上传；

所述服务器包括：

数据包获取模块，用于获取原始数据包，计算所述原始数据包的特征码；

特征码查询模块，用于判断所述原始数据包的特征码是否属于接收到的所述特征码序列；

特征码反馈模块，用于在所述原始数据包的特征码属于接收到的所述特征码序列时，获取与所述特征码对应的确认信息并返回；

所述客户端的数据包接收模块还用于根据接收到的确认信息在所述缓存中获取下发数据包并转发。

在其中一个实施例中，所述客户端还包括数据包缓存模块，用于在缓存中不存在所述下发数据包时，根据所述特征码将所述下发数据包存储到缓存中。

在其中一个实施例中，所述数据包缓存模块还用于根据所述特征码的生成顺序将所述特征码对应的下发数据包顺序存储到缓存中。

在其中一个实施例中，所述特征码反馈模块还用于获取属于接收到的特征码序列的所述原始数据包的特征码的集合，根据所述获取到的特征码的集合生成确认信息。

在其中一个实施例中，所述数据包接收模块还用于在所述接收到的确认信息中提取特征码的集合，提取所述特征码的集合中的特征码，根据所述特征码在所述缓存中获取数据包。

上述数据缓存方法和系统中，客户端在数据包命中时，对后续可能接收的数据包进行了预测，即按照缓存中的存储顺序获取特征码序列并上传服务器，服务器不需要将数据包发送给客户端来判断该数据包是否在缓存中命中，而由服务器根据接收到的特征码序列进行判断，使得只需要在客户端设置缓存即可实现传统技术中的缓存效果，从而节省了服务器的存储空间，提高了存储资源的利用率。

并且，在实际网络环境中，相同的网络资源在进行传输时，通常划分成的相同的数据包序列顺序传输，因此，若在网络资源对应的数据包序列中的某个数据包在缓存中命中时，按顺序传输的数据包序列中的数据包在缓存中的命中率较高，从而提高了数据包的命中率，减少传输的数据量，从而降低了网络拥塞程度。

附图说明

图1为一个实施例中数据缓存方法的流程图；

图2为一个实施例中数据缓存过程的时序图；

图3为一个实施例中数据缓存系统的结构示意图；

图4为另一个实施例中数据缓存系统的结构示意图。

具体实施方式

在一个实施例中，数据缓存系统包括服务器和客户端，服务器设置在推送数据包的服务节点处，客户端设置在接收数据包的客户节点处。服务节点通过服务器将数据包发送给客户节点，客户节点通过客户端接收该数据包。

在本实施例中，如图1所示，一种数据缓存方法，包括：

步骤S102，客户端接收下发数据包，计算下发数据包的特征码。

下发数据包即服务节点通过服务器向客户节点发送的数据包。客户节点通过客户端接收该下发数据包。

客户端可通过预设的哈希函数计算数据包的哈希值，并将哈希值作为下发数据包的特征码。例如，可通过MD5、CRC等编码算法对下发数据包进行编码得到特征码。

在本实施例中，客户端接收下发数据包之后转发该下发数据包。客户端将该下发数据包转发给对应的客户节点。

步骤S104，客户端根据特征码判断缓存中是否存在下发数据包，若是，则执行步骤S106获取与特征码的生成顺序对应的特征码序列并上传。

在本实施例中，若客户端检测到缓存中不存在下发数据包，则执行步骤S108客户端根据特征码将下发数据包存储到缓存中。

进一步的，根据特征码将下发数据包存储到缓存中的步骤可具体为：根据特征码的生成顺序将特征码对应的下发数据包顺序存储到缓存中。

客户端可通过比对特征码来判断缓存中是否存在与下发数据包相同的数据，若存在，则表示该下发数据包在缓存中命中，否则，表示未命中。客户端在下发数据包未命中时，根据生成对应的特征码的先后顺序（即接收到下发数据包的先后顺序）将下发数据包顺序存储。

在本实施例中，下发数据包命中时，客户端可以该命中的下发数据包的特征码为起点，按照特征码的生成顺序在缓存中获取预设个数的数据包对应的特征码构成特征码序列。特征码序列的长度可根据网络环境进行调节。

在一个实施例中，下发数据包未命中时，客户端可将下发数据包按接收顺序编号，然后根据编号对下发数据包进行存储。在另一个实施例中，可将数据包按照缓存的物理存储区域顺序存储。例如，缓存的物理存储介质可以是磁盘，可将数据包按照磁盘中连续的区块按顺序存储。

步骤S110，服务器获取原始数据包，计算原始数据包的特征码。

原始数据包为服务节点需要发送给客户节点的数据包，先由服务器截获该原始数据包，然后向客户端转发该原始数据包。客户端接收到的该转发的原始数据包即前述的下发数据包。

在本实施例中，服务器计算原始数据包的特征码的方法与客户端计算下发数据包的特征码的方法相同，即同一个数据包在服务器和客户端计算得到的特征码相同。

步骤S112，服务器判断原始数据包的特征码是否属于接收到的特征码序列，若是，则执行步骤S114获取与原始数据包的特征码对应的确认信息并返回。

服务器接收到的特征码序列即客户端上传的特征码序列。若原始数据包的特征码属于接收到的特征码序列，则表示客户端的缓存中已存在与该原始数据包的数据内容相同的数据，即原始数据包在客户端缓存中命中；若原始数据包的特征码不属于接收到的特征码序列，则表示客户端的缓存中不存在与该原始数据包的数据内容相同的数据。

在本实施例中，若原始数据包的特征码不属于接收到的特征码序列，服务器将接收到的特征码序列清除，并执行步骤S116将原始数据包转发至客户端。

在本实施例中，当原始数据包的特征码属于接收到的特征码序列时，可获取原始数据包的特征码，并将该原始数据包的特征码作为确认信息。

步骤S118，客户端根据接收到的确认信息在缓存中获取数据包并转发。

在本实施例中，可获取确认信息对应的特征码，并在缓存中根据该特征码获取对应的数据包。确认信息为根据原始数据包的特征码生成，因此与原始数据包的特征码具有对应关系，可根据该对应关系获取确认信息对应的特征码。本实施例中，确认信息即为原始数据包的特征码，可直接根据确认信息在缓存中通过查询获取对应的数据包。

在一个实施例中，如图2所示，图2示出了服务器从服务节点获取原始数据包并转发至客户端后该原始数据包在缓存中命中的场景。

在一个实施例中，若客户端根据确认信息在缓存中获取下发数据包失败，则客户端可发起重传请求，重传请求中包括需要重传的数据包的特征码；服务器接收到重传请求后，可在重传请求中提取特征码，然后重新发送该特征码对应的原始数据包。

在一个实施例中，服务器获取与特征码对应的确认信息的步骤可具体为：服务器获取属于接收到的特征码序列的原始数据包的特征码的集合；服务器根据获取到的特征码的集合生成确认信息。

进一步的，客户端根据接收到的确认信息在缓存中获取数据包的步骤可具体为：客户端在接收到的确认信息中提取特征码集合；客户端提取特征码集合中的特征码，根据特征码在缓存中获取数据包。

例如，数据包的特征码可以是数字形式的特征码，若客户端上传的特征码序列为1至10，则服务器每接收一个数据包则计算其特征码，若计算得到获取到的前6个原始数据包的特征码按照获取的顺序分别为1至6，第7个获取到的原始数据包的特征码为12，则可将特征码1和6作为确认信息并返回，并将第7个获取到的原始数据包发送给客户端。客户端接收到1和6的确认信息后，可在缓存中按顺序获取对应特征码1至6的数据包，并发送给客户节点。

也就是说服务器在获取到原始数据包之后，并不是根据每个原始数据包的特征码均生成并返回一个确认信息，而是在判断多个原始数据包是否命中之后，根据该多个原始数据包各自的特征码生成确认信息。根据多个特征码生成确认信息可以减少服务器返回确认信息的次数，从而进一步减少带宽占用，降低网络拥塞程度。

在一个实施例中，如图3所示，数据缓存系统包括客户端100和服务器200，客户端100设置在接收数据包的客户节点处，服务器200设置在推送数据包的服务节点处。服务节点通过服务器200将数据包发送给客户节点，客户节点通过客户端100接收该数据包。

在本实施例中，如图3所示，客户端100包括数据包接收模块102、特征码查询模块104、特征码上传模块106，其中：

数据包接收模块102，用于获取下发数据包，计算所述下发数据包的特征码；

下发数据包即服务节点通过服务器200向客户节点发送的数据包。客户节点通过数据包接收模块102接收该下发数据包。

数据包接收模块102可用于通过预设的哈希函数计算数据包的哈希值，并将哈希值作为下发数据包的特征码。例如，可通过MD5、CRC等编码算法对下发数据包进行编码得到特征码。

在本实施例中，数据包接收模块102可用于接收下发数据包之后转发该下发数据包。数据包接收模块102可用于将该下发数据包转发给对应的客户节点。

特征码查询模块104，用于根据所述特征码判断缓存中是否存在所述下发数据包。

在本实施例中，如图4所示，客户端100还包括数据包缓存模块108，用于在缓存中不存在所述下发数据包时，根据特征码将下发数据包存储到缓存中。

进一步的，数据包缓存模块108还用于根据特征码的生成顺序将特征码对应的下发数据包顺序存储到缓存中。

特征码查询模块104可用于通过比对特征码来判断缓存中是否存在与下发数据包相同的数据，若存在，则表示该下发数据包在缓存中命中，否则，表示未命中。数据包缓存模块108可用于在下发数据包未命中时，根据生成对应的特征码的先后顺序（即接收到下发数据包的先后顺序）将下发数据包顺序存储。

在一个实施例中，下发数据包未命中时，数据包缓存模块108可用于将下发数据包按接收顺序编号，然后根据编号对下发数据包进行存储。在另一个实施例中，数据包缓存模块108可用于将数据包按照缓存的物理存储区域顺序存储。例如，缓存的物理存储介质可以是磁盘，可将数据包按照磁盘中连续的区块按顺序存储。

特征码上传模块106，用于在缓存中存在下发数据包时，获取与特征码的生成顺序对应的特征码序列并上传。

在本实施例中，下发数据包命中时，特征码上传模块106可用于以该命中的下发数据包的特征码为起点，按照特征码的生成顺序在缓存中获取预设个数的数据包对应的特征码构成特征码序列。特征码序列的长度可根据网络环境进行调节。

在本实施例中，服务器200包括数据包获取模块202、特征码校验模块204以及特征码反馈模块206，其中

数据包获取模块202，用于获取原始数据包，计算原始数据包的特征码。

原始数据包为服务节点需要发送给客户节点的数据包，先由数据包获取模块202截获该原始数据包，然后向客户端100转发该原始数据包。客户端100接收到的该转发的原始数据包即为前述的下发数据包。

在本实施例中，数据包获取模块202计算原始数据包的特征码的方法与数据包接收模块102计算下发数据包的特征码的方法相同，即同一个数据包在客户端100和服务器200计算得到的特征码相同。

特征码校验模块204，用于判断原始数据包的特征码是否属于接收到的特征码序列。

特征码反馈模块206，用于在原始数据包的特征码属于接收到的特征码序列时，获取与原始数据包的特征码对应的确认信息并返回。

接收到的特征码序列即特征码上传模块106上传的特征码序列。若原始数据包的特征码属于接收到的特征码序列，则表示客户端100的缓存中已存在与该原始数据包的数据内容相同的数据，即原始数据包在客户端100的缓存中命中；若原始数据包的特征码不属于接收到的特征码序列，则表示客户端100的缓存中不存在与该原始数据包的数据内容相同的数据。

在本实施例中，特征码校验模块204还用于在原始数据包的特征码不属于接收到的特征码序列时，将接收到的特征码序列清除，并将原始数据包转发至客户端。

在本实施例中，特征码反馈模块206可用于在原始数据包的特征码属于接收到的特征码序列时，获取原始数据包的特征码，并将该原始数据包的特征码作为确认信息。

在本实施例中，客户端100的数据包接收模块106还用于根据接收到的确认信息在缓存中获取数据包并转发。

在本实施例中，数据包接收模块106还可用于获取确认信息对应的特征码，并在缓存中根据该特征码获取对应的数据包。确认信息为根据原始数据包的特征码生成，因此与原始数据包的特征码具有对应关系。数据包接收模块106可用于根据该对应关系获取确认信息对应的特征码。本实施例中，确认信息即为原始数据包的特征码，数据包接收模块106可用于直接根据确认信息在缓存中通过查询获取对应的数据包。

在一个实施例中，如图2所示，图2示出了服务器200从服务节点获取原始数据包并转发至客户端100后该原始数据包在缓存中命中的场景。

在一个实施例中，客户端100还包括重传请求模块（图中未标示），服务器200还包括重传响应模块（图中未标示）。若数据包接收模块106根据确认信息在缓存中获取数据包失败，则客户端的重传请求模块可用于发起重传请求，重传请求中包括需要重传的数据包的特征码。服务器200的重传响应模块接收到重传请求后，可在重传请求中提取特征码，然后重新发送该特征码对应的原始数据包。

在一个实施例中，特征码反馈模块206还可用于获取属于接收到的特征码序列的原始数据包的特征码的集合，根据获取到的特征码的集合生成确认信息。

进一步的，数据包接收模块102还可用于在接收到的确认信息中提取特征码集合，提取特征码集合中的特征码，根据特征码在缓存中获取数据包。

例如，数据包的特征码可以是数字形式的特征码，若客户端上传的特征码序列为1至10，则服务器每接收一个数据包则计算其特征码，若计算得到获取到的前6个原始数据包的特征码按照获取的顺序分别为1至6，第7个获取到的原始数据包的特征码为12，则可将特征码1和6作为确认信息并返回，并将第7个获取到的原始数据包发送给客户端。客户端接收到1和6的确认信息后，可在缓存中按顺序获取对应特征码1至6的数据包，并发送给客户节点。

也就是说服务器在获取到原始数据包之后，并不是根据每个原始数据包的特征码均生成并返回一个确认信息，而是在判断多个原始数据包是否命中之后，根据该多个原始数据包各自的特征码生成确认信息。根据多个特征码生成确认信息可以减少服务器返回确认信息的次数，从而进一步减少带宽占用，降低网络拥塞程度。

上述数据缓存方法和系统中，客户端在数据包命中时，对后续可能接收的数据包进行了预测，即按照缓存中的存储顺序获取特征码序列并上传服务器，服务器不需要将数据包发送给客户端来判断该数据包是否在缓存中命中，而由服务器根据接收到的特征码序列进行判断，使得只需要在客户端设置缓存即可实现传统技术中的缓存效果，从而节省了服务器的存储空间，提高了存储资源的利用率。

并且，在实际网络环境中，相同的网络资源在进行传输时，通常划分成的相同的数据包序列顺序传输，因此，若在网络资源对应的数据包序列中的某个数据包在缓存中命中时，按顺序传输的数据包序列中的数据包在缓存中的命中率较高，从而提高了数据包的命中率，减少传输的数据量，从而降低了网络拥塞程度。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种数据缓存方法，包括：

客户端接收下发数据包，计算所述下发数据包的特征码；

所述客户端根据所述特征码判断缓存中是否存在所述下发数据包，若是，则获取与所述特征码的生成顺序对应的特征码序列并上传；

服务器获取原始数据包，计算所述原始数据包的特征码；

所述服务器判断所述原始数据包的特征码是否属于接收到的所述特征码序列，若是，则获取与所述原始数据包的特征码对应的确认信息并返回；

所述客户端根据接收到的确认信息在所述缓存中获取数据包并转发。

2.根据权利要求1所述的数据缓存方法，其特征在于，所述客户端根据所述特征码判断缓存中是否存在所述下发数据包的步骤之后还包括：

若缓存中不存在所述下发数据包，则所述客户端根据所述特征码将所述下发数据包存储到缓存中。

3.根据权利要求2所述的数据缓存方法，其特征在于，所述客户端根据所述特征码将所述下发数据包存储到缓存中的步骤为：

根据所述特征码的生成顺序将所述特征码对应的下发数据包顺序存储到缓存中。

4.根据权利要求1所述的数据缓存方法，其特征在于，所述服务器获取与所述特征码对应的确认信息的步骤为：

所述服务器获取属于接收到的特征码序列的所述原始数据包的特征码的集合；

所述服务器根据所述获取到的特征码的集合生成确认信息。

5.根据权利要求4所述的数据缓存方法，其特征在于，所述客户端根据接收到的确认信息在所述缓存中获取数据包的步骤为：

所述客户端在所述接收到的确认信息中提取所述特征码的集合；

所述客户端提取所述特征码的集合中的特征码，根据所述特征码在所述缓存中获取数据包。

6.一种数据缓存系统，包括客户端和服务器，其特征在于，所述客户端包括：

数据包接收模块，用于接收下发数据包，计算所述下发数据包的特征码；

特征码查询模块，用于根据所述特征码判断缓存中是否存在所述下发数据包；

特征码上传模块，用于在所述缓存中存在所述下发数据包时，获取与所述特征码的生成顺序对应的特征码序列并上传；

所述服务器包括：

数据包获取模块，用于获取原始数据包，计算所述原始数据包的特征码；

特征码校验模块，用于判断所述原始数据包的特征码是否属于接收到的所述特征码序列；

特征码反馈模块，用于在所述原始数据包的特征码属于接收到的所述特征码序列时，获取与所述原始数据包的特征码对应的确认信息并返回；

所述客户端的数据包接收模块还用于根据接收到的确认信息在所述缓存中获取数据包并转发。

7.根据权利要求6所述的数据缓存系统，其特征在于，所述客户端还包括数据包缓存模块，用于在缓存中不存在所述下发数据包时，根据所述特征码将所述下发数据包存储到缓存中。

8.根据权利要求7所述的数据缓存系统，其特征在于，所述数据包缓存模块还用于根据所述特征码的生成顺序将所述特征码对应的下发数据包顺序存储到缓存中。

9.根据权利要求6所述的数据缓存系统，其特征在于，所述特征码反馈模块还用于获取属于接收到的特征码序列的所述原始数据包的特征码的集合，根据所述获取到的特征码的集合生成确认信息。

10.根据权利要求9所述的数据缓存系统，其特征在于，所述数据包接收模块还用于在所述接收到的确认信息中提取特征码的集合，提取所述特征码的集合中的特征码，根据所述特征码在所述缓存中获取数据包。

Images