CN105653198A - 数据处理方法及装置 - Google Patents

Abstract

本发明提供一种数据处理方法及装置，该方法包括：建立用于存储各个数据的索引信息的索引结构，其中索引信息包括缓存地址和过期时间；根据索引结构中索引信息的过期时间，周期性地判断各个数据是否已经过期：若数据已经过期，则根据该数据的缓存地址，在本地数据缓存中查找到该数据，并删除该数据。本发明实施例中，缓存服务器通过建立索引结构，将数据与索引信息分开存储，可以提高数据查找速度；通过根据索引结构中索引信息的过期时间，删除已经过期的数据，可以释放数据存储空间，提高存储空间利用率。

Description

数据处理方法及装置

技术领域

本发明涉及网络通信技术领域，尤其涉及一种数据处理方法及装置。

背景技术

随着互联网技术的发展，特别是在线视频服务的快速增长，用户对宽带的需求越来越大。WebCache(网络缓存)技术在现有网络架构的基础上，可以实现资源的本地化读取，从而达到优化网络宽带、提高网络服务质量、增强网络信息可用性和提高网络灵活性的目的。WebCache技术主要用于缓存HTTP(Hypertexttransferprotocol，超文本传输协议)对象。

现有技术中，WebCache技术通过在磁盘上建立多级目录，以系统文件的方式，对HTTP对象进行存储。但是，由于现有存储方式在查找HTTP对象时，需要逐一查询各级目录，频繁访问系统文件，因此查找速度较慢。另外，现有存储方式以多级目录的形式存储HTTP对象，占用空间较大。

发明内容

本发明提供一种数据处理方法及装置，以解决缓存数据查找速度较慢、占用空间较大的问题。

根据本发明实施例的第一方面，提供一种数据处理方法，包括：

建立用于存储各个数据的索引信息的索引结构，其中所述索引信息包括缓存地址和过期时间；

根据所述索引结构中索引信息的过期时间，周期性地判断各个数据是否已经过期；

若数据已经过期，则根据所述数据的缓存地址，在本地数据缓存中查找到所述数据，并删除所述数据。

根据本发明实施例的第二方面，提供一种数据处理装置，包括：

第一建立单元，用于建立存储各个数据的索引信息的索引结构，其中所述索引结构包括缓存地址和过期时间；

判断单元，与所述第一建立单元连接，用于根据所述索引结构中索引信息的过期时间，周期性地判断各个数据是否已经过期；

操作单元，与所述判断单元连接，用于在判断数据已经过期时，根据所述数据的缓存地址，在本地数据缓存中查找到所述数据，并删除所述数据。

本发明实施例中，缓存服务器通过建立用于存储各个数据的索引信息的索引结构，将数据与索引信息分开存储，可以提高数据的查找速度；通过根据索引结构中索引信息的过期时间，删除已经过期的数据，可以释放数据存储空间，提高存储空间利用率。

附图说明

图1是本发明数据处理方法的一个实施例流程图；

图2是本发明最小堆索引结构的一个实施例框图；

图3是本发明数据处理方法的另一个实施例流程图；

图4是本发明数据处理方法的另一个实施例流程图；

图5是本发明数据处理方法的另一个实施例流程图；

图6是本发明数据处理装置所在设备的一种硬件结构图；

图7是本发明数据处理装置的一个实施例框图；

图8是本发明数据处理装置的另一个实施例框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明实施例中技术方案作进一步详细的说明。

现有技术中，缓存服务器通过在磁盘上建立多级目录，以系统文件的方式,对数据进行缓存，数据查找速度较慢，且占用空间较大。本发明实施例中，缓存服务器通过建立索引结构，将数据和索引信息分开存储，可以提高数据的查找速度。

参见图1，为本发明数据处理方法的一个实施例流程图，该实施例从缓存服务器侧进行描述，包括以下步骤：

步骤101、建立用于存储各个数据的索引信息的索引结构，其中该索引信息包括缓存地址和过期时间。

本实施例中，每一数据与至少一条索引信息相对应，每条索引信息包括至少一个缓存地址和至少一个过期时间。缓存服务器根据缓存地址可以定位数据在服务器磁盘中的存储位置，根据过期时间可以判断数据的生命周期是否结束。

步骤102、根据索引结构中索引信息的过期时间，周期性地判断各个数据是否已经过期。

步骤103、若数据已经过期，则根据该数据的缓存地址，在本地数据缓存中查找到该数据，并删除该数据。

在本实施例中，在判断各个数据是否已经过期时，若当前时间超过数据的过期时间，则表示该数据已经过期，否则表示数据未过期。

由上述实施例可见，缓存服务器通过建立用于存储各个数据的索引信息的索引结构，将数据与索引信息分开存储，可以提高数据的查找速度；通过根据索引结构中索引信息的过期时间，删除已经过期的数据，可以释放数据存储空间，提高存储空间利用率。

进一步地，该方法还可以包括：若数据已经过期，则从索引结构中删除已经过期的数据的索引信息。缓存服务器通过将已经过期的数据的索引信息从索引结构中删除，可以进一步提高数据的查找速度。

进一步地，索引结构中的索引信息可以按照过期时间的先后顺序进行排列。例如，该索引结构可以为最小堆索引结构，其以节点的形式来存储各条索引信息，每条索引信息包括至少一个缓存地址和至少一个过期时间。最小堆索引结构中各个节点按照过期时间的先后顺序，以二叉树的形式进行排列，从根节点到各级子节点，节点的过期时间逐渐靠后。节点的过期时间越靠前则表示对应数据的生命周期将越快结束。当索引结构为最小堆索引结构时，缓存服务器可以从最小堆索引结构的根节点开始，依次判断各个节点对应的数据是否已经过期，当确定其中一个节点对应的数据未过期时结束判断流程。

参见图2，为最小堆索引结构的一个实施例框图。在该最小堆索引结构中，根节点210的过期时间比一级子节点220和230的过期时间靠前，其表示相比于一级子节点220和230，根节点210的生命周期将越快结束；一级子节点220的过期时间比二级子节点240和250的过期时间靠前，其表示相比于二级子节点240和250，一级子节点220的生命周期将越快结束。缓存服务器通过将索引结构中的索引信息按照过期时间的先后顺序进行排列，可以快速查找到并删除已经过期的数据，提高释放数据存储空间的效率。

进一步地，建立索引结构的过程包括：在启动系统时，将磁盘中的索引信息加载至存储索引结构的区域(如内存)中；再将该区域中的索引信息按照过期时间的先后顺序进行排列，从而建立索引结构。

进一步地，各个数据可以采用文件的形式存储在缓存服务器的磁盘中，索引结构可以存储在缓存服务器的内存中。缓存服务器通过将各个数据以单个文件的形式存储在其磁盘中，可以防止系统在退出或者出现故障重启时造成的数据丢失；通过将索引结构存储在内存中，可以减少磁盘的输入/输出端口的访问压力，提高数据查找速度。

参见图3，为本发明数据处理方法的另一个实施例流程图，该实施例从缓存服务器侧进行描述，其与图1所示实施例的区别在于，索引信息还可以包括数据的文件名，且在建立用于存储各个数据的索引信息的索引结构之后，还包括以下步骤：

步骤301、接收客户端发送的数据请求报文，该数据请求报文包括客户端所请求的数据的文件名。

步骤302、将数据请求报文中的文件名与索引信息中的文件名进行匹配，确定客户端所请求的数据的索引信息。

在本实施例中，在将数据请求报文中的文件名与索引信息中的文件名进行匹配时，若数据请求报文中的文件名与索引信息中的文件名相同，则确定该索引信息为客户端所请求的数据的索引信息。

步骤303、根据客户端所请求的数据的索引信息中的缓存地址，在本地数据缓存中查找客户端所请求的数据：若未查找到客户端所请求的数据，则执行步骤304，否则，执行步骤307。

步骤304、向Web服务器发送数据下载请求报文。该数据下载请求报文用于请求Web服务器向缓存服务器返回客户端所请求的数据，执行步骤305。

步骤305、接收Web服务器发送的数据下载应答报文，以获得客户端所请求的数据，执行步骤306。

步骤306、向该索引结构中增加获得的数据的索引信息。

步骤307、向客户端返回其请求的数据。

由上述实施例可见，缓存服务器通过向索引结构中增加获得的新数据的索引信息，可以方便查找获得的新数据。

进一步地，该方法还可以包括：在磁盘中建立用于存储各个数据的索引信息的第一索引区和第二索引区；且在索引结构发生改变(诸如索引结构中删除或增加索引信息)时，将第一索引区的索引信息写入第二索引区中；周期性地将索引结构的索引信息依次同步至第一索引区和第二索引区中。

系统在异常退出后，重新启动时，若第一索引区和第二索引区的索引信息不一致，则表示缓存服务器在将索引结构的索引信息同步至第一索引区和第二索引区的过程中出现错误，从第一索引区和第二索引区中选择索引信息数量较多的一个索引区作为正确的索引区，以该索引区的索引信息为基础建立索引结构。

由于系统在退出时内存中的内容通常会自动清空，因此缓存服务器通过在磁盘中建立用于存储各个数据的索引信息的第一索引区和第二索引区，可以更加稳定地存储各个数据的索引信息；通过在索引结构发生改变时周期性地将索引结构中的索引信息依次同步至第一索引区和第二索引区中，可以避免系统异常退出时造成的索引信息丢失，从而避免由于索引信息丢失而造成的数据无法访问。

进一步地，缓存服务器还可以通过LRU(LeastRecentlyUsed，近期最少使用)算法，将访问量较大的热点数据保存至内存中，减小了磁盘的输入/输出端口的访问压力，提高了数据查找速度。缓存服务器还可以通过采用多线程的方式来查找数据，提高了数据查找速度。

事实上，判断数据是否已经过期可以分为主动模式和被动模式，其中主动模式是指缓存服务器周期性地判断各个数据是否已经过期，被动模式是指缓存服务器在监听到客户端向Web服务器发送的数据请求报文后，判断客户端所请求的数据是否过期。

以下结合图4和图5，分别从主动模式和被动模式两个方面来对本发明实施例进行详细地描述。

参见图4，为本发明数据处理方法的另一个实施例流程图，该实施例从缓存服务器侧对主动模式进行描述。在本实施例中，索引结构为最小堆索引结构，存储在缓存服务器的内存中，第一索引区和第二索引区保存在缓存服务器的磁盘中。该方法包括以下步骤：

步骤401、启动系统，将第一索引区中的索引信息加载至存储最小堆索引结构的区域中，并执行步骤402。

步骤402、将该区域中的索引信息按照过期时间的先后顺序进行排列，从而建立最小堆索引结构，并执行步骤403。

步骤403、启动过期Expire线程，执行步骤404。

步骤404、判断该最小堆索引结构中根节点所对应的数据是否已经过期：若已经过期，则执行步骤405，否则，执行步骤411。

步骤405、从缓存服务器的磁盘中删除该数据，且从最小堆索引结构中删除该根节点对应的索引信息，执行步骤406。

步骤406、将第一索引区的索引信息写入第二索引区中，并执行步骤407。

步骤407、将最小堆索引结构的索引信息加载至第一索引区中，并执行步骤408。

步骤408、将最小堆索引结构的索引信息加载至第二索引区中，并执行步骤409。

步骤409、判断该最小堆索引结构中下一级子节点所对应的数据是否已经过期：若已经过期，则执行步骤410，否则，执行步骤411。

步骤410、从缓存服务器的磁盘中删除该数据，从最小堆索引结构中删除该子节点所对应的索引信息，并执行步骤406。

步骤411、Expire线程进入休眠状态，执行步骤412。

步骤412、判断Expire线程是否到达启动周期：若到达，则执行步骤403，否则，执行步骤411。

参见图5，为本发明数据处理方法的另一个实施例流程图，该实施例从缓存服务器侧对被动模式进行描述，包括以下步骤：

步骤501、启动系统，将第一索引区中的索引信息加载至存储最小堆索引结构的区域中，执行步骤502。

步骤502、将该区域的索引信息按照过期时间的先后顺序进行排列，从而建立最小堆索引结构，执行步骤503。

步骤503、接收客户端发送的数据请求报文，执行步骤504。

步骤504、根据数据请求报文在本地数据缓存中查找客户端所请求的数据：若查找到客户端所请求的数据，则执行步骤505，否则，执行步骤507。

步骤505、根据最小堆索引结构中对应索引信息的过期时间，判断该数据是否已经过期：若该数据已经过期，则执行步骤506，否则，执行步骤509。

步骤506、删除该数据，向Web服务器发送数据下载请求报文，以获得客户端所请求的数据，并执行步骤509。

步骤507、向Web服务器发送数据下载请求报文，以获得客户端所请求的数据，执行步骤508。

步骤508、在最小堆索引结构中增加客户端所请求的数据的索引信息，执行步骤509。

在本实施例中，客户端所请求的数据的索引信息包括缓存服务器向数据分配的缓存地址以及数据自身携带的过期时间。

步骤509、向客户端返回其请求的数据。

与前述数据处理方法实施例相对应，本发明还提供了数据处理装置的实施例。

本发明数据处理装置可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图6所示，为本发明数据处理装置所在设备的一种硬件结构图，除了图6所示的处理器、网络接口、内存以及非易失性存储器之外，实施例中装置所在的设备通常还可以包括其他硬件，如负责处理报文的转发芯片等等；从硬件结构上来讲该设备还可能是分布式的设备，可能包括多个接口卡，以便在硬件层面进行数据处理的扩展。

参见图7，为本发明数据处理装置的一个实施例框图，所述装置包括：第一建立单元710、判断单元720和操作单元730。

其中，第一建立单元710，用于建立用于存储各个数据的索引信息的索引结构，其中该索引信息包括缓存地址和过期时间；

判断单元720，与第一建立单元710连接，用于根据索引结构中索引信息的过期时间，周期性地判断各个数据是否已经过期；

操作单元730，与判断单元720连接，用于在判断数据已经过期时，根据该数据的缓存地址，在本地数据缓存中查找到该数据，并删除该数据。

由上述实施例可见，缓存服务器通过建立用于存储各个数据的索引信息的索引结构，将数据与索引信息分开存储，可以提高数据的查找速度；通过根据索引结构中索引信息的过期时间，删除已经过期的数据，可以释放数据存储空间，提高存储空间利用率。

参见图8，为本发明数据处理装置的另一个实施例框图，其与图7所示实施例的区别在于，所述装置还包括：

更新单元870，与判断单元720连接，用于在判断数据已经过期时，从所述索引结构中删除已经过期的数据的索引信息；

接收单元840，用于接收客户端发送的数据请求报文，该数据请求报文包括客户端所请求的数据的文件名；

查找单元850，与接收单元840连接，用于将该数据请求报文中的文件名与索引信息中的文件名进行匹配，以确定该客户端所请求的数据的索引信息；

还用于根据客户端所请求的数据的索引信息中的缓存地址，在本地数据缓存中查找客户所请求的数据；

发送单元860，与查找单元850连接，用于在未查找到客户端所请求的数据时，向Web服务器发送数据下载请求报文；

接收单元840，还用于接收Web服务器发送的数据下载应答报文，以获得客户端所请求的数据。

更新单元870，还与接收单元840连接，用于在获得客户端所请求的数据时，向所述索引结构中增加获得的数据的索引信息；

第二建立单元880，用于在磁盘中建立用于存储各个数据的索引信息的第一索引区和第二索引区；

同步单元890，分别与更新单元870、第一建立单元710、第二建立单元880连接，用于在所述索引结构发生改变时，周期性地将所述索引结构中的索引信息依次同步至第一索引区和第二索引区中。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

由上述实施例可见，缓存服务器通过在磁盘中建立用于存储各个数据的索引信息的第一索引区和第二索引区，可以更加稳定地存储各个数据的索引信息；通过在索引结构发生改变时周期性地将索引结构中的索引信息依次同步至第一索引区和第二索引区中，可以避免系统异常退出时造成的索引信息丢失，从而避免由于索引信息丢失而造成的数据无法访问。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种数据处理方法，其特征在于，包括：

建立用于存储各个数据的索引信息的索引结构，其中所述索引信息包括缓存地址和过期时间；

根据所述索引结构中索引信息的过期时间，周期性地判断各个数据是否已经过期；

若数据已经过期，则根据所述数据的缓存地址，在本地数据缓存中查找到所述数据，并删除所述数据。

2.根据权利要求1所述的方法，其特征在于，还包括：若数据已经过期，则从所述索引结构中删除已经过期的数据的索引信息。

3.根据权利要求1所述的方法，其特征在于，所述索引信息还包括文件名，且在建立用于存储各个数据的索引信息的索引结构之后，还包括：

接收客户端发送的数据请求报文，所述数据请求报文包括客户端所请求的数据的文件名；

将所述数据请求报文中的文件名与所述索引信息中的文件名进行匹配，确定所述客户端所请求的数据的索引信息；

根据所述客户端所请求的数据的索引信息中的缓存地址，在所述本地数据缓存中查找所述客户端所请求的数据：若未查找到所述客户端所请求的数据，则向网络Web服务器发送数据下载请求报文；

接收所述Web服务器发送的数据下载应答报文，以获得所述客户端所请求的数据；

向所述索引结构中增加获得的数据的索引信息。

4.根据权利要求1至3中任一项所述的方法，其特征在于，还包括：

在磁盘中建立用于存储各个数据的索引信息的第一索引区和第二索引区；且在所述索引结构发生改变时，周期性地将所述索引结构中的索引信息依次同步至所述第一索引区和所述第二索引区中。

5.根据权利要求4所述的方法，其特征在于，所述索引结构中的索引信息按照过期时间的先后顺序进行排列。

6.一种数据处理装置，其特征在于，包括：

第一建立单元，用于建立存储各个数据的索引信息的索引结构，其中所述索引结构包括缓存地址和过期时间；

判断单元，与所述第一建立单元连接，用于根据所述索引结构中索引信息的过期时间，周期性地判断各个数据是否已经过期；

操作单元，与所述判断单元连接，用于在判断数据已经过期时，根据所述数据的缓存地址，在本地数据缓存中查找到所述数据，并删除所述数据。

7.根据权利要求6所述的装置，其特征在于，还包括：

更新单元，与所述操作单元连接，用于在判断数据已经过期时，从所述索引结构中删除已经过期的数据的索引信息。

8.根据权利要求6所述的装置，其特征在于，还包括：

接收单元，用于接收客户端发送的数据请求报文，所述数据请求报文包括客户端所请求的数据的文件名；

查找单元，与所述接收单元连接，用于将所述数据请求报文中的文件名与所述索引信息中的文件名进行匹配，以确定所述客户端所请求的数据的索引信息；

还用于根据所述客户端所请求的数据索引信息中的缓存地址，在本地数据缓存中查找所述客户端所请求的数据；

发送单元，与所述查找单元连接，用于在未查找到所述客户端所请求的数据时，向所述Web服务器发送数据下载请求报文；

所述接收单元，还用于接收所述Web服务器发送的数据下载应答报文，以获得所述客户端所请求的数据；

所述更新单元，还与所述接收单元连接，用于在获得所述客户端所请求的数据时，向所述索引结构中增加获得的数据的索引信息。

9.根据权利要求6至8中任一项所述的装置，其特征在于，还包括：

第二建立单元，用于在磁盘中建立用于存储各个数据的索引信息的第一索引区和第二索引区；

同步单元，分别与所述更新单元、所述第一建立单元和所述第二建立单元连接，用于在所述索引结构发生改变时，周期性地将所述索引结构中的索引信息依次同步至所述第一索引区和所述第二索引区中。

10.根据权利要求9所述的装置，其特征在于，所述索引结构中的索引信息按照过期时间的先后顺序进行排列。