CN101277211A - 数据缓存方法及装置 - Google Patents

Abstract

本发明公开了一种数据缓存方法及装置，通过确定需要进行磁盘缓存的数据；按照预设的写入规则将所述数据写入磁盘中；为写入磁盘的数据建立索引，从而利用磁盘实现了数据的缓存。由于磁盘容量大、非易失等特点，使得P2P点播系统中的节点可以提供更多的共享资源，且并不限于用户正在点播的媒体资源，从而提高P2P点播系统的整体性能。

Description

数据缓存方法及装置

技术领域

本发明涉及互联网技术领域，特别涉及数据缓存方法及装置。

背景技术

交互式视频点播技术，简称为点播技术，可以根据用户的需要播放相应的视频节目，从根本上改变了用户过去被动式观看视频的不足。视频点播技术主要由服务器端系统，网络系统和系统客户端系统三部分组成。

服务器端系统主要由存储设备、高速缓存和控制管理单元组成，其目标是实现对媒体数据的压缩和存储，以及按请求进行媒体信息的检索和传输。网络系统主要负责多媒体数据的传输。是影响视频点播性能的关键。客户端系统主要处理多媒体数据的接收，缓存，播放等相关的应用，并且维护客户端与服务器端的交互。

随着计算机网络的快速发展，计算机用户成指数倍增长，点播的需求也越来越高。在传统模式下，点播系统的服务器端承担了点播请求处理和数据发送的全部工作。随着用户量的增加，服务器势必无法承受。解决这一问题的方法是增加服务器。然而这一方法会使得系统成本增加，而且有限的扩容也无法支持无限扩大的点播需求，该方法始终会面临瓶颈。

点到点(P2P，peer-to-peer)，是一种点对点的互联网技术。简单来说，P2P直接将人们联系起来，让人们通过互联网直接交互。P2P使得网络上的沟通变得容易、更直接共享和交互，消除了中间商。P2P用户可以直接连接到其他P2P用户的计算机，直接交换文件，而不是像过去那样连接到服务器去浏览与下载。P2P另一个重要特点是改变互联网现在的以大网站为中心的状态、重返″非中心化″，把资源交互的权力交还给用户。

P2P点播系统是在传统的网络点播系统中引入了P2P传输技术，使得加入点播系统的各个节点之间能够相互传输共享资源，分担系统服务器的负担，充分地利用网络带宽资源，具有良好的灵活性，可扩展性。

数据缓存技术是P2P点播系统的一个关键技术。数据的共享是以数据的缓存为基础的。P2P点播系统中的所有节点将各自缓存的数据作为资源相互交换，从而达到资源共享的目的；可交换的资源越多，P2P点播系统的性能也就越好。传统的数据缓存都是在内存中的。用户节点从服务器下载数据，在点播的过程中，将一部分数据缓存在内存中，从而实现给其他节点发送数据的可能。当其他节点请求某些数据时，拥有这些数据的节点就直接从内存中读取并发送出去。该方法实现了数据的共享，但是也具有以下不足：其一，受到内存容量的限制，每个节点只能在内存中保存一小部分数据，这意味着每个节点的服务能力有限，只能满足一小部分数据的下载请求。其二，现有以内存为介质的数据缓存方法，由于内存的易失性和用途所限，每个加入点播系统的节点只能提供当前自己正在观看的流媒体的数据共享，而用户的行为具有随意性，所以很难保证每个流媒体节目都有足够多的用户在点播，也就不能保证有足够多的共享资源，从而降低P2P点播系统的性能和使用价值。

发明内容

本发明实施例提供一种数据缓存方法，可以提供较多的共享资源，从而提高P2P点播系统的性能。

本发明实施例提供一种数据缓存装置，可以提供较多的共享资源，从而提高P2P点播系统的性能。

为达到上述目的，本发明的技术方案具体是这样实现的：

一种数据缓存方法，其特征在于，该方法包括：

确定需要进行磁盘缓存的数据；

按照预设的写入规则将所述数据写入磁盘中；

为写入磁盘的数据建立索引。

一种数据缓存装置，其特征在于，该装置包括：

缓存数据确定模块，用于确定需要进行磁盘缓存的数据；

缓存数据写入模块，用于按照预设的写入规则将需要进行磁盘缓存的数据写入磁盘中；

索引建立模块，用于为写入磁盘的数据建立索引。

由上述的技术方案可见，本发明的这种通过确定需要进行磁盘缓存的数据；按照预设的写入规则将所述数据写入磁盘中；为写入磁盘的数据建立索引的数据缓存方法和装置，利用磁盘实现了数据的缓存，由于磁盘容量大、非易失等特点，使得P2P点播系统中的节点可以提供更多的共享资源，且并不限于用户正在点播的媒体资源，从而提高P2P点播系统的整体性能。

附图说明

图1为本发明实施例的数据缓存方法流程图；

图2为本发明实施例的数据缓存装置结构图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本发明进一步详细说明。

本发明实施例主要是利用了用户节点的磁盘作为缓存介质，利用磁盘的容量大及非易失性等特点，将用户点播的数据写入磁盘中进行缓存，在磁盘容量足够多的情况下，能够缓存较多的数据，从而可以向其他节点提供较多共享资源，提高P2P点播系统的性能。

图1为本发明实施例的数据缓存方法流程图，该流程包括以下步骤：

步骤101，确定需要进行磁盘缓存的数据。

步骤102，按照预设的写入规则将所述数据写入磁盘中。

步骤103，为写入磁盘的数据建立索引。

步骤103完成后，可继续转到步骤101，重复执行步骤101～103，直至用户停止点播。

步骤101中，确定需要进行磁盘缓存的数据的具体方法可以是：监测用户下载的数据，每当用户新下载的数据的总量达到预设的阈值时，则将这部分数据确定为需要进行磁盘缓存的数据。一般节点从P2P点播网络中下载的数据以秒为单位缓存在内存中；此时可以对内存中的用户下载的数据进行监测，实时记录内存中缓存的数据的秒数，每当下载的数据达到预设的秒数总量，如20s时，则对这20s数据进行磁盘缓存，当然，这个预设的阈值可以根据实际需要设定，这个阈值也代表了磁盘缓存时写入磁盘的文件的最小单位，一般来说，这个阈值设置为20s～100s较好，小文件存储有利于将磁盘碎片控制在较小的粒度，提高磁盘利用率。

步骤102中，将数据写入磁盘的具体方法可以是：根据所述数据的秒数标识，确定每一秒的数据与写入磁盘的文件编号的对应关系；再根据所述数据与写入磁盘的文件的对应关系，将所述数据写入磁盘中。

因为数据一般是以其所在的流媒体节目，如视频、音频等播放时所处的时间点来标识的，在存储时，可以按照时间段分块存储，例如以所设置的阈值20s为单位进行存储，每20s的数据存储为一个文件，每个文件有一个唯一的编号。例如从第0秒的数据开始，第0至19秒的数据存为文件1，第20-39秒存为文件2，依此类推。文件编号与数据的秒数标识的关系可以由公式P＝S％T+1表示，其中S表示数据的秒数标识，P为文件的编号，T为步骤101中预设的阈值，公式中％为取余，如果阈值设为20s，则该公式为：P＝S％20+1，通过该公式，可以计算出每一秒的数据所对应的，写入磁盘中时的文件编号。例如第13秒数据对应的文件编号P＝13％20+1＝0+1＝1。

假设确定需要进行磁盘缓存的数据的秒数区间为[s1，s2]，则对s1至s2之间的每一秒数据使用公式P＝S％20+1计算其要保存的文件编号。假设存在第s秒的数据，使得[s1，s]之间的数据对应同一个文件P1，[s+1，s2]对应同一个文件P2，则将要保存的数据划分为[s1，s]和[s+1，s2]两段，分别写入相应的文件中。以数据的秒数标识来划分写入的文件，可以减少磁盘读写时的磁头的移动距离，提高磁盘读写的效率。

当然，在实际写入前，用户节点的磁盘空间有可能不足以保存这些数据，或者为了保证用户节点的正常运行，需要保留一定的磁盘空间，而限制数据的写入，因此可以在根据所述数据的秒数标识，确定每一秒的数据与写入磁盘的文件编号的对应关系之后，根据所述数据与写入磁盘的文件的对应关系，将所述数据写入磁盘中之前，进一步包括一个判断磁盘空间是否足够的步骤：判断可用磁盘空间是否足够写入所述确定需要缓存的数据，若可用磁盘空间不足以写入所述确定需要缓存的数据，则对已写入磁盘中的数据进行清理，使可用磁盘空间足够写入所述确定需要缓存的数据。

对于判断磁盘空间是否足够，有很多种方法，如设置一个最小可用空间值，当磁盘上各分区中最大的剩余空间小于该值时，则认为磁盘空间不足，并进行磁盘清理的操作，否则不做处理。

具体的磁盘清理也有很多种方法，例如删除较早写入的数据、删除其他节目的数据或者直接删除所有已写入磁盘的数据等，较佳的方式还有：找出当前保存数据量最大的流媒体节目，将其从磁盘删除。具体操作如下：例如每个流媒体节目拥有一个唯一的ID号作为标识，假设磁盘中已保存了流媒节目1，2，……k，(k为自然数)，而当前要保存的数据属于节目t，t为自然数，则遍历所有的节目ID号与t不相等的节目，选择数据量最大的节目删除，清理出空余的空间。

在准备好写入的数据，也有足够的空间写入时，即可开始具体的写入操作了，写入时，可以按照如下的原则进行写入：将对应相同文件编号的数据写入同一文件中，对应不同文件编号的数据写入不同的文件中；若与数据对应编号的文件已经存在，则将数据追加写入到该文件末尾；若与数据对应编号的文件不存在，则创建该编号的文件，将数据写入文件中。

具体来说，可以首先判断要保存的数据所对应的流媒体节目是否是第一次保存。如果是，则根据该节目的编号ID创建一个保存该节目数据的文件夹。接着，根据公式P＝S％T+1计算每一秒的数据要写入的文件的编号，判断该文件是否存在，若无则创建一个新文件，并把数据写进去；若有，则打开相应文件，将该秒的数据追加到文件的末尾。

另外，在写入时，每秒数据可以占用完整的逻辑分块，如果最后一个逻辑分块没有被占满，可以添加任意字符补足。比如，若某一秒数据长度为42688字节，则写入时将占用[42668/1024]块逻辑分块，其中[]为取整运算。而最后一块逻辑分块因为没有被占满，则需要在其后补足[42668/1024]×1024-42668＝320字节的其他字符，从而补满最后一块没有占满的逻辑分块，其中补足的字符可以为任意字符。补足没有占满的逻辑分块，可以使磁盘维护更加简便，减少文件删除时数据维护的开销。

步骤103中，由于写入磁盘的数据并不一定是顺序写入的。比如可能存在这种情况，对于文件1，其应该包括0～19秒的数据，而写入时可能先写入了第0～5秒的数据，接着保存了14～19秒的数据，然后又保存了6～13秒的数据。这就导致在该文件中各秒的数据的存储位置是不连续的。因此，必须为每个节目的每一秒的数据建立索引。用于指定该秒的数据在文件中的位置，从而正确地共享所需数据。

具体来说，可以采用C++STL库中的map表实现，索引的结构可以为：<秒号，本秒信息>。秒号是一个整数，表示数据所处的时间点。本秒信息是一个结构体，该结构体包含两个数据：{本秒数据的长度SecLength，本秒数据在文件中的保存位置DiskNo}。一般在逻辑上将文件以1k字节为单位划分为多个块，本秒数据在文件中的保存位置DiskNo表示该秒数据在文件中的起始块号，根据该块号可以找到该秒数据在文件中存储的开始位置，然后根据该秒数据的长度就可以索引到该秒数据了。

假设当前要建立第20秒数据的索引，则根据公式P＝S％T+1可以计算得出该数据对应的文件，若T设置为20，则第20秒数据应保存在该节目的文件2上，接着打开文件2，获得当前文件的长度，设文件长度为FileLength，在逻辑上文件以1k(1024)字节为单位分块，设该秒数据在文件中的起始块号为DiskNo，则DiskNo可以根据公式DiskNo＝[FileLength/1024]+1计算得出，其中[]为取整运算。

若当前FileLength＝10240字节，则第20秒数据的开始块号DiskNo＝[10240/1024]+1＝11。若该秒数据长度为42688字节，则第20秒数据的索引为：<20，{42668，11}>。建立索引可以提高数据存取的效率，提高共享的性能。

以上就是本发明实施例的数据缓存方法，下面将具体介绍本发明实施例的数据缓存装置。

图2为本发明实施例的数据缓存装置的结构示意图；如图2所示，该装置包括：缓存数据确定模块201、缓存数据写入模块202和索引建立模块203。

缓存数据确定模块201用于确定需要进行磁盘缓存的数据。

缓存数据写入模块202用于按照预设的写入规则将需要进行磁盘缓存的数据写入磁盘中。

索引建立模块203用于为写入磁盘的数据建立索引。

其中缓存数据确定模块201包括：数据监测单元204和数据确定单元205。

数据监测单元204用于监测用户下载的数据。

数据确定单元205用于在每当所述数据监测单元204监测出用户新下载的数据的总量达到预设的阈值时，将这部分数据确定为需要进行磁盘缓存的数据。

缓存数据写入模块202包括：对应关系确定单元206和写入单元208。

对应关系确定单元206用于根据所述数据的秒数标识，确定每一秒的数据与写入磁盘的文件编号的对应关系。

写入单元208用于根据所述数据与写入磁盘的文件的对应关系，将所述数据写入磁盘中。

较佳地，缓存数据写入模块202可以进一步包括磁盘空间清理单元207。

磁盘空间清理单元207用于判断可用磁盘空间是否足够写入所述确定需要缓存的数据，若可用磁盘空间不足以写入所述确定需要缓存的数据，则对已写入磁盘中的数据进行清理，使可用磁盘空间足够写入所述确定需要缓存的数据。

较佳地，对应关系确定单元206在确定每一秒的数据与写入磁盘的文件编号的对应关系时，可以使用根据公式P＝S％T+1计算数据对应的文件编号，其中P表示文件编号，S表示数据的秒数标识，T为预设的阈值。

较佳地，写入单元208在写入时，可将对应相同文件编号的数据写入同一文件中，若与数据对应编号的文件已经存在，则将数据追加写入到该文件末尾；若与数据对应编号的文件不存在，则创建该编号的文件，将数据写入文件中。

另外索引建立模块203可以根据写入磁盘的数据的秒数标识、数据所在的文件的长度及数据在文件中的起始位置，为每一秒的数据建立索引。

由上述的实施例可见，本发明的这种利用磁盘作为介质的数据缓存方法和装置，充分利用磁盘的大容量、非易失等特点，增加了P2P点播系统中节点可以共享的资源数量，且不限于用户正在点播的媒体资源，提高了P2P点播系统的性能。另外，通过小文件存储、按时间段写入文件、逻辑分块补足、和建立索引等方法，优化了磁盘存取的性能，减少了磁盘维护的开销，提高了磁盘利用率和读写效率，进一步提高了利用磁盘进行数据缓存的性能。

所应理解的是，以上所述仅为本发明的较佳实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (14)

1、一种数据缓存方法，其特征在于，该方法包括：

确定需要进行磁盘缓存的数据；

按照预设的写入规则将所述数据写入磁盘中；

为写入磁盘的数据建立索引。

2、如权利要求1所述的数据缓存方法，其特征在于，所述确定需要进行磁盘缓存的数据，包括：

监测用户下载的数据，每当用户新下载的数据的总量达到预设的阈值时，则将这部分数据确定为需要进行磁盘缓存的数据。

3、如权利要求2所述的数据缓存方法，其特征在于，所述按照预设的写入规则将所述数据写入磁盘中，包括：

根据所述数据的秒数标识，确定每一秒的数据与写入磁盘的文件编号的对应关系；

根据所述数据与写入磁盘的文件的对应关系，将所述数据写入磁盘中。

4、如权利要求3所述的数据缓存方法，其特征在于，所述根据所述数据的秒数标识，确定每一秒的数据与写入磁盘的文件编号的对应关系之后，根据所述数据与写入磁盘的文件的对应关系，将所述数据写入磁盘中之前，进一步包括：

判断可用磁盘空间是否足够写入所述确定需要缓存的数据，若可用磁盘空间不足以写入所述确定需要缓存的数据，则对已写入磁盘中的数据进行清理，使可用磁盘空间足够写入所述确定需要缓存的数据。

5、如权利要求3或4所述的数据缓存方法，其特征在于，所述根据所述数据的秒数标识，确定每一秒的数据与写入磁盘的文件编号的对应关系包括：根据公式P＝S％T+1计算数据对应的文件编号，其中P表示文件编号，S表示数据的秒数标识，T为所述的阈值。

6、如权利要求5所述的数据缓存方法，其特征在于，所述根据所述数据与写入磁盘的文件的对应关系，将所述数据写入磁盘中，包括：

将对应相同文件编号的数据写入同一文件中，若与数据对应编号的文件已经存在，则将数据追加写入到该文件末尾；若与数据对应编号的文件不存在，则创建该编号的文件，将数据写入文件中。

7、如权利要求6所述的数据缓存方法，其特征在于，所述为写入磁盘的数据建立索引包括：

根据写入磁盘的数据的秒数标识、数据所在的文件的长度及数据在文件中的起始位置，为每一秒数据建立索引。

8、一种数据缓存装置，其特征在于，该装置包括：

缓存数据确定模块，用于确定需要进行磁盘缓存的数据；

缓存数据写入模块，用于按照预设的写入规则将需要进行磁盘缓存的数据写入磁盘中；

索引建立模块，用于为写入磁盘的数据建立索引。

9、如权利要求8所述的数据缓存装置，其特征在于，所述缓存数据确定模块，包括：

数据监测单元，用于监测用户下载的数据；

数据确定单元，用于在每当所述数据监测单元监测出用户新下载的数据的秒数达到预设的阈值时，将这部分数据确定为需要进行磁盘缓存的数据。

10、如权利要求8所述的数据缓存装置，其特征在于，所述缓存数据写入模块包括：

对应关系确定单元，用于根据所述数据的秒数标识，确定每一秒的数据与写入磁盘的文件编号的对应关系；

写入单元，用于根据所述数据与写入磁盘的文件的对应关系，将所述数据写入磁盘中。

11、如权利要求10所述的数据缓存装置，其特征在于，所述缓存数据写入模块进一步包括：

磁盘空间清理单元，用于判断可用磁盘空间是否足够写入所述确定需要缓存的数据，若可用磁盘空间不足以写入所述确定需要缓存的数据，则对已写入磁盘中的数据进行清理，使可用磁盘空间足够写入所述确定需要缓存的数据。

12、如权利要求10或11所述的数据缓存装置，其特征在于，所述对应关系确定单元，用于根据公式P＝S％T+1计算数据对应的文件编号，其中P表示文件编号，S表示数据的秒数标识，T为所述的阈值。

13、如权利要求12所述的数据缓存装置，其特征在于，所述写入单元，将对应相同文件编号的数据写入同一文件中，若与数据对应编号的文件已经存在，则将数据追加写入到该文件末尾；若与数据对应编号的文件不存在，则创建该编号的文件，将数据写入文件中。

14、如权利要求13所述的数据缓存装置，其特征在于，所述索引建立模块，根据写入磁盘的数据的秒数标识、数据所在的文件的长度及数据在文件中的起始位置，为每一秒的数据建立索引。

Images