CN103051977A - 一种处理p2p缓存数据的方法 - Google Patents

Abstract

本发明提供了一种处理p2p缓存数据的方法。针对p2p缓存数据，将数据从逻辑上划分为多个的缓存数据块，以链表形式组织起来并用记录表来维护缓存数据块，满足客户端进行间断式、跳跃式点播观看方式和客户端节点之间客户端节点与服务器端之间数据频繁的分享传输的需求。

Description

一种处理p2p缓存数据的方法

技术领域

本发明涉及P2P数据缓存数据，更具体地，涉及一种处理p2p缓存数据的方法。 

背景技术

在p2p系统的客户端中，需要在内存中缓存一部分数据，这部分数据是为了给客户端需要时迅速调用，或者在进行p2p客户端节点之间进行数据分享时提供给其他客户端所用。本地客户端执行间断、跳跃的观看方式时，也可利用已经缓存的数据进行播放，而不需要再次下载。而当某客户端需要某些数据时可以就近从拥有这些数据的其它客户端下载使用，从而降低对服务器端的宽带压力。 

传统的p2p客户端数据缓存是线性缓存，如图1。这种线性缓存连续存储数据存在着数据管理效率低下的缺点。当客户端间断式、跳跃式观看时，客户端需要缓冲数据。当客户端需要查找某一块数据的时候，每次只能从缓存区的起始处开始查找，直到找到目标数据块，从而这个缓冲过程一般持续时间较长。而且在客户端之间、客户端与服务器频繁的数据交换时，传统的线性缓存数据结构也不利于数据分享传输。 

发明内容

本发明提供了一种处理p2p缓存数据的方法，能够快速查找到所需的数据，满足客户端以间断、跳跃的观看方式进行观看和进行频繁的客户端节点间的数据分享传输。 

一种处理p2p缓存数据的方法，包括以下步骤：针对P2P缓存数据，进行特定处理，其处理过程包括以下步骤： 

A.将p2p客户端内缓存的数据，从逻辑上划分为多个缓存数据块;

B.将划分的缓存数据块以链表形式组织起来并用记录表来维护缓存数据块。

优选的是，所述缓存数据块按一定的编码方式进行编码，并对所述缓存数据块分配唯一标识。 

在上述任一方案中优选的是，所述缓存表可以不完整记录视频文件，两个缓冲块之间的数据可以是不连续的。 

在上述任一方案中优选的是，所述记录表保存在客户端本地内存中。 

在上述任一方案中优选的是，所述链表连接所有逻辑划分了的缓存数据块。 

在上述任一方案中优选的是，所述维护缓存数据块的记录表包括：各缓存数据块的存储地址和数据长度。 

在上述任一方案中优选的是，所述存储地址为第一存储空间起始位置相对第二存储空间的起始位置的差值，所述第一存储空间用于存储单个缓存数据块， 所述第二存储空间用于存储全部缓存数据块。 

在上述任一方案中优选的是，客户端通过缓存数据块的记录表查询待查找的数据位于哪一个缓存数据块。 

在上述任一方案中优选的是，客户端跳跃播放视频时，根据播放点跳转的到视频播放的时刻点，与视频文件的大小进行对比，判断播放点在内容上跳转到该视频数据的位置，根据该跳转位置，通过记录表快速查询数据位于哪个缓存数据块。 

在上述任一方案中优选的是，若跳转位置在缓存数据块记录表中查询不到，则从跳转的位置处开始进行缓冲，重新下载数据进行播放，形成的缓存数据块纳入到链表中，往记录表添加该缓存数据块的记录信息。 

在上述任一方案中优选的是，当客户端需要分享某数据时，直接根据数据首字节在整体视频文件数据的位置，在记录表中查找该数据位于哪个缓存数据块。 

附图说明

下面结合附图和具体实施方式对本发明作进一步详细的说明。 

图1为对现有技术中的缓存结构分析图。 

图2为本发明提供的处理P2P缓存数据的方法的流程示意图。 

图3为按照本发明处理p2p缓存数据的方法提供的连接缓存数据块的链表的示意图。 

图4为按照本发明处理p2p缓存数据的方法提供的用于维护缓存数据块的记录表。 

图5为按照本发明处理p2p缓存数据的方法提供的跳跃播放时查找数据的流程图。 

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，并使本发明的上述目的、特征和优点能够更加明显易懂，下面结合实施例及实施例附图对本发明作进一步详细的说明。 

本发明通过处理缓存数据，支持离散化的缓存数据块管理，能够化整为零，加快数据的查找，提高数据管理效率。从而满足用户跳跃式点播视频的需求，让用户畅享网络音像视频带来的乐趣。同时当客户端之间数据分享时，能做到快速查找到所需数据。 

图1是对现有技术中的缓存结构分析图。这种数据结构用于数据连续线性缓存。 

为了提高数据的管理效率，加快数据的查找效率，本发明提供了一种处理P2P缓存数据的方法，将连续缓冲区从逻辑上分块，以利于离散化管理。具体地，如图2所示的处理P2P缓存数据的方法的流程示意图，主要包括以下步骤： 

步骤201、将p2p客户端内缓存的数据，从逻辑上划分为多个缓存数据块；

步骤202、将划分的缓存数据块以链表形式组织起来并用记录表来维护缓存数据块。

至此，处理P2P缓存数据的方法的流程结束。 

本方案提供的处理P2P缓存数据的方法的流程，将P2P缓存数据，进行特定处理，划分为多个缓存数据块存储在内存中，相应的，需要将连续缓冲区从逻辑上分块，按照预先设定的规则，对缓存数据进行存储以及其他处理。例如，原始的数据缓存区连续存储的数据为视频内容从512K到3M的数据，现在将其按设定规则从逻辑上化分成若干数据存储块，每块大小按实际情况确定。本发明提供的缓存数据的数据结构，支持数据的非顺序非连续的淘汰。如某种数据淘汰算法按最近最少被分享的标准来进行淘汰。当该数据淘汰方法淘汰掉了视频内容从1024K到1086K的数据，这时缓存数据因为是分块的，所以并没有影响到数据的记录及管理。如划分的缓存数据块可以是：第一块，视频内容从512K到1024K；第二块，视频内容从1086K到3M。又如第一块，视频内容从512K到1024K；第二块，视频内容从1086K到2024K；第三块，视频内容从2024K到3M。这样很明显提高了数据的管理效率。 

图3为按照本发明处理p2p缓存数据的方法提供的连接缓存数据块的链表的示意图。为了方便对数据的操作管理，将线性连续的缓冲区从逻辑上划分为多个的缓存数据块，再以指针链接方式链接成一个链表。链表将所有的缓存数据块都链接到一起，以对其进行有效的管理。查找数据时，可以通过遍历链表的方式进行数据的查找。每个缓存数据块都按照规定的编码格式设置编码号，并为每个缓存数据块添加一个标识符，以唯一标识缓存数据块，编码格式的一种优选形式如下：缓存数据块1、缓存数据块2、缓存数据块3、……、缓存数据块的N。以指针链接方式连接成一个链表。链表将所有的数据缓存数据块都链接到一起。如图所示链表的形式为缓存数据块1à缓存数据块2à缓存数据块3à……à缓存数据块N。 

图4为按照本发明处理p2p缓存数据的方法提供的用于维护缓存数据块的记录表。表中每个元素包括两个属性：缓存数据块的存储地址和数据长度，其中，缓存数据块的存储地址可以采用相对地址的方式标识，例如偏移地址，该偏移地址为第一存储空间起始位置相对第二存储空间的起始位置的差值，本方案中，第一存储空间用于存储单个缓存数据块， 第二存储空间用于存储P2P缓存数据，即存储将P2P缓存数据划分出的多个缓存数据块。例如，可以以视频文件作为数据存储对象，将本地缓存的视频文件的P2P数据划分为多个缓存数据块，将存储缓存数据块的起始地址相对存储上述多个缓存数据块的起始地址的偏移量设置为offset，进一步，可以将缓存数据块的长度设置为len，其中，offset以及len为表征偏移量和数据长度的方式，实际应用中可以根据实际情况采用其他方式表征偏移量和数据长度，此处仅为举例说明。 

当进行客户端节点之间的数据分享传输或者本地客户端执行跳跃观看操作时，需要查找某块数据，此时，根据待查找数据在整体视频文件中的偏移、待查找数据块的大小，先从缓存数据块的记录表中查询到待查找数据位于哪一个缓存数据块中，再计算出待查找数据在该缓存数据块中的相对位移，即可找到待查找数据。 

图5为按照本发明处理p2p缓存数据的方法提供的跳跃播放时查找数据的流程图。客户端跳跃播放视频时，首先根据播放点跳转的到视频播放的时刻点，与视频文件的大小进行对比，判断播放点在内容上跳转到该视频数据的位置，根据该跳转位置，然后通过记录表快速查询数据是否位于缓存数据块中。若跳转位置在缓存数据块中，通过记录表快速查找该数据块位于哪个缓存数据块并找出该数据。若跳转位置不在缓存数据块中，则从跳转的位置处开始进行缓冲，重新下载数据进行播放，形成的缓存数据块纳入到链表中，往记录表添加该缓存数据块的记录信息。 

客户端观看P2P系统视频时，往往会以间断的、跳跃的观看方式进行点播，这样要保证客户端流畅地进行观看，客户端必须尽快地获得所需的视频资源。因为客户端内存缓存有限，一般情况下，不能将整个视频资源都下载到内存缓存中。离散化缓存方式让数据以离散的方式缓存到客户端中，客户端可以存储一些客户端最有可能需要调用到的数据，所以客户端很可能拥有客户端间断、跳跃观看视频时所需的视频资源，这样毫无疑问客户可以得到流畅地享受视频服务。当客户端没有所需的视频资源，或者刚刚开始点播视频时，需要从其他节点或服务器下载。下载时，由于离散化的管理措施，使得数据从其它客户端中查找的时间变短，从而数据能够快速地下载到客户端中。实现视频的流畅播放。 

本实施例展现客户端跳跃式播放视频时，利用记录表快速查询播放器所需数据的具体实施方式。某时刻，客户端播放器当前跳转到的视频的播放时刻点为15.00s，通过视频时长与视频文件的大小进行对比，查询到跳转的播放点位于该视频的第500k字节处。通过遍历链表，找到该视频文件的缓存数据块记录表中有<300,400>这个元素,则根据这个元素的属性，跳转到offset300的缓存数据块的第200k处。如此，客户端通过记录表快速查找到数据实现视频的顺畅播放。 

当客户端中的记录表没有记录跳转播放点的数据，也就是客户端中没有缓存该数据，则从跳转的位置处开始进行缓冲，下载数据播放。将该缓存数据块作为一个新的元素记录到记录表中。 

当客户端需要分享某数据时，需要从客户端里查找到该数据，然后再通过通信手段分享到其他客户端。例如，缓存数据块n，它在记录表中记录的元素为<600,200>。该缓存数据块里包含了其他客户端请求分享的数据k+0，其首字节在视频中的位置为600k，大小为35k；数据k+1，其首字节在视频中的位置为635k，大小为15k；数据k+2，其首字节在视频中的位置为650k，大小为60k；数据k+3，其首字节在视频中的位置为710k，大小为45k；数据k+4，其首字节在视频中的位置为755k，大小为45k。假定某客户端需要分享到本地客户端的数据块k+3。首先根据数据k+3在整体视频文件中的偏移710k、待查找数据块的大小45，在记录表中查询到该数据k+3包含在缓存数据块n中。根据计算数据k+3在缓存块n的相对位移710-600=110，找到数据块k+3，然后通过通信手段从本地客户端分享给请求客户端。 

缓存数据块记录表是保存在客户端中的，能够进行自我管理的，例如：当数据k+2被淘汰掉时，缓存数据块n被分解。而此时某数据t被下载，它的偏移量为560，大小为40。那么数据t与数据k+0、数据k+1的视频数据由记录表标识为缓存数据块n<560,100>。数据k+3、数据k+4的视频数据由记录表标识为缓存数据块n+1<710,90>。 

相对于传统的从整体单一缓存中查找数据的方式，这种方法可以大大提高数据管理效率。 

综上所述，本发明优化P2P数据缓存的数据结构方法在更好地了满足客户端进行间断式、跳跃式点播观看方式和客户端节点之间客户端节点与服务器端之间数据频繁的分享传输的需求。 

上述详细描述通过实施例和/或示意图阐明了系统和/或过程的各种实施例。就这些示意图和/或包含一个或多个功能和/或操作而言，本领域技术人员将理解，这些示意图或实施例中的每一个功能和/或操作都可由各种各样的硬件、软件、固件、或实际上其任意组合来单独地和/或共同地实现。 

应该理解，本发明的方法中所涉及的硬件或软件可以采用任何现有技术中适用的硬件或软件，或在适当时结合两者的组合来实现。因此，本发明的方法，可以采用包含在诸如软盘、CD-ROM、硬盘驱动器或任何其他机器可读存储介质等有形介质中的程序代码（即，指令）的形式，其中，当程序代码在可编程计算机上执行的情况下，计算设备通常包括处理器、该处理器可读的存储介质(包括易失性存储器和/或存储元件)、至少一个输入设备、以及至少一个输出设备。一个或多个程序可以例如，通过使用API，可重用控件等来实现或利用结合本发明描述的过程。这样的程序优选地用高级过程语言或面向对象编程语言来实现，以与计算机系统通信。然而，如果需要，该程序可以用汇编语言或机器语言来实现。在任何情形中，语言可以是编译语言或解释语言，且与硬件实现相结合。 

以上结合本发明的具体实施例做了详细描述，但并非是对本发明的限制。凡是依据本发明的技术实质对以上实施例所做的任何简单的修改，均仍属于本发明技术方案的范围。 

Claims (10)

1.一种处理p2p缓存数据的方法，包括以下步骤：针对P2P缓存数据，进行特定处理，其特征在于,其处理过程包括以下步骤：

A.将p2p客户端内缓存的数据，从逻辑上划分为多个缓存数据块;

B.将划分的缓存数据块以链表形式组织起来并用记录表来维护缓存数据块。

2.根据权利要求1所述的方法，其特征在于，所述缓存数据块按一定的编码方式进行编码，并对所述缓存数据块分配唯一标识。

3.根据权利要求1所述的方法，其特征在于，所述链表连接所有逻辑划分了的缓存数据块。

4.根据权利要求1所述的方法，其特征在于，所述维护缓存数据块的记录表包括：各缓存数据块的存储地址和数据长度。

5.根据权利要求4所述的方法，其特征在于，所述存储地址为第一存储空间起始位置相对第二存储空间的起始位置的差值，所述第一存储空间用于存储单个缓存数据块， 所述第二存储空间用于存储全部缓存数据块。

6.根据权利要求4所述的方法，其特征在于，客户端通过缓存数据块的记录表查询待查找的数据位于哪一个缓存数据块。

7.根据权利要求6所述的方法，其特征在于，客户端跳跃播放视频时，根据播放点跳转的到视频播放的时刻点，与视频文件的大小进行对比，判断播放点在内容上跳转到该视频数据的位置，根据该跳转位置，通过记录表快速查询数据位于哪个缓存数据块。

8.根据权利要求7所述的方法，其特征在于，若跳转位置在缓存数据块记录表中查询不到，则从跳转的位置处开始进行缓冲，重新下载数据进行播放，形成的缓存数据块纳入到链表中，往记录表添加该缓存数据块的记录信息。

9.根据权利要求8所述的方法，其特征在于，当客户端需要分享某数据时，直接根据数据首字节在整体视频文件数据的位置，在记录表中查找该数据位于哪个缓存数据块。

10.根据权利要求4所述的方法，其特征在于，所述缓存表可以不完整记录视频文件，两个缓冲块之间的数据可以是不连续的。

Images