CN100385877C - 一种基于全局缓存的与数据源保持高连通性的方法 - Google Patents

Abstract

本发明涉及一种基于全局缓存的与数据源保持高连通性的方法，数据直播对等网络中的每一个对等体维护局域缓存和全局缓存，每一个对等体与局域缓存中的若干对等体建立连接；对等体之间能随机交换局域缓存中的对等体信息列表。本发明利用数据源对等体筛选出能被数据源连接并保持高速连通的超级对等体，将超级对等体信息通过对等广播的方式有效地传输给每一个用户对等体；用户对等体通过与超级对等体保持多点连接，从而保持了与数据源网络分块的高连通性。其优点：一是能在保持数据源负载均衡的同时与数据源网络分块保持高速连通；二是能多点穿越网络分块的边界，提高数据传输效率；三是提高可靠性、稳定性和抗毁性。

Description

一种基于全局缓存的与数据源保持高连通性的方法

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于全局缓存的与数据源保持高连通性的方法。其应用在数据直播对等网络中。

背景技术

为了解决大规模现场用户实时接受数据的问题，随着计算机网络技术，尤其是对等网络(P2P Network)技术和流媒体技术的发展，基于P2P网络结构的新兴网络数据直播系统得到了迅速发展。P2P网络数据直播系统充分利用了网络限制资源，很好地解决了直播系统的可扩展性问题，很适合于大规模的视频直播应用。

目前，大规模P2P数据直播系统的传输网络结构在国际上多采用P2P重叠网络结构(P2P Overlay Network)。这种网络结构的拓扑管理策略有两种模式。一种是基于所有节点信息的随机协议；另一种是基于部分视野的gossip协议。

前者一般采用中央服务器存储关于所有节点的信息，并向所有节点提供访问这些信息的服务。这样做不利于用户节点很多的大型网络，负载有瓶颈，可扩展性差。

后一种网络结构的拓扑管理策略体现了纯分布式的P2P思想，可扩展性强，目前被较多地采用。但是，它也有自身的问题。由于缺少全局的知识，这种算法在建立重叠网络结构时无法利用对等网络整体性的特性，尤其在用户对等体与数据源网络分块保持高连通性方面产生不良影响。而这种高连通性对提高互联网数据直播系统的可靠性，抗毁性和传输效率很重要。

真实的互联网的内部在大尺度上具有明显的不均匀性。由于各大电信运营商的存在，往往某一运营商内部的节点间通讯速度都很快，但是不同运营上之间的通讯速度却很慢。这种网络的分块特性以及分块之间的低通讯速度往往是由于不同运营商之间的竞争保护和不同国家之间的政策保护而形成的。如果整个互联网的所有节点的集合为G，则按照节点与节点之间的互连互通的速度特性，可以在宏观上大致将G分为若干互不相干的子集：G＝{G1，G2，G3，…..}。其中，同一子集中的节点之间保持了较高的互连互通的速度，而不同的子集之间的节点的通讯速度比较慢。每一个子集在现实中代表了一个运营商的网络，或者多个硬件连接性较好的运营商的网络的合集。网络直播的数据源则必然位于某一个子集内的节点上。如果每个节点只是利用gossip算法，基于有限的随机的小范围视野选择它邻域，而不考虑数据源的位置引入的网络传播不对称性和大尺度的网络分块结构，则最终形成的重叠网络在局部容易出现信息孤岛或者近似孤立的区域。连接网络分块与数据源网络分块的连接断开、出现故障、或者传输效率低下，势必影响网络分块中所有其他用户的数据使用效果。

因此，这种目前流行的算法，在大尺度的互联网上在某些局部有如下不足：一是可靠性低；二是稳定性低；三是抗毁性差；四是传输效率低。

发明内容

本发明所要解决的技术问题是针对上述现有技术不足而提供一种在数据直播对等网络中基于全局缓存的与数据源保持高连通性的方法，充分利用全局网络中与数据源保持高速连通的超级对等体的信息来优化P2P重叠网络的结构，满足每个用户在使用系统时的可靠性、抗毁性和传输效率等方面的需要。

本发明解决上述技术问题所采用的技术方案为：一种基于全局缓存的与数据源保持高连通性的方法，包括预先构设的数据直播对等网络，采取的技术措施包括：至少包括如下的操作：

步骤1：数据直播对等网络中的每一个用户对等体维护两个对等体广告缓存，其中的一个是局域缓存，储存它与邻居交换所得的对等体广告；其中的另一个为全局缓存，储存整个系统中能与数据源保持高速连接的超级对等体广告；

步骤2：每一个用户对等体与所述的局域缓存中的若干用户对等体建立网络连接，被建立了连接的用户对等体将成为它的邻居；

步骤3：每一个用户对等体周期性地与它的邻居随机交换所缓存的对等体广告列表；

步骤4：数据源对等体周期性地依次从其局域缓存中筛选出超级对等体，并将其存储于全局缓存中；

步骤5：数据源对等体周期性地从全局缓存中取出所有最近一个周期内加入的超级对等体广告，将它们打包并且编号，然后用对等广播模式向整个对等网络广播该数据包；

步骤6：收到包含了超级对等体广告的数据包的用户对等体，解开数据包，将超级对等体广告存入它的全局缓存中；

步骤7：每个用户对等体周期性地从全局缓存中依次取出超级对等体广告，根据广告中的信息尝试与该超级对等体建立连接，并测试数据传输速度；对新建连接的数据传输速度高于邻居中的最慢的连接速度，予以替换；对于其他情况则随机决定替换。

上述的步骤4至少包括如下的步骤：

步骤41：数据源对等体从局域缓存中取出一个对等体广告，尝试与广告中所描述的对等体建立连接；

步骤42：如果连接失败，则重复步骤41，取下一个对等体广告；对于其他情况构造一个固定大小的消息，在消息上附上当前时间戳，发送给广告中描述的对等体；

步骤43：接收对等体收到消息，立即将消息按原连接发回数据源；

步骤44：将消息大小除以消息来回传送的时间，得到数据源与该对等体的数据传输速度；

步骤45：如果数据传输速度大于某个阈值，数据源认为该对等体为超级对等体，将其广告放入全局缓存中；重复步骤41。

上述的步骤5至少包括如下的步骤：

步骤51：数据源对等体从全局缓存中取出最近一个周期内新加入的所有超级对等体广告；

步骤52：将这些对等体广告打成一个数据包；

步骤53：数据源对等体维护一个永远单调增长的序列号变量，并将其加一，将新的序列号变量值填入载送数据包的消息中；

步骤54：数据源对等体将超级对等体数据包用对等广播的方式传播到整个直播对等网络；重复步骤51。

上述的步骤7至少包括如下的步骤：

步骤71：用户对等体从全局缓存中取出一个超级对等体广告，尝试与广告中所描述的对等体建立连接；

步骤72：如果连接失败，则重复步骤71，取下一个对等体广告；否则，构造一个固定大小的消息，在消息上附上当前时间戳，发送给广告中描述的对等体；

步骤73：接收对等体收到消息，立即将消息按原连接发回数据源；

步骤74：用户对等体收到返回的消息，取得当前时间，并将该值与消息里的时间戳相减，得到消息来回传送的时间；

步骤75：将消息大小除以消息来回传送的时间，得到用户对等体与该超级对等体的数据传输速度；

步骤76：如果步骤75中的数据传输速度大于邻居中的最慢的来回传输速度，用新建的连接替换原来邻居中最慢的连接；重复步骤71；

步骤77：否则，计算步骤75中的数据传输速度与邻居中的最慢的来回传输速度的差值；

步骤78：找到内存中存储的速度差值与替换概率的对应表，在该表中查找与此差值相对应的替换概率；

步骤79：依照替换概率随即决定替换邻居中的最慢的连接；重复步骤71。

与现有技术相比，本发明利用数据源对等体筛选出能被数据源连接并保持高速连通的超级对等体，然后将超级对等体信息通过对等广播的方式有效地传输给每一个用户对等体。这些超级对等体可以看作是数据源网络分块的代表，用户对等体通过与超级对等体保持多点连接保持了与数据源网络分块的高连通性。

本发明具有如下优点：

一、无论普通用户处于哪个具体网络分块，都可以在保持数据源负载均衡的同时与数据源网络分块保持高速连通；

二、避免信息孤岛或者近似孤岛的出现，多点穿越网络分块的边界，提高数据传输效率；

三、提高可靠性、稳定性和抗毁性。

附图说明

图1是本发明实施例的数据直播原理示意图；

图2是本发明实施例中步骤4中数据源对等体筛选超级对等体的逻辑流程图；

图3是本发明实施例中步骤5中数据源对等体广播超级对等体的逻辑流程图；

图4是本发明实施例中步骤7中用户对等体替换最慢连接的逻辑流程图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。如图1至图4所示。

一种基于全局缓存的与数据源保持高连通性的方法，包括预先构设的数据直播对等网络，采取的技术措施包括：至少包括如下的操作：

步骤1：数据直播对等网络中的每一个对等体维护两个对等体广告缓存，其中的一个是局域缓存，储存它与邻居交换所得的对等体广告的；其中的另一个为全局缓存，储存整个系统中能与数据源保持高速连接的超级对等体的广告；

步骤2：每一个对等体与所述的局域缓存中的若干对等体建立网络连接，被建立了连接的对等体将成为它的邻居；

步骤3：每一个对等体周期性地与它的邻居随机交换所缓存的对等体广告列表；

步骤4：数据源对等体周期性地依次从其局域缓存中筛选出超级对等体，并将其存储于全局缓存中；

步骤5：数据源对等体周期性地从全局缓存中取出所有最近一个周期内加入的超级对等体广告，将它门打包并且编号，然后用对等广播模式向整个对等网络广播该数据包；

步骤6：收到包含了超级对等体广告的数据包的对等体，解开数据包，将超级对等体广告存入它的全局缓存中；

步骤7：每个用户对等体周期性地从全局缓存中依次取出超级对等体广告，根据广告中的信息尝试与该超级对等体建立连接，并测试数据传输速度；对新建连接的数据传输速度高于邻居中的最慢的连接速度，予以替换；对于其他情况则随机决定替换。

上述的步骤4至少包括如下的步骤，如图2所示：

步骤41：数据源对等体从局域缓存中取出一个对等体广告，尝试与广告中所描述的对等体建立连接；

步骤42：如果连接失败，则重复步骤41，取下一个对等体广告；对于其他情况构造一个固定大小的消息，在消息上附上当前时间戳，发送给广告中描述的对等体；

步骤43：接收对等体收到消息，立即将消息按原连接发回数据源；

步骤44：将消息大小除以消息来回传送的时间，得到数据源与该对等体的数据传输速度；

步骤45：如果数据传输速度大于某个阈值，数据源认为该对等体为超级对等体，将其广告放入全局缓存中；重复步骤41。

上述的步骤5至少包括如下的步骤，如图3所示：

步骤51：数据源对等体从全局缓存中取出最近一个周期内新加入的所有超级对等体广告；

步骤52：将这些对等体广告打成一个数据包；

步骤53：数据源对等体维护一个永远单调增长的序列号变量，并将其加一，将新的序列号变量值填入载送数据包的消息中；

步骤54：数据源对等体将超级对等体数据包用对等广播的方式传播到整个直播对等网络；重复步骤51。

上述的步骤7至少包括如下的步骤，如图4所示：

步骤71：用户对等体从全局缓存中取出一个超级对等体广告，尝试与广告中所描述的对等体建立连接；

步骤72：如果连接失败，则重复步骤71，取下一个对等体广告；否则，构造一个固定大小的消息，在消息上附上当前时间戳，发送给广告中描述的对等体；

步骤73：接收对等体收到消息，立即将消息按原连接发回数据源；

步骤74：用户对等体收到返回的消息，取得当前时间，并将该值与消息里的时间戳相减，得到消息来回传送的时间；

步骤75：将消息大小除以消息来回传送的时间，得到用户对等体与该超级对等体的数据传输速度；

步骤76：如果步骤75中的数据传输速度大于邻居中的最慢的来回传输速度，用新建的连接替换原来邻居中最慢的连接；重复步骤71；

步骤77：否则，计算步骤75中的数据传输速度与邻居中的最慢的来回传输速度的差值；

步骤78：找到内存中存储的速度差值与替换概率的对应表，在该表中查找与此差值相对应的替换概率；

步骤79：依照替换概率随即决定替换邻居中的最慢的连接；重复步骤71。

如图1所示是本发明实施例的数据直播原理示意图。

图中网络分块1为虚线构成的圆所包含的数据源和超级对等体组成的集合；网络分块2为虚线构成的圆所包含的用户对等体集合。

网络分块2中的用阴影圈表示的用户对等体，在其局域缓存中与相邻的两个用户对等体保持了连接，在其全局缓存中与网络分块1中的超级对等体保持了一个远程的连接，如图中虚线箭头表示。由于网络分块2中的所有用户对等体都采用了本发明所述的网络拓扑管理策略，可以看到在网络分块2与网络分块1之间有多个用虚线箭头表示的与超级对等体的连接。这些多个远程连接的存在，保持了用户对等体与数据源网络分块间的高连通性，而这种高连通性提高了网络分块2中的用户在数据接收过程中的可靠性、稳定性、抗毁性和传输效率。

虽然本发明已通过参考优选的实施例进行了图示和描述，但是，本专业普通技术人员应当了解，在权利要求书的范围内，可作形式和细节上的各种各样变化。

Claims (4)

1.一种基于全局缓存的与数据源保持高连通性的方法，包括预先构设的数据直播对等网络，其特征在于：至少包括如下的操作：

步骤1：数据直播对等网络中的每一个用户对等体维护两个对等体广告缓存，其中的一个是局域缓存，储存它与邻居交换所得的对等体广告；其中的另一个为全局缓存，储存整个系统中能与数据源保持高速连接的超级对等体广告；

步骤2：每一个用户对等体与所述的局域缓存中的若干用户对等体建立网络连接，被建立了连接的用户对等体将成为它的邻居；

步骤3：每一个用户对等体周期性地与它的邻居随机交换所缓存的对等体广告列表；

步骤4：数据源对等体周期性地依次从其局域缓存中筛选出超级对等体，并将其存储于全局缓存中；

步骤5：数据源对等体周期性地从全局缓存中取出所有最近一个周期内加入的超级对等体广告，将它们打包并且编号，然后用对等广播模式向整个对等网络广播该数据包；

步骤6：收到包含了超级对等体广告的数据包的用户对等体，解开数据包，将超级对等体广告存入它的全局缓存中；

步骤7：每个用户对等体周期性地从全局缓存中依次取出超级对等体广告，根据广告中的信息尝试与该超级对等体建立连接，并测试数据传输速度；对新建连接的数据传输速度高于邻居中的最慢的连接速度，予以替换；对于其他情况则随机决定替换。

2.根据权利要求1所述的一种基于全局缓存的与数据源保持高连通性的方法，其特征在于：所述的步骤4至少包括如下的步骤：

步骤41：数据源对等体从局域缓存中取出一个对等体广告，尝试与广告中所描述的对等体建立连接；

步骤42：如果连接失败，则重复步骤41，取下一个对等体广告；对于其他情况构造一个固定大小的消息，在消息上附上当前时间戳，发送给广告中描述的对等体；

步骤43：接收对等体收到消息，立即将消息按原连接发回数据源；

步骤44：将消息大小除以消息来回传送的时间，得到数据源与该对等体的数据传输速度；

步骤45：如果数据传输速度大于某个阈值，数据源认为该对等体为超级对等体，将其广告放入全局缓存中；重复步骤41。

3.根据权利要求1或2所述的一种基于全局缓存的与数据源保持高连通性的方法，其特征在于：所述的步骤5至少包括如下的步骤：

步骤51：数据源对等体从全局缓存中取出最近一个周期内新加入的所有超级对等体广告；

步骤52：将这些对等体广告打成一个数据包；

步骤53：数据源对等体维护一个永远单调增长的序列号变量，并将其加一，将新的序列号变量值填入载送数据包的消息中；

步骤54：数据源对等体将超级对等体数据包用对等广播的方式传播到整个直播对等网络；重复步骤51。

4.根据权利要求1或2所述的一种基于全局缓存的与数据源保持高连通性的方法，其特征在于：所述的步骤7至少包括如下的步骤：

步骤71：用户对等体从全局缓存中取出一个超级对等体广告，尝试与广告中所描述的对等体建立连接；

步骤72：如果连接失败，则重复步骤71，取下一个对等体广告；否则，构造一个固定大小的消息，在消息上附上当前时间戳，发送给广告中描述的对等体；

步骤73：接收对等体收到消息，立即将消息按原连接发回数据源；

步骤74：用户对等体收到返回的消息，取得当前时间，并将该值与消息里的时间戳相减，得到消息来回传送的时间；

步骤75：将消息大小除以消息来回传送的时间，得到用户对等体与该超级对等体的数据传输速度；

步骤76：如果步骤75中的数据传输速度大于邻居中的最慢的来回传输速度，用新建的连接替换原来邻居中最慢的连接；重复步骤71；

步骤77：否则，计算步骤75中的数据传输速度与邻居中的最慢的来回传输速度的差值；

步骤78：找到内存中存储的速度差值与替换概率的对应表，在该表中查找与此差值相对应的替换概率；

步骤79：依照替换概率随即决定替换邻居中的最慢的连接；重复步骤71。

Images