CN114125572B - 一种基于p2p的视频数据分发与存储系统 - Google Patents

Abstract

本发明提出了一种本发明的基于P2P的视频数据分发与存储系统，包括：源服务器、管理服务器、索引服务器以及多个用户节点。源服务器包括数据分割单元、编码单元和数据包分发单元；管理服务器包括BT网络管理单元、带宽管理单元以及缓存管理单元；索引服务器包括用户节点索引单元和存储索引单元。本发明能够在较小冗余的情况下保证数据的可用性，提高了用户节点存储信息的共享性、降低了用户节点间数据传输同步问题的复杂度。

Description

一种基于P2P的视频数据分发与存储系统

技术领域

本发明涉及视频数据处理技术领域，具体为一种基于P2P的视频数据分发与存储系统。

背景技术

随着Internet的高速发展、宽带网络的迅速普及，流媒体服务正在迅速成为推动未来宽带应用的主动力。然而，由于流媒体和P2P网络的特性，使得提供高服务质量和用户体验，且具有交互性和可靠性、可运营/管理的流媒体服务，仍面临着诸多挑战和难题。

P2P技术打破了传统的C/S模式，是一种建立在“对等、互助”基础上，具有部署成本低、高可扩展性、良好容错性等特点的新型内容分发模式。然而，P2P技术自身的自由、开放和无中心特性也带来了管理、控制、安全等方面的诸多问题和挑战。

例如专利文献CN110087010A公开了一种视频编码系统，通过外部音视频数据采集装置，将采集数据通过音视频数据接口模块将一部分数据传输到逻辑接口扩展模块，另一部分直接传输到H.264编码模块中；将传输到逻辑接口扩展模块的数据进行处理，并将处理数据传输到H.264编码模块中；当外部音视频数据采集装置直接连接编码器时，主控模块将H.264编码模块处理完毕的数据，通过信号传输模块传递至导播台进行网络推流；当编码器与导播台连接时，主控模块将H.264编码模块处理完毕的数据，直接传递到编码导播一体机进行网络推流。该视频编码系统结构较为复杂，编码模块和接口众多，会导致传输的时间精度下降。

再例如专利文献US6369855B1公开了一种音频和视频解码器电路和系统，包括：传输分组解析电路接收传输数据分组流；CPU电路初始化所述集成电路和用于处理所述数据分组流的部分；ROM电路存储数据；RAM电路存储数据；音频解码器电路解码所述数据分组流的音频部分；视频解码器电路解码所述数据分组流的视频部分；NTSC/PAL编码电路编码所述数据分组流的视频部分；用于处理所述数据包的OSD部分的OSD协处理器电路。该系统需要处理的数据量过大，传输主要依赖于扩展总线以及各个控制模块之间的协同，容易导致传输积滞或堵塞。

发明内容

为了优化P2P流媒体系统数据存储和传输，提高节点存储信息的共享性、降低节点间数据传输同步问题的复杂度等技术问题，本发明提出了一种基于P2P的视频数据分发与存储系统，包括：源服务器、索引服务器、管理服务器以及多个用户节点；

所述源服务器包括数据分割单元、编码单元和数据包分发单元；所述数据分割单元将视频文件分割为多个数据块，每个数据块分成多个数据单元；所述编码单元采用等比率编码对被请求的至少两个数据单元进行编码形成编码数据包；所述数据包分发单元将所述编码数据包发送至请求的用户节点；

所述管理服务器包括BT网络管理单元、带宽管理单元以及缓存管理单元；所述BT网络管理单元采用BT网络机制协调所述用户节点间的数据包的分发，在所述BT网络管理单元中，所述BT网络机制采用有向图模型来表示，所述有向图模型中的变量存在如下的约束关系：

∑_i≠1∑_j≠1|t_ij|＝L_max；

t_ij表示用户节点i和j的传输流量信息，u_i表示用户节点i的上传流量信息，v_ij为各用户节点i和j的传输速度信息，L_max为系统中所有用户节点的总传输流量，B_max为用户节点i的带宽；

所述带宽管理单元根据数据单元对在系统中的请求率分配带宽，假设数据单元对<q，k>的热度为p_q,k，请求率为λ_q，k，所述热度p_q,k表示数据单元对<q，k>在总请求次数中所占的比例；数据单元q的码率恒定为r_q，记

为时刻t且t>0时数据单元对<q，k>的请求带宽，其期望为:

令符号B_q,k表示底层BT网络所有邻居用户节点可提供的数据单元对<q，k>的上传带宽，若

说明系统中的终端用户节点缓存了过多的数据单元对<q，k>；若

说明数据单元对<q，k>的部分请求需要接入到源服务器；

记

其中，K为输入数据单元的个数；

定义数据单元对<q，k>的请求比A_q,_k为：

或

所述缓存管理单元通过管理拷贝数与用户节点缓存空间的比，从而使BT网络缓存达到高利用率，假设每个用户节点缓存空间大小为dc，位于同一底层P2P网络的用户节点数为Nc，则BT网络总的存储空间大小为dc·Nc；记数据单元对<q，k>在BT网络中的拷贝总数为n_q,k,当拷贝数n_q,k与dc·Nc的关系满足下式时，BT网络缓存达到高利用率：

其中，A_q,k为数据单元对<q，k>的请求比；

所述索引服务器包括用户节点索引单元和存储索引单元；所述用户节点索引单元采用多线程技术，与每一个用户节点建立连接；

所述存储索引单元采用比较有效值的策略，通过找到邻居用户节点中有效值最小的数据单元进行预存，源服务器存储视频文件的状态为S(T)＝(n1(t)，n2(t)，n3(t)，…，nm(t))，m为所述视频文件包括的数据块的数目，ni(t)是存储有用户节点i的用户节点集；

在时间段[t，t+θ]内，存储有用户节点i的用户节点集ni(t)离开的概率为

定义该时间段内缓冲区中用户节点有效值为：

用户节点i的访问概率是

则此用户节点i在整个系统的有效值表示为：

用户节点i通过找到邻居用户节点j中有效值最小的数据块进行选择预存；

所述用户节点向所述源服务器发送数据请求，获得编码数据包，解码所述编码数据包得到并存储所述至少两个数据单元，采用等比率再编码对每个数据单元进行再编码后发送给邻居用户节点。

进一步地，当所述编码单元收到用户节点i的数据请求包后，读取被请求的数据单元km和kn，编码生成编码数据包y_i发给所述用户节点i，y_i＝α_ikm km+α_ikn kn；其中，α_ikm和α_ikn为编码系数；

所述用户节点i解码所述编码数据包y_i，存储解码后的数据单元km和kn，恢复成原始数据块；当邻居用户节点j向所述用户节点i发出数据请求包，同样请求数据单元km和kn时，所述用户节点i将所述数据单元km和kn再编码形成编码数据包y_j，y_j＝y_i＝α_ikm km+α_iknkn,并向邻居用户节点j发送所述编码数据包y_j。

通过本发明的基于P2P的视频数据分发与存储系统，利用等比率再编码方式进行数据编码和传输，能够在较小冗余的情况下保证数据的可用性，提高了用户节点存储信息的共享性、降低了用户节点间数据传输同步问题的复杂度等，有效提高了视频数据存储和分发的质量；通过采用BT网络机制协调用户节点间的通信，优化了系统的负载平衡；通过对BT网络缓存的利用率进行计算，解决了BT网络带宽优化的技术问题，利用比较有效值进行数据块分发的策略，提高了用户的视频播放质量，优化了源服务器的数据块的调度方式。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的基于P2P的视频数据分发与存储系统结构图；

图2为本发明的等比率再编码过程的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下通过实施例并参照附图对本发明的内容进一步详细说明，但是本发明的实施方式不仅限于此。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

在本发明实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明实施例。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

参考图1给出了本发明的基于P2P的视频数据分发与存储系统结构图，该系统包括：源服务器、管理服务器、索引服务器以及多个用户节点。

源服务器包括数据分割单元、编码单元和数据包分发单元。其中，数据分割单元将视频文件分割为多个数据块，每个数据块分成多个数据单元；编码单元采用等比率编码对被请求的至少两个数据单元进行编码形成编码数据包；所述数据包分发单元将所述编码数据包发送至请求的用户节点。

管理服务器包括BT网络管理单元、带宽管理单元以及缓存管理单元；BT网络管理单元采用BT网络机制协调所述用户节点间的视频数据的分发；带宽管理单元根据数据单元对在系统中的请求率分配带宽；缓存管理单元通过管理拷贝数与用户节点缓存空间的大小比，从而使BT网络缓存能够达到较高的利用率。

索引服务器主要负责维护在线用户节点的信息，包括用户节点索引单元和存储索引单元；用户节点索引单元，采用多线程技术，与每一个用户节点的数据建立连接；存储索引单元，采用比较有效值的策略，通过找到邻居用户节点中有效值最小的数据单元进行预存。用户节点通过身份验证进入系统后，在索引服务器的引导下与若干在线用户节点建立邻居关系，相互间进行数据传输。

该系统中，一个视频文件在源服务器端被分成大小相同的数据块，每个数据块分成多个数据单元，然后采用等比率再编码对每个数据单元进行编码并发送到网络中去，用户节点下载到至少两个数据单元便可通过解码还原出原数据块和原视频文件；而且每个用户节点对数据单元进行再编码，并根据自身的存储、带宽能力保存一定数量的数据单元到指定的存储空间以供其他用户节点下载。对于动态加入的用户节点，例如，用户节点1和用户节点n分别从邻居用户节点或源服务器下载、解码、观看、编码、存储了某个视频文件的数据单元；当用户节点3加入系统，首先从索引服务器的用户节点管理单元获得备选邻居列表，然后与用户节点1和用户节点n建立连接，并开始从他们那里下载数据块的编码数据包，还原出数据块，观看并存储和编码。

基于P2P模式进行数据存储和分发，如何进行“内容”和“带宽”的管理是最核心的问题；如何在存储资源有限的情况下，合理地进行存储空间分配以提高节点间的数据共享是“内容”管理的基本出发点；同时，如何在带宽资源有限的条件下，优化数据调度和带宽分配以保证用户播放质量则是数据分发的关键问题。

首先，在“内容”管理方面，我们采用等比率再编码的方式。所谓等比率再编码方式是指采用网络编码的模式，每个用户节点对解码恢复的原始信息进行再编码、产生新鲜的编码数据和传送，对于接收用户节点而言从各个下载用户节点获得的编码数据是唯一的、可用于解码的数据。

源服务器将一个数据块分成多个数据单元，采用等比率编码进行编码，编码数据数目不限；用户节点下载源服务器存储的各视频文件数据块的部分编码数据单元，一个用户节点只要获得由至少两个数据单元构成的编码数据包(可来自源服务器或不同的用户节点)就可以解码得到数据块原始的两个数据单元，从而恢复出原始数据块。

只要该用户节点在线且存储空间没有被替换或者删除，均可以为其他用户节点提供这些编码数据单元；利用等比率再编码方式进行数据单元编码并传输，可以在较小冗余的情况下保证数据的可用性。

从优化P2P流媒体系统数据存储和传输角度出发，等比率再编码的内容管理方式能够提高用户节点存储信息的共享性、降低用户节点间数据传输同步问题的复杂度等，有效提高了视频节目存储和分发。

具体地，等比率再编码过程示意图如图2所示，源服务器首先将原始视频文件信息分成长度相等的数据块，每个数据块切分为K个输入数据单元S1，S2，…，SK；圆圈1-n为用户节点；输入数据单元和用户节点之间存在相连的边，表示编码关系，以‘1’＝‘K2’+‘K3’为例，当源服务器收到用户节点1的数据请求包后，源服务器种的编码模块读取相应输入数据单元K2和K3，编码生成编码数据包y1发给用户节点1：

y1＝α_1k1k1+α_1k3k3；

其中α_1k1和α_1k3为相应的编码系数。这些编码系数作为包头与编码后的数据单元一起放在编码数据包中。用户节点1解码该y1编码数据包，并存储解码后的数据单元K1和K3，恢复成原始数据块进行观看；当其他用户节点发出数据请求包，例如当邻居用户节点或源服务器收到用户节点3的数据请求包后，同样请求数据单元K1和K3时，用户节点1将解码时存储的数据单元K1和K3再编码形成编码数据包y3，y3＝y1＝α_1k1k1+α_1k3k3并向用户节点3发送该编码数据包y3。由于系统中的各个用户节点在解码恢复原始数据块以后均采用等比率再编码进行再编码，因而，从整个系统角度来看，系统不会一直不断地产生新的编码数据，从而降低了存储量。

由于系统中每个参与的用户节点可以从多个邻居用户节点并行地下载自己需要的数据单元，同时向其他邻居用户节点上传对方需要的数据单元。因此本发明的数据存储和分发系统在分发管理上，通过管理服务器的BT网络管理单元，采用BT网络机制协调用户节点间的通信。

BT网络机制包括两种基本单元：用户节点和分布在用户节点上的共享数据单元。BT网络机制的基本功能是为完成数据单元下载任务，在用户节点间构成临时的协作下载网络。索引服务器中的用户节点索引单元的应用程序采用多线程技术，与每一个节点的数据连接，都由一个子线程来处理，用户节点的动态的加入退出系统，数据单元也动态的分发各用户节点。BT网络机制可以用向量图模型G＝(P,E,F,U,T,V)来表示:

P＝{p₁,...,p_n}代表n个用户节点集合。

E＝{e_ij:i,j＝1,...,n}表示用户节点间的邻居用户节点关系，如果e_ij＝1，表示用户节点i和j有连接关系。

F＝{f_ij:i＝1,...,n；j＝1,...,m}为数据单元在各用户节点的分布信息，其中f_ij＝1表示用户节点i保存了的数据单元j。

U＝{u_l,...,u_n}为各用户节点的上传流量信息，u_i代表用户节点i在某一时刻的总上传量。

T＝{t_ij:i,j＝1,...,n}为各用户节点i和j的传输流量信息，t_ij为负值表示用户节点j向用户节点i发送数据的流量，t_ij为正值为用户节点i向用户节点j发送的流量。

V＝{v_ij:i,j＝1,...,n}为各用户节点i和j的传输速度信息，v_ij为负值表示用户节点j向用户节点i发送数据的速度，v_ij为正值表示用户节点i向用户节点j发送的速度。

考虑到实际环境中的文件下载存在的网络带宽限制、邻居用户节点选择标准以及下载用户行为模式的特点，向量图模型中的变量存在如下的约束关系:

∑_i≠1∑_j≠1|t_ij|＝L_max (3)；

t_ij表示用户节点i和j的传输流量信息，u_i表示用户节点i的上传流量信息，v_ij为各用户节点i和j的传输速度信息，L_max为系统中所有用户节点的总传输流量，B_max为用户节点i的带宽；因此，式(1)表示用户节点i的总上传大于经过用户节点的流量，可用于防止搭便车现象，优化用户节点选择。式(2)表示用户节点i的总传输速度受用户节点i带宽的限制，式(3)给出了系统所有用户节点的总传输流量，可用于控制系统的总负载，优化系统的负载平衡。

同一个数据单元在一个用户节点上只有一个拷贝，但在邻居节点组织的BT网络中拥有多个拷贝。受邻居节点上传带宽限制，数据单元拷贝越多，可供服务的BT网络带宽也就越大。因此，管理服务器中的带宽管理单元根据数据单元对在系统中的请求率分配带宽。

具体地，以两个数据单元编码形成编码数据包为例，假设数据单元对<q，k>的热度为p_q,k，请求率为λ_q，k，数据单元q的码率恒定为r_q，记

为时刻t且t>0时数据单元对<q，k>的请求带宽，其期望为:

令符号B_q,k表示底层BT网络所有邻居用户节点可提供的数据单元对<q，k>的上传带宽。若

说明系统中的终端用户节点缓存了过多的数据单元对<q，k>；若

说明数据单元对<q，k>的部分请求需要接入到源服务器。记

定义数据单元对<q，k>的请求比A_q,k为:

或

A_q,_k反映了数据单元对<q，k>在系统总请求带宽中所占的比例，而热度为p_q,_k表示数据单元对<q，k>在总请求次数中所占的比例。由此可得，当数据段热度和码率越大，而它在系统中的拷贝越少时，它的缓存权重越大。

在BT网络中，每个终端用户节点的缓存空间大小和上传带宽相同，数据单元对<q，k>的总上传带宽只与其在系统中的拷贝数量相关。因此，缓存管理单元通过管理拷贝数与用户节点缓存空间的大小比，从而使BT网络缓存能够达到较高的利用率。

具体地，假设每个用户节点缓存空间大小为dc，位于同一底层P2P网络的用户节点数为Nc，则BT网络总的存储空间大小为dc·Nc。记数据单元对<q，k>在BT网络中的拷贝总数为n_q,k,同构网络中，对于任意数据单元对<q，k>，其拷贝数n_q,k与dc、Nc的关系满足下式(7)时，BT网络缓存能够达到较高的利用率：

为了提高用户的播放质量，本系统的索引服务器中的存储索引单元采用比较有效值的策略，通过找到邻居用户节点中有效值最小的数据单元进行预存。

具体地，在t时刻，若源服务器主要负责存储视频文件的状态是S(T)＝(n₁(t)，n₂(t)，n₃(t)，…，n_m(t))，m是一个视频文件包括的数据块的数目，n_i(t)是存储有用户节点i的用户节点集。对于在时间段[t，t+θ]内，如果对于存储有用户节点i的用户节点集离开的概率为

则定义该段时间内缓冲区中用户节点有效值为：

在此,加入已经得到的访问概率信息，设在时间段[t，t+θ]内，用户节点i的访问概率是

则此用户节点i在整个系统的有效值可表示为：

假设用户节点i在t时刻的邻居节点集为neighbor(t)，其中存储有数据块k的邻居用户节点定义为neighbor_k(t)，如果数据块k不在用户节点i本地缓存区中，即

则用户节点i选择预存的数据块的方法是通过找到邻居用户节点中有效值最小的数据块。

根据以上分析，数据块的分发策略考虑到了其用户节点离开失效的情况，利用以上定义的计算公式比较有效值，更适合高度动态的视频点播应用。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (2)

1.一种基于P2P的视频数据分发与存储系统，其特征在于,包括：源服务器、索引服务器、管理服务器以及多个用户节点；

所述源服务器包括数据分割单元、编码单元和数据包分发单元；所述数据分割单元将视频文件分割为多个数据块，每个数据块分成多个数据单元；所述编码单元采用等比率编码对被请求的至少两个数据单元进行编码形成编码数据包；所述数据包分发单元将所述编码数据包发送至请求的用户节点；

所述管理服务器包括BT网络管理单元、带宽管理单元以及缓存管理单元；所述BT网络管理单元采用BT网络机制协调所述用户节点间的数据包的分发，在所述BT网络管理单元中，所述BT网络机制采用有向图模型来表示，所述有向图模型中的变量存在如下的约束关系:

∑_i≠1∑_j≠1|t_ij|＝L_max；

t_ij表示用户节点i和j的传输流量信息，u_i表示用户节点i的上传流量信息，v_ij为各用户节点i和j的传输速度信息，L_max为系统中所有用户节点的总传输流量，B_max为用户节点i的带宽；

所述带宽管理单元根据数据单元对在系统中的请求率分配带宽，假设数据单元对<q，k>的热度为p_q,k，请求率为λ_q，k，所述热度p_q,k表示数据单元对<q，k>在总请求次数中所占的比例；数据单元q的码率恒定为r_q，记

为时刻t且t>0时数据单元对<q，k>的请求带宽，其期望为:

令符号B_q,k表示底层BT网络所有邻居用户节点可提供的数据单元对<q，k>的上传带宽，若

说明系统中的终端用户节点缓存了过多的数据单元对<q，k>；若

说明数据单元对<q，k>的部分请求需要接入到源服务器；

记

其中，K为输入数据单元的个数；

定义数据单元对<q，k>的请求比A_q,k为:

或

所述缓存管理单元通过管理拷贝数与用户节点缓存空间的比，从而使BT网络缓存达到高利用率，假设每个用户节点缓存空间大小为dc，位于同一底层P2P网络的用户节点数为Nc，则BT网络总的存储空间大小为dc·Nc；记数据单元对<q，k>在BT网络中的拷贝总数为n_q,k,当拷贝数n_q,k与dc·Nc的关系满足下式时，BT网络缓存达到高利用率：

其中，A_q,k为数据单元对<q，k>的请求比；

所述索引服务器包括用户节点索引单元和存储索引单元；所述用户节点索引单元采用多线程技术，与每一个用户节点建立连接；

所述存储索引单元采用比较有效值的策略，通过找到邻居用户节点中有效值最小的数据单元进行预存，源服务器存储视频文件的状态为S(T)＝(n1(t)，n2(t)，n3(t)，…，nm(t))，m为所述视频文件包括的数据块的数目，ni(t)是存储有用户节点i的用户节点集；

在时间段[t，t+θ]内，存储有用户节点i的用户节点集ni(t)离开的概率为

定义该时间段内缓冲区中用户节点有效值为：

用户节点i的访问概率是

则此用户节点i在整个系统的有效值表示为：

用户节点i通过找到邻居用户节点j中有效值最小的数据块进行选择预存；

所述用户节点向所述源服务器发送数据请求，获得编码数据包，解码所述编码数据包得到并存储所述至少两个数据单元，采用等比率再编码对每个数据单元进行再编码后发送给邻居用户节点。

2.根据权利要求1所述的视频数据分发与存储系统，其特征在于，当所述编码单元收到用户节点i的数据请求包后，读取被请求的数据单元km和kn，编码生成编码数据包y_i发给所述用户节点i，y_i＝α_ikmkm+α_iknkn；其中，α_ikm和α_ikn为编码系数；

所述用户节点i解码所述编码数据包y_i，存储解码后的数据单元km和kn，恢复成原始数据块；当邻居用户节点j向所述用户节点i发出数据请求包，同样请求数据单元km和kn时，所述用户节点i将所述数据单元km和kn再编码形成编码数据包y_j，y_j＝y_i＝α_ikmkm+α_iknkn,并向邻居用户节点j发送所述编码数据包y_j。

Images