CN101465884A - 一种基于对等覆盖网络协作的多视点视频编码的传输方法 - Google Patents

Abstract

本发明涉及一种基于对等覆盖网络协作的多视点视频编码的传输方法，属于多媒体数据传输技术领域。服务器使观看同一视点的用户构建一个视点内覆盖网，所有视点内覆盖网联合构建一个视点间覆盖网，多视点视频节目中的关键帧数据被均分成多个关键帧数据切片，分别传给观看不同视点的观众，所有观众互相交换各自的关键帧切片，检测各视点观众带宽资源整体情况的方法，通过改变用户在传输过程中响应数据请求的范围，增加具有富裕带宽资源的视点传输多视点视频节目数据的数量。本方法的优点是保证用户的观看质量和服务器提供多视点视频服务的可扩展性；实现用户带宽资源的整体优化配置和有效利用，解决了多视点视频流媒体服务中的视点资源异构的问题。

Description

一种基于对等覆盖网络协作的多视点视频编码的传输方法

技术领域

本发明涉及一种基于对等覆盖网络协作的多视点视频编码的传输方法，尤其涉及在互联网环境有限带宽情况下对于大容量多视点视频编码传输的方法，属于多媒体数据传输技术领域。

背景技术

多视点视频和三维立体电视是新一代的交互式媒体服务，给用户带来全新的观看体验：用户可以自由地选择观看的视点并且随时在不同视点间进行切换；可以在不佩戴眼镜的情况下获得三维的场景体验和感受。同传统二维电视相比，在视觉效果和用户交互性上的巨大优势，使得多视点视频/三维立体电视成为研究的热点，迅速发展和普及，将成为继数字电视后广播网络和宽带网络上新一代交互式媒体的重要应用。

方便快捷的特点使得流媒体直播点播服务成为互联网上提供媒体内容服务的主要手段。考虑到流媒体服务的广泛普及，为了给互联网用户带来更好的观看体验，使用流媒体直播点播技术提供多视点视频/三维立体电视节目成为一个自然而然的选择，具有广泛的经济价值和社会价值。

然而，多视点视频和三维立体电视在传输上的困难制约着它们流媒体服务的大规模部署：多视点视频和三维立体电视数据容量巨大，对于流媒体服务器带宽资源的消耗过大，影响流媒体系统的整体性能和可扩展性。

现有的传输方案均采用对各视点视频数据进行独立传输的方案，未能充分利用视频中相邻视点在内容上的相关性，因此引入了大量的传输冗余，造成流媒体服务器带宽消耗过大。此外，独立传输的方案使得服务器不能对各视点的带宽资源进行整体上的优化和配置，使得视点的富裕资源闲置和浪费；而另一方面，资源不足的视点只得请求服务器分配额外的带宽资源用来维持其正常的流媒体传输，进一步加重了服务器的传输开销。

发明内容

本发明的目的是提出一种基于对等覆盖网络协作的多视点视频编码的传输方法，利用多视点视频编码中所有视点的解码均需要参考关键帧的特点，将各视点的传输关联起来，对各视点数据进行协作化传输，减少流媒体服务器带宽资源的开销，实现视点资源的整体有效利用。

本发明提出的基于对等覆盖网络协作的多视点视频编码的传输方法，包括以下步骤：

(1)服务器使观看同一视点的用户构建一个视点内覆盖网，所有视点内覆盖网联合构建一个视点间覆盖网，构建方法如下：

服务器在用户选择观看的视点中随机选取k个观看相同视点的用户，k个观看相同视点的用户为该用户的视点内覆盖网的邻居节点，将该信息返回用户，用户与k个观看相同视点的用户建立连接，对每个用户重复此过程，使观看同一视点的用户形成一个视点内覆盖网；在其他每个视点的用户中随机选取m个用户，m个用户为该用户的视点间覆盖网的邻居节点，将该信息返回用户，用户与(n—1)×m个用户建立连接，其中n是视点数量，对每个用户重复此过程，使用户形成一个视点间覆盖网，k和m取值范围为：5<k<20，2<m<10，将每个用户与服务器保持的直接连接作为救援连接；

(2)服务器按照上述视点的数量，将上述多视点视频节目中的关键帧数据均分成关键帧数据切片，分别向上述视点内覆盖网中的部分用户传输不同的关键帧数据切片，该部分用户将接收的关键帧切片数据与同一视点内覆盖网中的其他用户进行传输和交换；

(3)经过设定时间后，不同视点内覆盖网中的用户将接收的关键帧切片数据与其他视点内覆盖网中的用户进行传输和交换；

(4)服务器将接收的多视点视频节目中的非关键帧数据发送至各视点内覆盖网中的部分用户，不同的视点内覆盖网发送不同的非关键帧数据，该部分用户将接收的非关键帧数据向同一视点内覆盖网中的其他用户传输和交换；

(5)服务器统计各视点内覆盖网的用户通过救援连接向服务器进行直接数据请求的传输流量，对各视点内覆盖网的带宽资源进行判断，得到具有富裕带宽资源的视点内覆盖网和带宽资源不足的视点内覆盖网，判断方法如下：

设用户通过救援连接向服务器进行直接数据请求所造成的服务器带宽出流量数为M，则覆盖网带宽缺口W＝M/T/N_i，其中T为流媒体会话的进行时间，N_i为该视点内覆盖网的用户数量，若W大于R_S/α，则该视点内覆盖网为带宽资源不足，若W小于R_S/β，则该视点内覆盖网为带宽资源富裕，其中R_S是多视点视频节目的码率，α的取值范围为：0<α<30，β的取值为：100<β<1000；

(6)根据上述判断结果，减少带宽资源不足的视点内覆盖网在视点间覆盖网中响应数据请求的范围，并增加带宽资源富裕的视点内覆盖网在视点间覆盖网中响应数据请求的范围，具体方法如下：

设参数λ＝W/R_IS，若λ<1，则带宽资源不足的视点内覆盖网用户，不响应来自其他用户对于数据包序列号为j×H+i×(b—a)/n至j×H+(i+λ)×(b—a)/n之间的数据请求，从而减少带宽资源不足的视点内覆盖网在视点间覆盖网中响应数据请求的范围，带宽资源富裕的视点内覆盖网，响应来自其他用户对于数据包序列号为j×H+i×(b—a)/n至j×H+(i+λ)×(b—a)/n之间的数据请求，从而减少带宽资源不足的视点内覆盖网在视点间覆盖网中响应数据请求的范围，若λ≥1，则带宽资源不足的视点内覆盖网将停止响应对关键帧切片的请求，其中，i为带宽资源不足的视点内覆盖网的编号，R_IS为视点内覆盖网的用户在视点间覆盖网中响应其他用户对于关键帧切片数据请求的上行带宽资源数，R_IS＝m×(n—1)R×μ/n，R为视频节目码率，μ为关键帧数据占多视点视频编码的比例，H为每个多视点视频节目中的画面组内容对应的数据包个数，a、b为与每个画面组内关键帧数据相对应的多视点视频节目的数据包的起始和结束的序列号，j为带宽资源不足的视点内覆盖网用户和带宽资源富裕的视点内覆盖网用户，减少和增加响应数据请求的序列号范围区间的标识，j＝0，1，2……u，u为多视点视频节目中数据包序列号的最大值除以H并向下取整后加1。

本发明提出的一种基于对等覆盖网络协作的多视点视频编码的传输方法，其优点是：

1、本发明方法将两层结构的对等覆盖网络作为多视点视频传输的网络拓扑基础。用户在收看多视点视频节目时，在两个层次上加入这种对等覆盖网络。这种两层结构的对等覆盖网络使得用户之间进行充分地关联和连接，保证了多视点视频数据传输的鲁棒性，并且能够充分地利用用户的带宽资源，降低服务器的带宽资源开销。此外，每个用户均保持一个与服务器的直接连接，在多视点视频数据内容超时仍未到达时，直接向服务器进行数据请求，保证用户的观看质量。

2、本发明方法是基于关键帧切片的数据调度方法：多视点视频节目中的关键帧数据被均分成多个关键帧数据切片，分别传给观看不同视点的观众，所有观众互相交换各自的关键帧切片，实现观看不同视点的用户共享关键帧数据的目的，从而极大地减少了服务器传输关键帧数据的数量，显著地降低服务器传输多视点视频节目的带宽开销，保证用户的观看质量和服务器提供多视点视频服务的可扩展性。

3、本发明方法中，检测各视点观众带宽资源整体情况的方法，通过改变用户在传输过程中响应数据请求的范围，增加具有富裕带宽资源的视点传输多视点视频节目数据的数量，从而为多视点视频节目的传输贡献更多的带宽资源；带宽资源不足的视点则减少传输的多视点视频节目的数据量；从而实现用户带宽资源的整体优化配置和有效利用，解决了多视点视频流媒体服务中的视点资源异构的问题。

附图说明

图1是本发明的多视点视频编码的传输方法中网络结构示意图。

图1中，1是服务器，2是用户，3是用户与服务器的直接连接，4是服务器与各视点内覆盖网内部分用户的连接，5是视点内覆盖网用户之间的连接，6是视点间覆盖网中用户之间的连接，7是视点内覆盖网，8是视点间覆盖网。

具体实施方式

本发明提出的基于对等覆盖网络协作的多视点视频编码的传输方法，其网络结构如图1所示，包括以下步骤：

(1)服务器1使观看同一视点的用户2构建一个视点内覆盖网7，所有视点内覆盖网联合构建一个视点间覆盖网8，构建方法如下：

服务器1在用户选择观看的视点中随机选取k个观看相同视点的用户，k个观看相同视点的用户为该用户的视点内覆盖网的邻居节点，将该信息返回用户，用户与k个观看相同视点的用户建立连接，如图1中5所示，对每个用户重复此过程，使观看同一视点的用户形成一个视点内覆盖网；在其他每个视点的用户中随机选取m个用户，m个用户为该用户的视点间覆盖网的邻居节点，将该信息返回用户，用户与(n—1)×m个用户建立连接，如图1中6所示，其中n是视点数量，对每个用户重复此过程，使用户形成一个视点间覆盖网，k和m取值范围为：5<k<20，2<m<10，将每个用户与服务器保持的直接连接3作为救援连接；

(2)服务器按照上述视点的数量，将上述多视点视频节目中的关键帧数据均分成关键帧数据切片，分别向上述视点内覆盖网中的部分用户传输不同的关键帧数据切片，该部分用户将接收的关键帧切片数据与同一视点内覆盖网中的其他用户进行传输和交换；

(3)经过设定时间后，不同视点内覆盖网中的用户将接收的关键帧切片数据与其他视点内覆盖网中的用户进行传输和交换；

(4)服务器将接收的多视点视频节目中的非关键帧数据发送至各视点内覆盖网中的部分用户，不同的视点内覆盖网发送不同的非关键帧数据，该部分用户将接收的非关键帧数据向同一视点内覆盖网中的其他用户传输和交换；

(5)服务器统计各视点内覆盖网的用户通过救援连接向服务器进行直接数据请求的传输流量，对各视点内覆盖网的带宽资源进行判断，得到具有富裕带宽资源的视点内覆盖网和带宽资源不足的视点内覆盖网，判断方法如下：

设用户通过救援连接向服务器进行直接数据请求所造成的服务器带宽出流量数为M，则覆盖网带宽缺口W＝M/T/N_i，其中T为流媒体会话的进行时间，N_i为该视点内覆盖网的用户数量，若W大于R_S/α，则该视点内覆盖网为带宽资源不足，若W小于R_S/β，则该视点内覆盖网为带宽资源富裕，其中R_S是多视点视频节目的码率，α的取值范围为：0<α<30，β的取值为：100<β<1000；

(6)根据上述判断结果，减少带宽资源不足的视点内覆盖网在视点间覆盖网中响应数据请求的范围，并增加带宽资源富裕的视点内覆盖网在视点间覆盖网中响应数据请求的范围，具体方法如下：

设参数λ＝W/R_IS，若λ<1，则带宽资源不足的视点内覆盖网用户，不响应来自其他用户对于数据包序列号为j×H+i×(b—a)/n至j×H+(i+λ)×(b—a)/n之间的数据请求，从而减少带宽资源不足的视点内覆盖网在视点间覆盖网中响应数据请求的范围，带宽资源富裕的视点内覆盖网，响应来自其他用户对于数据包序列号为j×H+i×(b—a)/n至j×H+(i+λ)×(b—a)/n之间的数据请求，从而减少带宽资源不足的视点内覆盖网在视点间覆盖网中响应数据请求的范围，若λ≥1，则带宽资源不足的视点内覆盖网将停止响应对关键帧切片的请求，其中，i为带宽资源不足的视点内覆盖网的编号，R_IS为视点内覆盖网的用户在视点间覆盖网中响应其他用户对于关键帧切片数据请求的上行带宽资源数，R_IS＝m×(n—1)R×μ/n，R为视频节目码率，μ为关键帧数据占多视点视频编码的比例，H为每个多视点视频节目中的画面组内容对应的数据包个数，a、b为与每个画面组内关键帧数据相对应的多视点视频节目的数据包的起始和结束的序列号，j为带宽资源不足的视点内覆盖网用户和带宽资源富裕的视点内覆盖网用户，减少和增加响应数据请求的序列号范围区间的标识，j＝0，1，2……u，u为多视点视频节目中数据包序列号的最大值除以H并向下取整后加1。

以下详细介绍本发明内容：

在多视点视频流媒体服务中，服务器将观众按照一定的规则组织成一个覆盖于底层物理网络之上的虚拟网络，这个虚拟网络被称为对等覆盖网络(以下简称为覆盖网)。多视点视频节目，即多视点视频编码将通过这个覆盖网进行传输。因此多视点视频编码的传输方法中的第一步是构造覆盖网。本发明提出了一种构造2层结构覆盖网的方法：当用户加入并开始观看节目的时候，服务器在用户选择观看的视点中随机选取k个观看相同视点的用户，k个观看相同视点的用户为该用户的视点内覆盖网的邻居节点，将该信息返回用户，用户与k个观看相同视点的用户建立连接，对每个用户重复此过程，使观看同一视点的用户形成一个视点内覆盖网；在其他每个视点的用户中随机选取m个用户，m个用户为该用户的视点间覆盖网的邻居节点，将该信息返回用户，用户与(n—1)×m个用户建立连接，其中n是视点数量，对每个用户重复此过程，使用户形成一个视点间覆盖网，k和m取值范围为：5<k<20，2<m<10；每个用户与服务器保持一个直接连接作为救援连接。

服务器在传输多视点视频节目的时候，首先把多视点视频节目进行流化，即将整个多视点视频节目分成许多相同大小的数据包，然后传输流化后的数据包。每个数据包有一个依次递增的序列号，用户按照数据包的序列号对数据包进行请求。根据数据包负载部分的内容，可以将数据包分为关键帧数据包和非关键帧数据包。

本发明方法是基于关键帧数据切片的方法，在观看不同视点的用户之间共享关键帧数据包，从而显著降低服务器的带宽开销。其具体方法为：服务器按照上述视点的数量，将多视点视频节目中的关键帧数据包均分成关键帧数据切片，分别向上述视点内覆盖网中的部分用户传输不同的关键帧数据切片，该部分用户将接收的关键帧切片数据与同一视点内覆盖网中的其他用户进行传输和交换；经过设定时间后，不同视点内覆盖网中的用户将接收的关键帧切片数据与其他视点内覆盖网中的用户进行传输和交换；服务器将接收的多视点视频节目中的非关键帧数据发送至各视点内覆盖网中的部分用户，不同的视点内覆盖网发送不同的非关键帧数据，该部分用户将接收的非关键帧数据向同一视点内覆盖网中的其他用户传输和交换；

为了解决多视点视频流媒体服务中的视点资源异构问题，即用户观看习惯上的差异使得观看不同视点的观众数量不同，因此造成不同视点对应的视点内覆盖网的带宽资源不同。在传统的多视点视频节目传输方法中，不同视点的覆盖网各自独立，无法解决视点资源异构的问题：观众数量少的视点其对应的视点内覆盖网可能会没有足够的带宽资源用来传输多视点视频节目，而观众人数多的视点其对应的视点内覆盖网的富裕带宽资源则被闲置和浪费。针对这个问题，本发明提出一种检测各视点观众带宽资源整体情况的方法，通过改变用户在传输过程中响应数据请求的范围，增加具有富裕带宽资源的视点传输多视点视频节目数据的数量，从而为多视点视频节目的传输贡献更多的带宽资源；带宽资源不足的视点则减少传输的多视点视频节目的数据量；从而实现用户带宽资源的整体优化配置和有效利用，解决多视点视频流媒体服务中的视点资源异构的问题。其具体方法为：服务器统计各视点内覆盖网的用户通过救援连接向服务器进行直接数据请求的传输流量，对各视点内覆盖网的带宽资源进行判断，得到具有富裕带宽资源的视点内覆盖网和带宽资源不足的视点内覆盖网，判断方法如下：设用户通过救援连接向服务器进行直接数据请求所造成的服务器带宽出流量数为M，则覆盖网带宽缺口W＝M/T/N_i，其中T为流媒体会话的进行时间，N_i为该视点内覆盖网的用户数量，若覆盖网带宽缺口大于R_S/α，则该视点内覆盖网为带宽资源不足，若覆盖网带宽缺口小于R_S/β，则该视点内覆盖网为带宽资源富裕，其中R_S是多视点视频节目的码率，α的取值范围为：0<α<30，β的取值为：100<β<1000；根据上述判断结果，减少带宽资源不足的视点内覆盖网在视点间覆盖网中响应数据请求的范围，并增加带宽资源富裕的视点内覆盖网在视点间覆盖网中响应数据请求的范围，具体方法如下：设参数λ＝W/R_IS，若λ<1，则带宽资源不足的视点内覆盖网用户，不响应来自其他用户对于数据包序列号为j×H+i×(b—a)/n至j×H+(i+λ)×(b—a)/n之间的数据请求，从而减少带宽资源不足的视点内覆盖网在视点间覆盖网中响应数据请求的范围，带宽资源富裕的视点内覆盖网，响应来自其他用户对于数据包序列号为j×H+i×(b—a)/n至j×H+(i+λ)×(b—a)/n之间的数据请求，从而减少带宽资源不足的视点内覆盖网在视点间覆盖网中响应数据请求的范围，若λ≥1，则带宽资源不足的视点内覆盖网将停止响应对关键帧切片的请求，其中，i为带宽资源不足的视点内覆盖网的编号，R_IS为视点内覆盖网的用户在视点间覆盖网中响应其他用户对于关键帧切片数据请求的上行带宽资源数，R_IS＝m×(n—1)R×μ/n，R为视频节目码率，μ为关键帧数据占多视点视频编码的比例，H为每个多视点视频节目中的画面组内容对应的数据包个数，a、b为与每个画面组内关键帧数据相对应的多视点视频节目的数据包的起始和结束的序列号，j为带宽资源不足的视点内覆盖网用户和带宽资源富裕的视点内覆盖网用户，减少和增加响应数据请求的序列号范围区间的标识，j＝0，1，2……u，u为多视点视频节目中数据包序列号的最大值除以H并向下取整后加1。

Claims (1)

1、一种基于对等覆盖网络协作的多视点视频编码的传输方法，其特征在于该方法包括以下步骤：

(1)服务器使观看同一视点的用户构建一个视点内覆盖网，所有视点内覆盖网联合构建一个视点间覆盖网，构建方法如下：

服务器在用户选择观看的视点中随机选取k个观看相同视点的用户，k个观看相同视点的用户为该用户的视点内覆盖网的邻居节点，将该信息返回用户，用户与k个观看相同视点的用户建立连接，对每个用户重复此过程，使观看同一视点的用户形成一个视点内覆盖网；在其他每个视点的用户中随机选取m个用户，m个用户为该用户的视点间覆盖网的邻居节点，将该信息返回用户，用户与(n—1)×m个用户建立连接，其中n是视点数量，对每个用户重复此过程，使用户形成一个视点间覆盖网，k和m取值范围为：5<k<20，2<m<10，将每个用户与服务器保持的直接连接作为救援连接；

(2)服务器按照上述视点的数量，将上述多视点视频节目中的关键帧数据均分成关键帧数据切片，分别向上述视点内覆盖网中的部分用户传输不同的关键帧数据切片，该部分用户将接收的关键帧切片数据与同一视点内覆盖网中的其他用户进行传输和交换；

(3)经过设定时间后，不同视点内覆盖网中的用户将接收的关键帧切片数据与其他视点内覆盖网中的用户进行传输和交换；

(4)服务器将接收的多视点视频节目中的非关键帧数据发送至各视点内覆盖网中的部分用户，不同的视点内覆盖网发送不同的非关键帧数据，该部分用户将接收的非关键帧数据向同一视点内覆盖网中的其他用户传输和交换；

(5)服务器统计各视点内覆盖网的用户通过救援连接向服务器进行直接数据请求的传输流量，对各视点内覆盖网的带宽资源进行判断，得到具有富裕带宽资源的视点内覆盖网和带宽资源不足的视点内覆盖网，判断方法如下：

设用户通过救援连接向服务器进行直接数据请求所造成的服务器带宽出流量数为M，则覆盖网带宽缺口W＝M/T/N_i，其中T为流媒体会话的进行时间，N_i为该视点内覆盖网的用户数量，若W大于R_S/α，则该视点内覆盖网为带宽资源不足，若W小于R_S/β，则该视点内覆盖网为带宽资源富裕，其中R_S是多视点视频节目的码率，α的取值范围为：0<α<30，β的取值为：100<β<1000；

(6)根据上述判断结果，减少带宽资源不足的视点内覆盖网在视点间覆盖网中响应数据请求的范围，并增加带宽资源富裕的视点内覆盖网在视点间覆盖网中响应数据请求的范围，具体方法如下：

设参数λ＝W/R_IS，若λ<1，则带宽资源不足的视点内覆盖网用户，不响应来自其他用户对于数据包序列号为j×H+i×(b—a)/n至j×H+(i+λ)×(b—a)/n之间的数据请求，从而减少带宽资源不足的视点内覆盖网在视点间覆盖网中响应数据请求的范围，带宽资源富裕的视点内覆盖网，响应来自其他用户对于数据包序列号为j×H+i×(b—a)/n至j×H+(i+λ)×(b—a)/n之间的数据请求，从而减少带宽资源不足的视点内覆盖网在视点间覆盖网中响应数据请求的范围，若λ≥1，则带宽资源不足的视点内覆盖网将停止响应对关键帧切片的请求，其中，i为带宽资源不足的视点内覆盖网的编号，R_IS为视点内覆盖网的用户在视点间覆盖网中响应其他用户对于关键帧切片数据请求的上行带宽资源数，R_IS＝m×(n—1)R×μ/n，R为视频节目码率，μ为关键帧数据占多视点视频编码的比例，H为每个多视点视频节目中的画面组内容对应的数据包个数，a、b为与每个画面组内关键帧数据相对应的多视点视频节目的数据包的起始和结束的序列号，j为带宽资源不足的视点内覆盖网用户和带宽资源富裕的视点内覆盖网用户，减少和增加响应数据请求的序列号范围区间的标识，j＝0，1，2……u，u为多视点视频节目中数据包序列号的最大值除以H并向下取整后加1。

Images