CN101459837A - 一种交互式多视点视频流媒体服务中控制延迟的方法 - Google Patents

Abstract

本发明涉及一种交互式多视点视频流媒体服务中控制延迟的方法，属于多媒体数据传输技术领域。首先用户与服务器进行时间同步；服务器使观看同一视点的用户构建一个视点内覆盖网，所有视点内覆盖网联合构建一个视点间覆盖网，用户在收看多视点视频节目时，在两个层次上加入这种对等覆盖网；多视点视频节目中的关键帧数据被均分成多个关键帧数据切片，分别传给观看不同视点的观众，所有观众互相交换各自的关键帧切片；根据当前数据的传输情况，减少传输过程中服务器的带宽开销。本方法根据邻居节点带宽资源，降低视点切换过程中对于服务器带宽资源的依赖，减少视点切换过程中的中间环节，加快视点切换速度，提高服务质量，增强用户的观看体验。

Description

一种交互式多视点视频流媒体服务中控制延迟的方法

技术领域

本发明涉及一种交互式多视点视频流媒体服务中控制延迟的方法，尤其涉及一种交互式多视点视频流媒体服务中控制传输和视点切换延迟的方法，属于多媒体数据传输技术领域。

背景技术

多视点视频和三维立体电视是新一代的交互式媒体服务，给用户带来全新的观看体验：用户可以自由地选择观看的视点并且随时在不同视点间进行切换；可以在不佩戴眼镜的情况下获得三维的场景体验和感受。同传统二维电视相比，在视觉效果和用户交互性上的巨大优势，使得多视点视频/三维立体电视成为研究的热点，迅速发展和普及，将成为继数字电视后广播网络和宽带网络上新一代交互式媒体的重要应用。

方便快捷的特点使得流媒体直播点播服务成为互联网上提供媒体内容服务的主要手段。考虑到流媒体服务的广泛普及，为了给互联网用户带来更好的观看体验，使用流媒体直播点播技术提供多视点视频/三维立体电视节目成为一个自然而然的选择，具有广泛的经济价值和社会价值。

交互性的特点使得多视点视频和三维立体电视流媒体服务对传输过程中和视点切换过程中的延迟具有苛刻的要求，而互联网环境本身没有对于服务的延迟保证机制。现有的延迟保证方案完全依赖于流媒体服务器的支持，因此造成服务器带宽资源的开销巨大；而另一方面，视点的切换需要经过退出当前视点频道、加入新视点频道等过程，造成视点切换的延迟时间较大。

发明内容

本发明提出了一种交互式多视点视频流媒体服务中的控制延迟的方法，能应用于多视点视频或者三维立体电视的流媒体直播或者点播服务。这是一种在保证多视点视频流媒体服务传输延迟以及视点切换延迟的基础上，通过优化流媒体服务器的调度策略以及有效利用用户带宽资源，节约服务器带宽资源开销的方案。

本发明提出的交互式多视点视频流媒体服务中控制延迟的方法，包括以下步骤：

(1)用户在开始观看多视点视频流媒体节目时，与服务器通过网络时间协议进行时间同步；

(2)服务器使观看同一视点的用户构建一个视点内覆盖网，所有视点内覆盖网联合构建一个视点间覆盖网，构建方法如下：

服务器在用户选择观看的视点中随机选取k个观看相同视点的用户，k个观看相同视点的用户为该用户的视点内覆盖网的邻居节点，将该信息返回用户，用户与k个观看相同视点的用户建立连接，对每个用户重复此过程，使观看同一视点的用户形成一个视点内覆盖网；在其他每个视点的用户中随机选取m个用户，m个用户为该用户的视点间覆盖网的邻居节点，将该信息返回用户，用户与(n—1)×m个用户建立连接，其中n是视点数量，对每个用户重复此过程，使用户形成一个视点间覆盖网，k和m取值范围为：5<k<20，2<m<10；

(3)服务器按照上述视点的数量，将上述多视点视频节目中的关键帧数据均分成关键帧数据切片，分别向上述视点内覆盖网中的部分用户传输不同的关键帧数据切片，该部分用户将接收的关键帧切片数据与同一视点内覆盖网中的其他用户进行传输和交换；

(4)经过设定时间后，不同视点内覆盖网中的用户将接收的关键帧切片数据与其他视点内覆盖网中的用户进行传输和交换；

(5)服务器将接收的多视点视频节目中的非关键帧数据发送至各视点内覆盖网中的部分用户，不同的视点内覆盖网发送不同的非关键帧数据，该部分用户将接收的非关键帧数据向同一视点内覆盖网中的其他用户传输和交换；

(6)服务器端在时间T₁发布数据包S，设用户与服务器之间的网络往返延迟为T₂，流媒体服务中控制延迟目标为T，则当用户在T₁+T-T₂时刻仍然没有接收到数据包S，用户直接向服务器请求数据包S，服务器将数据包S发送给用户；

(7)每个用户每隔15秒向服务器定期报告本用户当前的数据包出流量速率，服务器在每个视点内覆盖网中选择出流量速率最大的若干个用户，服务器与选择的用户之间按照步骤(3)和(5)中的方法传输数据；

(8)设服务器总的数据包出流量速率为r_s，当前多视点视频节目码率为r，服务器向用户当前的直接推送倍数为γ，当r_s/r>αγ时，使γ增加为2γ；当r_s/r<βγ时，使γ减少为γ/2，其中β<α，α和β的取值为：2≤α≤20，0<β<2；

(9)用户从一个视点切换到另一视点时，同时向服务器以及该用户在另一视点的视点间覆盖网邻居节点发送切换视点请求，服务器向用户推送比当前节目时间慢T秒的节目数据，用户同时从位于另一视点的视点间覆盖网中的邻居节点取得当前节目数据，用户按照步骤上述(2)加入到另一视点的视点内覆盖网中，用户向服务器发送一个停止数据直接推送请求，用户从邻居节点获取节目数据。

本发明提出的一种交互式多视点视频流媒体服务中控制延迟的方法，其优点是：

1、本发明方法是基于两层结构的对等覆盖网络作为多视点视频传输的网络拓扑基础。用户在收看多视点视频节目时，在两个层次上加入这种对等覆盖网络。这种两层结构的对等覆盖网络使得用户之间进行充分地关联和连接，保证了多视点视频数据传输的鲁棒性，并且能够充分地利用用户的带宽资源，降低服务器的带宽资源开销。每个用户均保持一个与服务器的直接连接，在多视点视频数据内容超过所控制的延迟时间仍未到达时，直接向服务器进行数据请求，保证用户的观看质量。

2、本发明方法是基于关键帧切片的数据调度方法，多视点视频节目中的关键帧数据被均分成多个关键帧数据切片，分别传给观看不同视点的观众，所有观众互相交换各自的关键帧切片，实现观看不同视点的用户共享关键帧数据的目的，从而极大地减少了服务器传输关键帧数据的数量，显著地降低服务器传输多视点视频节目的带宽开销，保证用户的观看质量和服务器提供多视点视频服务的可扩展性。

3、本发明方法是一种具有自适应能力的服务器数据传输调度方法，能够根据当前数据的传输情况，改变此后的传输策略，在促进数据传输和节约服务器传输开销之间进行折中，在保证多视点视频节目传输延迟的基础上，对服务器传输调度方法进行优化，减少传输过程中服务器的带宽开销，提高服务质量和服务的可扩展性。

4、已有的用户视点切换方法完全依赖于服务器直接推送切换后视点的内容，造成服务器的巨大带宽开销，本发明方法提出了视点切换方法，通过利用用户的邻居节点带宽资源传输切换后目标视点的数据，降低视点切换过程中对于服务器带宽资源的依赖；减少视点切换过程中的中间环节，加快视点切换速度，提高服务质量，增强用户的观看体验。

附图说明

图1是本发明提出的交互式多视点视频流媒体服务中控制延迟的方法中的网络结构示意图。

图1中，1是服务器，2是用户，3是用户与服务器的直接连接，4是服务器与各视点内覆盖网内部分用户的连接，5是视点内覆盖网用户之间的连接，6是视点间覆盖网中用户之间的连接，7是视点内覆盖网，8是视点间覆盖网

具体实施方式

本发明提出的交互式多视点视频流媒体服务中控制延迟的方法，其网络结构如图1所示，包括以下步骤：

(1)用户2在开始观看多视点视频流媒体节目时，与服务器1通过网络时间协议进行时间同步；

(2)服务器使观看同一视点的用户构建一个视点内覆盖网7，所有视点内覆盖网联合构建一个视点间覆盖网8，构建方法如下：

服务器在用户选择观看的视点中随机选取k个观看相同视点的用户，k个观看相同视点的用户为该用户的视点内覆盖网的邻居节点，将该信息返回用户，用户与k个观看相同视点的用户建立连接，如图1中的5所示。对每个用户重复此过程，使观看同一视点的用户形成一个视点内覆盖网；在其他每个视点的用户中随机选取m个用户，m个用户为该用户的视点间覆盖网的邻居节点，将该信息返回用户，用户与(n—1)×m个用户建立连接，如图1中的6所示。其中n是视点数量，对每个用户重复此过程，使用户形成一个视点间覆盖网，k和m取值范围为：5<k<20，2<m<10；

(3)服务器按照上述视点的数量，将上述多视点视频节目中的关键帧数据均分成关键帧数据切片，分别向上述视点内覆盖网中的部分用户传输不同的关键帧数据切片，该部分用户将接收的关键帧切片数据与同一视点内覆盖网中的其他用户进行传输和交换；

(4)经过设定时间后，不同视点内覆盖网中的用户将接收的关键帧切片数据与其他视点内覆盖网中的用户进行传输和交换；

(5)服务器将接收的多视点视频节目中的非关键帧数据发送至各视点内覆盖网中的部分用户，不同的视点内覆盖网发送不同的非关键帧数据，该部分用户将接收的非关键帧数据向同一视点内覆盖网中的其他用户传输和交换；

(6)服务器端在时间T₁发布数据包S，设用户与服务器之间的网络往返延迟为T₂，流媒体服务中控制延迟目标为T，则当用户在T₁+T-T₂时刻仍然没有接收到数据包S，用户直接向服务器请求数据包S，服务器将数据包S发送给用户；

(7)每个用户每隔15秒向服务器定期报告本用户当前的数据包出流量速率，服务器在每个视点内覆盖网中选择出流量速率最大的若干个用户，服务器与选择的用户之间按照步骤(3)和(5)中的方法传输数据；

(8)设服务器总的数据包出流量速率为r_s，当前多视点视频节目码率为r，服务器向用户当前的直接推送倍数为γ，当r_s/r>αγ时，使γ增加为2γ；当r_s/r<βγ时，使γ减少为γ/2，其中β<α，α和β的取值为：2≤α≤20，0<β<2；

(9)用户从一个视点切换到另一视点时，同时向服务器以及该用户在另一视点的视点间覆盖网邻居节点发送切换视点请求，服务器向用户推送比当前节目时间慢T秒的节目数据，用户同时从位于另一视点的视点间覆盖网中的邻居节点取得当前节目数据，用户按照步骤上述(2)加入到另一视点的视点内覆盖网中，用户向服务器发送一个停止数据直接推送请求，用户从邻居节点获取节目数据。

以下详细介绍本发明的内容：

在多视点视频流媒体服务中，服务器将观众按照一定的规则组织成一个覆盖于底层物理网络之上的虚拟网络，这个虚拟网络被称为对等覆盖网络(以下简称为覆盖网)。多视点视频节目，即多视点视频编码将通过这个覆盖网进行传输。本发明方法提出了一种构造2层结构覆盖网的方法：服务器使观看同一视点的用户构建一个视点内覆盖网，所有视点内覆盖网联合构建一个视点间覆盖网，构建方法如下：当用户加入并开始观看节目的时候，服务器在用户选择观看的视点中随机选取k个观看相同视点的用户，k个观看相同视点的用户为该用户的视点内覆盖网的邻居节点，将该信息返回用户，用户与k个观看相同视点的用户建立连接，对每个用户重复此过程，使观看同一视点的用户形成一个视点内覆盖网；在其他每个视点的用户中随机选取m个用户，m个用户为该用户的视点间覆盖网的邻居节点，将该信息返回用户，用户与(n—1)×m个用户建立连接，其中n是视点数量，对每个用户重复此过程，使用户形成一个视点间覆盖网，k和m取值范围为：5<k<20，2<m<10；用户在开始观看多视点视频节目时，与服务器使用NTP网络时间协议进行时间同步，并且与服务器保持一个直接连接作为救援连接。NTP协议全称网络时间协议(NetworkTime Procotol)。它的目的是在国际互联网上传递统一、标准的时间。具体的实现方案是在网络上指定若干时钟源网站，为用户提供授时服务，并且这些网站间应该能够相互比对，提高准确度。

服务器在传输多视点视频节目的时候，首先把多视点视频节目进行流化，即将整个多视点视频节目分成许多相同大小的数据包，然后传输流化后的数据包。每个数据包有一个依次递增的序列号，用户按照数据包的序列号对数据包进行请求。根据数据包负载部分的内容，可以将数据包分为关键帧数据包和非关键帧数据包。本发明提出了一种基于关键帧数据切片的方法，在观看不同视点的用户之间共享关键帧数据包，从显著降低服务器的带宽开销。其具体方法为：服务器按照上述视点的数量，将多视点视频节目中的关键帧数据包均分成关键帧数据切片，分别向上述视点内覆盖网中的部分用户传输不同的关键帧数据切片，该部分用户将接收的关键帧切片数据与同一视点内覆盖网中的其他用户进行传输和交换；经过设定时间后，不同视点内覆盖网中的用户将接收的关键帧切片数据与其他视点内覆盖网中的用户进行传输和交换；服务器将接收的多视点视频节目中的非关键帧数据发送至各视点内覆盖网中的部分用户，不同的视点内覆盖网发送不同的非关键帧数据，该部分用户将接收的非关键帧数据向同一视点内覆盖网中的其他用户传输和交换。

在观看多视点视频节目的过程中，当用户发现某部分多视点视频数据在将要超过传输延迟控制的目标值时，将会向服务器发送请求，要求服务器直接将这部分内容推送给用户，从而保证用户的观看质量。其具体方法为：服务器端在时间T₁发布数据包S，设用户与服务器之间的网络往返延迟为T₂，流媒体服务中控制延迟目标为T，则当用户在T₁+T-T₂时刻仍然没有接收到数据包S，用户直接向服务器请求数据包S，服务器将数据包S发送给用户。

在多视点视频节目的传输过程中，服务器会收集用户传输多视点视频节目的速率，并根据用户多视点视频节目传输速率的情况，选择主动推送多视点视频节目的节点，使得数据传输能力强的用户首先得到最新的多视点视频节目数据，使这部分用户发挥他们的传输能力将最新的多视点视频数据传输给其他用户。其具体步骤为：每个用户每隔15秒向服务器定期报告本用户当前的数据包出流量速率，服务器在每个视点内覆盖网中选择出流量速率最大的若干个用户，按照上述的服务器传输方法将多视点视频数据传输给这部分用户。

对于任意一个特定的流媒体数据包，服务器都会至少主动推送一份拷贝到某一个用户。对于一个数据包，如果服务器直接推送了γ份拷贝到一部分用户(每个用户至多推送一份拷贝)，称直接推送倍数为γ。服务器根据当前多视点视频数据的传输情况调整直接推送倍数，从而起到在控制数据传输延迟的基础上，节约服务器带宽资源。其具体方法为：设服务器总的数据包出流量速率为r_s，当前多视点视频节目码率为r，服务器向用户当前的直接推送倍数为γ，当r_s/r>αγ时，使γ增加为2γ；当r_s/r<βγ时，使γ减少为γ/2，其中β<α。α和β的取值为：2≤α≤20，0<β<2；

原有的用户视点切换方法完全依赖于服务器直接推送切换后视点的内容，造成服务器的巨大带宽开销，本发明提出了一种在利用用户邻居节点带宽资源基础上的视点切换方法，实现快速的视点切换和较低的服务器带宽开销。具体方法为：用户从一个视点切换到另一视点时，同时向服务器以及该用户在另一视点的视点间覆盖网邻居节点发送切换视点请求，服务器向用户推送比当前节目时间慢T秒的节目数据，用户同时从位于另一视点的视点间覆盖网中的邻居节点取得当前节目数据，用户加入到另一视点的视点内覆盖网中，用户向服务器发送一个停止数据直接推送请求，并从邻居节点获取节目数据。

Claims (1)

1、一种交互式多视点视频流媒体服务中控制延迟的方法，其特征在于该方法包括以下步骤：

(1)用户在开始观看多视点视频流媒体节目时，与服务器通过网络时间协议进行时间同步；

(2)服务器使观看同一视点的用户构建一个视点内覆盖网，所有视点内覆盖网联合构建一个视点间覆盖网，构建方法如下：

服务器在用户选择观看的视点中随机选取k个观看相同视点的用户，k个观看相同视点的用户为该用户的视点内覆盖网的邻居节点，将该信息返回用户，用户与k个观看相同视点的用户建立连接，对每个用户重复此过程，使观看同一视点的用户形成一个视点内覆盖网；在其他每个视点的用户中随机选取m个用户，m个用户为该用户的视点间覆盖网的邻居节点，将该信息返回用户，用户与(n—1)×m个用户建立连接，其中n是视点数量，对每个用户重复此过程，使用户形成一个视点间覆盖网，k和m取值范围为：5<k<20，2<m<10；

(3)服务器按照上述视点的数量，将上述多视点视频节目中的关键帧数据均分成关键帧数据切片，分别向上述视点内覆盖网中的部分用户传输不同的关键帧数据切片，该部分用户将接收的关键帧切片数据与同一视点内覆盖网中的其他用户进行传输和交换；

(4)经过设定时间后，不同视点内覆盖网中的用户将接收的关键帧切片数据与其他视点内覆盖网中的用户进行传输和交换；

(5)服务器将接收的多视点视频节目中的非关键帧数据发送至各视点内覆盖网中的部分用户，不同的视点内覆盖网发送不同的非关键帧数据，该部分用户将接收的非关键帧数据向同一视点内覆盖网中的其他用户传输和交换；

(6)服务器端在时间T₁发布数据包S，设用户与服务器之间的网络往返延迟为T₂，流媒体服务中控制延迟目标为T，则当用户在T₁+T-T₂时刻仍然没有接收到数据包S，用户直接向服务器请求数据包S，服务器将数据包S发送给用户；

(7)每个用户每隔15秒向服务器定期报告本用户当前的数据包出流量速率，服务器在每个视点内覆盖网中选择出流量速率最大的若干个用户，服务器与选择的用户之间按照步骤(3)和(5)中的方法传输数据；

(8)设服务器总的数据包出流量速率为r_s，当前多视点视频节目码率为r，服务器向用户当前的直接推送倍数为γ，当r_s/r>αγ时，使γ增加为2γ；当r_s/r<βγ时，使γ减少为γ/2，其中β<α，α和β的取值为：2≤α≤20，0<β<2；

(9)用户从一个视点切换到另一视点时，同时向服务器以及该用户在另一视点的视点间覆盖网邻居节点发送切换视点请求，服务器向用户推送比当前节目时间慢T秒的节目数据，用户同时从位于另一视点的视点间覆盖网中的邻居节点取得当前节目数据，用户按照步骤上述(2)加入到另一视点的视点内覆盖网中，用户向服务器发送一个停止数据直接推送请求，用户从邻居节点获取节目数据。