CN100499805C - 一种基于光场渲染的自由视点视频在ip网传输方法 - Google Patents

Abstract

本发明涉及一种基于光场渲染的自由视点视频在IP网传输方法，属于计算机多媒体技术领域，该方法为：将每台电脑从摄像头采集来的视频进行压缩后的视频流作为一路视频流进行缓存；将用户所需要的多路视频流作为一路自由视点视频视频流进行传输，该传输方法包括：视频流缓存；建立连接准备服务，将用户及所需视频流标号放入相应的用户待服务列表，每个用户待服务列表中用户按照用户时间戳从早到晚排序；选取所有用户时间戳最早的用户按其视频流标号进行发送；当进行视频流切换时，服务器将用户待服务列表中用户的视频流标号修改为用户需要更换的视频流标号，然后发送。本发明解决了各路视频流之间在发送时的同步问题和发送端网络拥塞问题。

Description

一种基于光场渲染的自由视点视频在IP网传输方法

技术领域

本发明属于计算机多媒体技术领域，特别涉及流媒体传输和自由视点视频技术。

背景技术

Internet上使用的一个关键的底层协议是网际协议，通常称IP协议。利用一个共同遵守的IP协议，从而使Internet成为一个允许连接不同类型的计算机和不同操作系统的网络。通信协议正像两台计算机交换信息所使用的共同语言，它规定了通信双方在通信中所应共同遵守的约定。

TCP协议被称作一种端对端协议。这是因为它为两台计算机之间的连接起了重要作用：当一台计算机需要与另一台远程计算机连接时，TCP协议会让它们建立一个连接、发送和接收数据以及终止连接。传输控制协议TCP协议利用重发技术和拥塞控制机制，·向应用程序提供可靠的通信连接，使它能够自动适应网上的各种变化。即使在Internet暂时出现堵塞的情况下，TCP也能够保证通信的可靠。

目前网络上多媒体实时应用的主要控制协议为RTSP(实时流协议)，它是一个客户—服务器多媒体节目协议，可以控制流式多媒体数据在IP网络上的发送。它提供用于音频和视频流的“VCR模式”远程控制功能，例如：停止、快进、快退和定位。数据源包括实况数据和存储片断。RTSP是一个应用层协议，用来与诸如RTP、RSVP等更低层的协议一起，提供基于Internet的整套流化服务。它可以选择发送通道(例如：UDP、组播UDP和TCP)和基于RTP的发送机制。它可以服务于多客户组播和单一观众点播。

RTP(实时传输协议)是用于互联网上针对多媒体数据流的一种传输协议。RTP被定义为在一对一或一对多的传输情况下工作，其目的是提供时间信息和实现流同步。

RTP协议本身包括两部分：RTP和RTCP(实时传输控制协议)。为了可靠，高效的传送实时数据，RTP和RTCP必须配合使用，通常，RTCP包的数量占所有传输量的5％。

RTP实时传输协议主要用于负载多媒体数据，并通过包头时间参数的配置使其具有实时的特征。RTCP传输控制协议主要用于周期的传送RTCP包，监视RTP传输的服务质量。在RTCP包中，含有已发送的数据包的数量、丢失的数据包的数量等统计资料，因此，服务器可以利用这些信息动态地改变传输速率，甚至改变有效载荷类型，实现流量控制和拥塞控制服务。RTP本身并不能为按顺序传送数据包提供可靠的传送机制，也不提供流量控制或拥塞控制，它依靠RTCP传输控制协议提供这些服务。

流媒体技术是近年来兴起的一种在线播放技术。播放器在客户端的内存中开辟出一个缓存区，通常是几兆字节的空间，播放器等到缓存区中有足够的数据后开始解码播放，这个过程通常需要几秒钟的时间，同下载完后再播放相比大大节省了等待时间，而且由于没有下载到硬盘上，而是直接存储到内存中，播放完后即被播放器删除，因此对数字版权起到保护作用。在技术上在线播放器要比下载播放的播放器更复杂，它必须支持网络播放功能。

“流媒体”不同于传统的多媒体，它是一种结构化的网络媒体流，它的主要特点就是以“视音频流”(Video-Audio Stream)的形式在网络上传送，播放器可以像播放本地文件一样播放网络流媒体。

自由视点视频(Free Viewpoint Video，以下简称FVV)服务可以允许用户通过与服务器交互，在三维场景中进行自由浏览，用户可以通过鼠标的移动等方法，改变用户在场景中的观察视角，从而大大提高了用户观看的自由度。尤其是在真实场景中浏览时，可以给用户身临其境的感觉，这种视觉上的享受是传统媒体无法比拟的。

FVV通常由多路普通视频流组成，这些视频流可能是由多个摄像头同时拍摄一个场景或物体得到，也有可能是通过计算机图形学工具对虚拟场景进行采样得到。客户端通常通过基于图像的渲染(Image Based Rendering，以下简称IBR)技术，对图像进行渲染，获得最终用户所看到的视图。

在众多被用于FVV服务的IBR技术中，光场渲染(Light Field Rendering，以下简称LFR)技术是一个重要的方法。该方法利用一个平面上的摄像头阵列对目标场景进行拍摄。摄像头数量往往达到数十甚至数百，所以基于LFR的FVV通常都包括数十甚至数百路普通视频流。

为了能够在有限的带宽上传输FVV，需要对采集到的原始视频进行编码压缩。其中一种典型的压缩方法是文章“Yebin Liu，Qionghai Dai，Wenli Xu：A Real Time InteractiveDynamic Light Field Transmission System.In IEEE international conference on multimediaexpo.2006，Toronto，Canada ICME 2006”所提到的共享I场“Shared I Field”方法。该方法如图1所示，同一个时间点上所有摄像头采集的图像叫做一个场(Field)，所有的摄像头都在同一时刻对后续视频的参考帧进行编码，该场称为共享I场(Shared I Field，以下简称SIF)，即图中由多个I帧方块组成的虚线框所示，其他时刻的场成为P场(P Field，以下简称PF)，即图中由多个P帧方块组成的虚线框所示。每路视频流中，PF里的帧都参考该路视频流前一个SIF中的帧进行编码压缩，在图1中，箭头代表参考方向，在解码时，如果想要解码PF中的某一帧P，则需要预先解码该帧在SIF中的相对应的参考帧I。

FVV的视频采集，编码和传输系统结构为：数台电脑将从摄像头采集来的视频进行压缩，将压缩后的视频流发送给转发服务器。每台用于采集压缩的电脑(以下简称采集PC)。

一般在IP网上传输基于光场渲染的自由视点视频的方法(服务器端从采集PC处收到视频流，为用户完成基于LFR的FVV服务)如下：将所有视频流的SIF中的帧作为一路视频流，用户所需要的每路视频流的PF帧均视为一路FVV(自由视点视频)视频流进行传输；当FVV服务所需要的PF视频流出现变化，客户端通过RTSP协议通信，通知服务器端需要切换的PF视频流，服务器端收到请求后用新的PF视频流替换原有PF视频流进行RTP打包发送。

对于每路FVV视频流的传输方法，包括以下步骤：

1)视频流缓存：服务器端将要发送的视频流先进行缓存，缓存区为环形缓存区；新来一个帧时，如果缓存区已满，将缓存区队头的帧丢弃，将新的帧放入队尾；

2)建立RTSP连接过程：包括以下步骤：

客户端连接服务器RTSP协议监听端口，请求视频流传送；

服务器端根据客户端的请求，建立与客户端的RTSP会话；

客户端再次发送RTSP请求，商定接受端口；

服务器端解析出端口信息，并回应请求；

客户端要求开始发送RTP数据；

服务器端回应请求，并进入RTP数据传输；

3)RTP数据传输过程：服务器端用RTP协议将视频流打成RTP数据包发送；

4)客户端收到服务器端发送来的RTP数据包，进行拆包操作得到所需的视频流数据；并将所述数据放入缓存区缓存，等待播放；

5)结束发送过程：客户端向服务器端发送RTSP终止发送请求；服务器端回复请求，并终止发送RTP数据。

上面提到的方法中，存在三个缺点：首先，此方法中，服务器端将所有的SIF帧发送给客户端，包括客户端光场渲染不需要的帧，这样会造成网络带宽的额外开销；第二，这种方法中，同一用户的不同视频流传输可能不同步，客户端需要对接收到的视频流进行缓存和同步；第三，由于一个用户可能要用到数个视频流，如果用户数较多，则必然用于发送视频流的线程增多。很多线程在进行RTP包发送时，在发送端有可能出现数据拥塞，造成不必要的丢包。

发明内容

本发明的目的是为克服已有技术的不足之处，提出一种新的基于LFR的FVV在IP网传输方法。该方法解决了发送全部SIF给网络带宽带来额外开销的问题。同样解决了各路视频流之间在发送时的同步问题和发送端网络拥塞问题。

本发明所述方法为，将每台电脑从摄像头采集来的视频进行压缩后的视频流作为一路视频流进行缓存；将用户所需要的多路视频流作为一路自由视点视频(FVV)流进行传输，该自由视点视频(FVV)流进行传输方法包括以下步骤：

1)视频流缓存；将缓存区分为多个缓存单元，服务器端将每一路视频流缓存在一个单元中；

2)建立连接准备服务，根据用户服务等级将用户及所需视频流标号(以下简称StreamID)放入相应的用户待服务列表，每个用户待服务列表中用户按照用户时间戳从早到晚排序；

3)根据用户时间戳循环选择用户进行发送：即依次遍历用户待服务列表，选取所有用户时间戳最早的用户按其StreamID进行发送；

4)当客户端用户由于自由浏览，进行视频流切换时，服务器将用户待服务列表中用户的StreamID修改为用户需要更换的StreamID，然后等待发送；

5)结束服务；用户通过RTSP协议通知服务器终止发送；服务器端将用户从用户待服务列表中删除。

本发明的特点及效果

本发明解决了发送全部SIF给网络带宽带来额外开销的问题。同样解决了各路视频流之间在发送时的同步问题和发送端网络拥塞问题。本发明运用分组用户时间戳排序的方法，优化了IP网上FVV服务的用户服务性能，为基于SIF压缩方法的FVV服务提供了一个确实可行的FVV转发方法。本发明中，服务器端并不将所有的SIF帧发送给客户端，不会造成额外的网络开销。并可以为用户提供帧率可分级的服务。

附图说明

图1为基于SIF的FVV压缩方法示意图。

图2为本发明中选择用户进行服务的方法示意图。

图3为本发明的实施例中，用户没有进行视频流切换时的网络带宽情况。

图4为本发明的实施例中，用户进行视频流切换情况下，网络带宽的情况。

具体实施方式

本发明提出的一种基于光场渲染的自由视点视频在IP网传输方法，结合附图及实施例详细说明如下：

本发明所述方法为，将每台电脑从摄像头采集来的视频进行压缩后的视频流作为一路视频流进行缓存；将用户所需要的多路视频流作为一路自由视点视频(FVV)流进行传输，该自由视点视频(FVV)流进行传输方法包括以下步骤：

1)视频流缓存；将缓存区分为多个缓存单元，服务器端将每一路视频流缓存在一个单元中；

2)建立连接准备服务，根据用户服务等级将用户及所需视频流标号(以下简称StreamID)放入相应的用户待服务列表，每个用户待服务列表中用户按照用户时间戳从早到晚排序；

3)根据用户时间戳循环选择用户进行发送：即依次遍历用户待服务列表，选取所有用户时间戳最早的用户按其视频流标号进行发送；

4)当客户端用户由于自由浏览，进行视频流切换时，服务器将用户待服务列表中用户的视频流标号(StreamID)修改为用户需要更换的视频流标号(StreamID)，然后等待发送；

5)结束服务；用户通过RTSP协议通知服务器终止发送；服务器端将用户从用户待服务列表中删除(本发明方法对用户待服务列表进行删除工作不会影响用户待服务列表的有序性)。

上述步骤1)中服务器端将每一路视频流缓存在一个单元中的方法为：将每一路视频流中属于SIF的视频帧和属于PF的视频帧在缓存单元中分开进行缓存；SIF视频帧和PF视频帧的缓存数量为：缓存每路视频流的两个SIF的视频帧，缓存与两个SIF之间PF数量相等的PF帧(这个数量对所有的视频流都一样)；当缓存单元存满，接收到新的视频帧时，将缓存单元中最早的相应的SIF帧或PF帧丢弃(上述缓存方法可以保证任何一个缓存单元中的PF帧及其参考帧在SIF都同时存在)。

上述步骤2)中建立连接准备服务具体包括以下步骤：

(21)客户端通过TCP/IP协议连接FVV服务监听端口，请求FVV服务；

(22)服务器端将在FVV视频流传送之前通知客户端以下信息：摄像机的空间位置，相机参数和对应的视频流标号(Stream ID)，用TCP/IP协议发送给客户端；

(23)客户端将需要的视频流标号(Stream ID)，通过RTSP协议，通知服务器端建立连接(具体连接过程与普通视频建立连接的过程相同)；

(24)服务器端根据用户的服务级别，将信息加入用户待服务列表，准备为用户服务。

本发明的用户待服务列表的内容可包括用户的地址端口信息，所需要的视频流编号StreamID以及上次对该用户服务时发送的数据内容。

在本发明中，用户可以分为不同的服务级别，不同的服务级别的区别在于为用户提供不同帧率(每秒单个视频流发送的视频帧数量)的服务，在开始对用户服务时，除非用户特殊说明，否则都按照最高帧率服务。

本发明的用户待服务列表的实现方法为：每个服务等级都设有单独的用户待服务列表，每个用户待服务列表中所有的用户服务等级相同，这就意味所有在该列表中的用户两次服务之间的间隔是同样的(同一帧率)；每个用户在用户待服务列表中有一个用户时间戳(User Time Stamp，以下简称UTS)，该时间戳标志着应该为用户服务的最晚时间；每个用户待服务列表中的用户按照UTS从早到晚排序；当用户新加入时，将该用户的UTS设置为列表中已有最后一个用户的UTS，和第一个用户下一次服务的UTS的中间值，然后将该用户加到队尾；每当用户接受完服务时，将该用户的UTS加上该等级的帧间距，从队头移动到队尾。

上述用户待服务列表的优点在于，由于同一个等级的用户的UTS每次服务结束后所需要增加的值一定(因为帧率固定)，所以刚刚服务结束后的用户自然是队列中最晚需要下一次服务的用户，不需要对队列进行重新排序。

本发明的步骤3)中根据用户时间戳循环选择用户进行发送包括如下步骤：

(31)查找所有等级的用户待服务用户列表，选择所有列表中UTS最早的一个用户(即该列表中最早需要服务的用户)；

(32)查看该用户的UTS的值，如果该UTS值减去当前时间的值大于设定值(该值应与帧间距数量级相同，取值范围一般为二分之一到二倍帧间距)，则返回步骤1)；

(33)如果如果该UTS值减去当前时间的值小于所述设定值，用RTP协议将该用户所需要的视频帧打包发送；

(34)服务结束，将该用户移至队尾，返回步骤1)。

图2为本发明中选择服务用户方法的示意图。其中每个“UTS”代表一个“用户时间戳(User Time-stamp，UTS)”，A，B，C分别为三个用户服务等级的用户待服务列表，每个列表中的用户按用户时间戳从上到下由早到晚排序。选择用户的范围为每个表的第一个元素，即图中的虚线框内的范围。这种每个时刻选择一个用户进行服务的单线程发送方法的好处在于，不会因为多个用户发送同时争抢发送端网络资源，产生发送端丢包。

本发明中，4)视频流切换步骤的过程如下：

(41)户端利用RTSP协议通知需要更换的视频流编号StreamID；

(42)服务器将用户待服务列表中用户的StreamID修改为用户需要更换的StreamID；

(43)如果新更换的视频流的PF帧所参考的SIF帧没有发送，则在为该用户进行发送的包中加入PF帧所参考的SIF帧。

使用该方法的好处是，用户在进行视频流切换时，最多需要多解码一个I帧，即可继续进行解码，视频播放质量几乎不会受到影响。比起背景技术中的方法，该方法节省了发送网络带宽。

本发明的一种具体实施例说明如下：

本实施例的服务器端配置：

CPU：            Intel PIV 2.8GHz

内存：           512M

操作系统：       RedHat 4AS Linux Server

控制服务器：     BBNC Transfer Server

本实施例中采集PC的配置如下：

CPU：            Intel PIV dual-3.0GHz

内存：           512M

操作系统：       Windows XP

采集程序：       BBNC Multicapture

本实施例中，每台采集PC通过1394连接口和1394HUB连接4个1394摄像头。共24个摄像头连接于6台采集PC之上。24台PC以每秒30帧的帧率向服务器端发送视频，SIF间隔为每30帧一个SIF。24个摄像头的视频流标号分别为1-24。

服务端设定两种服务等级，30帧/秒(等级1)和15帧/秒(等级2)，采集图像大小为320×240。在采集PC和服务器端之间的网络为千兆以太网。

本实施例的传输方法(一次为用户服务的过程)包括以下步骤：

1)视频流缓存；共设24个缓存单元，将每一路视频流中属于SIF的视频帧和属于PF的视频帧在缓存单元中分开进行缓存；每个缓存单元中缓存2个SIF视频帧和29个PF视频帧；当缓存单元存满，接收到新的视频帧时，将缓存单元中最早的相应的SIF帧或PF帧丢弃；

2)建立连接准备服务，根据用户服务等级将用户放入相应的用户待服务列表：客户通过TCP/IP协议连接FVV服务监听端口，请求FVV服务；服务器端将在FVV视频流传送之前通知客户端以下信息：24个摄像机的空间位置，相机参数和对应的视频流标号，用TCP/IP协议发送给客户端；客户端将需要的Stream ID，通过RTSP协议，通知服务器端建立连接(普通视频建立连接过程)，客户端需要的视频流为9路，视频流标号分别为3，4，5，11，12，13，19，20，21；

本实施例中，有两个用户待服务列表(等级1用户待服务列表，等级2用户待服务列表)；两个列表均使用链式存储方法存于服务器端内存中(也可以用顺序存储方式)。服务器端根据用户的服务级别，将信息加入用户待服务列表，准备为用户服务；本实施例中用户的服务级别为等级1(30帧/秒)，所以将该用户的UTS设置为服务等级1的用户待服务列表中已有最后一个用户的UTS，和第一个用户下一次服务的UTS的中间值，然后将该用户加到队尾；

3)根据用户时间戳循环选择用户进行发送(选择用户的方法为，依次遍历用户待服务列表中的表头，选取用户时间戳最早的用户进行发送)；查找两个等级的用户待服务用户列表的第一项(即该列表中最早需要服务的用户)，选择所有列表第一项当中UTS最早的一个用户；查看该用户的UTS的值，如果该UTS值减去当前时间的值大于20毫秒，即返回步骤3)重新开始；如果如果该UTS值减去当前时间的值小于20毫秒，用RTP协议将该用户所需要的上述9路视频流的帧打包发送；服务结束，将该用户移所处用户待服务列表的队尾，返回步骤3)重新开始；

4)当客户端用户由于自由浏览，视频流切换发生切换，需要将视频流标号为3，11，19的视频流分别切换为视频流标号为6，14，22的视频流，客户端利用RTSP协议通知需要更换的视频流编号；服务器将用户待服务列表中用户的视频流编号中的3，11，19三项修改为用户需要更换的6，14，22三项，然后等待发送；

5)结束服务；用户通过RTSP协议通知服务器终止发送；服务器端将用户从用户待服务列表中删除。

实验结果：

在本实施例中，利用一台PC来模拟多个接收端，用户进行周期性的视点切换以检验视频流切换对本方法的影响。本发明虚拟了20个用户的连接和发送过程，每一个用户为了进行自由浏览，需要请求9路视频。图3和4为某一个用户不进行视频流切换和进行切换时网络带宽的情况；横轴为时间轴，纵轴为网络带宽利用率，单位为1％。

可以看到，在不进行视频流切换时，用户的网络带宽在可接受的范围内有较小波动；而视频流切换会给用户带来一定的网络抖动，但最大振幅和不进行切换时差别不大。

Claims (6)

1、一种基于光场渲染的自由视点视频在IP网传输方法，其特征在于，将每台电脑从摄像头采集来的视频进行压缩后的视频流作为一路视频流进行缓存；将用户所需要的多路视频流作为一路自由视点视频流进行传输，该自由视点视频流进行传输方法包括以下步骤：

1)视频流缓存：将缓存区分为多个缓存单元，服务器端将每一路视频流缓存在一个单元中；

2)建立连接准备服务：根据用户服务等级将用户及所需视频流标号放入相应的用户待服务列表，每个用户待服务列表中的用户按照用户时间戳从早到晚排序；

3)根据用户时间戳循环选择用户进行发送：依次遍历用户待服务列表，选取所有用户时间戳最早的用户按其视频流标号进行发送；

4)视频流切换：当客户端用户由于自由浏览，进行视频流切换时，服务器将用户待服务列表中用户的视频流标号修改为用户需要更换的视频流标号，然后等待发送；

5)结束服务：用户通过RTSP协议通知服务器终止发送；服务器端将用户从用户待服务列表中删除。

2、如权利要求1所述的方法，其特征在于，所述步骤1)中所述服务器端将每一路视频流缓存在一个单元中的方法为：将每一路视频流中属于共享I场的视频帧和属于P场的视频帧在缓存单元中分开进行缓存；共享I场视频帧和P场视频帧的缓存数量为：缓存每路视频流的两个共享I场的视频帧，缓存与两个共享I场之间P场数量相等的P场帧；当缓存单元存满，接收到新的视频帧时，将缓存单元中最早的相应的共享I场帧或P场帧丢弃。

3、如权利要求1所述的方法，其特征在于，所述步骤2)中建立连接准备服务具体包

括以下步骤：

(21)客户端通过TCP/IP协议连接自由视点视频服务监听端口，请求自由视点视频服务；

(22)服务器端将在自由视点视频流传送之前通知客户端以下信息：摄像机的空间位置，相机参数和对应的视频流标号，用TCP/IP协议发送给客户端；

(23)客户端将需要的视频流标号通过RTSP协议，通知服务器端建立连接；

(24)服务器端根据用户的服务级别，将信息加入用户待服务列表，准备为用户服务。

4、如权利要求1所述的方法，其特征在于，所述用户待服务列表的实现方法为：每个服务等级都设有单独的用户待服务列表，每个用户待服务列表中所有的用户服务等级相同；每个用户在用户待服务列表中有一个用户时间戳，每个用户待服务列表中的用户按照用户时间戳从早到晚排序；当用户新加入时，将该新加入用户的用户时间戳设置为列表中已有最后一个用户的用户时间戳和第一个用户下一次服务的用户时间戳的中间值，然后将该新加入用户加到队尾；每当新加入用户接受完服务时，将该新加入用户的用户时间戳加上该等级的帧间距，从队头移动到队尾。

5、如权利要求1所述的方法，其特征在于，所述步骤3)中根据用户时间戳循环选择用户进行发送的方法，包括如下步骤：

(31)查找所有等级的用户待服务用户列表，选择所有列表中时间戳最早的一个用户；

(32)查看该用户的用户时间戳的值，如果该用户时间戳值减去当前时间的值大于设定值，则返回步骤1)；

(33)如果该用户的用户时间戳值减去当前时间的值小于所述设定值，用RTP协议将该用户所需要的视频帧打包发送；

(34)服务结束，将该用户移至队尾，返回步骤1)。

6、如权利要求1所述的方法，其特征在于，所述步骤4)中视频流切换步骤的方法包括以下步骤：

(41)用户端利用RTSP协议通知需要更换的视频流标号；

(42)服务器将用户待服务列表中用户的视频流标号修改为用户需要更换的视频流标号；

(43)如果新更换的视频流的P场帧所参考的共享I场帧没有发送，则在为该用户进行发送的包中加入P场帧所参考的共享I场帧。

Images