CN1694529A - 交互式多视点视频系统中视频流的传输方法 - Google Patents

Abstract

本发明涉及一种交互式多视点视频系统中视频流的传输方法，属于信息传播技术领域。首先建立多视点视频流的元数据并存储到相应的配置文件中；根据配置文件、会话通告协议、会话启动协议，建立客户端与视频服务器之间的会话关系；客户端通过会话启动协议，将视点交互请求信息发送给视频服务器；视频服务器根据客户端的交互请求，利用实时传输协议将满足客户端请求的视频流发送至客户端；上述客户端对接收到的视频流进行解码。利用本发明的方法，用户在观看交互式多视点视频时，可在任意位置改变观看的视点，或者对当前的场景从不同的角度进行浏览，或者在观看过程中平滑切换到其他的视点，从而增强了视频应用的交互性能。

Description

交互式多视点视频系统中视频流的传输方法

技术领域

本发明涉及一种交互式多视点视频系统中视频流的传输方法，属于信息传播技术领域。

背景技术

网络化、交互性和真实感是视频技术的发展方向。一方面，用户希望能够充分参与到视频应用中，人和计算机的关系从被动发展到主动，从而充分实现每个人的个性化需求；另一方面，真实世界是一个三维环境，而传统的视频主要基于二维的表达方式，虽然在某些程度上表现了三维信息，用户要求获得更加真实的体验和感受。多视点视频则是针这样的交互式视频应用提出的，涵盖了双目立体视频与多视点视频播放，解决三维交互视频的表现、交互、存储和传输等问题。交互式多视点视频使得用户在一定程度上具有主动性而不是仅仅作为被动的消费者，通过自由选择视点对可视场景浏览的能力，有助提高用户的现场真实感。

多视点视频与单视点视频的主要差别在于利用更多的视频源实现交互性，如何体现多视点视频的交互能力，是多视点视频应用需要解决的问题。多视点视频可以使得用户选择介于真实视点之间的虚拟视点，是多视点视频交互性和真实感的主要表现，但由于多视点视频的研究和应用尚未成熟，这种视点选择方式的具体描述却并不明确，也就是说，多视点视频的表现形式不明确。

MPEG-2的多视点框架(MultiView Profile，MVP)[N1366]，试图对MPEG-2标准进行扩展，以便在主要的应用领域中支持立体视频，但不支持交互，并且视点数有限。

发明内容

本发明的目的是提出一种交互式多视点视频系统中视频流的传输方法，针对现有技术条件下的多视点视频应用，提出一种可实现的多视点视频描述和表现方法，主要包括多视点视频的数据描述，视频传输，交互方式三个方面。

本发明提出的交互式多视点视频系统中视频流的传输方法，包括以下步骤：

(1)在多视点视频系统的视频服务器上，根据接收到的每个多视点视频流所包含的实际视点的数量，设定交互位置及交互方式，建立相应的交互视频流并存储，建立多视点视频流的元数据并存储到相应的多视点视频流的配置文件中；

(2)上述视频服务器根据上述配置文件，利用会话通告协议，将多视点视频会话描述信息发送给客户端；

(3)上述客户端根据用户选定观看的视点参数，利用会话启动协议与视频服务器建立会话关系；

(4)上述客户端通过会话启动协议，将视点交互请求信息发送给上述视频服务器；

(5)上述视频服务器根据客户端的交互请求，利用实时传输协议将满足客户端请求的视频流发送至客户端；

(6)上述客户端对接收到的视频流进行解码；

(7)客户端重复步骤(4)～(6)，直至客户端发生停止操作或多视点视频流结束。

上述方法中多视点视频会话描述信息还包括1个或多个会话属性，该会话属性为实际视点的数量、预设的交互位置和方式、与每个实际视点对应的视点序号。

上述方法中的视点交互方式包括：视点选择、静态切换或动态切换中的任何一种。

上述方法中的交互视频流为静态交互视频流或动态交互视频流。

上述方法中的视点选择包括以下步骤：

(1)视频服务器响应用户端的视点选择请求，得到切换后的目标视点；

(2)视频服务器在与目标视点对应的视频流中，根据视频流的帧头信息得到发生切换的位置之后的最邻近的关键帧；

(3)视频服务器从上述关键帧位置开始，将正在发送的视频流切换到与上述目标视点相对应的视频流；

(4)关闭视点切换前播放的实际视点的视频流。

上述方法中的静态切换方法包括如下步骤：

(1)客户端向视频服务器发出静态切换请求；

(2)视频服务器根据客户端的静态切换请求，从上述多视点视频流的配置文件中寻找设定时间或帧数内的静态切换的交互位置，若存在，则采用相应的静态交互视频流，若不存在，则将最邻近的关键帧作为交互位置，利用各实际视点的视频流中处于交互位置的帧生成静态交互视频流，并存储；

(3)视频服务器在静态交互位置处暂停当前视频流的发送；

(4)视频服务器在获得静态交互视频流后，通知客户端；

(4)客户端请求并播放上述静态交互视频流；

(5)静态交互视频流播放结束后，客户端进行视点选择。

上述方法中的动态切换方法包括如下步骤：

(1)客户端根据多视点视频会话描述信息，在设定的动态切换的交互位置之前，向视频服务器发出动态切换请求；

(2)视频服务器响应客户端的请求，从多视点视频流的配置文件中得到离动态切换请求位置最近的设定动态切换的交互位置；

(3)视频服务器在离上述请求位置最近的关键帧位置暂停当前视频流的发送，并通知客户端；

(4)客户端请求并播放动态交互视频流；

(5)动态交互视频流播放结束后，客户端进行视点选择。

本发明提出的交互式多视点视频系统中视频流的传输方法，用户在观看这种交互式多视点视频时，可在任意位置改变观看的视点，或者对当前的场景从不同的角度进行浏览，或者在观看过程中平滑切换到其他的视点，从而增强了视频应用的交互性能。

附图说明

图1是视频服务器在视点选择方式下的视频流发送过程示意图。

图2是静态交互视频流的生成方式示意图。

图3是动态交互视频流的生成方式示意图。

具体实施方式

本发明提出的交互式多视点视频系统中视频流的传输方法，首先在多视点视频系统的视频服务器上，根据接收到的每个多视点视频流所包含的实际视点的数量，设定交互位置及交互方式，建立相应的交互视频流并存储，建立多视点视频流的元数据并存储到相应的多视点视频流的配置文件中；视频服务器根据上述配置文件，利用会话通告协议，将多视点视频会话描述信息发送给客户端；客户端根据用户选定观看的视点参数，利用会话启动协议与视频服务器建立会话关系；客户端通过会话启动协议，将视点交互请求信息发送给上述视频服务器；视频服务器根据客户端的交互请求，利用实时传输协议将满足客户端请求的视频流发送至客户端；客户端对接收到的视频流进行解码；客户端重复上述步骤直至客户端发生停止操作或多视点视频流结束。

上述多视点视频会话描述信息还包括1个或多个会话属性，该会话属性为实际视点的数量、预设的交互位置和方式、与每个实际视点对应的视点序号。

上述视点交互方式包括：视点选择、静态切换或动态切换中的任何一种。

上述交互视频流为静态交互视频流或动态交互视频流，静态交互视频流对应于静态切换方式，动态交互视频流对应动态切换方式。

上述视点选择过程为：视频服务器响应用户端的视点选择请求，得到切换后的目标视点；  视频服务器在与目标视点对应的视频流中，根据视频流的帧头信息得到发生切换的位置之后的最邻近的关键帧；视频服务器从上述关键帧位置开始，将正在发送的视频流切换到与上述目标视点相对应的视频流，如图1所示；关闭视点切换前播放的实际视点的视频流。

上述静态切换过程为：客户端向视频服务器发出静态切换请求；视频服务器根据客户端的静态切换请求，从上述多视点视频流的配置文件中寻找设定时间或帧数内的静态切换的交互位置，若存在，则采用相应的静态交互视频流，若不存在，则将最邻近的关键帧作为交互位置，利用各实际视点的视频流中处于交互位置的帧生成静态交互视频流，并存储；视频服务器在静态交互位置处暂停当前视频流的发送；视频服务器在获得静态交互视频流后，通知客户端；客户端请求并播放上述静态交互视频流；静态交互视频流播放结束后，客户端进行视点选择。

上述动态切换过程为：客户端根据多视点视频会话描述信息，在设定的动态切换的交互位置之前，向视频服务器发出动态切换请求；视频服务器响应客户端的请求，从多视点视频流的配置文件中得到离动态切换请求位置最近的设定动态切换的交互位置；视频服务器在离上述请求位置最近的关键帧位置暂停当前视频流的发送，并通知客户端；客户端请求并播放动态交互视频流；动态交互视频流播放结束后，客户端进行视点选择。

上述静态切换视频流由每个实际视点的视频流中抽取出给定交互位置的单一关键帧，按照视点序号的先后排列，并在相邻的帧之间插入二者经过某种图像插值算法所生成的多个新的视频帧而形成，如图2所示。

上述动态切换视频流由每一个实际视点的所对应的视频流中，从切换位置开始，抽取多个视频帧，按照帧位置的先后次序和所在视点的序号次序插值生成，如图3所示。

本发明方法中的元数据是对一个多视点视频涉及到的多路视频进行刻画，以形成对多视点视频的完整描述。元数据包含以下内容：视频数据源的实际视点个数，来自多个实际视点的视频数据的组织方式，可以提供的交互能力。

本发明方法对现有的会话通告协议和实时传输协议进行如下扩展：

1、对于多视点视频系统会话来说，在会话通告协议中，每一条媒体信息代表一个实际视点的视频流，并且需要包含“a＝X-multiviewvideo：<视点编号>”属性。下面给出一个示例：

v＝0

o＝tiger 2890844526 2890842807 IN

IP4 166.111.136.15

s＝Multiview Video Test

c＝IN IP4 224.2.2.2/127

t＝2873397496 2873404696

m＝video 25566 RTP/AVP 26

a＝X-multiviewvideo：1

m＝video 25568 RTP/AVP 26

a＝X-multiviewvideo：2

m＝video 25570 RTP/AVP 26

a＝X-multiviewvideo：3

2、对实时传输控制协议中的源描述报告进行扩展，扩展的源描述报告如下表所示：

8                   8         8                8(此行数据表示对应项的比特数)

标识＝私有＝8	长度	前缀长度＝8	‘3’
				‘D’	‘-’	‘v’	‘i’

‘d’	‘e’	‘o’	RTP流个数
				RTP流1的同步源标识符
RTP流2的同步源标识符
				RTP流3RTP流3的同步源标识符
……

SDES ID＝8(PRIV，Private extensions SDES item)表示SDES的应用扩展描述项，接着前缀的长度为8，前缀内容为“3D-video”，表示本应用的类型(多视点视频)。然后是8位长的RTP流个数，然后是每个RTP流的SSRC(同步源标识符)。

Claims (7)

1、一种交互式多视点视频系统中视频流的传输方法，其特征在于该方法包括以下步骤：

(1)在多视点视频系统的视频服务器上，根据接收到的每个多视点视频流所包含的实际视点的数量，设定交互位置及交互方式，建立相应的交互视频流并存储，建立多视点视频流的元数据并存储到相应的多视点视频流的配置文件中；

(2)上述视频服务器根据上述配置文件，利用会话通告协议，将多视点视频会话描述信息发送给客户端；

(3)上述客户端根据用户选定观看的视点参数，利用会话启动协议与视频服务器建立会话关系；

(4)上述客户端通过会话启动协议，将视点交互请求信息发送给上述视频服务器；

(5)上述视频服务器根据客户端的交互请求，利用实时传输协议将满足客户端请求的视频流发送至客户端；

(6)上述客户端对接收到的视频流进行解码；

(7)客户端重复步骤(4)～(6)，直至客户端发生停止操作或多视点视频流结束。

2、如权利要求1所述的方法，其特征在于其中所述的多视点视频会话描述信息还包括1个或多个会话属性，该会话属性为实际视点的数量、预设的交互位置和方式、与每个实际视点对应的视点序号。

3、如权利要求1所述的方法，其特征在于其中所述的视点交互方式包括：视点选择、静态切换或动态切换中的任何一种。

4、如权利要求1所述的方法，其特征在于其中所述的交互视频流为静态交互视频流或动态交互视频流。

5、如权利要求3所述的方法，其特征在于其中所述的视点选择包括以下步骤：

(1)视频服务器响应用户端的视点选择请求，得到切换后的目标视点；

(2)视频服务器在与目标视点对应的视频流中，根据视频流的帧头信息得到发生切换的位置之后的最邻近的关键帧；

(3)视频服务器从上述关键帧位置开始，将正在发送的视频流切换到与上述目标视点相对应的视频流；

(4)关闭视点切换前播放的实际视点的视频流。

6、如权利要求3所述的方法，其特征在于其中所述的静态切换包括如下步骤：

(1)客户端向视频服务器发出静态切换请求；

(2)视频服务器根据客户端的静态切换请求，从上述多视点视频流的配置文件中寻找设定时间或帧数内的静态切换的交互位置，若存在，则采用相应的静态交互视频流，若不存在，则将最邻近的关键帧作为交互位置，利用各实际视点的视频流中处于交互位置的帧生成静态交互视频流，并存储；

(3)视频服务器在静态交互位置处暂停当前视频流的发送；

(4)视频服务器在获得静态交互视频流后，通知客户端；

(4)客户端请求并播放上述静态交互视频流；

(5)静态交互视频流播放结束后，客户端进行视点选择。

7、如权利要求3所述的方法，其特征在于其中所述的动态切换包括如下步骤：

(1)客户端根据多视点视频会话描述信息，在设定的动态切换的交互位置之前，向视频服务器发出动态切换请求；

(2)视频服务器响应客户端的请求，从多视点视频流的配置文件中得到离动态切换请求位置最近的设定动态切换的交互位置；

(3)视频服务器在离上述请求位置最近的关键帧位置暂停当前视频流的发送，并通知客户端；

(4)客户端请求并播放动态交互视频流；

(5)动态交互视频流播放结束后，客户端进行视点选择。

Images