CN1331359C - 交互式多视点视频系统中视频流的传输方法 - Google Patents
交互式多视点视频系统中视频流的传输方法 Download PDFInfo
- Publication number
- CN1331359C CN1331359C CNB2005100800455A CN200510080045A CN1331359C CN 1331359 C CN1331359 C CN 1331359C CN B2005100800455 A CNB2005100800455 A CN B2005100800455A CN 200510080045 A CN200510080045 A CN 200510080045A CN 1331359 C CN1331359 C CN 1331359C
- Authority
- CN
- China
- Prior art keywords
- video
- client
- viewpoint
- static
- interactive
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000005540 biological transmission Effects 0.000 title claims abstract description 18
- 230000003993 interaction Effects 0.000 claims abstract description 33
- 230000003068 static effect Effects 0.000 claims description 43
- 230000008846 dynamic interplay Effects 0.000 claims description 11
- 230000000977 initiatory effect Effects 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 abstract description 3
- 230000008859 change Effects 0.000 abstract description 2
- 230000001360 synchronised effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 241000282376 Panthera tigris Species 0.000 description 1
- 206010036590 Premature baby Diseases 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明涉及一种交互式多视点视频系统中视频流的传输方法，属于信息传播技术领域。首先建立多视点视频流的元数据并存储到相应的配置文件中；根据配置文件、会话通告协议、会话启动协议，建立客户端与视频服务器之间的会话关系；客户端通过会话启动协议，将视点交互请求信息发送给视频服务器；视频服务器根据客户端的交互请求，利用实时传输协议将满足客户端请求的视频流发送至客户端；上述客户端对接收到的视频流进行解码。利用本发明的方法，用户在观看交互式多视点视频时，可在任意位置改变观看的视点，或者对当前的场景从不同的角度进行浏览，或者在观看过程中平滑切换到其他的视点，从而增强了视频应用的交互性能。
Description
技术领域
本发明涉及一种交互式多视点视频系统中视频流的传输方法，属于信息传播技术领域。
背景技术
网络化、交互性和真实感是视频技术的发展方向。一方面，用户希望能够充分参与到视频应用中，人和计算机的关系从被动发展到主动，从而充分实现每个人的个性化需求；另一方面，真实世界是一个三维环境，而传统的视频主要基于二维的表达方式，虽然在某些程度上表现了三维信息，用户要求获得更加真实的体验和感受。多视点视频则是针这样的交互式视频应用提出的，涵盖了双目立体视频与多视点视频播放，解决三维交互视频的表现、交互、存储和传输等问题。交互式多视点视频使得用户在一定程度上具有主动性而不是仅仅作为被动的消费者，通过自由选择视点对可视场景浏览的能力，有助提高用户的现场真实感。
多视点视频与单视点视频的主要差别在于利用更多的视频源实现交互性，如何体现多视点视频的交互能力，是多视点视频应用需要解决的问题。多视点视频可以使得用户选择介于真实视点之间的虚拟视点，是多视点视频交互性和真实感的主要表现，但由于多视点视频的研究和应用尚未成熟，这种视点选择方式的具体描述却并不明确，也就是说，多视点视频的表现形式不明确。
MPEG-2的多视点框架(MultiView Profile，MVP)[N1366]，试图对MPEG-2标准进行扩展，以便在主要的应用领域中支持立体视频，但不支持交互，并且视点数有限。
发明内容
本发明的目的是提出一种交互式多视点视频系统中视频流的传输方法，针对现有技术条件下的多视点视频应用，提出一种可实现的多视点视频描述和表现方法，主要包括多视点视频的数据描述，视频传输，交互方式三个方面。
本发明提出的交互式多视点视频系统中视频流的传输方法，包括以下步骤：
(1)在多视点视频系统的视频服务器上，根据接收到的每个多视点视频流所包含的实际视点的数量，设定交互位置及交互方式，建立相应的交互视频流并存储，建立多视点视频流的元数据并存储到相应的多视点视频流的配置文件中；
(2)上述视频服务器根据上述配置文件，利用会话通告协议，将多视点视频会话描述信息发送给客户端；
(3)上述客户端根据用户选定观看的视点参数，利用会话启动协议与视频服务器建立会话关系；
(4)上述客户端通过会话启动协议，将视点交互请求信息发送给上述视频服务器；
(5)上述视频服务器根据客户端的交互请求，利用实时传输协议将满足客户端请求的视频流发送至客户端；
(6)上述客户端对接收到的视频流进行解码；
(7)客户端重复步骤(4)～(6)，直至客户端发生停止操作或多视点视频流结束。
上述方法中多视点视频会话描述信息还包括1个或多个会话属性，该会话属性为实际视点的数量、预设的交互位置和方式、与每个实际视点对应的视点序号。
上述方法中的视点交互方式包括：视点选择、静态切换或动态切换中的任何一种。
上述方法中的交互视频流为静态交互视频流或动态交互视频流。
上述方法中的视点选择包括以下步骤：
(51)视频服务器响应客户端的视点选择请求，得到切换后的目标视点；
(52)视频服务器在与目标视点对应的视频流中，根据视频流的帧头信息得到发生切换的位置之后的最邻近的关键帧；
(53)视频服务器从上述关键帧位置开始，将正在发送的视频流切换到与上述目标视点相对应的视频流；
(54)关闭视点切换前播放的实际视点的视频流。
上述方法中的静态切换包括如下步骤：
(61)客户端向视频服务器发出静态切换请求；
(62)视频服务器根据客户端的静态切换请求，从上述多视点视频流的配置文件中寻找设定时间或帧数内的静态切换的交互位置，若存在，则采用相应的静态交互视频流，若不存在，则将最邻近的关键帧作为静态切换的交互位置，利用各实际视点的视频流中处于交互位置的帧生成静态交互视频流，并存储；
(63)视频服务器在静态切换的交互位置处暂停当前视频流的发送；
(64)视频服务器在获得静态交互视频流后，通知客户端；
(65)客户端请求并播放上述静态交互视频流；
(66)静态交互视频流播放结束后，客户端进行视点选择。
上述方法中的动态切换包括如下步骤：
(71)客户端根据多视点视频会话描述信息，在设定的动态切换的交互位置之前，向视频服务器发出动态切换请求；
(72)视频服务器响应客户端的请求，从多视点视频流的配置文件中得到离动态切换请求位置最近的设定动态切换的交互位置；
(73)视频服务器在离上述请求位置最近的关键帧位置暂停当前视频流的发送，并通知客户端；
(74)客户端请求并播放动态交互视频流；
(75)动态交互视频流播放结束后，客户端进行视点选择。
本发明提出的交互式多视点视频系统中视频流的传输方法，用户在观看这种交互式多视点视频时，可在任意位置改变观看的视点，或者对当前的场景从不同的角度进行浏览，或者在观看过程中平滑切换到其他的视点，从而增强了视频应用的交互性能。
附图说明
图1是视频服务器在视点选择方式下的视频流发送过程示意图。
图2是静态交互视频流的生成方式示意图。
图3是动态交互视频流的生成方式示意图。
具体实施方式
本发明提出的交互式多视点视频系统中视频流的传输方法，首先在多视点视频系统的视频服务器上，根据接收到的每个多视点视频流所包含的实际视点的数量，设定交互位置及交互方式，建立相应的交互视频流并存储，建立多视点视频流的元数据并存储到相应的多视点视频流的配置文件中；视频服务器根据上述配置文件，利用会话通告协议，将多视点视频会话描述信息发送给客户端；客户端根据用户选定观看的视点参数，利用会话启动协议与视频服务器建立会话关系；客户端通过会话启动协议，将视点交互请求信息发送给上述视频服务器；视频服务器根据客户端的交互请求，利用实时传输协议将满足客户端请求的视频流发送至客户端；客户端对接收到的视频流进行解码；客户端重复上述步骤直至客户端发生停止操作或多视点视频流结束。
上述多视点视频会话描述信息还包括1个或多个会话属性，该会话属性为实际视点的数量、预设的交互位置和方式、与每个实际视点对应的视点序号。
上述视点交互方式包括：视点选择、静态切换或动态切换中的任何一种。
上述交互视频流为静态交互视频流或动态交互视频流，静态交互视频流对应于静态切换方式，动态交互视频流对应动态切换方式。
上述视点选择过程为：视频服务器响应用户端的视点选择请求，得到切换后的目标视点；视频服务器在与目标视点对应的视频流中，根据视频流的帧头信息得到发生切换的位置之后的最邻近的关键帧；视频服务器从上述关键帧位置开始，将正在发送的视频流切换到与上述目标视点相对应的视频流，如图1所示；关闭视点切换前播放的实际视点的视频流。
上述静态切换过程为：客户端向视频服务器发出静态切换请求；视频服务器根据客户端的静态切换请求，从上述多视点视频流的配置文件中寻找设定时间或帧数内的静态切换的交互位置，若存在，则采用相应的静态交互视频流，若不存在，则将最邻近的关键帧作为交互位置，利用各实际视点的视频流中处于交互位置的帧生成静态交互视频流，并存储；视频服务器在静态交互位置处暂停当前视频流的发送；视频服务器在获得静态交互视频流后，通知客户端；客户端请求并播放上述静态交互视频流；静态交互视频流播放结束后，客户端进行视点选择。
上述动态切换过程为：客户端根据多视点视频会话描述信息，在设定的动态切换的交互位置之前，向视频服务器发出动态切换请求；视频服务器响应客户端的请求，从多视点视频流的配置文件中得到离动态切换请求位置最近的设定动态切换的交互位置；视频服务器在离上述请求位置最近的关键帧位置暂停当前视频流的发送，并通知客户端；客户端请求并播放动态交互视频流；动态交互视频流播放结束后，客户端进行视点选择。
上述静态切换视频流由每个实际视点的视频流中抽取出给定交互位置的单一关键帧，按照视点序号的先后排列，并在相邻的帧之间插入二者经过某种图像插值算法所生成的多个新的视频帧而形成，如图2所示。
上述动态切换视频流由每一个实际视点的所对应的视频流中，从切换位置开始，抽取多个视频帧，按照帧位置的先后次序和所在视点的序号次序插值生成，如图3所示。
本发明方法中的元数据是对一个多视点视频涉及到的多路视频进行刻画，以形成对多视点视频的完整描述。元数据包含以下内容：视频数据源的实际视点个数，来自多个实际视点的视频数据的组织方式，可以提供的交互能力。
本发明方法对现有的会话通告协议和实时传输协议进行如下扩展：
1、对于多视点视频系统会话来说，在会话通告协议中，每一条媒体信息代表一个实际视点的视频流，并且需要包含“a＝X-multiviewvideo：<视点编号>”属性。下面给出一个示例：
v＝0
o＝tiger 2890844526 2890842807 IN
IP4 166.111.136.15
s＝Multiview Video Test
c＝IN IP4 224.2.2.2/127
t＝2873397496 2873404696
m＝video 25566 RTP/AVP 26
a＝X-multiviewvideo：1
m＝video 25568 RTP/AVP 26
a＝X-multiviewvideo：2
m＝video 25570 RTP/AVP 26
a＝X-multiviewvideo：3
2、对实时传输控制协议中的源描述报告进行扩展，扩展的源描述报告如下表所示：
8 8 8 8(此行数据表示对应项的比特数)
| 标识＝私有＝8 | 长度 | 前缀长度＝8 | ‘3’ |
| ‘D’ | ‘-’ | ‘v’ | ‘i’ |
| ‘d’ | ‘e’ | ‘o’ | RTP流个数 |
| RTP流1的同步源标识符 | |||
| RTP流2的同步源标识符 | |||
| RTP流3RTP流3的同步源标识符 | |||
| …… | |||
SDES ID＝8(PRIV，Private extensions SDES item)表示SDES的应用扩展描述项，接着前缀的长度为8，前缀内容为“3D-video”，表示本应用的类型(多视点视频)。然后是8位长的RTP流个数，然后是每个RTP流的SSRC(同步源标识符)。
Claims (7)
1、一种交互式多视点视频系统中视频流的传输方法，其特征在于该方法包括以下步骤：
(1)在多视点视频系统的视频服务器上，根据接收到的每个多视点视频流所包含的实际视点的数量，设定交互位置及交互方式，建立相应的交互视频流并存储，建立多视点视频流的元数据并存储到相应的多视点视频流的配置文件中；
(2)上述视频服务器根据上述配置文件，利用会话通告协议，将多视点视频会话描述信息发送给客户端；
(3)上述客户端根据用户选定观看的视点参数，利用会话启动协议与视频服务器建立会话关系；
(4)上述客户端通过会话启动协议，将视点交互请求信息发送给上述视频服务器；
(5)上述视频服务器根据客户端的交互请求，利用实时传输协议将满足客户端请求的视频流发送至客户端；
(6)上述客户端对接收到的视频流进行解码；
(7)客户端重复步骤(4)～(6)，直至客户端发生停止操作或多视点视频流结束。
2、如权利要求1所述的方法，其特征在于其中所述的多视点视频会话描述信息还包括1个或多个会话属性，该会话属性为实际视点的数量、预设的交互位置和方式、与每个实际视点对应的视点序号。
3、如权利要求1所述的方法，其特征在于其中所述的交互方式包括：视点选择、静态切换或动态切换中的任何一种。
4、如权利要求3所述的方法，其特征在于其中所述的视点选择包括以下步骤：
(41)视频服务器响应客户端的视点选择请求，得到切换后的目标视点；
(42)视频服务器在与目标视点对应的视频流中，根据视频流的帧头信息得到发生切换的位置之后的最邻近的关键帧；
(43)视频服务器从上述关键帧的位置开始，将正在发送的视频流切换到与上述目标视点相对应的视频流；
(44)关闭视点切换前播放的实际视点的视频流。
5、如权利要求3所述的方法，其特征在于其中所述的静态切换包括如下步骤：
(51)客户端向视频服务器发出静态切换请求；
(52)视频服务器根据客户端的静态切换请求，从上述多视点视频流的配置文件中寻找设定时间或帧数内的静态切换的交互位置，若存在，则采用相应的静态交互视频流，若不存在，则将最邻近的关键帧作为静态切换的交互位置，利用各实际视点的视频流中处于静态切换的交互位置的帧生成静态交互视频流，并存储；
(53)视频服务器在静态切换的交互位置处暂停当前视频流的发送；
(54)视频服务器在获得静态交互视频流后，通知客户端；
(55)客户端请求并播放上述静态交互视频流；
(56)静态交互视频流播放结束后，客户端进行视点选择。
6、如权利要求3所述的方法，其特征在于其中所述的动态切换包括如下步骤：
(61)客户端根据多视点视频会话描述信息，在设定的动态切换的交互位置之前，向视频服务器发出动态切换请求；
(62)视频服务器响应客户端的请求，从多视点视频流的配置文件中得到离动态切换请求位置最近的关键帧位置来设定动态切换的交互位置；
(63)视频服务器在离上述请求位置最近的关键帧位置暂停当前视频流的发送，并通知客户端；
(64)客户端请求并播放动态交互视频流；
(65)动态交互视频流播放结束后，客户端进行视点选择。
7、如权利要求1所述的方法，其特征在于其中所述的交互视频流为静态交互视频流或动态交互视频流。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNB2005100800455A CN1331359C (zh) | 2005-06-28 | 2005-06-28 | 交互式多视点视频系统中视频流的传输方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNB2005100800455A CN1331359C (zh) | 2005-06-28 | 2005-06-28 | 交互式多视点视频系统中视频流的传输方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1694529A CN1694529A (zh) | 2005-11-09 |
| CN1331359C true CN1331359C (zh) | 2007-08-08 |
Family
ID=35353295
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNB2005100800455A Expired - Fee Related CN1331359C (zh) | 2005-06-28 | 2005-06-28 | 交互式多视点视频系统中视频流的传输方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN1331359C (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100499805C (zh) * | 2006-12-15 | 2009-06-10 | 清华大学 | 一种基于光场渲染的自由视点视频在ip网传输方法 |
| CN101035279B (zh) * | 2007-05-08 | 2010-12-15 | 孟智平 | 一种在视频资源中使用信息集的方法 |
| CN101222521B (zh) * | 2008-01-21 | 2011-03-16 | 中兴通讯股份有限公司 | 基于会话发起协议的文件传输方法 |
| CN101459837B (zh) * | 2009-01-09 | 2010-06-09 | 清华大学 | 一种交互式多视点视频流媒体服务中控制延迟的方法 |
| CN102595111A (zh) * | 2011-01-11 | 2012-07-18 | 中兴通讯股份有限公司 | 一种多视角编码码流的传输方法、装置和系统 |
| CN102231863B (zh) * | 2011-06-02 | 2013-03-27 | 南京中兴力维软件有限公司 | 一种多通道视频流的传输方法及系统 |
| CN103024597B (zh) * | 2012-12-26 | 2015-07-29 | 上海大学 | 多视点视频流多速率组播传输的最优速率分配方法 |
| US9462301B2 (en) * | 2013-03-15 | 2016-10-04 | Google Inc. | Generating videos with multiple viewpoints |
| US11132099B2 (en) * | 2015-09-14 | 2021-09-28 | Sony Corporation | Information processing device and information processing method |
| CN114143606A (zh) | 2018-08-22 | 2022-03-04 | 华为技术有限公司 | 一种实现视频流切换的方法、装置和系统 |
| CN110891182B (zh) * | 2018-09-11 | 2022-04-12 | 华为技术有限公司 | 一种实现视频流切换的方法、装置和系统 |
| US10440416B1 (en) * | 2018-10-01 | 2019-10-08 | Telefonaktiebolaget Lm Ericsson (Publ) | System and method for providing quality control in 360° immersive video during pause |
| CN111372145B (zh) * | 2020-04-15 | 2021-07-27 | 烽火通信科技股份有限公司 | 一种多视点视频的视点切换方法和系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1225734A (zh) * | 1997-05-19 | 1999-08-11 | 松下电器产业株式会社 | 图形显示装置和同步重放方法以及声像同步重放装置 |
| CN1239566A (zh) * | 1997-07-11 | 1999-12-22 | 皇家菲利浦电子有限公司 | 视听数据解码方法 |
| CN1273002A (zh) * | 1998-04-10 | 2000-11-08 | 皇家菲利浦电子有限公司 | 使用广播事件的三维图形模块的分组方式电视会议的方法和系统 |
| CN1426660A (zh) * | 2000-04-24 | 2003-06-25 | 金石培 | 在线转播系统 |
| WO2004093459A1 (en) * | 2003-04-17 | 2004-10-28 | Electronics And Telecommunications Research Institute | System and method for internet broadcasting of mpeg-4-based stereoscopic video |
| CN1568486A (zh) * | 2001-10-11 | 2005-01-19 | 株式会社亚派 | Web 3D图像显示系统 |
| EP1528811A2 (en) * | 2003-10-31 | 2005-05-04 | Hewlett-Packard Development Company, L.P. | Communications method and communications session participants |
-
2005
- 2005-06-28 CN CNB2005100800455A patent/CN1331359C/zh not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1225734A (zh) * | 1997-05-19 | 1999-08-11 | 松下电器产业株式会社 | 图形显示装置和同步重放方法以及声像同步重放装置 |
| CN1239566A (zh) * | 1997-07-11 | 1999-12-22 | 皇家菲利浦电子有限公司 | 视听数据解码方法 |
| CN1273002A (zh) * | 1998-04-10 | 2000-11-08 | 皇家菲利浦电子有限公司 | 使用广播事件的三维图形模块的分组方式电视会议的方法和系统 |
| CN1426660A (zh) * | 2000-04-24 | 2003-06-25 | 金石培 | 在线转播系统 |
| CN1568486A (zh) * | 2001-10-11 | 2005-01-19 | 株式会社亚派 | Web 3D图像显示系统 |
| WO2004093459A1 (en) * | 2003-04-17 | 2004-10-28 | Electronics And Telecommunications Research Institute | System and method for internet broadcasting of mpeg-4-based stereoscopic video |
| EP1528811A2 (en) * | 2003-10-31 | 2005-05-04 | Hewlett-Packard Development Company, L.P. | Communications method and communications session participants |
Also Published As
| Publication number | Publication date |
|---|---|
| CN1694529A (zh) | 2005-11-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN1331359C (zh) | 交互式多视点视频系统中视频流的传输方法 | |
| CN110431850B (zh) | 在使用mime类型参数的网络视频流式传输中发信重要视频信息 | |
| JP3874714B2 (ja) | キャッシング技法を用いたｍｐｅｇ−４システム端末の制御方法 | |
| JP6027291B1 (ja) | メディアストリーミング中の適応セット間の切替え | |
| JP5461454B2 (ja) | 映像分割再生方法、映像再生方法、映像分割再生システム、及び映像分割再生プログラム | |
| US9111285B2 (en) | System and method for representing content, user presence and interaction within virtual world advertising environments | |
| CN100588250C (zh) | 一种多视点视频流的自由视点视频重建方法及系统 | |
| US6801575B1 (en) | Audio/video system with auxiliary data | |
| US20100138478A1 (en) | Method of using information set in video resource | |
| CN106664443A (zh) | 根据hevc拼贴视频流确定感兴趣区域 | |
| JP2017516338A (ja) | 連続的マルチピリオドコンテンツ処理 | |
| CN101420316B (zh) | 影像分发系统、影像中继装置 | |
| CN104581366A (zh) | 一种互联网电视播放方法和服务器 | |
| CN111447503A (zh) | 一种多视点视频的视点切换方法、服务器和系统 | |
| US12003693B2 (en) | Object collision data for virtual camera in virtual interactive scene defined by streamed media data | |
| CN105635188A (zh) | 一种可视化内容分发方法及系统 | |
| CN101547183A (zh) | 在线收看多媒体文件的方法 | |
| JP2009171294A (ja) | 映像配信システム、映像中継装置、及び映像中継方法 | |
| Kondoz et al. | Novel 3D Media Technologies | |
| JP2024509524A (ja) | ストリーミングされるメディアデータによって定義される仮想インタラクティブシーンにおける仮想カメラのためのオブジェクト衝突データ | |
| CN116918339A (zh) | 流式传输的媒体数据定义的虚拟交互场景中的虚拟相机的相机控制数据 | |
| KR20230173096A (ko) | 몰입형 미디어 콘텐츠를 스트리밍하기 위한 사용자 환경에 대한 장면 디스크립션의 앵커링 | |
| Rauschenbach et al. | A scalable interactive TV service supporting synchronized delivery over broadcast and broadband networks | |
| WO2016127374A1 (zh) | 多媒体流业务呈现方法和相关装置及相关系统 | |
| KR20110129064A (ko) | 콘텐트 가상 세그멘테이션 방법과, 이를 이용한 스트리밍 서비스 제공 방법 및 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20070808 Termination date: 20140628 |
|
| EXPY | Termination of patent right or utility model |