CN102413376B - 在全景场景中导航的方法和用户终端装置 - Google Patents

在全景场景中导航的方法和用户终端装置 Download PDF

Info

Publication number
CN102413376B
CN102413376B CN201110282956.1A CN201110282956A CN102413376B CN 102413376 B CN102413376 B CN 102413376B CN 201110282956 A CN201110282956 A CN 201110282956A CN 102413376 B CN102413376 B CN 102413376B
Authority
CN
China
Prior art keywords
video
patch
viewing area
video patch
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110282956.1A
Other languages
English (en)
Other versions
CN102413376A (zh
Inventor
E.高迪尔
Y.勒加莱伊斯
A.劳伦特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
International Digital Madison Patent Holding SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN102413376A publication Critical patent/CN102413376A/zh
Application granted granted Critical
Publication of CN102413376B publication Critical patent/CN102413376B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41415—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance involving a public display, viewable by several users in a public space outside their home, e.g. movie theatre, information kiosk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/631—Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6373—Control signals issued by the client directed to the server or network components for rate control, e.g. request to the server to modify its transmission rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2622—Signal amplitude transition in the zone between image portions, e.g. soft edges
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H04N5/2627—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect for providing spin image effect, 3D stop motion effect or temporal freeze effect

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Databases & Information Systems (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种在用户终端上显示的全景视频序列中导航的方法。该视频序列被划分为多个不重叠视频补丁，每个视频补丁对应于视频序列的一区域。根据导航命令来确定形成被称为可视区域的、在用户终端的屏幕上显示的全景视频序列的区域所需的视频补丁。根据本发明，视频补丁被一部分经由第一传送网络向用户终端提供，而另一部分经由与所述第一传送网络不同的第二传送网络提供。

Description

在全景场景中导航的方法和用户终端装置
技术领域
本发明涉及一种在用户终端上显示的全景视频序列中导航的方法。
背景技术
使用经由全景图像进行的交互式导航的因特网服务在过去的几年中取得了巨大的成功。利用这些服务，用户可以显著地访问并恢复来自名人场所的视觉信息，虚拟地参观城镇或博物馆，虚拟地在建筑物内部移动等等。这些服务基于被已知为IBR(基于图像的呈现)的技术，替代使用复杂的3D建模工具来构造图形模型，该技术使用来自真实世界的成像作为纹理并将这些应用于用户可以在其中导航的基本3D对象，诸如圆柱体、管状体或球体。IBR技术的主要缺点在于其仅使得能够再现静态场景。
而且，几年前，出现了已知为VBR(基于视频的呈现)的技术，其中，被应用于3D对象的纹理是视频流。根据该技术，例如经由全景相机产生若干个同步的视频流，以便使用若干视点捕获整个动态场景。这些流然后被处理并应用于3D对象。用户然后可以以身临其境并且处于动作中心(at the heartof the action)的感觉在该动态场景中导航。
在经由全景图像进行交互式导航的背景下，已知ICIP 2002中Carten Grünheit、Aljoscha Smolic和Thomas Wiegabd的题为“Efficient Representation andinteractive streaming of high-resolution panoramic views”的文档。该文档描述了其中根据来自用户的导航命令从服务器向用户终端传送全景场景的视频流的例程。全景场景的视频流是时间连续的全景图像序列。为了便于该全景视频序列的传送，将其划分为形成马赛克的预定义大小的多个不重叠视频部分。这些视频部分在前述文档中以及在本说明书的其余部分中被称为视频补丁。每个视频补丁对应于全景视频序列的一空间区域，并且展现全景视图中的一特定空间位置。视频补丁可以包括固定或可变数量的连续视频补丁。在图1中示出了这种将全景视频序列划分至视频补丁。全景视频序列10被划分为多个视频补丁11。在服务器中将每个视频补丁分离地编码。视频序列中被参考标号为12的部分表示该序列中的在用户终端的屏幕上显示的部分。该区域由用户终端所传送的导航命令来定义并且在本说明书下文中被称为可视区域(visibility zone)。
图2示出了重叠若干个视频补丁(被参考标号为11a到11d)的可视区域12的示例。在此情况下，为了使用户终端可以显示部分12，服务器必须向用户终端传送至少这些4个视频补丁。
为了使用户具有身临其境的印象，需要视频补丁在用户终端的屏幕上的显示快速且流畅。为此目的，在前述文档中定义了视频补丁的预取处理。该处理在于：甚至在视频补丁被包含在可视区域12中之前，在服务器处触发所述视频补丁的传送。客户端请求服务器传送与全景视图的某个区域对应的并且晚于给定展现时间戳的视频补丁，该展现时间戳是根据当前时间戳以及接收所述补丁所需的最大时间来估计的。其还包含：在用户终端中不仅加载属于当前可视区域的视频补丁，而且还加载如果可视区域遵从用户导航命令沿任何方向运动可能属于当前可视区域的视频补丁。
为此目的，对于每个视频补丁11定义被称为检测区域的区域13，如例如图3中所示的，所述区域13环绕视频补丁11的图像部分。在该示例中，该视频补丁的图像部分的边界和其检测区域的边界在该图像部分的整个周长上被分离开距离d。一旦可视区域12进入检测区域13，将请求服务器向用户终端传送视频补丁11的要求传送给服务器。
在图4的示例中，部分12重叠六个视频补丁11a到11f的检测区域(被参考标号为13a到13f)。由此按照用户终端的请求，视频补丁11a到11f被预取到用户终端中，尽管仅仅视频补丁11a到11d被部分地或全部的包括在当前的可视区域12中。
用户终端中视频补丁的预取使得能够至少部分地克服用户终端的请求传送和视频补丁接收之间的等待时间。
使得检测区域13的大小足够大，从而将请求足够早地传送到服务器，以便获得良好的导航速度，而无需在用户终端中预取太大数量的视频补丁(知道此后它们中的一些将永远不会显示在屏幕上)并由此使得导航的流畅度处于不利地位。实际上，检测区域的大小必须被定义以便在导航流畅度和导航速度之间获得良好折衷。导航流畅度取决于用户终端处理器的加载能力，其减小检测区域的大小(要下载更多数据)。相反，导航速度与检测区域的大小成比例(加载数据需要更多时间)。然而，该折衷不总是容易确定的。
此外，导航流畅度和导航速度可能受到传输视频补丁的网络直接信道和/或传输请求的返回信道的尺寸的影响。
发明内容
本发明的一个目的是提出一种在全景视频序列中进行交互式导航的方法，其使得能够至少部分地克服前述缺点。
根据本发明，提出使用至少两个不同的传送网络来向用户终端传送视频补丁。
由此，本发明的目的是一种在用户终端上显示的全景视频序列中导航的方法，该全景视频序列被划分为被称为视频补丁的多个不重叠视频部分，每个视频补丁对应于全景视频序列的一区域，每个视频补丁具有预定义大小并且在所述全景视频序列中具有空间位置，根据导航命令来确定形成被称为可视区域的、在用户终端的屏幕上显示的全景视频序列的区域所需的视频补丁，其特征在于：视频补丁被一部分经由第一传送网络向用户终端提供，而另一部分经由与所述第一传送网络不同的第二传送网络提供。
因此，使用双网络使得能够在两个网络上分布视频补丁的传送。由此，这样的网络的拥塞风险较低。
根据优选实施例，第一传送网络是通用广播网络(也被称为广播网络)，第二传送网络是个人化的广播网络。
根据具体模式，第二传送网络是包括返回信道的宽带网络，并且在返回信道上传送了请求之后才经由该网络向用户终端传送视频补丁。
使用这两个传送网络具有以下优点：
－个人化广播网络的带宽比广播网络的带宽更“廉价”，由此相对于通用广播网络而言可以以更低成本增加总网络带宽，
－个人化广播网络不能使比特率对于所有用户(尤其对于远离DSLAM(数字订户线接入多路复用器)的那些用户)得到足够的保证，而广播网络使得增加该比特率成为可能。
利用本发明，由此可以考虑交互式导航服务的创建，其中，服务订户访问经由两个网络传送的视频补丁组，而非订户仅访问由网络之一提供的视频补丁。
例如，在警察调查节目的情况下，订户可以在罪犯场景的全部中导航以便恢复线索，而非订户仅访问该场景的与由通用广播网络传送的视频补丁对应的更加有限区域。
另一可能应用涉及在体育馆中发生的体育事件的全景重传。例如，在遇到同时发生若干项体育项目(例如，推铅球、跳高、撑竿跳、跳远等)的田径运动的重传的背景下，订户将有可能在遍及体育馆中移动以观看所述项目中的任何项目，而非订户将仅能够观看单个项目(即，在广播中传播的项目)。
还可以考虑以下服务，其中，非订户能够通过整个全景场景导航，而仅有订户能够缩放到全景场景的某些部分上。对于该应用，在通用广播中传送与场景的子采样部分相对应的视频补丁，而利用个人化广播网络传送提供附加定义的视频补丁。
然而，使用这样的双网络传送视频补丁可能在用户终端级创建显示问题。实际上，视频补丁的预取时间根据用于传送该视频补丁的网络而变化，并且由此视频补丁的屏幕上显示也根据用于传送该视频补丁的网络而变化。在通用广播网络的情况下，广播所有视频补丁而无需预先请求，视频补丁在屏幕上的展现时间可能相对较短。在具有返回信道的个人化广播网络的情况下，仅仅按照用户的需要传送视频补丁，屏幕上的展示时间包括该请求向服务器的传送时间、服务器的请求处理时间、视频补丁向用户终端的传送时间、以及用户终端中用于解码并存储视频补丁的时间。注意，个人化广播网络上的传送时间可能根据网络的状态随时间而变。然后，在视频补丁预取处理中，必须考虑传送网络之间的展现时间差异。
一种解决方案可以在于：通过将来自较快网络的视频补丁置于缓冲存储器中以便然后将它们与来自较慢网络的视频补丁对齐，来同步视频补丁的处理。然而，该解决方案将不满足要求，这是因为其包括对抗性的动作，即，初始地预取视频补丁，然后结果延迟了显示。
根据本发明的变型，由此提出了另一种解决方案，即，足够早地预取来自较慢传送网络的视频补丁，从而不必延迟来自较快网络的视频补丁的显示。该结果通过以下来获得：对于每个视频补丁定义如之前所定义的检测区域，但是所述检测区域的大小根据提供所述视频补丁的传送网络而定。由较慢网络传送的视频补丁的检测区域的大小被取得大于由较快网络传送的视频补丁的检测区域的大小，从而来自较慢网络的视频补丁的预取在来自其它网络的视频补丁的预取之前开始。
为此，本发明的方法还包括以下步骤：
－对于每个视频补丁，定义被称为检测区域的至少一个区域，其围绕所述视频补丁并且具有比所述视频补丁的大小更大的大小，所述视频补丁的检测区域的大小根据提供所述视频补丁的传送网络而定，
－只要可视区域进入一视频补丁的检测区域，就在所述用户终端的存储器中要求所述视频补丁的预取，以及
－只要可视区域进入所预取的视频补丁，就在用户终端的屏幕上显示所述视频补丁。
在本说明书中，视频补丁的预取被理解为意味着以下操作：在用户终端中接收所述视频补丁，可能解码所述视频补丁，并且将其存储在所述终端的存储器中。在传送网络包括返回信道(终端至服务器)的情况下，该预取还包括一在前步骤：经由服务器传送用于触发所述视频补丁的传送的请求以及传送所述视频补丁。
用于预取由广播网络提供的视频补丁的时间显著地包括：将传输视频补丁的服务去多路复用、帧I(帧内编码的帧)的接收等待时间、以及视频补丁解码时间。
由具有返回信道的个人化广播网络提供的视频补丁的预取时间显著地包括：从用户终端到第二服务器的请求传送时间、第二服务器的请求处理时间、第二服务器和用户终端之间的视频补丁传送时间、视频补丁的图像部分的解码时间、以及用户终端中视频补丁的存储时间。
根据有利实施例，由个人化广播网络传送的视频补丁以帧I开始，以便消除这种帧的等待时间。
在该实施例中，尽管由个人化广播网络提供的视频补丁的预取时间不包括帧I等待时间，但是其通常仍大于由通用广播网络提供的视频补丁的预取时间。
为了至少部分地补偿两种传送网络之间的预取时间差异，由个人化广播网络提供的视频补丁的检测区域的大小被取得大于由通用广播网络提供的视频补丁的检测区域的大小。
根据具体实施例，图像部分的边界和检测区域的边界在图像部分的整个周长上被分离开预定距离d。
根据具体实施例，每个视频补丁被编码为多层，并且为此目的包括被称为基本层的基本视频数据层、以及被称为增强层的至少一个附加视频数据层。在该实施例中，对于视频补丁的基本层和增强层中的每个定义检测区域，在可视区域进入对应的检测区域时要求基本层的预取、或增强层的预取。
根据具体实施例，所述增强层的检测区域的大小在大小上不同于基本层的检测区域。增强层的检测区域涵盖例如基本层的检测区域，从而增强层的预取在基本层的预取之前开始。
根据具体实施例，可视区域的阈值移动速度(被称为第一阈值速度)与基本层相关联，即，例如所述可视区域的最大授权移动速度。在该实施例中，根据所述第一阈值速度确定基本层的检测区域的大小。
根据具体实施例，可视区域的移动阈值速度(被称为第二阈值速度)与每个增强层相关联，在超过该第二阈值速度时在用户终端中不预取该增强层，即使可视区域进入所述至少一个增强层的检测区域。
根据具体实施例，显著地根据所述第二阈值速度确定每个增强层的检测区域的大小。
根据有利实施例，对于未预取的每个增强层，在可视区域进入所述增强层的检测区域和可视区域退出所述检测区域之间，进行可视区域的瞬时移动速度和与所述增强区域相关联的第二阈值速度的周期性比较，如果可视区域的瞬时移动速度小于所述第二阈值速度，则要求所述增强层的预取。
最后，根据另一有利实施例，对于未预取的每个增强层，在可视区域进入所述增强层的检测区域和可视区域退出所述检测区域之间，进行可视区域的瞬时移动速度和与所述增强区域相关联的第二阈值速度的周期性比较，如果可视区域的瞬时移动速度大于所述第二阈值速度，则要求停止所述增强层的预取。
附图说明
将更好地理解本发明，并且在下面参考附图的详细描述中其它目的、细节、特征和优点将变得更为清楚，在附图中：
图1(已经描述过)示出了将全景视频序列划分为视频补丁，
图2(已经描述过)是图1的部分视图，其示出了视频序列的在用户终端的屏幕上可见的部分、以及在该可视区域中全部或部分地包含的视频补丁，
图3(已经描述过)是示出了视频补丁的检测区域的视图，
图4(已经描述过)是图1的部分视图，其示出了在可视区域中全部或部分地包含的视频补丁的检测区域，
图5是标识经由通用广播网络传送的视频补丁和经由个人化广播网络传送的视频补丁的视图，
图6是包含经由两种不同的传送网络与用户终端连接的服务器的系统，
图7是示出根据视频补丁的源头网络的可变大小的检测区域的视图，
图8是示出其中每个视频补丁被编码为基本层和增强层的具体实施例的视图，对于每层定义检测区域，
图9是示出在可视区域进入或离开视频补丁层的检测区域时执行的操作的流程图，
图10是示出对于可视区域在其检测区域中的每个层执行的操作的流程图，
图11是示出相对于视频补丁的大小而进行的检测区域的大小计算的视图，以及
图12是示出从具有返回信道的个人化广播网络的视频补丁的预取时间的视图。
具体实施方式
根据本发明，要在用户终端(例如，与机顶盒连接的电视)的屏幕上显示的全景视频序列被划分为多个视频补丁，这些补丁由至少两个不同的传送网络提供。
这两个网络优选地为通用广播网络和具有或不具有返回信道的个人化广播网络。通用广播网络(在下文的描述中被称为广播网络)经由无线电、卫星或电缆信道将视频广播到非常大数量的用户。个人化广播网络将视频数据广播到更有限数量的用户(例如，对使用该网络的服务的订户)。该网络在下文的描述中被称为“宽带网络”。该网络例如是具有或不具有返回信道的宽带广播网络。
在下文的描述中，将考虑：视频补丁被一部分经由广播网络提供，而另一部分经由具有返回信道的宽带网络提供。
如果参考示出了图1的全景视频序列的图5，可以考虑：例如，经由广播网络传送阴影区域的视频补丁14，而经由宽带网络按需传送(阴影区域外部的)其它视频补丁。
在图6中图解性地示出了能够实施本发明的方法的系统。系统包括服务器20，其中存储了全景视频序列。该视频序列被划分为被称为视频补丁的在空间上不重叠的视频部分。每个视频补丁对应于该视频序列的一预定义大小的矩形区域，例如n*m像素。视频补丁在视频序列中的空间位置例如由该视频补丁的左上像素的坐标(x，y)表示。这些视频补丁在服务器中被分离地编码。
一部分视频补丁(例如，图5的视频补丁14)被服务器20经由图6中所示的“广播”网络(经由与服务器20连接的发射器天线40和与用户终端30连接的接收器天线41)提供给用户终端30。全景图像10的另一部分视频补丁被服务器20经由图6中所示的“宽带”网络(经由因特网50和一侧连接因特网50而另一侧连接用户终端30的连接网关51)按需传送给用户终端30。
终端30包括机顶盒31，其能够从两种传送网络接收并处理视频补丁，并且能够经由“宽带”网络向服务器20传送视频补丁传送请求。
在广播网络的情况下，视频序列是连续的视频流，视频补丁也是连续流。
在“宽带”网络的情况下，在服务器处按需提供视频补丁。视频补丁具有预定义的固定持续期或可变持续期。在第一种情况下(固定持续期)，在接收到视频补丁需要请求之后，预定义数量的时间连续的视频帧部分被例如传送到终端。在第二种情况下(可变持续期)，时间连续的视频帧部分的数量在被传送给服务器的视频补丁需要请求中指示，或者由视频补丁传送需要请求与需要请求向服务器的传送结束来定义。
有利地，在服务器20中根据SVC(可分级视频编码)编码视频补丁。为此目的，每个视频补丁包括基本视频数据层(被称为基本层)、以及至少一个附加视频数据层(被称为增强层)。
有利地，经由“广播”网络经由包括能够传输SVC视频数据层的基本流的MPEG2-TS传输流传送视频补丁，如在文档“InformationTechnology-Generic Coding of Moving Pictures and Audio:Systems:Transport ofscablable video over ITU-T Rec.H.222.0”ISO/IEC 13818-1,Amendment 3,2005中描述的。
此外，有利地经由“宽带”网络经由HTTP流传输视频补丁，如在2009年6月Apple公司R.Pantos的文档“HTTP Live Streaming,draft-pantos-http-live-streaming-01”中所描述的。因此经由广播网络传输的视频补丁具有预定义的固定持续期。
在这两种传输机制将相同的PCR(节目时钟参考)用于所有视频补丁来传递TS(传输流)分组的情况下，则这两种传输机制的同步依据通常在数字电视中使用的技术。
作为变型，被用于“宽带”网络的传输协议是可以与RTSP交换协议相关联的RTP/UDP/IP协议。
对于每个视频补丁定义围绕该视频补丁的区域的至少一个检测区域。
根据本发明的重要特征，由“宽带”网络提供的视频补丁的检测区域的大小大于由“广播”网络提供的视频补丁的检测区域的大小。该特征由图7图示。
图7示出了相邻的并按照2行3个视频补丁而布置的被参考标号为71a至71f的六个视频补丁。视频补丁71a到71d被经由“广播”网络提供给用户终端，并且视频补丁71e和71f按照请求经由“宽带”网络提供。这些视频补丁71a到71f的检测区域在图7中分别被参考标号为73a到73f。如可以从该图中看出的，经由宽带网络提供的视频补丁的检测区域73e和73f的大小大于经由广播网络提供的视频补丁的检测区域73a到73d的大小，以便补偿服务器20的请求传送时间和请求处理、以及经由宽带网络提供的视频补丁的传送持续期。
当在图7中被参考标号为72的可视区域进入所述视频补丁的检测区域时，在机顶盒31中触发用于预取所述视频补丁的命令。
在图7的示例中，假定区域72至少部分地覆盖检测区域73a到73f，触发用于预取视频补丁71a到71f的命令。不同补丁的预取命令不被同时传送，而是根据可视区域的移动被传送。如果参考由图7中的箭头表示的移动，首先请求补丁71a和71b，然后请求补丁71c和71d，而最后请求补丁71e和71f。
关于视频补丁71a到71d的帧，它们被预取在机顶盒31的存储器中，这是因为它们由广播网络传递以用于以下持续期，所述持续期扩展至所述补丁71a到71d的帧的展现时间或至从检测区域退出。
关于视频补丁71e和71f，经由宽带网络向服务器20传送对这些视频补丁中每个视频补丁的请求，从而服务器经由宽带网络向用户终端30传送对应帧。根据有利实施例，根据SVC模式编码由服务器20传送的视频补丁，对于要传送的每个视频补丁层定义检测区域，即对于基本层定义基本检测区域而对于每个增强层定义附加检测区域。图8中示出了该实施例。
在该图中，每个视频补丁71a到71f包括基本层和增强层。每个视频补丁71a到71f具有用于其基本层的检测区域(分别为730a到730f)以及用于其增强层的检测区域(分别为731a到731f)。在该实施例中，增强层的检测区域涵盖基本层检测区域。因此，在该实施例中，在没有其它准则出现的情况下，增强层的预取可以在基本层的预取之前开始。
然而，根据有利实施例，根据可视区域的移动速度V来取得对预取增强层的判定。为了简化，在图7和8中考虑可视区域12仅沿方向X移动。然而实际上本发明的方法可以应用于可视区域12沿所有方向移动的情况。
在该实施例中，用户终端30定期确定可视区域12的位置、其移动方向及其移动速度。依据图9的流程图取得对下载基本层或增强层的判定。
根据该流程图，第一步骤(步骤90)在于：通过请求预取可视区域出现在其检测区域中的基本层和增强层来初始化处理。这些层中的每个层的参考标号被存储在被称为Llayers的列表中。以如下方式估计要预取的层的数据展现时间戳，使得在该层必须被展现的时刻接收到该层。然后，检验视频补丁层的检测区域的边界是否被跨越(步骤91)。如果是，则检验其是否涉及进入视频补丁层的检测区域(步骤92)。如果不是这种情况，则检验可视区域是否完全退出检测区域(步骤96)。如果是这种情况，则停止该层的预取(步骤97)，从列表Llayers中删除该层的参考标号，并且步骤91再次开始。如果可视区域没有完全退出检测区域，则返回步骤91。如果其涉及进入一层的检测区域，则将可视区域的移动速度和与所述层相关联的预定义阈值速度相比较(步骤93)。如果可视区域的移动速度大于或等于阈值速度，则不预取所述层并且在列表Llayers中添加该层的参考标号(步骤95)，并且步骤91再次开始。如果可视区域的移动速度小于阈值速度，则触发与所述检测区域相关的层的预取(步骤94)，然后其再次在步骤91开始。
根据该方法，仅仅在可视区域的移动速度小于与一增强层相关联的阈值速度(其例如是每秒几百像素)的情况下才触发该增强层的预取。实际上，如果可视区域移动非常快，则不需要触发增强层的预取，这是由于该层将不提高用户体验。然而，通过将用于基本层的阈值速度固定为大于或等于可视区域的最大移动速度，将基本层的预取设计为而不论可视区域的移动速度是什么都系统地触发。
如果视频补丁包括若干个增强层，例如中间层(中间级)和高层(高级)，有利地对于这两个增强层中的每一个定义阈值速度，中间层的阈值速度优选地大于高层的阈值速度。
在可视区域进入基本层的检测区域之后，存在以下必然性：视频补丁基本层的预取已经被触发，这是因为无论可视区域的移动速度是什么(基本层的阈值速度大于可视区域的最大移动速度)该层的预取都发生。然而，如果在进入增强层的检测区域的时刻处可视区域的移动速度大于相关联的阈值速度，则这些增强层的预取可能未被触发。但是，在可视区域在基本层的检测区域中移动期间，移动速度可能已经改变。例如，在可视区域进入一增强层的检测区域与其退出该检测区域之间，所述可视区域的移动速度可能已经降低，并且可能已经过渡到与增强层相关联的阈值速度之下。然后在屏幕上可以看到在所显示的视频数据中缺少增强层(低分辨率)。
根据有利实施例，提供周期性的检验处理，以便根据可视区域的瞬时移动速度来适配要预取的增强层的数量。该处理在图10中示出，并且应用于可视区域在其检测区域中展现的层(即，在之前定义的列表Llayers中被参考标号的层)中的每个层。
根据步骤100，检验该层的预取是否正在进行。如果是这种情况，则存在延迟步骤(步骤101)，也就是说，暂停检验处理以等待所请求的时间戳(持续期tempo1)以到达该层的预取结束，然后检验预取已经结束(步骤102)。对于预取已经被触发的层，持续期tempo1表示在检验该层是否准备好展现之前的等待时间。该延迟的值是该层的展现时间戳和当前时间戳之间的差。
如果由于可视区域的移动速度大于该层的阈值速度而尚未触发该层的预取，则存在持续期tempo2的延迟步骤(步骤104)，然后将可视区域的移动速度与该层的阈值速度进行比较(步骤105)。
如果可视区域的移动速度大于阈值速度，则返回步骤104。如果不大于，则作出预取请求(步骤106)，然后其进行到步骤101。对于预取尚未被触发的层，持续期tempo2表示可视区域的移动速度与该层的阈值速度的两次比较测试之间的时段。该时段可以从一层到另一层地不同。该时段对应于例如可视区域用来以阈值速度跨越该层的检测区域的持续期。
在步骤102，如果预取结束，则返回额定模式(步骤103)，其在于：在可视区域处于层的检测区域中时，对于将来的时间戳预取该层。
然而，如果预取没有结束，则该层将在该层本应当被展现的时刻之后到达，因此停止正在进行的预取(步骤107)，并且该方法进行到步骤106，其在于：利用将来的展现时间戳再次请求该层的预取。
根据该处理，即使可视区域的移动速度已经变得小于与增强层相关联的阈值速度并且该层的检测区域仍被包括在可视区域中，如果该增强层尚未被预取，则预取所述增强层。
尽管该处理主要用于增强层，其也可以同样地应用于基本层。实际上，即使只要可视区域进入基本层的检测区域就系统地触发基本层的预取，由于与网络或服务器有关的问题，在补丁本应当被展现的时刻处仍可能未接收到该补丁。该算法使得如果这样的问题出现就重新发起预取。
有利地，如果可视区域的移动速度突然增加并且过渡到与增强层相关联的阈值速度之上，则可以安排用于停止该增强层的预取的处理。可以经由步骤102和102之间的测试步骤来实施该处理。
为了确保基本层或增强层的预取足够早地开始，优选地将检测区域的大小适配于可视区域的移动速度。例如以如下方式计算检测区域的大小。例如考虑具有nx*ny像素的矩形的视频部分110，涵盖所述视频部分的矩形检测区域111j具有[nx+2Δnx(j)]×[ny+2Δny(j)]像素，该检测区域与视频补丁的层j相关。在图11中图示这个示例。
层0涉及例如基本层，层1涉及例如中间增强层，层2涉及例如高增强层。
根据具体实施例，按照以下方式计算Δnx(j)：
Δnx(j)≥threshold_speed_x(j)*pre-fetching_time(j)
其中threshold_speed_x(j)表示按照每秒像素表达的根据层j的方向x的阈值速度；并且pre-fetching_time(j)表示获取并解码该视频补丁的层j的至少一个帧I(帧内编码的帧)的持续期。
增强层的阈值速度与之前用于这些层的预取判定的阈值速度对应。基本层的阈值速度与全景场景中可视区域的授权移动的最大速度对应。
视频补丁层的预取时间根据用于传送所述视频补丁层的传送网络而变化。
在广播网络中，所有视频补丁被广播(无需请求)并提供给终端，在可视区域进入检测区域时该终端预取所述视频补丁。当可视区域进入一检测区域时，该视频补丁的帧I可能不一定已经被该终端接收到，并且然后最好等待。因此，预取时间与进入检测区域和视频补丁可能在用户屏幕上重置(resituate)的时刻之间的持续期对应。该预取时间因此包含在视频补丁的展现之前的去多路复用、等待下一帧I、填充解码缓冲器、解码并存储并重新排序视频帧所需的持续期。
在宽带网络中，仅仅在终端先前从服务器请求视频补丁的情况下该网络才提供该视频补丁。在此情况下，如图12所示地定义预取时间：
预取时间(Pre-fetching_time)＝T1+T2+T3+T4
其中，T1是向服务器传送请求的持续期，T2是服务器处理请求的持续期，T3是视频补丁向终端的传送时间，以及T4是终端中视频补丁的存储和解码的持续期。
T2取决于服务器，T4取决于终端。T1和T3取决于网络的RTT(往返延迟时间)。T3还取决于网络带宽、视频补丁的大小、以及由传送协议(HTTP、RTP等)引入的信令。
因此，根据本发明，根据负责提供视频补丁的网络，定义视频补丁的检测区域的大小。此外，根据可视区域的移动速度，判定视频补丁的预取的触发和/或继续。
尽管已经关于不同的具体实施例描述了发明，但是显然其绝非限制，并且其包括所描述的部件的所有技术等同物，并且如果所述技术等同物的组合落入本发明的范围之内也包括所述组合。

Claims (11)

1.一种用户终端装置中用于在所述用户终端装置上显示的全景视频序列中进行导航的方法，该全景视频序列被划分为被称为视频补丁的多个不重叠的视频部分，每个视频补丁对应于全景视频序列的一区域，每个视频补丁具有预定义大小并且在所述全景视频序列中具有空间位置，根据导航命令来确定形成被称为可视区域的、在用户终端装置的屏幕上显示的全景视频序列的区域所需的视频补丁，所述方法包括以下步骤：
－将与所述全景视频序列的子部分对应的一些第一视频补丁经由第一传送网络提供给所述用户终端装置，所述第一传送网络是广播网络，
－根据所述导航命令并且根据所述可视区域在所述全景视频序列中的位置，将与所述全景视频序列的其余部分对应的一些第二视频补丁经由与所述第一传送网络不同的第二传送网络提供给所述用户终端装置，所述第二传送网络包括返回信道，所述方法的特征在于，其还包括以下步骤：
－对于每个第一视频补丁和第二视频补丁，定义被称为检测区域的至少一个区域，其围绕所述视频补丁并且具有比所述视频补丁的大小更大的大小，所述视频补丁的检测区域的大小根据提供所述视频补丁的传送网络而定，
－只要可视区域从所述第二视频补丁进入一视频补丁的检测区域，就要求在所述用户终端装置的存储器中预取所述第二视频补丁，以及
－只要可视区域进入所述用户终端装置的存储器中可用的视频补丁，就在用户终端装置的屏幕上显示所述视频补丁。
2.如权利要求1所述的方法，其特征在于：第二传送网络是包括返回信道的宽带网络，在返回信道上传送了请求之后经由该宽带网络向用户终端装置传送视频补丁。
3.如权利要求1所述的方法，其特征在于：由第二传送网络提供的所述第二视频补丁的检测区域的大小大于由第一传送网络提供的所述第一视频补丁的检测区域的大小。
4.如权利要求1所述的方法，其特征在于：每个视频补丁被编码到被称为基本层的基本视频数据层和被称为增强层的至少一个附加视频数据层；对于视频部分的基本层和增强层中的每一个定义检测区域，在可视区域进入对应的检测区域时要求预取基本层或预取增强层。
5.如权利要求4所述的方法，其特征在于：所述至少一个增强层的检测区域的大小大于基本层的检测区域的大小。
6.如权利要求4所述的方法，其特征在于：可视区域的位移阈值速度与所述基本层相关联，被称为第一阈值速度，根据所述第一阈值速度确定基本层的检测区域的大小。
7.如权利要求4到6中任一项所述的方法，其特征在于：可视区域的位移阈值速度与所述增强层相关联，被称为第二阈值速度，在超过该第二阈值速度时在用户终端装置中不预取该增强层，即使可视区域进入所述至少一个增强层的检测区域。
8.如权利要求7所述的方法，其特征在于：根据所述第二阈值速度确定所述至少一个增强层的检测区域的大小。
9.如权利要求7所述的方法，其特征在于：对于未预取的每个增强层，在可视区域进入所述增强层的检测区域和可视区域退出所述检测区域之间，进行可视区域的瞬时位移速度和与增强区域相关联的第二阈值速度的周期性比较，如果可视区域的瞬时位移速度小于所述第二阈值速度，则要求预取所述增强层。
10.如权利要求7所述的方法，其特征在于：对于未预取的每个增强层，在可视区域进入所述增强层的检测区域和可视区域退出所述检测区域之间，进行可视区域的瞬时位移速度和与增强区域相关联的第二阈值速度的周期性比较，如果可视区域的瞬时位移速度大于所述第二阈值速度，则要求终止所述增强层的预取。
11.一种用于在全景视频序列中进行导航的用户终端装置，该全景视频序列被划分为被称为视频补丁的多个不重叠视频部分，每个视频补丁对应于全景视频序列的一区域，每个视频补丁具有预定义大小并且在所述全景视频序列中具有空间位置，根据导航命令来确定形成被称为可视区域的、在用户终端装置的屏幕上显示的全景视频序列的区域所需的视频补丁，所述用户终端装置包括：
－用于经由第一传送网络接收与所述全景视频序列的子部分对应的一些第一视频补丁的部件，所述第一传送网络是广播网络，
－用于根据所述导航命令并且根据所述可视区域在所述全景视频序列中的位置，经由与所述第一传送网络不同的第二传送网络接收与所述全景视频序列的其余部分对应的一些第二视频补丁的部件，所述第二传送网络包括返回信道，以及，
－用于对于每个第一视频补丁和第二视频补丁，定义被称为检测区域的至少一个区域的部件，其围绕所述视频补丁并且具有比所述视频补丁的大小更大的大小，所述视频补丁的检测区域的大小根据提供所述视频补丁的传送网络而定，
－用于在可视区域从所述第二视频补丁进入一视频补丁的检测区域的情况下在所述用户终端装置的存储器中预取所述第二视频补丁的部件，以及
－用于在可视区域进入所述用户终端装置的存储器中可用的视频补丁的情况下在用户终端装置的屏幕上显示所述视频补丁的部件。
CN201110282956.1A 2010-09-22 2011-09-22 在全景场景中导航的方法和用户终端装置 Active CN102413376B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1057601 2010-09-22
FR1057601 2010-09-22

Publications (2)

Publication Number Publication Date
CN102413376A CN102413376A (zh) 2012-04-11
CN102413376B true CN102413376B (zh) 2016-09-07

Family

ID=43920332

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110282956.1A Active CN102413376B (zh) 2010-09-22 2011-09-22 在全景场景中导航的方法和用户终端装置

Country Status (5)

Country Link
US (1) US9232257B2 (zh)
EP (1) EP2434772B1 (zh)
JP (1) JP5818603B2 (zh)
KR (1) KR101819097B1 (zh)
CN (1) CN102413376B (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9838687B1 (en) * 2011-12-02 2017-12-05 Amazon Technologies, Inc. Apparatus and method for panoramic video hosting with reduced bandwidth streaming
FR2988964A1 (fr) * 2012-03-30 2013-10-04 France Telecom Technique de distribution d'un contenu video de type immersif
EP2824883A1 (en) * 2013-07-12 2015-01-14 Alcatel Lucent A video client and video server for panoramic video consumption
EP2824884A1 (en) * 2013-07-12 2015-01-14 Alcatel Lucent A video client for smooth display of a panoramic video
US9699437B2 (en) * 2014-03-03 2017-07-04 Nextvr Inc. Methods and apparatus for streaming content
DE102014205485A1 (de) * 2014-03-25 2015-10-01 Siemens Aktiengesellschaft Verfahren zur Übertragung digitaler Bilder aus einer Bilderfolge
US10204658B2 (en) 2014-07-14 2019-02-12 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content
WO2016050283A1 (en) * 2014-09-30 2016-04-07 Telefonaktiebolaget L M Ericsson (Publ) Reduced bit rate immersive video
US9934823B1 (en) * 2015-08-27 2018-04-03 Amazon Technologies, Inc. Direction indicators for panoramic images
KR102551239B1 (ko) * 2015-09-02 2023-07-05 인터디지털 씨이 페이튼트 홀딩스, 에스에이에스 확장된 장면에서의 내비게이션을 용이하게 하기 위한 방법, 장치 및 시스템
CN107197135B (zh) * 2016-03-21 2021-04-06 成都理想境界科技有限公司 一种视频生成方法及视频生成装置
CN109565610B (zh) * 2016-05-25 2021-03-30 皇家Kpn公司 处理全向视频的方法、装置以及存储介质
EP3761645A1 (en) * 2016-05-26 2021-01-06 Vid Scale, Inc. Methods and apparatus of viewport adaptive 360 degree video delivery
US20180007422A1 (en) 2016-06-30 2018-01-04 Sony Interactive Entertainment Inc. Apparatus and method for providing and displaying content
EP3485646B1 (en) * 2016-07-15 2022-09-07 Koninklijke KPN N.V. Streaming virtual reality video
US10931980B2 (en) 2016-07-19 2021-02-23 Electronics And Telecommunications Research Institute Method and apparatus for providing 360 degree virtual reality broadcasting service
EP3513562A1 (en) * 2016-09-14 2019-07-24 Koninklijke KPN N.V. Streaming virtual reality video
EP3535644B1 (en) 2016-11-04 2023-02-22 Koninklijke KPN N.V. Streaming virtual reality video
US10176615B2 (en) * 2016-12-13 2019-01-08 Topcon Corporation Image processing device, image processing method, and image processing program
TWI634779B (zh) * 2016-12-14 2018-09-01 中華電信股份有限公司 Viewing angle control system and method for playing surround image through set-top box
KR20180112708A (ko) 2017-04-03 2018-10-12 한국전자통신연구원 고화질 360도 vr 영상 처리 장치 및 방법
CN108810574B (zh) * 2017-04-27 2021-03-12 腾讯科技（深圳）有限公司 一种视频信息处理方法及终端
EP3461132A1 (en) 2017-09-26 2019-03-27 Thomson Licensing Method and terminal for tile selection amongst a set of tiles
KR101881705B1 (ko) * 2017-11-24 2018-07-25 공간정보기술 주식회사 실내뷰 영상 기반의 파노라마 라벨링 시스템
US10390063B2 (en) 2017-12-22 2019-08-20 Comcast Cable Communications, Llc Predictive content delivery for video streaming services
US10798455B2 (en) 2017-12-22 2020-10-06 Comcast Cable Communications, Llc Video delivery
US11523185B2 (en) 2019-06-19 2022-12-06 Koninklijke Kpn N.V. Rendering video stream in sub-area of visible display area
CN110572203B (zh) * 2019-10-14 2020-12-29 中国科学院计算技术研究所 一种卫星通信中的用户切换方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1367469A (zh) * 2002-03-07 2002-09-04 上海交通大学 路途全景图像带的摄取、生成、传输和显示方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5075673A (en) 1989-06-16 1991-12-24 International Business Machines Corp. Variable speed, image pan method and apparatus
AU1250501A (en) 1999-09-10 2001-04-10 Quokka Sports, Inc. A system for distributing and delivering multiple streams of multimedia data
EP1087618A3 (en) 1999-09-27 2003-12-17 Be Here Corporation Opinion feedback in presentation imagery
US7006111B1 (en) 1999-11-09 2006-02-28 Intel Corporation Digital image stitching
IL153164A0 (en) 2000-06-09 2003-06-24 Imove Inc Streaming panoramic video
JP3472273B2 (ja) 2001-03-07 2003-12-02 キヤノン株式会社 画像再生装置及び画像処理装置及び方法
JP2003111050A (ja) 2001-09-27 2003-04-11 Olympus Optical Co Ltd 映像配信サーバ及び映像受信クライアントシステム
JP3906685B2 (ja) 2001-12-25 2007-04-18 日本電気株式会社 ビデオ映像提示システム、ビデオ映像送出装置、ビデオ映像提示装置、ビデオ映像処理プログラム
US20050021779A1 (en) * 2003-04-29 2005-01-27 Ahamed Syed V. Localized knowledge-based intelligent network
WO2005055607A1 (en) 2003-12-08 2005-06-16 Electronics And Telecommunications Research Institute System and method for encoding and decoding an image using bitstream map and recording medium thereof
US7830965B2 (en) 2004-01-14 2010-11-09 Sony Ericsson Mobile Communications Ab Multimedia distributing and/or playing systems and methods using separate resolution-enhancing supplemental data
US8427538B2 (en) * 2004-04-30 2013-04-23 Oncam Grandeye Multiple view and multiple object processing in wide-angle video camera
US8417939B2 (en) 2007-04-11 2013-04-09 The DIRECTV Goup, Inc. Method and apparatus for file sharing between a group of user devices with encryption-decryption information sent via satellite and the content sent separately
JP4935632B2 (ja) 2007-11-07 2012-05-23 ソニー株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP2009147571A (ja) 2007-12-13 2009-07-02 Nec Corp 映像配信システム、端末装置、プログラム、及び映像配信方法
CN101897178B (zh) 2008-10-10 2014-09-24 松下电器（美国）知识产权公司 视频输出设备和视频输出方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1367469A (zh) * 2002-03-07 2002-09-04 上海交通大学 路途全景图像带的摄取、生成、传输和显示方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《Efficient representation and interactive streaming of high-resolution panoramic views》;Carsten Grünheit etal;《IEEE ICIP》;20021231;全文 *
Data compression and transmission aspects of panoramic videos;King-To Ng etal;《IEEE Transactions On Circuits And Systems For Video Technology》;20050131;第15卷(第1期);全文 *

Also Published As

Publication number Publication date
EP2434772A1 (en) 2012-03-28
KR101819097B1 (ko) 2018-01-16
JP5818603B2 (ja) 2015-11-18
CN102413376A (zh) 2012-04-11
JP2012070378A (ja) 2012-04-05
US9232257B2 (en) 2016-01-05
EP2434772B1 (en) 2014-01-22
KR20120088507A (ko) 2012-08-08
US20120242781A1 (en) 2012-09-27

Similar Documents

Publication Publication Date Title
CN102413376B (zh) 在全景场景中导航的方法和用户终端装置
CN106233745B (zh) 向客户端提供瓦片视频流
US20190141373A1 (en) Spatially-Segmented Content Delivery
EP2824885B1 (en) A manifest file format supporting panoramic video
CN106664443A (zh) 根据hevc拼贴视频流确定感兴趣区域
JP6184100B2 (ja) コンテンツ供給装置、コンテンツ供給方法、コンテンツ再生装置、コンテンツ再生方法、プログラム、およびコンテンツ視聴システム
KR20150006771A (ko) 비디오의 선택된 부분들을 고해상도로 렌더링하는 방법 및 장치
EP2824884A1 (en) A video client for smooth display of a panoramic video
US8402492B2 (en) System for displaying via a network of an interactive movie
CA2650157A1 (en) Rendering repeatable data objects streamed over a network
JP2007150747A (ja) 受信装置及び本線映像配信装置
WO2014094537A1 (zh) 沉浸通信客户端、服务器及获取内容视图的方法
Gaddam et al. Tiling of panorama video for interactive virtual cameras: Overheads and potential bandwidth requirement reduction
CN104935595B (zh) 内容项聚合方法和相关装置及通信系统
KR20190063590A (ko) 분할 영상 기반의 vr 컨텐츠 라이브 스트리밍 서비스 운용 방법 및 이를 지원하는 전자 장치
JP6660622B2 (ja) 情報処理装置、情報処理方法、カメラ、受信装置、受信方法
Wijnants et al. An optimized adaptive streaming framework for interactive immersive video experiences
Seo et al. Immersive panorama TV service system
CN107835433A (zh) 一种赛事宽视角直播系统、相关联的设备和直播方法
Bokani et al. Enabling Efficient and High Quality Zooming for Online Video Streaming using Edge Computing
EP3635958A1 (en) Image processing device and system
Wang et al. Personalising sports events viewing on mobile devices
CN107835434A (zh) 赛事宽视角直播设备和相关联的直播系统和方法
KR20230117609A (ko) 몰입형 비디오들에서의 비디오 트랙들의 변경
CN117999787A (zh) 多视图视频数据的呈现

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20190326

Address after: Paris France

Patentee after: International Digital Madison Patent Holding Co.

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING

Effective date of registration: 20190326

Address after: I Si Eli Murli Nor, France

Patentee after: THOMSON LICENSING

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING

TR01 Transfer of patent right