CN101204062A - 用于通过网络显示互动电影的方法和系统 - Google Patents

用于通过网络显示互动电影的方法和系统 Download PDF

Info

Publication number
CN101204062A
CN101204062A CNA200680019000XA CN200680019000A CN101204062A CN 101204062 A CN101204062 A CN 101204062A CN A200680019000X A CNA200680019000X A CN A200680019000XA CN 200680019000 A CN200680019000 A CN 200680019000A CN 101204062 A CN101204062 A CN 101204062A
Authority
CN
China
Prior art keywords
frame
user
resolution
subscriber station
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA200680019000XA
Other languages
English (en)
Other versions
CN101204062B (zh
Inventor
R·阿米拉
A·哈雷尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
MentorWave Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MentorWave Technologies Ltd filed Critical MentorWave Technologies Ltd
Publication of CN101204062A publication Critical patent/CN101204062A/zh
Application granted granted Critical
Publication of CN101204062B publication Critical patent/CN101204062B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309—Transmission or handling of upstream communications
    • H04N7/17318—Direct or substantially direct transmission and handling of requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4331—Caching operations, e.g. of an advertisement for later insertion during playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4782—Web browsing, e.g. WebTV
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8541—Content authoring involving branching, e.g. to different story endings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及用于通过网络传输位于服务器的互动预排电影，并在用户站显示所述电影的系统，包括：(a)用户站上的显示单元，用于显示电影帧；(b)用户站上的控制设备，用于使用户在电影中导航；(c)电影的地图，其描述了各个电影帧之间的链接以及每个电影帧的索引，所述地图还保持了用户在任意给定时间、在所述地图内的当前虚拟位置；以及(d)预测单元，用于从所述地图以及从用户控制设备接收输入，并且基于所述输入，预测用户观看可能需要的那些未来帧，并且命令服务器将所述预测的未来帧传送给用户站。当用户处于虚拟运动时，预测单元可以定制第一分辨率等级的帧，而当用户在互动电影中处于静止时，预测单元定制第二分辨率等级的帧。

Description

用于通过网络显示互动电影的方法和系统
发明领域
本发明涉及用于通过因特网显示电影的系统和方法。更具体地，本发明涉及用于通过诸如因特网的网络显示互动电影的系统和方法，或者在最优选情况下，涉及用于通过因特网显示互动电影、使用户能在诸如建筑物、办公室等自然场所中虚拟导航的系统和方法
发明背景
虚拟电影被广泛用于诸如展示、远程导航和各地观光、教育、培训、电子游戏等各种用途。这种电影中的某些是动画，另一些是实景，就实景帧而言，其意思是在实际、自然的场所中拍摄的帧，某些还包括实景帧和动画帧的混合帧。(此处应注意的是，在该申请中，术语“帧”用于表示在特定时间单元带给用户的单个视图。在这方面，应注意到关于如何产生该帧并无显著差异，不管是完全从多媒体内容获取该帧，还是以使用某些压缩工具的方式通过完善与前一帧的差别来从前一帧产生该帧)。本发明涉及所有这些情况，但主要涉及后者情况；即涉及准备虚拟和互动电影，使用户能互动地探察真实场所的情况；即涉及用户希望观看某一场所的电影，并在该场所内互动导航的情况。
近几年，对在计算机网络上无需在连续回放前预载入全部电影而流线播放多媒体付出了广泛努力。虽然本发明的某些方面与其它类型的多媒体有关，但整个申请中，针对视频电影(或剪辑)进行讨论。大多数现有解决办法都考虑到网络带宽有限、传输速度动态变化的事实。某些解决办法建议减少传输数据量(例如，通过折中媒体质量的方式，或者通过压缩数据的方式)，并将所传输的数据量根据网络速率进行调节。主要目的是针对给定带宽获得具有最佳图像质量的平滑体验。一种普通解决办法建议预载入多媒体序列(诸如电影剪辑)，以平衡回放期间载入的信息流，从而改进用户站的剪辑部分可用性，并防止延迟和暂停。在该申请中，术语“站”涉及任意类型的具有能播放内容的播放器的计算机、处理器、终端、工作站、PDA、蜂窝电话等。可能对在客户端处理多媒体信息的适当方式有影响的其它因素是数据文件的大小以及用户端的自由存储量。因为在远程(服务器)端的多媒体文件通常很大，所以必须考虑不总是能完全将其存储或完全将其预载入到客户端的事实。在这种情况下，由于对于用户所希望播放的数据需要有相对长时间的等待，所以可能会使用户的体验受损。
当播放连续的传统多媒体剪辑时，以上本领域的解决办法是相对令人满意的。然而，这种解决办法不能满足通过受限带宽网络播放互动电影的严格要求。在传统电影中，很好地定义了电影帧序列，因此在用户站处保持有FIFO类型寄存器能够有助于当前播放序列的可用性和完整性。然而，当播放互动虚拟电影时的情况并非如此，其中在该电影的很多阶段中，为用户给出了几个选项，以从这些选项选择和继续该电影的不同序列。这种在任意时间为用户提供几个视频序列的要求为通过因特网(或任何其它带宽受限网络)有效播放互动虚拟电影带来负担。
相同发明人的WO 2004/049263公开了用于准备互动电影的方法和系统，其模仿了用户在真实场所中的行走，并使用户能考察该场所。可以使这种虚拟电影形成流，并以高分辨率和快速方式相对平滑地显示给用户。然而，在远离存储该电影的位置的站处通过诸如因特网的网络传输并同时显示该互动电影的任意尝试都面临各种困难，尤其是在满足互动性和平滑要求方面面临困难。
本发明的一个目标是提供用于通过诸如因特网的带宽受限(有时带宽很低)网络来播放虚拟电影的方法和系统。
本发明的另一个目标是使得能以最低限度影响用户体验质量的方式来播放这种电影。
本发明的一个具体目标是使得能通过因特网(或任何其它网络)来观看用于探察一个场所的虚拟电影
随着后续说明，本发明的其它目标和优点将变得明显。
发明概述
本发明涉及用于通过网络传输位于服务器处的互动电影并将其在用户站处显示的系统，包括：(a)所述用户站上的显示单元，用于显示电影帧；(b)所述用户站上的控制设备，用于使所述用户在所述电影中导航；(c)所述电影的地图，其描述了各个电影帧之间的所有链接以及每个电影帧的索引，所述地图还保持了所述用户在任意给定时间、在所述地图内的当前虚拟位置；以及(d)预测单元，用于从所述地图以及从用户控制设备接收输入，并且基于所述输入，预测所述用户观看可能需要的那些未来帧，并且命令所述服务器将所述预测的未来帧传送给所述用户站。
优选地，本发明的系统还包括所述用户站上的高速缓存单元，用于临时存储电影帧。
优选地，当所述用户处于虚拟运动时，所述预测单元定制第一分辨率等级的帧，并且当所述用户在所述虚拟电影中处于静止时，所述预测单元定制第二分辨率等级的帧。在该申请中，术语帧的“分辨率”使用了其较广义的含义，既表示了一帧中的像素数，也表示帧的质量，其中“质量”表示了帧的数据量或失真率(例如，由于压缩解压缩引起的失真)。
优选地，所述第一分辨率等级低于所述第二分辨率等级。
优选地，以至少两种分辨率等级将帧存储在服务器内。
优选地，以至少一种分辨率等级将帧存储在服务器内，并且服务器包括用于将帧的分辨率等级变换为至少一种其它分辨率等级的变换装置。
优选地，预测单元根据用户的特殊请求，命令服务器传送第三分辨率等级的帧。
优选地，第三分辨率等级是最高分辨率等级。
在一个实施例中，预测单元位于用户站上。
在另一个实施例中，预测单元位于服务器上。
在一个实施例中，所述地图位于服务器上。
在另一个实施例中，所述地图位于用户站上。
在另一个实施例中，预测单元和所述地图都位于服务器上。
在另一个实施例中，预测单元和所述地图都位于用户站上。
优选地，还包括用户站上的协调器，用于与所述高速缓存通信并协调用户显示器上的各帧的显示。
在本发明的一个实施例中，预测单元和所述地图都位于服务器上。优选地，所述系统还包括用户站上的协调器，用于与所述高速缓存通信并协调用户显示器上的各帧的显示。
在本发明的一个实施例中，将每帧从服务器传送到与一个或多个下一帧索引相关联的用户站，并且其中，用户站上的所述协调器根据所述下一帧索引确定要显示的帧的顺序。
优选地，用户站上的所述协调器根据所述一个或多个下一帧索引以及根据其接收自所述用户控制设备的输入，确定所述帧的顺序。
优选地，所述系统还包括服务器上的传输协调器，用于协调从服务器到用户站的帧流。
本发明还涉及一种用于通过网络从远程服务器传输电影并在用户站显示所述电影的方法，包括：(a)只要用户在所述电影中处于运动，就向所述用户传输并显示较低分辨率的帧；以及(b)只要所述用户在所述电影中处于静止，就向所述用户传输并显示中等或较高分辨率的帧。
优选地，所述方法还包括如下步骤：(a)提供所述电影的地图；(b)通过所述用户在所述电影中的当前位置不断更新所述地图；(c)利用所述地图，根据所述用户的当前位置，预测那些为所述用户进行显示可能需要的、可选的、将近的未来帧，并从服务器定制所述未来帧。
附图简要说明
在所附各图中：
图1示出了办公室的示例性方案，通过该方案根据现有技术准备虚拟电影。
图2a说明了根据本发明第一实施例传输并播放虚拟电影的系统的用户端；
图2b说明了根据本发明第一实施例传输并播放虚拟电影的系统的服务器端；
图3a说明了根据本发明第二实施例传输并播放虚拟电影的系统的用户端；
图3b说明了根据本发明第二实施例传输并播放虚拟电影的系统的服务器端；
图3c说明了根据本发明第二实施例的变体传输并播放虚拟电影的系统的用户端；以及
图3d说明了根据本发明第二实施例的变体传输并播放虚拟电影的系统的服务器端。
优选实施例的详细说明
虚拟电影是能使用户观看视频(或多帧序列)的电影，其中用户在电影中至少某些地方具有选择为他显示哪个视频片段的选项。因此，相比常规电影中电影的整个序列和顺序是固定的、预定的和已知的情况，在虚拟电影中电影片段的顺序留给用户决定。因此，为在用户站中进行播放(其要求在用户站处电影帧的实时可用性)在网络上传输电影变得复杂得多，尤其是当网络带宽相对较低的时候很复杂。当然，电影分辨率越高并且整个电影的内容越大，在用户站处的该电影帧实时可用性问题也变得越复杂。
正如前面所述，在任意给定时间用户想观看的未来电影片段的至少一部分(通常由帧序列组成)必须是在用户站处可用的。然而，从互动性的方面看，因为在该电影中存在几个点，各点处用户可从中选取的多个电影片段，所以为确保平滑和连续观看，在进行选择时在用户站处每个所述可选片段都必须至少有一部分可用。
该互动性要求进一步提高了本发明所面临的挑战。
在任何虚拟电影中，有时用户是在处于运动的导航中，还有时他停止并且注视一个特定的视图。本发明的一个方面是在用户“运动”期间进行观察，在运动中快速改变电影各帧，因为假设运动期间用户不会对快速改变的帧序列中所包括的任何特定视图有很高兴趣，所以可以降低分辨率。此外，在所述“运动”期间，各帧改变速率使这种分辨率降低不会严重干扰用户体验。然而，当用户“停止”并且注意一个特定视图时，假设他对所述视图有很高兴趣，因而在这种“停止”时间内将提高了分辨率的帧提供给用户并显示给他。此外，根据本发明的优选方面，在所有这种用户停止点处，给用户请求并立即接收最高分辨率帧的选项。
每个电影包括一个或多个帧序列。传统的电影实际上是一个长的帧序列，而虚拟电影由几个片段组成，每个片段由一帧序列组成。虚拟电影还包括至少几个交叉位置，在这些交叉位置上用户可以从两个或多个可选片段中选择一个来继续。因为用户不能从电影中的每个点到所有其它各点，但他只能从一些交叉点到其它点，所以通常该电影的虚拟化速率有限。因此，在一个片段内的帧序列通常是固定的，但是从一个片段到另一个片段的转移是灵活的。
本发明假设了该电影的数字方案(这里也称为“地图”)的可用性，其表示了该电影的所有可能路径，包括在每个交叉点处提供给用户的所有那些交叉点和可选片段。这种方案包括至少几个多帧片段。在每个片段中，将每个电影帧连接到该片段的至少一个帧、并且通常连接到该片段的多于一个的之后帧和/或之前帧。一帧与前一帧的连接可以称为“进入”，一帧与下一帧的每个连接可以称为“退出”。在WO2004/049263中提供了这种方案和虚拟电影的示例。
图1示出了办公室的示例方案，通过该方案根据WO 2004/049263准备虚拟电影，将其全部内容合并于此作为参考。应注意到，这里仅将该方案作为示例提供，只要各类方案如上所述至少包含帧间链接、交叉点以及几个可选片段，则本发明可以在这些方案下工作。
图1的方案示出了具有两个走廊(C1，C2)和两个房间(A，B)的办公室10。WO 2004/049263示出了如何产生能使用户在办公室中导航，即“行走”的虚拟电影。正如所见，当从点11开始时，用户走到交叉点J1，此处他既可以右转进入房间B，也可以继续向前直行。类似地，当到达交叉点J2时，用户既可以右转进入房间A，也可以继续沿着走廊C1向前直行。当到达交叉点J3时，用户既可以在走廊C2内右转，也可以左转。此外，在沿着走廊行走时，用户通常需要具有相对有限的视域。在交叉点J1、J2和J3处，用户需要较宽的视域，并且在房间A和B中，他通常需要360°的视域。例如，在交叉点J1用户可以选择继续沿走廊行走的选项，并且望到走廊的尽头，或者他可以选择转向进入房间B的选项，并且看到房间B的情景，或者他可以决定转身，沿走廊C1返回。
WO 2004/049263说明了一种产生虚拟电影的方式，可以将其描述为一种方案的形式，这种方案适于实现本发明。通过扫描装置拍摄办公室，该扫描装置能摄取直到360°视域的各帧。将该扫描装置沿路径向前运动，同时从多个拍摄点(节点)以相应的(预定的)视域摄取照片。
在图1中，将沿进行扫描(拍摄)的路径的各点表示为节点13。这些节点13在每个特定节点位置处示意性表示在该点扫描的方式，并提供对该节点特定的其它参数。
应注意到的是，该电影的互动性使用户在某些位置(通常为交叉点)对两个可选路线之间作出决定。例如，假设该用户从节点15“走”向交叉点J1。当他到达交叉点J1时，他既可以继续在走廊C1里行走，也可以右转到房间B。因此，在用户到达交叉点J1之前(例如，在点17处)，用户站处的显示就应该已经包括了房间B的各帧(节点20、27、...)和走廊C1后续部分的各帧(节点21、28、...)。
在如WO 2004/049263所述的拍摄阶段以前，制定了有关沿哪些路径进行拍摄的计划。沿着所计划的路径，当扫描装置经过一个预定距离D时产生了这些节点，该距离D例如可以是每隔5-50cm，或者当扫描装置将其角方向改变预定角度Δ°(例如5°)时产生这些节点。对于每个节点，产生了特定的摄像机单元视域。术语“摄像机单元视域”定义了每个节点的角度、由形成该摄像机单元的单独摄像机摄取的累积视域。然后，扫描装置沿所计划的路径继续行进并摄取各帧。
因此，WO 2004/049263假设互动虚拟电影是沿自然场所内的路径摄取的图像数据帧的集合。将其转化为诸如图1的链接的节点方案，其中每个节点包括表示摄像机单元视域的图像数据。从一个节点到另一个节点的连接(即，从第一个节点中选定的用户视域(UFOV)到另一个节点中另一个选定的用户视域(UFOV))保持平滑。在节点之间的链接允许以平滑的方式从一个节点到另一个节点的运动。在拍摄过程结束时，该电影实质上已准备好使用了。其后，当激活该电影时，用户可以从观看选定的视区的第一节点“运动”到观看另一视区的第二节点，但是该“运动”需要足够接近来保持视图平滑。通过将用户视域的中心导向当前节点的退出方向、并通过所述退出前进到与所述当前节点相链接的节点，来实现该用户从一帧到下一帧的“运动”。当用户视域的中心指向所述下一节点的进入方向时，通过为用户示出用户视域(下一节点图像数据的部分)，使用户进入所述下一节点。
应注意到该电影的每个片段都优选地具有其唯一参考编号，并且在每个片段内的所有帧也优选地根据它们在该片段中的相继顺序接收了参考编号。
正如所述，WO 2004/049263的发明使用户能通过在各个方向上运动以及通过观看选定方向，在所拍摄场所中虚拟导航。为用户提供一个播放器，并且通过点击设备、键盘上的箭头、操纵杆等来实现运动。该电影包含十分大量的数据，其不能使用户通过诸如因特网的窄带宽网络实现平滑视图。该电影是互动的、其提供给用户决定在哪个方向上观看、此外在诸如交叉点J1的交叉点处决定在哪个方向上运动的选项，这个事实使必须实时处理的数据量翻了几倍。当尝试使用户通过因特网观看这种电影时，这个问题变得更复杂得多。
图2a和2b以示意性一般形式说明了用于通过因特网(或任何其它网络)在虚拟电影的用户终端处进行传输和播放的系统。图2a说明了用户终端处的系统100的结构，并且图2b说明了服务器终端处的系统150的结构。参考图2a，显示单元101通过信道102接收了各帧，并将它们显示在用户屏幕上。该显示单元显示视频(其实质上是以高速率显示的静止帧)或显示静止帧。应该提到的是，以现有技术已知的方式，通过信道102传输的数据可以只包括对已显示的前一帧的更新。除了在下文中将变得明显的其它任务，探察协调器103对通过信道104和102从高速缓存单元105到显示单元101的帧传输过程进行协调。探察协调器103通过线106定制(order)并验证高速缓存单元105中所定制各帧的可用性。高速缓存单元105是用于存储从服务器150所接收各帧的存储器(图2b)。由于其有限的存储空间，可以预料并不是所有的电影帧都存储在该高速缓存中，并且因此该高速缓存仅存储已经接收的和对于显示该电影必需的各帧(即，最期望使用的那些帧)。可以将已经显示(或确定不必要)的那些帧从高速缓存中清除，并且由新到达的各帧代替。控制设备107是用户用于在电影中导航的设备。作为本领域中的典型，其可以是用户鼠标、操纵杆、键盘等。通过线111a和111b将用户向一个特定方向运动(例如，使用对应的键盘箭头向前直行)的意图从控制设备107分别报告给预测&帧定制协调器(此后称为“PFOC”)108和探察协调器103。探察协调器103也通过线122从地图109接收了该用户的当前位置，从所述用户意图和他在地图中的当前位置确定必须要显示给用户的新帧。在这方面，应该注意到，地图109是该电影的数字方案，其上表示了该电影中用户所处的当前位置，并且随着用户的运动而不断更新(线139)。探察协调器103检查高速缓存105中该新帧的可用性。如果该新帧可用，正如后面说明将要明确的那样，它是很可能可用的(由于PFOC 108的作用)，则从该高速缓存中立即获取该帧，并通过信道102将其发送给显示单元并显示给用户。如果该新帧不可用，探察协调器103等待该帧，直到该新帧在高速缓存105中变为可用，只有在那时，探察协调器103获取该帧并通过信道102发送给显示单元101。在把新帧发送给显示单元101的任何时候，探察协调器更新(线139)地图109上的用户位置。
PFOC 108不断接收有关地图109上用户位置的更新122，预测该用户的下一步运动，并且为了维持平滑电影播放而保证显示单元处所必需帧的可用性，相应地从服务器150定制必需的帧(其只对不存在于高速缓存中的那些帧进行定制)。应该注意到，在明确定义了用户下一运动的连续各片段中，可以定制直到下一个交叉点的所有或某些帧；但是如果有一个邻近的交叉点，则PFOC 108对与该交叉点之后的各条路径相关的各帧进行定制。从所述各条路径定制的帧数可变。如果在某个阶段，所述几个可选路径中的一个路径变成显然的路径，则把对应于这条路径的各帧显示给用户。可以把最长时间没有使用的各帧从高速缓存中删去，并且用新来的各帧代替。PFOC 108可以以这种方式进行操作，即在需要各帧的时候优化高速缓存处所述各帧的可用性。如果发现在每次定制中对一些新的未来帧进行定制都足以确保平滑性，这是有利的，因为通过这种方式可以预料将会有更少的帧被定制并且最终不被使用。在所述后一种情况下，将进行更多的从服务器150的定制操作。由PFOC 108进行的定制通常包括两个步骤：在第一步骤中，PFOC检查高速缓存单元105中必需帧的可用性(线112)，第二步骤涉及仅从服务器定制在高速缓存单元105中不可用的各帧(线113)。高速缓存然后通过线114将各帧的可用性报告给PFOC 108以及报告给探察协调器103。将从服务器定制的各帧通过信道116传递给用户终端100。正如所述，为了在任意给定时刻确定用户在地图中下一个虚拟位置，并且确定从高速缓存获取并传递给显示单元101的确切帧，因为这需要用户当前位置的更新信息，所以探察协调器103还接收了有关于地图109上用户当前位置的更新。
优选地，为了排除从服务器传输用户站不再需要的各帧，还加强了PFOC的操作，以不断检查从服务器到用户站的帧流。例如，可以有这种情况，未来各帧序列已从服务器定制，但当所述序列的一部分还未被传输时，确定用户站不再需要该部分(例如，这种情况可以是，PFOC进行预测，随后发现该预测是不相关的)。PFOC 108向服务器发出信号来取消发现不再需要的这些帧的传输。
所述系统，尤其是使用了预测单元和地图，确保了在需要未来各帧确保平滑播放的任何时候，该未来各帧在显示单元101中都是可用的。高速缓存的使用进一步加强了该系统，因为其确保了不重新定制在用户端(在高速缓存单元105中)可用的各帧，而从高速缓存中获取它们。
正如前面所述，本发明的另一方面涉及为用户定制和显示的各帧的两个或多个分辨率等级的使用。图2b以方框图形式说明了服务器终端150的结构。将该电影优选地存储在服务器处与不同等级的分辨率相关的三个存储器中，低分辨率存储器151、中等分辨率存储器152以及高分辨率存储器153。
根据本发明的优选实施例，PFOC 108的另一个目标是确定用户的运动类型。正如所述，PFOC 108通过线111a从控制设备107接收关于用户运动的指示。因此，由于上面解释的原因，当PFOC 108确定用户处于运动时，其从服务器定制低分辨率帧。无论何时PFOC 108确定用户停止并且注目看向特定视图，PFOC 108定制中等分辨率帧。然而，当用户希望仔细观察特定视图时，提供给他诸如用户界面中一个按钮的装置，用于定制这样一个高分辨率帧。通过线120将该指示传递给PFOC 108，PFOC 108然后从服务器定制最高分辨率帧。应注意到的是，无论何时定制了中等分辨率帧或最高分辨率帧，整个帧传输就中止(或者降低到低优先级)；并且信道116完全(或大部分)致力于传输所述中等或最高分辨率帧。然而，应注意到的是，因为只传输了一帧，这种低分辨率帧的传输中止非常短暂。当所述定制的中等分辨率或高分辨率帧到达高速缓存时，就恢复低分辨率帧的正常处理。
探察协调器103使用运动信息111b来确定在任何时刻客户所需的帧。它还检查该帧在高速缓存105中的可用性，并且假设该帧已经由PFOC 108定制并且存在于高速缓存105中，探察协调器获取该帧，并通过信道102将该帧传递给显示单元101。
参考图2b，传输协调器157通过线113接收对各帧的定制以及每个定制的期望分辨率。传输协调器157分别通过线170、180或190发送获取信号，并分别通过信道171、181或191接收获取的各帧。然后，传输协调器157对通过信道116和网络传递给用户终端100的各帧传输进行协调。
应注意的是，这里作为示例给出了用于三个分辨率等级的三个存储器。代替这三个分开的存储器，可以只有一个高分辨率存储器，并且当定制其它分辨率等级时，可以由传输协调器157在传输之前将高分辨率转换为所期望的分辨率。
正如所示，在第一实施例中，地图必须位于用户终端。因此，在第一实施例中，当用户希望观看特定互动电影时，首先将该电影的地图传输给用户端。
图3a和图3b以示意性一般形式说明了本发明的第二实施例。第二实施例的操作与所述第一实施例的操作相似。然而，在第一实施例中，承担处理的大部分单元都位于用户端，在第二实施例中，所述处理单元的大部分都位于服务器端。
图3a说明了用户端的系统200的结构，并且图3b说明了服务器端的系统250的结构。参考图3a，显示单元201通过信道202接收各帧，并将它们显示到用户屏幕上。显示单元显示视频(其实质上是高速显示的静止帧)或显示静止帧。应提到的是，以现有技术领域已知的方式，通过信道202的数据可以只包括已显示的先前帧的更新。显示协调器218对通过信道204和202从高速缓存单元205到显示单元201的帧传输进行协调。显示协调器218在线229上相应地接收当前必须显示的帧的指示、关于当前位置的信息以及相关的未来或当前选项。显示协调器218通过线206验证高速缓存单元205中此当前帧的可用性。高速缓存单元205作为从服务器250接收的各帧的存储器(图3b)。由于其有限的存储空间，可以预期并非所有的电影帧都存储在该高速缓存中。该高速缓存只存储已经接收的并且对于电影显示必需的各帧(即，预期最可能要使用的那些帧)。可以从高速缓存中清除已显示的(或确定不必需的)那些帧，并以最新到达的帧来代替这些帧。该控制设备207是用户用来在电影中导航的设备。正如该技术领域中典型使用的，其可以是用户的鼠标、操纵杆、键盘等等。通过线211将用户向特定方向运动(例如，使用相应键盘箭头向前直行)的意图从控制设备207报告给服务器250。在服务器250(图3b)中，将用户的意图同时报告给PFOC 108(线211a)和探察协调器203(线211b)。还通过线222从地图209接收了该用户的当前位置的探察协调器203，从所述用户的意图和从他在地图上的当前位置可以确定要显示给该用户的新帧。将该新帧(实际为当前帧)的指示通过线229传递给用户端200(图3a)。正如前面实施例中所述，地图209是该电影的一个数字方案，其上面指示出该用户在电影中的当前位置，并且根据用户运动不断更新(线239)。在用户终端，将该新帧的指示229提供给显示协调器218。该显示协调器218检查(线206)该新帧在高速缓存205中的可用性。如果所述新帧可用，正如通过下面说明显而易见的，该帧是很可能可用的(由于PFOC 108的操作)，则立刻从高速缓存中获取该帧，并通过信道202将其发送给显示单元201，并显示给用户。如果该帧不可用，显示协调器218一直等待，直到这个新帧在高速缓存205中变得可用，只有在那时，显示协调器218获取该帧并通过信道202将其发送给显示单元201。
PFOC 208不断接收有关于用户在地图209上位置的更新222，预测用户接下来的运动并相应地从一个或三个帧存储器(低分辨率存储器251、中等分辨率存储器252、或者高分辨率存储器253)中定制必需的各帧。正如下面将要说明的，在大多数情况下，将从低分辨率存储器251中进行定制。这样做是为了确保在显示单元处用于维持平滑电影播放的必需帧的可用性。应该注意到，在明确定义了用户下一运动的连续片段中，可以定制直到下一交叉点的所有或某些帧。然而，如果有邻近的交叉点，则PFOC 208定制有关于该交叉点之后路径的各帧。从所述路径定制的各帧的数量可变。PFOC 108可以以这种方式操作，即，优化当需要高速缓存205处(用户端)的各帧时这些帧的可用性。用户端处的高速缓存205通常可以以用新帧代替最长时间不使用的那些帧的方式进行操作。定制的各帧从相关存储器传递到传输协调器257，传输协调器257然后通过网络的信道216将它们传输给用户端以用于显示。
正如前面关于图2a和2b的实施例所述，可以有这样的情况，其中，已指定未来帧序列从服务器传输到用户站，但是在还没有传输所述序列的一部分时，确定在用户站不再需要该部分(例如，这种情况可以是，由于PFOC的预测，之后发现该预测是无关的)。与图2a和2b的实施例相似，同样在该情况下，PFOC 208取消了被发现在用户站不再需要的那些帧的传输。
所述系统，尤其是使用了预测协调器和地图209，确保了在需要未来各帧保证平滑播放的任何时候这些帧在显示单元201可用。高速缓存的使用进一步加强了该系统，因为其确保不重新定制在用户端(在高速缓存单元105中)可用的这些帧，而从高速缓存中获取它们。
如第一实施例中所示，第二实施例的操作还包括为用户显示的各帧的几个分辨率等级的使用。只要PFOC 208从线211a(来自控制设备207的运动控制)上的信号确定用户处于运动中，PFOC 208就(从存储器251)定制并发送较低分辨率帧给用户。当预测协调器208确定用户停止运动时，其立即命令发送协调器中止传输。然后，它从存储器252定制中等分辨率帧，并且将此中等分辨率帧发送给用户终端。在另一方面，如果PFOC 208确定用户希望观看高分辨率帧，则可以以类似方式从高分辨率存储器253进行定制和传递。
在图3a和3b的实施例中，高速缓存单元205位于用户站，而PFOC 208位于服务器。当PFOC 208决定是否将特定的各帧传递给用户时，PFOC 208必须检查高速缓存单元205的内容，只有在这些帧不在高速缓存205中时才发送它们。在一个实施例中，为了能够确定是否应该发送特定的各帧，PFOC 208周期性地检查并接收有关于高速缓存205中特定各帧可用性的更新。在另一个示例中，服务器也包含了用户高速缓存镜像264，其存储了有关高速缓存205中内容(帧索引而不是这些帧本身)的当前信息。为了反映高速缓存205的真实的当前内容，当高速缓存205的内容改变时对用户高速缓存镜像264进行更新。在一个选项中，如所示通过线267从用户站提供这些更新。在另一个示例中，服务器维持了算法269，其完全按照用户站处的类似算法进行操作，该算法对高速缓存205的内容进行管理(即，为了为新的各帧空出空间，该高速缓存中要删除哪些帧)。以这种方式，并且使用所述算法269，因为执行了相同的算法并且管理了所述两个位置处的内容，所以可以根据高速缓存205的内容一直更新用户高速缓存镜像264。
图3c和3d以方框图的形式说明了本发明的另一个实施例。该实施例本质上类似于图3a和图3b的实施例，有某些修改如下。在图3a和3b的实施例中，将信号“帧到显示器229”从服务器发送到用户站，并且该信号确定了任意给定时刻在用户的显示器上显示哪一帧。根据图3c和3d的实施例，消除了该信号。而是，通过信道216从服务器发送到用户站的每帧与下一相邻帧的索引相关联(或者当该帧后面有几个可选帧时，其与多个索引相关联)。这里术语“下一个”的意思是与当前帧相邻的任何可能的帧，即，例如在该帧之前、之后的帧等等。还保存了各帧的所述相关索引，使得系统能在当一帧显示时的任意给定时间确定要显示的下一帧。在大多数情况下，该任务简单，因为在大多数情况下只有少数可能的下一帧，因此只有少数的下一帧索引与该帧相关联。然而，例如在交叉点帧处，可能有几个与该帧相关联的可选索引，并且显示协调器218必须确定它必须显示哪个下一可选帧。可以通过从控制设备207向显示协调器218提供方向输入277来作出该决定。使用这种索引，该协调器218可以选择正确的帧来显示。
在本发明的另一方面，发现在播放该电影的同时，优选地为用户显示一个缩小的场所地图，其上面显示了当前用户的位置。因此，根据优选实施例，在播放该电影前，首先将该场所地图从服务器传输到用户。此后，每次将一帧从服务器传输到用户站时，还与该帧相关联地传输了该帧被获取的位置x，y以及视图方向。将该附加数据也存储在用户站处的高速缓存中。当在用户站处播放该虚拟电影时，也显示所述附加的小地图，并且使用所述附加数据，也可以将当前用户位置及其视图方向显示在地图上。
还应该注意的是，这里仅作为示例给出三个分辨率等级的三个存储器。代替三个单独的存储器，可以只存在一个高分辨率存储器，当定制了其它分辨率等级时，可以在传输之前通过传输协调器157将该高分辨率变换为所期望的分辨率。此外，虽然在第一实施例中必须将地图传输给用户端，但根据第二实施例，不要求将地图传输给用户端。此外，应注意的是本发明不排除在播放该互动电影之前预先载入部分电影。因为在现有技术中，使用预先载入可能是有利的，尤其在缓慢网络中是有利的。
虽然已经以举例的方式说明了本发明的几个实施例，但显然可以将本发明进行很多修改、变体和调整来投入实践，并使用本领域技术人员熟悉领域内的多个同等或可替换的解决办法，而不会偏离本发明的精神或超出权利要求的范围。

Claims (21)

1.用于通过网络传输位于服务器上的互动电影并在用户站上显示所述互动电影的系统，包括：
a.所述用户站上的显示单元，用于显示电影帧；
b.所述用户站上的控制设备，用于使所述用户在所述电影中导航；
c.所述电影的地图，其描述了各个电影帧之间的所有链接以及每个电影帧的索引，所述地图还保持了所述用户在任意给定时间、在所述地图内的当前虚拟位置；以及
d.预测单元，用于从所述地图以及从用户控制设备接收输入，并且基于所述输入，预测所述用户的观看可能需要的那些未来帧，并且命令所述服务器将所述预测的未来帧传送给所述用户站。
2.如权利要求1所述的系统，还包括所述用户站上的高速缓存单元，用于临时存储电影帧。
3.如权利要求1所述的系统，其中，当所述用户处于虚拟运动时，所述预测单元定制第一分辨率等级的帧，并且当所述用户在所述虚拟电影中处于静止时，所述预测单元定制第二分辨率等级的帧。
4.如权利要求3所述的系统，其中，所述第一分辨率等级低于所述第二分辨率等级。
5.如权利要求3所述的系统，其中，以至少两种分辨率等级将所述帧存储在所述服务器内。
6.如权利要求3所述的系统，其中，以至少一种分辨率等级将所述帧存储在所述服务器内，并且所述服务器包括用于将所述帧的分辨率等级变换为至少一种其它分辨率等级的变换装置。
7.如权利要求1所述的系统，其中，所述预测单元根据所述用户的特殊请求，命令所述服务器传送特定分辨率等级的帧。
8.如权利要求7所述的系统，其中，所述特定分辨率等级是最高分辨率等级。
9.如权利要求1所述的系统，其中，所述预测单元位于所述用户站上。
10.如权利要求1所述的系统，其中，所述预测单元位于所述服务器上。
11.如权利要求1所述的系统，其中，所述地图位于所述服务器上。
12.如权利要求1所述的系统，其中，所述地图位于所述用户站上。
13.如权利要求2所述的系统，其中，所述预测单元和所述地图位于所述用户站上。
14.如权利要求13所述的系统，还包括所述用户站上的协调器，用于与所述高速缓存通信并协调用户显示器上的各帧的显示。
15.如权利要求2所述的系统，其中，所述预测单元和地图位于所述服务器上。
16.如权利要求15所述的系统，还包括所述用户站上的协调器，用于与所述高速缓存通信并协调用户显示器上的各帧的显示。
17.如权利要求15所述的系统，其中，将每帧从所述服务器传送到与一个或多个下一帧索引相关联的所述用户站，并且其中，所述用户站上的所述协调器根据所述下一帧索引确定要显示的帧的定制。
18.如权利要求17所述的系统，其中，所述用户站上的所述协调器根据所述一个或多个下一帧索引以及根据其接收自所述用户控制设备的输入，确定所述帧的定制。
19.如权利要求1所述的系统，还包括所述服务器上的传输协调器，用于协调从所述服务器到所述用户站的帧流。
20.用于通过网络从远程服务器传输电影并在用户站上显示所述电影的方法，包括：
a.只要用户在所述电影中处于运动，就向所述用户传输并显示较低分辨率的帧；以及
b.只要所述用户在所述电影中处于静止，就向所述用户传输并显示中等或较高分辨率的帧。
21.如权利要求20所述的方法，还包括如下步骤：
c.提供所述电影的地图；
d.通过所述用户在所述电影中的当前位置不断更新所述地图；
e.利用所述地图，根据所述用户的当前位置，预测那些为所述用户进行显示可能需要的、可选的、邻近的未来帧，并从所述服务器定制所述未来帧。
CN200680019000XA 2005-05-31 2006-05-29 用于通过网络显示互动电影的系统 Active CN101204062B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IL168903 2005-05-31
IL16890305 2005-05-31
PCT/IL2006/000629 WO2006129308A1 (en) 2005-05-31 2006-05-29 Method and system for displaying via a network of an interactive movie

Publications (2)

Publication Number Publication Date
CN101204062A true CN101204062A (zh) 2008-06-18
CN101204062B CN101204062B (zh) 2013-11-13

Family

ID=36952414

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200680019000XA Active CN101204062B (zh) 2005-05-31 2006-05-29 用于通过网络显示互动电影的系统

Country Status (10)

Country Link
US (1) US8402492B2 (zh)
EP (1) EP1889442A1 (zh)
JP (1) JP2008543212A (zh)
KR (1) KR101270305B1 (zh)
CN (1) CN101204062B (zh)
AU (1) AU2006253724A1 (zh)
CA (1) CA2610557A1 (zh)
EA (1) EA200702639A1 (zh)
IL (1) IL187644A0 (zh)
WO (1) WO2006129308A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090043365A1 (en) 2005-07-18 2009-02-12 Kolis Scientific, Inc. Methods, apparatuses, and systems for reducing intraocular pressure as a means of preventing or treating open-angle glaucoma
US8671346B2 (en) * 2007-02-09 2014-03-11 Microsoft Corporation Smart video thumbnail
US20090158157A1 (en) * 2007-12-14 2009-06-18 Microsoft Corporation Previewing recorded programs using thumbnails
WO2012011466A1 (ja) * 2010-07-20 2012-01-26 シャープ株式会社 中継装置、中継方法、通信システム、中継制御プログラム、および記録媒体
US20120062563A1 (en) * 2010-09-14 2012-03-15 hi5 Networks, Inc. Pre-providing and pre-receiving multimedia primitives
US8850075B2 (en) * 2011-07-06 2014-09-30 Microsoft Corporation Predictive, multi-layer caching architectures
US9734513B1 (en) * 2012-10-16 2017-08-15 Alexander F. Mehr System and method for advertising applications to users without requiring the applications to be installed
US9027067B2 (en) * 2013-03-12 2015-05-05 The United States Of America, As Represented By The Secretary Of The Navy System and method for interactive spatio-temporal streaming data
CN106416285A (zh) * 2014-03-28 2017-02-15 耶德托公司 用于防护多态性内容的系统和方法
US10491711B2 (en) * 2015-09-10 2019-11-26 EEVO, Inc. Adaptive streaming of virtual reality data
US20200296316A1 (en) 2019-03-11 2020-09-17 Quibi Holdings, LLC Media content presentation
US20200296462A1 (en) 2019-03-11 2020-09-17 Wci One, Llc Media content presentation
GB2585198B (en) * 2019-07-01 2022-03-02 Sony Interactive Entertainment Inc Method and device for generating video frames

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3318680B2 (ja) * 1992-04-28 2002-08-26 サン・マイクロシステムズ・インコーポレーテッド 画像生成方法及び画像生成装置
WO2001072041A2 (en) * 2000-03-24 2001-09-27 Reality Commerce Corporation Method and system for subject video streaming
US20020144276A1 (en) * 2001-03-30 2002-10-03 Jim Radford Method for streamed data delivery over a communications network
US6806876B2 (en) * 2001-07-11 2004-10-19 Micron Technology, Inc. Three dimensional rendering including motion sorting
CA2363396A1 (en) * 2001-11-21 2003-05-21 Handshake Interactive Technologies Inc Hard real time control center
US7443402B2 (en) 2002-11-25 2008-10-28 Mentorwave Technologies Ltd. Method and apparatus for virtual walkthrough
US6968973B2 (en) * 2003-05-31 2005-11-29 Microsoft Corporation System and process for viewing and navigating through an interactive video tour
US8327411B2 (en) * 2003-12-01 2012-12-04 Sharp Laboratories Of America, Inc. Low-latency random access to compressed video

Also Published As

Publication number Publication date
US20090019496A1 (en) 2009-01-15
IL187644A0 (en) 2008-03-20
WO2006129308A1 (en) 2006-12-07
KR20080028900A (ko) 2008-04-02
EA200702639A1 (ru) 2008-06-30
CA2610557A1 (en) 2006-12-07
JP2008543212A (ja) 2008-11-27
AU2006253724A1 (en) 2006-12-07
CN101204062B (zh) 2013-11-13
KR101270305B1 (ko) 2013-05-31
EP1889442A1 (en) 2008-02-20
US8402492B2 (en) 2013-03-19

Similar Documents

Publication Publication Date Title
CN101204062B (zh) 用于通过网络显示互动电影的系统
JP6878014B2 (ja) 画像処理装置及びその方法、プログラム、画像処理システム
KR102357058B1 (ko) 상이한 프레임 레이트들로 전경 화상 및 배경 화상을 송신하는 카메라 어레이로부터, 유저에 의해 선택된 시점으로부터의 가상 화상을 생성하는 방법 및 장치
US20170244984A1 (en) Remote video production using standard ip networks
US20170125064A1 (en) Method and Apparatus for Automatic Video Production
EP1489847B1 (en) Video surveillance system, surveillance video composition apparatus, and video surveillance server
US20080178232A1 (en) Method and apparatus for providing user control of video views
CN104160708A (zh) 同步内容的分布式控制
KR102644833B1 (ko) Vr 스트림의 지연을 보상하는 방법 및 시스템
KR101964126B1 (ko) 고화질 동영상의 스트리밍 전송 장치 및 방법
CN102859486A (zh) 缩放显示导航
US20220019280A1 (en) System and Method for Interactive 360 Video Playback Based on User Location
JP6149967B1 (ja) 動画配信サーバ、動画出力装置、動画配信システム、及び動画配信方法
KR102190388B1 (ko) 복수의 디바이스를 이용하여 증강 현실 객체가 포함된 콘텐츠를 제공하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
US10841490B2 (en) Processing method and processing system for video data
US20220116677A1 (en) Method, system, and computer readable recording medium for implementing seamless switching mode between channels in multi-stream live transmission environment
CN109218836B (zh) 一种视频处理方法及其设备
US8732767B2 (en) Method and system for displaying via a network of an interactive movie
CN115174941A (zh) 基于多路视频流的实时运动表现分析及实时数据共享方法
KR101511758B1 (ko) 여러 대의 액션캠 영상을 재생하기 위한 버퍼관리 방법 및 그에 따른 재생장치
US20030179216A1 (en) Multi-resolution video-caching scheme for interactive and immersive videos
JP4241708B2 (ja) ビデオ映像提示システム、ビデオ映像送出装置、ビデオ映像提示装置、ビデオ映像処理プログラム
Wijnants et al. An optimized adaptive streaming framework for interactive immersive video experiences
JP5908419B2 (ja) 遠隔映像配信方法及び遠隔映像配信システム
KR102392908B1 (ko) 자유시점 비디오 서비스를 제공하는 방법, 장치 및 시스템

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: GOOGLE INC.

Free format text: FORMER OWNER: MENTORWAVE TECHNOLOGIES LTD.

Effective date: 20130521

C41 Transfer of patent application or patent right or utility model
C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: Israel Rishon Letzion

Applicant after: Montovawe Technology Co.,Ltd.

Address before: Israel herzliyya

Applicant before: Montovawe Technology Co.,Ltd.

TA01 Transfer of patent application right

Effective date of registration: 20130521

Address after: American California

Applicant after: GOOGLE Inc.

Address before: Israel Rishon Letzion

Applicant before: Montovawe Technology Co.,Ltd.

C14 Grant of patent or utility model
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: California, USA

Patentee after: Google Inc.

Address before: American California

Patentee before: Google Inc.