CN109691113B - 流式传输虚拟现实视频 - Google Patents

流式传输虚拟现实视频 Download PDF

Info

Publication number
CN109691113B
CN109691113B CN201780056930.0A CN201780056930A CN109691113B CN 109691113 B CN109691113 B CN 109691113B CN 201780056930 A CN201780056930 A CN 201780056930A CN 109691113 B CN109691113 B CN 109691113B
Authority
CN
China
Prior art keywords
forwarding
streams
rendering device
subset
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780056930.0A
Other languages
English (en)
Other versions
CN109691113A (zh
Inventor
H.M.斯特金
A.霍泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nederlandse Organisatie voor Toegepast Natuurwetenschappelijk Onderzoek TNO
Koninklijke KPN NV
Original Assignee
Nederlandse Organisatie voor Toegepast Natuurwetenschappelijk Onderzoek TNO
Koninklijke KPN NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nederlandse Organisatie voor Toegepast Natuurwetenschappelijk Onderzoek TNO, Koninklijke KPN NV filed Critical Nederlandse Organisatie voor Toegepast Natuurwetenschappelijk Onderzoek TNO
Publication of CN109691113A publication Critical patent/CN109691113A/zh
Application granted granted Critical
Publication of CN109691113B publication Critical patent/CN109691113B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1859—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast adapted to provide push services, e.g. data channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Library & Information Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

提供了改进的虚拟现实[VR]视频到VR呈现设备的流式传输。VR视频可以由多个流表示，每个流与场景的不同视图相关联。可以确定要由VR呈现设备呈现的场景的视图。可以标识对呈现场景的视图所需要的流子集。可以通过将多个流从流源流式传输到在流源的下游和在VR呈现设备的上游的转发节点来实现将流子集流式传输到VR呈现设备，并且响应于必须由VR呈现设备呈现的视图，选择性地将流子集从转发节点转发到VR呈现设备。照此，可以降低流之间的切换时延。即，可以持续地使针对呈现当前视图不需要但是针对呈现下一视图可能需要的流在VR呈现设备附近的网络节点处可用。

Description

流式传输虚拟现实视频
技术领域
本发明涉及向VR呈现设备流式传输虚拟现实[VR]视频的方法。本发明还涉及包括用于引起处理器系统执行所述方法的指令的计算机程序、VR呈现设备以及用于在VR视频的流式传输中使用的转发节点。
背景技术
虚拟现实（VR）涉及计算机技术的使用来在虚拟环境中仿真用户的物理存在。典型地，VR呈现设备利用头戴式显示器（HMD）来向用户呈现虚拟环境，虽然也可以使用包括但不限于全息术和洞穴自动虚拟环境的其它类型的VR显示器和呈现技术。
使用这类VR呈现设备来呈现VR视频是已知的，所述VR视频例如为适用于由VR呈现设备播放的视频。VR视频可以提供场景的全景视图，其中术语“全景视图”指代例如至少180度的视图。VR视频甚至可以提供更大的视图（例如360度），从而向用户提供更加沉浸式的体验。
VR视频可以作为单个视频流被流式传输到VR呈现设备。然而，如果要以高质量并且可能地以3D来流式传输整个全景视图，则这即使在使用现代视频编码技术时也可能要求大量带宽。例如，带宽要求可能容易地达到数十或数百Mbps。由于VR呈现设备经由带宽受限接入网络（例如，数字用户线路（DSL）或无线LAN（WLAN）连接）频繁地流式传输视频流，因此单个视频流的流式传输可能对接入网络造成大的负担，或者这类流式传输甚至可能根本不可行。例如，归因于重新缓冲，播放可能频繁中断，立即结束对用户的任何沉浸。而且，这类大的视频流的接收、解码和处理可能导致高计算负荷和/或高功耗，这两者对于很多设备、尤其移动设备是不利的。
已经意识到，VR视频的大部分可能并不是在时间上的任何给定时刻对用户是可见的。对此的原因是VR呈现设备的显示器的视场（FOV）典型地显著小于VR视频的视场。例如，HMD可以提供100度FOV，这显著小于例如VR视频所提供的360度。
照此，已经提出了仅流式传输VR视频的当前对于VR呈现设备的用户可见的部分。例如，VR视频可以在空间上被分段成多个不重叠的视频流，每个视频流提供场景的不同视图。当用户例如通过旋转他/她的头部来改变视角时，VR呈现设备可以确定需要另一视频流（此后也简称为“新”视频流）并且通过从流源请求新视频流来切换到新视频流。
不利地，用户物理地改变视角与VR呈现设备实际呈现新视图之间的延迟可能太大。该延迟此后也称为“切换时延”，并且归因于延迟的聚集而是相当大的，其中请求新视频流与新视频流实际到达VR呈现设备之间的延迟通常是最大的。其它典型较小的延迟包括归因于视频流的解码的延迟、头部旋转的测量的延迟等。
已经做出各种尝试来解决时延问题。例如，已知将多个视频流分段成部分重叠的视图，从而提供包含恰好在当前视图外部的视频内容的所谓“保护带”。保护带的大小典型地取决于头部旋转的速度和切换视频流的时延。不利地，给定特定的带宽可用性，给定一定量的可用带宽，保护带的使用降低视频质量，这是因为较少的带宽可用于对用户实际可见的视频内容。还已知例如通过预测用户的头部旋转来预测将需要哪个视频流，并提前请求新视频流。然而，如在保护带的情况下，然后还分配带宽用于流式传输不可见的视频内容，从而降低可用于流式传输当前可见的视频内容的带宽。
还已知在新视频流的传输中优先考虑I帧。在此，术语I帧指代图像组（GOP）中的可独立解码的帧。虽然这确实可以降低切换时延，但是降低量可能不足够。特别地，对I帧的优先考虑不解决在请求新视频流和新视频流的包实际到达VR呈现设备之间典型地相当大的延迟。
US20150346832A1描述了一种生成环境的3D表示的回放设备，所述环境的3D表示例如经由头戴式显示器显示给客户端设备的用户。据说回放设备确定环境的哪个部分对应于用户的主视场。然后，设备选择以高速率接收该部分，例如，对于从优先级角度被指定为主要流的流以全分辨率接收。还可以接收（但是通常以较低的数据速率）来自提供对应于环境的其它部分的内容的一个或多个其它流的内容。
US20150346832A1的回放设备的缺点是它可能不足够地降低切换时延。 另一个缺点是回放设备可能降低可用于流式传输可见视频内容的带宽。
发明内容
获得解决US20150346832A1的至少一个上面提及的问题的VR视频的流式传输将是有利的。
根据本发明的第一方面，提供一种向VR呈现设备流式传输虚拟现实[VR]视频的方法，其中VR视频可以至少部分地由多个流表示，每个流与场景的不同视图相关联，其中所述方法可以包括：
-确定要由VR呈现设备呈现的场景的视图；
-标识所述多个流中对呈现场景的视图所需要的一个或多个流，从而标识流子集；以及
-通过以下来实现经由网络将流子集从一个或多个流源流式传输到VR呈现设备：
i）将所述多个流从所述一个或多个流源流式传输到在所述一个或多个流源的下游和在VR呈现设备的上游的一个或多个转发节点；以及
ii）响应于必须由VR呈现设备呈现的视图，选择性地将流子集从所述一个或多个转发节点转发到VR呈现设备。
本发明的另一方面提供一种包括计算机程序的暂时性或非暂时性计算机可读介质，所述计算机程序包括用于引起处理器系统执行所述方法的指令。
本发明的另一方面提供一种用于呈现VR视频的VR呈现设备，其中VR视频可以至少部分地由多个流来表示，每个流与场景的不同视图相关联，其中VR呈现设备可以包括：
-用于接收目的地元数据的输入接口，所述目的地元数据指示网络内的所述多个流中的每个流的流式传输的网络目的地，其中网络目的地可以包括在网络中在流式传输所述多个流的一个或多个流源的下游和在VR呈现设备的上游的一个或多个转发节点；以及
-处理器，其被配置为：
i）确定要由VR呈现设备呈现的场景的视图；
ii）在目的地元数据的基础上标识所述多个流中对呈现场景的视图所需要的一个或多个流，从而标识要由所述一个或多个转发节点选择性地转发到VR呈现设备的流子集。
在实施例中，VR呈现设备还可以包括：
-控制器，其被配置为在目的地元数据的基础上并响应于必须由VR呈现设备呈现的视图，用信号对所述一个或多个转发节点发送转发指令以用于所述一个或多个转发节点选择性地将流子集转发到VR呈现设备。
上面的措施可以涉及在VR呈现设备上呈现VR视频。VR视频可以由多个流构成，所述多个流可以但不需要是可独立解码的视频流。多个流可以是从网络中的一个或多个流源可用的。非限制性示例可以是（一个或多个）流源是经由互联网可访问的（一个或多个）媒体服务器。VR呈现设备可以呈现由VR视频表示的场景的视图，其中当前视图是根据用户的当前视角确定的。在此，术语“视图”可以指代VR视频的空间部分的呈现，所述VR视频的空间部分要被显示给用户并从而可以表示可见部分。根据视角生成的视图也称为“视口”。在VR呈现设备的使用期间，因此可能随时间需要不同的流来呈现不同的视图。 VR呈现设备可以标识需要多个流中的哪个（些）流来呈现场景的当前或下一视图，从而标识流子集。在此，术语“子集”要被理解为指代“一个或多个”。此外，术语“当前视图”可以指代在时间上的给定时刻呈现的视图，其中术语“下一视图”可以指代此后要呈现的视图（例如，响应于用户旋转他/她的头部），从而取代当前的视图。将领会，本段中描述的功能性本身可以从VR和VR呈现的领域中获知。
为了降低VR呈现设备的使用期间的切换时延，可以将多个流从一个或多个流源流式传输到在一个或多个流源的下游和在VR呈现设备的上游的一个或多个转发节点。在此，去往一个或多个转发节点的流式传输要被理解为包括将所有流流式传输到单个转发节点、将每个流流式传输到不同的转发节点以及所有其它组合。如果VR呈现设备然后需要特定的流子集以例如用于呈现当前或下一视图，则可以将对应于这的流子集从（一个或多个）转发节点转发到VR呈现设备。照此，不是持续地和/或不加区别地将所有多个流流式传输到VR呈现设备，而是在VR视频的流式传输期间在时间上的任何时刻仅转发多个流的子集。照此，获得流的“选择性”转发（即，通过选择）。
上面的措施可以具有如降低切换时延的效果。即，已经使对于呈现当前视图而言不需要但是对于呈现下一视图而言可能需要的流在VR呈现设备附近的转发节点处可用。可以使所述流持续可用，或者当估计它们可能在一定时间内需要被用于呈现时可用（例如，可能还不需要与当前视图相对的视图）。这类估计可以由VR呈现设备（例如，基于头部旋转或头部移动）和/或由转发节点（例如，通过简单地选择相邻的视图）来执行。通过定位在（一个或多个）流源的下游，（一个或多个）转发节点更近地（例如，如在跳数、ping时间、表示源和目的地之间的路径的节点的数量等方面所测量的）定位在VR呈现设备旁边。
照此，例如，与其中例如使用HTTP 获取请求从（一个或多个）流源直接请求流的流的切换相比，可以降低流子集的传输的开始与其被VR呈现设备接收之间的延迟。较短的网络路径可以导致较短的端到端延迟、较小的归因于因为其它流的网络拥塞的延迟的可能性以及降低的抖动，这可以具有在接收器处可以存在对缓冲的较少需要的有利效果。与已知的网络高速缓存技术（例如，使用HTTP高速缓存）相比，可以因为没有了或者减少了请求处理、内容查找、从高速缓存的内容检索、包化、序列化等而使切换时延降低。
而且，通过转发流子集而可以使用如下的网络层机制：如果要例如通过体现VR呈现引擎的软件应用来在应用层上请求流子集，则相比之下该网络层机制可以内在地具有更低的延迟。随着多个流被流式传输到转发节点（例如，网络交换机或网络路由器）而使这类转发成为可能，所述转发节点可以被配置在网络层上以实现选择性转发。
进一步的效果可以是（一个或多个）转发节点与VR呈现设备之间的带宽分配降低，这是因为跨网络路径的该部分的流式传输可以仅限于VR呈现设备为了呈现特定视图而实际需要的那些流。
在实施例中，选择性地转发流子集可以包括停止对先前选择性地转发到VR呈现设备的先前流子集的转发。通过例如使用在后文进一步描述的任何机制来主动停止对先前的流子集的转发，可以降低（一个或多个）转发节点和VR呈现设备之间的最大带宽分配，或者可以将由于两个流子集的瞬时同时流式传输所致的增加保持到最小。
在实施例中，所述方法可以包括在停止对先前流子集的选择性转发之前开始对流子集的选择性转发。这可以确保VR视频的至少一个视图保持可用。即，如果要在要开始对（当前的）流子集的选择性转发之前或者在VR呈现设备接收和/或解码所述流之前，停止对先前的流子集的选择性转发，则可能瞬时地发生没有视图能够被呈现的情况。
在实施例中，可以在一个或多个转发规则的基础上由一个或多个转发节点执行选择性转发，并且所述方法可以包括用信号对一个或多个转发节点发送转发指令以改变一个或多个转发规则，以便实现对流子集的选择性转发。可以通过一个或多个转发规则来配置由（一个或多个）转发节点进行的流转发。例如，（一个或多个）这类转发规则可以被作为配置数据包括在（一个或多个）转发节点的内部存储器中。因此，可以通过适当地改变（一个或多个）转发规则来实现对流子集的选择性流式传输。可以通过用信号对（一个或多个）转发节点发送转发指令来发起这类改变。该实施例的优点可以是可以至少部分地由例如定位在（一个或多个）转发节点外部的实体来远程控制选择性转发。
在与先前实施例相关的实施例中，可以提供一种包括转发指令的暂时性或非暂时性计算机可读介质，所述转发指令用于由网络中的一个或多个转发节点使用，其中一个或多个转发节点可以是多个流的流式传输的网络目的地，并且其中转发指令可以被配置为指令一个或多个转发节点选择性地将多个流中的一个或多个流转发到虚拟现实[VR]呈现设备。
在实施例中，可以由VR呈现设备来执行转发指令的信号发送。照此，可以至少部分地由VR呈现设备来远程控制选择性转发。由VR呈现设备进行转发指令的信号发送可以被视为由VR呈现设备请求流子集。该实施例的优点可以是VR呈现设备可能已经知道要转发哪个流子集，并且因此可以通过用信号对（一个或多个）转发节点发送适当的转发指令来直接影响它们的转发。
在实施例中，可以使用多播将多个流流式传输到一个或多个转发节点，并且对流子集的选择性转发可以包括VR呈现设备加入提供流子集的多播组。已经发现，不同于如例如由US20150346832A1采用那样的疏化类型的多播，密集模式多播适用于降低VR应用中的切换时延。在此并且在下文中，形容语“密集模式”要被理解为指代在终端请求流之前将那些流转发到网络节点的多播中的一般概念，其从而包括但不限于根据RFC3973的密集模式多播。即可以将多个流中的全部流式传输到（一个或多个）转发节点而不管VR呈现设备是否已经加入相应的多播组。这还可以包括在（还）没有单个VR呈现设备已加入相应的多播组时就流式传输到转发节点。因此，一旦VR呈现设备加入多播组，多个流中的每个流就可以是可用的并且容易转发的。
在实施例中，一个或多个转发节点可以是软件定义网络[SDN]节点，并且对流子集的选择性转发可以包括使用SDN控制器来控制一个或多个转发节点，以将流子集的包转发到VR呈现设备和/或丢弃其它流的包。因此，（一个或多个）转发节点可以至少部分地通过作为SDN的部分而是软件可定义的（例如由网络或其部分表示），并从而可由SDN控制器重新配置以实现选择性转发。
在实施例中，可以通过以单播将多个流中的每个流流式传输到一个或多个转发节点来实现多播，并且所述方法还可以包括控制一个或多个转发节点以将每个单播流转换为多播流。照此，可以组合SDN和多播以实现将流子集选择性地转发到VR呈现设备。
在实施例中，选择性地转发流子集可以包括修改一个或多个转发节点的地址解析协议[ARP]表以指定VR呈现设备的硬件地址作为流子集的接收方。照此，可以采用所谓的“ARP欺骗”，其可以涉及利用不存在的硬件地址和IP地址的组合来初始化（一个或多个）转发节点的ARP表。如果要选择性地转发特定流子集，则流子集被流式传输到的IP地址可以与VR呈现设备的实际硬件地址相关联，从而将VR呈现设备指定为针对流子集的接收方。“硬件地址”可以指代“物理地址”，并且反之亦然。
在实施例中，所述方法还可以包括用信号发送目的地元数据到VR呈现设备，所述目的地元数据指示多个流中的每个流的流式传输的网络目的地。例如，可以使这类目的地元数据作为媒体呈现描述（MPD）的部分可用。
在与先前实施例相关的实施例中，可以提供一种包括目的地元数据的暂时性或非暂时性计算机可读介质，所述目的地元数据用于由被配置为呈现虚拟现实[VR]视频的VR呈现设备使用，其中可以至少部分地由多个流来表示VR视频，并且其中目的地元数据可以指示网络内的多个流中的每个流的流式传输的网络目的地。在实施例中，VR呈现设备可以包括计算机可读介质，所述计算机可读介质（例如，采用内部存储器的形式）包括目的地元数据。
在实施例中，VR呈现设备可以经由带宽受限接入网络连接到网络，并且一个或多个转发节点可以是到带宽受限接入网络的边缘处的网络的边缘节点。边缘节点可以是网络的节点，所述节点定位在网络中从（一个或多个）流源到VR呈现设备的路径中的最后一个跳中。照此，它们可以定位在网络和带宽受限接入网络之间的边缘处。具体但非限制性的示例是在数字用户线路（DSL）去往客户端之前转发节点可以被包括在数字用户线路接入复用器（DSLAM）中。
本发明的另一方面可以提供一种被配置为接收VR视频的多个流的转发节点。所述转发节点可以包括：
-信号发送接口，其被配置为接收转发指令以改变转发节点的一个或多个转发规则，以便选择性地将多个流中的一个或多个流转发到VR呈现设备；以及
-控制器，其被配置为通过改变转发节点的一个或多个转发规则来实现转发指令。
对转发规则的这类改变可以包括例如创建转发规则、修改转发规则、删除转发规则。
在实施例中，转发节点可以是网络交换机或网络路由器。转发节点可以是软件定义网络[SDN]节点。
本领域技术人员将领会，可以以被认为有用的任何方式组合本发明的上面提及的实施例、实现和/或方面中的两个或更多个。
可以由本领域技术人员在本说明书的基础上施行对应于所述方法的所描述的修改和变型的VR呈现设备、（一个或多个）转发节点、转发指令、目的地元数据和/或计算机程序的修改和变型，并且反之亦然。
技术人员将领会，可以处理包括子流的流以基于子流获得多个流。因此，在本发明中，多个流可以是包含在从源到至少一个转发节点的单个第一流中的多个子流，和/或多个流的子集可以是包含在从至少一个转发节点到VR呈现设备的单个第二流中的子流的子集。
附图说明
根据后文描述的实施例，本发明的这些和其它方面是清楚的并且将被参照后文描述的实施例阐明。在附图中，
图1示出了表示VR视频的多个流；
图2示出了表示另一VR视频的另一多个流；
图3图示了根据本发明的一个方面的VR视频从服务器到VR呈现设备的流式传输；
图4示出了带宽受限接入网络的示例，经由所述带宽受限接入网络，VR呈现设备可以连接到核心网络；
图5示出了采用3G移动接入网络和4G移动接入网络的形式的带宽受限接入网络的其它示例；
图6图示了服务器和接收器之间的信号发送；
图7示出了可以由服务器用信号发送到接收器的目的地元数据的示例；
图8图示了通过对每个流使用不同的目的地地址的方式对多个流到边缘节点的流式传输；
图9图示了通过对每个流使用不同的端口的方式将多个流流式传输到边缘节点；
图10图示了通过使用不同的IP多播地址的方式将多个流流式传输到边缘节点；
图11图示了通过使用源特定多播的方式将多个流流式传输到边缘节点；
图12示出了接收器、交换机和服务器之间的消息交换，以使用多播将流选择性地流式传输到接收器；
图13示出了接收器、交换机和服务器之间的消息交换，以使用SDN将流选择性地流式传输到接收器；
图14示出了接收器、交换机和服务器之间的消息交换，以使用多播和SDN将流选择性地流式传输到接收器；
图15示出了接收器、交换机和服务器之间的消息交换，以使用ARP欺骗/毒化将流选择性地流式传输到接收器；
图16示出了针对ARP协议的消息格式；
图17示出了从接收器到交换机的ARP请求；
图18示出了从接收器到交换机的另一ARP请求；
图19示出了示例性VR呈现设备；
图20示出了示例性转发节点；
图21示出了用于将VR视频流式传输到VR呈现设备的方法；
图22示出了可以包括计算机程序的暂时性或非暂时性计算机可读介质，所述计算机程序包括用于处理器系统执行所述方法的指令、或转发指令或者目的地元数据；以及
图23示出了示例性数据处理系统。
应当指出，在不同图中具有相同参考标号的项目具有相同的结构特征和相同的功能，或者是相同的信号。在已经解释了这类项目的功能和/或结构的情况下，在详细描述中没有必要对其进行重复解释。
参考和缩写列表
提供以下参考和缩写列表用于促进对附图的解释，并且不应被解释为限制权利要求。
ARP地址解析协议
CMTS线缆调制解调器终端系统
DASH 通过HTTP的动态自适应流式传输
DSLAM 数字用户线路接入复用器
FLUTE 通过单向传输的文件交付
GGSN 网关GPRS支持节点
GPRS 通用包无线电服务
IGMP 互联网组管理协议
MAC 媒体访问控制
MPD 媒体呈现描述
PDN 包数据网络
PGW PDN网关
RNC 无线电网络控制器
RTP 实时传输协议
SAND 服务器和网络辅助的DASH
SDN 软件定义网络
SGSN 服务GPRS支持节点
SGW 服务网关
VR 虚拟现实
10，20 多个流
22 流子集
30 接入网络
40 核心网络
42 互联网
100 VR呈现设备
102 “请求流”数据通信
110 转发节点
112 “转发流”数据通信
120 服务器
122 “发送流1”数据通信
124 “发送流2”数据通信
200 终端
202 调制解调器
204 无线接入点
206 CMTS
208 DSLAM
210 城域接入节点
212 城域核心节点
220 终端
222 NodeB
224 RNC
226 SGSN
228 GGSN
230 终端
232 eNodeB
234 SGW
236 PGW
300 接收器
310 边缘节点
320 网络
330 服务器
312 SDN边缘节点
340 SDN控制器
400-408 目的地元数据
410-414 从接收器/边缘节点的信号发送
420 针对ARP协议的消息格式
422，424 ARP请求
500 接收器
502 具有MAC地址A的接收器
504具有SDN控制器的接收器
510 交换机
512 具有MAC接入B的交换机
514 SDN交换机
520 SDN控制器
530 服务器
600 VR呈现设备
610 输入/输出接口
620 控制器
630 处理器
700 转发节点
710 信号发送接口
720 控制器
800 将VR视频流式传输到VR呈现设备的方法
810 确定要呈现的场景的视图
820 标识所需要的（一个或多个）流
830 实现对所需要的（一个或多个）流的流式传输
840 将所有流流式传输到（一个或多个）转发节点
850 选择性地转发所需要的（一个或多个）流
900 计算机可读介质
910 存储在计算机可读介质上的数据
1000 示例性数据处理系统
1002 处理器
1004 存储器元件
1006 系统总线
1008 本地存储器
1010 大容量存储设备
1012 输入设备
1014 输出设备
1016 网络适配器
1018 应用。
具体实施方式
下文描述了将VR视频流式传输到VR呈现设备的若干实施例，其可以包括将多个流从一个或多个流源流式传输到在一个或多个流源的下游和在VR呈现设备的上游的一个或多个转发节点，并且响应于必须由VR呈现设备呈现的视图，选择性地将所述流的子集从一个或多个转发节点转发到VR呈现设备。
在下文中，VR呈现设备可以简称为“终端”、“接收器”或“客户端”，流源可以简称为“服务器”，并且转发节点可以简称为“边缘节点”或“交换机”。
如图1和图2中图示的，可以使用多个不同的流10、20来流式传输VR视频，以提供从某个视点（例如，VR环境中的用户的视点）来看的全景视图。在图1和图2的示例中，全景视图示出为完整的360度视图，所述完整的360度视图在图1中示出为被划分成对应于基本方向N、E、S、W的4个区段，其中每个区段由某个流表示（例如，北=流1、东=流2等）。照此，为了使VR呈现设备呈现在朝北的方向的视图，可能需要流1。如果用户向东转动，则VR呈现设备可能必须从流1切换到流2以呈现朝东方向的视图。
实际上，已经发现用户不会突然例如以90度转动他们的头部。照此，流在空间上重叠或者从多个流或分段呈现视图可以是合期望的，每个流或分段表示整个全景视图的较小部分。例如，如图2中示出的，VR呈现设备可以基于流1、2、3、4、5和6来呈现朝北方向的视图。当用户向东转动他/她的头部时，可以添加流7并移除流1，然后可以添加流8并可以移除流2等。照此，响应于头部旋转或其它类型的视点的改变，可能需要流20的不同子集。在此，术语“子集”指代“一个或多个”流。将领会，子集可以重叠，例如，如图2的示例中，其中响应于用户的头部旋转，VR呈现设备可以从流20的子集{1，2，3，4，5，6}切换到不同的子集{2，3，4，5，6，7}。
将领会，虽然未在图1和图2中示出，但VR视频可以包括示出用户上面和下面的视图的流。而且，虽然图1和图2每个示出了360度全景视频，但VR视频还可以表示更有限的全景视图，例如180度。此外，流可以但不需要部分或完全重叠。前者的示例是“保护带”的使用。后者的示例是每个流可以包括采用低分辨率的整个360度视图，而每个流包括采用较高的分辨率的360度视图的不同且有限的部分，例如20度视图。这类不同的部分可以具有各种形状，例如矩形、三角形、立方形等。
图3图示了根据本发明的一个方面的对VR视频从服务器120到VR呈现设备100的流式传输。具体地，图3示出了（例如，以持续和非选择性的方式）正被从服务器120流式传输到转发节点110的两个流，如数据通信“发送流1”122和“发送流2”124图示的。响应于必须由VR呈现设备100呈现的视图（其需要各流中的一个），特定流可以然后被由转发节点110选择性地转发到VR呈现设备100，如数据通信“转发流”112（例如，响应于来自VR呈现设备的请求“请求流”102）图示的。
如还在图3中示出的，转发节点110可以定位在核心网络40和接入网络30之间的边缘处，经由转发节点110，VR呈现设备100可以连接到核心网络40。因此，转发节点此后也可以简称为“边缘节点”。核心网络40可以包括互联网42或者由互联网42构成，虽然这不是限制。
与核心网络40相比，接入网络30可以是带宽受限的。图4示出了这类带宽受限接入网络的各种示例，经由所述带宽受限接入网络，VR呈现设备可以连接到核心网络。具体地，图4示出了终端200，其可以是经由调制解调器202、CMTS 206、城域接入节点210和城域核心节点212连接到互联网42的VR呈现设备本身或本地网关或类似设备。可替换地，终端可以经由DSL调制解调器连接到DSLAM 208，DSLAM 208本身可以连接到城域接入节点。可替换地，终端可以经由诸如Wi-Fi接入点的无线接入点204连接到城域接入节点。
图5示出了采用3G移动接入网络和4G移动接入网络的形式的带宽受限接入网络的其它示例。将领会，图4和图5仅表示带宽受限接入网络的非限制性示例，并且可以跨各种其它类型的带宽受限接入网络来执行选择性转发。
为了使得能够从（一个或多个）转发节点选择性地转发流子集到VR呈现设备，可以（例如，以持续的方式）将所有流或流的较大子集从（一个或多个）流源流式传输到（一个或多个）转发节点。该概念此后也简称为“使流在网络边缘处可用”。在此，术语“较大子集”可以指代包括当前被转发到VR呈现设备的流以及（例如，包括空间上相邻的视频信息的）相邻流的子集的子集。照此，如果需要不同的流子集，则例如归因于用户的视点的改变典型为增量式的，不同的子集仍然可以包括在网络边缘处可用的流的较大子集中。
存在使流在网络边缘处可用的各种方式，所述方式包括但不限于将它们发送到在那里路由的IP地址，（例如使用RTP）流式传输到网络边缘上的子网中的单播地址或（例如使用密集模式多播）流式传输到引导至那里的多播地址。在HTTP自适应流式传输的情况下，服务器可以例如使用MPEG-DASH的SAND特征来执行分段或分段的部分（例如，字节范围）到网络边缘上的IP地址的服务器推送，或者可以使用例如FLUTE并执行多播DASH。将进一步参考图8至图11给出若干其它示例。
在一些实施例中，VR呈现设备可能需要知道哪个流在哪里可用、可以如何访问各种流、以及各种流如何匹配于整个全景视频中（例如，它们的空间关系）。可以以“目的地元数据”的形式使该信息可用，所述“目的地元数据”可以至少指示流的流式传输目的地以及因此在网络边缘上何处使流可用。存在使目的地元数据可用于VR呈现设备的各种方式。例如，可以用信号发送目的地元数据到VR呈现设备、VR呈现设备可以订收流通告协议、当使用MPEG DASH时目的地元数据可以包括在清单中或者特别是MPD中等。
图6图示了上面提及的从服务器330到VR呈现设备或者一般到接收器300的目的地元数据的信号发送。即，响应于来自接收器300对目的地元数据的请求（例如，使用消息“REQ（stream_overview）”），服务器330可以通过发送目的地元数据来响应该请求（例如，使用消息“RES（stream_overview）”）。
在图7中以简化的表格形式示出了目的地元数据400的示例。在该示例中，目的地元数据400例如通过列出基本方向的“方向”列的方式来指示哪个流与哪个观看方向相关联；例如通过“类型”列的方式指示可以如何访问流；以及例如通过列出相应流的目的地地址的“地址”列的方式指示可以在何处访问流。应指出，这类目的地元数据与通常用于检索流的信息不同，这是因为这类信息通常列出要在其处检索流的服务器URL。相比之下，在目的地元数据中，可以列出当前正在向其发送流的网络地址，例如边缘节点的地址。
进一步参考使流在网络边缘处可用的各种方式，在图8至图11中示出了各种实施例。在这些实施例中，可以通过流表示的角度的方式来简单地指代流，其中角度指代例如基本方向或索引号，例如“角度1”。此外，将参考图12至图18来解释对流的选择性转发（也称为“切换技术”）的不同示例。
图8图示了通过对每个流使用不同的目的地地址的方式将多个流流式传输到边缘节点。即，在该示例中，接收器300可以具有关于可用网络地址的范围的信息，在该情况下子网139.63.243.16/28（范围139.63.243.16-139.63.243.31，其中.16为网关地址并且.31为广播地址，保留14个可用主机地址）。为了初始化流式传输，接收器300可以例如使用对可用地址的信号发送410向服务器330指示这些地址。然后可以将十四个地址匹配到可以由接收器300请求的十四个不同角度，所述十四个不同角度可以以目的地元数据402的形式用信号发送到接收器300。然后，服务器330可以开始经由网络320将那些流流式传输到相应地址（例如，到网络320的边缘处的相应边缘节点310）。
图8还图示了另一实施例，即可用网络地址的信号发送可以由边缘节点310而不是由接收器300来执行。这可能要求边缘节点310知道针对流的请求。然而，不像可能仅具有对单个网络地址的访问的接收器300，边缘节点310可以被配置为“即时”分配附加地址。照此，边缘节点310可以为特定流式传输会话分配网络地址。IP地址可以是公共地址，或者如果边缘节点310是SDN节点，则边缘节点310甚至可以分配私用网络地址并将分配的地址与例如端口号中的区分进行组合。例如，通过从边缘节点310到服务器330的信号发送412，可以向服务器330通知要用于流式传输的地址。服务器330可以（例如，使用目的地元数据402）通知接收器300各种角度在哪些地址处可用。边缘节点310还可以直接向接收器300通知将用于流式传输的地址。边缘节点310可以在流建立期间拦截接收器300和服务器330之间的信号发送，或者它可以是这之中的活动实体，例如是会话边界控制器、媒体感知网络元件或另一种类型的网络代理。
图9图示了通过对每个流使用不同的端口来将多个流从服务器330流式传输到边缘节点312。即，在图9的示例中，接收器300可以仅具有分配给它的单个网络地址，所述单个网络地址可以使用信号发送414用信号发送到服务器330。在该情况下，通过使用端口号，各种角度之间的区分可以是可能的，这是因为可以使用不同的目的地端口来传输每个角度。因此，目的地元数据404可以列出用于每个流的不同端口号。将领会，并非所有的切换技术都可以与该方案兼容，特别是在所谓的“IP层”上操作的切换技术，例如，如参考图12和图14解释的IP多播和ARP欺骗/毒化。然而，一般涉及控制SDN边缘节点312的SDN控制器340并且参考图13和图14进一步解释的SDN切换技术可以允许使用端口号，这是因为SDN节点可以使用目的地（以及源）端口号来在各种流之间进行区分。
图10图示了通过使用不同的IP多播地址的方式来将多个流流式传输到边缘节点。在该实施例中，服务器330可以将流传输到不同的IP多播地址，并且可以以目的地元数据406的形式将这些用信号发送到接收器300。这些IP多播地址可以是网络被针对其进行配置以将这些转发到边缘节点的地址。即，为了在流之间的快速切换，可能需要以密集模式配置使用多播，所述密集模式配置涉及将所有流或流的较大子集流式传输到（一个或多个）边缘节点310，即使在接收器300并非正在从服务器330请求这些流时。
图11图示了通过使用源特定多播的方式将多个流流式传输到边缘节点310，所述源特定多播表示针对多播寻址的替换。在此，利用RFC 4607中描述的称为源特定多播的IP多播扩展。该扩展允许各种源使用相同的IP多播地址，同时仍允许接收器通过指示IP多播请求中的源地址来从某个源请求某个流。 因此，除了目的地IP地址，提供给接收器300的目的地元数据408还可以列出每个流的源IP地址。
已经建立了所有流或流的较大子集到（一个或多个）边缘节点的流式传输，可以以各种方式实现对流子集的选择性转发，其中参考图12至图18描述了各种实施例。在此，为简单起见，VR视频由两个流表示，并且在任何给定时间要呈现的流子集是两个流中的一个。
应指出，对流的选择性转发可以是（例如，响应于用户转动或移动他/她的头部）从一个流子集切换到另一个流子集的部分，并且在后文可以被描述为“切换技术”，所述“切换技术”进而可以依据防火墙类比来描述。即，如果一个流当前正流式传输到接收器（例如，作为门或“防火墙”被打开的结果），则另一个流当前可以在网络边缘处停止（例如，门或“防火墙”可以被关闭）。照此，切换技术实质上可以涉及打开针对新流的门，从而引起新流的包被转发到接收器，并关闭针对旧流的门，从而引起旧流的包被丢弃在网络边缘处。该丢弃可以是网络节点中“丢弃”与某标准匹配的流的包的明确规则的结果。包的丢弃也可以因为不存在有效的转发规则而发生，并且丢弃可以是对于与转发规则不匹配的流量而言默认的动作。或者，丢弃可以是具有无效的目的地址或者是在网络节点本地的流的效果。给定对于至少临时地流式传输两个流足够的带宽，门的打开可以被认为是最时间敏感的。在该情况下，可以首先执行新门的打开，并且其次执行另一旧门的关闭。当带宽更有限时，例如当带宽对于两个流的持续流式传输不足够时，可以在打开新门之前首先关闭旧门。
存在可以以之来执行该“打开和关闭门”的各种方式，所述方式包括但不限于IGMP加入/离开操作、SDN或类似的可编程网络的使用、ARP欺骗/毒化或新的MAC层协议。
IGMP加入/离开
如本领域中已知的，可以以密集模式配置执行多播。照此，即使当前没有接收器正请求流，也可以将多播流一直建立到网络的边缘。这可以具有预先建立整个多播树从而在请求新流时减少启动延迟的优点。图12图示了通过示出接收器500、交换机510和服务器530之间的消息交换的基于多播的切换技术。在此，术语切换用于包括能够根据请求切换多播流的所有网络节点，这包括多播感知交换机（例如，使用IGMP侦听）和支持多播的路由器两者。在此，可以由服务器530将流1和图2持续地流式传输到交换机510。然后，接收器500可以通过向交换机510发送适当的IGMP加入或离开消息来加入和离开流，引起交换机转发和/或停止转发相应的流。通过使用IGMP快速离开机制（也称为“立即离开”）可以实现低切换延迟。在这方面，应指出，RFC 3376中规定的IGMP的当前版本3定义了称为“成员资格报告”的消息，其中针对多播地址的成员资格表示组的加入，并且这类成员资格的移除表示组的离开。在一般的IGMP语言中，这些通常仍称为IGMP加入/离开消息，反映早期IGMP版本中这些消息的旧命名。因此，对IGMP加入/离开的任何引用要理解为包括该“成员资格”类型机制。
软件定义网络（SDN）
图13示出了接收器504、SDN交换机514和服务器530之间的消息交换，以使用SDN选择性地将流流式传输到接收器。在该示例中，交换机514是启用SDN的交换机（如所提及的，交换机包括所有支持SDN的网络节点，包括交换机和路由器），并且接收器504包括能够配置SDN交换机514的SDN控制器。可替换地，接收器可以向外部SDN控制器发送信号以配置SDN交换机。根据一个或多个转发规则，可以指令SDN交换机514转发针对指定流的包，或丢弃针对指定流的包。在该示例中，服务器530可以将流1和图2发送到SDN交换机514，即通过将两个流发送到终止在SDN交换机514处的相应目的地IP地址。在此，术语“终止”可以指代“被路由到”，因为它可以是SDN交换机本身的地址，或者它可以是经由SDN交换机可路由的地址。对SDN交换机514默认的动作可以被配置为“丢弃”包（例如，不对包采取动作），使得没有流的包被转发。然后，接收器504可以例如借助于指定目的地IP地址和动作类型（例如“转发”或“无”，其中后者标示丢弃）的“设置动作”消息，可选地经由外部SDN控制器来指令SDN交换机514转发某些流，并通过指令交换机丢弃一个流并转发另一个流来切换流。
图14示出了接收器500、SDN交换机514、SDN控制器520和服务器530之间的消息交换，以使用多播与SDN的组合选择性地将流流式传输到接收器。多播的缺点可能是当前网络通常仅在一个管理域内支持它。照此，提供流的服务器可能需要与边缘节点在同一网络中。SDN可以用于解决该问题。即，每个流可以被作为单播流朝向网络边缘（例如启用SDN的交换机514）发送。该交换机可以例如被实时地配置为将单播流改变为多播流。这可以有效地为接收器500创建密集模式多播情形，然后接收器500可以以与图12实施例中类似的方式切换流。参与会话建立的节点可以指令SDN控制器520执行配置。这可以是服务器530或接收器500、或者是作为会话建立的部分的又一服务器或节点。可替换地，SDN交换机514可以被预配置为将某些IP地址的目的地IP地址改变成某些其它（多播）IP地址。如果这对于服务器530是已知的，则服务器530可以使用这些静态绑定而不是创建动态绑定。
ARP欺骗/毒化
图15示出了接收器502、交换机512和服务器530之间的消息交换，以使用所谓的ARP欺骗（有时也称为ARP毒化）选择性地将流流式传输到接收器。地址解析协议是层2（MAC）协议，通过所述协议节点彼此通知IP地址和MAC地址之间的关系。交换机典型地维护这些关系的表，例如，以使得能够将到来的IP包转发到某个MAC地址。为此，交换机可以在其ARP表中查找IP地址，并将包转发到指示的MAC地址。由于ARP是不安全的协议，它允许一个节点对另一个节点的ARP表进行“欺骗”或“毒化”。这可以允许接收器（例如，VR呈现设备）通过发送硬件地址（例如，MAC地址）和网络地址（例如，IP地址）的“伪”组合来改变边缘节点的ARP表。这在图15中图示，其中流1和图2由服务器530发送到网络边缘上的交换机512上的分离的IP地址。这些IP地址当前不在使用中，这是因为它们可能在交换机的ARP表中没有条目。照此，交换机512可以丢弃流1和图2的包。接收器502可以通过引起交换机512将流1的目的地IP地址与接收器502的MAC地址相关联（例如，通过包括其MAC地址（例如MAC_A）以及流1的目的地IP地址的适当的ARP消息）来实现对流1的转发。然后，交换机512可以将其针对流1接收的所有包传递给接收器502。接收器502稍后可能希望切换到流2，并且可以通过首先停止对流1的转发，即通过将流1的目的地IP地址与交换机512的MAC地址（例如MAC_B）（或者可替换地，与全零MAC地址）相关联来这样做。这可以引起交换机512丢弃包。然后，接收器502可以通过适当的ARP消息将流2的目的地IP地址与接收器的MAC地址相关联，从而引起交换机512将流2的包转发到接收器502。
图16示出了ARP协议的消息420的格式。在消息420中，首先可以指定硬件类型和协议类型，例如以太网和IP协议。接下来，可以指定硬件地址长度（HAL）和协议地址长度（PAL），例如，针对以太网MAC地址为6字节，并且针对IP协议地址为4字节。利用这些长度描绘消息420；然而，例如对于其它硬件和协议类型，其它长度是等同可能的。接下来，可以指定发送方硬件地址和协议地址，并且最后可以指定目标硬件地址和协议地址。
继续参考图15，MAC_A可以等于AA：BB：CC：DD：EE：FF并且MAC_B可以等于FF：EE：DD：CC：BB：AA。
图17示出了表示从接收器到交换机的ARP请求的消息422，消息422包括接收器的MAC作为发送方硬件地址以及192.168.1.10作为发送方协议地址，从而在交换机的ARP表中创建条目，所述条目引起具有目的地IP地址192.168.1.10的包被转发到接收器。图18示出了表示来自接收器的ARP请求的消息424，消息424包括交换机的MAC地址作为发送方硬件地址以及192.168.1.10作为发送方协议地址。因此，该消息可以指令交换机将具有192.168.1.10作为目的地的包路由到其自身，结束与接收器的关联。可替换地，替代将交换机的MAC地址指定为发送方硬件地址，可以替代地使用不存在的硬件地址或全零的硬件地址。取决于交换机的配置和类型，这可以具有与将交换机的MAC地址指定为发送方硬件地址类似的效果。
应指出，在涉及ARP毒化的实施例中，术语“交换机”用于例如边缘节点之类的转发节点，其意在指代网络内出于转发目的而将网络地址（例如，IP地址）转化为硬件地址（例如，MAC地址）的实体。该实体可以是例如层3交换机（典型地在运营商网络中使用）或管理的交换机或路由器。将领会，“哑”层2交换机典型地不知道包的目的地IP地址，这是因为它在IP层上不起作用，并因此将不处置ARP。
新MAC层协议
除了使用用于引起交换机动态地“打开和关闭门”的现有技术之外，设计新的切换技术也是可能的。例如，在MAC层上，接收器可以将边缘交换机可以解释为“打开此门”的包以及可以被解释为“关闭此门”的另一包发送到边缘交换机。该功能性可以由例如新的MAC层协议提供，或者可能由作为现有协议的部分的新功能提供。
针对所述“门的打开和关闭”的又一替换包括但不限于VLAN标记、动态VLAN、UDP端口过滤、动态防火墙（例如，使用到交换机的CLI接口）、会话边界控制器的使用等。
图19示出了示例性VR呈现设备600，其可以包括处理器620，处理器620被配置为确定要由VR呈现设备呈现的场景的视图，并且标识多个流中对呈现场景的视图所需要的一个或多个流，从而标识流子集。而且，示例性VR呈现设备600可以包括控制器630，其被配置为响应于必须由VR呈现设备呈现的视图，用信号对一个或多个转发节点发送转发指令，以用于一个或多个转发节点选择性地将流子集转发到 VR呈现设备。将领会，VR呈现设备600可以包括用于显示呈现的VR环境的一个或多个显示器。例如，VR呈现设备600可以是VR头戴式视图器（例如，指代可头戴的显示设备），或者要在VR壳体中使用的智能电话或平板设备（例如，与“Gear VR”或“Google Cardboard”具有相同或类似类型）。可替换地，VR呈现设备600可以是连接到显示器或VR头戴式视图器并且将呈现的图像提供给显示器或VR头戴式视图器供在其上显示的设备。具体示例是VR呈现设备600可以由连接到分离的显示器或VR头戴式视图器的个人计算机或游戏控制台表示（例如与“Oculus Rift”、“HTC Vive”、或“PlayStation VR”具有相同或类似的类型）。VR呈现设备的其它示例是能够播放VR视频的所谓增强现实（AR）设备，诸如Microsoft HoloLens。将参考图23描述又一示例性实施例。
如图19中进一步示出的，VR呈现设备600可以包括输入/输出接口610，例如，以接收流子集和/或向一个或多个转发节点发信号。输入/输出接口610可以是与接入网络的类型匹配的类型的网络接口，例如Wi-Fi接口、蓝牙接口、ZigBee接口、蜂窝接口、以太网接口等。而且，虽然图19中未示出，但VR呈现设备600可以包括可以用于各种目的的一个或多个存储器，所述目的包括但不限于存储可以从服务器接收的目的地元数据。
应指出，VR呈现设备可以在所测量的用户的头部旋转或头部移动的基础上知道何时切换流。应指出，测量用户的头部旋转或头部移动本身在本领域中是已知的，例如，使用陀螺仪、相机等。头部旋转或头部移动可以由VR呈现设备本身（例如，通过包括陀螺仪、相机或连接到记录用户的外部相机的相机输入）、或者由外部设备（例如连接到VR呈现设备的外部VR头戴式视图器或例如使用所谓的“外向内”追踪从外部记录VR头戴式视图器的外部相机）或其组合来测量。而且，虽然流的切换可以响应于头部旋转或头部移动，但所要求保护的发明不限于此，这是因为还可以存在呈现全景场景的不同视图并从而切换流的其它原因。例如，流的切换可以是预期头部移动，例如，因为来自某个方向的与VR视频相关联的声音可以触发用户将他的头部旋转到该某个方向，其中声音的即将出现触发了切换。一般而言，可以使用任何已知技术以用于确定出要从（一个或多个）转发节点转发特定新流子集。
图20示出了示例性转发节点700，其可以包括：信号发送接口710，被配置为接收转发指令以改变转发节点的一个或多个转发规则，以便选择性地将多个流中的一个或多个流转发到VR呈现设备；以及控制器720，被配置为通过改变转发节点的一个或多个转发规则来实现转发指令。信号发送接口710可以是输入/输出接口或者可以是输入/输出接口的部分，输入/输出接口进而可以是网络接口，所述网络接口诸如但不限于以太网或基于光纤的局域或广域网（LAN、WAN）接口。转发节点可以是网络交换机或网络路由器。将参考图23描述转发节点的另一示例性实施例。
图21示出了用于将VR视频流式传输到VR呈现设备的方法800。 方法800可以包括在标题为“确定要呈现的场景的视图”的操作中，确定810要由VR呈现设备呈现的场景的视图。方法800还可以包括，在标题为“标识所需要的（一个或多个）流”的操作中，标识820多个流中对呈现场景的视图所需要的一个或多个流，从而标识流子集。方法800还可以包括，通过在标题为“将所有流流式传输到（一个或多个）转发节点”的操作中将多个流从一个或多个流源流式传输840到在一个或多个流源的下游和在VR呈现设备的上游的一个或多个转发节点，来在标题为“实现对所需要的（一个或多个）流的流式传输”的操作中，实现830经由网络将流子集从一个或多个流源流式传输到VR呈现设备，以及在标题为“选择性地转发所需要的（一个或多个）流”的操作中，响应于必须由VR呈现设备呈现的视图，选择性地将流子集从一个或多个转发节点转发850到VR呈现设备。
将领会，上面的操作可以以任何合适的顺序（例如，连续地、同时地或其组合）执行，在适用的情况下，例如通过输入/输出关系服从必要的特定顺序。
方法800可以在处理器系统上实现，例如，在计算机上作为计算机实现的方法、作为专用硬件或作为两者的组合实现。如也在图22中图示的，用于计算机的指令（例如，可执行代码）可以例如以一系列910机器可读物理标注的形式和/或作为具有不同的电气（例如，磁性或光学）属性或值的一系列元件存储在计算机可读介质900上。可执行代码可以以暂时性或非暂时的方式被存储。计算机可读介质的示例包括存储器设备、光学存储设备、集成电路、服务器、在线软件等。图22示出了光盘900。
可替换地，计算机可读介质900可以包括用于由被配置为呈现虚拟现实[VR]视频的VR呈现设备使用的目的地元数据，其中VR视频至少部分地由多个流表示，并且其中目的地元数据指示网络内的多个流中的每个流的流式传输的网络目的地。例如，目的地元数据可以针对多个流中的每个流列出相应流的目的地网络地址。此外，目的地元数据可以例如通过指示基本方向或依次枚举流来指示流相对于其它流的空间关系。此外，目的地元数据可以指示可以如何访问流，例如，可以如何指令（一个或多个）转发节点转发特定流。
可替换地，计算机可读介质900可以包括用于由网络中的一个或多个转发节点使用的转发指令，其中一个或多个转发节点可以是多个流的流式传输的网络目的地，并且其中转发指令可以被配置为指令一个或多个转发节点选择性地将多个流中的一个或多个流转发到虚拟现实[VR]呈现设备。例如，转发指令可以是用于SDN交换机的SDN的控制平面上的指令。
一般而言，不是表示VR视频的所有流都可能需要在持续的基础上被流式传输到（一个或多个）转发节点。而是，流式传输当前转发的流（例如，特定流子集）以及相邻流（例如，提供空间上相邻的视频信息）可以是足够的。照此，可以将涵盖当前转发的流子集的流的较大子集流式传输到（一个或多个）转发节点。例如响应于必须流式传输的新流子集，可以调整包括在较大子集中的流的选择。照此，例如响应于头部旋转或头部移动，可以持续地或周期性地调整去往（一个或多个）转发节点的流式传输。
而且，当使用空间上被分段或分片的视频流时，流的切换可以涉及从新区域请求分段并停止从旧区域请求分片。如果采用密集空间分段（例如，利用仅对应于有限视场的流），则可以响应于头部旋转而仅丢弃当前视图的一侧上的有限数量的分段，并从而丢弃对应的流，并且可以在当前视图的另一侧上添加有限数量的新分段作为新流：因此可见的大部分可以保持不变。照此，在先前流子集和新流子集之间可以存在相当大的重叠。即使在切换流时，该实施例也可以具有相对恒定的带宽消耗。
将领会，如本公开中描述的选择性转发技术可以应用于所谓的分片或分段流式传输，其中全景视频（例如，360视频）被划分为多个分片/分段，每个分片/分段可以由不同的流表示。而且，该技术可以应用于所谓的金字塔编码，其中不同的流表示整个内容的不同版本，每个版本包括采用高质量的不同部分和采用较低质量的其余部分。如本公开中所描述的选择性转发技术还可应用于云呈现，其中例如基于设备的当前取向来在用于VR呈现设备的云内呈现当前视口。不同的相邻视口（例如，当前视口和在左边及在右边的视口）也可以被云呈现，然后它们可以作为分离的流朝向网络边缘传输。然后，响应于例如头部旋转，可以选择性地将流子集转发到VR呈现设备。可以组合用于流式传输VR视频的各种方案。将领会，去往转发节点的流式传输可以是基于云的，这是因为可以从分布式媒体服务器系统流式传输多个流，或者一般可以从多个共享计算资源流式传输多个流。
将领会，当切换流时，确保将（一个或多个）新流的I帧尽可能快地提供给接收器可以是有利的。对此存在若干已知技术（例如，来自其中所述技术被称为“快速频道改变”或“迅速频道改变”的IPTV领域），所述技术可以与本公开中描述的技术结合使用。
此外，在存在接收相同内容的多个终端的情况下，也可以使用如本公开中描述的选择性转发技术。各种视角可以被作为流通过网络传输。如果这些是或可以是多播的（例如，使用SDN或另一技术），则多个终端可以高效地接收相同的内容。这类似于在相同接入节点后面具有多个终端的常规多播。在这类情况下，可以按每终端应用所描述的选择性转发，而朝向接入节点的流传输可以仅需要执行一次。
图23是图示可以在本公开的实施例中使用的示例性数据处理系统的框图。这类数据处理系统包括本公开中描述的数据处理实体，所述数据处理实体包括但不限于VR呈现设备和转发节点。数据处理系统1000可以包括通过系统总线1006耦合到存储器元件1004的至少一个处理器1002。照此，数据处理系统可以将程序代码存储在存储器元件1004内。此外，处理器1002可以执行经由系统总线1006从存储器元件1004访问的程序代码。在一个方面中，数据处理系统可以实现为适用于存储和/或执行程序代码的计算机。然而，将领会，数据处理系统1000可以采用包括能够执行本说明书中描述的功能的处理器和存储器的任何系统的形式实现。
存储器元件1004可以包括诸如例如本地存储器1008的一个或多个物理存储器设备和一个或多个大容量存储设备1010。本地存储器可以指代随机存取存储器或一般在程序代码的实际执行期间使用的其它（一个或多个）非持久性存储器设备。大容量存储设备可以实现为硬驱动、固态盘或其它持久性数据存储设备。处理系统1000还可以包括一个或多个高速缓冲存储器（未示出），其提供至少一些程序代码的临时存储，以便降低在执行期间必须从大容量存储设备1010检索程序代码的次数。
描绘为输入设备1012和输出设备1014的输入/输出（I/O）设备可以可选地耦合到数据处理系统。输入设备的示例可以包括但不限于例如麦克风、键盘或诸如鼠标之类的指示设备等。输出设备的示例可以包括但不限于例如监视器或显示器或扬声器等。输入设备和/或输出设备可以直接或通过居间I/O控制器耦合到数据处理系统。网络适配器1016还可以耦合到数据处理系统或者是数据处理系统的部分，以使其能够通过居间私用或公共网络变得耦合到其它系统、计算机系统、远程网络设备和/或远程存储设备。网络适配器可以包括：数据接收器，用于接收由所述系统、设备和/或网络传输到所述数据的数据；以及数据传输器，用于将数据传输到所述系统、设备和/或网络。调制解调器、线缆调制解调器和以太网卡是可以供数据处理系统1000使用的不同类型的网络适配器的示例。
如图23中示出的，存储器元件1004可以存储应用1018。应当领会，数据处理系统1000还可以执行可以促进应用的执行的操作系统（未示出）。以可执行程序代码的形式实现的应用可以由数据处理系统1000（例如由处理器1002）执行。响应于执行应用，数据处理系统可以被配置为执行要在本文进一步详细描述的一个或多个操作。
在一个方面中，例如，数据处理系统1000可以表示VR呈现设备。在该情况下，应用1018可以表示这样的应用：当被执行时，配置数据处理系统1000来执行本文参考VR呈现设备及其处理器和控制器描述的各种功能。在此，网络适配器1016可以表示VR呈现设备的输入/输出接口的实施例。在另一方面中，数据处理系统1000可以表示转发节点。在该情况下，应用1018可以表示这样的应用：当被执行时，配置数据处理系统1000来执行本文参考转发节点及其控制器描述的各种功能。在此，网络适配器1016可以表示转发节点的信号发送接口的实施例。
在权利要求中，位于括号之间的任何参考符号不应被解释为限制权利要求。动词“包括”及其变形的使用不排除除了权利要求中声明的那些之外的元件或步骤的存在。元件前的量词“一”或“一个”不排除多个这类元件的存在。本发明可以借助于包括若干不同元件的硬件并借助于适当编程的计算机来实现。在枚举若干构件的设备权利要求中，这些构件中的若干构件可以由同一个硬件项来体现。在相互不同的从属权利要求中陈述某些措施的仅有事实并不指示这些措施的组合不能用于获益。

Claims (11)

1.一种将虚拟现实(VR)视频流式传输到VR呈现设备的方法，其中VR视频至少部分地由多个流表示，每个流与场景的不同视图相关联，所述方法包括：
-确定要由VR呈现设备呈现的场景的视图；
-标识所述多个流中对呈现场景的视图所需要的一个或多个流，从而标识流子集；以及
-通过以下来实现经由网络将流子集从一个或多个流源流式传输到VR呈现设备：
i）将所述多个流从所述一个或多个流源流式传输到在所述一个或多个流源的下游和在VR呈现设备的上游的一个或多个转发节点；以及
ii）响应于必须由VR呈现设备呈现的视图，选择性地将流子集从所述一个或多个转发节点转发到VR呈现设备，
其特征在于所述一个或多个转发节点是软件定义网络(SDN)节点，并且对流子集的选择性转发包括使用SDN控制器来控制所述一个或多个转发节点，以将流子集的包转发到VR呈现设备和/或丢弃其它流的包，
其中对流子集的选择性转发包括VR呈现设备加入使用多播提供流子集的多播组，
其中通过以单播将所述多个流中的每个流流式传输到所述一个或多个转发节点来实现多播，并且其中所述方法还包括：
控制所述一个或多个转发节点以将每个单播流转换为多播流。
2.根据权利要求1所述的方法，其中选择性地转发流子集包括：
-停止对先前选择性地转发到VR呈现设备的先前流子集的转发。
3.根据权利要求2所述的方法，其中所述方法包括在停止对先前流子集的选择性转发之前开始对流子集的选择性转发。
4.根据上面权利要求中任一项所述的方法，其中在一个或多个转发规则的基础上由所述一个或多个转发节点执行选择性转发，并且其中所述方法包括用信号对所述一个或多个转发节点发送转发指令以改变所述一个或多个转发规则，以便实现对流子集的选择性转发。
5.根据权利要求4所述的方法，其中由VR呈现设备执行转发指令的信号发送。
6.根据权利要求1至3中任一项所述的方法，还包括用信号发送目的地元数据到VR呈现设备，所述目的地元数据指示所述多个流中的每个流的流式传输的网络目的地。
7.根据权利要求1至3中任一项所述的方法，其中VR呈现设备经由带宽受限接入网络连接到网络，并且其中所述一个或多个转发节点是到带宽受限接入网络的边缘处的网络的边缘节点。
8.一种包括计算机程序的暂时性或非暂时性计算机可读介质，所述计算机程序包括用于引起处理器系统执行根据权利要求1至7中任一项所述的方法的指令。
9.一种用于呈现虚拟现实(VR)视频的VR呈现设备，其中VR视频至少部分地由多个流来表示，每个流与场景的不同视图相关联，VR呈现设备包括：
-被配置用于接收目的地元数据的输入接口，所述目的地元数据指示网络内的所述多个流中的每个流的流式传输的网络目的地，其中网络目的地包括在流式传输所述多个流的一个或多个流源的下游和在VR呈现设备的上游的网络中的一个或多个转发节点；以及
-处理器，其被配置为：
i）确定要由VR呈现设备呈现的场景的视图；
ii）在目的地元数据的基础上并响应于必须由VR呈现设备呈现的视图，标识所述多个流中对呈现场景的视图所需要的一个或多个流，从而标识要由所述一个或多个转发节点选择性地转发到VR呈现设备的流子集，以及
-控制器，其被配置为在目的地元数据的基础上并响应于必须由VR呈现设备呈现的视图，用信号对所述一个或多个转发节点发送转发指令以用于所述一个或多个转发节点选择性地将流子集转发到VR呈现设备，
其特征在于所述一个或多个转发节点是软件定义网络(SDN)节点，并且对流子集的选择性转发包括使用SDN控制器来控制所述一个或多个转发节点，以将流子集的包转发到VR呈现设备和/或丢弃其它流的包，
其中对流子集的选择性转发包括VR呈现设备加入使用多播提供流子集的多播组，
其中通过以单播将所述多个流中的每个流流式传输到所述一个或多个转发节点来实现多播，并且其中控制所述一个或多个转发节点以将每个单播流转换为多播流。
10.一种被配置为接收虚拟现实(VR)视频的多个流的转发节点，所述转发节点包括：
-信号发送接口，其被配置为接收转发指令以改变转发节点的一个或多个转发规则，以便选择性地将所述多个流中的一个或多个流转发到VR呈现设备；以及
-控制器，其被配置为通过改变转发节点的所述一个或多个转发规则来实现转发指令，
其特征在于所述转发节点是软件定义网络(SDN)节点，并且对流子集的选择性转发包括使用SDN控制器来控制所述转发节点，以将流子集的包转发到VR呈现设备和/或丢弃其它流的包，
其中对流子集的选择性转发包括VR呈现设备加入使用多播提供流子集的多播组，
其中通过以单播将所述多个流中的每个流流式传输到所述转发节点来实现多播，并且其中控制所述转发节点以将每个单播流转换为多播流。
11.根据权利要求10所述的转发节点，其中转发节点是网络交换机或网络路由器。
CN201780056930.0A 2016-07-15 2017-07-06 流式传输虚拟现实视频 Active CN109691113B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16179654 2016-07-15
EP16179654.5 2016-07-15
PCT/EP2017/066929 WO2018011054A1 (en) 2016-07-15 2017-07-06 Streaming virtual reality video

Publications (2)

Publication Number Publication Date
CN109691113A CN109691113A (zh) 2019-04-26
CN109691113B true CN109691113B (zh) 2022-02-08

Family

ID=56507400

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780056930.0A Active CN109691113B (zh) 2016-07-15 2017-07-06 流式传输虚拟现实视频

Country Status (4)

Country Link
US (1) US11375284B2 (zh)
EP (1) EP3485646B1 (zh)
CN (1) CN109691113B (zh)
WO (1) WO2018011054A1 (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10712555B2 (en) 2016-11-04 2020-07-14 Koninklijke Kpn N.V. Streaming virtual reality video
EP3560205B1 (en) 2016-12-20 2021-02-17 Koninklijke KPN N.V. Synchronizing processing between streams
EP3769515A1 (en) * 2018-03-22 2021-01-27 Huawei Technologies Co., Ltd. Immersive media metrics for rendered viewports
US10812828B2 (en) 2018-04-10 2020-10-20 At&T Intellectual Property I, L.P. System and method for segmenting immersive video
CN110519652B (zh) * 2018-05-22 2021-05-18 华为软件技术有限公司 Vr视频播放方法、终端及服务器
US11232532B2 (en) * 2018-05-30 2022-01-25 Sony Interactive Entertainment LLC Multi-server cloud virtual reality (VR) streaming
US10623791B2 (en) 2018-06-01 2020-04-14 At&T Intellectual Property I, L.P. Field of view prediction in live panoramic video streaming
US10812774B2 (en) 2018-06-06 2020-10-20 At&T Intellectual Property I, L.P. Methods and devices for adapting the rate of video content streaming
US10616621B2 (en) 2018-06-29 2020-04-07 At&T Intellectual Property I, L.P. Methods and devices for determining multipath routing for panoramic video content
US11019361B2 (en) 2018-08-13 2021-05-25 At&T Intellectual Property I, L.P. Methods, systems and devices for adjusting panoramic view of a camera for capturing video content
US10708494B2 (en) 2018-08-13 2020-07-07 At&T Intellectual Property I, L.P. Methods, systems and devices for adjusting panoramic video content
US11032590B2 (en) 2018-08-31 2021-06-08 At&T Intellectual Property I, L.P. Methods, devices, and systems for providing panoramic video content to a mobile device from an edge server
TWI675572B (zh) 2018-11-23 2019-10-21 財團法人工業技術研究院 網路服務系統及網路服務方法
TWI674780B (zh) * 2018-11-23 2019-10-11 財團法人工業技術研究院 網路服務系統及網路服務方法
US10939139B2 (en) 2018-11-29 2021-03-02 Apple Inc. Adaptive coding and streaming of multi-directional video
GB2580667A (en) 2019-01-22 2020-07-29 Sony Corp A method, device and computer program
US11075971B2 (en) * 2019-04-04 2021-07-27 Evertz Microsystems Ltd. Systems and methods for operating a media transmission network
US11323780B2 (en) 2019-04-04 2022-05-03 Evertz Microsystems Ltd. Systems and methods for determining delay of a plurality of media streams
CN111935557B (zh) * 2019-05-13 2022-06-28 华为技术有限公司 视频处理方法、装置及系统
US10904478B2 (en) * 2019-05-23 2021-01-26 Texas Instruments Incorporated Selected forwarding between serially chained devices
US11523185B2 (en) 2019-06-19 2022-12-06 Koninklijke Kpn N.V. Rendering video stream in sub-area of visible display area
EP4000271A1 (en) * 2019-07-17 2022-05-25 Koninklijke KPN N.V. Facilitating video streaming and processing by edge computing
US11470017B2 (en) * 2019-07-30 2022-10-11 At&T Intellectual Property I, L.P. Immersive reality component management via a reduced competition core network component
US11956295B2 (en) 2019-09-27 2024-04-09 Apple Inc. Client-end enhanced view prediction for multi-view video streaming exploiting pre-fetched data and side information
US11195498B2 (en) * 2020-01-15 2021-12-07 Charter Communications Operating, Llc Compensating for latency in a streaming virtual reality environment
US20210320810A1 (en) * 2020-04-10 2021-10-14 Samsung Electronics Co., Ltd. Volumetric conversational services using network edge
GB2594714B (en) * 2020-05-04 2022-12-07 Createc Robotics Ltd Virtual view generation
KR20220017067A (ko) * 2020-08-04 2022-02-11 삼성전자주식회사 전자 장치에서 데이터 통신을 위한 네트워크 제어 방법 및 장치
CN112118222A (zh) * 2020-08-11 2020-12-22 深圳市欣博跃电子有限公司 一种数据转发的方法、装置、电子设备和存储介质
CN114640670B (zh) * 2020-11-30 2023-07-21 中移(成都)信息通信科技有限公司 虚拟现实vr信息共享的方法、装置及设备
CN114095752A (zh) * 2021-10-18 2022-02-25 长沙宏达威爱信息科技有限公司 一种虚拟现实云渲染系统的制作方法
US11805079B2 (en) * 2021-11-17 2023-10-31 Charter Communications Operating, Llc Methods and apparatus for coordinating data transmission in a communications network
WO2023099383A1 (en) * 2021-12-02 2023-06-08 Koninklijke Kpn N.V. Rendering 3d scene comprising objects
CN114979089B (zh) * 2022-04-25 2023-03-24 北京邮电大学 一种实时传输全景视频的系统和方法
US12015719B1 (en) 2023-09-13 2024-06-18 Zecurity, Llc Apparatus, systems, and methods relying on non-flashable circuitry for improving security on public or private networks

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0909069A3 (en) * 1997-08-29 2004-01-07 Mitsubishi Denki Kabushiki Kaisha System for reliable communication of object state updates over a computer network

Family Cites Families (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020001310A1 (en) * 2000-06-29 2002-01-03 Khanh Mai Virtual multicasting
US7082142B1 (en) * 2001-12-21 2006-07-25 At & T Corp. System and method for delivering content in a unicast/multicast manner
US20040071083A1 (en) * 2002-02-22 2004-04-15 Koninklijke Philips Electronics N.V. Method for streaming fine granular scalability coded video over an IP network
KR100432675B1 (ko) * 2003-09-19 2004-05-27 주식회사 아이앤아이맥스 네트워크상의 장비들 간의 통신제어방법 및 이를 위한 장치
EP1826978A1 (en) 2006-02-24 2007-08-29 Nagravision S.A. Method to optimize the data stream between a router and a multimedia unit
EP2326101B1 (en) * 2008-09-18 2015-02-25 Panasonic Corporation Stereoscopic video reproduction device and stereoscopic video display device
US8484368B2 (en) 2009-10-02 2013-07-09 Disney Enterprises, Inc. Method and system for optimizing download and instantaneous viewing of media files
US9210200B1 (en) * 2010-02-15 2015-12-08 Insors Integrated Communications Methods, systems and program products for connecting users to operating nodes
US9232257B2 (en) * 2010-09-22 2016-01-05 Thomson Licensing Method for navigation in a panoramic scene
US8738736B2 (en) * 2010-11-23 2014-05-27 Edgecast Networks, Inc. Scalable content streaming system with server-side archiving
WO2012079236A1 (zh) 2010-12-16 2012-06-21 北京航空航天大学 基于双时间尺度的视频流传输控制方法
TWI538473B (zh) 2011-03-15 2016-06-11 杜比實驗室特許公司 影像資料轉換的方法與設備
US9007430B2 (en) * 2011-05-27 2015-04-14 Thomas Seidl System and method for creating a navigable, three-dimensional virtual reality environment having ultra-wide field of view
US9591361B2 (en) * 2011-09-07 2017-03-07 Qualcomm Incorporated Streaming of multimedia data from multiple sources
JP2013126048A (ja) * 2011-12-13 2013-06-24 Sony Corp 送信装置、送信方法、受信装置および受信方法
WO2013108531A1 (ja) * 2012-01-19 2013-07-25 ソニー株式会社 受信装置、受信方法および電子機器
BR112013026086A2 (pt) * 2012-02-16 2020-08-11 Sony Corporation aparelho de transmissão, método de transmissão e aparelho de recepção
WO2013129158A1 (ja) * 2012-03-01 2013-09-06 ソニー株式会社 送信装置、送信方法および受信装置
US10021174B2 (en) * 2012-09-25 2018-07-10 A10 Networks, Inc. Distributing service sessions
JP2015534769A (ja) * 2012-09-25 2015-12-03 エイ１０ ネットワークス インコーポレイテッドＡ１０ Ｎｅｔｗｏｒｋｓ， Ｉｎｃ． データネットワークにおける負荷分散
US20140098185A1 (en) * 2012-10-09 2014-04-10 Shahram Davari Interactive user selected video/audio views by real time stitching and selective delivery of multiple video/audio sources
US9497424B2 (en) * 2012-12-05 2016-11-15 At&T Mobility Ii Llc System and method for processing streaming media of an event captured by nearby mobile phones
US9854017B2 (en) 2013-03-15 2017-12-26 Qualcomm Incorporated Resilience in the presence of missing media segments in dynamic adaptive streaming over HTTP
US9483117B2 (en) 2013-04-08 2016-11-01 Nokia Technologies Oy Apparatus, method and computer program for controlling a near-eye display
US9538160B1 (en) * 2013-04-11 2017-01-03 Nextvr Inc. Immersive stereoscopic video acquisition, encoding and virtual reality playback methods and apparatus
US10438633B2 (en) * 2013-05-26 2019-10-08 Pixellot Ltd. Method and system for low cost television production
US9370718B2 (en) * 2014-01-02 2016-06-21 Ubitus Inc. System and method for delivering media over network
US20160352857A1 (en) 2014-01-07 2016-12-01 Thomson Licensing Method for adapting the behavior of a cache, and corresponding cache
US9699437B2 (en) 2014-03-03 2017-07-04 Nextvr Inc. Methods and apparatus for streaming content
US9615177B2 (en) * 2014-03-06 2017-04-04 Sphere Optics Company, Llc Wireless immersive experience capture and viewing
EP2922266A1 (en) 2014-03-20 2015-09-23 Thomson Licensing Method for operating a cache arranged along a transmission path between client terminals and at least one server, and corresponding cache.
US10698569B2 (en) * 2014-04-03 2020-06-30 Centurylink Intellectual Property Llc System and method for implementing customer control point or customer portal
US20150302651A1 (en) * 2014-04-18 2015-10-22 Sam Shpigelman System and method for augmented or virtual reality entertainment experience
US20150346812A1 (en) * 2014-05-29 2015-12-03 Nextvr Inc. Methods and apparatus for receiving content and/or playing back content
EP2958294A1 (en) 2014-06-16 2015-12-23 Thomson Licensing Method for operating a network equipment arranged along a transmission path between a client terminal and at least one server, and corresponding network equipment.
JP6440747B2 (ja) 2014-06-27 2018-12-19 コニンクリーケ・ケイピーエヌ・ナムローゼ・フェンノートシャップ Ｈｅｖｃでタイル化されたビデオ・ストリームに基づく関心領域の決定
US9369406B2 (en) * 2014-07-03 2016-06-14 Sas Institute Inc. Resource server providing a rapidly changing resource
US9444886B2 (en) * 2014-09-25 2016-09-13 At&T Intellectual Property I, L.P. Data analytics for adaptive networks
US9609574B2 (en) * 2014-09-29 2017-03-28 At&T Mobility Ii Llc Apparatus and method for accessing a back-end service
US20160150212A1 (en) 2014-11-26 2016-05-26 Sony Corporation Live selective adaptive bandwidth
CN104503593A (zh) 2015-01-23 2015-04-08 北京智谷睿拓技术服务有限公司 控制信息确定方法和装置
US10469873B2 (en) * 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US10419737B2 (en) * 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US10701119B2 (en) 2015-06-16 2020-06-30 Apple Inc. Adaptive video streaming using dynamic radio access network information
US10193994B2 (en) 2015-06-18 2019-01-29 Qualcomm Incorporated Signaling cached segments for broadcast
US10491711B2 (en) * 2015-09-10 2019-11-26 EEVO, Inc. Adaptive streaming of virtual reality data
US10263914B2 (en) * 2015-09-21 2019-04-16 Telefonaktiebolaget Lm Ericsson (Publ) Method and system to speed up flow routing in SDN network
US10460700B1 (en) * 2015-10-12 2019-10-29 Cinova Media Method and apparatus for improving quality of experience and bandwidth in virtual reality streaming systems
US9578356B1 (en) * 2015-11-13 2017-02-21 Nanning Fugui Precision Industrial Co., Ltd. Live video matching method and system
US10320691B1 (en) * 2016-01-30 2019-06-11 Innovium, Inc. Visibility packets
US10270825B2 (en) * 2016-03-31 2019-04-23 Verizon Patent And Licensing Inc. Prediction-based methods and systems for efficient distribution of virtual reality media content
US10034066B2 (en) * 2016-05-02 2018-07-24 Bao Tran Smart device
US10582201B2 (en) 2016-05-19 2020-03-03 Qualcomm Incorporated Most-interested region in an image
CN109155861B (zh) 2016-05-24 2021-05-25 诺基亚技术有限公司 用于编码媒体内容的方法和装置以及计算机可读存储介质
US10587934B2 (en) 2016-05-24 2020-03-10 Qualcomm Incorporated Virtual reality video signaling in dynamic adaptive streaming over HTTP
CN109511284B (zh) 2016-05-26 2023-09-01 Vid拓展公司 视窗自适应360度视频传送的方法和设备
US20170366605A1 (en) * 2016-06-16 2017-12-21 Alcatel-Lucent Usa Inc. Providing data plane services for applications
CN116389433A (zh) 2016-09-09 2023-07-04 Vid拓展公司 用于减少360度视区自适应流媒体延迟的方法和装置
US11172005B2 (en) 2016-09-09 2021-11-09 Nokia Technologies Oy Method and apparatus for controlled observation point and orientation selection audiovisual content
EP3513562A1 (en) 2016-09-14 2019-07-24 Koninklijke KPN N.V. Streaming virtual reality video
EP3526974B1 (en) 2016-10-12 2021-06-30 Koninklijke KPN N.V. Processing spherical video data on the basis of a region of interest
US10712555B2 (en) 2016-11-04 2020-07-14 Koninklijke Kpn N.V. Streaming virtual reality video
US20180240276A1 (en) 2017-02-23 2018-08-23 Vid Scale, Inc. Methods and apparatus for personalized virtual reality media interface design
US10297087B2 (en) 2017-05-31 2019-05-21 Verizon Patent And Licensing Inc. Methods and systems for generating a merged reality scene based on a virtual object and on a real-world object represented from different vantage points in different video data streams
US10819645B2 (en) 2017-09-20 2020-10-27 Futurewei Technologies, Inc. Combined method for data rate and field of view size adaptation for virtual reality and 360 degree video streaming
KR20190065792A (ko) 2017-12-04 2019-06-12 삼성전자주식회사 전자 장치 및 전자 장치의 영상 데이터 전송 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0909069A3 (en) * 1997-08-29 2004-01-07 Mitsubishi Denki Kabushiki Kaisha System for reliable communication of object state updates over a computer network

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Huszák, Á.Advanced free viewpoint video streaming techniques.《Multimed Tools Appl 76》.2015, *
optimizing video delivery using openflow;capstone final paper;《optimizing video delivery using openflow》;20150425;全文 *

Also Published As

Publication number Publication date
EP3485646A1 (en) 2019-05-22
CN109691113A (zh) 2019-04-26
WO2018011054A1 (en) 2018-01-18
US20190313160A1 (en) 2019-10-10
US11375284B2 (en) 2022-06-28
EP3485646B1 (en) 2022-09-07

Similar Documents

Publication Publication Date Title
CN109691113B (zh) 流式传输虚拟现实视频
US20190362151A1 (en) Streaming virtual reality video
US9882733B2 (en) Migrating eMBMS into a cloud computing system
US8194657B2 (en) Systems and methods for dynamic quality of service
JP5800872B2 (ja) 相互接続ネットワークにおけるパケットレベルプライオリティ付け
US20080291916A1 (en) Systems and methods for dynamic quality of service
US11095702B2 (en) Realtime communication architecture over hybrid ICN and realtime information centric transport protocol
US10050882B2 (en) Method for adjusting media stream transmission bandwidth and related apparatus
JP2018507660A (ja) デジタルコンテンツのアダプティブ仮想ブロードキャスティングのための方法およびシステム
Zhao et al. SDN-Assisted adaptive streaming framework for tile-based immersive content using MPEG-DASH
CN109862307B (zh) 一种视频会议发起的方法和装置
WO2016060875A1 (en) Adaptive bit rates during broadcast transmission in distributed content delivery networks
EP3402120A2 (en) Methods, apparatuses and computer-readable mediums for managing multicast channels in access networks
JP2010136220A (ja) 通信端末装置、通信量制御方法および集積回路
US9942161B1 (en) Methods and systems for configuring and updating session-based quality of service for multimedia traffic in a local area network
Arefin et al. OpenSession: SDN-based cross-layer multi-stream management protocol for 3D teleimmersion
Kleinrouweler et al. An SDN architecture for privacy-friendly network-assisted DASH
US10425458B2 (en) Adaptive bit rate streaming with multi-interface reception
US11271711B2 (en) Communication control device, communication control method, network switch, route control method, and communication system
CN110519331B (zh) 一种视联网资源处理方法及装置
da Silva et al. Cross-layer multiuser session control for optimized communications on SDN-based cloud platforms
Gatimu et al. Experimental study of QoE improvements towards adaptive HD video streaming using flexible dual TCP-UDP streaming protocol
CN110557411A (zh) 基于视联网的视频流处理方法及装置
KR20210077841A (ko) 고품질 저지연 실시간 미디어 스트리밍 서비스를 제공하는 방법 및 그 장치
US20240080275A1 (en) Method and apparatus for quality of service assurance for webrtc sessions in 5g networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant