CN106063277A - 用于对内容进行流传输的方法和装置 - Google Patents

用于对内容进行流传输的方法和装置 Download PDF

Info

Publication number
CN106063277A
CN106063277A CN201580011475.3A CN201580011475A CN106063277A CN 106063277 A CN106063277 A CN 106063277A CN 201580011475 A CN201580011475 A CN 201580011475A CN 106063277 A CN106063277 A CN 106063277A
Authority
CN
China
Prior art keywords
scene
degree
user
content
playback apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580011475.3A
Other languages
English (en)
Inventor
D·M·科尔
A·M·莫斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nextvr Inc
Original Assignee
Nextvr Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nextvr Inc filed Critical Nextvr Inc
Publication of CN106063277A publication Critical patent/CN106063277A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0435—Change or adaptation of the frame rate of the video stream
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2350/00—Solving problems of bandwidth in display systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

描述用于对与360度视场相对应的内容进行流传输的方法和装置。本发明的方法和装置很好地适合于与3D沉浸式系统和/或头戴式显示器一起使用，该3D沉浸式系统和/或头戴式显示器允许用户转动他或她的头部并且看到对应的场景部分。该方法和装置可以支持与360度视场相对应的3D图像内容的实时或者近乎实时的流传输。

Description

用于对内容进行流传输的方法和装置
技术领域
本发明涉及内容(例如立体图像内容)的适应性流传输的领域，并且更特别地涉及对立体视频进行获取、编码、流传输和解码。
背景技术
意图提供沉浸式体验的显示设备通常允许用户转动他的头部并且体验显示的场景中的对应改变。头戴式显示器有时支持360度观看，因为用户可以转向(turn around)同时佩戴头戴式显示器，其中正被显示的场景随着用户的头部位置改变而改变。
利用这样的设备，当用户向前看时应当向用户展现(present)在摄像机位置前面捕获的场景，并且当用户完全转向时应当向用户展现在摄像机位置后面捕获的场景。尽管用户可以转动他的头部到后方，但是由于人在任何给定时间感知有限视场的能力的性质，在任何给定时间用户的视场通常限制为120度或更小。
为了支持360度的视野(view)，360度场景可以使用多个摄像机捕获，其中图像被组合以生成将被使得可用于观看的360度场景。
应当意识到，360度视野包括比通常为正常电视和许多其它视频应用而捕获、编码的仅前方视野多得多的图像数据，在正常电视和许多其它视频应用中，用户没有机会在特定时间点改变用于确定要被显示的图像的观看角度。
给定与正在被流传输的内容相关联的传送约束(例如网络数据约束)，可能不可以将完整的360度视野以全高清晰度视频流传输至力图接收内容并且与内容交互的所有客户。这特别是内容为立体内容的情况，立体内容包括意图对应于左眼和右眼视野的图像内容以允许3D观看效果。
鉴于以上的讨论，应当意识到，存在对于支持以允许单个用户例如通过转动他或她的头部更改他的观看位置并且看到360度视野的期望部分的方式对内容进行流传输、同时保持在与单个用户相关联的数据流传输约束内的方法和装置的需要。虽然不是对于所有实施例都是必须的，但是期望至少一些实施例允许不同位置处的多个用户同时接收流，并且观看他们期望的360度视野的任何不同的部分，而不管什么部分正在被其它用户观看。
发明内容
用于支持与360度观看区域相对应的视频或其它内容的递送(例如流传输)的方法和装置被描述。本发明的方法和装置特别很好地适合于立体和/或其它图像内容(其中，数据传送约束可能使得360度内容的递送难以以最大支持质量水平(例如使用最佳质量编码和最高支持帧速率)来递送)的流传输。该方法可以被用于实时地或者近乎实时地对内容进行编码并且提供内容，但是不限于这样的实时应用。给定支持实时和近乎实时的编码和流传输至多个用户的能力，这里所描述的方法和装置很好地适合于对体育赛事、音乐会和/或其它场所(其中，个人喜欢观看事件并且不仅观察舞台或场地而且能够转动并且欣赏环境(例如体育场或者人群)的视野)的场景进行流传输。通过支持360度观看和3d，本发明的方法和装置很好地适合于与头戴式显示器一起使用，该头戴式显示器意图向用户提供自由转动并且在可能的情况下以及当用户向左、向右或者向后转动头部时观察来自不同观看角度的场景的3d沉浸式体验。
根据各种实施例，与区域的360度视野相对应的图像内容(例如视频内容)被分割成N个部分，其中每个部分对应于360度视野的不同部分，其中N至少为二。在360度视野被分割成3个部分的一些实施例中，一个部分对应于前面的180度视野，第二部分对应于左后90度部分并且另一个部分对应于右后90度部分。虽然出于解释本发明的目的而描述了三个部分，但是360度场景可以被划分成更多部分。而且，虽然在一些实施例中部分是不重叠的，但是在其它实施例中，部分是不同的但是部分地重叠。
视频内容(例如2-D或立体(3D))以允许部分经由具有不同数据速率的流被提供的方式进行编码。在一些实施例中，这涉及对相同的内容编码多次，其中每一编码利用不同的数据速率或者以允许供给不同组的经编码数据以支持不同的数据速率和相应不同的质量水平的方式(例如利用增强层)来产生视频位流。在一些实施例中，数据速率的不同是由于在空间上以不同的分辨率(例如在空间域中以不同的分辨率)对内容进行编码以产生相同视频内容但是具有不同分辨率的多个版本。在其它实施例中，数据速率的不同是由于在时间上以不同的分辨率(例如与较高数据速率流相比较，在较低数据速率流的情况下使用每秒较少的帧)对内容进行编码。如应当意识到的，时间和空间分辨率两者的降低在一些实施例中组合使用以产生与场景区域的部分相对应的低数据速率流。虽然空间和/或时间分辨率的控制可以被用于产生不同数据速率的数据流，但是包括数据压缩水平的其它编码器设置的控制可以并且在一些实施例中确实独自地或者除了空间和/或时间分辨率的控制之外被使用，以产生与场景部分相对应的、具有一个或多个期望数据速率的数据流。
在实时编码和传送的情况下，可以单独地执行每个场景部分的编码。在要支持多个数据速率的情况下，在各种实施例中，多个编码器并行操作以产生场景部分的经编码版本，其中每个编码器产生场景部分的具有不同位速率的版本。因此，在至少一些实施例中，与相同场景部分相对应的多个流可用于传送至回放设备。
如以下将进一步讨论的，向不同的客户提供与360度场景区域的相同或不同部分相对应的不同流，这取决于：i)他们的头部位置，例如相对于标称0度前方观看位置他们的头部面向什么角度，以及2)可用于将内容流传输至客户的数据速率。
通常，除了一个或多个部分之外，向每个用户提供前面部分，例如至少120度前面部分。在一些实施例中，前面部分以最高质量水平提供，可用的数据速率将允许另外部分的至少低数据速率版本的传送。因此，在给定的时间段期间，用户将接收与至少两个不同图像部分相对应的内容，其中图像部分潜在地对应于可以在应用于单个场景部分的分辨率、帧速率和/或数据压缩量中所反映的不同质量水平。在一段时间期间提供哪些部分将取决于从回放设备(例如诸如游戏机和/或头戴式显示器的客户驻地(premise)设备)接收的所指示的观看角度。
当用户转动他/她的头部时，哪些图像部分被流传输至用户的回放设备可以随着回放设备被供给观看者头部指向的场景部分以及与由所报告的头部观看角度指示的正在观看的场景部分相邻的至少一个场景部分而变化。以这种方式，如果用户转动他/她的头部，回放设备应当具有容易可用的需要被显示的场景信息。
通过根据头部位置控制流传输，不需要一直流传输整个360度场景，这导致比出于流传输的目的给定相同优先级的360场景的所有部分的情况更高效的有限带宽的使用。
在一些实施例中，场景被分割成N个相等大小的部分，例如在图2的示例中的90度部分，虽然可以向用户供给与任何给定时间处的相同大小的观看区域(例如180度观看区域)相对应的许多部分，但是供给哪些部分将根据用户的观看角度变化。在这样的实施例中，由回放设备处理的部分的数量随着时间保持相对恒定，但是根据观看角度供给不同的部分。
附图说明
图1例示根据本发明的一些实施例实现的示例性系统。
图2A例示还没有被分割的示例性立体场景，例如完整的360度立体场景。
图2B例示根据一个示例性实施例已被分割成3个示例性场景的示例性立体场景。
图2C例示根据一个示例性实施例已被分割成4个场景的示例性立体场景。
图3例示根据一个示例性实施例对示例性360度立体场景进行编码的示例性处理。
图4例示示出如何使用多种编码器对输入图像部分进行编码以生成相同输入图像部分的不同经编码版本的示例。
图5例示已被分割成3个部分的输入立体场景的存储的经编码部分。
图6是例示根据使用图1的系统实现的示例性实施例对内容进行流传输的示例性方法的步骤的流程图。
图7例示根据本发明的特征具有可以被用于对内容进行编码和流传输的编码能力的示例性内容递送系统。
图8例示可以被用于接收、解码并且显示由图7的系统流传输的内容的示例性内容回放设备。
具体实施方式
图1例示根据本发明的一些实施例实现的示例性系统100。系统900支持内容递送(例如成像内容递送)至位于客户驻地处的一个或多个客户设备，例如回放设备/内容播放器。系统900包括示例性图像捕获设备102、内容递送系统104、通信网络105以及多个客户驻地106，…，110。图像捕获设备102支持立体影像的捕获。图像捕获设备102根据本发明的特征捕获并且处理成像内容。通信网络105可以是例如混合光纤同轴(HFC)网络、卫星网络和/或因特网。
内容递送系统104包括编码装置112和内容流传输设备/服务器114。编码装置112可以并且在一些实施例中确实包括用于根据本发明对图像数据进行编码的一个或多个编码器。编码器可以被并行使用，以对场景的不同部分进行编码和/或对场景的给定部分进行编码以生成具有不同数据速率的经编码版本。当要支持实时或者近乎实时的流传输时，并行使用多个编码器可以特别有用。
内容流传输设备114被配置为流传输(例如传送)经编码的内容，以用于将经编码的图像内容例如通过通信网络105递送至一个或多个客户设备。经由网络105，内容递送系统104可以发送信息和/或与位于客户驻地106、110处的设备交换信息，如图中由穿越通信网络105的链路120所代表的那样。
虽然编码装置112和内容递送服务器在图1示例中被示为单独的物理设备，但是在一些实施例中，它们作为对内容进行编码和流传输的单一设备来实现。编码处理可以是3d(例如立体)图像编码处理，其中与场景部分的左眼和右眼视野相对应的信息被编码并且包括在经编码的图像数据中，使得可以支持3D图像观看。所使用的特定的编码方法对于本申请不是关键的，并且广范围的编码器可以被用作或者用于实现编码装置112。
每个客户驻地106、110可以包括多个设备/播放器(例如解码装置)，以解码并且回放/显示由内容流传输设备114流传输的成像内容。客户驻地1 106包括耦合到显示设备124的解码装置/回放设备122，而客户驻地N 110包括耦合到显示设备128的解码装置/回放设备126。在一些实施例中，显示设备124、128是头戴式立体显示设备。
在各种实施例中，解码装置122、126在对应的显示设备124、128上展现成像内容。解码装置/播放器122、126可以是能够对从内容递送系统104接收的成像内容进行解码，使用经解码的内容生成成像内容，并且在显示设备124、128上呈现(render)成像内容(例如3D图像内容)的设备。解码装置/回放设备122、126的任何一个可以被用作图8中所示的解码装置/回放设备800。诸如图8中所例示的设备的系统/回放设备可以被用作解码装置/回放设备122、126的任何一个。
图2A例示还没有被分割的示例性立体场景200，例如完整的360度立体场景。立体场景可能并且通常是将从经常安装在单一视频捕获平台或者摄像机座上的多个摄像机(例如视频摄像机)捕获的图像数据组合的结果。
图2B例示根据一个示例性实施例的示例性立体场景200的经分割版本250，其中场景已被分割成3(N＝3)个示例性部分，例如前面180度部分、左后90度部分和右后90度部分。
图2C例示根据一个示例性实施例的已被分割成4(N＝4)个部分的示例性立体场景200的另一个经分割版本280。
虽然图2B和2C示出两个示例性分割，但是应当意识到，其它分割是可能的。例如场景200可以被分割成十二(n＝12)个30度部分。在一个这样的实施例中，不是对每个分割进行单个编码，而是多个分割被分组(group)在一起并且作为分组来编码。分割的不同分组可以被赋予并且流传输至用户，其中每个分组的大小在场景的总度数上是相同的，但是对应于图像的不同部分，该图像的不同部分可以根据用户的头部位置(例如在0至360度的尺度上测量的观看角度)而被流传输。
图3例示根据一个示例性实施例对示例性360度立体场景进行编码的示例性处理。图3中所示的方法300的输入包括由例如被布置以捕获场景的360度视野的多个摄像机所捕获的360度立体图像数据。立体图像数据(例如立体视频)可以是多种已知格式的任何一种，并且在大多数实施例中包括用于允许3D体验的左眼和右眼图像数据。虽然该方法特别好地适合于立体视频，但是这里所描述的技术和方法也可以被应用于例如360度或小的场景区域的2D图像。
在步骤304中，场景数据302被分割成与不同的场景区域(例如与不同的观看方向相对应的N个场景区域)相对应的数据。例如在诸如图2B中所示的实施例的一个实施例中，360度场景被分割成三个分割，与90度部分相对应的左后部分、前面180度部分以及右后90度部分。不同的部分可以由不同的摄像机捕获，但这不是必须的，并且实际上，360度场景在如图2B和2C中所示的那样被划分成N个场景区域之前可以从自多个摄像机捕获的数据构造。
在步骤306中，根据本发明对与不同场景部分相对应的数据进行编码。在一些实施例中，每个场景部分由多个编码器独立地编码以支持每个部分的多个可能的位速率流。在步骤308中，经编码的场景部分被存储在例如内容递送104中，以用于流传输至客户回放设备。
图4是例示示出如何使用多种编码器对输入图像部分(例如场景的180度前面部分)进行编码以生成相同输入图像部分的不同经编码版本的示例的图400。
如图400中所示，输入的场景部分402(例如场景的180度前面部分)被供给到多个编码器以用于编码。在示例中，存在K个不同的编码器，该K个不同的编码器以不同的分辨率并且使用不同的编码技术对输入数据进行编码以生成经编码的数据来支持图像内容的不同数据速率流。K个的多个编码器包括高清晰度(HD)编码器1 404、标准清晰度(SD)编码器2406、降低帧速率SD编码器3 408，…，以及高压缩降低帧速率SD编码器K 410。
HD编码器1 404被配置为执行全高清晰度(HD)编码以产生高位速率HD编码图像412。SD编码器2 406被配置为执行低分辨率标准清晰度编码以产生输入图像的SD编码版本2 414。降低帧速率SD编码器3 408被配置为执行降低帧速率低分辨率SD编码以产生输入图像的降低速率SD编码版本3 416。经降低的帧速率可以是例如由SD编码器2 406用于编码的帧速率的一半。高压缩降低帧速率SD编码器K 410被配置为以高压缩执行降低帧速率低分辨率SD编码，以产生输入图像的高度压缩降低速率SD编码版本K 420。
因此，应当意识到，空间和/或时间分辨率的控制可以被用于产生不同数据速率的数据流，并且诸如数据压缩水平的其它编码器设置的控制也可以被独自地或者除了空间和/或时间分辨率的控制之外使用，以产生与场景部分相对应的、具有一个或多个期望数据速率的数据流。
图5例示已被分割成3个示例性部分的输入立体场景的存储的经编码部分500。所存储的经编码部分可以存储在内容递送系统104中，例如作为存储器中的数据/信息。立体场景的所存储的经编码部分500包括不同的3组经编码部分，其中每个部分对应于不同的场景区域并且每组包括对应的场景部分的多个不同的经编码版本。每个经编码版本是经编码视频数据的版本，并且因此代表已被编码的多个帧。应当意识到，作为视频的每个经编码版本510、512、516对应于多段时间，并且当流传输时正在被回放的该段时间相对应的部分(例如帧)将用于传送目的。
如以上关于图4所例示和讨论的，可以使用多个不同的编码器对每个场景部分(例如前面、后面场景部分)进行编码以产生相同场景部分的K个不同的版本。与给定的输入场景相对应的每个编码器的输出被分组在一起作为一组并且被存储。第一组经编码的场景部分502对应于前面180度场景部分，并且包括前面180度场景的经编码版本1 510、经编码版本2 512、…以及经编码版本K 516。第二组经编码的场景部分504对应于场景部分2(例如90度左后场景部分)，并且包括90度左后场景部分的经编码版本1 520、90度左后场景部分的经编码版本2 522、…以及经编码版本K 526。类似地，第三组经编码的场景部分506对应于场景部分3(例如90度右后场景部分)，并且包括90度右后场景部分的经编码版本1 530、90度右后场景部分的经编码版本2 532、…以及经编码版本K 536。
可以使用360度场景的各种不同的所存储的经编码部分来生成各种不同位速率流以用于发送到客户回放设备。
图6是例示根据示例性实施例提供图像内容的示例性方法的步骤的流程图600。流程图600的方法在一些实施例中使用图1中所示的捕获系统来实现。
方法在步骤602中例如以递送系统被上电并且初始化开始。方法从开始步骤602继续进行到步骤604。在步骤604中，内容递送系统104(例如系统104内的服务器114)接收对于内容的请求，例如对于以前经编码的节目的请求，或者在一些情况下对于例如在事件仍在进行中的同时正被实时或者近乎实时地编码和流传输的直播事件的请求。
响应于请求，在步骤604中，服务器114确定可用于递送的数据速率。数据速率可以从包括在请求中、指示支持的数据速率的信息和/或从诸如指示可用于将内容递送至请求设备的最大带宽的网络信息的其它信息来确定。如应当意识到的，可用的数据速率可以根据网络负载而变化并且可以在内容正被流传输的该段时间期间改变。改变可以由用户设备报告或者从指示分组正被丢弃或者延迟超过期望的时间量(其指示网络难以支持正被使用的数据速率并且当前可用的数据速率低于被确定可供使用的原始数据速率)的消息或信号检测。
操作从步骤608继续进行到步骤608，在步骤608中对于内容的请求从其初始化的用户设备的当前头部位置(例如请求时的当前头部位置)将是0度位置。0度或者向前看的位置在一些实施例中可以由用户利用回放设备发信号通知重新初始化将发生来被重新初始化。随着时间过去，用户的头部位置和/或用户的头部位置例如相对于原始头部位置的改变被报告给内容递送系统104，并且经更新的位置如以下将讨论的那样被使用以做出内容递送决策。
操作从步骤608继续进行到步骤610，在步骤610中发送与所请求的内容相对应的360度场景的部分来初始化回放设备。在至少一些实施例中，初始化涉及发送场景数据的完整的360度集合，例如N个部分，其中360度场景被划分成N个部分。
作为步骤610中初始化的结果，回放设备将具有与360度可能观看区域的不同部分中的每一个相对应的场景数据。因此，如果回放设备的用户突然转到后方，则至少一些数据将可用于显示给用户，即使它不像用户在转动他的头部之前正在观看的部分一样是最新的。
操作从步骤610继续进行到步骤612和步骤622。步骤622对应于全局场景更新路径，该全局场景更新路径被用于确保每个全局更新时段回放设备接收整个360度场景的经更新版本至少一次。在已在步骤610中初始化的情况下，全局更新处理在等待步骤622中延迟长达预先确定的一段时间。然后，在步骤624中，执行360度场景更新。虚线箭头613代表信息的传递，在该传递上，在与步骤622相对应的辅助时段期间，场景部分被传递至回放设备。在步骤624中，可以传送整个360度场景。然而，在一些实施例中，不是所有的部分在步骤624中传送。在一些实施例中，在等待时段622期间被更新的场景的部分从步骤624中执行的更新中省略，因为它们在基于用户的头部位置发送场景的至少一些部分的正常流传输处理期间已经被刷新。
操作从步骤624继续进行返回到等待步骤622，在等待步骤622中在下一个全局更新之前执行等待。应当意识到，通过调整在步骤622中使用的等待时段，可以支持不同的全局刷新速率。在一些实施例中，内容服务器基于正被提供的场景内容的类型来选择等待时段并且因此选择全局参考时段。在体育赛事(其中主要的动作在朝前面向(forwardfacing)的区域中并且刷新的原因之一是室外照明条件的可能改变)的情况下，等待时段可以相对长，例如一分钟或几分钟的数量级。在摇滚音乐会(其中当演奏不同的歌曲时，人群中的动作和活动可以频繁地改变)的情况下，全局刷新速率可能并且有时高于体育赛事，因为用户可能想要转动并看到人群的反应，并且获得对于除了在前方舞台观看区域中正在进行的事情之外在人群中正在进行的事情的感受。
在一些实施例中，全局参考时段根据正在被流传输的展现的部分而改变。例如，在体育赛事的比赛部分期间，全局刷新速率可以相对低，但是在触地得分之后的时刻期间或者在暂停时间或中场休息期间(在此期间在赛事现场的或者经由回放设备观看赛事的人更有可能从前方的主区域转动他或她的头部)，全局参考速率可以并且在一些实施例中确实，通过减少在步骤622中使用的等待例如刷新时段控制而增加。
虽然已参考步骤622和624描述了全局刷新处理，但是场景的部分的正常供给被描述。如应当意识到的，场景或者场景部分的正常刷新将针对至少一个部分、允许的数据速率、以支持的视频帧速率而发生。因此，关于至少一个帧部分，例如他或她的头部被指示正面向的部分，将以全视频流传输帧速率被供给，假设可用的数据速率是足够的。
在步骤612中，基于指示的用户的头部位置(例如观看角度)选择场景部分来提供。所选择的部分例如周期性地被传送(例如流传输)至回放设备。对与部分相对应的数据进行流传输的速率在一些实施例中取决于视频帧速率。例如，至少一个所选择的部分将以正被支持的全帧速率进行流传输。虽然在步骤612中选择至少一个场景部分，但是通常选择多个场景部分，例如用户正面向的场景部分以及下一个最近的场景部分。如果可用的数据速率对于支持多个帧部分的传递是足够的，那么也可以选择并且供给另外的场景部分。
在步骤612中选择要被流传输的场景部分之后，操作继续进行到步骤614，在步骤614中例如基于可用的数据速率和用户的观看位置选择所选择的流部分的经编码版本。例如，由当前报告的头部位置所指示的用户正面向的场景部分的全速率高分辨率版本可以并且通常将被流传输。可以选择当前头部位置的左侧和/或右侧的一个多个场景部分以较低的分辨率、较低的时间速率或者使用减少传送当前没有正被观看的场景区域所需要的带宽量的另一种编码方法进行流传输。相邻场景部分的经编码版本的选择将取决于传送当前正被观看的场景部分的高质量版本之后剩余的带宽量。虽然当前没有正被观看的场景部分可以作为较低分辨率的经编码版本或者作为帧之间具有较大时间距离的经编码版本发送，但是如果存在足够的可用带宽，则可以周期性地或者频繁地发送全分辨率高质量版本。
在步骤616中，将所选择场景部分的所选择的经编码版本发送给请求内容的回放设备。因此，在步骤616中，与一个或多个部分相对应的经编码内容(例如与多个连续帧相对应的立体视频内容)被流传输至回放设备。
操作从步骤616继续进行到步骤618，在步骤618中接收指示用户的当前头部位置的信息。该信息可以周期性地和/或响应于检测到头部位置的改变而从回放设备发送。除了头部位置的改变之外，可用数据速率的改变也可以影响对什么内容进行流传输。操作从步骤618继续进行到步骤620，在步骤620中确定可以用于内容递送至回放设备的当前数据速率。因此，内容递送系统可以检测可用于支持流传输至请求设备的带宽量的改变。
随着流传输继续，操作从步骤620继续进行到步骤612，直到内容被完整地递送(例如节目或赛事结束)，或者直到从请求内容的回放设备接收到指示会话将终止的信号或检测到从回放设备接收诸如头部位置更新这样的期望信号失败(其指示回放设备不再与内容服务器114通信)。
如果用户快速地转动他或她的头部，则从以上述方式递送的场景数据中，回放设备将具有与每个场景部分相对应的、对它可用以进行显示的至少一些数据。应当意识到，用户很少在非常短的一段时间中将他们的头部完全转向，因为这对于许多人来讲是观看位置的不舒服的改变。因此，虽然可以不一直传送完整的360度场景，但是在任何给定时间最有可能被观看的场景部分的高质量版本可以被流传输并且使得对用户可用。
内容递送系统104可以支持大量的并发用户，因为编码处理允许场景的N个部分对不同的用户不同地传送和处理，而不必对于每单个用户对内容单独地进行编码。因此，虽然许多并行编码器可以被用于支持实时编码以允许体育或其它事件的实时或者近乎实时的流传输，但是所使用的编码器的数量倾向于比内容流传输到的回放设备的数量少得多。
虽然内容的部分被描述为与360度视野相对应的部分，但是应当意识到，场景可以并且在一些实施例中确实代表同样具有垂直维度的空间的平坦(flatten)版本。回放设备能够使用3d环境(例如空间)的模型映射场景部分，并且针对垂直观看位置进行调整。因此，在本申请中所讨论的360度是指相对于水平面的头部位置，就好像用户在保持他的注视水平的同时向左或者向右改变他的观看角度一样。
图7例示根据本发明的特征具有可以被用于对内容进行编码和流传输的编码能力的示例性内容递送系统700。
根据本发明的特征，系统可以被用于执行编码、存储和传送和/或内容输出。在一些实施例中，系统700或者其中的元件执行与图6中所例示的处理相对应的操作。内容递送系统700可以被用作图1的系统104。虽然图7中所示的系统被用于内容的编码、处理和流传输，但是应当意识到，系统700也可以包括对经处理和/或经编码的图像数据进行解码并且显示给例如操作员的能力。
系统700包括显示器702、输入设备704、输入/输出(I/O)接口706、处理器708、网络接口710和存储器712。系统700的各种组件经由总线709耦合在一起，总线709允许数据在系统700的组件之间进行传递。
存储器712包括各种模块，例如例程(routine)，当由处理器708执行时其控制系统700实现根据本发明的分割、编码、存储和流传输/传送和/或输出操作。
存储器712包括各种模块，例如例程，当由处理器707执行时其控制计算机系统700实现根据本发明的沉浸式立体视频获取、编码、存储和传送和/或输出方法。存储器712包括控制例程714、分割模块706、编码器718、流传输控制器720、接收到的输入图像732(例如场景的360度立体视频)、经编码的场景部分734和定时信息736。在一些实施例中，模块作为软件模块实现。在其它实施例中，模块以硬件例如作为单个电路实现，其中每个模块作为用于执行该模块相对应的功能的电路来实现。在还其它的实施例中，模块使用软件和硬件的组合来实现。
控制例程714包括用于控制系统700的操作的设备控制例程和通信例程。分割模块716被配置为根据本发明的特征将接收到的场景的立体360度版本分割成N个场景部分。
编码器718可以并且在一些实施例中确实包括多个编码器，该多个编码器被配置为根据本发明的特征对接收到的图像内容(例如场景的360度版本和/或一个或多个场景部分)进行编码。在一些实施例中，编码器包括多个编码器，其中每个编码器被配置为对立体场景和/或经分割的场景部分进行编码以支持给定的位速率流。因此，在一些实施例中，可以使用多个编码器对每个场景部分进行编码以支持每个场景的多个不同位速率流。编码器718的输出是经编码的场景部分734，该经编码的场景部分734被存储在存储器中以用于流传输至客户设备，例如回放设备。经编码的内容可以经由网络接口710被流传输至一个或多个不同的设备。
流传输控制器720被配置为控制经编码内容的流传输以用于将经编码的图像内容例如通过通信网络105递送至一个或多个客户设备。在各种实施例中，流程图600的各个步骤由流传输控制器720的元件实现。流传输控制器720包括请求处理模块722、数据速率确定模块724、当前头部位置确定模块726、选择模块728以及流传输控制模块730。请求处理模块722被配置为处理从客户回放设备接收到的对于成像内容的请求。对于内容的请求在各种实施例中经由网络接口710中的接收器接收。在一些实施例中，对于内容的请求包括指示请求回放设备的身份(identity)的信息。在一些实施例中，对于内容的请求可以包括由客户回放设备支持的数据速率、用户的当前头部位置(例如头戴式显示器的位置)。请求处理模块722处理接收到的请求并且将取得(retrieve)的信息提供给流传输控制器720的其它元件以采取进一步的动作。虽然对于内容的请求可以包括数据速率信息和当前头部位置信息，但是在各种实施例中，由回放设备支持的数据速率可以从网络测试以及在系统700与回放设备之间的其它网络信息交换来确定。
数据速率确定模块724被配置为确定可以被用于将成像内容流传输至客户设备的可用数据速率，例如由于支持多个经编码的场景部分，所以内容递送系统700可以支持将内容以多个数据速率流传输至客户设备。数据速率确定模块724还被配置为确定由从系统700请求内容的回放设备所支持的数据速率。在一些实施例中，数据速率确定模块724被配置为基于网络测量确定用于图像内容的递送的可用数据速率。
当前头部位置确定模块726被配置为从接收自回放设备的信息确定用户的当前观看角度和/或当前头部位置，例如头戴式显示器的位置。在一些实施例中，回放设备将当前头部位置信息周期性地发送给系统700，在系统700中当前头部位置确定模块726接收并且处理信息以确定当前观看角度和/或当前头部位置。
选择模块728被配置为基于用户的当前观看角度/头部位置信息确定360度场景的哪些部分要流传输至回放设备。选择模块728还被配置为基于对支持内容的流传输可用的数据速率选择经确定的场景部分的经编码版本。
流传输控制模块730被配置为根据本发明的特征控制图像内容(例如360度立体场景的多个部分)以各种支持的数据速率的流传输。在一些实施例中，流传输控制模块730被配置为控制将360度立体场景的N个部分流传输至请求内容的回放设备，以初始化回放设备中的场景存储器。在各种实施例中，流传输控制模块730被配置为周期性地例如以确定的速率发送经确定的场景部分的所选择的经编码版本。在一些实施例中，流传输控制模块730还被配置为根据时间间隔(例如每分钟一次)将360度场景更新发送给回放设备。在一些实施例中，发送360度场景更新包括发送完整的360度立体场景的N个场景部分或者N-X个场景部分，其中N是完整的360度立体场景已被分割成的部分的总数量，并且X代表所选择的最近发送给回放设备的场景部分。在一些实施例中，流传输控制模块730在最初发送N个场景部分以用于初始化之后、在发送360度场景更新之前等待预先确定的时间。在一些实施例中，用于控制360度场景更新的发送的定时信息被包括在定时信息736中。在一些实施例中，流传输控制模块730还被配置为识别在刷新间隔期间还没有被传送至回放设备的场景部分；以及传送所识别的在刷新间隔期间还没有被传送至回放设备的场景部分的经更新版本。
在各种实施例中，流传输控制模块730被配置为将至少足够数量的N个部分周期性地传递至回放设备，以允许回放设备在每个刷新时段期间完整地刷新所述场景的360度版本至少一次。
图8例示根据本发明实现的计算机系统/回放设备800，该计算机系统/回放设备800可以被用于接收、解码、存储并且显示从诸如图1和7中所示的系统的内容递送系统接收到的成像内容。回放设备可以与可以作为头戴式显示器805的诸如OCULUS RIFTTM VR(虚拟现实)头盔的3d头戴式显示器一起使用。设备800包括对接收到的经编码图像数据进行解码并且生成3D图像内容以用于显示给客户的能力。回放设备在一些实施例中位于诸如家或者办公室的客户驻地位置处，但是也可以位于图像捕获地点处。设备800可以根据本发明执行信号接收、解码、显示和/或其它操作。
设备800包括显示器802、显示设备接口803、输入设备804、输入/输出(I/O)接口806、处理器808、网络接口810和存储器812。回放设备800的各种组件经由总线809耦合在一起，总线809允许数据在系统800的组件之间传递。虽然在一些实施例中显示器802如使用虚线框所例示的那样作为可选元件被包括，但是在一些实施例中，外部显示设备805(例如头戴式立体显示设备)可以经由显示设备接口803耦合到回放设备。
存储器812包括各种模块，例如例程，当由处理器808执行时其控制回放设备800根据本发明进行解码和输出操作。存储器812包括控制例程814、内容请求生成模块816、头部位置和/或观看角度确定模块818、解码器模块820、立体图像呈现模块822(也被称作3D图像生成模块)以及数据/信息，该数据/信息包括接收到的经编码图像内容824、经解码图像内容826、360度经解码场景缓冲828以及所生成的立体内容830。
控制例程814包括用于控制设备800的操作的设备控制例程和通信例程。请求生成模块816被配置为生成对于内容的请求以发送到用于提供内容的内容递送系统。对于内容的请求在各种实施例中经由网络接口810发送。头部位置和/或观看角度确定模块818被配置为确定用户的当前观看角度和/或当前头部位置(例如头戴式显示器的位置)，并且将经确定的位置和/或观看角度信息报告给内容递送系统700。在一些实施例中，回放设备800周期性地发送当前头部位置信息到系统700。
解码器模块820被配置为对从内容递送系统700接收到的经编码的图像内容824进行解码，以产生经解码的图像数据826。经解码的图像数据826可以包括经解码的立体场景和/或经解码的场景部分。
3D图像呈现模块822根据本发明的特征例如使用经解码的图像内容826生成3D图像，以用于在显示器802和/或显示设备805上显示给用户。所生成的立体图像内容830是3D图像生成模块822的输出。因此，呈现模块822将3D图像内容830呈现给显示器。在一些实施例中，显示设备805可以是诸如oculus rift的3D显示器。回放设备800的操作员可以选择要被执行的操作(例如选择显示3D场景)和/或经由输入设备804控制一个或多个参数。
一些实施例针对包含用于控制计算机或其它设备对立体视频进行编码和压缩的一组软件指令(例如计算机可执行指令)的非暂时性计算机可读介质。其它实施例是针对包含用于控制计算机或其它设备对播放器端上的视频进行解码和解压缩的一组软件指令(例如计算机可执行指令)的计算机可读介质的实施例。虽然编码和压缩作为可能单独的操作而被提及，但是应当意识到，编码可以被用于执行压缩，并且因此编码可以在一些中包括压缩。类似地，解码可以涉及解压缩。
可以使用软件、硬件和/或软件和硬件的组合来实现各种实施例的技术。各种实施例针对装置，例如图像数据处理系统。各种实施例也针对方法，例如处理图像数据的方法。各种实施例也针对非暂时性机器(例如计算机)可读介质，例如ROM、RAM、CD、硬盘等，其包括用于控制机器实现方法的一个或多个步骤的机器可读指令。
本发明的各种特征使用模块来实现。这样的模块可以并且在一些实施例中确实作为软件模块实现。在其它实施例中，模块以硬件实现。在还其它的实施例中，模块使用软件和硬件的组合来实现。在一些实施例中，模块作为单个的电路来实现，其中每个模块作为用于执行该模块相对应的功能的电路来实现。考虑各种各样的实施例，包括其中不同模块被不同地实现(例如一些以硬件实现，一些以软件实现，并且一些使用硬件和软件的组合实现)的实施例。还应当注意，例程和/或子例程，或者由这样的例程所执行的步骤中的一些，可以以与在通用处理器上执行的软件相对的专用硬件实现。这样实施例仍然在本发明的范围内。上述方法或者方法步骤中的许多可以使用包括在诸如存储设备(例如RAM、软盘等)的机器可读介质中的诸如软件的机器可执行指令来实现，以控制机器(例如具有或者不具有另外硬件的通用计算机)实现上述方法的全部或部分。因此，除了别的之外，本发明针对包括机器可执行指令的机器可读介质，该机器可执行指令用于使机器(例如处理器和相关联的硬件)执行上述方法的步骤中的一个或多个。
考虑到以上描述，关于上述各种实施例的方法和装置的许多另外的变型对于本领域技术人员将是明显的。这样的变型被视为在范围内。

Claims (14)

1.一种递送与360度场景相对应的内容的方法，该方法包括：
将所述360度场景分割成N个的多个部分；
确定用户的当前观看角度；以及
基于所述用户的当前观看角度确定在第一时间间隔期间所述N个部分中的哪些要流传输到与所述用户相对应的回放设备。
2.根据权利要求1所述的方法，其中，
基于所述用户的当前观看角度确定在时间间隔期间所述N个部分中的哪些要流传输到与所述用户相对应的回放设备包括：
选择所述360度场景的至少两个不同部分以在所述第一时间间隔期间被流传输到所述用户。
3.根据权利要求2所述的方法，其中，基于所述用户的当前观看角度确定在时间间隔期间所述N个部分中的哪些要流传输到与所述用户相对应的回放设备包括：
基于可用于将内容流传输到用户的数据速率确定许多不同的部分要进行流传输。
4.根据权利要求2所述的方法，其中，选择所述360度场景的至少两个不同部分以在所述第一时间间隔期间被流传输到所述用户包括：
选择所述当前观看角度相对应的第一场景部分；和
选择与所述第一场景部分直接相邻的第二场景部分。
5.根据权利要求4所述的方法，其中所述第二场景部分根据观看角度来选择，所述第二场景部分为最接近由所述观看角度指示的所述第一场景部分内的角度、与所述第一场景部分相邻的场景部分。
6.根据权利要求3所述的方法，进一步包括：
基于可用于对内容进行流传输的当前数据速率确定所述第二场景部分的多个版本中的哪些要进行流传输。
7.根据权利要求4所述的方法，其中，所述第一场景部分对应于360度场景的至少120度；并且
其中，所述第二场景部分对应于至少30度场景部分。
8.根据权利要求7所述的方法，其中，所述确定许多不同的部分要进行流传输的步骤包括确定要对至少三个不同的部分进行流传输；并且
其中，所述至少三个不同的场景部分组合起来覆盖360度场景的至少170度。
9.根据权利要求1所述的方法，进一步包括：
周期性地将至少足够数量的N个部分传递到所述回放设备，以允许回放设备在每个刷新时段期间完整地刷新所述场景的360度版本至少一次。
10.根据权利要求8所述的方法，进一步包括：
识别在刷新间隔期间还没有被传送到回放设备的场景部分；和
传送所识别的在刷新间隔期间没有被传送到回放设备的场景部分的更新版本。
11.一种用于递送与360度场景相对应的内容的内容递送装置，包括：
分割模块，该分割模块被配置为将所述360度场景分割成N个的多个部分；
当前观看角度确定模块，该当前观看角度确定模块被配置为确定用户的当前观看角度；以及
选择模块，该选择模块被配置为基于所述用户的当前观看角度确定在第一时间间隔期间所述N个部分中的哪些要流传输到与所述用户相对应的回放设备。
12.根据权利要求11所述的内容递送装置，
其中，所述选择模块进一步被配置为作为确定在第一时间间隔期间所述N个部分中的哪些要流传输到与所述用户相对应的回放设备的一部分，选择所述360度场景的至少两个不同的部分以在所述第一时间间隔期间被流传输到所述用户。
13.根据权利要求12所述的内容递送装置，其中，所述选择模块进一步被配置为基于可用于将内容流传输到用户的数据速率确定许多不同的部分要进行流传输。
14.一种用于在内容递送装置中使用的非暂时性计算机可读介质，该内容递送装置用于递送与360度场景相对应的内容，该非暂时性计算机可读介质包括：
用于使至少一个处理器将所述360度场景分割成N个的多个部分的指令；
用于使所述至少一个处理器确定用户的当前观看角度的指令；以及
用于使所述至少一个处理器基于所述用户的当前观看角度确定在第一时间间隔期间所述N个部分中的哪些要流传输到与所述用户相对应的回放设备的指令。
CN201580011475.3A 2014-03-03 2015-03-02 用于对内容进行流传输的方法和装置 Pending CN106063277A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201461947312P 2014-03-03 2014-03-03
US61/947,312 2014-03-03
US14/252,289 2014-04-14
US14/252,289 US9699437B2 (en) 2014-03-03 2014-04-14 Methods and apparatus for streaming content
PCT/US2015/018336 WO2015134400A1 (en) 2014-03-03 2015-03-02 Methods and apparatus for streaming content

Publications (1)

Publication Number Publication Date
CN106063277A true CN106063277A (zh) 2016-10-26

Family

ID=54007355

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580011475.3A Pending CN106063277A (zh) 2014-03-03 2015-03-02 用于对内容进行流传输的方法和装置

Country Status (6)

Country Link
US (3) US9699437B2 (zh)
EP (1) EP3114844A4 (zh)
JP (1) JP2017514411A (zh)
KR (1) KR20170008725A (zh)
CN (1) CN106063277A (zh)
WO (1) WO2015134400A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108401167A (zh) * 2017-02-08 2018-08-14 三星电子株式会社 用于视频回放的电子设备和服务器
WO2019024521A1 (zh) * 2017-07-31 2019-02-07 华为技术有限公司 一种图像的处理方法、终端和服务器
CN109923868A (zh) * 2016-11-08 2019-06-21 三星电子株式会社 显示装置及其控制方法
WO2021109397A1 (en) * 2020-04-10 2021-06-10 Zte Corporation Rank information in immersive media processing
CN113055587A (zh) * 2019-12-27 2021-06-29 财团法人工业技术研究院 全景视频处理方法、全景视频处理装置与全景视频系统
CN113966600A (zh) * 2019-05-20 2022-01-21 弗劳恩霍夫应用研究促进协会 沉浸式媒体内容呈现和交互式360°视频通信

Families Citing this family (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10027948B2 (en) 2014-05-20 2018-07-17 Nextvr Inc. Methods and apparatus including or for use with one or more cameras
US20160150212A1 (en) * 2014-11-26 2016-05-26 Sony Corporation Live selective adaptive bandwidth
US10531071B2 (en) 2015-01-21 2020-01-07 Nextvr Inc. Methods and apparatus for environmental measurements and/or stereoscopic image capture
US9832449B2 (en) 2015-01-30 2017-11-28 Nextvr Inc. Methods and apparatus for controlling a viewing position
US10362290B2 (en) 2015-02-17 2019-07-23 Nextvr Inc. Methods and apparatus for processing content based on viewing information and/or communicating content
EP3259739A4 (en) 2015-02-17 2018-08-29 NEXTVR Inc. Methods and apparatus for generating and using reduced resolution images and/or communicating such images to a playback or content distribution device
US9865055B2 (en) 2015-02-24 2018-01-09 Nextvr Inc. Calibration for immersive content systems
US9894350B2 (en) 2015-02-24 2018-02-13 Nextvr Inc. Methods and apparatus related to capturing and/or rendering images
US10038889B2 (en) 2015-03-01 2018-07-31 Nextvr Inc. Methods and apparatus for requesting, receiving and/or playing back content corresponding to an environment
GB2536025B (en) 2015-03-05 2021-03-03 Nokia Technologies Oy Video streaming method
US20170006219A1 (en) 2015-06-30 2017-01-05 Gopro, Inc. Image stitching in a multi-camera array
US9836845B2 (en) 2015-08-25 2017-12-05 Nextvr Inc. Methods and apparatus for detecting objects in proximity to a viewer and presenting visual representations of objects in a simulated environment
US10694249B2 (en) * 2015-09-09 2020-06-23 Vantrix Corporation Method and system for selective content processing based on a panoramic camera and a virtual-reality headset
US12063380B2 (en) 2015-09-09 2024-08-13 Vantrix Corporation Method and system for panoramic multimedia streaming enabling view-region selection
US11287653B2 (en) 2015-09-09 2022-03-29 Vantrix Corporation Method and system for selective content processing based on a panoramic camera and a virtual-reality headset
US11108670B2 (en) 2015-09-09 2021-08-31 Vantrix Corporation Streaming network adapted to content selection
US10419770B2 (en) 2015-09-09 2019-09-17 Vantrix Corporation Method and system for panoramic multimedia streaming
US10379601B2 (en) * 2015-09-10 2019-08-13 Google Llc Playing spherical video on a limited bandwidth connection
US10848582B2 (en) * 2015-09-11 2020-11-24 Amazon Technologies, Inc. Customizable event-triggered computation at edge locations
CN106612426B (zh) * 2015-10-26 2018-03-16 华为技术有限公司 一种多视点视频传输方法及装置
CN106937135A (zh) * 2015-12-31 2017-07-07 幸福在线（北京）网络技术有限公司 一种游戏场景的实时播放方法及相关装置和系统
CN106937128A (zh) * 2015-12-31 2017-07-07 幸福在线（北京）网络技术有限公司 一种视频直播方法、服务器及系统和相关用途
US9992502B2 (en) 2016-01-29 2018-06-05 Gopro, Inc. Apparatus and methods for video compression using multi-resolution scalable coding
US10291910B2 (en) 2016-02-12 2019-05-14 Gopro, Inc. Systems and methods for spatially adaptive video encoding
US10484621B2 (en) 2016-02-29 2019-11-19 Gopro, Inc. Systems and methods for compressing video content
CN105791882B (zh) 2016-03-22 2018-09-18 腾讯科技（深圳）有限公司 视频编码方法及装置
GB2548860A (en) 2016-03-31 2017-10-04 Nokia Technologies Oy Multi-camera image coding
CN109891906B (zh) * 2016-04-08 2021-10-15 维斯比特股份有限公司 递送360°视频流的系统和方法
US10645362B2 (en) 2016-04-11 2020-05-05 Gopro, Inc. Systems, methods and apparatus for compressing video content
US11228754B2 (en) 2016-05-06 2022-01-18 Qualcomm Incorporated Hybrid graphics and pixel domain architecture for 360 degree video
CN105939481A (zh) * 2016-05-12 2016-09-14 深圳市望尘科技有限公司 一种交互式三维虚拟现实视频节目录播和直播方法
US10163030B2 (en) 2016-05-20 2018-12-25 Gopro, Inc. On-camera image processing based on image activity data
US10462466B2 (en) 2016-06-20 2019-10-29 Gopro, Inc. Systems and methods for spatially selective video coding
GB2551526A (en) 2016-06-21 2017-12-27 Nokia Technologies Oy Image encoding method and technical equipment for the same
US10743000B2 (en) * 2016-07-01 2020-08-11 Sk Telecom Co., Ltd. Video bitstream generation method and device for high-resolution video streaming
CN109691113B (zh) 2016-07-15 2022-02-08 皇家Kpn公司 流式传输虚拟现实视频
US10979607B2 (en) 2016-07-20 2021-04-13 Apple Inc. Camera apparatus and methods
KR102567002B1 (ko) * 2016-08-16 2023-08-14 삼성전자주식회사 영상 표시 장치 및 그 동작방법
US10200672B2 (en) 2016-08-17 2019-02-05 Nextvr Inc. Methods and apparatus for capturing images of an environment
TWI650994B (zh) * 2016-09-02 2019-02-11 聯發科技股份有限公司 提升品質遞送及合成處理
EP3510744B1 (en) * 2016-09-09 2022-05-04 Vid Scale, Inc. Methods and apparatus to reduce latency for 360-degree viewport adaptive streaming
CN109923867A (zh) * 2016-09-14 2019-06-21 皇家Kpn公司 流式传输虚拟现实视频
KR102499139B1 (ko) 2016-09-21 2023-02-13 삼성전자주식회사 이미지를 표시하는 전자 장치 및 그 제어 방법
CN115037917A (zh) * 2016-10-12 2022-09-09 弗劳恩霍夫应用研究促进协会 空间不均等流媒体化
GB2555378B (en) * 2016-10-18 2021-06-09 Virtually Live Switzerland Gmbh HMD delivery system and method
CN108156484B (zh) * 2016-12-05 2022-01-14 奥多比公司 利用自适应速率分配优先处理基于图块的虚拟现实视频流
US10595069B2 (en) 2016-12-05 2020-03-17 Adobe Inc. Prioritizing tile-based virtual reality video streaming using adaptive rate allocation
EP3334164B1 (en) 2016-12-09 2019-08-21 Nokia Technologies Oy A method and an apparatus and a computer program product for video encoding and decoding
EP3571845B1 (en) 2017-01-20 2021-06-30 PCMS Holdings, Inc. Field-of-view prediction method based on contextual information for 360-degree vr video
US10198862B2 (en) 2017-01-23 2019-02-05 Gopro, Inc. Methods and apparatus for providing rotated spherical viewpoints
US11252391B2 (en) 2017-03-06 2022-02-15 Nevermind Capital Llc Methods and apparatus for packing images into a frame and/or including additional content or graphics
US10567733B2 (en) 2017-03-06 2020-02-18 Nextvr Inc. Methods and apparatus for communicating and/or using frames including a captured image and/or including additional image content
EP3603056A4 (en) * 2017-03-22 2020-12-23 Nokia Technologies Oy METHOD, DEVICE AND COMPUTER PROGRAM PRODUCT FOR ADAPTIVE STREAMING
US10742964B2 (en) 2017-04-04 2020-08-11 Nextvr Inc. Methods and apparatus for displaying images
FR3066672B1 (fr) * 2017-05-19 2020-05-22 Sagemcom Broadband Sas Procede de communication d'une video immersive
US10477105B2 (en) * 2017-06-08 2019-11-12 Futurewei Technologies, Inc. Method and system for transmitting virtual reality (VR) content
US11069195B2 (en) * 2017-08-09 2021-07-20 Raymond Anthony Joao Sports betting apparatus and method
US10885746B2 (en) * 2017-08-09 2021-01-05 Raymond Anthony Joao Sports betting apparatus and method
KR102336997B1 (ko) 2017-08-16 2021-12-08 삼성전자 주식회사 서버, 디스플레이장치 및 그 제어방법
WO2019041179A1 (zh) * 2017-08-30 2019-03-07 华为技术有限公司 Vr视频播放处理方法及设备
CN112219406B (zh) 2018-03-22 2023-05-05 Vid拓展公司 用于全向视频的等待时间报告方法和系统
US10735709B2 (en) 2018-04-04 2020-08-04 Nextvr Inc. Methods and apparatus for capturing, processing and/or communicating images
US10904590B2 (en) * 2018-05-23 2021-01-26 Otter Network, LLC Method and system for real time switching of multimedia content
US11917127B2 (en) 2018-05-25 2024-02-27 Interdigital Madison Patent Holdings, Sas Monitoring of video streaming events
US10623791B2 (en) 2018-06-01 2020-04-14 At&T Intellectual Property I, L.P. Field of view prediction in live panoramic video streaming
US10812774B2 (en) 2018-06-06 2020-10-20 At&T Intellectual Property I, L.P. Methods and devices for adapting the rate of video content streaming
US10616621B2 (en) 2018-06-29 2020-04-07 At&T Intellectual Property I, L.P. Methods and devices for determining multipath routing for panoramic video content
US10708494B2 (en) 2018-08-13 2020-07-07 At&T Intellectual Property I, L.P. Methods, systems and devices for adjusting panoramic video content
US11019361B2 (en) 2018-08-13 2021-05-25 At&T Intellectual Property I, L.P. Methods, systems and devices for adjusting panoramic view of a camera for capturing video content
US10999583B2 (en) * 2018-09-14 2021-05-04 Apple Inc. Scalability of multi-directional video streaming
US20200175818A1 (en) * 2018-12-01 2020-06-04 Raymond Anthony Joao Sports betting apparatus and method
CN111277857B (zh) * 2018-12-04 2021-04-13 清华大学 一种流媒体调度方法及装置
US11683464B2 (en) 2018-12-28 2023-06-20 Canon Kabushiki Kaisha Electronic device, control method, and non-transitorycomputer readable medium
EP3915269A1 (en) 2019-01-24 2021-12-01 PCMS Holdings, Inc. System and method for adaptive spatial content streaming with multiple levels of detail and degrees of freedom
US10681463B1 (en) * 2019-05-17 2020-06-09 Sonos, Inc. Wireless transmission to satellites for multichannel audio system
US20230024852A1 (en) * 2019-05-27 2023-01-26 Raymond Anthony Joao Sports betting apparatus and method
US12063344B2 (en) * 2019-09-13 2024-08-13 Sony Group Corporation Reproduction device, reproduction method, and recording medium
US11895170B2 (en) 2021-03-09 2024-02-06 Cisco Technology, Inc. Synchronicity for virtual reality/augmented reality interactive sessions in wireless networks

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0940993A2 (en) * 1998-03-06 1999-09-08 Lucent Technologies Inc. Method and apparatus for generating selected image views from a larger image
EP1162830A2 (en) * 2000-06-07 2001-12-12 Be Here Corporation Method and apparatus for electronically distributing motion panoramic images
US20020126914A1 (en) * 2001-03-07 2002-09-12 Daisuke Kotake Image reproduction apparatus, image processing apparatus, and method therefor
US20050195128A1 (en) * 2004-03-03 2005-09-08 Sefton Robert T. Virtual reality system
CN102413376A (zh) * 2010-09-22 2012-04-11 汤姆森特许公司 在全景场景中导航的方法
CN102438123A (zh) * 2010-09-29 2012-05-02 鸿富锦精密工业（深圳）有限公司 摄影机影像分割系统及其使用方法
US20130141523A1 (en) * 2011-12-02 2013-06-06 Stealth HD Corp. Apparatus and Method for Panoramic Video Hosting

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201125358A (en) 2010-01-11 2011-07-16 Chunghwa Telecom Co Ltd Multi-viewpoints interactive television system and method.
US20120098925A1 (en) 2010-10-21 2012-04-26 Charles Dasher Panoramic video with virtual panning capability
US20130129304A1 (en) 2011-11-22 2013-05-23 Roy Feinson Variable 3-d surround video playback with virtual panning and smooth transition
EP2792123B1 (en) * 2011-12-06 2017-09-27 Echostar Technologies L.L.C. Remote storage digital video recorder and related operating methods
TW201334516A (zh) * 2012-02-15 2013-08-16 Wistron Corp 電子裝置及同步顯示影像畫面的方法
US9241103B2 (en) * 2013-03-15 2016-01-19 Voke Inc. Apparatus and method for playback of multiple panoramic videos with control codes
KR101518814B1 (ko) 2013-09-11 2015-05-28 (주) 메리제이콘텐츠 360도 서라운드 뷰 영상 데이터를 이용한 방송 컨텐츠의 저작방법

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0940993A2 (en) * 1998-03-06 1999-09-08 Lucent Technologies Inc. Method and apparatus for generating selected image views from a larger image
US6337882B1 (en) * 1998-03-06 2002-01-08 Lucent Technologies Inc. Method and apparatus for generating unlimited selected image views from a larger image
EP1162830A2 (en) * 2000-06-07 2001-12-12 Be Here Corporation Method and apparatus for electronically distributing motion panoramic images
US20020126914A1 (en) * 2001-03-07 2002-09-12 Daisuke Kotake Image reproduction apparatus, image processing apparatus, and method therefor
US20050195128A1 (en) * 2004-03-03 2005-09-08 Sefton Robert T. Virtual reality system
CN102413376A (zh) * 2010-09-22 2012-04-11 汤姆森特许公司 在全景场景中导航的方法
CN102438123A (zh) * 2010-09-29 2012-05-02 鸿富锦精密工业（深圳）有限公司 摄影机影像分割系统及其使用方法
US20130141523A1 (en) * 2011-12-02 2013-06-06 Stealth HD Corp. Apparatus and Method for Panoramic Video Hosting

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109923868A (zh) * 2016-11-08 2019-06-21 三星电子株式会社 显示装置及其控制方法
CN108401167B (zh) * 2017-02-08 2022-06-10 三星电子株式会社 用于视频回放的电子设备和服务器
CN108401167A (zh) * 2017-02-08 2018-08-14 三星电子株式会社 用于视频回放的电子设备和服务器
CN109327699A (zh) * 2017-07-31 2019-02-12 华为技术有限公司 一种图像的处理方法、终端和服务器
WO2019024521A1 (zh) * 2017-07-31 2019-02-07 华为技术有限公司 一种图像的处理方法、终端和服务器
US11032571B2 (en) 2017-07-31 2021-06-08 Huawei Technologies Co., Ltd. Image processing method, terminal, and server
AU2018311589B2 (en) * 2017-07-31 2022-12-22 Huawei Technologies Co., Ltd. Image processing method, terminal, and server
CN109327699B (zh) * 2017-07-31 2021-07-16 华为技术有限公司 一种图像的处理方法、终端和服务器
CN113966600A (zh) * 2019-05-20 2022-01-21 弗劳恩霍夫应用研究促进协会 沉浸式媒体内容呈现和交互式360°视频通信
CN113966600B (zh) * 2019-05-20 2024-07-12 弗劳恩霍夫应用研究促进协会 沉浸式媒体内容呈现和交互式360°视频通信
US12041219B2 (en) 2019-05-20 2024-07-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Immersive media content presentation and interactive 360° video communication
CN113055587A (zh) * 2019-12-27 2021-06-29 财团法人工业技术研究院 全景视频处理方法、全景视频处理装置与全景视频系统
CN114788267A (zh) * 2020-04-10 2022-07-22 中兴通讯股份有限公司 沉浸式媒体处理中的等级信息
WO2021109397A1 (en) * 2020-04-10 2021-06-10 Zte Corporation Rank information in immersive media processing
US12100116B2 (en) 2020-04-10 2024-09-24 Zte Corporation Rank information in immersive media processing

Also Published As

Publication number Publication date
EP3114844A1 (en) 2017-01-11
US20170324945A1 (en) 2017-11-09
JP2017514411A (ja) 2017-06-01
WO2015134400A1 (en) 2015-09-11
US20230403384A1 (en) 2023-12-14
US9699437B2 (en) 2017-07-04
KR20170008725A (ko) 2017-01-24
EP3114844A4 (en) 2017-11-01
US20150249813A1 (en) 2015-09-03

Similar Documents

Publication Publication Date Title
US11902493B2 (en) Methods and apparatus for processing content based on viewing information and/or communicating content
CN106063277A (zh) 用于对内容进行流传输的方法和装置
US11924394B2 (en) Methods and apparatus for receiving and/or using reduced resolution images
US11290699B2 (en) View direction based multilevel low bandwidth techniques to support individual user experiences of omnidirectional video
US12069334B2 (en) Changing video tracks in immersive videos
WO2018035383A1 (en) Methods and apparatus for processing content based on viewing information and/or communicating content

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20161026