CN107037875A - 用于改进的沉浸式内容流化的方法和装置 - Google Patents

用于改进的沉浸式内容流化的方法和装置 Download PDF

Info

Publication number
CN107037875A
CN107037875A CN201610943589.8A CN201610943589A CN107037875A CN 107037875 A CN107037875 A CN 107037875A CN 201610943589 A CN201610943589 A CN 201610943589A CN 107037875 A CN107037875 A CN 107037875A
Authority
CN
China
Prior art keywords
immersion
cvb
pfb
content
cause
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610943589.8A
Other languages
English (en)
Inventor
S·S·马特
I·D·D·柯西奥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Publication of CN107037875A publication Critical patent/CN107037875A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26208—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
    • H04N21/26216—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints involving the channel capacity, e.g. network bandwidth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/232—Content retrieval operation locally within server, e.g. reading video streams from disk arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2385—Channel allocation; Bandwidth allocation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2401—Monitoring of the client buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47208—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting near-video-on-demand content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Optics & Photonics (AREA)
  • Data Mining & Analysis (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及一种用于改进的沉浸式内容流化的方法和装置。公开了用于沉浸式内容的带宽高效的流化的实施例。在一种方法的上下文中，一个实例实施例包括导致由沉浸式内容捕获设备生成沉浸式内容；从存储器取回与当前视图缓冲区(CVB)、一个或多个预取缓冲区(PFB)、以及自由视点缓冲区(FVB)相关的缓冲区信息；以及导致由流化服务器基于所取回的与所述CVB、所述一个或多个PFB以及所述FVB相关的缓冲区信息将所述沉浸式内容的多个部分传输到沉浸式内容查看系统。还提供了对应装置和计算机程序产品。

Description

用于改进的沉浸式内容流化的方法和装置
技术领域
本发明的实例实施例一般地涉及沉浸式内容的传输，并且更具体地说，涉及用于沉浸式内容的带宽高效的传输的方法和装置。
背景技术
一种类型的沉浸式内容包括全方向内容。全方向内容的捕获通常涉及多个摄像机(使用常规或鱼眼镜头)，并且来自此类摄像机的视图允许生成全方向内容。传统上，当与由单个摄像机生成的内容的流化相比时，使这种类型的内容流化需要大带宽承诺。但是，对于许多用户而言，奉献此类大量带宽不切合实际，并且在许多情况下，甚至是不可能的。
发明内容
Oculus最佳实践指南(可从http://static.oculus.com/sdk-downloads/documents/Oculus_Best_Practices_Guide.pdf处获得)包括用于使用一个卓越平台呈现沉浸式内容的多个最佳实践。该最佳实践指南声明“[t]he display should respond tohead-tracking and viewpoint changes at all times,without exception.Even whenthe game is paused or displaying a cutscene,users should be able to lookaround.(显示应该始终响应头部跟踪和视点变化，而没有异常。即使当游戏暂停或显示剧情画面时，用户也应该能够环视。)”此外，最佳实践指南声明“users must always havethe freedom to look around the environment,which can add new requirements tothe design of your content.(用户必须始终有自由环视环境，这可以向你的内容设计添加新要求。)”这些建议例示呈现提供头部移动自由的无缝查看体验的期望。与沉浸式内容的传统流化模式需要显著带宽承诺的事实结合，这些建议展示需要多个摄像机流，它们可由用户以感觉不到延迟访问以便提供令人满意的用户体验。
相应地，在此描述的实例实施例包括用于沉浸式内容的带宽高效的流化的方法、系统和装置，所述方法、系统和装置解决上述要求而不损害沉浸式用户体验。为此，实例实施例利用多个缓冲区，它们在不同质量级别存储沉浸式内容的不同部分。具体地说，实例实施例利用常规流化缓冲区，它们在当前视图缓冲区(CVB)中累积完全消费质量内容。存储在CVB中的内容通常源自沉浸式内容的对应于用户当前视图的摄像机视图。但是同时，此类实施例针对与当前视图相邻的一个或多个视图利用预取缓冲区(PFB)，并且这些PFB存储中间或完全消费质量内容。最后，此类实施例还可以针对快速头部移动利用自由视点缓冲区(FVB)，并且这些缓冲区存储低质量全景内容。
在第一实例实施例中，提供一种用于沉浸式内容的带宽高效的流化的方法。所述方法包括：导致由沉浸式内容捕获模块生成沉浸式内容；从存储器取回与当前视图缓冲区(CVB)、一个或多个预取缓冲区(PFB)、以及自由视点缓冲区(FVB)相关的缓冲区信息；以及导致由流化服务器基于所取回的与所述CVB、所述一个或多个PFB以及所述FVB相关的缓冲区信息，将所述沉浸式内容的多个部分传输到沉浸式内容查看系统。
在某些实施例中，所述方法进一步包括由沉浸式自适应模块从沉浸式内容查看系统接收与所述CVB、所述一个或多个PFB或所述FVB中的一者或多者相关的信令消息；以及由沉浸式自适应模块基于所接收的信令消息更新与所述CVB、PFB或所述FVB相关的所述缓冲区信息。
在一个此类实施例中，所述方法可以进一步包括导致由所述流化服务器传输标识可用摄像机视图、对应于每个所述可用摄像机视图的摄像机索引(index)以及对应于每个所述可用摄像机视图的视场的信令消息，其中响应于传输标识所述可用摄像机视图、对应于每个所述可用摄像机视图的所述摄像机索引以及对应于每个所述可用摄像机视图的所述视场的所述信令消息，接收与所述CVB、所述一个或多个PFB或所述FVB中的所述一者或多者相关的所述信令消息。
在另一个此类实施例中，所述信令消息标识与所述CVB关联的一个或多个摄像机索引。在另一个此类实施例中，所述信令消息标识与所述一个或多个PFB关联的一个或多个摄像机索引。在这点上，所述信令消息可以标识内容质量级别，并且传输到沉浸式内容查看系统的所述沉浸式内容的所述多个部分可以进一步基于所述内容质量级别。
在另一个此类实施例中，所述信令消息指示利用所述FVB，并且命令所述流化服务器暂停传输所述沉浸式内容的对应于所述CVB或所述一个或多个PFB的多个部分。并且在另一个此类实施例中，所述信令消息命令所述流化服务器继续传输所述沉浸式内容的对应于所述CVB或所述一个或多个PFB的多个部分。
在第二实例实施例中，提供一种用于沉浸式内容的带宽高效的流化的装置。所述装置包括至少一个处理器和至少一个存储器，所述至少一个存储器包括计算机程序代码，所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起导致所述装置：导致生成沉浸式内容；取回与当前视图缓冲区(CVB)、一个或多个预取缓冲区(PFB)、以及自由视点缓冲区(FVB)相关的缓冲区信息；以及导致基于所取回的与所述CVB、所述一个或多个PFB和所述FVB相关的缓冲区信息，将所述沉浸式内容的多个部分传输到沉浸式内容查看系统。
在某些实施例中，所述至少一个存储器和所述计算机程序代码被进一步配置为与所述至少一个处理器一起导致所述装置：从沉浸式内容查看系统取回与所述CVB、所述一个或多个PFB或所述FVB中的一者或多者相关的信令消息；以及由沉浸式自适应模块基于所接收的信令消息，更新与所述CVB、PFB或所述FVB相关的所述缓冲区信息。
在一个此类实施例中，所述至少一个存储器和所述计算机程序代码被进一步配置为与所述至少一个处理器一起导致所述装置：导致由所述流化服务器传输标识可用摄像机视图、对应于每个所述可用摄像机视图的摄像机索引以及对应于每个所述可用摄像机视图的视场的信令消息，其中响应于传输标识所述可用摄像机视图、对应于每个所述可用摄像机视图的所述摄像机索引以及对应于每个所述可用摄像机视图的所述视场的所述信令消息，接收与所述CVB、所述一个或多个PFB或所述FVB中的一者或多者相关的所述信令消息。
在另一个此类实施例中，所述信令消息标识与所述CVB关联的一个或多个摄像机索引。在另一个此类实施例中，所述信令消息标识与所述一个或多个PFB关联的一个或多个摄像机索引。在这点上，所述信令消息可以标识内容质量级别，并且传输到沉浸式内容查看系统的所述沉浸式内容的所述多个部分可以进一步基于所述内容质量级别。在另一个此类实施例中，所述信令消息指示利用所述FVB，并且命令所述流化服务器暂停传输所述沉浸式内容的对应于所述CVB或所述一个或多个PFB的多个部分。并且在另一个此类实施例中，所述信令消息命令所述流化服务器继续传输所述沉浸式内容的对应于所述CVB或所述一个或多个PFB的多个部分。
在第三实例实施例中，提供一种用于沉浸式内容的带宽高效的流化的计算机程序产品。所述计算机程序产品包括至少一个非瞬时性计算机可读存储介质，所述至少一个非瞬时性计算机可读存储介质具有存储在其中的计算机可执行程序代码部分，所述计算机可执行程序代码部分包括程序代码指令，所述程序代码指令当被执行时导致装置：导致生成沉浸式内容；取回与当前视图缓冲区(CVB)、一个或多个预取缓冲区(PFB)、以及自由视点缓冲区(FVB)相关的缓冲区信息；以及导致基于所取回的与所述CVB、所述一个或多个PFB或所述FVB相关的缓冲区信息，将所述沉浸式内容的多个部分传输到沉浸式内容查看系统。
在某些实施例中，所述程序代码指令当被执行时进一步导致所述装置：从沉浸式内容查看系统取回与所述CVB、所述一个或多个PFB或所述FVB中的一者或多者相关的信令消息；以及由沉浸式自适应模块基于所接收的信令消息，更新与所述CVB、PFB或所述FVB相关的所述缓冲区信息。
在一个此类实施例中，所述程序代码指令当被执行时进一步导致所述装置：导致由所述流化服务器传输标识可用摄像机视图、对应于每个所述可用摄像机视图的摄像机索引以及对应于每个所述可用摄像机视图的视场的信令消息，其中响应于传输标识所述可用摄像机视图、对应于每个所述可用摄像机视图的所述摄像机索引以及对应于每个所述可用摄像机视图的所述视场的所述信令消息，接收与所述CVB、所述一个或多个PFB或所述FVB中的所述一者或多者相关的所述信令消息。
在另一个此类实施例中，所述信令消息标识与所述CVB关联的一个或多个摄像机索引。在另一个此类实施例中，所述信令消息标识与所述一个或多个PFB关联的一个或多个摄像机索引。在这点上，所述信令消息可以标识内容质量级别，并且传输到沉浸式内容查看系统的所述沉浸式内容的所述多个部分可以进一步基于所述内容质量级别。在另一个此类实施例中，所述信令消息指示利用所述FVB，并且命令所述流化服务器暂停传输所述沉浸式内容的对应于所述CVB或所述一个或多个PFB的多个部分。并且在另一个此类实施例中，所述信令消息命令所述流化服务器继续传输所述沉浸式内容的对应于所述CVB或所述一个或多个PFB的多个部分。
在第四实例实施例中，提供一种用于沉浸式内容的带宽高效的流化的装置。所述装置包括：用于导致生成沉浸式内容的部件；用于取回与当前视图缓冲区(CVB)、一个或多个预取缓冲区(PFB)、或自由视点缓冲区(FVB)相关的缓冲区信息的部件；以及用于导致基于所取回的与所述CVB、所述一个或多个PFB和所述FVB相关的缓冲区信息，将所述沉浸式内容的多个部分传输到沉浸式内容查看系统的部件。
在某些实施例中，所述装置进一步包括：用于从沉浸式内容查看系统接收与所述CVB、所述一个或多个PFB或所述FVB中的一者或多者相关的信令消息的部件；以及用于基于所接收的信令消息，更新与所述CVB、PFB或所述FVB相关的所述缓冲区信息的部件。
在一个此类实施例中，所述装置可以进一步包括：用于导致传输标识可用摄像机视图、对应于每个所述可用摄像机视图的摄像机索引以及对应于每个所述可用摄像机视图的视场的信令消息的部件，其中响应于传输标识所述可用摄像机视图、对应于每个所述可用摄像机视图的所述摄像机索引以及对应于每个所述可用摄像机视图的所述视场的所述信令消息，接收与所述CVB、所述一个或多个PFB或所述FVB中的一者或多者相关的所述信令消息。
在另一个此类实施例中，所述信令消息标识与所述CVB关联的一个或多个摄像机索引。在另一个此类实施例中，所述信令消息标识与所述一个或多个PFB关联的一个或多个摄像机索引。在这点上，所述信令消息可以标识内容质量级别，并且传输到沉浸式内容查看系统的所述沉浸式内容的所述多个部分可以进一步基于所述内容质量级别。在另一个此类实施例中，所述信令消息指示利用所述FVB，并且命令所述流化服务器暂停传输所述沉浸式内容的对应于所述CVB或所述一个或多个PFB的多个部分。并且在另一个此类实施例中，所述信令消息命令所述流化服务器继续传输所述沉浸式内容的对应于所述CVB或所述一个或多个PFB的多个部分。
在第五实例实施例中，提供一种用于沉浸式内容的带宽高效的流化的方法。所述方法包括：从沉浸式内容提供系统接收沉浸式内容的多个部分；将所接收的沉浸式内容的多个部分存储在当前视图缓冲区(CVB)、一个或多个预取缓冲区(PFB)或自由视点缓冲区(FVB)中的一者或多者内；导致基于用户头部的方位，从所述CVB、所述一个或多个PFB或所述FVB中的一者生成可显示媒体；以及导致由沉浸式内容消费设备显示所述可显示媒体。
在某些实施例中，所述方法进一步包括：从所述沉浸式内容提供系统接收标识可用摄像机视图、对应于每个所述可用摄像机视图的摄像机索引以及对应于每个所述可用摄像机视图的视场的信令消息；导致由头部跟踪模块确定所述用户头部的方位；导致由沉浸式交互相关自适应模块基于所述用户头部的方位，确定与所述CVB关联的一个或多个摄像机索引；以及导致由所述沉浸式交互相关自适应模块传输标识与所述CVB关联的所述一个或多个摄像机索引的信令消息，其中响应于传输标识与所述CVB关联的所述一个或多个摄像机索引的所述信令消息，发生从所述沉浸式内容提供系统接收所述沉浸式内容的所述多个部分。
在某些此类实施例中，所述方法进一步包括：导致由所述沉浸式交互相关自适应模块基于所述用户头部的方位，确定与所述一个或多个PFB关联的一个或多个摄像机索引，其中标识与所述CVB关联的所述一个或多个摄像机索引的所述信令消息进一步标识与一个或多个PFB关联的所述一个或多个摄像机索引。在这点上，所述信令消息可以标识与所述CVB和/或所述一个或多个PFB关联的所述一个或多个摄像机索引，或者进一步标识内容质量级别，并且所接收的沉浸式内容的多个部分可以基于所述内容质量级别。
在其它此类实施例中，所述方法进一步包括：从所述头部跟踪模块接收指示所述用户头部的修正后方位的视图更改信号；以及导致判定所述用户头部的所述修正后方位是否与对应于所述CVB所关联的所述一个或多个摄像机索引的视场对齐，其中，在所述用户头部的所述修正后方位与对应于所述CVB所关联的所述一个或多个摄像机索引的所述视场对齐的情况下，导致生成所述可显示媒体包括导致从所述CVB生成所述可显示媒体。在这点上，在所述用户头部的所述修正后方位与和所述CVB所关联的所述一个或多个摄像机索引关联的视场未对齐的情况下，导致生成所述可显示媒体可以包括：导致判定所述用户头部的所述修正后方位是否与对应于所述PFB之一所关联的所述一个或多个摄像机索引的视场对齐；在所述用户头部的所述修正后方位与对应于所述PFB之一所关联的所述一个或多个摄像机索引的视场对齐的情况下，导致从所述PFB之一生成所述可显示媒体；以及在所述用户头部的所述修正后方位与对应于所述PFB之一所关联的所述一个或多个摄像机索引的视场未对齐的情况下，导致从所述FVB生成所述可显示媒体。
此外，响应于导致从所述PFB之一生成所述可显示媒体，所述方法可以进一步包括：导致由所述沉浸式交互相关自适应模块传输CVB更改信令消息，所述CVB更改信令消息命令所述沉浸式内容提供系统将所述CVB与从中生成所述可显示媒体的所述PFB之一所关联的所述一个或多个摄像机索引相关联。
备选地，响应于导致从所述FVB生成所述可显示媒体，所述方法可以进一步包括：导致由所述沉浸式交互相关自适应模块传输暂停信令消息，所述暂停信令消息命令所述沉浸式内容提供系统暂停传输与所述CVB或所述一个或多个PFB关联的沉浸式内容的多个部分。
在第六实例实施例中，提供一种用于沉浸式内容的带宽高效的流化的装置。所述装置包括至少一个处理器和至少一个存储器，所述至少一个存储器包括计算机程序代码，所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起导致所述装置：从沉浸式内容提供系统接收沉浸式内容的多个部分；将所接收的沉浸式内容的多个部分存储在当前视图缓冲区(CVB)、一个或多个预取缓冲区(PFB)或自由视点缓冲区(FVB)中的一者或多者内；导致基于用户头部的方位，从所述CVB、所述一个或多个PFB或所述FVB中的一者生成可显示媒体；以及导致向用户显示所述可显示媒体。
在某些实施例中，所述至少一个存储器和所述计算机程序代码被进一步配置为与所述至少一个处理器一起导致所述装置：从所述沉浸式内容提供系统接收标识可用摄像机视图、对应于每个所述可用摄像机视图的摄像机索引以及对应于每个所述可用摄像机视图的视场的信令消息；导致确定所述用户头部的方位；导致基于所述用户头部的方位，确定与所述CVB关联的一个或多个摄像机索引；以及导致传输标识与所述CVB关联的所述一个或多个摄像机索引的信令消息，其中响应于传输标识与所述CVB关联的所述一个或多个摄像机索引的所述信令消息，发送从所述沉浸式内容提供系统接收所述沉浸式内容的所述多个部分。
在某些此类实施例中，所述至少一个存储器和所述计算机程序代码被进一步配置为与所述至少一个处理器一起导致所述装置：导致基于所述用户头部的方位，确定与所述一个或多个PFB关联的一个或多个摄像机索引，其中标识与所述CVB关联的所述一个或多个摄像机索引的所述信令消息进一步标识与一个或多个PFB关联的所述一个或多个摄像机索引。在这点上，所述信令消息可以标识与所述CVB和/或所述一个或多个PFB关联的所述一个或多个摄像机索引，或者进一步标识内容质量级别，并且所接收的沉浸式内容的多个部分可以基于所述内容质量级别。
在其它此类实施例中，所述至少一个存储器和所述计算机程序代码被进一步配置为与所述至少一个处理器一起导致所述装置：接收指示所述用户头部的修正后方位的视图更改信号；以及导致判定所述用户头部的所述修正后方位是否与对应于所述CVB所关联的所述一个或多个摄像机索引的视场对齐，其中，在所述用户头部的所述修正后方位与对应于所述CVB所关联的所述一个或多个摄像机索引的所述视场对齐的情况下，所述至少一个存储器和所述计算机程序代码被进一步配置为与所述至少一个处理器一起导致所述装置：导致通过使得从所述CVB生成所述可显示媒体，生成所述可显示媒体。在这点上，在所述用户头部的所述修正后方位与和所述CVB所关联的所述一个或多个摄像机索引关联的视场未对齐的情况下，所述至少一个存储器和所述计算机程序代码被进一步配置为与所述至少一个处理器一起导致所述装置：导致生成所述可显示媒体，方式为：导致判定所述用户头部的所述修正后方位是否与对应于所述PFB之一所关联的所述一个或多个摄像机索引的视场对齐；在所述用户头部的所述修正后方位与对应于所述PFB之一所关联的所述一个或多个摄像机索引的视场对齐的情况下，导致从所述PFB之一生成所述可显示媒体；以及在所述用户头部的所述修正后方位与对应于所述PFB之一所关联的所述一个或多个摄像机索引的视场未对齐的情况下，导致从所述FVB生成所述可显示媒体。
此外，响应于导致从所述PFB之一生成所述可显示媒体，所述至少一个存储器和所述计算机程序代码被进一步配置为与所述至少一个处理器一起导致所述装置：导致由所述沉浸式交互相关自适应模块传输CVB更改信令消息，所述CVB更改信令消息命令所述沉浸式内容提供系统将所述CVB与从中生成所述可显示媒体的所述PFB之一所关联的所述一个或多个摄像机索引相关联。
备选地，响应于导致从所述FVB生成所述可显示媒体，所述至少一个存储器和所述计算机程序代码被进一步配置为与所述至少一个处理器一起导致所述装置：导致由所述沉浸式交互相关自适应模块传输暂停信令消息，所述暂停信令消息命令所述沉浸式内容提供系统暂停传输与所述CVB或所述一个或多个PFB关联的沉浸式内容的多个部分。
在第七实例实施例中，提供一种用于沉浸式内容的带宽高效的流化的计算机程序产品。所述计算机程序产品包括至少一个非瞬时性计算机可读存储介质，所述至少一个非瞬时性计算机可读存储介质具有存储在其中的计算机可执行程序代码部分，所述计算机可执行程序代码部分包括程序代码指令，所述程序代码指令当被执行时导致装置：从沉浸式内容提供系统接收沉浸式内容的多个部分；将所接收的沉浸式内容的多个部分存储在当前视图缓冲区(CVB)、一个或多个预取缓冲区(PFB)或自由视点缓冲区(FVB)中的一者或多者内；导致基于用户头部的方位，从所述CVB、所述一个或多个PFB或所述FVB中的一者生成可显示媒体；以及导致向用户显示所述可显示媒体。
在某些实施例中，所述程序代码指令当被执行时进一步导致所述装置：从所述沉浸式内容提供系统接收标识可用摄像机视图、对应于每个所述可用摄像机视图的摄像机索引以及对应于每个所述可用摄像机视图的视场的信令消息；导致确定所述用户头部的方位；导致基于所述用户头部的方位，确定与所述CVB关联的一个或多个摄像机索引，以及导致传输标识与所述CVB关联的所述一个或多个摄像机索引的信令消息，其中响应于传输标识与所述CVB关联的所述一个或多个摄像机索引的所述信令消息，发生从所述沉浸式内容提供系统接收所述沉浸式内容的多个部分。
在某些此类实施例中，所述程序代码指令当被执行时进一步导致所述装置：导致基于所述用户头部的方位，确定与所述一个或多个PFB关联的一个或多个摄像机索引，其中标识与所述CVB关联的所述一个或多个摄像机索引的所述信令消息进一步标识与一个或多个PFB关联的所述一个或多个摄像机索引。在这点上，所述信令消息可以标识与所述CVB和/或所述一个或多个PFB关联的所述一个或多个摄像机索引，或者进一步标识内容质量级别，并且所接收的沉浸式内容的多个部分可以基于所述内容质量级别。
在其它此类实施例中，所述程序代码指令当被执行时进一步导致所述装置：接收指示所述用户头部的修正后方位的视图更改信号，以及导致判定所述用户头部的修正后方位是否与对应于所述CVB所关联的所述一个或多个摄像机索引的视场对齐，其中，在所述用户头部的所述修正后方位与对应于所述CVB所关联的所述一个或多个摄像机索引的所述视场对齐的情况下，所述程序代码指令当被执行时进一步导致所述装置：导致通过使得从所述CVB生成所述可显示媒体来生成所述可显示媒体。在这点上，在所述用户头部的所述修正后方位与和所述CVB所关联的所述一个或多个摄像机索引关联的视场未对齐的情况下，所述程序代码指令当被执行时进一步导致所述装置：导致生成所述可显示媒体，方式为：导致判定所述用户头部的所述修正后方位是否与对应于所述PFB之一所关联的所述一个或多个摄像机索引的视场对齐；在所述用户头部的所述修正后方位与对应于所述PFB之一所关联的所述一个或多个摄像机索引的视场对齐的情况下，导致从所述PFB之一生成所述可显示媒体；以及在所述用户头部的所述修正后方位与对应于所述PFB之一所关联的所述一个或多个摄像机索引的视场未对齐的情况下，导致从所述FVB生成所述可显示媒体。
此外，响应于导致从一个所述PFB生成所述可显示媒体，所述程序代码指令当被执行时可以进一步导致所述装置：导致由所述沉浸式交互相关自适应模块传输CVB更改信令消息，所述CVB更改信令消息命令所述沉浸式内容提供系统将所述CVB与从中生成所述可显示媒体的所述PFB之一所关联的所述一个或多个摄像机索引相关联。
备选地，响应于导致从所述FVB生成所述可显示媒体，所述程序代码指令当被执行时可以进一步导致所述装置：导致由所述沉浸式交互相关自适应模块传输暂停信令消息，所述暂停信令消息命令所述沉浸式内容提供系统暂停传输与所述CVB或所述一个或多个PFB关联的沉浸式内容的多个部分。
在第八实例实施例中，提供一种用于沉浸式内容的带宽高效的流化的装置。所述装置包括：用于从沉浸式内容提供系统接收沉浸式内容的多个部分的部件；用于将所接收的沉浸式内容的多个部分存储在当前视图缓冲区(CVB)、一个或多个预取缓冲区(PFB)或自由视点缓冲区(FVB)中的一者或多者内的部件；用于导致基于用户头部的方位，从所述CVB、所述一个或多个PFB或所述FVB中的一者生成可显示媒体的部件；以及用于导致向用户显示所述可显示媒体的部件。
在某些实施例中，所述装置进一步包括：用于从所述沉浸式内容提供系统接收标识可用摄像机视图、对应于每个所述可用摄像机视图的摄像机索引以及对应于每个所述可用摄像机视图的视场的信令消息的部件；用于导致确定所述用户头部的方位的部件；用于导致基于所述用户头部的方位，确定与所述CVB关联的一个或多个摄像机索引的部件；以及用于导致传输标识与所述CVB关联的所述一个或多个摄像机索引的信令消息的部件，其中响应于传输标识与所述CVB关联的所述一个或多个摄像机索引的所述信令消息，发送从所述沉浸式内容提供系统接收所述沉浸式内容的所述多个部分。
在某些此类实施例中，所述装置进一步包括：用于导致由所述沉浸式交互相关自适应模块基于所述用户头部的方位确定与所述一个或多个PFB关联的一个或多个摄像机索引的部件，其中标识与所述CVB关联的所述一个或多个摄像机索引的所述信令消息进一步标识与一个或多个PFB关联的所述一个或多个摄像机索引。在这点上，所述信令消息可以标识与所述CVB和/或所述一个或多个PFB关联的所述一个或多个摄像机索引，或者进一步标识内容质量级别，并且所接收的沉浸式内容的多个部分可以基于所述内容质量级别。
在其它此类实施例中，所述装置进一步包括：用于接收指示所述用户头部的修正后方位的视图更改信号的部件；以及用于导致判定所述用户头部的所述修正后方位是否与对应于所述CVB所关联的所述一个或多个摄像机索引的视场对齐的部件，其中，在所述用户头部的所述修正后方位与对应于所述CVB所关联的所述一个或多个摄像机索引的所述视场对齐的情况下，用于导致生成所述可显示媒体的部件包括用于导致从所述CVB生成所述可显示媒体的部件。在这点上，在所述用户头部的所述修正后方位与和所述CVB所关联的所述一个或多个摄像机索引关联的视场未对齐的情况下，用于导致生成所述可显示媒体的部件可以包括：用于导致判定所述用户头部的所述修正后方位是否与对应于所述PFB之一所关联的所述一个或多个摄像机索引的视场对齐的部件；用于在所述用户头部的所述修正后方位与对应于所述PFB之一所关联的所述一个或多个摄像机索引的视场对齐的情况下，导致从所述PFB之一生成所述可显示媒体的部件；以及用于在所述用户头部的所述修正后方位与对应于所述PFB之一所关联的所述一个或多个摄像机索引的视场未对齐的情况下，导致从所述FVB生成所述可显示媒体的部件。
此外，响应于导致从所述PFB之一生成所述可显示媒体，所述装置可以进一步包括：用于导致由所述沉浸式交互相关自适应模块传输CVB更改信令消息的部件，所述CVB更改信令消息命令所述沉浸式内容提供系统将所述CVB与从中生成所述可显示媒体的所述PFB之一所关联的所述一个或多个摄像机索引相关联。
备选地，响应于导致从所述FVB生成所述可显示媒体，所述装置可以进一步包括：用于导致传输暂停信令消息的部件，所述暂停信令消息命令所述沉浸式内容提供系统暂停传输与所述CVB或所述一个或多个PFB关联的沉浸式内容的多个部分。
提供以上概要仅为了总结某些实例实施例，以便基本理解本发明的某些方面。因此，应该理解，上述实施例仅是实例，并且不应该被解释为以任何方式缩窄本发明的范围或精神。应该理解，本发明的范围除了在此总结的这些实施例之外，还包含许多潜在实施例，下面将进一步描述其中某些潜在实施例。
附图说明
上面已总体描述了本公开的某些实例实施例，现在将参考附图，这些附图不一定按比例绘制，其中：
图1示出可根据本发明的实例实施例具体配置的装置的框图；
图2A是示出根据本发明的实例实施例的包括一系列(多个)摄像机的沉浸式内容捕获设备的图；
图2B示出佩戴根据本发明的实例实施例的被配置为接收流化沉浸式内容的沉浸式内容消费设备(例如，虚拟现实(VR)头戴设备)的用户；
图3示出根据本发明的实例实施例的实现沉浸式内容的带宽高效的消费的端到端系统；
图4A示出根据本发明的实例实施例的关于CVB的信息；
图4B示出根据本发明的实例实施例的关于PFB的信息；
图4C示出根据本发明的实例实施例的关于VVB的信息；
图5A-5E示出根据本发明的实例实施例的在沉浸式内容提供系统与沉浸式内容查看系统之间执行的信令；
图6A和6B示出根据本发明的实例实施例的描述由沉浸式内容提供系统执行的实例操作的流程图；以及
图7和8示出根据本发明的实例实施例的描述由沉浸式内容查看系统执行的实例操作的流程图。
具体实施方式
现在，在下面将参考附图更全面地描述本发明的某些实施例，在附图中示出本发明的某些而并非所有实施例。实际上，这些发明可以以许多不同形式体现，并且不应被解释为限于在此给出的实施例；相反，提供这些实施例以使得本公开将满足适用的法律要求。在所有附图中，相同的编号指相同的元素。如在此使用的，术语“数据”、“内容”、“信息”和类似的术语可以互换使用，以便指根据本发明的实施例能够被发送、接收和/或存储的数据。因此，任何此类术语的使用不应被视为限制本发明的实施例的精神和范围。
此外，如在此使用的，术语“电路”指(a)仅硬件电路实现(例如，模拟电路和/或数字电路的实现)；(b)电路和计算机程序产品(多个)的组合，计算机程序产品包括存储在一个或多个计算机可读存储器上的软件和/或固件指令，它们共同工作以便导致装置执行在此描述的一个或多个功能；以及(c)电路，例如微处理器(多个)或微处理器(多个)的一部分，它们需要软件或固件以便操作，即使软件或固件未物理地存在。该“电路”定义适用于在此(包括在任何权利要求中)对该术语的所有使用。作为进一步的实例，如在此使用的，术语“电路”还包括一种实现，其包括一个或多个处理器和/或其部分(多个)以及附带软件和/或固件。作为另一个实例，如在此使用的，术语“电路”还包括例如用于移动电话的基带集成电路或应用处理器集成电路，或者服务器、蜂窝网络设备、其它网络设备和/或其它计算设备中的类似集成电路。
如在此定义的，指非瞬时性物理存储介质(例如，易失性或非易失性存储设备)的“计算机可读存储介质”可以不同于指电磁信号的“计算机可读传输介质”。
在此描述的实施例展示被设计为提供沉浸式内容的带宽高效的流化的实例方法、装置和计算机程序产品。在此描述的方法可以由沉浸式内容提供系统和沉浸式内容查看系统中的一者或多者执行(并且所述装置和计算机程序产品可以由它们中的一者或多者体现)。沉浸式内容提供系统在某些情况下可以由各种沉浸式内容捕获设备(例如Nokia的OZO存在捕获设备，或者被配置为使用多个摄像机捕获内容的任何其它设备)中的任何一者体现(或者与它们中的任何一者通信)，然而沉浸式内容提供系统还可以由这样的装置体现：其本身不提供沉浸式内容捕获能力，而是可以存储先前使用单独沉浸式内容捕获设备捕获的沉浸式内容。转而，沉浸式内容查看系统可以由沉浸式内容消费设备体现(或者与其通信)，沉浸式内容消费设备包括能够呈现沉浸式内容的设备，例如头戴式显示器(例如，Oculus RiftTM等)。沉浸式内容提供系统和沉浸式内容查看系统被配置为经由网络(例如，局域网(LAN)、广域网(WAN)，例如因特网等)相互通信。
为了实现沉浸式内容的带宽高效的流化(其解决在Oculus最佳实践指南中描述的上面要求而不损害沉浸式用户体验)，实例实施例利用多个缓冲区，它们在不同质量级别存储沉浸式内容的不同部分。
具体地说，实例实施例利用在CVB中累积完全消费质量内容的常规流化缓冲区。利用CVB的内容通常是对应于用户当前视场的沉浸式内容的摄像机视图(多个)。但是同时，此类实施例针对与当前视图相邻的一个或多个视图利用PFB，并且这些PFB存储那些相邻视图的中间或完全消费质量内容。最后，此类实施例还可以针对快速头部移动利用FVB，并且这些缓冲区存储低质量全景内容。
在此类实例中，基于查看者的头部位置(和移动)选择预取摄像机索引。取决于沉浸式内容消费设备的可用带宽和存储可用性，能够确定和/或调整预取的相邻摄像机索引的数量。如果用户移动其头部以使得用户视场不再包含在与CVB关联的第一摄像机视图子集中，则消费设备上的呈现切换到由对应于用户的已更改视场的PVB提供的视图(例如，从第一摄像机视图子集到包含用户全部视场的第二摄像机视图子集)。
随后，如果用户的头部移动停留在第二摄像机视图子集的视场(FOV)限制内，则消费设备可以用信号将PFB-TO-CVB消息传送到沉浸式内容提供系统，以便前瞻性地利用CVB缓冲来自第二摄像机视图子集的数据。随后，CVB缓冲来自与第二摄像机视图子集关联的一组摄像机的内容。
备选地，如果用户将其头部高速移动到在与CVB或PFB关联的摄像机视图外部的视点，则沉浸式内容消费设备将呈现来自FVB的内容。此时，沉浸式内容查看系统可以传输用于使CVB和PFB暂停的信号；因此，来自FVB的内容被流化直至用户的头部移动停止(或者变得慢于预定阈值)，此时沉浸式内容查看系统发送信号，该信号指示CVB应前瞻性地缓冲来自与新摄像机视图子集关联的一组摄像机的数据。该信号可以包括对应于该新摄像机视图子集的摄像机索引的标识。然后可以推导对应PFB。在某些实施例中，该推导可以由沉浸式内容提供系统执行，而在其它实施例中，该推导可以由沉浸式内容查看系统执行。在任一类型的实施例中，除了标识对应于新摄像机视图子集的摄像机索引的信号之外，该推导还可以基于新摄像机视图子集、基于所标识的摄像机索引、或者基于定义能够由沉浸式内容查看系统传输的这些相邻视图的参数。
现在参考图1，框图示出可以体现沉浸式内容提供系统或沉浸式内容查看系统的实例装置100。装置100可以包括处理器102、存储器104和通信接口106，或者以其它方式与它们通信。当体现沉浸式内容查看系统时，装置100进一步包括沉浸式内容消费模块108(或者与其通信)。当体现沉浸式内容提供系统时，装置100进一步包括沉浸式内容提供模块110(或者与其通信)，并且在某些实施例中可以进一步包括沉浸式内容捕获模块112(或者与其通信)。装置100可以由诸如计算机终端之类的计算设备体现。但是，在某些实施例中，所述装置可以被体现为芯片或芯片组。换言之，装置100可以包括结构组装件(例如，基板)上的一个或多个物理封装(例如，芯片)，它们包括材料、组件和/或导线。结构组装件可以针对包括在其上的组件电路提供物理强度、空间节省和/或电相互作用限制。装置100因此在某些情况下可以被配置为在单个芯片上或者作为单个“片上系统”实现本发明的各个方面。因此，在某些情况下，芯片或芯片组可以构成用于执行一个或多个操作以便提供在此描述的功能的部件。
处理器102可以以多种不同方式来体现。例如，处理器102可以被体现为以下项中的一者或多者：各种硬件处理部件，例如协处理器、微处理器、控制器、数字信号处理器(DSP)、具有或没有随附DSP的处理元件；或者各种其它处理电路，包括集成电路，例如ASIC(专用集成电路)、FPGA(现场可编程门阵列)、微控制器单元(MCU)、硬件加速器、专用计算机芯片等。因此，在某些实施例中，处理器102可以包括被配置为独立执行的一个或多个处理核心。多核处理器可以在单个物理封装中实现多处理。此外或备选地，处理器102可以包括一个或多个处理器，它们经由总线串联配置以便实现指令、流水线和/或多线程的独立执行。
在实例实施例中，处理器102可以被配置为执行指令，这些指令存储在存储器104中或者以其它方式可由处理器102访问。备选地或此外，处理器102可以被配置为执行硬编码功能。因此，无论通过硬件或软件方法配置，还是通过它们的组合来配置，处理器102都可以表示实体(例如，物理地体现在电路中)，当相应地被配置时，该实体能够执行根据本发明的实施例的操作。因此，例如，当处理器102被体现为ASIC、FPGA等时，处理器102可以是用于执行在此描述的操作的专门配置的硬件。备选地，作为另一个实例，当处理器102被体现为软件指令执行器时，指令可以专门配置处理器102以便当执行指令时，执行在此描述的算法和/或操作。但是，在某些情况下，处理器102可以是特定设备(例如，端点设备或网关设备)的处理器，该设备被配置为通过由指令进一步配置处理器而采用本发明的实施例以便执行在此描述的算法和/或操作。此外，处理器102(除其他项外)可以包括被配置为支持处理器102的操作的时钟、算术逻辑单元(ALU)和逻辑门。
在某些实施例中，处理器102(和/或协处理器或者帮助处理器或以其它方式与处理器关联的任何其它处理电路)可以经由总线与存储器104通信以便在装置的组件之间传递信息。存储器104可以是非瞬时性的，并且例如可以包括一个或多个易失性和/或非易失性存储器。换言之，例如，存储器104可以是电子存储设备(例如，计算机可读存储介质)，其包括被配置为存储可由机器(例如，处理器等计算设备)取回的数据(例如，位)的门。存储器104可以被配置为存储信息、数据、内容、应用、指令等，以便使所述装置能够执行根据本发明的实例实施例的各种功能。例如，存储器104可以被配置为缓冲输入数据以便由处理器102处理。此外或备选地，存储器104可以被配置为存储指令以便由处理器102执行。
同时，通信接口106可以是任何被配置为从一个或多个网络接收数据和向一个或多个网络发送数据的部件，例如包含在硬件或硬件和软件组合中的设备或电路。在这点上，通信接口106例如可以包括天线(或多个天线)和支持硬件和/或软件，以便实现与多个无线通信网络通信。此外或备选地，通信接口106可以包括用于与天线(多个)相互作用的电路，以便导致经由天线(多个)传输信号或者处理经由天线(多个)接收的信号接收。在某些环境中，通信接口106可以额外支持有线通信。因此，例如，通信接口106可以包括通信调制解调器和/或其它硬件/软件，以便支持经由电缆、数字用户线路(DSL)、通用串行总线(USB)或其它机构的通信。应该理解，在各种实施例中，通信接口106可以包括一种或多种基于邻近的通信技术，它们使装置100能够直接与另一个设备通信(例如，当装置100包含沉浸式内容提供系统时，另一个设备可以包括沉浸式内容查看系统的元件，并且当装置100包含沉浸式内容查看系统时，另一个设备可以包括沉浸式内容提供系统的元件)。
在其中装置100包括沉浸式内容查看系统的实施例中，可以提供沉浸式内容消费模块(例如，用户接口)108。沉浸式内容消费模块108转而可以与处理器102通信以便向用户提供输出。在这点上，沉浸式内容消费模块108可以包括头戴式设备(例如，Oculus RiftTM等)，其包括被配置为呈现沉浸式内容以便由用户查看的一个或多个显示器。在某些实施例中，沉浸式内容消费模块108可以进一步提供用户跟踪功能，例如指示用户头部移动的头部跟踪功能。此外，沉浸式内容消费模块108可以进一步包括使能用户反馈的元件，例如触摸区域、麦克风、扬声器或其它输入/输出机构。备选地或此外，处理器102可以包括沉浸式内容接口电路，其被配置为控制沉浸式内容消费模块108的一个或多个元件(例如一个或多个显示器，并且在某些实施例中包括扬声器、振铃器、麦克风等)的至少某些功能。处理器102和/或包括处理器102的沉浸式内容接口电路可以被配置为通过存储在可由处理器102访问的存储器(例如，存储器104等)上的计算机程序指令(例如，软件和/或固件)，控制沉浸式内容消费模块108的一个或多个元件的一个或多个功能。
在其中装置100包括沉浸式内容提供系统的实施例中，可以提供沉浸式内容提供模块110。沉浸式内容提供模块110转而可以从存储器(例如，存储器104)或者从沉浸式内容捕获模块(其在某些实施例中可以是装置100的元件，或者其可以备选地是单独设备的元件)取回数据，并且可以进一步利用通信接口106将沉浸式内容从装置100传输到另一个设备。在这点上，沉浸式内容提供模块110可以是任何被配置为接收和传送沉浸式内容的部件，例如包含在硬件或硬件和软件组合中的设备或电路。在这点上，在某些实施例中，处理器102可以包括沉浸式内容提供电路，其被配置为控制沉浸式内容提供模块110的一个或多个元件的至少某些功能。处理器102和/或包括处理器102的沉浸式内容接口电路可以被配置为通过存储在可由处理器102访问的存储器(例如，存储器104等)上的计算机程序指令(例如，软件和/或固件)，控制沉浸式内容提供模块110的一个或多个元件的一个或多个功能。
在其中装置100包括沉浸式内容提供系统的某些实施例中，装置100还可以包括沉浸式内容捕获模块112。沉浸式内容捕获模块112可以包括用于捕获多个同步图像或视频或者以其它方式生成多方向内容的部件，并且在某些实施例中，还可以包括用于捕获对应音频的部件。用于生成多方向内容的部件可以包括多个摄像机。在此类实施例中，每个摄像机可以包括从捕获的图像创建数字图像文件必需的所有硬件(例如，镜头或其它光学组件(多个)、图像传感器、图像信号处理器等)和软件。备选地，多个摄像机中的数个可以利用某个通用硬件执行这些功能。在某些实施例中，用于生成多方向内容的部件可以包括用于生成虚拟摄像机视图的部件(例如，当表示游戏内虚拟环境时，可以通过执行软件(例如，存储在存储器104中)的处理器(例如，处理器102等)生成虚拟视图，而不是通过使用一系列摄像机捕获这些视图来生成)，在这种情况下术语“摄像机视图”可以简单地指特定虚拟视图。不管如何捕获沉浸式内容(例如，经由摄像机捕获或计算机生成)，所捕获的沉浸式内容随后都可以通过本地或远程存储器(例如，存储器104等)存储或传输。
如前所述，本发明的实施例包括用于提供沉浸式内容的带宽高效的流化的各种部件。下面，提供关于由沉浸式内容提供系统和沉浸式内容查看系统用于优化带宽消耗的进一步讨论。
用于沉浸式内容的带宽高效的消费的系统
当前，通过本地重放消费沉浸式内容。为此，可以提供传输沉浸式内容(例如，从多个不同摄像机捕获的内容)的沉浸式内容提供系统。在图2A中示出的所提供的实例中，沉浸式内容捕获模块可以利用一系列摄像机(例如，八个摄像机(标记为1至8)，如图2A中所示)。在任何给定时间点，使用沉浸式内容查看系统向用户呈现来自摄像机子集(例如，摄像机1和2)的内容。应该理解，从中获得内容的特定摄像机子集取决于用户头部的位置。如果用户头部移动(如在头部跟踪技术的帮助下检测的那样，头部跟踪技术可以是沉浸式内容查看系统的一部分或者对于沉浸式内容查看系统而言是附加的)，则向用户呈现的内容被更改并且从不同摄像机子集(例如，包括摄像机2和3的相邻摄像机子集)获得向用户呈现的内容。作为实例提供图2A中示出的摄像机数量及其拓扑，并且可以使用不同形状系数和/或数量的摄像机来应用相同过程。在这点上，在此处构想的数个实施例中，构想全方向内容。例如，如果给出一组(N个)摄像机，则N个摄像机不需要在单个平面上以圆形方式布置，而是可以在3D空间中在K个平面之间分布，例如采取球形布置或其它3D多平面布置。
现在转到图3，提供实现沉浸式内容的带宽高效的消费的实例端到端系统300的概览图。端到端系统300包括沉浸式内容提供系统302和沉浸式内容查看系统304，如前所述。沉浸式内容提供系统302接收与要被流化到沉浸式内容查看系统304的内容相关的信息。沉浸式内容查看系统304包括消费设备306或者位于消费设备306上。利用多个缓冲区在不同质量级别容纳沉浸式内容的不同部分，端到端系统300促进沉浸式内容的自由视点探索而不会在查看体验中产生任何中断。更具体地说，该结果通过沉浸式内容查看系统304获得，沉浸式内容查看系统304对用户移动做出反应，从而将适当的信令参数传输到流化服务器308并且与缓冲区管理模块310一起利用这些信令参数。
可选地，沉浸式内容提供系统302可以包括沉浸式内容捕获设备312A，其捕获随后被传输到沉浸式内容查看系统304的可视内容。但是，在其它实施例中，沉浸式内容捕获设备312B不需要位于沉浸式内容提供系统302中，而是沉浸式内容提供系统302可以存储原始数据(例如，VR媒体流)，这些原始数据先前已由单独设备捕获并且被传输到沉浸式内容提供系统302以便存储。在更进一步的实施例中，原始数据可以由单独存储系统(例如，大容量存储器等，其可以是本地或远程的)存储，并且当需要时可以由沉浸式内容提供系统302取回。但是，在这些实施例的任何一个中，在沉浸式内容提供系统302获得原始数据之后，它然后可以将原始数据传输(例如，流化)到沉浸式内容查看系统304。如在314A和314B所示，关于多个摄像机视图中的每一个的原始数据可以分别从沉浸式内容捕获模块312A或312B被发送到流化服务器308，流化服务器308也是沉浸式内容提供系统302的元件。在某些实施例中，沉浸式内容捕获模块和流化服务器308是单个设备的部分，然而在其它实施例中，它们是仅相互通信的单独设备。流化服务器308可以包括两个模块。第一模块是沉浸自适应模块316，其从沉浸式内容消费设备306接收信息。该接收的信息例如包括关于对多个摄像机视图中的一个或多个与CVB和PFB之间的对应性的更新的信令消息，或者用于基于对FVB的利用，暂停或重新启动对应于CVB和PFB的沉浸式内容的传输的信令消息。所有这些信令消息可以由沉浸自适应模块316存储在存储器(例如，存储器104)中。流化服务器308中的第二模块是内容自适应模块318，如由箭头320所示，内容自适应模块318对适当的内容编码/分组化并将其流化到沉浸式内容消费设备306。
除了沉浸式内容提供系统302之外，端到端系统300还包括位于沉浸式内容消费设备306上的沉浸式内容查看系统304。沉浸式内容查看系统304包括至少四个模块：头部跟踪模块322；沉浸式交互相关自适应模块324；缓冲区管理模块310；以及内容重放模块326。
沉浸式内容消费设备306使用传感器信息跟踪用户头部的移动。为此，沉浸式内容消费设备306包括头部跟踪模块320，头部跟踪模块320确定由查看者消费的全方向或沉浸式内容的子区域。
沉浸式交互相关自适应模块324包含用于根据用户头部移动(例如，其方向、速度等)以及用户的当前视场与包括在沉浸式内容捕获设备312中的一个或多个传感器之间的对应性来选择适当的摄像机视图的逻辑。如下面图5A中所示，关于用户视场与特定传感器子集之间的对应性的该信息可以由沉浸式内容提供系统302(例如，经由内容自适应模块318)传输到沉浸式内容查看系统304。如在328所示，沉浸式交互相关自适应模块324还负责控制用信号将消费设备状态信息传送到流化服务器308。
缓冲区管理模块310控制CVB、PFB和FVB缓冲区的创建、维护和清除。缓冲区管理模块310跟踪个体缓冲区状态以使得这些不同缓冲区同步。跟踪缓冲区状态至关重要，以便当由于沉浸式交互(例如头部移动)而切换消费状态(例如，在静态查看、缓慢移动与快速移动之间)期间确保无缝体验。缓冲区管理模块310可以在重放期间进一步针对每个缓冲区保存帧级别标记，以便当从CVB切换到PFB、从PFB切换到FVB或者从FVB切换到CVB或PFB时确保最少中断。
最后，内容重放模块326负责视听内容重放。内容重放模块326另外被配置为在延迟隐藏方面进行补偿(例如，通过响应于头部移动，使用PFB或FVB缓冲区呈现内容，能够隐藏缓冲高质量CVB数据中的延迟)，以便确保无缝重放体验。内容重放模块326从缓冲区获得帧编号级别信息，以及头部移动信息，以便清仓旧视图数据(如果有)并且将重放缓冲区切换到新视图。
图4A、4B和4C分别示出三种类型的缓冲区(CVB、PFB和FVB)。基于沉浸式内容消费设备306的存储可用性、网络带宽和用于在沉浸式内容消费设备306到流化服务器308之间传输信令信息的期望往返延迟时间(RTT)，定义这些缓冲区的缓冲区长度和存储在这些缓冲区中的内容的质量。
图4A示出CVB。在这点上，应该理解，基于常规流化方法确定CVB缓冲区长度。在此描述的某些实例实施例需要提供帧级别缓冲区重放指针的反馈机制，帧级别缓冲区重放指针由缓冲区管理模块用于促进从CVB切换到PFB或FVB。
图4B示出PFB。每个PFB包括特定持续时间长度的循环缓冲区，并且该缓冲区的长度理想地应大于RTT/2以便在头部位置保持沿着与PFB关联的摄像机视图方向定位的情况下，确保从PFB无缝转换到CVB。通过向流化服务器308通知PFB视图转换为CVB质量需要的最少时间来确定时间RTT/2。在某些实施例中，CVB和PFB可以具有相同的质量，在这种情况下将不需要到达流化服务器308的用于切换视图质量的信令，并且将仅需要局部缓冲区重新形成。在这点上，PFB可以具有持续时间比CVB短的缓冲区，因为PFB仅旨在提供过渡功能。如果PFB和CVB具有相同质量内容，则在将特定缓冲区视图名称从PFB更改为CVB时，缓冲区长度可以增加或者可以将先前CVB存储器重新分配给新CVB。应该理解，可以存在多个PFB，并且在任何给定实施例中使用的PFB数量可以取决于各种因素，例如在沉浸式内容捕获设备312A或312B中使用的摄像机数量，以及沉浸式内容消费设备306的存储可用性、网络带宽和用于在沉浸式内容消费设备306与流化服务器308之间传输信令信息的期望RTT。
图4C示出FVB。FVB是有限持续时间的连续缓冲区，其跟踪当前重放位置。FVB缓冲区允许自由头部移动响应而没有内容中断，然而由于FVB存储关于沉浸式内容所有视图的信息的事实，存储在FVB中的内容的质量可能低于CVB或PFB的质量。在这点上，存储在FVB中的内容的质量可以取决于各种因素，例如在沉浸式内容捕获设备312A或312B中使用的摄像机数量，以及沉浸式内容消费设备306的存储可用性、网络带宽和用于在沉浸式内容消费设备306与流化服务器308之间传输信令信息的期望RTT。
现在转到图5A到图5E，示出在沉浸式内容提供系统302与沉浸式内容查看系统304之间执行的信令的实例。该信令使沉浸式内容查看系统304能够向流化服务器308描述用户的沉浸式交互(例如，用户的头部移动)。该信令进一步用于促进将适当的内容从沉浸式内容提供系统302(例如，经由其内容自适应模块318从流化服务器308)流化到沉浸式内容查看系统304，并且还防止流化不必要的内容，不必要的内容可能通过增加网络延迟和/或通过导致网络拥塞而妨碍无缝自由视点消费。将依次描述在图5A到5E的每一个中示出的流化服务器308与沉浸式内容消费设备306之间的信令。
图5A示出可以由沉浸式内容提供系统302(例如，经由内容自适应模块318)发送到沉浸式内容查看系统304(例如，缓冲区管理模块310)的信令消息。应该理解，如前所述，在某些实施例中，沉浸式内容提供系统302本身可以包括记录媒体的沉浸式内容捕获模块312A。但是，在备选实施例中，沉浸式内容提供系统302可以仅包括流化服务器308，流化服务器308可以存储先前记录的原始数据以便传输，或者流化服务器308可以在传输到沉浸式内容查看系统304之前，从单独沉浸式内容捕获模块312B收集原始数据。但是，在这些实施例的任何一个中，图5A中示出的信令消息可以标识可用摄像机视图的数量、对应于每个可用摄像机视图的摄像机索引的指示，以及每个摄像机视图的视场(FOV)范围(以度表示)。FOV范围信息允许确定以下操作的阈值：在视图之间切换、将PFB更改为CVB，或者从FVB流移动到PFB或CVB流(或者相反)。
图5B示出可以由沉浸式内容查看系统304(例如，经由沉浸式交互相关自适应模块324)发送到沉浸式内容提供系统302(例如，沉浸自适应模块316)的信令消息，其用于标识应被用作CVB的初始摄像机索引(用于流化单视场内容)或初始摄像机对索引(用于流化立体沉浸式内容)。此外，该信令消息可以指示应利用PFB的摄像机视图的数量。在这点上，如图5B中所示，当存在N个可用摄像机视图时，可以存在利用PFB的K个相邻摄像机视图。在某些此类实施例中，将存在最少2个相邻摄像机视图，以及最多(N-2)/2个相邻摄像机视图。
依次地，图5C示出可以由沉浸式内容查看系统304(例如，经由沉浸式交互相关自适应模块324)发送到沉浸式内容提供系统302(例如，沉浸自适应模块316)的信令消息，其用于指示沉浸式内容提供系统302已发生CVB更改。更改后的CVB可能由用户头部相对FOV(该FOV在与先前CVB关联的摄像机索引的FOV范围外部)的位置更改触发。当新FOV被现有PFB覆盖时，可以使用该信令消息，并且该信令消息标识将被用作新CVB的摄像机索引(用于流化单视场内容)或摄像机对索引(用于流化立体沉浸式内容)。在这点上，假设用户的头部位置停留在新位置中，则可以将对应PFB转换为CVB，并且因此启动新PFB。在这后一点上，该信令消息可以指示针对其利用PFB的摄像机视图的数量。在这点上，如图5C中所示，当存在N个可用摄像机视图时，可以存在利用PFB的K个相邻摄像机视图。在某些此类实施例中，将存在最少2个相邻摄像机视图，以及最多(N-2)/2个相邻摄像机视图(例如，在利用PFB的摄像机视图的每侧上具有最少一个摄像机到每侧上具有最多所有摄像机的一半)。
依次地，图5D示出可以由沉浸式内容查看系统304(例如，经由沉浸式交互相关自适应模块324)发送到沉浸式内容提供系统302(例如，沉浸自适应模块316)的信令消息，其用于指示沉浸式内容提供系统302正在发生快速用户头部移动并且因此暂停/重设CVB和PFB流，因为对于继续较高质量内容查看，不清楚用户头部将静止在哪个位置。
图5E示出可以由沉浸式内容查看系统304(例如，经由沉浸式交互相关自适应模块324)发送到沉浸式内容提供系统302(例如，沉浸自适应模块316)的信令消息，其用于指示沉浸式内容提供系统302用户的快速头部移动已减慢到预定阈值以下。在某些实施例中，该预定阈值可以是硬编码值，但在其它实施例中，该预定阈值可以被包括为信令参数。相应地，图5E中示出的信令消息可以后跟例如图5C中示出的信令消息以便产生CVB更改(如有必要)，从而为沉浸式内容提供系统302标识哪些摄像机索引对应于更新后的CVB和PFB流，并且命令沉浸式内容提供系统302根据新CVB和PFB摄像机索引分配来启动传输。
除了上述信令消息之外，在将信令消息传输到流化服务器308期间，沉浸式内容查看系统304可以用信号将数个缓冲区的当前重放位置传送到流化服务器308。该信息允许流化服务器308估计响应该特定客户机的剩余时间裕量。流化服务器308然后可以选择降低CVB、PFB或FVB中的一者或多者的质量以便与减少的裕量相匹配。
应该理解，FVB在整个流会话中可用以便在自由视点移动期间最小化质量下降。在自由视点移动期间，可以暂停CVB和PFB，但在用户头部移动固定到特定查看方向之后，可以立即重新启动CVB和PFB。尽管该实施方式中的沉浸式交互被描述为用户头部移动，但也可以构想其它类型的沉浸式交互，例如涉及沿着相同方向但具有不同焦距的摄像机视图(例如，与多个景深关联的摄像机视图)之间的平移的用户移动。
来自沉浸式内容查看系统304的信令消息还可以包括缓冲区状态信息(例如，每个缓冲区的大小和可用性)。这将允许流化服务器308确定要发送的内容量。在某些实施例中，为了防止针对特定视图的不必要数据传输(因为用户头部位置很有可能即将发生更改)，沉浸式内容查看系统304的用户可以经由单独用户接口(在图3中未示出)用信号将CVB缓冲区长度传送到流化服务器308。此外，应该理解，在某些实例实施例中，更热门的摄像机视图可以比其它摄像机视图具备更大缓冲区长度，因为自更热门的摄像机视图更改视图的可能性更低。
由沉浸式内容提供系统执行的操作
概述了端到端系统300和被传输以便促进其使用的信令消息之后，现在将描述某些实例过程。转到图6A和6B，示出包含由沉浸式内容提供系统302为了促进沉浸式内容的带宽高效的流化而执行的一系列操作的流程图。图6A和6B中示出的操作例如可以在包含沉浸式内容提供系统302的装置100的帮助下和/或控制下执行，并且更具体地说通过使用处理器102、存储器104、通信接口106以及沉浸式内容提供模块110和/或沉浸式内容捕获模块112中的一者或多者来执行。
在操作602中，装置100包括诸如处理器102、存储器104、通信接口106、沉浸式内容提供模块110之类的部件，以便初始化沉浸式内容的带宽高效的流化。下面将结合图6B更详细地描述初始化操作。
转到操作604，装置100包括诸如处理器102、沉浸式内容捕获模块112之类的部件，以便导致由沉浸式内容捕获设备生成沉浸式内容。如前所述，沉浸式内容捕获设备可以是装置100的元件或者可以独立于装置100。在某些实施例中，可以预先执行沉浸式内容的生成并且装置100可以简单地存储先前生成的沉浸式内容，并且在此类实施例中，操作604可以在下面剩余操作之前作为单独过程发生，或者如果未在装置100的指示下捕获沉浸式内容，则操作604可能根本不发生。
在操作606中，装置100包括诸如处理器102、存储器104、通信接口106之类的部件，以便取回关于与特定沉浸式内容查看系统304关联的CVB、一个或多个PFB和FVB的缓冲区信息。应该理解，在下面结合图6B描述的初始化操作中填充该缓冲区信息。
在操作608中，装置100包括诸如处理器102、存储器104、通信接口106、沉浸式内容提供模块110之类的部件，以便导致基于所取回的与CVB、一个或多个PFB和FVB相关的缓冲区信息，将沉浸式内容的多个部分传输到沉浸式内容查看系统。在这点上，装置100可以利用内容自适应模块318生成要基于所取回的缓冲区信息传输的沉浸式内容的多个部分。在这点上，内容自适应模块318可以传输关于与CVB关联的摄像机视图的高质量内容、关于与一个或多个PFB关联的摄像机视图的高或中质量内容，以及关于所有摄像机视图的低质量内容以便存储在FVB缓冲区中。但是，应该理解，传输的内容质量可以取决于网络状况，并且在某些实施例中该内容质量可以由所述装置确定，或者在其它实施例中可以由沉浸式内容查看系统304确定(在这种情况下，在沉浸式内容的带宽高效的流化的初始化期间，可以从沉浸式内容查看系统304接收所确定的内容质量级别的指示)。然而，不管网络状况为何，通过传输少于全部的沉浸式内容，操作608降低用于流化沉浸式内容的带宽要求。
相应地，现在转到图6B，描述用于初始化带宽高效的流化系统的操作。在操作610中，装置100包括诸如处理器102、存储器104、通信接口106、沉浸式内容提供模块110之类的部件，以便导致传输标识可用摄像机视图、对应于每个可用摄像机视图的摄像机索引以及对应于每个可用摄像机视图的视场的信令消息。该信息向沉浸式内容查看系统304通知沉浸式内容捕获设备312的技术规范，因此使沉浸式内容查看系统304能够形成适当的缓冲区对应性。
在操作612中，装置100包括诸如处理器102、存储器104、通信接口106之类的部件，以便由沉浸自适应模块从沉浸式内容查看系统304接收关于CVB、一个或多个PFB或FVB中的一者或多者的信令消息。在各种实施例中，该信令消息可以采取多种形式。例如，信令消息可以标识与CVB关联的一个或多个摄像机索引和/或与一个或多个PFB关联的一个或多个摄像机索引。备选地，信令消息可以指示由沉浸式内容查看系统304选择的内容质量级别，在操作608中选择要传输到沉浸式内容查看系统304的沉浸式内容期间，可以利用该内容质量级别。在另一个备选方案中，信令消息可以指示用户头部的方位的更改，装置100可以利用该更改标识和/或修正与CVB关联的摄像机索引，和/或与一个或多个PFB关联的一个或多个摄像机索引。在某些实施例中，从沉浸式内容查看系统304接收的信令消息指示利用FVB(例如，因为用户头部已开始快速移动)，并且因此命令流服务器暂停传输沉浸式内容的对应于CVB或一个或多个PFB的多个部分。从沉浸式内容查看系统304接收的后续信令消息然后可以命令流服务器继续传输沉浸式内容的对应于CVB或一个或多个PFB的多个部分(例如，在其中用户头部的移动已减慢到预定阈值以下的情况中)。
在操作614中，装置100包括诸如处理器102、存储器104、通信接口106、沉浸式内容提供模块110之类的部件，以便由沉浸自适应模块基于所接收的信令消息来更新关于CVB、PFB或FVB的缓冲区信息。
由沉浸式内容查看系统执行的操作
转到图7和8，示出包含由沉浸式内容查看系统304为了促进沉浸式内容的带宽高效的流化而执行的一系列操作的流程图。图7和8中示出的操作例如可以在装置100的帮助下和/或控制下执行，在这种情况下装置100可以包含沉浸式内容查看系统304，并且更具体地说通过使用处理器102、存储器104、通信接口106或沉浸式内容消费模块108中的一者或多者来执行。
在操作702中，装置100包括诸如处理器102、存储器104、通信接口106、沉浸式内容消费模块108之类的部件，以便初始化沉浸式内容的带宽高效的流化。下面将结合图8更详细地描述初始化操作。
在操作704中，装置100包括诸如处理器102、存储器104、通信接口106、沉浸式内容消费模块108之类的部件，以便从沉浸式内容提供系统接收沉浸式内容的多个部分。上面结合图6A和6B描述了沉浸式内容的这些部分的传输。
在操作706中，装置100包括诸如处理器102、存储器104、通信接口106、沉浸式内容消费模块108之类的部件，以便将所接收的沉浸式内容的多个部分存储在CVB、一个或多个PFB或FVB中的一者或多者内。
在操作708中，装置100包括诸如处理器102、存储器104、通信接口106、沉浸式内容消费模块108之类的部件，以便导致基于用户头部的方位，从CVB、一个或多个PFB或FVB中的一者生成可显示媒体。如果没有指示用户头部具有修正后方位的信号，则操作708可以从CVB生成可显示媒体。
在操作710中，装置100包括诸如处理器102、存储器104、通信接口106、沉浸式内容消费模块108之类的部件，以便导致由沉浸式内容消费设备显示可显示媒体。
从操作706，过程可以前进到可选操作712，其中装置100可以包括诸如沉浸式内容消费模块108之类的部件，以便接收指示用户头部的修正后方位的视图更改信号。
响应于在操作712中接收视图更改信号，过程前进到操作714。在操作714中，装置100包括诸如处理器102、存储器104、通信接口106、沉浸式内容消费模块108之类的部件，以便确定哪个缓冲区用于生成可显示媒体。在这点上，装置100可以首先判定用户头部的修正后方位是否与对应于CVB所关联的一个或多个摄像机索引的视场对齐。如果对齐，则装置100可以继续到操作708以便基于CVB生成可显示媒体。
但是，当用户头部的修正后方位与和CVB所关联的一个或多个摄像机索引关联的视场未对齐时，装置100必须判定是否使用PFB之一或FVB生成可显示媒体。相应地，装置100可以导致判定用户头部的修正后方位是否与对应于PFB之一所关联的一个或多个摄像机索引的视场对齐。如果对齐，则装置100可以继续到操作708以便基于所标识的PFB生成可显示媒体。但是，如果未对齐，则装置100继续到操作708以便基于FVB生成可显示媒体。以这种方式，不管用户的头部移动如何严重，装置100都将能够生成与用户头部的修正后方位对应的可显示媒体。
应该注意，当导致从PFB之一生成可显示媒体时，操作714可以进一步包括诸如通信接口106之类的部件，以便导致传输CVB更改信令消息，该CVB更改信令消息命令所述沉浸式内容提供系统将所述CVB与从中生成所述可显示媒体的所述PFB之一所关联的所述一个或多个摄像机索引相关联。在这点上，如果用户头部具有更改后的方位，则必须相应地更新当前视图。
作为备选方案，操作714不需要基于用户头部位置更改来标识要利用哪个缓冲区。相反，在此类实施例中可以由沉浸式内容提供系统302进行该判定，在这种情况下操作714仅标识用户头部位置更改。
作为另一个备选方案，操作714可以替代地包括由装置100标识要在选择沉浸式内容以在上述操作608中传输到沉浸式内容查看系统304的期间利用的内容质量级别。在这点上，此类实施例可以利用诸如MPEG-DASH之类的协议以便将该信息传送到沉浸式内容提供系统302。
但是，当从FVB生成可显示媒体时，这可以被解释为CVB以及一个或多个PFB将不再是当前或相邻视图的准确表示的信号。相应地，操作714可以进一步包括诸如通信接口106之类的部件，以便导致传输“暂停”信令消息，该暂停信令消息命令沉浸式内容提供系统302暂停传输与CVB或一个或多个PFB关联的沉浸式内容的多个部分。随后，在用户的头部移动减慢到预定阈值以下之后，操作714可以进一步包括诸如通信接口106之类的部件，以便导致传输“继续”信令消息，该继续信令消息命令沉浸式内容提供系统302重新启动传输与CVB或一个或多个PFB关联的沉浸式内容的多个部分。
现在转到图8，将更详细地描述沉浸式内容的带宽高效的流化的初始化。在操作802中，装置100包括诸如处理器102、存储器104、通信接口106、沉浸式内容消费模块108之类的部件，以便从沉浸式内容提供系统接收标识可用摄像机视图、对应于每个可用摄像机视图的摄像机索引以及对应于每个可用摄像机视图的视场的信令消息。
在操作804中，装置100包括诸如处理器102、存储器104、通信接口106、沉浸式内容消费模块108之类的部件，以便导致由头部跟踪模块确定用户头部的方位。
在操作806中，装置100包括诸如处理器102、存储器104、通信接口106之类的部件，以便导致由沉浸式交互相关自适应模块基于用户头部的方位来确定与CVB关联的一个或多个摄像机索引。在某些实施例中，该操作可以进一步包括导致基于用户头部的方位，确定与一个或多个PFB关联的一个或多个摄像机索引。
在操作808中，装置100包括诸如处理器102、存储器104、通信接口106之类的部件，以便导致由沉浸式交互相关自适应模块传输标识与CVB关联的一个或多个摄像机索引的信令消息。在其中操作806包括确定与一个或多个PFB关联的摄像机索引的实施例中，操作808的信令消息另外可以标识与一个或多个PFB关联的一个或多个摄像机索引。无论如何，在操作808结束之后，过程返回到先前描述的操作704。
如上所述，实例实施例提供用于沉浸式内容的带宽高效的流化的方法、装置和计算机程序产品，这些方法、装置和计算机程序产品解决上述要求而不损害沉浸式用户体验。如上所述，实例实施例利用多个缓冲区，它们在不同质量级别存储沉浸式内容的不同部分。通过在各种质量级别缓冲沉浸式内容的多个部分，实例实施例促进沉浸式内容的自由视点探索而不会在查看体验中产生任何破坏。因此，实例实施例在维护带宽效率的同时提供无缝消费体验。此外，实例实施例能够用信号将沉浸式内容消费设备状态传送到流化服务器。基于该功能，实例实施例可以进一步扩展以便添加有关沉浸式交互类型(例如放大或缩小操作)的信令消息。
如上所述，图6A到8示出描述根据本发明的实例实施例的装置、方法和计算机程序产品的操作的流程图。应该理解，每个流程图方框和流程图方框的组合都可以由各种部件实现，所述部件例如与包括一个或多个计算机程序指令的软件的执行关联的硬件、固件、处理器、电路和/或其它设备。例如，上述一个或多个过程可以由计算机程序指令实现。在这点上，实现上述过程的计算机程序指令可以由实现本发明实施例的装置100的存储器104存储，并且由装置100的处理器102执行。如认识到的，任何此类计算机程序指令都可以加载到计算机或其它可编程装置(例如，硬件)以便产生一种机器，以使得产生的计算机或其它可编程装置实现流程图方框中指定的功能。这些计算机程序指令还可以存储在计算机可读存储器中，这些指令使得计算机或其它可编程装置以特定方式工作，以使得存储在计算机可读存储器中的指令产生制造品，该制造品的执行实现流程图方框中指定的功能。计算机程序指令还可以加载到计算机或其它可编程装置上，使得在计算机或其它可编程装置上执行一系列操作步骤，以产生计算机实现的过程，以使得在计算机或其它可编程装置上执行的指令提供实现流程图方框中指定的功能的操作。
流程图方框支持用于执行指定功能的部件的组合和用于执行指定功能的操作的组合。还应该理解，一个或多个流程图方框和流程图方框的组合都可以由执行指定功能的基于专用硬件的计算机系统实现，或者由专用硬件和计算机指令的组合实现。
在某些实施例中，可以修改或进一步放大上述某些操作。此外，在某些实施例中，可以包括其它可选操作。可以以任何顺序并且以任何组合执行上述操作的修改、放大或添加。
得益于在上面描述和关联附图中提供的教导，本发明所属技术领域的技术人员将会想到在此给出的本发明的许多修改和其它实施例。因此，应该理解，本发明并不限于公开的特定实施例，并且修改和其它实施例旨在被包括在所附权利要求的范围内。此外，尽管上面描述和关联附图在元件和/或功能的特定实例组合的上下文中描述了实例实施例，但应该理解，备选实施例可以提供不同的元件和/或功能组合而不偏离所附权利要求的范围。在这点上，例如也可以构想不同于上面明确描述的那些组合的元件和/或功能组合，如可以在某些所附权利要求中给出的那样。尽管在此采用特定术语，但它们仅用于一般和描述性意义而不用于限制目的。

Claims (20)

1.一种用于沉浸式内容的带宽高效的流化的方法，所述方法包括：
导致由沉浸式内容捕获模块生成沉浸式内容；
从存储器取回与当前视图缓冲区(CVB)、一个或多个预取缓冲区(PFB)、以及自由视点缓冲区(FVB)相关的缓冲区信息；以及
导致由流化服务器基于所取回的与所述CVB、所述一个或多个PFB以及所述FVB相关的缓冲区信息将所述沉浸式内容的多个部分传输到沉浸式内容查看系统。
2.如权利要求1所述的方法，进一步包括：
由沉浸式自适应模块从沉浸式内容查看系统接收与所述CVB、所述一个或多个PFB或所述FVB中的一者或多者相关的信令消息；以及
由所述沉浸式自适应模块基于所接收的信令消息更新与所述CVB、PFB或所述FVB相关的缓冲区信息。
3.如权利要求2所述的方法，进一步包括：
导致由所述流化服务器传输标识可用摄像机视图、对应于每个所述可用摄像机视图的摄像机索引以及对应于每个所述可用摄像机视图的视场的信令消息，
其中响应于传输标识所述可用摄像机视图、对应于每个所述可用摄像机视图的所述摄像机索引以及对应于每个所述可用摄像机视图的所述视场的所述信令消息，接收与所述CVB、所述一个或多个PFB或所述FVB中的所述一者或多者相关的所述信令消息。
4.如权利要求2所述的方法，其中所述信令消息标识要与所述CVB关联的一个或多个摄像机索引和/或要与所述一个或多个PFB关联的一个或多个摄像机索引。
5.如权利要求2所述的方法，其中所述信令消息进一步标识内容质量级别，并且其中导致将所述沉浸式内容的多个部分传输到沉浸式内容查看系统进一步基于所述内容质量级别。
6.如权利要求2所述的方法，其中所述信令消息指示利用所述FVB，并且命令所述流化服务器暂停传输所述沉浸式内容的对应于所述CVB或所述一个或多个PFB的多个部分。
7.如权利要求2所述的方法，其中所述信令消息命令所述流化服务器继续传输所述沉浸式内容的对应于所述CVB或所述一个或多个PFB的多个部分。
8.一种用于沉浸式内容的带宽高效的流化的装置，所述装置包括至少一个处理器和至少一个存储器，所述至少一个存储器包括计算机程序代码，所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起导致所述装置：
导致生成沉浸式内容；
取回与当前视图缓冲区(CVB)、一个或多个预取缓冲区(PFB)、以及自由视点缓冲区(FVB)相关的缓冲区信息；以及
导致基于所取回的与所述CVB、所述一个或多个PFB以及所述FVB相关的缓冲区信息，将所述沉浸式内容的多个部分传输到沉浸式内容查看系统。
9.如权利要求8所述的装置，其中所述至少一个存储器和所述计算机程序代码被进一步配置为与所述至少一个处理器一起导致所述装置：
从沉浸式内容查看系统接收与所述CVB、所述一个或多个PFB或所述FVB中的一者或多者相关的信令消息；以及
基于所接收的信令消息更新与所述CVB、PFB或所述FVB相关的缓冲区信息。
10.如权利要求9所述的装置，其中所述至少一个存储器和所述计算机程序代码被进一步配置为与所述至少一个处理器一起导致所述装置：
导致传输标识可用摄像机视图、对应于每个所述可用摄像机视图的摄像机索引以及对应于每个所述可用摄像机视图的视场的信令消息，
其中响应于传输标识所述可用摄像机视图、对应于每个所述可用摄像机视图的所述摄像机索引以及对应于每个所述可用摄像机视图的所述视场的所述信令消息，接收与所述CVB、所述一个或多个PFB或所述FVB中的所述一者或多者相关的所述信令消息。
11.一种用于沉浸式内容的带宽高效的流化的方法，所述方法包括：
从沉浸式内容提供系统接收沉浸式内容的多个部分；
将所接收的沉浸式内容的多个部分存储在当前视图缓冲区(CVB)、一个或多个预取缓冲区(PFB)或自由视点缓冲区(FVB)中的一者或多者内；
导致基于用户头部的方位，从所述CVB、所述一个或多个PFB或所述FVB中的一者生成可显示媒体；以及
导致由沉浸式内容消费设备显示所述可显示媒体。
12.如权利要求11所述的方法，进一步包括：
从所述沉浸式内容提供系统接收标识可用摄像机视图、对应于每个所述可用摄像机视图的摄像机索引以及对应于每个所述可用摄像机视图的视场的信令消息；
导致由头部跟踪模块确定所述用户头部的方位；
导致由沉浸式交互相关自适应模块基于所述用户头部的方位确定与所述CVB和/或所述一个或多个PFB关联的一个或多个摄像机索引；以及
导致由所述沉浸式交互相关自适应模块传输标识与所述CVB和/或所述一个或多个PFB关联的所述一个或多个摄像机索引的信令消息，
其中响应于传输标识与所述CVB和/或所述PFB关联的所述一个或多个摄像机索引的所述信令消息，发生从所述沉浸式内容提供系统接收所述沉浸式内容的所述多个部分。
13.如权利要求12所述的方法，其中标识与所述CVB和/或所述一个或多个PFB关联的所述一个或多个摄像机索引的所述信令消息进一步标识内容质量级别，并且其中到达沉浸式内容查看系统的所接收的沉浸式内容的多个部分基于所述内容质量级别。
14.如权利要求12所述的方法，进一步包括：
从所述头部跟踪模块接收指示所述用户头部的修正后方位的视图更改信号；以及
导致判定所述用户头部的所述修正后方位是否与对应于所述CVB所关联的所述一个或多个摄像机索引的视场对齐，
其中，在所述用户头部的所述修正后方位与对应于所述CVB所关联的所述一个或多个摄像机索引的所述视场对齐的情况下，导致生成所述可显示媒体包括导致从所述CVB生成所述可显示媒体。
15.如权利要求14所述的方法，其中，在所述用户头部的所述修正后方位与和所述CVB所关联的所述一个或多个摄像机索引关联的视场未对齐的情况下，导致生成所述可显示媒体包括：
导致判定所述用户头部的所述修正后方位是否与对应于所述PFB之一所关联的所述一个或多个摄像机索引的视场对齐；
在所述用户头部的所述修正后方位与对应于所述PFB之一所关联的所述一个或多个摄像机索引的视场对齐的情况下，导致从所述PFB之一生成所述可显示媒体；以及
在所述用户头部的所述修正后方位与对应于所述PFB之一所关联的所述一个或多个摄像机索引的视场未对齐的情况下，导致从所述FVB生成所述可显示媒体。
16.如权利要求15所述的方法，其中响应于导致从所述PFB之一生成所述可显示媒体，所述方法进一步包括：
导致由所述沉浸式交互相关自适应模块传输CVB更改信令消息，所述CVB更改信令消息命令所述沉浸式内容提供系统将所述CVB与从中生成所述可显示媒体的所述PFB之一所关联的所述一个或多个摄像机索引相关联。
17.如权利要求15所述的方法，其中响应于导致从所述FVB生成所述可显示媒体，所述方法进一步包括：
导致由所述沉浸式交互相关自适应模块传输暂停信令消息，所述暂停信令消息命令所述沉浸式内容提供系统暂停传输与所述CVB或所述一个或多个PFB关联的沉浸式内容的多个部分。
18.一种用于沉浸式内容的带宽高效的流化的装置，所述装置包括至少一个处理器和至少一个存储器，所述至少一个存储器包括计算机程序代码，所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起导致所述装置：
从沉浸式内容提供系统接收沉浸式内容的多个部分；
将所接收的沉浸式内容的多个部分存储在当前视图缓冲区(CVB)、一个或多个预取缓冲区(PFB)或自由视点缓冲区(FVB)中的一者或多者内；
导致基于用户头部的方位，从所述CVB、所述一个或多个PFB或所述FVB中的一者生成可显示媒体；以及
导致向用户显示所述可显示媒体。
19.如权利要求18所述的装置，其中所述至少一个存储器和所述计算机程序代码被进一步配置为与所述至少一个处理器一起导致所述装置：
从所述沉浸式内容提供系统接收标识可用摄像机视图、对应于每个所述可用摄像机视图的摄像机索引以及对应于每个所述可用摄像机视图的视场的信令消息；
导致确定所述用户头部的方位；
导致基于所述用户头部的方位，确定与所述CVB关联的一个或多个摄像机索引；以及
导致传输标识与所述CVB关联的所述一个或多个摄像机索引的信令消息，
其中所述至少一个存储器和所述计算机程序代码被进一步配置为与所述至少一个处理器一起导致所述装置：响应于传输标识与所述CVB关联的所述一个或多个摄像机索引的所述信令消息，从所述沉浸式内容提供系统接收所述沉浸式内容的所述多个部分。
20.如权利要求19所述的装置，其中所述至少一个存储器和所述计算机程序代码被进一步配置为与所述至少一个处理器一起导致所述装置：
导致基于所述用户头部的方位，确定与所述一个或多个PFB关联的一个或多个摄像机索引，
其中标识与所述CVB关联的所述一个或多个摄像机索引的所述信令消息进一步标识与一个或多个PFB关联的所述一个或多个摄像机索引。
CN201610943589.8A 2015-10-26 2016-10-26 用于改进的沉浸式内容流化的方法和装置 Pending CN107037875A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/922450 2015-10-26
US14/922,450 US9888284B2 (en) 2015-10-26 2015-10-26 Method and apparatus for improved streaming of immersive content

Publications (1)

Publication Number Publication Date
CN107037875A true CN107037875A (zh) 2017-08-11

Family

ID=57153322

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610943589.8A Pending CN107037875A (zh) 2015-10-26 2016-10-26 用于改进的沉浸式内容流化的方法和装置

Country Status (5)

Country Link
US (1) US9888284B2 (zh)
EP (1) EP3163408A1 (zh)
JP (1) JP6334644B2 (zh)
KR (1) KR101892022B1 (zh)
CN (1) CN107037875A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112219403A (zh) * 2018-03-22 2021-01-12 华为技术有限公司 沉浸式媒体的渲染视角度量
CN112789854A (zh) * 2018-10-01 2021-05-11 瑞典爱立信有限公司 用于在暂停期间在360°沉浸式视频中提供质量控制的系统和方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102332525B1 (ko) * 2017-06-01 2021-11-29 삼성전자주식회사 전자 장치 및 그 동작방법

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020113805A1 (en) * 2001-01-02 2002-08-22 Jiang Li Image-based walkthrough system and process employing spatial video streaming
US20030122949A1 (en) * 2001-11-06 2003-07-03 Koichi Kanematsu Picture display controller, moving-picture information transmission/reception system, picture display controlling method, moving-picture information transmitting/receiving method, and computer program
US20030161302A1 (en) * 2002-01-24 2003-08-28 Roger Zimmermann Continuous media system
US20040001240A1 (en) * 2002-06-28 2004-01-01 Yoko Nakai Optical scanning device
US20040086186A1 (en) * 2002-08-09 2004-05-06 Hiroshi Kyusojin Information providing system and method, information supplying apparatus and method, recording medium, and program
US20070002131A1 (en) * 2005-02-15 2007-01-04 Ritchey Kurtis J Dynamic interactive region-of-interest panoramic/three-dimensional immersive communication system and method
CN101253774A (zh) * 2005-07-18 2008-08-27 韩国电子通信研究院 使用视角时间参考图像缓冲器的预测编码/解码装置及使用其的方法
CN103179423A (zh) * 2013-03-19 2013-06-26 宁波大学 一种交互式三维视频系统中的信号处理方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6043837A (en) * 1997-05-08 2000-03-28 Be Here Corporation Method and apparatus for electronically distributing images from a panoptic camera system
JP5920708B2 (ja) * 2012-02-29 2016-05-18 国立大学法人名古屋大学 多視点映像ストリーム視聴システムおよび方法
US20150139601A1 (en) 2013-11-15 2015-05-21 Nokia Corporation Method, apparatus, and computer program product for automatic remix and summary creation using crowd-sourced intelligence
US20150334299A1 (en) * 2014-05-14 2015-11-19 Panasonic Intellectual Property Management Co., Ltd. Monitoring system
US10204658B2 (en) * 2014-07-14 2019-02-12 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020113805A1 (en) * 2001-01-02 2002-08-22 Jiang Li Image-based walkthrough system and process employing spatial video streaming
US20030122949A1 (en) * 2001-11-06 2003-07-03 Koichi Kanematsu Picture display controller, moving-picture information transmission/reception system, picture display controlling method, moving-picture information transmitting/receiving method, and computer program
US20030161302A1 (en) * 2002-01-24 2003-08-28 Roger Zimmermann Continuous media system
US20040001240A1 (en) * 2002-06-28 2004-01-01 Yoko Nakai Optical scanning device
US20040086186A1 (en) * 2002-08-09 2004-05-06 Hiroshi Kyusojin Information providing system and method, information supplying apparatus and method, recording medium, and program
US20070002131A1 (en) * 2005-02-15 2007-01-04 Ritchey Kurtis J Dynamic interactive region-of-interest panoramic/three-dimensional immersive communication system and method
CN101253774A (zh) * 2005-07-18 2008-08-27 韩国电子通信研究院 使用视角时间参考图像缓冲器的预测编码/解码装置及使用其的方法
CN103179423A (zh) * 2013-03-19 2013-06-26 宁波大学 一种交互式三维视频系统中的信号处理方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112219403A (zh) * 2018-03-22 2021-01-12 华为技术有限公司 沉浸式媒体的渲染视角度量
CN112219403B (zh) * 2018-03-22 2022-03-25 华为技术有限公司 沉浸式媒体的渲染视角度量
CN112789854A (zh) * 2018-10-01 2021-05-11 瑞典爱立信有限公司 用于在暂停期间在360°沉浸式视频中提供质量控制的系统和方法
CN112789854B (zh) * 2018-10-01 2024-03-05 瑞典爱立信有限公司 用于在暂停期间在360º沉浸式视频中提供质量控制的系统和方法

Also Published As

Publication number Publication date
US20170118508A1 (en) 2017-04-27
EP3163408A1 (en) 2017-05-03
KR101892022B1 (ko) 2018-08-28
KR20170048217A (ko) 2017-05-08
US9888284B2 (en) 2018-02-06
JP2017085566A (ja) 2017-05-18
JP6334644B2 (ja) 2018-05-30

Similar Documents

Publication Publication Date Title
US11231827B2 (en) Computing device and extended reality integration
US20180356893A1 (en) Systems and methods for virtual training with haptic feedback
US20180146216A1 (en) Live interactive video streaming using one or more camera devices
CN103650518B (zh) 预测性的多层高速缓存体系结构
CN110268720A (zh) 具有远程设备输入同步的流应用环境
KR20200140368A (ko) 화상 회의를 위한 보충 콘텐츠를 이용한 비디오 스트림들의 수정
US20240173631A1 (en) Dynamic allocation of compute resources for highlight generation in cloud gaming systems
CN114518817A (zh) 一种显示方法、电子设备及存储介质
WO2018189617A1 (en) Method and apparatus for improving efficiency of image and video content delivery based on spatial viewing data
WO2014040281A1 (zh) 移动终端的增强现实处理方法及装置
CN107037875A (zh) 用于改进的沉浸式内容流化的方法和装置
CN102577404A (zh) 用于二维(2d)视频信使应用的三维(3d)视频
US20220066541A1 (en) Virtual reality system with posture control
CN115097994A (zh) 数据处理方法和相关装置
CN112584074A (zh) 视频录制方法及拍摄设备
KR20220038176A (ko) 원격 단말을 위한 몰입형 원격 회의 및 텔레프레즌스를 위한 오버레이 처리용 파라미터
US20230039530A1 (en) Automated generation of haptic effects based on haptics data
CN106375682A (zh) 影像处理方法、装置与可移动设备、无人机遥控器及系统
CN110192181A (zh) 具有丢失或者延迟的输入事件的恢复的流应用环境
KR20210132157A (ko) 착용가능한 헤드 마운트 디스플레이들을 위한 장치, 시스템들, 및 방법들
CN106921886A (zh) 一种终端的多媒体数据播放方法和装置
US11755117B2 (en) Information processing device, information processing method, and server device
CN110431513B (zh) 媒体内容发送方法、装置及存储介质
KR102103430B1 (ko) 클라우드에 기반한 가상현실 서비스의 레이턴시 측정방법 및 시스템
CN106780676B (zh) 一种用于显示动画的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170811