CN107431801A - 支持内容生成、发送和/或重放的方法和设备 - Google Patents

支持内容生成、发送和/或重放的方法和设备 Download PDF

Info

Publication number
CN107431801A
CN107431801A CN201680021622.XA CN201680021622A CN107431801A CN 107431801 A CN107431801 A CN 107431801A CN 201680021622 A CN201680021622 A CN 201680021622A CN 107431801 A CN107431801 A CN 107431801A
Authority
CN
China
Prior art keywords
environment
frame
image
blocked
place
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680021622.XA
Other languages
English (en)
Inventor
D·科勒
A·M·莫斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nextvr Inc
Original Assignee
Nextvr Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nextvr Inc filed Critical Nextvr Inc
Publication of CN107431801A publication Critical patent/CN107431801A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/001—Arbitration of resources in a display system, e.g. control of access to frame buffer by video controller and/or main processor
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006—Details of the interface to the display terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2352/00—Parallel handling of streams of display data
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/02—Graphics controller able to handle multiple formats, e.g. input or output formats
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/12—Frame memory handling
    • G09G2360/125—Frame memory handling using unified memory architecture [UMA]
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Generation (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

记载了支持从默认观察位置看得见的环境的各个表面的图像以及从默认观察位置看不见的各个表面(例如，被遮挡表面)的图像的捕捉、处理和/或使用的方法和设备。在一些实施例中，被遮挡和未被遮挡图像内容以一种或多种不同的流格式，被传送给重放设备。重放设备利用被遮挡图像数据来支持从环境中的默认观察位置看不见，但是当用户从与环境中的默认位置对应的默认观察位置移动到另一个位置时，从偏离默认观察位置的位置看得见的各个表面的图像的显示。按照一种流格式，在同一帧中传递被遮挡图像内容和未被遮挡图像内容。按照另一种流格式，在不同的帧中传递被遮挡图像内容和未被遮挡图像内容。

Description

支持内容生成、发送和/或重放的方法和设备
相关申请
本申请要求2015年3月1日提交的美国临时专利申请，序列号No.62/126,701，2015年3月1日提交的美国临时专利申请，序列号No.62/126,709，和2015年3月2日提交的美国临时专利申请，序列号No.62/127,215的优先权，上述专利申请均通过引用整体明确地包含在本文中。
技术领域
本发明涉及用于生成、发送和/或使用可按照一种或多种不同内容流格式通信的图像内容的方法和设备。
背景技术
内容捕捉方法通常关注于从环境中的单一地点的内容的捕捉。从单一图像捕捉地点，不同的表面可能被遮蔽，例如，视线被遮挡。例如，柱子的后面可能是看不见的，或者盒子的内部是看不见的。
随着环境模拟变得更加现实，显示设备的用户愿意能够在模拟的环境中移动。例如，如果他们站立，那么他们可能期望能够查看盒子的顶部，并看到从与环境中的捕捉图像的位置对应的环境中的默认观察地点看不到的盒子内部。类似地，如果用户通过侧身，改变他的头部位置，那么用户可能期望能够绕过柱子窥视。
不幸的是，如果从环境中的单一地点捕捉的图像是提供给重放设备的唯一内容，那么重放设备不能显示当用户在利用从环境中的单一地点捕捉的图像模拟的环境中改变他的位置时，所述用户期望看见的先前被遮挡的图像内容。从而，需要捕捉、传递和/或利用环境的被遮挡部分的图像，以使更逼真的环境模拟更容易。尽管就发送以及重放而论，存在改进的需要，不过并非所有的特征和实施例都需要针对发送侧和重放侧两者，对两者任意之一带来改进的特征都是有用和有益的。
根据上面所述，应意识到需要使环境的被遮挡部分的图像可被捕捉，并且环境的被遮挡部分的图像的至少一些部分可被提供给重放设备的方法和/或设备。
尽管并非对所有实施例来说都是必需或关键的，不过，有益的是能够以相对数据高效的方式，支持把被遮挡的图像内容连同未被遮挡的图像内容一起发送给重放设备的一种或多种方法。
根据上面所述，还应意识到需要使重放设备可以接收和/或利用环境的未被遮挡部分的图像以及与环境的被遮挡部分对应的至少一些图像内容的方法和/或设备。
发明内容
记载了用于处理捕捉的图像，并按一种或多种格式传送图像，以支持重放的方法和设备。在一些实施例中，按照使重放更容易，并且允许重放设备向用户提供存在于捕捉图像的环境中的模拟的方式，进行图像处理和传输。在一些实施例但未必所有实施例中，足够的内容被传送给重放设备，以使用户可以改变他/她的位置，并且允许显示的内容至少部分反映观察者位置的变化，以致用户能够看见从环境中的默认位置看不见的内容。
从而，记载了针对支持利用重放设备的模拟环境中的一系列观察位置的方法和设备的至少一些特征。在各个实施例中，从第一观察地点，例如，默认观察地点，模拟环境。监视用户头部位置，例如，头部方向和位置，并检测例如由用户的头部位置的移动引起的从默认观察位置的变化。用户可选择相对于默认观察位置对应于的地点，把他的头部移动(例如挪动)到在一系列支持的观察位置内的新的观察位置。通过改变环境的哪些部分被显示给用户，同时显示的各个部分对应于默认观察位置，但是考虑到不同的头部角度，支持头部向左或向右和向上/向下的转动。尽管用户的头部停留在默认的观察位置，不过，利用置于实际环境内的默认观察位置处的一对或多对立体摄像机捕捉的图像内容被渲染和显示给用户。在默认观察位置情况下的图像渲染可能，并且有时确实涉及利用环境的3D模型、包含与默认观察位置对应的各帧(例如各对的左眼和右眼图像)的第一内容流、以及用于把与默认观察位置内容流中的图像对应的各帧渲染到3D模型上的UV图，显示图像。
在检测到的头部转动会导致与默认观察位置对应的内容流的不同部分的显示的情况下，用户可通过倾斜，例如，向左或向右，向前或向后和/或站立或坐下，变更他/她的头部位置。这类改变代表从默认观察位置的物理移离或偏离，而不仅仅是头部转动，从而导致观察位置的变化。
在物理偏离默认观察位置的情况下，用户可能期望看见从默认观察位置，视线被遮挡的环境的一部分。例如，如果存在置于用户的默认观察位置的左侧的支柱，那么通过相对于所述支柱，向前倾斜，从而通过改变用户的观察位置，例如，地点和/或视线的方向，用户可能期望能够看见先前视线被遮挡的环境的一部分。视线被遮挡的环境的一部分通常不能从摄像机(例如，用于捕捉与默认观察位置对应的左眼和右眼视图的一对或多对摄像机)获得，因为柱子通常会妨碍用于捕捉与默认观察位置对应的图像的摄像机对这类图像区域的捕捉。
按照各个实施例，利用除用于捕捉用于产生默认观察区域的内容流的图像的那些摄像机以外的附加摄像机来捕捉从默认观察区域，视线被遮挡的环境的各个部分。所述摄像机可被安装在摄像机支架上，所述摄像机支架包括用于捕捉与默认观察位置对应的左眼和右眼视图的一对或多对摄像机。在一些这类实施例中，用于捕捉被遮挡的图像区域的摄像机是与各对立体摄像机中的摄像机不同的一种或多种摄像机。例如，用于捕捉被遮挡的图像区域的摄像机可以是在与用于捕捉立体重放用左眼和右眼位置图像的各对摄像机不同的位置，包含在摄像机支架中的光场摄像机或低分辨率摄像机。在一些实施例中，利用一个或多个光场摄像机捕捉的图像被用于提供允许活动期间的环境的实时映射(mapping)和环境中的变化的检测的环境深度信息，同时还提供在用户从默认观察位置改变他/她的头部位置的情况下，可用于补充利用各对立体摄像机捕捉的图像的图像。
尽管在一些实施例中，与从默认观察位置，视线被遮挡的各个环境部分对应的图像数据是利用位于上面安装用于捕捉与默认观察位置对应的立体图像的各对摄像机的同一摄像机支架上的各个位置处的一个或多个摄像机捕捉的，不过在其他实施例中，各个图像部分是利用在关注的环境内的其他地点处的摄像机捕捉的，或者图像是在与捕捉对应于默认观察位置提供的图像的时间不同的时间捕捉的。例如，与被遮挡的图像部分对应的图像可以用位于用于捕捉对应于默认观察位置的图像的摄像机支架的左侧或右侧的一个或多个摄像机捕捉。或者，如果已知在活动期间，存在对从默认观察位置的观察的临时障碍，那么可在所述临时障碍，例如为活动而增设的横幅或设备存放架的布置之前，捕捉图像，随后把所述图像用作支持被遮挡图像区域的观察的图像数据。尽管在不同的一些实施例中，对应于被遮挡图像区域的图像数据可能不对应于与对应于默认观察位置的图像数据不同的时间段，不过，被遮挡的图像区域不太可能表达重要的场景信息，从而在许多情况下，用户不会认识到通常被遮挡的图像区域的图像数据的时间点和显示的3D场景的其他区域的时间点不同。
在各个实施例中，除了未被遮挡的图像内容之外，被遮挡的图像内容，例如，从默认观察地点看不到的图像内容也被传递给重放设备。
支持把被遮挡和未被遮挡的图像内容传递给重放设备的各种方法。各个实施例不必支持传送和/或接收被遮挡和未被遮挡的图像内容的多种方式，不过在一些实施例中，内容服务器和重放设备支持传递和接收这类信息的多种方法。
在一些实施例中，被遮挡和未被遮挡的图像内容被一起打包到被传送给重放设备的帧中。
在另一个实施例中，在与用于传递被遮挡的图像内容的辅助内容流分离的不同内容流，例如，主要内容流中，传递被遮挡的图像内容。主要内容流和辅助内容流可被并且通常被复用到节目流中，所述节目流用于传递与节目(例如可在可被建模的诸如体育场、音乐厅等之类的环境中发生的体育赛事、音乐会或其他活动)对应的内容。
为了显示与通常被遮挡的图像区域对应的图像，在一些而非所有实施例中，向重放设备提供补充图像内容流，以提供与从默认观察位置视线被遮挡的图像区域对应的图像内容。这类补充内容可以呈包括对应于环境的一个通常被遮挡区域，不过在许多情况下，对应于环境的多个通常被遮挡区域的内容的帧的形式。除了对应于被遮挡图像部分的图像之外，在至少一些实施例中，被遮挡图像部分UV图具备指示如何把提供被遮挡的图像数据的帧的各个片段映射到环境的3D模型的信息。使用被遮挡图像部分的哪些片段可能，并且在一些实施例确实取决于用户对默认观察位置产生的变化。可以支持一直到预定量的默认观察位置的变化。例如，通过利用由补充图像数据提供的被遮挡图像部分，可以支持把观察位置向左或向右移动一英尺或更大。对应于被遮挡图像部分的图像数据可以并且在一些实施例中是按与默认观察位置对应的图像数据相同或者更低的帧速率，在帧中发送的。在一些实施例中，检测与环境的通常被遮挡部分对应的捕捉图像的变化，如果需要，那么响应检测到的变化，发送新的补充帧，以提供待由重放设备显示的更新的被遮挡区域图像内容。被遮挡图像部分可以并且有时确实具有对应于默认观察位置的环境的图像的相同分辨率。
然而，在其他实施例中，对应于环境的通常被遮挡部分的图像可以具有比由用于捕捉对应于默认观察位置的图像的各对摄像机捕捉的图像低的分辨率。当使用光场阵列的一个或多个摄像机(比如Lytro摄像机)捕捉的图像被用于捕捉通常被遮挡图像部分的图像时，情况通常就是这样。
尽管图像处理和/或传输系统可支持传递未被遮挡的图像内容和/或被遮挡的图像内容的一种或多种方法，不过，所有的传输系统不必支持这里说明的所有方法。
各个实施例中的重放设备能够接收和/或利用未被遮挡的图像内容和被遮挡的图像内容。重放设备可从记载在这里的供给这类内容的系统，接收这类内容。
各个特征针对重放设备和/或操作重放设备的方法。
在一些实施例中，重放设备接收包含被遮挡图像部分和未被遮挡图像部分两者的帧。在另一个实施例中，重放设备接收包含与默认观察位置对应的图像数据的帧(例如主帧)，和提供与从环境中的默认观察位置看不见的环境的通常被遮挡部分对应的图像数据的帧，例如，辅助帧。可接收被遮挡内容的这两种不同方式对应于不同的内容流格式。
响应检测到从默认观察位置到新的观察位置的用户变化，重放设备生成并显示包含从对应于默认观察位置的接收内容生成的第一图像部分，和从对应于通常被遮挡图像部分的接收图像内容生成的至少第二图像部分的图像。
在一些实施例中，在包含未被遮挡图像部分和被遮挡图像部分两者的帧中，接收与通常被遮挡图像部分对应的内容。在其他实施例中，在提供从默认观察位置，视线通常被遮挡的环境区域的图像的辅助帧中，接收被遮挡图像数据。根据检测到的用户从默认观察位置的偏离，确定显示的通常被遮挡图像的哪个部分或哪些部分的选择。
通过供给(supping)被遮挡图像内容和未被遮挡图像内容，在内容重放期间，能够支持多个观察位置，包括与环境中的不同地点对应的一些观察位置。
尽管在发明内容部分中，说明了众多的特征和实施例，不过应意识到并非所有的实施例都需要或者涉及所有上述特征的使用，一些实施例可包括一个或几个上述特征，和/或支持传递和/或利用被遮挡图像部分的上述方法之一。在下面的详细说明中，讨论了众多另外的特征、实施例和好处。
附图说明
图1图解说明按照一个实施例实现的摄像机支架，以及可用于校准摄像机支架的校准目标。
图2图解说明其中安装有3对摄像机(例如，捕捉立体图像数据的3对摄像机)的摄像机支架。
图3图解说明按照一些例证实施例实现的具有例证保护罩的例证摄像机支架。
图4图解说明按照一些例证实施例实现的再一个例证摄像机支架。
图5图解说明按照一些例证实施例实现的另一个例证摄像机支架。
图6图解说明按照本发明的一些实施例实现的例证系统。
图7A是图解说明操作按照一些实施例的例证处理系统的例证方法的流程图的图7的第一部分。
图7B是图解说明操作处理系统的例证方法的流程图的图7的第二部分。
图7C是图解说明操作处理系统的例证方法的流程图的图7的第三部分。
图7D是图解说明操作处理系统的例证方法的流程图的图7的第四部分。
图7包含图7A、7B、7C和7D的组合。
图8图解说明在一些实施例中，被实现成图7的流程图的方法的一部分的例证内容供给例程的步骤。
图9图解说明用于供给(例如流式传输或下载)不包含被遮挡图像部分的内容的第一流格式。
图10图解说明用于供给(例如流式传输或下载)包含帧中的未被遮挡图像部分和被遮挡图像部分的内容的第二流格式。
图11图解说明用于供给(例如流式传输或下载)包含在主要或主内容流的帧中发送的未被遮挡图像部分，和辅助流中的被遮挡图像部分的内容的第三流格式。
图12图解说明按照例证实施例实现的例证处理系统。
图13A是图解说明操作按照例证实施例的例证渲染和重放设备的例证方法的流程图的图13的第一部分。
图13B是图解说明操作渲染和重放设备的例证方法的流程图的图13的第二部分。
图13包含图13A和13B的组合。
图14图解说明作为进行图13的方法的一部分，由本发明的重放设备实现的例证第一流格式重放例程的步骤。
图15A是图解说明作为进行图13的方法的一部分，由重放设备实现的例证第二流格式重放例程的步骤的图15的第一部分。
图15B是图解说明作为进行图13的方法的一部分，由重放设备实现的例证第二流格式重放例程的步骤的图15的第二部分。
图15包含图15A和15B的组合。
图16A是图解说明作为进行图13的方法的一部分，由重放设备实现的例证第三流格式重放例程的步骤的图16的第一部分。
图16B是图解说明作为进行图13的方法的一部分，由重放设备实现的例证第三流格式重放例程的步骤的图16的第二部分。
图16C是图解说明作为进行图13的方法的一部分，由重放设备实现的例证第三流格式重放例程的步骤的图16的第三部分。
图16D是图解说明作为进行图13的方法的一部分，由重放设备实现的例证第三流格式重放例程的步骤的图16的第四部分。
图16包含图16A、16B、16C和16D的组合。
图17图解说明可在各个实施例中使用的例证3D环境网格模型，多个节点被例示成用于把3D模型分割成各个片段的线条的相交点。
图18图解说明可用于把提供纹理的2D帧的各个部分映射到图17的网格模型的例证UV图。
图19图解说明按照例证实施例实现的例证渲染和重放设备。
具体实施方式
下面讨论的涉及全景立体成像领域的各个特征，以及各个成像装置和/或设备(例如，包含摄像机的摄像机支架)非常适合于利用小型设备中的最少数目的摄像机，成本合理地捕捉高清晰度、高动态范围、高帧速率的立体360°全景视频，同时满足各种应用的重量和电力要求。
虚拟现实显示中，越来越需要使用立体360°全景视频内容。为了产生具有对最终的图像清晰度来说重要的4K或更高分辨率、对记录微光内容来说重要的高动态范围、和对记录快速移动内容(比如运动)中的细节来说重要的高帧速率的立体360°全景视频内容，通常需要专业级大型传感器、电影摄像机或者适当质量的其他摄像机的阵列。
为了使摄像机阵列可以用于捕捉供在立体虚拟现实显示中观看的360°立体内容，摄像机阵列应获得以致结果与如果观看者的头部和摄像机共处一地，那么所述观看者理应看到的景像近似的内容。具体地，各对立体摄像机应被配置成以致它们的轴间分离在相对于63mm的公认人类模型平均值的可接受增量(delta)之内。另外，从全景阵列的中心点到摄像机镜头的入射光瞳的距离(又名节点偏移)应被配置成以致它在相对于101mm的公认人体模型平均值的可接受增量之内。
为了使摄像机阵列可用于捕捉其中摄像机阵列应紧凑和不突兀的活动和观赏性运动，应物理占地面积(footprint)较小地构成摄像机阵列，所述较小物理占地面积使摄像机阵列可部署在各种地点，以及当需要装运时，可用尺寸合理的容器装运。
摄像机阵列还应被设计成以致阵列的最小成像距离较小，例如，尽可能地小，这使由于场景要素落在邻近摄像机的视场之外，从而场景要素不能被捕捉的“盲区”降至最小。
如果通过在易于发生最高光学畸变的地方(镜头视角相交，并且发生镜头的最大畸变的地方)，布置校准目标，从而可考虑到光学调准，校准摄像机阵列，那么这是有利的。为了便利最有效的校准目标布置，目标位置应该并在一些实施例中是根据支架设计用公式确定的。
图1表示在一些实施例中使用的例证摄像机构成100。为了更好地理解所示的在一些实施例中使用的摄像机对排列，图1中未表示在图4和5中所示的支撑结构。尽管在一些实施例中，使用3对摄像机，比如在图1的例子中，不过在一些但并非所有的实施例中，只用可用于支持同时的360°立体视频的总共6个摄像机中的2个摄像机，填充摄像机阵列，例如支架的摄像机位置。当摄像机支架或组合件被配置以比可安装在支架中的所有6个摄像机少的摄像机时，所述支架仍然能够实时捕捉高价值的前景180°场景要素，同时例如通过在未捕捉前景图像时旋转支架，手动捕捉低价值的背景180°场景要素的静态图像。例如，在一些实施例中，当利用双摄像机阵列来捕捉比赛场地相对于摄像机在0°位置的足球赛时，绕节点手动把所述阵列转动到120°和240°的位置。这使体育比赛或竞赛场地(例如前景)上的动作可被实时捕捉，并且边线和露天看台(例如背景区域)可作为立体静态图像被捕捉，从而用于生成包含前面部分的实时立体视频，及左后部分和右后部分的静态图像的混合全景。按照这种方式，所述支架可用于捕捉360°视图，所述360°视图的一些部分是在捕捉360°场景区域的不同视图时的不同时间点之间，绕摄像机支架的节点轴(例如，垂直中心点)转动摄像机支架的情况下，在不同的时间点捕捉的。或者，可在第二对和第三对摄像机安装位置，安装单一摄像机，对这些区域捕捉单体(非立体)图像内容。
在摄像机成本不是问题的其他情况下，可在和图1的例子中一样，保持多达6个摄像机的支架中的各个位置处安装不止两个摄像机。这样，取决于待捕捉的表演，以及用户运送较大数目(例如6个)摄像机的需求或能力，或者用户运送少于6个摄像机(例如2个摄像机)的能力，可以实现成本有效的摄像机部署。在一些实施例中，从利用摄像机支架100中的摄像机捕捉的图像，生成环境深度图。
图1描述6摄像机组合件100(有时也称为支架或摄像机阵列)，以及校准目标115。图1中图解所示的摄像机支架100包括把摄像机保持在指示的位置的支撑结构(示于图4和5中)，总共6个摄像机的3对102、104、106的立体摄像机(101、103)、(105、107)、(109、111)。所述支撑结构包括底座720(这里也被称为安装板(参见图4中所示的元件720))，底座720支撑摄像机，上面安装摄像机的板子可被固定到所述底座720上。所述支撑结构可由塑料、金属或复合材料(比如石墨或玻璃纤维)构成，用形成三角形的线条表示，所述三角形也用于表示摄像机之间的间隔和关系。虚线相交的中心点表示在一些但未必所有的实施例中，可绕其转动各对摄像机102、104、106的中心节点。在一些实施例中，中心节点对应于利用三角形线条表示的摄像机支撑框架可绕其转动的例如三角架底座的钢杆或者带螺纹的中心安装件。所述支撑框架可以是其中安装摄像机的塑料机架，或者如图4和5中所示的三角架结构。
图1中，各对摄像机102、104、106对应于不同的摄像机对位置。第一对摄像机102对应于面向前0°位置，通常意味覆盖主要动作发生于的前景。该位置通常对应于关注的主要区域，例如，正在进行体育比赛的场地、舞台、或者主要动作/表演可能发生于的某种其他区域。第二对摄像机104对应于120°摄像机位置(从面向前0°位置起约120°)，用于捕捉右后观看区域。第三对摄像机106对应于240°观察位置(从面向前位置起约240°)和左后观看区域。注意，这3个摄像机位置隔开120°。
在图1的实施例中，每个摄像机观察位置包括一对摄像机，每对摄像机包括用于捕捉图像的左摄像机和右摄像机。左摄像机捕捉有时称为左眼图像的内容，右摄像机捕捉有时称为右眼图像的内容。图像可以是在一个或多个时间捕捉的视图序列或静止图像的一部分。通常，至少对应于摄像机对102的前摄像机位置将用高质量视频摄像机填充。其他摄像机位置可用高质量视频摄像机、低质量视频摄像机或者用于捕捉静止或单体(mono)图像的单个摄像机填充。在一些实施例中，第二和第三摄像机实施例保持不被填充，上面安装摄像机的支撑板被旋转，使第一对摄像机102可以但在不同时间，捕捉对应于所有3个摄像机位置的图像。在一些这样的实施例中，捕捉并保存左后图像和右后图像，随后在活动(event)期间，捕捉向前摄像机位置的视频。捕捉的图像可被实时地，例如在活动仍然在进行中的时候，被编码和流式传输给一个或多个重放设备。
图1中所示的第一对摄像机102包括左摄像机101和右摄像机103。左摄像机具有被固定到第一摄像机的第一镜头组合件120，右摄像机103具有固定到右摄像机103的第二镜头组合件。镜头组合件120、120'包括允许捕捉广角视场的镜头。在一些实施例中，每个镜头组合件120、120'包括鱼眼镜头。从而，每个摄像机102、103可捕捉180°或近似180°的视场。在一些实施例中，捕捉小于180°的视场，不过在一些实施例中，在从邻近的摄像机对捕捉的图像中，仍然至少存在一些交叠。在图1的实施例中，摄像机对位于第一(0°)、第二(120°)和第三(240°)摄像机安装位置中的每一个之处，每一对捕捉环境的至少120°或者更大，不过在许多情况下，每个摄像机对捕捉环境的180°或者近似180°。
第二对和第三对摄像机104、106与第一对摄像机102相同或相似，不过位于相对于向前0°位置的120°和240°摄像机安装位置处。第二对摄像机104包括左摄像机105和左镜头组合件122，以及右摄像机107和右摄像机镜头组合件122'。第三对摄像机106包括左摄像机109和左镜头组合件124，以及右摄像机111和右摄像机镜头组合件124'。
图1中，D表示第一对立体摄像机102(101、103)的轴间距离。在图1的例子中，D为117mm，这与普通人的左眼和右眼的瞳孔之间的距离相同或相似。图1中的虚线150描述从全景阵列的中心点到右摄像机镜头120'的入射光瞳的距离(又名节点偏移)。在对应于图1的例子的一个实施例中，附图标记150指示的距离为315mm，不过其他距离也是可能的。
在一个特定实施例中，摄像机支架100的覆盖区较小。这种小尺寸使摄像机支架可被放置在观众中，例如，在粉丝或出席者通常可能位于的就座位置处。从而在一些实施例中，摄像机支架被放置在观众区中，使观看者具有成为观众的一员的感觉(在期望这类效果的情况下)。在一些实施例中，覆盖区对应于在一些实施例中包括中心支撑杆的支撑结构被安装到或者支撑塔所位于的底座的尺寸。应意识到在一些实施例中，摄像机支架可以绕与3对摄像机之间的中心点对应的底座的中心点转动。在其他实施例中，摄像机被固定，不绕摄像机阵列的中心转动。
摄像机支架100能够捕捉较近的物体以及不同的物体。在一个特定实施例中，摄像机阵列的最小成像距离为649mm，不过其他距离也是可能的，该距离决不是关键的。
从摄像机组合件的中心到第一和第三摄像机部分的视图的交点151的距离表示例证的校准距离，所述校准距离可用于校准利用第一和第二摄像机对捕捉的图像。在一个特定的例证实施例中，镜头视角相交并且出现镜头的最大畸变的最佳校准距离为743mm。注意，目标115可被置于与位于或者稍微超出最大畸变区域的摄像机对相隔已知距离之处。校准目标包括已知的固定校准模式。校准目标可以用于并被用于校准利用各对摄像机中的摄像机捕捉的图像的大小。这种校准是可能的，因为相对于捕捉校准目标115的图像的摄像机，校准目标的大小和位置是已知的。
图2是更详细地表示图1中所示的摄像机阵列100的示图200。尽管摄像机支架100再次被表示成具有6个摄像机，不过在一些实施例中，摄像机支架100被填充以仅仅两个摄像机，例如，包含摄像机101和103的摄像机对102。如图所示，在各个摄像机对安装位置之间，存在120°的间隔。考虑例如每个摄像机对之间的中心对应于摄像机安装位置的方向。在这种情况下，第一摄像机安装位置对应于0°，第二摄像机安装位置对应于120°，而第三摄像机安装位置对应于240°。从而，各个摄像机安装位置隔开120°。如果延伸穿过各个摄像机对102、104、106的中心的中心线被延伸，并测量线之间的角度，那么可以看出这一点。
在图2的例子中，摄像机对102、104、106可以并且在一些实施例中确实绕摄像机支架的中心点转动，从而使得可在不同时间，捕捉不同的视图，而不必变更摄像机支架底座的位置。即，可使摄像机绕支架的中心支撑件旋转，从而允许摄像机在不同的时间，捕捉不同的场景，从而使得在图2中所示的支架被填充以仅仅两个摄像机的时候，可以利用该支架进行360°场景捕捉。考虑到立体摄像机的成本，这类配置从成本的角度来看是特别令人满意的，并且非常适合于其中理想的是显示从相同的视点但是在与包括体育活动或其他活动期间的主要动作的前景可能发生的时间不同的时间捕捉的背景的许多应用。例如考虑在活动期间，物体可能被放置在摄像机之后，从而可取的是在主要活动期间不显示该物体。在这种情形下，可以并且有时就是在主要活动之前，捕捉后方图像，并且使之连同主要活动的实时捕捉图像一起可用，以提供图像数据的360°集合。
各个特征还涉及摄像机支撑结构和摄像机构成可以并且在各个实施例中确实维持在从75mm到350mm的范围中的节点偏移距离的事实。在一个特定实施例中，维持315mm的节点偏移距离。
在一些实施例中，支撑结构还维持在从400mm2到700mm2的范围中的总面积(又名覆盖区)。在一个特定实施例中，维持640mm2的总面积(又名覆盖区)。支撑结构还维持在从400mm到700mm的范围中的最小成像距离。在一个特定实施例中，维持649mm的最小成像距离。在一个特定实施例中，阵列的最佳校准距离是在镜头视角相交并且出现镜头的最大畸变之处。在一个特定的例证实施例中，该距离为743mm。
如上所述，在各个实施例中，摄像机阵列(例如支架)仅仅被填充以同时的360°立体视频通常所需的总共6个摄像机中的2个摄像机，以实时捕捉高价值的前景180°场景要素，同时手动捕捉低价值的背景180°场景要素的静态图像。
图3表示与图1和2的支架相同或相似，但是没有支撑三角架，而是具有放置在摄像机对上方的塑料盖350的例证摄像机支架300。塑料盖350包括可用于提升或旋转(例如当放置在三角架上时)摄像机支架300的把手310、312、314。摄像机支架300被表示成具有3对摄像机，包含带有镜头组合件320、320'的摄像机301、303的第一摄像机对302，包含带有镜头组合件322、322'的摄像机的第二摄像机对304，包含带有镜头组合件324、324'的摄像机的第三摄像机对306。塑料盖350被固定到安装平台316，安装平台316可被实现成带有一个或多个插槽和螺孔的平板。利用螺母或螺钉330、331，把塑料盖350固定到底座上，所述螺母或螺钉330、331可用手取下或拧紧，以便允许容易地移除或附接塑料盖350，从而容易地触及摄像机对的摄像机。尽管在图3中所示的支架300中，包含6个摄像机，不过可以包含单一摄像机对，和/或可以使用单一摄像机对，加上位于未安装摄像机对的其他摄像机安装位置处的一个或多个单独的摄像机。
图4是表示按照一些例证实施例实现的一种例证摄像机支架801的一个视图的示图800。摄像机支架801中包含摄像机阵列，其中的一些是立体摄像机。在示图800中的摄像机支架801的例示视图中，摄像机支架801的仅仅一部分是可见的，不过在示图800中不能完全看见的摄像机支架801的其他侧(也被称为不同面)上，存在摄像机的类似排列。在一些但不是所有的实施例中，摄像机支架801包括利用顶部塑性体或盖子805和底部底盖842固定的13个摄像机。在一些实施例中，这13个摄像机中的8个是立体摄像机，比如成对的摄像机804、806、812和814，而许多其他摄像机是光场摄像机，比如在示图800中可见的摄像机802和810，和在示图800中，不是完全可见，而是部分可见的摄像机815和820。摄像机的各种其他组合也是可能的。在一些实施例中，还在摄像机支架801的顶部，例如，摄像机支架801的顶面840，安装摄像机825，以捕捉关注的环境的上半球的图像。塑性体/盖子805包括可用于提升或转动摄像机支架801的把手811、813、817。
在一些实施例中，在摄像机支架801的每个较长侧面，摄像机支架801包括一个光场摄像机(例如，摄像机802)，和形成立体摄像机对的两个其他摄像机(例如，摄像机804、806)。在一些这样的实施例中，存在4个这样的较长侧面(也被称为4个侧面830、832、834和836)，每个较长侧面具有一个光场摄像机和一个立体摄像机对，例如，在示图800中，可以看见在向左的一个较长侧面836上的光场摄像机802和立体摄像机对804、806，和在向右的另一个较长侧面830上的另一个光场摄像机810和立体摄像机对812、814。尽管在示图800中，未完全表示另外的两个侧面，不过在图8中，更详细地表示了它们。在一些实施例中，摄像机支架801中的至少一些摄像机，例如，立体摄像机和光场摄像机利用鱼眼镜头。在各个实施例中，利用对应的镜头/摄像机防护装置保护摄像机支架801中的各个摄像机，以保护摄像机和/或镜头免受可能由物体导致的物理碰撞和/或损伤。例如，摄像机802、804和806分别用防护装置845、847和849保护。类似地，摄像机810、812和814分别用防护装置850、852和854保护。
除了在4个侧面830、832、834和836每一个上的立体摄像机对和光场摄像机之外，在一些实施例中，在摄像机支架801的顶面840上，摄像机支架801还包括垂直面向上方，例如，朝向天空，或者另外的天棚表面(在封闭环境的情况下)的摄像机825。在一些这样的实施例中，在摄像机支架801的顶面上的摄像机825是光场摄像机。尽管未在示图800中示出，不过在一些其他实施例中，除了摄像机825之外，摄像机支架801的顶面840还包括用于捕捉左眼图像和右眼图像的另一对立体摄像机。尽管在正常情形下，利用摄像机825捕捉的360°环境(例如，体育场、剧院、音乐厅等)的上半球(也被称为天空部分)可能不包含动作和/或保持静止，不过在一些情况下，可能重要的是或者理想的是以与利用支架801上的其他摄像机捕捉其他环境部分相同的速率，捕捉所述天空部分。
尽管上面关于摄像机支架801，表示和讨论了一种例证的摄像机阵列布置，不过在一些其他实现中，代替在摄像机支架801的4个面830、832、834、836上在一对立体摄像机(例如，摄像机804、806和812、814)之上布置的仅仅一个光场摄像机(例如，摄像机802和810)，摄像机支架801包括与立体摄像机对一起布置的光场摄像机阵列。例如在一些实施例中，在摄像机支架801的每个较长侧面上，存在布置在立体摄像机对之上的3个光场摄像机。在另一个实施例中，在摄像机支架801的每个较长侧面上，存在布置在立体摄像机对之上的6个光场摄像机，例如，布置在立体摄像机对之上的两排各3个光场摄像机。此外，在另一种变形中，示图800中所示种类的摄像机支架也可被实现成以致代替4个面830、832、834、836具有指向水平方向的摄像机，摄像机支架有3个面具有指向水平方向的摄像机。
在一些实施例中，摄像机支架801可被安装在支撑结构上，以致可使摄像机支架801绕垂直轴转动。在各个实施例中，摄像机支架801可被部署在关注的环境(比如体育场、礼堂、或者其中正在发生待捕捉的活动的另一个地方)中。在一些实施例中，摄像机支架801的光场摄像机用于捕捉关注的环境(例如关注的360°场景区域)的图像，并生成可用于模拟3D环境和显示立体成像内容的深度图。
图5是表示按照一些例证实施例实现的另一种例证摄像机支架1101的视图的示图1100。例证的摄像机支架1101在大多数且很多方面类似于摄像机支架801，包括与上面关于摄像机支架801讨论的相同或相似的摄像机配置。摄像机支架1101包括类似于摄像机支架801的4个侧面1130、1132、1134、1136和顶面1140。摄像机支架1101的4个侧面1130、1132、1134、1136分别包括包含一个光场摄像机和一对立体摄像机的摄像机阵列，而摄像机支架的顶面1140包括与关于摄像机支架801所示和讨论的类似的至少一个摄像机设备1125。不过，除了在5个表面1130、1132、1134、1136和1140每一个上的摄像机阵列之外，摄像机支架1101还包括第六底面1142，底面1142包括垂直面向下方(例如朝向地面)的至少一个摄像机1126。在一些这样的实施例中，垂直面向下方的底面摄像机1126和垂直面向上方的顶面摄像机1125是光场摄像机。在一些实施例中，摄像机1125和1126都是在摄像机支架1101的顶面1140和底面1142上的对应立体摄像机对的一部分。
尽管例如在活动期间，摄像机支架801和1101的立体摄像机被用于捕捉立体成像内容，不过，光场摄像机的使用允许扫描关注的场景区域，并且(例如，从与关注的场景的这些部分对应的捕捉图像)生成利用光场摄像机捕捉的场景区域的各个部分的深度图。在一些实施例中，场景区域的各个部分的深度图可被组合，以生成该场景区域的合成深度图。这样的深度图和/或合成深度图可被并且在一些实施例中被提供给重放设备，用于显示立体成像内容，和模拟可由观看者体验的3D环境。
尽管例如在活动期间，上述摄像机支架的立体摄像机被用于捕捉立体成像内容，不过，光场摄像机的使用允许扫描关注的场景区域，并且(从与关注的场景的这些部分对应的捕捉图像)生成利用光场摄像机捕捉的场景区域的各个部分的深度图。在一些实施例中，场景区域的各个部分的深度图可被组合，以生成该场景区域的合成深度图。这样的深度图和/或合成深度图可被并且在一些实施例中被提供给重放设备，用于显示立体成像内容，和模拟可由观看者体验的3D环境。
与立体摄像机组合地使用光场摄像机允许例如在被拍摄的活动期间的实时的环境测量和环境深度图的生成，从而不需要在活动(例如，足球比赛)的开始之前，提前离线地进行的环境测量的部署。
虽然从各个图像生成的深度图对应于待被映射的环境的一部分，不过在一些实施例中，从各个图像生成的深度图被处理，例如拼接在一起，从而形成利用光场摄像机扫描的完整环境的合成图。从而通过利用光场摄像机，可以生成，并且在一些实施例中生成较完整的环境图。
在光场摄像机的情况下，微镜头阵列捕捉以致在获取之后人可以重新聚焦图像的足够信息。在图像捕捉之后，在主镜头的子孔径内移动人的视点也是可能的，从而实际上获得多个视图。在光场摄像机的情况下，可在一次捕捉中，同时获得源于离焦和对应性两者的深度线索(cue)。这在试图补充未被立体摄像机捕捉的被遮挡信息/场景部分时会是有用的。
根据光场摄像机输出生成的深度图是最新的，可精确测量用于将利用立体摄像机捕捉的特定活动(例如音乐会或比赛)的体育场或其他关注环境中的变化。另外，通过从安装立体摄像机的相同地点或附近测量环境，至少在一些实施例中，环境图精确地反映环境，好像环境是从用于捕捉活动的立体摄像机的角度感知似的。
在一些实施例中，利用光场摄像机捕捉的图像可被处理和用于补充例如由于立体摄像机对的位置和/或视场可能稍微不同于光场摄像机的位置和/或视场，和/或归因于立体摄像机的视线受到阻碍，而未被立体摄像机对捕捉的环境的各个部分。例如，当光场摄像机相对于立体摄像机对的位置面向后方时，它可捕捉面向前方的立体摄像机对看不见的向后视图。在一些实施例中，光场摄像机的输出被单独或者连同立体摄像机对捕捉的图像数据一起，提供给重放设备。当要显示未被立体摄像机对充分捕捉的场景区域的显示时，重放设备可以利用由光场摄像机捕捉的全部或多个部分的图像。另外，利用光场摄像机捕捉的图像的一部分可用于补充从立体摄像机对的位置，视线被遮挡，但是当用户相对于与立体摄像机对的位置对应的默认观察位置，向左或向右移动他或她的头部时，所述用户期望能够看见的立体图像的一部分。例如，如果用户向左或向右倾斜，以求绕过阻碍他/她的视线的柱子窥视，那么在一些实施例中，源自利用光场摄像机捕捉的一个或多个图像的内容将被用于提供立体摄像机对看不见，但是预计从在重放期间用户通过向左或向右倾斜而达到的移动后的头部位置，用户看得见的图像内容。
图1-9中图解所示的各个例证摄像机支架可装备各种不同的摄像机，例如，普通摄像机、立体摄像机对、光场摄像机等。在各个实施例中，例证的摄像机支架用于例如利用装备的摄像机，捕捉环境信息，例如测量和图像，以按照本发明的特征，支持各种应用。
图6图解说明按照本发明的一些实施例实现的例证系统6600。系统600支持环境信息测量和捕捉，包括图像捕捉，处理和向位于消费者驻地处的一个或多个消费者设备(例如重放设备/内容播放器)的递送，例如，成像内容、环境模型和/或纹理图递送。系统600包括例证的成像设备604、立体成像系统606、处理系统608、通信网络650、和多个消费者驻地610,…,612。成像设备604包括一个或多个光场摄像机，而立体成像系统606包括一个或多个立体摄像机。在一些实施例中，成像设备604和立体成像系统606包含在例证的摄像机支架602中，摄像机支架602可以是前面关于图1-5讨论的摄像机支架中的任意一个。除了光场摄像机设备和立体成像系统606之外，摄像机支架602还可包括另外的成像和/或环境测量设备。成像设备602按照本发明的特征，捕捉和处理成像内容。通信网络650可以是例如混合光纤同轴(HFC)网络、卫星网络和/或因特网。
处理系统608被配置成按照本发明，处理从包含在立体成像系统606中的一个或多个光场摄像机604和一个或多个立体摄像机接收的成像数据。处理系统608进行的处理例如包括生成关注的环境的深度图，生成3D网格模型和UV图，处理从置于环境中的一个或多个地点处的一个或多个摄像机设备接收的图像内容，例如，以一种或多种不同格式，对图像编码，按照本发明的特征，提取被遮挡图像数据，和按照本发明的特征，把图像内容以及环境模型信息和UV图传送给一个或多个重放设备。在一些实施例中，处理系统608可包括服务器，所述服务器响应对于内容和/或供渲染内容之用的环境信息(例如与关注的环境对应的深度图，和/或3D环境网格模型、UV图和/或成像内容)的请求。
重放设备可以利用，并且在一些实施例中确实利用这类信息来模拟3D环境，和渲染3D图像内容。
处理系统608被配置成例如通过通信网络650，把成像数据和/或环境信息流式传输(例如，发送)给一个或多个消费者设备。通过网络650，处理系统608可发送和/或与位于消费者驻地610、612处的设备交换信息，如图中用穿过通信网络650的链路609所示。在被递送给一个或多个重放设备之前，成像数据和/或信息可被编码。
各个消费者驻地610、612可包括用于解码和重放/显示例如由立体摄像机606和/或部署在系统600中的其他摄像机捕捉的成像内容的多个设备/播放器。在被处理系统608传送给重放设备之前，成像内容通常被处理，例如被格式化和/或编码。消费者驻地1 610包括耦接到显示设备620的解码设备/重放设备622，而消费者驻地N 612包括耦接到显示设备624的解码设备/重放设备626。在一些实施例中，显示设备620、624是头戴式立体显示设备。在一些实施例中，重放设备622、626接收从处理系统608接收的环境模型(也称为3D网格模型)、UV图和成像内容并将其用于渲染3D成像内容，和向用户显示3D成像内容。
在各个实施例中，重放设备622、626在对应的显示设备620、624上，呈现成像内容。重放设备622、626可以是能够解码利用立体摄像机捕捉的立体成像内容，利用解码的内容生成成像内容，并在显示设备620、624上渲染成像内容(比如3D图像内容)的设备。
包含图7A、7B、7C和7D的组合的图7表示生成信息(例如环境模型和UV图信息)，并生成和流式传输与在环境中捕捉的图像对应的内容的方法700。所述方法和设备可支持在活动正在进行中的时候，内容的实时捕捉、处理和流式传输，不过也可用于非实时内容生成和流式传输。虽然被表示成从图像捕捉到流式传输的完整处理，不过应意识到，模型生成和按流式传输用格式生成内容的图像的处理可由与流式传输内容的设备或系统分离的系统进行。例如，一旦按一种或多种格式生成了内容，那么所述内容就可被加载到一个或多个服务器，所述一个或多个服务器接收并响应内容请求，例如如图7中所述。从而，虽然将利用其中单一系统进行与内容生成和流式传输相关的步骤的例子，说明图7的步骤，不过，方法700的不同部分可以并且在一些实施例中确实由不同的设备进行。
例如在内容处理和流式传输系统(比如在图6或本申请的任意其他附图中所示的系统)被通电的情况下，在步骤702中，方法700开始。在步骤704，系统从一个或多个来源，接收指示环境的形状的环境模型信息，例如，深度信息。环境模型信息可以是测量将在其中捕捉图像的环境的形状的深度信息。例如，所述信息可以是从将从其捕捉在环境中发生的活动的图像的默认观察位置(例如摄像机或座位位置)，在体育场测量的深度信息。可以利用LIDAR进行环境深度测量。替代地或者另外地，可以使用光场摄像机来捕捉深度信息。从例如利用放置在默认观察位置处的摄像机支架捕捉的光学图像，可以获得附加深度信息。体育场或环境的形状的静态模型信息也可用于生成环境的模型。
在步骤704，从可包括图4中所示的摄像机支架的摄像机的一个或多个来源接收模型信息之后，操作进入步骤706，在步骤706，生成环境的一个或多个模型。在一些实施例中，模型是网格模型，其中网格模拟所述环境中的一个或多个表面，纹理(例如捕捉的图像)可被贴到所述一个或多个表面上，以生成在重放期间用户可观看的图像。
操作从步骤704进入步骤706，在步骤706，生成一个或多个环境模型。环境可以是体育场、剧院、室外环境或者利用例如一个或多个摄像机支架可从中捕捉图像的任意环境。例如，图4或者本申请的任意其他附图中的摄像机支架可用于捕捉环境的图像。步骤706包括步骤708、710和712中的一个或多个或全部。
在步骤708，生成从默认观察位置看得见的环境的各个表面的模型，例如第一环境模型。在步骤708生成的第一模型可以是并且有时确实是根据从默认观察位置产生的图像和/或深度测量，和/或关于环境的形状的静态信息生成的网格模型。在一些实施例中，第一模型把从默认观察位置看得见的环境中的模型表面，模拟成利用节点连接的一组片段，从而称为“网格模型”。每个片段代表作为生成待显示给重放设备的用户的图像的一部分，可把纹理(例如，图像)贴到其上的表面。从而，第一网格模型表现如从默认观察位置，望向环境的被模拟表面(例如，墙壁、支柱、舞台等)的位于所述默认观察位置处的某人理应感知到的一样地模拟的环境的形状。
应意识到，从默认观察位置，环境中的例如物体的一些表面可能是看不见的。这类表面被称为“被遮挡物体或表面”，因为当人从默认位置观察环境，或者摄像机从默认位置捕捉环境的图像时，它们被遮挡。从而，为了说明本发明，被遮挡表面或物体将被视为从默认观察位置看不见的物体或表面，而未被遮挡物体或表面将被视为例如当用户转动他或她的头部，而不从默认观察位置向左或向右，向上或向下移动时，从默认观察位置看得见的物体或表面。例如，柱子的后侧，或者在柱子之后的物体会是被遮挡物体，如果从默认观察位置看不见的话。被遮挡图像或被遮挡图像部分指的是被遮挡表面或物体的图像，或者被遮挡表面或物体的图像的一部分。
体育活动或另外的活动的爱好者习惯于在存在所述活动的环境中，从座位或者其他通常固定的观察位置，观看该活动。从其捕捉环境的图像内容的位置可以并且有时确实对应于在体育活动或其他活动的就座位置。
虽然活动的参与者习惯于坐在指定的座位上，不过，他们也习惯于在活动期间，能够在座位上向左或向右倾斜，和站立或蹲下。这类动作通常在观看者可改变他/她的头部位置的距离方面有限，从而可被看作从默认观察位置(例如爱好者的头部位置(如果爱好者坐在座位上的话)的移离或偏离。通常在试图观察从默认观察位置视线被遮蔽(即被遮挡)的环境的部分时，进行这类移动。和其中用户头部位置可以变化，但是用户的头部在环境中的地点通常保持在环境中的同一地点的简单头部转动或头部倾斜不同，从默认观察位置向左或向右，向上或向下的偏离通常伴随爱好者或用户将能够看到从默认观察位置看不见的环境的某个部分的预期。
模拟从默认观察位置看得见的表面的第一环境模型通常不包括与从默认观察位置看不见的表面对应的片段和/或节点。这是因为假定用户呆在默认地点，他/她不太可能看到其他表面，从而从数据存储和/或传输的角度看，包含与不太可能被使用的环境的各个部分有关的这类细节会是浪费的。
对于不能支持观看位置到偏离位置的变化的设备，第一环境模型应该是足够的，并且非常适合于支持在环境中捕捉的内容的重放的目的。然而，对于支持用户的从默认位置，改变他/她的观看位置的能力的设备，关于另外的表面(例如如果用户改变他的观察位置，那么可看到的表面)的模型信息会是合乎需要的。例如，可能有用的是模拟从默认观察位置看不见，不过如果通过改变观察位置，那么用户预计能够看到的柱子或墙壁或盒子的内表面的全部或一部分。例如，通过向上移动他的头部，用户可预计能够看到在他前面的盒子的内部，当在默认观察位置处时，用户只能看到所述盒子的顶部，而看不到其内部。另外还考虑用户可能期望通过向侧面倾斜，从而把他/她的头部位置移向默认观察位置的左侧或右侧，能够看到柱子的背面或者后侧的一部分。通过向左或向右倾斜，或者站立对坐下，用户可能能够看到的被遮挡表面可能是环境的较小部分。然而，为了提供逼真的虚拟现实体验，理想的是能够响应检测到用户的头部位置的变化，精确地向用户呈现环境的这类被遮挡部分。
为了支持被遮挡物体和表面的显示，在一些实施例中，在步骤712，生成辅助模型信息，所述辅助模型信息模拟从第一默认观察位置看不见的环境的各个部分。辅助模型信息可以以利用在环境中，布置在不同地点(例如偏离默认观察位置的地点)处的摄像机或距离测量设备捕捉的图像为基础，和/或以详细环境模型信息(比如包含从默认观察位置看不见的各个表面的信息的详细体育场模型)为基础。已从各个角度，详细测量了许多体育场和/或其他场所，以产生环境的精确3D模型，当实时测量不可能的时候，这类模型是辅助模型信息的良好来源。
辅助模型信息可以呈补充网格信息的形式，所述补充网格信息可以与第一网格模型结合，以生成包括与从默认观察位置看不见的至少一些部分/表面对应的片段和节点的环境的更详细模型。取决于实施例，辅助模型信息和第一环境模型信息可被结合，以形成第二环境模型，如在步骤710中进行的一样。在步骤710中生成的第二环境模型包括与从默认观察位置看得见的表面对应的片段和节点，还包括与从第一默认观察位置看不见，但是从一个或多个其他地点(例如，偏离默认观察位置的第二位置)看得见的环境的各个部分对应的片段和节点。
虽然即使不显示被遮挡环境内容，也可以使用第二环境模型，不过在设备不能支持多个观察位置的情况下，第一模型的使用更加高效，因为由于重放设备缺乏支持备选观察位置的能力，因此被遮挡图像部分将不被显示。在设备未强大到足以按期望的帧速率，解码主内容和被遮挡内容的情况下，这是可预期的。
然而，在用户可移动他的头部位置的情况下，可有用的是发送第二环境模型，或者第一环境模型和辅助信息的组合，以致重放设备得到关于未被遮挡图像表面(这里有时也称为主要或主环境表面)以及被遮挡表面的可靠模型信息。如下所述，取决于重放设备能力和/或按其向重放设备供给内容的格式，可能理想的是供给：i)第一环境模型，ii)第二环境模型，或者ii)第一环境模型和辅助模型信息的组合。如果被供给第一环境模型和辅助模型信息，那么接收设备能够根据包含在辅助模型信息中的节点和片段信息，更改第一模型，从而生成包含模拟未被遮挡表面以及至少一些被遮挡表面的信息的第二模型。
在步骤706中生成的环境模型和/或模型信息在步骤714，被保存在例如存储器或其他存储设备中，以致可被提供给试图重放与模拟的环境对应的内容的重放设备。
操作从步骤714进入步骤716，在步骤716，生成一个或多个UV图，以便与待映射到第一或第二环境模型的图像内容一起使用。是否生成一个或多个UV图取决于一个或多个帧(例如2D图像)是否被用于传送待贴到用于重放的环境模型的纹理。
在一些实施例中，将用作纹理的图像内容是从默认观察位置或者偏离默认观察位置的位置捕捉的图像，所述图像将被用作可被贴到一个或多个环境模型中的各个片段的纹理。各个UV图指示如何分割2D图像，和把UV图中的各个片段映射到环境的3D网格模型的对应片段。通常，UV图的1个片段对应于3D环境模型的1个片段。
UV图可用于单体图像，例如，在传送单一图像，以便向用户的左眼和右眼两者显示的情况下。UV图还可用于把左眼图像内容映射到3D模型，以生成左眼图像，和把右眼图像映射到3D模型，以生成待显示的右眼图像。在这样的实施例中，相同的UV图和3D环境模型可用于立体图像对的左眼图像和右眼图像，不过用于左眼的输入图像不同于用于生成右眼图像的输入图像。2D图像被编码和传送的方式可随特定实施例而变化。在一些立体实施例中，在不同的帧中，传送将用作纹理的环境的左眼和右眼输入图像。在其他实施例中，左眼图像和右眼图像都被包含在单一帧中，例如一个图像在帧的上部，而另一个图像在第一图像下面，或者左眼图像和右眼图像是交织地传递的，例如，帧的奇数行用于左眼图像，而偶数行用于右眼图像。在UV图的应用之前，重放设备可分离左眼图像和右眼图像，随后利用UV图确定如何把左眼输入图像贴到3D图上，并再次单独地利用UV图确定如何把右眼输入图像贴到3D网格模型上，以生成供显示的右眼图像。
由于可按照各种方式之一，把左眼图像和右眼图像打包在帧中，以便把立体图像对传输给重放设备，因此申请人将设法尽可能地限制本申请中的这类选项的讨论。
步骤716可包括步骤718、720和722中的一个、多个或者全部。在步骤718，生成用于把2D图像(例如帧)的各个部分映射到第一环境图的第一UV图。生成第一UV图时的待映射的帧的各个部分可以，并且通常确实包括作为从默认观察位置看得见的环境的各个对应部分的图像的各个部分。第一UV图可以是，并且在一些实施例是针对环境的360°视图的，不过可以是针对环境的较小部分的。
在步骤720，生成第二UV图，用于映射帧的各个部分，所述帧包括与从默认观察位置看得见的环境的各个部分对应的各个图像部分，还包括与从不同于默认观察位置的一个或多个位置看得见的环境的被遮挡部分对应的各个图像部分。例如，帧的大部分可专用于传递从默认观察位置捕捉的环境的图像，用作待贴到模拟的环境的未被遮挡片段的纹理，而帧的另一个较小部分(例如底部)专用于传送与被遮挡表面对应的图像。用于传递被遮挡物体的纹理信息的帧的片段的大小可以，并且有时确实小于用于把未被遮挡图像部分映射到3D模型的相同大小片段的UV图中的片段的大小。在这种情况下，利用传送的帧的较小部分和UV图来传递环境的被遮挡部分的纹理，会导致与未被遮挡图像部分相比，纹理具有较低的分辨率。然而，与未被遮挡部分相比，对于被遮挡图像部分使用分辨率较低的纹理允许高效地利用帧中的可用像素，因为与被遮挡图像部分相比，未被遮挡图像部分更有可能被观察得多。
通过利用单一帧来传递未被遮挡图像数据和少量的被遮挡图像数据，能够支持被遮挡图像内容的显示，同时与传送只包含未被遮挡图像数据的帧的情况相比，不会显著增大需要被传送的数据的数量。为了支持在具有未被遮挡图像数据的帧中，传送被遮挡图像数据，与被遮挡数据不被打包到具有未被遮挡图像数据的帧中的情况相比，未被遮挡图像数据可以，并且有时确实被稍微(例如10％或更低)下采样。
代替把被遮挡图像数据打包到具有未被遮挡图像数据的帧中，被遮挡图像数据可被打包到在与传递未被遮挡图像数据(例如和模拟环境的未被遮挡部分对应的图像部分)的帧的第一内容流复用的辅助内容流中发送的帧中。在辅助帧被用于传递对应于被遮挡表面的图像部分的情况下，在步骤722，生成辅助UV图，用于把辅助帧的各个部分映射到与环境的被遮挡部分对应的3D网格模型中的各个片段。所述辅助图可以并且有时确实包括与不同的主帧对应的部分。例如，辅助帧的不同的1/5部分可传递将与主内容流的不同帧(例如，主内容流中的一组M个帧)一起使用的内容。在这种情况下，将根据包含在UV图中的信息，在不同的时间使用辅助帧的不同部分，以致单个辅助帧中的内容可以与主帧中的内容组合，以便应用到网格模型，从而生成与帧时间对应的图像。
在步骤716，生成了不同的网格模型，以支持第一、第二和第三内容流式传输格式中的每一种的情况下，操作进入步骤724，在步骤724，生成的第一UV图、第二UV图和辅助UV图被保存在例如具有网格模型信息的存储器中，以致它可根据需要，被提供给请求内容的重放设备。
操作从步骤724进入步骤726，和经连接节点A 727进入步骤729。步骤726标记图像内容(例如由在环境中的默认观察位置处的摄像机支架捕捉的图像的一个或多个流)的处理的开始。从而，其中接收捕捉的图像内容的步骤726和未被遮挡图像内容的接收有关。在步骤726，处理系统接收由位于默认观察位置处的第一摄像机或包括第一摄像机和第二摄像机的第一摄像机对捕捉的图像内容。在支持单体图像的情况下，将仅仅使用第一摄像机。在支持立体图像捕捉的情况下，第一摄像机将被用于捕捉例如左眼图像，而第二摄像机将被用于捕捉例如右眼图像。
操作从步骤726进入步骤728，在步骤728，选择从第一摄像机或第一摄像机对接收的将被编码的接收图像内容，以便包含在第一帧(例如，用于传递预定用作3D环境网格模型的片段的纹理的图像数据的帧)中。步骤728可涉及一个或多个接收图像的裁剪，和/或与环境的不同部分对应的一个或多个接收图像的不同部分的提取，以便包含在待传送给重放设备的一个或多个帧中。在步骤728进行的选择考虑一个或多个接收图像的哪些部分将被映射到模型上，这样的部分被选择，以便包含在待传送的帧中。
操作经连接节点B 730，从步骤728进入步骤732和734。在步骤732，在步骤728选择的图像内容按照第一格式被格式化，以便编码。该步骤可涉及进一步裁剪、缩放和/或进行选择性分辨率降低，和/或来自不同图像的内容的组合，以便包含在单一帧中。例如，如果左眼图像和右眼图像将被打包到单一帧中，那么步骤732将格式化图像，以致图像可被放入同一帧中，这通常涉及下采样。在其中作为独立帧，传送左眼图像和右眼图像的立体实施例的情况下，与包含左眼图像和右眼图像的单一帧相反，步骤732会输出形成立体帧对的一对图像。
数据736表示由步骤732输出，并作为输入被提供给步骤741的按照第一格式被格式化以便编码的图像或图像对，在步骤741，对数据736进行编码，从而从捕捉的一个或多个图像，生成一个或多个编码帧。操作从步骤741进入步骤744，在步骤744，第一格式的一个或多个编码帧746被保存在内容存储库(例如存储器)中，以便可能未来在利用第一流格式的第一内容流和/或利用第三内容流格式的第三内容流中流式传输。
在一些实施例中，在步骤728选择的接收图像内容经历处理，以生成第二格式的帧。第二格式的帧的生成包括步骤734、740、742，并利用在步骤731，从备选图像源(例如第二摄像机)提取的被遮挡图像数据。除了通常占据第二格式的帧的大部分的对应于未被遮挡物体的图像部分之外，第二格式的帧还包括被遮挡图像数据，例如，被遮挡物体的图像的各个部分。
在步骤734，图像或图像对被格式化，以便按照其中单一帧包含与环境的未被遮挡部分对应的图像部分和与环境的被遮挡部分对应的图像部分两者的第二帧格式编码。步骤734可包括未被遮挡图像部分的所有或一些部分的下采样，以便在一个或多个帧中，为被遮挡图像内容腾出空间。从而在第二帧格式中，与当使用第一格式时相比，专用于未被遮挡环境部分的像素的数目可较少，假定对于第一帧格式和第二帧格式，都使用在像素数目方面大小相同的帧。在图7B中，在步骤734中生成的为编码而被格式化的图像或图像对用数据738表示，数据738充当步骤740的输入。步骤740的另一个输入是将包含在按照第二帧格式的帧中的被遮挡图像数据762。被遮挡图像数据762的生成将在下面，关于来自位于偏离默认观察位置的位置，从而能够捕捉至少一些被遮挡物体的图像的摄像机的一个或多个图像的处理进一步讨论。
在步骤740，结合格式化的图像数据738和被遮挡图像数据762，从而按照第二格式，生成待编码的一个或多个帧。在其中每个帧时段生成一帧的单体(mono)，或者其中左眼图像和右眼图像被打包到单一帧中的立体的情况下，对于每个重放帧时段，将生成单一帧。在不同的帧被用于传递左眼图像和右眼图像的情况下，在步骤740，生成左眼图像和右眼图像，从而形成立体帧对。在步骤742，在步骤742生成的一个或多个格式化帧被编码。在步骤744，保存第二帧格式的包括未被遮挡图像部分和被遮挡图像部分两者的一个或多个编码帧748，例如供响应随后的内容请求之用。
在UV图生成和存储之后，处理经连接节点A 727，进入步骤729。步骤729可以与步骤732、734并行进行，并且是并行表示的，不过，步骤729也可以是顺序地进行的，只要使被遮挡图像数据在步骤740中可供使用即可。
在步骤729，从另外的摄像机(例如位于与位于所述默认观察位置的所述第一摄像机和/或所述第一摄像机对不同的位置处的第三摄像机)接收一个或多个图像。第三摄像机在其图像中，捕捉从默认观察和主图像捕捉位置，视线被遮挡的环境的至少一些部分。
在步骤731，从接收自第三摄像机的一个或多个图像中，提取与对于第一摄像机或摄像机对来说不可见的环境的一个或多个部分对应的图像部分，例如被遮挡图像数据。提取的各个部分可对应于柱子的背面、盒子的内部或者从默认观察位置看不见的某个其他表面。提取的被遮挡图像部分可以是打算用作作为被遮挡片段的环境的各个片段的纹理的非连续图像部分。提取的被遮挡图像片段的处理经连接节点C 751，从步骤731进入图7C中所示的步骤752。在步骤752，进行检查，以例如根据从在步骤731获得的环境的一个或多个被遮挡片段的一组提取的被遮挡图像数据中缺失的图像数据，判定是否存在对其来说被遮挡数据不可用的、与从默认观察位置看不见的区域对应的环境模型中的任意片段，被遮挡环境片段。如果不存在缺失的被遮挡图像数据，那么提取的被遮挡图像数据是完整的，从而在步骤761，提取的被遮挡图像数据作为被遮挡图像数据762，被提供给一个或多个其他处理步骤，例如步骤740。
如果在步骤752，判定对于与环境的被遮挡部分对应的环境模型中的一些片段，被遮挡图像数据缺失，那么操作从步骤752进入步骤754。在步骤754，分析环境和/或包括被遮挡图像部分的环境的图像，以确定如何最好地从环境的可用图像部分生成纹理，从而填充其中捕捉的图像内容不可用的被遮挡片段。在一些实施例中，利用边缘和/或对象检测来判定对其来说图像内容不可用的片段是否是对其来说图像内容可用的物体或表面的一部分。环境的捕捉图像中的边缘被用于标识表面和/或物体。在一些实施例中，生成关于重放设备应如何填充对其来说图像部分不可用的被遮挡片段的指令，而不是提供纹理，例如图像部分。这可以并且在一些实施例中确实包括平均或复制与相同表面或物体对应的一个或多个特定被遮挡图像部分，并把所得到的图像内容用作将作为纹理，被贴到未对其捕捉图像数据的片段上的缺失图像部分的指令。在其他实施例中，在步骤756，从其他被遮挡图像部分，生成纹理(例如，图像部分)，随后，所述纹理(例如，图像部分)被包含在被遮挡图像数据中，好似它是利用摄像机捕捉的。在一些实施例中，被遮挡图像数据是利用摄像机捕捉的环境的被遮挡部分，但是不直接对应于未对其捕捉图像的被遮挡片段，例如，它可对应于环境的邻近被遮挡部分。由于这样的图像数据不会获得，没有被包含在被遮挡图像数据中，因此通过考虑内容是否可供环境模型的所有被遮挡图像片段利用，使处理来自第三摄像机的图像的设备可以进行比不可直接利用由第三摄像机捕捉的图像的重放设备能进行的替换更好的替换，和/或提供指令。
操作从步骤756进入步骤760，在步骤760，使生成的填充指令和/或为缺失这类数据的被遮挡图像片段生成的代用图像数据与提取的被遮挡图像数据结合。随后在步骤761，返回生成的一组被遮挡图像数据，作为供诸如步骤740和步骤735之类的一个或多个其他步骤之用的被遮挡图像数据762。
上面已说明在步骤740中进行的处理。因而，讨论现在将转向图7B的步骤735中的被遮挡图像数据的处理。在步骤735，被遮挡图像数据762按照第三格式(例如，用于生成包含被遮挡图像部分(例如，与从默认观察位置看不见的被遮挡物体对应的图像的较小部分)的辅助帧的格式)被格式化，以便编码。在步骤735，将与一个或多个主帧一起使用的被遮挡图像数据被格式化，例如裁剪、下采样和组合成可在辅助帧或者辅助帧的一部分中传递的一组像素数据。被遮挡图像数据可以是出自第三图像的一组挖剪图像(cutout)，所述一组挖剪图像将被用作环境的被遮挡部分的纹理。这些较小的图像部分可被下采样，以在将被用于传送被遮挡图像数据的像素的数目方面，降低它们的大小。在步骤735，已选择和格式化被遮挡图像数据的情况下，操作进入步骤737，在步骤737，被遮挡图像数据(例如，与被遮挡表面对应的小片或较小图像部分)被布置成包含在一个或多个辅助帧中。虽然在未被遮挡图像数据的情况下，环境的邻近部分的图像通常是按照与在环境中它们被放置在的地方一致的方式，彼此紧挨着(例如彼此邻近地)布置的，不过，作为与多个物体对应的图像部分的组合的被遮挡图像数据可以并且有时确实被布置成最大程度地使用辅助帧或帧部分中的可用空间。从而，在对应于被遮挡物体的辅助图像数据的情况下，帧中的图像部分的布置可能非常不同于实际环境中的被遮挡图像部分的布置，与辅助帧关联的UV图控制图像部分将在环境中的什么地方被用作纹理。
在辅助帧中，以对应于辅助帧的UV图控制图像(例如，纹理)被贴在模拟的环境中的什么地方为条件，根据UV图提供的指示辅助帧各个部分应被如何映射到环境模型片段的信息，与环境中的非邻近物体对应的各个像素有时被布置成彼此相邻。类似地，当被遮挡图像内容被包含在按照第二格式生成的帧中时，在和这样的帧一起使用的UV图控制被遮挡图像内容将作为纹理，被贴到环境网格模型的哪些片段的情况下，与非邻近被遮挡物体对应的各个像素可被彼此相邻地布置在帧中，以便传输。从而，和其中邻近像素通常对应于网格模型中的邻近片段的主图像数据或未被遮挡图像数据不同，就被遮挡图像数据来说，帧中的邻近像素可以并且常常确实对应于非邻近表面或物体，例如，从默认观察位置看不见的彼此不相邻的被遮挡物体表面。例如，在辅助数据的情况下，柱子的后面部分的图像可以紧挨着(例如，邻近)盒子的内部的图像地被包含在用于形成帧或者帧的一部分的被遮挡图像数据集中，即使柱子的后面部分和盒子的内部位于环境中的不同的非邻近地点处。从而，在作为步骤737的一部分的被遮挡图像数据的布置中，实际环境中的邻近图像部分在布置的一组被遮挡图像数据中，可能不相邻，而作为环境中的非邻近物体的被遮挡物体的图像在辅助帧中，或者在包含在第二格式的帧中的被遮挡图像数据集中，可能被布置成相邻。
已知被遮挡图像部分往往是被模拟的环境的与未被遮挡图像部分相比，小得多的部分，当在辅助帧中发送被遮挡图像数据时，与多个不同主帧对应的被遮挡图像数据可被包含在一个辅助帧中。另外，辅助帧大小可以不同，例如小于主帧大小。重放设备可以还原与主流的不同帧对应的被遮挡图像数据，并与主流(例如未被遮挡图像内容流)的对应帧一起地使用还原的图像数据。从而，通过利用就帧中的像素的数目来说，不同(例如，较小)的帧大小，和/或通过把关于多个不同的未被遮挡图像帧的被遮挡图像数据打包到一个辅助帧中，与传送主内容流所需的数据量相比，可以开销较小地提供被遮挡图像内容。在一些实施例中，被遮挡图像内容流(例如，辅助内容流)的数据速率为主未被遮挡内容流的数据速率的1/10或更小。在辅助帧包含多个主帧的被遮挡图像内容的情况下，辅助数据流的帧速率通常是主流的帧速率的几分之一。在一些实施例中，提供将用作纹理的被遮挡图像数据的辅助内容流的帧速率为主内容流的帧速率的1/5、1/10或者更小。
一旦在步骤737，源于一个或多个帧的被遮挡图像内容已被布置到一个或多个帧中，操作就进入步骤739，在步骤739，一个或多个辅助帧被编码，例如被压缩，以便存储和/或传输。随后在步骤744，一个或多个编码辅助帧750被保存，以便例如未来流式传输和/或处理。
操作经连接节点E 771，从其中保存可用于按照各种格式生成流的编码内容的步骤744，进入图7D的步骤772。在步骤772，生成与不同的流格式对应的内容集，以使响应内容请求的内容的流式传输更容易。步骤772包括步骤773、777和783。
在步骤773，生成对应于第一内容流格式的第一内容集774。生成的第一内容集774包括包含与环境的未被遮挡片段对应的片段的第一环境模型775、用于把对应于环境的图像帧映射到第一环境模型775的各个片段的第一UV图776、以及可作为内容流被发送的第一格式的编码帧746。编码帧746不包括被遮挡图像内容。由于第一内容集774包括与未被遮挡图像部分相关的内容、图和模型信息，不包括被遮挡图像部分的信息，因此非常适合于流式传输给不支持被遮挡图像数据的显示的设备，例如，由于处理能力限制，或者数据传输约束，将处理和显示未被遮挡图像部分，但不处理和显示被遮挡图像部分的设备。
在步骤777，例如从先前创建的第二环境模型780、第二UV图781和第二格式的一个或多个编码帧748，生成例如对应于第二内容流格式的第二内容集778。在第二格式的帧的情况下，帧包括未被遮挡图像内容和被遮挡图像内容两者。第二环境模型780包括与环境的未被遮挡部分和环境的被遮挡部分对应的片段。第二UV图781包括关于如何把未被遮挡图像部分以及被遮挡图像部分映射到第二环境模型780的信息。从而，在第二流格式情况下，虽然不发送具有被遮挡图像数据的单独内容流，不过，被发送的帧的一部分被用于提供与第二环境模型780中的被遮挡表面对应的图像部分。虽然第二内容流格式可能需要和第一内容流格式相同或近似相同的待传送数据量，不过对于不能利用被遮挡图像数据的设备，更好的是接收第一格式的内容流，因为更多的传送帧被用于未被遮挡图像部分，例如主图像部分，从而与如果较少的数据(例如每个传送帧的较小部分)被用于传递未被遮挡图像内容相比，可以使从默认观察位置看得见的主图像部分的质量更好。
在步骤783，生成第三内容集784。第三内容集784对应于第三内容流格式。按照第三内容流格式，利用主内容流中的对应于未被遮挡图像内容的帧，和辅助内容流中的用于提供被遮挡图像内容的帧的复用，流式传输节目或其他内容。在一些实施例中，每个辅助帧提供将与多个不同的主内容流帧一起使用的被遮挡图像内容。从而对于在主内容流中传送的每M个帧，在辅助内容流中传送1帧，其中M为1或者更大，通常大于5或10。这是因为在一些实施例中，数量小得多的可用带宽专用于传送辅助帧，例如被遮挡图像内容，而不是主帧。在一些实施例中，辅助内容流需要主内容流的1/5或者更少的数据，在许多情况下，需要主内容流(例如未被遮挡图像内容流)的1/10或更少的数据。
在一些实施例中，步骤783包括创建包含供与第三流格式一起使用的环境模型信息785的内容集，环境模型信息785包括环境的未被遮挡部分和被遮挡部分两者的模型信息。在一些实施例中，环境模型信息785包括可被组合使用以生成具有未被遮挡片段和被遮挡片段两者的环境模型的第一环境模型信息775和辅助模型信息786。在其他实施例中，环境模型信息785包括第二环境模型780，第二环境模型780包括与环境的未被遮挡部分和被遮挡部分对应的片段。通过把第二环境模型780包含在内容流中，重放设备不必组合第一环境模型775和辅助模型信息786来创建待使用的环境模型，而是可以仅仅依赖于已包含未被遮挡片段和被遮挡片段的第二环境模型780。
除了第三模型信息以外，第三内容集784还包括第一UV图776，和以第一格式(例如包括未被遮挡图像内容，但不包括被遮挡图像部分的格式)编码的一个或多个帧746。第一UV图776可用于把第一格式的帧的各个部分(例如未被遮挡图像部分)映射到与环境的未被遮挡部分对应的第二环境模型780的各个片段。除了未被遮挡图像内容746，在第三流格式中，还在辅助内容流中发送的辅助帧中，传递被遮挡图像部分。因而，第三内容集784包括用于把被遮挡图像部分映射到与环境的被遮挡部分对应的第二环境模型780的各个片段的辅助UV图788。当内容流包括使重放设备可以生成第二环境模型780的第一环境模型信息775和辅助模型信息786时，关于这类被遮挡片段的信息包含在辅助模型信息786中。
在步骤772中，生成并保存了用于各种流的内容集的情况下，它们可用于流式传输。应意识到对于给定节目名称，通过把内容和相关模型/UV图信息流式传输给重放设备，可利用第一流格式、第二流格式或第三流格式，提供对应内容。虽然对于给定节目名称，可能存在多个不同的内容流，不过利用特定的内容标识符，可以标识各个内容流。重放设备可通过提供内容标识符，例如，标识对其来说，存在一个或多个内容集的节目，并允许设备(例如提供内容的服务器)选择要提供的内容集774、778或784的节目名称或编号，请求内容，或者重放设备可通过把与保存的内容集774、778、784中的一个特定内容集对应的内容集或流标识符，包含在内容请求中，请求特定流格式的内容。
为了使步骤791中的内容请求更容易，创建并保存内容集774、778、784的系统向重放设备公布(例如传递)可用内容和/或可用内容流的列表。可用内容的列表可包括节目名称或节目标识符，而可用流信息可包括标识特定内容流格式的与指示的名称对应的内容的流标识符。收到公布的可用内容信息的重放设备可利用该信息向例如服务器请求内容，所述服务器保存内容集774、778、784，并且响应所述请求，流式传输内容集774、778、784。能力不同的设备可能并且有时确实被流式传输相同名称的不同版本，例如，不支持被遮挡图像的显示的设备被供给内容集774，具有单一解码器，并且支持被遮挡图像的显示的另一个设备被供给内容集778，而支持多个解码器(例如，主流解码器和辅助流解码器)的设备被供给内容集784。
在步骤791，可用名称的列表被分发给重放设备，以使内容的请求更容易的情况下，通过转到步骤793，操作进入图8中所示的内容供给例程900。
在讨论图8中所示的内容供给例程900之前，可被供给的内容流的各种格式的简短讨论可有助于理解所述供给例程。
图9表示用于供给(例如流式传输或下载)不包括被遮挡图像部分的内容(例如，与可从默认观察位置看见的图像对应的内容)的第一流格式1000。按照第一格式，与捕捉待流式传输的图像的地方对应的环境的环境模型1002(例如网格模型)连同用于把帧1006的各个部分映射到所述环境模型的UV图1004一起被提供。在第一流格式中，提供的模型1002、UV图1004和图像内容1006对应于环境的未被遮挡部分，例如，环境中的从默认观察位置看得见的各个部分。第一流格式不涉及被遮挡图像内容(例如，与环境的从默认观察位置看不见的各个区域对应的图像的各个部分)的传递。
图10表示用于供给(例如流式传输或下载)包含帧中的未被遮挡图像部分和被遮挡图像部分的内容(例如，与从默认观察位置可看见的图像对应的内容，以及与从默认观察位置不能看见，但是从偏离默认观察位置的地点看得见的图像对应的内容)的第二流格式1050。按照第二格式，第二环境模型1052(例如，与捕捉待流式传输的图像的地方对应的环境的网格模型)连同UV图1053一起被提供。按照第二格式，一个或多个帧1057被编码成包括与环境的未被遮挡部分对应的图像内容1058，和与环境的被遮挡部分对应的图像内容1060。虽然在图10中，显示帧1057的上部提供未被遮挡图像内容，该帧的下部提供被遮挡图像内容，不过其他配置也是可能的，例如，在帧的顶部和底部，或者左侧部分和右侧部分，提供被遮挡图像内容。在一些实施例中，未被遮挡图像部分对应于帧1057中的连续区域，而被遮挡图像内容可位于各个位置(例如，帧的左侧和右侧，底部和顶部)处。把帧1057的连续部分用于未被遮挡图像数据并不是强制性的，不过可以便利提取未被遮挡图像部分，和把提取的未被遮挡图像部分贴到环境模型。在第二流格式中，由于传递的帧包含与主观察区对应的未被遮挡图像内容，和被遮挡图像内容两者，因此，UV图1053包括指示未被遮挡图像内容到网格模型1052的各个片段的映射的第一部分1054，和指示被遮挡图像部分到网格模型1052的各个片段的映射的第二部分1056。
图11表示用于供给(例如流式传输或下载)包括在主要或主内容流1210的帧中传送的未被遮挡图像部分，和辅助流1250中的被遮挡图像部分的内容的第三流格式1200。为了便利使用提供未被遮挡图像内容的主要流帧1212、1220，和提供被遮挡图像内容的对应辅助流帧1252，重放设备是作为第三流格式的一部分，被供给呈第二网格模型1203形式的环境网格模型信息，或者足以构成这类模型1203的信息，或者足以生成这类模型的信息1202的重放设备，所述第二网格模型1203包括用于环境的未被遮挡部分和被遮挡部分的片段。足以形成这类模型1203的信息1202包括从默认观察位置看得见的各个表面(例如未被遮挡表面)的网格模型1242，和提供关于如何向网格模型1242中添加节点和/或片段，以生成第二网格模型1203的信息的辅助网格模型信息1244。
另外，在第三流格式的情况下，由于不同的帧被用于供给将用作纹理的主未被遮挡图像内容，并且辅助流被用于供给提供将用作纹理的被遮挡图像内容的帧，因此提供分离的UV图1274、1275。UV图1274提供关于如何把传送的帧的各个片段映射到第二网格模型1203的与环境的未被遮挡部分对应的各个片段的信息。辅助UV图1275包括关于如何把传送的辅助帧的片段映射到网格模型1203的一个或多个未被遮挡片段之中的片段的信息。
在图11的实施例中，对于主未被遮挡图像内容的每M个帧(1212、1220)(1232、1240)，生成具有被遮挡图像内容的一个辅助帧1252、1260，并将其包含在辅助内容流1250中。对传输来说，与节目对应的主要流1210的各个帧和与同一节目对应的辅助流1250的各个帧可以并且常常被复用。从而，对应于节目的内容流可包括与主要流1210对应的数据，和与辅助流1250对应的另一个数据集。流1210、1250的内容可以并且常常被分组，复用器把各个分组混合在一起，不过通过利用包含在不同分组的分组报头中的不同流标识符，它们所对应于的流是可以标识的。重放时，根据与每个流的分组一起传递的流标识信息，能够容易地解复用(或分用，demultiplex)流1210和1250的内容。
虽然M可以为1或者更大，不过M通常至少为5或者更大，因为被遮挡图像数据的数量通常为每个主帧的主帧数据的数量的1/5或更小。由于对于辅助流1250的每一帧，主要流1210包含M帧，因此主要流1210的帧速率为辅助流1250的帧速率的M倍。在单一辅助帧包含多个帧的辅助图像内容的情况下，与不同的主帧F1 1212～FM 1220对应的辅助内容可按照预定方式被布置在单一辅助帧AF1 1252中。例如，如图11中所示，辅助帧AF1 1252包括第一组M个帧中的帧F1 1262和每个其他帧的辅助图像内容。从而，辅助帧AF1包括主帧F1的辅助图像数据1262、用3个圆点表示的所述第一组中的其他帧的图像数据和主帧FM 1220的辅助数据1265。
在一些实施例中，重放设备把不同的解码器用于解码主要编码帧和辅助编码帧。虽然在诸如蜂窝电话机之类的重放设备中，通常使用硬件解码器或图形处理器来解码提供未被遮挡图像数据的主内容流的帧1212、1220、1232、1240，不过，解码器的通用处理器被配置成解码辅助流1250的低速率帧。在硬件解码器足够快的其他情况下，它可在重放设备中被用于切换解码主要流1210的编码帧，和解码辅助流1250的编码帧。假定在一些实施例中，较慢的解码器(例如，比用于解码主要流的帧的解码器慢)可能被用于解码辅助帧，与一组主帧(1212、1220)对应的辅助帧1252在对应的一组主帧之前，被发送给重放设备，以确保在和将与之一起被使用的对应主帧相同的时间，存在解码的可用辅助图像内容。
图8图解说明按照本发明的一个例证实施例，可由服务器实现的内容供给方法900。虽然将在其中服务器保存并且能够提供例如第一、第二和第三流格式中的每种流格式的内容的例子的情况下，说明例证内容服务器的操作，不过应意识到服务器不需要支持所有的格式，并且取决于实施例，服务器可以支持第一、第二或第三格式中的单一格式，或者所述3种格式中的两种格式。
例如在供给例程被加载，并由实现方法900的内容服务器的处理器执行的情况下，在步骤902，开始方法900。操作从开始步骤902进入监视步骤904，在监视步骤904，服务器监视例如来自在一个或多个不同的消费者驻地处的重放系统和/或设备的内容请求。
在步骤906，从重放设备接收对于内容的请求。取决于重放设备可以得到的信息，重放设备可在内容请求中，指示供服务器决定选择哪种格式进行流式传输的特定内容名称，或者重放设备可以标识特定的内容流，例如，与用户选择的名称对应，并且为重放设备选择的内容流格式的内容流。根据包含在内容请求书或者和内容请求一起发送的设备标识符，或者根据重放设备提供的设备能力信息，服务器能够判定重放设备是否能够支持被遮挡数据的显示，如果是，那么是否能够支持第一和/或第二流格式。从重放设备提供的信息，或者从服务器和重放设备之间的网络连接的监视，服务器还可知道可用于服务重放设备的通道的数据速率。
在收到内容请求的情况下，操作从步骤906进入步骤908。在步骤908，响应接收的请求，服务器确定要提供的环境模型信息、一个或多个UV图和哪个或哪几个内容流要提供给重放设备。该判定可以并且有时候以重放设备的能力，和/或对于内容递送，可支持的到重放设备的数据速率为基础。
步骤908包括一个或多个子步骤。在图8的例子中，步骤908始于子步骤910，在子步骤910中，进行检查，以判定接收的内容请求是否包含标识特定流格式的内容的内容标识符。例如，如果内容请求中包含与所请求的内容对应的流标识符，那么对于问题910的回答为是，从而操作从步骤910进入步骤922。在步骤922，待使用的流格式会被设定成与在内容请求中表示的特定内容流的流格式匹配，例如，待使用的流格式会被设定成第一、第二或第三流格式中的与具体请求的流的格式匹配的一种流格式。操作从步骤922进入步骤930。
如果内容请求未具体标识具有特定格式的内容流，那么操作从步骤910进入步骤912，在步骤912，检查设备能力，以判定从其收到所述请求的重放设备是否支持被遮挡图像数据的处理和显示。可以根据包含在所述请求中的设备能力信息(例如，指示支持第一、第二和/或第三流格式的设备能力)和/或通过根据包含在接收的请求中的重放设备的标识符，查找能力信息，进行这类判定。
在步骤912，如果判定请求内容的重放设备不支持被遮挡图像数据的处理和显示，那么操作从步骤912进入步骤914。在步骤914，判定将使用第一流格式，例如，不供给被遮挡图像数据的格式。操作随后从步骤914进入步骤924，在步骤924，待使用的流格式被设定为第一流格式，随后操作进入步骤930。
如果在步骤912，判定发送请求的重放设备支持被遮挡图像内容的处理和显示，那么操作从步骤912进入步骤916，在步骤916，服务器判定重放设备是否支持第三流格式(例如在复用流(例如，包含主流、辅助流和诸如音频流之类的一个或多个其他流的节目流)中，提供主内容流和辅助内容流的格式)的内容流的处理。
由于第三格式涉及主帧流和提供被遮挡图像内容的辅助数据流的传输，因此它通常需要比第二数据流格式高的数据传输速率，以支持内容递送。如果在步骤916，判定重放设备能够支持第三流格式，那么操作进入步骤918。在步骤918，进行检查，以判定第三格式的内容流所需的数据速率是否可用，以便用于把内容递送给提出请求的重放设备。这可根据从另一个设备接收的、服务器确定的和/或从请求内容的重放设备报告的数据速率信息来判定。如果在步骤918，判定能够支持第三流格式所需的数据速率，那么操作进入步骤926，在步骤926，在操作进入步骤930之前，待使用的流格式被设定为第三流格式。如果在步骤918，判定从其收到所述请求的重放设备不可得到为支持第三流格式所需的数据速率，那么操作进入步骤920。另外，如果在步骤920，判定请求内容的重放设备不支持第三流格式，那么操作从步骤916进入步骤920，在步骤920，判定将使用第二流格式。操作从步骤920进入步骤928。在步骤928，待使用的流格式被设定为第二流格式，随后操作进入步骤930。
在步骤930，访问(例如从存储器取回)与确定的待使用流格式和请求的内容对应的内容集。如果确定的待使用流格式是第一流格式，那么访问图9中的内容集。如果确定的待使用流格式是第二流格式，那么访问图10中的内容集。如果确定的待使用流格式是第三流格式，那么访问图11中的内容集。
操作从步骤930进入步骤932，在步骤932，访问的内容集中的UV图信息(例如一个或多个UV图)被发送给重放设备。操作从步骤932进入步骤934，在步骤934，环境模型信息(例如，一个或多个环境模型)被发送给重放设备。重放设备可使用传送的UV图信息和模型信息，以利用从与请求的节目对应的一组访问内容传送的内容(例如，帧)，渲染图像。
从步骤934，操作进入步骤936，在步骤936，按照确定的流格式，传送与请求的内容对应的帧。在第三流格式的情况下，在当使用第三流格式时进行的步骤938，主图像数据的帧与提供被遮挡图像数据的辅助帧被复用。
操作被表示成从步骤936进入步骤904，以表示不间断地进行对于请求的监视。当收到请求时，请求被处理，从而向提出请求的重放设备供给内容。
作为服务不同设备及其内容请求的结果，可响应来自不支持被遮挡图像数据的使用的第一设备的内容，实现方法900的步骤，在这种情况下，在步骤936，第一设备会流式传输与第一流格式对应的内容流。当相同的内容被请求，但是流格式未被指定时，支持第二内容流格式和被遮挡图像数据的使用，但是不支持第三格式的第二设备会不同地被响应。例如，如果第二设备请求和第一设备相同的节目，那么它会被提供遵守第二流格式的节目内容流。如果支持高数据速率和第三内容流格式的第三设备请求相同的节目，那么它会被回应以服务器提供第三内容流格式的请求节目内容。从而，取决于设备能力和/或可用于向设备递送内容的数据速率，服务器可以并且有时确实同时向不同的设备，供给不同内容流格式的对应于相同节目的内容。在一些实施例中，在处理器的控制下，进行关于图7和8说明的处理。因而，在一些实施例中，图像处理系统包括配置成控制处理系统实现图7和8中所示的步骤的处理器。传输步骤和接收步骤是通过重放设备的接口(它包括发送器和接收器)进行的。
图12图解说明按照本发明的特征的例证处理系统1700。处理系统1700可用于实现流程图700和/或900的方法的一个或多个步骤。处理系统1700包括可用于按各种格式，编码和流式传输成像内容的编码能力。例证的处理系统1700可以用作系统600的处理系统608。
处理系统1700可以用于，并且在一些实施例被用于按照本发明的特征，生成可用于3D图像渲染、存储和传输和/或内容输出的环境模型、UV图和图像内容。处理系统1700还可包括解码并向例如操作员显示处理和/或编码后的图像数据的能力。
系统1700包括显示器1702、输入设备1704、输入/输出(I/O)接口1706、复用器1707、处理器1708、网络接口1710和存储器1712。系统1700的各个组件通过总线1709耦接在一起，总线1709允许在系统1700的组件之间传递数据。
存储器1712包括各种例程和模块，当由处理器1708执行时，所述各种例程和模块控制系统1700以按照本发明实现合成环境深度图生成、环境深度图协调、编码、存储和流式传输/传送和/或输出操作。
显示设备1702可以是并且在一些实施例中是触摸屏，用于显示图像、视频、关于处理系统1700的配置的信息，和/或指示正在处理设备上进行的处理的状态。在显示设备602是触摸屏的情况下，显示设备602充当附加输入设备，和/或充当单独的输入设备1706(例如按钮)的替代物。输入设备1704可以是，并且在一些实施例中例如是小键盘、触摸屏、或者可用于输入信息、数据和/或指令的类似设备。
经由I/O接口1706，处理系统1700可以耦接到外部设备，与这样的外部设备(比如摄像机支架801和/或附图中表示的其他摄像机支架和/或其他外部摄像机)交换信息和信令。I/O接口1606包括发送器和接收器。在一些实施例中，经由I/O接口1706，处理系统1700接收利用可以是诸如摄像机支架801之类的摄像机支架的一部分的各个摄像机(例如立体摄像机对和/或光场摄像机)捕捉的图像。在一些实施例中，向系统1700提供图像的摄像机被布置在不同的地点处，从而提供从不同的地点捕捉的关注的环境的各个部分的图像。
复用器1707被配置成复用包括图像内容的各个帧，以生成复用内容流1744。在一些实施例中，复用器1707被配置成复用第一格式的帧(例如，1732')和辅助帧(例如，1736')。在一些实施例中，作为被配置成复用第一帧和辅助帧的一部分，复用器1707被配置成在第一帧之前，把辅助帧包含在复用的内容流中，以致接收复用的内容流的设备将在第一帧之前，接收所述辅助帧。
处理器1708，例如CPU执行例程1714，并利用各个模块，控制系统1700按照本发明工作。处理器1708负责控制系统1700的所有一般操作，例如，通过控制处理系统，进行按照本发明的一组操作，比如在流程图700和900中详细讨论的操作。在各个实施例中，处理器1708被配置成进行讨论成由处理系统1700进行的功能。
网络接口1710允许处理系统1700能够通过通信网络，例如通信网络105，接收和/或向外部设备传递信息。网络接口1710包括发送器1740和接收器1742。发送器1740允许处理系统1700向各个消费者设备，传送(例如广播和/或单播)编码图像内容。在一些实施例中，处理系统1700经发送器1740，把场景的不同部分，例如180°前部部分、左后部分、右后部分等传送给消费者设备。此外，在一些实施例中，经由发送器1740，处理系统1700还把环境深度图、一个或多个3D环境网格模型、一个或多个UV图和/或图像内容(例如立体成像内容)传送给各个消费者设备。在一些实施例中，发送器1740被配置成把包含主内容流中的第一帧，和辅助内容流中的辅助帧的复用内容流1744，传送给一个或多个重放设备。
存储器1712包括各种模块和例程，当由处理器1708执行时，所述各种模块和例程按照本发明，控制系统1700的操作。处理器1708(例如CPU)执行控制例程，并利用保存在存储器1712中的数据/信息，控制系统1700按照本发明工作，实现图7和8的流程图的方法中的一个或多个步骤。
存储器1712包括控制例程1714、主图像编码器1716、辅助编码器1717、流式传输控制器1720、3D网格模型生成和更新模块1722、UV图生成和更新模块1722、利用一个或多个摄像机捕捉的关注环境的接收图像1723、包括第一格式的一个或多个帧1732，第二格式的一个或多个帧1734，和第三格式的一个或多个辅助帧1736的图像内容的生成帧，包括第一格式的一个或多个编码帧1732'，第二格式的一个或多个编码帧1734'，和第三格式的一个或多个编码辅助帧1736'的编码图像内容、复用的内容流1744、生成的环境网格模型1746、生成的一个或多个UV图1752。
在一些实施例中，模块被实现成软件模块。在其他实施例中，模块在存储器1712之外，用硬件实现成例如单独的电路，每个模块被实现成用于进行该模块对应于的功能的电路。在还有的其他实施例中，模块是利用软件和硬件的组合实现的。在其中一个或多个模块被实现成软件模块或例程的实施例中，模块和/或例程由处理器1708执行，以控制系统1700按照本发明工作，实现关于流程图700和/或900讨论的一个或多个操作。
控制例程1714包括设备控制例程和通信例程，以控制处理系统1700的操作。主编码器1716可以包括，并且在一些实施例中确实包括被配置成按照本发明的特征，编码接收的图像内容(例如，场景和/或一个或多个场景部分的立体图像)的多个编码器。在一些实施例中，主编码器1716被配置成编码第一格式的一个或多个帧，和第二格式的一个或多个帧。第一格式的一个或多个编码帧1732'和第二格式的一个或多个编码帧1734'是保存在存储器中，以便流式传输给消费者设备(例如重放设备)的主编码器1716的输出。在一些实施例中，辅助编码器1717被配置成编码第三格式的一个或多个帧，以输出第三格式的一个或多个编码帧1736'。在一些实施例中，编码内容可通过网络接口1710，被流式传输给一个或多个不同的设备。
流式传输控制器1720被配置成控制编码内容的流式传输，以便例如通过通信网络605，把编码图像内容递送给一个或多个消费者重放设备。在各个实施例中，流式传输控制器1720还被配置成例如经由网络接口1710，把一个或多个环境网格模型和UV图传递给一个或多个消费者重放设备，例如，控制经由发送器1740的传输。
3D环境网格模型生成和更新模块1722被配置成按照关于流程图700详细讨论的本发明的特征，生成各种3D环境网格模型。在一些实施例中，生成的3D网格模型1746(它是3D环境网格模型生成和更新模块1722的输出)包括由模块1722生成的一个或多个3D网格模型，包括第一环境网格模型1747、第二环境网格模型1748和辅助环境网格模型信息1750。UV图生成和更新模块1722被配置成按照本发明的特征，生成UV图，所述UV图将用于把帧包裹到对应的3D环境网格模型上。生成的UV图1752(它是UV图生成模块1722的输出)包括第一UV图1754、第二UV图1756和辅助UV图1758。在一些实施例中，各个模块被配置成进行与在图7和8中讨论的各个步骤对应的功能。
接收的图像1723包括从一个或多个摄像机(比如包含在支架801中的那些摄像机，或者为在关注的环境中捕捉图像而部署的其他摄像机)接收的图像。接收的图像1723包括与环境的一部分对应的第一图像1726，所述第一图像包括与从第一地点看得见的环境的一部分对应的未被遮挡图像部分、来自第二摄像机的与环境的一部分对应的第二图像1728，所述第二图像包括与从第一地点看得见的环境的所述一部分对应的第二未被遮挡图像部分，和环境的附加图像1730，所述附加图像1730至少包括与从所述第一地点视线被遮挡的所述环境的一部分对应的第一遮挡图像部分。
在一些实施例中，处理器1708被配置成控制图像处理系统1700，实现图7和8中所示的各个步骤。传输步骤和接收步骤是通过重放设备的接口(它包括发送器和接收器)进行的。在一些实施例中，处理器1708被配置成控制系统1700接收(例如，通过接口1706或通过接收器1742)对应于环境的一部分的第一图像，所述第一图像包括与从第一地点看得见环境的一部分对应的未被遮挡图像部分，接收(例如，通过接口1706或通过接收器1742)至少包括与从所述第一地点视线被遮挡的环境的一部分对应的第一被遮挡图像部分的环境的附加图像，生成包含源自所述第一图像的所述未被遮挡图像部分的图像内容，和源自附加图像的所述第一被遮挡图像部分的图像内容的第一帧；和把所述第一帧保存在存储设备中(例如保存在存储器1712中)，或者把所述第一帧传送给另一个设备。
包含图13A和13B的组合的图13图解说明在一个例证实施例中，操作重放设备的方法1300的各个步骤。在一些实施例中，重放和渲染系统1900被用于实现流程图1300的方法的各个步骤。在图13的例证实施例中，重放设备接收指示重放设备可请求的可用于递送的各种内容流的信息，例如，可用内容流信息。
在重放设备(例如游戏控制台和显示器或头戴式显示组合件)被通电，并被设定成开始接收、保存和处理3D相关图像数据和信息(例如，表示将用于渲染图像的纹理信息、环境模型信息和/或UV图的帧)的情况下，在开始步骤1302，开始流程图1300的方法。操作从开始步骤1302进入步骤1304，在步骤1304，例如从处理系统，接收传递可用内容流的列表(视情况包括与不同流格式对应的流的列表)的信息，并保存在例如存储器中。内容的列表例如包括指示重放设备可请求流式传输，以便重放的各个可用内容项目(例如名称)的信息。每个名称在各种流格式下都可用。虽然在一些实施例中，流格式信息，例如，与不同流格式对应的流的列表，可由处理系统传递给重放设备，不过，情况可能并非总是如此。
在步骤1306，通常监视用户输入的重放设备检测内容的用户选择，例如，名称的用户选择。操作从步骤1306进入步骤1308，在步骤1308，重放设备判定对于用户选择的内容，是否不同流格式的流可供选择，例如，重放设备判定用户选择的内容是否有不止一种流格式。重放设备能够根据流格式信息，进行所述判定，如果重放设备收到这类信息的话。如果重放设备可以得到这类信息，并且重放设备判定用户选择的内容有多种流格式，那么操作进入步骤1310。
首先提及沿着步骤1310的路径的处理，在步骤1310，重放设备根据设备能力信息和/或重放设备可支持的当前数据速率，从例如不同流格式的不同可用流中，确定要请求的内容流。作为步骤1310的一部分，在一些实施例中，重放设备进行步骤1312-1322中的一个或多个步骤。在步骤1312，设备例如根据设备能力、当前处理能力和/或硬件和/或软件可用性或其他约束，检查重放设备是否支持被遮挡图像数据的处理和显示。如果判定无论出于什么原因，在此时刻，重放设备不支持或者期望被遮挡图像数据的处理和显示，那么操作从步骤1312进入步骤1314，在步骤1314，重放设备判定并决定将使用第一流格式，从而对于用户选择的内容，支持第一流格式的流将被请求。
然而，如果在步骤1312，判定重放设备支持被遮挡图像数据的处理和显示，那么操作从步骤1312进入步骤1316，在步骤1316，判定重放设备是否支持处理第三流格式的内容流，例如，第三流格式是支持子流的复用的格式，第一子流提供与主要数据(例如未被遮挡数据)对应的内容，另一个子流提供对应于被遮挡数据的内容。如果判定重放设备不支持第三流格式，那么处理从步骤1316进入步骤1318，在步骤1318，判定将使用第二流格式。如果在步骤1316，判定重放设备支持第三流格式，那么处理进入步骤1320，在步骤1320，设备检查在给定时间，是否能够支持为接收和处理第三流格式的内容流所需的数据速率。如果判定能够支持这样的数据速率，那么处理从步骤1320进入步骤1322，否则，操作进入步骤1318。在步骤1322，判定将使用第三流格式，从而结束判定步骤1310。
在关于要请求的内容流的判定之后，操作经连接节点A 1324，从步骤1310进入步骤1326。在步骤1326，重放设备传送对于如按照步骤1310确定的确定格式(例如第一、第二或第三流格式)的用户选择的内容的请求。操作从步骤1326进入步骤1330。
返回步骤1308。如果在步骤1308，判定对于用户选择的内容，不同流格式的流不可供选择，和/或如果由于流格式信息的不可获得，重放设备不能进行步骤1308的判定，那么操作经连接节点B 1309，从步骤1308进入步骤1328。在步骤1328，重放设备传送视情况可带有设备类型标识符和/或设备能力信息的对于用户所选内容的请求，以使待供给的内容流的服务器选择更容易。操作从步骤1328进入步骤1330。
在步骤1330，重放设备例如从确认收到对于用户所选内容的请求的处理服务器，接收对内容请求的响应。操作从步骤1330进入步骤1332。在步骤1332，重放设备确定待接收的内容流的格式例如对应于第一流格式、第二流格式或第三流格式。当确定了待接收的流类型时，重放设备配置其硬件、软件和/或固件，以允许重放设备接收、解码和处理内容流。
取决于将按其接收内容流的内容流格式的类型，操作沿着与如图所示的步骤1333、1334和1335对应的3条路径之一前进。如果将在第一流格式的内容流中，接收用户选择的内容，那么操作从步骤1332进入步骤1333，在步骤1333，调用在下面详细讨论的图14中图解所示的第一流格式重放例程。如果将在第二流格式的内容流中，接收用户选择的内容，那么操作从步骤1332进入步骤1334，在步骤1334，调用在图15中图解所示的第二流格式重放例程。如果将在第三流格式的内容流中，接收用户选择的内容，那么操作从步骤1332进入步骤1335，在步骤1335，调用在图16中图解所示的第三流格式重放例程。
图14图解说明作为进行流程图1300的方法的一部分，由本发明的重放设备调用和实现的例证第一流格式重放例程1400的步骤。在重放设备调用(例如执行)第一流格式重放例程1400的情况下，在步骤1402，开始例程1400的处理。操作从步骤1402进入步骤1404，在步骤1404，重放设备把用户的初始头部位置设定为在默认观察位置的默认向前观察位置。默认观察位置可对应于面向前方的用户的初始就座位置，从所述初始就座位置，用户能够观察关注的环境中的场景，例如，包括从默认观察位置看得见的主要场景区域。
操作从步骤1404进入步骤1406。在步骤1406，重放设备接收可从默认观察位置看见的表面的第一环境模型，例如3D网格模型。操作从步骤1406进入步骤1408，在步骤1408，接收包括指示在帧中传递的图像的各个部分到第一环境模型的映射的信息的第一UV图，例如，纹理图，所述图像的各个部分是从默认观察位置看得见的各个部分。
操作从步骤1408进入步骤1410。在步骤1410，重放设备从传递第一格式的例如图像内容的帧的第一内容流中，接收内容。之后在步骤1412，重放设备解码接收的帧，以还原一个或多个图像，例如在接收立体图像对的帧的情况下，还原左眼图像和右眼图像。
操作从步骤1412进入步骤1414，在步骤1414，确定用户的当前头部位置，例如，在给定时间的头部位置。操作从步骤1414进入步骤1416，在步骤1416，重放设备渲染环境的一个或多个图像。在各个实施例中，渲染图像包括利用接收的UV图，把还原的左眼图像和右眼图像的各个部分映射到第一环境模型的各个部分。之后在步骤1418，例如在显示设备上，向用户显示从用户的当前头部位置对应于的模拟环境中的位置，理应看得见的环境的一个或多个渲染图像的一部分。从而按照这种方式，与从默认观察位置看得见的环境的各个部分对应的图像被渲染并显示给用户。如环回所示，操作可从步骤1418返回步骤1410，对于另外的接收内容帧，可重复各个步骤。
包含图15A和15B的组合的图15图解说明作为进行流程图1300的方法的一部分，在本发明的一些实施例中，由重放设备调用和实现的例证第二流格式重放例程1500的步骤。在一些实施例中，如果将在第二流格式的内容流中，接收用户选择的内容，那么调用第二流格式重放例程1500。在重放设备调用(例如执行)第二流格式重放例程1500的情况下，在步骤1502，开始例程1500的处理。操作从步骤1502进入步骤1504，在步骤1504，重放设备把用户的初始头部位置设定为在默认观察位置的默认向前观察位置。操作从步骤1504进入步骤1506。在步骤1506，重放设备接收可从默认观察位置看见的表面，和从环境中的默认观察位置不能看见的至少一些部分的第二环境模型，例如3D网格模型。应注意与第一3D网格模型比较，第二环境模型提供与从默认观察位置不能看见的各个部分对应的附加数据。操作从步骤1506进入步骤1508，在步骤1508，重放设备接收包括指示在具有第二格式的帧中传递的图像的各个部分到第二环境模型的映射的信息的第二UV图，所述图像的各个部分是从默认观察位置看得见的环境的各个部分和从默认观察位置看不见，但从例如偏离默认观察位置的一个或多个其他位置看得见的环境的各个部分的图像。在一些实施例中，第二UV图视情况包括关于在不存在对于从默认位置看不见的一个或多个片段供给的图像内容的情况下，如何生成这类被遮挡片段的图像内容的信息。
操作从步骤1508进入步骤1510。在步骤1510，重放设备从传递第二格式的帧的第二内容流中，接收内容，所述第二内容流包括与环境的至少一些被遮挡部分对应的图像部分。之后在步骤1512，重放设备解码第二内容流的接收帧，以还原一个或多个图像，例如在接收立体图像对的帧的情况下，还原左眼图像和右眼图像。
操作经连接节点A 1514，从步骤1512进入步骤1516。在步骤1516，例如通过利用第二UV图，把还原的左眼图像的各个部分映射到第二环境模型的各个部分，并利用第二UV图，把还原的右眼图像的各个部分映射到第二环境模型的各个部分，重放设备渲染环境的一个或多个图像。
操作从步骤1516进入步骤1518。在步骤1518，确定用户的当前头部位置，例如在给定时间的头部位置。之后在步骤1520，重放设备判定用户的当前头部位置是否指示从环境中的默认观察位置的位置移动，例如偏离。例如，根据确定的用户的当前头部位置，判定用户是否已向左、向右、向上或向下移动，而不是仅仅转动或倾斜他/她的头部。这可根据检测到的用户当前位置相对于用户初始头部位置的变化来判定。根据步骤1520的判定，操作进入步骤1522或1524之一。
如果在步骤1520，判定用户的当前头部位置不指示从环境中的默认观察位置的位置移动，那么操作从步骤1520进入步骤1522，在步骤1522，重放设备显示考虑到用户的当前头部位置，例如，在默认位置的观察方向，从模拟的环境中的默认观察位置理应看得见的环境的一个或多个渲染图像的一部分。从而如果就用户的当前头部位置而论，未检测到移动/偏离，那么可以确实认为用户没有从默认观察位置移动，因而显示与从默认观察位置看得见的各个部分对应的图像内容。在一些实施例中，作为步骤1522的一部分，重放设备进行步骤1523，在步骤1523，显示与从默认观察位置看得见的环境片段对应的图像部分，而不显示从默认观察位置视线被遮挡的一些环境片段。如图所示，操作经连接节点B 1526，从步骤1522返回步骤1510，对于另外的接收内容帧，可重复各个步骤。
另一方面，如果在步骤1520，判定用户的当前头部位置指示从环境中的默认观察位置的位置移动，那么操作从步骤1520进入步骤1524，在步骤1524，重放设备显示考虑到用户的当前头部位置，例如，在与默认观察位置不同的位置的观察方向，从偏离默认观察位置的模拟环境中的偏离位置理应看得见的环境的一个或多个渲染图像的一部分。在一些实施例中，作为步骤1524的一部分，重放设备进行步骤1525，在步骤1525，连同从默认观察位置视线被遮挡的至少一些环境片段一起，显示与从默认观察位置看得见的环境片段对应的图像部分。从而，如果检测到用户的当前头部位置的移动/偏离，那么重放设备被配置成显示除了与从默认观察位置看得见的各个部分对应的图像内容之外，还显示与从默认观察位置视线被遮挡的至少一些环境部分对应的图像内容。如图所示，操作经连接节点B 1526，从步骤1524返回步骤1510，对于另外的接收内容帧，可重复各个步骤。
包含图16A、16B、16C和16D的组合的图16图解说明作为进行流程图1300的方法的一部分，在一些实施例中，由重放设备调用和实现的例证第三流格式重放例程1600的步骤。在一些实施例中，如果将在第三流格式的内容流中，接收用户选择的内容，那么调用第三流格式重放例程1600。在重放设备调用(例如执行)第三流格式重放例程1600的情况下，在步骤1602，开始例程1600的处理。
操作从步骤1602进入步骤1604，在步骤1604，重放设备把用户的初始头部位置设定为在默认观察位置的默认向前观察位置。操作从步骤1604进入步骤1606。在步骤1606，重放设备接收从默认观察位置看得见的表面和从所述默认位置看不见的至少一些表面的环境模型信息，例如，从默认观察位置可看见的各个表面的主3D网格模型，和可以与主网格模型结合以生成第三环境模型的补充(例如辅助)网格模型信息。或者，在一些实施例中，重放设备接收包括与从默认观察位置看得见的环境表面对应的节点和片段，以及与从默认观察位置看不见但是从偏离所述默认位置的不同观察位置看得见的一些表面对应的节点和片段的第三环境模型。
在一些实施例中，操作从步骤1606进入可选的步骤1608。在其中重放设备接收第一(例如主)网格模型以及与从默认位置看不见的至少一些表面对应的辅助环境信息的实施例中，进行步骤1608。在步骤1608，通过结合主网格模型和与从默认位置看不见的至少一些表面对应的辅助环境模型信息，重放设备生成环境的第三网格模型。生成的第三网格模型包括与从默认观察位置看得见的环境表面以及从默认位置看不见但是从不同的位置(比如偏离默认观察位置的位置)看得见的一些表面对应的节点和片段。从而，不管收到哪种形式的环境信息，重放设备都得到从默认观察位置看得见的表面和从默认位置看不见的至少一些表面的环境模型信息。
操作经连接节点A 1610，从步骤1608(或者在其中步骤1608被跳过的实施例中，从步骤1606)进入步骤1612。在步骤1612，重放设备接收主UV图和辅助UV图。作为步骤1612的一部分，在一些实施例中，进行步骤1614和1616。在步骤1614，重放设备接收主UV图，所述主UV图包括指示在主要/主内容流(例如第一内容流)的帧中传递的图像的各个部分到与从默认观察位置看得见的各个表面对应的第三环境模型的各个片段的映射的信息。在步骤1616，重放设备接收辅助UV图，所述辅助UV图包括指示在辅助帧中传递的图像部分到与从默认观察位置看不见，但是从例如偏离默认位置的一个或多个其他位置看得见的各个表面对应的第三环境模型的各个片段的映射的信息。在一些实施例中，辅助UV图提供包含在主内容流中的一个或多个不同帧的被遮挡物体的映射信息。
操作从步骤1612进入步骤1620。在步骤1620，重放设备接收提供传递图像内容的主帧和辅助帧两者的对应于第三流格式的复用内容流。作为在步骤1620，接收图像内容帧的一部分，重放设备在子步骤1622，从主内容流接收一个或一组帧，在子步骤1624，从辅助内容流接收一个或多个帧。操作经连接节点B 1626，从步骤1620进入步骤1630。
在步骤1630，重放设备解复用复用的内容流，并输出主帧和辅助帧，以便进一步处理，例如，解码。为了便于更好地理解，对于复用内容流进行的解复用操作的输出被表示成由解复用步骤1630产生的两个数据集1632和1642。第一组帧1632，例如主帧，包括与从默认观察位置看得见的各个部分对应的图像内容的帧1～M，而辅助帧集合1642包括与从默认观察位置看不见的各个部分对应的图像内容的一个或多个辅助帧。在一些实施例中，这两个数据集1632和1642充当给两个不同解码器的输入。第一组帧1632被提供给主解码器，所述主解码器可以是被配置成解码和还原由与从默认观察位置看得见的各个部分对应的主帧传递的数据的专用硬件解码器。如步骤1634中所示，主解码器被用于解码对应于主帧的图像内容。在步骤1634，主解码器进行的解码的输出是包括解码帧11638～解码帧M 1640的一组解码的主帧1636。操作从步骤1634进入步骤1656，在步骤1656，解码的主帧1636充当输入。
在一些实施例中，一个或多个辅助帧1642被提供给第二/辅助解码器，重放设备利用所述第二/辅助解码器解码和还原由与从默认观察位置看不见的各个部分对应的图像内容的辅助帧传递的数据，如在步骤1644中所示，例如，提供被遮挡图像数据。在步骤1644，辅助解码器进行的解码的输出是一个或多个解码的辅助帧1646，例如，提供一个或多个主帧的环境的被遮挡片段的图像的一个或多个帧。在图16的例子中，解码的一个或多个辅助帧1646包括包含对应于多个主帧的被遮挡图像内容的单一解码辅助帧1648。在本例中，解码辅助帧1648是这样的格式，以致它可包装帧1 1650的被遮挡图像内容、帧2 1652的被遮挡图像内容、…以及帧M 1654的被遮挡图像内容。操作从步骤1634进入步骤1656，在步骤1656，解码的辅助帧1646充当输入。
虽然在图中，在图16C中表示了主解码器1920和第二解码器1921的使用，不过在一些实施例中，主解码器1920被分时地用于解码主帧和辅助帧两者。在这样的实施例中，主解码器1920从而还充当辅助帧解码器1921。对于这类实施例，有益的是使主帧和辅助帧大小相同，以使为支持切换解码主帧和解码辅助帧所需的解码器重配置的量降至最小。
在一些其他实施例中，主解码器1920是与辅助解码器不同的解码器，例如，被实现成独立处理器或处理器核芯的解码器。在一些实施例中，主解码器被实现成专用硬件视频解码器，而辅助解码器是在诸如蜂窝电话机之类的重放设备的通用处理器(例如CPU)上实现的。辅助解码器可能比主解码器慢，和/或处理能力低于主解码器。在一些实施例中，例如，当辅助解码器不如主解码器功能强时，与主解码器相比，辅助帧大小较小，和/或包括较少的像素。这使利用软件，或者功能不如用于主解码器的解码器强大的解码器的辅助解码器实现更容易。在重放设备是包括可用作主解码器的解码器电路或图形处理器，还包括可被配置成例如按照保存的指令起辅助解码器作用的通用处理器的蜂窝电话机的情况下，这是特别有益的。
在步骤1656，重放设备渲染环境的一个或多个图像，例如，重放设备利用主UV图，把包含在一个或多个还原的解码主帧中的图像部分映射到第三环境模型的各个部分，并利用辅助UV图，把包含在与映射的主帧对应的还原的解码辅助帧中的图像部分映射到第三环境模型的通常被遮挡的各个部分。
操作经连接节点C 1658，从步骤1656进入步骤1660。在步骤1660，确定用户的当前头部位置，例如在给定时间的头部位置。之后在步骤1662，重放设备判定用户的当前头部位置是否指示从环境中的默认观察位置的位置移动(例如偏离)，例如，判定用户是否已向左、向右、向上或向下移动，而不是仅仅转动或倾斜他/她的头部。根据步骤1662的判定，操作进入步骤1664或1668之一。
如果在步骤1662，判定用户的当前头部位置不指示从环境中的默认观察位置的位置移动，那么操作从步骤1662进入步骤1664，在步骤1664，重放设备向用户显示考虑到用户的当前头部位置，例如，在默认位置的观察方向，从模拟的环境中的默认观察位置理应看得见的环境的一个或多个渲染图像的一部分。在一些实施例中，作为步骤1664的一部分，重放设备进行步骤1666，在步骤1666，显示与从默认观察位置看得见的环境片段对应的图像部分，而不显示从默认观察位置，视线被遮挡的一些环境片段。如图所示，操作经连接节点D1672，从步骤1664返回步骤1620，对于另外的接收内容帧，可重复各个步骤。
如果在步骤1662，判定用户的当前头部位置指示从环境中的默认观察位置的位置移动，那么操作从步骤1662进入步骤1668，在步骤1668，重放设备显示考虑到用户的当前头部位置，例如，在与默认观察位置不同的位置的观察方向，从偏离默认观察位置的模拟环境中的偏离位置理应看得见的环境的一个或多个渲染图像的一部分。在一些实施例中，作为步骤1668的一部分，重放设备进行步骤1670，在步骤1670，连同从默认观察位置视线被遮挡的至少一些环境片段一起，显示与从默认观察位置看得见的环境片段对应的图像部分。从而，如果检测到用户的当前头部位置的移动/偏离，那么重放设备被配置成显示除了与从默认观察位置看得见的各个部分对应的图像内容之外，还显示与从默认观察位置视线被遮挡的至少一些环境部分对应的图像内容。如图所示，操作经连接节点D 1672，从步骤1668返回步骤1620，对于另外的接收内容帧，可重复各个步骤。
关于图13说明的处理是在重放设备处理器的控制下进行的。因而，在一些实施例中，重放设备包括配置成控制重放设备实现图13中所示的步骤的处理器。传输步骤和接收步骤是通过重放设备的接口(它包括发送器和接收器)进行的。
在一些实施例中，重放设备包括当由重放设备的处理器执行时，控制重放设备实现图13中所示的步骤的指令。对于图13中所示的各个步骤中的每个步骤，可以并且有时确实包括单独的处理器可执行代码。在其他实施例中，对于图13中所示的各个步骤中的每个步骤，在重放设备中包含电路。
图17图解说明可在各个实施例中使用的例证3D网格模型2000，多个节点被例示成用于把3D模型分成多个片段的线条的交点。注意，图17的模型是在3D空间中表示的，可被表述成定义网格中的各个节点在3D空间中的位置的一组[X,Y,Z]坐标，假定各个片段的形状已知，或者在3D模型中，互连各个节点的规则已知或已定义。在一些实施例中，各个片段被预先确定成具有相同数目的边，同时每个节点通过直线，连接到预定数目的邻近节点。在图17的例子中，模型2000的顶部是一组三角形片段，而侧面部分由多个四边形片段形成。这样的构成(例如，顶部由三角形片段构成，而侧面部分由4边形片段构成)可被包含在构成3D模型的一部分的信息中，或者可被预先确定。这类信息连同网格模型信息一起，或者作为网格模型信息的一部分，被提供给消费者渲染和重放设备。
图18表示可用于把有时称为2D UV空间之物中的帧映射到图18中所示的3D模型2000的例证UV图2002。注意，UV图2002包括与3D模型2000中的节点和片段数目相同，并具有一对一映射关系的节点和片段。作为图像渲染操作的一部分，提供有时被称为纹理的事物，但是通常包括在与模拟环境的3D模型2000内的位置[0,0,0]对应的地点处从真实环境中的摄像机支架的有利位置捕捉的图像的内容的各个帧可按照图2002，被贴到(例如包裹到)3D模型2000上。
在图17和18中，如同各个其他网格节点，为了强调起见而被表示成圆点的例证节点P出现在UV图2002和3D模型2000两者之中。注意，节点P[X,Y,Z]对应于节点P[U,V]，其中X,Y,Z指定节点P在X,Y,Z空间中的位置，U,V指定对应节点P在二维空间中的位置。每对U,V表示2D图像纹理(例如帧)的单一像素的X,Y。利用邻近的U,V对之间的插值，在渲染处理期间，周围像素从2D帧被映射到3D网格。
图19图解说明可用于接收、解码和显示由图12的系统600的一个或多个子系统(比如处理系统608/1700)流式传输的内容的例证重放设备，例如系统1900。例证的渲染和重放系统1900可以用作图12中所示的渲染和重放设备中的任何一个。在各个实施例中，重放系统1900用于进行在图13-16中所示的流程图中图解说明的各个步骤。
在一些实施例中，渲染和重放系统1900包括和/或耦接到3D头戴式显示器1905。系统1900包括解码接收的编码图像数据，并生成3D图像内容，以便显示给消费者的能力。在一些实施例中，重放系统1900位于消费者驻地位置，比如家庭或办公室，不过也可以位于图像捕捉地点。重放系统1900可按照本发明，进行接收、解码、渲染、显示和/或其他操作。
重放系统1900包括显示器1902、显示设备接口1903、用户输入接口设备1904、输入/输出(I/O)接口1906、解复用器1907、处理器1908、网络接口1910和存储器1912。重放系统1900的各个组件经总线1909，耦接在一起，总线1909允许在系统1900的组件之间传递数据。
虽然在一些实施例中，显示器1902被包括为如利用虚线框图解所示的可选元件，不过在一些实施例中，外部显示设备1905，例如，头戴式立体显示设备，可以经由显示设备接口1903耦接到重放系统1900。可以利用可包括头戴式显示器1902的OCULUS RIFTTM VR(虚拟现实)头戴式耳机，实现头戴式显示器1902。也可以使用其他头戴式显示器。图像内容被呈现在系统1900的显示设备上，其中例如在立体内容的情况下，用户的左眼和右眼被呈现不同的图像。通过在单一屏幕上，向左眼和右眼，例如，在单一屏幕的不同部分上，向不同的眼睛显示不同的图像，单一显示器可被用于显示将被观看者的左眼和右眼分别感知的左眼图像和右眼图像。虽然各个实施例设想了在系统1900中使用的头戴式显示器，不过，各种方法和系统也可以和能够支持3D图像的非头戴式显示器一起使用。
重放系统1900的操作员可通过用户输入设备1904，控制一个或多个参数和/或提供输入。输入设备1904可以是，并且在一些实施例是例如小键盘、触摸屏、或者可用于输入信息、数据和/或指令的类似设备。
通过I/O接口1906，重放系统1900可以耦接到外部设备，与这类外部设备交换信息和信令。在一些实施例中，通过I/O接口1906，重放系统1900接收由各个摄像机(例如，各对立体摄像机和/或其他摄像机)捕捉的图像，接收3D网格模型和UV图。
解复用器1907被配置成解复用与在例如来自处理系统1700的复用内容流中传递的图像内容对应的复用帧。在一些实施例中，解复用器1907被配置成解复用被复用的主内容流和辅助内容流。
处理器1908(例如CPU)执行例程1914，并利用各种模块，控制系统1900按照本发明工作。处理器1908负责控制系统1900的所有一般操作，例如，通过控制系统1900，进行按照本发明的特征的各种操作。在各个实施例中，处理器1908被配置成进行讨论成由渲染和重放系统1900进行的功能。
网络接口1910包括使重放系统1900能够通过通信网络，比如通信网络650，接收信息和/或向外部设备传递信息的发送器1911和接收器1913。在一些实施例中，重放系统1900例如经由接口1910，通过通信网络650从处理系统1700接收包括图像内容1924、3D网格模型1928、UV图1930的编码帧。
存储器1912包括各种模块，例如例程，当被处理器1908执行时，所述各种模块控制重放系统1900按照本发明进行操作。存储器1912包括控制例程1914、请求生成模块1916、接收信息处理模块1917、头部位置和/或视角确定模块1918、主解码器1920、辅助解码器1921、3D图像渲染器1922(也被称为3D图像生成模块)、接收的编码图像内容1924、接收的可用节目的列表1926、接收的一个或多个3D网格模型1928、接收的一个或多个UV图1930、解码的图像内容1932、生成的图像内容1934和设备能力信息1934。
控制例程1914包括设备控制例程和通信例程，以控制系统1900的操作。请求生成模块1916被配置成例如依据供重放的项目的用户选择，生成对内容的请求。接收信息处理模块1917被配置成处理例如通过接口1906和/或1910的接收器，系统1900接收的信息，例如，图像内容、音频数据、环境模型、UV图等，以把接收的信息提供给系统1900的适当元件，供渲染和重放之用。头部位置和/或视角确定模块1918被配置成按照本发明的特征，确定用户的当前头部位置，例如，头戴式显示器的位置。
主解码器1920被配置成解码在主内容流中接收的帧，例如从处理系统1700接收的(包含在接收的编码数据1924中的)第一格式的编码帧，以产生保存在存储器中，并包含在解码数据1932中的与第一格式的帧对应的解码图像数据。辅助解码器1921被配置成解码(包含在接收的编码数据1924中的)第三格式的一个或多个辅助帧，以产生包含在解码数据1932中的与第三格式的帧对应的解码图像数据。在一些实施例中，辅助解码器1921比主解码器1920慢。
在一些其他的实施例中，主解码器1920被用于解码接收的第一帧，所述接收的第一帧包含与从环境中的第一地点看得见的环境的一部分对应的未被遮挡图像内容，和与从所述第一地点看不见的环境的一部分对应的被遮挡图像内容两者。在这样的实施例中，解码图像数据1932包括包含未被遮挡图像内容和被遮挡图像内容两者的一个或多个解码帧。在各个实施例中，在图像渲染之前，解码编码的图像内容。
3D图像渲染器1922利用解码图像数据1932，按照本发明的特征生成3D图像内容，以便在显示器1902和/或显示设备1905上向用户显示。在一些实施例中，3D图像渲染器1922被配置成利用3D网格模型，渲染至少一些的接收图像内容。在一些实施例中，3D图像渲染器1922还被配置成利用第一UV图，确定如何把包含在接收的图像内容中的图像包裹到第一3D网格模型上。生成的图像内容1934是3D图像渲染模块1922的输出。
接收的一个或多个3D环境网格模型1928可包括第一网格模型、第二网格模型1928和辅助网格模式信息。接收的一个或多个UV图1930包括第一UV图和/或第二UV图和/或辅助UV图。接收的编码图像内容1924包括例如与从关注的环境中的第一地点看得见的所述环境的一部分对应的未被遮挡图像内容的左眼和右眼图像对的帧，和包含与从所述第一地点看不见的所述环境的一部分对应的被遮挡图像内容的一个或多个辅助帧。在一些实施例中，系统1900接收第一帧，所述第一帧包含与从环境中的第一地点看得见的环境的一部分对应的未被遮挡图像内容，和与从所述第一地点看不见的环境的一部分对应的被遮挡图像内容两者。从而，在一些实施例中，接收的编码图像内容1924包括包含未被遮挡图像内容和被遮挡图像内容两者的帧。
如前所述，第一UV图指示包含未被遮挡图像内容的帧的各个部分和与从所述第一地点看得见的环境的各个部分对应的环境的第一模型的各个片段之间的映射，而辅助UV图指示包含被遮挡图像内容的辅助帧的各个部分和与从所述第一地点看不见的环境的各个部分对应的所述环境的第一模型的各个片段之间的映射。当接收的帧包括未被遮挡图像内容和被遮挡图像内容两者时，利用第二UV图，第二UV图指示所述帧的各个部分与对应环境模型(例如第二3D网格模型)的各个片段之间的映射。设备能力信息1936包括关于系统1900的处理和/或显示能力的信息，所述信息指示重放设备1900是否能够支持与从第一地点看不见的环境的各个部分对应的被遮挡图像内容的显示，和/或指示重放设备1900能够支持的内容流格式。在一些实施例中，设备能力信息1936呈可被例如处理系统1700用于确定重放设备1900的能力的标识符的形式。
在一些实施例中，各个模块中的一些模块被实现成例如在处理器1908内的电路，而其他模块被实现成例如在处理器之外，并且耦接到处理器的电路。或者，不是被实现成电路，各个模块中的全部或一些模块可用软件实现，并被保存在重放设备1900的存储器中，当各个模块由处理器，例如处理器1908，执行时，各个模块控制重放设备1900的操作，以实现与各个模块对应的功能。在还有的其他实施例中，各个模块被实现成硬件和软件的组合，例如，在处理器1908之外的电路向处理器1908提供输入，处理器1908随后在软件的控制下工作，以进行模块的功能的一部分。
虽然在图19的例子中，被表示成包含在存储器1912中，不过，包含在存储器1912中的所示各个模块可以，并且在一些实施例中确实是在处理器1908内，完全用硬件实现的，例如被实现成单独的电路。在其他实施例中，各个元件中的一些元件被实现成例如在处理器1908内的电路，而其他元件被实现成例如在处理器1908之外，并且耦接到处理器1908的电路。应意识到，处理器上的模块的集成度和/或一些模块在处理器之外可以是设计选择之一。
尽管在图19的实施例中，被表示成设备1900内的单一处理器1908，例如，计算机，不过，应意识到处理器1908可被实现成一个或多个处理器，例如计算机。当用软件实现时，模块包括代码，当由处理器1908执行时，所述代码配置处理器，例如计算机，以实现对应于该模块的功能。在一些实施例中，处理器1908被配置成实现在图19的例子中的存储器1912中所示的各个模块。在其中各个模块被保存在存储器1912中的实施例中，存储器1912是计算机程序产品，所述计算机程序产品包含计算机可读介质，例如，非临时性计算机可读介质，所述计算机可读介质包含用于使至少一个计算机，例如处理器1908，实现所述各个模块对应于的功能的代码，例如，用于每个模块的单独代码。
应意识到，图19中图解所示的各个模块分别控制和/或配置系统1900或系统1900中的各个元件，比如处理器1908，以进行本发明的各种方法的对应步骤(比如在流程图1300、1400、1500和1600中图解所示和/或说明的那些步骤)的功能。
在一个例证实施例中，处理器1908被配置成控制重放设备1900例如经由接收器1913，接收包含与从环境中的第一地点看得见的环境的一部分对应的未被遮挡图像内容，和与从所述第一地点看不见的环境的一部分对应的被遮挡图像内容的第一帧；检测用户的头部位置，和根据检测到的头部位置，向显示器输出环境的各个部分的图像。
下面说明举例说明本发明的不同方面和特征的各个附加例证实施例。
操作图像处理系统的方法实施例1，所述方法包括：接收与环境的一部分对应的第一图像，所述第一图像包括与从第一地点看得见的环境的一部分对应的未被遮挡图像部分；接收环境的附加图像，所述附加图像至少包括与从所述第一地点，视线被遮挡的环境的一部分对应的第一被遮挡图像部分；生成第一帧，所述第一帧包括源自所述第一图像的所述未被遮挡图像部分的图像内容，和源自所述附加图像的所述第一被遮挡图像部分的图像内容；和把所述第一帧保存在存储设备中，或者把所述第一帧传送给另一个设备。
操作图像处理系统的方法实施例2，其中所述方法实施例1还包括：生成用于把所述第一帧的各个部分映射到环境模型的各个片段的UV图。
操作图像处理系统的方法实施例3，其中所述方法实施例1还包括：生成包括与所述环境的未被遮挡表面对应的片段，和与所述环境的被遮挡表面对应的片段的环境模型。
操作图像处理系统的方法实施例4，其中在方法实施例3中，所述UV图把与所述第一帧的所述未被遮挡图像部分对应的所述第一帧中的图像内容，映射到与从所述第一地点看得见的所述环境的一部分对应的所述环境模型的第一片段。
操作图像处理系统的方法实施例5，其中在方法实施例4中，所述UV图还把与所述第一被遮挡图像部分对应的所述第一帧中的图像内容，映射到与从所述第一地点看不见的所述环境的一部分对应的所述环境模型的第二片段。
操作图像处理系统的方法实施例6，其中在方法实施例1中，接收第一图像包括从所述环境中的第一摄像机，接收所述第一图像；和接收环境的附加图像包括从在偏离所述环境中的布置所述第一摄像机的地点的所述环境中的地点处的摄像机，接收所述附加图像。
操作图像处理系统的方法实施例7，其中在方法实施例6中，所述第一摄像机是包括所述第一摄像机和所述第二摄像机的立体摄像机对中的摄像机，所述立体摄像机对被布置在所述第一地点，所述方法还包括：从第二摄像机接收与环境的一部分对应的第二图像，所述第二图像包括与从第一地点看得见的环境的一部分对应的第二未被遮挡图像部分。
操作图像处理系统的方法实施例8，其中方法实施例7还包括：把所述第二图像的至少一部分包含在所述第一帧中。
操作图像处理系统的方法实施例9，其中在方法实施例1中，所述第一帧为第二帧格式，所述方法还包括：生成第一帧格式的帧，第一帧格式的所述帧包括源自所述第一帧的所述未被遮挡图像部分的图像内容，不包括与环境的被遮挡部分对应的图像内容；并把第一格式的所述帧保存在存储设备中。
操作图像处理系统的方法实施例10，其中在方法实施例9中，第一帧和第一格式的帧对应于第一节目，所述方法还包括：从支持被遮挡图像内容的显示的第一重放设备，接收对于与第一节目对应的内容的第一请求；和响应对于内容的所述第一请求，把第二格式的所述第一帧发送给第一设备。
操作图像处理系统的方法实施例11，其中方法实施例10还包括：在发送第二格式的第一帧之前，根据设备能力信息，判定第一重放设备支持被遮挡图像内容的显示。
操作图像处理系统的方法实施例12，其中方法实施例10还包括：从不支持被遮挡图像内容的显示的第二重放设备，接收对于与第一节目对应的内容的第二请求；和响应对于内容的所述第二请求，把第一格式的所述帧发送给第二重放设备。
操作图像处理系统的方法实施例13，其中方法实施例12还包括：在发送第一格式的帧之前，根据与第二重放设备对应的设备能力信息，判定第二重放设备不支持被遮挡图像内容的显示。
操作图像处理系统的方法实施例14，其中在方法实施例13中，第二格式的所述第一帧和第一格式的帧大小相同，并且包括相同数目的像素。
操作图像处理系统的方法实施例15，其中方法实施例14还包括：向第二重放设备传送不包括与从第一地点视线被遮挡的环境的各个部分对应的各个片段的环境模型；和向第二重放设备传送UV图，所述UV图用于把第一格式的帧的各个部分映射到不包括与从第一地点视线被遮挡的环境的各个部分对应的各个片段的环境模型。
另一个例证实施例包括一种供系统之用的非临时性计算机可读介质，所述非临时性计算机可读介质包括计算机可执行指令，当由计算机执行时，所述计算机可执行指令控制系统：接收与环境的一部分对应的第一图像，所述第一图像包括与从第一地点看得见的环境的一部分对应的未被遮挡图像部分；接收环境的附加图像，所述附加图像至少包括与从所述第一地点，视线被遮挡的环境的一部分对应的第一被遮挡图像部分；生成第一帧，所述第一帧包括源自所述第一图像的所述未被遮挡图像部分的图像内容，和源自所述附加图像的所述第一被遮挡图像部分的图像内容；和把所述第一帧保存在存储设备中，或者把所述第一帧传送给另一个设备。
图像处理系统实施例1，包括：处理器，所述处理器被配置成控制所述图像处理系统：接收与环境的一部分对应的第一图像，所述第一图像包括与从第一地点看得见的环境的一部分对应的未被遮挡图像部分；接收环境的附加图像，所述附加图像至少包括与从所述第一地点，视线被遮挡的环境的一部分对应的第一被遮挡图像部分；生成第一帧，所述第一帧包括源自所述第一图像的所述未被遮挡图像部分的图像内容，和源自所述附加图像的所述第一被遮挡图像部分的图像内容；和把所述第一帧保存在存储设备中，或者把所述第一帧传送给另一个设备。
图像处理系统实施例2，其中在图像处理系统实施例1中，所述处理器还被配置成控制所述图像处理系统生成用于把所述第一帧的各个部分映射到环境模型的各个片段的UV图。
图像处理系统实施例3，其中在图像处理系统实施例1中，所述处理器还被配置成控制所述图像处理系统生成包括与所述环境的未被遮挡表面对应的片段，和与所述环境的被遮挡表面对应的片段的环境模型。
图像处理系统实施例4，其中在图像处理系统实施例3中，所述UV图把与所述第一帧的所述未被遮挡图像部分对应的所述第一帧中的图像内容，映射到与从所述第一地点看得见的所述环境的一部分对应的所述环境模型的第一片段。
图像处理系统实施例5，其中在图像处理系统实施例4中，所述UV图还把与所述第一被遮挡图像部分对应的所述第一帧中的图像内容，映射到与从所述第一地点看不见的所述环境的一部分对应的所述环境模型的第二片段。
图像处理系统实施例6，其中在图像处理系统实施例1中，所述第一图像接收自所述环境中的第一摄像机；所述附加图像接收自在偏离所述环境中的布置所述第一摄像机的地点的所述环境中的地点处的摄像机。
图像处理系统实施例7，其中在图像处理系统实施例6中，所述第一摄像机是包括所述第一摄像机和所述第二摄像机的立体摄像机对中的摄像机，所述立体摄像机对被布置在所述第一地点，其中所述处理器还被配置成控制所述图像处理系统从第二摄像机接收与环境的一部分对应的第二图像，所述第二图像包括与从第一地点看得见的环境的一部分对应的第二未被遮挡图像部分。
图像处理系统实施例8，其中在图像处理系统实施例7中，所述处理器还被配置成控制所述图像处理系统把所述第二图像的至少一部分包含在所述第一帧中。
图像处理系统实施例9，其中在图像处理系统实施例1中，所述第一帧为第二帧格式；其中所述处理器还被配置成控制所述图像处理系统：生成第一帧格式的帧，第一帧格式的所述帧包括源自所述第一帧的所述未被遮挡图像部分的图像内容，不包括与环境的被遮挡部分对应的图像内容；并把第一格式的所述帧保存在存储设备中。
图像处理系统实施例10，其中在图像处理系统实施例9中，第一帧和第一格式的帧对应于第一节目；其中所述处理器还被配置成控制所述图像处理系统：从支持被遮挡图像内容的显示的第一重放设备，接收对于与第一节目对应的内容的第一请求；和响应对于内容的所述第一请求，把第二格式的所述第一帧发送给第一设备。
图像处理系统实施例11，其中在图像处理系统实施例10中，所述处理器还被配置成控制所述图像处理系统在发送第二格式的第一帧之前，根据设备能力信息，判定第一重放设备支持被遮挡图像内容的显示。
图像处理系统实施例12，其中在图像处理系统实施例10中，所述处理器还被配置成控制所述图像处理系统：从不支持被遮挡图像内容的显示的第二重放设备，接收对于与第一节目对应的内容的第二请求；和响应对于内容的所述第二请求，把第一格式的所述帧发送给第二重放设备。
图像处理系统实施例13，其中在图像处理系统实施例12中，所述处理器还被配置成控制所述图像处理系统在发送第一格式的帧之前，根据与第二重放设备对应的设备能力信息，判定第二重放设备不支持被遮挡图像内容的显示。
图像处理系统实施例14，其中在图像处理系统实施例13中，第二格式的所述第一帧和第一格式的帧大小相同，并且包括相同数目的像素。
图像处理系统实施例15，其中在图像处理系统实施例14中，所述处理器还被配置成控制所述图像处理系统：向第二重放设备传送不包括与从第一地点视线被遮挡的环境的各个部分对应的各个片段的环境模型；和向第二重放设备传送UV图，所述UV图用于把第一格式的帧的各个部分映射到不包括与从第一地点视线被遮挡的环境的各个部分对应的各个片段的环境模型。
操作图像处理系统的方法实施例16，所述方法实施例16包括：接收与环境的一部分对应的第一图像，所述第一图像包括与从第一地点看得见的环境的一部分对应的未被遮挡图像部分；生成包括源自所述第一图像的所述未被遮挡图像部分的图像内容的第一帧；接收环境的附加图像，所述附加图像至少包括与从所述第一地点视频被遮挡的环境的一部分对应的第一被遮挡图像部分；生成包括源自所述附加图像的所述第一被遮挡图像部分的图像内容的辅助帧；和把所述第一帧和所述辅助帧保存在存储设备中，或者把所述第一帧传送给另一个设备。
操作图像处理系统的方法实施例17，其中所述方法实施例16还包括：生成第一UV图，所述第一UV图指示所述第一帧的各个部分到与从所述第一地点看得见的所述环境的各个部分对应的环境模型的各个片段的映射；和生成辅助UV图，所述辅助UV图指示所述辅助帧的各个部分到与从所述第一地点看不见的所述环境的各个部分对应的环境模型的各个片段的映射。
操作图像处理系统的方法实施例18，其中所述方法实施例17还包括：生成包括与所述环境的未被遮挡表面对应的片段，和与所述环境的被遮挡表面对应的片段的环境模型。
操作图像处理系统的方法实施例19，其中在所述方法实施例16中，所述辅助帧比所述第一帧小，并且包括比所述第一帧少的像素。
操作图像处理系统的方法实施例20，其中所述方法实施例18还包括：复用所述第一帧和所述辅助帧；和传送包括主内容流中的所述第一帧，和辅助内容流中的所述辅助帧的复用内容流。
操作图像处理系统的方法实施例21，其中在所述方法实施例20中，复用所述第一帧和所述辅助帧包括在所述第一帧之前，把所述辅助帧并入在所述复用内容流中，以致接收所述复用内容流的设备将在所述第一帧之前，接收所述辅助帧。
操作图像处理系统的方法实施例22，其中所述方法实施例20还包括：接收与环境的所述部分对应的第二图像，所述第二图像包括第二未被遮挡图像部分；接收环境的第二附加图像，所述第二附加图像至少包括第二被遮挡图像部分；和生成包括源自所述第二图像的所述第二未被遮挡图像部分的图像内容的第二帧。
操作图像处理系统的方法实施例23，其中在所述方法实施例22中，生成辅助帧包括：把源自第二附加图像的所述第二被遮挡图像部分的图像内容包含在具有所述第一被遮挡图像部分的所述辅助帧中。
操作图像处理系统的方法实施例24，其中在所述方法实施例23中，所述辅助帧包括与主内容流中的M个不同帧对应的被遮挡图像部分，M是非零整数；和其中生成辅助帧包括把源自第二附加图像的所述第二被遮挡图像部分的图像内容包含在所述辅助帧中。
操作图像处理系统的方法实施例25，其中在所述方法实施例24中，所述辅助帧大小与所述第一帧相同，并且包括和所述第一帧相同数目的像素。
操作图像处理系统的方法实施例26，其中所述方法实施例16还包括：从支持被遮挡图像内容的显示的第一重放设备，接收对于与第一节目对应的内容的第一请求；和响应对于内容的所述第一请求，把所述第一帧和辅助帧发送给第一重放设备。
操作图像处理系统的方法实施例27，其中所述方法实施例26还包括：把第一UV图和辅助UV图发送给第一重放设备。
操作图像处理系统的方法实施例28，其中所述方法实施例26还包括：在发送第一帧和辅助帧之前，根据设备能力信息，判定第一重放设备支持被遮挡图像内容的显示。
操作图像处理系统的方法实施例29，其中所述方法实施例26还包括：从不支持被遮挡图像内容的显示的第二重放设备，接收对于与第一节目对应的内容的第二请求；和响应对于内容的所述第二请求，把所述第一帧发送给第二重放设备，而不把所述辅助帧发送给第二重放设备。
操作图像处理系统的方法实施例30，其中所述方法实施例26还包括：把第一UV图发送给第二重放设备，但不把辅助UV图发送给重放设备。
操作图像处理系统的方法实施例31，其中所述方法实施例29还包括：在把第一帧发送给第二重放设备，而不发送辅助帧之前，根据设备能力信息，判定第二重放设备不支持被遮挡图像内容的显示。
包括一种供系统之用的非临时性计算机可读介质的实施例，所述非临时性计算机可读介质包括计算机可执行指令，当由计算机执行时，所述计算机可执行指令控制系统：接收与环境的一部分对应的第一图像，所述第一图像包括与从第一地点看得见的环境的一部分对应的未被遮挡图像部分；生成包括源自所述第一图像的所述未被遮挡图像部分的图像内容的第一帧；接收环境的附加图像，所述附加图像至少包括与从所述第一地点，视频被遮挡的环境的一部分对应的第一被遮挡图像部分；生成包括源自所述附加图像的所述第一被遮挡图像部分的图像内容的辅助帧；和把所述第一帧和所述辅助帧保存在存储设备中，或者把所述第一帧传送给另一个设备。
图像处理系统实施例16，包括：接收器，所述接收器被配置成接收与环境的一部分对应的第一图像，所述第一图像包括与从第一地点看得见的环境的一部分对应的未被遮挡图像部分；处理器，所述处理器被配置成生成包括源自所述第一图像的所述未被遮挡图像部分的图像内容的第一帧；其中所述接收器还被配置成接收环境的附加图像，所述附加图像至少包括与从所述第一地点，视线被遮挡的环境的一部分对应的第一被遮挡图像部分；其中所述处理器还被配置成生成包括源自所述附加图像的所述第一被遮挡图像部分的图像内容的辅助帧；和用于保存所述第一帧和所述辅助帧的存储器，或者配置成把所述第一帧传送给另一个设备的发送器。
图像处理系统实施例17，其中在图像处理系统实施例16中，所述处理器还被配置成：生成第一UV图，所述第一UV图指示所述第一帧的各个部分到与从所述第一地点看得见的所述环境的各个部分对应的环境模型的各个片段的映射；和生成辅助UV图，所述辅助UV图指示所述辅助帧的各个部分到与从所述第一地点看不见的所述环境的各个部分对应的环境模型的各个片段的映射。
图像处理系统实施例18，其中在图像处理系统实施例17中，所述处理器还被配置成生成包括与所述环境的未被遮挡表面对应的片段，和与所述环境的被遮挡表面对应的片段的环境模型。
图像处理系统实施例19，其中在图像处理系统实施例16中，所述辅助帧比所述第一帧小，并且包括比所述第一帧少的像素。
图像处理系统实施例20，其中图像处理系统实施例18还包括：复用器，所述复用器被配置成复用所述第一帧和所述辅助帧；其中所述发送器还被配置成传送包括主内容流中的所述第一帧，和辅助内容流中的所述辅助帧的复用内容流。
图像处理系统实施例21，其中在图像处理系统实施例20中，作为被配置成复用所述第一帧和所述辅助帧的一部分，所述复用器被配置成在所述第一帧之前，把所述辅助帧并入在所述复用内容流中，以致接收所述复用内容流的设备将在所述第一帧之前，接收所述辅助帧。
图像处理系统实施例22，其中在图像处理系统实施例20中，所述接收器还被配置成接收与环境的所述部分对应的第二图像，所述第二图像包括第二未被遮挡图像部分；所述接收器还被配置成接收环境的第二附加图像，所述第二附加图像至少包括第二被遮挡图像部分；所述处理器还被配置成生成包括源自所述第二图像的所述第二未被遮挡图像部分的图像内容的第二帧。
图像处理系统实施例23，其中在图像处理系统实施例22中，作为被配置成生成辅助帧的一部分，所述处理器还被配置成把源自第二附加图像的所述第二被遮挡图像部分的图像内容包含在具有所述第一被遮挡图像部分的所述辅助帧中。
图像处理系统实施例24，其中在图像处理系统实施例23中，所述辅助帧包括与主内容流中的M个不同帧对应的被遮挡图像部分，M是非零整数；作为被配置成生成辅助帧的一部分，所述处理器还被配置成把源自第二附加图像的所述第二被遮挡图像部分的图像内容包含在所述辅助帧中。
图像处理系统实施例25，其中在图像处理系统实施例24中，所述辅助帧大小与所述第一帧相同，并且包括和所述第一帧相同数目的像素。
图像处理系统实施例26，其中在图像处理系统实施例16中，所述接收器还被配置成从支持被遮挡图像内容的显示的第一重放设备，接收对于与第一节目对应的内容的第一请求；并且其中所述发送器还被配置成响应对于内容的所述第一请求，把所述第一帧和辅助帧发送给第一重放设备。
图像处理系统实施例27，其中在图像处理系统实施例26中，所述发送器还被配置成把第一UV图和辅助UV图发送给第一重放设备。
图像处理系统实施例28，其中在图像处理系统实施例26中，所述处理器还被配置成在第一帧和辅助帧被发送给第一重放设备之前，根据与第一重放设备对应的设备能力信息，判定第一重放设备支持被遮挡图像内容的显示。
图像处理系统实施例29，其中在图像处理系统实施例26中，所述接收器还被配置成从不支持被遮挡图像内容的显示的第二重放设备，接收对于与第一节目对应的内容的第二请求；并且其中所述发送器还被配置成响应对于内容的所述第二请求，把所述第一帧发送给第二重放设备，而不把所述辅助帧发送给第二重放设备。
图像处理系统实施例30，其中在图像处理系统实施例26中，所述发送器还被配置成把第一UV图发送给第二重放设备，但不把辅助UV图发送给重放设备。
图像处理系统实施例31，其中在图像处理系统实施例29中，所述处理器还被配置成在第一帧被发送给第二重放设备，而辅助帧不被发送之前，根据与第二重放设备对应的设备能力信息，判定第二重放设备不支持被遮挡图像内容的显示。
操作内容重放设备的方法实施例1，所述方法包括：接收第一帧，所述第一帧包括与从环境中的第一地点看得见的环境的一部分对应的未被遮挡图像内容，和与从所述第一地点看不见的环境的一部分对应的被遮挡图像内容；检测用户的头部位置；和根据检测到的头部位置，向显示器输出环境的各个部分的图像。
操作内容重放设备的方法实施例2，其中在所述方法实施例1中，所述向显示器输出图像包括：当所述用户头部位置在默认地点时，输出与从第一地点看得见的环境的各个部分对应的各个图像部分；和当所述用户头部位置指示偏离所述默认地点的地点时，输出与从第一地点看不见的环境的至少一些部分对应的各个图像部分。
操作内容重放设备的方法实施例3，其中所述方法实施例1还包括：接收UV图，所述UV图指示帧的各个部分与环境的模型的各个片段之间的映射；其中向显示器输出图像包括输出通过利用UV图，把包含在第一帧中的各个图像部分映射到环境的模型的各个片段而生成的渲染图像的一部分。
操作内容重放设备的方法实施例4，其中所述方法实施例3还包括：接收环境的所述模型，所述模型是包括与从第一地点看得见的所述环境中的各个表面对应的片段，和与从第一地点看不见的所述环境的被遮挡部分对应的至少一些片段的网格模型。
操作内容重放设备的方法实施例5，其中在所述方法实施例3中，所述未被遮挡图像内容包括利用在环境中的所述第一地点的第一摄像机捕捉的内容，其中被遮挡图像内容是利用在所述环境中，位于偏离所述第一地点的地点的附加摄像机捕捉的。
操作内容重放设备的方法实施例6，其中所述方法实施例4还包括：接收可用节目的列表，对于第一节目，所述列表包括对应于所述节目，但是流格式不同的流的列表，所述不同的流格式中的第一流格式包括不包含被遮挡图像内容的流格式，和包含被遮挡图像内容的第二流格式；接收选择所述第一节目的用户输入；和根据设备能力信息，选择要请求哪个与用户所选节目对应的流。
操作内容重放设备的方法实施例7，其中在所述方法实施例6中，重放设备支持被遮挡图像内容的显示；其中所述选择步骤包括选择包含被遮挡图像内容的流；其中所述方法还包括：把对于与用户所选节目对应的所选流的请求发送给内容服务器。
操作内容重放设备的方法实施例8，其中所述方法实施例4还包括：接收可用节目的列表，所述列表包括第一节目；接收选择所述第一节目的用户输入；和向内容服务器发送对于流的请求。
操作内容重放设备的方法实施例9，其中所述方法实施例8还包括：向所述内容服务器传递设备能力信息，所述设备能力信息指示所述重放设备能够支持与从所述第一地点看不见的所述环境的各个部分对应的被遮挡图像内容的显示。
操作内容重放设备的方法实施例10，其中在所述方法实施例9中，向所述内容服务器传递设备能力信息包括下述至少之一：i)向内容服务器提供标识符，所述标识符可被用于确定重放设备的能力，或者ii)向内容服务器指示重放设备能够支持的内容流格式。
操作内容重放设备的方法实施例11，其中在所述方法实施例10中，向所述内容服务器传递设备能力信息包括向内容服务器指示重放设备支持在还包括未被遮挡图像数据的帧中，传送被遮挡图像数据的内容流格式。
包括一种供系统之用的非临时性计算机可读介质的实施例，所述非临时性计算机可读介质包括计算机可执行指令，当由计算机执行时，所述计算机可执行指令控制系统：接收第一帧，所述第一帧包括与从环境中的第一地点看得见的环境的一部分对应的未被遮挡图像内容，和与从所述第一地点看不见的环境的一部分对应的被遮挡图像内容；检测用户的头部位置；和根据检测到的头部位置，向显示器输出环境的各个部分的图像。
内容重放设备实施例1，包括：接收器，所述接收器被配置成接收第一帧，所述第一帧包括与从环境中的第一地点看得见的环境的一部分对应的未被遮挡图像内容，和与从所述第一地点看不见的环境的一部分对应的被遮挡图像内容；处理器，所述处理器被配置成控制所述内容重放设备：检测用户的头部位置，和根据检测到的头部位置，向显示器输出环境的各个部分的图像；和用于保存所述图像的存储器。
内容重放设备实施例2，其中在所述内容重放设备实施例1中，向显示器输出图像包括：当所述用户头部位置在默认地点时，输出与从第一地点看得见的环境的各个部分对应的各个图像部分；和当所述用户头部位置指示偏离所述默认地点的地点时，输出与从第一地点看不见的环境的至少一些部分对应的各个图像部分。
内容重放设备实施例3，其中在所述内容重放设备实施例1中，所述接收器还被配置成接收UV图，所述UV图指示帧的各个部分与环境的模型的各个片段之间的映射；其中向显示器输出图像包括输出通过利用UV图，把包含在第一帧中的各个图像部分映射到环境的模型的各个片段而生成的渲染图像的一部分。
内容重放设备实施例4，其中在所述内容重放设备实施例3中，所述接收器还被配置成接收环境的所述模型，所述模型是包括与从第一地点看得见的所述环境中的各个表面对应的片段，和与从第一地点看不见的所述环境的被遮挡部分对应的至少一些片段的网格模型。
内容重放设备实施例5，其中在所述内容重放设备实施例3中，所述未被遮挡图像内容包括利用在环境中的所述第一地点的第一摄像机捕捉的内容，其中被遮挡图像内容是利用在所述环境中，位于偏离所述第一地点的地点的附加摄像机捕捉的。
内容重放设备实施例6，其中在所述内容重放设备实施例4中，所述接收器还被配置成接收可用节目的列表，对于第一节目，所述列表包括对应于所述节目，但是流格式不同的流的列表，所述不同的流格式中的第一流格式包括不包含被遮挡图像内容的流格式，和包含被遮挡图像内容的第二流格式；所述处理器还被配置成操作所述内容重放设备：接收选择所述第一节目的用户输入；和根据设备能力信息，选择要请求哪个与用户所选节目对应的流。
内容重放设备实施例7，其中所述内容重放设备实施例6还包括发送器，所述发送器被配置成向内容服务器发送对于与用户所选节目对应的所选流的请求，其中重放设备支持被遮挡图像内容的显示；其中作为被配置成操作所述内容重放设备选择要请求哪个与用户所选节目对应的流的一部分，所述处理器被配置成操作所述内容重放设备选择包含被遮挡图像内容的流。
内容重放设备实施例8，其中所述内容重放设备实施例4还包括发送器，所述发送器被配置成向内容服务器发送对于流的请求；其中所述接收器还被配置成接收可用节目的列表，所述列表包括第一节目；其中所述处理器还被配置成操作所述内容重放设备接收选择所述第一节目的用户输入。
内容重放设备实施例9，其中在所述内容重放设备实施例8中，所述发送器被配置成向所述内容服务器传递设备能力信息，所述设备能力信息指示所述重放设备能够支持与从所述第一地点看不见的所述环境的各个部分对应的被遮挡图像内容的显示。
内容重放设备实施例10，其中在所述内容重放设备实施例9中，向所述内容服务器传递设备能力信息包括下述至少之一：i)向内容服务器提供标识符，所述标识符可被用于确定重放设备的能力，或者ii)向内容服务器指示重放设备能够支持的内容流格式。
内容重放设备实施例11，其中在所述内容重放设备实施例10中，向所述内容服务器传递设备能力信息包括向内容服务器指示重放设备支持在还包括未被遮挡图像数据的帧中，传送被遮挡图像数据的内容流格式。
被称为重放方法实施例12的一个例证实施例目的在于一种操作内容重放设备的方法，其中所述方法包括以下步骤：操作内容重放设备，接收包括与从环境中的第一地点看得见的环境的一部分对应的未被遮挡图像内容的第一帧，接收包括与从所述第一地点看不见的环境的一部分对应的被遮挡图像内容的辅助帧，检测用户的头部位置；和根据检测到的头部位置，向显示器输出环境的各个部分的图像。在包括重放方法实施例12的特征的重放方法实施例13中，所述方法还包括作为向显示器输出的一部分，当用户的所述头部位置对应于默认地点时，向显示器输出与从第一地点看得见的环境的各个部分对应的各个图像部分，而当用户的头部位置对应于偏离所述第一地点的地点时，向显示器输出与从第一地点看不见的环境的至少一些部分对应的各个图像部分。
在包括重放方法实施例12的特征的重放方法实施例14中，所述方法还包括接收第一UV图，所述第一UV图指示包括未被遮挡图像内容的第一帧的各个部分到与从所述第一地点看得见的环境的各个部分对应的所述环境的第一模型的各个片段的映射；和接收辅助UV图，所述辅助UV图指示包括被遮挡图像内容的辅助帧的各个部分到与从所述第一地点看不见的环境的各个部分对应的所述环境的第一模型的各个片段的映射。
在包括重放方法实施例14的特征的重放方法实施例15中，当所述用户的头部位于偏离与环境中的第一地点对应的默认地点的地点时，向显示器输出环境的各个图像部分包括：显示通过i)利用第一UV图，把包含在第一帧中的各个图像部分映射到环境的第一模型的各个片段，和ii)利用辅助UV图，把包含在辅助帧中的各个图像部分映射到与从所述第一地点看不见的环境的各个部分对应的环境的第一模型的各个片段而生成的渲染图像的一部分。在包括重放方法实施例15的特征的重放方法实施例16中，所述方法还包括在包括包含所述第一帧的主内容流和包含所述辅助帧的辅助内容流的复用内容流中，接收所述第一帧和辅助帧。
在包括重放方法实施例16的特征的重放方法实施例17中，所述方法还包括解复用所述主内容流和所述辅助内容流。在包括重放方法实施例17的特征的重放方法实施例18中，对于所述辅助内容流中的每一帧，主内容流包括M帧，M等于或大于1。在包括重放方法实施例18的特征的重放方法实施例19中，M大于1，辅助帧包括与包含在所述主内容流中的一组M帧中的所述第一帧和至少一个另外的帧对应的被遮挡图像内容。在包括重放方法实施例19的特征的重放方法实施例20中，第一帧和辅助帧是以编码的形式接收的，所述方法还包括：在图像渲染之前，利用第一解码器解码所述第一帧；和在图像渲染之前，利用不同于所述第一解码器的第二解码器，解码所述辅助帧。
在重放方法实施例21中，第二解码器比所述第一解码器慢。在包括重放方法实施例18的特征的重放方法实施例22中，辅助帧大小与所述第一帧相同，并且包括和所述第一帧相同数量的像素。在包括重放方法实施例18的特征的重放方法实施例23中，第一帧和所述辅助帧是以编码的形式接收的，所述方法还包括在图像渲染之前，分时地利用解码器解码所述第一帧和所述辅助帧。在包括重放方法实施例14的特征的重放方法实施例24中，所述方法还包括接收第二环境模型，所述第二环境模型包括与从环境中的所述第一地点看得见的环境的各个部分对应的片段，接收辅助环境模型信息，所述辅助环境模型信息提供与和从环境中的所述第一地点看不见的所述环境的各个被遮挡部分对应的各个片段有关的信息；和利用辅助环境模型信息修改第二环境模型，以生成所述第一环境模型，所述第一环境模型包括与所述环境的被遮挡部分对应的片段，和与所述环境的未被遮挡部分对应的片段。
内容重放设备实施例12，包括：接收器，用于接收包括与从环境中的第一地点看得见的环境的一部分对应的未被遮挡图像内容的第一帧，和用于接收包括与从所述第一地点看不见的环境的一部分对应的被遮挡图像内容的辅助帧；用于保存接收的帧的存储器；和处理器，所述处理器被配置成：检测用户的头部位置；和根据检测到的头部位置，向显示器输出环境的各个部分的图像。
内容重放设备实施例13，其中在所述内容重放设备实施例12中，作为向显示器输出的一部分，所述处理器被配置成：当用户的所述头部位置对应于默认地点时，输出与从第一地点看得见的环境的各个部分对应的各个图像部分；和当用户的头部位置对应于偏离所述第一地点的地点时，输出与从第一地点看不见的环境的至少一些部分对应的各个图像部分。
内容重放设备实施例14，其中在所述内容重放设备实施例12中，所述接收器还用于：接收第一UV图，所述第一UV图指示包括未被遮挡图像内容的第一帧的各个部分到与从所述第一地点看得见的环境的各个部分对应的所述环境的第一模型的各个片段的映射；和接收辅助UV图，所述辅助UV图指示包括被遮挡图像内容的辅助帧的各个部分到与从所述第一地点看不见的环境的各个部分对应的所述环境的第一模型的各个片段的映射。
内容重放设备实施例15，其中在所述内容重放设备实施例14中，作为向显示器输出的一部分，当所述用户的头部位于偏离与环境中的第一地点对应的默认地点的地点时，所述处理器被配置成：输出通过i)利用第一UV图，把包含在第一帧中的各个图像部分映射到环境的第一模型的各个片段，和ii)利用辅助UV图，把包含在辅助帧中的各个图像部分映射到与从所述第一地点看不见的环境的各个部分对应的环境的第一模型的各个片段而生成的渲染图像的一部分。
内容重放设备实施例16，其中在所述内容重放设备实施例15中，接收器在包括包含所述第一帧的主内容流和包含所述辅助帧的辅助内容流的复用内容流中，接收所述第一帧和辅助帧。
内容重放设备实施例17，其中在内容重放设备实施例16中，还包括：解复用所述主内容流和所述辅助内容流的解复用器。
内容重放设备实施例18，其中在内容重放设备实施例17中，对于所述辅助内容流中的每一帧，所述主内容流包括M帧，M等于或大于1。
内容重放设备实施例19，其中在内容重放设备实施例18中，M大于1，所述辅助帧包括与包含在所述主内容流中的一组M帧中的所述第一帧和至少一个另外的帧对应的被遮挡图像内容。
内容重放设备实施例20，其中在内容重放设备实施例19中，所述第一帧和所述辅助帧是以编码的形式接收的，所述内容重放设备包括：在图像渲染之前，解码所述第一帧的第一解码器；和在图像渲染之前，解码所述辅助帧的第二解码器，所述第二解码器不同于所述第一解码器。
内容重放设备实施例21，其中在内容重放设备实施例20中，所述第二解码器比所述第一解码器慢。
内容重放设备实施例22，其中在内容重放设备实施例18中，所述第一帧和所述辅助帧是以编码的形式接收的，所述方法还包括：在图像渲染之前，分时地利用解码器解码所述第一帧和所述辅助帧。
内容重放设备实施例23，在内容重放设备实施例14中，所述接收器还用于：接收第二环境模型，所述第二环境模型包括与从环境中的所述第一地点看得见的环境的各个部分对应的片段；接收辅助环境模型信息，所述辅助环境模型信息提供与和从环境中的所述第一地点看不见的所述环境的各个被遮挡部分对应的各个片段有关的信息；和利用辅助环境模型信息修改第二环境模型，以生成所述第一环境模型，所述第一环境模型包括与所述环境的被遮挡部分对应的片段，和与所述环境的未被遮挡部分对应的片段。
另一例证实施例包括保存有计算机可读指令的非临时性计算机可读介质，当由内容重放设备的处理器执行时，所述计算机可读指令控制内容重放设备进行以下步骤：接收包括与从环境中的第一地点看得见的环境的一部分对应的未被遮挡图像内容的第一帧；接收包括与从所述第一地点看不见的环境的一部分对应的被遮挡图像内容的辅助帧；检测用户的头部位置；和根据检测到的头部位置，向显示器输出环境的各个部分的图像。
虽然按例证顺序表示了各个步骤，不过应当意识到在许多情况下，可以变更各个步骤的顺序，而不会不利地影响操作。因而，除非对于正确操作需要各个步骤的例证顺序，否则各个步骤的顺序被认为是例证性的，而非限制性的。
虽然讨论了各个实施例，不过应意识到，未必所有的实施例都包括相同的特征，在一些实施例中，一些描述的特征不是必需的，不过会是令人满意的。
虽然说明了各种范围和例证值，不过这些范围和值是例证性的。在一些实施例中，值的范围比上面讨论的范围大20％。在其他实施例中，范围比上面讨论的例证范围小20％。类似地，特定的值可以并且有时比在上面指定的值大最多20％，而其他实施例中，这些值比上面指定的值小最多20％。在还有的其他实施例中，使用其他值。
各个实施例的技术可以利用软件、硬件和/或软件和硬件的组合来实现。各个实施例针对设备，例如图像数据捕捉和处理系统。各个实施例还针对方法，例如图像捕捉和/或处理图像数据的方法。各个实施例还针对非临时性机器，例如包括用于控制机器实现方法的一个或多个步骤的机器可读指令的计算机可读介质，例如ROM、RAM、CD、硬盘等。
本发明的各种特征是利用模块实现的。这类模块可以并且在一些实施例中被实现为软件模块。在其他实施例中，模块用硬件实现。在还有的其他实施例中，模块是利用软件和硬件的组合实现的。在一些实施例中，模块被实现为单独的电路，其中每个模块被实现成用于执行该模块对应于的功能的电路。各种各样的实施例是可预期的，包括其中不同模块以不同方式实现，例如一些用硬件实现、一些用软件实现、一些用硬件和软件的组合实现的一些实施例。还应当指出，与在通用处理器上执行的软件相反，例程和/或子例程，或者由这类例程执行的一些步骤可以用专用硬件实现。这样的实施例仍然在本发明的范围内。许多上述方法或方法步骤可以利用包含在机器可读介质，比如存储器设备，例如RAM、软盘等中的机器可执行指令，比如软件实现，以控制机器(例如具有或不具有附加硬件的通用计算机)实现上述方法的全部或部分。因此，除其他之外，本发明还针对包括用于使机器，例如处理器和关联硬件，执行上述一个或多个方法的一个或多个步骤的机器可执行指令的机器可读介质。
一些实施例针对包含用于控制计算机或其他设备编码和压缩立体视频的一组软件指令(例如，计算机可执行指令)的非临时性计算机可读介质。其他实施例针对包含用于控制计算机或其他设备在播放器端解码和解压缩视频的一组软件指令，例如，计算机可执行指令的计算机可读介质。尽管编码和压缩是作为可能的独立操作提及的，不过应意识到编码可用于进行压缩，从而在一些实施例中，编码可包括压缩。类似地，解码可涉及解压缩。
在各个实施例中，处理系统的处理器被配置成控制处理系统进行由例证说明的处理系统进行的方法步骤。在各个实施例中，重放设备的处理器被配置成控制重放设备实现记载在本申请中的一种或多种方法的由重放设备进行的步骤。
鉴于以上说明，对本领域的技术人员来说，对于上述各个实施例的方法和设备的众多其他变化将是明显的。这类变化在本发明的范围之内。

Claims (60)

1.一种操作图像处理系统的方法，所述方法包括：
接收与环境的一部分对应的第一图像，所述第一图像包括与从第一地点看得见的环境的一部分对应的未被遮挡图像部分；
接收环境的附加图像，所述附加图像至少包括与从所述第一地点视线被遮挡的环境的一部分对应的第一被遮挡图像部分；
生成第一帧，所述第一帧包括源自所述第一图像的所述未被遮挡图像部分的图像内容，和源自所述附加图像的所述第一被遮挡图像部分的图像内容；以及
把所述第一帧保存在存储设备中，或者把所述第一帧发送给另一个设备。
2.按照权利要求1所述的方法，还包括：
生成要用于把所述第一帧的各个部分映射到环境模型的各个片段的UV图。
3.按照权利要求1所述的方法，还包括：
生成包括与所述环境的未被遮挡表面对应的片段和与所述环境的被遮挡表面对应的片段的环境模型。
4.按照权利要求3所述的方法，其中所述UV图把与所述第一帧的所述未被遮挡图像部分对应的所述第一帧中的图像内容，映射到与从所述第一地点看得见的所述环境的一部分对应的所述环境模型的第一片段。
5.按照权利要求4所述的方法，其中所述UV图还把与所述第一被遮挡图像部分对应的所述第一帧中的图像内容，映射到与从所述第一地点看不见的所述环境的一部分对应的所述环境模型的第二片段。
6.按照权利要求1所述的方法，
其中接收第一图像包括从所述环境中的第一摄像机接收所述第一图像；以及
接收环境的附加图像包括从在偏离所述环境中的布置所述第一摄像机的地点的所述环境中的地点处的摄像机，接收所述附加图像。
7.按照权利要求6所述的方法，其中所述第一摄像机是包括所述第一摄像机和所述第二摄像机的立体摄像机对中的摄像机，所述立体摄像机对被布置在所述第一地点处，所述方法还包括：
从第二摄像机接收与环境的一部分对应的第二图像，所述第二图像包括与从第一地点看得见的环境的该一部分对应的第二未被遮挡图像部分。
8.按照权利要求1所述的方法，其中所述第一帧是第二帧格式的，所述方法还包括：
生成第一帧格式的帧，第一帧格式的所述帧包括源自所述第一帧的所述未被遮挡图像部分的图像内容，不包括与环境的被遮挡部分对应的图像内容；以及
把第一格式的所述帧保存在存储设备中。
9.按照权利要求8所述的方法，其中第一帧和第一格式的帧对应于第一节目，所述方法还包括：
从支持被遮挡图像内容的显示的第一重放设备接收对于与第一节目对应的内容的第一请求；和
响应对于内容的所述第一请求，把第二格式的所述第一帧发送给第一设备。
10.按照权利要求9所述的方法，还包括：
从不支持被遮挡图像内容的显示的第二重放设备接收对于与第一节目对应的内容的第二请求；和
响应对于内容的所述第二请求，把第一格式的所述帧发送给第二重放设备。
11.一种供系统之用的非临时性计算机可读介质，所述非临时性计算机可读介质包括计算机可执行指令，当由计算机执行时，所述计算机可执行指令控制系统来：
接收与环境的一部分对应的第一图像，所述第一图像包括与从第一地点看得见的环境的一部分对应的未被遮挡图像部分；
接收环境的附加图像，所述附加图像至少包括与从所述第一地点视线被遮挡的环境的一部分对应的第一被遮挡图像部分；
生成第一帧，所述第一帧包括源自所述第一图像的所述未被遮挡图像部分的图像内容，和源自所述附加图像的所述第一被遮挡图像部分的图像内容；以及
把所述第一帧保存在存储设备中，或者把所述第一帧传送给另一个设备。
12.一种图像处理系统，包括：
处理器，所述处理器被配置成控制所述图像处理系统：
接收与环境的一部分对应的第一图像，所述第一图像包括与从第一地点看得见的环境的一部分对应的未被遮挡图像部分；
接收环境的附加图像，所述附加图像至少包括与从所述第一地点视线被遮挡的环境的一部分对应的第一被遮挡图像部分；
生成第一帧，所述第一帧包括源自所述第一图像的所述未被遮挡图像部分的图像内容，和源自所述附加图像的所述第一被遮挡图像部分的图像内容；以及
把所述第一帧保存在存储设备中，或者把所述第一帧传送给另一个设备。
13.按照权利要求12所述的图像处理系统，其中所述处理器还被配置成控制所述图像处理系统生成要用于把所述第一帧的各个部分映射到环境模型的各个片段的UV图。
14.按照权利要求12所述的图像处理系统，其中所述处理器还被配置成控制所述图像处理系统生成包括与所述环境的未被遮挡表面对应的片段和与所述环境的被遮挡表面对应的片段的环境模型。
15.按照权利要求14所述的图像处理系统，其中所述UV图把与所述第一帧的所述未被遮挡图像部分对应的所述第一帧中的图像内容，映射到与从所述第一地点看得见的所述环境的一部分对应的所述环境模型的第一片段；以及
其中所述UV图还把与所述第一被遮挡图像部分对应的所述第一帧中的图像内容，映射到与从所述第一地点看不见的所述环境的一部分对应的所述环境模型的第二片段。
16.一种操作图像处理系统的方法，所述方法包括：
接收与环境的一部分对应的第一图像，所述第一图像包括与从第一地点看得见的环境的一部分对应的未被遮挡图像部分；
生成包括源自所述第一图像的所述未被遮挡图像部分的图像内容的第一帧；
接收环境的附加图像，所述附加图像至少包括与从所述第一地点视线被遮挡的环境的一部分对应的第一被遮挡图像部分；
生成包括源自所述附加图像的所述第一被遮挡图像部分的图像内容的辅助帧；以及
把所述第一帧和所述辅助帧保存在存储设备中，或者把所述第一帧发送给另一个设备。
17.按照权利要求16所述的方法，还包括：
生成第一UV图，所述第一UV图指示所述第一帧的各个部分到与从所述第一地点看得见的所述环境的各个部分对应的环境模型的各个片段的映射；和
生成辅助UV图，所述辅助UV图指示所述辅助帧的各个部分到与从所述第一地点看不见的所述环境的各个部分对应的环境模型的各个片段的映射。
18.按照权利要求17所述的方法，还包括：
生成包括与所述环境的未被遮挡表面对应的片段和与所述环境的被遮挡表面对应的片段的环境模型。
19.按照权利要求16所述的方法，其中所述辅助帧比所述第一帧小，并且包括比所述第一帧少的像素。
20.按照权利要求18所述的方法，还包括：
复用所述第一帧和所述辅助帧；和
发送包括主内容流中的所述第一帧和辅助内容流中的所述辅助帧的复用内容流。
21.按照权利要求20所述的方法，其中复用所述第一帧和所述辅助帧包括在所述第一帧之前把所述辅助帧并入所述复用内容流中，以致接收所述复用内容流的设备将在所述第一帧之前接收所述辅助帧。
22.按照权利要求20所述的方法，还包括：
接收与环境的所述部分对应的第二图像，所述第二图像包括第二未被遮挡图像部分；
接收环境的第二附加图像，所述第二附加图像至少包括第二被遮挡图像部分；以及
生成包括源自所述第二图像的所述第二未被遮挡图像部分的图像内容的第二帧。
23.按照权利要求22所述的方法，
其中生成辅助帧包括：
把源自第二附加图像的所述第二被遮挡图像部分的图像内容包含在具有所述第一被遮挡图像部分的所述辅助帧中。
24.按照权利要求23所述的方法，
其中所述辅助帧包括与主内容流中的M个不同帧对应的被遮挡图像部分，M是非零整数；和
其中生成辅助帧包括把源自第二附加图像的所述第二被遮挡图像部分的图像内容包含在所述辅助帧中。
25.按照权利要求16所述的方法，还包括：
从支持被遮挡图像内容的显示的第一重放设备，接收对于与第一节目对应的内容的第一请求；和
响应对于内容的所述第一请求，把所述第一帧和辅助帧发送给第一重放设备。
26.一种供系统之用的非临时性计算机可读介质，所述非临时性计算机可读介质包括计算机可执行指令，当由计算机执行时，所述计算机可执行指令控制系统：
接收与环境的一部分对应的第一图像，所述第一图像包括与从第一地点看得见的环境的一部分对应的未被遮挡图像部分；
生成包括源自所述第一图像的所述未被遮挡图像部分的图像内容的第一帧；
接收环境的附加图像，所述附加图像至少包括与从所述第一地点视线被遮挡的环境的一部分对应的第一被遮挡图像部分；
生成包括源自所述附加图像的所述第一被遮挡图像部分的图像内容的辅助帧；以及
把所述第一帧和所述辅助帧保存在存储设备中，或者把所述第一帧发送给另一个设备。
27.一种图像处理系统，包括：
接收器，所述接收器被配置成接收与环境的一部分对应的第一图像，所述第一图像包括与从第一地点看得见的环境的一部分对应的未被遮挡图像部分；
处理器，所述处理器被配置成生成包括源自所述第一图像的所述未被遮挡图像部分的图像内容的第一帧；
其中所述接收器还被配置成接收环境的附加图像，所述附加图像至少包括与从所述第一地点视线被遮挡的环境的一部分对应的第一被遮挡图像部分；
其中所述处理器还被配置成生成包括源自所述附加图像的所述第一被遮挡图像部分的图像内容的辅助帧；以及
用于保存所述第一帧和所述辅助帧的存储器，或者配置成把所述第一帧发送给另一个设备的发送器。
28.按照权利要求27所述的图像处理系统，
其中所述处理器还被配置成：
生成第一UV图，所述第一UV图指示所述第一帧的各个部分到与从所述第一地点看得见的所述环境的各个部分对应的环境模型的各个片段的映射；以及
生成辅助UV图，所述辅助UV图指示所述辅助帧的各个部分到与从所述第一地点看不见的所述环境的各个部分对应的环境模型的各个片段的映射。
29.按照权利要求28所述的图像处理系统，其中所述处理器还被配置成生成包括与所述环境的未被遮挡表面对应的片段和与所述环境的被遮挡表面对应的片段的环境模型。
30.按照权利要求29所述的图像处理系统，还包括：
复用器，所述复用器被配置成复用所述第一帧和所述辅助帧；
其中所述发送器还被配置成发送包括主内容流中的所述第一帧和辅助内容流中的所述辅助帧的复用内容流；和
其中作为被配置成复用所述第一帧和所述辅助帧的一部分，所述复用器被配置成在所述第一帧之前把所述辅助帧并入所述复用内容流中，以致接收所述复用内容流的设备将在所述第一帧之前接收所述辅助帧。
31.一种操作内容重放设备的方法，所述方法包括：
接收第一帧，所述第一帧包括与从环境中的第一地点看得见的环境的一部分对应的未被遮挡图像内容，和与从所述第一地点看不见的环境的一部分对应的被遮挡图像内容；
检测用户的头部位置；以及
根据检测到的头部位置，向显示器输出环境的各个部分的图像。
32.按照权利要求31所述的方法，其中所述向显示器输出图像包括：
当所述用户头部位置在默认地点时，输出与从第一地点看得见的环境的各个部分对应的各个图像部分；和
当所述用户头部位置指示偏离所述默认地点的地点时，输出与从第一地点看不见的环境的至少一些部分对应的各个图像部分。
33.按照权利要求31所述的方法，还包括：
接收UV图，所述UV图指示帧的各个部分与环境的模型的各个片段之间的映射；以及
其中向显示器输出图像包括输出通过利用UV图把包含在第一帧中的各个图像部分映射到环境的模型的各个片段而生成的渲染图像的一部分。
34.按照权利要求33所述的方法，还包括：
接收环境的所述模型，所述模型是包括与从第一地点看得见的所述环境中的各个表面对应的片段和与从第一地点看不见的所述环境的被遮挡部分对应的至少一些片段的网格模型。
35.按照权利要求33所述的方法，其中所述未被遮挡图像内容包括利用在环境中的所述第一地点处的第一摄像机捕捉的内容，以及其中被遮挡图像内容是利用在所述环境中位于偏离所述第一地点的地点处的附加摄像机捕捉的。
36.按照权利要求34所述的方法，所述方法还包括：
接收可用节目的列表，对于第一节目，所述列表包括对应于所述节目但是流格式不同的流的列表，所述不同的流格式中的第一流格式包括不包含被遮挡图像内容的流格式，和包含被遮挡图像内容的第二流格式；
接收选择所述第一节目的用户输入；以及
根据设备能力信息，选择要请求哪个与用户所选节目对应的流。
37.按照权利要求36所述的方法，
其中重放设备支持被遮挡图像内容的显示；以及
其中所述选择步骤包括选择包含被遮挡图像内容的流；以及
其中所述方法还包括：
把对于与用户所选节目对应的所选流的请求发送给内容服务器。
38.按照权利要求34所述的方法，还包括：
接收可用节目的列表，所述列表包括第一节目；
接收选择所述第一节目的用户输入；
向内容服务器发送对于流的请求；以及
向所述内容服务器传递设备能力信息，所述设备能力信息指示所述重放设备能够支持与从所述第一地点看不见的所述环境的各个部分对应的被遮挡图像内容的显示。
39.一种供系统之用的非临时性计算机可读介质，所述非临时性计算机可读介质包括计算机可执行指令，当由计算机执行时，所述计算机可执行指令控制系统：
接收第一帧，所述第一帧包括与从环境中的第一地点看得见的环境的一部分对应的未被遮挡图像内容，和与从所述第一地点看不见的环境的一部分对应的被遮挡图像内容；
检测用户的头部位置；以及
根据检测到的头部位置，向显示器输出环境的各个部分的图像。
40.一种内容重放设备，包括：
接收器，所述接收器被配置成接收第一帧，所述第一帧包括与从环境中的第一地点看得见的环境的一部分对应的未被遮挡图像内容，和与从所述第一地点看不见的环境的一部分对应的被遮挡图像内容；
处理器，所述处理器被配置成控制所述内容重放设备来：
检测用户的头部位置，和
根据检测到的头部位置，向显示器输出环境的各个部分的图像；以及
保存所述图像的存储器。
41.按照权利要求40所述的内容重放设备，其中向显示器输出图像包括：
当所述用户头部位置在默认地点时，输出与从第一地点看得见的环境的各个部分对应的各个图像部分；和
当所述用户头部位置指示偏离所述默认地点的地点时，输出与从第一地点看不见的环境的至少一些部分对应的各个图像部分。
42.按照权利要求40所述的内容重放设备，
其中所述接收器还被配置成接收UV图，所述UV图指示帧的各个部分与环境的模型的各个片段之间的映射；和
其中向显示器输出图像包括输出通过利用UV图把包含在第一帧中的各个图像部分映射到环境的模型的各个片段而生成的渲染图像的一部分。
43.按照权利要求42所述的内容重放设备，其中所述接收器还被配置成接收环境的所述模型，所述模型是包括与从第一地点看得见的所述环境中的各个表面对应的片段和与从第一地点看不见的所述环境的被遮挡部分对应的至少一些片段的网格模型。
44.按照权利要求42所述的内容重放设备，其中所述未被遮挡图像内容包括利用在环境中的所述第一地点处的第一摄像机捕捉的内容，以及其中被遮挡图像内容是利用在所述环境中位于偏离所述第一地点的地点处的附加摄像机捕捉的。
45.按照权利要求43所述的内容重放设备，
其中所述接收器还被配置成接收可用节目的列表，对于第一节目，所述列表包括对应于所述节目但是流格式不同的流的列表，所述不同的流格式中的第一流格式包括不包含被遮挡图像内容的流格式，和包含被遮挡图像内容的第二流格式；和
所述处理器还被配置成操作所述内容重放设备来：
接收选择所述第一节目的用户输入；和
根据设备能力信息，选择要请求哪个与用户所选节目对应的流。
46.一种操作内容重放设备的方法，所述方法包括：
接收包括与从环境中的第一地点看得见的环境的一部分对应的未被遮挡图像内容的第一帧；
接收包括与从所述第一地点看不见的环境的一部分对应的被遮挡图像内容的辅助帧；
检测用户的头部位置；以及
根据检测到的头部位置，向显示器输出环境的各个部分的图像。
47.按照权利要求46所述的方法，其中向显示器输出包括：
当用户的所述头部位置对应于默认地点时，向显示器输出与从第一地点看得见的环境的各个部分对应的各个图像部分；和
当用户的头部位置对应于偏离所述第一地点的地点时，向显示器输出与从第一地点看不见的环境的至少一些部分对应的各个图像部分。
48.按照权利要求47所述的方法，还包括：
接收第一UV图，所述第一UV图指示包括未被遮挡图像内容的第一帧的各个部分到与从所述第一地点看得见的环境的各个部分对应的所述环境的第一模型的各个片段的映射；和
接收辅助UV图，所述辅助UV图指示包括被遮挡图像内容的辅助帧的各个部分到与从所述第一地点看不见的环境的各个部分对应的所述环境的第一模型的各个片段的映射。
49.按照权利要求48所述的方法，其中当所述用户的头部位于偏离与环境中的第一地点对应的默认地点的地点处时，向显示器输出环境的各个图像部分包括：
显示通过i)利用第一UV图，把包含在第一帧中的各个图像部分映射到环境的第一模型的各个片段，和i i)利用辅助UV图，把包含在辅助帧中的各个图像部分映射到与从所述第一地点看不见的环境的各个部分对应的环境的第一模型的各个片段而生成的渲染图像的一部分。
50.按照权利要求49所述的方法，还包括：
在包括包含所述第一帧的主内容流和包含所述辅助帧的辅助内容流的复用内容流中，接收所述第一帧和辅助帧。
51.按照权利要求50所述的方法，还包括：
解复用所述主内容流和所述辅助内容流。
52.按照权利要求51所述的方法，其中对于所述辅助内容流中的每一帧，所述主内容流包括M帧，M等于或大于1。
53.按照权利要求52所述的方法，其中M大于1，所述辅助帧包括与包含在所述主内容流中的一组M帧中的所述第一帧和至少一个另外的帧对应的被遮挡图像内容。
54.按照权利要求53所述的方法，其中所述第一帧和所述辅助帧是以编码的形式接收的，所述方法还包括：
在图像渲染之前，利用第一解码器解码所述第一帧；和
在图像渲染之前，利用不同于所述第一解码器的第二解码器解码所述辅助帧。
55.按照权利要求52所述的方法，其中所述辅助帧大小与所述第一帧相同，并且包括和所述第一帧相同数量的像素。
56.按照权利要求48所述的方法，还包括：
接收第二环境模型，所述第二环境模型包括与从环境中的所述第一地点看得见的环境的各个部分对应的片段；
接收辅助环境模型信息，所述辅助环境模型信息提供与和从环境中的所述第一地点看不见的所述环境的各个被遮挡部分对应的各个片段有关的信息；和
利用辅助环境模型信息修改第二环境模型，以生成所述第一环境模型，所述第一环境模型包括与所述环境的被遮挡部分对应的片段和与所述环境的未被遮挡部分对应的片段。
57.一种内容重放设备，包括：
接收器，用于接收包括与从环境中的第一地点看得见的环境的一部分对应的未被遮挡图像内容的第一帧，和用于接收包括与从所述第一地点看不见的环境的一部分对应的被遮挡图像内容的辅助帧；
保存接收的帧的存储器；以及
处理器，所述处理器被配置成：
检测用户的头部位置；和
根据检测到的头部位置，向显示器输出环境的各个部分的图像。
58.按照权利要求57所述的内容重放设备，其中作为向显示器输出的一部分，所述处理器被配置成：
当用户的所述头部位置对应于默认地点时，输出与从第一地点看得见的环境的各个部分对应的各个图像部分；和
当用户的头部位置对应于偏离所述第一地点的地点时，输出与从第一地点看不见的环境的至少一些部分对应的各个图像部分。
59.按照权利要求57所述的内容重放设备，其中所述接收器还用于：
接收第一UV图，所述第一UV图指示包括未被遮挡图像内容的第一帧的各个部分到与从所述第一地点看得见的环境的各个部分对应的所述环境的第一模型的各个片段的映射；和
接收辅助UV图，所述辅助UV图指示包括被遮挡图像内容的辅助帧的各个部分到与从所述第一地点看不见的环境的各个部分对应的所述环境的第一模型的各个片段的映射。
60.一种保存有计算机可读指令的非临时性计算机可读介质，当由内容重放设备的处理器执行时，所述计算机可读指令控制内容重放设备进行以下步骤：
接收包括与从环境中的第一地点看得见的环境的一部分对应的未被遮挡图像内容的第一帧；
接收包括与从所述第一地点看不见的环境的一部分对应的被遮挡图像内容的辅助帧；
检测用户的头部位置；以及
根据检测到的头部位置，向显示器输出环境的各个部分的图像。
CN201680021622.XA 2015-03-01 2016-03-01 支持内容生成、发送和/或重放的方法和设备 Pending CN107431801A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201562126701P 2015-03-01 2015-03-01
US201562126709P 2015-03-01 2015-03-01
US62/126,709 2015-03-01
US62/126,701 2015-03-01
US201562127215P 2015-03-02 2015-03-02
US62/127,215 2015-03-02
PCT/US2016/020299 WO2016140986A1 (en) 2015-03-01 2016-03-01 Methods and apparatus for supporting content generation, transmission and/or playback

Publications (1)

Publication Number Publication Date
CN107431801A true CN107431801A (zh) 2017-12-01

Family

ID=56798339

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201680021622.XA Pending CN107431801A (zh) 2015-03-01 2016-03-01 支持内容生成、发送和/或重放的方法和设备
CN201680021794.7A Pending CN107430446A (zh) 2015-03-01 2016-03-01 进行环境测量和/或在3d图像渲染中使用此类测量的方法和装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201680021794.7A Pending CN107430446A (zh) 2015-03-01 2016-03-01 进行环境测量和/或在3d图像渲染中使用此类测量的方法和装置

Country Status (7)

Country Link
US (9) US10574962B2 (zh)
EP (2) EP3265999A4 (zh)
JP (2) JP2018514968A (zh)
KR (1) KR20170127505A (zh)
CN (2) CN107431801A (zh)
CA (1) CA2977113A1 (zh)
WO (2) WO2016140934A2 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110266955A (zh) * 2019-06-28 2019-09-20 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备以及存储介质
CN115499686A (zh) * 2017-12-15 2022-12-20 Pcms控股公司 用于在360°视频导航中使用查看路径的方法

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11277598B2 (en) * 2009-07-14 2022-03-15 Cable Television Laboratories, Inc. Systems and methods for network-based media processing
WO2014073060A1 (ja) * 2012-11-07 2014-05-15 株式会社日立製作所 管理対象システムを管理するシステム及びプログラム
TWI527434B (zh) * 2014-03-21 2016-03-21 國立臺灣大學 利用光場相機產生立體影像的方法及光場相機
US10027948B2 (en) 2014-05-20 2018-07-17 Nextvr Inc. Methods and apparatus including or for use with one or more cameras
US10531071B2 (en) 2015-01-21 2020-01-07 Nextvr Inc. Methods and apparatus for environmental measurements and/or stereoscopic image capture
US9832449B2 (en) 2015-01-30 2017-11-28 Nextvr Inc. Methods and apparatus for controlling a viewing position
CN116962659A (zh) 2015-02-17 2023-10-27 纳维曼德资本有限责任公司 图像捕获和内容流送以及提供图像内容、编码视频的方法
US10362290B2 (en) 2015-02-17 2019-07-23 Nextvr Inc. Methods and apparatus for processing content based on viewing information and/or communicating content
US9894350B2 (en) 2015-02-24 2018-02-13 Nextvr Inc. Methods and apparatus related to capturing and/or rendering images
JP2018514968A (ja) 2015-03-01 2018-06-07 ネクストブイアール・インコーポレイテッド ３ｄ画像レンダリングにおいて環境測定を行うための、及び／又は、このような測定を使用するための方法及び装置
US10368104B1 (en) * 2015-04-01 2019-07-30 Rockwell Collins, Inc. Systems and methods for transmission of synchronized physical and visible images for three dimensional display
US9930315B2 (en) 2015-04-29 2018-03-27 Lucid VR, Inc. Stereoscopic 3D camera for virtual reality experience
US10066933B2 (en) * 2015-05-04 2018-09-04 Facebook, Inc. Camera depth mapping using structured light patterns
US10785393B2 (en) 2015-05-22 2020-09-22 Facebook, Inc. Methods and devices for selective flash illumination
US9836845B2 (en) 2015-08-25 2017-12-05 Nextvr Inc. Methods and apparatus for detecting objects in proximity to a viewer and presenting visual representations of objects in a simulated environment
US10706621B2 (en) * 2015-11-30 2020-07-07 Photopotech LLC Systems and methods for processing image information
US11217009B2 (en) 2015-11-30 2022-01-04 Photopotech LLC Methods for collecting and processing image information to produce digital assets
US10165258B2 (en) * 2016-04-06 2018-12-25 Facebook, Inc. Efficient determination of optical flow between images
US10210660B2 (en) 2016-04-06 2019-02-19 Facebook, Inc. Removing occlusion in camera views
CN107316273B (zh) * 2016-04-27 2021-05-18 深圳看到科技有限公司 全景图像采集装置及采集方法
US10979607B2 (en) 2016-07-20 2021-04-13 Apple Inc. Camera apparatus and methods
US20180032638A1 (en) * 2016-07-27 2018-02-01 Toyota Motor Engineering & Manufacturing North America, Inc. Surface Analysis Systems and Methods of Generating a Comparator Surface Reference Model of a Multi-Part Assembly Using the Same
US10200672B2 (en) 2016-08-17 2019-02-05 Nextvr Inc. Methods and apparatus for capturing images of an environment
WO2018063957A1 (en) * 2016-09-30 2018-04-05 Silver VR Technologies, Inc. Methods and systems for virtual reality streaming and replay of computer video games
US10325391B2 (en) * 2016-11-21 2019-06-18 Qualcomm Incorporated Oriented image stitching for spherical image content
CN110192390A (zh) * 2016-11-24 2019-08-30 华盛顿大学 头戴式显示器的光场捕获和渲染
CN206523701U (zh) * 2016-12-30 2017-09-26 深圳市大疆创新科技有限公司 可穿戴设备
US11252391B2 (en) 2017-03-06 2022-02-15 Nevermind Capital Llc Methods and apparatus for packing images into a frame and/or including additional content or graphics
US10567733B2 (en) 2017-03-06 2020-02-18 Nextvr Inc. Methods and apparatus for communicating and/or using frames including a captured image and/or including additional image content
US10742964B2 (en) 2017-04-04 2020-08-11 Nextvr Inc. Methods and apparatus for displaying images
US10593042B1 (en) * 2017-04-11 2020-03-17 Zoox, Inc. Perspective conversion for multi-dimensional data analysis
US10509947B1 (en) 2017-04-11 2019-12-17 Zoox, Inc. Converting multi-dimensional data for image analysis
US10777018B2 (en) * 2017-05-17 2020-09-15 Bespoke, Inc. Systems and methods for determining the scale of human anatomy from images
US10255949B2 (en) 2017-05-31 2019-04-09 Verizon Patent And Licensing Inc. Methods and systems for customizing virtual reality data
US11176098B2 (en) * 2017-06-01 2021-11-16 Edx Technologies, Inc. Methods and systems for providing customized virtual and augmented realities
US10304251B2 (en) * 2017-06-15 2019-05-28 Microsoft Technology Licensing, Llc Virtually representing spaces and objects while maintaining physical properties
GB2563895B (en) * 2017-06-29 2019-09-18 Sony Interactive Entertainment Inc Video generation method and apparatus
CN107506236A (zh) * 2017-09-01 2017-12-22 上海智视网络科技有限公司 显示设备及其显示方法
US10460509B2 (en) * 2017-11-07 2019-10-29 Dolby Laboratories Licensing Corporation Parameterizing 3D scenes for volumetric viewing
US11012676B2 (en) * 2017-12-13 2021-05-18 Google Llc Methods, systems, and media for generating and rendering immersive video content
CA3033605C (en) * 2018-02-14 2021-11-23 Aaron Derouin Three-dimensional visual target acquisition systems
US10652567B2 (en) * 2018-03-28 2020-05-12 Apple Inc. Applications for decoder-side modeling of objects identified in decoded video data
US10735709B2 (en) 2018-04-04 2020-08-04 Nextvr Inc. Methods and apparatus for capturing, processing and/or communicating images
US10586343B1 (en) * 2018-06-01 2020-03-10 Facebook Technologies, Llc 3-d head mounted display based environmental modeling system
CN108616743B (zh) * 2018-06-04 2019-12-31 盎锐（上海）信息科技有限公司 用于生成3d模型的成像装置及方法
EP3588249A1 (en) * 2018-06-26 2020-01-01 Koninklijke Philips N.V. Apparatus and method for generating images of a scene
US10861249B2 (en) * 2018-07-27 2020-12-08 The Q Digital Technologies, Inc. Methods and system for manipulating digital assets on a three-dimensional viewing platform
US10623660B1 (en) 2018-09-27 2020-04-14 Eloupes, Inc. Camera array for a mediated-reality system
US11557060B2 (en) * 2018-11-05 2023-01-17 Wayfair Llc Systems and methods for scanning three-dimensional objects
CN109379579B (zh) * 2018-11-20 2020-03-17 四川长虹电器股份有限公司 一种实时采集光场真三维数据的处理方法
CN110059151B (zh) * 2019-04-26 2022-10-25 北京百度网讯科技有限公司 地图渲染方法、地图渲染装置、地图服务器和存储介质
JP7207549B2 (ja) * 2019-07-31 2023-01-18 日本電信電話株式会社 複合現実空間共有システム、サーバ、複合現実端末、複合現実空間共有方法および共有情報管理プログラム
CN111028350B (zh) * 2019-11-21 2022-05-20 大连理工大学 一种利用双目立体相机构建栅格地图的方法
WO2021108913A1 (en) * 2019-12-04 2021-06-10 Studio Thinkwell Montréal Inc. Video system, method for calibrating the video system and method for capturing an image using the video system
CN110996087B (zh) * 2019-12-10 2021-04-02 腾讯科技（深圳）有限公司 视频显示方法、装置
US11710247B2 (en) 2020-01-30 2023-07-25 Unity Technologies Sf System for image compositing including training with synthetic data
US11676252B2 (en) 2020-01-31 2023-06-13 Unity Technologies Sf Image processing for reducing artifacts caused by removal of scene elements from images
US20210274091A1 (en) 2020-02-28 2021-09-02 Weta Digital Limited Reconstruction of obscured views of captured imagery using arbitrary captured inputs
US11694313B2 (en) 2020-02-28 2023-07-04 Unity Technologies Sf Computer-generated image processing including volumetric scene reconstruction
US20210274092A1 (en) 2020-02-28 2021-09-02 Weta Digital Limited Reconstruction of obscured views in captured imagery using pixel replacement from secondary imagery
US11369874B2 (en) * 2020-04-29 2022-06-28 Lenovo (Singapore) Pte. Ltd. Rendering video game on display device using GPU in display device and video game data from second device
US10949986B1 (en) 2020-05-12 2021-03-16 Proprio, Inc. Methods and systems for imaging a scene, such as a medical scene, and tracking objects within the scene
US11393179B2 (en) * 2020-10-09 2022-07-19 Open Space Labs, Inc. Rendering depth-based three-dimensional model with integrated image frames
US11776210B2 (en) * 2021-01-22 2023-10-03 Sony Group Corporation 3D face modeling based on neural networks
JP2023544072A (ja) * 2021-09-01 2023-10-20 グーグル エルエルシー ハイブリッド深度マップ
KR20230079618A (ko) * 2021-11-29 2023-06-07 삼성전자주식회사 인체를 3차원 모델링하는 방법 및 장치
KR102421512B1 (ko) * 2022-03-14 2022-07-15 정현인 휴대용 입체촬영 카메라 및 시스템
EP4383687A1 (en) * 2022-12-08 2024-06-12 Amadeus S.A.S. Multi-platform content normalization engine
US12107933B1 (en) 2023-06-28 2024-10-01 Amadeus S.A.S. Context based computing resource intermediation engine

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7348989B2 (en) * 2003-03-07 2008-03-25 Arch Vision, Inc. Preparing digital images for display utilizing view-dependent texturing
US20100046846A1 (en) * 2006-12-20 2010-02-25 Sony Computer And/or Decompression Image compression and/or decompression
CN101729791A (zh) * 2008-10-10 2010-06-09 三星电子株式会社 图像处理设备和方法
CN102106152A (zh) * 2008-07-24 2011-06-22 皇家飞利浦电子股份有限公司 通用3-d画面格式
WO2012103168A1 (en) * 2011-01-25 2012-08-02 Qualcomm Incorporated Using occlusions to detect and track three-dimensional objects
CN103609105A (zh) * 2011-06-22 2014-02-26 皇家飞利浦有限公司 用于生成用于显示器的信号的方法和设备
US20140157342A1 (en) * 2012-05-24 2014-06-05 Panasonic Corporation Reception device, transmission device, reception method, and transmission method

Family Cites Families (91)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5187571A (en) 1991-02-01 1993-02-16 Bell Communications Research, Inc. Television system for displaying multiple views of a remote location
US6111582A (en) 1996-12-20 2000-08-29 Jenkins; Barry L. System and method of image generation and encoding using primitive reprojection
US5963203A (en) * 1997-07-03 1999-10-05 Obvious Technology, Inc. Interactive video icon with designated viewing position
US6573907B1 (en) * 1997-07-03 2003-06-03 Obvious Technology Network distribution and management of interactive video and multi-media containers
US6262737B1 (en) * 1998-01-30 2001-07-17 University Of Southern California 3D mesh compression and coding
US6445398B1 (en) 1998-02-04 2002-09-03 Corporate Media Partners Method and system for providing user interface for electronic program guide
US6476806B1 (en) * 1999-04-16 2002-11-05 Hewlett-Packard Company Method and apparatus for performing occlusion testing while exploiting frame to frame temporal coherence
US6574360B1 (en) * 1999-07-23 2003-06-03 International Business Machines Corp. Accelerated occlusion culling using directional discretized occluders and system therefore
US7015954B1 (en) 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US6970591B1 (en) * 1999-11-25 2005-11-29 Canon Kabushiki Kaisha Image processing apparatus
US6990228B1 (en) * 1999-12-17 2006-01-24 Canon Kabushiki Kaisha Image processing apparatus
US6664961B2 (en) * 2000-12-20 2003-12-16 Rutgers, The State University Of Nj Resample and composite engine for real-time volume rendering
US8401336B2 (en) 2001-05-04 2013-03-19 Legend3D, Inc. System and method for rapid image sequence depth enhancement with augmented computer-generated elements
US20020196250A1 (en) * 2001-06-20 2002-12-26 Gateway, Inc. Parts assembly for virtual representation and content creation
US6982715B2 (en) * 2002-07-26 2006-01-03 Intel Corporation Mesh compression process
CN100416613C (zh) * 2002-09-29 2008-09-03 西安交通大学 计算机网络环境智能化场景绘制装置系统及绘制处理方法
EP1587035A1 (en) 2004-04-14 2005-10-19 Koninklijke Philips Electronics N.V. Ghost artifact reduction for rendering 2.5D graphics
GB2415344B (en) * 2004-06-14 2010-10-06 Canon Europa Nv Texture data compression and rendering in 3D computer graphics
KR100914846B1 (ko) 2007-12-15 2009-09-02 한국전자통신연구원 2차원 환경에서 3차원 모델의 텍스쳐 맵 제작 방법 및시스템
JP2010028456A (ja) * 2008-07-18 2010-02-04 Sony Corp データ構造、再生装置および方法、並びにプログラム
US8451320B1 (en) 2009-01-23 2013-05-28 Next3D, Inc. Methods and apparatus for stereoscopic video compression, encoding, transmission, decoding and/or decompression
CN102318352B (zh) 2009-02-17 2014-12-10 皇家飞利浦电子股份有限公司 组合3d图像和图形数据
US8896592B2 (en) * 2009-08-21 2014-11-25 Align Technology, Inc. Digital dental modeling
WO2011028547A2 (en) 2009-08-24 2011-03-10 Next3D Inc. Stereoscopic video encoding and decoding methods and apparatus
CN101661623B (zh) * 2009-10-21 2012-04-25 上海交通大学 基于线性规划的变形体三维跟踪方法
KR101313797B1 (ko) * 2009-12-18 2013-10-01 한국전자통신연구원 머리 위치 추적을 이용한 입체 영상 표시 장치 및 이의 동작 방법
CN101794462A (zh) * 2010-03-12 2010-08-04 中山大学 一种基于纹理的三维网格模型变形方法及系统
US8896671B2 (en) 2010-04-09 2014-11-25 3D-4U, Inc. Apparatus and method for capturing images
CN107093203A (zh) 2010-06-30 2017-08-25 巴里·林恩·詹金斯 图形信息的基于导航的预取发送或接收的控制方法和系统
GB2483434A (en) * 2010-08-31 2012-03-14 Sony Corp Detecting stereoscopic disparity by comparison with subset of pixel change points
US8332900B2 (en) * 2010-12-01 2012-12-11 At&T Intellectual Property I, L.P. Method and system for performance metric analysis of video assets
US8587583B2 (en) * 2011-01-31 2013-11-19 Microsoft Corporation Three-dimensional environment reconstruction
US9407902B1 (en) 2011-04-10 2016-08-02 Nextvr Inc. 3D video encoding and decoding methods and apparatus
US9485494B1 (en) 2011-04-10 2016-11-01 Nextvr Inc. 3D video encoding and decoding methods and apparatus
US9525862B2 (en) * 2011-08-31 2016-12-20 Metaio Gmbh Method for estimating a camera motion and for determining a three-dimensional model of a real environment
US20130129304A1 (en) * 2011-11-22 2013-05-23 Roy Feinson Variable 3-d surround video playback with virtual panning and smooth transition
US9204127B1 (en) 2012-01-17 2015-12-01 Nextvr Inc. Stereoscopic image processing methods and apparatus
CN102625126B (zh) * 2012-03-22 2014-10-15 北京工业大学 一种基于预测的三维网格编码方法
ITTO20120413A1 (it) * 2012-05-08 2013-11-09 Sisvel Technology Srl Metodo per la generazione e ricostruzione di un flusso video tridimensionale, basato sull'utilizzo della mappa delle occlusioni, e corrispondente dispositivo di generazione e ricostruzione.
US9378584B2 (en) 2012-05-23 2016-06-28 Glasses.Com Inc. Systems and methods for rendering virtual try-on products
US9621869B2 (en) 2012-05-24 2017-04-11 Sony Corporation System and method for rendering affected pixels
US9846960B2 (en) * 2012-05-31 2017-12-19 Microsoft Technology Licensing, Llc Automated camera array calibration
EP2670130B1 (en) * 2012-06-01 2019-03-27 Alcatel Lucent Method and apparatus for mixing a first video signal and a second video signal
US9059495B2 (en) 2012-06-05 2015-06-16 Jorge A. Ruiz-Cruz Compact multiport waveguide switches
US20140063198A1 (en) * 2012-08-30 2014-03-06 Microsoft Corporation Changing perspectives of a microscopic-image device based on a viewer' s perspective
GB2499694B8 (en) * 2012-11-09 2017-06-07 Sony Computer Entertainment Europe Ltd System and method of image reconstruction
US20140172689A1 (en) 2012-12-14 2014-06-19 Rawllin International Inc. Fungible monetization of media
US20140172678A1 (en) 2012-12-14 2014-06-19 Craig Alan Stephens Institution simulation
US10116911B2 (en) * 2012-12-18 2018-10-30 Qualcomm Incorporated Realistic point of view video method and apparatus
RU2546080C2 (ru) * 2012-12-25 2015-04-10 Пётр Павлович Кузнецов Способ визуализации функционального состояния индивида и система для реализации способа
US9536345B2 (en) * 2012-12-26 2017-01-03 Intel Corporation Apparatus for enhancement of 3-D images using depth mapping and light source synthesis
WO2014110642A1 (en) * 2013-01-15 2014-07-24 Imax Corporation Image frames multiplexing method and system
US9336602B1 (en) * 2013-02-19 2016-05-10 Amazon Technologies, Inc. Estimating features of occluded objects
US9538160B1 (en) 2013-04-11 2017-01-03 Nextvr Inc. Immersive stereoscopic video acquisition, encoding and virtual reality playback methods and apparatus
US9536453B2 (en) * 2013-05-03 2017-01-03 Brigham Young University Computer-implemented communication assistant for the hearing-impaired
US9424650B2 (en) * 2013-06-12 2016-08-23 Disney Enterprises, Inc. Sensor fusion for depth estimation
US9239436B2 (en) 2013-11-26 2016-01-19 Corning Cable Systems Llc Fiber optic plug having an articulated force structure to inhibit angular ferrule biasing during insertion into an optical receptacle, and related assemblies and methods
US20150172550A1 (en) 2013-12-16 2015-06-18 Motorola Mobility Llc Display tiling for enhanced view modes
US20150199572A1 (en) 2014-01-16 2015-07-16 Qualcomm Incorporated Object tracking using occluding contours
CN104008569B (zh) * 2014-02-24 2016-03-02 惠州学院 一种基于深度视频的3d场景生成方法
US9699437B2 (en) 2014-03-03 2017-07-04 Nextvr Inc. Methods and apparatus for streaming content
US9779331B2 (en) * 2014-04-24 2017-10-03 Conduent Business Services, Llc Method and system for partial occlusion handling in vehicle tracking using deformable parts model
US20150310660A1 (en) * 2014-04-25 2015-10-29 Sony Computer Entertainment America Llc Computer graphics with enhanced depth effect
US9996976B2 (en) * 2014-05-05 2018-06-12 Avigilon Fortress Corporation System and method for real-time overlay of map features onto a video feed
US9496000B2 (en) * 2014-05-16 2016-11-15 Comcast Cable Communications, Llc Audio modification for adjustable playback rate
US10027948B2 (en) 2014-05-20 2018-07-17 Nextvr Inc. Methods and apparatus including or for use with one or more cameras
US20150346812A1 (en) 2014-05-29 2015-12-03 Nextvr Inc. Methods and apparatus for receiving content and/or playing back content
WO2016023519A1 (en) 2014-08-15 2016-02-18 Mediatek Inc. Method for managing multi-channel memory device to have improved channel switch response time and related memory control system
EP3189657B1 (en) 2014-09-03 2022-11-23 Nevermind Capital LLC Method and apparatus for transmitting and/or playing back stereoscopic content
US20170280133A1 (en) * 2014-09-09 2017-09-28 Nokia Technologies Oy Stereo image recording and playback
US11218682B2 (en) 2015-01-21 2022-01-04 Nevermind Capital Llc Methods and apparatus for processing and or encoding images with negative parallax
US10531071B2 (en) 2015-01-21 2020-01-07 Nextvr Inc. Methods and apparatus for environmental measurements and/or stereoscopic image capture
US9955147B2 (en) 2015-01-28 2018-04-24 Nextvr Inc. Zoom related methods and apparatus
US9832449B2 (en) 2015-01-30 2017-11-28 Nextvr Inc. Methods and apparatus for controlling a viewing position
US10692234B2 (en) 2015-02-12 2020-06-23 Nextvr Inc. Methods and apparatus for making environmental measurements and/or using such measurements
CN116962659A (zh) 2015-02-17 2023-10-27 纳维曼德资本有限责任公司 图像捕获和内容流送以及提供图像内容、编码视频的方法
US10362290B2 (en) 2015-02-17 2019-07-23 Nextvr Inc. Methods and apparatus for processing content based on viewing information and/or communicating content
EP3262614B1 (en) 2015-02-24 2018-12-12 NEXTVR Inc. Calibration for immersive content systems
US9894350B2 (en) 2015-02-24 2018-02-13 Nextvr Inc. Methods and apparatus related to capturing and/or rendering images
JP2018514968A (ja) 2015-03-01 2018-06-07 ネクストブイアール・インコーポレイテッド ３ｄ画像レンダリングにおいて環境測定を行うための、及び／又は、このような測定を使用するための方法及び装置
US9821920B2 (en) 2015-08-18 2017-11-21 Nextvr Inc. Methods and apparatus for compensating for vehicular motion
US9836845B2 (en) 2015-08-25 2017-12-05 Nextvr Inc. Methods and apparatus for detecting objects in proximity to a viewer and presenting visual representations of objects in a simulated environment
WO2018014014A1 (en) 2016-07-15 2018-01-18 Nextvr Inc. Camera alignment and/or calibration methods and apparatus
US10979607B2 (en) 2016-07-20 2021-04-13 Apple Inc. Camera apparatus and methods
US10200672B2 (en) 2016-08-17 2019-02-05 Nextvr Inc. Methods and apparatus for capturing images of an environment
US20180225537A1 (en) 2017-02-08 2018-08-09 Nextvr Inc. Methods and apparatus relating to camera switching and/or making a decision to switch between cameras
US20180249189A1 (en) 2017-02-08 2018-08-30 Nextvr Inc. Methods and apparatus for use in a system or device where switching between cameras may occur
US10567733B2 (en) 2017-03-06 2020-02-18 Nextvr Inc. Methods and apparatus for communicating and/or using frames including a captured image and/or including additional image content
US11252391B2 (en) 2017-03-06 2022-02-15 Nevermind Capital Llc Methods and apparatus for packing images into a frame and/or including additional content or graphics
US20180280656A1 (en) 2017-03-28 2018-10-04 Nextvr Inc. Virtual reality methods and apparatus which use or include brain activity sensors
US10742964B2 (en) 2017-04-04 2020-08-11 Nextvr Inc. Methods and apparatus for displaying images

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7348989B2 (en) * 2003-03-07 2008-03-25 Arch Vision, Inc. Preparing digital images for display utilizing view-dependent texturing
US20100046846A1 (en) * 2006-12-20 2010-02-25 Sony Computer And/or Decompression Image compression and/or decompression
CN102106152A (zh) * 2008-07-24 2011-06-22 皇家飞利浦电子股份有限公司 通用3-d画面格式
CN101729791A (zh) * 2008-10-10 2010-06-09 三星电子株式会社 图像处理设备和方法
WO2012103168A1 (en) * 2011-01-25 2012-08-02 Qualcomm Incorporated Using occlusions to detect and track three-dimensional objects
CN103609105A (zh) * 2011-06-22 2014-02-26 皇家飞利浦有限公司 用于生成用于显示器的信号的方法和设备
US20140157342A1 (en) * 2012-05-24 2014-06-05 Panasonic Corporation Reception device, transmission device, reception method, and transmission method

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115499686A (zh) * 2017-12-15 2022-12-20 Pcms控股公司 用于在360°视频导航中使用查看路径的方法
CN115499686B (zh) * 2017-12-15 2024-03-08 Pcms控股公司 用于在360°视频导航中使用查看路径的方法
CN110266955A (zh) * 2019-06-28 2019-09-20 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备以及存储介质

Also Published As

Publication number Publication date
US10701331B2 (en) 2020-06-30
US20190082158A1 (en) 2019-03-14
US11870967B2 (en) 2024-01-09
US20160253839A1 (en) 2016-09-01
CN107430446A (zh) 2017-12-01
US20160255326A1 (en) 2016-09-01
CA2977113A1 (en) 2016-09-09
US10038889B2 (en) 2018-07-31
EP3265999A2 (en) 2018-01-10
US20160253810A1 (en) 2016-09-01
EP3266199B1 (en) 2019-09-18
JP2018514968A (ja) 2018-06-07
WO2016140934A2 (en) 2016-09-09
US20200404236A1 (en) 2020-12-24
US20190082159A1 (en) 2019-03-14
EP3265999A4 (en) 2018-08-22
WO2016140934A3 (en) 2016-10-27
KR20170127505A (ko) 2017-11-21
US11272150B2 (en) 2022-03-08
US20160255327A1 (en) 2016-09-01
EP3266199A4 (en) 2018-07-18
EP3266199A1 (en) 2018-01-10
JP2018507650A (ja) 2018-03-15
US20220191452A1 (en) 2022-06-16
US20160253809A1 (en) 2016-09-01
US10742948B2 (en) 2020-08-11
US10574962B2 (en) 2020-02-25
US10033995B2 (en) 2018-07-24
WO2016140986A1 (en) 2016-09-09
US10397538B2 (en) 2019-08-27

Similar Documents

Publication Publication Date Title
US11870967B2 (en) Methods and apparatus for supporting content generation, transmission and/or playback
US11924394B2 (en) Methods and apparatus for receiving and/or using reduced resolution images
EP3189657B1 (en) Method and apparatus for transmitting and/or playing back stereoscopic content
US11252391B2 (en) Methods and apparatus for packing images into a frame and/or including additional content or graphics
KR20110108551A (ko) 다시점 입체 동영상 송/수신 장치 및 방법
WO2018165223A1 (en) Methods and apparatus for packing images into a frame and/or including additional content or graphics

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20171201