CN107430446A - 进行环境测量和/或在3d图像渲染中使用此类测量的方法和装置 - Google Patents

进行环境测量和/或在3d图像渲染中使用此类测量的方法和装置 Download PDF

Info

Publication number
CN107430446A
CN107430446A CN201680021794.7A CN201680021794A CN107430446A CN 107430446 A CN107430446 A CN 107430446A CN 201680021794 A CN201680021794 A CN 201680021794A CN 107430446 A CN107430446 A CN 107430446A
Authority
CN
China
Prior art keywords
camera
renewal
information
grid model
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680021794.7A
Other languages
English (en)
Inventor
D·科勒
A·M·莫斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nextvr Inc
Original Assignee
Nextvr Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nextvr Inc filed Critical Nextvr Inc
Publication of CN107430446A publication Critical patent/CN107430446A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/001—Arbitration of resources in a display system, e.g. control of access to frame buffer by video controller and/or main processor
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006—Details of the interface to the display terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2352/00—Parallel handling of streams of display data
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/02—Graphics controller able to handle multiple formats, e.g. input or output formats
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/12—Frame memory handling
    • G09G2360/125—Frame memory handling using unified memory architecture [UMA]
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Devices (AREA)
  • Image Generation (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

描述了进行和使用环境测量的方法和装置。使用各种设备捕获的环境信息被处理并组合以生成传送给客户重放设备的环境模型。用于将图像应用(例如包裹)在环境模型上的UV图也被提供给重放设备。重放设备使用环境模型和UV图来渲染图像，该图像然后被显示给观看者，作为提供3D观看体验的一部分。在一些实施例中，基于更近期的(例如，在事件期间执行的)环境测量来生成更新的环境模型。用于更新现有模型的更新的环境模型和/或差异信息，可选地与更新的UV图(一个或多个)一起被传送到重放设备，以用于随后接收的图像内容的渲染和重放。通过传送更新的环境信息，实现了改进的3D模拟。

Description

进行环境测量和/或在3D图像渲染中使用此类测量的方法和 装置
相关申请
本申请要求于2015年3月1日提交的美国临时申请序列号62/126701，于2015年3月1日提交的美国临时申请序列号62/126709以及于2015年3月2日提交的美国临时申请序列号62/127215的权益，其全部内容通过引用明确地并入本文。
技术领域
本发明涉及用于捕获和使用环境信息(例如，测量值和图像)以支撑各种应用的方法和装置，所述各种应用包括可用作提供3D观看体验的一部分的立体图像的生成和/或显示。
背景技术
3D环境的精确表示通常需要可靠的环境模型。这样的模型(当可用时)可以在图像重放期间被使用，使得在场景的图像中捕获的物体对于观看者来说将是正确的大小。环境图也可以用于将图像的不同块拼接在一起，并且便于对准由不同的相机捕获的图像。
尽管环境图(当可用时)可以促进比在假设环境的简单球形模型时更加逼真的立体显示，但是存在许多与在可以被捕获以供稍后立体重放的事件期间获得精确的环境信息相关联的困难。例如，虽然LIDAR可以用于在部署立体相机之前对相对于相机位置的距离进行环境测量，以捕获事件，但是用于LIDAR测量的激光器(一个或多个)可能是干扰或不适合在人们试图观看音乐会、游戏或其他活动时的实际事件期间使用。此外，用于捕获事件的相机的放置可能会阻止LIDAR设备在事件期间放置在同一位置。
因此，应当理解，虽然LIDAR可以用于在事件之前对体育场或其他事件位置进行精确测量，但是由于使用激光灯以及与进行区域的LIDAR测量相关联的时间，使得LIDAR不太适用于在将正在进行的事件期间由从相机位置放置和操作的一个或多个相机捕获的事件期间，进行从相机位置的位置的环境测量。
虽然LIDAR可以用于进行高度精确的距离测量，但是由于上述原因，其通常在体育场或其他事件区域不具有正在进行的事件时使用。因此，LIDAR距离测量通常测量不存在人的空的体育场或事件区域。另外，由于LIDAR测量通常是在针对特定事件的任何修改或显示设置之前进行的，因此由LIDAR或其他测量系统提供的静态环境图尽管在许多情况下，在测量时关于环境高度精确，但是在诸如体育比赛、音乐会或时装表演的事件期间往往不能精确地反映环境的状态和形状。
鉴于上述讨论，应当理解，需要新的和改进的方法进行环境测量，并且特别是在事件期间测量环境的形状以及在模拟3D环境中使用环境信息。虽然不是对所有实施例都是必需的，但是将期望的是如果能够在事件期间关于相机位置精确地测量环境，其中作为模拟事件的3D环境的一部分，从所述相机位置捕获立体图像或其他图像以供随后的重放。
发明内容
描述了用于进行和使用环境测量的方法和装置。处理和组合使用各种设备捕获的环境信息。在一些实施例中，不同的设备用于在不同的时间、速率和/或分辨率下捕获环境信息。在事件期间捕获用于映射环境的环境信息中的至少一些。此类信息在一些但不一定在所有实施例中与在事件之前捕获的环境信息相结合。然而，根据实施例，可以使用单个环境测量技术，但是在许多实施例中，使用多个环境测量技术，其中环境信息(例如，相对于相机位置的深度信息)被组合以生成比如果使用单一环境信息源生成深度图所可能的环境图更可靠且及时的环境图。
在各种实施例中，从一个或多个源获得环境信息。在一些实施例中，使用静态环境图或模型，诸如在事件之前从LIDAR测量产生的静态环境图或模型。LIDAR是一种基于雷达原理工作的检测系统，但是使用来自激光的光进行距离测量。根据从用于放置相机以用于在实际事件期间捕获图像的相机位置的位置进行的LIDAR测量，或者根据基于另一位置但是已知关于相机位置的位置信息制成的环境模型，生成相对于相机位置的环境的静态图。在许多情况下，静态图为环境提供精确的距离信息，其中假设环境未被占用，或者从进行用于制作静态图的测量的时间起没有改变。由于静态图通常对应于空的环境，静态深度图中指示的距离通常是最大距离，因为诸如人、标志、道具等的物体通常被添加到事件的环境中，并且静态图中示出的结构针对事件被移除是罕见的。因此，静态图可以并且有时用于提供最大距离信息并且提供关于环境的整体比例/尺寸的信息。
除了静态模型信息之外，在一些实施例中，使用在事件期间捕获的信息来进行环境测量。在一些实施例中，在事件期间捕获环境信息涉及使用一个或多个光场相机，其捕获可以使用已知技术从其获得深度信息的图像。在一些实施例中，使用提供图像和从由光场相机捕获的图像生成的深度图两者的光场相机。相机可以并且在一些实施例中被安装在或并入相机机架中，该相机机架还包括一对或多对立体相机。在一些实施例中使用用于从光场相机生成深度信息的方法。例如，可以处理与由对应于光场微阵列的不同透镜的传感器部分捕获的环境中的区域或点相对应的图像数据，以提供关于到该点或区域的距离的信息。
光场相机具有能够在可用于提供距离信息的事件期间被动地收集图像的优点。使用光场相机的缺点是，由于在有效降低了各个捕获图像的分辨率的传感器上使用透镜阵列，其通常具有比常规相机更低的分辨率。
除了光场相机(一个或多个)的图像之外，由包括例如立体相机对的其他相机捕获的图像可以被处理并用于提供深度信息。这是可能的，因为立体对的相机间隔开已知距离，并且该信息与捕获的图像一起可以并且在一些实施例中用于确定从相机到由立体相机对中的相机捕获的环境中的点的距离。根据可以估计深度的环境点或位置的数量，深度信息可能高达或几乎与由立体对的各个相机所捕获的图像的像素数量一样高，因为相机不在相机的传感器上使用微透镜阵列。
虽然立体相机的输出可以并且在一些实施例中被处理以生成深度信息，但是在许多情况下它可能比从光场相机的输出获得的深度信息更不可靠。
在一些实施例中，环境的静态模型提供最大距离信息，来自光场相机的深度信息提供更多的最新深度信息，其通常指示等于或小于静态模型所指示的深度的深度，但是更加及时并且可能随着环境条件变化而在事件期间变化。类似地，来自由立体相机对(一个或多个)捕获的图像的深度信息趋向于及时且可用地形成在事件期间捕获的图像。
在各种实施例中，来自不同源(例如可以基于事件之前的LIDAR测量的静态模型)的深度信息、来自一个或多个光场相机的深度信息以及从立体图像生成的深度信息被组合，例如协调。考虑到不同深度信息源的优点和此类信息的可用性，协调处理可能涉及各种技术或信息加权操作。例如，在一个示例性分辨率处理中，从事件之前的环境测量获得的基于LIDAR的深度信息用于确定从相机位置的最大深度(例如距离)，并且在没有附加深度信息的情况下使用以对环境进行建模。当能够从光场相机或光场相机的阵列获得深度信息时，使用深度信息来细化环境深度图，使得其可以反映环境在进行中的事件期间的变化。在一些实施例中，对从由光场相机捕获的图像获得的深度图信息进行协调包括对基于LIDAR的深度图进行细化，以包括反映在事件期间环境中物体的存在的较短深度。在某些情况下，对独立基于光场深度测量或与来自静态或LIDAR深度图的信息相结合的环境深度图进行协调包括使用深度信息来进一步阐明深度信息从光场相机的输出已知的点之间的深度变化。以这种方式，能够从光场和/或立体图像获得的更多数量的信息点可以用于基于光场相机或相机阵列的输出来细化深度图。
在一些实施例中，基于深度信息和/或图生成有时被称为环境网格模型的3D环境模型。3D环境模型可以是以可应用图像的环境的网格图的形式。在一些实施例中，环境模型是基于使用光场相机执行的对感兴趣的环境的环境测量(例如，深度测量)来生成，例如，由光场相机捕获的图像用于获得深度信息。在一些实施例中，基于在第一时间(例如在事件之前和/或在事件开始时)使用光场相机进行的环境的至少一部分的测量产生环境模型。将环境模型传送给一个或多个客户设备，例如用于渲染和重放图像内容的渲染和重放设备。在一些实施例中，也将用于将图像应用(例如包裹)在3D环境模型上的UV图提供给客户设备。
将图像应用于此类图有时被称为包裹，因为应用具有应用图像(例如2D图像)就像它被包裹在3D环境模型上的效果。客户重放设备使用环境模型和UV图来渲染图像内容，然后将图像内容显示给观看者，作为向观看者提供3D观看体验的一部分。
如上所述，由于环境是动态的并且在事件正在进行时可能发生改变，因此在一些实施例中，更新的环境信息被生成以对事件期间的环境变化精确地建模并且被提供给客户设备。在一些实施例中，基于在第二时间(例如，在第一时间时段之后和在事件期间)使用光场相机进行的环境的部分的测量来生成更新的环境信息。在一些实施例中，更新的模型信息传送完整的更新的网格模型。在一些实施例中，更新的网格模型信息包括指示要对原始环境模型进行的改变以生成更新的模型的信息，其中更新的环境模型信息为3D环境的在第一时间和第二时间的时段之间已经改变的部分提供新信息。
用于更新现有模型的更新的环境模型和/或差异信息，可选地与更新的UV图(一个或多个)一起被传送给重放设备，以用于随后接收的图像内容的渲染和重放。通过传送更新的环境信息，实现了改进的3D模拟。
通过使用本文描述的深度图生成技术，可以生成其中环境中的项目可以在事件期间移动或改变的诸如正在进行中的音乐会、运动事件、演奏等的动态环境的相对精确的深度图。通过传送更新的深度信息，(例如以环境的3D模型的形式)或对环境模型的更新，可以实现改进的3D模拟，其又可以用于增强的3D重放和/或观看体验。3D环境模拟的改进可以通过使用静态深度图的系统来实现，因为在环境中捕获的图像将对其进行模拟的环境模型将比在环境模型是静态的情况下更精确地反映实际环境。
应当理解，当对其中图像被立体和/或其他相机捕获的环境的改变发生时，这种改变可以容易且及时地反映在由重放设备用于显示所捕获的图像的环境的模型中。
附图说明
图1示出了根据一个实施例实现的示例性相机机架连同可用于校准相机机架的校准目标。
图2示出了如下相机机架，其中在所述相机机架中安装三对相机，例如，3对捕获立体图像数据的相机。
图3示出了根据一些示例性实施例实现的具有示例性保护盖的示例性相机机架。
图4示出了根据示例性实施例实现的另一示例性相机机架，其中相机机架的各种元件以部分拆卸的形式清楚地示出。
图5示出了图4的相机机架，其上安装有相机连同包括耳形设备的音频捕获设备，所述耳形设备包括用于捕获立体声音频的麦克风。
图6-8示出了根据一些示例性实施例实现的示例性相机机架的各种视图。
图9示出了根据一些示例性实施例实现的另一示例性相机机架。
图10示出了根据一些实施例的可用于本发明的示例性相机机架(例如图1-9所示的相机机架)中的相机阵列的示例性布置的前视图。
图11示出了可用于本发明的任何相机机架中的相机阵列的另一示例性布置的前视图。
图12示出了根据本发明的一些实施例实现的示例性系统。
图13A是图13的第一部分，其示出了根据一些实施例的操作成像系统的示例性方法的流程图。
图13B是图13的第二部分，其示出了操作成像系统的示例性方法的流程图。
图14A是图14的第一部分，其示出了根据非常适合于与图13A和13B所示的方法一起使用的示例性实施例的生成和更新3D网格模型和UV图的示例性方法的流程图。
图14B是图14的第二部分，其示出了根据示例性实施例的生成和更新3D网格模型和UV图的流程图。
图15示出了可以在图1-9所示的相机机架中使用的示例性的光场相机。
图16示出了根据示例性实施例实现的示例性处理系统。
图17示出了根据示例性实施例的操作示例性渲染和重放设备的示例性方法的流程图。
图18示出了根据示例性实施例实现的示例性渲染和重放设备。
图19示出了可以在各种实施例中使用的示例性3D环境网格模型，其中多个节点被示出为用于将3D模型划分成段的线的相交点。
图20示出了可以用于将2D帧的部分(其提供纹理)映射到图19的网格模型的示例性UV图。
具体实施方式
各种特征涉及全景立体成像领域，并且更具体地，涉及一种适用于在满足重量和功率要求以供广泛的应用的同时在小尺寸的装置中使用最少数量的相机并且以合理的成本捕获高清晰、高动态范围、高帧率立体360度全景视频的装置。
立体360度全景视频内容越来越需要在虚拟现实显示中使用。为了产生具有4K或更高分辨率、高动态范围以及高帧率的立体360度全景视频内容，通常需要一系列专业级、大型传感器，电影相机或其他适合质量的相机，其中4K或更高分辨率对于最终的图像清晰度是重要的，高动态范围对于记录低光内容是重要的，高帧速对于在快速移动的内容(诸如运动)中记录细节是重要的。
为了使相机阵列用于捕获360度立体内容以在立体虚拟现实显示器中观看，相机阵列应该获取内容，使得结果近似于观看者在如果他的头部与相机共定位将看到的内容。具体地，所述立体相机对应该被配置成使得它们的轴间间隔在从所接受的63mm的人为模型平均值的可接受的Δ内。另外，从全景阵列的中心点到相机透镜的入射瞳孔的距离(也称为节点偏移)应配置成使其在从所接受的101mm的人为模型平均值的可接受的Δ内。
为了使相机阵列用于捕获其应该是紧凑和非突出的事件和观看者运动，它应该被构造成具有相对小的物理占地面积(footprint)，从而容许其部署在各种各样的位置中，并且在需要运输时，以合理尺寸的容器运输。
相机阵列还应被设计成使得阵列的最小成像距离小(例如尽可能小)，这使得其中场景元素由于落在相邻相机的视野之外而不被捕获的“盲区”最小化。
如果可以通过定位校准目标来校准相机阵列以进行光学对准将是有利的，其中在所述校准目标中容易出现最高的光学失真(其中透镜的视角相交并且透镜的最大失真发生)。为了促进最有效的校准目标定位，目标位置应该并且在一些实施例中根据机架设计来公式地确定。
图1示出了在一些实施例中使用的示例性相机配置100。图4和5中所示的支撑结构未在图1中示出，以便更好地理解在一些实施例中示出使用的相机对布置。
虽然在一些实施例中使用三个相机对(诸如在图1示例中)，但是在一些但不是所有实施例中，相机阵列(例如，机架的相机位置)仅填充可以用于支撑同时360度立体视频的6个总相机中的2个。当相机机架或组件配置有少于可安装在机架中的所有6个相机时，机架仍然能够实时捕获高值、前景180度场景元素，同时(例如，通过当前景图像未被捕获时旋转机架)手动捕获较低值、背景180度场景元素的静态图像。例如，在一些实施例中，当使用2相机阵列捕获其中游戏场位于相对于相机的0度位置的足球游戏时，阵列被手动地围绕节点旋转到120度以及240度位置。这允许实时捕获对体育游戏或比赛场(例如，前景)的动作，并将边界和露天看台(例如背景区域)作为立体静态图像捕获以用于生成混合全景图，包括针对前部的实时立体视频和针对左后部和右后部的静态图像。以这种方式，机架可以用于捕获360度视图，其中360度视图的一些部分被在不同的时间点捕获，其中当捕获360个场景区域的不同视图时，相机机架在不同的时间点之间围绕其节点轴(例如垂直中心点)旋转。或者，单个相机可以安装在第二和第三相机对安装位置中，并且为这些区域捕获单声道(非立体)图像内容。
在相机成本不是问题的其他情况下，可以在机架中的每个位置安装两个以上的相机，其中如图1示例所示，机架最多可容纳6个相机。以这种方式，可以根据要捕获的性能以及用户搬运大量相机(例如6个相机)的需要或能力，或者用户搬运少于6个相机(例如，2个相机)的能力来实现成本效应相机部署。在一些实施例中，从由相机机架100中的相机捕获的图像生成环境深度图。
图1描绘了六(6)相机组件100，有时也被称为机架或相机阵列，以及校准目标115。图1所示的相机机架100包括支撑结构(如图4和图4所示)，其将相机保持在指示位置，3对立体相机102(101、103)、104(105，107)、106(109，111)，总共6个相机。支撑结构包括基座720，其在本文中也称为支撑相机以及可以固定安装相机的板的安装板(参见图4所示的元件720)。支撑结构可能由塑料、金属或诸如石墨或玻璃纤维的复合材料制成，并且由形成三角形的线表示，所述三角形也用于示出相机之间的间隔和关系。点线相交的中心点表示相机对102、104、106可以在一些但不一定所有实施例中围绕其旋转的中心节点。在一些实施例中，中心节点对应于(例如三脚架基座的)钢杆或螺纹中心安装件，由三角形线表示的相机支撑框架可以围绕所述钢杆或螺纹中心安装件旋转。支撑框架可以是安装相机的塑料壳体或如图4和图5所示的三脚架结构。
在图1中，每对相机102、104、106对应于不同的相机对位置。第一相机对102对应于0度向前到正面的位置，并且通常意在覆盖主要动作发生的前景。该位置通常对应于感兴趣的主要区域，例如，正在播放运动游戏的场地、舞台或可能发生主要动作/表演的某个其他区域。第二相机对104对应于120度相机位置(距正面大约120度)位置)，并用于捕获右后视域。第三相机对106对应于240度观看位置(距正面大约240度)和左后视域。注意，三个相机位置相距120度。
每个相机观看位置包括图1实施例中的一个相机对，其中每个相机对包括用于捕获图像的左相机和右相机。左相机捕获有时称为左眼图像的图像，并且右相机捕获有时称为右眼图像的图像。图像可以是一次或多次捕获的视图序列或静止图像的一部分。通常至少对应于相机对102的前置相机位置将被高质量的视频相机所填充。其他相机位置可以用高质量的视频相机、较低质量的视频相机或用于捕获静止图像或单声道图像的单个相机来填充。在一些实施例中，第二和第三相机实施例保持未被填充，并且安装相机的支撑板旋转，从而允许第一相机对102捕获对应于所有三个相机位置但在不同时间的图像。在一些这样的实施例中，捕获和存储左和右后部图像，然后在事件期间捕获向前相机位置的视频。捕获的图像可以例如在事件仍在进行中的同时被编码并实时流式传输到一个或多个重放设备。
图1所示的第一相机对102包括左相机101和右相机103。左相机具有固定到第一相机的第一透镜组件120，并且右相机103具有固定到右相机103的第二透镜组件。透镜组件120、120'包括允许捕获广角视野的透镜。在一些实施例中，每个透镜组件120、120'包括鱼眼透镜。因此，相机102、103中的每一个可以捕获180度的视野或大约180度的视野。在一些实施例中，小于180度被捕获，但是在一些实施例中，在从相邻相机对捕获的图像中仍然存在至少一些重叠。在图1的实施例中，相机对位于第一(0度)、第二(120度)和第三(240度)相机安装位置中的每一个处，其中每对捕获至少120度或更多的环境，但是许多情况下，每个相机对捕获180度或约180度的环境。
第二和第三相机对104、106与第一相机对102相同或相似，但是位于相对于前0度位置的120度和240度相机安装位置。第二相机对104包括左相机105和左透镜组件122以及右相机107和右相机透镜组件122'。第三相机对106包括左相机109和左透镜组件124以及右相机111和右相机透镜组件124'。
在图1中，D表示第一102立体相机对101、103的轴间距离。在图1中，示例D是117mm，其与一般人的左眼和右眼的瞳孔之间的距离相同或相似。图1中的虚线150描绘了从全景阵列的中心点到右相机透镜120'的入射瞳孔的距离(也称为节点偏移)。在对应于图1的一个实施例中，附图标记150所示的距离为315mm，但是其他距离也是可能的。
在一个具体实施例中，相机机架100的占地面积相对较小。这样的小尺寸允许相机机架放置在观众中，例如，在通常爱好者(fan)或出席者所位于或定位的就座位置。因此，在一些实施例中，相机机架被放置在观众区域中，从而允许观看者具有作为希望这种效果的观众的成员的感觉。一些实施例中的占地面积对应于基座的尺寸，其中在一些实施例中包括中心支撑杆的支撑结构安装到所述基座或者支撑塔位于所述基座。如应当理解地，在一些实施例中，相机机架可围绕基座的中心点旋转，所述基座的中心点对应于3对相机之间的中心点。在其他实施例中，相机是固定的，并且不围绕相机阵列的中心旋转。
相机机架100能够捕获相对靠近以及不同的物体。在一个具体实施例中，相机阵列的最小成像距离为649mm，但是其他距离是可能的，并且该距离不是关键的。
从相机组件的中心到第一和第三相机构件的视图的交点151的距离表示可用于校准由第一和第二相机对捕获的图像的示例性校准距离。在一个特定的示例性实施例中，其中透镜视角相交并且透镜的最大失真发生的最佳校准距离为743mm。注意，目标115可以被放置在距离位于或略超过最大失真区域的相机对的已知距离处。校准目标包括已知的固定校准图案。校准目标可以并用于校准由相机对的相机捕获的图像的尺寸。这样的校准是可能的，因为校准目标的尺寸和位置相对于捕获校准目标115的图像的相机是已知的。
图2是更详细的图1所示的相机阵列100的图200。虽然相机机架100再次示出为具有6个相机，但是在一些实施例中，相机机架100只填充有两个相机，例如包括相机101和103的相机对102。如图所示，在相机对安装位置中的每个之间有120度的间隔。例如，考虑如果每个相机对之间的中心对应于相机安装位置的方向。在这种情况下，第一相机安装位置对应于0度，第二相机安装位置对应于120度，并且第三相机安装位置对应于240度。因此，每个相机安装位置被分开120度。如果延伸穿过每个相机对102、104、106的中心的中心线被延伸并且线之间的角度被测量，则可以看出这一点。
在图2示例中，相机对102、104、106可以并且在一些实施例中围绕相机机架的中心点旋转，从而允许在不同时间捕获不同的视图，而不必改变相机机架基座的位置。也就是说，相机可以围绕机架的中心支撑件旋转，并允许在不同时间捕获不同的场景，从而允许使用图2所示的机架在仅填充有两个相机的情况下进行360度场景捕获。考虑到立体相机的成本，从成本的角度来看，这种配置是特别期望的，并且非常适合于许多应用，其中可能期望示出从相同视角、但是在与包括体育赛事或其他事件期间的主要动作的前方场景可能会发生的时间不同的时间捕获的背景。例如，考虑在事件期间可能将物体放置在相机后面，使得其优选地将不在主事件期间示出。在这种情况下，后部图像可以是并且有时被在主事件之前捕获并且与主事件的实时捕获图像一起可用于提供360度的图像数据集。
各种特征还涉及以下事实：相机支撑结构和相机配置可以并且且在各种实施例中保持在75mm至350mm的范围内的节点偏移距离。在一个具体实施例中，维持315mm的节点偏移距离。在一些实施例中，支撑结构还维持在400mm2至700mm2的范围内的总面积(又称为占地面积)。在一个具体实施例中，维持640mm2的总面积(又称为占地面积)。支撑结构还保持在从400mm至700mm范围内的最小成像距离。在一个具体实施例中，维持649mm的最小成像距离。在一个具体实施例中，阵列的最佳校准距离是透镜视角相交，并且发生透镜的最大失真的地方。在一个具体的示例性实施例中，该距离为743mm。
如上所述，在各种实施例中，相机阵列(例如，机架)仅填充总共6个相机中的2个，通常为同时的360度立体视频所需要的，用于实时捕获高值、前景180度场景元素，同时手动捕获较低值、背景180度场景元素的静态图像。
图3示出了与图1和图2的机架相同或相似但是没有支撑三脚架的示例性相机机架300，以及放置在相机对上的塑料盖350。塑料盖350包括手柄310、312、314，其可以用于例如当放置在三脚架上时升高或旋转相机机架300。相机机架300被示出为具有三对相机，包括具有透镜组件320、320'的相机301、303的第一相机对302，包括具有透镜组件322、322'的相机的第二相机对304以及包括具有透镜组件324、324'的相机的第三相机对306。塑料盖350被固定到安装平台316上，安装平台316可以被实现为具有一个或多个狭槽和螺孔的平板，如图4所示。塑料盖350用螺母或螺钉330、331固定到基座，螺母或螺钉330、331可以用手去除或紧固，以允许容易地移除或附接盖350并容易地进入相机对的相机。虽然图3所示的机架300中包括六个相机，但是可以包括单个相机对和/或可以使用具有位于未安装相机对的其他相机安装位置的一个或多个独立相机的单个相机对。
图4是以部分拆卸的形式示出的相机机架组件400的详细图，以更好地观察组件是如何组装的。相机机架400是根据一个示例性实施例实现的，并且可以具有图1和图2所示的相机配置。在图4所示的示例中，以拆卸形式清楚和详细地示出了相机机架400的各种元件。如可以从图4看出的，相机机架400包括可以安装在相机机架400的支撑结构720上的3对相机702、704和706，例如立体相机。第一对相机702包括相机750和750'。第二对相机704包括相机752、752'，并且第三对相机706包括相机754、754'。相机750、750'的透镜701、701'可以在图7中看到。虽然元件701和701'被描述为透镜，但在一些实施例中，它们是被固定到相机750、750的透镜组件，其中每个透镜组件包括位于透镜镜筒中的多个透镜，透镜镜筒经由摩擦配合或扭锁连接固定到相机750、750'。
在一些实施例中，三对相机702、704和706(六个相机)经由相应的相机对安装板710、712和714安装在支撑结构720上。支撑结构720可以是狭槽安装板720的形式。狭槽738是板720中的一些狭槽的示例。狭槽减小了重量，但也允许调整用于支撑相机对或者在一些情况中支撑单个相机的相机安装板710、712、714的位置。
支撑结构720包括用于安装立体相机对702、704、706的三个不同的安装位置，其中每个安装位置对应于与相邻安装位置的方向偏移120度的不同方向。在图7所示的实施例中，第一对立体相机702安装在三个安装位置中的第一个中(例如正面朝向的位置)并且对应于前视域。第二对立体相机704被安装在三个安装位置中的第二个中(例如相对于正面位置顺时针旋转120度的背景右位置)并且对应于不同的右后视域。第三对立体相机706被安装在三个安装位置中的第三个中(例如相对于正面位置顺时针旋转240度的背景左位置)并且对应于左后视域。每个相机位置中的相机捕获至少120度的视域，但是在许多情况下可以捕获至少180度的视域，从而导致捕获的图像中的重叠，这可以促进将图像组合成360度视图，其中一些重叠部分在一些实施例中被切掉。
第一相机对安装板710包括螺纹螺孔741、741'、741”和741”'，通过其螺钉704、740'、740”、740”'可以分别穿过狭槽738和738'；以将板710固定到支撑结构720。狭槽允许调节支撑板710的位置。
使用穿过板703、703'的底部并延伸到相机750、750'的底部上的螺纹孔中的螺钉将第一相机对的相机750、750'固定到独立的相应的相机安装板703、703'。一旦固定到独立的安装板703、703'，相机750、750'和安装板703、703'可以使用螺钉固定到相机对安装板710。螺钉725、725'、725”(其不完全可见)和725”'穿过相应的狭槽724进入相机对安装板710的螺纹孔745、745'、745”和745”'，以将相机板703和相机750固定到相机对安装板710。类似地，螺钉727、727'(其不完全可见)、727”和727”'穿过相应的狭槽726、726'、726”和726”'进入相机对安装板710的螺纹孔746、746'、746”和746”'，以将相机板703'和相机750'固定到相机对安装板710上。
支撑结构720安装有支座辊732、732'，以减少移动通过支撑结构的物体在附近移动时被卡在支撑结构上的风险。这减小了对支撑结构720的损坏的风险。此外，通过在辊的后面中具有中空区域，对辊的冲击不太可能被转移到支撑结构的主要部分。也就是说，辊732、732'后面的空隙允许其上安装有支座辊732'的支撑结构的杆部分的一些变形，而不损坏包括用于固定相机安装板的狭槽的支撑结构的主要部分。
在各种实施例中，相机机架400包括基座722，支撑结构720例如通过延伸穿过基座的中心进入支撑板720的轴或螺杆可旋转地安装到基座722上。因此，在各种实施例中，支撑结构720上的相机组件可围绕穿过基座722的中心的轴旋转360度。在一些实施例中，基座722可以是三脚架或另一安装设备的一部分。三脚架包括由成对的管(742、742')、(742”和742”')形成的腿部以及由于视角而在图4中不可见的附加腿部。腿部通过铰链固定到基座722并且可以折叠以便搬运。支撑结构可以由塑料、金属或复合材料(诸如石墨或玻璃纤维)或其某种组合制成。在一些实施例中，相机对可围绕有时被称为中心节点的中心点旋转。
图4所示的组件400允许通过松开将各个相机安装板固定到相机对安装板上的螺钉并且然后在重新紧固螺钉之前调整相机位置来从顶部调整各个相机的位置。可以通过在松开从支撑结构720的底侧可接近的螺钉来移动相机对安装板、移动板、并且然后重新紧固螺钉来调节相机对的位置。因此，支撑板720中的狭槽限定什么样的相机对的一般位置和方向，位置和方向可以作为相机校准过程的一部分进行微调，以在相机被在将使用相机机架的区域中固定到支撑结构720的同时实现期望的相机校准。
在图5中，与图4中使用的附图标记相同的附图标记表示相同的元件。图5示出了图示500，其以组装的形式示出了示例性相机机架400，其中附加的稳定板502、502'、504、504'、506以及稳定板连接杆503、505、507、509、511、513被添加到相机对的顶部，以在它们已经被调整到所需位置之后增加相机对的刚性和稳定性。
在图示500中，相机对702、704、706可以被看到安装在支撑结构720上，其中相机对安装板710中的至少一个在所示的图中是可见的。除了以上关于图4已经讨论过的相机机架400的元件之外，在图示500中，还可以看到两个模拟耳朵730、732安装在相机机架上。这些模拟的耳朵730、732模仿人耳，并且在一些实施例中由以人耳形状模制的硅树脂或塑料制成。模拟耳朵730、732包括麦克风，其中两只耳朵彼此分开达等于或近似等于一般人的人耳之间的间隔的距离。安装在模拟耳朵730、732中的麦克风被安装在正面朝向相机对702上，但也可以安装在支撑结构(例如平台720)上。模拟耳朵730、732以与人耳在人类头部上垂直于眼睛的前表面定位类似的方式垂直于相机对702的前表面定位。模拟耳朵730、732侧面中的孔充当到模拟耳朵的音频/声音入口点，其中模拟耳朵和孔组合操作，以将音频朝着安装在模拟耳朵中的每一个中的麦克风引导，和人耳将音频声音引入包含在人耳中的耳膜一样。左和右模拟耳朵730、732中的麦克风提供类似于在相机机架500的位置处的人如果位于相机机架的位置将经由人的左耳和右耳察觉的立体声捕获的立体声捕获。安装在模拟耳朵中的麦克风的音频输入以与人耳的传感器部分稍微垂直于人类面部的方式相同的方式垂直于正面朝向相机750、750'的外部透镜的面。模拟耳朵将声音朝着麦克风中引导，就像人耳将声波朝着人耳鼓引导一样。
模拟耳朵730、730被安装在支撑杆510上，支撑杆510包括用于捕获声音的麦克风。音频捕获系统730、732、810由可经由手柄515移动的可移动臂514支撑。
虽然图4-5示出了具有三个立体相机对的示例性相机机架的一种配置，但是应当理解，其他变化是可能的。例如，在一个实施例中，相机机架400包括可以围绕相机机架的中心点旋转从而允许在不同时间捕获不同的120度视图的单对立体相机。因此，单个相机对可以安装在支撑结构上并围绕机架的中心支撑旋转，并允许在不同时间捕获不同的场景，从而允许360度场景捕获。
在其他实施例中，相机机架400包括单个立体相机对702和安装在通常用于一对立体相机的第二和第三位置中的每一个中的一个相机。在这样的实施例中，代替第二相机对704将单个相机安装到机架，并且代替相机对706将另一单个相机安装到相机机架。因此，在这样的实施例中，第二相机对704可以被认为是单个相机的代表，并且相机对706可以被认为是附加的单个相机的说明。
图6-9示出了根据一些示例性实施例实现的其他示例性相机机架的各种视图。
图6示出了图示800，其示出了根据一些示例性实施例实现的示例性相机机架801的一个视图。相机机架801中包括相机阵列，其中一些是立体相机。在图示800中的相机机架801的示例视图中，只有相机机架801的一部分可见，而在图示800中不能完全看到的相机机架801的其他侧(也称为不同的面)上存在类似的相机布置。在一些但不是全部实施例中，相机机架801包括由顶部塑料主体或盖805和底基座盖842固定的13个相机。在一些实施例中，这些13个相机中的8个是立体相机，诸如成对的相机804、806、812和814，而许多其他相机是光场相机，诸如在图示800中可见的相机802和810，以及在图示800中不完全但部分可见的相机815和820。相机的各种其他组合是可能的。在一些实施例中，相机825也被安装在相机机架801的顶部(例如相机机架801的顶面840)上，以捕获感兴趣的环境的上半球的图像。塑料主体/盖805包括可用于提升或旋转相机机架801的手柄811、813、817。
在一些实施例中，相机机架801在相机机架801的每个较长侧上包括一个光场相机(例如，相机802)和形成立体相机对的其他两个相机(例如，相机804、806)。在一些这样的实施例中，有四个这样的较长侧(也称为四个侧面830、832、834和836)，其中每个较长侧具有一个光场相机和一个立体相机对，例如，在向左的一个较长侧上的光场相机802和立体相机对804、806，同时在另一较长侧830上的另一光场相机802以及立体相机对812、814可以在图示800中看到。尽管另外两个侧面没有被完全在图示800中示出，但它们在图8中更详细地示出。在一些实施例中，相机机架801中的相机中的至少一些(例如立体相机和光场相机)使用鱼眼透镜。在各种实施例中，相机机架801中的每个相机由相应的透镜/相机防护设备保护，以保护相机和/或透镜免受可能由物体引起的物理撞击和/或损坏。例如，相机802、804和806分别由防护设备845、847和849保护。类似地，相机810、812和814分别由防护设备850、852和854保护。
除了在四个侧面830、832、834和836中的每一个上的立体相机对和光场相机之外，在一些实施例中，相机机架801还在相机机架801的顶面840上包括面向向上垂直方向(例如，在封闭环境的情况下朝向天空或另一顶部天花板表面)的相机825。在一些这样的实施例中，相机机架801的顶面上的相机825是光场相机。虽然未在图示800中示出，但在一些其他实施例中，相机机架801的顶面840除了相机825之外还包括用于捕获左眼图像和右眼图像的另一立体相机对。尽管在正常情况下，由相机825捕获的360度环境(例如，体育场、剧院、音乐厅等)的上半球(也称为天空部分)可能不包括动作和/或在某些情况下保持静态，但是以与机架801上的其他相机捕获的其他环境部分相同的速率捕获天空部分可能是重要的或期望的。
虽然上面关于相机机架801示出和讨论了一个示例性相机阵列布置，但是在一些其他实现中，相机机架801包括布置有立体相机对的光场相机阵列，而不仅仅是布置在相机机架801的四个面830、832、834、836上的一对立体相机(例如，相机804、806、812、814)的顶部上的单个光场相机(例如，诸如相机802和810)。例如，在一些实施例中，在相机机架801的每个较长侧上的立体相机对的顶部上布置有3个光场相机。在另一个实施例中，有6个光场相机布置在相机机架801的较长侧中的每个上的立体相机对的顶部上，例如，其中两排的3光场相机布置在立体相机对的顶部上。关于图12-13讨论了一些这样的变化。此外，在另一个变体中，也可以实现图示800所示类型的相机，使得有相机机架的3个面的相机指向水平方向，而不是四个面830、832、834、836的相机指向水平方向，如图8所示。
在一些实施例中，相机机架801可以安装在支撑结构上，使得其可围绕垂直轴旋转。在各种实施例中，相机机架801可以部署在感兴趣的环境中，例如，诸如体育场、礼堂、或者待捕获的事件正在进行的其他地方。在一些实施例中，相机机架801的光场相机用于捕获感兴趣的环境(例如感兴趣的360度的场景区域)的图像，并且生成可用于模拟3D环境并显示立体成像内容的深度图。
图7示出了图示900，其示出了示例性相机机架801，其中相机机架801的一些元件以拆卸的形式更清楚和细节地示出。在图7中示出了在图示800所示的图示中不可见的相机机架801的各种附加元件。在图7中，已经使用相同的附图标记来标识相机机架801的元件，这些元件在图6中示出和标识。在图示900中，至少可以看到相机机架801的两个侧面830和836以及顶面840和底面842。
在图示900中，示出了相机机架801的四个侧面830、832、834、836中的两个上的相机的各种部件。透镜组件902、904和906分别对应于相机机架801的侧面836的相机802、804和806。透镜组件910、912和914分别对应于侧面830的相机810、812和814，而透镜组件925对应于相机机架801的顶面上的相机825。在图示900中还示出了三个侧支撑板808、808'和808”'，它们支撑相机机架801的顶盖板805和底盖板842。侧支撑板808、808'和808”'经由图中所示的相应的螺钉对固定到顶盖805和底基座盖842上。例如，侧支撑板808经由螺钉对951和956固定到顶盖板805和底盖板842，侧支撑板808'经由螺钉对952和954固定到顶盖板805和底盖板842，并且侧支撑板808”'经由螺钉对950和958固定到顶盖板805和底盖板842。在一些实施例中，相机机架801包括经由多个螺钉960固定到底盖板842的基座支撑件960。在一些实施例中，经由基座支撑件960，相机机架可以安装在支撑结构上，使得其可围绕垂直轴(例如穿过基座960的中心的轴)旋转。外部支撑结构可以是三脚架或另一平台。
图8示出了图示1000，其示出了示例性相机机架801的顶视图，其中更详细地示出了相机机架801的更多元件。在相机机架801的顶视图中，更清楚地示出了在图示800-900中不完全可见的另外两个侧面832和834。透镜组件915、916和918对应于相机机架801的侧面832上的相机815和立体相机对。透镜组件920、922和924对应于相机机架801的侧面834上的相机920和立体相机对。
如从图示1000可以看出，相机机架801的四个侧面830、832、834、836(指向面的小箭头)和顶面840中的每一个上的相机的组件面向不同的方向。相机机架801的侧面830、832、834、836上的相机指向水平方向(例如，垂直于相应的面)，同时顶面840上的相机(一个或多个)指向向上垂直方向。例如，如图8所示，相机机架801的面836上的相机(对应于透镜组件902、904、906的相机)面向箭头1002所示的第一方向。箭头1004示出了相机机架801的面830上的相机(对应于透镜组件910、912、914的相机)所面向的第二方向，箭头1006示出了相机机架801的面832上的相机(对应于透镜组件915、916、918的相机)所面向的第三方向，箭头1008示出了相机机架801的面834上的相机(对应于透镜组件920、922、924的相机)所面向的第四方向，并且箭头1010示出了相机机架801的面840上的相机(对应于透镜组件925的相机825)所面向的第五(垂直)方向。在各种实施例中，第一、第二、第三和第四方向大致为水平方向，而第五方向为垂直方向。在一些实施例中，不同侧面830、832、834和836上的相机是均匀间隔的。在一些实施例中，第一、第二、第三和第四方向之间的角度是相同的。在一些实施例中，第一、第二、第三和第四方向是不同的并且相距90度。在一些其他实施例中，相机机架被实现为使得相机机架有3个侧面，而不是四个侧面，具有与图示800-1000所示的相同或相似的相机组件。在这样的实施例中，相机机架801的侧面上的相机指向三个不同的方向，例如，第一、第二和第三方向，其中第一、第二和第三方向相距120度。
图9示出了图示1100，其示出了根据一些示例性实施例实现的另一示例性相机机架1101的视图。在大多数和许多方面，示例性相机机架1101类似于相机机架801，并且包括与上面关于相机机架801所讨论的相同或相似的相机配置。类似于相机机架801，相机机架1101包括四个侧面1130、1132、1134、1136和顶面1140。相机机架1101的四个侧面1130、1132、1134、1136中的每一个包括相机阵列，其包括：光场相机和一对立体相机对，而相机机架的顶面1140包括至少一个相机机架1125，其类似于针对相机机架801所示和讨论的内容。然而，相机机架1101除了五个面1130、1132、1134、1136和1140中的每个面上的相机阵列外还包括第六底面1142，其包括面向垂直向下(例如朝向地面)的至少一个相机1126。在一些这样的实施例中，面向垂直向下的底面相机1126和面向垂直向上的顶面相机1125是光场相机。在一些实施例中，相机1125和1126中的每一个是相机机架1101的顶面和底面1140、1142上的对应的立体相机对的一部分。
虽然相机机架801和1101的立体相机用于(例如，在事件期间)捕获立体成像内容，但是使用光场相机允许扫描感兴趣的场景区域并(例如，从对应于感兴趣场景的这些部分的捕获图像)生成由光场相机捕获的场景区域的各个部分的深度图。在一些实施例中，可以组合场景区域的各个部分的深度图以生成场景区域的复合深度图。这样的深度图和/或复合深度图可以并且在一些实施例中被提供给重放设备，以用于显示立体成像内容并模拟观看者可以体验到的3D环境。
图10示出了可以用于根据本发明实现的示例性相机机架(诸如根据一些示例的相机机架300、相机机架400和/或相机机架801和1101)中的相机阵列的示例性布置1200的前视图。与图示800中所示的单个光场相机布置在相机机架801的每个面上的一对立体相机的顶部上的布置相比，示例性布置1200使用布置有立体相机对1208、1012的光场相机阵列1202、1204和1206。示例性布置1200可以并且在一些实施例中用于根据本发明实现的相机机架(诸如相机机架801)中。在这样的实施例中，相机机架的每个面都使用具有布置有单个立体相机对(例如，1208、1210)的三个光场相机(例如，1202、1204和1206)的示例性布置1200。应当理解，布置的许多变化是可能的，并且在本发明的范围内。
图11示出了根据一些实施例的可以用于示例性相机机架(诸如如相机机架801)或者先前讨论的其他相机机架中的任何相机机架中的相机阵列的另一个示例性布置1300的前视图。与图示800所示的单个光场相机布置在一对立体相机的顶部上的布置相比，示例性布置1300使用布置有立体相机对1320、1322的六个光场相机1302、1304、1306、1308、1310和1312的阵列。光场相机被堆叠成一个布置在另一个之上的两行的3光场相机，其中每个行包括一组三个光场相机，如图所示。示例性布置1300可以并且在一些实施例中被用在根据本发明实现的相机机架(例如相机机架801)中，其中相机机架的每个面使用布置1300。
尽管如上所述的相机机架的立体相机用于(例如在事件期间)捕获立体成像内容，但是光场相机的使用允许扫描感兴趣的场景区域并且(从对应于感兴趣场景的这些部分的捕获图像)生成由光场相机捕获的场景区域的各个部分的深度图。在一些实施例中，可以组合场景区域的各个部分的深度图以生成场景区域的复合深度图。这样的深度图和/或复合深度图可以并且在一些实施例中提供给重放设备，以用于显示立体成像内容并模拟观看者可以体验到的3D环境。
使用光场相机与立体相机组合允许(例如在事件被捕获期间)实时进行环境测量并生成环境深度图，从而避免需要在事件(例如足球比赛)开始之前的时间事先部署待离线执行的环境测量。
虽然从每个图像生成的深度图对应于要映射的环境的一部分，但是在一些实施例中，从各个图像生成的深度图被处理，例如，缝合在一起，以形成使用光场相机扫描的完整环境的复合图。因此，通过使用光场相机，相对完整的环境图可以并且在一些实施例中被生成。
在光场相机的情况下，微透镜阵列捕获足够的信息，使得可以在采集后重新聚焦图像。也能够在图像捕获之后，在主透镜的子孔径内移动视点，从而有效地获得多个视图。在光场相机的情况下，来自散焦和对应的深度提示在单次捕获中同时可用。当尝试填充未被立体相机捕获的场景部分/遮挡信息时，这可能是有用的。
从光场相机输出生成的深度图将是当前的，并且可能针对特定事件(例如由立体相机捕获的音乐会或游戏)精确地测量体育场或其他感兴趣的环境中的改变。此外，通过从相同位置或安装立体相机的位置附近测量环境，至少在一些实施例中，环境图精确地反映环境，就像它可以从用于捕获事件的立体相机的角度被感知。
在一些实施例中，由光场相机捕获的图像可以被处理并用于填充未被立体相机对捕获的环境的部分，例如，因为立体相机对的位置和/或视野可能与光场相机的位置和/或视野略有不同和/或由于对从立体相机观看的阻碍。例如，当光场相机相对于立体对的位置面向后方时，其可以捕获对于前向立体相机对不可见的后视图。在一些实施例中，将光场相机的输出单独地提供给重放设备，或与由立体相机对所捕获的图像数据一起提供给重放设备。当显示立体相机对未充分捕获的场景区域的显示时，重放设备可以使用由光场相机捕获的全部或部分图像。此外，由光场相机捕获的图像的一部分可以用于填充从立体相机对的位置观看被遮挡，但是用户希望能在他或她相对于对应于立体相机对的位置的默认观看位置将他或她的头部向左或向右移动时能够看到的立体图像的一部分。例如，如果用户在某些实施例中向左或向右倾斜以试图围绕阻碍他/她观看的柱子凝视，则使用来自由光场相机捕获的一个或多个图像的内容提供图像内容，该图像内容对立体相机对不可见，但是预期对用户从用户通过向左或向右倾斜在重放期间实现的偏移的头部可见。
图1-9中所示的各种示例性相机机架可以配备有各种不同的相机，例如普通相机、立体相机对、光场相机等。示例性相机机架用于各种实施例中以捕获(例如，使用所配备的相机)环境信息(例如测量和图像)，以支持根据本发明的特征的各种应用。
图12示出了根据本发明的一些实施例实现的示例性系统1400。系统1400支持环境信息测量和包括图像捕获的捕获、处理和递送(例如成像内容、环境模型和/或纹理图递送)到位于客户端的一个或多个客户设备，例如重放设备/内容播放器。系统1400包括示例性成像装置1404、立体成像系统1406、处理系统1408、通信网络1450和多个客户端1410，……，1412。成像装置1404包括一个或多个光场相机，而立体成像系统1406包括一个或多个立体相机。在一些实施例中，成像装置1404和立体成像系统1406被包括在示例性相机机架1402中，其可以是关于图1-9先前讨论的任何相机机架。除了光场相机装置和立体成像系统1406之外，相机机架1402可以包括附加的成像和/或环境测量设备。成像装置1402根据本发明的特征捕获并处理成像内容。通信网络1450可以是例如混合光纤同轴(HFC)网络、卫星网络和/或因特网。
根据本发明，处理系统1408被配置为处理从包括在立体成像系统1406中的一个或多个光场相机1404和一个或多个立体相机接收的成像数据。由处理系统1408执行的处理包括根据本发明的某些特征生成感兴趣的环境的深度图，生成3D网格模型和UV图，并将它们传送到一个或多个重放设备。由处理系统1408执行的处理进一步包括处理和编码从立体成像系统1406接收的立体图像数据，并将其递送到一个或多个重放设备，以用于从立体相机生成的立体内容的渲染/重放。
在一些实施例中，处理系统1408可以包括服务器，其中该服务器响应于对内容(例如对应于感兴趣的环境的深度图和/或3D网格模型和/或成像内容)的请求。重放设备可以并且在某些实施例中使用这样的信息来模拟3D环境并渲染3D图像内容。在一些但不是全部实施例中，成像数据(例如对应于感兴趣的环境的深度图和/或从由成像装置1404的光场相机设备捕获的图像生成的成像内容)直接通过通信网络1450从成像装置1404传送到客户重放设备。
处理系统1408被配置为例如通过通信网络1450将数据和/或信息流式传输(例如发送)到一个或多个客户设备。经由网络1450，处理系统1408可以发送和/或与位于客户端1410、1412处的设备交换信息，如在图中通过穿过通信网络1450的链路1409所示的。成像数据和/或信息可以在递送到一个或多个重放设备之前进行编码。
每个客户端1410、1412可以包括多个设备/重放器，其用于解码和重放/显示(例如由立体相机1406和/或部署在系统100中的其他相机捕获的)成像内容。成像内容通常由处理系统1408处理并传送到设备。客户端1 1410包括耦合到显示设备1420的解码装置/重放设备1422，而客户端N 1412包括耦合到显示设备1424的解码装置/重放设备1426。在一些实施例中，显示设备1420、1424是头戴式立体显示设备。在一些实施例中，重放设备1422、1426在显示从由立体相机捕获的立体内容生成的立体成像内容中接收并使用从处理系统1408接收的感兴趣的环境的深度图和/或3D网格模型和UV图。
在各种实施例中，重放设备1422、1426将成像内容呈现在对应的显示设备1420、1424上。重放设备1422、1426可以是能够解码由立体相机捕获的立体成像内容、使用解码的内容生成成像内容并在显示设备1420、1424上渲染该成像内容(例如3D图像内容)的设备。在各种实施例中，重放设备1422、1426从处理系统1408接收图像数据和深度图和/或3D网格模型并使用它们来显示3D图像内容。
包括图13A和13B的组合的图13示出了根据一些实施例的操作成像系统的示例性方法的流程图1500。在一些实施例中，使用包括图像捕获设备和处理系统的成像系统来实现流程图1500的方法。系统中的图像捕获设备(例如光场相机和/或立体相机)可以被包括在和/或安装在附图所示并且在上面详细讨论的各种相机机架上。
该方法在步骤1502中开始，例如，成像系统被通电并被初始化。该方法从开始步骤1502进行到步骤1504、1506、1508，其可以由成像系统的不同元件(例如一个或多个相机和处理系统)并行执行。
在步骤1506中，处理系统例如通过在系统上下载和/或在处理系统上将其上载到包括环境深度图的存储介质上来获取与感兴趣的环境相对应的静态环境深度图。感兴趣的环境可以是例如发生感兴趣的事件的体育场、礼堂、旷野等。在各种实施例中，事件被包括立体相机和光场相机的一个或多个相机设备捕获(例如，记录)。静态环境深度图包括先前(例如在事件之前)已经进行的感兴趣的环境的环境测量，并且因此被称为静态的。其中发生事件的各种感兴趣的著名环境(例如，已知的体育场、礼堂等)的静态环境深度图是容易获得的，但是这种环境深度图不考虑在事件期间可能发生的对环境的动态改变和/或自进行环境测量之后可能已经发生的其他变化。感兴趣的环境的静态深度图可以使用各种测量技术(例如，使用LIDAR和/或其他方法)来生成。操作从步骤1504进行到步骤1510。尽管在各种实施例中，当可用时，处理系统获取静态深度图，但是在静态深度图不可用的情况下，操作进行到下一步骤1510。
在步骤1510中，检查静态深度图是否例如对处理系统可用。如果静态深度图可用，则操作从步骤1510进行到步骤1512，否则操作进行到步骤1518。在步骤1512中，处理系统将当前深度图(例如，要使用的基础环境深度图)设置为静态深度图。在一些实施例中，当系统被初始化并且来自其他源的深度图不可用时，处理系统最初将当前深度图设置为静态深度图。操作从步骤1512进行到步骤1518。
参考沿着对应于步骤1506的路径的步骤。在步骤1506中，使用一个或多个立体相机对(一个或多个)来捕获环境的感兴趣的部分的立体图像对(例如左眼图像和右眼图像)。在一些实施例中，捕获图像的立体相机对(一个或多个)被安装在根据上述各种实施例实现的相机机架上。操作从步骤1506进行到步骤1514。在步骤1514中，在处理系统处接收捕获的立体图像对。操作从步骤1514进行到步骤1516。在步骤1516中，从一个或多个立体图像对生成环境深度图(例如，感兴趣的环境的复合深度图)。操作从步骤1516进行到步骤1518。
返回到步骤1518。在步骤1518中，处理系统确定从一个或多个立体图像对生成的环境深度图是否可用(例如在某些情况下，当立体相机对(一个或多个)尚未开始捕获立体视觉对图像和/或环境深度图尚未生成时，基于立体图像的环境深度图可能对处理系统不可用)。如果在步骤1518中确定从一个或多个立体图像对生成的环境深度图可用，则操作从步骤1518进行到步骤1520，否则操作进行到步骤1530。
在步骤1520中，确定是否已经设置了当前深度图。如果确定当前深度图未被设置，则操作进行到步骤1522，其中处理系统将当前深度图设置为从所述一个或多个立体图像对生成的环境深度图。操作从步骤1522进行到步骤1530。如果在步骤1520中确定当前深度图已被设置(例如，静态深度图可以被设置为当前深度图)，则操作进行到步骤1524，其中处理系统协调从所述一个或多个立体图像对生成的环境深度图与当前深度图。在协调操作完成后，将经协调的环境深度图设置为当前深度图。在各种实施例中，经协调的深度图与用于协调的两个独立深度图中的任一个相比具有更多和增强的深度信息。操作从步骤1524进行到步骤1530。
参考沿着对应于步骤1508的路径的步骤。在步骤1508中，使用一个或多个光场相机捕获环境的感兴趣的部分的图像。在一些实施例中，捕获图像的一个或多个光场相机被安装在根据上述各种实施例实现的相机机架上。操作从步骤1508进行到步骤1526。在步骤1526中，由光场相机捕获的图像可选地与环境的感兴趣的部分的深度图一起被在处理系统处接收。因此，在一些实施例中，一个或多个光场相机从捕获的图像生成所述环境的部分的深度图，并将它们提供给处理系统。在一些其他实施例中，提供由光场相机捕获的图像，并且处理系统生成环境的感兴趣的部分的深度图。操作从步骤1526进行到步骤1528。在步骤1528中，从由光场相机捕获的一个或多个接收图像和/或从环境的感兴趣的部分的深度图生成环境深度图(例如，感兴趣的环境的复合深度图)。操作从步骤1528进行到步骤1530。
返回到步骤1530。在步骤1530中，处理系统确定从由光相机捕获的图像或从感兴趣的环境的一个或多个部分的深度图生成的环境深度图是否可用于处理系统。如果在步骤1530中确定环境深度图可用，则操作从步骤1530进行到步骤1532，否则操作经由连接节点B1540进行到步骤1542。
在步骤1532中，确定是否已经设置了当前深度图。如果确定当前深度图未被设置，则操作从步骤1532进行到步骤1534，其中处理系统将当前深度图设置为从由光场相机捕获的一个或多个接收的图像和/或从环境的感兴趣的部分的深度图生成的环境深度图。操作经由连接节点A 1538从步骤1534进行到步骤1546。如果在步骤1532中确定当前深度图已被设置(例如，例如从立体图像生成的静态深度和/或环境深度图和/或经协调的深度图可以被设置为当前深度图)，则操作进行到步骤1536，其中处理系统协调从由光场相机捕获的一个或多个接收的图像在步骤1528中生成的环境深度图与当前的深度图。在协调操作完成后，将经协调的环境深度图设置为当前深度图。操作经由连接节点A 1538从步骤1536进行到步骤1546。
如果在步骤1530中确定环境深度图不可用，则操作经由连接节点B 1540从步骤1530进行到步骤1542。在步骤1542中，确定是否已经设置了当前深度图。如果确定当前深度图未被设置，则操作从步骤1542进行到步骤1544，其中处理系统将当前深度图设置为与球体相对应的默认深度图，因为没有其他环境深度图可用于处理系统。操作从步骤1544进行到步骤1546。
在步骤1542中，如果确定了当前深度图是否已被设置(例如，设置为所生成/协调的环境深度图或静态深度图或默认球体环境深度中的一个)，则操作从步骤1542至步骤1546。
返回到步骤1546。在步骤1546中，处理系统输出当前深度图。当前的环境深度图可以并且在各种实施例中被提供给一个或多个客户渲染和重放设备，例如用于显示3D成像内容。环境深度图可以在事件(例如，游戏和/或其他表演)期间多次生成，因为事件可能会在事件期间动态改变，这可能会影响感兴趣的环境，并且因此如果系统将提供可用于向观看者提供真实生活3D体验的信息和成像内容，则更新环境深度图以保持其当前是有用的。应当理解，关于流程图1500讨论的方法允许基于来自多个源(例如，静态深度图、使用由一个或多个立体相机对捕获的图像生成的深度图和/或使用由一个或多个光场相机捕获的图像生成的深度图)的深度信息生成增强和改进的环境深度图。
图14A和14B组合地示出了根据示例性实施例的生成和更新3D网格模型和UV图的方法，该方法非常适用于与图13A和13B所示的方法一起使用。
图15C和15D组合地示出了根据示例性实施例的生成和更新3D网格模型和UV图的方法的流程图1550，该方法非常适合于与图15A和15B所示的方法一起使用。根据一些实施例的一个方面，可以通过检测对从一个或多个深度测量源(例如，光场相机输出和/或立体相机对输出)获得的环境深度信息的显著改变来触发3D网格模型和UV图的生成、发送和更新。在一些实施例中，流程图1550的方法的各种步骤由系统1400的处理系统1408执行。该方法在步骤1552中开始并进行到1554。在步骤1554中，接收(例如，从使用来自一个或多个深度测量源的输入通过处理系统生成的环境深度图中选择)当前的环境深度图(例如，第一环境深度图)。
操作从步骤1554进行到1556。在步骤1556中，从当前环境深度图生成第一3D网格模型。操作从步骤1556进行到1558。在步骤1558中，生成用于将帧(例如，图像的帧)包裹到第一3D网格模型上的第一UV图。操作从步骤1558进行到1560，其中将第一3D网格模型和第一UV图传送(例如发送)到重放设备。
操作从步骤1560进行到步骤1562。在步骤1562中，处理系统例如通过将当前3D网格模型设置为第一3D网格模型并将当前UV图设置为第一UV图分别将当前3D网格模型和UV图初始化为第一3D网格模型和第一UV图。操作从步骤1562进行到步骤1564。在步骤1564中，处理系统接收当前环境深度图，例如新的环境深度图。
操作从步骤1564进行到步骤1566，其中确定当前环境深度图是否反映来自用于生成当前3D网格模型的环境深度图的显著的环境变化。在一些实施例中，处理深度信息的系统监视深度信息以检测深度信息的显著变化，例如，超过预定量的深度信息的变化。在一些实施例中，这种显著变化的检测触发了当前网格模型和/或UV图的更新。因此，如果在步骤1566中确定在当前环境深度图与用于生成当前3D网格模型的环境深度图之间检测到显著的环境变化，则操作进行到步骤1568，否则操作返回到步骤1564。
在确定检测到显著的环境变化之后，在步骤1568中，处理系统从新的当前环境深度图生成更新的3D网格模型。操作从步骤1568进行到步骤1570。在步骤1570中，生成用于将帧包裹到更新的3D网格模型上的更新的UV图。
操作经由连接节点M 1572从步骤1570进行到步骤1574。在步骤1574中，生成3D网格模型差异信息。在各种实施例中，3D网格模型差异信息包括反映新的更新的3D网格模型与当前使用的3D网格模型(例如，第一3D网格模型)之间的差异的信息。在一些情况下，将差异信息传送到重放设备比传送整个更新的3D网格模型更有效。在这种情况下，通过使用所接收的不同信息，重放设备可以并且在各种实施例中可更新其当前3D网格模型以生成更新的网格模型。虽然在一些实施例中生成3D网格模型差异信息，例如，在确定发送差异信息而不是整个更新的网格模型更方便和/或有效的情况下，步骤1574是可选的，并且不一定在全部实施例中执行。操作从步骤1574进行到步骤1576。在也是可选的步骤1576中，生成UV图差异信息，其中UV图差异信息反映新的更新的UV图和当前使用的UV图(例如，第一UV图)之间的差异，。
操作从步骤1576进行到步骤1578。在步骤1578中，处理系统将更新的3D网格模型信息(例如，生成的更新的3D网格模型或网格模型差异信息)传送到重放设备。操作从步骤1578进行到步骤1580。在步骤1580中，处理系统将更新的UV图信息(例如，生成的更新的UV图或UV图差异信息)传送到重放设备。
操作从步骤1580进行到步骤1582。在步骤1582中，处理系统将当前3D网格模型设置为更新的3D网格模型。操作从步骤1582进行到步骤1584。在步骤1584中，处理系统将当前UV图设置为更新的UV图。应当理解，更新的网格模型和UV图基于当前深度测量，从而使得新的网格模型和/或UV图比基于在不同时间进行的深度测量的旧的网格模型和/或图更精确。操作经由连接节点N 1585从步骤1584返回到1564，并且处理以上述方式继续。
图15示出了根据本发明的一个示例性实施例实现的示例性光场相机1600，其可以用于上述并在前面的图中所示的任何相机机架中。示例性相机设备1600包括显示设备1602、输入设备1604、I/O接口1606、处理器1608、存储器1610和总线1609，其被安装在由被引导至附图标记1600的线所接触的矩形盒所表示的壳体中。相机设备1600还包括光链1612和网络接口1614。各种部件经由总线1609耦合在一起，总线1609允许在相机1600的部件之间传送信号和信息。
显示设备1602在一些实施例中可以是用于显示图像、视频、关于相机设备的配置的信息和/或在相机设备上执行的数据处理的状态的触摸屏。在显示设备1602是触摸屏的情况下，显示设备1602用作附加的输入设备和/或用作单独的输入设备(例如，按钮)1604的替代。输入设备1604可以是并且在一些实施例是例如键盘、触摸屏或可用于输入信息、数据和/或指令的类似设备。
经由I/O接口1606，相机设备1600可以耦合到外部设备，并与这样的外部设备交换信息和信令。在一些实施例中，经由I/O接口1606，相机1600可以并且在一些实施例中与处理系统1600接口。在一些这样的实施例中，处理系统1600可用于配置和/或控制相机1600。
网络接口1614允许相机设备1600能够通过通信网络来接收和/或向外部设备传送信息。在一些实施例中，经由网络接口1614，相机1600通过通信网络(例如，因特网和/或其他网络)将捕获的图像和/或生成的深度图传送到其他设备和/或系统。
光链1610包括微透镜阵列1624和图像传感器1626。当通过相机1600执行图像捕获操作时，相机1600使用微透镜阵列1624来捕获来自多于一个方向的感兴趣的场景的光信息。
存储器1612包括各种模块和例程，当由处理器1608执行时，它们控制根据本发明的相机1600的操作。存储器1612包括控制例程1620和数据/信息1622。处理器1608(例如CPU)执行控制例程，并且使用数据/信息1622来控制相机1600根据本发明进行操作并实现流程图1500的方法的一个或多个步骤。在一些实施例中，处理器1608包括片上深度图生成电路1607，其从与在根据本发明的相机1600的操作期间所捕获的环境的感兴趣的部分相对应的捕获图像生成环境的感兴趣的各个部分的深度图。在一些其他实施例中，相机1600将捕获的图像1628提供给处理系统1600，处理系统1600使用由光场相机1600捕获的图像生成深度图。由相机1600生成的环境的感兴趣的各个部分的深度图被存储在存储器1612作为深度图1630，而与环境的感兴趣的一个或多个部分相对应的图像被存储为捕获图像1628(一个或多个)。捕获图像和深度图被存储在存储器1612中以供将来使用，例如附加处理，和/或发送到另一设备。在各种实施例中，由相机1600生成的深度图1630和由相机1600捕获的环境的感兴趣的部分的一个或多个捕获图像1628被(例如，经由接口1606和/或1614)提供给处理系统1408，用于根据本发明的特征的进一步的处理和动作。在一些实施例中，深度图和/或捕获图像被提供(例如通过相机1500传送)到一个或多个客户设备。
图17示出了根据本发明的特征的示例性处理系统1700。处理系统1700可以用于实现流程图1500的方法的一个或多个步骤。处理系统1700包括可用于对立体成像内容进行编码和流式处理的多速率编码能力。示例性处理系统1700可以用作系统1400的处理系统1408。
处理系统1700可以并且在一些实施例中用于根据本发明的特征执行复合环境深度图生成操作、多速率编码操作、存储、发送和/或内容输出。处理系统1700还可以包括解码和(例如，向操作者)显示经处理和/或编码的图像数据的能力。
系统1700包括显示器1702、输入设备1704、输入/输出(I/O)接口1706、处理器1708、网络接口1710和存储器1712。系统1700的各种组件通过总线1709，其允许在系统1700的部件之间传送数据。
存储器1712包括各种例程和模块，当由处理器1708执行时，它们控制系统1700以实现根据本发明的复合环境深度图生成、环境深度图协调、编码、存储以及流/发送和/或输出操作。
显示设备1702可以是并且在一些实施例中是用于显示图像、视频、关于处理系统1700的配置的信息和/或指示正在设备上执行的处理的状态的触摸屏。在显示设备602是触摸屏的情况下，显示设备602用作附加的输入设备和/或用作单独的输入设备(例如，按钮)1706的替代。输入设备1704可以是并且在一些实施例是例如键盘、触摸屏或可用于输入信息、数据和/或指令的类似设备。
经由I/O接口1706，处理系统1700可以耦合到外部设备，并且与这样的外部设备(例如诸如图中所示的相机机架801和/或其他相机机架和/或光场相机1600)交换信息和信令。I/O接口1606包括发射器和接收器。在一些实施例中，经由I/O接口1706，处理系统1700接收由可以是相机机架(诸如相机机架801)的一部分的各种相机(例如立体相机对和/或光场相机(例如，相机1600))捕获的图像。
网络接口1710允许处理系统1700能够通过通信网络(诸如通信网络105)来接收和/或向外部设备传送信息。网络接口1710包括多端口广播发射器1740和接收器1742。多端口广播发射器1740允许处理系统1700向各个客户设备广播多个编码的立体数据流，每个支持不同的比特率。在一些实施例中，处理系统1700经由多端口广播发射器1740将场景的不同部分(例如，180度前部、左后部、右后部等)发送给客户设备。此外，在一些实施例中，经由多端口广播发射器1740，处理系统1700还向一个或多个客户设备广播当前的环境深度图。虽然在一些实施例中，多端口广播发射器1740在网络接口1710中被使用，但是在一些其他实施例中，处理系统向独立的客户设备发送(例如单播)环境深度图、3D网格模型、UV图和/或立体成像内容。
存储器1712包括各种模块和例程，当由处理器1708执行时，它们控制根据本发明的系统1700的操作。处理器1708(例如CPU)执行控制例程并使用存储在存储器1712中的数据/信息来控制系统1700根据本发明进行操作，并实现图13和图14的流程图的方法的一个或多个步骤。存储器1712包括控制例程1714、图像编码器1716(一个或多个)、深度图可用性确定模块1717、复合深度图生成模块1718、当前深度图确定模块1719、流控制器1720、图像生成模块1721、深度图协调模块1722、3D网格模型生成和更新模块1740、UV图生成和更新模块1742、接收的由一个或多个光场相机捕获的感兴趣的环境的图像1723、可选接收的感兴趣的环境的深度图1725、接收的立体图像数据1724、经编码的立体图像数据1728、获取的静态深度图1730、从立体图像对生成的环境深度图1732、从由一个或多个光场相机捕获的图像生成的环境深度图1734、经协调的环境深度图1736(一个或多个)、对应于球体的默认深度图1738、生成的3D网格模型1744、生成的UV图1746(一个或多个)、当前3D网格模型1748、当前UV图1750。
在一些实施例中，模块被实现为软件模块。在其他实施例中，这些模块在硬件中实现在存储器1612的外部，例如作为独立的电路，其中每个模块被实现为用于执行模块对应的功能的电路。在其他实施例中，使用软件和硬件的组合实现模块。在其中一个或多个模块被实现为软件模块或例程的实施例中，模块和/或例程由处理器1708执行以控制系统1700根据本发明进行操作，并且实现关于流程图1500和/或1550讨论的一个或多个操作。
控制例程1714包括用于控制处理系统1700的操作的设备控制例程和通信例程。编码器1716(一个或多个)可以并且在一些实施例中包括被配置为根据本发明的特征对接收到的图像内容、场景和/或一个或多个场景部分的立体图像进行编码的多个编码器。在一些实施例中，编码器(一个或多个)包括多个编码器，其中每个编码器被配置为对立体场景和/或分割的场景部分进行编码以支持给定的比特率流。因此，在一些实施例中，可以使用多个编码器对每个场景部分进行编码，以支持每个场景的多个不同的比特率流。编码器1716(一个或多个)的输出是存储在存储器中的编码的用于流式传送到客户设备(例如重放设备)的立体图像数据1728。编码的内容可以经由网络接口1710流式传送到一个或多个不同的设备。
复合深度图生成模块1717被配置为从由各种相机(例如立体相机对和一个或多个光场相机)捕获的图像生成感兴趣的环境的复合环境深度图。因此，复合深度图生成模块1717从立体图像对生成环境深度图1732并且从由一个或多个光场相机捕获的图像生成环境深度图1734。
深度图可用性确定模块1718被配置为确定给定的深度图是否在给定时间可用，例如，在给定的时间，静态深度图是否可用和/或从由光场捕获的图像生成的环境深度图是否可用和/或从由立体相机对捕获的图像生成的环境深度图是否可用。
当前深度图确定模块1719被配置为确定当前深度图是否已被设置。在各种实施例中，当前深度图确定模块1719还被配置为根据本发明的特征将环境深度图或经协调的深度图中的一个设置为当前深度图。例如，当经协调的环境深度图可用时，例如已经通过协调从两个或更多个源生成的环境深度图生成时，当前深度图确定模块1719将经协调的环境深度图设置为当前深度图。
流控制器1720被配置为控制编码内容的流式发送，以将编码的图像内容(例如，经编码的立体图像数据1728的至少一部分)(例如通过通信网络105)递送到一个或多个客户重放设备。在各种实施例中，流控制器1720还被配置为例如经由网络接口1710将已经被设置为当前深度图的环境深度图传送到一个或多个客户重放设备。
图像生成模块1721被配置为从由光场相机捕获的至少一个图像(例如，接收到的图像1723)生成第一图像，生成的第一图像包括感兴趣的环境的一部分，其不包括在由立体相机捕获的立体图像(例如，立体图像内容1724)的至少一些中。在一些实施例中，流控制器1720还被配置为例如经由网络接口1710将生成的第一图像的至少一部分发送到一个或多个客户重放设备。
深度图协调模块1722被配置为例如通过实现与流程图1500的步骤1526和1536相对应的功能来根据本发明执行深度图协调操作。3D网格模型生成和更新模块1740被配置为从当前环境深度图(例如，被设置为当前环境深度图的经协调的深度图或环境深度图)生成3D网格模型。模块1740还被配置为当与用于生成当前3D网格模型的环境深度图相比，在当前环境深度图中检测到重要的环境变化时更新3D网格模型。在一些实施例中，生成的3D网格模型1744可以包括由模块1740生成的一个或多个3D网格模型，并且3D网格模型1744(一个或多个)中的最近更新的3D网格模型被设置为当前3D网格模型1748。UV图生成和更新模块1742被配置为生成要用于将帧包裹到所生成的3D网格模型上的UV图。模块1742还被配置为更新UV图。生成的UV图1746(一个或多个)可以包括由模块1742生成的一个或多个UV图，并且将生成的UV图1746(一个或多个)中的最近更新的UV图设置为当前的UV图1750。在一些实施例中，模块是被配置为执行与在图14A和14B中讨论的各种步骤相对应的功能。
接收的立体图像数据1724包括通过从一个或多个立体相机(例如诸如包括在机架801中的那些相机)接收到而捕获的立体图像对。编码的立体图像数据1728包括已经由编码器1716(一个或多个)编码的多个立体图像数据集以支持多个不同的比特率流。
静态深度图1730是获取的(例如下载的)感兴趣的环境的深度图。从由立体相机对1732捕获的图像生成的环境深度图和从由一个或多个光场相机1734捕获的图像生成的环境深度图是复合环境深度图生成模块1717的输出。经协调的环境深度图1736(一个或多个)包括由根据本发明的协调模块1722生成的一个或多个环境深度图。对应于球体1738的默认深度图也被存储在存储器1712中，用于在当环境深度图不能从其他来源获得时(例如，当静态深度图1730、环境深度图1732和环境深度图1734都不可用时)的事件中使用。因此，在一些实施例中，将经协调的环境深度图1736(一个或多个)设置为当前环境深度图并用于生成3D网格模型。
在一些实施例生成中，3D网格模型和UV图的生成、发送和更新可以通过检测对从一个或多个深度测量源(例如，光场相机输出和/或立体相机对输出)获得的环境深度信息的显著改变来触发。例如参见图14A和14B，其组合地示出了3D模型更新处理。在一些实施例中，处理深度信息的系统监视深度信息以检测深度信息的显著变化，例如，超过预定量的深度变化，例如超过到对应于环境的一部分(，例如超过预定阈值大小(例如5％、10％、20％或某些其他量)的部分)的区域的环境的周边的原始测量距离的20％。响应于检测到这种变化，生成新的模型和/或UV图并将其发送到重放设备。新的图基于当前的深度测量，从而使得新的网格模型和/或图比基于在不同时间进行的深度测量的旧的网格模型和/或图更精确。由于在一些实施例中，深度测量是在持续的基础上在事件期间进行的和/或基于从在事件期间捕获的图像(光场和/或立体图像对)所进行的环境测量，因此可以响应于环境的变化(例如，表示从用作纹理的图像被捕获的相机位置到环境的物体或边缘(例如墙壁、屋顶、窗帘等)的距离的显著变化或例如由于屋顶收缩、墙壁移动等导致的总体积变化的变化)生成3D模型。
完整的新的3D模型或模型差异信息可以并且在一些实施例中作为更新的模型信息被发送到重放设备。除了更新的3D模型信息的生成和发送之外，更新的UV图信息可以并且在一些实施例中被生成并发送到重放设备以在使用更新的3D模型信息来渲染图像时使用。网格模型和/或UV图更新通常被定时以与场景变化一致和/或与发送的图像流中的图片组(GOP)边界对齐。以这种方式，新的模型和/或图的应用通常将开始在重放设备中应用于当前帧的解码不依赖于将使用较旧的模型或图渲染的帧或图像的点，因为每个GOP边界通常与帧内编码图像数据的发送一致。由于环境变化经常与场景变化(诸如窗帘的关闭、墙壁的移动等)相一致，场景变化点是实现新模型的便利点，并且在许多情况下将与触发更新的模型信息和/或更新的UV图的生成和发送的事件相一致。
图17示出了在示例性实施例中操作重放设备的方法1800的步骤。在一些实施例中，重放和渲染系统1900用于实现流程图1900的方法的步骤。在图17的示例性实施例中，重放设备接收信息，例如3D模型信息和UV图，然后在稍后的时间(例如，当事件在直播流的情况下正在进行时)接收反映对正被建模的3D环境的改变的更新的模型和/或UV图信息。例如，舞台变化和/或中断事件可能具有与之相关联的环境变化，其可以反映在新的模型信息和/或UV图中。在一些实施例中，更新的模型信息作为差异信息被传送到重放设备并被重放设备接收，其中重放设备使用指示来自原始模型结合原始模型信息(例如，定义网格的X、Y、Z空间中的原始节点坐标集合)的变化的接收信息来产生更新的网格模型，例如，通过用更新的网格模型信息中的坐标替换定义第一网格模型的坐标集合中的一些坐标来创建更新的网格模型。虽然在一些实施例中，模型差异信息被接收并用于创建更新的网格模型，但是在其他实施例中或在对先前提供的模型的大多数进行改变的情况下，完整的新的网格模型可以并且有时作为更新的网格模型信息的一部分被重放设备接收。网格模型更新信息可以基于深度测量，例如基于在事件期间捕获的光场相机和/或立体图像数据的环境距离测量。
除了接收更新的网格模型之外，在许多情况下，重放设备接收用于将图像(例如，帧)映射到3D空间(例如，映射到定义3D环境空间的3D网格模型)的对应的UV图。这些框架可以并且有时是从由安装在相机机架上的一个或多个立体相机对所捕获的图像数据生成的，该相机机架还包括用于捕获可用于更新3D图的一个或多个光场相机，例如Lytro相机。尽管当接收到更新的网格模型信息时，经常接收到新的或更新的UV图信息，但是如果3D网格模型中的节点数量在更新之前和之后保持相同，则UV图可能不会与3D网格模型在相同时间被更新。UV图信息可以作为完整的新的图或作为差异信息被发送和接收。因此，在一些实施例中，接收并处理UV图差异信息以生成更新的UV图。更新的差异图可以并且有时是通过将更新的UV图信息中指示的差异应用于先前的UV图来生成的。
流程图1800的方法在开始步骤1802中开始，其中诸如游戏控制台和显示器或头戴式显示器组件的重放设备被通电并被设置为开始接收、存储和处理3D相关的图像数据，例如代表从捕获的图像产生的纹理信息的帧，用于渲染图像的模型信息和/或UV图。操作从开始步骤1802进行到步骤1804，其中传送基于在第一时间使用光场相机进行的环境的至少一部分的测量而生成的3D环境(例如，体育场、剧院等)的第一网格模型的信息被接收和存储(例如在存储器中)。该模型可能并且有时是一组3D坐标(X，Y，Z)的形式，其指示从与用户观看位置相对应的原点到节点的距离。节点坐标定义网格模型。因此，在一些实施例中，第一网格模型信息包括第一组坐标三元组，每个三元组指示第一网格模型中的节点的X、Y、Z空间中的坐标。
网格模型包括以指示或预定方式通过节点的互连形成的段。例如，对于使用3个侧面段的网格模型的部分，网格的全部或一部分中的每个节点可以耦合到最近的3个相邻节点。在使用四个侧面段的网格模型的部分中，可以已知每个节点与其四个最近的邻居互连。除了节点位置信息之外，模型可以并且在一些实施例中包括关于模型中的节点如何互连的信息。在一些实施例中，传送3D环境的第一网格模型的信息包括定义完整的网格模型的信息。
操作从步骤1804进行到步骤1806，其中接收指示2D图像(例如，接收到的帧)如何包裹到第一3D模型上的第一图，例如第一UV图。第一UV图通常包括3D模型图的每个段的一个段，其中在第一UV图段与第一3D模型段之间存在一对一的指示或者已知的对应关系。第一UV图可以并且被用作图像渲染处理的一部分，以将对应于有时被称为UV空间的2D帧的内容应用(例如包裹)到第一3D模型的段。以与捕获的图像数据相对应的帧的形式的接收的纹理到由3D模型的段表示的3D环境的映射允许接收到的与立体图像对对应的左眼和右眼帧被渲染成分别要被用户的左眼和右眼观看的图像。
为了提供简单易懂的例子，接收第一3D模型和第一渲染图(例如，第一UV图)可一起出现或以任何顺序出现，并且在图17中示出为顺序操作。操作从步骤1806行进到步骤1808，其中接收到图像内容，例如一个或多个帧。图像内容可以并且在一些实施例中是以立体图像数据的形式，其中接收左眼和右眼图像对，每个眼睛的内容有时被表示为立体帧对的单个帧。在步骤1808中接收的图像内容通常将是对应于事件的一部分的帧对序列，例如视频序列。
操作从步骤1808进行到步骤1810，其中使用第一网格模型渲染至少一个图像。作为在步骤1810中执行的图像渲染的一部分，第一UV图用于确定如何将包括在接收到的图像内容中的图像包裹到第一网格模型上以生成可显示并由用户观看的图像。在一些实施例中，立体对的左眼和右眼图像中的每一个将被独立地渲染并且可以显示在显示器的不同部分上，使得不同的图像被左眼和右眼观看，从而允许图像被用户感知为具有3D效果。渲染后的图像通常在例如经由显示设备(在一些实施例中，该显示设备是安装在可佩戴在人的头部上的头盔中的手机显示器，例如作为头戴式显示设备)渲染之后显示给用户。
虽然作为步骤1810的一部分可以随着时间渲染和显示多个图像，但是在事件被捕获并流式传输以用于重放的某个时刻，可能会发生环境的变化，诸如窗帘被降低、舞台的墙壁被移动、体育场的圆顶被打开或关闭。这样的事件可以并且在各种实施例中将通过正在执行的环境测量被检测。响应于检测到环境的变化，可以通过处理所捕获的图像和/或环境测量的系统来生成新的3D网格模型和UV图。
在步骤1814中，接收更新的网格模型信息。在一些情况下，更新的网格模型包括基于对环境的一部分的测量而生成的更新的网格模型信息，例如新的节点点。测量可以对应于第一网格模型的先前测量对应的环境的相同部分和/或新测量可以包括环境部分的测量。这样的测量可以并且有时基于使用诸如前述图中所示的光场相机获得的相对于相机机架位置的环境深度测量。在一些实施例中，更新的网格模型信息包括基于在第二时间(例如，第一时间的时段之后的时间段)使用所述光场相机进行的所述环境的至少部分的测量而生成的至少一些更新的网格模型信息。
在步骤1814中接收的更新的网格模型信息可以是完整的更新的网格模型的形式，或以指示要对第一网格模型进行改变以形成更新的网格模型的差异信息的形式。因此，在一些实施例中，更新的网格模型信息是指示所述第一网格模型和更新的网格模型之间的差异的差异信息。在接收到模型差异信息时执行的可选步骤1815中，重放设备从第一网格模型和接收到的差异信息生成更新的网格模型。例如，在步骤1815中，不包括在更新的网格模型中的节点可以从表示第一网格模型的信息集中删除，并且用由接收到从而创建更新的网格模型的网格模块更新信息指示的新节点进行替换。因此，在一些实施例中，更新的网格模型信息包括指示要对第一网格模型进行改变以生成更新的网格模型的信息。在一些实施例中，更新的网格模型信息为3D环境中在第一和第二时间的时段之间已经改变的部分提供新的网格信息。在一些实施例中，更新的网格模型信息包括以下中的至少一个：i)第一网格模型信息中的至少一些节点的新的网格坐标集合，新的坐标旨在代替第一网格模型中相应节点的坐标；或ii)替换先前的坐标三元组集合而将用于网格模型的至少一部分的新的坐标三元组集合，新的坐标三元组集合包括与待替换的先前的坐标三元组集合相同或不同数量的坐标三元组。
除了接收更新的网格模型信息之外，重放设备可以接收更新的图信息。这在步骤1816中示出。更新的图信息可以是以用于将图像映射到更新的网格模型的完整的新的UV图的形式，或者以可以与第一图结合使用以生成更新的图的差异信息的形式。虽然不需要为每个3D模型更新提供更新的UV图，但UV图更新通常将会与模型更新同时发生，并且将在发生节点数量变化时发生，从而导致3D网格模型中不同数量的段。如果3D模型中的段和节点的数量保持不变，则不需要提供更新的图信息，但在许多情况下，考虑到环境形状的变化可能值得捕获的图像如何映射到正在使用的3D网格模型的变化，即使模型段的数量没有变化，也将提供更新的图信息。
如果接收到差异信息而不是完整的UV图，则操作从步骤1816进行到步骤1818。在步骤1818中，其在步骤1816中接收到图差异信息的情况下使用，通过将包括在接收到的更新的图信息中的图差异信息应用于第一图生成更新的图。在步骤1816中接收到完整的更新的UV图的情况下，由于接收到全部更新的图，因此不需要从差异信息生成更新的图。
与更新的3D网格模型和/或更新的UV图的接收和/或生成并行地或在其之后，在步骤1820中接收附加图像内容。附加图像内容可以并且有时对应于例如跟随第一3D模型对应的第一事件段的事件的第二部分。操作从步骤1820进行到步骤1822。在步骤1822中，渲染附加图像内容。作为在步骤1822中执行的图像渲染的一部分，更新的3D模型被用于渲染如步骤1824所示的所接收的附加图像内容中的至少一些。当可用时，更新的UV图也将如步骤1826所示地使用。当没有接收或生成更新的UV图时，步骤1822中的图像渲染将使用旧的(例如，第一UV图)作为渲染处理的一部分。输出在步骤1822中渲染的图像以用于显示。
3D模型和/或UV图的更新可以在响应于环境变化的呈现期间重复出现。对于重复的模型和UV图更新的这种进行潜力由箭头1827表示，箭头1827将处理返回到步骤1814，其中可以接收附加的更新的网格模型信息。在每次返回到步骤1814时，当前网格模型和UV模型被视为第一网格模型，用于在更新包括差异信息的情况下生成新的更新的网格模型和/或UV图。
关于图17描述的处理在重放设备处理器的控制下执行。因此，在一些实施例中，重放设备包括被配置为控制重放设备以实现图17所示的步骤的处理器。发送和接收步骤经由重放设备的接口(其包括发射器和接收器)来执行。
在一些实施例中，重放设备包括当由重放设备的处理器执行时控制重放设备以实现图17所示的步骤的指令。针对在图17中示出的每个步骤可以并且有时包括单独的处理器可执行代码。在其他实施例中，针对在图17中所示的每个独立步骤，在重放设备中包括电路。
图18示出了可用于接收、解码和显示由图12的系统1400的一个或多个子系统(例如，诸如处理系统1408/1700)流式传输的内容的示例性重放设备，例如系统1900。示例性渲染和重放系统1900可以用作图12所示的渲染和重放设备中的任何一个。在各种实施例中，重放系统1900用于执行图17的流程图1800所示的各个步骤。
在一些实施例中，渲染和重放系统1900包括和/或耦合到3D头戴式显示器1905。系统1900包括对接收到的编码图像数据进行解码并生成用于向客户显示的3D图像内容的能力。在一些实施例中，重放系统1900位于诸如家庭或办公室之类的客户端位置处，但是也可以位于图像捕获站点处。重放系统1900可以执行根据本发明的信号接收、解码、3D网格模型更新、呈现、显示和/或其他操作。
重放系统1900包括显示器1902、显示设备接口1903、用户输入接口设备1904、输入/输出(I/O)接口1906、处理器1908、网络接口1910和存储器1912。重放系统1900的各种部件经由总线1909耦合在一起，总线1909允许在系统1900的部件之间传送数据。
尽管在一些实施例中，显示器1902被包括为如使用虚线框所示的可选元件，但是在一些实施例中，外部显示设备1905(例如头戴式立体显示设备)可以经由显示设备接口1903耦合到重放系统1900。头戴显示器1202可以使用可以包括头戴式显示器1202的OCULUSRIFTTM VR(虚拟现实)耳机来实现。也可以使用其他头戴式显示器。图像内容呈现在系统1900的显示设备上，例如，在立体内容的情况下，用户的左眼和右眼被呈现不同的图像。通过在单个屏幕上向左眼和右眼(例如，在单个屏幕的不同部分上向不同的眼睛)显示不同的图像，可以使用单个显示器来显示左眼图像和右眼图像，其将被观察者的左眼和右眼单独地感知。虽然各种实施例考虑了要在系统1900中使用头戴式显示器，但是该方法和系统也可以与可支持3D图像的非头戴式显示器一起使用。
重放系统1900的操作者可以控制一个或多个参数和/或经由用户输入设备1904提供输入。输入设备1904可以是并且在一些实施例中是例如键盘、触摸屏或可用于输入信息、数据和/或指令的类似设备。
经由I/O接口1906，重放系统1900可以耦合到外部设备，并与这样的外部设备交换信息和信令。在一些实施例中，经由I/O接口1906，重放系统1900接收由各种相机(例如，立体相机对和/或光场相机)捕获的图像，接收3D网格模型和UV图。
存储器1912包括各种模块(例如例程)，当由处理器1908执行时，它们控制重放系统1900根据本发明执行操作。存储器1912包括控制例程1914、用户输入处理模块1916、头部位置和/或视角确定模块1918、解码器模块1920、也被称为3D图像生成模块的立体图像渲染模块1922、3D网格模型更新模块1924、UV图更新模块1926、接收的3D网格模型1928、接收的UV图1930以及包括接收的编码图像内容1932、解码图像内容1934、更新的3D网格模型信息1936、更新的UV图信息1938、更新的3D网格模型1940、更新的UV图1940和生成的立体内容1934的数据/信息。
处理器1908(例如，CPU)执行例程1914，并且使用各种模块来控制系统1900根据本发明进行操作。处理器1908负责控制系统1100的整体通用操作。在各种实施例中，处理器1108被配置为执行已被讨论为由渲染和重放系统1900执行的功能。
网络接口1910包括发射器1911和接收器1913，其允许重放系统1900能够通过通信网络(例如，诸如通信网络1450)接收和/或向外部设备传送信息。在一些实施例中，重放系统1900例如经由接口1910通过通信网络1450从处理系统1700接收图像内容1932、3D网格模型1928、UV图1930、更新的网格模型信息1936、更新的UV图信息1938。因此，在一些实施例中，重放系统1900经由接口1910接收传送基于在第一时间使用光场相机进行的环境的至少一部分的测量而生成的3D环境的第一网格模型(例如，3D网格模型1928)的信息。在一些实施例中，重放系统1900进一步经由接口1910接收图像内容，例如左眼图像和右眼图像对的帧。
控制例程1914包括用于控制系统1900的操作的设备控制例程和通信例程。请求生成模块1916被配置为例如在用户选择要重放的项目时生成对内容的请求。接收的信息处理模块1917被配置为处理由系统1900例如经由接口1906和/或1910的接收器接收的信息(例如图像内容、音频数据、环境模型、UV图等)，以恢复可以由系统1900使用的所传送的信息，例如用于渲染和重放。头部位置和/或视角确定模块1918被配置为确定用户的当前视角和/或当前头部位置(例如，定向，例如头戴式显示器的定向)，并且在一些实施例中向处理系统1700报告确定的位置和/或视角信息。
解码器模块1920被配置为对从处理系统1700或相机机架1402接收的编码图像内容1932进行解码，以产生解码图像数据1934。解码图像数据1934可以包括解码的立体场景和/或解码的场景部分。
3D图像渲染器1922使用解码图像数据来根据本发明的特征生成3D图像内容，以在显示器1902和/或显示设备1905上向用户显示。在一些实施例中，3D图像渲染器1922被配置为使用第一3D网格模型渲染所接收的图像内容中的至少一些。在一些实施例中，3D图像渲染器1922还被配置为使用第一UV图来确定如何将包括在接收的图像内容中的图像包裹到第一3D网格模型上。
3D网格模型更新模块1924被配置为使用接收到的更新的网格模型信息1936来更新接收的第一3D网格模型1928(例如，最初接收的网格模型)，以生成更新的网格模型1940。在一些实施例中，接收到的更新的网格模型信息1936包括反映相对于由重放设备1900接收的3D网格模型的先前版本的改变的网格模型差异信息。在一些其他实施例中，接收到的更新的网格模型信息1936包括用于生成完全完整的3D网格模型的信息，所述完全完整的3D网格模型然后作为更新的网格模型1940输出。
UV图更新模块1926被配置为使用接收到的更新的UV图信息1938来更新所接收的第一UV图1930(例如，最初接收的UV图)以生成更新的UV图1942。在一些实施例中，所接收的更新的UV图信息1938包括反映相对于由重放设备1900接收的UV图的先前版本的变化的差异信息。在一些其他实施例中，所接收的更新的UV图信息1938包括用于生成完全完整的UV图的信息，所述完全完整的UV图然后作为更新的UV图1942被输出。
在各种实施例中，当根据本发明更新3D网格模型和/或UV图时，3D图像渲染模块1922还被配置为使用更新的网格模型渲染图像内容(例如，附加图像内容)中的至少一些。在一些这样的实施例中，3D图像渲染模块1922还被配置为使用更新的UV图来确定如何将包括在要渲染的图像内容中的图像包裹到更新的3D网格模型上。生成的立体图像内容1944是3D图像渲染模块1922的输出。
在一些实施例中，一些模块例如作为电路被实现在处理器1908内，其中其他模块例如作为电路被在处理器外部实现并耦合到处理器。或者，不是被实现为电路，而是可以以软件实现所有或一些模块，并将其存储在重放设备1900的存储器中，其中模块控制重放设备1900的操作以实现当模块由处理器(例如，处理器1908)执行时与模块对应的功能。在其他实施例中，各种模块被实现为硬件和软件的组合，例如，利用处理器1908外部的电路向处理器1908提供输入，处理器1908然后在软件控制下进行操作以执行模块功能的一部分。
尽管图18所示的示例将被包括在存储器1912中，但是示出为包括在存储器1912中的模块可以并且在一些实施例中在处理器1908内完全以硬件实现，例如作为独立的电路。在其他实施例中，一些元件被在处理器1108内实现为例如电路，其他元件被在处理器1108外部实现为例如电路并连接到处理器1108。应当理解的是，处理器上的模块的集成度和/或使一些模块在处理器外部可以是设计选择之一。
尽管在图18的实施例中示出为设备1900内的单个处理器1908(例如计算机)，但是应当理解，处理器1908可以被实现为一个或多个处理器，例如计算机。当以软件实现时，模块包括代码，当由处理器1908执行时，代码将该处理器(例如计算机)配置为实现与该模块相对应的功能。在一些实施例中，处理器1908被配置为实现图18示例中的存储器1912中所示的每个模块。在模块存储在存储器1912中的实施例中，存储器1912是计算机程序产品，该计算机程序产品包括计算机可读介质(例如非暂时计算机可读介质)，其包括代码(例如针对每个模块的独立代码)，用于使至少一个计算机(例如，处理器1908)实现模块对应的功能。
应当理解，图18中所示的模块分别控制和/或配置系统1900或其中的元件(诸如处理器1908)，以执行本发明的方法的相应步骤的功能，例如在流程图1800中示出和/或描述的那些。
在一个示例性实施例中，处理器1908被配置为控制重放设备1900：例如经由接口1910接收传送基于在第一时间使用光场相机进行的所述环境的至少一部分的测量而生成的3D环境的第一网格模型的信息；例如通过接口1910接收图像内容；以及使用所述第一网格模型渲染所接收的图像内容中的至少一些。
在一些实施例中，处理器还被配置为控制重放设备例如经由接口1910接收更新的网格模型信息，所述更新的网格模型信息包括在第二时间使用所述光场相机进行的所述环境的所述至少部分的测量而生成的更新的网格模型信息中的至少一些。在一些实施例中，更新的网格模型信息传送完整的更新的网格模型。
在一些实施例中，处理器还被配置为控制重放设备以：接收附加图像内容；以及使用所述更新的网格模型信息渲染所接收的附加图像内容中的至少一些。
在一些实施例中，处理器还被配置为控制重放设备以：接收(例如，经由接口1910或1906)将2D图像空间映射到所述第一网格模型的第一图；以及作为被配置为使用所述第一网格模型渲染所接收的图像内容中的至少一些的一部分，使用所述第一图来确定如何将包括在所述接收的图像内容中的图像包裹到所述第一网格模型上。
在一些实施例中，处理器还被配置为控制重放设备：接收(例如经由接口1910或1906)与所述更新的网格模型信息相对应的更新的图信息；以及作为被配置为使用所述更新的网格模型信息渲染所接收的附加图像内容中的至少一些的一部分，使用所述更新的图信息来确定如何将包括在所述接收到的附加图像内容中的附加图像包裹到所述更新的网格模型上。
在一些实施例中，更新的图信息包括图差异信息。在一些这样的实施例中，处理器还被配置成控制重放设备：通过将所述图差异信息应用于所述第一图来生成更新的图以生成更新的图；以及作为使用所述更新的网格模型信息对接收的附加图像内容中的至少一些进行渲染的一部分，使用所述更新的图来确定如何将所述接收的附加图像内容中包括的附加图像包裹到所述更新的网格模型上。
虽然步骤被以示例性顺序示出，但是应当理解，在许多情况下，可以改变步骤的顺序而不会不利地影响操作。因此，除非为了适当的操作需要步骤的示例性顺序，否则步骤的顺序被认为是示例性的而不是限制性的。
虽然已经讨论了各种实施例，但是应当理解，并不一定所有实施例都包括相同的特征，并且所述的特征中的一些不是必需的，但在一些实施例中可能是期望的。
虽然描述了各种范围和示例性值，但范围和值是示例性的。在一些实施例中，值的范围比上述范围大20％。在其他实施例中，该范围比上述示例性范围小20％。类似地，特定值可以并且有时比以上指定值高于达20％，而在其他实施例中，值比以上指定值低于达20％。在其他实施例中，使用其他值。
图19示出了可以在各种实施例中使用的示例性3D网格模型2000，其中多个节点被示出为用于将3D模型划分成段的线的交点。请注意，图19的模型在3D空间中示出，并且可以表示为一组定义3D空间中的网格中的节点的位置的[X，Y，Z]坐标，其中假设段的形状已知或者用于互连节点的规则在3D模型中是已知的或定义的。在一些实施例中，段被预定为具有相同数量的边，每个节点通过直线连接到预定数量的相邻节点。在图19的示例中，模型2000的顶部是一组三角形段，而侧部由多个四侧面段形成。这样的配置(例如，顶部由三侧面段形成并且侧部由四侧面段形成)可以被包括在形成3D模型的部分的信息中或被预定。这些信息与网格模型信息一起或作为网格模型信息的一部分被提供给客户渲染和重放设备。
图20示出了可以用于将有时称为2D UV空间的帧映射到图19所示的3D模型2000的示例性UV图2002。注意，UV图2002包括与3D模型2000相同数量的节点和段，其中具有一一映射关系。在与模拟环境的3D模型2000内的位置[0，0，0]相对应的位置处提供有时被称为纹理但通常包括从在真实环境中的相机机架的有利位置捕获的图像的内容的帧可以根据图2002应用(例如，包裹)在3D模型2000上，作为图像渲染操作的一部分。
在图19和20中，与其他网格节点一样，在UV图2002和3D模型2000两者中示出了显示为强调点的示例性节点P。注意，节点P[X，Y，Z]对应于节点P[U，V]，其中X、Y、Z指定节点P在X、Y、Z空间中的位置和U、V指定相应节点P在二维空间中的位置。每个U、V对表示2D图像纹理(例如帧)的单个像素的X、Y。在渲染处理期间，通过在附近的U、V对之间进行内插，将周围像素从2D帧映射到3D网格。
各种实施例的技术可以使用软件、硬件和/或软件和硬件的组合来实现。各种实施例涉及装置，例如图像数据捕获和处理系统。各种实施例还涉及方法，例如，图像捕获和/或处理图像数据的方法。各种实施例还涉及非暂时性机器(例如计算机)、可读介质(例如ROM、RAM、CD、硬盘等)，其包括用于控制机器实现方法的一个或多个步骤的机器可读指令。
使用模块实现本发明的各种特征。在一些实施例中，这样的模块可以被实现为软件模块。在其他实施例中，模块以硬件实现。在其他实施例中，使用软件和硬件的组合实现模块。在一些实施例中，模块被实现为独立的电路，其中每个模块被实现为用于执行模块对应的功能的电路。考虑了各种各样的实施例，包括其中不同的模块被不同地实现(例如，一些以硬件实现、一些以软件实现、以及一些使用硬件和软件的组合实现)的一些实施例。还应该注意的是，与在通用处理器上执行的软件相反，可以在专用硬件中实现例程和/或子程序，或由这些例程执行的一些步骤。这样的实施例保持在本发明的范围内。上述方法或方法步骤中的许多可以使用包括在诸如存储器设备(RAM、软盘等)的机器可读介质中的机器可执行指令(诸如软件)来实现以控制机器(例如具有或不具有附加硬件的通用计算机)来实现上述方法的全部或部分。因此，本发明尤其涉及包括用于使机器(例如处理器和相关联的硬件)执行上述方法(一个或多个)的步骤中的一个或多个的机器可执行指令的机器可读介质。
一些实施例涉及体现用于控制计算机或其他设备对立体视频进行编码和压缩的一组软件指令(例如，计算机可执行指令)的非暂时计算机可读介质。其他实施例是涉及体现用于控制计算机或其他设备在播放器端对视频进行解码和解压缩的一组软件指令(例如，计算机可执行指令)的计算机可读介质的实施例。尽管编码和压缩被提及为可能的单独的操作，但是应当理解，可以使用编码来执行压缩，并且因此编码可以在一些中包括压缩。类似地，解码可能涉及解压缩。
在各种实施例中，处理系统的处理器被配置为控制处理系统执行由示例性描述的处理系统执行的方法步骤。在各种实施例中，重放设备的处理器被配置为控制重放设备实现由重放设备执行的在本申请中描述的方法中的一种或多种的步骤。
鉴于上述描述，对于本领域技术人员来说，上述各种实施例的方法和装置的许多附加变化将是显而易见的。这种变化将被认为在范围之内。

Claims (20)

1.一种操作重放设备的方法，所述方法包括：
接收传送基于在第一时间使用光场相机进行的环境的一部分的测量而生成的3D环境的第一网格模型的信息；
接收图像内容；以及
使用所述第一网格模型对所接收的图像内容中的至少一些进行渲染。
2.根据权利要求1所述的方法，还包括：
接收更新的网格模型信息，所述更新的网格模型信息包括基于在第二时间使用所述光场相机进行的所述环境的所述部分的测量而生成的至少一些更新的网格模型信息。
3.根据权利要求2所述的方法，还包括：
接收附加图像内容；以及
使用所述更新的网格模型信息对所接收的附加图像内容中的至少一些进行渲染。
4.根据权利要求3所述的方法，其中，传送所述3D环境的第一网格模型的所述信息包括定义完整的网格模型的信息。
5.根据权利要求4所述的方法，其中，所述更新的网格模型信息传送完整的更新的网格模型。
6.根据权利要求5所述的方法，其中，所述更新的网格模型信息为所述3D环境中在所述第一时间和所述第二时间的时段之间已经改变的部分提供新的网格信息。
7.根据权利要求6所述的方法，其中，所述更新的网格模型信息是指示所述第一网格模型和更新的网格模型之间的差异的差异信息。
8.根据权利要求7所述的方法，其中，所述第一网格模型信息包括第一坐标三元组集合，每个坐标三元组指示所述第一网格模型中的节点的X、Y、Z空间中的坐标。
9.根据权利要求8所述的方法，其中，所述更新的网格模型信息包括以下中的至少一个：i)所述第一网格模型信息中的至少一些节点的新的网格坐标集合，新的坐标旨在代替所述第一网格模型中的相应节点的坐标；或ii)代替先前的坐标三元组集合的用于所述第一网格模型的至少一部分的新的坐标三元组集合，所述新的坐标三元组集合包括与要被代替的先前的坐标三元组集合相同或不同数量的坐标三元组。
10.根据权利要求9所述的方法，还包括：
接收将2D图像空间映射到所述第一网格模型的第一图；以及
其中，使用所述第一网格模型对所接收的图像内容中的至少一些进行渲染包括使用所述第一图来确定如何将包含在所述接收的图像内容中的图像包裹到所述第一网格模型上。
11.根据权利要求10所述的方法，还包括：
接收对应于所述更新的网格模型信息的更新的图信息；以及
其中，使用所述更新的网格模型信息来对所接收的附加图像内容中的至少一些进行渲染包括使用所述更新的图信息来确定如何将包括在所述接收的附加图像内容中的附加图像包裹到所述更新的网格模型上。
12.根据权利要求11所述的方法，其中，所述更新的图信息包括图差异信息，所述方法还包括：
通过将所述图差异信息应用于所述第一图以生成更新的图来生成更新的图；以及
其中，使用所述更新的网格模型信息来对所接收的附加图像内容中的至少一些进行渲染包括使用所述更新的图来确定如何将包括在所述接收的附加图像内容中的附加图像包裹到所述更新的网格模型上。
13.一种包括计算机可执行指令的计算机可读介质，所述计算机可执行指令在被计算机执行时控制所述计算机：
接收传送基于在第一时间使用光场相机进行的环境的一部分的测量而生成的3D环境的第一网格模型的信息；
接收图像内容；以及
使用所述第一网格模型对所接收的图像内容中的至少一些进行渲染。
14.一种重放装置，包括：
处理器，被配置为控制所述重放装置：
接收传送基于在第一时间使用光场相机进行的环境的一部分的测量而生成的3D环境的第一网格模型的信息；
接收图像内容；以及
使用所述第一网格模型对所接收的图像内容中的至少一些进行渲染。
15.根据权利要求14所述的重放装置，其中，所述处理器还被配置为控制所述重放装置以：
接收更新的网格模型信息，所述更新的网格模型信息包括基于在第二时间使用所述光场相机进行的所述环境的所述部分的测量而生成的至少一些更新的网格模型信息。
16.根据权利要求15所述的重放装置，其中，所述处理器还被配置为控制所述重放装置以：
接收附加图像内容；以及
使用所述更新的网格模型信息对所接收的附加图像内容中的至少一些进行渲染。
17.根据权利要求14所述的重放装置，其中，所述处理器还被配置为控制所述重放装置以：
接收将2D图像空间映射到所述第一网格模型的第一图；以及
作为被配置为使用所述第一网格模型对所接收的图像内容中的至少一些进行渲染的一部分，使用所述第一图来确定如何将包括在所述接收的图像内容中的图像包裹到所述第一网格模型上。
18.根据权利要求17所述的重放装置，其中，所述处理器还被配置为控制所述重放装置以：
接收对应于所述更新的网格模型信息的更新的图信息；以及
作为被配置为使用所述更新的网格模型信息对所接收的附加图像内容中的至少一些进行渲染的一部分，使用所述更新的图信息来确定如何将包括在所述接收的附加图像内容中的附加图像包裹到所述更新的网格模型上。
19.根据权利要求18所述的重放装置，其中，所述更新的图信息包括图差异信息；以及
其中，所述处理器还被配置为控制所述重放装置以：
通过将所述图差异信息应用于所述第一图以生成更新的图来生成更新的图；以及
作为使用所述更新的网格模型信息对所接收的附加图像内容中的至少一些进行渲染的一部分，使用所述更新的图来确定如何将包括在所述接收的附加图像内容中的附加图像包裹到所述更新的网格模型上。
20.根据权利要求16所述的重放装置，其中，传送所述3D环境的第一网格模型的所述信息包括定义完整的网格模型的信息。
CN201680021794.7A 2015-03-01 2016-03-01 进行环境测量和/或在3d图像渲染中使用此类测量的方法和装置 Pending CN107430446A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201562126701P 2015-03-01 2015-03-01
US201562126709P 2015-03-01 2015-03-01
US62/126,709 2015-03-01
US62/126,701 2015-03-01
US201562127215P 2015-03-02 2015-03-02
US62/127,215 2015-03-02
PCT/US2016/020159 WO2016140934A2 (en) 2015-03-01 2016-03-01 Methods and apparatus for making environmental measurements and/or using such measurements in 3d image rendering

Publications (1)

Publication Number Publication Date
CN107430446A true CN107430446A (zh) 2017-12-01

Family

ID=56798339

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201680021622.XA Pending CN107431801A (zh) 2015-03-01 2016-03-01 支持内容生成、发送和/或重放的方法和设备
CN201680021794.7A Pending CN107430446A (zh) 2015-03-01 2016-03-01 进行环境测量和/或在3d图像渲染中使用此类测量的方法和装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201680021622.XA Pending CN107431801A (zh) 2015-03-01 2016-03-01 支持内容生成、发送和/或重放的方法和设备

Country Status (7)

Country Link
US (9) US20160253839A1 (zh)
EP (2) EP3265999A4 (zh)
JP (2) JP2018514968A (zh)
KR (1) KR20170127505A (zh)
CN (2) CN107431801A (zh)
CA (1) CA2977113A1 (zh)
WO (2) WO2016140934A2 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110996087A (zh) * 2019-12-10 2020-04-10 腾讯科技（深圳）有限公司 视频显示方法、装置
CN116349222A (zh) * 2020-10-09 2023-06-27 开放空间实验室公司 利用集成图像帧渲染基于深度的三维模型

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11277598B2 (en) * 2009-07-14 2022-03-15 Cable Television Laboratories, Inc. Systems and methods for network-based media processing
US9958843B2 (en) * 2012-11-07 2018-05-01 Hitachi, Ltd. System and program for managing management target system
TWI527434B (zh) * 2014-03-21 2016-03-21 國立臺灣大學 利用光場相機產生立體影像的方法及光場相機
US10027948B2 (en) 2014-05-20 2018-07-17 Nextvr Inc. Methods and apparatus including or for use with one or more cameras
US10531071B2 (en) 2015-01-21 2020-01-07 Nextvr Inc. Methods and apparatus for environmental measurements and/or stereoscopic image capture
US9832449B2 (en) 2015-01-30 2017-11-28 Nextvr Inc. Methods and apparatus for controlling a viewing position
KR102533555B1 (ko) 2015-02-17 2023-05-18 네버마인드 캐피탈 엘엘씨 감축된 해상도 이미지들을 생성 및 이용하고 및/또는 재생 또는 컨텐트 분배 디바이스에 이러한 이미지들을 통신하기 위한 방법들 및 장치
US10362290B2 (en) 2015-02-17 2019-07-23 Nextvr Inc. Methods and apparatus for processing content based on viewing information and/or communicating content
US9894350B2 (en) 2015-02-24 2018-02-13 Nextvr Inc. Methods and apparatus related to capturing and/or rendering images
CN107431801A (zh) 2015-03-01 2017-12-01 奈克斯特Vr股份有限公司 支持内容生成、发送和/或重放的方法和设备
US10368104B1 (en) * 2015-04-01 2019-07-30 Rockwell Collins, Inc. Systems and methods for transmission of synchronized physical and visible images for three dimensional display
US9930315B2 (en) 2015-04-29 2018-03-27 Lucid VR, Inc. Stereoscopic 3D camera for virtual reality experience
US10066933B2 (en) * 2015-05-04 2018-09-04 Facebook, Inc. Camera depth mapping using structured light patterns
US10785393B2 (en) 2015-05-22 2020-09-22 Facebook, Inc. Methods and devices for selective flash illumination
US9836845B2 (en) 2015-08-25 2017-12-05 Nextvr Inc. Methods and apparatus for detecting objects in proximity to a viewer and presenting visual representations of objects in a simulated environment
US11217009B2 (en) 2015-11-30 2022-01-04 Photopotech LLC Methods for collecting and processing image information to produce digital assets
US10706621B2 (en) * 2015-11-30 2020-07-07 Photopotech LLC Systems and methods for processing image information
US10057562B2 (en) * 2016-04-06 2018-08-21 Facebook, Inc. Generating intermediate views using optical flow
US10210660B2 (en) * 2016-04-06 2019-02-19 Facebook, Inc. Removing occlusion in camera views
CN107316273B (zh) * 2016-04-27 2021-05-18 深圳看到科技有限公司 全景图像采集装置及采集方法
US10979607B2 (en) 2016-07-20 2021-04-13 Apple Inc. Camera apparatus and methods
US20180032638A1 (en) * 2016-07-27 2018-02-01 Toyota Motor Engineering & Manufacturing North America, Inc. Surface Analysis Systems and Methods of Generating a Comparator Surface Reference Model of a Multi-Part Assembly Using the Same
US10200672B2 (en) 2016-08-17 2019-02-05 Nextvr Inc. Methods and apparatus for capturing images of an environment
WO2018063957A1 (en) * 2016-09-30 2018-04-05 Silver VR Technologies, Inc. Methods and systems for virtual reality streaming and replay of computer video games
US10325391B2 (en) * 2016-11-21 2019-06-18 Qualcomm Incorporated Oriented image stitching for spherical image content
EP3545675A4 (en) * 2016-11-24 2020-07-01 The University of Washington CAPTURE AND RESTITUTION OF LIGHT FIELD FOR HEADSETS
CN206523701U (zh) * 2016-12-30 2017-09-26 深圳市大疆创新科技有限公司 可穿戴设备
US10567733B2 (en) 2017-03-06 2020-02-18 Nextvr Inc. Methods and apparatus for communicating and/or using frames including a captured image and/or including additional image content
US11252391B2 (en) 2017-03-06 2022-02-15 Nevermind Capital Llc Methods and apparatus for packing images into a frame and/or including additional content or graphics
US10742964B2 (en) 2017-04-04 2020-08-11 Nextvr Inc. Methods and apparatus for displaying images
US10509947B1 (en) 2017-04-11 2019-12-17 Zoox, Inc. Converting multi-dimensional data for image analysis
US10593042B1 (en) * 2017-04-11 2020-03-17 Zoox, Inc. Perspective conversion for multi-dimensional data analysis
US10777018B2 (en) * 2017-05-17 2020-09-15 Bespoke, Inc. Systems and methods for determining the scale of human anatomy from images
US10255949B2 (en) 2017-05-31 2019-04-09 Verizon Patent And Licensing Inc. Methods and systems for customizing virtual reality data
US11176098B2 (en) * 2017-06-01 2021-11-16 Edx Technologies, Inc. Methods and systems for providing customized virtual and augmented realities
US10304251B2 (en) * 2017-06-15 2019-05-28 Microsoft Technology Licensing, Llc Virtually representing spaces and objects while maintaining physical properties
GB2563895B (en) * 2017-06-29 2019-09-18 Sony Interactive Entertainment Inc Video generation method and apparatus
CN107506236A (zh) * 2017-09-01 2017-12-22 上海智视网络科技有限公司 显示设备及其显示方法
US10460509B2 (en) * 2017-11-07 2019-10-29 Dolby Laboratories Licensing Corporation Parameterizing 3D scenes for volumetric viewing
US11451881B2 (en) * 2017-12-15 2022-09-20 Interdigital Madison Patent Holdings, Sas Method for using viewing paths in navigation of 360 degree videos
CA3033605C (en) * 2018-02-14 2021-11-23 Aaron Derouin Three-dimensional visual target acquisition systems
US10652567B2 (en) * 2018-03-28 2020-05-12 Apple Inc. Applications for decoder-side modeling of objects identified in decoded video data
US10735709B2 (en) 2018-04-04 2020-08-04 Nextvr Inc. Methods and apparatus for capturing, processing and/or communicating images
US10586343B1 (en) * 2018-06-01 2020-03-10 Facebook Technologies, Llc 3-d head mounted display based environmental modeling system
CN108616743B (zh) * 2018-06-04 2019-12-31 盎锐（上海）信息科技有限公司 用于生成3d模型的成像装置及方法
EP3588249A1 (en) * 2018-06-26 2020-01-01 Koninklijke Philips N.V. Apparatus and method for generating images of a scene
US10861249B2 (en) * 2018-07-27 2020-12-08 The Q Digital Technologies, Inc. Methods and system for manipulating digital assets on a three-dimensional viewing platform
US11557060B2 (en) * 2018-11-05 2023-01-17 Wayfair Llc Systems and methods for scanning three-dimensional objects
CN109379579B (zh) * 2018-11-20 2020-03-17 四川长虹电器股份有限公司 一种实时采集光场真三维数据的处理方法
CN110059151B (zh) * 2019-04-26 2022-10-25 北京百度网讯科技有限公司 地图渲染方法、地图渲染装置、地图服务器和存储介质
CN110266955B (zh) * 2019-06-28 2021-01-26 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备以及存储介质
WO2021019723A1 (ja) * 2019-07-31 2021-02-04 日本電信電話株式会社 複合現実空間共有システム、共有情報管理サーバ、複合現実端末、複合現実空間共有方法および共有情報管理プログラム
CN111028350B (zh) * 2019-11-21 2022-05-20 大连理工大学 一种利用双目立体相机构建栅格地图的方法
WO2021108913A1 (en) * 2019-12-04 2021-06-10 Studio Thinkwell Montréal Inc. Video system, method for calibrating the video system and method for capturing an image using the video system
US11710247B2 (en) 2020-01-30 2023-07-25 Unity Technologies Sf System for image compositing including training with synthetic data
US11676252B2 (en) 2020-01-31 2023-06-13 Unity Technologies Sf Image processing for reducing artifacts caused by removal of scene elements from images
US20210274092A1 (en) 2020-02-28 2021-09-02 Weta Digital Limited Reconstruction of obscured views in captured imagery using pixel replacement from secondary imagery
US20210274091A1 (en) 2020-02-28 2021-09-02 Weta Digital Limited Reconstruction of obscured views of captured imagery using arbitrary captured inputs
US11694313B2 (en) * 2020-02-28 2023-07-04 Unity Technologies Sf Computer-generated image processing including volumetric scene reconstruction
US11369874B2 (en) * 2020-04-29 2022-06-28 Lenovo (Singapore) Pte. Ltd. Rendering video game on display device using GPU in display device and video game data from second device
US10949986B1 (en) 2020-05-12 2021-03-16 Proprio, Inc. Methods and systems for imaging a scene, such as a medical scene, and tracking objects within the scene
US11776210B2 (en) * 2021-01-22 2023-10-03 Sony Group Corporation 3D face modeling based on neural networks
JP2023544072A (ja) * 2021-09-01 2023-10-20 グーグル エルエルシー ハイブリッド深度マップ
KR20230079618A (ko) * 2021-11-29 2023-06-07 삼성전자주식회사 인체를 3차원 모델링하는 방법 및 장치
KR102421512B1 (ko) * 2022-03-14 2022-07-15 정현인 휴대용 입체촬영 카메라 및 시스템
EP4383687A1 (en) * 2022-12-08 2024-06-12 Amadeus S.A.S. Multi-platform content normalization engine
US12107933B1 (en) 2023-06-28 2024-10-01 Amadeus S.A.S. Context based computing resource intermediation engine

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6262737B1 (en) * 1998-01-30 2001-07-17 University Of Southern California 3D mesh compression and coding
US20060125921A1 (en) * 1999-08-09 2006-06-15 Fuji Xerox Co., Ltd. Method and system for compensating for parallax in multiple camera systems
CN100416613C (zh) * 2002-09-29 2008-09-03 西安交通大学 计算机网络环境智能化场景绘制装置系统及绘制处理方法
CN101661623A (zh) * 2009-10-21 2010-03-03 上海交通大学 基于线性规划的变形体三维跟踪方法
CN101794462A (zh) * 2010-03-12 2010-08-04 中山大学 一种基于纹理的三维网格模型变形方法及系统
US20110045428A1 (en) * 2009-08-21 2011-02-24 Anatoliy Boltunov Digital dental modeling
CN102625126A (zh) * 2012-03-22 2012-08-01 北京工业大学 一种基于预测的三维网格编码方法
CN102622776A (zh) * 2011-01-31 2012-08-01 微软公司 三维环境重构
US20140176535A1 (en) * 2012-12-26 2014-06-26 Scott A. Krig Apparatus for enhancement of 3-d images using depth mapping and light source synthesis
CN103988226A (zh) * 2011-08-31 2014-08-13 Metaio有限公司 用于估计摄像机运动以及用于确定实境三维模型的方法
CN104008569A (zh) * 2014-02-24 2014-08-27 惠州学院 一种基于深度视频的3d场景生成方法

Family Cites Families (87)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5187571A (en) 1991-02-01 1993-02-16 Bell Communications Research, Inc. Television system for displaying multiple views of a remote location
US6111582A (en) 1996-12-20 2000-08-29 Jenkins; Barry L. System and method of image generation and encoding using primitive reprojection
US5963203A (en) * 1997-07-03 1999-10-05 Obvious Technology, Inc. Interactive video icon with designated viewing position
US6573907B1 (en) * 1997-07-03 2003-06-03 Obvious Technology Network distribution and management of interactive video and multi-media containers
US6445398B1 (en) 1998-02-04 2002-09-03 Corporate Media Partners Method and system for providing user interface for electronic program guide
US6476806B1 (en) * 1999-04-16 2002-11-05 Hewlett-Packard Company Method and apparatus for performing occlusion testing while exploiting frame to frame temporal coherence
US6574360B1 (en) * 1999-07-23 2003-06-03 International Business Machines Corp. Accelerated occlusion culling using directional discretized occluders and system therefore
US6970591B1 (en) * 1999-11-25 2005-11-29 Canon Kabushiki Kaisha Image processing apparatus
US6990228B1 (en) 1999-12-17 2006-01-24 Canon Kabushiki Kaisha Image processing apparatus
US6664961B2 (en) * 2000-12-20 2003-12-16 Rutgers, The State University Of Nj Resample and composite engine for real-time volume rendering
US8401336B2 (en) 2001-05-04 2013-03-19 Legend3D, Inc. System and method for rapid image sequence depth enhancement with augmented computer-generated elements
US20020196250A1 (en) * 2001-06-20 2002-12-26 Gateway, Inc. Parts assembly for virtual representation and content creation
US6982715B2 (en) * 2002-07-26 2006-01-03 Intel Corporation Mesh compression process
US7348989B2 (en) 2003-03-07 2008-03-25 Arch Vision, Inc. Preparing digital images for display utilizing view-dependent texturing
EP1587035A1 (en) 2004-04-14 2005-10-19 Koninklijke Philips Electronics N.V. Ghost artifact reduction for rendering 2.5D graphics
GB2415344B (en) * 2004-06-14 2010-10-06 Canon Europa Nv Texture data compression and rendering in 3D computer graphics
GB2445008B (en) * 2006-12-20 2008-12-31 Sony Comp Entertainment Europe Image compression and/or decompression
KR100914846B1 (ko) 2007-12-15 2009-09-02 한국전자통신연구원 2차원 환경에서 3차원 모델의 텍스쳐 맵 제작 방법 및시스템
JP2010028456A (ja) 2008-07-18 2010-02-04 Sony Corp データ構造、再生装置および方法、並びにプログラム
EP2308241B1 (en) 2008-07-24 2017-04-12 Koninklijke Philips N.V. Versatile 3-d picture format
KR101502362B1 (ko) 2008-10-10 2015-03-13 삼성전자주식회사 영상처리 장치 및 방법
US8451320B1 (en) 2009-01-23 2013-05-28 Next3D, Inc. Methods and apparatus for stereoscopic video compression, encoding, transmission, decoding and/or decompression
JP5820276B2 (ja) 2009-02-17 2015-11-24 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ３ｄ画像及びグラフィカル・データの結合
US8610757B2 (en) 2009-08-24 2013-12-17 Next3D, Inc. Stereoscopic video encoding and decoding methods and apparatus
KR101313797B1 (ko) * 2009-12-18 2013-10-01 한국전자통신연구원 머리 위치 추적을 이용한 입체 영상 표시 장치 및 이의 동작 방법
US8896671B2 (en) 2010-04-09 2014-11-25 3D-4U, Inc. Apparatus and method for capturing images
CN107103639B (zh) 2010-06-30 2021-05-18 巴里·林恩·詹金斯 确定网格多边形或网格多边形的分段的集合的方法和系统
GB2483434A (en) * 2010-08-31 2012-03-14 Sony Corp Detecting stereoscopic disparity by comparison with subset of pixel change points
US8332900B2 (en) * 2010-12-01 2012-12-11 At&T Intellectual Property I, L.P. Method and system for performance metric analysis of video assets
US10109065B2 (en) 2011-01-25 2018-10-23 Qualcomm Incorporated Using occlusions to detect and track three-dimensional objects
US9485494B1 (en) 2011-04-10 2016-11-01 Nextvr Inc. 3D video encoding and decoding methods and apparatus
US9407902B1 (en) 2011-04-10 2016-08-02 Nextvr Inc. 3D video encoding and decoding methods and apparatus
TR201819457T4 (tr) * 2011-06-22 2019-01-21 Koninklijke Philips Nv Bir sunum ekranı için bir sinyal oluşturmak üzere yöntem ve cihaz.
US20130129304A1 (en) * 2011-11-22 2013-05-23 Roy Feinson Variable 3-d surround video playback with virtual panning and smooth transition
US9204127B1 (en) 2012-01-17 2015-12-01 Nextvr Inc. Stereoscopic image processing methods and apparatus
ITTO20120413A1 (it) 2012-05-08 2013-11-09 Sisvel Technology Srl Metodo per la generazione e ricostruzione di un flusso video tridimensionale, basato sull'utilizzo della mappa delle occlusioni, e corrispondente dispositivo di generazione e ricostruzione.
US9235929B2 (en) 2012-05-23 2016-01-12 Glasses.Com Inc. Systems and methods for efficiently processing virtual 3-D data
US20140157342A1 (en) * 2012-05-24 2014-06-05 Panasonic Corporation Reception device, transmission device, reception method, and transmission method
US9621869B2 (en) 2012-05-24 2017-04-11 Sony Corporation System and method for rendering affected pixels
US9846960B2 (en) * 2012-05-31 2017-12-19 Microsoft Technology Licensing, Llc Automated camera array calibration
EP2670130B1 (en) * 2012-06-01 2019-03-27 Alcatel Lucent Method and apparatus for mixing a first video signal and a second video signal
US9059495B2 (en) 2012-06-05 2015-06-16 Jorge A. Ruiz-Cruz Compact multiport waveguide switches
US20140063198A1 (en) * 2012-08-30 2014-03-06 Microsoft Corporation Changing perspectives of a microscopic-image device based on a viewer' s perspective
GB2499694B8 (en) * 2012-11-09 2017-06-07 Sony Computer Entertainment Europe Ltd System and method of image reconstruction
US20140172689A1 (en) 2012-12-14 2014-06-19 Rawllin International Inc. Fungible monetization of media
US20140172678A1 (en) 2012-12-14 2014-06-19 Craig Alan Stephens Institution simulation
US10116911B2 (en) * 2012-12-18 2018-10-30 Qualcomm Incorporated Realistic point of view video method and apparatus
RU2546080C2 (ru) * 2012-12-25 2015-04-10 Пётр Павлович Кузнецов Способ визуализации функционального состояния индивида и система для реализации способа
CN105052157A (zh) * 2013-01-15 2015-11-11 图象公司 图像帧复用方法及系统
US9336602B1 (en) 2013-02-19 2016-05-10 Amazon Technologies, Inc. Estimating features of occluded objects
US9538160B1 (en) 2013-04-11 2017-01-03 Nextvr Inc. Immersive stereoscopic video acquisition, encoding and virtual reality playback methods and apparatus
US9536453B2 (en) 2013-05-03 2017-01-03 Brigham Young University Computer-implemented communication assistant for the hearing-impaired
US9424650B2 (en) * 2013-06-12 2016-08-23 Disney Enterprises, Inc. Sensor fusion for depth estimation
US9239436B2 (en) 2013-11-26 2016-01-19 Corning Cable Systems Llc Fiber optic plug having an articulated force structure to inhibit angular ferrule biasing during insertion into an optical receptacle, and related assemblies and methods
US20150172550A1 (en) 2013-12-16 2015-06-18 Motorola Mobility Llc Display tiling for enhanced view modes
US20150199572A1 (en) * 2014-01-16 2015-07-16 Qualcomm Incorporated Object tracking using occluding contours
US9699437B2 (en) 2014-03-03 2017-07-04 Nextvr Inc. Methods and apparatus for streaming content
US9779331B2 (en) * 2014-04-24 2017-10-03 Conduent Business Services, Llc Method and system for partial occlusion handling in vehicle tracking using deformable parts model
US20150310660A1 (en) * 2014-04-25 2015-10-29 Sony Computer Entertainment America Llc Computer graphics with enhanced depth effect
US9996976B2 (en) * 2014-05-05 2018-06-12 Avigilon Fortress Corporation System and method for real-time overlay of map features onto a video feed
US9496000B2 (en) 2014-05-16 2016-11-15 Comcast Cable Communications, Llc Audio modification for adjustable playback rate
US10027948B2 (en) 2014-05-20 2018-07-17 Nextvr Inc. Methods and apparatus including or for use with one or more cameras
US20150346812A1 (en) 2014-05-29 2015-12-03 Nextvr Inc. Methods and apparatus for receiving content and/or playing back content
CN105531682A (zh) 2014-08-15 2016-04-27 联发科技股份有限公司 管理多通道存储设备以具有改进的通道切换响应时间的方法及相关的存储控制系统
US11122251B2 (en) 2014-09-03 2021-09-14 Apple Inc. Methods and apparatus for receiving and/or playing back content
CA2960426A1 (en) * 2014-09-09 2016-03-17 Nokia Technologies Oy Stereo image recording and playback
US11218682B2 (en) 2015-01-21 2022-01-04 Nevermind Capital Llc Methods and apparatus for processing and or encoding images with negative parallax
US10531071B2 (en) 2015-01-21 2020-01-07 Nextvr Inc. Methods and apparatus for environmental measurements and/or stereoscopic image capture
WO2016123364A2 (en) 2015-01-28 2016-08-04 Nextvr Inc. Zoom related methods and apparatus
US9832449B2 (en) 2015-01-30 2017-11-28 Nextvr Inc. Methods and apparatus for controlling a viewing position
EP3257242A4 (en) 2015-02-12 2018-09-26 NEXTVR Inc. Methods and apparatus for making environmental measurements and/or using such measurements
US10362290B2 (en) 2015-02-17 2019-07-23 Nextvr Inc. Methods and apparatus for processing content based on viewing information and/or communicating content
KR102533555B1 (ko) 2015-02-17 2023-05-18 네버마인드 캐피탈 엘엘씨 감축된 해상도 이미지들을 생성 및 이용하고 및/또는 재생 또는 컨텐트 분배 디바이스에 이러한 이미지들을 통신하기 위한 방법들 및 장치
US9894350B2 (en) 2015-02-24 2018-02-13 Nextvr Inc. Methods and apparatus related to capturing and/or rendering images
WO2016138043A1 (en) 2015-02-24 2016-09-01 NextVR, Inc. Calibration for immersive content systems
CN107431801A (zh) 2015-03-01 2017-12-01 奈克斯特Vr股份有限公司 支持内容生成、发送和/或重放的方法和设备
US9821920B2 (en) 2015-08-18 2017-11-21 Nextvr Inc. Methods and apparatus for compensating for vehicular motion
US9836845B2 (en) 2015-08-25 2017-12-05 Nextvr Inc. Methods and apparatus for detecting objects in proximity to a viewer and presenting visual representations of objects in a simulated environment
WO2018014014A1 (en) 2016-07-15 2018-01-18 Nextvr Inc. Camera alignment and/or calibration methods and apparatus
US10979607B2 (en) 2016-07-20 2021-04-13 Apple Inc. Camera apparatus and methods
US10200672B2 (en) 2016-08-17 2019-02-05 Nextvr Inc. Methods and apparatus for capturing images of an environment
US20180249189A1 (en) 2017-02-08 2018-08-30 Nextvr Inc. Methods and apparatus for use in a system or device where switching between cameras may occur
US20180225537A1 (en) 2017-02-08 2018-08-09 Nextvr Inc. Methods and apparatus relating to camera switching and/or making a decision to switch between cameras
US10567733B2 (en) 2017-03-06 2020-02-18 Nextvr Inc. Methods and apparatus for communicating and/or using frames including a captured image and/or including additional image content
US11252391B2 (en) 2017-03-06 2022-02-15 Nevermind Capital Llc Methods and apparatus for packing images into a frame and/or including additional content or graphics
US20180280656A1 (en) 2017-03-28 2018-10-04 Nextvr Inc. Virtual reality methods and apparatus which use or include brain activity sensors
US10742964B2 (en) 2017-04-04 2020-08-11 Nextvr Inc. Methods and apparatus for displaying images

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6262737B1 (en) * 1998-01-30 2001-07-17 University Of Southern California 3D mesh compression and coding
US20060125921A1 (en) * 1999-08-09 2006-06-15 Fuji Xerox Co., Ltd. Method and system for compensating for parallax in multiple camera systems
CN100416613C (zh) * 2002-09-29 2008-09-03 西安交通大学 计算机网络环境智能化场景绘制装置系统及绘制处理方法
US20110045428A1 (en) * 2009-08-21 2011-02-24 Anatoliy Boltunov Digital dental modeling
CN101661623A (zh) * 2009-10-21 2010-03-03 上海交通大学 基于线性规划的变形体三维跟踪方法
CN101794462A (zh) * 2010-03-12 2010-08-04 中山大学 一种基于纹理的三维网格模型变形方法及系统
CN102622776A (zh) * 2011-01-31 2012-08-01 微软公司 三维环境重构
CN103988226A (zh) * 2011-08-31 2014-08-13 Metaio有限公司 用于估计摄像机运动以及用于确定实境三维模型的方法
CN102625126A (zh) * 2012-03-22 2012-08-01 北京工业大学 一种基于预测的三维网格编码方法
US20140176535A1 (en) * 2012-12-26 2014-06-26 Scott A. Krig Apparatus for enhancement of 3-d images using depth mapping and light source synthesis
CN104008569A (zh) * 2014-02-24 2014-08-27 惠州学院 一种基于深度视频的3d场景生成方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110996087A (zh) * 2019-12-10 2020-04-10 腾讯科技（深圳）有限公司 视频显示方法、装置
CN110996087B (zh) * 2019-12-10 2021-04-02 腾讯科技（深圳）有限公司 视频显示方法、装置
CN116349222A (zh) * 2020-10-09 2023-06-27 开放空间实验室公司 利用集成图像帧渲染基于深度的三维模型
CN116349222B (zh) * 2020-10-09 2024-05-10 开放空间实验室公司 利用集成图像帧渲染基于深度的三维模型

Also Published As

Publication number Publication date
WO2016140934A3 (en) 2016-10-27
US20160253839A1 (en) 2016-09-01
JP2018514968A (ja) 2018-06-07
US10574962B2 (en) 2020-02-25
EP3266199A1 (en) 2018-01-10
WO2016140986A1 (en) 2016-09-09
KR20170127505A (ko) 2017-11-21
JP2018507650A (ja) 2018-03-15
WO2016140934A2 (en) 2016-09-09
US20190082158A1 (en) 2019-03-14
EP3265999A2 (en) 2018-01-10
US11272150B2 (en) 2022-03-08
US10397538B2 (en) 2019-08-27
US20190082159A1 (en) 2019-03-14
US20160253809A1 (en) 2016-09-01
US10038889B2 (en) 2018-07-31
EP3266199B1 (en) 2019-09-18
US20160253810A1 (en) 2016-09-01
US20220191452A1 (en) 2022-06-16
CA2977113A1 (en) 2016-09-09
US10033995B2 (en) 2018-07-24
US20160255326A1 (en) 2016-09-01
CN107431801A (zh) 2017-12-01
EP3265999A4 (en) 2018-08-22
EP3266199A4 (en) 2018-07-18
US20200404236A1 (en) 2020-12-24
US20160255327A1 (en) 2016-09-01
US11870967B2 (en) 2024-01-09
US10701331B2 (en) 2020-06-30
US10742948B2 (en) 2020-08-11

Similar Documents

Publication Publication Date Title
CN107430446A (zh) 进行环境测量和/或在3d图像渲染中使用此类测量的方法和装置
US10692234B2 (en) Methods and apparatus for making environmental measurements and/or using such measurements
US11245891B2 (en) Methods and apparatus for environmental measurements and/or stereoscopic image capture
US10412382B2 (en) Methods and apparatus related to capturing and/or rendering images
EP3262614B1 (en) Calibration for immersive content systems
EP3189657B1 (en) Method and apparatus for transmitting and/or playing back stereoscopic content
CN106464785A (zh) 包括或用于一个或多个照相机的装置和方法
US11348252B1 (en) Method and apparatus for supporting augmented and/or virtual reality playback using tracked objects
WO2018109266A1 (en) A method and technical equipment for rendering media content
WO2018044584A1 (en) Methods and apparatus related to capturing and/or rendering images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20171201