JP2018507650A - コンテンツの生成、送信、および／または、再生をサポートするための方法および装置 - Google Patents

コンテンツの生成、送信、および／または、再生をサポートするための方法および装置 Download PDF

Info

Publication number
JP2018507650A
JP2018507650A JP2017546157A JP2017546157A JP2018507650A JP 2018507650 A JP2018507650 A JP 2018507650A JP 2017546157 A JP2017546157 A JP 2017546157A JP 2017546157 A JP2017546157 A JP 2017546157A JP 2018507650 A JP2018507650 A JP 2018507650A
Authority
JP
Japan
Prior art keywords
image
environment
frame
content
visible
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017546157A
Other languages
English (en)
Inventor
コール、デイビッド
モス、アラン・マッケイ
Original Assignee
ネクストブイアール・インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ネクストブイアール・インコーポレイテッド filed Critical ネクストブイアール・インコーポレイテッド
Publication of JP2018507650A publication Critical patent/JP2018507650A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/001—Arbitration of resources in a display system, e.g. control of access to frame buffer by video controller and/or main processor
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006—Details of the interface to the display terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2352/00—Parallel handling of streams of display data
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/02—Graphics controller able to handle multiple formats, e.g. input or output formats
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/12—Frame memory handling
    • G09G2360/125—Frame memory handling using unified memory architecture [UMA]
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Generation (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

デフォルトビューイング位置から見える環境の表面のイメージと、デフォルトビューイング位置からは見えない表面、たとえば遮られた表面、のイメージとの取り込み、処理、および／または、使用をサポートするための方法および装置が説明される。いくつかの実施形態では、遮られたイメージコンテンツおよび遮られないイメージコンテンツは、１つまたは複数の異なるストリームフォーマットで再生装置に送信される。環境内のデフォルトビューイング位置からは見えないが、ユーザが、環境内のデフォルト位置に対応するデフォルトビューイング位置から他の位置に動くときに、デフォルトビューイング位置からオフセットされた位置からは見える表面のイメージの表示をサポートするために、再生装置は遮られたイメージのデータを使用する。１つのストリームフォーマットにしたがって、遮られたイメージコンテンツおよび遮られないイメージコンテンツが、同じフレーム内で通信される。他のストリームフォーマットにしたがって、遮られたイメージコンテンツおよび遮られないイメージコンテンツが、異なるフレーム内で通信される。

Description

関連出願
[0001] 本願は、２０１５年３月１日に出願された米国仮出願第６２／１２６，７０１号、２０１５年３月１日に出願された米国仮出願第６２／１２６，７０９号、および、２０１５年３月２日に出願された米国仮出願第６２／１２７，２１５号の利益を主張するものであり、そのそれぞれは、参照によりその全体が本明細書に明示的に組み込まれる。
[0002] 本発明は、１つまたは複数の異なるコンテンツストリームフォーマットで通信され得るイメージコンテンツを生成し、送信し、および／または、使用するための方法および装置に関する。
[0003] コンテンツ取り込み方法は、通常、環境内の単一の位置からのコンテンツの取り込みに焦点を当てる。様々な表面が、単一のイメージ取り込み位置から、ビューからは遮られるなど、遮られ得る。たとえば、柱の背面は見えない可能性があり、または、箱の内面は見えない可能性がある。
[0004] 環境シミュレーションがより現実的になるにつれて、ディスプレイ装置のユーザは、シミュレートされた環境内で動くことができることを望む。たとえば、彼らが立ち上がる場合に、彼らは、箱の上面越しに見て、イメージが環境内で取り込まれた位置に対応する環境内のデフォルトビューイング位置からは見ることができなかった箱の内部を見ることができることを期待し得る。同様に、ユーザが、横に上体を曲げることによって自分の頭の位置を変更する場合、ユーザは、柱の回りを覗き見ることができることを期待し得る。
[0005] 残念ながら、環境内の単一の位置から取り込まれたイメージが、再生装置に供給される唯一のコンテンツである場合、環境内の単一の位置から取り込まれたイメージを使用してシミュレートされている環境内でユーザが自分の位置を変更するときにユーザが見ることを期待する、以前に遮られていたイメージコンテンツを、再生装置が示すことはできない。したがって、より現実的な環境シミュレーションを容易にするために、環境の遮られた部分のイメージを取り込み、通信し、および／または、使用する必要がある。送信ならびに再生に関する改善の必要があるが、すべての特徴と実施形態とが、送信側と再生側との両方に対処する必要はなく、いずれかに対する改善を提供する特徴が、有用であり有益である。
[0006] 上記から、環境の遮られた部分のイメージが取り込まれることを可能にし、環境の遮られた部分のイメージの少なくともいくつかの部分が再生装置に供給されることを可能にする方法および／または装置の必要があることを理解されたい。
[0007] すべての実施形態に関して必要または重大とは限らないが、遮られないイメージコンテンツと共に、遮られたイメージコンテンツを再生装置に送信する１つまたは複数の方法が、比較的にデータ効率のよい形でサポートされ得るならば、有用である。
[0008] 上記から、イメージを再生装置が、環境の遮られた部分に対応する少なくともいくつかのイメージコンテンツと共に、環境の遮られない部分を受け取り、および／または、使用することを可能にする方法および／または装置の必要があることをも理解されたい。
[0009] 再生をサポートするために、取り込まれたイメージを処理し、１つまたは複数のフォーマットでイメージを送信する方法と装置とが説明される。いくつかの実施形態でのイメージの処理および送信は、再生を容易にし、イメージが取り込まれた環境内に存在することのシミュレーションをユーザに提供することを、再生装置が可能にする形で実行される。必ずしもすべてではないがいくつかの実施形態において、十分なコンテンツが、環境内のデフォルト位置から見ることができなかったコンテンツをユーザが見られるように、ユーザが自分の位置を変更することを可能にし、表示されるコンテンツがビューア位置の変化を少なくとも部分的に反映するために、再生装置に送信される。
[0010] したがって、少なくともいくつかの特徴は、再生装置を使用してシミュレートされた環境内のビューイング位置の範囲をサポートする方法と装置とに向けられ、説明される。様々な実施形態では、環境は、第１の、たとえばデフォルトの、ビューイング位置からシミュレートされる。ユーザの頭位置、たとえば、頭の向きと位置、が、監視され、たとえば、ユーザの頭位置のシフトに起因する、デフォルトビューイング位置からの変化が、検出される。ユーザは、デフォルトビューイング位置が対応する位置に対するサポートされるビューイング位置の範囲内にある新しいビューイング位置に、自分の頭を動かす、たとえば、シフトする、ことを選択することができる。左または右と上下に頭の向きを変えることが、表示される部分が、デフォルトビューイング位置に対応するが、異なる頭の角度を考慮にいれないで、環境のどの部分がユーザに対して表示されるのかを変更することによってサポートされる。ユーザの頭は、デフォルトビューイング位置に留まるが、実際の環境内のデフォルトビューイング位置に位置決めされた１つまたは複数の立体視カメラ対によって取り込まれるイメージコンテンツが、描画され、ユーザに対して表示される。デフォルトビューイング位置の文脈でのイメージ描画は、環境の３Ｄ（３次元）モデル、デフォルトビューイング位置に対応して、たとえば、左目イメージと右目イメージとの対などのフレームと、デフォルトビューイング位置のコンテンツストリームからのイメージに対応するフレームを３Ｄモデル上に描画するのに使用されるＵＶマップとを含む第１のコンテンツストリームを使用してイメージを表示することを含み得、または、時に含む。
[0011] 検出された頭の回転は、デフォルトビューイング位置に対応するコンテンツストリームの異なる部分の表示の結果となるが、ユーザは、たとえば、左もしくは右、前もしくは後に上体を曲げること、および／または、立ち上がりもしくは座ることによって、自分の頭位置を変更することができる。そのような変化は、単純に頭の回転ではなく、デフォルトビューイング位置からの物理的なシフトまたはオフセットを表し、ビューイング位置の変化の結果となる。
[0012] デフォルトビューイング位置からの物理的なオフセット（ずれ）の場合に、ユーザは、デフォルトビューイング位置からはビューからは遮られていた環境の部分を見ることを期待し得る。たとえば、ユーザのデフォルトビューイング位置の左に位置決めされた支柱があったとすると、前に上体を曲げ、したがって、支柱に対して、ビューの位置および／または方向などのユーザのビューイング位置を変更することによって、ユーザは、以前にはビューから遮られていた環境の部分を見ることができることを期待し得る。柱が、通常は、デフォルトビューイング位置に対応するイメージを取り込むのに使用されるカメラへのそのようなイメージエリアの取り込みを妨げていたので、ビューから遮られていた環境の部分は、通常は、デフォルトビューイング位置に対応する左目ビューと右目ビューとを取り込むのに使用されるカメラの１つまたは複数の対などのカメラから入手可能ではない。
[0013] 様々な実施形態によれば、デフォルトビューイングエリアのためのコンテンツストリームを生成するのに使用されるイメージを取り込むのに使用されるカメラ以外の追加のカメラが、使用され、デフォルトビューイングエリアからのビューからは遮られた環境の部分を取り込む。カメラは、デフォルトビューイング位置に対応する左目ビューと右目ビューとを取り込むのに使用される１つまたは複数のカメラ対を含むカメラリグ上に取り付けられ得る。いくつかのそのような実施形態では、遮られたイメージエリアを取り込むのに使用されるカメラは、立体視カメラ対のカメラとは異なる１つまたは複数のタイプのものである。たとえば、遮られたイメージエリアを取り込むのに使用されるカメラは、立体視再生のために左目位置イメージと右目位置イメージとを取り込むのに使用されるカメラ対とは異なる位置でカメラリグに含まれる、ライトフィールドカメラまたはより低解像度のカメラであってよい。いくつかの実施形態において、１つまたは複数のライトフィールドカメラによって取り込まれたイメージは、イベントの間の環境のリアルタイムマッピングと環境の変化の検出とを可能にする環境奥行（深度）情報を提供するのに使用され、一方で、ユーザが自分の頭の位置をデフォルトビューイング位置から変更する場合に、立体視カメラ対によって取り込まれるイメージを補うのに使用され得るイメージをも提供する。
[0014] いくつかの実施形態では、デフォルトビューイング位置からのビューからは遮られた環境部分に対応するイメージデータは、デフォルトビューイング位置に対応する立体視イメージを取り込むのに使用されるカメラ対が載る同じカメラリグ上の様々な位置に配置された１つまたは複数のカメラによって取り込まれるが、他の実施形態では、イメージ部分は、関心を持たれている環境内の他の位置でカメラによって取り込まれ、あるいは、イメージは、デフォルトビューイング位置に対応するものとして提供されるイメージが取り込まれる時点とは異なる時点で取り込まれる。たとえば、遮られたイメージ部分に対応するイメージは、デフォルトビューイング位置に対応するイメージを取り込むのに使用されるカメラリグの左または右に配置された１つまたは複数のカメラによって取り込まれ得る。代替として、イベント中にデフォルトビューイング位置からのビューイングに対して一時的に妨害するもののことを知る場合に、イメージは、イベントのために加えられる横断幕または機器収納などの一時的に妨害するもの配置の前に取り込まれ、その後、遮られたイメージエリアのビューイングをサポートするためにイメージデータとして使用され得る。様々ないくつかの実施形態では、遮られたイメージエリアに対応するイメージデータは、デフォルトビューイング位置に対応するイメージデータとは異なる時間期間には対応しない場合があるが、遮られたイメージエリアは、重要なシーン情報を伝えない可能性が高く、多くの場合に、ユーザは、通常は遮られたイメージエリアのイメージデータが、表示される３Ｄシーンの他のエリアと同じ時点からのものではないことを実感しない。
[0015] 様々な実施形態では、たとえば、デフォルトビューイング位置から見ることのできないイメージコンテンツなどの遮られたイメージコンテンツは、遮られないイメージコンテンツに加えて再生装置に通信される。
[0016] 遮られたイメージコンテンツと遮られないイメージコンテンツとを再生装置に通信する様々な方法が、サポートされる。個々の実施形態は、遮られたイメージコンテンツと遮られないイメージコンテンツとを送信し、および／または、受信する複数の形をサポートする必要はないが、いくつかの実施形態では、コンテンツサーバと再生装置とは、そのような情報を通信し、受信する複数の方法をサポートする。
[0017] いくつかの実施形態では、遮られたイメージコンテンツと遮られないイメージコンテンツとは、共に、再生装置に送信されるフレームにパックされる。
[0018] 他の実施形態では、遮られたイメージコンテンツは、遮られたイメージコンテンツを通信するのに使用される補助コンテンツストリームとは別々である、たとえば、主コンテンツストリームなどの異なるコンテンツストリーム内で通信される。主コンテンツストリームと補助コンテンツストリームとは、たとえば、モデル化され得るスタジアム、コンサートホールなどの環境内で起こり得るスポーツイベント、コンサート、または、他のイベントなどのプログラムに対応するコンテンツを通信するのに使用されるプログラムストリーム内に多重化され得、しばしば多重化される。
[0019] 通常は遮られたイメージエリアに対応するイメージを表示するために、いくつかの実施形態では、補充イメージコンテンツストリームが、デフォルトビューイング位置からのビューからは遮られたイメージエリアに対応するイメージコンテンツを提供するために、すべてではなくいくつかの実施形態で、再生装置に与えられる。そのような補充コンテンツは、１つの、しかし多くの場合には複数の、環境の通常は遮られるエリアに対応するコンテンツを含むフレームの形とすることができる。遮られたイメージ部分に対応するイメージに加えて、遮られたイメージ部分のＵＶマップが、少なくともいくつかの実施形態で、遮られたイメージデータを提供するフレームのセグメントが環境の３Ｄモデルにどのようにマッピングされるのかを示す情報を与えられる。遮られたイメージ部分からのどのセグメントが使用されるのかは、ユーザによってなされるデフォルトビューイング位置への変更に依存することができ、いくつかの実施形態では依存する。所定の量までのデフォルトビューイング位置の変化がサポートされ得る。たとえば、１フィートまたはそれより多くの左または右へのビューイング位置の移動が、補充イメージデータによって提供される遮られたイメージ部分の使用を通してサポートされ得る。遮られたイメージ部分に対応するイメージデータは、デフォルトビューイング位置に対応するイメージデータと同じフレームレートまたはより低いフレームレートで、フレーム内で送られ得、いくつかの実施形態では送られる。いくつかの実施形態では、環境の通常は遮られる部分に対応する取り込まれたイメージ内の変化が検出され、新しい補充フレームが、必要な場合に、再生装置によって表示される更新された遮られたエリアイメージコンテンツを提供するために、検出された変化に応答して送られる。遮られたイメージ部分は、デフォルトビューイング位置に対応する環境のイメージと同じ解像度を有することができ、時に有する。
[0020] しかし、他の実施形態では、環境の通常は遮られる部分に対応するイメージは、デフォルトビューイング位置に対応するイメージを取り込むのに使用されるカメラ対によって取り込まれるイメージより低い解像度のものであってよい。これは、しばしば、Ｌｙｔｒｏ（ライトロ）社製カメラなどのライトフィールドアレイを使用する１つまたは複数のカメラによって取り込まれるイメージが、通常は遮られたイメージ部分のイメージを取り込むのに使用される場合である。
[0021] イメージ処理システムおよび／またはイメージ送信システムが、遮られないイメージコンテンツおよび／または遮られたイメージコンテンツを通信する１つまたは複数の方法をサポートし得るが、すべての送信システムが、この中で説明されるすべての方法をサポートする必要はない。
[0022] 様々な実施形態の再生装置は、遮られないイメージコンテンツと遮られたイメージコンテンツとを受信し、および／または、使用することができる。再生装置は、そのようなコンテンツを供給するこの中で説明されるシステムからそのようなコンテンツを受信することができる。
[0023] 様々な特徴は、再生装置、および／または、再生装置を動作させる方法に向けられる。
[0024] 一実施形態では、再生装置は、遮られたイメージ部分と遮られないイメージ部分との両方を含むフレームを受信する。他の実施形態では、再生装置は、デフォルトビューイング位置に対応するイメージデータを含む、主フレームなどのフレームと、環境内のデフォルトビューイング位置からは見ることができなかった、環境の通常は遮られた部分に対応するイメージデータを提供する補助フレームなどのフレームとを受信する。遮られたコンテンツが受信され得る２つの異なる形が、異なるコンテンツストリームフォーマットに対応する。
[0025] デフォルトビューイング位置から新しいビューイング位置へのユーザの変化の検出に応答して、再生装置は、デフォルトビューイング位置に対応する受信されたコンテンツから生成される第１のイメージ部分と、通常は遮られたイメージ部分に対応する受信されたイメージコンテンツから生成される少なくとも第２のイメージ部分とを含むイメージを生成し、表示する。
[0026] 通常は遮られたイメージ部分に対応するコンテンツは、いくつかの実施形態で、遮られないイメージ部分と遮られたイメージ部分との両方を含むフレーム内で受信される。他の実施形態では、遮られたイメージデータは、デフォルトビューイング位置からはビューから通常は遮られる環境エリアのイメージを提供する補助内で受信される。表示される通常は遮られたイメージの１つまたは複数のどの部分かの選択は、デフォルトビューイング位置からの検出されたユーザのオフセットに基づいて決定される。
[0027] 遮られたイメージコンテンツと遮られないイメージコンテンツとを供給することによって、環境内の異なる位置に対応するいくつかのビューイング位置を含む、複数のビューイング位置が、コンテンツ再生中にサポートされ得る。
[0028] 多数の特徴および実施形態が、この概要で説明されたが、すべての実施形態が、上述された特徴のすべての使用を必要としまたは含むわけではなく、いくつかの実施形態は、上述された特徴のうちの１つまたは少数を含んでもよく、および／または、遮られたイメージ部分の通信および／または使用する上述の方法のうちの１つをサポートしてもよいことを理解されたい。多数の追加の特徴と実施形態と利益とが、以下の詳細な説明で議論される。
[0029] 図１は、カメラリグを較正するのに使用され得る較正ターゲットと共に、一実施形態にしたがって実装されたカメラリグを示す。 [0030] 図２は、カメラリグ内に取り付けられた、たとえば、立体視イメージデータを取り込む３対のカメラなどの３対のカメラを有するカメラリグを示す。 [0031] 図３は、いくつかの例示的な実施形態にしたがって実装された例示的な保護カバーを有する例示的なカメラリグを示す。 [0032] 図４は、いくつかの例示的な実施形態にしたがって実装された他の例示的なカメラリグを示す。 [0033] 図５は、いくつかの例示的な実施形態にしたがって実装されたさらに他の例示的なカメラリグを示す。 [0034] 図６は、本発明のいくつかの実施形態にしたがって実装された例示的なシステムを示す。 [0035] 図７Ａは、いくつかの実施形態により例示的な処理システムを動作させる例示的な方法のフローチャートを示す、図７の第１の部分である。 [0036] 図７Ｂは、処理システムを動作させる例示的な方法のフローチャートを示す、図７の第２の部分である。 [0037] 図７Ｃは、処理システムを動作させる例示的な方法のフローチャートを示す、図７の第３の部分である。 [0038] 図７Ｄは、処理システムを動作させる例示的な方法のフローチャートを示す、図７の第４の部分である。 [0039] 図７は、図７Ａ、７Ｂ、７Ｃ、および、７Ｄの組合せを備える。 [0040] 図８は、図７のフローチャートの方法の一部としていくつかの実施形態で実装される例示的なコンテンツ供給ルーチンのステップを示す。 [0041] 図９は、たとえば、遮られたイメージ部分を含まないストリームまたはダウンロードコンテンツなどを供給するのに使用される第１のストリームフォーマットを示す。 [0042] 図１０は、たとえば、フレーム内に遮られないイメージ部分と遮られたイメージ部分とを含むストリームまたはダウンロードコンテンツなどを供給するのに使用される第２のストリームフォーマットを示す。 [0043] メインコンテンツストリームまたは主コンテンツストリームのフレーム内で送信される遮られないイメージ部分と、補助ストリーム内の遮られたイメージ部分とを含む、たとえば、ストリームまたはダウンロードコンテンツなどを供給するのに使用される第３のストリームフォーマットを示す。 [0044] 図１２は、例示的な実施形態にしたがって実装された例示的な処理システムを示す。 [0045] 図１３Ａは、例示的な実施形態にしたがって例示的な描画および再生装置を動作させる例示的な方法のフローチャートを示す、図１３の第１の部分である。 [0046] 図１３Ｂは、描画および再生装置を動作させる例示的な方法のフローチャートを示す、図１３の第２の部分である。 [0047] 図１３は、図１３Ａと１３Ｂとの組合せを備える。 [0048] 図１４は、図１３の方法の実行することの一部として本発明の再生装置によって実装される例示的な第１のストリームフォーマット再生ルーチンのステップを示す。 [0049] 図１５Ａは、図１３の方法の実行することの一部として再生装置によって実装される例示的な第２のストリームフォーマット再生ルーチンのステップを示す、図１５の第１の部分である。 [0050] 図１５Ｂは、図１３の方法を実行することの一部として再生装置によって実装される例示的な第２のストリームフォーマット再生ルーチンのステップを示す、図１５の第２の部分である。 [0051] 図１５は、図１５Ａと１５Ｂとの組合せを備える。 [0052] 図１６Ａは、図１３の方法を実行することの一部として再生装置によって実装される例示的な第３のストリームフォーマット再生ルーチンのステップを示す、図１６の第１の部分である。 [0053] 図１６Ｂは、図１３の方法を実行することの一部として再生装置によって実装される例示的な第３のストリームフォーマット再生ルーチンのステップを示す、図１６の第２の部分である。 [0054] 図１６Ｃは、図１３の方法を実行することの一部として再生装置によって実装される例示的な第３のストリームフォーマット再生ルーチンのステップを示す、図１６の第３の部分である。 [0055] 図１６Ｄは、図１３の方法を実行することの一部として再生装置によって実施される例示的な第３のストリームフォーマット再生ルーチンのステップを示す、図１６の第４の部分である。 [0056] 図１６は、図１６Ａ、１６Ｂ、１６Ｃ、および、１６Ｄの組合せを備える。 [0057] 図１７は、３Ｄモデルをセグメントに分割するのに使用される線の交差点として示された複数のノードをもった、様々な実施形態で使用され得る例示的な３Ｄ環境メッシュモデルを示す。 [0058] 図１８は、図１７のメッシュモデルに対し、テクスチャを提供する、２Ｄフレームの部分のマッピングに使用され得る例示的なＵＶマップを示す。 [0059] 図１９は、例示的な実施形態にしたがって実装された例示的な描画および再生装置を示す。
詳細な説明
[0060] 様々な特徴はパノラマ立体視イメージの分野に関連するもので、以下で議論される、カメラを含むカメラリグなどの様々なイメージング装置および／またはイメージング機器は、広範囲の応用のための重量と電力の要件を満足するが、小さいサイズの機器において合理的なコストで最小限の個数のカメラを使用して、高解像度で、高ダイナミックレンジで、高フレームレートの立体視３６０°パノラマビデオを取り込むのによく適合する。
[0061] 立体視３６０°パノラマビデオコンテンツは、仮想現実ディスプレイでの使用のためにますます需要がある。最終的なイメージの明瞭さにとって重要である４Ｋまたはそれより大きい解像度と、弱光コンテンツを記録するために重要である高ダイナミックレンジと、動きの速いコンテンツ（スポーツなど）において細部を記録するために重要である高フレームレートとでの立体視３６０°パノラマビデオコンテンツを生成するために、好適な品質のプロフェッショナルグレードの大型センサのアレイ、シネマティックカメラ、または、他のカメラが、しばしば必要とされる。
[0062] カメラアレイが、立体視仮想現実ディスプレイでのビューイングのための３６０°立体視コンテンツの取り込むために有用であるために、カメラアレイは、ビューアの頭がカメラと同一位置に配置されているかのようにビューアが見るであろうものに結果が近似するように、コンテンツを獲得すべきである。具体的には、立体視カメラの対は、それらの軸間分離が６３ｍｍという許容される人間モデル平均値から許容可能な差分（デルタ）以内になるように構成されるべきである。さらに、パノラマアレイの中心点からカメラレンズの入射瞳までの距離（別名、ノードオフセット（nodal offset））は、１０１ｍｍという許容される人間モデル平均値から許容可能な差分以内になるように構成されるべきである。
[0063] カメラアレイが、それがコンパクトで目立ちすぎないものであるべきイベントや多くの客が観戦するスポーツを取り込むのに使用されるためには、カメラアレイは、広範に多様な位置に展開され、配送が必要とされるときに合理的なサイズのコンテナ内で配送されることを可能にする、比較的小さい物理的なフットプリントで構成されるべきである。
[0064] カメラアレイは、また、シーン要素が隣接するカメラの視野の外になるので、シーン要素が取りこまれない「死角（dead zone）」を最小にするべく、アレイの最小イメージング距離が小さく、たとえば、できる限り小さく、なるように設計されるべきである。
[0065] カメラアレイが、最大の光学ひずみが発生しがちな場所（レンズ画角が交差し、レンズの最大ひずみが発生する場所）に較正ターゲットを位置決めすることによって光学アライメントに関して較正され得るならば、有利である。最も効果のある較正ターゲットの位置決めを容易にするために、ターゲット位置は、リグ設計から定型的に決定されるべきであり、いくつかの実施形態では決定される。
[0066] 図１は、いくつかの実施形態で使用される例示的なカメラ構成１００を示す。図４および５に示された支持構造は、いくつかの実施形態で使用される図示のカメラ対構成のよりよい理解を可能にするために、図１には示されない。いくつかの実施形態では、３つのカメラ対が、図１の例などのように使用されるが、すべてではないがいくつかの実施形態では、たとえば、リグのカメラ位置などのカメラアレイは、同時３６０°立体視ビデオをサポートするのに使用され得る合計６つのカメラのうちの２つだけが設けられる。カメラリグまたはアセンブリが、リグ内に取り付けられ得る６つすべてより少ないカメラで構成される場合、リグは、たとえば、前景イメージが取り込まれていないときにリグを回転することによって、より低い値の背景１８０°シーン要素の静止イメージを手動で取り込む一方で、依然として、リアルタイムで高い値の前景１８０°シーン要素を取り込むことができる。たとえば、いくつかの実施形態では、２カメラアレイが、カメラに対して相対的に０°の位置におけるプレイのフィールドで、フットボールゲームを取り込むのに使用される場合に、アレイは、ノードポイントの回りに１２０°位置と２４０°位置とに手動で回転される。これは、正面部分のリアルタイム立体視ビデオと左後方部分および右後方部分の静止イメージとを含むハイブリッド化されたパノラマを生成するのに使用されるように、スポーツゲームまたは試合のフィールドでのアクション、たとえば、前景、が、リアルタイムで取り込まれることを可能にし、サイドラインと観覧席、たとえば、背景エリア、が、立体視静止イメージとして取り込まれることを可能にする。このようにして、リグは、たとえば、３６０°シーンエリアの異なるビューが取り込まれるときの異なる地点間の垂直方向の中央点などのノード軸の回りに回転されるようにカメラリグを使用し、異なる時点で取り込まれる３６０°ビューのいくつかの部分を用いて３６０°ビューを取り込むのに使用され得る。代替的に、単一のカメラが、第２と第３のカメラ対取り付位置に取り付けられてもよく、モノ（非立体視）イメージコンテンツが、それらのエリアについて取り込まれ得る。
[0067] カメラコストが問題にされない他のケースでは、図１の例のように６つまでのカメラを保持するリグを用いて、リグ内の各位置に、２つよりも多くのカメラが取り付けられ得る。このようにして、コストに影響するカメラ展開は、取り込まれるべき性能と、６台のカメラなどの多数を搬送するユーザの必要性もしくは能力、または、たとえば、２台のカメラなどの６台より少ないカメラを搬送するユーザの能力に依存して達成され得る。いくつかの実施形態では、環境奥行マップが、カメラリグ１００内のカメラによって取り込まれたイメージから生成される。
[0068] 図１は、較正ターゲット１１５と共に、時にリグまたはカメラアレイとも呼ばれる６（６台）カメラアセンブリ１００を示す。図１に示されたカメラリグ１００は、示された位置に、カメラ、合計６つのカメラのための立体視カメラ（１０１、１０３）、（１０５、１０７）、（１０９、１１１）の３つの対１０２、１０４、１０６を保持する支持構造（図４と５とに図示）を含む。支持構造は、カメラを支持し、カメラがその上に取り付けられる板が固定され得る、この中で取り付け板（図４の要素７２０を参照されたい）とも呼ばれる基部７２０を含む。支持構造は、プラスティック、金属、または、グラファイトもしくはガラスファイバなどの複合材料から作られ得、カメラの間の間隔と関係性とを示すのにも使用される三角形を形成する線によって表される。点線が交差する中心点は、必ずしもすべてではなくいくつかの実施形態において、カメラ対１０２、１０４、１０６がその回りに回転され得る中心ノード点を表す。中心ノード点は、いくつかの実施形態で、三角形の線によって表されるカメラ支持フレームがその回りに回転され得る、たとえば、三脚基部の、鉄製ロッド、または、ねじ付けされた中央マウントに対応する。支持フレームは、カメラがその中に取り付けられるプラスティックハウジングまたは図４と５とに示された三脚構造とすることができる。
[0069] 図１では、カメラの各対１０２、１０４、１０６は、異なるカメラ対の位置に対応する。第１のカメラ対１０２は、正面に面する位置に向かい、通常は、メインアクションが起こる前景をカバーすることが意味される０°に対応する。この位置は、通常、スポーツゲームがプレイされているフィールド、メインアクション／演技が起こる可能性が高いステージ、または、なんらかの他のエリアなどの関心を持たれているメインエリアに対応する。第２のカメラ対１０４は、１２０°カメラ位置（正面から約１２０°）に対応し、右後方ビューイングエリアを取り込むのに使用される。第３のカメラ対１０６は、２４０°ビューイング位置（正面から約２４０°に面する）で、左後方ビューイングエリアに対応する。３つのカメラ位置が、１２０°離れていることに留意されたい。
[0070] 各カメラビューイング位置は、図１の実施形態で１つのカメラ対を含み、各カメラ対は、イメージを取り込むのに使用される、左カメラと右カメラとを含む。左カメラは、時に左目イメージと呼ばれるものを取り込み、右カメラは、時に右目イメージと呼ばれるものを取り込む。イメージは、１回もしくは複数回で取り込まれるビューシーケンスまたは静止イメージの一部であってよい。通常、少なくともカメラ対１０２に対応する正面カメラ位置は、高品質ビデオカメラが設けられる。他のカメラ位置は、高品質ビデオカメラ、より低い品質のビデオカメラ、または、静止イメージもしくはモノイメージを取り込むのに使用される単一のカメラが設けられ得る。いくつかの実施形態では、第２と第３のカメラ形態は設けられないままにされ、カメラがその上に取り付けられる支持板が回転され、第１のカメラ対１０２が、３つすべてのカメラ位置に対応するイメージを異なる時に取り込むことを可能にする。いくつかのそのような実施形態では、左後方イメージと右後方イメージとが、取り込まれ、記憶され、その後、前方カメラ位置のビデオが、イベント中に取り込まれる。取り込まれたイメージは、リアルタイム、たとえば、イベントがまだ進行中である間、に、符号化され、１つまたは複数の再生装置にストリーミングされ得る。
[0071] 図１に示された第１のカメラ対１０２は、左カメラ１０１と右カメラ１０３とを含む。左カメラは、第１のカメラに固定された第１のレンズアセンブリ１２０を有し、右カメラ１０３は、右カメラ１０３に固定された第２のレンズアセンブリを有する。レンズアセンブリ１２０、１２０’は、広い角度の視野が取り込まれることを可能にするレンズを含む。いくつかの実施形態では、各レンズアセンブリ１２０、１２０’は、魚眼レンズを含む。したがって、カメラ１０２、１０３のそれぞれは、１８０°視野または約１８０°を取り込むことができる。いくつかの実施形態では、１８０°より小さいものが取り込まれるが、依然、いくつかの実施形態では、隣接するカメラ対から取り込まれるイメージに少なくともいくらかのオーバーラップがある。図１の実施形態では、カメラ対は、第１（０°）のカメラ取り付け位置、第２（１２０°）のカメラ取り付け位置、および、第３（２４０°）のカメラ取り付け位置のそれぞれに配置され、各対は、環境の少なくとも１２０度またはそれより大きいものを取り込むが、多くの場合に、各カメラ対は、環境の１８０°または約１８０°を取り込む。
[0072] 第２および第３のカメラ対１０４、１０６は、第１のカメラ対１０２と同じまたは類似するが、正面０°位置に関して１２０°と２４０°とのカメラ取り付け位置に配置される。第２のカメラ対１０４は、左カメラ１０５と左レンズアセンブリ１２２と右カメラ１０７と右カメラレンズアセンブリ１２２’とを含む。第３のカメラ対１０６は、左カメラ１０９と左レンズアセンブリ１２４と右カメラ１１１と右カメラレンズアセンブリ１２４’とを含む。
[0073] 図１では、Ｄは、カメラ１０１、１０３の第１の立体視対１０２の軸間距離を表す。図１の例では、Ｄは、平均的な人間の左目と右目の瞳孔の間の距離と同じであるか同等である１１７ｍｍである。図１の破線１５０は、パノラマアレイの中心点から右カメラレンズ１２０’の入射瞳までの距離（別名、ノードオフセット）を示す。例である図１に対応する一実施形態内では、符号１５０によって示される距離は３１５ｍｍであるが、他の距離が可能である。
[0074] １つの特定の実施形態では、カメラリグ１００のフットプリントは、比較的に小さい。そのような小さいサイズは、カメラリグが、ファンまたは出席者が通常位置するまたは位置付けられ得る座席位置などの観客の中に設置されることを可能にする。したがって、いくつかの実施形態で、カメラリグは、観客エリア内に設置され、ビューアが、そのような効果が望まれる場合に、観客のメンバであるという感覚をもつことを可能にする。いくつかの実施形態でのフットプリントは、いくつかの実施形態では中央支持ロッドを含む支持構造が取り付けられる、または、支持タワーが配置される基部のサイズに対応する。理解されるべきであるように、いくつかの実施形態でのカメラリグは、３対のカメラの間の中心点に対応する基部の中心点の回りで回転することができる。他の実施形態では、カメラは固定され、カメラアレイの中心の回りに回転しない。
[0075] カメラリグ１００は、比較的に近くならびに別個の物体を取り込むことができる。１つの特定の実施形態では、カメラアレイの最小イメージング距離は、６４９ｍｍであるが、他の距離が可能であり、この距離は何ら重要ではない。
[0076] カメラアセンブリの中心から第１と第３のカメラ部分のビューの交差点１５１までの距離は、第１と第２のカメラ対によって取り込まれるイメージを較正するために使用され得る例示的な較正距離を表す。１つの特定の例示的な実施形態では、レンズ画角が交差し、レンズの最大ひずみが発生する、最適な較正距離は７４３ｍｍである。ターゲット１１５が、最大ひずみのエリアか、それをわずかに超えて配置されたカメラ対から既知の距離に配置され得ることに留意されたい。較正ターゲットは、既知の固定された較正パターンを含む。較正ターゲットは、カメラ対のカメラによって取り込まれるイメージのサイズを較正するのに使用され得、使用される。較正ターゲットのサイズおよび位置が、較正ターゲット１１５のイメージを取り込むカメラに相対的に既知であるので、そのような較正が可能である。
[0077] 図２は、図１に示されたカメラアレイ１００のより詳細な図２００である。カメラリグ１００は、やはり６つのカメラと共に示されるが、いくつかの実施形態では、カメラリグ１００は、たとえば、カメラ１０１と１０３とを含むカメラ対１０２などの２つのカメラだけが設けられる。図示されるように、カメラ対取り付け位置のそれぞれの間に１２０°の分離がある。たとえば、各カメラ対間の中心が、カメラ取り付け位置の方向に対応する場合を検討する。その場合に、第１のカメラ取り付け位置は０°に対応し、第２のカメラ取り付け位置は１２０°に対応し、第３のカメラ取り付け位置は２４０°に対応する。したがって、各カメラ取り付け位置は、１２０°だけ離される。これは、各カメラ対１０２、１０４、１０６の中心を通って伸びる中心線が延長されたとして、線の間の角度が測定される場合に見られ得る。
[0078] 図２の例では、カメラの対１０２、１０４、１０６は、カメラリグの中心点の回りを回転することができ、いくつかの実施形態では回転し、カメラリグ基部の位置を変更する必要なく、異なるビューが異なる時に取り込まれることを可能にする。すなわち、２つのカメラだけが設けられるが、カメラは、リグの中央支持体の回りに回転され、異なるシーンを異なるときに取り込むことを可能にされ得、図２に示されたリグを使用して３６０°シーン取り込みを可能にする。そのような構成は、立体視カメラのコストを前提としたコストの観点から特に望ましく、同じ視点からではあるが、スポーツイベントまたは他のイベント中のメインアクションを含む正面シーンが起こり得るときとは異なるときに取り込まれた背景を示すことが望ましくあり得る多くの応用例に好適である。たとえば、メインイベント中に示さないことが好ましい、イベント中に、物体がカメラの背後に置かれ得ることを考慮する。そのようなシナリオでは、イメージデータの３６０°セットを提供するために、後方イメージは、メインイベントの前に取り込まれ、メインイベントのリアルタイムで取り込まれるイメージと共に使用可能にされ得、時にそうされる。
[0079] 様々な特徴は、また、カメラ支持構造およびカメラ構成が、７５ｍｍから３５０ｍｍの範囲内のノードオフセット距離を維持することができ、様々な実施形態で維持するという事実に関係する。１つの特定の実施形態では、３１５ｍｍというノードオフセット距離が維持される。
[0080] 支持構造は、また、いくつかの実施形態で、４００ｍｍ2から７００ｍｍ2までの範囲内の全面積（別名、フットプリント）を維持する。１つの特定の実施形態では、６４０ｍｍ2の全面積（別名、フットプリント）が維持される。支持構造は、また、４００ｍｍから７００ｍｍまでの範囲内の最小イメージング距離を維持する。１つの特定の実施形態では、６４９ｍｍの最小イメージング距離が維持される。１つの特定の実施形態では、アレイの最適較正距離は、レンズ画角が交差し、かつ、レンズの最大ひずみが発生するところである。１つの特定の例示的な実施形態では、この距離が７４３ｍｍである。
[0081] 上述のように、様々な実施形態では、カメラアレイ、たとえば、リグ、は、より低い値の背景１８０°シーン要素の静止イメージを手動で取り込む一方で、高い値の前景１８０°シーン要素をリアルタイムで取り込む目的のために、同時の３６０°立体視ビデオのために通常必要とされる合計６台のカメラのうちの２台のみが設けられる。
[0082] 図３は、図１と図２のリグと同じまたは同様であるが、支持三脚を有さず、カメラ対の上に配置されたプラスティックカバー３５０を有する例示的なカメラリグ３００を示す。プラスティックカバー３５０は、たとえば、三脚上に置かれたときに、カメラリグ３００を持ち上げるか回転させるのに使用され得るハンドル３１０、３１２、３１４を含む。カメラリグ３００は、カメラの３つの対を有して図示され、第１のカメラ対３０２は、レンズアセンブリ３２０、３２０’を有するカメラ３０１、３０３を含み、第２のカメラ対３０４は、レンズアセンブリ３２２、３２２’を有するカメラを含み、第３のカメラ対３０６は、レンズアセンブリ３２４、３２４’を有するカメラを含む。プラスティックカバー３５０は、１つまたは複数のスロットとねじ穴とを有する平らな板として実施され得る、取り付けプラットフォーム３１６に固定される。プラスティックカバー３５０は、カバー３５０の簡単な取外しまたは取り付けと、カメラ対のカメラへの簡単なアクセスとを可能にするために、手によって取り外されまたは締め付けられ得るナット、または、ねじ３３０、３３１を用いて基部に固定される。６つのカメラが、図３に示されたリグ３００内に含まれるが、単一のカメラ対が含まれてもよく、および／または、カメラ対が取り付けられないその他のカメラ取り付け位置に１つまたは複数の個別のカメラを有して、単一のカメラ対が使用されてもよい。
[0083] 図４は、いくつかの例示的な実施形態にしたがって実装された例示的なカメラリグ８０１の１つのビューを表す図８００を示す。いくつかが立体視カメラであるカメラのアレイが、カメラリグ８０１内に含まれる。図８００内のカメラリグ８０１の図示のビューでは、カメラリグ８０１の一部だけが見えるが、カメラの同様の配置が、図８００内で十分には見ることのできないカメラリグ８０１のその他の側（異なる面とも呼ばれる）に存在する。すべではなくいくつかの実施形態では、カメラリグ８０１は、頂部のプラスティック本体またはカバー８０５と底部の基部カバー８４２とによって固定された１３台のカメラを含む。いくつかの実施形態では、これら１３台のカメラのうちの８台は、対であるカメラ８０４、８０６、８１２、および８１４などの立体視カメラであるが、一方で、多数の他のカメラは、図８００内で見えるカメラ８０２および８１０、ならびに、図８００内で十分ではないが部分的には見えるカメラ８１５および８２０などのライトフィールドカメラである。カメラの様々な他の組合せが可能である。いくつかの実施形態では、カメラ８２５は、また、関心を持たれている環境の上半球のイメージを取り込むために、カメラリグ８０１の頂面８４０などのカメラリグ８０１の頂部に取り付けられる。プラスティック本体／カバー８０５は、カメラリグ８０１を持ち上げるか回転するのに使用され得るハンドル８１１、８１３、８１７を含む。
[0084] いくつかの実施形態では、カメラリグ８０１は、カメラリグ８０１のより長い側部の各々に、１つのライトフィールドカメラ（たとえば、カメラ８０２）と立体視カメラ対を形成する２つの他のカメラ（たとえば、カメラ８０４、８０６）とを含む。いくつかのそのような実施形態では、４つのそのようなより長い側部（４つの側部の面８３０、８３２、８３４、および、８３６とも呼ばれる）があり、より長い側部の各々は、たとえば、左側の１つのより長い側部８３６上のライトフィールドカメラ８０２と立体視カメラ対８０４、８０６などの１台のライトフィールドカメラと１つの立体視カメラ対とを有し、一方で、右側の１つのより長い側部８３０上の他のライトフィールドカメラ８１０と立体視カメラ対８１２、８１４とが図８００内で見られ得る。他の２つの側部の面は、図８００に十分には示されていないが、これらは、図８により詳細に示される。いくつかの実施形態では、カメラリグ８０１内の立体視カメラやライトフィールドカメラなどのカメラのうちの少なくともいくつかが、魚眼レンズを使用する。様々な実施形態では、カメラリグ８０１内のカメラの各々は、物体によって引き起こされ得る物理的な衝撃および／または損傷に対してカメラおよび／またはレンズを保護するために、対応するレンズ／カメラガードによって保護される。たとえば、カメラ８０２、８０４、および８０６は、それぞれ、ガード８４５、８４７、および、８４９によって保護される。同様に、カメラ８１０、８１２、および、８１４は、それぞれ、ガード８５０、８５２、および、８５４によって保護される。
[0085] ４つの側部の面８３０、８３２、８３４、および、８３６の各々にある立体視カメラ対とライトフィールドカメラに加えて、いくつかの実施形態では、カメラリグ８０１は、さらに、カメラリグ８０１の頂面８４０上に、たとえば、空、または、閉ざされた環境の場合には他の天井面に向かうなどの、上向き垂直方向に面するカメラ８２５を含む。いくつかのそのような実施形態では、カメラリグ８０１の頂面上のカメラ８２５は、ライトフィールドカメラである。図８００内には示されていないが、いくつかの他の実施形態では、カメラリグ８０１の頂面８４０は、また、カメラ８２５に加えて、左目イメージと右目イメージとを取り込むための他の立体視カメラ対を含む。通常の状況では、カメラ８２５によって取り込まれる、スタジアム、劇場、コンサートホールなどの３６０°環境の上半球（空部分とも呼ばれる）は、アクションを含まず、および／または、静止のままであってよく、いくつかの場合には、他の環境部分がリグ８０１上の他のカメラによって取り込まれているのと同じレートで空部分を取り込むことが重要または望ましくあってもよい。
[0086] １つの例示的なカメラアレイ配置が、カメラリグ８０１に関して図示され、上述されるが、いくつかの他の実施態様において、カメラリグ８０１の４つの面８３０、８３２、８３４、および、８３６上の立体視カメラの対（たとえば、カメラ８０４、８０６、および、８１２、８１４）の天辺に配置された単一のライトフィールドカメラ（たとえば、カメラ８０２および８１０など）だけの代わりに、カメラリグ８０１は、立体視カメラ対と共に配置されたライトフィールドカメラのアレイを含む。たとえば、いくつかの実施形態では、カメラリグ８０１のより長い側部の各々の立体視カメラ対の天辺に配置された３台のライトフィールドカメラがある。他の実施形態では、たとえば、立体視カメラ対の天辺に配置された３台のライトフィールドカメラの２つの行を有する、カメラリグ８０１のより長い側部の各々の立体視カメラ対の天辺に配置された６台のライトフィールドカメラがある。さらに、他の変形例では、図８００に示されたタイプのカメラリグは、また、水平方向を指すカメラを有する４つの面８３０、８３２、８３４、８３６の代わりに、水平方向を指すカメラを有するカメラリグの３つの面があるように実装され得る。
[0087] いくつかの実施形態では、カメラリグ８０１は、垂直軸の回りに回転され得るように、支持構造に取り付けられ得る。様々な実施形態では、カメラリグ８０１は、たとえば、取り込まれるイベントが行われているスタジアム、講堂、または、他の場所などの関心を持たれている環境内に展開され得る。いくつかの実施形態では、カメラリグ８０１のライトフィールドカメラは、たとえば、関心を持たれている３６０°シーンエリアなどの関心を持たれている環境のイメージを取り込み、３Ｄ環境のシミュレーションと立体視イメージングコンテンツの表示とに使用され得る奥行マップを生成するのに使用される。
[0088] 図５は、いくつかの例示的実施形態にしたがって実装されたさらに他の例示的なカメラリグ１１０１のビューを表す図１１００を示す。例示的なカメラリグ１１０１は、ほとんどや多くの態様においてカメラリグ８０１に類似し、カメラリグ８０１に関して上述されたものと同じまたは同様のカメラの構成を含む。カメラリグ１１０１は、カメラリグ８０１と同様な、４つの側部の面１１３０、１１３２、１１３４、１１３６と頂面１１４０とを含む。カメラリグ１１０１の４つの側部の面１１３０、１１３２、１１３４、１１３６の各々は、ライトフィールドカメラと立体視カメラ対の対とを含むカメラのアレイを含み、一方で、カメラリグの頂面１１４０は、カメラリグ８０１に関して図示され議論されたものと同様な少なくとも１台のカメラ装置１１２５を含む。しかし、カメラリグ１１０１は、さらに、５つの面１１３０、１１３２、１１３４、１１３６、および、１１４０の各々にあるカメラアレイに加えて、たとえば地面に向かう、垂直下方に面する少なくとも１台のカメラ１１２６を含む第６の底面１１４２を含む。いくつかのそのような実施形態では、垂直下方に面する底面カメラ１１２６および垂直上方に面する頂面カメラ１１２５は、ライトフィールドカメラである。いくつかの実施形態では、カメラ１１２５および１１２６の各々は、カメラリグ１１０１の頂面と底面１１４０、１１４２の対応する立体視カメラ対の一部である。
[0089] カメラリグ８０１および１１０１の立体視カメラは、たとえば、イベントの間に、立体視イメージングコンテンツを取り込むのに使用されるが、ライトフィールドカメラの使用は、関心を持たれているシーンエリアをスキャンすることを可能にし、ライトフィールドカメラによって取り込まれたシーンエリアの様々な部分の奥行マップを生成する（たとえば、関心を持たれているシーンのこれらの部分に対応する取り込まれたイメージから）。いくつかの実施形態では、シーンエリアの様々な部分の奥行マップは、シーンエリアの合成奥行マップを生成するために組み合わされ得る。そのような奥行マップおよび／または合成奥行マップは、立体視イメージングコンテンツを表示し、ビューアによって経験され得る３Ｄ環境をシミュレーションすることにおける使用のために、再生装置に提供され得、いくつかの実施形態では提供される。
[0090] 上述のカメラリグの立体視カメラは、たとえばイベントの間に、立体視イメージングコンテンツを取り込むのに使用されるが、ライトフィールドカメラの使用は、関心を持たれているシーンエリアをスキャンすることを可能にし、ライトフィールドカメラによって取り込まれたシーンエリアの様々な部分の奥行マップを生成する（関心を持たれているシーンのこれらの部分に対応する取り込まれたイメージから）。いくつかの実施形態では、シーンエリアの様々な部分の奥行マップは、シーンエリアの合成奥行マップを生成するために組み合わされ得る。そのような奥行マップおよび／または合成奥行マップは、立体視イメージングコンテンツを表示し、ビューアによって経験され得る３Ｄ環境のシミュレーションをすることにおける使用のために、再生装置に提供され得、いくつかの実施形態では提供される。
[0091] 立体視カメラを用いた組み合わせでのライトフィールドカメラの使用は、たとえば、撮影されているイベントの間など、環境測定とリアルタイムでの環境奥行マップ生成とを可能にし、したがって、環境測定の展開が、フットボールゲームなどのイベントの開始の前に時間的に先行してオフラインで実行される必要性を回避する。
[0092] 各イメージから生成される奥行マップは、マッピングされる環境の部分に対応するが、いくつかの実施形態では、個々のイメージから生成された奥行マップは、ライトフィールドカメラを使用してスキャンされた完結した環境の合成マップを形成するために、たとえば共に編み合されるなど、処理される。したがって、ライトフィールドカメラを使用することによって、比較的に完成された環境マップが生成され得、いくつかの実施形態では生成される。
[0093] ライトフィールドカメラの場合には、マイクロレンズのアレイが、獲得の後にイメージに再び焦点を合わせることができるのに十分な情報を取り込む。また、イメージ取り込みの後に、メインレンズの副開口（sub-aperture）内で視点をシフトすることが可能であり、効果的に複数のビューを入手する。ライトフィールドカメラの場合には、焦点ぼけと一致（defocus and correspondence）の両方からの奥行の手がかり（depth cue）が、単一の取り込みで同時に入手可能である。これは、立体視カメラによって取り込まれない遮られた情報／シーンの部分を埋めることを試みるときに有用であり得る。
[0094] ライトフィールドカメラ出力から生成される奥行マップは、現在のものであり、たとえば、立体視カメラによって取り込まれるコンサートまたはゲームなどの特定のイベントについて関心を持たれているスタジアムまたは他の環境内の変化を正確に測定する可能性が高い。さらに、立体視カメラが取り付けられる位置と同じ位置またはその近くから環境を測定することによって、環境マップは、少なくともいくつかの実施形態で、イベントを取り込むのに使用される立体視カメラの眺めから知覚される可能性が高いので、環境を正確に反映する。
[0095] いくつかの実施形態で、たとえば、立体視カメラ対の位置および／または視野が、ライトフィールドカメラのそれとはわずかに異なり得るので、および／または、立体視カメラからのビューをふさぐことに起因して、ライトフィールドカメラによって取り込まれたイメージは、立体視カメラ対によって取り込まれない環境の部分のために処理され、埋めるのに使用され得る。たとえば、ライトフィールドカメラが、立体視対の位置に相対して後ろ向きに面しているとき、ライトフィールドカメラは、前向きに面する立体視カメラ対に見えない後ろ向きに面するビューを取り込むことができる。いくつかの実施形態では、ライトフィールドカメラの出力は、立体視カメラ対によって取り込まれたイメージデータとは別々に、または。それと共に、再生装置に提供される。再生装置は、立体視カメラ対によって十分には取り込まれないシーンエリアの表示が表示されるべきである場合に、ライトフィールドカメラによって取り込まれたイメージのすべてまたは一部を使用することができる。さらに、ライトフィールドカメラによって取り込まれたイメージの一部は、立体視カメラ対の位置からのビューからは遮られたが、ユーザが、立体視カメラ対の位置に対応するデフォルトビューイング位置に相対して自分が左または右に頭をずらすときに見ることができると期待する、立体視イメージの部分を埋めるのに使用され得る。たとえば、ユーザが、自分のビューをふさぐ柱の周りをのぞき見る試みにおいて上体を左または右に曲げる場合に、いくつかの実施形態では、ライトフィールドカメラによって取り込まれた１つまたは複数のイメージからのコンテンツが、立体視カメラ対に見えないが、上体を左または右に曲げることによって再生中にユーザが達成するずらされた頭位置からユーザに見えると期待されるイメージコンテンツを提供するのに使用される。
[0096] 図１ないし９に示された様々な例示的なカメラリグは、たとえば、通常のカメラ、立体視カメラ対、ライトフィールドカメラなどの様々な異なるカメラを装備され得る。例示的なカメラリグは、本発明の特徴にしたがって様々な応用例をサポートするために、たとえば、装備されたカメラを使用して、たとえば、測定結果およびイメージなどの環境情報を取り込むために、様々な実施形態において使用される。
[0097] 図６は、本発明のいくつかの実施形態にしたがって実装された例示的なシステム６６００を示す。システム６００は、イメージ取り込み、イメージ処理、イメージングコンテンツ、環境モデル、および／または、テクスチャマップの配送などの、顧客宅内に設けられた生成装置／コンテンツプレーヤなどの１つまたは複数の顧客装置へのイメージ配送を含む、環境情報の測定と取り込みとをサポートする。システム６００は、例示的なイメージング機器６０４、立体視イメージングシステム６０６、処理システム６０８、通信ネットワーク６５０、および、複数の顧客宅内６１０、…、６１２を含む。イメージング装置６０４は、１つまたは複数のライトフィールドカメラを含み、他方、立体視イメージングシステム６０６は、１つまたは複数の立体視カメラを含む。いくつかの実施形態で、イメージング装置６０４および立体視イメージングシステム６０６は、図１ないし５に関して前に議論されたカメラリグのいずれかであってよい例示的なカメラリグ６０２内に含まれる。カメラリグ６０２は、ライトフィールドカメラ機器と立体視イメージングシステム６０６とに加えて、追加のイメージング装置および／または環境測定装置を含むことができる。イメージング機器６０２は、本発明の特徴にしたがってイメージングコンテンツを取り込み、処理する。通信ネットワーク６５０は、たとえば、光ファイバ−同軸ケーブルハイブリッド（ＨＦＣ：hybrid fiber-coaxial）ネットワーク、衛星ネットワーク、および／または、インターネットであってよい。
[0098] 処理システム６０８は、本発明にしたがって、１つまたは複数のライトフィールドカメラ６０４と立体視イメージングシステム６０６内に含まれる１つまたは複数の立体視カメラとから受信されたイメージングデータを処理するように構成される。処理システム６０８によって実行される処理は、たとえば、関心を持たれている環境の奥行マップを生成すること、３ＤメッシュモデルおよびＵＶマップを生成すること、たとえば１つまたは複数の異なるフォーマットでイメージを符号化することなど、環境内の１つまたは複数の位置に位置決めされた１つまたは複数のカメラ装置から受信されたイメージングコンテンツを処理すること、本発明の特徴にしたがって遮られたイメージデータを抽出すること、および、本発明の特徴にしたがって１つまたは複数の再生装置にイメージコンテンツならびに環境モデル情報とＵＶマップを通信することを含む。いくつかの実施形態では、処理システム６０８は、サーバを含むことができ、このサーバは、たとえば関心を持たれている環境に対応する奥行マップ、ならびに／または３Ｄ環境メッシュモデル、ＵＶマップ、および／もしくはイメージングコンテンツなどの、コンテンツおよび／オーコンテンツを描画する際に使用される環境情報を求める要求に応答する。
[0099] 再生装置は、３Ｄ環境をシミュレートし、３Ｄイメージコンテンツを描画するのにそのような情報を使用することができ、いくつかの実施形態では使用する。
[00100] 処理システム６０８は、たとえば通信ネットワーク６５０を介して、１つまたは複数の顧客装置にイメージングデータおよび／または環境情報をストリーミング、たとえば送信、するように構成される。ネットワーク６５０を介して、処理システム６０８は、通信ネットワーク６５０を横断するリンク６０９によって図内で表されるように、顧客宅内６１０、６１２に配置された装置に情報を送り、および／または、情報を交換することができる。イメージングデータおよび／または情報は、１つまたは複数の再生装置への配送の前に符号化され得る。
[00101] 顧客宅内６１０、６１２の各々は、たとえば、システム６００内に展開された立体視カメラ６０６および／または他のカメラによって取り込まれるなどのイメージングコンテンツを復号し、再生／表示するのに使用される複数の装置／プレイヤを含み得る。イメージングコンテンツは、通常、処理システム６０８によって再生装置に通信される前に、たとえばフォーマットされ、および／または、符号化されるなど、処理される。顧客宅内１ ６１０は、表示装置６２０に結合された復号機器／再生装置６２２を含み、他方、顧客宅内Ｎ ６１２は、表示装置６２４に結合された復号機器／再生装置６２６を含む。いくつかの実施形態では、表示装置６２０、６２４は、ヘッドマウント立体視ディスプレイ装置である。いくつかの実施形態では、再生装置６２２、６２６は、３Ｄイメージングコンテンツを描画すること、３Ｄイメージングコンテンツをユーザに対して表示することにおいて、処理システム６０８から受信された環境モデル（３Ｄメッシュモデルとも呼ばれる）、ＵＶマップ、および、イメージングコンテンツを受信し、使用する。
[00102] 様々な実施形態で、再生装置６２２、６２６は、対応する表示装置６２０、６２４上にイメージングコンテンツを表す。再生装置６２２、６２６は、立体視カメラによって取り込まれた立体視イメージングコンテンツを復号し、復号されたコンテンツを使用してイメージングコンテンツを生成し、表示装置６２０、６２４上に、たとえば３Ｄイメージングコンテンツなどのイメージングコンテンツを描画することのできる装置であってよい。
[00103] 図７Ａ、７Ｂ、７Ｃ、７Ｄの組合せを備える図７は、たとえば環境モデルとＵＶマップ情報などの情報を生成し、環境内で取り込まれたコンテンツ対応イメージを生成し、ストリーミングするための方法７００を示す。方法および装置は、イベントが進行中である間のリアルタイムでのコンテンツの取り込み、処理、および、ストリーミングをサポートすることができるが、非リアルタイムのコンテンツの生成とストリーミングのためにも使用され得る。イメージ取り込みからストリーミングまでの完結するプロセスとして図示されるが、ストリーミングのためのフォーマットでコンテンツを生成するためのイメージのモデル生成および処理は、コンテンツをストリーミングする機器またはシステムとは別のシステムによって実行され得ることを理解されたい。たとえば、一旦、コンテンツが、１つまたは複数のフォーマットで生成されると、そのコンテンツは、たとえば図７で説明されたように、コンテンツ要求を受信し、これに応答する１つまたは複数のサーバにロードされ得る。したがって、図７のステップは、単一のシステムが、ステップに関連付けられたコンテンツの生成とストリーミングとを実行する例を使用して説明されるが、方法７００の異なる部分が、異なる装置によって実行され得、いくつかの実施形態では実行される。
[00104] 方法７００は、ステップ７０２で、たとえば、図６または本願の他の図のいずれかに示されたものなどのコンテンツ処理およびストリーミングシステムが電源をオンにされて開始する。ステップ７０４では、システムは、たとえば奥行情報などの環境の形状を示す環境モデル情報を、１つまたは複数のソースから受信する。環境モデル情報は、イメージが取り込まれるべき環境の形状を測定した奥行情報であってよい。たとえば、情報は、環境内で起こるイベントのイメージがそれから取り込まれる、たとえばカメラまたは座席位置などのデフォルトビューイング位置から、スポーツスタジアムにおいて測定される奥行情報とすることができる。ＬＩＤＡＲが、環境奥行測定をなすのに使用され得る。ライトフィールドカメラが、その代わりにまたはそれに加えて、奥行情報を取り込むのに使用され得る。追加の奥行情報が、たとえばデフォルトビューイング位置に配置されたカメラリグによって、取り込まれる光学イメージから入手され得る。スタジアムまたは環境の形状の静止モデル情報も、環境のモデルを生成するのに使用され得る。
[00105] 図４に示されたカメラリグのカメラを含むことができる１つまたは複数のソースからの、ステップ７０４で受信されたモデル情報の動作は、環境の１つまたは複数のモデルが生成されるステップ７０６に進む。いくつかの実施形態では、モデルは、メッシュモデルであり、メッシュは、たとえば取り込まれたイメージなどのテクスチャ（texture）が、再生中にユーザが見ることのできるイメージを生成するために適用され得る環境内の１つまたは複数の面をモデル化する。
[00106] 動作は、ステップ７０４から、１つまたは複数の環境モデルが生成されるステップ７０６に進む。環境は、たとえば１つまたは複数のカメラリグを使用することによってイメージが取り込まれ得る、スタジアム、劇場、屋外環境、または、任意の環境とすることができる。たとえば、図４または本願の他の図面のいずれかにおけるカメラリグが、環境のイメージを取り込むのに使用され得る。ステップ７０６は、ステップ７０８、７１０、および、７１２のうちの１つまたは複数、または、すべてを含む。
[00107] ステップ７０８では、たとえば第１の環境モデルなどの、デフォルトビューイング位置から見える環境の面のモデルが生成される。ステップ７０８で生成される第１のモデルは、デフォルトビューイング位置からなされたイメージおよび／または奥行測定、及び／または、環境の形状に関する静的情報から生成されるメッシュモデルであり得、時にそうある。第１のモデル、いくつかの実施形態では複数のモデルは、ノードによって接続されたセグメントのセット、したがって「メッシュモデル」と呼ばれるものとして、デフォルトビューイング位置から見える環境内の面をモデル化する。各セグメントは、たとえばイメージなどのテクスチャが、再生装置のユーザに対して表示されるイメージを生成することの一部として適用され得る面を表す。したがって、デフォルトビューイング位置から、環境の、たとえば壁、支持柱、ステージなどのモデル化される面に向かって外を見ている、デフォルトビューイング位置に位置する者によって知覚されるはずのものとしてモデル化される環境の形状を、第１のメッシュモデルは表す。
[00108] 理解されるべきであるように、デフォルトビューイング位置からは、たとえば環境内の物体の、いくつかの面は、デフォルトビューイング位置からは見えない可能性がある。デフォルト位置から、人が環境を観察するとき、または、カメラが環境のイメージを取り込むときに、そのような面がビューから遮られるので、そのような表面は「遮られた物体または面」と呼ばれる。したがって、本発明を説明する目的のために、遮られた面または物体は、デフォルトビューイング位置からは見えない物体または面とみなされ、他方、遮られない物体または面は、たとえば、ユーザがデフォルトビューイング位置から、左または右、上または下にずれることなく、自分の頭の向きを変えると、デフォルトビューイング位置から見える物体または表面とみなされる。たとえば、柱の裏側または柱の背後の物体は、それがデフォルトビューイング位置からは見えないのであれば、遮られた物体になる。遮られたイメージまたは遮られたイメージ部分は、遮られた面または物体のイメージ、または、遮られた面または物体のイメージの一部を指す。
[00109] スポーツイベントまたは他のイベントでのファンは、座席または他の一般的に固定されたビューイング位置からイベントの光景が呈せられる環境内でイベントを見ることに慣れている。コンテンツになる環境のイメージが取り込まれる位置は、スポーツイベントまたは他のイベントにおける座席位置に対応することができ、時に対応する。
[00110] イベントの参加者は、座席が割り当てられることに慣れているが、彼らは、イベントに参加している間に、座席で上体を左または右に曲げ、立ち上がりまたはしゃがみこむことにも慣れている。そのようなアクションは、通常、ビューアが自分の頭位置を変更し得る距離に制限され、ファンがイベントにおいて座っていたとする場合の頭の位置などのデフォルトビューイング位置からのシフトまたはオフセットとして考えられ得る。そのような動きは、しばしば、デフォルトビューイング位置からのビューから隠れた、すなわち遮られた、環境の部分を見る試みで行われる。ユーザの頭位置が変わり得るが、環境内のユーザの頭の位置が環境内で凡そ同じ位置のままである単純な頭の回転または頭の傾けとは異なって、デフォルトビューイング位置からの左または右、上または下へのオフセットは、通常、ファンまたはユーザが、デフォルトビューイング位置から見えなかった環境のいくつかの部分を見ることができるようになるという期待を伴う。
[00111] デフォルトビューイング位置から見える面をモデル化する第１の環境モデルは、通常、デフォルトビューイング位置からは見えない面に対応するセグメントおよび／またはノードを含まない。これは、ユーザがデフォルト位置に留まると仮定すると、自分が他の面を見る可能性が低く、使用される可能性が低い環境の部分についてのそのような細部を含めることが、データストレージおよび／またはデータ送信の観点から浪費になるからである。
[00112] オフセット位置へのビューイング位置の変化をサポートできない装置にとって、第１の環境モデルは、適当であり、環境内で取り込まれるコンテンツの再生をサポートする目的に好適である。しかし、装置が、デフォルト位置からのユーザのビューイング位置を変更するユーザの能力をサポートするために、たとえば、ユーザが自分のビューイング位置を変更する場合に見られ得る面などの追加の面に関するモデル情報が望ましい。たとえば、ビューイング位置を変更することによって、ユーザがその面を見ることができることを期待する場合、デフォルトビューイング位置からは見えない柱もしくは壁、または、箱の内側の面のすべてまたは一部をモデル化することが、有用である。たとえば、ユーザは、自分の頭を上に動かすことによって、デフォルトビューイング位置にいる間にその頂部を見ることはできるが、内部を見ることはできない自分の正面にある箱の中を覗き見ることができると期待する。また、ユーザが、上体を横に曲げ、自分の頭位置をデフォルトビューイング位置の左または右にずらすことによって、柱の背面または裏側の一部を見ることができると期待することを考慮する。上体を左または右に曲げることによって、または、立つこと、対、座ることによって、ユーザが見ることができる可能性が高い遮られた面は、環境の比較的に小さい部分である可能性が高い。しかし、現実的な仮想現実体験を提供するために、ユーザの頭の位置の変化を検出することに応答して、環境のそのような遮られた部分をユーザに正確に提示できることが望ましくあり得る。
[00113] 遮られた物体と面の表示をサポートするために、いくつかの実施形態では、第１のデフォルトビューイング位置からは見えない環境の部分をモデル化するステップ７１２で、補助モデル情報が生成される。補助モデル情報は、たとえばデフォルトビューイング位置からオフセットされた（ずれた）位置などの異なる位置において環境内に位置決めされたカメラまたは距離測定装置によって取り込まれたイメージに基づく、および／または、デフォルトビューイング位置からは見えない面の情報を含む細部にわたるスタジアムモデルなどの細部にわたる環境モデル情報に基づくとすることができる。多くのスタジアムおよび／または他の位置は、環境の正確な３Ｄモデルを生成するために様々な角度から詳細に測定されており、そのようなモデルは、リアルタイム測定が可能ではないときに、補助モデル情報の好適なソースになる。
[00114] 補助モデル情報は、デフォルトビューイング位置からは見えない少なくともいくつかの部分／面に対応するセグメントとノードとを含む環境のより詳細なモデルを生成するために第１のメッシュモデルと組み合わされ得る補充メッシュ情報の形であってよい。実施形態に応じて、補助モデル情報および第１の環境モデル情報は、ステップ７１０で行われるように、第２の環境モデルを形成するために組み合わされ得る。ステップ７１０で生成される第２の環境モデルは、デフォルトビューイング位置から見える面に対応するセグメントとノードと、デフォルトビューイング位置からは見えないが、たとえばデフォルトビューイング位置からオフセットされた第２の位置などの１つまたは複数の他の位置からは見える環境の部分に対応するセグメントとノードとも含む。
[00115] 第２の環境モデルは、遮られた環境コンテンツが表示されるべきでない場合であっても使用され得るが、装置が複数のビューイング位置をサポートできない場合に、再生装置が代替のビューイング位置をサポートする能力を欠くので、遮られたイメージ部分が表示されないから、第１のモデルの使用はより効果的である。これは、装置が、主コンテンツと遮られたコンテンツとを所望のフレームレートで復号するのに十分に強力ではない場合に、期待され得る。
[00116] しかし、ユーザが自分の頭位置をシフトし得る場合には、再生装置が、この中で時にメイン環境面または主環境面とも呼ばれる遮られないイメージ面、ならびに、遮られた面のための信頼できるモデル情報を有するように、第２の環境モデル、または、第１の環境モデルと補助情報との組合せを送ることが有用であり得る。以下で議論されるように、再生装置の能力、および／または、コンテンツが再生装置に供給されるフォーマットに応じて、ｉ）第１の環境モデル、ｉｉ）第２の環境モデル、または、ｉｉｉ）第１の環境モデルと補助モデル情報との組合せ、を供給することが望ましい。第１の環境モデルと補助モデル情報とを供給される場合、受信する装置は、遮られない面ならびに少なくともいくつかの遮られた面をモデル化する情報を含む第２のモデルを生成するために、補助モデル情報内に含まれるノードとセグメントの情報に基づいて、第１のモデルを変更することができる。
[00117] ステップ７０６で生成された環境モデルおよび／またはモデル情報は、モデル化された環境に対応するコンテンツを再生することを求める再生装置に提供されるために利用可能であるように、ステップ７１４で、たとえばメモリまたは他の記憶などに記憶される。
[00118] 動作は、ステップ７１４から、１つまたは複数のＵＶマップが、第１または第２の環境モデル上にマッピングされるべきであるイメージコンテンツと共に使用されるために生成されるステップ７１６に進む。１つまたは複数のＵＶマップが生成されるかどうかは、１つまたは複数のフレーム、たとえば２Ｄイメージ、が、再生のために使用される環境モデルに適用されるためのテクスチャを通信するために、たとえば２Ｄイメージなどの１つまたは複数のフレームが使用されるかどうかに依存する。
[00119] テクスチャとして使用されるべきイメージコンテンツは、いくつかの実施形態で、１つまたは複数の環境モデルの中のセグメントに適用され得るテクスチャとして使用されるべき、デフォルトビューイング位置から、または、デフォルトビューイング位置からオフセットされた位置から取り込まれたイメージである。各ＵＶマップは、どのようにして、２Ｄイメージを分割し、ＵＶマップ内のセグメントを環境の３Ｄメッシュモデルの対応するセグメントにマッピングすべきかを示す。通常、ＵＶマップの１つのセグメントは、３Ｄ環境モデルの１つのセグメントに対応する。
[00120] ＵＶマップは、たとえば、単一のイメージがユーザの左目と右目との両方への表示のために送信される場合、モノイメージ（mono image）のために使用され得る。ＵＶマップは、また、左目イメージを生成するために左目イメージコンテンツを３Ｄモデルにマッピングし、表示される右目イメージを生成するために右目イメージを３Ｄモデルにマッピングするのに使用され得る。そのような実施形態では、同じＵＶマップおよび３Ｄ環境モデルが、ステレオイメージ対の左目イメージと右目イメージとの両方のために使用され得るが、左目用の入力イメージは、右目イメージを生成するのに使用される入力イメージとは異なる。２Ｄイメージが符号化され、送信される形は、特定の実施形態に依存して変化し得る。いくつかのステレオの実施形態では、テクスチャとして使用されるべき環境の左目と右目の入力イメージは、異なるフレーム内で送信される。他の実施形態では、たとえば、一方のイメージがフレームの上部にあり、他方のイメージが第１のイメージの下にある状態で、または、たとえば、フレームの奇数ラインが左目イメージのために使用され、フレームの偶数ラインが右目イメージのために使用されて、左目と右目のイメージがインターレースされた形で通信される状態で、左目と右目のイメージの両方が単一のフレームに組み込まれる。ＵＶマップの適用の前に、再生装置は、左目イメージと右目イメージとを分離し、その後、左目入力イメージを３Ｄマップにどのように適用すべきかを決定するためにＵＶマップを使用し、表示のための右目イメージを生成するため、右目入力イメージを３Ｄメッシュモデルにどのように適用すべきかを決定するために、別個に、２回目に、ＵＶマップを使用し得る。
[00121] 左目と右目のイメージが、ステレオイメージ対の再生装置への送信のためにフレームの中にパックされ得る形は、様々な形のうちの１つで生じ得るので、本出願人は、可能な範囲で本願においてそのようなオプションの議論を限ることにする。
[00122] ステップ７１６は、ステップ７１８、７２０、および、７２２のうちの１つ、複数、または、すべてを含むことができる。ステップ７１８では、たとえばフレームなどの２Ｄイメージの諸部分を第１の環境マップにマッピングするための第１のＵＶマップが生成される。第１のＵＶマップを生成する際にマッピングされるべきフレームの諸部分は、デフォルトビューイング位置から見える環境の対応する諸部分のイメージである諸部分を含むことができ、通常は含む。第１のＵＶマップは、環境の３６０°ビューのためにあることができ、いくつかの実施形態ではそうであるが、環境のより小さい部分のためのものとすることができる。
[00123] ステップ７２０では、デフォルトビューイング位置から見える環境の部分に対応するイメージ部分を含み、また、デフォルトビューイング位置以外の１つまたは複数の位置から見える環境の遮られた部分に対応するイメージ部分も含むフレームの部分をマッピングするために、第２のＵＶマップが生成される。たとえば、フレームの大多数は、モデル化された環境の遮られないセグメントに適用されるべきテクスチャとしての使用のためにデフォルトビューイング位置から取り込まれた環境のイメージを通信することに専用にされ、たとえばフレームの底部などのより小さい他のものは、遮られた表面に対応するイメージを通信することに専用にされる。遮られた物体のためのテクスチャ情報を通信するのに使用されるフレームのセグメントのサイズは、遮られないイメージ部分を３Ｄモデルの同じサイズのセグメントにマッピングするのに使用されるＵＶマップ内のセグメントのサイズより小さいものとすることができ、時にそうである。その場合に、環境の遮られた部分のテクスチャを通信するために、送信されるフレームとＵＶマップの小さい部分の使用は、遮られないイメージ部分よりも低い解像度であるテクスチャに帰結する。しかし、遮られたイメージ部分について、遮られない部分よりもより低い解像度のテクスチャの使用は、遮られないイメージ部分が遮られたイメージ部分よりもはるかに高い可能性で見られるので、フレーム内の使用可能な画素の効率的な使用を可能にする。
[00124] 遮られないイメージデータと少量の遮られたイメージデータとの両方を通信するのに単一のフレームを使用することによって、遮られたイメージコンテンツの表示が、遮られないイメージデータだけを含むフレームが送信される場合と比較して、送信される必要があるデータの量を大幅に増加させることなく、サポートされ得る。フレーム内で遮られたイメージデータを遮られないイメージデータと共に送信することをサポートするために、遮られないイメージデータは、たとえば、遮られたデータが遮られないイメージデータと共にフレームにパックされない場合と比較して１０％またはそれより少なく、わずかにダウンサンプリングされ得、時にダウンサンプリングされる。
[00125] 遮られたイメージデータを遮られないイメージデータと共にフレームの中にパックするのではなく、遮られたイメージデータは、モデル化された環境の遮られない部分に対応するイメージ部分などの遮られないイメージデータのフレームを通信する第１のコンテンツストリームと多重化される補助コンテンツストリーム内で送信されるフレームの中にパックされ得る。補助フレームが、遮られた面に対応するイメージ部分を通信するのに使用される場合に、ステップ７２２で、補助ＵＶマップが、補助フレームの諸部分を、環境の遮られた部分に対応する３Ｄメッシュモデル内の諸セグメントにマッピングするために生成される。補助マップは、異なる主フレームに対応する部分を含むことができ、時に含む。たとえば、補助フレームの異なる１／５の部分が、たとえば主コンテンツストリーム内のＭ個のフレームのセットなどの主コンテンツストリームの異なるフレームと共に使用されるために、コンテンツを通信することができる。そのような場合に、単一の補助フレーム内のコンテンツが、フレーム時間に対応するイメージを生成するために、メッシュモデルへの適用の目的のために主フレーム内のコンテンツと組み合わされ得るように、補助フレームの異なる部分は、ＵＶマップ内に含まれる情報に基づいて異なるときに使用される。
[00126] 異なるメッシュモデルが、第１、第２、および、第３のコンテンツストリーミングフォーマットの各々をサポートするために、ステップ７１６で生成されている状態で、動作は、たとえば、コンテンツを要求する再生装置に必要とされるごとに供給され得るようにメッシュモデル情報と共に、生成された第１のＵＶマップ、第２のＵＶマップ、および、補助ＵＶマップがメモリ内に記憶されるステップ７２４に進む。
[00127] 動作は、ステップ７２４からステップ７２６に、接続するノードＡ ７２７を介してステップ７２９に進む。ステップ７２６は、たとえば環境内のデフォルトビューイング位置にあるカメラリグによって取り込まれたイメージの１つまたは複数のストリームなど、イメージコンテンツの処理の開始をマークする。したがって、取り込まれたイメージコンテンツが受信されるステップ７２６は、遮られないイメージコンテンツの受信に関連する。ステップ７２６では、処理システムは、デフォルトビューイング位置に配置された、第１のカメラ、または、第１のカメラと第２のカメラとを含む第１のカメラ対によって取り込まれたイメージコンテンツを受信する。モノイメージがサポートされる場合には、第１のカメラ単独で使用される。立体視イメージ取り込みがサポートされる場合には、第１のカメラが、たとえば左目イメージを取り込むのに使用され、第２のカメラが、たとえば右目イメージを取り込むのに使用される。
[00128] 動作は、ステップ７２６から、第１のカメラまたは第１のカメラ対から受信された、符号化されるべき受信されたイメージコンテンツが、たとえば、３Ｄ環境メッシュモデルのセグメント用のテクスチャとして使用されることを意図されたイメージデータを通信するのに使用されるフレームなどの第１のフレームでの包含のために選択されるステップ７２８に進む。ステップ７２８は、受信された１つまたは複数のイメージのクロッピング（縁を切り落とすこと）、および／または、再生装置に送信されるべき１つまたは複数のフレーム内に含まれる環境の異なる部分に対応する１つもしくは複数の受信されたイメージの異なる部分の抽出を含み得る。ステップ７２８で実行される選択は、１つまたは複数の受信されたイメージのどの部分が、モデル上にマッピングされるべきかを考慮に入れ、そのような部分が、送信されるべきフレーム内の包含のために選択される。
[00129] 動作は、ステップ７２８から、接続するノードＢ ７３０を介してステップ７３２と７３４に進む。ステップ７３２では、ステップ７２８で選択されたイメージコンテンツが、第１のフォーマットにしたがった符号化のためにフォーマットされる。このステップは、さらなるクロッピング、スケーリング、および／または、選択的解像度低下の実行、および／または、単一のフレーム内の包含のために異なるイメージからのコンテンツを組み合わせることを含むことができる。たとえば、左目イメージおよび右目イメージが単一のフレームの中にパックされる場合に、ステップ７３２は、イメージが、しばしばダウンサンプリングを伴い、同じフレーム内に配置され得るように、イメージをフォーマットする。左目イメージと右目イメージが別々のフレームとして送信されるべきである立体視の実施形態の場合には、ステップ７３２は、左目イメージと右目イメージとの両方を含む単一のフレームと対照的に、立体視フレーム対に、形成するイメージの対を出力する。
[00130] データ７３６は、ステップ７３２によって出力され、取り込まれたイメージ、複数のイメージから１つまたは複数の符号化されたフレームを生成するために、符号化がデータ７３６上で実行されるステップ７４１への入力として供給される、第１のフォーマットで符号化するためにフォーマットされたイメージまたはイメージ対を表す。動作は、ステップ７４１から、第１のストリームフォーマットを使用する第１のコンテンツストリーム、および／または、第３のコンテンツストリームフォーマットを使用する第３のコンテンツストリームでの可能性のある将来のストリーミングのために、第１のフォーマットでの１つまたは複数の符号化されたフレーム７４６が、たとえばメモリなどのコンテンツストアに記憶されるステップ７４４に進む。
[00131] ステップ７２８で選択された受信されたイメージコンテンツは、いくつかの実施形態で、第２のフォーマットでフレームを生成するための処理の対象にされる。第２のフォーマットでのフレームの生成は、ステップ７３４、７４０、７４２を含み、第２のカメラなどの代替のイメージソースからステップ７３１で抽出された遮られたイメージデータを使用する。第２のフォーマットのフレームは、通常は、第２のフォーマットのフレームの大部分を占める遮られない物体に対応するイメージ部分に加えて、たとえば遮られた物体のイメージの諸部分などの遮られたイメージデータを含む。
[00132] ステップ７３４では、単一のフレームが、環境の遮られない部分に対応するイメージ部分と環境の遮られた部分に対応するイメージ部分との両方を含む、第２のフレームフォーマットにしたがって符号化するために、イメージまたはイメージ対がフォーマットされる。ステップ７３４は、遮られたイメージコンテンツのために１つまたは複数のフレーム内にスペースを作るために、遮られないイメージ部分のすべの部分またはいくつかの部分のダウンサンプリングをすることを含み得る。したがって、第２のフレームフォーマットでは、画素数に関して同じサイズのフレームが、第１のフレームフォーマットと第２のフレームフォーマットとの両方のために使用されると仮定して、第１のフォーマットが使用されるときよりも少ない数の画素が、遮られない環境部分に専用とされ得る。ステップ７３４で生成された、符号化のためにフォーマットされたイメージまたはイメージ対は、ステップ７４０への入力として働くデータ７３８によって、図７Ｂにおいて表される。ステップ７４０への他の入力は、第２のフレームフォーマットにしたがってフレーム内に含められる遮られたイメージデータ７６２である。遮られたイメージデータ７６２の生成は、デフォルトビューイング位置からオフセットされ、したがって、少なくともいくつかの遮られた物体のイメージを取り込むことができる位置におけるカメラからの１つまたは複数のイメージの処理に関して、以下でさらに議論される。
[00133] ステップ７４０では、フォーマットされたイメージデータ７３８が、第２のフォーマットにしたがって符号化される１つまたは複数のフレームを生成するために、遮られたイメージデータ７６２と組み合わされる。１つのフレームがフレーム期間ごとに生成されるモノ、または、左目イメージおよび右目イメージが単一のフレームの中にパックされるステレオの場合に、単一のフレームが、各再生フレーム期間について生成される。異なるフレームが、左目イメージと右目イメージとを通信するのに使用される場合に、左目イメージおよび右目イメージが、立体視フレーム対を形成するためにステップ７４０で生成される。ステップ７４２では、ステップ７４２で生成された１つまたは複数のフォーマットされたフレームが符号化される。遮られないイメージ部分と遮られたイメージ部分との両方を含む、第２のフレームフォーマットでの１つまたは複数の符号化されたフレーム７４８は、ステップ７４４で、たとえば後続のコンテンツ要求への応答での使用のために、記憶される。
[00134] ＵＶマップの生成と記憶との後に、処理は、接続するノードＡ ７２７を介してステップ７２９内のステップに進む。ステップ７２９は、ステップ７３２、７３４と並列に実行され得、並列に示されているが、遮られたイメージデータがステップ７４０で使用のために使用可能にされる限り、逐次的な実行もされ得る。
[00135] ステップ７２９では、１つまたは複数のイメージが、たとえば、前記デフォルトビューイング位置に配置された前記第１のカメラおよび／または前記第１のカメラ対とは異なる位置に配置された第３のカメラなどの追加のカメラから受信される。第３のカメラは、そのイメージ内で、デフォルトビューイング位置と主イメージ取り込み位置からのビューからは遮られた環境の少なくともいくつかの部分を取り込む。
[00136] ステップ７３１では、第１のカメラまたは第１のカメラ対から見えない環境の１つまたは複数の部分に対応する、たとえば遮られたイメージデータなどのイメージ部分が、第３のカメラから受信された１つまたは複数のイメージから抽出される。抽出される部分は、デフォルトビューイング位置からは見えない、柱の後ろ側、箱の内部、または、なんらかの他の面に対応し得る。抽出された遮られたイメージ部分は、遮られたセグメントである環境のセグメント用のテクスチャとして使用されることが意図された不連続イメージ部分であることができる。抽出された遮られたイメージセグメントの処理は、ステップ７３１から、接続するノードＣ ７５１を介して、図７Ｃに示されたステップ７５２に進む。ステップ７５２では、たとえば、ステップ７３１で入手された環境の１つまたは複数の遮られたセグメントのための抽出された遮られたイメージデータのセットから欠けているイメージデータに基づいて、遮られたデータが使用可能ではない、デフォルトビューイング位置からは見えないエリアに対応する環境モデルにおいて、なんらかのセグメント、遮られた環境セグメントがあるかどうかを決定するために、チェックが行われる。欠けている遮られたイメージデータがない場合には、抽出された遮られたイメージデータは揃っており、抽出された遮られたイメージデータは、ステップ７６１で、遮られたイメージデータ７６２として、たとえばステップ７４０などの１つまたは複数の他の処理ステップに供給される。
[00137] ステップ７５２で、遮られたイメージデータが、環境の遮られた部分に対応する環境モデル内のセグメントのいくつかについて欠けていると決定される場合には、動作は、ステップ７５２からステップ７５４に進む。ステップ７５４では、遮られたイメージ部分に含まれる環境および／または環境のイメージが、取り込まれたイメージコンテンツが使用可能ではない遮られたセグメントを埋めるために、環境の使用可能なイメージ部分からどのようにしてテクスチャを最もよく生成するかを決定するために分析される。いくつかの実施形態において、イメージコンテンツが使用可能ではないセグメントが、イメージコンテンツが使用可能である物体または面の一部であるかどうかを決定するために、エッジおよび／または物体検出が使用される。環境の取り込まれたイメージ内のエッジは、面および／または物体を識別するのに使用される。いくつかの実施形態では、たとえばイメージ部分などのテクスチャを供給するのではなく、再生装置が、イメージ部分が使用可能ではない遮られたセグメントをどのように埋めるべきかにおいて、命令が生成される。これは、同じ面または物体に対応する１つまたは複数の特定の遮られたイメージ部分の平均を取るかコピーをし、イメージデータが取り込まれなかったセグメントにテクスチャとして適用されるべき欠けているイメージ部分として結果のイメージコンテンツを使用する命令を含むことができ、いくつかの実施形態では含む。他の実施形態では、ステップ７５６で、たとえばイメージ部分などのテクスチャが、ステップ７５６で他の遮られたイメージ部分から生成され、その後、カメラによって取り込まれたかのように遮られたイメージデータ内に含められる。いくつかの実施形態では、遮られたイメージデータは、カメラによって取り込まれたが、たとえば、環境の隣接する遮られた部分に対応し得るなど、イメージが取り込まれなかった遮られたセグメントに直接には対応しない、環境の遮られた部分である。そのようなイメージデータは、それが欠けていると使用可能ではないので、遮られたイメージデータ内に含まれることは、コンテンツが、環境モデルのすべての遮られたイメージセグメントについて使用可能であるか否かを考慮することにより、第３のカメラからのイメージを処理する装置が、第３のカメラによって取り込まれるイメージへの直接アクセスをしない再生装置よりも、よりよい置換を行い、および／または、命令を提供することを可能にする。
[00138] 動作は、ステップ７５６から、生成された埋める命令、および／または、そのようなデータが欠けている遮られたイメージセグメントのために生成された置換イメージデータが、抽出された遮られたイメージデータと組み合わされるステップ７６０に進む。その後、遮られたイメージデータの生成されたセットは、ステップ７４０およびステップ７３５などの１つまたは複数の他のステップでの使用のために、ステップ７６１で、遮られたイメージデータ７６２として返される。
[00139] ステップ７４０で実行される処理は、既に説明されている。したがって、ここで、議論は、図７Ｂのステップ７３５での遮られたイメージデータの処理に移る。ステップ７３５では、遮られたイメージデータ７６２が、たとえば、デフォルトビューイング位置からは見えない遮られた物体に対応するイメージの小さい部分などの遮られたイメージ部分を含む、たとえば、補助フレームを生成することでの使用のために使用されるフォーマットなどの第３のフォーマットでの符号化のためにフォーマットされる。ステップ７３５では、遮られたイメージデータは、１つまたは複数の主フレームと共に使用されるために、たとえば、クロッピングされ、ダウンサンプリングされ、補助フレームまたは補助フレームの一部内で通信され得る画素データのセットの中に組み合わされるなど、フォーマットされる。遮られたイメージデータは、環境の遮られた部分のためのテクスチャとして使用される、第３のイメージから切り出されたもののセットとすることができる。これらの小さいイメージ部分は、遮られたイメージデータを送信するのに使用される画素の数について、それらのサイズを低減するためにダウンサンプリングされ得る。遮られたイメージデータが、ステップ７３５で、選択され、フォーマットされて、動作は、たとえば遮られた面に対応するスニペット（断片）または小さいイメージ部分などの遮られたイメージデータが、１つまたは複数の補助フレーム内に含まれるように構成されるステップ７３７に進む。環境の隣接する部分のイメージは、たとえば、それらが環境内で配置される場所と一致するようにお互いに隣接するなど、通常は、お互いに並んで配置される一方で、複数の物体に対応するイメージ部分の組合せである遮られたイメージデータは、補助フレームまたは補助フレーム部分内の使用可能なスペースの使用を最大化するように配置され得、時に配置される。したがって、遮られた物体に対応する補助イメージデータの場合に、フレーム内のイメージ部分の配置は、イメージ部分がテクスチャとして環境内で使用される場所を制御する補助フレームに関連付けられたＵＶマップを用いた、実際の環境内の遮られたイメージ部分の配置とは非常に異なり得る。
[00140] 補助フレーム内で、ＵＶマップが、補助フレーム部分が環境モデルセグメントにどのようにマッピングされるべきかを示すＵＶマップによって提供される情報に基づいて、テクスチャなどのイメージがモデル化された環境内に適用される場所を制御するとの理解で、環境において隣り合わない物体に対応する画素は、時に、お互いの隣に配置される。同様に、遮られたイメージコンテンツが、第２のフォーマットで生成されたフレーム内に含まれる場合、遮られたイメージコンテンツが、環境メッシュモデルのどのセグメントにテクスチャとして適用されるのかを制御するそのようなフレームに関連して使用されるＵＶマップを用いて、隣接しない遮られた物体に対応する画素は、送信目的のためにフレーム内でお互いの隣に配置され得る。したがって、隣接する画素が、通常は、メッシュモデル内の隣接するセグメントに対応する、主イメージデータまたは遮られないイメージデータとは異なり、遮られたイメージデータに関して、フレーム内の隣接する画素は、たとえば、お互いに隣接しないデフォルトビューイング位置からは見えない遮られた物体面などの隣接しない面または物体に対応することができ、しばしば対応する。たとえば、柱の背後部分のイメージは、柱の背後部分および箱の内部が、環境内の異なる隣接しない位置に配置される場合であっても、補助データの場合にフレームまたはフレームの部分を形成するのに使用される遮られたイメージデータセット内で箱の内部のイメージの、隣接するなどのとなりに含まれ得る。したがって、ステップ７３７の一部としての遮られたイメージデータの配置において、実際の環境内の隣接するイメージ部分は、遮られたイメージデータの配置されたセット内で隣接しなくてもよく、環境内で隣接しない物体である遮られた物体のイメージは、補助フレーム、または、第２のフォーマットのフレーム内に含まれるイメージデータの遮られたセット内で、隣接するように配置されてもよい。
[00141] 遮られたイメージ部分が、遮られないイメージ部分よりも、モデル化される環境のはるかに小さい部分になる傾向があることを考慮すると、遮られたイメージデータが補助フレーム内で送られる場合、複数の異なる主フレームに対応する遮られたイメージデータは、単一の補助フレーム内に含められ得る。加えて、補助フレームサイズは、たとえば主フレームサイズより小さいなど、異なってよい。再生装置は、主ストリームの異なるフレームに対応する遮られたイメージデータを再生し、たとえば、遮られないイメージコンテンツストリームなどの主イメージコンテンツストリームの対応するフレームを用いて再生されたイメージデータを使用することができる。したがって、フレーム内の画素数について、たとえばより小さいなどの異なるフレームサイズを使用することによって、および／または、複数の異なる遮られないイメージフレームのための遮られたイメージデータを単一の補助フレームの中にパックすることによって、遮られたイメージコンテンツは、主コンテンツストリームを送信するのに必要とされるデータの量と比較して、相対的にわずかなオーバーヘッドをもって与えられ得る。いくつかの実施形態では、補助コンテンツストリームなどの遮られたイメージコンテンツストリームは、主の遮られないコンテンツストリームのデータレートの１／１０またはそれより少ないデータレートを有する。補助フレームが、複数の主フレームに対する遮られたイメージコンテンツを含む場合、補助データストリームのフレームレートは、通常、主ストリームのフレームレートよりもわずかになる。いくつかの実施形態では、テクスチャとして使用される遮られたイメージデータを供給する補助コンテンツストリームのフレームレートは、主コンテンツストリームのフレームレートの１／５、１／１０、または、少ない。
[00142] １つまたは複数のフレームからの遮られたイメージコンテンツが、ステップ７３７で、１つまたは複数のフレーム内に配置されると、動作は、１つまたは複数の補助フレームが、記憶および／または送信のために、たとえば圧縮されるなど符号化されるステップ７３９に進む。そして、符号化された１つまたは複数の補助フレームは、将来のストリーミングおよび／または処理のために、ステップ７４４において記憶される。
[00143] 動作は、様々なフォーマットでストリームを生成するのに使用され得る符号化されたコンテンツが記憶されるステップ７４４から、接続するノードＥ ７７１を介して、図７Ｄのステップ７７２に進む。ステップ７７２では、異なるストリームフォーマットに対応するコンテンツセットが、コンテンツ要求に応答するコンテンツのストリーミングを容易にするために生成される。ステップ７７２は、ステップ７７３、７７７、７８３を含む。
[00144] ステップ７７３では、第１のコンテンツストリームフォーマットに対応する第１のコンテンツセット７７４が生成される。生成される第１のコンテンツセット７７４は、環境の遮られないセグメントに対応するセグメントを含む第１の環境モデル７７５と、環境に対応するイメージのフレームを第１の環境モデル７７５のセグメントにマッピングするための第１のＵＶマップ７７６と、コンテンツストリームとして送られ得る第１のフォーマットの符号化されたフレーム７４６とを含む。符号化されたフレーム７４６は、遮られたイメージコンテンツを含まない。コンテンツの第１のセット７７４は、遮られないイメージ部分に関連するコンテンツとマップとモデル情報とを含み、遮られたイメージ部分のための情報を含まないので、たとえば、処理能力制限の理由またはデータ送信制約の理由から、遮られないイメージ部分を処理し、表示するが、遮られたイメージ部分を処理せず、表示しない装置など、遮られたイメージデータの表示をサポートしない装置へのストリーミングによく適する。
[00145] ステップ７７７では、たとえば、第２のコンテンツストリームフォーマットに対応する、第２のコンテンツセット７７８は、たとえば、以前に作成された第２の環境モデル７８０、第２のＵＶマップ７８１、および、第２のフォーマットの１つまたは複数の符号化されたフレーム７４８とから生成される。第２のフォーマットのフレーム場合に、フレームは、遮られないイメージコンテンツと遮られたイメージコンテンツとの両方を含む。第２の環境モデル７８０は、環境の遮られない部分と環境の遮られた部分とに対応するセグメントを含む。第２のＵＶマップ７８１は、遮られないイメージ部分ならびに遮られたイメージ部分を、第２の環境モデル７８０にどのようにマッピングするかに関する情報を含む。したがって、第２のストリームフォーマットの場合に、遮られたイメージデータを有する個別のコンテンツストリームは送られないが、送られるフレームの部分は、第２の環境モデル７８０内の遮られた面に対応するイメージ部分を提供するのに使用される。第２のコンテンツストリームフォーマットは、送信するために、第１のコンテンツストリームフォーマットと同じまたはほぼ同じ量のデータを必要とし得るが、遮られたイメージデータを使用することのできない装置にとって、送信されるフレームの各々のより少ない部分などのより少ないデータが、遮られないイメージコンテンツを通信するために使用されるとした場合に可能であるものより、デフォルトビューイング位置から見える主イメージ部分のより良い品質を潜在的に可能にする、たとえば主イメージ部分などの遮られないイメージ部分のために、送信されるフレームのうちのより多くが使用されるので、第１のフォーマットでコンテンツストリームを受信することがよりよい。
[00146] ステップ７８３では、第３のコンテンツセット７８４が生成される。第３のコンテンツセット７８４は、第３のコンテンツストリームフォーマットに対応する。第３のコンテンツストリームフォーマットにしたがって、プログラムまたは他のコンテンツは、主コンテンツストリーム内の遮られないイメージコンテンツに対応するフレームと補助コンテンツストリーム内の遮られたイメージコンテンツを提供するのに使用されるフレームとの多重送信を使用してストリーミングされる。いくつかの実施形態では、各補助フレームは、複数の異なる主コンテンツストリームフレームと共に使用される遮られたイメージコンテンツを提供する。したがって、主コンテンツストリーム内で送信されるＭ個のフレームの各々について、１個のフレームが補助コンテンツストリーム内で送信され、Ｍは、１またはそれより大きく、しばしば、５または１０より大きい。これは、はるかに少ない量の使用可能な帯域幅が、主ストリームではなく、たとえばいくつかの実施形態では遮られたイメージコンテンツなどの補助フレームを送信するために専用にされるからである。いくつかの実施形態では、補助コンテンツストリームは、主コンテンツストリームの１／５またはそれより少ないデータを必要とし、多くの場合に、遮られないイメージコンテンツストリームなどの主イメージコンテンツストリームの１／１０またはそれより少ないデータを必要とする。
[00147] ステップ７８３は、いくつかの実施形態で、環境の遮られない部分と遮られた部分との両方のためのモデル情報を含む第３のストリームフォーマットと共に使用するための、環境モデル情報７８５を含むコンテンツセットを作成することを含む。いくつかの実施形態で、環境モデル情報７８５は、遮られないセグメントと遮られたセグメントとの両方を有する環境モデルを生成するために、組み合わせて使用され得る、第１の環境モデル情報７７５と補助モデル情報７８６とを含む。他の実施形態では、環境モデル情報７８５は、環境の遮られない部分と遮られた部分とに対応するセグメントを含む第２の環境モデル７８０を含む。コンテンツストリーム内に第２の環境モデル７８０を含めることによって、再生装置は、使用される環境モデルを作成するために第１の環境モデル情報７７５と補助モデル情報７８６とを組み合わせる必要がなく、遮られないセグメントと遮られたセグメントとを既に含む第２の環境モデル７８０に単純に依存することができる。
[00148] 第３のモデル情報に加えて、第３のコンテンツセット７８４は、第１のＵＶマップ７７６と、たとえば、遮られないイメージコンテンツを含むが、遮られたイメージ部分を含まないフォーマットなどの第１のフォーマットで符号化された１つまたは複数のフレーム７４６とを含む。第１のＵＶマップ７７６は、第１のフォーマットでのフレームの部分、すなわち、遮られないイメージ部分を、環境の遮られない部分に対応する第２の環境モデル７８０のセグメント上にマッピングするのに使用され得る。遮られないイメージコンテンツ７４６に加えて、第３のストリームフォーマットでは、遮られたイメージ部分が、補助コンテンツストリーム内で送られる補助フレーム内で通信される。したがって、第３のコンテンツセット７８４は、遮られたイメージ部分を、環境の遮られた部分に対応する第２の環境モデル７８０のセグメント上にマッピングするための補助ＵＶマップ７８８を含む。そのような遮られたセグメントに関する情報は、コンテンツストリームが、第１の環境モデル情報７７５と、再生装置が第２の環境モデル７８０を生成することを可能にする補助モデル情報７８６とを含む場合に、補助モデル情報７８６内に含まれる。
[00149] ステップ７７２で、様々なストリームのためのコンテンツセットが生成され、記憶されて、それらは、ストリーミングのために使用可能である。所与のプログラムタイトルに関して理解されるべきであるように、対応するコンテンツは、コンテンツと、関連するモデル／ＵＶマップ情報とを再生装置にストリーミングすることによって、第１のストリームフォーマット、第２のストリームフォーマット、または、第３のストリームフォーマットを使用して提供され得る。所与のプログラムタイトルに関して、複数の異なるコンテンツストリームが使用可能であり得るが、個々のコンテンツストリームは、特定のコンテンツ識別子によって識別され得る。再生装置は、たとえば、１つまたは複数のコンテンツセットが存在するプログラムを識別するプログラムタイトルまたは番号などのコンテンツ識別子を提供することと、たとえばコンテンツを提供するサーバなどの装置が、供給すべきコンテンツセット７７４、７７８、または、７８４を選択することを可能にすることとによって、コンテンツを要求することができ、あるいは、再生装置が、コンテンツ要求の中に、記憶されたコンテンツセット７７４、７７８、７８４のうちの特定の１つに対応するコンテンツセットまたはストリーム識別子を含めることにより、特定のストリームフォーマットでのコンテンツを要求することができる。
[00150] コンテンツ要求を容易にするために、ステップ７９１で、コンテンツセット７７４、７７８、７８４を作成し、記憶したシステムは、使用可能なコンテンツおよび／または使用可能なコンテンツストリームのリストを再生装置に通信するなど、発行する。使用可能なストリーム情報が、特定のコンテンツストリームフォーマットでの示されたタイトルに対応するコンテンツを識別するストリーム識別子を含むことができる一方で、使用可能なコンテンツのリストは、プログラムタイトルまたはプログラム識別子を含んでもよい。発行された使用可能なコンテンツ情報を受信する再生装置は、たとえば、コンテンツセット７７４、７７８、７８４を記憶し、要求に応答してストリーミングするサーバからなどのコンテンツを要求するのに、それを使用することができる。たとえば、遮られたイメージの表示をサポートしない装置が、コンテンツセット７７４を供給されて、および、単一のデコーダを有し、遮られたイメージの表示をサポートする第２の装置が、コンテンツセット７７８を供給されて、および、主ストリームデコーダと補助ストリームデコーダなどの複数のデコーダサポートする装置が、コンテンツセット７８４を供給されて、異なる能力を有する装置は、同じタイトルの異なるバージョンをストリーミングされ得、時にストリーミングされる。
[00151] 使用可能なタイトルのリストが、コンテンツ要求を行うことを容易にするために、ステップ７９１で再生装置に配布されて、動作は、「ＧＯＴＯ」ステップ７９３を介して、図８に示されたコンテンツ供給ルーチン９００に進む。
[00152] 図８に示されたコンテンツ供給ルーチン９００を議論する前に、供給され得るコンテンツストリームの様々なフォーマットの簡単な議論が、供給ルーチンを理解するのに役立ち得る。
[00153] 図９は、たとえば、デフォルトビューイング位置から見られ得るイメージに対応するコンテンツなどの、遮られたイメージ部分を含まないコンテンツを、たとえば、ストリーミングするまたはダウンロードするなど、供給するのに使用される第１のストリームフォーマット１０００を示す。第１のフォーマットによれば、たとえば、ストリーミングされるイメージが取り込まれた場所に対応する環境のメッシュモデルなどの環境モデル１００２が、フレーム１００６の諸部分をマッピングするためのＵＶマップ１００４と共に、環境モデルに与えられる。第１のストリームフォーマットでは、提供されるモデル１００２、ＵＶマップ１００４、および、イメージコンテンツ１００６は、たとえば、環境内のデフォルトビューイング位置から見える部分などの環境の遮られない部分に対応する。第１のストリームフォーマットは、たとえば、デフォルトビューイング位置からは見えない環境のエリアに対応するイメージの部分などの遮られたイメージコンテンツの通信を含まない。
[00154] 図１０は、たとえば、デフォルトビューイング位置から見られ得るイメージに対応するコンテンツ、ならびに、デフォルトビューイング位置からは見られ得ないが、デフォルトビューイング位置からずらされた位置からは見えるイメージに対応するコンテンツなど、フレーム内に、遮られないイメージ部分と遮られたイメージ部分とを含むコンテンツを、ストリーミングするまたはダウンロードするなど供給するのに使用される第２のストリームフォーマット１０５０を示す。第２のフォーマットによれば、たとえば、ストリーミングされるべきイメージが取り込まれた場所に対応する環境のメッシュモデルなどの第２の環境モデル１０５２が、ＵＶマップ１０５３と共に提供される。第２のフォーマットによれば、１つまたは複数のフレーム１０５７が、環境の遮られない部分に対応するイメージコンテンツ１０５８と、環境の遮られた部分に対応するイメージコンテンツ１０６０とを含むように符号化される。図１０では、フレーム１０５７の上側部分は、遮られないイメージコンテンツを提供するよう図示され、フレームの下側部分が、遮られたイメージコンテンツを提供するよう図示されるが、たとえば、遮られたイメージコンテンツが、フレームの上部と下部、または、左部分と右部分との両方で提供されることなど、他の構成が可能である。いくつかの実施形態では、遮られたイメージコンテンツが、たとえば、フレームの左側と右側、下部と上部などの様々な位置に配置され得る一方で、遮られないイメージ部分は、フレーム１０５７内の連続するエリアに対応する。遮られないイメージデータのためにフレーム１０５７の連続部分を使用することは、必須ではないが、遮られないイメージ部分の抽出と環境モデルへの適用とを容易にすることができる。第２のストリームフォーマットでは、通信されるフレームが、主ビューイングエリアに対応する遮られないイメージコンテンツと遮られたイメージコンテンツとの両方を含むので、ＵＶマップ１０５３は、遮られないイメージコンテンツのメッシュモデル１０５２のセグメントへのマッピングを示す第１の部分１０５４と、遮られたイメージ部分のメッシュモデル１０５２のセグメントへのマッピングを示す第２の部分１０５６とを含む。
[00155] 図１１は、たとえば、メインコンテンツストリームまたは主コンテンツストリーム１２１０のフレーム内で送信される遮られないイメージ部分と、補助ストリーム１２５０内で送信される遮られたイメージ部分とを含むコンテンツを、ストリーミングするまたはダウンロードするなど供給するのに使用される第３のストリームフォーマット１２００を示す。遮られないイメージコンテンツを供給するメインストリームのフレーム１２１２、１２２０と、遮られたイメージコンテンツを供給する対応する補助ストリームのフレーム１２５２との使用を容易にするために、再生装置は、第３のストリームフォーマットの一部として、環境の遮られない部分および遮られた部分のためのセグメントを含む、第２のメッシュモデル１２０３の形態での環境メッシュモデル情報、または、そのようなモデル１２０３を構築するのに十分な情報、または、そのようなモデルを形成するのに十分な情報１２０２を供給される。そのようなモデル１２０３を形成するのに十分な情報１２０２は、たとえば遮られない面など、デフォルトビューイング位置から見える面のメッシュモデル１２４２と、第２のメッシュモデル１２０３を生成するために、ノードおよび／またはセグメントをどのようにメッシュモデル１２４２に追加すべきかに関する情報を提供する補助メッシュモデル情報１２４４とを含む。
[00156] さらに、第３のストリームフォーマットの場合に、異なるフレームが、テクスチャとして使用されるべき主の遮られないイメージコンテンツを供給するのに使用され、補助ストリームが、テクスチャとして使用されるべき遮られたイメージコンテンツを提供するフレームを供給するのに使用されるので、個別のＵＶマップ１２７４、１２７５が提供される。ＵＶマップ１２７４は、環境の遮られない部分に対応して、送信されるフレームのセグメントを第２のメッシュモデル１２０３のセグメント上にどのようにマッピングするかに関する情報を提供する。補助ＵＶマップ１２７５は、送信される補助フレームのセグメントを、メッシュモデル１２０３の１つまたは複数の遮られないセグメントのうちのセグメント上にどのようにマッピングするかに関する情報を含む。
[00157] 図１１の実施形態では、主の遮られないイメージコンテンツの各々Ｍ個のフレーム（１２１２、１２２０）（１２３２、１２４０）について、遮られたイメージコンテンツを有する１つの補助フレーム１２５２、１２６０が、生成され、補助コンテンツストリーム１２５０内に含められる。送信目的のために、プログラムに対応するメインストリーム１２１０のフレーム、および、同じプログラムに対応する補助ストリーム１２５０のフレームが、多重化され得、しばしば多重化される。したがって、プログラムに対応するコンテンツストリームは、メインストリーム１２１０に対応するデータと、補助ストリーム１２５０に対応するデータの他のセットとを含み得る。ストリーム１２１０、１２５０のコンテンツは、パケットを共に混合するマルチプレクサを用いてパケット化され得る、および、しばしばパケット化されるが、それらが対応するストリームは、異なるパケットのパケットヘッダ内に含まれる異なるストリームアイデアの使用から識別可能である。再生時に、ストリーム１２１０と１２５０のコンテンツは、各ストリームのパケットと共に通信されるストリーム識別情報に基づいて簡単に多重化解除（デマルチプレックス）され得る。
[00158] Ｍは、１またはそれより大きくすることができるが、それは、通常、遮られたイメージデータの量が、主フレームの各々についての主フレームデータの量の１／５またはそれより少ないので、５またはそれより大きい。メインストリーム１２１０が、補助ストリーム１２５０の各フレームに対してＭ個のフレームを含むので、メインストリーム１２１０のフレームレートは、補助ストリーム１２５０のフレームレートのＭ倍になる。単一の補助フレームが、複数のフレームのための補助イメージコンテンツを含む場合には、異なる主フレームＦ1 １２１２からＦM １２２０に対応する補助コンテンツは、事前に決定された形で、単一の補助フレームＡＦ1 １２５２内に配置され得る。たとえば、図１１に示されているように、補助フレームＡＦ1 １２５２は、フレームＦ1 １２６２とＭ個のフレームの第１のセット内の他のフレームの各々とのための補助イメージコンテンツを含む。したがって、補助フレームＡＦ1は、主フレームＦ1のための補助イメージデータ１２６２と、３つの点の使用によって表される第１のセット内の他のフレームのためのイメージデータと、主フレームＦM １２２０のための補助データ１２６５とを含む。
[00159] いくつかの実施形態では、再生装置は、メインと補助との符号化されたフレームを復号するために異なるデコーダを使用する。ハードウェアデコーダまたはグラフィックスプロセッサが、遮られないイメージデータを提供する主コンテンツストリームのフレーム１２１２、１２２０、１２３２、１２４０を復号するために、セルフォンなどの再生装置内でしばしば使用されるが、デコーダの汎用プロセッサが、補助ストリーム１２５０のより低いレートのフレームを復号するように構成される。ハードウェアデコーダが十分に高速である他の場合には、ハードウェアデコーダは、メインストリーム１２１０の符号化されたフレームと補助ストリームの符号化されたフレーム１２５０との復号の間で切り替えるように、再生装置内で使用され得る。メインストリームのフレームを復号するために使用されるデコーダよりも低速などのより低速のデコーダが、補助フレームを復号するのに使用され得ることを考慮すると、いくつかの実施形態で、主フレームのセット（１２１２、１２２０）に対応する補助フレーム１２５２は、補助イメージコンテンツが、それと共に使用される対応する主フレームと同時に、復号された形で使用可能であることを確実にするために、主フレームの対応するセットの前に再生装置に送られる。
[00160] 図８は、本発明の１つの例示的な実施形態にしたがってサーバによって実施され得るコンテンツ供給方法９００を示す。例示的なコンテンツサーバの動作は、サーバが、たとえば、第１、第２、および、第３のストリームフォーマットの各々でコンテンツを記憶し、提供できる例の文脈で説明されるが、サーバが、すべてのフォーマットをサポートする必要はなく、実施形態に依存して、第１、第２、または、第３のフォーマットのうちの単一の１つ、または、３つのフォーマットのうちの２つをサポートしてもよいことを理解されたい。
[00161] 方法９００は、ステップ９０２において、たとえば、供給ルーチンが、この方法を実装するコンテンツサーバのプロセッサによってロードされ、実行されることで開始する。動作は、開始ステップ９０２から、サーバが、たとえば、１つまたは複数の異なる顧客宅内にある再生システムおよび／または装置からの、コンテンツ要求を監視するステップ９０４に進む。
[00162] ステップ９０６では、コンテンツの要求が、再生装置から受信される。再生装置にとって使用可能な情報に応じて、装置は、どのフォーマットをストリーミングするかの選択をサーバに任せて、コンテンツ要求内で特定のコンテンツタイトルを示すことができ、または、再生装置は、たとえば、ユーザが選択したタイトルに対応し、再生装置によって選択されたコンテンツストリームフォーマットであるコンテンツストリームなどの特定のコンテンツストリームを識別することができる。コンテンツ要求内に含まれ、または、コンテンツ要求と共に送られる装置識別子から、または、再生装置によって提供される装置能力情報から、サーバは、再生装置が、遮られたデータの表示をサポートできるかどうかを決定することができ、そうである場合には、第１および／または第２のストリームフォーマットがサポートされ得るかどうかを決定することができる。サーバは、また、再生装置によって提供される情報から、または、サーバと再生装置との間のネットワーク接続の監視から、再生装置のために働くのに使用され得るチャネルのデータレートを知ることができる。
[00163] コンテンツ要求が受信されて、動作は、ステップ９０６からステップ９０８に進む。ステップ９０８では、サーバは、環境モデル情報、提供されるべき１つまたは複数のＵＶマップ、および、受信された要求に応答して再生装置にどの１つまたは複数のコンテンツストリームを供給すべきかを決定する。判断は、再生装置の能力および／またはコンテンツ配送のためにサポートされ得る再生装置へのデータレートに基づかれ得る。
[00164] ステップ９０８は、１つまたは複数のサブステップを含む。図８の例では、ステップ９０８は、受信されたコンテンツ要求が、特定のストリームフォーマットにおけるコンテンツを識別するコンテンツ識別子を含むかどうかを決定するためのチェックが行われるサブステップ９１０から始まる。たとえば、要求されたコンテンツに対応するストリーム識別子が、コンテンツ要求内に含まれていたとすると、問い９１０に対する答えは「ｙｅｓ」であり、動作はステップ９１０から９２２に進む。ステップ９２２では、使用されるべきストリームフォーマットが、コンテンツ要求内で示された特定のコンテンツストリームのストリームフォーマットと一致するようにセットされ、たとえば、使用されるストリームフォーマットは、特別に要求されたストリームのフォーマットと一致する、第１、第２、または、第３のストリームフォーマットのうちの１つに設定される。動作は、ステップ９２２からステップ９３０に進む。
[00165] コンテンツ要求が、特定のフォーマットを有するコンテンツストリームを特別には識別しない場合、動作は、ステップ９１０から、要求がそれから受信される再生装置が、遮られたイメージデータの処理と表示とをサポートするかどうかを決定するために、装置能力がチェックされるステップ９１２に進む。そのような決定は、たとえば、第１、第２、および／または、第３のストリームフォーマットのサポートを示す装置能力などの、要求内に含まれる装置能力情報に基づいて、および／または、受信された要求内に含まれる再生装置の識別子に基づいて能力情報を検索することによって、行われ得る。
[00166] ステップ９１２で、コンテンツを要求する再生装置が、遮られたイメージデータの処理と表示とをサポートしないと決定される場合には、動作は、ステップ９１２からステップ９１４に進む。ステップ９１４では、たとえば、遮られたイメージデータをサポートしないフォーマットなどの第１のストリームフォーマットが使用されるべきであることが決定される。その後、動作は、ステップ９１４から、使用されるべきストリームフォーマットが、第１のストリームフォーマットに設定されるステップ９２４に進み、その後、動作はステップ９３０に進む。
[00167] ステップ９１２で、要求を送った再生装置が、遮られたイメージコンテンツの処理と表示とをサポートすると決定される場合に、動作は、ステップ９１２から、主コンテンツストリームおよび補助コンテンツストリームが、たとえば、主ストリーム、補助ストリーム、および、オーディオストリームなどの１つまたは複数の他のストリームを含むプログラムストリームなどの多重化されたストリーム内で提供されるフォーマットなど、第３のストリームフォーマットでのコンテンツストリームの処理を再生装置がするかどうかを、サーバが決定するステップ９１６に進む。
[00168] 第３のフォーマットは、主フレームストリームと遮られたイメージコンテンツを提供する補助データストリームとの送信を含むので、それは、通常、コンテンツ配送をサポートするために、第２のデータストリームフォーマットより高いデータ送信レートを必要とする。ステップ９１６で、第３のストリームフォーマットが再生装置によってサポートされ得ると決定される場合、処理は、ステップ９１８に進む。ステップ９１８では、第３フォーマットでのコンテンツストリームのために必要とされるデータレートが、要求する再生装置にコンテンツを配送する際の使用のために利用可能かどうかを決定するために、チェックが行われる。これは、他の装置から受信されたデータレート情報に基づいて決定され、サーバによって決定され、および／または、コンテンツを要求する再生装置から報告され得る。ステップ９１８で、第３のストリームフォーマットのために必要とされるデータレートがサポートされ得ると決定される場合には、動作は、使用されるべきストリームフォーマットが、ステップ９３０に動作が進む前に、第３のストリームフォーマットに設定されるステップ９２６に進む。ステップ９１８で、第３のストリームフォーマットをサポートするために必要とされるデータレートが、要求がそこから受信される再生装置にとって使用可能ではないと決定される場合には、動作は、ステップ９２０に進む。また、ステップ９２０で、コンテンツを要求する再生装置が、第３のストリームフォーマットをサポートしないと決定された場合には、動作は、ステップ９１６から、第２のストリームフォーマットが使用されるべきであると決定されるステップ９２０に進む。動作はステップ９２０からステップ９２８に進む。ステップ９２８では、使用されるべきストリームフォーマットが、第２のストリームフォーマットに設定され、動作は、ステップ９３０に進む。
[00169] ステップ９３０では、使用されると決定されたストリームフォーマットおよび要求されたコンテンツに対応するコンテンツセットが、たとえばメモリから取り出されるなど、アクセスされる。使用されると決定されたストリームフォーマットが、第１のストリームフォーマットである場合、図９のコンテンツセットがアクセスされる。使用されると決定されたストリームフォーマットが、第２のストリームフォーマットである場合、図１０のコンテンツセットがアクセスされる。使用されると決定されたストリームフォーマットが、第３のストリームフォーマットである場合、図１１のコンテンツセットがアクセスされる。
[00170] 動作は、ステップ９３０から、アクセスされたコンテンツセットからの、たとえば１つまたは複数のＵＶマップなどのＵＶマップ情報が、再生装置に送られるステップ９３２に進む。動作は、ステップ９３２から、たとえば１つまたは複数の環境モデルなどの環境モデル情報が再生装置に送られるステップ９３４に進む。再生装置は、要求されたプログラムに対応するコンテンツのアクセスされたセットから送信されるフレームなどのコンテンツを使用してイメージを描画するために、送信されたＵＶマップ情報とモデル情報とを使用することができる。
[00171] ステップ９３４から、動作は、要求されたコンテンツに対応するフレームが、決定されたストリームフォーマットにしたがって送信されるステップ９３６に進む。第３のストリームフォーマットの場合には、第３のストリームフォーマットが使用されるときに実行されるステップ９３８において、メインイメージデータのフレームが、遮られたイメージデータを提供する補助フレームと多重化される。
[00172] 動作は、要求の監視が継続的に起こることを示すために、ステップ９３６からステップ９０４に進むように図示される。要求が受信される場合、それらは処理され、コンテンツが要求する再生装置に供給される。
[00173] 異なる装置およびそれらのコンテンツ要求のために働くことの結果として、図９００のステップは、遮られたイメージデータの使用をサポートしない第１の装置からのコンテンツに応答して実装され得、その場合、ステップ９３６で、第１の装置は、第１のストリームフォーマットに対応するコンテンツストリームをストリーミングされる。第２のコンテンツストリームフォーマットと遮られたイメージデータの使用とをサポートするが、第３のフォーマットをサポートしない第２の装置は、同じコンテンツが要求されるが、ストリームフォーマットが指定されないときに、異なって応答される。たとえば、第２の装置が、第１の装置と同じプログラムを要求したとすると、第２の装置は、第２のストリームフォーマットにしたがうプログラムコンテンツストリームを提供される。高いデータレートと第３のコンテンツストリームフォーマットとをサポートする第３の装置が、同じプログラムを要求するとしたら、第３の装置は、サーバが、第３のコンテンツストリームフォーマットで要求されたプログラムコンテンツを提供して、応答される。したがって、サーバは、装置にコンテンツを配送するのに使用され得る装置能力および／またはデータレートに依存して、同時に、異なる装置に、異なるコンテンツストリームフォーマットで、同じプログラムに対応するコンテンツを供給することができ、時に供給する。図７と８とに関して説明された処理は、いくつかの実施形態では、プロセッサの制御の下で実行される。したがって、いくつかの実施形態では、イメージ処理システムは、図７と８とに示されたステップを実装するために処理システムを制御するように構成されたプロセッサを含む。送信ステップおよび受信ステップは、再生装置のインターフェース（送信器と受信器とを含む）を介して実行される。
[00174] 図１２は、本発明の特徴にしたがう例示的な処理システム１７００を示す。処理システム１７００は、フローチャート７００および／または９００の方法の１つまたは複数のステップを実装するのに使用され得る。処理システム１７００は、様々なフォーマットでイメージングコンテンツを符号化し、ストリーミングするのに使用され得る符号化機能を含む。例示的な処理システム１７００は、システム６００の処理システム６０８として使用され得る。
[00175] 処理システム１７００は、本発明の特徴にしたがう３Ｄイメージの描画、記憶、および、送信および／またはコンテンツ出力に使用され得る環境モデル、ＵＶマップ、および、イメージコンテンツを生成するのに使用され得、いくつかの実施形態では使用される。処理システム１７００は、また、処理されおよび／または符号化されたイメージデータを、復号し、たとえばオペレータに、表示する能力を含むことができる。
[00176] システム１７００は、ディスプレイ１７０２、入力装置１７０４、入出力（input/output：Ｉ／Ｏ）インターフェース１７０６、マルチプレクサ１７０７、プロセッサ１７０８、ネットワークインターフェース１７１０、および、メモリ１７１２を含む。システム１７００の様々な構成要素は、データがシステム１７００の構成要素の間で通信されることを可能にするバス１７０９を介して、共に結合される。
[00177] メモリ１７１２は、プロセッサ１７０８によって実行されるときに、本発明したがって、混成環境奥行マップ生成、環境奥行マップ調和、符号化、記憶、および、ストリーミング／送信および／または出力の動作を実装するようにシステム１７００を制御する様々なルーチンとモジュールとを含む。
[00178] ディスプレイ装置１７０２は、イメージ、ビデオ、処理システム１７００の構成に関する情報を表示するために、および／または、処理装置上で実行される処理の状況を示すために使用されるタッチスクリーンとすることができ、いくつかの実施形態ではそうである。ディスプレイ装置６０２がタッチスクリーンである場合に、ディスプレイ装置６０２は、追加の入力装置として、および／または、ボタンなどの個別の入力装置１７０６の代替として働く。入力装置１７０４は、たとえば、情報、データ、および／または、命令を入力するために使用され得るキーパッド、タッチスクリーン、または、同様の装置などとすることができ、いくつかの実施形態ではそうである。
[00179] Ｉ／Ｏインターフェース１７０６を介して、処理システム１７００は、外部装置に結合され、たとえば、図に示されたカメラリグ８０１および／または他のカメラリグ、および／または、他の外部カメラなどの外部装置と情報や信号を交換することができる。Ｉ／Ｏインターフェース１６０６は、送信器と受信器とを含む。いくつかの実施形態では、Ｉ／Ｏインターフェース１７０６を介して、処理システム１７００は、カメラリグ８０１などのカメラリグの一部であってよい、たとえば、立体視カメラ対および／またはライトフィールドカメラなどの様々なカメラによって取り込まれたイメージを受信する。いくつかの実施形態では、システム１７００にイメージを提供するカメラは、異なる位置に位置決めされ、したがって、異なる位置から取り込まれた、関心を持たれている環境の諸部分のイメージを提供する。
[00180] マルチプレクサ１７０７は、多重化されたコンテンツストリーム１７４４を生成するために、イメージコンテンツを含む様々なフレームを多重化するように構成される。いくつかの実施形態で、マルチプレクサ１７０７は、第１のフォーマットのフレーム（たとえば、１７３２’）と補助フレーム（たとえば、１７３６’）とを多重化するように構成される。いくつかの実施形態では、マルチプレクサ１７０７は、第１のフレームと補助フレームとを多重化するように構成されることの一部として、多重化されたコンテンツストリームを受信する装置が、第１のフレームの前に前記補助フレームを受信するように、多重化されたコンテンツストリーム内で、第１のフレームの前に補助フレームを組み込むように構成される。
[00181] たとえばＣＰＵなどのプロセッサ１７０８は、ルーチン１７１４を実行し、本発明にしたがって動作するようにシステム１７００を制御するのに様々なモジュールを使用する。プロセッサ１７０８は、たとえば、たとえばフローチャート７００および９００で詳細に議論されたものなど、本発明による動作のセットを実行するように処理システムを制御することによってなどで、システム１７００の全体的な全般的な動作を制御する責任を負う。様々な実施形態では、プロセッサ１７０８は、処理システム１７００によって実行されるものとして議論された機能を実行するように構成される。
[00182] ネットワークインターフェース１７１０は、処理システム１７００が、たとえば通信ネットワーク１０５などの通信ネットワーク上で外部装置に対し情報を受信し、および／または、通信することができることを可能にする。ネットワークインターフェース１７１０は、送信器１７４０と受信器１７４２とを含む。送信器１７４０は、処理システム１７００が、様々な顧客装置に符号化されたイメージコンテンツを、たとえばブロードキャストする、および／または、ユニキャストするなど、送信することを可能にする。いくつかの実施形態で、処理システム１７００は、送信器１７４０を介して顧客装置に、たとえば、１８０°前方部分、左後方部分、右後方部分などのシーンの異なる部分を送信する。さらに、いくつかの実施形態で、送信器１７４０を介して、処理システム１７００は、また、個々の顧客装置に、環境奥行マップ、１つまたは複数の３Ｄ環境メッシュモデル、１つまたは複数のＵＶマップ、および／または、たとえば立体視イメージコンテンツなどのイメージコンテンツを送信する。いくつかの実施形態では、送信器１７４０は、１つまたは複数の再生装置に、主コンテンツストリーム内に第１のフレームを、補助コンテンツストリーム内に補助フレームを含む多重化されたコンテンツストリーム１７４４を送信するように構成される。
[00183] メモリ１７１２は、プロセッサ１７０８によって実行されるときに、本発明にしたがってシステム１７００の動作を制御する様々なモジュールとルーチンとを含む。たとえばＣＰＵなどのプロセッサ１７０８は、本発明にしたがって動作し、図７と８とのフローチャートの方法の１つまたは複数のステップを実装するようにシステム１７００を制御するために、メモリ１７１２に記憶された、制御ルーチンを実行し、データ／情報を使用する。
[00184] メモリ１７１２は、制御ルーチン１７１４、および、主イメージエンコーダ１７１６、および、補助エンコーダ１７１７、および、ストリーミングコントローラ１７２０、および、３Ｄメッシュモデル生成および更新モジュール１７２２、および、ＵＶマップ生成および更新モジュール１７２２、および、１つまたは複数のカメラによって取り込まれた関心を持たれている環境の受信されたイメージ１７２３、および、第１のフォーマットで複数のフレームの内のフレーム１７３２と、第２のフォーマットでの複数のフレームの内のフレーム１７３４と、第３のフォーマットでの複数のフレームの内の補助フレーム１７３６とを含むイメージコンテンツの生成されたフレーム、および、第１のフォーマットでの複数のフレームの内の符号化されたフレーム１７３２’と、第２のフォーマットでの複数のフレームの内の符号化されたフレーム１７３４’と、第３のフォーマットでの複数のフレームの内の符号化された補助フレーム１７３６’とを含む符号化されたイメージコンテンツ、および、多重化されたコンテンツストリーム１７４４、および、生成された環境メッシュモデル１７４６、および、生成されたＵＶマップ１７５２を含む。
[00185] いくつかの実施形態で、モジュールは、ソフトウェアモジュールとして実装される。他の実施形態で、モジュールは、たとえば、各モジュールが、そのモジュールが対応する機能を実行するための回路として実装されている個々の回路として、メモリ１７１２の外部においてハードウェアで実装される。さらに他の実施形態で、モジュールは、ソフトウェアとハードウェアとの組合せを使用して実装される。１つまたは複数のモジュールが、ソフトウェアモジュールまたはルーチンとして実装される実施形態では、モジュールおよび／またはルーチンは、本発明にしたがって動作し、フローチャート７００および／または９００に関して議論された１つまたは複数の動作を実装するようにシステム１７００を制御するために、プロセッサ１７０８によって実行される。
[00186] 制御ルーチン１７１４は、処理システム１７００の動作を制御するための装置制御ルーチンと通信ルーチンとを含む。主エンコーダ１７１６は、本発明の特徴にしたがって、たとえば、シーンおよび／または１つまたは複数のシーン部分の立体視イメージなどの受信されたイメージコンテンツを符号化するように構成された複数のエンコーダを含むことができ、いくつかの実施形態では含む。いくつかの実施形態では、主エンコーダ１７１６は、第１のフォーマットでの１つまたは複数のフレームを符号化し、第２のフォーマットで符号化された１つまたは複数のフレームを符号化するように構成される。第１と第２のフォーマットで符号化された１つまたは複数のフレーム１７３２’および１７３４’は、たとえば再生装置などの顧客装置にストリーミングするためにメモリに記憶される主エンコーダ１７１６の出力である。いくつかの実施形態で、補助エンコーダ１７１７は、第３のフォーマットでの１つまたは複数の符号化されたフレーム１７３６’を出力するために、第３のフォーマットで１つまたは複数のフレームを符号化するように構成される。符号化されたコンテンツは、いくつかの実施形態で、ネットワークインターフェース１７１０を介して１つまたは複数の異なる装置にストリーミングされ得る。
[00187] ストリーミングコントローラ１７２０は、たとえば、通信ネットワーク６０５上で、１つまたは複数の顧客再生装置に符号化されたイメージコンテンツを配送するために、符号化されたコンテンツのストリーミングを制御するように構成される。様々な実施形態で、ストリーミングコントローラ１７２０は、さらに、たとえばネットワークインターフェース１７１０を介して、１つまたは複数の顧客再生装置に、１つまたは複数の環境メッシュモデルとＵＶマップを、たとえば、送信器１７４０を介する制御するなど、通信するように構成される。
[00188] ３Ｄ環境メッシュモデル生成および更新モジュール１７２２は、フローチャート７００に関して詳細に議論されたように、本発明の特徴による様々なタイプの３Ｄ環境メッシュモデルを生成するように構成される。いくつかの実施形態で、３Ｄ環境メッシュモデル生成および更新モジュール１７２２の出力である、生成された３Ｄメッシュモデル１７４６は、第１の環境メッシュモデル１７４７、第２の環境メッシュモデル１７４８、および、補助環境メッシュモデル情報１７５０を含んで、モジュール１７２２によって生成された１つまたは複数の３Ｄメッシュモデルを含む。ＵＶマップ生成および更新モジュール１７２２は、対応する３Ｄ環境メッシュモデル上にフレームをラップすることに使用されるために、本発明の特徴にしたがってＵＶマップを生成するように構成される。ＵＶマップ生成モジュール１７２２の出力である、生成されたＵＶマップ１７５２は、第１のＵＶマップ１７５４、第２のＵＶマップ１７５６、および、補助ＵＶマップ１７５８を含む。いくつかの実施形態で、モジュールは、図７と８とで議論された様々なステップに対応する機能を実行するように構成される。
[00189] 受信されたイメージ１７２３は、たとえばリグ８０１内に含まれるカメラ、または、関心を持たれている環境内でイメージを取り込むために展開される他のカメラなどの１つまたは複数のカメラから受信されたイメージを含む。受信されたイメージ１７２３は、環境の部分に対応する第１のイメージ１７２６と、ここで、前記第１のイメージは、第１の位置から見える環境の部分に対応する遮られないイメージ部分を含み、第２のカメラからの環境の部分に対応する第２のイメージ１７２８と、ここで、前記第２のイメージは、第１の位置から見える環境の部分に対応する第２の遮られないイメージ部分と前記第１の位置からのビューからは遮られた環境の部分に対応する少なくとも第１の遮られたイメージ部分を含む環境の追加のイメージ１７３０とを含む、を含む。
[00190] いくつかの実施形態で、プロセッサ１７０８は、図７と８とに示されたステップを実装するようにイメージ処理ステム１７００を制御するように構成される。送信ステップおよび受信ステップは、再生装置のインターフェース（送信器と受信器とを含む）を介して実行される。いくつかの実施形態で、プロセッサ１７０８は、環境の部分に対応する第１のイメージを（たとえば、インターフェース１７０６を介してまたは受信器１７４２を介して）受信するように、ここで、前記第１のイメージは、第１の位置から見える環境の部分に対応する遮られないイメージ部分を含み、前記第１の位置からのビューからは遮られた環境の部分に対応する少なくとも第１の遮られたイメージ部分を含む環境の追加のイメージを（たとえば、インターフェース１７０６を介してまたは受信器１７４２を介して）受信するように、前記第１のイメージの前記遮られないイメージ部分からのイメージコンテンツと追加のイメージの前記第１の遮られたイメージ部分からのイメージコンテンツとを含む第１のフレームを生成するように、および、記憶装置内に前記第１のフレームを（たとえば、メモリ１７１２内に）記憶し、または、他の装置に前記第１のフレームを送信するように、システム１７００を制御するよう構成される。
[00191] 図１３Ａと１３Ｂとの組合せを備える図１３は、１つの例示的な実施形態で再生装置を動作させる方法のステップ１３００を示す。いくつかの実施形態で、再生および描画システム１９００が、フローチャート１３００の方法のステップを実装するのに使用される。図１３の例示的な実施形態では、再生装置は、再生装置が要求できる配送のために使用可能な様々なコンテンツストリームを示す、たとえば使用可能なコンテンツストリーム情報などの情報を受信する。
[00192] フローチャート１３００の方法は、開始ステップ１３０２において、たとえば、ゲーム機、および、ディスプレイまたはヘッドマウントディスプレイアセンブリなどの再生装置が、電源をオンにされ、たとえば、イメージを描画することに使用されるテクスチャ情報、環境モデル情報、および／または、ＵＶマップを表すフレームなどの３Ｄ関連のイメージデータと情報を受信し、記憶し、処理することを開始するように設定されることで開始する。動作は、開始ステップ１３０２から、異なるストリームフォーマットに対応するストリームのリストをオプションで含む使用可能なコンテンツストリームのリストを通信する情報が、たとえば処理システムから受信され、たとえばメモリに記憶されるステップ１３０４に進む。コンテンツのリストは、たとえば、再生装置が、再生のためにストリーミングされることを要求することができる、使用可能な、タイトルなどの、様々なコンテンツアイテムを示す情報などを含む。各タイトルは、様々なストリームフォーマットで使用可能であり得る。たとえば、異なるストリームフォーマットに対応するストリームのリストなどのストリームフォーマット情報が、処理システムによって再生装置に通信され得るが、いくつかの実施形態では、必ずそうであるとは限らない。
[00193] ステップ１３０６では、ユーザ入力を通常は監視する再生装置が、たとえばタイトルのユーザ選択などのコンテンツのユーザ選択を検出する。動作は、ステップ１３０６から、異なるストリームフォーマットでのストリームが、ユーザの選択されたコンテンツについて選択するために使用可能であるかどうかを、再生装置が決定する、たとえば、ユーザ選択されたコンテンツが１つよりも多くのストリームフォーマットで使用可能であるかどうかを、再生装置が決定するステップ１３０８に進む。再生装置は、ストリームフォーマット情報が再生装置によって受信されるとすれば、そのような情報に基づいて決定を行うことを可能にし得る。そのような情報が、再生装置から入手可能であり、ユーザ選択されたコンテンツが、複数のストリームフォーマットで使用可能であることを、装置が決定する場合、動作はステップ１３１０に進む。
[00194] まず、ステップ１３１０の経路に沿った処理を参照すると、ステップ１３１０では、再生装置は、装置能力情報および／または再生装置によってサポート可能な現在のデータレートに基づいて、たとえば異なるストリームフォーマット内の異なる使用可能なストリームから、要求されるコンテンツストリームを決定する。ステップ１３１０の一部として、いくつかの実施形態で、再生装置は、１３１２から１３２２までのうちの１つまたは複数を実行する。ステップ１３１２では、装置は、たとえば、装置能力、現在の処理能力および／またはハードウェアおよび／またはソフトウェアの使用可能性、または、他の制約に基づいて、遮られたイメージデータの処理および表示が再生装置によってサポートされるかどうかをチェックする。いかなる理由であれ、その時点で、遮られたイメージデータの処理および表示が再生装置によってサポートされないか、望まれないことが決定される場合、動作は、ステップ１３１２から、再生装置が、第１のストリームフォーマットが使用されるべきであり、したがって、ユーザ選択されたコンテンツのための第１のストリームフォーマットをサポートするストリームが要求されるべきであると決定し、判断するステップ１３１４に進む。
[00195] しかし、ステップ１３１２で、遮られたイメージデータの処理および表示が再生装置によってサポートされると決定される場合、動作は、ステップ１３１２から、再生装置が、第３のストリームフォーマットでのコンテンツストリームを処理することをサポートするかどうかが決定されるステップ１３１６に進み、ここで、たとえば、第３のストリームフォーマットは、メインのたとえば遮られないデータに対応するコンテンツを提供する第１のサブストリームと、遮られたデータに対応するコンテンツを提供する他のサブストリームを有するサブストリームの多重送信をサポートするフォーマットである。再生装置が、第３のストリームフォーマットをサポートしないと決定される場合、処理は、ステップ１３１６から、第２のストリームフォーマットが使用されることが決定されるステップ１３１８に進む。ステップ１３１６で、再生装置が、第３のストリームフォーマットをサポートすることが決定される場合、処理は、第３のストリームフォーマットでコンテンツストリームを受信し、処理するのに必要とされるデータレートが、所与のときにサポートされ得るかどうかを、装置がチェックするステップ１３２０に進む。そのようなデータレートがサポートされ得ると決定される場合、処理はステップ１３２０からステップ１３２２に進み、そうでない場合には、動作はステップ１３１８に進む。ステップ１３２２では、第３のストリームフォーマットが使用されるべきであることが決定され、それによって、決定ステップ１３１０を完了する。
[00196] 要求されるコンテンツストリームに関する決定に続いて、動作は、ステップ１３１０から、接続するノードＡ １３２４を介して、ステップ１３２６に進む。ステップ１３２６では、再生装置は、ステップ１３１０によって決定されるように、たとえば、第１、第２、または、第３のストリームフォーマットなどの決定されたフォーマットでのユーザ選択されたコンテンツの要求を送信する。動作は、ステップ１３２６からステップ１３３０に進む。
[00197] ステップ１３０８に戻る。ステップ１３０８で、異なるストリームフォーマットでのストリームが、ユーザ選択されたコンテンツについて、選択するために使用可能でない場合、および／または、再生装置が、ストリームフォーマット情報の入手不能に起因してステップ１３０８の決定を行うことができない場合、動作は、ステップ１３０８から、接続するノードＢ １３０９を介して、ステップ１３２８に進む。ステップ１３２８では、再生装置は、オプションとして、供給すべきコンテンツストリームのサーバ選択を容易にするための装置タイプ識別子および／または装置能力情報と共に、ユーザ選択されたコンテンツの要求を送信する。動作は、ステップ１３２８からステップ１３３０に進む。
[00198] ステップ１３３０では、コンテンツの要求に対する応答は、たとえば、ユーザ選択されたコンテンツの要求が受信されたことを認める処理サーバからなど、再生装置によって受信される。動作は、ステップ１３３０からステップ１３３２に進む。ステップ１３３２で、再生装置は、たとえば第１のストリームフォーマット、第２のストリームフォーマット、または、第３のストリームフォーマットに対応する、受信されるべきコンテンツストリームのフォーマットを決定する。受信されるストリームタイプを決定する際に、再生装置は、再生装置が、コンテンツストリームを受信し、復号し、処理することを可能にするために、そのハードウェア、ソフトウェア、および／または、ファームウェアを構成する。
[00199] コンテンツストリームが受信されるべきコンテンツストリームフォーマットのタイプに応じて、動作は、図示されているように、ステップ１３３３、１３３４、および、１３３５に対応する３つの経路のうちの１つに沿って進む。ユーザ選択されたコンテンツが、第１のストリームフォーマットでのコンテンツストリーム内で受信されるべきである場合、処理は、ステップ１３３２から、以下で詳述される図１４に示された第１のストリームフォーマット再生ルーチンが呼び出されるステップ１３３３に進む。ユーザ選択されたコンテンツが、第２のストリームフォーマットでのコンテンツストリーム内で受信されるべきである場合、処理は、ステップ１３３２から、図１５に示された第２のストリームフォーマット再生ルーチンが呼び出されるステップ１３３４に進む。ユーザ選択されたコンテンツが、第３のストリームフォーマットでのコンテンツストリーム内で受信されるべきである場合、処理はステップ１３３２から、図１６に示された第３のストリームフォーマット再生ルーチンが呼び出されるステップ１３３５に進む。
[00200] 図１４は、フローチャート１３００の方法の実行の一部として本発明の再生装置によって呼び出され、実装される例示的な第１のストリームフォーマット再生ルーチン１４００のステップを示す。ルーチン１４００の処理は、ステップ１４０２において、再生装置が、第１のストリームフォーマット再生ルーチン１４００を、実行するなど、呼び出すことで始まる。動作は、ステップ１４０２から、再生装置が、デフォルトビューイング位置において、ユーザの初期の頭の位置のデフォルト前方ビューイング位置を設定するステップ１４０４に進む。デフォルトビューイング位置は、ユーザが、たとえばデフォルトビューイング位置から見えるメインシーンエリアを含む、関心を持たれている環境内のシーンを見ることができる場所から前方に面するユーザの初期座席位置に対応し得る。
[00201] 動作は、ステップ１４０４からステップ１４０６に進む。ステップ１４０６では、再生装置は、たとえば、デフォルトビューイング位置から見られ得る表の３Ｄメッシュモデルなどの第１の環境モデルを受信する。動作は、ステップ１４０６から、たとえばフレーム内で通信されるイメージの部分の第１の環境モデルへのマッピングを示す情報を含むテクスチャマップなどの第１のＵＶマップが受信されるステップ１４０８に進み、そのイメージの部分は、デフォルトビューイング位置から見える部分である。
[00202] 動作は、ステップ１４０８からステップ１４１０に進む。ステップ１４１０では、再生装置が、第１のフォーマットで、たとえばイメージコンテンツの、フレームを通信する第１のコンテンツストリームからコンテンツを受信する。次に、ステップ１４１２で、再生装置は、たとえば、立体視イメージ対のフレームを受信する場合に、左目イメージと右目イメージとを再生することなど、１つまたは複数のイメージを再生するために、受信されたフレームを復号する。
[00203] 動作は、ステップ１４１２から、たとえば、所与のときの頭の位置など、ユーザの現在の頭位置が決定されるステップ１４１４に進む。動作は、ステップ１４１４から、再生装置が、環境の１つまたは複数のイメージを描画するステップ１４１６に進む。様々な実施形態では、イメージを描画することは、再生された左目イメージと右目イメージとの諸部分を第１の環境モデルの諸部分上にマッピングするために、受信されたＵＶマップを使用することを含む。次に、ステップ１４１８では、ユーザの現在の頭位置が対応するモデル化された環境内の位置から見える環境の１つまたは複数の描画されたイメージの部分が、たとえばディスプレイ装置上で、ユーザに対して表示される。したがって、このようにして、デフォルトビューイング位置から見える環境の諸部分に対応するイメージが描画され、ユーザに対して表示される。動作は、ループバックによって示されるように、ステップ１４１８からステップ１４１０に戻り得、様々なステップが、追加の受信されたコンテンツフレームのために繰り返され得る。
[00204] 図１５Ａと１５Ｂとの組合せを備える図１５が、フローチャート１３００の方法を実行することの一部として、本発明のいくつかの実施形態で、再生装置によって呼び出され、実装される例示的な第２のストリームフォーマット再生ルーチン１５００のステップを示す。第２のストリームフォーマット再生ルーチン１５００は、いくつかの実施形態で、ユーザ選択されたコンテンツが、第２のストリームフォーマットでのコンテンツストリーム内で受信される場合に呼び出される。ルーチン１５００の処理は、ステップ１５０２において、再生装置が、第２のストリームフォーマット再生ルーチン１５００を、実行するなど、呼び出すことで開始する。動作は、ステップ１５０２から、再生装置が、デフォルトビューイング位置において、ユーザの初期の頭の位置のデフォルト前方ビューイング位置を設定するステップ１５０４に進む。動作は、ステップ１５０４からステップ１５０６に進む。ステップ１５０６では、再生装置が、たとえば、デフォルトビューイング位置から見られ得る面と、環境内のデフォルトビューイング位置から見られ得ない少なくともいくつかの部分との３Ｄメッシュモデルなどの第２の環境モデルを受信する。第１の３Ｄメッシュモデルと比較して、第２の環境モデルは、デフォルトビューイング位置から見られ得ない部分に対応する追加のデータを提供することに留意されたい。動作は、ステップ１５０６から、第２のフォーマットを有するフレーム内で通信されるイメージの諸部分を第２の環境モデルに対してマッピングすることを示す情報を含む第２のＵＶマップを、再生装置が受信するステップ１５０８に進み、そのイメージの諸部分は、デフォルトビューイング位置から見える環境の部分と、デフォルトビューイング位置からは見えないが、たとえばデフォルトビューイング位置からずれた１つまたは複数の他の位置からは見える環境の部分とのイメージである。いくつかの実施形態で、第２のＵＶマップは、デフォルト位置からは見えない１つまたは複数のセグメントのためのイメージコンテンツを、そのような遮られたセグメントのために供給されるイメージコンテンツがない場合、どのようにして生成すべきかに関する情報をオプションで含む。
[00205] 動作は、ステップ１５０８からステップ１５１０に進む。ステップ１５１０で、再生装置は、環境の少なくともいくつかの遮られた部分に対応するイメージ部分を含む、第２のフォーマットでフレームを通信する第２のコンテンツストリームから、コンテンツを受信する。次に、ステップ１５１２で、再生装置は、たとえば、立体視イメージ対のフレームを受信する場合に左目イメージと右目イメージとを再生することなど、１つまたは複数のイメージを再生するために、第２のコンテンツストリームの受信されたフレームを復号する。
[00206] 動作は、ステップ１５１２から、接続するノードＡ １５１４を介して、ステップ１５１６に進む。ステップ１５１６では、再生装置は、たとえば、再生された左目イメージの諸部分を第２の環境モデルの諸部分上にマッピングするのに第２のＵＶを使用し、再生された右目イメージの諸部分を第２の環境モデルの諸部分上にマッピングするのに第２のＵＶを使用して、環境の１つまたは複数のイメージを描画する。
[00207] 動作はステップ１５１６からステップ１５１８に進む。ステップ１５１８では、たとえば所与のときの頭の位置など、ユーザの現在の頭の位置が決定される。次に、ステップ１５２０で、再生装置は、ユーザの現在の頭位置が、環境内のデフォルトビューイング位置からの位置における、オフセットなどのシフトを示すかどうかを決定する。たとえば、ユーザの決定された現在の頭の位置に基づいて、ユーザが、自分の頭を単純に回転しまたは傾けるのではなく、左、右、上、または、下に動いたかどうかが決定される。これは、ユーザの初期の頭の位置に対して相対的なユーザの現在の位置における検出された変化に基づいて決定され得る。ステップ１５２０の決定に基づいて、動作は、ステップ１５２２または１５２４のうちの１つに進む。
[00208] ステップ１５２０で、ユーザの現在の頭の位置が、環境内のデフォルトビューイング位置からの位置におけるシフトを示さないと決定される場合、動作は、ステップ１５２０から、再生装置が、たとえばデフォルト位置でのビューイング方向などのユーザの現在の頭の位置を考慮に入れて、モデル化された環境内のデフォルトビューイング位置から見える環境の１つまたは複数の描画されたイメージの一部を表示するステップ１５２２に進む。したがって、ユーザの現在の頭の位置のシフト／オフセットが検出されない場合、ユーザが、デフォルトビューイング位置から動いておらず、したがって、デフォルトビューイング位置から見える部分に対応するイメージコンテンツが表示されると、考えて差し支えない。いくつかの実施形態では、ステップ１５２２の一部として、デフォルトビューイング位置からのビューからは遮られたいくつかの環境セグメントを表示することなく、デフォルトビューイング位置から見える環境セグメントに対応するイメージ部分が表示されるステップ１５２３を、再生装置は実行する。動作は、図示されているように、ステップ１５２２から、接続するノードＢ １５２６を介して、ステップ１５１０に戻り、様々なステップが、追加の受信されたコンテンツフレームのために繰り返され得る。
[00209] 一方、ステップ１５２０で、ユーザの現在の頭の位置が、環境内のデフォルトビューイング位置から位置におけるシフトを示すと決定される場合、動作は、ステップ１５２０から、再生装置が、たとえばデフォルトビューイング位置とは異なる位置でのビューイング方向など、ユーザの現在の頭の位置を考慮に入れて、デフォルトビューイング位置からオフセットされたモデル化された環境内のオフセットされた位置から見える環境の１つまたは複数の描画されたイメージの部分を表示するステップ１５２４に進む。いくつかの実施形態では、ステップ１５２４の一部として、再生装置は、デフォルトビューイング位置から見える環境セグメントに対応するイメージ部分が、デフォルトビューイング位置からのビューからは遮られた少なくともいくつかの環境セグメントと共に表示されるステップ１５２５を実行する。したがって、ユーザの現在の頭の位置のシフト／オフセットが検出される場合、再生装置は、デフォルトビューイング位置から見える部分に加えて、デフォルトビューイング位置からのビューからは遮られた少なくともいくつかの環境部分に対応するイメージコンテンツを表示するように構成される。動作は、図示されているように、ステップ１５２４から、接続するノードＢ １５２６を介して、ステップ１５１０に戻り、様々なステップが、追加の受信されたコンテンツフレームのために繰り返され得る。
[00210] 図１６Ａと１６Ｂと１６Ｃと１６Ｄとの組合せを備える図１６は、フローチャート１３００の方法を実行すること一部として、いくつかの実施形態で、再生装置によって呼び出され、実装される例示的な第３のストリームフォーマット再生ルーチン１６００のステップを示す。第３のストリームフォーマット再生ルーチン１６００は、いくつかの実施形態で、ユーザ選択されたコンテンツが、第３のストリームフォーマットで、コンテンツストリーム内で受信される場合に、呼び出される。ルーチン１６００の処理は、ステップ１６０２において、再生装置が、第３のストリームフォーマット再生ルーチン１６００を、実行するなど、呼び出すことで開始する。
[00211] 動作は、ステップ１６０２から、再生装置が、デフォルトビューイング位置において、ユーザの初期の頭の位置のデフォルト前方ビューイング位置を設定するステップ１６０４に進む。動作は、ステップ１６０４からステップ１６０６に進む。ステップ１６０６では、再生装置は、たとえば、デフォルトビューイング位置から見られ得る面の主の３Ｄメッシュモデル、および、第３の環境モデルを生成するために主メッシュモデルと組み合わされ得る補助などの補充メッシュモデル情報といった、デフォルトビューイング位置から見える面のためと、デフォルト位置からは見えない少なくともいくつかの面のためとの環境モデル情報を受信する。代替として、いくつかの実施形態で、再生装置は、デフォルトビューイング位置から見える環境面に対応するノードおよびセグメントと、デフォルトビューイング位置からは見えないが、デフォルト位置からオフセットされた異なるビューイング位置からは見えるいくつかの面に対応するノードおよびセグメントとを含む第３の環境モデルを受信する。
[00212] 動作は、いくつかの実施形態では、ステップ１６０６から、オプションのステップ１６０８に進む。ステップ１６０８は、再生装置が、第１の、たとえば主の、メッシュモデルを、デフォルト位置からは見えない少なくともいくつかの面に対応する補助環境情報と共に受信する実施形態で実行される。ステップ１６０８では、再生装置は、主メッシュモデルと、デフォルト位置からは見えない少なくともいくつかの面に対応する補助環境モデル情報とを組み合わせることによって、環境の第３のメッシュモデルを生成する。生成される第３のメッシュモデルは、デフォルトビューイング位置から見える環境の面と、デフォルト位置からは見えないが、デフォルトビューイング位置からオフセットされた位置などの異なる位置からは見えるいくつかの面とに対応するノードとセグメントとを含む。したがって、環境情報がどの形で受信されるかにかかわらず、再生装置は、デフォルトビューイング位置から見える面と、デフォルト位置からは見えない少なくともいくつかの面とのための環境モデル情報を得る。
[00213] 動作は、ステップ１６０８から（または、ステップ１６０８がスキップされる実施形態では、ステップ１６０６から）、接続するノードＡ １６１０を介して、ステップ１６１２に進む。ステップ１６１２では、再生装置が、主ＵＶマップと補助ＵＶマップとを受信する。ステップ１６１２の一部として、いくつかの実施形態では、ステップ１６１４と１６１６とが実行される。ステップ１６１４では、再生装置は、たとえば第１のコンテンツストリームなどのメイン／主コンテンツストリームのフレーム内で通信されるイメージの部分の、デフォルトビューイング位置から見える面に対応する第３の環境モデルのセグメントに対するマッピングを示す情報を含む主ＵＶマップを受信する。ステップ１６１６では、再生装置は、補助フレーム内で通信されるイメージ部分の、デフォルトビューイング位置からは見えないが、たとえばデフォルト位置からオフセットされた１つまたは複数の他の位置からは見える面に対応する第３の環境モデルのセグメントに対するマッピングを示す情報を含む補助ＵＶマップを受信する。いくつかの実施形態では、補助ＵＶマップは、主コンテンツストリーム内に含まれる１つまたは複数の異なるフレームについて、遮られた物体のためのマッピング情報を提供する。
[00214] 動作は、ステップ１６１２からステップ１６２０に進む。ステップ１６２０では、再生装置は、イメージコンテンツを通信する主フレームと補助フレームとの両方を提供する第３のストリームフォーマットに対応する多重化されたコンテンツストリームを受信する。ステップ１６２０でイメージコンテンツフレームを受信することの一部として、再生装置は、サブステップ１６２２で、主コンテンツストリームからフレームまたはフレームのセットを受信し、サブステップ１６２４で、補助コンテンツストリームから１つまたは複数のフレームを受信する。動作は、ステップ１６２０から、接続するノードＢ １６２６を介して、ステップ１６３０に進む。
[00215] ステップ１６３０では、再生装置は、多重化されたコンテンツストリームを多重化解除し、たとえば復号などのさらなる処理のために主フレームと補助フレームとを出力する。よりよい理解を容易にするために、多重化されたコンテンツストリームに対して実行される多重化解除動作の出力は、多重化解除ステップ１６３０の結果である２つのデータセット１６３２と１６４２として図示される。たとえば主フレームなどのフレームの第１のセット１６３２は、デフォルトビューイング位置から見える部分に対応するイメージコンテンツのフレーム１からＭまでを含み、他方、補助フレームセット１６４２は、デフォルトビューイング位置からは見えない部分に対応するイメージコンテンツの１つまたは複数の補助フレームを含む。２つのデータセット１６３２および１６４２は、いくつかの実施形態では、２つの異なるデコーダへの入力として働く。フレームの第１のセット１６３２は、デフォルトビューイング位置から見える部分に対応する主フレームによって通信されるデータを復号し、再生するように構成された専用のハードウェアデコーダであってよい主デコーダに供給される。ステップ１６３４に示されるように、主デコーダは、主フレームに対応するイメージコンテンツを復号するのに使用される。ステップ１６３４で主デコーダによって実行される復号の出力は、復号されたフレーム１ １６３８から復号されたフレームＭ １６４０までを含む復号された主フレームのセット１６３６である。動作は、ステップ１６３４から、復号された主フレーム１６３６が入力として働くステップ１６５６に進む。
[00216] いくつかの実施形態では、１つまたは複数の補助フレーム１６４２は、ステップ１６４４に示された、デフォルトビューイング位置からは見えない部分に対応するイメージコンテンツの補助フレームによって通信されるデータを復号し、再生するのに再生装置が使用する副／補助デコーダに供給され、たとえば、遮られたイメージデータを提供する。ステップ１６４４で補助デコーダによって実行される復号の出力は、たとえば、１つまたは複数の主フレームのための環境の遮られたセグメントのイメージを提供する１つまたは複数のフレームなどの１つまたは複数の復号された補助フレーム１６４６である。図１６の例では、１つまたは複数の復号された補助フレーム１６４６は、複数の主フレームに対応する遮られたイメージコンテンツを含む単一の復号された補助（ａｕｘ）フレーム１６４８を含む。この例における復号された補助フレーム１６４８は、フレーム１のための遮られたイメージコンテンツ１６５０、フレーム２のための遮られたイメージコンテンツ１６５２、…、フレームＭのための遮られたイメージコンテンツ１６５４をパックするようなフォーマットである。動作は、ステップ１６３４から、復号された補助（ａｕｘ）フレーム１６４６が、入力として働くステップ１６５６に進む。
[00217] 図では、主デコーダ１９２０および副デコーダ１９２１の使用が図１６Ｃに示されるが、いくつかの実施形態では、主デコーダ１９２０が、主フレームと補助フレームとの両方を復号するのに時分割ベースで使用される。そのような実施形態では、したがって、主デコーダ１９２０は、また、補助のフレームデコーダ１９２１として働く。そのような実施形態に関して、主フレームを復号することと補助フレームを復号することとの間での切り替えをサポートするのに必要とされるデコーダ再構成の量を最小にするために、同じサイズのものである主フレームと補助フレームを有することが有用である。
[00218] いくつかの他の実施形態では、主デコーダ１９２０は、たとえば、補助のデコーダとは別個のプロセッサまたはプロセッサコアとして実装されたデコーダなどの異なるデコーダである。いくつかの実施形態では、主デコーダは、専用ハードウェアビデオデコーダとして実装され、他方、補助デコーダは、セルフォンなどの再生装置の、ＣＰＵなどの、汎用プロセッサ上に実装される。補助デコーダは、主デコーダより、より低速であってよく、および／または、より低い処理能力を有してよい。いくつかの実施形態では、たとえば、補助のデコーダが主デコーダより強力はない場合、補助フレームは、主デコーダよりも、より小さいサイズを有し、および／または、より少ない画素を含む。これは、ソフトウェアを使用する補助のデコーダの実装を容易にし、あるいは、主デコーダより低強力のデコーダが、主デコーダのために使用される。これは、再生装置が、主デコーダとして使用され得るデコーダ回路またはグラフィックスプロセッサを含むセルフォンであり、補助のデコーダとして動作するように、たとえば記憶された命令の下で、構成され得る汎用プロセッサも含む場合に、特に役立つ。
[00219] ステップ１６５６では、たとえば、再生装置が、再生され復号された主フレーム内に含まれる１つまたは複数のイメージ部分を、第３の環境モデルの諸部分に対してマッピングするのに主ＵＶマップを使用し、マッピングされた主フレームに対応する再生され復号された補助（ａｕｘ）フレーム内に含まれるイメージ部分を、通常は遮られる第３の環境モデルの諸部分に対してマッピングするのに補助ＵＶマップを使用して、再生装置は、環境の１つまたは複数のイメージを描画する。
[00220] 動作は、ステップ１６５６から、接続するノードＣ １６５８を介して、ステップ１６６０に進む。ステップ１６６０では、たとえば所与のときの頭の位置などのユーザの現在の頭の位置が決定される。次に、ステップ１６６２では、再生装置は、ユーザの現在の頭の位置が、環境内のデフォルトビューイング位置からの位置における、たとえばオフセットなど、シフトを示すかどうかを決定し、たとえば、ユーザが、自分の頭を単純に回転しまたは傾けるのではなく、左、右、上、または、下に動いたかどうかを決定する。ステップ１６６２の決定に基づいて、動作は、ステップ１６６４または１６６８のうちの１つに進む。
[00221] ステップ１６６２で、ユーザの現在の頭の位置が、環境内のデフォルトビューイング位置からの位置のシフトを示さないと決定される場合、動作は、ステップ１６６２から、再生装置が、たとえばデフォルト位置におけるビューイング方向などのユーザの現在の頭の位置を考慮に入れて、モデル化される環境内のデフォルトビューイング位置から見える環境の１つまたは複数の描画されたイメージの一部をユーザに対して表示するステップ１６６４に進む。いくつかの実施形態では、ステップ１６６４の一部として、再生装置は、デフォルトビューイング位置からのビューからは遮られたいくつかの環境セグメントを表示することなく、デフォルトビューイング位置から見える環境セグメントに対応するイメージ部分が表示されるステップ１６６６を実行する。動作は、図示されるように、ステップ１６６４から、接続するノードＤ １６７２を介して、ステップ１６２０に戻り、様々なステップが、追加の受信されたコンテンツフレームのために繰り返され得る。
[00222] ステップ１６６２で、ユーザの現在の頭の位置が、環境内のデフォルトビューイング位置からの位置におけるシフトを示すと決定される場合、動作は、ステップ１６６２から、再生装置が、たとえばデフォルトビューイング位置とは異なる位置におけるビューイング方向などのユーザの現在の頭の位置を考慮に入れて、デフォルトビューイング位置からオフセットされたモデル化される環境内のオフセット位置から見える環境の１つまたは複数の描画されたイメージの一部を表示するステップ１６６８に進む。いくつかの実施形態では、ステップ１６６８の一部として、再生装置は、デフォルトビューイング位置から見える環境セグメントに対応するイメージ部分が、デフォルトビューイング位置からのビューからは遮られた少なくともいくつかの環境セグメントと共に表示されるステップ１６７０を実行する。したがって、ユーザの現在の頭の位置のシフト／オフセットが検出される場合、再生装置は、デフォルトビューイング位置から見える部分に加えて、デフォルトビューイング位置からのビューからは遮られた少なくともいくつかの環境部分に対応するイメージコンテンツを表示するように構成される。動作は、図示されているように、ステップ１６６８から、接続するノードＤ １６７２を介して、ステップ１６２０に戻り、様々なステップが、追加の受信されたコンテンツフレームのために繰り返され得る。
[00223] 図１３に関して説明された処理は、再生装置のプロセッサの制御の下で実行される。したがって、いくつかの実施形態では、再生装置は、図１３に示されたステップを実装するために再生装置を制御するように構成されたプロセッサを含む。送信ステップおよび受信ステップは、再生装置のインターフェース（送信器と受信器とを含む）を介して実行される。
[00224] いくつかの実施形態では、再生装置は、再生装置のプロセッサによって実行されたときに、図１３に示されたステップを実装するために再生装置を制御する命令を含む。個別のプロセッサが実行可能なコードが、図１３に示されたステップの各々のために含まれ得、時に含まれる。他の実施形態では、回路が、図１３に示された個々のステップの各々のために再生装置内に含まれる。
[00225] 図１７は、３Ｄモデルをセグメントに分割するのに使用される線の交差点として示された複数のノードでもって様々な実施形態で使用され得る例示的な３Ｄメッシュモデル２０００を示す。図１７のモデルが、３Ｄ空間内で示され、および、セグメントの形状が既知であるか、または、ノードを相互接続するためのルールが既知であるか、３Ｄモデル内で定義されると仮定して、３Ｄ空間内のメッシュ内のノードの位置を定義する［Ｘ，Ｙ，Ｚ] 座標のセットとして表現され得ることに留意されたい。いくつかの実施形態では、セグメントは、各ノードが直線によって予め定められた数の隣接するノードに接続することで、同じ数の辺を有するように予め定められる。図１７の例では、モデル２０００の頂部は、三角形セグメントのセットであり、他方、側面部分は、４辺をもった複数のセグメントによって形成される。たとえば、３辺をもったセグメントから形成される頂部と、４辺をもったセグメントによって形成される側面部分などの当該構成は、３Ｄモデルの部分を形成する情報に含まれるか、または、予め決定され得る。そのような情報は、メッシュモデル情報と共に、または、その一部として、顧客の描画および再生装置に提供される。
[00226] 図１８は、時に２Ｄ ＵＶ空間と呼ばれるものにおけるフレームを、図１８に示された３Ｄモデル２０００に対してマッピングするのに使用され得る例示的なＵＶマップ２００２を示す。ＵＶマップ２００２が、１対１のマッピング関係を有する３Ｄモデル２０００と同じ数のノードとセグメントとを含むことに留意されたい。時にテクスチャと呼ばれるものを提供するが、通常は、シミュレートされた環境の３Ｄモデル２０００内の位置 ［０，０，０] に対応する位置において、実際の環境内のカメラリグの眺望がきく地点から取り込まれたイメージのコンテンツを含むフレームは、イメージ描画動作の一部として、マップ２００２にしたがって３Ｄモデル２０００上に、たとえばラップされるなど、適用され得る。
[00227] 図１７と１８とでは、強調のためにドットとして示された例示的なノードＰは、他のメッシュノードの各々と同様に、ＵＶマップ２００２と３Ｄモデル２０００との両方に現れる。ノードＰ［Ｘ，Ｙ，Ｚ] がノードＰ［Ｕ，Ｖ] に対応し、Ｘ、Ｙ、Ｚは、Ｘ、Ｙ、Ｚ空間内のノードＰの位置を指定し、Ｕ、Ｖは、２次元空間内の対応するノードＰの位置を指定することに留意されたい。Ｕ、Ｖ対の各々は、たとえばフレームなどの２Ｄイメージテクスチャの単一の画素のＸ、Ｙを表す。囲む画素は、近くのＵ、Ｖ対の間で補間することによって、描画プロセス中に、２Ｄフレームから３Ｄメッシュにマッピングされる。
[00228] 図１９は、たとえば処理システム６０８／１７００など、図１２のシステム６００の１つまたは複数のサブシステムによってストリーミングされたコンテンツを受信し、復号し、表示するのに使用され得る、たとえばシステム１９００などの例示的な再生装置を示す。例示的な描画および再生システム１９００は、図１２に示された描画および再生装置のいずれかとして使用され得る。様々な実施形態では、再生システム１９００は、図１３ないし１６に示されたフローチャートに示された様々なステップを実行するのに使用される。
[00229] 描画および再生システム１９００は、いくつかの実施形態で、３Ｄヘッドマウントディスプレイ１９０５を含み、および／または、これに結合される。システム１９００は、受信された符号化されたイメージデータを復号し、顧客への表示のために３Ｄイメージコンテンツを生成する能力を含む。再生システム１９００は、いくつかの実施形態で、家庭またはオフィスなどの顧客宅内位置に配置されるが、イメージ取り込みサイトにも配置され得る。再生システム１９００は、本発明による受信動作、復号動作、描画動作、表示動作、および／または、他の動作を実行することができる。
[00230] 再生システム１９００は、ディスプレイ１９０２、ディスプレイ装置インターフェース１９０３、ユーザ入力インターフェース装置１９０４、入出力（Ｉ／Ｏ）インターフェース１９０６、デマルチプレクサ１９０７、プロセッサ１９０８、ネットワークインターフェース１９１０、および、メモリ１９１２を含む。再生システム１９００の様々な構成要素は、データがシステム１９００の構成要素の間で通信されることを可能にするバス１９０９を介して、共に結合される。
[00231] いくつかの実施形態では、ディスプレイ１９０２は、破線の箱を使用して図示されているようなオプションの要素として含まれるが、いくつかの実施形態では、たとえばヘッドマウント立体視ディスプレイ装置などの外部ディスプレイ装置１９０５が、ディスプレイ装置インターフェース１９０３を介して、再生システム１９００に結合され得る。ヘッドマウントディスプレイ１９０２は、ヘッドマウントディスプレイ１９０２を含むことができるＯＣＵＬＵＳ ＲＩＦＴ（商標）ＶＲ（仮想現実）ヘッドセットを使用して実装され得る。他のヘッドマウントディスプレイも使用され得る。たとえば、ユーザの左目および右目が、立体視コンテンツの場合に異なるイメージを提示されて、イメージコンテンツは、システム１９００のディスプレイ装置上で提示される。たとえば、異なる目に対して単一のスクリーンの異なる部分上になど、単一のスクリーン上で左目と右目とに対して異なるイメージを表示することによって、単一のディスプレイが、ビューアの左目と右目とによって個別に知覚される左目イメージと右目イメージとを表示するのに使用され得る。様々な実施形態は、システム１９００内で使用されるためにヘッドマウントディスプレイを企図するが、この方法およびシステムは、３Ｄイメージをサポートできるヘッドマウントでないディスプレイと共に使用されることも可能である。
[00232] 再生システム１９００のオペレータは、ユーザ入力装置１９０４を介して、１つまたは複数のパラメータを制御し、および／または、入力を提供することができる。入力装置１９０４は、たとえば、情報、データ、および／または、命令を入力するために使用され得るキーパッド、タッチスクリーン、または、同様の装置とすることができ、いくつかの実施形態ではそうである。
[00233] 入出力（Ｉ／Ｏ）インターフェース１９０６を介して、再生システム１９００は、外部装置に結合され、情報と信号を当該外部装置と交換することができる。いくつかの実施形態では、入出力（Ｉ／Ｏ）インターフェース１９０６を介して、再生システム１９００は、たとえば立体視カメラ対および／または他のカメラなどの様々なカメラによって取り込まれたイメージを受信し、３ＤメッシュモデルとＵＶマップとを受信する。
[00234] デマルチプレクサ１９０７は、たとえば処理システム１７００からの、多重化されたコンテンツストリーム内で通信されるイメージコンテンツに対応する多重化されたフレームを多重化解除するように構成される。いくつかの実施形態では、デマルチプレクサ１９０７は、多重化された主コンテンツストリームと補助コンテンツストリームとを多重化解除するように構成される。
[00235] たとえばＣＰＵなどのプロセッサ１９０８は、本発明にしたがって動作するようにシステム１９００を制御するために、ルーチン１９１４を実行し、様々なモジュールを使用する。プロセッサ１９０８は、たとえば本発明の特徴にしたがって様々な動作を実行するようにシステム１９００を制御することによって、システム１９００の全体的で全般的な動作を制御する責任を負う。様々な実施形態では、プロセッサ１９０８は、描画および再生システム１９００によって実行されるものとして議論された機能を実行するように構成される。
[00236] ネットワークインターフェース１９１０は、再生システム１９００が、たとえば通信ネットワーク６５０などの通信ネットワーク上で外部装置から情報を受信し、および／または、通信することができることを可能にする、送信器１９１１と受信器１９１３とを含む。いくつかの実施形態で、再生システム１９００は、たとえばインターフェース１９１０によって、イメージコンテンツを含む符号化されたフレーム１９２４、３Ｄメッシュモデル１９２８、ＵＶマップ１９３０を、通信ネットワーク６５０上で処理システム１７００から受信する。
[00237] メモリ１９１２は、プロセッサ１９０８によって実行されたときに、本発明にしたがって動作を実行するように再生システム１９００を制御する、ルーディンなどの様々なモジュールを含む。メモリ１９１２は、制御ルーチン１９１４、要求生成モジュール１９１６、受信された情報処理モジュール１９１７、頭の位置および／またはビューイング角度決定モジュール１９１８、主デコーダ１９２０、補助デコーダ１９２１、３Ｄイメージ生成モジュールとも呼ばれる３Ｄイメージレンダラ（描画器）１９２２、受信された符号化されたイメージコンテンツ１９２４、使用可能なプログラムの受信されたリスト１９２６、受信された３Ｄメッシュモデル１９２８、受信されたＵＶマップ１９３０、復号されたイメージコンテンツ１９３２、生成されたイメージコンテンツ１９３４、および、装置の能力情報１９３４を含む。
[00238] 制御ルーチン１９１４は、システム１９００の動作を制御するために、装置制御ルーチンと通信ルーチンとを含む。要求生成モジュール１９１６は、たとえば再生のためのアイテムのユーザ選択に応じて、コンテンツの要求を生成するように構成される。受信された情報処理モジュール１９１７は、描画と再生における使用のためにシステム１９００の適切な要素に受信された情報を提供するため、たとえばインターフェース１９０６および／または１９１０の受信器を介するなど、システム１９００によって受信される、たとえば、イメージコンテンツ、オーディオデータ、環境モデル、ＵＶマップなどの情報を処理するように構成される。頭の位置および／またはビューイング角度決定モジュール１９１８は、本発明の特徴にしたがって、たとえばヘッドマウントディスプレイの位置などのユーザの現在の頭の位置を決定するように構成される。
[00239] 主デコーダ１９２０は、メモリ内に記憶され、復号されたデータ１９３２内に含まれる第１のフォーマットでのフレームに対応する復号されたイメージデータを生成するために、たとえば処理システム１７００から受信された第１のフォーマットの符号化されたフレーム（受信された符号化されたデータ１９２４内に含まれる）などの主コンテンツストリーム内で受信されたフレームを復号するように構成される。補助デコーダ１９２１は、復号されたデータ１９３２内に含まれる第３のフォーマットでのフレームに対応する復号されたイメージデータを生成するために、第３でフォーマットでの１つまたは複数の補助フレーム（受信された符号化されたデータ１９２４内に含まれる）を復号するように構成される。いくつかの実施形態では、補助デコーダ１９２１は、主デコーダ１９２０よりも低速である。
[00240] いくつかの他の実施形態では、主デコーダ１９２０は、環境内の第１の位置から見える環境の部分に対応する遮られないイメージコンテンツと、前記第１の位置からは見えない環境の部分に対応する遮られたイメージコンテンツとの両方を含む受信された第１のフレームを復号するのに使用される。そのような実施形態では、復号されたイメージデータ１９３２は、遮られないイメージコンテンツと遮られたイメージコンテンツとの両方を含む１つまたは複数の復号されたフレームを含む。様々な実施形態では、符号化されたイメージコンテンツは、イメージ描画の前に復号される。
[00241] ３Ｄイメージレンダラ１９２２は、ディスプレイ１９０２および／またはディスプレイ装置１９０５上でのユーザへの表示のため、本発明の特徴にしたがって３Ｄイメージコンテンツを生成するために、復号されたイメージデータ１９３２を使用する。いくつかの実施形態では、３Ｄイメージレンダラ１９２２は、３Ｄメッシュモデルを使用して、受信されたイメージコンテンツの少なくともいくつかを描画するように構成される。いくつかの実施形態では、３Ｄイメージレンダラ１９２２は、さらに、受信されたイメージコンテンツ内に含まれるイメージを第１の３Ｄメッシュモデル上にどのようにラップすべきかを決定するのに第１のＵＶマップを使用するように構成される。生成されたイメージコンテンツ１９３４は、３Ｄイメージ描画モジュール１９２２の出力である。
[00242] 受信された３Ｄ環境メッシュモデル１９２８は、第１のメッシュモデル、第２のメッシュモデル１９２８、および、補助メッシュモデル情報を含むことができる。受信されたＵＶマップ１９３０は、第１のＵＶマップ、および／または、第２のＵＶマップ、および／または、補助ＵＶマップを含む。受信された符号化されたイメージコンテンツ１９２４は、たとえば、環境内の第１の位置から見える関心を持たれている環境の部分に対応する遮られないイメージコンテンツの左目イメージおよび右目イメージの対のフレームと、第１の位置からは見えない環境の部分に対応する遮られたイメージコンテンツを含む１つまたは複数の補助フレームとを含む。いくつかの実施形態では、システム１９００は、環境内の第１の位置から見える環境の部分に対応する遮られないイメージコンテンツと、前記第１の位置からは見えない環境の部分に対応する遮られたイメージコンテンツとの両方を含む第１のフレームを受信する。したがって、いくつかの実施形態で、受信された符号化されたイメージコンテンツ１９２４は、遮られないイメージコンテンツと遮られたイメージコンテンツとの両方を含むフレームを含む。
[00243] 前に議論したように、第１のＵＶマップは、前記第１の位置から見える環境の部分に対応する環境の第１のモデルのセグメントに対する、遮られないイメージコンテンツを含むフレームの部分間のマッピングを示し、他方、補助ＵＶマップは、前記第１の位置からは見えない前記環境の部分に対応する環境の第１のモデルのセグメントに対する、遮られたイメージコンテンツを含む補助フレームの部分間のマッピングを示す。受信されたものが、遮られないイメージコンテンツと遮られたイメージコンテンツとの両方を含む場合、フレームの諸部分と、たとえば第２の３Ｄメッシュモデルなどの対応する環境モデルのセグメントとの間のマッピングを示す、第２のＵＶマップが使用される。装置の能力情報１９３６は、再生装置１９００が、第１の位置からは見えない環境の部分に対応する遮られたイメージコンテンツの表示をサポートすることができるかどうかを示し、および／または、再生装置１９００によってサポートされ得るコンテンツストリームフォーマットを示す、システム１９００の処理および／または表示能力に関する情報を含む。いくつかの実施形態では、装置の能力情報１９３６は、再生装置１９００の能力を決定するために、たとえば処理システム１７００によって、使用され得る識別子の形態である。
[00244] いくつかの実施形態では、モジュールのうちのいくつかは、プロセッサ１９０８内に、たとえば回路として、実装され、他のモジュールは、プロセッサの外部にあり、これに結合されて、たとえば回路として、実装される。代替として、回路として実装されるのではなく、モジュールのすべてまたはいくつかが、ソフトウェアで実装され、再生装置１９００のメモリに記憶され得、たとえばプロセッサ１９０８などのプロセッサによって、モジュールが実行されるときにモジュールに対応する機能を実装するように、モジュールが再生装置１９００の動作を制御する。さらに他の実施形態では、様々なモジュールは、たとえば、プロセッサ１９０８の外部の回路が、ソフトウェア制御の下で、モジュールの機能の一部を実行するように動作するプロセッサ１９０８に入力を提供することで、ハードウェアとソフトウェアとの組合せとして実装される。
[00245] 図１９の例ではメモリ１９１２に含まれて図示されるが、メモリ１９１２内に含まれて図示されたモジュールは、たとえば個々の回路として、プロセッサ１９０８内に完全にハードウェアで実装され得、いくつかの実施形態では実装される。他の実施形態では、要素のいくつかが、プロセッサ１９０８内で、たとえば回路として実装され、他の要素は、たとえばプロセッサ１９０８の外部にあり、結合されて、回路として実装される。理解されるように、プロセッサ上のモジュールの、および／または、プロセッサの外部にあるいくつかのモジュールとの統合化のレベルは、設計事項のうちの１つとされ得る。
[00246] 図１９の実施形態では、装置１９００内のたとえばコンピュータなどの単一のプロセッサ１９０８として図示されるが、プロセッサ１９０８は、１つまたは複数のコンピュータなどの１つまたは複数のプロセッサとして実装され得ることを理解されたい。ソフトウェアで実施される場合に、モジュールは、プロセッサ１９０８によって実行されたときに、モジュールに対応する機能を実装するようにコンピュータなどのプロセッサを構成するコードを含む。いくつかの実施形態では、プロセッサ１９０８は、図１９の例でメモリ１９１２内に図示されたモジュールの各々を実装するように構成される。モジュールがメモリ１９１２内に記憶される実施形態では、メモリ１９１２は、コンピュータプログラム製品であり、このコンピュータプログラム製品は、プロセッサ１９０８などの少なくとも１つのコンピュータに、モジュールが対応する機能を実装させるために、各モジュールのための個別のコードなどのコードを備える、たとえばコンピュータが読み取り可能な一時的でない媒体などのコンピュータが読み取り可能な媒体を備える。
[00247] 理解されるように、図１９に示されたモジュールは、たとえば、フローチャート１３００、１４００、１５００、および、１６００に示され、および／または、説明されたものなど、本発明の方法の対応するステップの機能を実行するために、システム１９００、または、プロセッサ１９０８などのその中の要素をそれぞれ、制御し、および／または、構成する。
[00248] １つの例示的な実施形態では、プロセッサ１９０８は、環境内の第１の位置から見える環境の部分に対応する遮られないイメージコンテンツと、前記第１の位置からは見えない環境の部分に対応する遮られたイメージコンテンツとを含む第１のフレームを、たとえば受信器１９１３を介して、受信し、ユーザの頭の位置を検出し、検出された頭の位置に応じて、環境の部分のイメージをディスプレイに出力するように、再生装置１９００を制御するように構成される。
[00249] 本発明の異なる態様および特徴を示す様々な追加の例示的な実施形態が、ここで説明される。
[00250] イメージ処理システムを動作させる方法の実施形態１であって、方法は、
環境の部分に対応する第１のイメージを受信することと、ここで、前記第１のイメージは、第１の位置から見える環境の部分に対応する遮られないイメージ部分を含み、
前記第１の位置からのビューからは遮られた環境の部分に対応する少なくとも第１の遮られたイメージ部分を含む環境の追加のイメージを受信することと、
前記第１のイメージの前記遮られないイメージ部分からのイメージコンテンツと、追加のイメージの前記第１の遮られたイメージ部分からのイメージコンテンツとを含む第１のフレームを生成することと、
記憶装置内に前記第１のフレームを記憶し、または、他の装置に前記第１のフレームを送信することと、
を備える。
[00251] イメージ処理システムを動作させる方法の実施形態２であって、方法の実施形態１が、さらに、前記第１のフレームの部分を、環境モデルのセグメントに対してマッピングするために使用されるＵＶマップを生成することを備える。
[00252] イメージ処理システムを動作させる方法の実施形態３であって、方法の実施形態１が、さらに、前記環境の遮られない面に対応するセグメントと、前記環境の遮られた面に対応するセグメントとを含む環境モデルを生成することを備える。
[00253] イメージ処理システムを動作させる方法の実施形態４であって、方法の実施形態３において、前記ＵＶマップは、前記第１のフレームの前記遮られないイメージ部分に対応する前記第１のフレーム内のイメージコンテンツを、前記第１の位置から見える前記環境の部分に対応する前記環境モデルの第１のセグメントに対してマッピングする。
[00254] イメージ処理システムを動作させる方法の実施形態５であって、前記方法の実施形態４において、前記ＵＶマップは、さらに、前記第１の遮られたイメージ部分に対応する前記第１のフレーム内のイメージコンテンツを、前記第１の位置からは見えない前記環境の部分に対応する前記環境モデルの第２のセグメントに対してマッピングする。
[00255] イメージ処理システムを動作させる方法の実施形態６であって、方法の実施形態１において、
第１のイメージを受信することは、前記環境内の第１のカメラから前記第１のイメージを受信することを含み、
環境の追加のイメージを受信することは、前記第１のカメラが前記環境内で位置決めされる位置からオフセットされた（ずらされた）前記環境内の位置にあるカメラから前記追加のイメージを受信することを含む。
[00256] イメージ処理システムを動作させる方法の実施形態７であって、方法の実施形態６において、
前記第１のカメラは、前記第１のカメラと前記第２のカメラとを含む立体視カメラ対のカメラであり、
前記立体視カメラ対は、前記第１の位置に位置決めされており、
その方法は、さらに、
第２のカメラから、環境の部分に対応する第２のイメージを受信すること
を備え、
前記第２のイメージは、前記第１の位置から見える環境の部分に対応する第２の遮られないイメージ部分を含む。
[00257] イメージ処理システムを動作させる方法の実施形態８であって、方法の実施形態７は、さらに、前記第１のフレーム内に前記第２のイメージの少なくとも一部を含めることを備える。
[00258] イメージ処理システムを動作させる方法の実施形態９であって、方法の実施形態１において、
前記第１のフレームは、第２のフレームフォーマットであり、
その方法は、さらに、
第１のフレームフォーマットでフレームを生成することと、ここで、第１のフォーマットでの前記フレームは、前記第１のフレームの前記遮られないイメージ部分からのイメージコンテンツを含み、 環境の遮られた部分に対応するイメージコンテンツを含まず、
第１のフォーマットでの前記フレームを記憶装置内に記憶することと、
を備える。
[00259] イメージ処理システムを動作させる方法の実施形態１０であって、方法の実施形態９において、
第１のフレームおよび第１のフォーマットでのフレームは、第１のプログラムに対応し、
その方法は、さらに、
遮られたイメージコンテンツの表示をサポートする第１の再生装置から、第１のプログラムに対応するコンテンツの第１の要求を受信することと、
コンテンツの前記第１の要求に応答して、第１の装置に第２のフォーマットで前記第１のフレームを送ることと、
を備える。
[00260] イメージ処理システムを動作させる方法の実施形態１１であって、方法の実施形態１０は、さらに、
第２のフォーマットで第１のフレームを送る前に、装置の能力情報から、第１の再生装置が、遮られたイメージコンテンツの表示をサポートすることを決定すること
を備える。
[00261] イメージ処理システムを動作させる方法の実施形態１２であって、方法の実施形態１０が、さらに、
遮られたイメージコンテンツの表示をサポートしない第２の再生装置から、第１のプログラムに対応するコンテンツの第２の要求を受信することと、
コンテンツの前記第２の要求に応答して、第２の再生装置に第１のフォーマットで前記フレームを送ることと、
を備える。
[00262] イメージ処理システムを動作させる方法の実施形態１３であって、方法の実施形態１２は、さらに、
第１のフォーマットでフレームを送る前に、第２の再生装置に対応する装置の能力情報から、第２の再生装置が、遮られたイメージコンテンツの表示をサポートしないことを決定すること
を備える。
[00263] イメージ処理システムを動作させる方法の実施形態１４であって、方法の実施形態１３において、第２のフォーマットでの前記第１のフレームおよび第１のフォーマットでのフレームは、同じサイズであり、同じ数の画素を含む。
[00264] イメージ処理システムを動作させる方法の実施形態１５であって、方法の実施形態１４は、さらに、
第１の位置からのビューからは遮られた環境の部分に対応するセグメントを含まない環境モデルを、第２の再生装置に送信することと、
第１のフォーマットのフレームの諸部分を、第１の位置からのビューからは遮られた環境の部分に対応するセグメントを含まない環境モデルに対してマッピングするために使用されるＵＶマップを、第２の再生装置に送信することと、
を備える。
[00265] 他の例示的な実施形態は、システム内での使用のためのコンピュータが読み取り可能な一時的でない媒体を含み、前記ンピュータが読み取り可能な一時的でない媒体は、コンピュータによって実行されるときに、
環境の部分に対応する第１のイメージを受信し、ここで、前記第１のイメージは、第１の位置から見える環境の部分に対応する遮られないイメージ部分を含み、
前記第１の位置からのビューからは遮られた環境の部分に対応する少なくとも第１の遮られたイメージ部分を含む環境の追加のイメージを受信し、
前記第１のイメージの前記遮られないイメージ部分からのイメージコンテンツと、追加のイメージの前記第１の遮られたイメージ部分からのイメージコンテンツとを含む第１のフレームを生成し、
記憶装置内に前記第１のフレームを記憶し、または、他の装置に前記第１のフレームを送信する
ようにシステムを制御する、コンピュータが実行可能な命令を含む。
[00266] イメージ処理システムの実施形態１であって、プロセッサを備え、
プロセッサは、
環境の部分に対応する第１のイメージを受信し、ここで、前記第１のイメージは、第１の位置から見える環境の部分に対応する遮られないイメージ部分を含み、
前記第１の位置からのビューからは遮られた環境の部分に対応する少なくとも第１の遮られたイメージ部分を含む環境の追加のイメージを受信し、
前記第１のイメージの前記遮られないイメージ部分からのイメージコンテンツと、追加のイメージの前記第１の遮られたイメージ部分からのイメージコンテンツとを含む第１のフレームを生成し、
記憶装置内に前記第１のフレームを記憶し、または、他の装置に前記第１のフレームを送信する
ように、前記イメージ処理システムを制御するように構成される。
[00267] イメージ処理システムの実施形態２であって、イメージ処理システムの実施形態１において、前記プロセッサは、さらに、前記第１のフレームの部分を、環境モデルのセグメントに対してマッピングするために使用されるＵＶマップを生成するように前記イメージ処理システムを制御するように構成される。
[00268] イメージ処理システムの実施形態３であって、イメージ処理システムの実施形態１において、前記プロセッサは、さらに、前記環境の遮られない面に対応するセグメントと、前記環境の遮られた面に対応するセグメントとを含む環境モデルを生成するように前記イメージ処理システムを制御するように構成される。
[00269] イメージ処理システムの実施形態４であって、イメージ処理システムの実施形態３において、前記ＵＶマップは、前記第１のフレームの前記遮られないイメージ部分に対応する前記第１のフレーム内のイメージコンテンツを、前記第１の位置から見える前記環境の部分に対応する前記環境モデルの第１のセグメントに対してマッピングする。
[00270] イメージ処理システムの実施形態５であって、イメージ処理システムの実施形態４において、前記ＵＶマップは、さらに、前記第１の遮られたイメージ部分に対応する前記第１のフレーム内のイメージコンテンツを、前記第１の位置からは見えない前記環境の部分に対応する前記環境モデルの第２のセグメントに対してマッピングする。
[00271] イメージ処理システムの実施形態６であって、イメージ処理システムの実施形態１において、
前記第１のイメージは、前記環境内の第１のカメラから受信され、
前記追加のイメージは、前記第１のカメラが前記環境内で位置決めされる位置からオフセットされた前記環境内の位置にあるカメラから受信される。
[00272] イメージ処理システムの実施形態７であって、イメージ処理システムの実施形態６において、
前記第１のカメラは、前記第１のカメラと前記第２のカメラとを含む立体視カメラ対のカメラであり、
前記立体視カメラ対は、前記第１の位置に位置決めされ、
前記プロセッサは、さらに、第２のカメラから環境の部分に対応する第２のイメージを受信するように前記イメージ処理システムを制御するように構成され、
前記第２のイメージは、前記第１の位置から見える環境の部分に対応する第２の遮られないイメージ部分を含む。
[00273] イメージ処理システムの実施形態８であって、イメージ処理システムの実施形態７において、前記プロセッサは、さらに、前記第１のフレーム内に前記第２のイメージの少なくとも一部を含めるように前記イメージ処理システムを制御するように構成される。
[00274] イメージ処理システムの実施形態９であって、イメージ処理システムの実施形態１において、
前記第１のフレームは、第２のフレームフォーマットであり、
前記プロセッサは、さらに、
第１のフレームフォーマットでフレームを生成し、 ここで、第１のフォーマットでの前記フレームは、前記第１のフレームの前記遮られないイメージ部分からのイメージコンテンツを含み、環境の遮られた部分に対応するイメージコンテンツを含まず、
第１のフォーマットでの前記フレームを記憶装置内に記憶する
ように前記イメージ処理システムを制御するように構成される。
[00275] イメージ処理システムの実施形態１０であって、イメージ処理システムの実施形態９において、
第１のフレームおよび第１のフォーマットでのフレームは、第１のプログラムに対応し、
前記プロセッサは、さらに、
遮られたイメージコンテンツの表示をサポートする第１の再生装置から、第１のプログラムに対応するコンテンツの第１の要求を受信し、
コンテンツの前記第１の要求に応答して、第１の装置に第２のフォーマットで前記第１のフレームを送る
ように前記イメージ処理システムを制御するように構成される。
[00276] イメージ処理システム実施形態１１であって、イメージ処理システムの実施形態１０において、前記プロセッサは、さらに、第２のフォーマットで第１のフレームを送る前に、装置の能力情報から、第１の再生装置が、遮られたイメージコンテンツの表示をサポートすることを決定するように前記イメージ処理システムを制御するように構成される。
[00277] イメージ処理システムの実施形態１２であって、イメージ処理システムの実施形態１０において、前記プロセッサは、さらに、
遮られたイメージコンテンツの表示をサポートしない第２の再生装置から、第１のプログラムに対応するコンテンツの第２の要求を受信し、
コンテンツの前記第２の要求に応答して、第２の再生装置に第１のフォーマットで前記フレームを送る
ように前記イメージ処理システムを制御するように構成される。
[00278] イメージ処理システムの実施形態１３であって、イメージ処理システムの実施形態１２において、前記プロセッサは、さらに、第１のフォーマットでフレームを送る前に、第２の再生装置に対応する装置の能力情報から、第２の再生装置が、遮られたイメージコンテンツの表示をサポートしないことを決定するように前記イメージ処理システムを制御するように構成される。
[00279] イメージ処理システムの実施形態１４であって、イメージ処理システム実施形態１３において、前記第２のフォーマットでの前記第１のフレームおよび第１のフォーマットでフレームは、同じサイズであり、同じ数の画素を含む。
[00280] イメージ処理システムの実施形態１５であって、イメージ処理システム実施形態１４において、前記プロセッサは、さらに、
第１の位置からのビューからは遮られた環境の部分に対応するセグメントを含まない環境モデルを、前記第２の再生装置に送信し、
前記第１のフォーマットの前記フレームの諸部分を、第１の位置からのビューからは遮られた環境の部分に対応するセグメントを含まない環境モデルに対してマッピングするために使用されるＵＶマップを、第２の再生装置に送信する
ように前記イメージ処理システムを制御するように構成される。
[00281] イメージ処理システムを動作させる方法の実施形態１６であって、方法の実施形態１６は、
環境の部分に対応する第１のイメージを受信することと、ここで、前記第１のイメージは、第１の位置から見える環境の部分に対応する遮られないイメージ部分を含み、
前記第１のイメージの前記遮られないイメージ部分からのイメージコンテンツを含む第１のフレームを生成することと、
前記第１の位置からのビューからは遮られた環境の部分に対応する少なくとも第１の遮られたイメージ部分を含む環境の追加のイメージを受信することと、
追加のイメージの前記第１の遮られたイメージ部分からのイメージコンテンツを含む補助フレームを生成することと、
前記第１のフレームと前記補助フレームとを記憶装置内に記憶し、または、前記第１のフレームを他の装置に送信することと、
を備える。
[00282] イメージ処理システムを動作させる方法の実施形態１７であって、方法の実施形態１６は、さらに、
前記第１のフレームの部分の、前記第１の位置から見える前記環境の部分に対応する環境モデルのセグメントに対するマッピングを示す第１のＵＶマップを生成することと、
前記補助フレームの部分の、前記第１の位置からは見えない前記環境の部分に対応する環境モデルのセグメントに対するマッピングを示す補助ＵＶマップを生成することと、
を備える。
[00283] イメージ処理システムを動作させる方法の実施形態１８であって、方法の実施形態１７は、さらに、前記環境の遮られない面に対応するセグメントと、前記環境の遮られた面に対応するセグメントとを含む環境モデルを生成することを備える。
[00284] イメージ処理システムを動作させる方法の実施形態１９であって、方法の実施形態１６において、前記補助フレームは、前記第１のフレームよりも小さく、前記第１のフレームよりも少ない数の画素を含む。
[00285] イメージ処理システムを動作させる方法の実施形態２０であって、方法の実施形態１８は、さらに、
前記第１のフレームと前記補助フレームとを多重化することと、
主コンテンツストリーム内に前記第１のフレームを、補助コンテンツストリーム内に前記補助フレームを含む多重化されたコンテンツストリームを送信することと、
を備える。
[00286] イメージ処理システムを動作させる方法の実施形態２１であって、方法の実施形態２０において、前記第１のフレームと前記補助フレームとを多重化することは、前記多重化されたコンテンツストリームを受信する装置が、前記第１のフレームの前に前記補助フレームを受信するように、前記第１のフレームの前に、前記多重化されたコンテンツストリーム内に前記補助フレームを組み込むことを含む。
[00287] イメージ処理システムを動作させる方法の実施形態２２であって、方法の実施形態２０は、さらに、
環境の前記部分に対応する第２のイメージを受信することと、ここで、前記第２のイメージは、第２の遮られないイメージ部分を含み、
少なくとも第２の遮られたイメージ部分を含む環境の第２の追加のイメージを受信することと、
前記第２のイメージの前記第２の遮られないイメージ部分からのイメージコンテンツを含む第２のフレームを生成することと、
を備える。
[00288] イメージ処理システムを動作させる方法の実施形態２３であって、方法の実施形態２２において、補助フレームを生成することは、前記第１の遮られたイメージ部分と共に、前記補助フレーム内に、第２の追加のイメージの前記第２の遮られたイメージ部分からのイメージコンテンツを含めることを含む。
[00289] イメージ処理システムを動作させる方法の実施形態２４であって、方法の実施形態２３において、
前記補助フレームは、主コンテンツストリーム内のＭ個の異なるフレームに対応する遮られたイメージ部分を含み、Ｍはゼロでない整数であり、
補助フレームを生成することは、前記補助フレーム内に、第２の追加のイメージの前記第２の遮られたイメージ部分からのイメージコンテンツを含めることを含む。
[00290] イメージ処理システムを動作させる方法の実施形態２５であって、方法の実施形態２４において、前記補助フレームは、前記第１のフレームと同じサイズであり、前記第１のフレームと同じ数の画素を含む。
[00291] イメージ処理システムを動作させる方法の実施形態２６であって、方法の実施形態１６は、さらに、
遮られたイメージコンテンツの表示をサポートする第１の再生装置から、第１のプログラムに対応するコンテンツの第１の要求を受信することと、
コンテンツの前記第１の要求に応答して、第１の再生装置に、前記第１のフレームと補助フレームとを送ることと、
を備える。
[00292] イメージ処理システムを動作させる方法の実施形態２７であって、方法の実施形態２６は、さらに、第１のＵＶマップと補助ＵＶマップとを第１の再生装置に送ることを備える。
[00293] イメージ処理システムを動作させる方法の実施形態２８であって、方法の実施形態２６は、さらに、第１のフレームと補助フレームとを送る前に、装置の能力情報から、第１の再生装置が、遮られたイメージコンテンツの再生をサポートすることを決定することを備える。
[00294] イメージ処理システムを動作させる方法の実施形態２９であって、方法の実施形態２６は、さらに、
遮られたイメージコンテンツの表示をサポートしない第２の再生装置から、第１のプログラムに対応するコンテンツの第２の要求を受信することと、
前記補助フレームを第２の再生装置に送ることなく、コンテンツの前記第２の要求に応答して、第２の再生装置に前記第１のフレームを送ることと、
を備える。
[00295] イメージ処理システムを動作させる方法の実施形態３０であって、方法の実施形態２６は、さらに、第１のＵＶマップを第２の再生装置に送ることを備えるが、補助ＵＶマップを再生装置に送らない。
[00296] イメージ処理システムを動作させる方法の実施形態３１であって、方法の実施形態２９は、さらに、補助フレームを送ることなく第１のフレームを第２の再生装置に送る前に、装置の能力情報から、第２の再生装置が、遮られたイメージコンテンツの表示をサポートしないことを決定することを備える。
[00297] システム内での使用のためのコンピュータが読み取り可能な一時的でない媒体であって、前記コンピュータが読み取り可能な一時的でない媒体は、コンピュータによって実行されるときに、
環境の部分に対応する第１のイメージを受信し、ここで、前記第１のイメージは、第１の位置から見える環境の部分に対応する遮られないイメージ部分を含み、
前記第１のイメージの前記遮られないイメージ部分からのイメージコンテンツを含む第１のフレームを生成し、
前記第１の位置からのビューからは遮られた環境の部分に対応する少なくとも第１の遮られたイメージ部分を含む環境の追加のイメージを受信し、
追加のイメージの前記第１の遮られたイメージ部分からのイメージコンテンツを含む補助フレームを生成し、
前記第１のフレームと前記補助フレームとを記憶装置内に記憶し、または、前記第１のフレームを他の装置に送信する
ようにシステムを制御するコンピュータ実行可能命令を含む。
[00298] イメージ処理システムの実施形態１６は、
環境の部分に対応する第１のイメージを受信するように構成された受信器と、ここで、前記第１のイメージは、第１の位置から見える環境の部分に対応する遮られないイメージ部分を含み、
前記第１のイメージの前記遮られないイメージ部分からのイメージコンテンツを含む第１のフレームを生成するように構成されたプロセッサであって、
ここにおいて、前記受信器は、前記第１の位置からのビューからは遮られた環境の部分に対応する少なくとも第１の遮られたイメージ部分を含む環境の追加のイメージを受信するようにさらに構成され、
ここにおいて、前記プロセッサは、さらに、追加のイメージの前記第１の遮られたイメージ部分からのイメージコンテンツを含む補助フレームを生成するように構成される、
プロセッサと、
前記第１のフレームと前記補助フレームとを記憶するためのメモリ、または、前記第１のフレームを他の装置に送信するように構成される送信器と、
を備える。
[00299] イメージ処理システムの実施形態１７であって、イメージ処理システムの実施形態１６において、前記プロセッサは、さらに、
前記第１のフレームの諸部分の、前記第１の位置から見える前記環境の部分に対応する環境モデルのセグメントに対するマッピングを示す第１のＵＶマップを生成し、
前記補助フレームの諸部分の、前記第１の位置からは見えない前記環境の部分に対応する環境モデルのセグメントに対するマッピングを示す補助ＵＶマップを生成する
ようにさらに構成される。
[00300] イメージ処理システムの実施形態１８であって、イメージ処理システムの実施形態１７において、前記プロセッサは、さらに、前記環境の遮られない面に対応するセグメントと、前記環境の遮られた面に対応するセグメントとを含む環境モデルを生成するように構成される。
[00301] イメージ処理システムの実施形態１９であって、イメージ処理システムの実施形態１６において、前記補助フレームは、前記第１のフレームよりも小さく、前記第１のフレームよりも少ない数の画素を含む。
[00302] イメージ処理システムの実施形態２０であって、
イメージ処理システムの実施形態１８は、さらに、前記第１のフレームと前記補助フレームとを多重化するように構成されたマルチプレクサを備え、
前記送信器は、さらに、主コンテンツストリーム内に前記第１のフレームを、補助コンテンツストリーム内に前記補助フレームを含む多重化されたコンテンツストリームを送信するように構成される。
[00303] イメージ処理システムの実施形態２１であって、イメージ処理システムの実施形態２０において、前記マルチプレクサは、前記第１のフレームと前記補助フレームとを多重化するように構成されることの一部として、前記多重化されたコンテンツストリームを受信する装置が、前記第１のフレームの前に、前記補助フレームを受信するように、前記第１のフレームの前に、前記多重化されたコンテンツストリーム内で前記補助フレームを組み込むように構成される。
[00304] イメージ処理システムの実施形態２２であって、イメージ処理システムの実施形態２０において、
前記受信器は、さらに、環境の前記部分に対応する第２のイメージを受信するように構成され、ここで、前記第２のイメージは、第２の遮られないイメージ部分を含み、
前記受信器は、さらに、少なくとも第２の遮られたイメージ部分を含む環境の第２の追加のイメージを受信するようにさらに構成され、
前記プロセッサは、さらに、前記第２のイメージの前記第２の遮られないイメージ部分からのイメージコンテンツを含む第２のフレームを生成するように構成される。
[00305] イメージ処理システムの実施形態２３であって、イメージ処理システムの実施形態２２において、前記プロセッサは、さらに、補助フレームを生成するように構成されることの一部として、前記第１の遮られたイメージ部分と共に、前記補助フレーム内に、第２の追加のイメージの前記第２の遮られたイメージ部分からのイメージコンテンツを含めるように構成される。
[00306] イメージ処理システムの実施形態２４であって、イメージ処理システムの実施形態２３において、
前記補助フレームは、主コンテンツストリーム内のＭ個の異なるフレームに対応する遮られたイメージ部分を含み、Ｍはゼロでない整数であり、
前記プロセッサは、さらに、補助フレームを生成するように構成されることの一部として、前記補助フレーム内に、第２の追加のイメージの前記第２の遮られたイメージ部分からのイメージコンテンツを含めるように構成される。
[00307] イメージ処理システムの実施形態２５であって、イメージ処理システムの実施形態２４において、前記補助フレームは、前記第１のフレームと同じサイズであり、前記第１のフレームと同じ数の画素を含む。
[00308] イメージ処理システムの実施形態２６であって、イメージ処理システムの実施形態１６において、
前記受信器は、さらに、遮られたイメージコンテンツの表示をサポートする第１の再生装置から、第１のプログラムに対応するコンテンツの第１の要求を受信するように構成され、
前記送信器は、さらに、コンテンツの前記第１の要求に応答して、第１の再生装置に、前記第１のフレームと前記補助フレームとを送るように構成される。
[00309] イメージ処理システムの実施形態２７であって、イメージ処理システムの実施形態２６において、前記送信器は、さらに、第１のＵＶマップと補助ＵＶマップとを、第１の再生装置に送るように構成される。
[00310] イメージ処理システムの実施形態２８であって、前記プロセッサは、さらに、第１のフレームと補助フレームとが第１の再生装置に送られる前に、第１の再生装置に対応する装置の能力情報から、第１の再生装置が、遮られたイメージコンテンツの表示をサポートすることを決定するように構成される。
[00311] イメージ処理システムの実施形態２９であって、
前記受信器は、さらに、遮られたイメージコンテンツの表示をサポートしない第２の再生装置から、第１のプログラムに対応するコンテンツの第２の要求を受信するように構成され、
前記送信器は、さらに、前記補助フレームを第２の再生装置に送ることなく、コンテンツの前記第２の要求に応答して、第２の再生装置に前記第１のフレームを送るように構成される。
[00312] イメージ処理システムの実施形態３０であって、イメージ処理システムの実施形態２６において、前記送信器は、さらに、第１のＵＶマップを第２の再生装置に送るように構成されるが、補助ＵＶマップを再生装置に送らない。
[00313] イメージ処理システムの実施形態３１であって、イメージ処理システムの実施形態２９において、前記プロセッサは、さらに、第１のフレームが、補助フレームなしで第２の再生装置に送られる前に、第２の再生装置に対応する装置の能力情報から、第２の再生装置が遮られたイメージコンテンツの表示をサポートしないことを決定するように構成される。
[00314] コンテンツ再生装置を動作させる方法の実施形態１であって、その方法は、
環境内の第１の位置から見える環境の部分に対応する遮られないイメージコンテンツと、前記第１の位置からは見えない環境の部分に対応する遮られたイメージコンテンツとを含む第１のフレームを受信することと、
ユーザの頭位置を検出することと、
検出された頭の位置に応じて、環境の部分のイメージをディスプレイに出力することと、
を備える。
[00315] コンテンツ再生装置を動作させる方法の実施形態２であって、方法の実施形態１において、
イメージをディスプレイに前記出力することは、
前記ユーザの頭の位置がデフォルト位置にあるときに第１の位置から見える環境の部分に対応するイメージ部分を出力することと、
前記ユーザの頭の位置が前記デフォルト位置からオフセットされた位置を示すときに、第１の位置からは見えない環境の少なくともいくつかの部分に対応するイメージ部分を出力することと、
を含む。
[00316] コンテンツ再生装置を動作させる方法の実施形態３であって、
方法の実施形態１は、さらに、フレームの部分と、環境のモデルのセグメントとの間のマッピングを示すＵＶマップを受信することを備え、
イメージをディスプレイに出力することは、第１のフレーム内に含まれるイメージ部分を、環境のモデルのセグメントに対してマッピングするためにＵＶマップを使用することによって生成された描画されたイメージの部分を出力することを含む。
[00317] コンテンツ再生装置を動作させる方法の実施形態４であって、
方法の実施形態３は、さらに、環境の前記モデルを受信することを備え、
前記モデルは、第１の位置から見える前記環境内の面に対応するセグメントと、第１の位置からは見えない前記環境の遮られた部分に対応する少なくともいくつかのセグメントとを含むメッシュモデルである。
[00318] コンテンツ再生装置を動作させる方法の実施形態５であって、方法の実施形態３において、
前記遮られないイメージコンテンツは、環境内の前記第１の位置において第１のカメラによって取り込まれたコンテンツを含み、
遮られたイメージコンテンツは、前記第１の位置からオフセットされた位置において前記環境内に配置された追加のカメラによって取り込まれる。
[00319] コンテンツ再生装置を動作させる方法の実施形態６であって、方法の実施形態４は、さらに、
使用可能なプログラムのリストを受信することと、
ここで、前記リストは、第１のプログラムのために、前記プログラムに対応するが、異なるストリームフォーマットであるストリームのリストを含み、
前記異なるストリームフォーマットの第１のものは、遮られたイメージコンテンツを含まないストリームフォーマットと、遮られたイメージコンテンツを含む第２のストリームフォーマットとを含み、
前記第１のプログラムを選択するユーザ入力を受信することと、
装置の能力情報に基づいて、ユーザ選択されたプログラムに対応するどのストリームを要求するべきかを選択することと、
を備える。
[00320] コンテンツ再生装置を動作させる方法の実施形態７であって、方法の実施形態６において、
前記再生装置は、遮られたイメージコンテンツの表示をサポートし、
選択する前記ステップは、遮られたイメージコンテンツを含むストリームを選択することを含み、
その方法は、さらに、ユーザ選択されたプログラムに対応する選択されたストリームの要求を、コンテンツサーバに送ることを備える。
[00321] コンテンツ再生装置を動作させる方法の実施形態８であって、方法の実施形態４は、さらに、
使用可能なプログラムのリストを受信することと、ここで、前記リストは、第１のプログラムを含み、
前記第１のプログラムを選択するユーザ入力を受信することと、
ストリームの要求をコンテンツサーバに送ることと、
を備える。
[00322] コンテンツ再生装置を動作させる方法の実施形態９であって、方法の実施形態８は、さらに、前記再生装置が、前記第１の位置からは見えない前記環境の部分に対応する遮られたイメージコンテンツの表示をサポートできることを示す装置の能力情報を、前記コンテンツサーバに通信することを備える。
[00323] コンテンツ再生装置を動作させる方法の実施形態１０であって、方法の実施形態９において、
装置の能力情報を前記コンテンツサーバに通信することは、
ｉ）再生装置の能力を決定するのに使用され得る識別子を、コンテンツサーバに提供すること、または
ｉｉ）再生装置によってサポートされ得るコンテンツストリームフォーマットを、コンテンツサーバに示すこと、
のうちの少なくとも１つを含む。
[00324] コンテンツ再生装置を動作させる方法の実施形態１１であって、方法の実施形態１０において、装置の能力情報を前記コンテンツサーバに通信することは、遮られたイメージデータが、遮られないイメージデータも含むフレーム内で送信されるコンテンツストリームフォーマットを、再生装置がサポートすることをコンテンツサーバに示すことを含む。
[00325] システム内での使用のためコンピュータが読み取り可能な一時的でない媒体であって、前記コンピュータが読み取り可能な一時的でない媒体は、コンピュータによって実行されるときに、
環境内の第１の位置から見える環境の部分に対応する遮られないイメージコンテンツと、前記第１の位置からは見えない環境の部分に対応する遮られたイメージコンテンツとを含む第１のフレームを受信し、
ユーザの頭の位置を検出し、
検出された頭の位置に応じて、環境の部分のイメージをディスプレイに出力する
ようにシステムを制御する、コンピュータが実行可能な命令を含む。
[00326] コンテンツ再生装置の実施形態１は、
環境内の第１の位置から見える環境の部分に対応する遮られないイメージコンテンツと、前記第１の位置からは見えない環境の部分に対応する遮られたイメージコンテンツとを含む第１のフレームを受信するように構成された受信器と、
プロセッサであって、
ユーザの頭の位置を検出し、
検出された頭の位置に応じて、環境の部分のイメージをディスプレイに出力する
ように前記コンテンツ再生装置を制御するように構成されたプロセッサと、
前記イメージを記憶するためのメモリと
を備える。
[00327] コンテンツ再生装置の実施形態２であって、コンテンツ再生装置の実施形態１において、イメージをディスプレイに出力することは、
前記ユーザの頭の位置がデフォルト位置にあるときに第１の位置から見える環境の部分に対応するイメージ部分を出力することと、
前記ユーザの頭の位置が前記デフォルト位置からオフセットされた位置を示すときに、第１の位置からは見えない環境の少なくともいくつかの部分に対応するイメージ部分を出力することと、
を含む。
[00328] コンテンツ再生装置の実施形態３であって、コンテンツ再生装置の実施形態１において、
前記受信器は、さらに、フレームの諸部分と環境のモデルのセグメントとの間のマッピングを示すＵＶマップを受信するようにさらに構成され、
イメージをディスプレイに出力することは、第１のフレーム内に含まれるイメージ部分を、環境のモデルのセグメントに対してマッピングするためにＵＶマップを使用することによって生成された描画されるイメージの部分を出力することを含む。
[00329] コンテンツ再生装置の実施形態４であって、コンテンツ再生装置の実施形態３において、
前記受信器は、さらに、環境の前記モデルを受信するように構成され、
前記モデルは、第１の位置から見える前記環境内の面に対応するセグメントと、第１の位置からは見えない前記環境の遮られた部分に対応する少なくともいくつかのセグメントとを含むメッシュモデルである。
[00330] コンテンツ再生装置の実施形態５であって、コンテンツ再生装置の実施形態３において、
前記遮られないイメージコンテンツは、環境内の前記第１の位置において第１のカメラによって取り込まれたコンテンツを含み、
遮られたイメージコンテンツは、前記第１の位置からオフセットされた位置において前記環境内に配置された追加のカメラによって取り込まれる。
[00331] コンテンツ再生装置実施形態６であって、コンテンツ再生装置の実施形態４において、
前記受信器は、使用可能なプログラムのリストを受信するようにさらに構成され、
前記リストは、第１のプログラムに関して、前記プログラムに対応するが、異なるストリームフォーマットであるストリームのリストを含み、
前記異なるストリームフォーマットの第１のものは、遮られたイメージコンテンツを含まないストリームフォーマットと、遮られたイメージコンテンツを含む第２のストリームフォーマットとを含み、
前記プロセッサは、さらに、
前記第１のプログラムを選択するユーザ入力を受信し、
装置能力情報に基づいて、ユーザ選択されたプログラムに対応するどのストリームを要求すべきかを選択する
ように前記コンテンツ再生装置を動作させるように構成される。
[00332] コンテンツ再生装置の実施形態７であって、
コンテンツ再生装置の実施形態６は、さらに、
ユーザ選択されたプログラムに対応する選択されたストリームの要求をコンテンツサーバに送るように構成された送信器
を備え、
前記再生装置は、遮られたイメージコンテンツの表示をサポートし、
前記プロセッサは、
ユーザ選択されたプログラムに対応するどのストリームを要求するべきかを選択するように前記コンテンツ再生装置を動作させるように構成され、
遮られたイメージコンテンツを含むストリームを選択するように前記コンテンツ再生装置を動作させるように構成される。
[00333] コンテンツ再生装置実施形態８であって、
コンテンツ再生装置実施形態４は、さらに、ストリームの要求をコンテンツサーバに送るように構成された送信器を備え、
前記受信器は、さらに、使用可能なプログラムのリストを受信するように構成され、
前記リストは第１のプログラムを含み、
前記プロセッサは、さらに、前記第１のプログラムを選択するユーザ入力を受信するように前記コンテンツ再生装置を動作させるように構成される。
[00334] コンテンツ再生装置の実施形態９であって、コンテンツ再生装置の実施形態８において、前記送信器は、さらに、前記再生装置が、前記第１の位置からは見えない前記環境の諸部分に対応する遮られたイメージコンテンツの表示をサポートできることを示す装置の能力情報を、前記コンテンツサーバに通信するように構成される。
[00335] コンテンツ再生装置の実施形態１０であって、コンテンツ再生装置の実施形態９において、
装置の能力情報を前記コンテンツサーバに通信することは、
ｉ）再生装置の能力を決定するのに使用され得る識別子をコンテンツサーバに提供すること、または
ｉｉ）再生装置によってサポートされ得るコンテンツストリームフォーマットを、コンテンツサーバに示すこと、
のうちの少なくとも１つを含む。
[00336] コンテンツ再生装置実施形態１１であって、コンテンツ再生装置の実施形態１０において、装置の能力情報を前記コンテンツサーバに通信することは、遮られないイメージデータも含むフレーム内で遮られたイメージデータが送信されるコンテンツストリームフォーマットを、再生装置がサポートすることを、コンテンツサーバに示すことを含む。
[00337] 第１２の再生方法の実施形態と呼ばれる１つの例示的な実施形態は、コンテンツ再生装置を動作させる方法に向けられ、
この方法は、コンテンツ再生装置を、
環境内の第１の位置から見える環境の部分に対応する遮られないイメージコンテンツを含む第１のフレームを受信し、
前記第１の位置からは見えない環境の部分に対応する遮られたイメージコンテンツを含む補助フレームを受信し、
ユーザの頭の位置を検出し、
検出された頭の位置に応じて、環境の部分のイメージをディスプレイに出力する
ように動作させるステップを含む。第１２の方法の実施形態の特徴を含む第１３の方法の実施形態では、方法は、さらに、ディスプレイに出力することの一部として、
ユーザの前記頭の位置がデフォルト位置に対応するときに第１の位置から見える環境の部分に対応するイメージ部分をディスプレイに出力することと、
ユーザの頭の位置が前記第１の位置からオフセットされた位置に対応するときに、第１の位置からは見えない環境の少なくともいくつかの部分に対応するイメージ部分をディスプレイに出力することと、
をさらに含む。
[00338] 第１２の再生方法の実施形態の特徴を含む第１４の再生方法の実施形態では、その方法は、さらに、
前記第１の位置から見える前記環境の部分に対応する環境の第１のモデルのセグメントに対する、遮られないイメージコンテンツを含む第１のフレームの部分間のマッピングを示す第１のＵＶマップを受信することと、
前記第１の位置からは見えない前記環境の部分に対応する環境の前記第１のモデルのセグメントに対する、遮られたイメージコンテンツを含む補助フレームの部分間のマッピングを示す補助ＵＶマップを受信することと、
を備える。
[00339] 第１４の再生方法の実施形態の特徴を含む第１５の再生方法の実施形態では、
環境のイメージ部分をディスプレイに出力することは、前記ユーザの頭が環境内の第１の位置に対応するデフォルト位置からオフセットされた位置に位置決めされるときに、
ｉ）環境の第１のモデルのセグメントに対して、第１のフレーム内に含まれるイメージ部分をマッピングするのに第１のＵＶマップを使用することによって、および、
ｉｉ）前記第１の位置からは見えない環境の部分に対応する環境の第１のモデルのセグメントに対して、補助フレーム内に含まれるイメージ部分をマッピングするのに補助ＵＶマップを使用することによって、
生成された描画されるイメージの部分を表示することを含む。第１５の再生方法の実施形態の特徴を含む第１６の再生方法の実施形態では、その方法は、さらに、前記第１のフレームを含む主コンテンツストリームと、前記補助フレームを含む補助コンテンツストリームとを含む多重化されたコンテンツストリーム内で前記第１のフレームと補助フレームとを受信することを含む。
[00340] 第１６の再生方法の実施形態の特徴を含む第１７の再生方法の実施形態では、その方法は、さらに、前記主コンテンツストリームと前記補助コンテンツストリームとを多重化解除することを含む。第１７の再生装置の実施形態の特徴を含む第１８の再生の実施形態では、主コンテンツストリームは、前記補助コンテンツストリーム内の各フレームに対してＭ個のフレームを含み、Ｍは１以上である。第１８の再生方法の実施形態の特徴を含む第１９の再生方法の実施形態では、Ｍは１より大きく、補助フレームは、前記主コンテンツストリーム内に含まれるＭ個のフレームのセット内の前記第１のフレームと少なくとも１つの追加のフレームとに対応する遮られたイメージコンテンツを含む。第１９の再生方法の実施形態の特徴を含む第２０の再生方法の実施形態では、
第１のフレームおよび補助フレームは、符号化された形で受信され、
前記方法は、
イメージ描画の前に、前記第１のフレームを復号するのに第１のデコーダを使用することと、
イメージ描画の前に、前記補助フレームを復号するのに、前記第１のデコーダとは異なる第２のデコーダを使用することと、
をさらに含む。
[00341] 第２１の再生方法の実施形態では、第２のデコーダは、前記第１のデコーダよりも低速である。第１８の再生方法の実施形態の特徴を含む第２２の再生方法の実施形態では、補助フレームは、前記第１のフレームと、同じサイズであり、同じ数の画素を含む。第１８の再生方法の実施形態の特徴を含む第２３の再生方法の実施形態では、
第１のフレームおよび補助フレームは、符号化された形で受信され、
その方法は、さらに、イメージ描画の前に、前記第１のフレームと前記補助フレームとを復号するのに、時分割ベースでデコーダを使用することを含む。第１４の再生方法の実施形態の特徴を含む第２４の再生方法の実施形態では、その方法は、さらに、
環境内の前記第１の位置から見える環境の部分に対応するセグメントを含む第２の環境モデルを受信することと、
環境内の前記第１の位置からは見えない前記環境の遮られた部分に対応するセグメントに関する情報を提供する補助環境モデル情報を受信することと、
前記第１の環境モデルを生成するために第２の環境モデルを変更するのに補助環境モデル情報を使用することと、ここで、前記第１の環境モデルは、前記環境の遮られた部分に対応するセグメントと、前記環境の遮られない部分に対応するセグメントとを含み、
を含む。
[00342] コンテンツ再生装置の実施形態１２は、
環境内の第１の位置から見える環境の部分に対応する遮られないイメージコンテンツを含む第１のフレームを受信するため、および、前記第１の位置からは見えない環境の部分に対応する遮られたイメージコンテンツを含む補助フレームを受信するための受信器と、
受信されたフレームを記憶するためのメモリと、
ユーザの頭の位置を検出し、検出された頭の位置に応じて、環境の部分のイメージをディスプレイに出力するように構成されたプロセッサと、
を備える。
[00343] コンテンツ再生装置の実施形態１３であって、コンテンツ再生装置の実施形態１２において、
プロセッサは、ディスプレイに出力することの一部として、
ユーザの前記頭の位置がデフォルト位置に対応するときに第１の位置から見える環境の部分に対応するイメージ部分を出力し、
ユーザの頭の位置が前記第１の位置からオフセットされた位置に対応するときに、第１の位置からは見えない環境の少なくともいくつかの部分に対応するイメージ部分を出力する
ように構成される。
[00344] コンテンツ再生装置の実施形態１４であって、コンテンツ再生装置の実施形態１２において、前記受信器は、また、
前記第１の位置から見える前記環境の部分に対応する環境の第１のモデルのセグメントに対する、遮られないイメージコンテンツを含む第１のフレームの部分間のマッピングを示す第１のＵＶマップを受信することと、
前記第１の位置からは見えない前記環境の部分に対応する環境の第１のモデルのセグメントに対する、遮られたイメージコンテンツを含む補助フレームの部分間のマッピングを示す補助ＵＶマップを受信することと、
のためのものである。
[00345] コンテンツ再生装置の実施形態１５であって、コンテンツ再生装置の実施形態１４において、
プロセッサは、ディスプレイに出力することの一部として、
前記ユーザの頭が、環境内の第１の位置に対応するデフォルト位置からオフセットされた位置に位置決めされるときに、
ｉ）第１のフレーム内に含まれるイメージ部分を、環境の第１のモデルのセグメントに対してマッピングするのに第１のＵＶマップを使用することと、および
ｉｉ）補助フレーム内に含まれるイメージ部分を、前記第１の位置からは見えない環境の部分に対応する環境の第１のモデルのセグメントに対してマッピングするのに補助ＵＶマップを使用することと、
によって生成された描画されるイメージの部分を出力するように構成される。
[00346] コンテンツ再生装置の実施形態１６であって、コンテンツ再生装置の実施形態１５において、受信器は、前記第１のフレームを含む主コンテンツストリームと、前記補助フレームを含む補助コンテンツストリームとを含む多重化されたコンテンツストリーム内で前記第１のフレームと補助フレームとを受信する。
[00347] コンテンツ再生装置の実施形態１７であって、コンテンツ再生装置の実施形態１６は、さらに、前記主コンテンツストリームと前記補助コンテンツストリームとを多重化解除するためのデマルチプレクサを備える。
[00348] コンテンツ再生装置の実施形態１８であって、コンテンツ再生装置の実施形態１７において、前記主コンテンツストリームは、前記補助コンテンツストリーム内の各フレームに対してＭ個のフレームを含み、Ｍは１以上である。
[00349] コンテンツ再生装置の実施形態１９、コンテンツ再生装置の実施形態１８において、
Ｍは１より大きく、
前記補助フレームは、前記主コンテンツストリーム内に含まれるＭ個のフレームのセット内の前記第１のフレームと少なくとも１つの追加のフレームとに対応する遮られたイメージコンテンツを含む。
[00350] コンテンツ再生装置の実施形態２０であって、コンテンツ再生装置の実施形態１９において、
前記第１のフレームおよび前記補助フレームは、符号化された形で受信され、
前記コンテンツ再生装置は、
イメージ描画の前に、前記第１のフレームを復号する第１のデコーダと、
イメージ描画の前に、前記補助フレームを復号するための、前記第１のデコーダとは異なる第２のデコーダと、
を含む。
[00351] コンテンツ再生装置の実施形態２１であって、コンテンツ再生装置の実施形態２０において、前記第２のデコーダは、前記第１のデコーダよりも低速である。
[00352] コンテンツ再生装置の実施形態２２であって、コンテンツ再生装置の実施形態１８において、
前記第１のフレームおよび前記補助フレームは、符号化された形で受信され、
その方法は、さらに、イメージ描画の前に、前記第１のフレームと前記補助フレームとを復号するために、時分割ベースでデコーダを使用することを備える。
[00353] コンテンツ再生装置の実施形態２３であって、コンテンツ再生装置の実施形態１４において、
前記受信器は、また、
環境内の前記第１の位置から見える環境の部分に対応するセグメントを含む第２の環境モデルを受信することと、
環境内の前記第１の位置からは見えない前記環境の遮られた部分に対応するセグメントに関する情報を提供する補助環境モデル情報を受信することと、
前記第１の環境モデルを生成するために第２の環境モデルを変更するのに補助環境モデル情報を使用することと、ここで、前記第１の環境モデルは、前記環境の遮られた部分に対応するセグメントと、前記環境の遮られない部分に対応するセグメントとを含む、
ためのものである。
[00354] 他の例示的な実施形態は、コンテンツ再生装置のプロセッサによって実行されるときに、
環境内の第１の位置から見える環境の部分に対応する遮られないイメージコンテンツを含む第１のフレームを受信し、
前記第１の位置からは見えない環境の部分に対応する遮られたイメージコンテンツを含む補助フレームを受信し、
ユーザの頭の位置を検出し、
検出された頭の位置に応じて、環境の部分のイメージをディスプレイに出力する
ステップを実行するようにコンテンツ再生装置を制御する、コンピュータが実行可能な命令がその上に記憶されたコンピュータが読み取り可能な一時的でない媒体を含む。
[00355] ステップは例示的な順序で示されるが、多くの場合に、ステップの順序は、動作に不利な影響を及ぼさずに、変更され得ることを理解されたい。したがって、ステップの例示的な順序が正しい動作のために必要とされない限り、ステップの順序は、例示的であって、限定的ではないと考えられるべきである。
[00356] 様々な実施形態が議論されたが、必ずしもすべての実施形態が同じ特徴を含むとは限らず、説明された特徴のいくつかは不可欠ではなく、いくつかの実施形態では、望ましいものであり得ることを理解されたい。
[00357] 様々な範囲および例示的な値が説明されるが、範囲および値は例示的である。いくつかの実施形態では、値の範囲は、上で議論された範囲より２０％大きい。他の実施形態では、範囲は、上で議論された例示的な範囲より２０％小さい。同様に、特定の値は、上で特定された値よりも２０％まで大きくてもよく、時にそうであり、他方、他の実施形態では、値は、上で特定された値よりも２０％まで小さくある。さらに他の実施形態では、他の値が使用される。
[00358] 様々な実施形態の技法は、ソフトウェア、ハードウェア、および／または、ソフトウェアとハードウェアとの組合せを使用して実装され得る。様々な実施形態は、たとえばイメージデータ取り込みおよび処理システムなどの機器に向けられる。様々な実施形態は、たとえばイメージ取り込みおよび／またはイメージデータを処理する方法などの方法に向けられる。様々な実施形態は、また、方法の１つまたは複数のステップを実施するように機械を制御するための、機械が読み取り可能な命令を含む、たとえばＲＯＭ、ＲＡＭ、ＣＤ、ハードディスクなどの、コンピュータなどの機械が読み取り可能な一時的でない媒体に向けられる。
[00359] 本発明の様々な特徴は、モジュールを使用して実装される。そのようなモジュールは、ソフトウェアモジュールとして実装され得、いくつかの実施形態では実施される。他の実施形態では、モジュールは、ハードウェアで実装される。さらに他の実施形態では、モジュールは、ソフトウェアとハードウェアとの組合せを使用して実装される。いくつかの実施形態では、モジュールが、個々の回路として実装され、各モジュールは、モジュールが対応する機能を実行するための回路として実装される。異なるモジュールが、たとえばいくつかはハードウェアで、いくつかはソフトウェアで、いくつかはハードウェアとソフトウェアとの組合せを使用してなど、異なって実装されるいくつかの実施形態を含め、様々な実施形態が企図される。ルーチンおよび／またはサブルーチン、または、そのようなルーチンによって実行されるステップのいくつかが、汎用プロセッサ上で実行されるソフトウェアと対照的に、専用ハードウェア内で実装され得ることにも留意されたい。そのような実施形態は、本発明の範囲内に留まる。上述の方法または方法ステップの多くが、上述された方法のすべてまたは一部を実装するように、たとえば、追加のハードウェアを用いるかまたは用いない汎用コンピュータなどの機械を制御するために、たとえば、ＲＡＭ、フロッピー（登録商標）ディスクなどのメモリ装置などの機械が読み取り可能な媒体内に含まれる、ソフトウェアなどの機械が実行可能な命令を使用して実装され得る。したがって、他のものもある中で、本発明は、たとえばプロセッサおよび関連するハードウェアなどの機械に、上述された方法のステップのうちの１つまたは複数を実行させる機械が実行可能な命令を含む、機械が読み取り可能な媒体に向けられる。
[00360] いくつかの実施形態は、立体視ビデオを符号化し、圧縮するようにコンピュータまたは他の装置を制御するための、たとえばコンピュータが実行可能な命令などのソフトウェア命令のセットを具現化するコンピュータが読み取り可能な一時的でない媒体に向けられる。他の実施形態は、プレイヤ側でビデオを復号し、圧縮解除するようにコンピュータまたは他の装置を制御するための、たとえばコンピュータが実行可能な命令などソフトウェア命令のセットを具現化するコンピュータが読み取り可能な媒体に向けられる。符号化および圧縮は、可能な個別の動作として述べられるが、符号化は、圧縮を実行するのに使用され得、したがって、符号化は、いくつかの実施形態において、圧縮を含み得ることを理解されたい。同様に、復号は、圧縮解除を含み得る。
[00361] 様々な実施形態では、処理システムのプロセッサは、例示的な説明された処理システムによって実行される方法ステップを実行するように処理システムを制御するように構成される。様々な実施形態では、再生装置のプロセッサは、本願で説明される方法のうちの１つまたは複数の、再生装置によって実行される、ステップを実装するように再生装置を制御するように構成される。
[00362] 上述された様々な実施形態の方法および装置に対する多数の追加の変形例が、上の説明に鑑みてこの技術に技量を有する者に明白になる。そのような変形例は、範囲内であると考えられるべきである。

Claims (60)

  1. イメージ処理システムを動作させる方法であって、
    環境の部分に対応する第１のイメージを受信することと、ここで、前記第１のイメージは、第１の位置から見える前記環境の部分に対応する遮られないイメージ部分を含み、
    前記第１の位置からのビューからは遮られた前記環境の部分に対応する少なくとも第１の遮られたイメージ部分を含む前記環境の追加のイメージを受信することと、
    前記第１のイメージの前記遮られないイメージ部分からのイメージコンテンツと、前記追加のイメージの前記第１の遮られたイメージ部分からのイメージコンテンツとを含む第１のフレームを生成することと、
    記憶装置内に前記第１のフレームを記憶し、または、他の装置に前記第１のフレームを送信することと、
    を備える方法。
  2. 前記第１のフレームの部分を、環境モデルのセグメントに対してマッピングするために使用されるＵＶマップを生成することをさらに備える、請求項１に記載の方法。
  3. 前記環境の遮られない面に対応するセグメントと、前記環境の遮られた面に対応するセグメントとを含む環境モデルを生成することをさらに備える、請求項１に記載の方法。
  4. 前記ＵＶマップは、前記第１のフレームの前記遮られないイメージ部分に対応する前記第１のフレーム内のイメージコンテンツを、前記第１の位置から見える前記環境の部分に対応する前記環境モデルの第１のセグメントに対してマッピングする、請求項３に記載の方法。
  5. 前記ＵＶマップは、さらに、前記第１の遮られたイメージ部分に対応する前記第１のフレーム内のイメージコンテンツを、前記第１の位置からは見えない前記環境の部分に対応する前記環境モデルの第２のセグメントに対してマッピングする、請求項４に記載の方法。
  6. 第１のイメージを受信することは、前記環境内の第１のカメラから前記第１のイメージを受信することを含み、
    前記環境の追加のイメージを受信することは、前記第１のカメラが前記環境内で位置決めされる位置からオフセットされた、前記環境内の位置にあるカメラから前記追加のイメージを受信することを含む、
    請求項１に記載の方法。
  7. 前記第１のカメラは、前記第１のカメラと第２のカメラとを含む立体視カメラ対のカメラであり、
    前記立体視カメラ対は、前記第１の位置に位置決めされ、
    前記方法は、さらに、
    前記第２のカメラから環境の部分に対応する第２のイメージを受信すること
    を備え、
    前記第２のイメージは、前記第１の位置から見える前記環境の前記部分に対応する第２の遮られないイメージ部分を含む、
    請求項６に記載の方法。
  8. 前記第１のフレームは、第２のフレームフォーマットであり、
    前記方法は、さらに、
    第１のフレームフォーマットでフレームを生成することと、ここで、前記第１のフレームフォーマットでの前記フレームは、前記第１のフレームの前記遮られないイメージ部分からのイメージコンテンツを含み、前記環境の遮られた部分に対応するイメージコンテンツを含まず、
    前記記憶装置内に、前記第１のフレームフォーマットでの前記フレームを記憶することと、
    を備える、請求項１に記載の方法。
  9. 前記第１のフレームと前記第１のフレームフォーマットでの前記フレームは、第１のプログラムに対応し、
    前記方法は、さらに、
    遮られたイメージコンテンツの表示をサポートする第１の再生装置から、前記第１のプログラムに対応するコンテンツの第１の要求を受信することと、
    コンテンツの前記第１の要求に応答して、前記第１の再生装置に、前記第２のフレームフォーマットで前記第１のフレームを送ることと、
    を備える、請求項８に記載の方法。
  10. 遮られたイメージコンテンツの前記表示をサポートしない第２の再生装置から、前記第１のプログラムに対応するコンテンツの第２の要求を受信することと、
    コンテンツの前記第２の要求に応答して、前記第２の再生装置に、前記第１のフレームフォーマットで前記フレームを送ることと、
    をさらに備える、請求項９に記載の方法。
  11. システムでの使用のためのコンピュータが読み取り可能な一時的でない媒体であって、前記コンピュータが読み取り可能な一時的でない媒体は、コンピュータによって実行されるときに、
    環境の部分に対応する第１のイメージを受信し、ここで、前記第１のイメージは、第１の位置から見える前記環境の部分に対応する遮られないイメージ部分を含み、
    前記第１の位置からのビューからは遮られた前記環境の部分に対応する少なくとも第１の遮られたイメージ部分を含む前記環境の追加のイメージを受信し、
    前記第１のイメージの前記遮られないイメージ部分からのイメージコンテンツと、前記追加のイメージの前記第１の遮られたイメージ部分からのイメージコンテンツとを含む第１のフレームを生成し、
    記憶装置内に前記第１のフレームを記憶し、または、他の装置に前記第１のフレームを送信する
    ように前記システムを制御する、コンピュータが実行可能な命令を含む、コンピュータが読み取り可能な一時的でない媒体。
  12. イメージ処理システムであって、
    プロセッサを備え、
    プロセッサは、
    環境の部分に対応する第１のイメージを受信し、ここで、前記第１のイメージは、第１の位置から見える前記環境の部分に対応する遮られないイメージ部分を含み、
    前記第１の位置からのビューからは遮られた前記環境の部分に対応する少なくとも第１の遮られたイメージ部分を含む前記環境の追加のイメージを受信し、
    前記第１のイメージの前記遮られないイメージ部分からのイメージコンテンツと、前記追加のイメージの前記第１の遮られたイメージ部分からのイメージコンテンツとを含む第１のフレームを生成し、
    記憶装置内に前記第１のフレームを記憶し、または、他の装置に前記第１のフレームを送信する
    ように前記イメージ処理システムを制御するように構成される、イメージ処理システム。
  13. 前記プロセッサは、さらに、前記第１のフレームの部分を、環境モデルのセグメントに対してマッピングするために使用されるＵＶマップを生成するように前記イメージ処理システムを制御するように構成される、請求項１２に記載のイメージ処理システム。
  14. 前記プロセッサは、さらに、前記環境の遮られない面に対応するセグメントと、前記環境の遮られた面に対応するセグメントとを含む環境モデルを生成するように前記イメージ処理システムを制御するように構成される、請求項１２に記載のイメージ処理システム。
  15. 前記ＵＶマップは、前記第１のフレームの前記遮られないイメージ部分に対応する前記第１のフレーム内のイメージコンテンツを、前記第１の位置から見える前記環境の部分に対応する前記環境モデルの第１のセグメントに対してマッピングし、
    前記ＵＶマップは、さらに、前記第１の遮られたイメージ部分に対応する前記第１のフレーム内のイメージコンテンツを、前記第１の位置からは見えない前記環境の部分に対応する前記環境モデルの第２のセグメントに対してマッピングする、
    請求項１４に記載のイメージ処理システム。
  16. イメージ処理システムを動作させる方法であって、
    環境の部分に対応する第１のイメージを受信することと、ここで、前記第１のイメージは、第１の位置から見える前記環境の部分に対応する遮られないイメージ部分を含み、
    前記第１のイメージの前記遮られないイメージ部分からのイメージコンテンツを含む第１のフレームを生成することと、
    前記第１の位置からのビューからは遮られた前記環境の部分に対応する少なくとも第１の遮られたイメージ部分を含む前記環境の追加のイメージを受信することと、
    前記追加のイメージの前記第１の遮られたイメージ部分からのイメージコンテンツを含む補助フレームを生成することと、
    前記第１のフレームと前記補助フレームとを記憶装置内に記憶し、または、前記第１のフレームを他の装置に送信することと、
    を備える方法。
  17. 前記第１のフレームの部分の、前記第１の位置から見える前記環境の部分に対応する環境モデルのセグメントに対するマッピングを示す第１のＵＶマップを生成することと、
    前記補助フレームの部分の、前記第１の位置からは見えない前記環境の部分に対応する環境モデルのセグメントに対するマッピングを示す補助ＵＶマップを生成することと、
    をさらに備える、請求項１６に記載の方法。
  18. 前記環境の遮られない面に対応するセグメントと、前記環境の遮られた面に対応するセグメントとを含む環境モデルを生成することをさらに備える、請求項１７に記載の方法。
  19. 前記補助フレームは、前記第１のフレームより小さく、前記第１のフレームより少ない数の画素を含む、請求項１６に記載の方法。
  20. 前記第１のフレームと前記補助フレームとを多重化することと、
    主コンテンツストリーム内に前記第１のフレームを、補助コンテンツストリーム内に前記補助フレームを含む多重化されたコンテンツストリームを送信することと、
    をさらに備える、請求項１８に記載の方法。
  21. 前記第１のフレームと前記補助フレームとを多重化することは、前記多重化されたコンテンツストリームを受信する装置が、前記第１のフレームの前に、前記補助フレームを受信するように、前記第１のフレームの前に、前記多重化されたコンテンツストリーム内に前記補助フレームを組み込むことを含む、請求項２０に記載の方法。
  22. 前記環境の前記部分に対応する第２のイメージを受信することと、ここで、前記第２のイメージは、第２の遮られないイメージ部分を含み、
    少なくとも第２の遮られたイメージ部分を含む前記環境の第２の追加のイメージを受信することと、
    前記第２のイメージの前記第２の遮られないイメージ部分からのイメージコンテンツを含む第２のフレームを生成することと、
    をさらに備える、請求項２０に記載の方法。
  23. 前記補助フレームを生成することは、
    前記第１の遮られたイメージ部分と共に、前記補助フレーム内に、前記第２の追加のイメージの前記第２の遮られたイメージ部分からのイメージコンテンツを含めること
    を含む、請求項２２に記載の方法。
  24. 前記補助フレームは、前記主コンテンツストリーム内のＭ個の異なるフレームに対応する遮られたイメージ部分を含み、Ｍは、ゼロでない整数であり、
    前記補助フレームを生成することは、前記補助フレーム内に、前記第２の追加のイメージの前記第２の遮られたイメージ部分からのイメージコンテンツを含めることを含む、
    請求項２３に記載の方法。
  25. 遮られたイメージコンテンツの表示をサポートする第１の再生装置から、第１のプログラムに対応するコンテンツの第１の要求を受信することと、
    コンテンツの前記第１の要求に応答して、前記第１のフレームと前記補助フレームとを、前記第１の再生装置に送ることと、
    をさらに備える、請求項１６に記載の方法。
  26. システムでの使用のためのコンピュータが読み取り可能な一時的でない媒体であって、
    前記コンピュータが読み取り可能な一時的でない媒体は、コンピュータによって実行されるときに、
    環境の部分に対応する第１のイメージを受信し、ここで、前記第１のイメージは、第１の位置から見える前記環境の部分に対応する遮られないイメージ部分を含み、
    前記第１のイメージの前記遮られないイメージ部分からのイメージコンテンツを含む第１のフレームを生成し、
    前記第１の位置からのビューからは遮られた前記環境の部分に対応する少なくとも第１の遮られたイメージ部分を含む前記環境の追加のイメージを受信し、
    前記追加のイメージの前記第１の遮られたイメージ部分からのイメージコンテンツを含む補助フレームを生成し、
    前記第１のフレームと前記補助フレームとを記憶装置内に記憶し、または、前記第１のフレームを他の装置に送信する
    ように前記システムを制御する、コンピュータが実行可能な命令を含む、コンピュータが読み取り可能な一時的でない媒体。
  27. 環境の部分に対応する第１のイメージを受信するように構成された受信器と、ここで、前記第１のイメージは、第１の位置から見える前記環境の部分に対応する遮られないイメージ部分を含み、
    前記第１のイメージの前記遮られないイメージ部分からのイメージコンテンツを含む第１のフレームを生成するように構成されたプロセッサと、
    ここにおいて、前記受信器は、さらに、前記第１の位置からのビューからは遮られた前記環境の部分に対応する少なくとも第１の遮られたイメージ部分を含む前記環境の追加のイメージを受信するように構成され、
    ここにおいて、前記プロセッサは、さらに、前記追加のイメージの前記第１の遮られたイメージ部分からのイメージコンテンツを含む補助フレームを生成するように構成され、
    前記第１のフレームと前記補助フレームとを記憶するためのメモリ、または、前記第１のフレームを他の装置に送信するように構成された送信器と、
    を備えるイメージ処理システム。
  28. 前記プロセッサは、さらに、
    前記第１のフレームの部分の、前記第１の位置から見える前記環境の部分に対応する環境モデルのセグメントに対するマッピングを示す第１のＵＶマップを生成し、
    前記補助フレームの部分の、前記第１の位置からは見えない前記環境の部分に対応する環境モデルのセグメントに対するマッピングを示す補助ＵＶマップを生成する
    ように構成される、請求項２７に記載のイメージ処理システム。
  29. 前記プロセッサは、さらに、前記環境の遮られない面に対応するセグメントと、前記環境の遮られた面に対応するセグメントとを含む環境モデルを生成するように構成される、請求項２８に記載のイメージ処理システム。
  30. 前記第１のフレームと前記補助フレームとを多重化するように構成されたマルチプレクサをさらに備え、
    前記送信器は、さらに、主コンテンツストリーム内に前記第１のフレームを、補助コンテンツストリーム内に前記補助フレームを含む多重化されたコンテンツストリームを送信するように構成され、
    前記マルチプレクサは、前記第１のフレームと前記補助フレームとを多重化するように構成されることの一部として、前記多重化されたコンテンツストリームを受信する装置が、前記第１のフレームの前に、前記補助フレームを受信するように、前記第１のフレームの前に、前記多重化されたコンテンツストリーム内で前記補助フレームを組み込むように構成される、
    請求項２９に記載のイメージ処理システム。
  31. コンテンツの再生装置を動作させる方法であって、
    環境内の第１の位置から見える前記環境の部分に対応する遮られないイメージコンテンツと、前記第１の位置からは見えない前記環境の部分に対応する遮られたイメージコンテンツとを含む第１のフレームを受信することと、
    ユーザの頭の位置を検出することと、
    前記検出された頭の位置に応じて、前記環境の部分のイメージをディスプレイに出力することと、
    を備える方法。
  32. イメージをディスプレイに前記出力することは、
    前記ユーザの頭の位置がデフォルト位置にあるときに前記第１の位置から見える前記環境の部分に対応するイメージ部分を出力することと、
    前記ユーザの頭の位置が前記デフォルト位置からオフセットされた位置を示すときに、前記第１の位置からは見えない前記環境の少なくともいくつかの部分に対応するイメージ部分を出力することと、
    を含む、請求項３１に記載の方法。
  33. フレームの部分と、前記環境のモデルのセグメントとの間のマッピングを示すＵＶマップを受信することをさらに備え、
    イメージをディスプレイに出力することは、前記第１のフレーム内に含まれるイメージ部分を、前記環境の前記モデルのセグメントに対してマッピングするために、前記ＵＶマップを使用することによって生成された描画されたイメージの部分を出力することを含む、
    請求項３１に記載の方法。
  34. 前記環境の前記モデルを受信することをさらに備え、
    前記モデルは、前記第１の位置から見える前記環境内の面に対応するセグメントと、前記第１の位置からは見えない前記環境の遮られた部分に対応する少なくともいくつかのセグメントとを含むメッシュモデルである、
    請求項３３に記載の方法。
  35. 前記遮られないイメージコンテンツは、前記環境内の前記第１の位置にある第１のカメラによって取り込まれたコンテンツを含み、
    前記遮られたイメージコンテンツは、前記第１の位置からオフセットされた位置において、前記環境内に配置された追加のカメラによって取り込まれる、
    請求項３３に記載の方法。
  36. 前記方法は、さらに、
    使用可能なプログラムのリストを受信することと、ここで、前記リストは、第１のプログラムについて、前記プログラムに対応するが、異なるストリームフォーマットであるストリームのリストを含み、前記異なるストリームフォーマットの第１のものは、遮られたイメージコンテンツを含まないストリームフォーマットと、遮られたイメージコンテンツを含む第２のストリームフォーマットとを含み、
    前記第１のプログラムを選択するユーザ入力を受信することと、
    装置の能力情報に基づいて、ユーザ選択されたプログラムに対応するどのストリームを要求すべきかを選択することと、
    を備える、請求項３４に記載の方法。
  37. 前記再生装置は、遮られたイメージコンテンツの表示をサポートし、
    選択するステップは、遮られたイメージコンテンツを含むストリームを選択することを含み、
    前記方法は、
    前記ユーザ選択されたプログラムに対応する選択された前記ストリームの要求を、コンテンツサーバに送ること
    をさらに備える、請求項３６に記載の方法。
  38. 使用可能なプログラムのリストを受信することと、ここで、前記リストは、第１のプログラムを含み、
    前記第１のプログラムを選択するユーザ入力を受信することと、
    ストリームを求めて、コンテンツサーバに要求を送ることと、
    前記再生装置が、前記コンテンツサーバに、前記第１の位置からは見えない前記環境の部分に対応する遮られたイメージコンテンツの表示をサポートすることをできることを示す装置の能力情報を通信することと、
    をさらに備える、請求項３４に記載の方法。
  39. システムでの使用のためのコンピュータが読み取り可能な一時的でない媒体であって、
    前記コンピュータが読み取り可能な一時的でない媒体は、コンピュータによって実行されるときに、
    環境内の第１の位置から見える環境の部分に対応する遮られないイメージコンテンツと、前記第１の位置からは見えない前記環境の部分に対応する遮られたイメージコンテンツとを含む第１のフレームを受信し、
    ユーザの頭の位置を検出し、
    検出された前記頭の位置に応じて、前記環境の部分のイメージをディスプレイに出力する
    ように前記システムを制御する、コンピュータが実行可能な命令を含む、コンピュータが読み取り可能な一時的でない媒体。
  40. コンテンツ再生装置であって、
    環境内の第１の位置から見える環境の部分に対応する遮られないイメージコンテンツと、前記第１の位置からは見えない前記環境の部分に対応する遮られたイメージコンテンツとを含む第１のフレームを受信するように構成された受信器と、
    プロセッサであって、
    ユーザの頭の位置を検出し、
    検出された前記頭の位置に応じて、前記環境の部分のイメージをディスプレイに出力する
    ように前記コンテンツ再生装置を制御するように構成されたプロセッサと、
    前記イメージを記憶するためのメモリと、
    を備えるコンテンツ再生装置。
  41. イメージをディスプレイに出力することは、
    前記ユーザの頭の位置がデフォルト位置にあるときに前記第１の位置から見える前記環境の部分に対応するイメージ部分を出力することと、
    前記ユーザの頭の位置が前記デフォルト位置からオフセットされた位置を示すときに、前記第１の位置からは見えない前記環境の少なくともいくつかの部分に対応するイメージ部分を出力することと、
    を含む、請求項４０に記載のコンテンツ再生装置。
  42. 前記受信器は、さらに、フレームの部分と前記環境のモデルのセグメントとの間のマッピングを示すＵＶマップを受信するように構成され、
    イメージをディスプレイに出力することは、前記第１のフレーム内に含まれるイメージ部分を、前記環境の前記モデルのセグメントに対してマッピングするために、前記ＵＶマップを使用することによって生成された描画されたイメージの部分を出力することを含む、
    請求項４０に記載のコンテンツ再生装置。
  43. 前記受信器は、さらに、前記環境の前記モデルを受信するように構成され、
    前記モデルは、前記第１の位置から見える前記環境内の面に対応するセグメントと、前記第１の位置からは見えない前記環境の遮られた部分に対応する少なくともいくつかのセグメントとを含むメッシュモデルである、
    請求項４２に記載のコンテンツ再生装置。
  44. 前記遮られないイメージコンテンツは、前記環境内の前記第１の位置にある第１のカメラによって取り込まれたコンテンツを含み、
    前記遮られたイメージコンテンツは、前記第１の位置からオフセットされた位置において、前記環境内に配置された追加のカメラによって取り込まれる、
    請求項４２に記載のコンテンツ再生装置。
  45. 前記受信器は、さらに、使用可能なプログラムのリストを受信するように構成され、
    前記リストは、第１のプログラムについて、前記プログラムに対応するが、異なるストリームフォーマットであるストリームのリストを含み、
    前記異なるストリームフォーマットの第１のものは、遮られたイメージコンテンツを含まないストリームフォーマットと、遮られたイメージコンテンツを含む第２のストリームフォーマットとを含み、
    前記プロセッサは、さらに、
    前記第１のプログラムを選択するユーザ入力を受信し、
    装置の能力情報に基づいて、ユーザ選択されたプログラムに対応するどのストリームを要求すべきかを選択する
    ように前記コンテンツ再生装置を動作させるように構成される、
    請求項４３に記載のコンテンツ再生装置。
  46. コンテンツ再生装置を動作させる方法であって、
    環境内の第１の位置から見える前記環境の部分に対応する遮られないイメージコンテンツを含む第１のフレームを受信することと、
    前記第１の位置からは見えない前記環境の部分に対応する遮られたイメージコンテンツを含む補助フレームを受信することと、
    ユーザの頭の位置を検出することと、
    検出された前記頭の位置に応じて、前記環境の部分のイメージをディスプレイに出力することと、
    を備える方法。
  47. ディスプレイに出力することは、
    前記ユーザの前記頭の位置がデフォルト位置に対応するときに前記第１の位置から見える前記環境の部分に対応するイメージ部分を、前記ディスプレイに出力することと、
    前記ユーザの前記頭の位置が前記第１の位置からオフセットされた位置に対応するときに、前記第１の位置からは見えない前記環境の少なくともいくつかの部分に対応するイメージ部分を前記ディスプレイに出力することと、
    を含む、請求項４６に記載の方法。
  48. 前記第１の位置から見える前記環境の部分に対応する前記環境の第１のモデルのセグメントに対する、遮られないイメージコンテンツを含む前記第１のフレームの部分間のマッピングを示す第１のＵＶマップを受信することと、
    前記第１の位置からは見えない前記環境の部分に対応する前記環境の前記第１のモデルのセグメントに対する、遮られたイメージコンテンツを含む前記補助フレームの部分間のマッピングを示す補助ＵＶマップを受信することと、
    をさらに備える、請求項４７に記載の方法。
  49. 前記環境のイメージ部分をディスプレイに出力することは、前記ユーザの頭が、前記環境内の前記第１の位置に対応するデフォルト位置からオフセットされた位置に位置決めされるときに、
    ｉ）前記第１のフレーム内に含まれるイメージ部分を、前記環境の前記第１のモデルのセグメントに対してマッピングするのに前記第１のＵＶマップを使用すること、および、
    ｉｉ）前記補助フレーム内に含まれるイメージ部分を、前記第１の位置からは見えない前記環境の部分に対応する前記環境の前記第１のモデルのセグメントに対してマッピングするのに前記補助ＵＶマップを使用すること、
    によって生成された描画されるイメージの部分を表示することを含む、請求項４８に記載の方法。
  50. 前記第１のフレームを含む主コンテンツストリームと、前記補助フレームを含む補助コンテンツストリームとを含む多重化されたコンテンツストリーム内で前記第１のフレームと補助フレームとを受信することをさらに備える、請求項４９に記載の方法。
  51. 前記主コンテンツストリームと前記補助コンテンツストリームとを多重化解除することをさらに備える、請求項５０に記載の方法。
  52. 前記主コンテンツストリームは、前記補助コンテンツストリーム内の各フレームについてＭ個のフレームを含み、Ｍは１またはそれより大きい、請求項５１に記載の方法。
  53. Ｍは１より大きく、
    前記補助フレームは、前記第１のフレームと前記主コンテンツストリーム内に含まれるＭ個のフレームのセット内の少なくとも１つの追加のフレームとに対応する遮られたイメージコンテンツを含む、請求項５２に記載の方法。
  54. 前記第１のフレームおよび前記補助フレームは、符号化された形で受信され、
    前記方法は、さらに、
    イメージ描画の前に前記第１のフレームを復号するのに第１のデコーダを使用することと、
    イメージ描画の前に前記補助フレームを復号するのに前記第１のデコーダとは異なる第２のデコーダを使用することと、
    をさらに備える、
    請求項５３に記載の方法。
  55. 前記補助フレームは、前記第１のフレームと、同じサイズであり、同じ個数の画素を含む、請求項５２に記載の方法。
  56. 前記環境内の前記第１の位置から見える前記環境の部分に対応するセグメントを含む環境の第２のモデルを受信することと、
    前記環境内の前記第１の位置からは見えない前記環境の遮られた部分に対応するセグメントに関する情報を提供する補助環境モデル情報を受信することと、
    環境の前記第１のモデルを生成するために環境の前記第２のモデルを変更するのに前記補助環境モデル情報を使用することと、ここで、環境の前記第１のモデルは、前記環境の遮られた部分に対応するセグメントと、前記環境の遮られない部分に対応するセグメントとを含む、
    をさらに備える、請求項４８に記載の方法。
  57. コンテンツ再生装置であって、
    環境内の第１の位置から見える環境の部分に対応する遮られないイメージコンテンツを含む第１のフレームを受信するため、および、前記第１の位置からは見えない前記環境の部分に対応する遮られたイメージコンテンツを含む補助フレームを受信するための受信器と、
    受信されたフレームを記憶するためのメモリと、
    プロセッサであって、
    ユーザの頭の位置を検出し、
    検出された前記頭の位置に応じて、前記環境の部分のイメージをディスプレイに出力する
    ように構成されたプロセッサと、
    を備えるコンテンツ再生装置。
  58. 前記プロセッサは、ディスプレイに出力することの一部として、
    前記ユーザの前記頭の位置がデフォルト位置に対応するときに前記第１の位置から見える前記環境の部分に対応するイメージ部分を出力し、
    前記ユーザの前記頭の位置が、前記第１の位置からオフセットされた位置に対応するときに、前記第１の位置からは見えない前記環境の少なくともいくつかの部分に対応するイメージ部分を出力する
    ように構成される、請求項５７に記載のコンテンツ再生装置。
  59. 前記受信器は、また、
    前記第１の位置から見える前記環境の部分に対応する前記環境の第１のモデルのセグメントに対する、遮られないイメージコンテンツを含む前記第１のフレームの部分間のマッピングを示す第１のＵＶマップを受信し、
    前記第１の位置からは見えない前記環境の部分に対応する前記環境の前記第１のモデルのセグメントに対する、遮られたイメージコンテンツを含む前記補助フレームの部分間のマッピングを示す補助ＵＶマップを受信する
    ためのものでもある、請求項５７に記載のコンテンツ再生装置。
  60. コンピュータが読み取り可能な一時的でない媒体であって、
    コンテンツ再生装置のプロセッサによって実行されるときに、
    環境内の第１の位置から見える環境の部分に対応する遮られないイメージコンテンツを含む第１のフレームを受信するステップと、
    前記第１の位置からは見えない前記環境の部分に対応する遮られたイメージコンテンツを含む補助フレームを受信するステップと、
    ユーザの頭の位置を検出するステップと、
    検出された前記頭の位置に応じて、前記環境の部分のイメージをディスプレイに出力するステップと、
    を実行するように前記コンテンツ再生装置を制御する、コンピュータが実行可能な命令をその上に記憶されたコンピュータが読み取り可能な一時的でない媒体。
JP2017546157A 2015-03-01 2016-03-01 コンテンツの生成、送信、および／または、再生をサポートするための方法および装置 Pending JP2018507650A (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201562126709P 2015-03-01 2015-03-01
US201562126701P 2015-03-01 2015-03-01
US62/126,709 2015-03-01
US62/126,701 2015-03-01
US201562127215P 2015-03-02 2015-03-02
US62/127,215 2015-03-02
PCT/US2016/020299 WO2016140986A1 (en) 2015-03-01 2016-03-01 Methods and apparatus for supporting content generation, transmission and/or playback

Publications (1)

Publication Number Publication Date
JP2018507650A true JP2018507650A (ja) 2018-03-15

Family

ID=56798339

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017546168A Pending JP2018514968A (ja) 2015-03-01 2016-03-01 ３ｄ画像レンダリングにおいて環境測定を行うための、及び／又は、このような測定を使用するための方法及び装置
JP2017546157A Pending JP2018507650A (ja) 2015-03-01 2016-03-01 コンテンツの生成、送信、および／または、再生をサポートするための方法および装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2017546168A Pending JP2018514968A (ja) 2015-03-01 2016-03-01 ３ｄ画像レンダリングにおいて環境測定を行うための、及び／又は、このような測定を使用するための方法及び装置

Country Status (7)

Country Link
US (9) US10033995B2 (ja)
EP (2) EP3266199B1 (ja)
JP (2) JP2018514968A (ja)
KR (1) KR20170127505A (ja)
CN (2) CN107430446A (ja)
CA (1) CA2977113A1 (ja)
WO (2) WO2016140986A1 (ja)

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11277598B2 (en) * 2009-07-14 2022-03-15 Cable Television Laboratories, Inc. Systems and methods for network-based media processing
US9958843B2 (en) * 2012-11-07 2018-05-01 Hitachi, Ltd. System and program for managing management target system
TWI527434B (zh) * 2014-03-21 2016-03-21 國立臺灣大學 利用光場相機產生立體影像的方法及光場相機
CN106464785A (zh) 2014-05-20 2017-02-22 奈克斯特Vr股份有限公司 包括或用于一个或多个照相机的装置和方法
US10531071B2 (en) 2015-01-21 2020-01-07 Nextvr Inc. Methods and apparatus for environmental measurements and/or stereoscopic image capture
US9832449B2 (en) 2015-01-30 2017-11-28 Nextvr Inc. Methods and apparatus for controlling a viewing position
US10362290B2 (en) 2015-02-17 2019-07-23 Nextvr Inc. Methods and apparatus for processing content based on viewing information and/or communicating content
KR102533555B1 (ko) 2015-02-17 2023-05-18 네버마인드 캐피탈 엘엘씨 감축된 해상도 이미지들을 생성 및 이용하고 및/또는 재생 또는 컨텐트 분배 디바이스에 이러한 이미지들을 통신하기 위한 방법들 및 장치
US9894350B2 (en) 2015-02-24 2018-02-13 Nextvr Inc. Methods and apparatus related to capturing and/or rendering images
CA2977113A1 (en) 2015-03-01 2016-09-09 Nextvr Inc. Methods and apparatus for making environmental measurements and/or using such measurements in 3d image rendering
US10368104B1 (en) * 2015-04-01 2019-07-30 Rockwell Collins, Inc. Systems and methods for transmission of synchronized physical and visible images for three dimensional display
US9930315B2 (en) 2015-04-29 2018-03-27 Lucid VR, Inc. Stereoscopic 3D camera for virtual reality experience
US10066933B2 (en) * 2015-05-04 2018-09-04 Facebook, Inc. Camera depth mapping using structured light patterns
US10785393B2 (en) 2015-05-22 2020-09-22 Facebook, Inc. Methods and devices for selective flash illumination
US9836845B2 (en) 2015-08-25 2017-12-05 Nextvr Inc. Methods and apparatus for detecting objects in proximity to a viewer and presenting visual representations of objects in a simulated environment
US10706621B2 (en) * 2015-11-30 2020-07-07 Photopotech LLC Systems and methods for processing image information
US11217009B2 (en) 2015-11-30 2022-01-04 Photopotech LLC Methods for collecting and processing image information to produce digital assets
US10210660B2 (en) * 2016-04-06 2019-02-19 Facebook, Inc. Removing occlusion in camera views
US10257501B2 (en) 2016-04-06 2019-04-09 Facebook, Inc. Efficient canvas view generation from intermediate views
CN107316273B (zh) * 2016-04-27 2021-05-18 深圳看到科技有限公司 全景图像采集装置及采集方法
US10298819B2 (en) 2016-07-20 2019-05-21 Nextvr Inc. Camera apparatus and methods which allow for filters to be used
US20180032638A1 (en) * 2016-07-27 2018-02-01 Toyota Motor Engineering & Manufacturing North America, Inc. Surface Analysis Systems and Methods of Generating a Comparator Surface Reference Model of a Multi-Part Assembly Using the Same
US10200672B2 (en) 2016-08-17 2019-02-05 Nextvr Inc. Methods and apparatus for capturing images of an environment
WO2018063957A1 (en) * 2016-09-30 2018-04-05 Silver VR Technologies, Inc. Methods and systems for virtual reality streaming and replay of computer video games
US10325391B2 (en) * 2016-11-21 2019-06-18 Qualcomm Incorporated Oriented image stitching for spherical image content
EP3545675A4 (en) * 2016-11-24 2020-07-01 The University of Washington CAPTURE AND RESTITUTION OF LIGHT FIELD FOR HEADSETS
CN206523701U (zh) * 2016-12-30 2017-09-26 深圳市大疆创新科技有限公司 可穿戴设备
US11252391B2 (en) 2017-03-06 2022-02-15 Nevermind Capital Llc Methods and apparatus for packing images into a frame and/or including additional content or graphics
US10567733B2 (en) 2017-03-06 2020-02-18 Nextvr Inc. Methods and apparatus for communicating and/or using frames including a captured image and/or including additional image content
US10742964B2 (en) 2017-04-04 2020-08-11 Nextvr Inc. Methods and apparatus for displaying images
US10509947B1 (en) 2017-04-11 2019-12-17 Zoox, Inc. Converting multi-dimensional data for image analysis
US10593042B1 (en) * 2017-04-11 2020-03-17 Zoox, Inc. Perspective conversion for multi-dimensional data analysis
US10777018B2 (en) * 2017-05-17 2020-09-15 Bespoke, Inc. Systems and methods for determining the scale of human anatomy from images
US10255949B2 (en) * 2017-05-31 2019-04-09 Verizon Patent And Licensing Inc. Methods and systems for customizing virtual reality data
US11176098B2 (en) * 2017-06-01 2021-11-16 Edx Technologies, Inc. Methods and systems for providing customized virtual and augmented realities
US10304251B2 (en) * 2017-06-15 2019-05-28 Microsoft Technology Licensing, Llc Virtually representing spaces and objects while maintaining physical properties
GB2563895B (en) * 2017-06-29 2019-09-18 Sony Interactive Entertainment Inc Video generation method and apparatus
CN107506236A (zh) * 2017-09-01 2017-12-22 上海智视网络科技有限公司 显示设备及其显示方法
US10460509B2 (en) * 2017-11-07 2019-10-29 Dolby Laboratories Licensing Corporation Parameterizing 3D scenes for volumetric viewing
WO2019118617A1 (en) * 2017-12-15 2019-06-20 Pcms Holdings, Inc. A method for using viewing paths in navigation of 360° videos
CA3033605C (en) * 2018-02-14 2021-11-23 Aaron Derouin Three-dimensional visual target acquisition systems
US10652567B2 (en) * 2018-03-28 2020-05-12 Apple Inc. Applications for decoder-side modeling of objects identified in decoded video data
US10735709B2 (en) 2018-04-04 2020-08-04 Nextvr Inc. Methods and apparatus for capturing, processing and/or communicating images
US10586343B1 (en) * 2018-06-01 2020-03-10 Facebook Technologies, Llc 3-d head mounted display based environmental modeling system
CN108616743B (zh) * 2018-06-04 2019-12-31 盎锐（上海）信息科技有限公司 用于生成3d模型的成像装置及方法
EP3588249A1 (en) 2018-06-26 2020-01-01 Koninklijke Philips N.V. Apparatus and method for generating images of a scene
US10861249B2 (en) * 2018-07-27 2020-12-08 The Q Digital Technologies, Inc. Methods and system for manipulating digital assets on a three-dimensional viewing platform
US11557060B2 (en) * 2018-11-05 2023-01-17 Wayfair Llc Systems and methods for scanning three-dimensional objects
CN109379579B (zh) * 2018-11-20 2020-03-17 四川长虹电器股份有限公司 一种实时采集光场真三维数据的处理方法
CN110059151B (zh) * 2019-04-26 2022-10-25 北京百度网讯科技有限公司 地图渲染方法、地图渲染装置、地图服务器和存储介质
CN110266955B (zh) * 2019-06-28 2021-01-26 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备以及存储介质
WO2021019723A1 (ja) * 2019-07-31 2021-02-04 日本電信電話株式会社 複合現実空間共有システム、共有情報管理サーバ、複合現実端末、複合現実空間共有方法および共有情報管理プログラム
CN111028350B (zh) * 2019-11-21 2022-05-20 大连理工大学 一种利用双目立体相机构建栅格地图的方法
WO2021108913A1 (en) * 2019-12-04 2021-06-10 Studio Thinkwell Montréal Inc. Video system, method for calibrating the video system and method for capturing an image using the video system
CN110996087B (zh) * 2019-12-10 2021-04-02 腾讯科技（深圳）有限公司 视频显示方法、装置
US11710247B2 (en) 2020-01-30 2023-07-25 Unity Technologies Sf System for image compositing including training with synthetic data
US11676252B2 (en) 2020-01-31 2023-06-13 Unity Technologies Sf Image processing for reducing artifacts caused by removal of scene elements from images
US20210274091A1 (en) 2020-02-28 2021-09-02 Weta Digital Limited Reconstruction of obscured views of captured imagery using arbitrary captured inputs
US11694313B2 (en) 2020-02-28 2023-07-04 Unity Technologies Sf Computer-generated image processing including volumetric scene reconstruction
US20210274092A1 (en) 2020-02-28 2021-09-02 Weta Digital Limited Reconstruction of obscured views in captured imagery using pixel replacement from secondary imagery
US11369874B2 (en) * 2020-04-29 2022-06-28 Lenovo (Singapore) Pte. Ltd. Rendering video game on display device using GPU in display device and video game data from second device
US11393179B2 (en) 2020-10-09 2022-07-19 Open Space Labs, Inc. Rendering depth-based three-dimensional model with integrated image frames
US11776210B2 (en) * 2021-01-22 2023-10-03 Sony Group Corporation 3D face modeling based on neural networks
KR20230079618A (ko) * 2021-11-29 2023-06-07 삼성전자주식회사 인체를 3차원 모델링하는 방법 및 장치
KR102421512B1 (ko) * 2022-03-14 2022-07-15 정현인 휴대용 입체촬영 카메라 및 시스템

Family Cites Families (98)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5187571A (en) * 1991-02-01 1993-02-16 Bell Communications Research, Inc. Television system for displaying multiple views of a remote location
US6111582A (en) 1996-12-20 2000-08-29 Jenkins; Barry L. System and method of image generation and encoding using primitive reprojection
US5963203A (en) * 1997-07-03 1999-10-05 Obvious Technology, Inc. Interactive video icon with designated viewing position
US6573907B1 (en) * 1997-07-03 2003-06-03 Obvious Technology Network distribution and management of interactive video and multi-media containers
US6262737B1 (en) * 1998-01-30 2001-07-17 University Of Southern California 3D mesh compression and coding
US6445398B1 (en) * 1998-02-04 2002-09-03 Corporate Media Partners Method and system for providing user interface for electronic program guide
US6476806B1 (en) * 1999-04-16 2002-11-05 Hewlett-Packard Company Method and apparatus for performing occlusion testing while exploiting frame to frame temporal coherence
US6574360B1 (en) * 1999-07-23 2003-06-03 International Business Machines Corp. Accelerated occlusion culling using directional discretized occluders and system therefore
US7015954B1 (en) 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US6970591B1 (en) * 1999-11-25 2005-11-29 Canon Kabushiki Kaisha Image processing apparatus
US6990228B1 (en) 1999-12-17 2006-01-24 Canon Kabushiki Kaisha Image processing apparatus
US6664961B2 (en) * 2000-12-20 2003-12-16 Rutgers, The State University Of Nj Resample and composite engine for real-time volume rendering
US8401336B2 (en) 2001-05-04 2013-03-19 Legend3D, Inc. System and method for rapid image sequence depth enhancement with augmented computer-generated elements
US20020196250A1 (en) * 2001-06-20 2002-12-26 Gateway, Inc. Parts assembly for virtual representation and content creation
US6982715B2 (en) * 2002-07-26 2006-01-03 Intel Corporation Mesh compression process
CN100416613C (zh) * 2002-09-29 2008-09-03 西安交通大学 计算机网络环境智能化场景绘制装置系统及绘制处理方法
US7348989B2 (en) * 2003-03-07 2008-03-25 Arch Vision, Inc. Preparing digital images for display utilizing view-dependent texturing
EP1587035A1 (en) 2004-04-14 2005-10-19 Koninklijke Philips Electronics N.V. Ghost artifact reduction for rendering 2.5D graphics
GB2415344B (en) * 2004-06-14 2010-10-06 Canon Europa Nv Texture data compression and rendering in 3D computer graphics
GB2445008B (en) 2006-12-20 2008-12-31 Sony Comp Entertainment Europe Image compression and/or decompression
KR100914846B1 (ko) 2007-12-15 2009-09-02 한국전자통신연구원 2차원 환경에서 3차원 모델의 텍스쳐 맵 제작 방법 및시스템
JP2010028456A (ja) * 2008-07-18 2010-02-04 Sony Corp データ構造、再生装置および方法、並びにプログラム
MY155378A (en) 2008-07-24 2015-10-15 Koninkl Philips Electronics Nv Versatile 3-d picture format
KR101502362B1 (ko) 2008-10-10 2015-03-13 삼성전자주식회사 영상처리 장치 및 방법
US8451320B1 (en) 2009-01-23 2013-05-28 Next3D, Inc. Methods and apparatus for stereoscopic video compression, encoding, transmission, decoding and/or decompression
CN102318352B (zh) 2009-02-17 2014-12-10 皇家飞利浦电子股份有限公司 组合3d图像和图形数据
US8896592B2 (en) * 2009-08-21 2014-11-25 Align Technology, Inc. Digital dental modeling
US8610757B2 (en) 2009-08-24 2013-12-17 Next3D, Inc. Stereoscopic video encoding and decoding methods and apparatus
CN101661623B (zh) * 2009-10-21 2012-04-25 上海交通大学 基于线性规划的变形体三维跟踪方法
KR101313797B1 (ko) 2009-12-18 2013-10-01 한국전자통신연구원 머리 위치 추적을 이용한 입체 영상 표시 장치 및 이의 동작 방법
CN101794462A (zh) * 2010-03-12 2010-08-04 中山大学 一种基于纹理的三维网格模型变形方法及系统
US8896671B2 (en) * 2010-04-09 2014-11-25 3D-4U, Inc. Apparatus and method for capturing images
CN103080984B (zh) 2010-06-30 2017-04-12 巴里·林恩·詹金斯 确定从视区看去可见的网格多边形或所述网格多边形的分段的集合的方法及系统
GB2483434A (en) * 2010-08-31 2012-03-14 Sony Corp Detecting stereoscopic disparity by comparison with subset of pixel change points
US8332900B2 (en) * 2010-12-01 2012-12-11 At&T Intellectual Property I, L.P. Method and system for performance metric analysis of video assets
US10109065B2 (en) 2011-01-25 2018-10-23 Qualcomm Incorporated Using occlusions to detect and track three-dimensional objects
US8587583B2 (en) * 2011-01-31 2013-11-19 Microsoft Corporation Three-dimensional environment reconstruction
US9485494B1 (en) 2011-04-10 2016-11-01 Nextvr Inc. 3D video encoding and decoding methods and apparatus
US9407902B1 (en) 2011-04-10 2016-08-02 Nextvr Inc. 3D video encoding and decoding methods and apparatus
TR201819457T4 (tr) 2011-06-22 2019-01-21 Koninklijke Philips Nv Bir sunum ekranı için bir sinyal oluşturmak üzere yöntem ve cihaz.
CN103988226B (zh) * 2011-08-31 2017-09-26 Metaio有限公司 用于估计摄像机运动以及用于确定实境三维模型的方法
US20130129304A1 (en) * 2011-11-22 2013-05-23 Roy Feinson Variable 3-d surround video playback with virtual panning and smooth transition
US9204127B1 (en) 2012-01-17 2015-12-01 Nextvr Inc. Stereoscopic image processing methods and apparatus
CN102625126B (zh) * 2012-03-22 2014-10-15 北京工业大学 一种基于预测的三维网格编码方法
ITTO20120413A1 (it) 2012-05-08 2013-11-09 Sisvel Technology Srl Metodo per la generazione e ricostruzione di un flusso video tridimensionale, basato sull'utilizzo della mappa delle occlusioni, e corrispondente dispositivo di generazione e ricostruzione.
US20130314401A1 (en) 2012-05-23 2013-11-28 1-800 Contacts, Inc. Systems and methods for generating a 3-d model of a user for a virtual try-on product
MX2013014965A (es) * 2012-05-24 2014-04-02 Panasonic Corp Dispositivo de recepcion, dispositivo de transmision, metodo de recepcion, y metodo de transmision.
US9621869B2 (en) 2012-05-24 2017-04-11 Sony Corporation System and method for rendering affected pixels
US9846960B2 (en) * 2012-05-31 2017-12-19 Microsoft Technology Licensing, Llc Automated camera array calibration
EP2670130B1 (en) * 2012-06-01 2019-03-27 Alcatel Lucent Method and apparatus for mixing a first video signal and a second video signal
US9059495B2 (en) 2012-06-05 2015-06-16 Jorge A. Ruiz-Cruz Compact multiport waveguide switches
US20140063198A1 (en) * 2012-08-30 2014-03-06 Microsoft Corporation Changing perspectives of a microscopic-image device based on a viewer' s perspective
GB2499694B8 (en) * 2012-11-09 2017-06-07 Sony Computer Entertainment Europe Ltd System and method of image reconstruction
US20140172678A1 (en) 2012-12-14 2014-06-19 Craig Alan Stephens Institution simulation
US20140172689A1 (en) * 2012-12-14 2014-06-19 Rawllin International Inc. Fungible monetization of media
US10116911B2 (en) * 2012-12-18 2018-10-30 Qualcomm Incorporated Realistic point of view video method and apparatus
RU2546080C2 (ru) * 2012-12-25 2015-04-10 Пётр Павлович Кузнецов Способ визуализации функционального состояния индивида и система для реализации способа
US9536345B2 (en) * 2012-12-26 2017-01-03 Intel Corporation Apparatus for enhancement of 3-D images using depth mapping and light source synthesis
EP2946551A4 (en) * 2013-01-15 2016-09-07 Imax Corp METHOD AND SYSTEM FOR MULTIPLEXING IMAGE FRAMES
US9336602B1 (en) * 2013-02-19 2016-05-10 Amazon Technologies, Inc. Estimating features of occluded objects
US9538160B1 (en) 2013-04-11 2017-01-03 Nextvr Inc. Immersive stereoscopic video acquisition, encoding and virtual reality playback methods and apparatus
US9536453B2 (en) 2013-05-03 2017-01-03 Brigham Young University Computer-implemented communication assistant for the hearing-impaired
US9424650B2 (en) * 2013-06-12 2016-08-23 Disney Enterprises, Inc. Sensor fusion for depth estimation
US9239436B2 (en) 2013-11-26 2016-01-19 Corning Cable Systems Llc Fiber optic plug having an articulated force structure to inhibit angular ferrule biasing during insertion into an optical receptacle, and related assemblies and methods
US20150172550A1 (en) 2013-12-16 2015-06-18 Motorola Mobility Llc Display tiling for enhanced view modes
US20150199572A1 (en) * 2014-01-16 2015-07-16 Qualcomm Incorporated Object tracking using occluding contours
CN104008569B (zh) * 2014-02-24 2016-03-02 惠州学院 一种基于深度视频的3d场景生成方法
US9699437B2 (en) 2014-03-03 2017-07-04 Nextvr Inc. Methods and apparatus for streaming content
US9779331B2 (en) * 2014-04-24 2017-10-03 Conduent Business Services, Llc Method and system for partial occlusion handling in vehicle tracking using deformable parts model
US20150310660A1 (en) * 2014-04-25 2015-10-29 Sony Computer Entertainment America Llc Computer graphics with enhanced depth effect
US9996976B2 (en) * 2014-05-05 2018-06-12 Avigilon Fortress Corporation System and method for real-time overlay of map features onto a video feed
US9496000B2 (en) 2014-05-16 2016-11-15 Comcast Cable Communications, Llc Audio modification for adjustable playback rate
CN106464785A (zh) 2014-05-20 2017-02-22 奈克斯特Vr股份有限公司 包括或用于一个或多个照相机的装置和方法
US9918136B2 (en) 2014-05-29 2018-03-13 Nextvr Inc. Methods and apparatus for delivering content and/or playing back content
WO2016023519A1 (en) 2014-08-15 2016-02-18 Mediatek Inc. Method for managing multi-channel memory device to have improved channel switch response time and related memory control system
JP2017535985A (ja) 2014-09-03 2017-11-30 ネクストブイアール・インコーポレイテッド コンテンツを取り込み、ストリーミングし、および／または、再生するための方法および装置
JP2017532847A (ja) * 2014-09-09 2017-11-02 ノキア テクノロジーズ オーユー 立体録画及び再生
US10531071B2 (en) 2015-01-21 2020-01-07 Nextvr Inc. Methods and apparatus for environmental measurements and/or stereoscopic image capture
US11218682B2 (en) 2015-01-21 2022-01-04 Nevermind Capital Llc Methods and apparatus for processing and or encoding images with negative parallax
EP3308215A2 (en) 2015-01-28 2018-04-18 NEXTVR Inc. Zoom related methods and apparatus
US9832449B2 (en) 2015-01-30 2017-11-28 Nextvr Inc. Methods and apparatus for controlling a viewing position
WO2016130997A1 (en) 2015-02-12 2016-08-18 Nextvr Inc. Methods and apparatus for making environmental measurements and/or using such measurements
US10362290B2 (en) 2015-02-17 2019-07-23 Nextvr Inc. Methods and apparatus for processing content based on viewing information and/or communicating content
KR102533555B1 (ko) 2015-02-17 2023-05-18 네버마인드 캐피탈 엘엘씨 감축된 해상도 이미지들을 생성 및 이용하고 및/또는 재생 또는 컨텐트 분배 디바이스에 이러한 이미지들을 통신하기 위한 방법들 및 장치
US9894350B2 (en) 2015-02-24 2018-02-13 Nextvr Inc. Methods and apparatus related to capturing and/or rendering images
EP3262614B1 (en) 2015-02-24 2018-12-12 NEXTVR Inc. Calibration for immersive content systems
CA2977113A1 (en) 2015-03-01 2016-09-09 Nextvr Inc. Methods and apparatus for making environmental measurements and/or using such measurements in 3d image rendering
US9821920B2 (en) 2015-08-18 2017-11-21 Nextvr Inc. Methods and apparatus for compensating for vehicular motion
US9836845B2 (en) 2015-08-25 2017-12-05 Nextvr Inc. Methods and apparatus for detecting objects in proximity to a viewer and presenting visual representations of objects in a simulated environment
WO2018014014A1 (en) 2016-07-15 2018-01-18 Nextvr Inc. Camera alignment and/or calibration methods and apparatus
US10298819B2 (en) 2016-07-20 2019-05-21 Nextvr Inc. Camera apparatus and methods which allow for filters to be used
US10200672B2 (en) 2016-08-17 2019-02-05 Nextvr Inc. Methods and apparatus for capturing images of an environment
US20180225537A1 (en) 2017-02-08 2018-08-09 Nextvr Inc. Methods and apparatus relating to camera switching and/or making a decision to switch between cameras
US20180249189A1 (en) 2017-02-08 2018-08-30 Nextvr Inc. Methods and apparatus for use in a system or device where switching between cameras may occur
US10567733B2 (en) 2017-03-06 2020-02-18 Nextvr Inc. Methods and apparatus for communicating and/or using frames including a captured image and/or including additional image content
US11252391B2 (en) 2017-03-06 2022-02-15 Nevermind Capital Llc Methods and apparatus for packing images into a frame and/or including additional content or graphics
US20180280656A1 (en) 2017-03-28 2018-10-04 Nextvr Inc. Virtual reality methods and apparatus which use or include brain activity sensors
US10742964B2 (en) 2017-04-04 2020-08-11 Nextvr Inc. Methods and apparatus for displaying images

Also Published As

Publication number Publication date
US20160253809A1 (en) 2016-09-01
US11272150B2 (en) 2022-03-08
US11870967B2 (en) 2024-01-09
CA2977113A1 (en) 2016-09-09
US20190082159A1 (en) 2019-03-14
US20190082158A1 (en) 2019-03-14
WO2016140934A3 (en) 2016-10-27
US10038889B2 (en) 2018-07-31
US10701331B2 (en) 2020-06-30
US10742948B2 (en) 2020-08-11
US20160253810A1 (en) 2016-09-01
EP3266199A1 (en) 2018-01-10
US10574962B2 (en) 2020-02-25
US20160255327A1 (en) 2016-09-01
US20200404236A1 (en) 2020-12-24
US20160255326A1 (en) 2016-09-01
EP3265999A4 (en) 2018-08-22
EP3265999A2 (en) 2018-01-10
US20160253839A1 (en) 2016-09-01
EP3266199B1 (en) 2019-09-18
JP2018514968A (ja) 2018-06-07
EP3266199A4 (en) 2018-07-18
KR20170127505A (ko) 2017-11-21
WO2016140934A2 (en) 2016-09-09
US10397538B2 (en) 2019-08-27
WO2016140986A1 (en) 2016-09-09
CN107431801A (zh) 2017-12-01
CN107430446A (zh) 2017-12-01
US10033995B2 (en) 2018-07-24
US20220191452A1 (en) 2022-06-16

Similar Documents

Publication Publication Date Title
US11870967B2 (en) Methods and apparatus for supporting content generation, transmission and/or playback
US11924394B2 (en) Methods and apparatus for receiving and/or using reduced resolution images