JP2018511971A - 解像度低下画像を生成および使用するならびに／またはそのような画像を再生デバイスまたはコンテンツ配布デバイスに通信するための方法および装置 - Google Patents

解像度低下画像を生成および使用するならびに／またはそのような画像を再生デバイスまたはコンテンツ配布デバイスに通信するための方法および装置 Download PDF

Info

Publication number
JP2018511971A
JP2018511971A JP2017543784A JP2017543784A JP2018511971A JP 2018511971 A JP2018511971 A JP 2018511971A JP 2017543784 A JP2017543784 A JP 2017543784A JP 2017543784 A JP2017543784 A JP 2017543784A JP 2018511971 A JP2018511971 A JP 2018511971A
Authority
JP
Japan
Prior art keywords
image
map
resolution
environment
segment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017543784A
Other languages
English (en)
Inventor
コール、デイビッド
モス、アラン・マッケイ
メディナ、ヘクター・エム．
Original Assignee
ネクストブイアール・インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ネクストブイアール・インコーポレイテッド filed Critical ネクストブイアール・インコーポレイテッド
Publication of JP2018511971A publication Critical patent/JP2018511971A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42653—Internal components of the client ; Characteristics thereof for processing graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/437—Interfacing the upstream path of the transmission network, e.g. for transmitting client requests to a VOD server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/12—Shadow map, environment map
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0088—Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Generation (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

再生デバイスによって送信および／または使用されることになる画像上での選択的解像度低下を使用するための方法および装置が説明される。送信の前に、環境の１つまたは複数の画像がキャプチャされる。画像コンテンツ、動き検出、および／またはユーザ入力に基づいて、解像度低下動作が選択および実行される。解像度低下画像は、通信された画像をレンダリングするために再生デバイスによって使用されるべきである選択された解像度割り当てに対応するＵＶマップを示す情報とともに、再生デバイスに通信される。使用される解像度割り当てと、どのＵＶマップが再生デバイスによって使用されるかとを変更することによって、送信される画像内のピクセルの数が一定のままであることを可能にしながら、異なる解像度割り当てが環境の異なる部分に対してなされ得る。再生デバイスは、個々の画像を生成するために使用される解像度割り当てに対応するＵＶマップを用いて個々の画像をレンダリングする。

Description

[0001]本発明は、コンテンツ、たとえば環境をシミュレートするために使用可能なコンテンツのキャプチャ、ストリーミング、および／または再生ための方法および装置に関する。
[0002]没入型の体験を提供することを意図したディスプレイデバイスは通常、ユーザが、頭部の向きを変え、表示されるシーンの対応する変化を体験することを可能にする。ユーザは、ユーザの頭部の位置が変化するにつれて表示されているシーンが変化するヘッドマウントディスプレイを装着しながら向きを変えることができるので、ヘッドマウントディスプレイは、３６０度の視聴をサポートすることがある。
[0003]そのようなデバイスを用いれば、ユーザは、前方を見ているときカメラ位置の前でキャプチャされたシーンおよびユーザが完全に振り向いているときカメラ位置の後ろでキャプチャされたシーンが提示されるべきである。ユーザが頭部を後方に向け得るが、所与の時間に、ユーザの視野は通常、人間は所与の時間に限られた視野を知覚することができるという性質により、１２０度以下に制限される。
[0004]３６０度のビューをサポートするために、３６０度のシーンは、複数のカメラを使用してキャプチャされ得、画像は、視聴に利用されることになる３６０度のシーンを生成するために結合される。
[0005]３６０度ビューは、特定の時点に表示されることになる画像を決定するために使用される視野角を変更する機会をユーザが持たない通常のテレビアプリケーションおよび多くの他のビデオアプリケーションのために通常キャプチャ、符号化される単純な前方ビューよりも、さらに多くの画像データを含むことが諒解されるべきである。
[0006]ストリーミングされるコンテンツに関連付けられた送信制約、たとえばネットワークデータ制約を想定すれば、コンテンツを受信および対話しようとするすべての顧客にフル高解像度ビデオにおいて完全３６０度ビューをストリーミングすることが可能でないことがある。これは特に、コンテンツが、３Ｄ視聴効果を可能にするために左目ビューと右目ビューの両方に対応することを意図した画像コンテンツを含む立体コンテンツである場合である。
[0007]上記の説明に鑑みて、万一、データ送信制約を満たしながら、ユーザが環境のさまざまな部分を視聴するために頭部の向きを変える場合、再生デバイスが利用可能な画像データを有するように、個々のユーザに広い視聴エリアが供給されることを可能にする様式でコンテンツの符号化および／またはストリーミングをサポートするための方法および装置が必要とされていることが理解されるべきである。
[0008]環境に対応するビデオまたは他のコンテンツの配信、たとえばストリーミングをサポートするための方法および装置が説明される。いくつかの実施形態では、再生デバイスに通信される環境に対応する画像は、ユーザがたとえば頭部を動かすことによって視野角を変更する場合にコンテンツが利用可能であるように、ユーザが所与の時間に視聴することができるエリアを超える。所与の時間にユーザによって視聴可能な環境エリアよりも広い環境エリアに画像を提供することによって、万一、ユーザの視野角が変化する場合、再生デバイスが、ユーザが以前に視聴していなかった環境の一部分に対応する新しい画像または他のコンテンツを待機しなくても、再生デバイスは、画像を提供するのに十分な情報を有する。
[0009]少なくともいくつかの実施形態では、環境は、メッシュモデルを使用して表される。画像はキャプチャされ、フレームへと符号化される。再生デバイスでは、符号化された画像が復号され、たとえばテクスチャとして、環境モデルの表面に適用される。環境モデルの表面への画像のマッピングは、ＵＶマップとも呼ばれることがあるテクスチャマップによるものである。必ずしもすべての実施形態においてではないが、一般に、ＵＶマップのセグメントは、３Ｄメッシュモデルのセグメントに対応する。再生デバイスにおいて、ＵＶマップが画像に適用され、次いで、画像のセグメントが、テクスチャとして３Ｄモデルの対応するセグメントに適用される。このようにして、ＵＶマップは、受信された画像の一部分を環境のモデルの対応する部分上にマップするために使用可能である。３Ｄ効果を達成するために、このプロセスは、いくつかの実施形態では、左目ビューに対応する画像を３Ｄモデル上にマップするために使用され、結果はユーザの左目に対して表示される。右目ビューに対応する画像は、ユーザの右目に対して表示される画像を生成するために３Ｄモデル上にマップされる。３Ｄ実施形態における左目ビューと右目ビューの差は、ユーザが画像を３Ｄで知覚することになる。
[0010]通常は左目画像および右目画像に対応するデータが通信される３Ｄ画像の場合、３Ｄ視聴を可能にするために１つではなく２つの画像のためのデータが通信される必要があるので、３Ｄ視聴をサポートするために必要とされるデータの量は、かなりの量になり得る。残念なことに、多くの場合、帯域幅制約によって、特に視聴者が予想し始めている高い解像度で２つのフル解像度画像を送信することが困難になり得る。
[0011]ユーザが画像の品質を検出できることは、ユーザが直接見ていない画像の一部分に関して減少する。環境のシーンの場合、ユーザは、環境内の活動のエリア、たとえば、スポーツの試合中にボールがあるまたは俳優が舞台上にいるもしくは環境内にいる環境の部分を視聴することに集中している可能性が高い。本発明の方法および装置は、通信中の画像に解像度を選択的に割り当てるために、この事実を利用する。視聴される可能性が高い環境に対応する画像の部分の解像度を維持しながら、視聴される可能性が低い画像の解像度を低下させる間、再生デバイスに画像データをストリーミングするために利用可能な制限された帯域幅を効率的に使用することが可能である。
[0012]さまざまな実施形態では、環境の画像がキャプチャされ、解像度の選択的低下が適用される。解像度の低下は、環境のそれほど重要でない部分に対応するために知覚される画像の部分に適用されてよく、時には適用される。環境モデルは固定されたままであり得るが、さまざまな実施形態では、重要性の高い環境の部分が変化するにつれて、キャプチャされた画像に適用される解像度低下が変化し得る。たとえば、サッカーの試合の開始時には、中央フィールドはキックオフが行われるところであるので、中央フィールドは環境の重要エリアと考えられ得るが、ボールがフィールドの左端に移動すると、視聴者の観点では、左端が、フィールドの他の部分よりも重要になることがある。ボールがフィールドの右端に移動すると、視聴者の観点では、フィールドの右端が、ボールが設置されていない左部分および中央部分よりも重要になり得る。
[0013]一実施形態によれば、解像度割り当ては、所与の時間における環境の異なる部分の相対的重要性に基づいてなされ、より多くの解像度が、重要性の低いエリアよりも重要性が高いと知覚される環境のエリアに対応する画像の部分に割り当てられる。相対的重要性は、画像のキャプチャ中にユーザがどこを見ているかを追跡することによって、ならびに／または符号化システムおよび／もしくはストリーミングシステムのオペレータの制御を通して、などのユーザ入力から、通信中である画像を提供するキャプチャされたビデオ内で検出された動きに基づいてよい。
[0014]いくつかの実施形態では、異なる解像度割り当てのセットがサポートされる。ダウンサンプリングまたは別の解像度低下技法は、選択された解像度割り当てが示す、解像度低下を受けることになる画像の部分に適用されるが、画像の他の部分はフル解像度のままであってもよいし、またはより少ない量の解像度低下を受けてもよい。異なるテクスチャマップが、異なる解像度割り当てに使用される。したがって、再生デバイスに通信される画像の全体的サイズおよび／またはビット数は、異なる解像度割り当てに対して同じであってよく、時には同じであるが、テクスチャマップ（ＵＶマップ）は、異なる解像度割り当てに対して異なってよく、異なることが多い。このようにして、選択的解像度低下と組み合わせた異なるＵＶマップは、環境のどの部分が所与の時点において重要であると考えられるかに応じて、異なる量の解像度を環境の画像の異なる部分に割り当てるために使用可能であるが、解像度の異なる割り当てにもかかわらず同じ環境モデルが使用される。
[0015]実施形態に応じて、シミュレートされた環境の一部分に対応するＵＶマップのセットは再生デバイスに通信されてよく、次いで、ストリーミングデバイスは、通信された画像または画像ペアに対してどのＵＶマップが使用されるべきかを示す。いくつかの実施形態では、上空（sky）画像と地面（ground）画像とを含む３６０度世界ビュー全体の画像は、単一のフレーム内で再生デバイスに通信される。他の実施形態では、環境の異なる部分に対してテクスチャとして使用されることになる画像は、別個のフレームとして通信される。たとえば、地面の画像は、環境の３６０度水平部分に使用されることになる画像とは別個に送られてよく、この画像と同じくらい頻繁に更新されなくてよいが、別の画像が上空ビューのために送られてよい。対応するＵＶマップの解像度割り当て選択および標識は、別個の画像としてストリーム内に含まれる環境の部分ごとに行われてよく、時には行われる。
[0016]本明細書ではテクスチャマップとも呼ばれ、時には画像マップとも呼ばれるＵＶマップは通常、レンダリングのために必要とされる前に、再生デバイスに通信される。ＵＶマップは、別個に使用されるまたは送られることになるコンテンツストリーム内で通信可能である。再生デバイスに通信されると、ＵＶマップは記憶可能であり、時には記憶される。ＵＶマップが記憶された後、ストリーミングデバイスは、ＵＶマップが適用される１つまたは複数の画像とともにコンテンツストリーム内でマップ識別子を通信することによって、マップを識別することができる。
[0017]解像度割り当ては符号化の前になされるので、符号化デバイスおよび／またはストリーミングデバイスは通常、画像ストリーム内で、ＵＶマップおよび／またはマップ識別子を、通信された１つまたは複数の画像と関連付ける。このようにして、再生デバイスは、レンダリング動作の一部として受信された画像をマップするとき、どのＵＶマップを使用するべきかを知る。
[0018]レンダリングされた画像はユーザに対して表示され、画像ペアの左目画像はユーザの左目に対して表示され、右目画像はユーザの右目に対して表示される。
[0019]選択的解像度低下と組み合わせてＵＶマップを使用することによって、異なる解像度が、異なる解像度割り当てを受けた画像を符号化するために使用されているエンコーダに変更がなされることを必要とすることなく、画像の特殊な復号を必要とすることもなく、実施するのが比較的容易な様式で環境の部分に割り当て可能である。
[0020]方法は、立体画像ペアを提供するために左目画像および右目画像が通信される３Ｄアプリケーションに適しているが、方法は、非立体視実施形態に使用されてよく、時には使用され、選択的解像度割り当ておよび対応するＵＶマップは、単一の画像ストリームが再生デバイスに通信される場合に使用され、たとえば、個々の画像が復号され、環境マップ上にレンダリングされるが、同じ画像がユーザの両目に対して表示される。代替的に、方法は、画像の単一のストリームが再生デバイスに通信され、再生デバイスが、たとえば、画像を受信し、単一の受信された画像から左目画像と異なる右目画像とを生成することによって、受信された画像の単一ストリームから目ビューのペアを生成するために計算処理を使用する実施形態に使用可能である。
[0021]多数の追加の方法および実施形態が、以下の詳細な説明において説明されている。
[0022]本明細書において説明される実施形態のいずれかによりコンテンツをキャプチャし、コンテンツをストリーミングし、コンテンツを１つまたは複数のユーザ再生デバイスに出力するために使用可能な本発明のいくつかの実施形態により実施された例示的なシステムを示す図。 [0023]例示的な立体シーン、たとえば、分割されていないフル３６０度立体シーンを示す図。 [0024]１つの例示的な実施形態により３つの例示的なシーンへと分割された例示的な立体シーンを示す図。 [0025]１つの例示的な実施形態により４つのシーンへと分割された例示的な立体シーンを示す図。 [0026]１つの例示的な実施形態により例示的な３６０度立体シーンを符号化する例示的なプロセスを示す図。 [0027]同じ入力画像部分の異なる符号化されたバージョンを生成するためにさまざまなエンコーダを使用して入力画像部分がどのように符号化されるかを示す例を示す図。 [0028]３つの部分へと分割された入力立体シーンの記憶された符号化された部分を示す図。 [0029]図６Ａおよび図６Ｂの組み合わせを示す図。 [0030]選択的解像度割り当ておよび異なるＵＶマップが異なる時に使用される図１のシステムを使用して実施される例示的な実施形態によりコンテンツをストリーミングする例示的な方法のステップを示すフローチャートの第１の部を示す図。 [0031]選択的解像度割り当ておよび異なるＵＶマップが異なる時に使用される図１のシステムを使用して実施される例示的な実施形態によりコンテンツをストリーミングする例示的な方法のステップを示すフローチャートの第２の部を示す図。 [0032]本発明の特徴により、対応するＵＶマップとともに、解像度割り当て選択、解像度低下、およびコンテンツを符号化およびストリーミングするために使用可能な符号化能力を有する例示的なコンテンツ配信システムを示す図。 [0033]図７のシステムによってストリーミングされるコンテンツを受信、復号、および表示するために使用可能であり、異なる解像度割り当てを有する画像に異なるＵＶマップを使用することを可能にするために図２４および／またはさまざまな他の図を参照して図示および説明されるＵＶマップを使用し得る例示的なコンテンツ再生デバイスを示す図。 [0034]図９Ａおよび図９Ｂの組み合わせを示す図。 [0035]本発明によりコンテンツ再生デバイスを動作させる例示的な方法の第１の部を示す図。 [0036]本発明によりコンテンツ再生デバイスを動作させる例示的な方法の第２の部を示す図。 [0037]本発明により環境を表すために使用されることになる情報を通信する例示的な方法を示す図。 [0038]異なる時間における同じ環境部分に対応する画像に異なる解像度割り当てが使用可能な例示的な実施形態による例示的な画像キャプチャおよびコンテンツストリーミング方法を示す図。 [0039]例示的な一実施形態によるＵＶマップおよび環境モデルを使用して画像を受信およびレンダリングするために、図１のシステムにおいて使用可能である、再生デバイスまたはシステム、たとえばレンダリングデバイスを動作させる方法を示す図。 [0040]上空ビューをキャプチャするために上空の方へ向けられた１つまたは複数のカメラとともに、３６０度視野の異なるセクタに対応する左目画像と右目画像とをキャプチャするための複数のカメラペアを含むカメラリグを示す図。 [0041]再生動作の一部として、キャプチャされた画像がその上に、たとえば内表面上に投影可能な完全球状ビュー／環境を作成するために異なるカメラビューに対応する５つの異なる環境メッシュマップがどのように組み合わせ可能であるかを示す図。 [0042]まるでユーザが環境たとえば球の中心にいるかのようにユーザから視聴可能な球状のシミュレートされた環境を作成する、図１４に示された５つのメッシュのフルアセンブリを示す図。 [0043]図１３に示されるカメラリグのセクタに対応する、魚眼レンズを有する左目カメラおよび右目カメラによってキャプチャされた左目ビュー画像と右目ビュー画像とを示す図。 [0044]本発明による環境の例示的なメッシュモデルを示す図。 [0045]図１７Ａに示されるメッシュモデルの表面上に２Ｄ画像の部分をマップするために使用可能なＵＶマップを示す図。 [0046]図１６のキャプチャされた左目ビュー画像および右目ビュー画像が、符号化および１つまたは複数の再生デバイスへの送信の前においてクロッピング後にどのように見え得るかを示す図。 [0047]環境メッシュ上に適用たとえば投影される図１８に示される画像のうちの１つを有するカメラリグの１つのセクタに対応する環境メッシュモデルを示す図。 [0048]セクタの各々に対応するカメラならびにカメラリグの上空カメラおよび地面カメラによってキャプチャされた画像の適用が結合され、球の形をした完全３６０環境をシミュレートするためにモデル化された環境上に投影可能であることを示す図。 [0049]選択的解像度が、環境グリッドにマップするフレームに対してどのように使用可能であるかを示す図。異なる解像度が、環境モデルにマップされることになる画像の異なる部分に使用され、たとえば、送信された画像の小さい部分は、環境の中間部分のセグメントよりも上空メッシュセグメントおよび地面メッシュセグメントの対応する部分にマップされ、環境の中間部分よりも低い解像度が、環境の上部分および下部分に割り当てられる結果となる。 [0050]環境の第１の部分の第１のキャプチャされた画像と、この第１のキャプチャされた画像から第１の解像度割り当てを使用して生成された第１の解像度調整済み画像と、第１の解像度割り当てに対応する第１のＵＶマップとを示す図。 [0051]環境の第１の部分の第２のキャプチャされた画像と、この第２のキャプチャされた画像から第２の解像度割り当てを使用して生成された第２の解像度調整済み画像と、第２の解像度割り当てに対応する第２のＵＶマップとを示す図。 [0052]環境の第１の部分の第３のキャプチャされた画像と、この第３のキャプチャされた画像から第３の解像度割り当てを使用して生成された第３の解像度調整済み画像と、第２の解像度割り当てに対応する第３のＵＶマップとを示す図。 [0053]図２５Ａおよび図２５Ｂの組み合わせを示す図。 [0054]例示的な実施形態によるコンテンツ処理および配信システムを動作させる方法の第１の部を示す図。 [0055]例示的な実施形態によるコンテンツ処理および配信システムを動作させる方法の第２の部を示す図。 [0056]本発明によるコンテンツを再生する方法の例示的な実施形態を示す図。 [0057]他の図のいずれかに示される１つまたは複数の再生デバイスなどの再生デバイスが、レンダリングされることになる画像を生成するために使用された解像度割り当てに対応するＵＶマップを使用して、どのようにして画像レンダリングを実行することができるかの一例を示す図。 [0058]他の図のいずれかに示される１つまたは複数の再生デバイスなどの再生デバイスが、レンダリングされることになる画像を生成するために使用された解像度割り当てに対応するＵＶマップを使用して、どのようにして画像レンダリングを実行することができるかの一例を示す図。 [0059]他の図のいずれかに示される１つまたは複数の再生デバイスなどの再生デバイスが、レンダリングされることになる画像を生成するために使用された解像度割り当てに対応するＵＶマップを使用して、どのようにして画像レンダリングを実行することができるかの一例を示す図。
[0060]図１は、本発明のいくつかの実施形態により実施される例示的なシステム１００を示す。システム１００は、顧客構内に設置された１つまたは複数の顧客デバイス、たとえば再生デバイス／コンテンツプレーヤへの、コンテンツ配信、たとえばイメージングコンテンツ配信をサポートする。システム１００は、例示的な画像キャプチャリングデバイス１０２と、コンテンツ配信システム１０４と、通信ネットワーク１０５と、複数の顧客構内１０６、…、１１０とを含む。画像キャプチャリングデバイス１０２は、立体イメージのキャプチャリングをサポートする。画像キャプチャリングデバイス１０２は、本発明の特徴によりイメージングコンテンツをキャプチャおよび処理する。通信ネットワーク１０５は、たとえば、ハイブリッドファイバ同軸（ＨＦＣ）ネットワーク、衛星ネットワーク、および／またはインターネットであってよい。
[0061]コンテンツ配信システム１０４は、画像処理、較正、および符号化装置１１２と、コンテンツ配信デバイス、たとえばストリーミングサーバ１１４とを含む。画像処理、較正、および符号化装置１１２は、カメラ較正プロセス中にキャプチャされた１つまたは複数のターゲット画像および／またはグリッドパターンに基づくカメラ較正を含むさまざまな機能を実行することを担当する。コンテンツ配信デバイス１１４はサーバとして実施されてよく、以下で説明されるように、配信デバイスは、画像較正情報、任意選択の環境情報、および３Ｄ環境をシミュレートする際に使用可能なカメラリグ１０２によってキャプチャされた１つもしくは複数の画像を用いて、コンテンツに対する要求に応答する。画像および／またはコンテンツのストリーミングは、画像のソースとなることになるカメラ１０２に対応する、イベント時の視聴頭部位置および／または位置のユーザ選択などのフィードバック情報の機能であってよく、時にはそうである。たとえば、ユーザは、中心線に位置決めされたカメラリグからフィールド目標に位置決めされたカメラリグまでの画像を選択してもよいし、または画像を切り換えてもよく、シミュレートされる３Ｄ環境およびストリーミングされる画像は、ユーザにより選択されたカメラリグに対応するものに変化する。したがって、図１には単一のカメラリグ１０２が示されているが、複数のカメラリグがシステム内に存在し、スポーツまたは他のイベントにおいて異なる物理的ロケーションに設置されてよく、ユーザはさまざまな位置を切り換えることが可能であり、ユーザの選択は、再生デバイス１２２からコンテンツサーバ１１４に通信されることが諒解されるべきである。画像処理およびコンテンツ配信システム１０４内に別個のデバイス１１２、１１４が示されているが、システムは、さまざまな機能を実行するための別個のハードウェアを含むまたは異なるソフトウェアモジュールもしくはハードウェアモジュールによって制御されているが単一のプロセッサ内もしくはその上で実施される異なる機能を有する単一のデバイスとして実施されてよいことが諒解されるべきである。
[0062]符号化装置１１２は、本発明による画像データを符号化するための１つまたは複数のエンコーダを含み得、いくつかの実施形態では含む。エンコーダは、異なるデータレートを有する符号化されたバージョンを生成する目的で、シーンの異なる部分を符号化するために、および／またはシーンの所与の部分を符号化するために、並列に使用され得る。複数のエンコーダを並列に使用することは、リアルタイムまたはほぼリアルタイムのストリーミングがサポート可能であるときに特に有用である。
[0063]コンテンツストリーミングデバイス１１４は、符号化された画像コンテンツをたとえば通信ネットワーク１０５上で１つまたは複数の顧客デバイスに配信するために、符号化されたコンテンツをストリーミングする、たとえば送信するように構成される。ネットワーク１０５を介して、コンテンツ配信システム１０４は、通信ネットワーク１０５を横断するリンク１２０によって、図に表される顧客構内１０６、１１０に設置されたデバイスに情報を送る、および／またはこのデバイスと情報を交換することができる。
[0064]図１の例では符号化装置１１２およびコンテンツ配信サーバが別個の物理的デバイスとして示されているが、いくつかの実施形態では、符号化装置１１２およびコンテンツ配信サーバは、コンテンツを符号化およびストリーミングする単一のデバイスとして実施される。符号化プロセスは、３Ｄ画像視聴がサポート可能であるようにシーン部分の左目ビューおよび右目ビューに対応する情報が符号化され、符号化されたデータ内に含まれる３Ｄ画像符号化プロセス、たとえば立体画像符号化プロセスであってよい。使用される特定の符号化方法は本出願にとって重要でなく、広範囲のエンコーダが、符号化装置１１２として使用されてもよいし、またはこれを実施するために使用されてもよい。
[0065]各顧客構内１０６、１１０は、複数のデバイス／プレーヤ、たとえば、コンテンツストリーミングデバイス１１４によってストリーミングされる画像コンテンツを復号および再生／表示する復号装置を含んでよい。顧客構内１ １０６は、ディスプレイデバイス１２４に結合された復号装置／再生デバイス１２２含むが、顧客構内Ｎ １１０は、ディスプレイデバイス１２８に結合された復号装置／再生デバイス１２６を含む。いくつかの実施形態では、ディスプレイデバイス１２４、１２８は、ヘッドマウント立体視ディスプレイデバイスである。
[0066]さまざまな実施形態では、復号装置１２２、１２６は、対応するディスプレイデバイス１２４、１２８上に画像コンテンツを提示する。復号装置／プレーヤ１２２、１２６は、コンテンツ配信システム１０４から受信された画像コンテンツを復号し、復号されたコンテンツを使用して画像コンテンツを生成し、ディスプレイデバイス１２４、１２８上で画像コンテンツ、たとえば３Ｄ画像コンテンツをレンダリングすることが可能なデバイスであってよい。復号装置／再生デバイス１２２、１２６のいずれかは、図８に示される復号装置／再生デバイス８００として使用されてよい。図８に示されるものなどのシステム／再生デバイスは、復号装置／再生デバイス１２２、１２６のいずれかとして使用可能である。
[0067]図２Ａは、例示的な立体シーン２００、たとえば、分割されていないフル３６０度立体シーンを示す。立体シーンは、多くの場合に単一のビデオキャプチャプラットフォームまたはカメラマウント上に取り付けられた複数のカメラ、たとえばビデオカメラからキャプチャされた画像データを結合した結果であってよく、通常そうである。
[0068]図２Ｂは、例示的な一実施形態による、シーンが３つ（Ｎ＝３）の例示的な部分、たとえば前方１８０度部分、左後方９０度部分、および右後方９０度部分に分割された、例示的な立体シーン２００の分割されたバージョン２５０を示す。
[0069]図２Ｃは、例示的な一実施形態による、４つの（Ｎ＝４）部分に分割された例示的な立体シーン２００の別の分けられたバージョン２８０を示す。
[0070]図２Ｂおよび図２Ｃは２つの例示的な区画を示しているが、他の区画が可能であることが諒解されるべきである。たとえば、シーン２００は、１２の（ｎ＝１２）３０度部分に分割され得る。そのような一実施形態では、各区画を個々に符号化するのではなく、複数の区画が１つのグループとしてグループ化および符号化される。区画の異なるグループは、符号化され、ユーザにストリーミングされてよく、各グループのサイズは、シーンの総度数に関して同じであるが、ユーザの頭部位置、たとえば０〜３６０度のスケール上で測定される視野角に応じてストリーミングされ得る画像の異なる部分に対応する。
[0071]図３は、１つの例示的な実施形態により例示的な３６０度立体シーンを符号化する例示的なプロセスを示す。図３に示される方法３００への入力としては、たとえばシーンの３６０度ビューをキャプチャするように配置された複数のカメラによってキャプチャされた３６０度立体画像データ３０２がある。立体画像データ３０２、たとえば立体映像は、さまざまな既知のフォーマットのいずれかをとってよく、ほとんどの実施形態では、３Ｄ体験を可能にするために使用される左目画像データと右目画像データとを含む。方法は、立体映像に特に適しているが、本明細書において説明される技法および方法は、たとえば３６０度または狭いシーンエリアの、２Ｄ画像にも適用可能である。
[0072]ステップ３０４では、シーンデータ３０２は、異なるシーンエリア、たとえば異なる視聴方向に対応するＮ個のシーンエリアに対応するデータに分割される。たとえば、図２Ｂに示される実施形態などの一実施形態では、３６０度シーンエリアは、３つの区画、すなわち、９０度部分に対応する左後方部分、前方１８０度部分、および右後方９０度部分に分けられる。異なる部分が異なるカメラによってキャプチャされることがあるが、これは必要ではなく、実際には、３６０度シーンが、図２Ｂおよび図２Ｃに示されるようなＮ個のシーンエリアに分けられる前に複数のカメラからキャプチャされたデータから構築され得る。
[0073]ステップ３０６では、異なるシーン部分に対応するデータが、本発明により符号化される。いくつかの実施形態では、各シーン部分は、部分ごとに複数の可能なビットレートストリームをサポートするために、複数のエンコーダによって単独で符号化される。ステップ３０８では、符号化されたシーン部分は、顧客再生デバイスにストリーミングするために、たとえば、コンテンツ配信システム１０４内に記憶される。
[0074]図４は、入力画像部分、たとえばシーンの１８０度前方部分が、同じ入力画像部分の異なる号化されたバージョンを生成するために、さまざまなエンコーダを使用してどのように符号化されるかを示す一例を示す図４００である。
[0075]図４００に示されるように、入力シーン部分４０２たとえばシーンの１８０度前方部分が、符号化のために、複数のエンコーダに供給される。この例では、画像コンテンツの異なるデータレートストリームをサポートするように、符号化されたデータを生成するために、異なる解像度で、異なる符号化技法を使用して入力データを符号化するＫ個の異なるエンコーダがある。複数のＫ個のエンコーダは、高精細度（ＨＤ）エンコーダ１ ４０４と、標準画質（ＳＤ）エンコーダ２ ４０６と、フレームレート低下ＳＤエンコーダ３ ４０８と、…、高圧縮フレームレート低下ＳＤエンコーダＫ４１０とを含む。
[0076]ＨＤエンコーダ１ ４０４は、高ビットレートＨＤ符号化された画像４１２を生じさせるために、フル高精細度（ＨＤ）符号化を実行するように構成される。ＳＤエンコーダ２ ４０６は、入力画像のＳＤ符号化されたバージョン２ ４１４を生じさせるために、低解像度標準画質符号化を実行するように構成される。フレームレート低下ＳＤエンコーダ３ ４０８は、入力画像のレート低下ＳＤ符号化バージョン３ ４１６を生じさせるために、フレームレート低下低解像度ＳＤ符号化を実行するように構成される。低下されたフレームレートは、たとえば、符号化のためにＳＤエンコーダ２ ４０６によって使用されるフレームレートの半分であってよい。高圧縮フレームレート低下ＳＤエンコーダＫ４１０は、入力画像の大きく圧縮されたレート低下ＳＤ符号化バージョンＫ４２０を生じさせるために、高圧縮を有するフレームレート低下低解像度ＳＤ符号化を実行するように構成される。
[0077]したがって、空間的および／または時間的解像度の制御は、異なるデータレートのデータストリームを生じさせるために使用可能であり、データ圧縮のレベルなどの他のエンコーダ設定の制御はまた、単独で使用されてもよいし、または１つまたは複数の所望のデータレートを有するシーン部分に対応するデータストリームを生じさせるために、空間的および／もしくは時間的な解像度の制御に加えて使用されてもよいことが諒解されるべきである。
[0078]図５は、３つの例示的な部分へと分割された入力立体シーンの記憶された符号化された部分５００を示す。記憶された符号化された部分は、コンテンツ配信システム１０４内に、たとえばメモリ内にデータ／情報として、記憶され得る。立体シーンの記憶された符号化された部分５００は、符号化された部分の３つの異なるセットを含み、各部分は異なるシーンエリアに対応し、各セットは、対応するシーン部分の複数の異なる符号化されたバージョンを含む。各符号化されたバージョンは、符号化されたビデオデータのバージョンであり、したがって、コーディングされた複数のフレームを表す。各符号化されたバージョン５１０、５１２、５１６は、複数の期間に対応し、ストリーミング時、再生されている期間に対応する部分たとえばフレームが送信目的で使用されるビデオであることが諒解されるべきである。
[0079]上記で図４に関して図示および説明されたように、各シーン部分、たとえば、前方シーン部分、後方シーン部分は、同じシーン部分のＫ個の異なるバージョンを生じさせるために複数の異なるエンコーダを使用して符号化され得る。所与の入力シーンに対応する各エンコーダの出力は、１セットとしてグループ化され、記憶される。符号化されたシーン部分の第１のセット５０２は、前方１８０度シーン部分に対応し、前方１８０度シーンの符号化されたバージョン１ ５１０と、符号化されたバージョン２ ５１２と、…、符号化されたバージョンＫ５１６とを含む。符号化されたシーン部分の第２のセット５０４は、シーン部分２、たとえば９０度左後方シーン部分に対応し、９０度左後方シーン部分の符号化されたバージョン１ ５２０と、符号化されたバージョン２ ５２２と、…、９０度左後方シーン部分の符号化されたバージョンＫ５２６とを含む。同様に、符号化されたシーン部分の第３のセット５０６は、シーン部分３、たとえば９０度右後方シーン部分に対応し、９０度右後方シーン部分の符号化されたバージョン１ ５３０と、符号化されたバージョン２ ５３２と、…、９０度右後方シーン部分の符号化されたバージョンＫ５３６とを含む。
[0080]３６０度シーンのさまざまな異なる記憶された符号化された部分は、顧客再生デバイスに送る目的で、さまざまな異なるビットレートストリームを生成するために使用可能である。
[0081]符号化プロセスは、コンテンツを個々のユーザごとに別個に符号化しなくてもシーンのＮ個の部分が異なるユーザに異なって送信および処理されることを可能にするので、コンテンツ配信システム１０４は、多数の同時ユーザをサポートすることができる。したがって、いくつかの並列エンコーダが、スポーツまたは他のイベントのリアルタイムまたはほぼリアルタイムのストリーミングを可能にするようにリアルタイム符号化をサポートするために使用され得るが、使用されるエンコーダの数は、コンテンツがストリーミングされる再生デバイスの数よりもはるかに少ない傾向がある。
[0082]コンテンツの部分は、３６０度ビューに対応する部分として説明されるが、シーンは、垂直次元も有する空間の平坦化されたバージョンを表し得、いくつかの実施形態では表すことが諒解されるべきである。再生デバイスは、３Ｄ環境たとえば空間のモデルを使用してシーン部分をマップし、垂直視聴位置に関して調整することが可能である。したがって、本出願で説明される３６０度は、まるでユーザが注視レベルを保ちながら視野角を左または右に変更したかのような、水平位置に関する頭部位置を指す。
[0083]図６Ａと図６Ｂとを備える図６は、例示的な実施形態による、画像コンテンツを提供する例示的な方法のステップを示すフローチャート６００である。図６Ａは、フローチャート６００の第１の部を示す。図６Ｂは、フローチャート６００の第２の部を示す。フローチャート６００の方法は、いくつかの実施形態では、図１に示されるキャプチャリングシステムを使用して実施される。
[0084]方法６００は、図６Ａに示される開始ステップ６０２において始まる。動作は、ステップ６０２からステップ６０４に進む。ステップ６０４では、キャプチャされた画像が受信される。動作は、ステップ６０４からステップ６０６に進む。
[0085]ステップ６０６では、使用されることになる解像度割り当てが選択される。選択は、たとえば、動きに基づいてなされてよい。動作は、ステップ６０６から決定ステップ６０８に進む。決定ステップ６０８では、選択された解像度が前の解像度割り当てと異なる決定がなされた場合、動作はステップ６１０に進む。そうでない場合、動作はステップ６１２に進む。
[0086]ステップ６１０では、解像度低下を制御するために使用される選択された解像度割り当てに対応する新しいダウンサンプリングおよび／またはフィルタリング情報がロードされる。動作は、ステップ６１０からステップ６１２に進む。
[0087]ステップ６１２では、解像度低下動作が、使用されることになる決定された解像度割り当てに基づいて、受信されたキャプチャされた画像に対して実行される。解像度低下動作は、異なる解像度を有する少なくともいくつかの異なる画像部分を有する解像度低下画像６１４を出力する。動作はステップ６１６に進む。
[0088]ステップ６１６では、解像度低下画像が、圧縮、たとえば、エントロピー符号化、ランレングス符号化、動きベクトル、および／または他の符号化技法をサポートするエンコーダを使用して、符号化される。動作は、ステップ６１６からステップ６１８に進む。
[0089]ステップ６１８では、決定された解像度割り当て、たとえばダウンサンプリングを受ける画像をレンダリングするために使用されることになる解像度割り当てに対応するＵＶマップが示される。適用される解像度割り当てに対応するＵＶマップを指定することによって、および／または適用される解像度割り当てに対応するＵＶマップを提供することによって、再生デバイスは、通信された画像が、送信された画像のどの部分が再生デバイスに通信される前にダウンサンプリングされたかを考慮に入れる環境の３Ｄモデルに適用されることを可能にする情報を備える。動作は、ステップ６１８から、接続ノードＡ６２０を介して図６Ｂに示される決定ステップ６２２に進む。
[0090]決定ステップ６２２では、適用された解像度割り当てに対応するＵＶマップが再生デバイスに通信されたかどうかに関する決定がなされる。決定が、適用された解像度割り当てに対応するＵＶマップが再生デバイスに通信されていないというものである場合、動作はステップ６２４に進む。決定が、適用された解像度割り当てに対応するＵＶマップが再生デバイスに通信されたというものである場合、動作はステップ６２６に進む。
[0091]ステップ６２４では、適用された解像度割り当てに対応するＵＶマップが、再生デバイスに通信される。動作は、ステップ６２４からステップ６２６に進む。
[0092]ステップ６２６では、使用するＵＶマップを示す情報が、再生デバイスに通信される。動作は、ステップ６２６からステップ６２８に進む。ステップ６２８では、符号化された画像が再生デバイスに通信される。この方法は、各受信されたキャプチャされた画像に関して実行されてよい。
[0093]図７は、本発明の特徴により、コンテンツを符号化およびストリーミングするために使用可能な符号化能力を有する例示的なコンテンツ配信システム７００を示す。
[0094]このシステムは、本発明の特徴により、符号化、記憶、ならびに送信および／またはコンテンツ出力を実行するために使用され得る。いくつかの実施形態では、システム７００またはその中の要素は、図６に示されるプロセスに対応する動作を実行する。コンテンツ配信システム７００は、図１のシステム１０４として使用されてよい。図７に示されるシステムは、コンテンツの符号化、処理、およびストリーミングのために使用されるが、システム７００は、処理されたおよび／または符号化された画像データを復号し、たとえば、オペレータに対して表示する機能も含んでよいことが諒解されるべきである。
[0095]システム７００は、ディスプレイ７０２と、入力デバイス７０４と、入力／出力（Ｉ／Ｏ）インターフェース７０６と、プロセッサ７０８と、ネットワークインターフェース７１０と、メモリ７１２とを含む。システム７００のさまざまな構成要素は、バス７０９を介して互いに結合され、これは、システム７００の構成要素間でデータが通信されることを可能にする。
[0096]メモリ７１２は、プロセッサ７０８によって実行されるとき本発明による分割動作、符号化動作、記憶動作、ならびにストリーミング／送信および／または出力動作を実施するようにシステム７００を制御するさまざまなモジュール、たとえばルーチンを含む。
[0097]メモリ７１２は、プロセッサ７０７によって実行されるとき本発明による没入型立体映像収集方法、符号化方法、記憶方法、ならびに送信および／または出力方法を実施するようにコンピュータシステム７００を制御するさまざまなモジュール、たとえばルーチンを含む。メモリ７１２は、制御ルーチン７１４と、分割モジュール７１６と、エンコーダ７１８と、ストリーミングコントローラ７２０と、受信された入力画像７３２、たとえばシーンの３６０度立体映像と、符号化されたシーン部分７３４と、タイミング情報７３６とを含む。いくつかの実施形態では、モジュールは、ソフトウェアモジュールとして実施される。他の実施形態では、モジュールは、たとえば個々の回路として、ハードウェア内で実施され、各モジュールは、モジュールが対応する機能を実行するための回路として実施される。さらに他の実施形態では、モジュールは、ソフトウェアとハードウェアの組み合わせを使用して実施される。
[0098]制御ルーチン７１４は、システム７００の動作を制御するために、デバイス制御ルーチンと通信ルーチンとを含む。分割モジュール７１６は、本発明の特徴によりシーンの受信された立体３６０度バージョンをＮ個のシーン部分に分割するように構成される。
[0099]エンコーダ７１８は、受信された画像コンテンツ、たとえば、本発明の特徴によりシーンの３６０度バージョンおよび／または１つまたは複数のシーン部分を符号化するように構成された複数のエンコーダを含んでよく、いくつかの実施形態では含む。いくつかの実施形態では、エンコーダは、複数のエンコーダを含み、各エンコーダは、所与のビットレートストリームをサポートするために、立体シーンおよび／または分けられたシーン部分を符号化するように構成される。したがって、いくつかの実施形態では、各シーン部分が、各シーンに対する複数の異なるビットレートストリームをサポートするために、複数のエンコーダを使用して符号化可能である。エンコーダ７１８の出力は、顧客デバイスたとえば再生デバイスにストリーミングするためにメモリ内に記憶された符号化されたシーン部分７３４である。符号化されたコンテンツは、ネットワークインターフェース７１０を介して、１つまたは複数の異なるデバイスにストリーミング可能である。
[00100]ＵＶマップ７４０は、コンテンツ配信システム７００のメモリ７１２内に記憶される。ＵＶマップ７４０は、環境の異なる解像度割り当ておよび／またはエリアに対応する。たとえば、第１のＵＶマップ１ ７４２は第１の解像度割り当てに対応し、第２のＵＶマップ２ ７４４は第２の解像度割り当てに対応し、第３のＵＶマップ７４６は第３の解像度割り当てに対応する。異なる解像度割り当てを有するＵＶマップは、環境の同じエリアに対応することができる。環境の他のエリアに対応する異なるＵＶマップは、メモリ７１２内に記憶可能である。複数のＵＶマップが環境モデルに対応し得る。受信された画像がキャプチャされた環境のメッシュモデル、たとえば３Ｄ環境メッシュモデル７３８は、コンテンツ配信システム７００のメモリ７１２内に記憶される。複数のメッシュモデルがメモリ７１２内に記憶されてよい。
[00101]ストリーミングコントローラ７２０は、符号化された画像コンテンツを、たとえば通信ネットワーク１０５上で１つまたは複数の顧客デバイスに配信するために符号化されたコンテンツのストリーミングを制御するように構成される。さまざまな実施形態では、フローチャート６００のさまざまなステップが、ストリーミングコントローラ７２０の要素によって実施される。ストリーミングコントローラ７２０は、要求処理モジュール７２２と、データレート決定モジュール７２４と、現在の頭部位置決定モジュール７２６と、選択モジュール７２８と、ストリーミング制御モジュール７３０とを含む。要求処理モジュール７２２は、顧客再生デバイスからのイメージングコンテンツに対する受信された要求を処理するように構成される。コンテンツに対する要求は、さまざまな実施形態では、ネットワークインターフェース７１０内の受信機７１３を介して受信される。いくつかの実施形態では、コンテンツに対する要求は、要求元再生デバイスの識別情報を示す情報を含む。いくつかの実施形態では、コンテンツに対する要求は、顧客再生デバイスによってサポートされるデータレートと、ユーザの現在の頭部位置、たとえば、ヘッドマウントディスプレイの位置とを含み得る。要求処理モジュール７２２は、受信された要求を処理し、さらなる活動を講じるために、取り出された情報をストリーミングコントローラ７２０の他の要素に提供する。コンテンツに対する要求は、データレート情報および現在の頭部位置情報を含み得るが、さまざまな実施形態では、再生デバイスによってサポートされるデータレートは、ネットワークテストおよびシステム７００と再生デバイスとの間で交換される他のネットワーク情報から決定可能である。
[00102]データレート決定モジュール７２４は、画像コンテンツを顧客デバイスにストリーミングするために使用可能な利用可能なデータレートを決定するように構成され、たとえば、複数の符号化されたシーン部分がサポートされるので、コンテンツ配信システム７００は、顧客デバイスへの複数のデータレートでのコンテンツのストリーミングサポートすることができる。データレート決定モジュール７２４は、システム７００にコンテンツを要求する再生デバイスによってサポートされるデータレートを決定するようにさらに構成される。いくつかの実施形態では、データレート決定モジュール７２４は、ネットワーク測定に基づいて、画像コンテンツの配信のためのデータレートを決定するように構成される。
[00103]現在の頭部位置決定モジュール７２６は、再生デバイスから受信された情報から、ユーザの現在の視野角および／または現在の頭部位置、たとえばヘッドマウントディスプレイの位置を決定するように構成される。いくつかの実施形態では、再生デバイスは、現在の頭部位置情報をシステム７００に定期的に送り、システム７００において、現在の頭部位置決定モジュール７２６は、情報を受信し、現在の視野角および／または現在の頭部位置を決定するために処理する。
[00104]選択モジュール７２８は、ユーザの現在の視野角／頭部位置情報に基づいて、３６０度シーンのどの部分を再生デバイスにストリーミングするべきかを決定するように構成される。選択モジュール７２８は、コンテンツのストリーミングをサポートするために、利用可能なデータレートに基づいて、決定されたシーン部分の符号化されたバージョンを選択するようにさらに構成される。
[00105]ストリーミング制御モジュール７３０は、本発明の特徴により、さまざまなサポートされるデータレートにおいて、画像コンテンツ、たとえば３６０度立体シーンの複数の部分のストリーミングを制御するように構成される。いくつかの実施形態では、ストリーミング制御モジュール７３０は、再生デバイス内のシーンメモリを初期化するためにコンテンツを要求する再生デバイスへの３６０度立体シーンのＮ個の部分のストリーミングを制御するように構成される。さまざまな実施形態では、ストリーミング制御モジュール７３０は、定期的に、たとえば決定された割合で、決定されたシーン部分の選択された符号化されたバージョンを送るように構成される。いくつかの実施形態では、ストリーミング制御モジュール７３０は、時間間隔により、たとえば１分に１回、再生デバイスに３６０度シーン更新を送るようにさらに構成される。いくつかの実施形態では、３６０度シーン更新を送ることは、フル３６０度立体シーンのＮ個のシーン部分またはＮ−Ｘ個のシーン部分を送ることを含み、ここで、Ｎはフル３６０度立体シーンが分割された部分の総数であり、Ｘは再生デバイスに最近送られた選択されたシーン部分を表す。いくつかの実施形態では、ストリーミング制御モジュール７３０は、３６０度シーン更新を送る前に初期化のためにＮ個のシーン部分を最初に送った後、所定の時間待機する。いくつかの実施形態では、３６０度シーン更新の送出を制御するタイミング情報は、タイミング情報７３６に含まれる。いくつかの実施形態では、ストリーミング制御モジュール７３０は、リフレッシュ間隔中に再生デバイスに送信されなかったシーン部分を識別し、リフレッシュ間隔中に再生デバイスに送信されなかった識別されたシーン部分の更新されたバージョンを送信するようにさらに構成される。
[00106]さまざまな実施形態では、ストリーミング制御モジュール７３０は、再生デバイスが各リフレッシュ期間中に少なくとも１回前記シーンの３６０度バージョンを十分にリフレッシュすることを可能にするために、少なくとも十分な数のＮ個の部分を定期的に再生デバイスに通信するように構成される。
[00107]図８は、図１および図７に示されるシステムなどのコンテンツ配信システムから受信された画像コンテンツを受信、復号、記憶、および表示するために使用可能である、本発明により実施されるコンピュータシステム／再生デバイス８００を示す。再生デバイスは、ＯＣＵＬＵＳ ＲＩＦＴ（登録商標） ＶＲ（バーチャルリアリティ）ヘッドセットなどの３Ｄヘッドマウントディスプレイとともに使用されてよく、この３Ｄヘッドマウントディスプレイはヘッドマウントディスプレイ８０５であってよい。デバイス８００は、受信された符号化された画像データを復号し、顧客への表示のための３Ｄ画像コンテンツを生成する機能を含む。再生デバイスは、いくつかの実施形態では、自宅またはオフィスなどの顧客構内ロケーションに設置されるが、画像キャプチャサイトに設置されてもよい。デバイス８００は、本発明による、信号受信、復号、表示、および／または他の動作を実行することができる。
[00108]デバイス８００は、ディスプレイ８０２と、ディスプレイデバイスインターフェース８０３と、入力デバイス８０４と、デコーダ８６４と、入力／出力（Ｉ／Ｏ）インターフェース８０６と、プロセッサ８０８と、ネットワークインターフェース８１０と、メモリ８１２とを含む。再生デバイス８００のさまざまな構成要素は、バス８０９を介して互いに結合され、これは、システム８００の構成要素間でデータが通信されることを可能にする。いくつかの実施形態では、ディスプレイ８０２は、点線のボックスを使用して示される任意選択の要素として含まれるが、いくつかの実施形態では、外部ディスプレイデバイス８０５、たとえばヘッドマウント立体視ディスプレイデバイスが、ディスプレイデバイスインターフェース８０３を介して再生デバイスに結合可能である。いくつかの実施形態では、ネットワークインターフェース８１０は、受信機８６０と、送信機８６２とを含む。
[00109]メモリ８１２は、プロセッサ８０８によって実行されるとき本発明による復号動作と出力動作とを実施するように再生デバイス８００を制御するさまざまなモジュール、たとえばルーチンを含む。メモリ８１２は、制御ルーチン８１４と、コンテンツに対する要求生成モジュール８１６と、頭部位置および／または視野角決定モジュール８１８と、デコーダモジュール８２０と、３Ｄ画像生成モジュールとも呼ばれる立体画像レンダリングモジュール８２２と、受信された符号化された画像コンテンツ８２４と、復号された画像コンテンツ８２６と、３６０度復号されたシーンバッファ８２８と、生成された立体コンテンツ８３０を含むデータ／情報とを含む。
[00110]制御ルーチン８１４は、デバイス８００の動作を制御するために、デバイス制御ルーチンと通信ルーチンとを含む。要求生成モジュール８１６は、コンテンツを提供する目的でコンテンツ配信システムに送るためにコンテンツに対する要求を生成するように構成される。コンテンツに対する要求は、さまざまな実施形態では、ネットワークインターフェース８１０を介して送られる。頭部位置および／または視野角決定モジュール８１８は、ユーザの現在の視野角および／または現在の頭部位置、たとえばヘッドマウントディスプレイの位置を決定し、決定された位置および／または視野角情報をコンテンツ配信システム７００に報告するように構成される。いくつかの実施形態では、再生デバイス８００は、現在の頭部位置情報を定期的にシステム７００に送る。
[00111]デコーダモジュール８２０は、復号された画像データ８２６を生じさせるために、コンテンツ配信システム７００から受信された符号化された画像コンテンツ８２４を復号するように構成される。復号された画像データ８２６は、復号された立体シーンおよび／または復号されたシーン部分を含んでよい。
[00112]３Ｄ画像レンダリングモジュール８２２は、ディスプレイ８０２および／またはディスプレイデバイス８０５上でユーザに対して表示するために、本発明の特徴により、たとえば、復号された画像コンテンツ８２６を使用して、３Ｄ画像を生成する。生成された立体画像コンテンツ８３０は、３Ｄ画像生成モジュール８２２の出力である。したがって、レンダリングモジュール８２２は、３Ｄ画像コンテンツ８３０をディスプレイにレンダリングする。いくつかの実施形態では、ディスプレイデバイス８０５は、ｏｃｕｌｕｓ ｒｉｆｔなどの３Ｄディスプレイであってよい。再生デバイス８００のオペレータは、入力デバイス８０４を介して１つまたは複数のパラメータを制御し得、および／または実行されることになる動作を選択し得る、たとえば、３Ｄシーンを表示することを選択し得る。
[00113]図８は、図７のシステムによってストリーミングされるコンテンツを受信、復号、および表示するために使用可能である例示的なコンテンツ再生デバイスを示す。システム８００は、ヘッドマウント立体視ディスプレイ８０５に結合されたディスプレイインターフェース８０３と、入力デバイス８０４と、任意選択のディスプレイ８０２と、Ｉ／Ｏインターフェースとを含む。インターフェース８０２は、さまざまな入力／出力要素８０３、８０２、８０４をバス８０９に結合し、バス８０９は、プロセッサ８０８、ネットワークインターフェース８１０、およびメモリ８１２に結合される。ネットワークインターフェース８１０は、再生デバイスが、デバイス１１４ストリーミングからコンテンツを受信するならびに／またはビューヘッド位置および／もしくはイベント時の特定の視聴位置の選択を示す位置（カメラリグ）選択などの情報を通信することを可能にする。メモリ８１２は、図８に示されるように、さまざまなデータとモジュールとを含む。実行されるとき、デコーダモジュール８２０は、受信された画像を復号させるが、３Ｄ画像レンダリングモジュール８２２が、本発明による画像のさらなる処理と、提示プロセスの一部として一緒に任意選択で画像のスティッチング（stitching）を引き起こす。
[00114]第１の部図９Ａと第２の部図９Ｂとを備える図９は、コンテンツ再生デバイスを動作させる方法のステップ９００を示す。方法９００によれば、異なるＵＶマップは、１つまたは複数の受信された画像の一部分を環境の環境モデルたとえばメッシュモデルにマップするために、異なる時間に使用され得る。異なるＵＶマップを使用した結果として、受信された画像たとえば符号化されたフレーム内のピクセルの数は同じままであることがあるが、受信された画像のピクセルの、環境モデルのセグメントへのマッピングは変化することがある。たとえば、第１のＵＶマップを使用することは、環境モデルの第１の部分への受信された画像のマッピングにおける第１の数のピクセルをもたらし得るが、第２の異なるＵＶマップの使用は、環境モデルの同じ部分への受信された画像のマッピングにおける異なる数のピクセルをもたらし得る。画像を生成および送信するシステムも、いくつかの実施形態では、画像または画像のセットを環境モデルにマッピングするとき、ＵＶマップを通信する、および／またはどのＵＶマップが使用されるべきかを再生デバイスに示す。したがって、使用されるべきＵＶマップを変更することによって、符号化および送信デバイスは、環境モデルの特定の部分に関連付けられたデータの量および／または解像度を変更することができる。レンダリングは、画像の示された部分をつなぎ合わせるまたは３Ｄ環境モデルの対応するセグメントに適合させることを含むので、画像コンテンツは、適用される３Ｄモデルのセグメントを包含するために、レンダリングプロセスの一部として必要に応じてスケーリングおよび／または修正される。たとえば、第１のＵＶマップが１つのピクセルを環境モデルの第１のセグメントにマップし、第２のＵＶマップが、２つのピクセルを環境モデルの第１のセグメントにマップする場合、表示される第１のセグメントの解像度は、第２のＵＶマップが使用されるとき、第１のＵＶマップが画像レンダリングに使用されるときよりも高いであろうことを考えてみる。ＵＶマップは画像ごとまたは画像のグループごとに変更されてよく、それによって、画像とＵＶマップ情報とを生成して再生デバイスに送るサーバが、俳優、選手、演者が環境内にいるまたは動きが環境内にある、特に興味があると思われるシーンエリア、たとえば、シーンエリアに基づいて、環境の一部分たとえば前方部分の中でデータおよび／または解像度の割り当てを動的に変えることができるが、画像内のピクセルの数は、環境の一部分へのピクセルの割り当てを制御するＵＶマップを用いて同じままであることができるので、画像を送信するために使用されるデータレートは、比較的一定に保たれ得る。したがって、方法は、いくつかの実施形態では、画像符号化技法が少なくとも同じままであり、キャプチャされた１つまたは複数の画像は、キャプチャされた画像内の特に興味があると思われるシーン部分のロケーションに応じて、環境モジュールの１つまたは複数のセグメントに画像をたとえばテクスチャとして適用するためにどのＵＶマップが使用されるかについて知っていることに基づいて、符号化の前に異なってダウンサンプリングされる。ＵＶマップは、１フレームまたは１画像当たり画像またはフレームごとに変更されてよいが、いくつかの実施形態では、ＵＶマップの変更は、Ｉフレームまたはピクチャ境界のグループ上で行われると考えられ、ＵＶマップは、ピクチャのグループ内またはＩフレーム間の複数のフレームに使用される。いくつかの実施形態では、そのようなＵＶマップ移行制約が使用されるが、それは本発明には必要または重要でなく、いくつかの実施形態は、ＵＶマップが１フレーム当たりで変更されることを可能にする。
[00115]次に、例示的な方法９００のステップが詳細に説明される。方法９００はステップ９０２において開始し、たとえば、コンテンツ再生デバイスの電源が投入される。再生デバイスは、たとえば、ヘッドマウントディスプレイもしくはＴＶに接続されたゲームシステムであってもよいし、またはさまざまな実施形態の場合と同様に、ディスプレイデバイスとして使用されるセル電話画面の異なる部分上でユーザが左目画像と右目画像とを視聴することを可能にするためのタッチパッドまたは他の制御および１つまたは複数のレンズを有するヘッドマウント内に取り付けられたセル電話であってもよい。方法９００は、本出願において説明されるコンテンツ再生デバイスのいずれかによって実施されてよい。
[00116]ステップ９０３では、たとえば、ユーザに対して再生されることになるコンテンツのユーザ選択を示すユーザ入力に応答して、コンテンツ再生デバイスは、ステップ９０３においてコンテンツに対する要求を送信する。いくつかの実施形態では、この要求は、コンテンツサーバまたはコンテンツプロバイダシステム、たとえば、環境の画像を受信、処理、および符号化し、それらを、ＵＶマップおよび／または所与の時間にどのＵＶマップが使用されるべきかについての情報とともに再生デバイスに供給するデバイスに通信される。サーバが環境モデルも提供してもよいし、またはデフォルトモデルが使用されてもよい。
[00117]ステップ９０４では、環境のモデル、たとえば３Ｄメッシュモデルが、たとえば、コンテンツサーバから受信される。モデルは、上演またはスポーツイベントなどのイベントが進行中である環境のモデルであってよく、時にはそうである。モデルは、環境の完全な３６０度モデルであってもよいし、または画像コンテンツがマップされることになる環境の部分、たとえば環境の前方部分の、モデルであってもよい。諒解されるべきであるように、環境の一部分に画像をマップするために異なるＵＶマップを使用することに関する特徴は、ステレオ画像とともに、および／または非立体画像、たとえば、視聴者の左目と右目の両方に同じ画像が表示されるパノラマ画像とともに、フル３６０度環境、環境の一部分に使用されてよい。
[00118]動作はステップ９０４からステップ９０６に進み、ステップ９０６では、ステップ９０３において受信された環境のモデルが、将来の使用のために、たとえば、ステップ９０８において受信されるＵＶマップのうちの１つ、たとえばテクスチャマップにより、モデル上にマップされた画像をレンダリングおよび表示する際のために、記憶される。テクスチャマップは、環境モデルを提供する同じサーバから受信されてよく、時には受信される。ＵＶマップは、２ｄ画像がどのようにセグメント化されるかを示し、次いで、そのセグメントは、たとえば１つまたは複数のテクスチャとして、環境モデルの対応するセグメントに適用される。
[00119]初期テクスチャ、たとえば初期ＵＶマップは、ステップ９０８において受信され得るが、いくつかの実施形態では、マップのセットが受信および記憶され、異なるＵＶマップは、画像と環境モデルの一部分との間の異なるマッピングを示す。各マップは、テクスチャマップ識別子によって識別されてよい。コンテンツのストリーミング中に、画像を提供するコンテンツサーバは、どのテクスチャマップを画像のどのセットとともに使用するべきかを示すことができる。他の実施形態では、新しいテクスチャマップが、新しいテクスチャマップが適用されるべきである画像とともにストリーミングされてもよいし、その画像の前にストリーミングされてもよい。再生デバイス内でのテクスチャマップのセットの記憶は、ＵＶ／テクスチャマップを再生デバイスに複数回送信しなくてもマップが再使用可能であるので、効率的な送信を提供することができる。
[00120]ステップ９１０では、受信されたテクスチャマップのセットが、将来の使用のために記憶される。テクスチャマップが記憶されているので、動作はステップ９１４に進み、ステップ９１４では、画像コンテンツが受信される。ステップ９０４では、画像コンテンツに加えて、受信された画像を環境のモデル上にマップするために使用されることになるテクスチャマップを識別するインジケータが受信される、または使用されることになるテクスチャマップが受信される。インジケータが受信されると、インジケータは、使用されることになる記憶されたテクスチャマップのセット内のテクスチャマップを識別する。示されたテクスチャマップは、新しいテクスチャマップが指定および／または提供されるまで、効力があるままであってよい。したがって、単一のテクスチャマップが、一連の画像たとえばピクチャのグループに使用されてよい。テクスチャマップは、たとえば、環境の異なるエリアが、高解像度が以前に割り当てられていたエリアよりも優先順位の高いエリアであることを示す動きが検出されるとき、サーバによって変更されてよい。したがって、俳優が動くまたはフィールド上の選手が動くと、解像度割り当てが変更可能であり、現在の解像度割り当てに対応するＵＶマップが、異なる解像度割り当てに対応する前のＵＶマップの代わりに使用されてよい。
[00121]ステップ９１４は、いくつかの実施形態では、ステップ９１６と、９１８と、９２０と、９２６と、９２８とを含む。
[00122]ステップ９１６では、第１の符号化された画像が受信される。任意選択であるステップ９１８では、第２の符号化された画像が受信される。
[00123]ステップ９１６、９１８の代替物であるステップ９２０では、一方または両方の画像を含む符号化されたフレームが受信される。第２の符号化された画像は、立体画像ペアの第２の画像であってよく、第１の画像および第２の画像は、再生デバイスのユーザに対して表示されることになる左目画像および右目画像である。たとえば、フレームの奇数ラインが第１の画像を提供してよく、符号化されたフレームの偶数ラインが第２の符号化された画像を提供してよい。代替的に、符号化されたフレームの上半分が第１の画像を提供してもよく、下半分が第２の画像を提供してもよい。単一のフレーム内に第１の画像と第２の画像とを含む他の手段も可能である。
[00124]ステップ９１４では、環境モデルにマップ可能な画像コンテンツを受信することに加えて、ステップ９２６において、異なる解像度割り当てに対応する複数のテクスチャマップのうちのどれが、受信された第１の符号化された画像および／または第２の符号化された画像とともに使用されるべきかを示す第１のインジケータも受信される。新しいテクスチャマップインジケータがステップ９１４で受信されず、新しいテクスチャマップが受信されない場合、再生デバイスは、使用されていた前回のＵＶマップを引き続き使用する。テクスチャマップインジケータを受信するのではなく、受信された画像をレンダリングする際に使用されることになる新しいテクスチャマップが、ステップ９２８において受信されてよい。
[00125]たとえば、符号化された形で、画像が受信されたので、動作はステップ９１４からステップ９３０に進むステップ９３０では、受信された１つまたは複数の画像が復号される。たとえば、ステップ９３２では、第１の符号化された画像が、第１の画像を回復するために復号される。ステップ９３４では、第２の符号化された画像が、第２の画像を回復するために復号される。上記で説明されたように、第１の画像および第２の画像は左目ビューおよび右目ビューであってよい。第１の画像および第２の画像が単一の符号化されたフレーム内に含まれる実施形態では、別個の、潜在的に異なる左目ビューと右目ビューとを生成するために環境マップに別個に適用されてよく、時には適用される、左目画像と右目画像とを生じさせるために、受信されたフレームの復号および左画像と第２の画像の分離が、ステップ９３０において使用されてよい。
[00126]いくつかの実施形態では、画像は、完全な３６０度環境またはパノラマビューを通信する。他の実施形態では、第１の画像および第２の画像は、環境の一部分、たとえば、前方部分または３６０度中央パノラマ部分に対応し得るが、上空および地面には対応しない。ステップ９３６では、符号化された第１の画像および第２の画像とともに、または別個のストリーム内で、送られた他の画像は、第１の画像および／または第２の画像によって提供されない環境の部分に対するテクスチャを取得するために復号されてよい。いくつかの実施形態では、ステップ９３６において、上空画像または地面画像は、受信された符号化された画像またはフレームを復号することによって取得される。
[00127]再生デバイスに送信された画像の復号はステップ９３０において完了されているので、動作はステップ９３８に進み、ステップ９３８では、画像コンテンツが、受信された、たとえば、復号された１つまたは複数の画像と、受信された画像をレンダリングする際に使用されることになっていたＵＶマップと、環境モデルとを使用して、レンダリングされる。ステップ９３８は、使用されることになるＵＶマップにより第１の画像を環境モデルに適用することを含む。したがって、第１の画像は、適用可能なＵＶマップたとえば第１のＵＶマップにより環境モデルのセグメントに適用されるテクスチャとして使用される。レンダリングは、左目ビューおよび右目ビューに対して別個に実行されてよい。
[00128]いくつかの実施形態では、ステップ９３８はステップ９４０を含む。ステップ９４０では、第１の画像は、環境のモデルの第１の部分たとえば第１のセグメントの表面に第１の画像の少なくとも一部分を適用するために第１の解像度割り当てに対応する第１のテクスチャマップ（ＵＶマップ）を使用することによって、レンダリングされる。たとえば、第１の画像のピクセルの第１のセットは、第１のテクスチャマップに基づいて環境のメッシュモデルの第１のセグメントにマップされ得る。ステレオ画像再生の場合に実行され得るステップ９４２では、第２の画像は、第２の画像の少なくとも一部分を環境のモデルの第１の部分たとえば第１のセグメントの表面に適用するために第１の解像度割り当てに対応する第１のテクスチャマップ（ＵＶマップ）を使用することによって、レンダリングされる。たとえば、第２の画像のピクセルの第１のセットは、第１のテクスチャマップに基づいて環境のメッシュモデルの第１のセグメントにマップされ得る。任意選択のステップ９４４では、第１の画像に含まれない環境の一部分、たとえば上空部分または地面部分の画像がレンダリングされる、たとえばこれらの部分に関連するＵＶマップにより環境モデルに適用される。いくつかの実施形態では、別個の上空部分および地面部分は通信されず、いくつかの実施形態では、そのような部分は第１の画像および第２の画像の一部であることが諒解されるべきである。
[00129]各目ビューに対して実行される動作ステップ９４６では、３６０度シミュレートされた環境の異なる部分に対応するレンダリングされた画像が、連続する視聴エリアをユーザに提供するために必要とされる範囲まで、結合される。地面部分および上空部分は、非ステレオフォーマットで提示されるとき、左目画像および右目画像に対して同じであってよいが、左目画像および右目画像の他の部分は、左目画像および右目画像が再生デバイスのユーザの異なる目によって視聴されるとき深度の知覚をもたらし得る差を含み得るので、ステップ９４６は、左目画像および右目画像に対して別個に実行される。
[00130]ステップ９３８において第１の画像または画像のペアが環境のモデルに適用されたので、動作は、接続ノード９４８を介して表示ステップ９５０に進む。ステップ９５０では、レンダリングされた画像コンテンツが、たとえばディスプレイ画面上で、再生デバイスのユーザに対して表示される。ステップ９５２では、回復された第１の画像コンテンツから生成された第１のレンダリングされた画像または結合された画像が、立体表示がサポートされない場合に、ユーザの左目および右目のうちの１つまたは両方の目によって視聴するために表示される。立体表示の場合に実行されるステップ９５４では、第２のレンダリングされた画像が、ユーザの左目および右目のうちの第２の目に対して表示される。表示されるレンダリングされた第２の画像は、回復された第２の画像データから生成された画像または回復された、たとえば復号された、第２の画像データと、別の画像、たとえば上空画像部分または地面画像部分からのデータの組み合わせである。
[00131]１つの画像または画像のペアがレンダリングおよび表示されているので、動作はステップ９５６に進み、ステップ９５６では、別の画像または画像のペアに対応するコンテンツが受信および処理される。ステップ９５６において受信される１つまたは複数の画像は、第２のピクチャのグループに対応してよく、時には対応し、第１の画像とは異なる時点に対応する。したがって、第１の画像がキャプチャされた時間と、ステップ９５６において受信された第３の画像がキャプチャされた時間との間に、選手、俳優、または動きのエリアが、アクティビティが、第１の画像がキャプチャされた時間であったところから位置をシフトした可能性がある。たとえば、前部の視野にいるままでありながら、フィールド上の選手が左に移動し、活動が第１の画像がキャプチャされた時間にあった中央部分または右部分よりも前方視野の左部分に多くの解像度を与える解像度割り当てを使用するために第３の画像をサーバが提供することをトリガした可能性がある。異なる解像度割り当て、たとえばサーバまたは符号デバイスによる第２の解像度割り当ては、再生デバイスは第３の画像をレンダリングするために第１の画像とは異なるＵＶマップたとえば第２のテクスチャマップを使用するべきであるという指定に対応する。たとえば、第２のＵＶマップは、第１の画像から環境マップの第１のセグメントにマップするために使用されたよりも、第１のセグメントにマップするために第３の画像からの少ないピクセルを使用して、および第１のフレームからの環境マップの第２のセグメントにマップするために使用されたよりも、第３の画像のキャプチャの時間に現在活動がある環境モデル内の前部視野の左側に設置された第２のセグメントにマップするために第３の画像からのよりくのピクセルを使用するために、指定し得る。
[00132]次に、ステップ９５６が詳細に説明される。ステップ９５６は、いくつかの実施形態では、ステップ９５８、９６０、９６２、９２６、および／または９６８を含む。
[00133]ステップ９５８では、第３の符号化された画像が受信される。任意選択であるステップ９６０では、第４の符号化された画像が受信される。
[00134]ステップ９５８、９６０の代替物であるステップ９６２では、第３の符号化された画像および第４の符号化された画像のうちの一方または両方を含む符号化されたフレームが受信される。
[00135]第３の符号化された画像は、第２の立体画像ペアの第１の画像であってよく、第３の画像および第４の画像は、再生デバイスのユーザに対して表示されることになる左目画像および右目画像である。
[00136]ステップ９５６では、環境モデルにマップ可能な画像コンテンツを受信することに加えて、ステップ９６８において、異なる解像度割り当てに対応する複数のテクスチャマップのうちのどれが、受信された第３の符号化された画像および／または第４の符号化された画像とともに使用されるべきかを示す第２のインジケータも受信される。新しいテクスチャマップインジケータがステップ９６８で受信されず、新しいテクスチャマップが受信されない場合、再生デバイスは、使用されていた前回のＵＶマップを引き続き使用する。テクスチャマップインジケータを受信するのではなく、受信された第３の画像および／または第４の画像をレンダリングする際に使用されることになる新しいテクスチャマップが、ステップ９７０において受信されてよい。
[00137]たとえば、符号化された形で、画像が受信されたので、動作はステップ９５６からステップ９７０に進む。ステップ９７０では、受信された第３および／または第４の１つまたは複数の画像が復号される。たとえば、ステップ９７４では、第３符号化された画像が、第３の画像を回復するために復号される。ステップ９７６では、第４の符号化された画像が、第４の画像を回復するために復号される。上記で説明されたように、第３の画像および第４の画像は左目ビューおよび右目ビューであってよい。第３の画像および第４の画像が単一の符号化されたフレーム内に含まれる実施形態では、別個の、潜在的に異なる左目ビューと右目ビューとを生成するために環境マップに別個に適用されてよく、時には適用される、左目画像と右目画像とを生じさせるために、受信されたフレームの復号および第３の画像と第４の画像の分離が、ステップ９７２において使用されてよい。
[00138]いくつかの実施形態では、第３の画像および／または第４の画像は、完全な３６０度環境またはパノラマビューを通信する。他の実施形態では、第３の画像および第４の画像は、環境の一部分、たとえば、前方部分または３６０度中央パノラマ部分に対応し得るが、上空および地面には対応しない。ステップ９７８では、符号化された第３の画像および第４の画像とともに、または別個のストリーム内で、送られた他の画像は、第３の画像および／または第４の画像によって提供されない環境の部分に対するテクスチャを取得するために復号されてよい。いくつかの実施形態では、ステップ９８６において、上空画像または地面画像は、受信された符号化された画像またはフレームを復号することによって取得される。
[00139]再生デバイスに送信された画像の復号はステップ９７２において完了されているので、動作はステップ９８０に進み、ステップ９８０では、画像コンテンツが、受信された、たとえば、復号された１つまたは複数の画像と、受信された画像をレンダリングする際に使用されることになっていたＵＶマップたとえば第２のＵＶマップと、環境モデルとを使用して、レンダリングされる。ステップ９８０は、使用されることになる第２のＵＶマップにより第３の画像を環境モデルに適用することを含み、これは、環境のモデルへの受信された画像からのピクセルの、第１のＵＶマップを使用するときに生じたものとは異なる割り当てをもたらす。したがって、レンダリングの一部として、第３の画像は、適用可能なＵＶマップたとえば第２のＵＶマップにより環境モデルのセグメントに適用されるテクスチャとして使用される。レンダリングは、左目ビューおよび右目ビューに対して別個に実行されてよい。
[00140]いくつかの実施形態では、ステップ９８０はステップ９８２を含む。ステップ９８２では、第３の画像は、環境のモデルの第１の部分たとえば第１のセグメントの表面に第３の画像の少なくとも一部分を適用するために第２の解像度割り当てに対応する第２のテクスチャマップ（ＵＶマップ）を使用することによって、レンダリングされる。たとえば、第３の画像のピクセルの第１のセットは、第２のテクスチャマップに基づいて、環境のメッシュモデルの第１のセグメントにマップされてよく、このピクセルの第１のセットは、第１のＵＶマップが使用されたときにマップされた第１のセットよりも少ないピクセルを含む。ピクセルの第２のセットは、モデルの第２のセグメントにマップされてよく、ピクセルの第２のセットは、第１のＵＶマップが使用されたときに第２のセグメントにマップされたよりも多くのピクセルを含む。したがって、画像をモデルにマップするために異なるＵＶマップを使用することによって、環境のモデルの一部分への限られた数のピクセルの異なる割り当ては、再生デバイスに提供される符号化された画像内で送信されるピクセルの数を変えなくても、容易な様式で達成され得る。
[00141]ステレオ画像再生の場合に実行され得るステップ９７８では、第４の画像は、第４の画像の少なくとも一部分を環境のモデルの第１の部分たとえば第１のセグメントの表面に適用するために第２の解像度割り当てに対応する第２のテクスチャマップ（ＵＶマップ）を使用することによって、レンダリングされる。同様に、第２のＵＶマップは、第４の画像から環境モデルの第２のセグメントへのピクセルのマッピングを制御するために使用される。
[00142]任意選択のステップ９８６では、第１の画像に含まれない環境の一部分、たとえば上空部分または地面部分の画像がレンダリングされる、たとえばこれらの部分に関連するＵＶマップにより環境モデルに適用される。いくつかの実施形態では、別個の上空部分および地面部分は通信されず、いくつかの実施形態では、そのような部分は第１の画像および第２の画像の一部であることが諒解されるべきである。
[00143]各目ビューに対して実行される動作ステップ９８８では、３６０度シミュレートされた環境の異なる部分に対応するレンダリングされた画像が、連続する視聴エリアをユーザに提供するために必要とされる範囲まで、結合される。地面部分および上空部分は、非ステレオフォーマットで提示されるとき、左目画像および右目画像に対して同じであってよいが、左目画像および右目画像の他の部分は、左目画像および右目画像が再生デバイスのユーザの異なる目によって視聴されるとき深度の知覚をもたらし得る差を含み得るので、ステップ９８８は、左目画像および右目画像に対して別個に実行される。
[00144]画像の第２のペアの一部であってよい第３の画像がステップ９８０で環境のモデルに適用されたので、動作は表示ステップ９９０に進む。ステップ９９０では、レンダリングされた画像コンテンツが、たとえばディスプレイ画面上で、再生デバイスのユーザに対して表示される。ステップ９９２では、回復された第３の画像コンテンツから生成された第３のレンダリングされた画像または結合された画像が、立体表示がサポートされない場合に、ユーザの左目および右目のうちの１つまたは両方の目によって視聴するために表示される。立体表示の場合に実行されるステップ９９４では、第４のレンダリングされた画像が、ユーザの左目および右目のうちの第２の目に対して表示される。表示されるレンダリングされた第４の画像は、回復された第４の画像データから生成された画像または回復された、たとえば復号された、第４の画像データと、別の画像、たとえば上空画像部分または地面画像部分からのデータの組み合わせである。
[00145]画像を受信および復号し、画像を提供するサーバによって提供または指定されたＵＶマップを使用して画像レンダリングするプロセスは、表されるように継続的に行われ、動作は、接続ノードＢ９９６を介してステップ９９０からステップ９１４に戻り、追加の画像たとえば新しい第１の画像および第２の画像が受信および処理されることを可能にする。
[00146]いくつかの実施形態では、画像はライブのスポーツイベントに対応し、サーバは、スポーツのフィールド上で、活動が発生している場合に基づいてスポーツイベントの異なる部分中に使用されることになる異なるＵＶマップを指定する画像を提供し、符号化された形で送信される画像の生成は、画像をレンダリングするために使用されるＵＶマップを考慮に入れる。したがって、異なる時間において異なるＵＶマップの使用を指定することによって、解像度は、活動がスポーツのフィールド上または環境内で発生している場合に合致するように動的に割り当て可能である。
[00147]例示的な実施形態による画像キャプチャおよびコンテンツストリーミング方法を示す図１１。図１１に示される方法１１００は、画像、たとえばスポーツイベントまたは音楽公演などのイベントに対応する画像をキャプチャする時間であるとき、ステップ１１０２において開始される。
[00148]開始ステップ１１０２から、動作は複数の経路に沿って進み、この経路は、並列に、および任意選択で非同期的に実行され得る、ステップ１１１４、１１０４、１１０６、１１０８、１１１０、１１１２を伴う。
[00149]画像キャプチャプロセスの理解を促進するために、ここで、図１３に示される例示的なカメラリグへの言及がなされる。カメラリグ１３００は、図１のシステムのリグ１０２として使用可能であり、各々が３つのセクタのうちの異なるセクタに対応する複数の立体ペアを含む。第１のカメラペア１３０１は、人間の左目および右目によって見られるであろう画像に対応する画像をキャプチャすることを目的とする左目カメラ１３０２と右カメラ１３０４とを含む。第２のセクタカメラペア１３０５は、左カメラと右カメラ１３０６と１３０８とを含み、第３のセクタカメラペア１３０９は、左カメラと右カメラ１３１０と１３１２とを含む。各カメラは、支持構造１３１８内の固定位置に取り付けられる。上向きのカメラ１３１４も含まれる。図１３では見えない下向きのカメラも、カメラ１３１４の下に含まれてよい。立体カメラペアは、いくつかの実施形態では、上方画像と下方画像のペアをキャプチャするために使用されるが、他の実施形態では、単一の上方カメラおよび単一の下方カメラが使用される。さらに他の実施形態では、下方画像は、リグ留置の前にキャプチャされ、イベントの持続時間の間、静止した地面画像として使用される。そのような手法は、地面ビューがイベント中に大きく変化する可能性が低いことを仮定すれば、多数の適用例にとって満足のいくものである傾向がある。
[00150]リグ１３００のカメラの出力は、次にさらに説明される図１１の方法によってキャプチャおよび処理される。図１１に示される画像キャプチャステップは通常、画像をキャプチャするようにカメラリグ１０２のカメラを動作させることによって実行されるが、画像の符号化は、ストリーミング要求に応答してエンコーダ１１２によって実行され、コンテンツのストリーミングはストリーミングサーバ１１４によって実行される。
[00151]下方画像キャプチャおよび処理に関する図１１の第１の経路では、ステップ１１１４において、たとえばリグ１０２の下の、地面の画像がキャプチャされる。これは、リグが下向きのカメラを含む場合、リグ留置の前またはイベント中に起こり得る。ステップ１１１４から、動作は、キャプチャされた画像がステップ１１４５における符号化の前にクロップされるステップ１１４４に進む。次に、ステップ１１４６において１つまたは複数の符号化された画像を要求元デバイスに供給することによって応答され得るコンテンツに対する要求が得られるまで、符号化された地面画像が記憶される。
[00152]ステップ１１０４とともに開始する図１１に示される第２の処理経路は、コンテンツに対する要求への処理および応答に関する。ステップ１１０４では、コンテンツに対する要求の監視が、たとえばコンテンツサーバ１１４によって、行われる。ステップ１１２８では、コンテンツに対する要求が、再生デバイス、たとえば顧客構内１０６に設置されたデバイス１２２から受信される。
[00153]コンテンツ要求に応答して、再生デバイスは、使用され得る異なる解像度割り当てに対応する１つまたはＵＶマップを含む情報を備える。
[00154]ステップ１１０４から、動作はステップ１１２８に進み、ステップ１１２８は、環境マップが生成された場合、および／または所定のデフォルト設定もしくは環境と異なり得る他の環境情報が、環境シミュレーションの一部として画像をレンダリングする際に使用されることになる再生デバイスに供給される場合に実行される。
[00155]したがって、ステップ１１３２を介して、コンテンツを要求する再生デバイスは、環境をモデル化するために必要とされる情報および／またはモデル上に画像をレンダリングするために必要とされ得る他の情報を備える。モデル情報に加えて、ステップ１１３２は任意選択で、将来の使用のためにコンテンツを要求する再生デバイスへのＵＶマップのセットの通信を含んでよく、たとえば、いくつかの実施形態では、いくつかの異なるＵＶマップは、異なる解像度割り当てに対応するが、モデルの同じエリアに対応する。
[00156]いくつかの実施形態では、図１３のカメラリグが使用されるとき、セクタの各々は、カメラリグ位置に対する既知の１２０度視聴エリアに対応し、異なるセクタペアからキャプチャされた画像は、シミュレートされた３Ｄ環境への既知の画像マッピングに基づいて縫い合わされる。セクタカメラによってキャプチャされた各画像の１２０度部分が通常、使用されるが、カメラは、約１８０度視聴エリアに対応するより広い画像をキャプチャする。したがって、キャプチャされた画像は、３Ｄ環境シミュレーションまたは符号化の前のクロッピングの一部として再生デバイスにおいてマスキングを受け得る。図１４は、どのように３Ｄ球状環境がリグ１０２の異なるカメラペアに対応する環境メッシュ部分を使用してシミュレート可能であるかを示す複合図１４００である。１つのメッシュ部分がリグ１０２のセクタの各々に対して示されており、上空メッシュは上部カメラビューに対して使用され、地面メッシュは、下向きのカメラによってキャプチャされた地面画像に使用されることに留意されたい。
[00157]結合されると、異なるカメラに対応する全体的なメッシュは、図１５に示す球状メッシュ１５００をもたらす。メッシュ１５００は、単一の目画像に対して示されているが、メッシュ１５００は、立体画像ペアがキャプチャされた場合に左目画像と右目画像の両方に使用されることに留意されたい。
[00158]図１４に示されるタイプのメッシュ情報は、ステップ１１３２において再生デバイスに対して通信可能であり、実際には通信される。通信される情報は、リグ構成に応じて変化する。たとえば、より大きな数のセクタが使用された場合、セクタの各々に対応するマスクは、１２０度よりも小さい視聴エリアに対応し、３よりも多い環境グリッドが、球の直径を包含するために必要とされる。
[00159]任意選択でステップ１１３２において再生デバイスに送信される環境マップ情報が、示されている。既知のメッシュ内に配置された所定の数のセグメントを有する環境マップ情報が通信されない場合、環境はデフォルトサイズの球であると仮定され得るので、そのような情報は任意選択であることが諒解されるべきである。複数の異なるデフォルトサイズの球がサポートされる場合、どのサイズの球が使用されるべきかに関する標識は、ステップ１１３２において再生デバイスに通信されてよく、時には通信される。
[00160]動作は、ステップ１１３２からストリーミングステップ１１４６に進む。画像キャプチャ動作は、特にカメラリグ１０２によってキャプチャ可能な３つのセクタの各々に関するイベント中に、継続的に実行され得る。したがって、カメラリグの第１のセクタ、第２のセクタ、および第３のセクタに対応するステップ１１０６、１１０８、および１１１０とともに始まる処理経路は、その内容に関して類似している。
[00161]ステップ１１０６では、カメラの第１のセクタペアは、画像、たとえば、ステップ１１１６では左目画像と、ステップ１１１８では右目画像とをキャプチャするように動作される。図１６は、ステップ１１０６においてキャプチャされ得る例示的な画像ペア１６００を示す。次いで、キャプチャされた画像は、たとえば、別のカメラペアによってキャプチャされた画像部分などの望ましくない画像部分を除去するために、ステップ１１３４においてクロップされる。ステップ１１４４では、キャプチャされた左目画像および右目画像に使用されることになる解像度割り当てが決定される、たとえば、選択される。選択は、環境およびしたがってキャプチャされた画像のどの部分が画像のキャプチャの時に重要であったかについての情報に基づいてよい。重要性情報は、そのイベント時に録画されていた人が画像キャプチャの時にどこを見ているかの検出、システムコントローラ入力、および／または画像キャプチャの時の環境内での動きのロケーションに基づいてよい。解像度低下動作は、決定された、たとえば選択された、解像度割り当てに基づいて、ステップ１１４６においてキャプチャされた画像に対して実行される。選択された解像度割り当ては、第１のセクタカメラペアによってキャプチャされた環境の部分に対応する異なるサポートされるＵＶマップに対応する複数のサポートされる解像度割り当てのうちの１つであってよい。ステップ１１４８では、ステップ１１４６において生成された解像度低下画像が符号化される。ステップ１１４６において生成された解像度低下画像をレンダリングするために使用されることになるＵＶマップを示す情報が、ステップ１１４９において生成され、いくつかの実施形態では、ステップ１１４６において生成された符号化された画像を復号することによって回復された画像をレンダリングするときどのＵＶマップを使用するべきかを再生デバイスが決定することができるように、ステップ１１４６において生成された符号化された画像に関連付けられ、それとともに送信される。
[00162]図１７Ａは、本発明による環境の例示的なメッシュモデル１７００を示す。
[00163]図１７Ｂは、図１７Ａに示されるメッシュモデルの表面上に２Ｄ画像の部分をマップするために使用可能なＵＶマップ１７０２を示す。
[00164]図１８は、ステップ１１３４において発生し得る図１６の左目ビュー画像と右目ビュー画像とをクロップした例示的な結果２０００を示す。図１８に示される画像ペアのクロッピングは、符号化および１つまたは複数の再生デバイスへの送信の前に実行されてよい。
[00165]画像キャプチャ、クロッピング、および符号化は、ステップ１１４９からステップ１１０６に戻る矢印によって示されるように、所望のフレームレートで継続的に繰り返される。
[00166]第１のカメラペアに対してキャプチャされた画像に関して説明された動作に類似した動作が、第２のセクタカメラペアおよび第３のセクタカメラペアによってキャプチャされた画像に対して実行される。
[00167]ステップ１１７２では、キャプチャされた画像から生成された符号化された画像が、ストリーミングされている符号化された画像をレンダリングする際に使用されることになるＵＶマップを示す情報とともに、再生デバイスにストリーミングされる。いくつかの実施形態では、ＵＶマップが使用される前に、ＵＶマップが、ＵＶマップが供給される符号化された画像の前に、コンテンツストリーム内で通信される。したがって、いくつかの実施形態では、別個のチャネルまたは情報のセットを介してＵＶマップに供給されるのではなく、いくつかの実施形態では、ＵＶマップは、１つまたは複数の要求元再生デバイスに符号化された画像を配信するために使用されるコンテンツストリームに埋め込まれる。
[00168]図１２は、例示的な一実施形態による、図１のシステムにおいて使用可能である、再生デバイスまたはシステムを動作させる方法１２００を示す。方法１２００は、開始ステップ１２０２において開始する。ステップ１２０４では、再生デバイスは、コンテンツに対する要求をたとえば図１のストリーミングサーバに送信する。次いで、再生デバイスは、ステップ１２０６において、画像をレンダリングするために使用され得るさまざまな情報を受信する。たとえば、ステップ１２０６において、環境モデル情報、ならびに環境の１つまたは複数の領域に対する異なる解像度割り当てに対応する１つまたは複数のＵＶマップが、受信され得る。したがって、ステップ１２０６では、再生デバイスは、異なる解像度割り当てに対応する環境モデルおよび／またはＵＶマップ情報を受信し得る。ステップ１２０６において受信された情報は、必要に応じた使用のためにメモリに記憶される。
[00169]動作はステップ１２０６からステップ１２０８に進み、ステップ１２０８では、１つまたは複数の画像、たとえばイベントが環境内で進行中である間シミュレートされることになる環境のキャプチャされた画像が受信される。ステップ１２１０では、１つまたは複数の受信された画像をレンダリングするためにどのＵＶマップが使用されるべきかを示す情報が示される。いくつかの実施形態では、環境の一部分に使用された可能性のある異なる解像度割り当てに対応するＵＶマップのセット内のどのＵＶマップを示す情報が、たとえば環境の前方部分に対応するフレームペアの左目画像と右目画像とをレンダリングするために使用されるべきである。ステップ１２１２では、受信された画像のうちの１つまたは複数が復号される。
[00170]動作はステップ１２１２からステップ２１４に進み、ステップ２１４では、環境モデルの表面に対応する復号された画像が、１つまたは複数の復号された画像を生成するために使用された示された解像度割り当てに対応する１つまたは複数のＵＶマップを使用して適用される。動作はステップ１２１４からステップ１２１８に進み、ステップ１２１８では、３６０度シミュレートされた環境の異なる部分に対応する画像エリアが、表示されることになる視聴エリアの連続する画像を生成するために必要とされる範囲まで、結合される。次いで、ステップ１２２０では、画像がディスプレイデバイスに出力され、立体画像コンテンツの場合、異なる画像がユーザの左目および右目に対して表示される。ステップ１２２０からステップ１２０４に戻る動作プロセス、コンテンツは、継続的に要求、受信、および処理される。
[00171]図１９は、３Ｄ視聴環境を表す球の対応する１２０度部分への第１のセクタに対応する画像部分のマッピングを示す図２１００である。
[00172]ステップ１２１６では、３６０度環境の異なる部分に対応する画像が、たとえば頭部位置に応じて、連続する視聴エリアを視聴者に提供するために必要とされる範囲まで、結合される。たとえば、ステップ１２１８では、視聴者が２つの１２０度セクタの交点を見ている場合、各セクタに対応する画像の部分が、シミュレートされている全体的な３Ｄ環境内の各画像の既知の角度および位置に基づいて、視聴者に一緒に見え、提示される。
[00173]図２０は、図示の環境の中心に設置されている観点から環境を視聴するユーザに提示され得る環境の完全な３６０度ビューを形成するためにメッシュモデルにテクスチャを適用した結果を示し、画像が球状環境の内部に適用された、図２２００である。シミュレーションおよび表示の結果は、ユーザが任意の方向に向いて見ることができる完全な世界効果（complete world effect）である。
[00174]マップされた画像は、ステップ１２２０において、ユーザによって視聴するためにディスプレイデバイスに出力される。諒解されるべきであるように、表示される画像は、受信された画像に基づいて、および／または頭部位置もしくはユーザにより選択された視聴位置の変更のために、経時的に変化する。
[00175]環境に対応する配信、たとえばストリーミングをサポートするためのビデオまたは他のコンテンツの方法および装置が説明される。いくつかの実施形態では、再生デバイスに通信される環境に対応する画像は、ユーザがたとえば頭部を動かすことによって視野角を変更する場合にコンテンツが利用可能であるように、ユーザが所与の時間に視聴することができるエリアを超える。所与の時間にユーザによって視聴可能な環境エリアよりも広い環境エリアに画像を提供することによって、万一、ユーザの視野角が変化する場合、再生デバイスが、ユーザが以前に視聴していなかった環境の一部分に対応する新しい画像または他のコンテンツを待機しなくても、再生デバイスは、画像を提供するのに十分な情報を有する。
[00176]少なくともいくつかの実施形態では、環境は、メッシュを使用して表される。画像は、キャプチャされ、フレーム、たとえば左目によって視聴することを目的としたフレームおよび右目によって視聴されることを意図したフレームに符号化される。技法は、３Ｄ立体視適用例の文脈で説明されているが、方法は、立体視聴にも使用可能であり、フレームペアのストリームではなく、フレームの単一のストリームが通信される。
[00177]いくつかの実施形態では、技法は、３６０度視聴エリアに対応する画像を通信するために使用される。しかしながら、技法は、３６０度未満の視聴エリアに対応する画像を通信するために使用されてもよく、たとえば、単一のフレームは、３６０度視聴エリアに対応する画像コンテンツを通信する。本発明の方法および装置は、立体画像コンテンツ、および／またはデータ伝送制約によりコンテンツの３６０度の配信が、サポートされる最高品質レベルで、たとえば最良品質コーディングとサポートされる最高フレームレートとを使用して、配信することが困難になる他の画像コンテンツのストリーミングに特に適している。しかしながら、方法は、立体コンテンツに制限されない。
[00178]さまざまな実施形態では、３６０度または他のエリアに対応する画像がキャプチャされ、エリアの画像を形成するために結合される。エリアたとえば３６０度環境の画像コンテンツの異なる部分が、符号化および送信されることになるフレームにマップされる。左目ビューおよび右目ビューの各々に対して、別個のフレームが生成および送信されてよい。エリアの異なる部分に対応する画像コンテンツが同じ解像度でキャプチャされた可能性があるが、キャプチャされた画像のフレームへのマッピングは、環境の異なるエリアに対して異なることがあり、いくつかの実施形態では異なる。たとえば、環境の前方ビュー部分は、フル解像度またはほぼフル解像度で提示されてよく、側方および後方は、より低い解像度でフレームに組み込まれる。３６０度環境の上部および下部に対応する画像は、前方ビューおよび／または側方ビューとは異なる、たとえばより低い、解像度で、フレームに組み込まれ得る。いくつかの実施形態では、環境の上部および下部に対応する画像は別個に、多くの場合、静的画像として、または環境の他の部分に対応する画像とは異なるレートで、送られる。
[00179]マッピングプロセスの結果として、環境を通信するフレームは、物理的環境の同じサイズのエリアを表すために異なる数のピクセルを使用し得る。たとえば、より大きな数のピクセルが、前部視聴エリアを表すために使用されてよく、より小さい数のピクセルが、後方視聴エリアを表すために使用される。これは、複数の画像エリアを表すフレームを生成する時の選択的ダウンサンプリングを表す。
[00180]デコーダにおいて、画像は、いくつかの実施形態では、表示プロセスの一部として環境の３Ｄモデル上にマップされるまたは巻き付けられる。マップは、環境の３ＤモデルのＸＹＺ空間に通信される２次元フレームをマップする際にＵＶ座標が使用されるので、ＵＶマップと呼ばれることがある。送信されたフレームを３Ｄモデルにマップするために使用されるグリッド（ＵＶマップ）は、いくつかの実施形態では環境の後部部分および側方一部分に使用される解像度低下を考慮に入れる。
[00181]さまざまな実施形態では、通信されたフレームを環境のモデルに巻き付けるために使用されるマップは、環境の異なる部分への解像度の異なる割り当てを反映するために変化し得る。たとえば、大きな動きを有する環境の部分は、大きな動きがある時点では高い解像度が、他の時は低い解像度が割り当てられることがある。
[00182]異なる時点における異なる画像エリアへの異なる量のリソースたとえばピクセルの割り当てを考慮に入れるために、送信されたフレームはデコーダによってどのように処理されるべきかに関する情報が、再生デバイスに通信され、通信されたフレームと、そのフレームがどのように３Ｄ環境に適用されるべきかとについて解釈するために使用される。
[00183]さまざまな実施形態において使用される方法は、パノラマ画像マップにおける選択的解像度割り当ての使用と呼ばれることがある。この手法によって、エンコーダおよび再生デバイスが、通信されたフレーム内で利用可能な限られた数のピクセルのうちのより多くがより重要な画像要素に使用され、重要性の低い画像エリア上でピクセルが無駄にされないように、正距円筒投影において解像度を最適化するためにＵＶマップを使用することが可能になる。電話は、画像を復号するために利用可能なピクセルバッファがかなり限られているので、方法および装置は、あらゆるピクセルが貴重である電話などの、限られたピクセルバッファを有するデバイスに特に適している。
[00184]図２１が考えられるとき、パノラマ画像マップ内の選択的解像度割り当てのプロセスが理解可能である。図２１は、キャプチャされた画像がディスプレイデバイス上に画像をレンダリングするプロセスの一部として巻き付けられる環境の３Ｄメッシュモデル２３００を示す。３Ｄモデル２３００は、上空メッシュ２３００と、３６０度パノラマメッシュ２３０８と、地面メッシュ２３１０とを含む。３Ｄモデルによって表される３Ｄ環境に対応する画像を通信するプロセスの一部として、上空の画像を表すフレームが送信される。マップは、送信されたフレームのどの部分が上空メッシュのどのセグメントに適用されるかを決定するために使用される。少なくとも１つの実施形態では、上空マップは、上空メッシュのセグメントごとに１つのセグメントを含み、ＵＶ空間と呼ばれることがあるものの中の画像を表すフレームのどの部分が上空メッシュ２３０６のセグメントにマップするかを決定する方法を提供する。いくつかの実施形態では、上空の画像を表すフレームが一回送られ、したがって、静的である、またはモデル２３００の３６０度パノラマメッシュ部分にマップされることになる画像よりもはるかに少ない頻度で低いレートで送られる。
[00185]３Ｄモデルによって表される３Ｄ環境に対応する画像を通信するプロセスの一部として、地面の画像を表すフレームが送信される。地面マップは、送信されるフレームのどの部分が地面メッシュのどのセグメントに適用されるかを決定するために使用される。一実施形態では、地面マップは、地面メッシュ２３１０のセグメントごとに１つのセグメントを含み、ＵＶ空間と呼ばれることがあるものの中の画像を表すフレームのどの部分が地面メッシュ２３１０のセグメントにマップするかを決定する方法を提供する。いくつかの実施形態では、地面の画像を表すフレームが一回送られ、したがって、静的である、またはモデル２３００の３６０度パノラマメッシュ部分にマップされることになる画像よりもはるかに少ない頻度で低いレートで送られる。
[00186]３６０度メッシュ部分に対応するフレームは、最も頻繁に視聴される傾向がある環境のエリアを含むので、特に重要であるのは、３６０度メッシュ部分に対応するフレームである。この環境エリアの画像は、非圧縮パノラマ画像マップ２３０２の均一なセグメントによって表される一定の解像度でキャプチャされ得るが、パノラマ画像およびパノラマメッシュが対応する異なるエリアは、異なるときに重要性が異なり得る。たとえば、主な活動が進行中である前方エリアおよび／または大きな動きを有するエリアは、詳細に表すために重要であることがあるが、他の環境エリアはあまり重要でないことがある。異なる画像エリアの重要性が、フレームのピクセルが限られたリソースであるということとともに考慮に入れられるとき、環境の異なるエリアへのフレームのピクセルに関する限られたリソースの均一な割り当ては、無駄である。３６０度環境に対応する画像を通信するためにフレームの利用可能なピクセルを効率的に使用するために、マップは、３６０度メッシュの異なる部分に異なる数のピクセルを割り当てるために使用され得る。したがって、メッシュ２３０８のいくつかの部分は、他の部分よりも多くのピクセルを使用してコーディングされ得る。そのような一実施形態によれば、非均一なセグメントサイズを有するパノラマ画像マップ２３０４が使用され得る。図２１のマップの場合、マップの各セグメントは、受信されたフレームのピクセルをパノラマメッシュ２３０８の対応するセグメントにマップするために使用されるが、いくつかのセグメントは、送信された画像から、他のセグメントよりも多くのピクセルを使用する。たとえば、モードピクセルが、マップ２４００の上部および下部に向かうよりも大きな、マップ２３０４の中央に向かうセグメントサイズによって表される、図２１の例におけるパノラマメッシュの中央部分に割り当てられる。マップ２３０４は、受信されたフレームの部分をメッシュ２３０８にマップするために使用されるが、通信されたフレームの符号化の前に、パノラマ環境を表す非圧縮画像の１つまたは複数のセグメントは、パノラマ画像マップを考慮に入れてダウンサンプリングされる。たとえば、環境の上部部分と下部部分とを表す非圧縮画像の部分は、そのような画像部分を表すためにパノラマ画像マップ内に割り当てられる少数のピクセルを反映するためにダウンサンプリングされるが、他の部分は、より低いダウンサンプリングを受けてもよいし、またはダウンサンプリングを受けなくてもよい。
[00187]パノラマ画像マップは、いくつかの実施形態では、シーン分析に基づいて、および／またはユーザ視聴位置を考慮に入れて、生成される。主な活動のロケーションが変化すると、たとえば、スタジアム環境におけるスポーツイベント中にボールの位置が変化すると、パノラマ画像マップは、経時的に変更されてよく、いくつかの実施形態では変更される。変更は通常、ビデオストリーム内のピクチャのグループの境界上で、および／またはビデオシーケンス内のコマーシャルのための番組中断の開始もしくは終了に関連付けられた境界などのシーン変更境界上で、発生することに限られる。フレームを解釈するために使用されることになる新しいマップは、新しいマップを考慮に入れて構築されたフレームとともに、またはその前に、再生デバイスにおいて送信され得る。代替的に、再生デバイスは、そのため、受信されたフレームを環境のメッシュモデルにマップするために使用されるさまざまな所定のマップ、ビデオストリームは、複数のマップのうちのどれが、通信されるフレームの特定のセットに使用されることになるかを示す情報を含み得る。
[00188]コンテンツおよび／またはユーザ視聴位置を考慮に入れる選択的割り当ておよび画像マップの変化は、フル３０６度エリアまたは環境の何らかの小さな部分に適用可能である。したがって、フレームを３６０度環境エリアにマップする一例とともに示されているが、同じ方法は、フレームを１８０度画像エリアまたは３６０度環境の何らかの他の部分にマップするために使用されるマップに適用されてよい。画像を３Ｄモデルの対応するセグメントにマップするために使用されるマップは変化し得るが、モデルは変化する必要はない。しかしながら、たとえば、舞台が移動されたおよび／または環境の他の変化が検出されたとき、環境の変化を反映するためにモデルの変更がなされることがある。したがって、マップ変更とモデル変更の両方が可能である。
[00189]エリアの上部部分および下部部分たとえばパノラマ３６０度中央エリへの異なる解像度割り当てがなされ得るが、異なる解像度割り当てが、環境の水平エリア内でなされ得る。
[00190]たとえば、ボールまたは活動のエリアがどこにあるかに応じて、異なる時に、異なる量の解像度をスポーツフィールドの異なる部分に割り当てることが望ましいことがある。
[00191]図２１は、選択的解像度が、たとえば３６０球状パノラマメッシュに対応する環境グリッドにマップする画像たとえばフレームに関してどのようにして使用可能であるかを示す。別個の画像が、図２１に示される世界モデルの上空メッシュ部分および地面メッシュ部分にテクスチャとして適用するために通信され得る。
[00192]３６０度パノラマメッシュ２３０８に対応する、圧縮前のパノラマ画像２３０２は、例において略均一な解像度にある画像コンテンツを含む。実際の実施形態では、魚眼レンズの使用が、何らかの歪みを、したがって、レンズの問題による解像度の差をもたらすことがあることが諒解されるべきである。しかしながら、本発明を説明する目的のために、画像キャプチャが、均一な解像度を有する画像をもたらすことが推定される。パノラマ画像２３０２に適用されるグリッドは均一であり、ＵＶマップとして使用される場合、メッシュモデル２３０８の３６０度パノラマ部分のセグメントへの均一な解像度割り当てをもたらすであろう。しかしながら、ユーザが、３６０度パノラマメッシュエリアに対応する環境の下部部分または上部部分を見ている可能性は低いので、符号化および再生デバイスへの送信の前に、上方部分および下方部分が解像度低下動作を受け、再生中に使用されることになるＵＶマップは、それに応じて調整される。したがって、メッシュモデルの３６０パノラマエリアに対応する解像度調整済み画像をレンダリングするために使用されることになるＵＶマップを表すメッシュ２３０４では、グリッドサイズは、より小さい。したがって、適用されるとき、より少ないピクセルが、ソース画像から上部セグメントのために抽出され、３６０パノラマメッシュモデルの中央の水平部分に対応するセグメントのために抽出および適用されるよりも少ないピクセルが、環境の対応するセグメントに適用される。したがって、ＵＶモデルは、３６０パノラマエリアを表すキャプチャされた画像に適用される解像度の選択的割り当てを考慮に入れる。
[00193]再生デバイスは、受信された画像を環境モデルたとえば環境のメッシュモデルの表面上にレンダリングするとき、たとえば、受信された画像をテクスチャとして適用するとき、再生デバイスへの送信の前に画像に適用される解像度低下を反映するＵＶメッシュを使用する。
[00194]解像度低下動作を反映する静的ＵＶマップが使用されることがあり、いくつかの実施形態では使用されるが、少なくともいくつかの実施形態では、最高の優先順位を有する環境の部分が、使用する解像度割り当て手法の動的選択をサポートするために、および選択された解像度割り当てに対応するＵＶマップを使用するために、変化し得ることが望ましいことがある。そのような手段で、解像度割り当ては、環境のどの部分が、所与の時間における解像度に関する優先順位を与えられるかを反映するために変更され得る。
[00195]参照番号２４００によって表される図２２は、環境の第１の部分の第１のキャプチャされた画像２４０２を示す。各大きなドットは、ピクセルを表す。画像２４０２は、各正方形グリッドエリア内の４つのピクセルによって表される均一な解像度である。小さなドットは、画像が続いており、画像２４０２の他の図示された部分の方へ延びることを示すために使用される。第１の解像度割り当て、たとえば画像２４０２の中央部分に優先順位を与える解像度が選択されるとき、解像度は、画像２４０２の中央部分の間は保たれるが、左部分および右部分に関しては低減される。そのような解像度割り当ては、たとえば、画像２４０２がキャプチャされるとき、画像２４０２がスポーツフィールドのものであり、活動がスポーツフィールドの中心部分にある場合、望ましいことがある。画像２４０２から解像度低下画像２４０４の方へ延びる矢印は、画像２４０４を生成するための、画像２４０２への第１の選択的解像度低下動作の適用を表す。第１の解像度低下動作は、画像２４０２の左部分および右部分には適用されるが中央部分には適用されないダウンサンプリングを含み得る。画像２４０４に適用されているように示されているグリッドは、画像２４０２から画像２４０４を生成するために使用される解像度割り当てを表す。わかるように、第１の解像度調整済み画像２４０４は、画像の左端２列および右端２列には、画像２４０２の半分のピクセルを含むが、画像２４０４の中心部分に向かうセグメントについては、同じ数のピクセルを含む。グリッド２４０６は、環境のモデルのセグメントに画像２４０４のセグメントをマップするために適した第１の解像度割り当てに対応する第１のＵＶマップを表す。
[00196]参照番号２５００によって表される図２３は、環境の第１の部分の第１のキャプチャされた画像２５０２を示す。図２２の場合と同様に、各大きなドットは、ピクセルを表す。画像２５０２は、各正方形グリッドエリア内の４つのピクセルによって表される均一な解像度である。小さなドットは、画像が続いており、画像２５０２の他の図示された部分の方へ延びることを示すために使用される。第２の解像度割り当て、たとえば画像２５０２の左部分および中央部分に優先順位を与える解像度が選択されるとき、解像度は、画像２５０２の左部分および中央部分では保たれるが、右部分に関しては低減される。そのような解像度割り当ては、たとえば、画像２５０２がキャプチャされるとき、画像２５０２がスポーツフィールドのものであり、活動がスポーツフィールドの左部分にある場合、望ましいことがある。画像２５０２から解像度低下画像２５０４の方へ延びる矢印は、画像２５０４を生成するための、画像への第２の選択的解像度低下動作の適用を表す。第２の解像度低下動作は、画像２５０２の右部分には適用されるが左部分または中央部分には適用されないダウンサンプリングを含み得る。ダウンサンプリングが適用されるエリアのサイズは、図２２においてダウンサンプリングが適用されたエリアに等しいことに留意されたい。その結果、画像２４０４および２５０４は同じ総数のピクセルを有するが、解像度は、画像２４０４、２５０４の異なるエリアでは異なる。
[00197]総ピクセル数は、画像の異なるエリアに適用する解像度割り当てを有する異なる解像度低下画像に対して一定であるように維持されるが、これは重要ではなく、解像度低下動作後に、異なる画像が異なる数のピクセルを含み得る。しかしながら、エンコーダは、再生デバイス内で使用されるとき、モデルの異なる部分が異なる解像度割り当てのための異なるＵＶマップの使用により異なる解像度でレンダリングされても、同じサイズであると符号化されるように画像を処理することができるので、ピクセル数を一定に保つことによって、符号化が容易になる。
[00198]画像２５０４に適用されているように示されているグリッドは、画像２５０２から画像２５０４を生成するために使用される解像度割り当てを表す。わかるように、第２の解像度調整済み画像２５０４は、画像の右端４列には、画像２５０２の半分のピクセルを含むが、左部分および中心部分に向かうセグメントについては、同じ数のピクセルを含む。
[00199]グリッド２５０６は、環境のモデルのセグメントに画像２５０４のセグメントをマップするために適した第１の解像度割り当てに対応する第１のＵＶマップを表す。
[00200]参照番号２６００によって表される図２４は、環境の第１の部分の第１のキャプチャされた画像２６０２を示す。図２２および図２３の場合と同様に、各大きなドットは、ピクセルを表す。画像２６０２は、各正方形グリッドエリア内の４つのピクセルによって表される均一な解像度である。小さなドットは、画像が続いており、画像２６０２の他の図示された部分の方へ延びることを示すために使用される。第３の解像度割り当て、たとえば画像２６０２の中央部分および右部分に優先順位を与える解像度が選択されるとき、解像度は、画像２６０２の中央部分および右部分では維持されるが、右部分に関しては低減される。そのような解像度割り当ては、たとえば、画像２６０２がキャプチャされるとき、画像２６０２がスポーツフィールドのものであり、活動がスポーツフィールドの右部分にある場合、望ましいことがある。画像２６０２から解像度低下画像２６０４の方へ延びる矢印は、画像２６０４を生成するための、画像への第３の選択的解像度低下動作の適用を表す。第３の解像度低下動作は、画像２６０２の左部分には適用されるが右部分または中央部分には適用されないダウンサンプリングを含み得る。ダウンサンプリングが適用されるエリアのサイズは、図２２および図２４においてダウンサンプリングが適用されたエリアに等しいことに留意されたい。その結果、画像２６０４は、画像２４０４、２５０４と同じ総数のピクセルを有するが、解像度は、より高い解像度が割り当てられる環境の部分に関して異なるように割り当てられる。
[00201]画像２６０４に適用されているように示されているグリッドは、画像２６０２から画像２６０４を生成するために使用される解像度割り当てを表す。わかるように、第３の解像度調整済み画像２６０４は、画像の左端４列には、画像２６０２の半分のピクセルを含むが、右部分および中心部分に向かうセグメントについては、同じ数のピクセルを含む。
[00202]グリッド２６０６は、環境のモデルのセグメントに画像２６０４のセグメントをマップするために適した第１の解像度割り当てに対応する第１のＵＶマップを表す。
[00203]ＵＶマップ２４０６は、第１の解像度割り当てを起こして生成された画像とともに使用するために再生デバイスに通信される。ＵＶマップ２４０６は、第２の解像度割り当てを使用して生成された画像をレンダリングする際に使用するために再生デバイスに通信され、ＵＶマップ２６０６は、第３の解像度割り当てを使用して生成された画像をレンダリングする際に使用ために再生デバイスに通信される。ストリーミングシステムおよび再生システムは両方とも、ＵＶマップ２４０６、２５０６、２６０６のセットを記憶し、ストリーミングシステムは、どのＵＶマップがどの画像に適用されるべきかを示し、レンダリングデバイス、たとえば再生デバイスは、受信された画像に関連付けられた示されたＵＶマップを使用する。
[00204]異なる解像度割り当ては、異なるＵＶマップの使用によってサポートされるが、これは、デコーダは、複数の可能な解像度割り当てのうちのどれが、再生デバイス内のデコーダによって復号されることになる受信された符号化された画像を生成するために使用されたかを知っている必要はないので、受信された画像を復号する再生デバイス内のデコーダにとって透過的であってよい。
[00205]図２５Ａと図２５Ｂとを備える図２５は、例示的な実施形態による、コンテンツ処理および配信システムを動作させる例示的な方法２９００を示す。図２５Ａは、方法２９００の第１の部を示す。図２５Ｂは、方法２９００の第２の部を示す。図２５に示される方法２９００はステップ２９０２において開始し、コンテンツ処理および配信システムは、コンテンツたとえば画像コンテンツおよび／または画像をレンダリングするために使用される情報を処理および配信するために初期化される。いくつかの実施形態では、フローチャート２９００の方法は、図７のコンテンツ配信および処理システム７００を使用して実行される。
[00206]開始ステップ２９０２から、動作はステップ２９０４および２９０６に進み、ステップ２９０４および２９０６は、並列に、任意選択で非同期的に実行されてよい。さまざまな実施形態では、顧客レンダリングおよび再生デバイスは、画像コンテンツのレンダリングにおいておよび／または３Ｄ再生体験を視聴者に提供する際に使用可能な情報を備える。いくつかの実施形態では、これは、環境シミュレーションの一部として画像をレンダリングする際に使用されることになる顧客デバイスに環境モデルおよび／または他の環境情報を提供することを含む。ステップ２９０４では、３Ｄ環境モデルおよび／またはモデル化するために使用可能な情報が、１つまたは複数の顧客デバイスに通信される。いくつかの実施形態では、モデルは、１つまたは複数の画像がキャプチャされる環境のメッシュモデルである。いくつかの実施形態では、ステップ２９０５では、画像をレンダリングする際に使用可能な追加情報たとえば１つまたは複数のＵＶマップも、顧客デバイスたとえばコンテンツ再生デバイスに通信される。ＵＶマップは異なる解像度割り当てに対応し、テクスチャマップとも呼ばれる異なるＵＶマップは、送信された画像のピクセルの異なるマッピングを環境モデルのセグメントに提供する。ステップ２９０５でＵＶマップが通信される場合、ＵＶマップは、送信された画像をマップするべきであるとき、後で識別可能であり、再生デバイスに複数回再送信される必要はない。しかしながら、いくつかの実施形態では、ＵＶマップのセットはステップ２９０５において通信されず、適用可能なＵＶマップは、ＵＶマップが適用および使用されることになる画像の通信とともに、またはその前に送信される。
[00207]いくつかの実施形態では、ステップ２９０４および２９０５における情報は、一度、たとえば実際の画像コンテンツを顧客デバイスに通信する前に、通信される。環境マップ情報および／または環境モデルは、そのような情報がサーバ側で生成されるおよび／または利用可能であるいくつかの実施形態では、再生デバイスに通信され得るが、いくつかの他の実施形態では、環境は、デフォルトサイズおよび形状たとえば球または半球と仮定され得、そのような場合、デフォルト環境モジュールおよび／またはＵＶマップは、再生デバイス内にプレロードされてよく、サーバによって送信される必要はない。
[00208]画像コンテンツの処理は、ステップ２９０４、２９０５と並列に実行可能なステップ２９０６で開始する。ステップ２９０６では、画像コンテンツは、処理システム、たとえば図７に示されるコンテンツ配信システム７００によって受信される。ステップ２９０６において受信される画像コンテンツは、図１３に示される適用例などの適用例において説明されたデバイスなどの画像キャプチャリングデバイスからであってよい。いくつかの実施形態では、画像コンテンツを受信するステップ２９０６は、環境たとえば画像がキャプチャされる対象となる環境の第１の部分に対応する第１の画像が受信されるステップ２９０８を含む。いくつかの実施形態では、第１の画像は、第２の画像も含む画像ペアのうちの１つの画像であり、第１の画像は、左目画像および右目画像ペアのうちの一方であり、第２の画像は左目画像および右目画像ペアのうちの第２のものである。いくつかのそのような実施形態では、ステップ２９０６において、第１の画像および第２の画像が、画像ペアの一部として受信される。したがって、いくつかのそのような実施形態では、ステップ２９０６は、第２の画像を受信するステップ２９１０をさらに含む。
[00209]動作は、ステップ２９０６から、システムは環境の第１の部分に対応する少なくとも１つの画像に使用されることになる第１の解像度割り当てを選択するステップ２９１２に進む。この選択は、受信された画像コンテンツ内での動きの検出、スポーツジャージなどの特定の物体のロケーション、および／またはキャプチャされた画像のどの部分に優先順位が与えられ、符号化中に、より高い解像度で保たれることになるかを示す人間による入力に基づいてよく、時にはこれに基づく。たとえば、選手のジャージまたはユニフォームの検出は、高解像度で保たれることになるエリアを示すことがあり、その場合、ユニフォームが検出されるエリアを保つ解像度割り当てが選択されることがあり、いくつかの実施形態では選択される。画像の他の部分は、ダウンサンプリングを受けてもよく、時には受ける。各解像度は、特定の対応する解像度割り当てを使用することによって生じられる画像をマップするために使用されることを目的とする特定のＵＶマップに対応し得る。
[00210]動作は、ステップ２９１２からステップ２９１４に進む。ステップ２９１４において、選択された第１の解像度割り当てが、前に選択された解像度割り当てと異なる、たとえばダウンサンプリングおよびＵＶマップの変更を示すかどうかが決定される。選択された第１の解像度割り当ては、第１の画像においてキャプチャされた環境の第１の部分に対応する異なるサポートされるＵＶマップに対応する複数のサポートされる解像度割り当てのうちの１つであってよい。一態様によれば、複数のサポートされた解像度割り当てから、ある解像度割り当てが、現在の画像および／または画像のグループを処理するために、所与の時間に選択され得る。選択された第１の解像度割り当てが、前に選択された解像度割り当てと異なることが決定される場合、動作はステップ２９１４からステップ２９１６に進み、ステップ２９１６では、新しいダウンサンプリングおよび／または解像度低下を制御するために使用される新たに選択された解像度割り当てに対応するフィルタリング情報がロードされ、次いで、動作がステップ２９１８に進む。ステップ２９１４では、選択された第１の解像度割り当てが前に選択された解像度割り当てと同じである（または、前の選択がなされなかった場合は、デフォルト割り当てと同じである）ことが決定される場合、ロードされることになる新しいダウンサンプリングおよび／またはフィルタリング情報は必要とされず、したがって、動作はステップ２９１８に直接進む。画像に対して選択された解像度割り当ては、どのようにダウンサンプリングが、符号化され再生デバイスに送信されることになる画像に適用されることになるかを示す。
[00211]ステップ２９１８では、解像度低下動作たとえばダウンサンプリングが、第１の解像度低下画像２９１９を生成するために選択された第１の解像度割り当てにより環境の第１の部分の第１の画像に対して実行される。ステップ２９１８の出力である第１の解像度低下画像２９１９は、異なる解像度を有する少なくともいくつかの画像部分を含む。
[00212]画像のペアたとえば左目ビューと右目ビューとを含む立体画像ペアが処理される実施形態では、動作はステップ２９１６からステップ２９２０に進む。ステップ２９２０では、解像度低下動作が、第２の解像度低下画像２９２１を生成するために選択された第１の解像度割り当てにより環境の第１の部分の第２の画像たとえば立体画像ペア内の第２の画像に対して実行される。ステップ２９１８の出力である第２の解像度低下画像２９２１は、異なる解像度を有する少なくともいくつかの画像部分を含む。したがって、立体画像ペアが処理される場合、ペアの左目画像と右目画像の両方が、同じ解像度低下動作を受ける。
[00213]ステップ２９２０は、ステップ２９１８の後で実行されると示されているが、ステップ２９１８と並列に、同時に実行されてよい。ステップ２９１８および２９２０のデータ出力、たとえば、生成された第１の解像度低下画像および第２の解像度低下画像２９１９および２９２１は、次のステップ２９２２への入力として働く。非ステレオ画像コンテンツの場合、単一の画像が処理され、第２の画像は存在しない。
[00214]ステップ２９２２では、解像度低下画像２９１９および／または解像度低下画像２９２１が符号化される。ステップ２９２４では、第１の解像度低下画像が符号化される。ステップ２９２６では、第２の解像度低下画像が、存在するとき、符号化される。
[00215]動作は、ステップ２９２２からステップ２９２８に進む。ステップ２９２８では、符号化された解像度低下画像が、たとえばその後の通信のために、たとえば住宅または自宅などの顧客構内に設置されたたとえばコンテンツ再生デバイスへのストリーミングのために、メモリ内に記憶される。動作は、接続ノードＢ２９２９を介して、ステップ２９２８からステップ２９３０に進む。ステップ２９３０では、符号化された解像度低下画像は、再生デバイスに通信される。これは、有線ネットワーク、ケーブルネットワーク、もしくはワイヤレスネットワーク、または何らかの他のタイプのネットワーク上で再生デバイスに画像を送信すること、たとえばストリーミングすることを含み得る。ステップ２９３０は、ステップ２９３２とステップ２９３４とを含む。ステップ２９３２では、第１の解像度低下画像が、たとえば符号化された形で、顧客再生デバイスに通信され、ステップ２９３４では、第２の解像度低下画像が、たとえば符号化された形で、再生デバイスに通信される。ステップ２９３４は、画像のステレオペアがたとえば単一のフレームまたはフレームのペア内で通信されるとき、実行される。
[00216]動作が、ステップ２９３０からステップ２９３６に進んで示されている。しかしながら、実施形態に応じて、ステップ２９３６はステップ２９３０に先行してよい。ステップ２９３６では、符号化された画像を環境のモデルにマップするために使用されることになるテクスチャマップ、たとえば第１のテクスチャマップが、再生デバイスに示されるまたは提供される。第１のテクスチャマップの標識は、第１のテクスチャマップたとえばＵＶマップが、たとえば、ステップ２９０５の一部として再生デバイスにすでにロードされた場合に、十分であり得る。通信された情報および／またはマップに基づいて、再生デバイスは、それは、第１のＵＶマップが対応する第１の解像度割り当てを使用して生じられた第１の画像および第２の画像とともに第１のＵＶマップを使用することであることを知る。第１のＵＶマップは、同じく第１の解像度割り当てにより生じられる他の画像をレンダリングするために再生デバイスによって使用され得る。いくつかの実施形態では、解像度割り当てはピクチャのグループに対して維持され、したがって、そのような実施形態では、同じＵＶマップが複数の連続する画像に使用され得る。
[00217]動作は、第１の画像と第２の画像とをレンダリングする間どんなテクスチャマップを使用するべきかについての情報が再生デバイスに提供されるステップ２９３６から、１つまたは複数の追加画像たとえば第３の画像および／または第４の画像の処理に関するステップ２９３８に進む。第３の画像および／または第４の画像は、第２の立体画像ペアの左画像および右画像または第１の画像の後にキャプチャされた環境の何らかの他の１つもしくは複数の画像であってよく、いくつかの実施形態ではそうである。
[00218]ステップ２９４０では、第２の解像度割り当てが、画像、たとえば第３の画像および／または第４の画像を受信するために使用されるために選択される。解像度割り当ては、第１の解像度割り当てを決定するために使用される同じ技法を使用して、たとえば、動き、スポーツジャージ、ボールなどの物体の存在などに基づいて重要な１つまたは複数のエリアを識別して、決定されてよい。第２の解像度割り当てが、たとえば各々が異なるＵＶマップに対応する解像度割り当てのセットから選択されると、動作はステップ２９４２に進む。ステップ２９４２では、第２の解像度割り当てが第１の解像度割り当てと異なるかどうかを決定するためにチェックがなされる。たとえば、第１の画像がキャプチャされて以来、ボールまたは選手がフィールドの異なる部分に移動した可能性があるので、第２の解像度割り当てが異なることがある。第２の選択された解像度割り当てが、第１の選択された解像度割り当てと異なる場合、新しいダウンサンプリング情報がロードおよび使用される必要があり、動作はステップ２９４４に進む。ステップ２９４４では、新しいダウンサンプリング情報および／または他の解像度割り当て情報が、解像度低下ステップ２９４６において使用可能であるように、ロードされる。ステップ２９４２において、第２の解像度割り当てが第１の解像度割り当てと同じであることが決定される場合、方法２９００を実施するシステムのプロセッサは、使用されて以来実行されることになるダウンサンプリングが第１の画像を処理することをすでに知っており、新しいダウンサンプリング情報をロードする必要はなく、動作はステップ２９４６に進む。
[00219]ステップ２９４６では、解像度低下動作たとえばダウンサンプリングが、第３の画像および／または第４の画像の解像度低下バージョン２９４７を生じさせるために、受信された第３の画像および／または第４の画像に対して実行される。動作はステップ２９４６からステップ２９４８に進み、ステップ２９４８では、解像度の低下した第３の画像および／または第４の画像が、ステップ２９５０において再生デバイスに通信される、たとえば送信される前に、符号化される。
[00220]ステップ２９５０の後で実行されるように示されるが、ステップ２９５０に先行してよく、またはステップ２９５０と並列に行われてよく、時にはそうであるステップ２９５２では、第３の画像と第４の画像とをレンダリングするために使用されることになるＵＶマップを示す情報が、再生デバイスに通信される。これは、再生デバイスために使用されることになるＵＶマップを送ること、または単に以前に記憶されたＵＶマップを識別することを含んでよい。第３の画像および第４の画像は、第２の解像度割り当てを使用して生成されたので、情報は、第２のＵＶ割り当てに対応するＵＶマップを識別する。動作は、ステップ２９５２から接続ノード２９５４を介してステップ２９０６に進み、ステップ２９０６では、追加画像コンテンツが、たとえばカメラデバイスから受信され、新しい第１の画像および第２の画像として扱われる。
[00221]経時的に、ビューを表す画像のシーケンスが受信および処理されてよく、解像度割り当ては、受信された画像コンテンツおよび／またはユーザ入力に応じて所与の時間に使用される。経時的に、異なる解像度割り当てが使用されると、コンテンツ再生デバイスは、異なる対応するＵＶマップを使用するためにシグナリングされる。したがって、第２の解像度割り当てが第１の解像度割り当てと異なるとき、再生デバイスは、第１の解像度割り当てにより生成された画像をレンダリングするために使用される第１のＵＶマップと異なる、第２の解像度割り当てにより生成された画像をレンダリングするために第２の異なるＵＶマップを使用するように指示される。多数の異なる解像度割り当てが、多種多様の異なる解像度割り当てをサポートすることを可能にする対応するＵＶマップと組み合わせて使用可能である。
[00222]図２６は、例示的なコンピュータシステム／コンテンツ再生デバイス８００上で実施されてよく、いくつかの実施形態では実施される、コンテンツ再生方法２７００の例示的な実施形態を示す。方法２７００は、図２５の方法により符号化および送信されたコンテンツを受信するデバイスによって使用されてよい。
[00223]説明の目的のために、例示的なコンテンツ再生方法２７００は、図８に示される再生デバイス８００に関連して説明される。方法２７００は他の装置上で実施可能であることが諒解されるべきである。例示的な再生方法２７００は開始ステップ２７０２において始まり、開始ステップ２７０２から、動作はステップ２７０４に進む。
[00224]ステップ２７０４では、コンテンツ再生デバイス８００のネットワークインターフェース８１０の受信機８６０が、環境のメッシュモデルを受信する。動作は、ステップ２７０４からステップ２７０６に進む。ステップ２７０６では、コンテンツ再生デバイス８００のネットワークインターフェース８１０の受信機８６０が、画像と環境のメッシュモデルとの間のマッピングを示す１つまたは複数の画像マップ、たとえば１つまたは複数の画像ＵＶマップを受信する。いくつかの実施形態では、ステップ２７０６は、サブステップ２７０８および／またはサブステップ２７１０を含む。サブステップ２７０８では、コンテンツ再生デバイス８００のネットワークインターフェース８１０の受信機８６０が、第１の画像マップを受信する。サブステップ２７１０では、コンテンツ再生デバイス８００のネットワークインターフェース８１０の受信機８６０が、第２の画像マップを受信する。動作は、ステップ２７０６からステップ２７１２に進む。
[00225]ステップ２７１２では、コンテンツ再生デバイス８００は、受信された１つまたは複数の画像マップを記憶デバイスたとえばメモリ８１２内に記憶する。たとえば、ＵＶマップ１ ８３６およびＵＶマップ２ ８３６がメモリ８１２内に記憶される。いくつかの実施形態では、受信された画像マップは、コンテンツ再生デバイス８００に結合された記憶デバイス内に記憶される。動作は、ステップ２７１２からステップ２７１４に進む。
[00226]ステップ２７１４では、ネットワークインターフェース８１０の受信機８６０が、符号化された画像を受信する。動作は、ステップ２７１４からステップ２７１６に進む。ステップ２７１６では、再生デバイス８００のデコーダ８６４が、受信された符号化された画像を復号する。いくつかの実施形態では、ハードウェアデコーダモジュールが、受信された符号化された画像を復号する。いくつかの実施形態では、デコーダモジュール８２０からの命令を実行するプロセッサ８０８が、受信された符号化された画像を復号する。動作は、ステップ２７１６からステップ２７１８に進む。
[00227]ステップ２７１８では、復号された画像が、第１のレンダリングされる画像を生じさせるために、第１の画像マップにより環境のメッシュモデルにマップされる。第１の画像マップは、復号された画像の異なる数のピクセルを環境のメッシュモデルの異なるセグメントにマップする。環境のメッシュモデルの異なるセグメントへの復号された画像の異なる数のピクセルのマッピングは、さまざまな異なる手段で行われてよいが、いくつかの実施形態では、異なる数のピクセルは、同じサイズであるが環境内の異なるロケーションに設置された環境領域にマップされる。いくつかのそのような実施形態では、活動に対応する環境内のセグメントは、より少ない活動が検出されるまたは活動が検出されないセグメントよりも多くのピクセルが割り当てられる。いくつかの実施形態では、前部視聴エリアに対応する少なくともいくつかのセグメントは、後部視聴エリアに対応するセグメントよりも、セグメントあたり多くのピクセルが割り当てられる。このマッピングは、再生デバイス８００のプロセッサ８０８によって実行されてよく、いくつかの実施形態では実行される。動作は、ステップ２７１８からステップ２７１９に進む。
[00228]ステップ２７１９では、第１のレンダリングされた画像は、たとえば、コンテンツディスプレイデバイス８００のディスプレイ８０２上に表示される。
[00229]いくつかの実施形態では、動作は、ステップ２７１９からステップ２７２０に進む。ステップ２７２０では、再生デバイス８００のネットワークデバイス８１０の受信機８６０が、第２の画像マップは受信されたフレームの部分を環境メッシュモデルにマップするために使用されるべきであることを示す信号を受信する。いくつかの実施形態では、復号された画像はフレームである。動作は、ステップ２７２０から任意選択のステップ２７２２に進む。ステップ２７２２では、第２の画像マップは受信されたフレームの部分を環境メッシュモデルにマップするために使用されるべきであることを示す信号を受信したことに応答して、第２の画像マップは、１つまたは複数の追加のレンダリングされる画像、たとえば第２のレンダリングされる画像を生じさせるように、受信されたフレームの部分を環境メッシュモデルにマップするために使用される。いくつかの実施形態では、第２の画像マップは、ステップ２７１０において受信された第２の画像マップである。
[00230]いくつかの実施形態では、第１の画像マップは、フレームの第１の数のピクセルを前記環境メッシュモデルの第１のセグメントに割り当て、復号される画像はフレームであり、前記第２の画像マップは、フレームの第２の数のピクセルを前記環境メッシュモデルの第１のセグメントに割り当て、第１の数のピクセルと第２の数のピクセルは異なる。ステップ２７２２のマッピングは、再生デバイス８００のプロセッサ８０８によって実行されてよく、いくつかの実施形態では実行される。動作は、任意選択のステップ２７２０から任意選択のステップ２７２４に進む。
[00231]ステップ２７２４では、追加のレンダリングされた画像たとえば第２のレンダリングされた画像が、たとえば、コンテンツディスプレイデバイス８００のディスプレイ８０２上に表示される。動作は、ステップ２７２４からステップ２７０４に進み、ステップ２７０４において、方法は、以前に説明されたように継続する。
[00232]例示的な方法２７００のいくつかの実施形態では、環境の受信されたメッシュモデルが記憶デバイス内に記憶され、たとえば、３Ｄ環境メッシュモデル８３２が、再生デバイス８００のメモリ８１２内に記憶される。いくつかの実施形態では、符号化されたシーン部分であってよく、いくつかの実施形態ではそうである、受信された符号化された画像データが、記憶デバイス内に記憶され、たとえば、受信された符号化されたデータ８２４が、再生デバイス８００のメモリ８１２内に記憶される。いくつかの実施形態では、復号された画像データが記憶デバイス内に記憶され、たとえば、復号されたデータ８２６が、再生デバイス８００のメモリ８１２内に記憶される。いくつかの実施形態では、レンダリングされた画像のうちの１つまたは複数が、記憶デバイスたとえば再生デバイス８００のメモリ８１２内に記憶される。いくつかの実施形態では、第１の画像および第２の画像が、画像生成モジュール８２２に含まれる命令を実行するプロセッサ８０８によってレンダリングされる。いくつかの実施形態では、ハードウェア、たとえば、回路、画像生成モジュールが、１つまたは複数の画像たとえば第１のレンダリングされる画像および／または第２のレンダリングされる画像をレンダリングする動作を実行する。
[00233]次に、環境を表すために使用されることになる情報を通信する方法２８００の例示的な実施形態が、図１０に関連して説明される。例示的な方法２８００は、たとえば図７に示されるコンテンツ配信システム７００などのコンテンツ配信システムによって実施されてよく、いくつかの実施形態では実施される。
[00234]方法２８００の動作は、開始ステップ２８０２において開始する。動作は、ステップ２８０２からステップ２８０４に進む。
[00235]ステップ２８０４では、フレームの部分を環境モデルのセグメントにマップするために使用されることになる第１の画像マップが、たとえば、たとえば図８に示されるコンテンツ再生デバイス８００などのコンテンツ再生デバイスに通信される。第１の画像マップは、フレームの異なるサイズ部分を環境モデルの異なるセグメントに割り当て、それによって、異なる数のピクセルを環境モデルの異なるセグメントに割り当てる。いくつかの実施形態では、コンテンツ配信システム７００のネットワークインターフェース７１０が、この動作を実行する。そのような実施形態では、ネットワークインターフェース７１０は、この機能を実行する送信機７１１を含む。動作は、ステップ２８０４からステップ２８０６に進む。
[00236]ステップ２８０６では、第１の画像マップを使用して環境モデルにマップされることになる第１の画像の少なくとも一部分を含む第１のフレームが、たとえば、コンテンツ再生デバイス８００に通信される。いくつかの実施形態では、コンテンツ配信システム７００のネットワークインターフェース７１０が、この動作を実行する。いくつかの実施形態では、ネットワークインターフェース７１０は、この動作を実行する送信機７１１を含む。動作は、ステップ２８０６からステップ２８０８に進む。
[00237]ステップ２８０８では、フレームの部分を環境モデルのセグメントにマップするために使用されることになる第２の画像マップが、たとえば、たとえばコンテンツ再生デバイス８００などのコンテンツ再生デバイスに通信される。第２の画像マップは、フレームの異なるサイズ部分を環境モデルの異なるセグメントに割り当て、それによって、異なる数のピクセルを前記モデルの異なるセグメントに割り当てる。第２の画像マップは、第１の画像マップによって割り当てられた数とは異なる数のピクセルを環境モデルの第１のセグメントに割り当てる。いくつかの実施形態では、コンテンツ配信システムのネットワークインターフェース７１０が、この動作を実行する。いくつかの実施形態では、ネットワークインターフェース７１０は、この動作を実行する送信機７１１を含む。動作は、ステップ２８０８からステップ２８１０に進む。
[00238]ステップ２８１０では、第２の画像マップを使用して環境モデルにマップされることになる第２の画像の少なくとも一部分を含む第２のフレームが、たとえば、たとえばコンテンツ再生デバイス８００などのコンテンツ再生デバイスに通信される。第１の画像マップおよび第２の画像マップは、環境の同じ部分に対応するエリアに異なる数のピクセルをマップし、それによって、第１の画像マップおよび第２の画像マップのうちのどちらが使用されるかに基づいて、環境の同じ部分に異なる解像度割り当てを提供する。いくつかの実施形態では、コンテンツ配信システムのネットワークインターフェース７１０が、この動作を実行する。いくつかの実施形態では、ネットワークインターフェース７１０は、この動作を実行する送信機７１１を含む。動作は、ステップ２８１０からステップ２８０４に進み、ステップ２８０４において、動作は、以前に説明されたように進む。
[00239]図２７、図２８、および図２９は、他の図のいずれかに示される１つまたは複数の再生デバイスなどの再生デバイスが、レンダリングされることになる画像を生成するために使用された解像度割り当てに対応するＵＶマップを使用して、どのようにして画像レンダリングを実行することができるかを示す。
[00240]図２７は、解像度低下画像２４０４がどのようにＵＶマップ２４０６と環境モジュール３００２とを使用してレンダリング可能であるかを示し、モデル内の環境セグメントはＵＶマップのセグメントに対応する。図２７の上部部分は、ＵＶマップ２４０６のセグメントと環境モデル３００２のセグメントとの関係を示す。ＵＶマップ２４０６の第１のセグメントは、ＵＶマップ２４０６の第１のセグメントおよび環境モデル３００２の第１の環境モジュールセグメント（ＥＭＳ１）から延びる実線の矢印によって表されるように、ＥＭＳ１に対応する。環境モデル３００２の第２の環境モジュールセグメント（ＥＭＳ２）は、ＵＶマップ２４０６の第２のセグメントおよびＥＭＳ２から延びる破線の矢印によって示されるように、ＵＶマップ２４０６の第２のセグメントに対応する。環境モデル３００２の第３の環境モジュールセグメント（ＥＭＳ３）は、ＵＶマップ２４０６の第２のセグメントおよびＥＭＳ３から延びる破線の矢印によって表されるように示されるように、ＵＶマップ２４０６の第３のセグメントに対応する。ＵＶマップ２４０６の他のセグメントと環境モデル３００２との間に、既知の、たとえば１対１の、関係が存在する。
[00241]レンダリング中に、ＵＶマップ２４０６は、第１の解像度割り当てにより生成された画像の部分を環境モデル３００２の部分にテクスチャとしてどのように適用するかを決定するために使用される。図２７では、ＵＶマップ２４０４は、画像２４０４を、環境モデル３００２の対応するセグメントに適用されることになるピクセルのセットへとどのようにセグメント化するかを決定するために、通信された画像２４０４に適用される。次いで、ＵＶマップ２４０６のセグメントに対応する画像２４０４のセグメント内のピクセルが、たとえばテクスチャとして、環境モデル３００２の対応するセグメントに適用され、スケーリングおよび作り直しは、環境モデル３００２のセグメントの表面を覆うために、必要に応じて使用される。環境モデル３００２の対応するセグメントに適用される画像の部分は、いくつかの実施形態では、環境モデル３００２の対応するセグメントを完全に占拠するように、必要に応じてスケーリングされるおよび／または形状に関して調整される。したがって、たとえば、ＵＶマップ２４０６の第１のセグメントに対応する通信された画像の２つのピクセルは、それらが適用される環境モデル３００２の第１のセグメントＥＭＳ１を完全に占拠するようにスケーリングされる。同様に、図２７の例では、ＵＶマップ２４０６の第２のセグメントに対応する、レンダリングされている画像２４０４の２つのピクセルは、それらがテクスチャとして適用される環境モデル３００２の第２のセグメントＥＭＳ２を完全に占拠するようにスケーリングされる。図２７の例では、ＵＶマップの第３のセグメントは、レンダリングされることになる画像２４０４の４つのピクセルに対応する。この４つのピクセルは、レンダリングプロセス中にテクスチャとして、環境モデル３００２の第３のセグメントＥＭＳ３にテクスチャとして適用される。したがって、環境モデル３００２の第３のセグメントが、環境モデルの第１のセグメントおよび第２のセグメントと同じサイズであると仮定すると、第３のセグメントは、第１のセグメントおよび第２のセグメントよりも解像度が高く、第１のセグメントおよび第２のセグメントのいずれよりも、受信された画像２４０４内の多くのピクセルに対応する。したがって、符号化の前に解像度低下を受けた画像の部分に対応するＵＶマップ２４０６のセグメントは、解像度低下動作に対応しない別のセグメントの環境モデル３００２の同じサイズのエリアに対応し得る。諒解されるべきであるように、解像度低下が実行されなかったエリアに対応するセグメントは、符号化の前に解像度低下が実行された部分よりも高い解像度で、シミュレートされた環境の生成された画像内に表示される。
[00242]上記で説明されたように、異なる解像度低下動作が、送信される画像を生じさせるために実行され得る。再生デバイスは、受信された画像をレンダリングするときに実行された解像度低下動作に対応するＵＶマップを使用する。したがって、環境モデル３００２は、複数の画像に対して同じままであり得るが、異なるＵＶマップ２４０６、２５０６、２６０６が、同じ環境モデル３００２とともに使用され得る。
[00243]図２８は、環境の一部分に対応する画像の右部分に左部分および中央部分よりも低い解像度を割り当てる第２の選択的解像度低下動作を使用して生成された、画像２５０４へのＵＶマップ２５０６の適用を示す。したがって、図２８は、解像度低下画像２５０４がどのようにＵＶマップ２５０６と環境モデル３００２とを使用してレンダリング可能であるかを示し、環境セグメントはＵＶマップのセグメントに対応する。図２８の上部部分は、ＵＶマップ２５０６のセグメントと環境モデル３００２のセグメントとの関係を示す。ＵＶマップ２５０６の第１のセグメントは、ＵＶマップ２５０６の第１のセグメントおよび環境モデル３００２の第１の環境モジュールセグメント（ＥＭＳ１）から延びる実線の矢印によって表されるように、ＥＭＳ１に対応する。環境モデル３００２の第２の環境モジュールセグメント（ＥＭＳ２）は、ＵＶマップ２５０６の第２のセグメントおよびＥＭＳ２から延びる破線の矢印によって示されるように、ＵＶマップ２５０６の第２のセグメントに対応する。環境モデル３００２の第３の環境モジュールセグメント（ＥＭＳ３）は、ＵＶマップ２５０６の第２のセグメントおよびＥＭＳ３から延びる破線の矢印によって示されるように、ＵＶマップ２５０６の第３のセグメントに対応する。
[00244]レンダリング中に、ＵＶマップ２５０６は、レンダリングされることになる画像を環境モデル３００２にどのように適用するかを決定するために使用される。図２８は、通信された画像２５０４およびＵＶマップのセグメントに対応する画像のセグメント内のピクセルが環境モデル３００２の対応するセグメントにどのように適用されるかを示す。ＵＶマップの対応するセグメントに適用される画像２５０４の部分は、ＵＶマップの対応するセグメントを完全に占拠するように、必要に応じてスケーリングされるおよび／または形状に関して調整される。したがって、たとえば、ＵＶマップ２５０４の第１のセグメントに対応する通信された画像の４つのピクセルは、それらが適用される環境モデルの第１のセグメントＥＭＳ１を完全に占拠するようにスケーリングされる。同様に、図２８の例では、ＵＶマップの第２のセグメントに対応する、レンダリングされている画像の４つのピクセルは、それらがテクスチャとして適用される環境モデル３００２の第２のセグメントＥＭＳ２を完全に占拠するようにスケーリングされる。図２８の例では、ＵＶマップの第３のセグメントも、レンダリングされることになる画像の４つのピクセルに対応する。この４つのピクセルは、レンダリングプロセス中にテクスチャとして、環境モデルの第３のセグメントにテクスチャとして適用される。したがって、環境モデルの第３のセグメントが、環境モデルの第１のセグメントおよび第２のセグメントと同じサイズであると仮定すると、第３のセグメントは、第１のセグメントおよび第２のセグメントと解像度が同じである。第２の解像度割り当て方式によれば、解像度低下は、画像の左部分および中央部分には適用されないが、解像度低下は、画像の右側に対して実行される。したがって、レンダリングされる画像の第１のセグメント、第２のセグメント、および第３のセグメントは、図２８の例では同じ解像度であるが、画像の右側、したがって環境モデル３００２の右側に対応するセグメントは、より低い解像度である。
[00245]図２９は、環境の一部分に対応する画像の左部分に中央部分および右部分よりも低い解像度を割り当てる第３の選択的解像度低下動作を使用して生成された、画像２６０４へのＵＶマップ２６０６の適用を示す。したがって、図２８は、解像度低下画像２６０４がどのようにＵＶマップ２６０６と環境モデル３００２とを使用してレンダリング可能であるかを示し、環境セグメントはＵＶマップ２６０６のセグメントに対応する。図２９の上部部分は、ＵＶマップ２６０６のセグメントと環境モデル３００２のセグメントとの関係を示す。ＵＶマップ２６０６の第１のセグメントは、ＵＶマップ２６０６の第１のセグメントおよび環境モデル３００２の第１の環境モジュールセグメント（ＥＭＳ１）から延びる実線の矢印によって表されるように、ＥＭＳ１に対応する。環境モデル３００２の第２の環境モデルセグメント（ＥＭＳ２）は、ＵＶマップ２６０６の第２のセグメントおよびＥＭＳ２から延びる破線の矢印によって示されるように、ＵＶマップ２５０６の第２のセグメントに対応する。環境モデル３００２の第３の環境モジュールセグメント（ＥＭＳ３）は、ＵＶマップ２６０６の第２のセグメントおよびＥＭＳ３から延びる破線の矢印によって示されるように、ＵＶマップ２６０６の第３のセグメントに対応する。
[00246]レンダリング中に、ＵＶマップ２６０６は、レンダリングされることになる画像を環境モデル３００２にどのように適用するかを決定するために使用される。図２９は、通信された画像２６０４およびＵＶマップのセグメントに対応する画像のセグメント内のピクセルが環境モデル３００２の対応するセグメントにどのように適用されるかを示す。ＵＶマップ２６０６によって示される、環境モデル３００２のセグメントに対応する画像２６０４の部分は、環境モデル３００２の対応するセグメントを完全に占拠するように、必要に応じてスケーリングされるおよび／または形状に関して調整される。したがって、たとえば、ＵＶマップ２６０６の第１のセグメントに対応する通信された画像２６０４の２つのピクセルは、それらが適用される環境モデルの第１のセグメントＥＭＳ１を完全に占拠するようにスケーリングされる。同様に、図２９の例では、ＵＶマップ２６０６の第２のセグメントに対応する、レンダリングされている画像の２つのピクセルは、それらがテクスチャとして適用される環境モデル３００２の第２のセグメントＥＭＳ２を完全に占拠するようにスケーリングされる。図２９の例では、ＵＶマップの第３のセグメントも、レンダリングされることになる画像の２つのピクセルに対応する。この２つのピクセルは、レンダリングプロセス中にテクスチャとして、環境モデル３００２の第３のセグメントにテクスチャとして適用される。したがって、環境モデル３００２の第３のセグメントが、環境モデル３００２の第１のセグメントおよび第２のセグメントと同じサイズであると仮定すると、第３のセグメントは、第１のセグメントおよび第２のセグメントと解像度が同じである。第３の解像度割り当て方式によれば、解像度低下は、画像の中央部分および右部分には適用されないが、解像度低下は、画像の左側に対して実行される。したがって、レンダリングされる画像の第１のセグメント、第２のセグメント、および第３のセグメントは、図２９の例では同じ解像度であるが、画像の中央および側方ならびに環境モデル３００２の右側に対応するセグメントは、より高い解像度である。
[00247]したがって、異なるＵＶマップを使用することによって、入力画像におけるサイズおよび／またはピクセルの数が同じままでありながら、異なる解像度割り当てが再生中に達成可能である。このことは、送信されている画像におけるサイズまたはピクセルの数を変えなくても解像度割り当てを変更する簡単で効率的な手段を提供する。
[00248]次に、コンテンツを再生するための別の例示的な装置が説明される。この装置は、信号と、環境のメッシュモデルと、画像と環境のメッシュモデルとの間のマッピングを示す１つまたは複数の画像マップたとえばＵＶマップと、１つまたは複数の符号化された画像とを受信するための受信機を含む。いくつかの実施形態では、装置の受信機は、環境のメッシュモデル、第１の画像マップと、第２の画像マップと、符号化された画像とを受信するように構成される。装置は、受信された信号と、メッシュモデルと、画像マップと、符号化された画像、復号された画像、および生じられた画像などの画像とを記憶するための、メモリなどの記憶デバイスも含む、またはこれに結合される。装置は、受信された符号化された画像を復号するためのデコーダと、第１のレンダリングされる画像を生じさせるために、復号された画像を第１の画像マップにより環境のメッシュモデルにマップするように構成されたプロセッサとをさらに含む。第１の画像マップは、復号された画像の異なる数のピクセルを環境の前記メッシュモデルの異なるセグメントにマップする。いくつかの実施形態では、装置は、異なる数のピクセルが、同じサイズであるが環境内の異なるロケーションに設置された環境領域にマップされるように構成される。いくつかの実施形態では、活動に対応する環境内のセグメントは、より少ない活動が検出されるまたは活動が検出されないセグメントよりも多くのピクセルが割り当てられる。いくつかの実施形態では、装置は、前部視聴エリアに対応する少なくともいくつかのセグメントは、後部視聴エリアに対応するセグメントよりも、セグメントあたり多くのピクセルが割り当てられるように構成される。いくつかの実施形態では、装置は、装置によって生じられた画像が表示されるディスプレイデバイスを含む、またはこれに結合される。装置のプロセッサは、受信された信号と、メッシュモデルと、画像マップと、符号化された画像、復号された画像、および生じられた画像などの画像とを、装置内に含まれるまたはこれに結合された記憶デバイス内に記憶するように装置を動作させるように構成されてよく、一般的には構成される。
[00249]いくつかの実施形態では、装置の受信機は、第２の画像マップは受信されたフレームの部分を環境メッシュモデルにマップするために使用されるべきであることを示す信号を受信するように構成される。装置のプロセッサは、第２の画像マップは、第２のレンダリングされた画像を生じさせるように、受信されたフレームの部分を環境メッシュモデルにマップするために、第２の画像マップ、一般的には第２の受信された画像マップを使用するように、受信されたフレームの部分を環境メッシュモデルにマップするために使用されるべきであることを示す受信された信号に応答して、装置を動作させるようにさらに構成される。そのような装置のうちのいくつかでは、復号された画像はフレームであり、第１の画像マップは、フレームの第１の数のピクセルを環境メッシュモデルの第１のセグメントに割り当て、第２の画像マップは、フレームの第２の数のピクセルを環境メッシュモデルの第１のセグメントに割り当て、第１の数のピクセルと第２の数のピクセルは異なる。プロセッサ、装置は、一般的には、第２のレンダリングされた画像をディスプレイに表示するように構成され、ディスプレイは、装置の一部として含まれる、または装置に結合される、のいずれかであってよい。
[00250]次に、環境を表すために使用されることになる情報を通信するための例示的な装置が説明される。例示的な装置は、（ｉ）フレームの部分を環境モデルのセグメントにマップするために使用されることになる第１の画像マップを通信し、この第１の画像マップは、フレームの異なるサイズの部分を環境モデルの異なるセグメントに割り当て、それによって、モデルの異なるセグメントに異なる数のピクセルを割り当て、（ｉｉ）前記第１の画像マップを使用して前記環境モデルにマップされることになる第１の画像の少なくとも一部分を含む第１のフレームを通信するように前記装置を動作させるように構成されたプロセッサを含む。
[00251]いくつかの実施形態では、装置のプロセッサは、（ｉ）フレームの部分を環境モデルのセグメントにマップするために使用されることになる第２の画像マップを通信し、前記第２の画像マップは、フレームの異なるサイズの部分を環境モデルの異なるセグメントに割り当て、それによって、異なる数のピクセルを前記モデルの異なるセグメントに割り当て、第２の画像マップは、前記第１の画像マップたとえばＵＶマップによって割り当てられる数とは異なる数のピクセルを前記モデルの第１のセグメントに割り当て、（ｉｉ）第２の画像マップを使用して前記環境モデルにマップされることになる第２の画像の少なくとも一部分を含む第２のフレームを通信するように装置を動作させるようにさらに構成される。装置のいくつかの実施形態では、第１の画像マップおよび第２の画像マップは、環境の同じ部分に対応するエリアに異なる数のピクセルをマップし、それによって、第１の画像マップおよび第２の画像マップのうちのどちらが使用されるかに基づいて、環境の前記同じ部分に異なる解像度割り当てを提供する。
[00252]いくつかの実施形態では、装置は、リアルタイムコンテンツストリームを提供するサーバである。いくつかの実施形態では、装置は、環境メッシュ生成モジュールと、マップ生成モジュールたとえばＵＶマップ生成モジュールと、Ｉ／Ｏインターフェースおよび／または信号とモデルとマップと画像とを含む情報を通信するためのネットワークインターフェースとを含むリアルタイムコンテンツ配信システムである。いくつかの実施形態では、モジュールは、実行されたときさまざまなルーチンを実行することをプロセッサに行わせるソフトウェア命令を含む。いくつかの実施形態では、モジュールはハードウェアモジュール、たとえば回路である。いくつかの実施形態では、モジュールは、ハードウェアモジュールとソフトウェアモジュールの組み合わせである。
[00253]例示的な一実施形態により実施される例示的なコンテンツ処理および配信システム、たとえばシステム７００は、ｉ）環境の第１の部分に対応する少なくとも１つの画像に使用されることになる第１の解像度割り当てを選択し、ｉｉ）第１の解像度低下画像を生成するために選択された第１の解像度割り当てにより環境の第１の部分の第１の画像に対して解像度低下動作を実行するように構成されたプロセッサ（たとえば、プロセッサ７０８）と、第１の解像度低下画像を再生デバイスに通信するように構成された送信機（たとえば、インターフェース７１０の送信機７１３）とを備える。
[00254]いくつかの実施形態では、解像度割り当ての選択は、環境の第１の部分内の重要な領域に基づいて実行される。いくつかの実施形態では、重要な領域は、環境の第１の部分内の動きのエリアに対応する。いくつかの実施形態では、重要な領域は、システムオペレータによって示される領域である。いくつかの実施形態では、重要な領域は、第１の画像がキャプチャされる前またはキャプチャされたときに１人または複数の人が第１の画像に含まれる環境のどの部分を見ているかを検出することによって決定される領域である。
[00255]いくつかの実施形態では、送信機は、第１の解像度割り当てにより生成された画像の一部分を環境のモデルの表面にマップするために使用されることになる第１のテクスチャマップ（ＵＶマップ）を再生デバイスに通信するようにさらに構成される。いくつかの実施形態では、第１のテクスチャマップ内の第１のセグメントのサイズは、第１の解像度低下画像の第１のセグメントを生成するために対応する第１の画像の第１のエリアに適用される解像度低下の量の関数である。いくつかの実施形態では、第１のテクスチャマップは、解像度低下動作を受けなかった第１の画像の一部分に対応する第２のセグメントを含み、第２のテクスチャマップ内の第２のセグメントのサイズは、第１の画像内のセグメントのサイズと同じである。
[00256]いくつかの実施形態では、テクスチャマップ内の第１のセグメントのサイズは、第１の画像内の対応するエリアのソースのサイズから、第１の画像の対応する第１のエリアに適用される解像度低下の量に基づいた量だけ縮小される。いくつかの実施形態では、送信機は、再生デバイスに環境モデルを通信するようにさらに構成される。いくつかの実施形態では、第１のテクスチャマップは環境モデルの一部分に対応し、第１のテクスチャマップは、第１の解像度割り当てを受ける画像の部分を環境モデルの一部分にどのようにマップするかを示す情報を提供する。いくつかの実施形態では、第１の画像は、第１の画像および第２の画像の画像ペアのうちの１つの画像であり、第１の画像は左目画像および右目画像ペアのうちの一方であり、第２の画像は左目画像および右目画像ペアのうちの第２のものである。いくつかの実施形態では、プロセッサは、第２の解像度低下画像を生成するために選択された第１の解像度割り当てにより第２の画像に対して解像度低下動作を実行するようにさらに構成され、送信機は、第１の立体画像ペアの一部として再生デバイスに第２の解像度低下画像を通信するようにさらに構成される。
[00257]いくつかの実施形態では、プロセッサは、環境の第１の部分に対応する別の画像に使用されることになる第２の解像度割り当てを選択し、この別の画像は第３の画像であり、第３の解像度低下画像を生成するために選択された第２の解像度割り当てにより第３の画像に対して解像度低下動作を実行するようにさらに構成される。いくつかの実施形態では、送信機は、第３の解像度低下画像を再生デバイスに通信するようにさらに構成される。
[00258]いくつかの実施形態では、送信機は、第２の解像度割り当てにより生成された画像の部分を環境のモデルの表面にマップするために使用されることになる第２のテクスチャマップ（ＵＶマップ）を再生デバイスに通信するようにさらに構成される。いくつかの実施形態では、第２のテクスチャマップ内の第１のセグメントのサイズは、第３の解像度低下画像の第１のセグメントを生成するために第３の画像の対応する第１のエリアに適用される解像度低下の量の関数である。いくつかの実施形態では、第２のテクスチャマップは、解像度低下動作を受けなかった第３の画像の一部分に対応する第３のセグメントを含み、第２のテクスチャマップ内の第３のセグメントのサイズは、第３の画像内のセグメントのサイズと同じである。
[00259]いくつかの実施形態では、第２のテクスチャマップ内の第１のセグメントのサイズは、第３の画像内の対応するエリアのソースのサイズから、第３の画像の対応する第１のエリアに適用される解像度低下の量に基づいた量だけ縮小される。いくつかの実施形態では、第２のテクスチャマップは、環境モデルの、第１のテクスチャマップと同じ部分に対応し、第２のテクスチャマップは、第２の解像度割り当てを受ける画像の部分を環境モデルの対応する部分にどのようにマップするかを示す情報を提供する。
[00260]方法および装置は、立体画像たとえばユーザの左目および右目に対して表示されることになる画像のペア、またはモノスコープ画像をレンダリングするために使用可能である。したがって、方法は、シミュレートされた３Ｄ環境における使用に適しているが、３６０度未満の環境エリアに対応し得、本質的に立体でないことがあるパノラマ画像を通信する際の使用にも適している。
[00261]多数の追加の方法および実施形態が、以下の詳細な説明において説明されている。
[00262]ステップは、例示的な順序で示されているが、多くの場合、ステップの順序は、動作に悪影響を及ぼすことなく変えられ得ることが諒解されるべきである。したがって、ステップの例示的な順序が適切な動作に必要とされない限り、ステップの順序は、限定的ではなく、例示的と考えられるべきである。
[00263]いくつかの実施形態は、立体視映像を符号化および圧縮するようにコンピュータまたは他のデバイスを制御するためのソフトウェア命令、たとえばコンピュータ実行可能命令のセットを実施する非一時的なコンピュータ可読媒体を対象とする。他の実施形態は、プレーヤ側でビデオを復号および圧縮解除するようにコンピュータまたは他のデバイスを制御するためのソフトウェア命令、たとえばコンピュータ実行可能命令のセットを実施するコンピュータ可読媒体を対象とする実施形態である。符号化および圧縮は、可能な別個の動作として言及されているが、符号化は、圧縮を実行するために使用されてよく、したがって、符号化は、いくつかの実施形態では、圧縮を含み得ることが諒解されるべきである。同様に、復号は、圧縮解除を含んでよい。
[00264]さまざまな実施形態の技法は、ソフトウェア、ハードウェア、および／またはソフトウェアとハードウェアの組み合わせを使用して実施され得る。さまざまな実施形態は、装置、たとえば画像データ処理システムを対象とする。さまざまな実施形態は、方法、たとえば画像データを処理する方法も対象とする。いくつかの実施形態では、方法ステップのうちの１つまたは複数は、プロセッサを使用して実施される。さまざまな実施形態は、方法の１つまたは複数のステップを実施するように機械を制御するための機械可読命令を含む非一時的な機械、たとえば、コンピュータ、可読媒体、たとえば、ＲＯＭ、ＲＡＭ、ＣＤ、ハードディスクなども対象とする。
[00265]本発明のさまざまな特徴は、モジュールを使用して実施される。そのようなモジュールは、ソフトウェアモジュールとして実施されてよく、いくつかの実施形態では実施される。他の実施形態では、モジュールはハードウェア内で実施される。さらに他の実施形態では、モジュールは、ソフトウェアとハードウェアの組み合わせを使用して実施される。いくつかの実施形態では、モジュールは、個々の回路として実施され、各モジュールは、モジュールが対応する機能を実行するための回路として実施される。多種多様の実施形態が、異なるモジュールが異なるように、たとえば、いくつかはハードウェア内で、いくつかはソフトウェア内で、いくつかはハードウェアとソフトウェアの組み合わせを使用して、実施されるいくつかの実施形態を含むように企図される。ルーチンおよび／もしくはサブルーチン、またはそのようなルーチンによって実行されるステップのうちのいくつかは、汎用プロセッサ上で実行されるソフトウェアとは反対に専用ハードウェア内で実施されてよいことにも留意されたい。そのような実施形態は、本発明の範囲に含まれるままである。上記で説明された方法または方法ステップの多くは、上記で説明された方法のすべてまたは部分を実施するように追加のハードウェアを持つまたは持たない機械、たとえば汎用コンピュータを制御するために、メモリデバイス、たとえばＲＡＭ、フロッピー（登録商標）ディスクなどの機械可読媒体に含まれる、ソフトウェアなどの機械実行可能命令を使用して実施可能である。したがって、とりわけ、本発明は、上記で説明された方法のステップのうちの１つまたは複数を実行することを機械たとえばプロセッサと関連ハードウェアとに行わせる機械実行可能命令を含む機械可読媒体を対象とする。
[00266]上記の説明を鑑みて、上記で説明されたさまざまな実施形態の方法および装置に対する多数の追加の変形は当業者に明らかであろう。そのような変形は、範囲に含まれると考えられるべきである。

Claims (52)

  1. 環境の第１の部分に対応する少なくとも１つの画像に使用されることになる第１の解像度割り当てを選択するステップと、
    第１の解像度低下画像を生成するために前記選択された第１の解像度割り当てにより前記環境の前記第１の部分の第１の画像に対して解像度低下動作を実行するステップと、
    前記第１の解像度低下画像を再生デバイスに通信するステップと
    を備える方法。
  2. 前記第１の解像度割り当てにより生成された前記画像の部分を前記環境のモデルの表面にマップするために使用されることになる第１のテクスチャマップを示す情報を前記再生デバイスに通信すること
    をさらに備える、請求項１に記載の方法。
  3. 前記情報が、前記第１のテクスチャマップまたは前記第１のテクスチャマップを識別する識別子であり、
    前記第１のテクスチャマップ内の第１のセグメントのサイズが、前記第１の解像度低下画像の第１のセグメントを生成するために対応する前記第１の画像の第１のエリアに適用される解像度低下の量の関数である、
    請求項２に記載の方法。
  4. 前記第１のテクスチャマップが、解像度低下動作を受けなかった前記第１の画像の一部分に対応する第２のセグメントを含み、前記第２のテクスチャマップ内の前記第２のセグメントのサイズが前記第１の画像内の前記セグメントのサイズと同じである、請求項３に記載の方法。
  5. 前記テクスチャマップ内の前記第１のセグメントの前記サイズが、前記第１の画像内の対応するエリアのソースのサイズから、前記第１の画像の前記対応する第１のエリアに適用される解像度低下の量に基づいた量だけ縮小される、請求項３に記載の方法。
  6. 前記再生デバイスに環境モデルを通信すること
    をさらに備え、
    前記第１のテクスチャマップが前記環境モデルの一部分に対応し、前記第１のテクスチャマップが、前記第１の解像度割り当てを受ける画像の部分を前記環境モデルの一部分にどのようにしてマップするかを示す情報を提供する、
    請求項５に記載の方法。
  7. 前記第１の画像が、前記第１の画像および第２の画像の画像ペアのうちの１つの画像である、前記第１の画像が左目画像および右目画像ペアのうちの一方であり、前記第２の画像が左目画像および右目画像ペアのうちの第２のものであり、前記方法が、
    第２の解像度低下画像を生成するために前記選択された第１の解像度割り当てにより前記第２の画像に対して解像度低下動作を実行することと、
    前記第２の解像度低下画像を第１の立体画像ペアの一部として前記再生デバイスに通信することと
    をさらに備える、請求項６に記載の方法。
  8. 前記環境の第１の部分に対応する別の画像に使用されることになる第２の解像度割り当てを選択することと、前記別の画像が第３の画像である、
    第３の解像度低下画像を生成するために前記選択された第２の解像度割り当てにより前記第３の画像に対して解像度低下動作を実行することと、
    前記第３の解像度低下画像を再生デバイスに通信することと
    をさらに備える、請求項７に記載の方法。
  9. 前記第２の解像度割り当てにより生成された画像の部分を前記環境の前記モデルの前記表面にマップするために使用されることになる第２のテクスチャマップを示す情報を前記再生デバイスに通信すること、前記第２のテクスチャマップが前記第１のテクスチャマップとは異なる、
    をさらに備える、請求項８に記載の方法。
  10. 前記第２のテクスチャマップ内の第１のセグメントの前記サイズが、前記第３の解像度低下画像の第１のセグメントを生成するために前記第３の画像の対応する第１のエリアに適用される解像度低下の量の関数である、請求項９に記載の方法。
  11. 前記第２のテクスチャマップが、解像度低下動作を受けなかった前記第３の画像の一部分に対応する第３のセグメントを含み、前記第２のテクスチャマップ内の前記第３のセグメントのサイズが前記第３の画像内の前記セグメントのサイズと同じである、請求項１０に記載の方法。
  12. 前記第２のテクスチャマップ内の前記第１のセグメントの前記サイズが、前記第３の画像内の前記対応するエリアのソースのサイズから、前記第３の画像の前記対応する第１のエリアに適用される解像度低下の量に基づいた量だけ縮小される、請求項１０に記載の方法。
  13. 環境の第１の部分に対応する少なくとも１つの画像に使用されることになる第１の解像度割り当てを選択し、
    第１の解像度低下画像を生成するために前記選択された第１の解像度割り当てにより前記環境の前記第１の部分の第１の画像に対して解像度低下動作を実行する
    ように構成されたプロセッサと、
    前記第１の解像度低下画像を再生デバイスに通信するように構成された送信機と
    を備えるシステム。
  14. 前記送信機が、
    前記第１の解像度割り当てにより生成された前記画像の部分を前記環境のモデルの表面にマップするために使用されることになる第１のテクスチャマップを前記再生デバイスに通信する
    ようにさらに構成される、請求項１３に記載のシステム。
  15. 前記第１のテクスチャマップ内の第１のセグメントのサイズが、前記第１の解像度低下画像の第１のセグメントを生成するために対応する前記第１の画像の第１のエリアに適用される解像度低下の量の関数である、請求項１４に記載のシステム。
  16. 前記第１のテクスチャマップが、解像度低下動作を受けなかった前記第１の画像の一部分に対応する第２のセグメントを含み、前記第２のテクスチャマップ内の前記第２のセグメントのサイズが前記第１の画像内の前記セグメントのサイズと同じである、請求項１５に記載のシステム。
  17. 前記テクスチャマップ内の前記第１のセグメントの前記サイズが、前記第１の画像内の対応するエリアのソースのサイズから、前記第１の画像の前記対応する第１のエリアに適用される解像度低下の量に基づいた量だけ縮小される、請求項１５に記載のシステム。
  18. 前記送信機が、前記再生デバイスに環境モデルを通信するようにさらに構成され、
    前記第１のテクスチャマップが前記環境モデルの一部分に対応し、前記第１のテクスチャマップが、前記第１の解像度割り当てを受ける画像の部分を前記環境モデルの一部分にどのようにしてマップするかを示す情報を提供する、
    請求項１７に記載のシステム。
  19. プロセッサによって実行されたとき、
    環境の第１の部分に対応する少なくとも１つの画像に使用されることになる第１の解像度割り当てを選択し、
    第１の解像度低下画像を生成するために前記選択された第１の解像度割り当てにより前記環境の前記第１の部分の第１の画像に対して解像度低下動作を実行し、
    前記第１の解像度低下画像を再生デバイスに通信する
    ようにシステムを制御するプロセッサ実行可能命令を備える非一時的なコンピュータ可読媒体。
  20. 環境を表すために使用されることになる情報を通信する方法であって、
    フレームの部分をマップするために使用されることになる第１の画像マップを環境モデルのセグメントに通信することと、前記第１の画像マップが、前記フレームの異なるサイズの部分を前記環境モデルの異なるセグメントに割り当て、それによって、異なる数のピクセルを前記モデルの異なるセグメントに割り当てる、
    前記第１の画像マップを使用して前記環境モデルにマップされることになる第１の画像の少なくとも一部分を含む第１のフレームを通信することと
    を備える方法。
  21. フレームの部分を前記環境モデルのセグメントにマップするために使用されることになる第２の画像マップを通信することと、前記第２の画像マップが、前記フレームの異なるサイズの部分を前記環境モデルの異なるセグメントに割り当て、それによって、異なる数のピクセルを前記モデルの異なるセグメントに割り当て、前記第２の画像マップが、前記第１の画像マップによって割り当てられる数とは異なる数のピクセルを前記モデルの第１のセグメントに割り当てる、
    前記第２の画像マップを使用して前記環境モデルにマップされることになる第２の画像の少なくとも一部分を含む第２のフレームを通信することと
    をさらに備える、請求項２０に記載の方法。
  22. 前記第１の画像マップおよび第２の画像マップが、環境の同じ部分に対応するエリアに異なる数のピクセルをマップし、それによって、前記第１の画像マップおよび前記第２の画像マップのうちのどちらが使用されるかに基づいて、前記環境の前記同じ部分に異なる解像度割り当てを提供する、請求項２０に記載の方法。
  23. 環境を表すために使用されることになる情報を通信するための装置であって、
    フレームの部分を環境モデルのセグメントにマップするために使用されることになる第１の画像マップを通信し、前記第１の画像マップが、前記フレームの異なるサイズの部分を前記環境モデルの異なるセグメントに割り当て、それによって、前記モデルの異なるセグメントに異なる数のピクセルを割り当てる、
    前記第１の画像マップを使用して前記環境モデルにマップされることになる第１の画像の少なくとも一部分を含む第１のフレームを通信する
    ように装置を動作させるように構成されたプロセッサを含む装置。
  24. 前記プロセッサが、
    フレームの部分を前記環境モデルのセグメントにマップするために使用されることになる第２の画像マップを通信する、前記第２の画像マップが、前記フレームの異なるサイズの部分を前記環境モデルの異なるセグメントに割り当て、それによって、異なる数のピクセルを前記モデルの異なるセグメントに割り当て、前記第２の画像マップが、前記第１の画像マップによって割り当てられる数とは異なる数のピクセルを前記モデルの第１のセグメントに割り当てる、
    前記第２の画像マップを使用して前記環境モデルにマップされることになる第２の画像の少なくとも一部分を含む第２のフレームを通信する
    ように前記装置を動作させるようにさらに構成される、請求項２３に記載の装置。
  25. 前記第１の画像マップおよび第２の画像マップが、環境の同じ部分に対応するエリアに異なる数のピクセルをマップし、それによって、前記第１の画像マップおよび前記第２の画像マップのうちのどちらが使用されるかに基づいて、前記環境の前記同じ部分に異なる解像度割り当てを提供する、請求項２３に記載の装置。
  26. 前記装置が、イベントが進行中である間リアルタイムコンテンツストリームを提供するサーバである、請求項２３に記載の装置。
  27. プロセッサによって実行されたとき、
    フレームの部分を環境モデルのセグメントにマップするために使用されることになる第１の画像マップを通信し、前記第１の画像マップが、前記フレームの異なるサイズの部分を前記環境モデルの異なるセグメントに割り当て、それによって、前記モデルの異なるセグメントに異なる数のピクセルを割り当てる、
    前記第１の画像マップを使用して前記環境モデルにマップされることになる第１の画像の少なくとも一部分を含む第１のフレームを通信する
    ようにシステムを制御するプロセッサ実行可能命令を備える非一時的なコンピュータ可読媒体。
  28. コンテンツ再生デバイスを動作させる方法であって、
    第１の符号化された画像を受信することと、
    第１の画像を回復するために前記第１の符号化された画像を復号することと、
    第１のレンダリングされる画像を生成するように前記第１の画像の少なくとも一部分を環境のモデルの第１の部分の表面に適用するために第１の解像度割り当てに対応する第１のテクスチャマップを使用することと、
    前記第１のレンダリングされる画像をディスプレイデバイスに出力することと
    を備える方法。
  29. 第３の符号化された画像を受信することと、
    第３の画像を回復するために前記第３の符号化された画像を復号することと、
    追加のレンダリングされる画像を生成するように前記第３の画像の少なくとも一部分を前記環境の前記モデルの第１の部分の表面に適用するために第２の解像度割り当てに対応する第２のテクスチャマップを使用することと、
    前記追加のレンダリングされる画像を前記ディスプレイに出力することと
    をさらに備える、請求項２８に記載の方法。
  30. 前記第１のテクスチャマップと前記第２のテクスチャマップとをメモリ内に記憶するように前記コンテンツ再生デバイスを動作させること
    をさらに備える、請求項２９に記載の方法。
  31. 異なる解像度割り当てに対応する複数のテクスチャマップのうちのどれが前記第１の符号化された画像とともに使用されることになるかを示す第１のインジケータを受信するように前記コンテンツ再生デバイスを動作させること、前記第１のインジケータが前記第１のテクスチャマップを示す、
    をさらに備える、請求項２９に記載の方法。
  32. 異なる解像度割り当てに対応する複数のテクスチャマップのうちのどれが前記第３の符号化された画像とともに使用されることになるかを示す第２のインジケータを受信するように前記コンテンツ再生デバイスを動作させること、前記第２のインジケータが前記第２のテクスチャマップを示す、
    を備える、請求項３１に記載の方法。
  33. 第２の符号化された画像を受信することと、前記第１の符号化された画像および前記第２の符号化された画像が、左目ビューと右目ビューとを含む第１の立体画像ペア内の画像である、
    第２の画像を回復するために前記第２の符号化された画像を復号することと、
    前記第２の画像をレンダリングすることの一部として前記第２の画像の少なくとも一部分を環境の前記モデルの前記第１の部分の前記表面に適用するために前記第１の解像度割り当てに対応する前記第１のテクスチャマップを使用することと、
    ここにおいて、前記第１の画像の少なくとも一部分を環境の前記モデルの前記第１の部分の表面に適用するために前記第１の解像度割り当てに対応する前記第１のテクスチャマップを使用することが、前記第１の画像をレンダリングすることの一部として実行される、
    第１のレンダリングされた画像をユーザの左目および右目のうちの第１の目に対して表示することと、
    第２のレンダリングされた画像を前記ユーザの左目および右目のうちの第２の目に対して表示することと
    をさらに備える、請求項３２に記載の方法。
  34. 第４の符号化された画像を受信することと、前記第４の符号化された画像および前記第３の符号化された画像が、第２の左目ビューと第２の右目ビューとを含む第２の立体画像ペア内の画像である、
    第４の画像を回復するために前記第４の符号化された画像を復号することと、
    前記第４の画像をレンダリングすることの一部として前記第４の画像の少なくとも一部分を前記環境の前記モデルの前記第１の部分の前記表面に適用するために前記第２の解像度割り当てに対応する前記第２のテクスチャマップを使用することと、
    ここにおいて、前記第３の画像の少なくとも一部分を前記環境の前記モデルの前記第１の部分の表面に適用するために前記第２の解像度割り当てに対応する前記第２のテクスチャマップを使用することが、前記第３の画像をレンダリングすることの一部として実行される、
    第３のレンダリングされた画像を前記ユーザの左目および右目のうちの第１の目に対して表示することと、
    前記第３のレンダリングされた画像が表示されている間、第４のレンダリングされた画像を前記ユーザの左目および右目のうちの第２の目に対して表示することと
    をさらに備える、請求項３３に記載の方法。
  35. 画像がキャプチャされるイベントが進行中である間、前記第１の画像、前記第２の画像、前記第３の画像、および前記第４の画像が受信、復号、およびレンダリングされる、請求項３４に記載の方法。
  36. 受信機と、
    デコーダと、
    （ｉ）第１の符号化された画像を受信し、
    （ｉｉ）第１の画像を回復するために前記第１の符号化された画像を復号し、
    （ｉｉｉ）第１のレンダリングされる画像を生成するように前記第１の画像の少なくとも一部分を環境のモデルの第１の部分の表面に適用するために第１の解像度割り当てに対応する第１のテクスチャマップを使用する
    ようにコンテンツ再生デバイスを制御するように構成されたプロセッサと、
    前記プロセッサによってレンダリングされた画像を表示するためのディスプレイと
    を備えるコンテンツ再生デバイス。
  37. 前記プロセッサが、
    （ｉｖ）第３の符号化された画像を受信し、
    （ｖ）第３の画像を回復するために前記第３の符号化された画像を復号し、
    （ｖｉ）前記第３の画像の少なくとも一部分を前記環境の前記モデルの第１の部分の表面に適用するために第２の解像度割り当てに対応する第２のテクスチャマップを使用する
    ように前記コンテンツ再生デバイスを制御するようにさらに構成される、請求項３６に記載のコンテンツ再生デバイス。
  38. メモリ
    をさらに備え、
    前記プロセッサが、前記第１のテクスチャマップと前記第２のテクスチャマップとを前記メモリ内に記憶するように前記コンテンツ再生デバイスを制御するようにさらに構成される、
    請求項３７に記載のコンテンツ再生デバイス。
  39. 前記プロセッサが、異なる解像度割り当てに対応する複数のテクスチャマップのうちのどれが前記第１の符号化された画像とともに使用されることになるかを示す第１のインジケータを受信するように前記コンテンツ再生デバイスを制御するようにさらに構成される、前記第１のインジケータが前記第１のテクスチャマップを示す、請求項３８に記載のコンテンツ再生デバイス。
  40. 前記プロセッサが、異なる解像度割り当てに対応する複数のテクスチャマップのうちのどれが前記第３の符号化された画像とともに使用されることになるかを示す第２のインジケータを受信するように前記コンテンツ再生デバイスを制御するようにさらに構成される、前記第２のインジケータが前記第２のテクスチャマップを示す、請求項３９に記載のコンテンツ再生デバイス。
  41. 前記第１の画像の少なくとも一部分を環境の前記モデルの前記第１の部分の表面に適用するために前記第１の解像度割り当てに対応する前記第１のテクスチャマップの前記使用が、前記第１の画像をレンダリングすることの一部として実行され、
    前記プロセッサが、
    （ｉ）第２の符号化された画像を受信し、前記第１の符号化された画像および前記第２の符号化された画像が、左目ビューと右目ビューとを含む第１の立体画像ペア内の画像である、
    （ｉｉ）第２の画像を回復するために前記第２の符号化された画像を復号し、
    （ｉｉｉ）前記第２の画像をレンダリングすることの一部として前記第２の画像の少なくとも一部分を環境の前記モデルの前記第１の部分の前記表面に適用するために前記第１の解像度割り当てに対応する前記第１のテクスチャマップを使用し、
    （ｉｖ）前記第１のレンダリングされた画像をユーザの左目および右目のうちの第１の目に対して表示し、
    （ｖ）前記第２のレンダリングされた画像を前記ユーザの左目および右目のうちの第２の目に対して表示する
    ように前記コンテンツ再生デバイスを制御するようにさらに構成される、
    請求項４０に記載のコンテンツ再生デバイス。
  42. プロセッサによって実行されたとき、
    第１の符号化された画像を受信し、
    第１の画像を回復するために前記第１の符号化された画像を復号し、
    第１のレンダリングされる画像を生成するように前記第１の画像の少なくとも一部分を環境のモデルの第１の部分の表面に適用するために第１の解像度割り当てに対応する第１のテクスチャマップを使用し、
    前記第１のレンダリングされた画像をディスプレイ上に表示する
    ようにコンテンツ再生デバイスを制御するプロセッサ実行可能命令を備える非一時的なコンピュータ可読媒体。
  43. 符号化された画像を受信することと、
    前記符号化された画像を復号することと、
    第１のレンダリングされる画像を生じさせるために、前記復号された画像を第１の画像マップにより環境のメッシュモデルにマップすることと、前記第１の画像マップが、前記復号された画像の異なる数のピクセルを前記環境の前記メッシュモデルの異なるセグメントにマップする、
    前記第１のレンダリングされる画像をディスプレイデバイス上に表示することと
    を備えるコンテンツ再生方法。
  44. 前記異なる数のピクセルが、同じサイズであるが前記環境内の異なるロケーションに設置された環境領域にマップされる、請求項４３に記載の方法。
  45. 活動に対応する前記環境内のセグメントが、より少ない活動が検出されるまたは活動が検出されないセグメントよりも多くのピクセルが割り当てられる、請求項４４に記載の方法。
  46. 前方視聴エリアに対応する少なくともいくつかのセグメントが、後方視聴エリアに対応するセグメントよりも多くのセグメント当たりピクセルが割り当てられる、請求項４３に記載の方法。
  47. 第２の画像マップは受信されたフレームの部分を前記環境メッシュモデルにマップするために使用されるべきであることを示す信号を受信すること
    をさらに備え、
    前記第１の画像マップが、フレームの第１の数のピクセルを前記環境メッシュモデルの第１のセグメントに割り当て、
    前記復号された画像がフレームであり、
    前記第２の画像マップが、前記フレームの第２の数のピクセルを前記環境メッシュモデルの前記第１のセグメントに割り当てる、前記第１の数のピクセルと前記第２の数のピクセルが異なる、
    請求項４３に記載の方法。
  48. 符号化された画像を受信するための受信機と、
    前記符号化された画像を復号するためのデコーダと、
    第１のレンダリングされる画像を生じさせるために前記復号された画像を第１の画像マップにより環境のメッシュモデルにマップするように構成されたプロセッサと、前記第１の画像マップが、前記復号された画像の異なる数のピクセルを前記環境の前記メッシュモデルの異なるセグメントにマップする、
    レンダリングされた画像を表示するためのディスプレイと
    を備えるコンテンツ再生装置。
  49. 前記異なる数のピクセルが、同じサイズであるが前記環境内の異なるロケーションに設置された環境領域にマップされる、請求項４８に記載の装置。
  50. 活動に対応する前記環境内のセグメントが、より少ない活動が検出されるまたは活動が検出されないセグメントよりも多くのピクセルが割り当てられる、請求項４９に記載の装置。
  51. 前記受信機が、第２の画像マップは受信されたフレームの部分を前記環境メッシュモデルにマップするために使用されるべきであることを示す信号を受信するように構成され、
    前記第１の画像マップが、フレームの第１の数のピクセルを前記環境メッシュモデルの第１のセグメントに割り当て、
    前記復号された画像がフレームであり、
    前記第２の画像マップが、前記フレームの第２の数のピクセルを前記環境メッシュモデルの前記第１のセグメントに割り当てる、前記第１の数のピクセルと前記第２の数のピクセルが異なる、
    請求項４８に記載の装置。
  52. プロセッサによって実行されたとき、
    符号化された画像を受信し、
    前記符号化された画像を復号し、
    第１のレンダリングされる画像を生じさせるために、前記復号された画像を第１の画像マップにより環境のメッシュモデルにマップし、前記第１の画像マップが、前記復号された画像の異なる数のピクセルを前記環境の前記メッシュモデルの異なるセグメントにマップする、
    前記第１のレンダリングされた画像をディスプレイデバイス上に表示する
    ようにコンテンツ再生デバイスを制御するプロセッサ実行可能命令を備える非一時的なコンピュータ可読媒体。
JP2017543784A 2015-02-17 2016-02-17 解像度低下画像を生成および使用するならびに／またはそのような画像を再生デバイスまたはコンテンツ配布デバイスに通信するための方法および装置 Pending JP2018511971A (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201562117427P 2015-02-17 2015-02-17
US62/117,427 2015-02-17
US201562262374P 2015-12-02 2015-12-02
US62/262,374 2015-12-02
US201662296065P 2016-02-16 2016-02-16
US62/296,065 2016-02-16
PCT/US2016/018315 WO2016134048A1 (en) 2015-02-17 2016-02-17 Methods and apparatus for generating and using reduced resolution images and/or communicating such images to a playback or content distribution device

Publications (1)

Publication Number Publication Date
JP2018511971A true JP2018511971A (ja) 2018-04-26

Family

ID=56621708

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017543784A Pending JP2018511971A (ja) 2015-02-17 2016-02-17 解像度低下画像を生成および使用するならびに／またはそのような画像を再生デバイスまたはコンテンツ配布デバイスに通信するための方法および装置

Country Status (7)

Country Link
US (11) US10075701B2 (ja)
EP (1) EP3259739A4 (ja)
JP (1) JP2018511971A (ja)
KR (2) KR102493754B1 (ja)
CN (2) CN107615338B (ja)
CA (1) CA2977051C (ja)
WO (1) WO2016134048A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022542510A (ja) * 2019-07-28 2022-10-04 グーグル エルエルシー 没入型ビデオコンテンツをフォービエイテッドメッシュを用いてレンダリングするための方法、システム、および媒体

Families Citing this family (102)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102771134B (zh) * 2010-01-18 2016-04-13 瑞典爱立信有限公司 用于支持播放内容的方法及装置
US9973692B2 (en) * 2013-10-03 2018-05-15 Flir Systems, Inc. Situational awareness by compressed display of panoramic views
US20150228106A1 (en) * 2014-02-13 2015-08-13 Vixs Systems Inc. Low latency video texture mapping via tight integration of codec engine with 3d graphics engine
US10027948B2 (en) 2014-05-20 2018-07-17 Nextvr Inc. Methods and apparatus including or for use with one or more cameras
GB2528446B (en) * 2014-07-21 2021-08-04 Tobii Tech Ab Method and apparatus for detecting and following an eye and/or the gaze direction thereof
KR101946019B1 (ko) * 2014-08-18 2019-04-22 삼성전자주식회사 파노라믹 동영상을 생성하는 동영상 처리 장치 및 그 방법
US10531071B2 (en) 2015-01-21 2020-01-07 Nextvr Inc. Methods and apparatus for environmental measurements and/or stereoscopic image capture
US9832449B2 (en) 2015-01-30 2017-11-28 Nextvr Inc. Methods and apparatus for controlling a viewing position
US10362290B2 (en) 2015-02-17 2019-07-23 Nextvr Inc. Methods and apparatus for processing content based on viewing information and/or communicating content
WO2016134048A1 (en) 2015-02-17 2016-08-25 Nextvr Inc. Methods and apparatus for generating and using reduced resolution images and/or communicating such images to a playback or content distribution device
US9894350B2 (en) 2015-02-24 2018-02-13 Nextvr Inc. Methods and apparatus related to capturing and/or rendering images
WO2016140934A2 (en) 2015-03-01 2016-09-09 Nextvr Inc. Methods and apparatus for making environmental measurements and/or using such measurements in 3d image rendering
US20170006219A1 (en) 2015-06-30 2017-01-05 Gopro, Inc. Image stitching in a multi-camera array
US9836845B2 (en) 2015-08-25 2017-12-05 Nextvr Inc. Methods and apparatus for detecting objects in proximity to a viewer and presenting visual representations of objects in a simulated environment
US10114467B2 (en) 2015-11-30 2018-10-30 Photopotech LLC Systems and methods for processing image information
US11217009B2 (en) 2015-11-30 2022-01-04 Photopotech LLC Methods for collecting and processing image information to produce digital assets
US10778877B2 (en) 2015-11-30 2020-09-15 Photopotech LLC Image-capture device
US10306156B2 (en) 2015-11-30 2019-05-28 Photopotech LLC Image-capture device
US10706621B2 (en) * 2015-11-30 2020-07-07 Photopotech LLC Systems and methods for processing image information
US9992502B2 (en) 2016-01-29 2018-06-05 Gopro, Inc. Apparatus and methods for video compression using multi-resolution scalable coding
US10291910B2 (en) 2016-02-12 2019-05-14 Gopro, Inc. Systems and methods for spatially adaptive video encoding
US10484621B2 (en) 2016-02-29 2019-11-19 Gopro, Inc. Systems and methods for compressing video content
US10645362B2 (en) * 2016-04-11 2020-05-05 Gopro, Inc. Systems, methods and apparatus for compressing video content
US10404963B1 (en) * 2016-05-03 2019-09-03 David Gerald Kenrick System for processing 2D content for 3D viewing
US10887573B1 (en) 2016-05-03 2021-01-05 Erin Sanaa Kenrick System for processing 2D content for 3D viewing
US11228754B2 (en) * 2016-05-06 2022-01-18 Qualcomm Incorporated Hybrid graphics and pixel domain architecture for 360 degree video
US10163030B2 (en) 2016-05-20 2018-12-25 Gopro, Inc. On-camera image processing based on image activity data
US10462466B2 (en) 2016-06-20 2019-10-29 Gopro, Inc. Systems and methods for spatially selective video coding
CN109478103B (zh) * 2016-06-22 2022-07-08 西门子股份公司 用于在虚拟现实中显示三维模型的系统及方法
US10298819B2 (en) 2016-07-20 2019-05-21 Nextvr Inc. Camera apparatus and methods which allow for filters to be used
US20180040164A1 (en) * 2016-08-05 2018-02-08 Gopro, Inc. Apparatus and methods for selective coding of images
US10200672B2 (en) 2016-08-17 2019-02-05 Nextvr Inc. Methods and apparatus for capturing images of an environment
US20180063590A1 (en) * 2016-08-30 2018-03-01 Sonic Ip, Inc. Systems and Methods for Encoding and Playing Back 360° View Video Content
CN107844190B (zh) * 2016-09-20 2020-11-06 腾讯科技（深圳）有限公司 基于虚拟现实vr设备的图像展示方法及装置
CN106548446B (zh) * 2016-09-29 2019-08-09 北京奇艺世纪科技有限公司 一种在球面全景图像上贴图的方法及装置
CN113873261B (zh) 2016-10-04 2022-12-27 有限公司B1影像技术研究所 图像数据编码/解码方法和装置
US10244215B2 (en) 2016-11-29 2019-03-26 Microsoft Technology Licensing, Llc Re-projecting flat projections of pictures of panoramic video for rendering by application
US10244200B2 (en) 2016-11-29 2019-03-26 Microsoft Technology Licensing, Llc View-dependent operations during playback of panoramic video
US10595069B2 (en) * 2016-12-05 2020-03-17 Adobe Inc. Prioritizing tile-based virtual reality video streaming using adaptive rate allocation
GB2558206A (en) * 2016-12-16 2018-07-11 Nokia Technologies Oy Video streaming
US10242714B2 (en) 2016-12-19 2019-03-26 Microsoft Technology Licensing, Llc Interface for application-specified playback of panoramic video
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US10198862B2 (en) 2017-01-23 2019-02-05 Gopro, Inc. Methods and apparatus for providing rotated spherical viewpoints
US10691220B2 (en) * 2017-02-14 2020-06-23 Samsung Electronics Co., Ltd. Method for display of information from real world environment on a virtual reality (VR) device and VR device thereof
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US11252391B2 (en) 2017-03-06 2022-02-15 Nevermind Capital Llc Methods and apparatus for packing images into a frame and/or including additional content or graphics
US10567733B2 (en) 2017-03-06 2020-02-18 Nextvr Inc. Methods and apparatus for communicating and/or using frames including a captured image and/or including additional image content
US10586379B2 (en) 2017-03-08 2020-03-10 Ebay Inc. Integration of 3D models
EP3605456B1 (en) * 2017-03-30 2022-03-30 FUJIFILM Corporation Image processing device and image processing method
US10979663B2 (en) * 2017-03-30 2021-04-13 Yerba Buena Vr, Inc. Methods and apparatuses for image processing to optimize image resolution and for optimizing video streaming bandwidth for VR videos
US10742964B2 (en) 2017-04-04 2020-08-11 Nextvr Inc. Methods and apparatus for displaying images
US10587800B2 (en) 2017-04-10 2020-03-10 Intel Corporation Technology to encode 360 degree video content
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US9998664B1 (en) 2017-06-20 2018-06-12 Sliver VR Technologies, Inc. Methods and systems for non-concentric spherical projection for multi-resolution view
US20190005709A1 (en) * 2017-06-30 2019-01-03 Apple Inc. Techniques for Correction of Visual Artifacts in Multi-View Images
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
CN110870320A (zh) * 2017-07-07 2020-03-06 夏普株式会社 用于针对虚拟现实应用程序发送信号通知投影区域的系统和方法
US10742966B2 (en) * 2017-11-16 2020-08-11 Htc Corporation Method, system and recording medium for adaptive interleaved image warping
CN109803163B (zh) * 2017-11-16 2021-07-09 腾讯科技（深圳）有限公司 图像展示方法及其装置、存储介质
US11145116B2 (en) 2017-11-21 2021-10-12 Faro Technologies, Inc. System and method of scanning an environment and generating two dimensional images of the environment
US11012676B2 (en) * 2017-12-13 2021-05-18 Google Llc Methods, systems, and media for generating and rendering immersive video content
EP3724858A4 (en) 2017-12-14 2021-01-13 Samsung Electronics Co., Ltd. PROCEDURE AND DEVICE FOR MANAGING IMMERSIVE DATA
US10878536B1 (en) * 2017-12-29 2020-12-29 Gopro, Inc. Apparatus and methods for non-uniform downsampling of captured panoramic images
US10735709B2 (en) 2018-04-04 2020-08-04 Nextvr Inc. Methods and apparatus for capturing, processing and/or communicating images
US10721510B2 (en) 2018-05-17 2020-07-21 At&T Intellectual Property I, L.P. Directing user focus in 360 video consumption
US10482653B1 (en) 2018-05-22 2019-11-19 At&T Intellectual Property I, L.P. System for active-focus prediction in 360 video
US10764494B2 (en) 2018-05-25 2020-09-01 Microsoft Technology Licensing, Llc Adaptive panoramic video streaming using composite pictures
US10666863B2 (en) 2018-05-25 2020-05-26 Microsoft Technology Licensing, Llc Adaptive panoramic video streaming using overlapping partitioned sections
US10827225B2 (en) 2018-06-01 2020-11-03 AT&T Intellectual Propety I, L.P. Navigation for 360-degree video streaming
US11727656B2 (en) 2018-06-12 2023-08-15 Ebay Inc. Reconstruction of 3D model with immersive experience
US10573060B1 (en) * 2018-06-14 2020-02-25 Kilburn Live, Llc Controller binding in virtual domes
US10740957B1 (en) * 2018-06-14 2020-08-11 Kilburn Live, Llc Dynamic split screen
US11108841B2 (en) 2018-06-19 2021-08-31 At&T Intellectual Property I, L.P. Apparatus, storage medium and method for heterogeneous segmentation of video streaming
EP3595319A1 (en) * 2018-07-12 2020-01-15 InterDigital VC Holdings, Inc. Methods and apparatus for volumetric video transport
US20200022632A1 (en) * 2018-07-17 2020-01-23 Limbix Health, Inc. Digital content processing and generation for a virtual environment
US10679668B2 (en) * 2018-08-31 2020-06-09 Gopro, Inc. Systems and methods for editing videos
CN110972203B (zh) * 2018-09-28 2023-09-01 苹果公司 基于无线通信信道带宽条件的电子设备内容提供调节
CN110972202B (zh) 2018-09-28 2023-09-01 苹果公司 基于无线通信信道带宽条件的移动设备内容提供调节
WO2020062134A1 (zh) * 2018-09-29 2020-04-02 深圳市大疆创新科技有限公司 调整图传分辨率的方法、图像拍摄设备、机器可读存储介质
US10778938B2 (en) 2018-12-20 2020-09-15 Hulu, LLC Video chunk combination optimization
GB2582251B (en) * 2019-01-31 2023-04-19 Wacey Adam Volumetric communication system
CN110290385B (zh) * 2019-06-11 2021-12-14 观博云标(北京)文化科技有限公司 高时空分辨率的天珠视频处理方法及装置
JP7368699B2 (ja) * 2019-08-26 2023-10-25 株式会社リコー 画像処理装置、画像通信システム、画像処理方法、及びプログラム
CN110619669B (zh) * 2019-09-19 2023-03-28 深圳市富视康智能股份有限公司 一种支持多种图形样式的鱼眼图像渲染系统及方法
US11694314B2 (en) 2019-09-25 2023-07-04 The Regents Of The University Of Michigan Digital foveation for machine vision
US11429690B2 (en) * 2019-10-10 2022-08-30 Hover, Inc. Interactive path tracing on the web
US20230254559A1 (en) * 2019-10-16 2023-08-10 NejiLaw inc. Image-information-acquistion-type fastening means and monitoring system
US11284141B2 (en) 2019-12-18 2022-03-22 Yerba Buena Vr, Inc. Methods and apparatuses for producing and consuming synchronized, immersive interactive video-centric experiences
EP4085633A4 (en) * 2020-01-02 2024-01-03 Nokia Technologies Oy APPARATUS, METHOD AND COMPUTER PROGRAM FOR VOLUMETRIC VIDEO
US20230049492A1 (en) * 2020-01-23 2023-02-16 Volvo Truck Corporation A method for adapting to a driver position an image displayed on a monitor in a vehicle cab
US11740465B2 (en) * 2020-03-27 2023-08-29 Apple Inc. Optical systems with authentication and privacy capabilities
CN112218132B (zh) * 2020-09-07 2022-06-10 聚好看科技股份有限公司 一种全景视频图像显示方法及显示设备
US11875462B2 (en) * 2020-11-18 2024-01-16 Adobe Inc. Systems for augmented reality authoring of remote environments
CN114938418A (zh) * 2021-02-04 2022-08-23 佳能株式会社 具有视线检测功能的取景器单元、摄像设备和附接配件
US11978149B2 (en) 2021-06-21 2024-05-07 The Weather Company, Llc UV map using weight painting
US20230055268A1 (en) * 2021-08-18 2023-02-23 Meta Platforms Technologies, Llc Binary-encoded illumination for corneal glint detection
CN113573142B (zh) * 2021-09-22 2021-12-24 北京海誉动想科技股份有限公司 分辨率调整方法与装置
US20230176377A1 (en) * 2021-12-06 2023-06-08 Facebook Technologies, Llc Directional illuminator and display apparatus with switchable diffuser
CN115546019B (zh) * 2022-01-10 2023-07-11 荣耀终端有限公司 一种渲染数据的采集方法及电子设备
US12002290B2 (en) * 2022-02-25 2024-06-04 Eyetech Digital Systems, Inc. Systems and methods for hybrid edge/cloud processing of eye-tracking image data
US11912429B2 (en) * 2022-04-05 2024-02-27 Gulfstream Aerospace Corporation System and methodology to provide an augmented view of an environment below an obstructing structure of an aircraft

Family Cites Families (84)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6044168A (en) * 1996-11-25 2000-03-28 Texas Instruments Incorporated Model based faced coding and decoding using feature detection and eigenface coding
US6208347B1 (en) 1997-06-23 2001-03-27 Real-Time Geometry Corporation System and method for computer modeling of 3D objects and 2D images by mesh constructions that incorporate non-spatial data such as color or texture
US6246422B1 (en) * 1998-09-01 2001-06-12 Sun Microsystems, Inc. Efficient method for storing texture maps in multi-bank memory
US6400370B1 (en) * 1999-09-10 2002-06-04 Intel Corporation Stochastic sampling with constant density in object space for anisotropic texture mapping
US6788333B1 (en) * 2000-07-07 2004-09-07 Microsoft Corporation Panoramic video
US6774869B2 (en) * 2000-12-22 2004-08-10 Board Of Trustees Operating Michigan State University Teleportal face-to-face system
US7146036B2 (en) * 2003-02-03 2006-12-05 Hewlett-Packard Development Company, L.P. Multiframe correspondence estimation
US20040249617A1 (en) * 2003-06-03 2004-12-09 Pccw-Hkt Datacom Services Limited Selective, pregressive transmission of 3D geometry models with the pre-ordered hierarchical meshes
US8351761B2 (en) 2003-06-06 2013-01-08 Harris Technology, Llc Commercial skipping standalone device
EP1494175A1 (en) * 2003-07-01 2005-01-05 Koninklijke Philips Electronics N.V. Selection of a mipmap level
EP1759355B1 (en) * 2004-06-16 2007-11-28 Nxp B.V. A forward texture mapping 3d graphics system
US8130260B2 (en) * 2005-11-09 2012-03-06 Johns Hopkins University System and method for 3-dimensional display of image data
GB2436921A (en) 2006-04-06 2007-10-10 British Broadcasting Corp Methods and apparatus providing central, primary displays with surrounding display regions
US20080031325A1 (en) * 2006-08-03 2008-02-07 Yingyong Qi Mesh-based video compression with domain transformation
US20080206720A1 (en) 2007-02-28 2008-08-28 Nelson Stephen E Immersive video projection system and associated video image rendering system for a virtual reality simulator
JP4689639B2 (ja) * 2007-04-25 2011-05-25 キヤノン株式会社 画像処理システム
US7701354B2 (en) * 2007-06-28 2010-04-20 Standard Telecommunications Ltd. Portable alarm transmitter for compliance monitoring
NZ582614A (en) * 2007-07-19 2013-02-22 Disney Entpr Inc Rendering surface locations on texture maps with topological adjacency
US7850306B2 (en) * 2008-08-28 2010-12-14 Nokia Corporation Visual cognition aware display and visual data transmission architecture
US8451320B1 (en) 2009-01-23 2013-05-28 Next3D, Inc. Methods and apparatus for stereoscopic video compression, encoding, transmission, decoding and/or decompression
US9648346B2 (en) 2009-06-25 2017-05-09 Microsoft Technology Licensing, Llc Multi-view video compression and streaming based on viewpoints of remote viewer
US8531473B2 (en) 2009-07-28 2013-09-10 Technion R&D Foundation Ltd. Photogrammetric texture mapping using casual images
WO2011028547A2 (en) 2009-08-24 2011-03-10 Next3D Inc. Stereoscopic video encoding and decoding methods and apparatus
JP5233926B2 (ja) * 2009-09-10 2013-07-10 大日本印刷株式会社 魚眼監視システム
US20130278631A1 (en) 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
JP5430456B2 (ja) * 2010-03-16 2014-02-26 キヤノン株式会社 幾何特徴抽出装置、幾何特徴抽出方法、及びプログラム、三次元計測装置、物体認識装置
US8405680B1 (en) 2010-04-19 2013-03-26 YDreams S.A., A Public Limited Liability Company Various methods and apparatuses for achieving augmented reality
US9225961B2 (en) * 2010-05-13 2015-12-29 Qualcomm Incorporated Frame packing for asymmetric stereo video
WO2012005962A1 (en) * 2010-06-28 2012-01-12 Thomson Licensing Method and apparatus for customizing 3-dimensional effects of stereo content
WO2012015460A1 (en) 2010-07-26 2012-02-02 Thomson Licensing Dynamic adaptation of displayed video quality based on viewers' context
US20130300740A1 (en) * 2010-09-13 2013-11-14 Alt Software (Us) Llc System and Method for Displaying Data Having Spatial Coordinates
GB2485532A (en) 2010-11-12 2012-05-23 Sony Corp Three dimensional (3D) image duration-related metadata encoding of apparent minimum observer distances (disparity)
US9241147B2 (en) 2013-05-01 2016-01-19 Legend3D, Inc. External depth map transformation method for conversion of two-dimensional images to stereoscopic images
JP5891426B2 (ja) * 2011-03-31 2016-03-23 パナソニックＩｐマネジメント株式会社 全周囲立体画像の描画を行う画像描画装置、画像描画方法、画像描画プログラム
US9407902B1 (en) 2011-04-10 2016-08-02 Nextvr Inc. 3D video encoding and decoding methods and apparatus
US9485494B1 (en) 2011-04-10 2016-11-01 Nextvr Inc. 3D video encoding and decoding methods and apparatus
JPWO2012147621A1 (ja) * 2011-04-28 2014-07-28 ソニー株式会社 符号化装置および符号化方法、並びに、復号装置および復号方法
US9007430B2 (en) 2011-05-27 2015-04-14 Thomas Seidl System and method for creating a navigable, three-dimensional virtual reality environment having ultra-wide field of view
US9161024B2 (en) 2011-07-07 2015-10-13 Nec Corporation Display device, display control method, and program
US20130030074A1 (en) * 2011-07-26 2013-01-31 Basf Se Process for the continuous production of polyetherols
CN103765880B (zh) * 2011-09-12 2016-05-18 英特尔公司 局部化分割的图像的连网捕捉和三维显示
US20130141526A1 (en) 2011-12-02 2013-06-06 Stealth HD Corp. Apparatus and Method for Video Image Stitching
US9204127B1 (en) 2012-01-17 2015-12-01 Nextvr Inc. Stereoscopic image processing methods and apparatus
WO2014056150A1 (en) 2012-10-09 2014-04-17 Nokia Corporation Method and apparatus for video coding
ITTO20121073A1 (it) 2012-12-13 2014-06-14 Rai Radiotelevisione Italiana Apparato e metodo per la generazione e la ricostruzione di un flusso video
US9538160B1 (en) 2013-04-11 2017-01-03 Nextvr Inc. Immersive stereoscopic video acquisition, encoding and virtual reality playback methods and apparatus
US9930363B2 (en) 2013-04-12 2018-03-27 Nokia Technologies Oy Harmonized inter-view and view synthesis prediction for 3D video coding
WO2014191990A1 (en) * 2013-05-26 2014-12-04 Pixellot Ltd. Method and system for low cost television production
US9451162B2 (en) * 2013-08-21 2016-09-20 Jaunt Inc. Camera array including camera modules
US10067634B2 (en) 2013-09-17 2018-09-04 Amazon Technologies, Inc. Approaches for three-dimensional object display
US20150138314A1 (en) * 2013-11-20 2015-05-21 Google Inc. Generating Panoramic Images
JP2017505037A (ja) 2013-12-26 2017-02-09 サムスン エレクトロニクス カンパニー リミテッド デプス符号化方法及びその装置、デプス復号化方法及びその装置
EP2902973B1 (en) * 2014-02-03 2018-06-27 Thomson Licensing Method and device for processing a geometry image of a 3d scene
JP6382329B2 (ja) * 2014-02-18 2018-08-29 エルジー エレクトロニクス インコーポレイティド パノラマサービスのための放送信号送受信方法及び装置
US9699437B2 (en) 2014-03-03 2017-07-04 Nextvr Inc. Methods and apparatus for streaming content
US10264211B2 (en) 2014-03-14 2019-04-16 Comcast Cable Communications, Llc Adaptive resolution in software applications based on dynamic eye tracking
US10027948B2 (en) 2014-05-20 2018-07-17 Nextvr Inc. Methods and apparatus including or for use with one or more cameras
US9918136B2 (en) 2014-05-29 2018-03-13 Nextvr Inc. Methods and apparatus for delivering content and/or playing back content
EP4113991A1 (en) 2014-09-03 2023-01-04 Nevermind Capital LLC Methods and apparatus for capturing, streaming and/or playing back content
US10484697B2 (en) * 2014-09-09 2019-11-19 Qualcomm Incorporated Simultaneous localization and mapping for video coding
GB201419438D0 (en) 2014-10-31 2014-12-17 Microsoft Corp Modifying video call data
US11218682B2 (en) 2015-01-21 2022-01-04 Nevermind Capital Llc Methods and apparatus for processing and or encoding images with negative parallax
US10531071B2 (en) 2015-01-21 2020-01-07 Nextvr Inc. Methods and apparatus for environmental measurements and/or stereoscopic image capture
EP3308215A2 (en) 2015-01-28 2018-04-18 NEXTVR Inc. Zoom related methods and apparatus
US9832449B2 (en) 2015-01-30 2017-11-28 Nextvr Inc. Methods and apparatus for controlling a viewing position
JP2018506797A (ja) 2015-02-12 2018-03-08 ネクストブイアール・インコーポレイテッド 環境測定を行うための、及び／又は、このような測定を使用するための方法及び装置
WO2016134048A1 (en) 2015-02-17 2016-08-25 Nextvr Inc. Methods and apparatus for generating and using reduced resolution images and/or communicating such images to a playback or content distribution device
US10362290B2 (en) 2015-02-17 2019-07-23 Nextvr Inc. Methods and apparatus for processing content based on viewing information and/or communicating content
US9894350B2 (en) 2015-02-24 2018-02-13 Nextvr Inc. Methods and apparatus related to capturing and/or rendering images
WO2016138043A1 (en) 2015-02-24 2016-09-01 NextVR, Inc. Calibration for immersive content systems
WO2016140934A2 (en) 2015-03-01 2016-09-09 Nextvr Inc. Methods and apparatus for making environmental measurements and/or using such measurements in 3d image rendering
CN105141970B (zh) * 2015-07-03 2019-02-12 哈尔滨工业大学深圳研究生院 一种基于三维模型几何信息的纹理图像压缩方法
US9821920B2 (en) 2015-08-18 2017-11-21 Nextvr Inc. Methods and apparatus for compensating for vehicular motion
US9836845B2 (en) 2015-08-25 2017-12-05 Nextvr Inc. Methods and apparatus for detecting objects in proximity to a viewer and presenting visual representations of objects in a simulated environment
US10715788B2 (en) 2016-07-15 2020-07-14 Nextvr Inc. Camera alignment and/or calibration methods and apparatus
US10298819B2 (en) 2016-07-20 2019-05-21 Nextvr Inc. Camera apparatus and methods which allow for filters to be used
US10200672B2 (en) 2016-08-17 2019-02-05 Nextvr Inc. Methods and apparatus for capturing images of an environment
US20180249189A1 (en) 2017-02-08 2018-08-30 Nextvr Inc. Methods and apparatus for use in a system or device where switching between cameras may occur
US20180225537A1 (en) 2017-02-08 2018-08-09 Nextvr Inc. Methods and apparatus relating to camera switching and/or making a decision to switch between cameras
US11252391B2 (en) 2017-03-06 2022-02-15 Nevermind Capital Llc Methods and apparatus for packing images into a frame and/or including additional content or graphics
US10567733B2 (en) 2017-03-06 2020-02-18 Nextvr Inc. Methods and apparatus for communicating and/or using frames including a captured image and/or including additional image content
US20180280656A1 (en) 2017-03-28 2018-10-04 Nextvr Inc. Virtual reality methods and apparatus which use or include brain activity sensors
US10742964B2 (en) 2017-04-04 2020-08-11 Nextvr Inc. Methods and apparatus for displaying images
US10477186B2 (en) 2018-01-17 2019-11-12 Nextvr Inc. Methods and apparatus for calibrating and/or adjusting the arrangement of cameras in a camera pair

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022542510A (ja) * 2019-07-28 2022-10-04 グーグル エルエルシー 没入型ビデオコンテンツをフォービエイテッドメッシュを用いてレンダリングするための方法、システム、および媒体
JP7392105B2 (ja) 2019-07-28 2023-12-05 グーグル エルエルシー 没入型ビデオコンテンツをフォービエイテッドメッシュを用いてレンダリングするための方法、システム、および媒体

Also Published As

Publication number Publication date
US11924394B2 (en) 2024-03-05
US10027944B2 (en) 2018-07-17
CN116962659A (zh) 2023-10-27
US10805593B2 (en) 2020-10-13
US11381801B2 (en) 2022-07-05
CN107615338B (zh) 2023-08-04
US20200186779A1 (en) 2020-06-11
US11388384B2 (en) 2022-07-12
US9832450B2 (en) 2017-11-28
WO2016134048A1 (en) 2016-08-25
US20160241837A1 (en) 2016-08-18
KR20170120631A (ko) 2017-10-31
US20220210391A1 (en) 2022-06-30
US9729850B2 (en) 2017-08-08
CN107615338A (zh) 2018-01-19
EP3259739A4 (en) 2018-08-29
US10075701B2 (en) 2018-09-11
US20180220121A1 (en) 2018-08-02
US20170359564A1 (en) 2017-12-14
US20210006770A1 (en) 2021-01-07
US20160241892A1 (en) 2016-08-18
US20160241836A1 (en) 2016-08-18
CA2977051C (en) 2023-02-07
CA2977051A1 (en) 2016-08-25
EP3259739A1 (en) 2017-12-27
KR102493754B1 (ko) 2023-02-01
US20160241838A1 (en) 2016-08-18
KR20230020574A (ko) 2023-02-10
US20190082161A1 (en) 2019-03-14
KR102533555B1 (ko) 2023-05-18
US20190110041A1 (en) 2019-04-11
US10506215B2 (en) 2019-12-10

Similar Documents

Publication Publication Date Title
US11924394B2 (en) Methods and apparatus for receiving and/or using reduced resolution images
US11902493B2 (en) Methods and apparatus for processing content based on viewing information and/or communicating content
EP3114844A1 (en) Methods and apparatus for streaming content
US11582384B2 (en) Methods and apparatus for encoding, communicating and/or using images
US11348252B1 (en) Method and apparatus for supporting augmented and/or virtual reality playback using tracked objects
JPWO2019004073A1 (ja) 画像配置決定装置、表示制御装置、画像配置決定方法、表示制御方法及びプログラム
WO2018035383A1 (en) Methods and apparatus for processing content based on viewing information and/or communicating content