JP2020522926A - 取り込まれた2d風景画像を使用して仮想現実コンテンツを提供するための方法およびシステム - Google Patents

取り込まれた2d風景画像を使用して仮想現実コンテンツを提供するための方法およびシステム Download PDF

Info

Publication number
JP2020522926A
JP2020522926A JP2019566099A JP2019566099A JP2020522926A JP 2020522926 A JP2020522926 A JP 2020522926A JP 2019566099 A JP2019566099 A JP 2019566099A JP 2019566099 A JP2019566099 A JP 2019566099A JP 2020522926 A JP2020522926 A JP 2020522926A
Authority
JP
Japan
Prior art keywords
data
depth
capture
stream
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019566099A
Other languages
English (en)
Inventor
マイケル・ロダト
ルネ・セプルベダ
パイ・ムードラジリ
デニー・ブライテンフェルト
サイド・ミーラン・カマル
ムハンマド・ラヒール・カリード
シャビエル・ハンセン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Verizon Patent and Licensing Inc
Original Assignee
Verizon Patent and Licensing Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Verizon Patent and Licensing Inc filed Critical Verizon Patent and Licensing Inc
Publication of JP2020522926A publication Critical patent/JP2020522926A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614Multiplexing of additional data and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/232Content retrieval operation locally within server, e.g. reading video streams from disk arrays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368Multiplexing of audio and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/38Transmitter circuitry for the transmission of television signals according to analogue transmission standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Or Creating Images (AREA)

Abstract

代表的方法は、1つまたは複数の対象物を含む風景に関連して異なる見通しのきく地点に物理的に配置された複数の取込機器から、1つまたは複数の対象物に関する表面データを取り込み、複数の取込機器に含まれる取込機器ごとに2Dカラーデータに関するカラー・ビデオ・データ・ストリーム、および深度データに関する深度ビデオ・データ・ストリームを生成し、複数の取込機器に含まれる取込機器ごとにカラー・ビデオ・データ・ストリームおよび深度ビデオ・データ・ストリームを転送ストリームの中にパッケージ化し、メディアプレーヤ機器にストリーミングするためにメタデータおよび転送ストリームを提供する仮想現実メディア・プロバイダ・システムを含む。

Description

(関連出願の相互参照)
本出願は、全体が参照により本明細書に組み込まれる、「METHODS AND SYSTEMS FOR USING 2D CAPTURED IMAGERY OF A SCENE TO PROVIDE VIRTUAL REALITY CONTENT(取り込まれた2D風景画像を使用して仮想現実コンテンツを提供するための方法およびシステム)」と題する、2017年5月31日に提出された米国特許出願公開第15/610,575号明細書の優先権を主張する。
コンピューティング技術およびネットワーキング技術の進歩は、想定される新しい形態のメディアコンテンツを作り出してきた。たとえば、仮想現実世界で同時に提示されているさまざまな事物のいずれかにユーザの注意を向けることにより、ユーザが経験し得る対話型仮想現実世界の中に、見る人(または「ユーザ」)を没入させる仮想現実メディアコンテンツが利用可能である。仮想現実メディアコンテンツが提示されている間はいつでも、仮想現実メディアコンテンツを体験しているユーザは、水平次元(たとえば、前方、後方、左側、右側など)だけではなく垂直次元(たとえば、上方、下方など)の両方に関して任意の方向で仮想現実世界を見回し、ユーザが実際に仮想現実世界の中に存在し、仮想現実世界内部の特定の視点から仮想現実世界を体験しているという感覚をユーザに与え得る。
いくつかの例では、仮想現実メディアプロバイダは、ネットワークを用いて、仮想現実世界を体験するユーザが使用しているクライアントコンピューティング機器に仮想現実世界を表すデータを伝送することにより、仮想現実世界を含む仮想現実コンテンツを提供し得る。このために、仮想現実メディアプロバイダは、仮想現実世界の3次元(「3D」)モデルを構築して、構築された仮想現実世界の3Dモデルを表すデータをパッケージ化して伝送する処理を遂行するサーバシステムを実装する。
添付図面は、さまざまな実施形態を例示し、本明細書の一部となっている。例示する実施形態は、単なる例であり、本開示の範囲を限定するものではない。図面全体を通して、同一の、または類似する参照番号は、同一の、または類似する要素を指定する。
本明細書で記述する原理による代表的仮想現実メディアシステムを例示する。 本明細書で記述する原理による、図1の仮想現実メディアシステムの代表的実装形態を例示する。 本明細書で記述する原理による、複数の取込機器が取り込んだ表面データが、仮想現実メディア・コンテンツ・プロバイダ・システムによりメディアプレーヤ機器にどのように提供され得るかを描く代表的流れ図を例示する。 本明細書で記述する原理による、特定の時間シーケンス中に特定の取込機器から取得し得る代表的表面データを例示する。 本明細書で記述する原理による代表的転送ストリームを例示する。 本明細書で記述する原理による代表的転送ストリームを例示する。 本明細書で記述する原理による代表的転送ストリームを例示する。 本明細書で記述する原理による、複数の取込機器が取り込んだ表面データが、仮想現実メディア・コンテンツ・プロバイダ・システムによりメディアプレーヤ機器にどのように提供され得るかを描く、追加の代表的流れ図を例示する。 本明細書で記述する原理による、図8に例示する代表的流れ図に基づき提供され得る、追加の代表的転送ストリームを例示する。 本明細書で記述する原理による、転送ストリームに含まれ得る代表的データを示す代表的図表を例示する。 本明細書で記述する原理による、メタデータに関する代表的実装形態を例示する。 本明細書で記述する原理による、仮想3D空間内部の対象物の3D表現の、メディアプレーヤ機器による代表的描画を例示する。 本明細書で記述する原理による、取り込まれた2次元(「2D」)風景画像を使用して、仮想現実コンテンツを提供する代表的方法を例示する。 本明細書で記述する原理による代表的コンピューティング機器を例示する。
取り込まれた2D風景画像を使用して仮想現実コンテンツを提供するための方法およびシステムについて本明細書で記述する。ある種の代表的な方法およびシステムでは、仮想現実メディア・プロバイダ・システムは、風景に関連して異なる見通しのきく地点に(たとえば、風景に関連して異なる取込角を有する異なる位置に)物理的に配置された複数の取込機器(たとえば、ビデオカメラ、3D深度スキャンハードウェアなど)から風景(たとえば、現実世界の風景)に関する表面データ(たとえば、取り込まれた2D画像)を取得し得る。取得された表面データは、複数の取込機器に含まれる各取込機器により取り込まれたとき、風景内の1つまたは複数の対象物の表面に関する2Dカラーデータおよび深度データを含み得る。
取込機器の各々が取り込んだ2Dカラーデータおよび深度データは、風景に対して特定の見通しのきく地点から得られる、風景に関する、メッシュによって表されていない別個の眺望を表現し得る。本明細書で使用するとき、「メッシュによって表されていない別個の眺望」は、特定の取込機器が取り込んだ風景に関する表面データ(たとえば、2Dカラーデータおよび深度データ)が、風景の3Dモデルまたは3D表現を形成するために、別の取込機器が取り込んだ表面データと一緒に組み合わせられていない(すなわち、メッシュによって表されていない)、特定の取込機器から得られる風景の眺望に対応する。
取得された2Dカラーデータおよび深度データに基づき、仮想現実メディア・プロバイダ・システムは、複数の取込機器に含まれる取込機器ごとに、2Dカラーデータに関するカラー・ビデオ・データ・ストリーム、および深度データに関する深度ビデオ・データ・ストリームを生成し得る。カラー・ビデオ・データ・ストリームおよび深度ビデオ・データ・ストリームは、特定の実装形態に適合させ得るように、任意の適切なデータストリーム形式で生成され得る。たとえば、各カラー・ビデオ・データ・ストリームに含まれる2Dカラーデータは、複数の取込機器に含まれる対応する取込機器が取り込んだ風景に関する一連の順次2Dカラーデータ取込み(たとえば、高解像度の静止画像)としてフォーマットされ得る。それに加えて、各深度ビデオ・データ・ストリームに含まれる深度データは、複数の取込機器に含まれる対応する取込機器が取り込んだ風景に関する一連の順次2D深度データ取込みとしてフォーマットされ得る。
仮想現実メディア・プロバイダ・システムはまた、風景に関連するメタデータを取得し得る。メタデータは、メディアプレーヤ機器のユーザに提示するために風景内の任意の視点から得られる風景の眺望を描画すべきメディアプレーヤ機器により使用され得る風景の3D表現を生成するために、適切に構成されたメディアプレーヤ機器により、複数の取込機器が取り込んだ表面データと共に使用可能な、複数の取込機器の固有の性質および外在的性質に関する情報などの、風景に関連する情報を含み得る。
仮想現実メディア・プロバイダ・システムは、ネットワークを用いてメディアプレーヤ機器にストリーミングするために、取得した表面データおよびメタデータのうち少なくとも一部を処理し、提供し得る。たとえば、仮想現実メディア・プロバイダ・システムは、生成したカラー・ビデオ・データ・ストリームおよび深度ビデオ・データ・ストリームのうち少なくとも一部を転送ストリームにパッケージ化し得る。したがって、ある種の例では、転送ストリームは、複数の取込機器に含まれる取込機器ごとに、風景に関連して、対応する特定の見通しのきく地点から得られる風景の対応する、メッシュによって表されていない別個の眺望を表現するデータを含み得る。代表的転送ストリームについて本明細書で記述する。
仮想現実メディア・プロバイダ・システムは、メディアプレーヤ機器にストリーミングするために転送ストリームおよびメタデータを提供し得る。ある種の例では、仮想現実メディア・プロバイダ・システムは、本明細書で記述する通信チャネルなどの任意の適切な通信チャネルを通してメディアプレーヤ機器に転送ストリームおよびメタデータをストリーミングし得る。あるいは、仮想現実メディア・プロバイダ・システムは、メディアプレーヤ機器にストリーミングするために、コンテンツ配信ネットワーク(content delivery network、「CDN」)(たとえば、サードパーティのCDN)に転送ストリームおよびメタデータを提供し得る。ある種の例では、仮想現実メディア・プロバイダ・システムは、転送ストリームの中にメタデータを含み、メタデータが転送ストリームの一部としてメディアプレーヤ機器にストリーミングされるようにストリーミングするために転送ストリームを提供し得る。他の例では、仮想現実メディア・プロバイダ・システムは、メタデータが転送ストリームとは別個にストリーミングされ得るようにストリーミングするためにメタデータおよび転送ストリームを別個に提供し得る。
メディアプレーヤ機器は、メタデータおよび転送ストリームを受信し、処理して、複数の取込機器に含まれる取込機器ごとに、メタデータ、カラー・ビデオ・データ・ストリーム、および深度ビデオ・データ・ストリームにアクセスし、これらを使用して、仮想3D空間内で風景の3D表現を生成するように構成され得る。たとえば、メディアプレーヤ機器は、第1の取込機器から得られるメタデータおよび2Dカラーデータおよび深度データ、ならびに第2の取込機器から得られる2Dカラーデータおよび深度データを使用して、メディアプレーヤ機器のユーザの視点から風景の3D表現(たとえば、風景内の対象物の3D表現)を少なくとも部分的に構築し得る。
本明細書で記述する方法およびシステムは、ネットワークを用いてメディアプレーヤ機器に仮想現実コンテンツを提供するために必要とされる帯域幅の広さを著しく低減し得る。たとえば、サーバ側で風景の3Dモデルを生成する代わりに、本明細書で記述する方法およびシステムは、風景に関する、メッシュによって表されていない別個の眺望を表す2Dデータを生成して、ネットワークを用いてメディアプレーヤ機器に伝送する。本明細書で明らかになるように、これにより、サーバ側で処理し、ネットワークを介して伝送するために必要とされるデータの量は、著しく低減され、その結果、より速い速度で、低減された処理で、低減された帯域幅で、仮想現実コンテンツがリアルタイムでストリーミングされることになる。
追加でまたは代わりに、本明細書で記述する方法およびシステムは、従来は仮想現実コンテンツにより表現される風景の複雑さに依存していた、仮想現実コンテンツを配信するために必要とされる帯域幅のある種の変動を低減または除去し得る。たとえば、(風景の3Dモデルの代わりに)風景を表す2Dデータを生成し、ネットワークを用いてメディアプレーヤ機器に伝送することにより、本明細書で記述する方法およびシステムは、風景の複雑さとは無関係に(たとえば、所与の時間に風景の中に対象物がいくつ含まれているかとは無関係に)仮想現実コンテンツを配信するための、不変の帯域幅要件を助長し得る。これは、数多くの対象物を含む複雑な風景に対して特に有益である。風景の3Dモデルが生成され、メディアプレーヤ機器に伝送される従来の方法によれば、風景に含まれる各対象物は、風景の3Dモデルを表現するために必要とされるデータの量を増大させる。したがって、風景の中に数多くの対象物が存在するとき、従来の方法に従ってメディアプレーヤ機器に3Dモデルを伝送するために必要とされるデータの量は、多くなる。しかしながら、本明細書で記述する方法およびシステムを用いれば、カラー・ビデオ・データ・ストリームおよび深度ビデオ・データ・ストリームを伝送するために必要とされる帯域幅の広さは、風景内の対象物の数とは無関係に実質的に不変のままである。
追加でまたは代わりに、風景を表す2Dデータを生成し、伝送することにより(たとえば、風景を表す2Dカラーデータおよび深度データを転送ストリーム内のビデオデータとして提供することにより)、本明細書で記述する方法およびシステムは、既存のビデオ処理およびストリーミング技術、ならびに既存のグラフィックスハードウェア(たとえば、既存のグラフィックスカード)および/またはソフトウェアを活用して、仮想現実コンテンツを配信するためのデータパイプラインを形成し得る、そしてデータパイプラインは、従来の仮想現実配信方法と比較して、処理および/またはネットワーク資源を節約し、仮想現実コンテンツサービスの拡張性を支援し、仮想現実コンテンツのアクセス可能性を拡張し得る。そのようなデータパイプラインの例について本明細書で記述する。
本明細書で記述する方法およびシステムは、特定の実装形態に役立ち得るように、追加の、または代わりの利益を提供し得る。次に、図を参照して、さまざまな実施形態について詳細に記述する。開示する方法およびシステムは、上述の利益、および/または本明細書で明らかになる追加のおよび/または代わりの利益のうち1つまたは複数を提供し得る。
図1は、本明細書で記述する方法およびシステムによる、仮想現実コンテンツを生成し、提供し得る代表的仮想現実メディアシステム100(「システム100」)を例示する。図示するように、システム100は、限定することなく、仮想現実メディア・プロバイダ・システム102およびメディアプレーヤ機器システム104を含み得る。仮想現実メディア・プロバイダ・システム102は、限定することなく、互いに選択的に、かつ通信可能に連結された、2Dカラーデータおよび深度データ取込設備106、2Dカラーデータおよび深度データ処理設備108、2Dカラーデータおよび深度データ符号化設備110、ならびに2Dカラーデータおよび深度データ多重化設備112を含み得る。設備106〜112は、図1では別個の設備であるように示されているが、特定の実装形態に役立ち得るように、単一の設備など、より少ない設備に組み合わせられ得る、またはより多くの設備に分割され得ることを認識されよう。設備106〜112の各々は、特定の実装形態に役立ち得るように、(たとえば、単一のシャーシを有する)機器を含み、またはその中に収容され、単一の場所に位置決めされ得る、または複数の機器(たとえば、サーバ)の間で、および/もしくは複数の場所の間で分散させられ得る。
メディアプレーヤ機器システム104は、限定することなく、互いに選択的に、かつ通信可能に連結された、2Dカラーデータおよび深度データ復号/多重分離設備114、およびデータ描画設備116を含み得る。設備114および116は、図1では別個の設備であるように示されているが、特定の実装形態に役立ち得るように、単一の設備など、より少ない設備に組み合わせられ得る、またはより多くの設備に分割され得ることを認識されよう。設備114および116の各々は、本明細書で記述するメディアプレーヤ機器などのメディアプレーヤ機器を含み得る、またはその中に収容され得る。ある種の例では、メディアプレーヤ機器は、ユーザの場所(たとえば、住宅、事業所などのようなユーザの敷地、またはメディアプレーヤ機器のユーザに関連する別の場所)に位置し得る。次に、設備106〜116の各々について、より詳細に記述する。
2Dカラーデータおよび深度データ取込設備106(「データ取込設備106」)は、風景を表す仮想現実コンテンツを取得するために使用される任意のハードウェアおよび/またはソフトウェア(たとえば、コンピューティングシステム、ビデオおよび深度取込器具、ソフトウェアプログラムなど)を含み得る。風景は、1つまたは複数の対象物を含み得る、そして仮想現実コンテンツは、風景内にある対象物の表面の外観および場所など、風景内にある対象物の属性を表すデータを含み得る。
ある種の例では、風景は、生で(たとえば、リアルタイムで)発生している場合があり得る現実世界の事象の風景などの、現実世界の風景であり得る。そのような例では、風景は、現実世界の事象に関連する1つまたは複数の現実世界の対象物を含み得る、そして現実世界の事象が発生するとき、取得される仮想現実コンテンツは、リアルタイムで取得され得る。他の例では、風景は、1つまたは複数の仮想対象物を含む仮想風景であり得る。他の例では、風景は、合併された現実の風景であり得る、そして少なくとも1つの仮想対象物および少なくとも1つの現実世界の対象物を含み得る。風景は、風景内にある各対象物および/または表面が、現実であれ、仮想であれ、風景、および風景の中にある他の対象物に関して空間内の検出可能な位置を有するので、3D風景と考えられ得る。
本明細書で使用するとき、「対象物」は、生物であれ、無生物であれ、風景内の特定の見通しのきく地点から目に見える(すなわち、透明ではない)どんなものも含み得る。たとえば、風景がバスケットボールの試合などの現実世界の事象に対応する場合、対象物は、試合で使用されているバスケットボール、バスケットボールコート、バスケットボール標準規格品(すなわち、バックボード、リム、ネットなど)、試合に参加している競技者および審判、ならびに/またはバスケットボールの試合に存在する、および/もしくは関連する任意の他の対象物を含み得る。
ある種の例では、データ取込設備106は、風景を表す仮想現実コンテンツをリアルタイムで取得し得る。たとえば、風景が現実世界の事象に対応する場合、データ取込設備106は、現実世界の事象が発生するとき、風景を表す仮想現実コンテンツをリアルタイムで取得し得る。他の例では、データ取込設備106は、時間をずらした手法でアクセスおよび使用するために、すでに取り込まれ記憶されている仮想現実コンテンツを取得し得る。
本明細書で使用するとき、「没入型仮想現実コンテンツ」は、取得され、生成され、仮想現実コンテンツを使用して、風景の3D表現を使用するように構成されたメディアプレーヤ機器に伝送され得る、風景に関連する任意のデータおよび/またはコンテンツを指す。たとえば、仮想現実コンテンツは、風景に関連する表面データ、風景に関連するメタデータ、風景に関連するオーディオデータ、および/または風景に関連する任意の他の適切なデータを含み得る。そのようなデータの例について本明細書で記述する。仮想現実コンテンツは、現実世界の風景コンテンツ、仮想コンテンツ(たとえば、1つまたは複数の仮想対象物)、または現実世界の風景コンテンツと仮想コンテンツの組み合わせを表すデータを含み得る。
データ取込設備106は、風景に関連する仮想現実コンテンツを任意の適切な手法で取得し得る。たとえば、データ取込設備106は、表面データとして、風景に対して異なる見通しのきく地点に配置され、かつ2Dカラーデータおよび深度データを取り込むように構成された複数の取込機器から、直接または間接的に2Dカラーデータおよび深度データを取得し得る。取込機器の例について本明細書で記述する。
本明細書で使用するとき、「2Dカラーデータ」は、2Dカラーデータを取り込む少なくとも1つの機器の少なくとも1つの見通しのきく地点から風景がどのように見えるかを表す任意のデータを広く含み得る。2Dカラーデータは、風景のカラー(たとえば、赤色、緑色、青色など)表現、風景の白黒表現、風景のグレースケール表現、および/または風景の外観の任意の他の適切な表現を含み得る。ある種の例では、2Dカラーデータは、特定の期間にわたり、見通しのきく地点から得られる風景(たとえば、現実世界の事象での対象物)の外観を表す、取り込まれた画像(たとえば、高解像度静止画像)シーケンスを含み得る。実例では、2Dカラーデータは、ビデオのフレームがフレームの画素座標での色値を表現する、風景の2Dカラー・ビデオ・データを含み得る。しかしながら、2Dカラーデータは、どんな特定の形式、ファイルタイプ、フレームレート、解像度、品質レベルにも、または当技術分野でビデオを規定するさまざまな規定および/または標準に関連し得る他の特性に限定されない。
本明細書で使用するとき、「深度データ」は、風景内部の1つまたは複数の対象物(たとえば、現実世界の事象での1つまたは複数の対象物)の空間位置を表す任意のデータを広く含み得る。深度データは、任意の適切な手法でフォーマットされ得る。ある種の例では、以下で記述するように、深度データは、特定の見通しのきく地点から得られる一連の順次2D深度データ取込み(たとえば、特定の時間に取り込まれた深度データの別個のインスタンス)としてフォーマットされ得る。実例では、深度データは、ビデオのフレームがフレームの画素座標での深度値を表現する、特定の見通しのきく地点から得られる風景の2D深度ビデオデータを含み得る。しかしながら、深度データは、どんな特定の形式、ファイルタイプ、フレームレート、解像度、品質レベルにも、または当技術分野でビデオを規定するさまざまな規定および/または標準に関連し得る他の特性に限定されない。好ましくは、深度データは、非常に精度があり、正確である。しかしながら、深度データは、一般に2Dカラーデータよりも解像度が低く(たとえば、x座標およびy座標の解像度がより低い)、依然として受入可能であり得る。
深度データは、2Dカラーデータと同期され得る。たとえば、深度データ内の深度データフレーム、およびカラーデータ内のカラー・データ・フレームは、時間的に共通のインスタンス(たとえば、同じ基準信号、タイムスタンプ、取込時間など)に対応し得る。そのような対応する深度データフレームおよびカラー・データ・フレームは、本明細書で記述するように、他の見通しのきく地点から取り込まれた他の深度データフレームおよびカラー・データ・フレームの同期したいくつかの対、ならびに対応するメタデータと共に、風景の3D表現を少なくとも部分的に構築するためにメディアプレーヤ機器により処理され得る1対の同期フレームを形成し得る。
ある種の例では、データ取込設備106は、2Dビデオカメラ、3D深度スキャナ、複合取込機器(たとえば、2Dビデオデータと、関連する深度データの両方を取り込むように構成された機器)などのような複数の取込機器を含み得る。複数の取込機器に含まれる各取込機器は、風景に関連して特定の見通しのきく地点から得られる、風景に関する表面データを取り込み得る。本明細書で使用するとき、「見通しのきく地点」は、複数の取込機器に含まれる取込機器により風景の表面データが取り込まれる位置および取込角を指す。ある種の例では、特定の取込機器の見通しのきく地点は、固定され得る(すなわち、特定の取込機器の位置、および特定の取込機器の取込角は、経時的に変化することはない)。あるいは、特定の取込機器の位置および取込角の1つまたは複数は、経時的に変化し得る。たとえば、特定の取込機器の位置および/または取込角は、特定の取込機器が固定された装置が、風景に対して動くとき、経時的に変化し得る。見通しのきく地点は、特定の実装形態に適合させ得るように、任意の他の適切な情報により記述され得る。取込機器の代表的な見通しのきく地点について本明細書で記述する。
複数の取込機器は、特定の実装形態に役立ち得るように、任意の適切な手法で、任意の適切な機器を使用して、2Dカラーデータおよび深度データを取り込み得る。ある種の例では、取込機器は、ビデオカメラ、または1つもしくは複数の深度取込技法(たとえば、三角測量に基づく深度取込技法、立体深度取込技法など)を使用することにより対象物の表面に関する深度データを取り込み得る(たとえば、導出し得る)複数の見通しのきく地点から風景内の対象物の2Dカラーデータを取り込み得る他のタイプの画像取込機器から構成され得る。
他の例では、取込機器は、ビデオカメラ、または2Dカラーデータを取り込むように構成された他のタイプの画像取込機器だけではなく、深度取込技法(たとえば、飛行時間に基づく深度取込技法、赤外線に基づく深度取込技法など)の1つまたは複数を使用して対象物の表面の深度を取り込むように構成された別個の深度取込機器も含み得る。たとえば、各取込機器は、向けられる対象である対象物の2Dビデオを取り込むように構成された第1の構成要素(たとえば、ビデオカメラ機器)、および向けられる対象である対象物の深度データを取り込むように構成された第2の構成要素(たとえば、深度カメラ機器、3D画像化または3Dスキャン機器など)を含み得る。この例では、第1の構成要素および第2の構成要素は、分離した、または別個の機器であり得るが、互いに通信可能に連結され、互いに協力して作動して、2Dカラーデータと深度データの両方を同期して(たとえば、同時に)取り込むように構成され得る。
他の例では、各取込機器は、2Dカラーデータと深度データの両方を取り込むように構成された複合ビデオ−深度取込機器(たとえば、特別に設計されたビデオカメラ)を備え得る。複合ビデオ−深度取込機器は、風景内の対象物のビデオデータを取り込むだけではなく、1つまたは複数の適切な深度取込技術を使用して対象物の対応する深度を掲出することができる市販の、または特別に設計されたビデオカメラであり得る。
いくつかの例では、取込機器は、有限の取込角(たとえば90°、120°など)を有し得る、そして風景の対応する領域からデータを取り込むように配置され、方向づけられ得る。たとえば、風景内の対象物を表すデータを取り込むために、風景、または風景の1つもしくは複数の部分(たとえば、バスケットボールコート、競馬場の曲がり角)を取り囲むようにリング構成の取込機器を配置し、内側に向け得る。同じ例、または他の例では、少なくとも1つの特定の取込機器は、360°の取込角を有し得る、そして特定の取込機器を取り囲む対象物からのデータを取り込むように配置され得る。たとえば、取込機器の少なくとも1つは、360°カメラに対応する中心点を取り囲む風景の360°ビデオ画像を取り込む、および/または生成するように構成された360°カメラであり得る。風景に対するある種の代表的取込機器構成について本明細書で記述したが、例は例示的でしかない。他の実装形態では、風景に対する取込機器の任意の適切な構成を使用し得る。
複数の取込機器は、本明細書で記述するなどの任意の適切な手法で、互いに通信可能に連結され(たとえば、一緒にネットワーク化され)得る、および/または別の機器もしくはシステム(たとえば、仮想現実メディア・プロバイダ・システム102)に通信可能に連結され得る。これにより、ある種の実装形態では、取込機器は、時間、位置、角度などの同時性を維持することができるようになり得る。たとえば、取込機器は、タイミング信号を送信および受信して、各取込機器が、対応するデータを(たとえば、しきい時間範囲内の)共通の時間で取り込むこと、ならびに異なる取込機器が取り込んだデータが、取込機器のすべてが共有する世界時を用いてタイムスタンプを押され得ることを確実にし得る。ある種の例では、データ取込設備106に含まれるコントローラは、風景に関するデータをいつ取り込むか、および/またはいつ出力するかについて、取込機器に指示し得る。他の例では、取込機器は、風景に関するデータをいつ取り込むか、および/またはいつ出力するかを制御し得る、そしてデータ取込設備106は、取込機器から受信したデータをソートし得る、および/または選択的に使用し得る。取込機器がどのように同期して機能し得るかについてのこれらの例は、代表的なものでしかない。他の実装形態では、任意の適切な機器同期技術および/または通信技術を使用して、風景に関するデータを同期して取り込むための取込機器の動作を容易にし得る。ある種の代わりの例では、複数の取込機器の1つまたは複数は、非同期的に機能し得る、そして風景に関して取り込まれたデータは、取り込まれた後、任意の適切な手法で処理され、同期され得る。
上述のように、ある種の例では、データ取込設備106は、複数の取込機器を含み得る。代わりの例では、データ取込設備106は、複数の取込機器を含み得ず、任意の適切な通信技術を使用して、複数の取込機器に通信可能に連結され、複数の取込機器から風景に関する表面データを取得し得る。
データ取込設備106はまた、任意の適切な手法で、任意の適切な情報源から、風景に関連するメタデータを取得し得る。ある種の例では、実例では、データ取込設備106は、複数の取込機器から直接または間接的にメタデータを取得し得る。いくつかの例では、データ取込設備106は、メタデータを記憶するデータ記憶設備からメタデータを取得し得る。
メタデータは、メディアプレーヤ機器が、取得した風景に関する表面データと共に使用して、3D空間内部で風景の3D表現を描画し得る任意の情報を含み得る。たとえば、メタデータは、2Dカラーデータがいつ取り込まれたかなどの、風景に関する2Dカラーデータに関連する時間情報および空間情報を示す情報、2Dカラーデータが取り込まれた見通しのきく地点、どの取込機器が2Dカラーデータを取り込んだかなどを含み得るが、これらに限定されない。追加で、メタデータは、深度データをいつ取り込んだか、深度データをどこで取り込んだかなどの、風景に関する深度データに関連する時間情報および空間情報を示す情報、深度データが取り込まれた見通しのきく地点、どの取込機器が深度データを取り込んだかなどを含み得る。メタデータはまた、視界情報(たとえば、焦点距離、光心、視野角、角度の接線など)、深度マッピング情報、位置情報、配向情報、視野角情報、変換情報(たとえば、変換行列情報)、取込機器ごとのそのような情報のいずれかの変化、ならびに/または取込機器の任意の他の固有の性質および/もしくは外在的性質に関する情報を含み得る。いくつかの例では、メタデータは、座標系(たとえば、取込機器および/または風景に関連する局所座標系)、射影パラメータ、射影計算、レンズ歪みパラメータに関する情報、および/または本明細書で記述する方法のいずれかで取り込まれた表面データを処理するために有用な任意の他の情報を含み得る。ある種の例では、メタデータはまた、風景に関して取り込まれたオーディオサンプルに関する位置情報を含み得る。メタデータは、特定の実装形態に役立ち得るように、Java Script Object Notation(「JSON」)、拡張可能なマーク付け言語(Extensible Markup Language、「XML」)などのような任意の適切な形式で表現され得る。代表的メタデータ形式について本明細書で記述する。
2Dカラーデータおよび深度データ処理設備108(「データ処理設備108」)は、データ取込設備106が取得した仮想現実コンテンツ(たとえば、表面データ、メタデータなど)を処理するために使用される任意のハードウェアおよび/またはソフトウェア(たとえば、コンピューティングシステム、ソフトウェアプログラムなど)を含み得る。たとえば、データ処理設備108は、1つもしくは複数のサーバシステム、または専用および/もしくは汎用の画像処理ソフトウェアを走らせている他のコンピューティング機器を含み得る。データ処理設備108は、2Dカラーデータおよび深度データ符号化設備110が符号化すべき、データ取込設備106が取得したデータを準備するための、任意の適切な処理動作を遂行し得る。たとえば、データ処理設備108は、データを符号化に適した形式にする処理動作を遂行し得る、取得したデータ内のレンズ歪みを補正するための処理動作を遂行し得る、取得したデータ内の視差を補正するための処理動作を遂行し得る、取込機器間の深度不一致および/または配向不一致を補正するための処理動作を遂行し得る、ならびに/または特定の実装形態に適合させ得るように、任意の他の適した処理動作を遂行し得る。
ある種の例では、データ処理設備108は、各取込機器から取得した2Dカラーデータを、一連の順次2Dカラーデータ取込み(たとえば、各取込機器が取り込んだビデオの一連のフレーム)にフォーマットするための処理動作を遂行し得る。それに加えて、データ処理設備108は、取込機器の各々から得られる深度データを、一連の順次2D深度データ取込みにフォーマットするための処理動作を遂行し得る。本明細書で使用するとき、「一連の順次2D深度データ取込み」は、各取込機器から得られる、風景に関連して異なる時点での深度値の別個の取込みを指す。たとえば、特定の取込機器は、風景に関連して第1の時点での第1組の深度値、風景に関連して第2の時点での第2組の深度値、風景に関連して第3の時点での第3組の深度値などを、一連の順次2D深度データ取込みとして取り込み得る。各2D深度データ取込みは、特定の時点で取込機器が取り込んだ深度値だけを含み、たとえば、風景の3Dモデルまたは3D表現を含まないので、一連の2D深度データ取込みは、「2D」データとして考えられ得る。
ある種の例では、データ処理設備108は、データ取込設備106が取得したメタデータを、符号化するための適切な形式にフォーマットするための処理動作を遂行し得る。たとえば、処理設備108は、メタデータを一連の順次メタデータ取込みにフォーマットするための処理動作を遂行し得る。一連の順次メタデータ取込みに含まれる各メタデータ取込みは、風景に関連して特定の時点で特定の取込機器に関連するメタデータを含み得る。それに加えて、各メタデータ取込みは、対応する2Dカラーデータ取込みおよび対応する2D深度データ取込みと同期させられ得る。
ある種の例では、データ取込設備106が取得したデータのすべてまたは一部は、すでに符号化に適した形式であり得る。したがって、そのような例では、データ処理設備108は、取り込まれたデータに対していくつかのタイプの処理動作を遂行することを回避し得る、またはデータ処理設備108は、完全に回避され得る、もしくは仮想現実メディア・プロバイダ・システム102から省かれ得る。
2Dカラーデータおよび深度データ符号化設備110(「データ符号化設備110」)は、データ取込設備106が取得した、および/またはデータ処理設備108が処理した(たとえば、生成した)データを符号化するために使用される任意のハードウェアおよび/またはソフトウェア(たとえば、コンピューティングシステム、ネットワーキングシステム、ソフトウェアプログラムなど)を含み得る。たとえば、データ符号化設備110は、1つもしくは複数のサーバシステム、または専用および/もしくは汎用のビデオ符号化ソフトウェアを走らせている他のコンピューティング機器を含み得る。データ符号化設備110は、取込機器ごとにカラー・ビデオ・データ・ストリームおよび深度ビデオ・データ・ストリームを生成するのに適した任意のビデオコーデックを使用して、風景に関する表面データ(すなわち、データ取込設備106が取り込み、データ処理設備108が処理した表面データ)を符号化し得る。たとえば、データ符号化設備110は、H.264/MPEG−4コーデック、H.265/MPEG−Hコーデック、または任意の他の適切なコーデックに従って表面データを符号化し得る。ある種の例では、カラー・ビデオ・データ・ストリームは、少なくとも8ビットのビデオストリームであり、深度ビデオ・データ・ストリームは、10ビット、12ビット、またはより高ビットのビデオストリームである。深度ビデオ・データ・ストリームが8ビットのビデオストリームとして提供される場合、深度ビデオ・データ・ストリームに関してさらに処理(たとえば、タイリング)を遂行し得る。
2Dカラーデータおよび深度データ多重化設備112(「データ多重化設備112」)は、データ符号化設備110が生成したカラー・ビデオ・データ・ストリームおよび深度ビデオ・データ・ストリームをパッケージ化して、転送ストリームにするために使用される任意のハードウェアおよび/またはソフトウェア(たとえば、コンピューティングシステム、ネットワーキングシステム、ソフトウェアプログラムなど)を含み得る。たとえば、データ多重化設備112は、1つもしくは複数のサーバシステム、または専用および/もしくは汎用のビデオ多重化ソフトウェアを走らせている他のコンピューティング機器を含み得る。データ多重化設備112は、任意の適切な手法で転送ストリームを生成し得る。たとえば、データ多重化設備112は、公知の多重化技術(たとえば、時間分割多重化)を使用して、カラー・ビデオ・データ・ストリームおよび深度ビデオ・データ・ストリームを多重化し得る。
ある種の例では、データ多重化設備112は、風景に関連する取込機器ごとに、カラー・ビデオ・データ・ストリームおよび深度ビデオ・データ・ストリームを転送ストリームに多重化し得る。たとえば、6つの取込機器が、風景に関連する表面データを取り込んでいる場合、転送ストリームには、6つのカラー・ビデオ・データ・ストリーム、および6つの深度ビデオ・データ・ストリームが含まれる。あるいは、データ多重化設備112は、想定されるカラー・ビデオ・データ・ストリームおよび深度ビデオ・データ・ストリームのサブセットだけを転送ストリームの中に多重化し得る。このために、データ多重化設備112はまた、仮想現実メディアコンテンツを描画し、提示するメディアプレーヤ機器を使用して風景を体験しているユーザからのユーザ入力を表すデータ(たとえば、風景に関して任意の場所に対応する、動的に選択可能な視点の選択)を受信し得る。ユーザ入力を表すデータに基づき、データ多重化設備112は、カラー・ビデオ・データ・ストリームおよび深度ビデオ・データ・ストリームの一部を選択的に転送ストリームにパッケージ化させ得ない。たとえば、データ多重化設備112は、ユーザの視点から目に見えない1つまたは複数の表面に関する表面データを含むカラー・ビデオ・データ・ストリームおよび深度ビデオ・データ・ストリームを選択的に排除し得る。
ある種の例では、データ多重化設備112は、各カラー・ビデオ・データ・ストリームおよび各深度ビデオ・データ・ストリームを、転送ストリーム内部の別個のストリームとして(たとえば、MPEG転送ストリーム内部の別個の基本ストリームとして)パッケージ化し得る。たとえば、転送ストリームは、所与の取込機器については、カラー・ビデオ・データ・ストリームおよび別個の深度ビデオ・データ・ストリームを含み得る。あるいは、データ多重化設備112は、任意の適切な多重化技術を使用して、転送ストリームに含まれるストリームの各々を単一ストリームの中に多重化し得る。別の代替形態として、データ多重化設備112は、複数のカラー・ビデオ・データ・ストリームを転送ストリーム内部の1つのカラー・データ・ストリームの中に多重化し、複数の深度ビデオ・データ・ストリームを転送ストリーム内部の1つの深度データストリームの中に多重化し、多重化されたデータを検索して構文解析するためにメディアプレーヤ機器が使用するための検索情報を転送ストリームの中に多重化し得る。
本明細書で使用するとき、「転送ストリーム」は、カラー・ビデオ・データ・ストリームおよび深度ビデオ・データ・ストリームがパッケージ化され得る単一転送ストリーム、またはカラー・ビデオ・データ・ストリームおよび深度ビデオ・データ・ストリームがパッケージ化され得る複数の転送ストリームを指し得る。したがって、ある種の例では、転送ストリームは、取り込まれた風景に関するビデオ・データ・ストリーム(たとえば、3D取込機器ごとに1つのカラー・ビデオ・データ・ストリーム、および3D取込機器ごとに1つの深度ビデオ・データ・ストリーム)だけではなく、任意のメタデータ、または特定の実装形態で転送するために含まれ得る他の適切なデータも運ぶ単一転送ストリームを指し得る。他の例では、転送ストリームは、取り込まれた風景に関するビデオ・データ・ストリーム(たとえば、3D取込機器ごとに1つのカラー・ビデオ・データ・ストリーム、および3D取込機器ごとに1つの深度ビデオ・データ・ストリーム)だけではなく、任意のメタデータ、または特定の実装形態で転送するために含まれ得る他の適切なデータも集合的に運ぶ複数の転送ストリームを指し得る。
転送ストリームは、仮想現実メディア・プロバイダ・システム102からメディアプレーヤ機器システム104にビデオデータおよび/または他のデータを転送するのに適した任意のタイプの転送ストリーム(たとえば、MPEG転送ストリームまたは他のタイプの転送ストリーム)を含み得る。転送ストリームは、特定の実装形態に適合させ得るように、任意の適切なデータ形式、コンテナ形式、および/または転送プロトコルに従って構成され得る。
データ多重化設備112は、メディアプレーヤ機器システム104にストリーミングするために、生成された転送ストリームおよびメタデータを提供し得る。ある種の例では、これは、データ多重化設備112が、転送ストリームおよびメタデータをメディアプレーヤ機器システム104にストリーミングすることを含み得る。他の例では、これは、データ多重化設備112が、転送ストリームおよびメタデータをメディアプレーヤ機器システム104にストリーミングするCDNに、転送ストリームおよびメタデータを提供することを含み得る。ストリーミングするために転送ストリームおよびメタデータを提供することは、任意の適切なストリーミング技法(たとえば、HTTPに基づく転送プロトコル)を使用して、任意の適切な手法で達成され得る。
データ多重化設備112は、任意の適切な手法でストリーミングするためにメタデータを提供し得る。ある種の例では、データ多重化設備112は、メタデータを転送ストリームの中に多重化し得る。たとえば、データ多重化設備112は、取込機器ごとに転送ストリーム内部に別個のメタデータストリームを提供し得る。あるいは、データ多重化設備112は、メディアプレーヤ機器システム104が転送ストリームを受信し、検索情報を使用して、大域メタデータストリームに含まれるメタデータを識別し、使用し得るように、転送ストリーム内部に大域メタデータストリームおよび検索情報を提供し得る。代わりの例では、データ多重化設備112は、任意の適切な手法で転送ストリームとは別個にメタデータを提供し得る。転送ストリームの例、および転送ストリームと一緒に、または別個にメタデータをどのようにして転送し得るかについて本明細書で記述する。
メディアプレーヤ機器システム104は、ストリーミングされた転送ストリームおよびメタデータを受信し得る。2Dカラーデータおよび深度データ復号/多重分離設備114(「データ復号/多重分離設備114」)は、転送ストリームに対して1つまたは複数の復号および/または多重輪分離の動作を遂行し得る。復号/多重分離設備114は、転送ストリーム内のカラー・ビデオ・データ・ストリームおよび深度ビデオ・データ・ストリーム、およびメタデータを復号および多重分離するために使用される任意のハードウェア(たとえば、専用グラフィックスカード)および/またはソフトウェア(たとえば、コンピューティングシステム、ソフトウェアプログラムなど)を含み得る。たとえば、データ復号/多重分離設備114は、専用および/または汎用のビデオ復号および多重分離ソフトウェアを走らせている1つまたは複数のコンピューティング機器を含み得る。
データ描画設備116は、復号された/多重分離されたカラー・ビデオ・データ・ストリーム、深度ビデオ・データ・ストリーム、およびメタデータを使用して、仮想3D空間内で風景の3D表現を描画し得る。データ描画設備116は、風景の3D表現を描画するために使用される任意のハードウェアおよび/またはソフトウェア(たとえば、コンピューティングシステム、ソフトウェアプログラムなど)を含み得る。たとえば、データ描画設備116は、1つまたは複数のプログラム可能グラフィックス処理ユニット(graphics processing unit、「GPU」)を有する1つまたは複数のグラフィックスカードを活用して、風景の3D表現を描画し得る。データ描画設備116が、仮想現実メディア・プロバイダ・システム102から受信した表面データおよびメタデータに基づき、仮想3D空間内で風景の3D表現をどのように描画し得るかの例について本明細書で記述する。
図2は、図1に示すシステム100の代表的実装形態200を例示する。図示するように、実装形態200は、対象物208を含む風景206に関連して異なる見通しのきく地点(たとえば、見通しのきく地点204−1〜204−n)に物理的に配置された複数の取込機器202(たとえば、取込機器202−1〜202−n)を含む。実装形態200は、ネットワーク212を用いて、複数の取込機器202およびメディアプレーヤ機器210に通信可能に連結された仮想現実メディア・プロバイダ・システム102をさらに含む。
複数の取込機器202(「取込機器202」)は、特定の実装に役立ち得る任意の方法で、風景206に関して固定位置に配置され得る(すなわち、位置し得る、据え付けられ得るなど)。たとえば、取込機器202は、現実世界の事象、または現実世界の事象の1つもしくは複数の部分を取り囲む(たとえば、バスケットボールの試合でバスケットボールコートなどの、スポーツイベントが行われる現場を取り囲む、または部分的に取り囲む)固定位置に位置し得る。
図2に示す例では、見通しのきく地点204の各々は、対象物208の限定された異なる眺望を提供する。たとえば、取込機器202−2の見通しのきく地点204−2は、対象物208の上方からの眺望を提供し得る。見通しのきく地点204−2から、取込機器202−2は、対象物208の底面に関する表面データを取り込むことができ得ない。しかしながら、取込機器202−1は、対象物208の下に配置され、見通しのきく地点204−1から対象物208の底面に関する表面データを取り込むことができ得る。それに応じて、取込機器202は、組み合わせて、対象物208の表面のすべてに関する表面データを取り込みように構成され得る。
取込機器202は、任意の適切な手法で、互いに、および仮想現実メディア・プロバイダ・システム102に、通信可能に連結され得る。図2に示すように、取込機器202は、直接に仮想現実メディア・プロバイダ・システム102に、ネットワーク212を用いて仮想現実メディア・プロバイダ・システム102に、またはそれらの何らかの組合せで仮想現実メディア・プロバイダ・システム102に、通信可能に連結され得る。
ネットワーク212は、プロバイダ特有の有線または無線のネットワーク(たとえば、ケーブルもしくは衛星通信事業者ネットワーク、または携帯電話ネットワーク)、インターネット、広域ネットワーク、または任意の他の適切なネットワークを含み得る。データは、特定の実装形態に役立ち得るように、任意の通信技術、通信機器、通信媒体、および通信プロトコルを使用して、取込機器202の間で、仮想現実メディア・プロバイダ・システム102と取込機器202の間で、または仮想現実メディア・プロバイダ・システム102とメディアプレーヤ機器210の間で流れ得る。たとえば、取込機器202は、互いに通信し得る、そして仮想現実メディア・プロバイダ・システム102は、ソケット接続、イーサネット(登録商標)、データバス技術、データ伝送媒体、通信機器、伝送制御プロトコル(Transmission Control Protocol、「TCP」)、インターネットプロトコル(Internet Protocol、「IP」)、ファイル転送プロトコル(File Transfer Protocol、「FTP」)、テルネット、ハイパーテキスト転送プロトコル(Hypertext Transfer Protocol、「HTTP」)、HTTPS、セッション開始プロトコル(Session Initiation、Protocol、「SIP」)、SOAP(Simple Object Access Protocol)、拡張可能なマーク付け言語(Extensible Mark−up Language、「XML」)およびその変型形態、リアルタイム転送プロトコル(Real−Time Transport Protocol、「RTP」)、ユーザ・データグラム・プロトコル(User Datagram Protocol、「UDP」)、GSM(Global System for Mobile Communications)(登録商標)技術、符号分割多元接続(Code Division Multiple Access、「CDMA」)技術、EVDO(Evolution Data Optimized Protocol)、4G LTE(Long Term Evolution)、VoIP(Voice over IP)、VoLTE(Voice over LTE)、WiMax、時分割多元接続(Time Division Multiple Access、「TDMA」)技術、ショート・メッセージ・サービス(Short Message Service、「SMS」)、マルチメディア・メッセージ・サービス(Multimedia Message Service、「MMS」)、無線周波数(radio frequency、「RF」)信号方式技術、無線通信技術(たとえば、Bluetooth(登録商標)、Wi−Fi(登録商標)など)、帯域内および帯域外信号方式技術、ならびに他の適切な通信技術を含むがこれらに限定されない、データ通信を支援する任意の適切な通信技術、通信機器、通信媒体、および/または通信プロトコルを使用して、取込機器202および/またはメディアプレーヤ機器210と通信し得る。図2では、1つのネットワーク212だけが仮想現実メディア・プロバイダ・システム102、取込機器202、およびメディアプレーヤ機器210を相互接続するように示されているが、これの機器およびシステムは、特定の実装形態に役立ち得るように、複数の、および/または相互接続された異なるネットワークを用いて相互通信し得ることが認識されよう。
図2に示す例では、実装形態200は、任意の適切な手法で(たとえば、直接に、またはネットワーク212を通して)取込機器202から仮想現実メディア・プロバイダ・システム102まで、ネットワーク212を用いて仮想現実メディア・プロバイダ・システム102からメディアプレーヤ機器210まで、仮想現実コンテンツが流れる、仮想現実コンテンツ(たとえば、表面データ、メタデータなど)を配信するためのデータパイプラインを形成する。仮想現実メディア・プロバイダ・システム102は、本明細書で記述するように、取得した仮想現実コンテンツを処理して、仮想現実コンテンツを生成し、データパイプラインの一部としてネットワーク212を用いて、メディアプレーヤ機器210にストリーミングするために少なくとも1つの転送ストリームの中に仮想現実コンテンツを提供する。仮想現実メディア・プロバイダ・システム102により処理され、提供されるデータは、本明細書で記述するなどの2Dカラーデータおよび深度データを含むので、3Dモデルがサーバ側で生成され、かつネットワークを介して配信される、従来の仮想現実コンテンツ配信方法と比較して、仮想現実メディア・プロバイダ・システム102により処理され、ネットワーク212を介して伝送されるのに必要とされるデータの量は、著しく低減される。次に、仮想現実コンテンツが、どのようにしてデータパイプラインを通って流れ得るかの例を、図3〜図8を参照して記述する。
図3は、風景の仮想現実コンテンツ(たとえば、表面データ)をメディアプレーヤ機器210に提供するためにデータパイプライン内で使用され得る代表的データフロー300を例示する。データフロー300では、データは、本明細書で記述する任意の方法で、または特定の実装形態に役立ち得るように、生成される、処理される、分配されるなどされ得る。図3に示すように、データ取込設備106は、取り込まれた表面データ302(たとえば、取り込まれた表面データ302−1〜302−n)をデータ処理設備108に提供し得る。図3では、取り込まれた表面データ302−1〜302−nの例示するインスタンスはそれぞれ、対応する取込機器202−1〜202−nから取り込まれた表面データに対応する。データ処理設備108は、本明細書で記述するなどの、任意の適切な手法で、取り込まれた表面データ302を受信し、処理して、取込機器202ごとに、処理された表面データ304(たとえば、処理された表面データ304−1〜304−n)を生成し得る。データ処理設備108は、処理された表面データ304をデータ符号化設備110に提供し得る、そしてデータ符号化設備110は、本明細書に記述するなどの、任意の適切な手法で、メディアプレーヤ機器210にストリーミングするのに適した形式である、符号化された表面データ306(たとえば、符号化された表面データ306−1〜306−n)を生成し得る。次いで、符号化された表面データ306は、データ多重化設備112に提供され得る、そしてデータ多重化設備112は、符号化された表面データ306を任意の適切な手法で転送ストリーム308の中にパッケージ化し得る。次いで、データ多重化設備112は、転送ストリーム308をメディアプレーヤ機器210にストリーミングし得る、または他の方法で、メディアプレーヤ機器210にストリーミングすべき転送ストリーム308を(たとえば、CDNに)提供し得る。
ある種の例では、表面データ(たとえば、取り込まれた表面データ302−1〜302−n、処理された表面データ304−1〜304−n、符号化された表面データ306−1〜306−nなど)は、取込機器202ごとに別個のカラー・データ・ストリームおよび深度データストリームとして、図3に例示するデータフロー300全体を通して伝送され得る、または他の方法で提供され得る。たとえば、取り込まれた表面データ302−1、処理された表面データ304−1、および符号化された表面データ306−1は、それぞれ取込機器202−1に関するカラー・データ・ストリームおよび別個の深度データストリームを含み得る。このようにカラーデータおよび深度データを表現し、処理することにより、本明細書で記述するシステムおよび方法は、少なくとも、仮想現実メディア・プロバイダ・システム102が風景の3Dモデルを生成し、処理することがないので、従来の方法と比較して、仮想現実メディア・プロバイダ・システム102が行う処理の量を著しく低減し得る。
図3に示す表面データは、データフロー300全体を通して任意の適切な手法で、別個のカラー・データ・ストリームおよび深度データストリームとして伝送され得る、または他の方法で提供され得る。例示するために、図4は、データ取込設備106が、たとえば取込機器202−2から取得し得る代表的表面データ402を示す。図4に示すように、表面データ402は、取込機器202−2が取り込んだ風景206の一連の順次2Dカラーデータ取込み404(たとえば、カラー・データ・ストリームのフレーム)、および取込機器202−2が取り込んだ風景206の一連の順次2D深度データ取込み406(たとえば、深度データストリームのフレーム)を含み得る。一連の順次2Dカラーデータ取込み404は、特定の時間シーケンス408(たとえば、リアルタイムの特定の時間、風景に関連する特定の仮想時間軸など)の間に、取込機器202−2の見通しのきく地点204−2から得られる、風景206内の対象物208のカラーデータを表現し得る。一連の順次2D深度データ取込み406は、特定の時間シーケンス408の間に、取込機器202−2の見通しのきく地点204−2から得られる、風景206内の対象物208の深度データを表現し得る。
図4はまた、一連の順次2Dカラーデータ取込み404に含まれる代表的2Dカラーデータ取込み410、および一連の順次2D深度データ取込みに含まれる代表的2D深度データ取込み412を示す。2Dカラーデータ取込み410は、見通しのきく地点204−2から目に見える風景206の眺望を表現し得るカラーデータ(対象物208の表面から得られるカラーデータを含む)を含み得る。図4では、画像としてカラーデータを例示するが、カラーデータは、任意の適切な形式で取り込まれ得る、符号化され得る、フォーマットされ得る、伝送され得る、および表現され得る。たとえば、カラーデータは、標準的ビデオ符号化プロトコル、標準的画像形式などに従ってフォーマットされたデジタルデータであり得る。カラーデータは、仮想の見通しのきく地点204−2から見たときに、風景の内部に含まれる対象物の(たとえば、カラー写真に類似する)カラー画像を表現し得る。あるいは、カラーデータは、対象物を表す(たとえば、白黒写真に類似する)グレースケール画像であり得る。
2D深度データ取込み412は、見通しのきく地点204−2に関連する、空間内のある地点から得られる、対象物208の表面に関する深度データを含み得る。カラーデータと同様に、2D深度データ取込み412で表現され深度データは、見通しのきく地点204−2から見た、風景206内部の対象物208を描き得る。しかしながら、目に見える対象物208の外観を表現する(すなわち、光が対象物208の表面とどのように相互作用するかをカラーで、またはグレースケールで表現する)のではなく、深度データは、見通しのきく地点204−2の位置に対する対象物208(たとえば、さらにまた風景206内部の他の対象物も)の表面上の地点の深度(すなわち、距離または位置)を表現し得る。カラーデータと同様に、深度データは、任意の適切な形態で取り込まれ得る、符号化され得る、フォーマットされ得る、伝送され得る、および表現され得る。たとえば、図示するように、深度データは、(たとえば、深度データ内部で表現される画素ごとに6ビットまたは8ビットの)グレースケール画像データにより表現され得る。しかしながら、可視光が対象物208の表面からどのようにして反射するかを(すなわち、カラーデータで表現されるように)表現するのではなく、深度データのグレースケール画像は、画像内の画素ごとに、その画素により表現される地点が、見通しのきく地点204−2の位置からどれだけ遠く離れているかを表現し得る。たとえば、見通しのきく地点204−2に、より近い地点は、より暗いグレーの影を表現する値(たとえば、0b111111が黒を表現する6ビット実装形態の場合、0b111111に、より近い2進値)で表現され得る。逆に、見通しのきく地点204−2からより遠く離れた地点は、より明るいグレーの影を表現する値(0b000000が白を表現する6ビット実装形態の場合、0b000000に、より近い2進値)で表現され得る。
図3に戻ると、転送ストリーム308は、任意の適切な組立てを有し得る、そして本明細書に含まれるさまざまなストリームは、特定の実装形態に適合させ得るように、任意の適切な手法で配列され得る。ある種の例では、転送ストリームは、取込機器202ごとに、カラー・ビデオ・データ・ストリーム、深度ビデオ・データ・ストリーム、およびメタデータストリームを含み得る。例示するために、図5は、代表的転送ストリーム502を示し、転送ストリーム502では、取込機器202−1については、カラー・ビデオ・データ・ストリーム504−1、深度ビデオ・データ・ストリーム506−1、およびメタデータストリーム508−1が提供され、取込機器202−2については、カラー・ビデオ・データ・ストリーム504−2、深度ビデオ・データ・ストリーム506−2、およびメタデータストリーム508−2が提供され、取込機器202−nについては、カラー・ビデオ・データ・ストリーム504−n、深度ビデオ・データ・ストリーム506−n、およびメタデータストリーム508−nが提供される。
あるいは、転送ストリームは、取込機器202ごとの別個のメタデータストリームの代わりに、大域メタデータストリームを含み得る。例示するために、図6は、取込機器202(たとえば、取込機器202−1〜202−n)ごとに、カラー・ビデオ・データ・ストリーム604(たとえば、カラー・ビデオ・データ・ストリーム604−1〜604−n)および深度ビデオ・データ・ストリーム606(たとえば深度ビデオ・データ・ストリーム606−1〜606−n)、ならびに単一の大域メタデータストリーム608を含む代表的転送ストリーム602を示す。大域メタデータストリーム608は、メディアプレーヤ機器210が風景の3D表現を生成するのを容易にするために有用なメタデータのすべてを含み得る。大域メタデータストリーム608はまた、メディアプレーヤ機器210が大域メタデータストリーム608に含まれるメタデータを構文解析し、使用することができるようにする検索情報を含み得る。
ある種の例では、メディアプレーヤ機器210に提供されるメタデータは、転送ストリームとは別個に提供され得る。たとえば、図7は、取込機器202(たとえば、取込機器202−1〜202−n)ごとに、カラー・ビデオ・データ・ストリーム704(たとえば、カラー・ビデオ・データ・ストリーム704−1〜704−n)および深度ビデオ・データ・ストリーム706(たとえば深度ビデオ・データ・ストリーム706−1〜706−n)を含むが、メタデータストリームを含まない代表的転送ストリーム702を示す。メタデータストリーム708はむしろ、転送ストリーム702とは別個に提供される。仮想現実メディア・プロバイダ・システム102は、転送ストリーム702の前に、後に、またはそれと同時に、メディアプレーヤ機器210にストリーミングするためにメタデータストリーム708を提供し得る。
図5〜図7に例示する代表的転送ストリームは、例示するためだけに提供されている。転送ストリームは、特定の実装形態に適合させ得るように、任意の他の構成を有し得ることが理解される。それに加えて、メタデータは、特定の実装形態に適合させ得るように、任意の他の手法で転送ストリームと一緒に、またはそれとは別個に提供され得る。たとえば、メタデータは、転送ストリームに含まれるストリームの1つまたは複数の内部に(たとえば、カラー・ビデオ・データ・ストリームおよび/または深度ビデオ・データ・ストリームの1つまたは複数の内部に)(たとえば、最初に、最後に、中間になど)提供され得る。
ある種の例では、仮想現実メディア・プロバイダ・システム102は、メディアプレーヤ機器210に伝送するために処理し(たとえば、符号化し)転送ストリームの中にパッケージ化すべき、ある時点に風景に関して取り込まれた1組の2Dカラーデータおよび深度データ全体のサブセットだけを選択し得る。したがって、仮想現実メディア・プロバイダ・システム102は、ある時点に風景に関して取り込まれた1組の2Dカラーデータおよび深度データ全体の残りの部分を、処理して(たとえば、符号化して)転送ストリームの中にパッケージ化することをさせ得ない。仮想現実メディア・プロバイダ・システム102は、風景に関連する仮想3D空間に関してメディアプレーヤ機器210のユーザの視点などの任意の適切な基準に基づき、どの2Dカラーデータおよび深度データを含むべきか、および/または転送ストリームから排除すべきかを選択し得る。
図8は、風景の仮想現実コンテンツ(たとえば、表面データ)をメディアプレーヤ機器210に提供するために、データパイプライン内で使用され得る別の代表的データフロー800を例示する。データフロー800では、データは、本明細書で記述する任意の方法で、または特定の実装形態に役立ち得るように、生成される、処理される、分配されるなどされ得る。図8に示すように、データフロー800は、メディアプレーヤ機器210により提供されるフィードバック804に基づき具体的に構成された転送ストリーム802を含むことを除き、図3に例示するデータフロー300に類似する。フィードバック804は、メディアプレーヤ機器210および/またはメディアプレーヤ機器210のユーザ214の特定の視点に転送ストリーム802を調整するために、仮想現実メディア・プロバイダ・システム102により使用され得る任意の適切なフィードバックを含み得る。たとえば、フィードバック804は、ユーザ214の視点、ユーザ214の視点の変化、および/または任意の他の適切な情報を示す情報を含み得る。仮想現実メディア・プロバイダ・システム102は、フィードバック804を使用して、ユーザ214の現在の視点に転送ストリーム802を具体的に合わせ得る。例示するために、ユーザ214の視点は、仮想現実世界(たとえば、仮想3D空間)内部でユーザ214が動くことに基づき変化し得る。更新された視点で、取込機器202の一部から取り込まれた表面データのサブセットだけが、風景の3D表現を生成するためにメディアプレーヤ機器210にとって有用であり得る。それに応じて、仮想現実メディア・プロバイダ・システム102は、取込機器202の一部だけに関する表面データ(たとえば、カラー・ビデオ・データ・ストリームおよび深度ビデオ・データ・ストリーム)を転送ストリーム内にパッケージ化し得る。図8に示す例では、風景に関する表面データすべてを転送ストリーム802の中にパッケージ化する代わりに、取込機器202−1および202−2だけから得られる表面データが、転送ストリーム802内部にパッケージ化される。メディアプレーヤ機器210から得られるフィードバック804に基づき、取込機器202のサブセットにより取り込まれたデータのサブセットだけを転送ストリーム802に選択的に含めることにより、本明細書で記述するシステムおよび方法は、転送ストリーム802を配信するために必要とされる帯域幅の広さを低減し得る、および/またはメディアプレーヤ機器210のデータ処理および/または記憶資源を節約し得る。
メディアプレーヤ機器210は、任意の適切な手法で、本明細書で記述する通信プロトコルなどの任意の適切な通信プロトコルを使用して、更新された視点を示す情報をフィードバック804として仮想現実メディア・プロバイダ・システム102に提供し得る。図8に示す例では、フィードバック804は、例示するためだけに、データ符号化設備110に提供されているように示されている。ある種の実装形態では、設備106〜112の任意の1つまたは複数が、フィードバック804を受信し得ることが理解される。
図9は、図8で例示するデータフロー800に基づき提供され得る代表的転送ストリーム902を例示する。図9に示すように、転送ストリーム902は、取込機器202−1および202−2に関連するストリームだけを含み得る。たとえば、取込機器202−1から得られるストリームは、カラー・ビデオ・データ・ストリーム904−1、深度ビデオ・データ・ストリーム906−1、およびメタデータストリーム908−1を含む。同様に、取込機器202−2から得られるストリームは、カラー・ビデオ・データ・ストリーム904−2、深度ビデオ・データ・ストリーム906−2、およびメタデータストリーム908−2を含む。他のすべてのカラー・ビデオ・データ・ストリームおよび深度ビデオ・データ・ストリーム(たとえば、取込機器202−nに関するカラー・ビデオ・データ・ストリームおよび深度ビデオ・データ・ストリーム)は、具体的には、フィードバック804に基づき転送ストリーム902の中から排除させられ得る。図9は、メタデータが転送ストリーム902内部の別個のメタデータストリーム908として提供されることを示すが、取込機器202−1および202−2に関連する別個のメタデータが、本明細書で記述するなどの、任意の他の適切な手法で提供され得ることが理解される。
図10は、n台の取込機器202に関する転送ストリームに含まれるデータを示す代表的図表1000を例示する。図10に示すように、転送ストリームは、ビデオデータ1002、オーディオデータ1004、およびメタデータ1006を含み得る。ビデオデータ1002は、それぞれの取込機器202に関連するカラー・ビデオ・データ・ストリームおよび深度ビデオ・データ・ストリームを含み得る。図10に示すように、ビデオデータ1002は、n台の取込機器202ごとに、2Dカラーデータ取込み1008(たとえば、2Dカラーデータ取込み1008−1〜1008−n)および2D深度データ取込み1010(たとえば、2D深度データ取込み1010−1〜1010−n)を含み得る。たとえば、2Dカラーデータ取込み1008−1は、取込機器202−1が取り込んだ2Dカラーデータを含み得る。同様に、2D深度データ取込み1010−1は、取込機器202−1が取り込んだ深度データを含み得るなどである。ある種の例では、2Dカラーデータ取込み1008は、取込機器202の各々から得られる表面データが、時間的に同期をとられるように、互いに、かつそれぞれの2D深度データ取込み1010と、時間的に整列され得る。
上述のように、ある種の例では、仮想現実コンテンツは、オーディオデータを含み得る。オーディオデータは、任意の適切な手法で任意の適切なオーディオ取込機器(たとえば、マイクロホン)により取り込まれ得る、そして2Dオーディオ、3Dオーディオ、または空間オーディオもしくは位置オーディオなどの、任意の適切なオーディオコンテンツを含み得る。ある種の例では、オーディオ取込機器は、各取込機器202の一部として含まれ得る。あるいは、オーディオ取込機器は、取込機器202とは別個に(たとえば、独立型オーディオ取込機器として)提供され得る、そして取込機器202に必ずしも直接対応するわけではない場合があり得る。図10に示す例では、オーディオデータ1004は、オーディオソース1012(たとえば、オーディオソース1012−1〜1012−n)を含む。図10に示す各オーディオソース1012は、対応する取込機器202により、または対応する取込機器202に関連する対応するオーディオ取込機器により取り込まれたオーディオデータを含む、転送ストリーム内のオーディオ・データ・ストリームを表現し得る。たとえば、オーディオソース1012−1は、取込機器202−1に備わったマイクロホンにより取り込まれたオーディオデータを含むオーディオ・データ・ストリームに対応し得る、オーディオソース1012−2は、取込機器202−2に備わったマイクロホンにより取り込まれたオーディオデータを含むオーディオ・データ・ストリームに対応し得るなどである。それに応じて、オーディオデータは、取り込まれた風景に対して特有の場所から取り込まれた空間または位置2Dまたは3Dオーディオコンテンツを表現し得る。オーディオソース1012は、任意の適切な手法で転送ストリーム内に提供され得る。たとえば、各オーディオソース1012は、転送ストリーム内部の別個のストリームとして提供され得る。各オーディオソース1012は、オーディオデータ1004がビデオデータ1002と時間的に同期をとられるように、2Dカラーデータ取込み1008および/または2D深度データ取込み1010に時間的にマッピングされ得る。
図10に示すように、メタデータ1006は、メタデータ取込み1014(たとえば、メタデータ取込み1014−1〜1014−n)として転送ストリームに含まれ得る。各メタデータ取込み1014は、対応する取込機器202に関連するメタデータを含み得る。たとえば、メタデータ取込み1014−1は、取込機器202−1に関連するメタデータを含み得る、メタデータ取込み1014−2は、取込機器202−2に関連するメタデータを含み得るなどである。メタデータ取込み1014は、任意の適切な手法で転送ストリーム内に提供され得る。たとえば、図10に示す各メタデータ取込み1014は、転送ストリーム内部の別個のメタデータストリームとして提供され得る。あるいは、メタデータ取込み1014は、本明細書で記述するなどの任意の適切な手法で、転送ストリーム内部の大域メタデータストリームの中に一緒に、または転送ストリームとは別個に提供され得る。
ある種の例では、メタデータ取込み1014は、それぞれ所与の取込機器202に関連する、対応する2Dカラーデータ取込み1008および対応する2D深度データ取込み1010と時間的に整列させられ得る。たとえば、メタデータ取込み1014−1は、取込機器202−1に関連する2Dカラーデータ取込み1008−1および2D深度データ取込み1010−1と時間的に整列させられ得る、メタデータ取込み1014−2は、取込機器202−2に関連する2Dカラーデータ取込み1008−2および2D深度データ取込み1010−2と時間的に整列させられ得るなどである。ある種の例では、メタデータ1006は、オーディオソース1012に関連する任意の適切なデータを含み得る。たとえば、メタデータ取込み1014−1は、オーディオソース1012−1で表現されるオーディオデータを取り込むために使用されるマイクロホンの風景内部での位置を示す位置データ、および/またはマイクロホンに関連する任意の他の適切な情報、および/またはマイクロホンが取り込むオーディオデータを含み得る。メディアプレーヤ機器210は、任意の適切な手法で、取り込まれたオーディオデータ、およびオーディオソース1012に関連するメタデータを使用して、表面データおよび対応するメタデータに基づき提供される風景の3D表現に加えて、風景の空間オーディオ表現(たとえば、サラウンドサウンド表現)をユーザ214に提供するように構成され得る。
図11は、本明細書で記述する方法のいずれかで、メディアプレーヤ機器210に提供され得るメタデータの代表的実装形態1102を例示する。実装形態1102は、特定の実装形態に役立ち得るように、JSONデータ形式、バイナリデータ形式(たとえば構造化データ形式)、または任意の他のデータ形式に従い得る。図11は、特定の取込機器(たとえば、取込機器202−1)に関連するメタデータを規定するために使用され得る代表的データフィールドを示す。次に、図11に示すフィールドの各々について簡単な記述を提供する。
図11に示す例で「ストリームID」というラベルの付いたフィールドには、特定の取込機器に関連する、カラー・ビデオ・データ・ストリームに関する識別子、および深度ビデオ・データ・ストリームに関する識別子が格納され得る。識別子は、文字列タイプの変数または任意の他の適切なデータタイプを使用して表現され得る。識別子は、任意の適切なタイプのデータストリームに適した任意の形式をとり得る。たとえば、MPEG転送ストリームについては、識別子は、MPEG転送ストリーム内のパケットに関するパケット識別子(packet identifier、「PID」)であり得る。
図11に示す例で「深度マッピング」というラベルの付いたフィールドには、それぞれ表現可能な値の範囲の(たとえば、特定の取込機器からの)距離の最小値、および表現可能な値の範囲の(たとえば、特定の取込機器からの)距離の最大値を表す、取込設備106により最初に提供される「近い」深度値および「遠い」深度値を格納し得る。「近い」深度値および「遠い」深度値は、データ値を現実世界の単位にマッピングし得る、そして浮動小数点値または任意の他の適切なデータタイプにより表現され得る。ある実施形態では、これは、
などの形式で、より一般化された「深度復号」を含み得る、式中、
であり、プロバイダシステム102(たとえば、プロバイダシステム102の取込設備106)は、行列係数a、b、c、dを送信する。
図11に示す例で「3×4列−主変換行列」というラベルの付いたフィールドには、カラー・ビデオ・データ・ストリームおよび深度ビデオ・データ・ストリームに含まれるデータを共通の仮想3D空間内の座標に変換するためにメディアプレーヤ機器210が使用する変換行列が格納され得る。
図11に示す例で「FOV接線角度」というラベルの付いたフィールドには、視野角、すなわち、角度の接線(たとえば、tanleft、tanright、tantop、およびtanbottom)に関して、特定の取込機器の、焦点距離、中心点などに基づくパラメータなどの視界または取込機器の固有パラメータを示す情報を格納し得る。ある種の例では、メタデータは、追加でまたは代わりに、取込機器の外在的パラメータ、ならびに/または取込機器および/もしくは取り込まれた表面データに関連する線形および/もしくは非線形の深度視差に関係がある情報を含み得る。
図11に示す実装形態1102は、ある種の例で、メタデータが表現され、かつメディアプレーヤ機器210に提供され得る1つの方法を例示する。他の例では、メタデータは、特定の実装形態に適し得るように、任意の他の形式で表現され得る、そして任意の追加の、または代わりの情報を含み得る。
図2に戻ると、メディアプレーヤ機器210は、ネットワーク212を用いて、仮想現実メディア・プロバイダ・システム102から仮想現実コンテンツを表すデータを(たとえば、表面データおよびメタデータ)受信し得る。データは、任意の適切な方法でネットワーク212を介して伝送され、運ばれ、受信され得る、そして本明細書で記述する代表的データ形式のいずれかに含まれる任意の適切なデータ伝送形式および/またはプロトコルで表現され得る。たとえば、メディアプレーヤ機器210は、本明細書で記述する代表的転送ストリームおよび/またはメタデータのいずれも受信し得る。
メディアプレーヤ機器210は、仮想現実メディア・プロバイダ・システム102から受信したメタデータ、2Dカラーデータ、および深度データにアクセスし、これらを使用して、風景206の3D表現を生成するように構成され得る。メディアプレーヤ機器210は、風景206の3D表現を使用して、仮想3D空間内部の視点からユーザ214が体験する3D表現の眺望を提供するようにさらに構成され得る。このために、メディアプレーヤ機器210は、メディアプレーヤ機器システム104を組み入れ得る、そしてメディアプレーヤ機器システム104の任意の動作を遂行し得る。
本明細書で使用するとき、風景の「3D表現」は、風景の少なくとも部分的仮想3D構築(たとえば、風景内部に存在する1つまたは複数の対象物の少なくとも部分的仮想3D構築)を指す。たとえば、メディアプレーヤ機器210は、風景に関するメタデータおよび表面データを受信し、使用して、仮想3D空間内部の特定の視点からユーザ214の目に見える風景内部の対象物の少なくとも表面を描画し得る。ある種の例では、3D表現は、ユーザ214の視点からユーザ214の目に見えない表面(たとえば、対象物の遠い方の側)がメディアプレーヤ機器210により描写され得ないので、部分的3D表現と考えられ得る。
本明細書で使用するとき、「仮想3D空間」は、仮想3D世界の仮想現実空間を指す。1組の仮想3D世界座標に基づき表現され得る仮想3D空間は、ユーザ214が体験している風景の3D表現を描画するために、メディアプレーヤ機器210により生成され、使用され得る。仮想3D空間内部で、ユーザ214は、任意の方向(たとえば、風景の3D表現に関してユーザ214の視点から前方、後方、左側、右側、下方、および/または上方)に目を向け得る。追加で、ユーザ214は、ユーザ214の視点を仮想3D空間内部の他の場所にあちこち(すなわち、風景の動的に選択可能な異なる視点を動的に選択することにより)動かし得る。ある種の例では、仮想3D空間は、本明細書では、没入型仮想現実世界と呼ばれ得る。仮想3D空間の例を本明細書で提供する。
メディアプレーヤ機器210は、本明細書で記述するように、風景に関するメタデータおよび2D表面データなどの、仮想現実コンテンツを表すデータを受信し、受信したデータを処理して、風景の3D表現を生成することができる任意の機器を含み得る、またはそれにより実装され得る。メディアプレーヤ機器210は、風景の3D表現を使用して、風景の3D表現内部の選択された視点から得られる風景の3D表現の眺望を描画し、提示し得る、そしてその眺望は、没入型仮想現実世界(たとえば、現実世界の事象を表す没入型仮想現実世界)の視界であり得る。メディアプレーヤ機器210はまた、ユーザ214から得られるユーザ入力を検出し、ユーザ入力に基づき、ユーザ214が没入型仮想現実世界を体験するときに描画し、提示すべき没入型仮想現実世界の視界を動的に更新し得る。
たとえば、没入型仮想現実世界内部の視点から得られる視界は、ユーザ214が没入型仮想現実世界を容易に、かつ自然に見回し得る窓を提供し得る。視界は、メディアプレーヤ機器210により(たとえば、メディアプレーヤ機器210の表示画面上に)提示され得る、そして没入型仮想現実世界内部のユーザ214の視点を取り囲む対象物を描画するビデオを含み得る。追加で、視界は、ユーザ214が没入型仮想現実世界を体験するとき、ユーザ214により提供されるユーザ入力に応答して動的に変化し得る。たとえば、メディアプレーヤ機器210は、ユーザ入力(たとえば、視界が提示される表示画面の動きまたは回転)を検出し得る。それに応答として、視界は、異なる対象物、および/またはそれまでの視点から見た対象物の代わりに、異なる視点(たとえば、表示画面の位置に対応する視点)から見える対象物を表示し得る。
ユーザ214が仮想現実コンテンツを体験するのを容易にするために、メディアプレーヤ機器210は、仮想現実世界の眺望が表示され得る少なくとも1つの表示画面(たとえば、ヘッドマウント仮想現実機器の中に組み込まれたヘッドマウント表示画面、または厚紙製装置などの装置を用いてユーザの頭部に搭載される移動体機器の表示画面)を含み得る、またはそれに関連づけられ得る。メディアプレーヤ機器210はまた、仮想現実世界を表す2Dカラーデータおよび深度データを、対応するメタデータと共に受信し、維持し、処理して、メディアプレーヤ機器210の1つまたは複数の表示画面上に仮想現実世界の眺望を提示する(たとえば、描画する)ように構成されたソフトウェアを含み得る。たとえば、メディアプレーヤ機器210は、仮想現実世界を表すデータを処理し、1つまたは複数の表示装置上に提示するように構成された専用の独立型ソフトウェアアプリケーション(たとえば、移動体アプリケーション)を含み得る。他の例では、仮想現実世界の特定の眺望を提示するために使用されるソフトウェアは、標準のウェブ・ブラウザ・アプリケーションなどの、専用ではないソフトウェアを含み得る。
追加でまたは代わりに、メディアプレーヤ機器210は、転送ストリーム(たとえば、転送ストリーム308)に含まれる2Dカラーデータおよび深度データの受信、復号、多重分離、および/または処理を容易にするように構成されたハードウェアを含み得る。たとえば、メディアプレーヤ機器210は、専用ビデオ復号ハードウェア(たとえば、1つまたは複数の専用ビデオ復号器)およびプログラム可能GPUを有するグラフィックスカードを含み得る。
メディアプレーヤ機器210は、いくつかの異なるフォームファクタの1つをとり得る。たとえば、メディアプレーヤ機器210は、ヘッドマウント表示画面を含むヘッドマウント仮想現実機器(たとえば、仮想現実ゲーム機器)、パーソナルコンピュータ機器(たとえば、デスクトップコンピュータ、ラップトップコンピュータなど)、移動体機器もしくは無線機器(たとえば、スマートホン、タブレット機器、移動体読取り機など)、または仮想現実コンテンツの受信および/または提示を容易にするために特定の実装形態に役立ち得る任意の他の機器もしくは機器の構成を含み得る、またはこれらにより実装され得る。異なるタイプのメディアプレーヤ機器(たとえば、ヘッドマウント仮想現実機器、パーソナルコンピュータ機器、移動体機器など)は、異なるレベルの没入性を有する異なるタイプの仮想現実体験をユーザ214に提供し得る。
ある種のメディアプレーヤ機器の例について記述してきたが、例は、例示的であり、限定しているわけではない。メディアプレーヤ機器は、本明細書で記述する原理に従って提供される仮想現実コンテンツの受信を容易にするように構成され、かつ仮想現実コンテンツを使用して、風景の3D表現を描画するように構成された、任意の適切な機器および/または機器の構成を含み得る。たとえば、メディアプレーヤ機器は、有線式機器構成(たとえば、有線式ヘッドセット機器)または有線式ではない機器構成(たとえば、処理機器から有線で接続されていない表示画面)を含み得る。別の例として、ヘッドマウント仮想現実メディアプレーヤ機器または他のメディアプレーヤ機器は、ウェアラブルコントローラ(たとえば、リングコントローラ)および/またはハンドヘルドコントローラなどの仮想現実コントローラと協力して使用され得る。
ある種の例では、メディアプレーヤ機器210は、リアルタイムで(たとえば、風景内の事象が発生するのと同時に、または微々たる遅延期間の後に)、またはほぼリアルタイムで(たとえば、仮想現実コンテンツを取得、処理、伝送,および/または描画するためのわずかな遅延の後に)仮想現実コンテンツを受信し、処理し、提示し得る。他の例では、メディアプレーヤ機器210は、風景内の事象が発生したときから時間遅れで、時間をずらした手法で、仮想現実コンテンツを受信し、処理し、提示し得る。
仮想現実コンテンツの、時間をずらした視聴を支援するために、システム100は、風景の表面データを取得した後に、風景を表す表面データおよび対応するメタデータの記録を記憶し、維持し得る。次いで、ユーザ214が風景を後で体験することを望むとき、仮想現実メディアコンテンツ・プロバイダ・システム102は、仮想3D空間内で風景の3D表現を、時間をずらした手法で生成するためにメディアプレーヤ機器210が使用するための、記録された表面データおよびメタデータをメディアプレーヤ機器210に提供し得る。
メディアプレーヤ機器210は、任意の適切な手法で、メディアプレーヤ機器210が受信した転送ストリームに含まれるメタデータ、ならびにカラー・ビデオ・データ・ストリームおよび深度ビデオ・データ・ストリームなどの、表面データおよび対応するメタデータを処理して、仮想3D空間内部で風景の3D表現を生成し得る。ある種の例では、実例では、メディアプレーヤ機器210は、出願全体が本明細書で参照により組み入れられる、本出願と同日に提出された、「Methods and Systems for Rendering Virtual Reality Content Based on Two−Dimensional(“2D”) Captured Imagery of a Three−Dimensional(“3D”) Scene(3次元(「3D」)風景の取り込まれた2次元(「2D」)画像に基づき仮想現実コンテンツを描画するための方法およびシステム)」と題する同時係属の米国特許出願公開第__________号明細書で記述される方法のいずれかで、仮想3D空間内部で風景の3D表現を生成し、仮想3D空間内の視点から風景の3D表現の眺望を描画し得る。他の例では、メディアプレーヤ機器210は、仮想現実メディア・プロバイダ・システム102から受信したデータに基づき、風景の3Dモデルを生成するための任意の公知の技術を使用して、風景内部の視点から風景の3Dモデルの眺望を描画することを含む任意の他の適切な方法で、仮想3D空間内部で風景の3D表現を生成し、仮想3D空間内の視点から風景の3D表現の眺望を描画し得る。
メディアプレーヤ機器210は、任意の適切な手法で、仮想3D空間(たとえば、仮想現実世界)内のユーザに風景の3D表現を提示し得る。例示するために、図12は、メディアプレーヤ機器210が、風景(たとえば、風景206)に含まれる対象物(たとえば、対象物208)の3D表現1202の眺望をユーザ214に提示する代表的仮想現実体験1200を示す。具体的には、3D表現1202の眺望は、風景内の対象物の真下の任意の場所に対応する視点から得られる風景を示す視界1204の内部に提示される。仮想3D空間1206は、風景に基づく仮想現実世界を表現する。仮想3D空間1206、および仮想3D空間1206内部の位置は、大域座標系を使用して、または任意の他の適切な方法で表現され得る。ユーザ214は、ユーザ入力(たとえば、頭部の動き、キーボード入力など)を提供して、仮想3D空間1206を見回す、および/または動き回る(すなわち、体験すべき視点を動的に選択する)ことによるなど、メディアプレーヤ機器210に入力を提供して、仮想3D空間1206を体験し、それにより、仮想3D空間1206内部の視点を、その結果として、メディアプレーヤ機器210により提示される風景の眺望を変更し得る。
図12には、仮想3D空間1206が、半球体として例示されており、ユーザ214が、3D表現1202の下にある場所の視点から実質的に前方、後方、左側、右側、および/または上方の、仮想3D空間1206内部の任意の方向に目を向け得ることを示す。他の例では、仮想3D空間1206は、ユーザ214がさらにまた下方に目を向け得るように、360°×180°の球体全体を含み得る。追加で、ユーザ214は、仮想3D空間内部の他の場所まで動き回り得る(すなわち、風景の動的に選択可能な異なる視点を動的に選択する)。たとえば、ユーザ214は、3D表現1202の左側からの視点、3D表現1202の右側からの視点、3D表現1202の上方に吊り下げられた視点などを選択し得る。
図13は、取り込まれた2D風景画像を使用して、仮想現実コンテンツを提供するための代表的方法1300を例示する。図13は、一実施形態による代表的動作を示すが、他の実施形態は、図13に示す動作のいずれかを省略し得る、それに追加し得る、それを並べ替え得る、および/または修正し得る。図13に示す動作の1つまたは複数は、仮想現実メディア・プロバイダ・システム102および/またはその任意の実装形態により遂行され得る。
動作1302では、仮想現実メディア・プロバイダ・システム(たとえば、仮想現実メディア・プロバイダ・システム102)は、1つまたは複数の対象物を含む風景に関連して異なる見通しのきく地点に物理的に配置された複数の取込機器から、1つまたは複数の対象物に関する表面データを取得し得る。いくつかの例では、表面データは、複数の取込機器に含まれる取込機器ごとに2Dカラーデータおよび深度データを含み得る。本明細書で記述するように、複数の取込機器に含まれる取込機器ごとの2Dカラーデータおよび深度データは、風景に関連して特定の見通しのきく地点から(たとえば、特定の取込角を有する特定の位置から)風景の、メッシュによって表されていない別個の眺望を表現し得る。動作1302は、本明細書で記述する方法のいずれかで遂行され得る。
動作1304では、仮想現実メディア・プロバイダ・システムは、複数の取込機器に含まれる取込機器ごとに、2Dカラーデータに関するカラー・ビデオ・データ・ストリーム、および深度データに関する深度ビデオ・データ・ストリームを生成し得る。動作1304は、本明細書で記述する方法のいずれかで遂行され得る。
動作1306では、仮想現実メディア・プロバイダ・システムは、複数の取込機器に含まれる取込機器ごとに、カラー・ビデオ・データ・ストリームおよび深度ビデオ・データ・ストリームに関するメタデータを取得し得る。いくつかの例では、仮想現実メディア・プロバイダ・システムは、複数の取込機器から受信した情報に基づきメタデータを生成し得る。あるいは、メタデータのすべて、または少なくとも一部を、データ記憶設備またはサードパーティなどの別の情報源から取得し得る。動作1306は、本明細書で記述する方法のいずれかで遂行され得る。
動作1308では、仮想現実メディア・プロバイダ・システムは、複数の取込機器に含まれる取込機器ごとに、カラー・ビデオ・データ・ストリームおよび深度ビデオ・データ・ストリームを転送ストリームの中にパッケージ化し得る。転送ストリームは、複数の取込機器に含まれる取込機器ごとに、風景に関連して対応する見通しのきく地点から風景の対応する、メッシュによって表されていない別個の眺望を表現するデータを含み得る。いくつかの例では、転送ストリーム内にパッケージ化されたカラー・ビデオ・データ・ストリームは、複数の取込機器に含まれる対応する取込機器が取り込んだ風景の一連の順次2Dカラーデータ取込みとしてフォーマットされた2Dカラーデータを含み得る、そして転送ストリーム内にパッケージ化された深度ビデオ・データ・ストリームは、複数の取込機器に含まれる対応する取込機器が取り込んだ風景の一連の順次2D深度データ取込みとしてフォーマットされた深度データを含み得る。動作1308は、本明細書で記述する方法のいずれかで遂行され得る。
動作1310では、仮想現実メディア・プロバイダ・システムは、メディアプレーヤ機器にストリーミングするためにメタデータおよび転送ストリームを提供し得る。メディアプレーヤ機器は、メタデータおよび転送ストリームを使用して、仮想3D空間内部で風景の3D表現を生成するように構成され得る。ある種の例では、仮想現実メディア・プロバイダ・システムは、メタデータおよび転送ストリームをメディアプレーヤ機器にストリーミングし得る。あるいは、仮想現実メディア・プロバイダ・システムは、メタデータおよび転送ストリームをCDNおよび/またはサードパーティ(たとえば、Amazon Web Servicesにより運営されるCDN)に提供し得る、次いで、CDNおよび/またはサードパーティは、任意の適切な手法でメタデータおよび転送ストリームをメディアプレーヤ機器にストリーミングする。動作1310は、本明細書で記述する方法のいずれかで遂行され得る。
ある種の例では、本明細書で記述するシステム、構成要素、および/または処理の1つまたは複数は、1つまたは複数の適切に構成されたコンピューティング機器により実装され得る、および/または遂行され得る。このために、上記で記述したシステムおよび/または構成要素の1つまたは複数は、本明細書で記述した処理の1つまたは複数を遂行するように構成された任意のコンピュータハードウェア、および/または少なくとも1つの非一時的コンピュータ可読媒体に具体化されたコンピュータ実装命令(たとえば、ソフトウェア)に含まれ得る、またはこれらにより実装され得る。詳細には、システム構成要素は、1つの物理的コンピューティング機器上に実装され得る、または2つ以上の物理的コンピューティング機器上に実装され得る。それに応じて、システム構成要素は、任意の数のコンピューティング機器を含み得る、そしていくつかのコンピュータ・オペレーティング・システムのいずれかを採用し得る。
ある種の実施形態では、本明細書で記述する処理の1つまたは複数は、非一時的コンピュータ可読媒体の中に具体化され、1つまたは複数のコンピューティング機器により実行可能な命令として少なくとも一部は実装され得る。一般に、プロセッサ(たとえば、マイクロプロセッサ)は、非一時的コンピュータ可読媒体(たとえば、メモリなど)から命令を受け取り、これらの命令を実行し、それにより、本明細書で記述する処理の1つまたは複数を含む1つまたは複数の処理を遂行する。そのような命令は、さまざまな公知のコンピュータ可読媒体のいずれかを使用して記憶され得る、および/または伝送され得る。
コンピュータ可読媒体(プロセッサ可読媒体とも呼ばれる)は、コンピュータにより(たとえば、コンピュータのプロセッサにより)読み出され得るデータ(たとえば、命令)を提供することに関与する任意の非一時的媒体を含む。そのような媒体は、不揮発性媒体および/または揮発性媒体を含むがこれらに限定されない多くの形態をとり得る。不揮発性媒体は、たとえば、光ディスクまたは磁気ディスク、および他の永続性メモリを含み得る。揮発性媒体は、たとえば、典型的には主記憶を構成するダイナミック・ランダム・アクセス・メモリ(dynamic random access memory、「DRAM」)を含み得る。コンピュータ可読媒体の一般的形態は、たとえば、ディスク、ハードディスク、磁気テープ、任意の他の磁気媒体、CD−ROM(compact disc read−only memory)、デジタル・ビデオ・ディスク(digital video disc、「DVD」)、任意の他の光学媒体、ランダム・アクセス・メモリ(random access memory、「RAM」)、プログラム可能読出し専用メモリ(programmable read−only memory、「PROM」)、電気的に消去可能プログラム可能読出し専用メモリ(electrically erasable programmable read−only memory、「EPROM」)、フラッシュEEPROM、任意の他のメモリチップもしくはカートリッジ、またはコンピュータが読み出すことができる任意の他の有形媒体を含む。
図14は、本明細書で記述する処理の1つまたは複数を遂行するように具体的に構成され得る代表的コンピューティング機器1400を例示する。図14に示すように、コンピューティング機器1400は、通信インフラストラクチャ1412を介して通信可能に接続された、通信インタフェース1402、プロセッサ1404、記憶装置1406、入出力(input/output、「I/O」)モジュール1408、およびグラフィックスカード1410を含み得る。図14には、代表的コンピューティング機器1400を示すが、図14に例示する構成要素は、限定することを意図するものではない。他の実施形態では、追加の、または代わりの構成要素を使用し得る。次に、図14に示すコンピューティング機器1400の構成要素について、さらに詳細に記述する。
通信インタフェース1402は、1つまたは複数のコンピューティング機器と通信するように構成され得る。通信インタフェース1402の例は、限定することなく、(ネットワーク・インタフェース・カードなどの)有線ネットワークインタフェース、(無線ネットワーク・インタフェース・カードなどの)無線ネットワークインタフェース、モデム、オーディオ/ビデオ接続、および任意の他の適切なインタフェースを含む。
プロセッサ1404は、一般にデータを処理もしくは解釈する、本明細書で記述する命令、処理、および/または動作の1つまたは複数を実行する、および/またはその実行を指示することができる任意のタイプまたは形態の処理ユニット(たとえば、中央処理装置)を表す。プロセッサ1404は、記憶装置1406または他のコンピュータ可読媒体に記憶され得るなどの1つもしくは複数のアプリケーション1414または他のコンピュータ実行可能命令に従って、動作の実行を指示し得る。
記憶装置1406は、1つまたは複数のデータ記憶媒体、機器、または構成を含み得る、そして任意のタイプ、形態、および組合せのデータ記憶媒体および/または機器を採用し得る。たとえば、記憶装置1406は、ハードドライブ、ネットワークドライブ、フラッシュドライブ、磁気ディスク、光ディスク、RAM、ダイナミックRAM、他の不揮発性および/もしくは揮発性データ記憶装置、またはこれらの組合せもしくは部分的組合せを含み得るがこれらに限定されない。本明細書で記述するデータを含む電子データは、記憶装置1406に一時的に、および/または恒久的に記憶され得る。たとえば、本明細書で記述する動作のいずれかを遂行するようにプロセッサ1404に指示するように構成された1つまたは複数の実行可能なアプリケーション1414を表すデータは、記憶装置1406の内部に記憶され得る。いくつかの例では、データは、記憶装置1406の内部に常駐する1つまたは複数のデータベース内に配列される。ある種の例では、記憶装置1406は、表面データ、メタデータ、データストリーム、ビデオストリーム、転送ストリーム、および/または設備106〜116により受信される、生成される、管理される、維持される、使用される、および/または伝送される任意の他のデータを維持し得る。記憶設備は、本明細書で記述する動作の1つまたは複数を遂行するために設備106〜116により使用され得るような任意の他のデータをさらに含み得る。
I/Oモジュール1408は、ユーザ入力を受信し,ユーザ出力を提供するように構成された1つまたは複数のI/Oモジュールを含み得る。1つまたは複数のI/Oモジュールを使用して、単一の仮想現実体験に関する入力を受信し得る。I/Oモジュール1408は、任意のハードウェア、任意のファームウェア、任意のソフトウェア、または入力および出力の能力を支援する、これらのハードウェア、ファームウェア、ソフトウェアの組合せを含み得る。たとえば、I/Oモジュール1408は、キーボードもしくはキーパッド、タッチスクリーン構成要素(たとえば、タッチスクリーン表示装置)、受信機(たとえば、RFまたは赤外線受信機)、動きセンサ、および/または1つまたは複数の入力ボタンを含むがこれらに限定されない、ユーザ入力を取り込むためのハードウェアおよび/またはソフトウェアを含み得る。
I/Oモジュール1408は、グラフィックスエンジン、表示装置(たとえば、表示画面)、1つまたは複数の出力ドライバ(たとえば、表示ドライバ)、1つまたは複数のオーディオスピーカ、および1つまたは複数のオーディオドライバを含むがこれらに限定されない、ユーザに出力を提示するための1つまたは複数の機器を含み得る。ある種の実施形態では、I/Oモジュール1408は、ユーザに提示するために表示装置にグラフィックデータを提供するように構成される。グラフィックデータは、特定の実装形態に役立ち得るように、1つまたは複数のグラフィカル・ユーザ・インタフェースおよび/または任意の他のグラフィックコンテンツであってもよい。I/Oモジュール1408は、ある種の実装形態から省かれ得る。
いくつかの例では、本明細書で記述する設備のいずれも、コンピューティング機器1400の1つまたは複数の構成要素により、またはその内部に実装され得る。たとえば、記憶装置1406の内部に常駐する1つまたは複数のアプリケーション1414は、プロセッサ1404に仮想現実メディア・プロバイダ・システム102(図1を参照のこと)のデータ取込設備106、データ処理設備108、データ符号化設備110、またはデータ多重化設備112に関連する1つまたは複数の処理または機能を遂行するように指示するように構成され得る。あるいは、記憶装置1406の内部に常駐する1つまたは複数のアプリケーション1414は、プロセッサ1404にメディアプレーヤ機器システム104(図1を参照のこと)のデータ復号/多重分離設備114またはデータ描画設備116に関連する1つまたは複数の処理または機能を遂行するように指示するように構成され得る。同様に、システム100に関連する任意の適切な記憶設備は、記憶装置1406により、またはその内部に実装され得る。
グラフィックスカード1410は、専用ビデオ復号ハードウェア(たとえば、1つまたは複数の専用ビデオ復号器)およびプログラム可能GPU1416を有する任意の適切なグラフィックスカード(たとえば、市販のグラフィックスカード)を含み得る。グラフィックスカード1410は、ある種の実装形態では追加の構成要素を含み得る。グラフィックスカード1410および/またはGPU1416は、本明細書で記述する代表的動作の1つまたは複数を実行するように、および/またはこれらを実行する際にプロセッサ1404を支援するように構成され得る。グラフィックスカード1410は、特定の実装形態に適合させ得るように、任意の適切な数のグラフィックスカードおよび/またはGPUを含み得る。
前述の実施形態が個人により提供される個人情報を収集し、記憶し、および/または採用する範囲で、そのような情報は、個人情報の保護に関係があるすべての適用可能な法律に従って使用されなければならないことを理解されたい。追加で、そのような情報の収集、記憶、および使用は、たとえば、状況、および情報のタイプに適合し得るような周知の「オプトイン」または「オプトアウト」の過程を通して、そのような活動に対して個人の同意を必要とし得る。個人情報は、たとえば特に機密に属する情報については、さまざまな暗号化および匿名化の技法によって、情報のタイプを反映する適切に安全な手法で記憶および使用され得る。
上記の記述では、添付図面を参照して、さまざまな代表的実施形態について記述してきた。しかしながら、さまざまな代表的実施形態にさまざまな修正および変更を行い得ること、および以下の特許請求の範囲で示されるような本発明の範囲を逸脱することなく、追加の実施形態を実装し得ることは明らかであろう。たとえば、本明細書で記述する一実施形態のある種の特徴は、本明細書で記述する別の実施形態の特徴と組み合わせられ得る、または置換され得る。したがって、明細書および図面は、限定的な意味ではなく例示的な意味で考慮に入れられるべきである。

Claims (20)

  1. 方法であって、
    仮想現実メディア・プロバイダ・システムにより、1つまたは複数の対象物を含む風景に関連して異なる見通しのきく地点に物理的に配置された複数の取込機器から、前記複数の取込機器に含まれる前記取込機器ごとに、2次元(「2D」)カラーデータおよび深度データを含む、前記1つまたは複数の対象物に関する表面データを取得するステップと、
    前記仮想現実メディア・プロバイダ・システムにより、前記取り込まれた表面データに基づき、前記複数の取込機器に含まれる前記取込機器ごとに、前記2Dカラーデータに関するカラー・ビデオ・データ・ストリーム、および前記深度データに関する深度ビデオ・データ・ストリームを生成するステップと、
    前記仮想現実メディア・プロバイダ・システムにより、前記複数の取込機器に含まれる前記取込機器ごとに、前記カラー・ビデオ・データ・ストリームおよび前記深度ビデオ・データ・ストリームに関するメタデータを取得するステップと、
    前記仮想現実メディア・プロバイダ・システムにより、前記複数の取込機器に含まれる前記取込機器ごとに、前記カラー・ビデオ・データ・ストリームおよび前記深度ビデオ・データ・ストリームを転送ストリームの中にパッケージ化するステップと、
    前記仮想現実メディア・プロバイダ・システムにより、メディアプレーヤ機器にストリーミングするために前記メタデータおよび前記転送ストリームを提供するステップと
    を備える方法。
  2. 前記転送ストリーム内にパッケージ化された各前記カラー・ビデオ・データ・ストリームは、前記複数の取込機器に含まれる対応する取込機器が取り込んだ風景の一連の順次2Dカラーデータ取込みとしてフォーマットされた2Dカラーデータを含み、
    前記転送ストリーム内にパッケージ化された各前記深度ビデオ・データ・ストリームは、前記複数の取込機器に含まれる対応する取込機器が取り込んだ風景の一連の順次2D深度データ取込みとしてフォーマットされた深度データを含む、
    請求項1に記載の方法。
  3. 前記一連の順次2Dカラーデータ取込みに含まれる各2Dカラーデータ取込みは、前記一連の順次2D深度データ取込みに含まれる対応する2D深度データ取込みと時間的に整列させられる、請求項2に記載の方法。
  4. 前記メタデータは、前記一連の順次2Dカラーデータ取込みに含まれる対応する2Dカラーデータ取込み、および前記一連の2D深度データ取込みに含まれる対応する2D深度データ取込とそれぞれ時間的に整列する一連の順次メタデータ取込みとしてフォーマットされる、請求項2に記載の方法。
  5. 前記転送ストリーム内部にパッケージ化された各前記カラー・ビデオ・データ・ストリームおよび各前記深度ビデオ・データ・ストリームは、前記転送ストリーム内部の別個のストリームとして提供される、請求項1に記載の方法。
  6. 前記メタデータは、前記複数の取込機器に含まれる各前記取込機器の、前記風景に関する相対位置および取込角を示す情報を含む、請求項1に記載の方法。
  7. 前記複数の取込機器に含まれる前記取込機器ごとに、前記カラー・ビデオ・データ・ストリームおよび前記深度ビデオ・データ・ストリームを前記転送ストリームの中にパッケージ化する前記ステップは、前記転送ストリーム内部に前記メタデータをパッケージ化するステップをさらに備え、
    前記メディアプレーヤ機器にストリーミングするために前記メタデータおよび前記転送ストリームを提供する前記ステップは、前記転送ストリーム内部で前記メディアプレーヤ機器にストリーミングするために前記メタデータを提供するステップをさらに含む、
    請求項1に記載の方法。
  8. 前記メディアプレーヤ機器にストリーミングするために前記メタデータおよび前記転送ストリームを提供する前記ステップは、前記転送ストリームとは別個にストリーミングされるべき前記メタデータを提供するステップを備える、請求項1に記載の方法。
  9. 前記複数の取込機器に含まれる前記取込機器ごとの前記2Dカラーデータおよび前記深度データは、ある時点に前記風景に関して取り込まれた1組の2Dカラーデータおよび深度データ全体のサブセットであり、
    前記方法は、
    前記仮想現実メディア・プロバイダ・システムにより、前記風景に関連する仮想3次元(「3D」)空間に関する前記メディアプレーヤ機器のユーザの視点に基づき、前記転送ストリームの中にパッケージ化されるべき前記時点に、前記風景に関して取り込まれた前記1組の2Dカラーデータおよび深度データ全体の前記サブセットを選択するステップと、
    前記時点に、前記風景に関して取り込まれた前記1組の2Dカラーデータおよび深度データ全体の残りの部分を前記転送ストリームの中にパッケージ化させないステップと
    をさらに備える、
    請求項1に記載の方法。
  10. 少なくとも1つの非一時的コンピュータ可読媒体上でコンピュータ実行可能命令として具体化される、請求項1に記載の方法。
  11. 方法であって、
    仮想現実メディア・プロバイダ・システムにより、1つまたは複数の対象物を含む風景に関連して異なる取込角を有する異なる位置に物理的に配置された複数の取込機器から、前記複数の取込機器に含まれる各前記取込機器から2次元(「2D」)カラーデータおよび深度データを含む、前記1つまたは複数の対象物に関する表面データを取得するステップであって、前記複数の取込機器に含まれる各前記取込機器ごとの前記2Dカラーデータおよび前記深度データは、前記風景に関連して特定の取込角を有する特定の位置から、前記風景の、メッシュによって表されていない別個の眺望を表現するステップと、
    前記仮想現実メディア・プロバイダ・システムにより、前記取り込まれた表面データに基づき、前記複数の取込機器に含まれる前記取込機器ごとに、前記2Dカラーデータに関するカラー・ビデオ・データ・ストリーム、および前記深度データに関する深度ビデオ・データ・ストリームを生成するステップと、
    前記仮想現実メディア・プロバイダ・システムにより、前記複数の取込機器に含まれる前記取込機器ごとに、前記カラー・ビデオ・データ・ストリームおよび前記深度ビデオ・データ・ストリームに関するメタデータを取得するステップと、
    前記仮想現実メディア・プロバイダ・システムにより、前記複数の取込機器に含まれる前記取込機器ごとに、前記カラー・ビデオ・データ・ストリームおよび前記深度ビデオ・データ・ストリームを転送ストリームの中にパッケージ化するステップであって、前記転送ストリーム内にパッケージ化された各前記カラー・ビデオ・データ・ストリームは、前記複数の取込機器に含まれる対応する取込機器により取り込まれた前記風景の一連の順次2Dカラーデータ取込みとしてフォーマットされた2Dカラーデータを含み、前記転送ストリーム内にパッケージ化された各前記深度ビデオ・データ・ストリームは、前記複数の取込機器に含まれる対応する取込機器により取り込まれた前記風景の一連の順次2D深度データ取込みとしてフォーマットされた深度データを含むステップと、
    前記仮想現実メディア・プロバイダ・システムにより、前記メタデータおよび前記転送ストリームを処理して、前記複数の取込機器に含まれる前記取込機器ごとに、前記メタデータ、前記カラー・ビデオ・データ・ストリーム、および前記深度ビデオ・データ・ストリームにアクセスし、それらを使用して、仮想3次元(「3D」)空間内で前記風景の3D表現を生成するように構成された前記メディアプレーヤ機器にストリーミングするために前記メタデータおよび前記転送ストリームを提供するステップと
    を備える方法。
  12. 前記一連の順次2Dカラーデータ取込みに含まれる各2Dカラーデータ取込みは、前記一連の順次2D深度データ取込みに含まれる対応する2D深度データ取込みと時間的に整列させられる、請求項11に記載の方法。
  13. 前記メタデータは、前記複数の取込機器に含まれる各前記取込機器の、前記風景に関する相対位置および取込角を示す情報を含む、請求項11に記載の方法。
  14. 少なくとも1つの非一時的コンピュータ可読媒体上でコンピュータ実行可能命令として具体化される、請求項11に記載の方法。
  15. システムであって、
    少なくとも1つの物理的コンピューティング機器であって、
    1つまたは複数の対象物を含む風景に関連して異なる見通しのきく地点に物理的に配置された複数の取込機器から、前記複数の取込機器に含まれる前記取込機器ごとに、2次元(「2D」)カラーデータおよび深度データを含む、前記1つまたは複数の対象物に関する表面データを取得し、
    前記取り込まれた表面データに基づき、前記複数の取込機器に含まれる前記取込機器ごとに、前記2Dカラーデータに関するカラー・ビデオ・データ・ストリーム、および前記深度データに関する深度ビデオ・データ・ストリームを生成し、
    前記複数の取込機器に含まれる前記取込機器ごとに、前記カラー・ビデオ・データ・ストリームおよび前記深度ビデオ・データ・ストリームに関するメタデータを取得し、
    前記複数の取込機器に含まれる前記取込機器ごとに、前記カラー・ビデオ・データ・ストリームおよび前記深度ビデオ・データ・ストリームを転送ストリームにパッケージ化し、
    メディアプレーヤ機器にストリーミングするために前記メタデータおよび前記転送ストリームを提供する
    少なくとも1つの物理的コンピューティング機器
    を備えるシステム。
  16. 前記転送ストリーム内にパッケージ化された各前記カラー・ビデオ・データ・ストリームは、前記複数の取込機器に含まれる対応する取込機器が取り込んだ前記風景の一連の順次2Dカラーデータ取込みとしてフォーマットされた2Dカラーデータを含み、
    転送ストリーム内にパッケージ化された各前記深度ビデオ・データ・ストリームは、前記複数の取込機器に含まれる対応する取込機器が取り込んだ前記風景の一連の順次2D深度データ取込みとしてフォーマットされた深度データを含む、
    請求項15に記載のシステム。
  17. 前記一連の順次2Dカラーデータ取込みに含まれる各2Dカラーデータ取込みは、前記一連の順次2D深度データ取込みに含まれる対応する2D深度データ取込みと時間的に整列させられる、請求項15に記載のシステム。
  18. 前記メタデータは、前記風景に関する相対位置および取込角を示す情報、視界情報、ならびに前記複数の取込機器に含まれる各前記取込機器の固有の取込機器パラメータを含む、請求項15に記載のシステム。
  19. 前記複数の取込機器に含まれる各前記取込機器は、前記風景に関連するオーディオデータを取り込むようにさらに構成され、
    前記少なくとも1つの物理的コンピューティング機器は、前記複数の取込機器に含まれる前記取込機器ごとに、前記オーディオデータを前記転送ストリームの中にさらにパッケージ化する、
    請求項15に記載のシステム。
  20. 前記転送ストリームの内部にパッケージ化された各前記カラー・ビデオ・データ・ストリームおよび各前記深度ビデオ・データ・ストリームは、前記転送ストリーム内部の別個のストリームとして提供される、請求項15に記載のシステム。
JP2019566099A 2017-05-31 2018-01-12 取り込まれた2d風景画像を使用して仮想現実コンテンツを提供するための方法およびシステム Pending JP2020522926A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/610,575 US10009640B1 (en) 2017-05-31 2017-05-31 Methods and systems for using 2D captured imagery of a scene to provide virtual reality content
US15/610,575 2017-05-31
PCT/US2018/013554 WO2018222229A1 (en) 2017-05-31 2018-01-12 Methods and systems for using 2d captured imagery of a scene to provide virtual reality content

Publications (1)

Publication Number Publication Date
JP2020522926A true JP2020522926A (ja) 2020-07-30

Family

ID=62599066

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019566099A Pending JP2020522926A (ja) 2017-05-31 2018-01-12 取り込まれた2d風景画像を使用して仮想現実コンテンツを提供するための方法およびシステム

Country Status (6)

Country Link
US (3) US10009640B1 (ja)
EP (1) EP3632125A4 (ja)
JP (1) JP2020522926A (ja)
KR (1) KR20200012878A (ja)
CN (1) CN110663257B (ja)
WO (1) WO2018222229A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7159057B2 (ja) * 2017-02-10 2022-10-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 自由視点映像生成方法及び自由視点映像生成システム
EP3379379A1 (en) * 2017-03-24 2018-09-26 Nokia Technologies Oy Virtual reality system and method
US10009640B1 (en) * 2017-05-31 2018-06-26 Verizon Patent And Licensing Inc. Methods and systems for using 2D captured imagery of a scene to provide virtual reality content
US10346994B2 (en) * 2017-07-29 2019-07-09 Verizon Patent And Licensing Inc. Systems and methods for inward-looking depth scanning of a real-world scene
WO2019031259A1 (ja) * 2017-08-08 2019-02-14 ソニー株式会社 画像処理装置および方法
US11288733B2 (en) * 2018-11-14 2022-03-29 Mastercard International Incorporated Interactive 3D image projection systems and methods
US20210105451A1 (en) * 2019-12-23 2021-04-08 Intel Corporation Scene construction using object-based immersive media
CN111966942B (zh) * 2020-08-11 2024-06-07 济南科明数码技术股份有限公司 一种移动终端的vr展示方法、系统及设备
CN116248895B (zh) * 2023-05-06 2023-07-21 上海扬谷网络科技有限公司 虚拟现实全景漫游的视频云转码方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004200814A (ja) * 2002-12-16 2004-07-15 Sanyo Electric Co Ltd 立体映像生成方法及び立体映像生成装置
JP2012501031A (ja) * 2008-08-26 2012-01-12 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 三次元ビデオ信号を符号化するための方法及びシステム、三次元ビデオ信号を符号化するための符号器、符号化された三次元ビデオ信号、三次元ビデオ信号を復号するための方法及びシステム、三次元ビデオ信号を復号するための復号器。
JP2013030898A (ja) * 2011-07-27 2013-02-07 Nippon Telegr & Teleph Corp <Ntt> 画像伝送方法、画像伝送装置、画像送信装置、画像受信装置、画像送信プログラム及び画像受信プログラム
US20150054916A1 (en) * 2010-09-19 2015-02-26 Lg Electronics Inc. Method and apparatus for processing a broadcast signal for 3d broadcast service
JP2015080199A (ja) * 2013-09-11 2015-04-23 ソニー株式会社 画像処理装置および方法
US20170094262A1 (en) * 2014-05-13 2017-03-30 Pcp Vr Inc. Method, system and apparatus for generation and playback of virtual reality multimedia
JP2017073799A (ja) * 2011-03-18 2017-04-13 ソニー株式会社 画像処理装置および画像処理方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100135032A (ko) * 2009-06-16 2010-12-24 삼성전자주식회사 2차원 영상의 3차원 영상 변환 장치 및 방법
US8614737B2 (en) * 2009-09-11 2013-12-24 Disney Enterprises, Inc. System and method for three-dimensional video capture workflow for dynamic rendering
EP2490179B1 (en) * 2011-02-18 2018-05-09 Alcatel Lucent Method and apparatus for transmitting and receiving a panoramic video stream
EP4221187A3 (en) * 2012-09-10 2023-08-09 Aemass, Inc. Multi-dimensional data capture of an environment using plural devices
US9619884B2 (en) * 2013-10-03 2017-04-11 Amlogic Co., Limited 2D to 3D image conversion device and method
CN104933755B (zh) * 2014-03-18 2017-11-28 华为技术有限公司 一种静态物体重建方法和系统
US9663921B2 (en) * 2015-07-09 2017-05-30 Caterpillar Inc. System and method for controlling operations of a machine
US10210662B2 (en) * 2016-12-09 2019-02-19 Fyusion, Inc. Live augmented reality using tracking
US10009640B1 (en) * 2017-05-31 2018-06-26 Verizon Patent And Licensing Inc. Methods and systems for using 2D captured imagery of a scene to provide virtual reality content

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004200814A (ja) * 2002-12-16 2004-07-15 Sanyo Electric Co Ltd 立体映像生成方法及び立体映像生成装置
JP2012501031A (ja) * 2008-08-26 2012-01-12 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 三次元ビデオ信号を符号化するための方法及びシステム、三次元ビデオ信号を符号化するための符号器、符号化された三次元ビデオ信号、三次元ビデオ信号を復号するための方法及びシステム、三次元ビデオ信号を復号するための復号器。
US20150054916A1 (en) * 2010-09-19 2015-02-26 Lg Electronics Inc. Method and apparatus for processing a broadcast signal for 3d broadcast service
JP2017073799A (ja) * 2011-03-18 2017-04-13 ソニー株式会社 画像処理装置および画像処理方法
JP2013030898A (ja) * 2011-07-27 2013-02-07 Nippon Telegr & Teleph Corp <Ntt> 画像伝送方法、画像伝送装置、画像送信装置、画像受信装置、画像送信プログラム及び画像受信プログラム
JP2015080199A (ja) * 2013-09-11 2015-04-23 ソニー株式会社 画像処理装置および方法
US20170094262A1 (en) * 2014-05-13 2017-03-30 Pcp Vr Inc. Method, system and apparatus for generation and playback of virtual reality multimedia

Also Published As

Publication number Publication date
EP3632125A1 (en) 2020-04-08
EP3632125A4 (en) 2020-12-09
US20180352267A1 (en) 2018-12-06
KR20200012878A (ko) 2020-02-05
CN110663257A (zh) 2020-01-07
US10484727B2 (en) 2019-11-19
US10009640B1 (en) 2018-06-26
US20200045349A1 (en) 2020-02-06
US10785513B2 (en) 2020-09-22
WO2018222229A1 (en) 2018-12-06
CN110663257B (zh) 2022-04-26

Similar Documents

Publication Publication Date Title
US10785513B2 (en) Methods and systems for using 2D captured imagery of a scene to provide media content
JP7289796B2 (ja) 3次元(「3d」)シーンの2次元(「2d」)キャプチャ画像に基づいて仮想現実コンテンツをレンダリングするための方法およびシステム
US10380762B2 (en) Real-time remote collaboration and virtual presence using simultaneous localization and mapping to construct a 3D model and update a scene based on sparse data
US11729465B2 (en) System and method providing object-oriented zoom in multimedia messaging
CN110419224B (zh) 消费视频内容的方法、电子设备和服务器
US10347298B2 (en) Method and apparatus for smart video rendering
US11924397B2 (en) Generation and distribution of immersive media content from streams captured via distributed mobile devices
US20200388068A1 (en) System and apparatus for user controlled virtual camera for volumetric video
JP2022536182A (ja) データストリームを同期させるシステム及び方法
US11055917B2 (en) Methods and systems for generating a customized view of a real-world scene
US11568893B2 (en) Image acquisition system and method
US20200334911A1 (en) Method and program for providing augmented reality image by using depth data
US20230206575A1 (en) Rendering a virtual object in spatial alignment with a pose of an electronic device
EP4202611A1 (en) Rendering a virtual object in spatial alignment with a pose of an electronic device
EP2852149A1 (en) Method and apparatus for generation, processing and delivery of 3D video

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210108

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220208

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220913