JP2013501474A - トランスポート・プロトコルに従って３次元ビデオデータをカプセル化すること - Google Patents

トランスポート・プロトコルに従って３次元ビデオデータをカプセル化すること Download PDF

Info

Publication number
JP2013501474A
JP2013501474A JP2012523742A JP2012523742A JP2013501474A JP 2013501474 A JP2013501474 A JP 2013501474A JP 2012523742 A JP2012523742 A JP 2012523742A JP 2012523742 A JP2012523742 A JP 2012523742A JP 2013501474 A JP2013501474 A JP 2013501474A
Authority
JP
Japan
Prior art keywords
video data
module
video
display
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012523742A
Other languages
English (en)
Other versions
JP5596146B2 (ja
Inventor
ラビーンドラン、ビジャヤラクシュミ・アール．
マルティネス・バウザ、ジュディット
ソリマン、サミア・サリブ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2013501474A publication Critical patent/JP2013501474A/ja
Application granted granted Critical
Publication of JP5596146B2 publication Critical patent/JP5596146B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4381—Recovering the multiplex stream from a specific network, e.g. recovering MPEG packets from ATM cells
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44231—Monitoring of peripheral device or external card, e.g. to detect processing problems in a handheld device or the failure of an external recording device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Databases & Information Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

概して、トランスポート・プロトコルに従って３次元ビデオデータをカプセル化するための技法について説明する。一例として、マルチメディア処理モジュールとトランスポート・プロトコル・モジュールとワイヤレス・モジュールとを備える装置が本技法を実装する。マルチメディア処理モジュールは、３Ｄビデオ・コンテンツのビデオデータ・セグメントとオーディオデータ・セグメントと深さデータ・セグメントとを生成する。トランスポート・プロトコル・モジュールは、トランスポート・プロトコルに従ってビデオデータ・セグメントとオーディオデータ・セグメントと深さデータ・セグメントとの各々を複数のパケットのうちの異なる１つの中にカプセル化し、３Ｄビデオ・コンテンツの再生を向上させるためのメタデータを複数のパケットのうちの少なくとも１つに追加する。ワイヤレス・モジュールはパケットを装置の外部の３Ｄディスプレイ・デバイスに送信する。

Description

本開示は、ビデオデータ処理に関し、より詳細には、閲覧者への提示のためのビデオデータの配信に関する。
優先権の主張
本出願は、２００９年８月６日に出願された米国特許仮出願第６１／２３１，９２１号の利益を主張する。
本特許出願は、以下の同時係属米国特許出願、すなわち、
本明細書と同時に出願され、本出願の譲受人に譲渡され、参照により本明細書に明確に組み込まれる、代理人整理番号第０９１７３０号を有する「Transforming Video Data in Accordance with Human Visual System Feedback Metrics」と、
本明細書と同時に出願され、本出願の譲受人に譲渡され、参照により本明細書に明確に組み込まれる、代理人整理番号第０９１７６５号を有する「Transforming Video Data in Accordance with Three Dimensional Input Formats」と、
本明細書と同時に出願され、本出願の譲受人に譲渡され、参照により本明細書に明確に組み込まれる、代理人整理番号第０９１６７４Ｕ１号を有する「Preparing Video Data in Accordance with a Wireless Display Protocol」と
に関する。
ビデオ・ディスプレイ・デバイスは、ユーザによる閲覧のためにビデオデータを提示する。一般に、ディスプレイ・デバイスによって提示されるビデオデータは、所与のレート、たとえば、Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ Ｓｙｓｔｅｍｓ Ｃｏｍｍｉｔｔｅｅ（ＮＴＳＣ）規格に記載されている２９．９７フレーム毎秒での再生を対象とする連続的な一連のビデオフレームを備える。このビデオデータは深さ情報を含んでいないので、ビデオデータは２次元（２Ｄ）ビデオデータとして特徴づけられる。この２Ｄビデオデータを提示するディスプレイ・デバイスはしばしば「２Ｄディスプレイ」と呼ばれる。
現在、３次元（３Ｄ）ビデオデータを提示するための３次元（３Ｄ）ディスプレイ・デバイスが開発されている。これらのいわゆる「３Ｄディスプレイ」は、提示された３Ｄビデオデータを適切に閲覧するために、シャッターメガネ、偏光メガネまたは二色メガネ（たとえば、１つの赤色レンズと１つの緑色レンズとをもつメガネ）などの追加の閲覧アクセサリを必要とし得る。追加の閲覧アクセサリを必要とする３Ｄディスプレイ・デバイスはしばしば「立体視３Ｄディスプレイ」と呼ばれる。「自動立体視３Ｄディスプレイ」と呼ばれる他の３Ｄディスプレイ・デバイスは、追加の閲覧アクセサリの必要なしに閲覧者が閲覧することができる３Ｄビデオデータを提示することが可能である。
立体視であるか自動立体視であるかにかかわらず、異なる製造業者の３Ｄディスプレイは、一般に、ベンダー固有または製造業者固有の入力ファイル・フォーマットに準拠する３Ｄビデオデータを必要とする。たとえば、１つの提案されている３Ｄビデオデータ・フォーマットは、２Ｄビデオデータ＋深さ情報を備え、「２Ｄ＋深さ」と呼ばれる。２Ｄ＋深さディスプレイ・デバイスは、２Ｄ＋深さ３Ｄビデオデータ・フォーマットで与えられた３Ｄビデオデータのみを提示し得る。他のタイプの３Ｄディスプレイは、マルチビュー２Ｄストリーム・フォーマットにおける３Ｄビデオデータを必要とし得る。マルチビュー２Ｄストリーム・フォーマットは複数の２Ｄストリームをパッケージングし、２Ｄストリームはそれぞれ、同時に（理想的には、同期式に）異なるキャプチャ要素（たとえば、カメラ）を用いて同じシーンから収集される。これらの異なる一般にプロプライエタリな３Ｄビデオデータ・フォーマットの結果として、１つの製造業者からの所与の３Ｄディスプレイ・デバイスは、その製造業者のプロプライエタリ３Ｄビデオデータ・フォーマットに従ってフォーマットされた３Ｄビデオデータしか提示し得ない。
概して、クロスプラットフォーム（cross-platform）３次元（３Ｄ）ビデオデータ再生を可能にするための技法について説明する。「プラットフォーム」という用語は、概して、特定のビデオ・ディスプレイ・デバイス、および／またはオーディオ／ビデオ受信機などの任意のサポートデバイスのソフトウェアおよびハードウェア・コンピューティング・フレームワーク、ならびにビデオ復号および再生に関するこのフレームワークの制限および機能を指す。様々な態様において、本技法は、２次元（２Ｄ）ビデオデータであるか３Ｄビデオデータであるかにかかわらず、異なる３Ｄビデオ再生プラットフォーム上での再生が可能であるように、ビデオデータを３Ｄビデオデータに変換し得る。この点において、本技法は、様々な態様において、クロスプラットフォーム３Ｄビデオ再生を促進し得る。
一態様では、装置は、３Ｄビデオ・コンテンツのビデオデータ・セグメントとオーディオデータ・セグメントと深さデータ・セグメントとを生成するマルチメディア処理モジュールと、トランスポート・プロトコルに従ってビデオデータ・セグメントとオーディオデータ・セグメントと深さデータ・セグメントとの各々を複数のパケットのうちの異なる１つの中にカプセル化し、３Ｄビデオ・コンテンツの再生を向上させるためのメタデータを複数のパケットのうちの少なくとも１つに追加するトランスポート・プロトコル・モジュールと、パケットを装置の外部の３Ｄディスプレイ・デバイスに送信するワイヤレス・モジュールと、を備える。
別の態様では、方法は、装置のマルチメディア処理モジュールによって、３Ｄビデオ・コンテンツのビデオデータ・セグメントとオーディオデータ・セグメントと深さデータ・セグメントとを生成することと、装置のトランスポート・プロトコル・モジュールによって、トランスポート・プロトコルに従ってビデオデータ・セグメントとオーディオデータ・セグメントと深さデータ・セグメントとの各々を複数のパケットのうちの異なる１つの中にカプセル化し、３Ｄビデオ・コンテンツの再生を向上させるためのメタデータを複数のパケットのうちの少なくとも１つに追加することと、装置のワイヤレス・モジュールによって、パケットを装置の外部の３Ｄディスプレイ・デバイスに送信することと、を備える。
別の態様では、装置は、３Ｄビデオ・コンテンツのビデオデータ・セグメントとオーディオデータ・セグメントと深さデータ・セグメントとを生成するための手段と、トランスポート・プロトコルに従ってビデオデータ・セグメントとオーディオデータ・セグメントと深さデータ・セグメントとの各々を複数のパケットのうちの異なる１つの中にカプセル化し、３Ｄビデオ・コンテンツの再生を向上させるためのメタデータを複数のパケットのうちの少なくとも１つに追加するための手段と、パケットを装置の外部の３Ｄディスプレイ・デバイスに送信するための手段と、を備える。
別の態様では、コンピュータ可読記憶媒体は、３Ｄビデオ・コンテンツのビデオデータ・セグメントとオーディオデータ・セグメントと深さデータ・セグメントとを生成することと、トランスポート・プロトコルに従ってビデオデータ・セグメントとオーディオデータ・セグメントと深さデータ・セグメントとの各々を複数のパケットのうちの異なる１つの中にカプセル化し、３Ｄビデオ・コンテンツの再生を向上させるためのメタデータを複数のパケットのうちの少なくとも１つに追加することと、パケットを装置の外部の３Ｄディスプレイ・デバイスに送信することと、をプロセッサに行わせる命令を備える。
本技法の１つまたは複数の態様の詳細を添付の図面および以下の説明に記載する。本技法の他の特徴、目的、および利点は、その説明および図面、ならびに特許請求の範囲から明らかになろう。
モバイル・デバイスが、クロスプラットフォーム・ビデオデータ再生を促進するために本開示の技法の様々な態様を実装する、システムを示すブロック図。 図１のモバイル・デバイスをより詳細に示すブロック図。 図２のモバイル・デバイスの変換モジュールとオフライン処理モジュールとをより詳細に示すブロック図。 本開示で説明する技法の様々な態様を実装する際のデバイスの例示的な動作を示すフローチャート。 本開示で説明する技法の様々な態様を実装する際のデバイスの例示的な動作を示すフローチャート。 本開示で説明する技法の様々な態様を実装する例示的なデバイスを示すブロック図。 本開示で説明する技法の様々な態様を実行する際のモバイル・デバイスの例示的な動作を示すフローチャート。 本開示で説明する技法の様々な態様に従ってフォーマットされた３次元（３Ｄ）ビデオ・コンテンツを示すブロック図。 本開示で説明する技法の様々な態様による、メタデータが埋め込まれた例示的なセグメントを示すブロック図。 本開示で説明する技法の様々な態様による、メタデータが埋め込まれた例示的なセグメントを示すブロック図。 本開示で説明する技法の様々な態様による、メタデータが埋め込まれた例示的なセグメントを示すブロック図。 本開示で説明する技法のフォーマッティング態様を実行する際のワイヤレス・ディスプレイ（ＷＤ）ホストユニットの例示的な動作を示すフローチャート。 クロスプラットフォームビデオ再生を促進するために本開示で説明する技法の１つまたは複数の態様を実装する様々なシステムを示すブロック図。 クロスプラットフォームビデオ再生を促進するために本開示で説明する技法の１つまたは複数の態様を実装する様々なシステムを示すブロック図。 クロスプラットフォームビデオ再生を促進するために本開示で説明する技法の１つまたは複数の態様を実装する様々なシステムを示すブロック図。 クロスプラットフォームビデオ再生を促進するために本開示で説明する技法の１つまたは複数の態様を実装する様々なシステムを示すブロック図。 クロスプラットフォームビデオ再生を促進するために本開示で説明する技法の１つまたは複数の態様を実装する様々なシステムを示すブロック図。
本開示は、クロスプラットフォーム３次元（３Ｄ）ビデオ再生を促進する技法を対象とする。「プラットフォーム」という用語は、概して、特定のビデオ・ディスプレイ・デバイス、および／またはオーディオ／ビデオ受信機などの任意のサポートデバイスのソフトウェアおよびハードウェア・コンピューティング・フレームワーク、ならびにビデオ復号および再生に関するこのフレームワークの制限および機能を指す。２次元（２Ｄ）ディスプレイ・デバイスは、典型的に、一般に「ＭＰＥＧ−２」として知られるＭｏｖｉｎｇ Ｐｉｃｔｕｒｅｓ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＭＰＥＧ）規格パート２に従ってフォーマットされたビデオデータを受信し、復号し、提示するためのプラットフォームを与える。２Ｄビデオデータと３次元（３Ｄ）ビデオデータの両方を提示することが可能な他のハイブリッドディスプレイ・デバイスは、ＭＰＥＧ−２規格と、製造業者固有のプロプライエタリフォーマットなど、特定の３Ｄビデオデータ・フォーマットとに従ってフォーマットされたビデオデータを受信し、復号し、提示することが可能なハイブリッドプラットフォームを与え得る。プロプライエタリフォーマットの例には、２Ｄ＋深さフォーマット（「２Ｄ＋ｚ」フォーマットと呼ばれることがあり、「ｚ」は深さを表す）、（透明度が特定のタイプのグローバル効果である）２Ｄ＋深さオクルージョンおよびグローバル効果（2D-plus-depth-occlusion-and-global-effect）ならびにマルチビュー２Ｄストリーム・フォーマットがある。３Ｄ専用ディスプレイ・デバイスは、一般に、製造業者固有の３Ｄフォーマットのうちの１つに従ってフォーマットされた３Ｄビデオデータを受信し、復号し、提示するためのプラットフォームを与える。
本技法は、いくつかの異なる３Ｄビデオプラットフォーム上での３Ｄビデオ再生を可能にすることによってクロスプラットフォーム３Ｄビデオ再生を促進する。現在、１つの製造業者固有のプロプライエタリ３Ｄビデオフォーマットも、さらにはオープンソースまたは他の「無料」３Ｄビデオフォーマットも、規格化されておらず、または業界全体では受け入れられていない。代わりに、これらの様々なフォーマットの各々に関連する製造業者は、市場においてそのような規格化を促進しようと試みている。その上、異なるフォーマット間の競合のせいで、これらの３Ｄビデオフォーマットのいずれも、クロスプラットフォーム３Ｄビデオ再生をサポートしていない。クロスプラットフォーム３Ｄビデオ再生は、概して、あるプラットフォームが、異なるプラットフォームのためにフォーマットされた３Ｄビデオデータを再生する能力を指す。したがって、一般に、あるフォーマットでフォーマットされた３Ｄビデオデータを、別の異なるフォーマットでフォーマットされた３Ｄビデオデータを受信し、復号し、提示するプラットフォームを与える３Ｄディスプレイ・デバイスが表示することはできない。この点において、本開示の技法は、あるフォーマットから別のフォーマットに３Ｄビデオデータを変換することによってクロスプラットフォーム３Ｄビデオ再生を促進し得る。
また、クロスプラットフォーム３Ｄビデオ再生は、３Ｄディスプレイ・デバイス上での再生のために２Ｄビデオデータを３Ｄビデオデータに変換することに関与する。したがって、「クロスプラットフォーム」という用語は、２Ｄプラットフォームならびに３Ｄプラットフォームをも含み得、本技法は、２Ｄビデオデータを受信することと、この２Ｄビデオデータを、特定の３Ｄディスプレイ・デバイスまたはハイブリッド２Ｄ／３Ｄディスプレイ・デバイスによってサポートされる３Ｄビデオデータ・フォーマットに従ってフォーマットされた３Ｄビデオデータに変換することとを備え得る。ハイブリッド２Ｄ／３Ｄディスプレイ・デバイスは、２Ｄビデオ復号および再生と３Ｄビデオ復号および再生との両方が可能なディスプレイ・デバイスを備える。
本技法は、いくつかの態様では、クロスプラットフォーム３Ｄビデオ再生を促進し得る。一態様では、本技法は、問合せを受けたビデオ・ディスプレイ・デバイスによってサポートされる３Ｄビデオデータ・フォーマットを判断するためのビデオ・ディスプレイ問合せを可能にし得る。この問合せは、自動的に、または問合せのために１つまたは複数の３Ｄディスプレイ・デバイスを選択するための最初のユーザ入力以外のユーザ入力なしに、行われ得る。３Ｄディスプレイ・デバイスのこの３Ｄビデオデータ・フォーマットを自動的に判断した後に、本技法は、自動的に判断された３Ｄビデオデータ・フォーマットに従って３Ｄビデオデータを生成するように２Ｄビデオデータを３Ｄビデオデータにコンバートする、１つまたは複数のモジュールを自動的に（たとえば、ユーザ入力なしに）構成することに関与し得る。次いで、構成されたモジュールは、２Ｄビデオデータを受信し、この２Ｄビデオデータを、ディスプレイ・デバイスの自動的に判断された入力フォーマットに準拠する３Ｄビデオデータに変換するかまたは場合によってはコンバートする。この３Ｄビデオデータは３Ｄディスプレイ・デバイスに送られ、３Ｄディスプレイ・デバイスは続いて、この３Ｄビデオデータを復号し、ユーザによる閲覧のために提示する。
別の態様では、本技法は、特定の３Ｄディスプレイ・デバイスによる３Ｄビデオデータの再生中に３Ｄビデオデータの３Ｄ可視化の品質を反映する監視されたパラメータに基づいてビデオデータを３Ｄビデオデータに変換するモジュールのうちの１つまたは複数の再構成によってクロスプラットフォーム３Ｄビデオ再生を促進し得る。この再構成は、ビデオデータの変換中に動的に行われ得る。モジュールの再構成は、３Ｄディスプレイ・デバイスによって生成される３Ｄ可視化の品質を動的に改善するために３Ｄビデオデータの生成を改良する。モジュールの再構成はまた、許容できる３Ｄビデオ品質のために処理複雑さを低減するという目的にかない得る。処理複雑さは、再構成パラメータに従って同じ機能を実行するためにモジュールの一部の実行を無効化すること、またはより単純なプロセスを選択することによって低減され得る。より単純なプロセスは、ユーザ定義の基準に従って依然として許容できると見なされるべき低減された３Ｄビデオ品質を誘起し得る。処理複雑さを低減することは、電力消費量を低減するか、またはモジュールの機能の実行を高速化し得る。特に、２Ｄビデオデータまたは３Ｄビデオデータのいずれかであるビデオデータを、特定の３Ｄディスプレイ・デバイスのためにフォーマットされた３Ｄビデオデータに変換するために使用される、パラメータの監視とモジュールの再構成とは、ほぼリアルタイムで、または３Ｄビデオデータを３Ｄディスプレイ・デバイスにストリーミングしている間に、行われ得る。
別の態様では、本技法は、ワイヤレス・インターフェースを与える一定のクラスの３Ｄディスプレイ・デバイスのためのクロスプラットフォーム３Ｄビデオ再生を促進し得る。本技法のこの態様を実装するデバイスは、ビデオデータを記憶するための第１のモジュールと、ポータブル・デバイスの外部のディスプレイ・デバイスの１つまたは複数のディスプレイ・パラメータを判断するワイヤレス・ディスプレイ・ホストモジュールとを備え得る。これらのディスプレイ・パラメータは、ディスプレイ・デバイスのディスプレイ解像度、ディスプレイ・デバイスによってサポートされるファイル・フォーマット、ディスプレイ・デバイスによってサポートされるビデオデータエンコーダ／デコーダ技法（いわゆる「ビデオコーデック」）、ディスプレイ・デバイスによってサポートされるオーディオコーデック、ディスプレイ・デバイスが３Ｄビデオデータ再生をサポートするかどうか、およびディスプレイ・デバイスの能力または追加の態様に関する他のパラメータを備え得る。本技法のこの態様を実装するデバイスは、判断されたディスプレイ・パラメータに基づいて外部ディスプレイ・デバイス上での再生のためのビデオデータを生成するようにビデオデータを準備する第３のモジュールと、３Ｄビデオデータを外部ディスプレイ・デバイスにワイヤレス送信するワイヤレス・モジュールとをも含み得る。
いくつかの事例において、本技法の様々な態様は、しばしばセルラーフォンまたはモバイルフォンと呼ばれる、ワイヤレスセルラーハンドセットを含む、ポータブル・デバイスによって実装され得る。本技法の様々な態様を実装し得る他のポータブル・デバイスは、いわゆる「スマートフォン」、「ネットブック」と呼ばれる極めてポータブルなコンピューティングデバイス、ラップトップコンピュータ、ポータブルメディアプレーヤ（ＰＭＰ）、および携帯情報端末（ＰＤＡ）を含む。本技法は、デスクトップ・コンピュータ、セットトップボックス（ＳＴＢ）、ワークステーション、ビデオ再生デバイス（たとえば、デジタル・ビデオディスクまたはＤＶＤプレーヤ）、２Ｄディスプレイ・デバイスおよび３Ｄディスプレイ・デバイスなど、概して非ポータブルなデバイスによっても実装され得る。したがって、本開示ではモバイルまたはポータブル・デバイスに関して説明するが、本技法の様々な態様は、ビデオデータを受信し、外部ディスプレイ・デバイスに転送することが可能な任意のコンピューティングデバイスによって実装され得る。
図１は、モバイル・デバイス１２が、クロスプラットフォーム・ビデオデータ再生を促進するために本開示の技法の様々な態様を実装する、システム１０を示すブロック図である。図１の例に示すように、システム１０は、ソース・デバイス１４とディスプレイ・デバイス１６とを含み、ソース・デバイス１４とディスプレイ・デバイス１６の両方は、それぞれワイヤレス通信チャネル１３とワイヤレス通信チャネル１５とを介してモバイル・デバイス１２と通信する。ソース・デバイス１４は、パーソナル・コンピュータ、ワークステーション、携帯情報端末（ＰＤＡ）、（いわゆる「スマートフォン」を含む）モバイルフォン、またはソフトウェアおよび、特に、マルチメディアソフトウェアを実行することが可能な汎用プロセッサを備える他のタイプのデバイスなど、汎用マルチメディアデバイスを含み得る。ソース・デバイス１４は、代替的に、ビデオカムコーダ、デジタル・ビデオディスク（ＤＶＤ）プレーヤ、テレビジョン、セットトップボックス（ＳＴＢ）、コンパクトディスク（ＣＤ）プレーヤ、デジタルメディアプレーヤ（たとえば、いわゆる「ＭＰ３」プレーヤ、またはＭＰ３／ＭＰ４一体型プレーヤ、ならびにａｄｖａｎｃｅｄ ａｕｄｉｏ ｃｏｄｉｎｇ（ＡＡＣ）、Ｗｉｎｄｏｗｓ（登録商標） ｍｅｄｉａ ｖｉｄｅｏ（ＷＭＶ）およびＷａｖｅｆｏｒｍ ａｕｄｉｏ ｖｉｄｅｏ（ＷＡＶ）フォーマットを含む他のフォーマットを再生する他のメディアプレーヤ）、デジタルビデオレコーダ（ＤＶＲ）、全地球測位システム（ＧＰＳ）デバイス、または１つまたは複数のマルチメディアアプリケーションのセットに専用であり、一般に、マルチメディアソフトウェアのローディングと実行とのユーザ制御を可能にしない、他のデバイスなど、専用マルチメディアデバイスを備え得る。
ディスプレイ・デバイス１６は、概して、ディスプレイを介したビデオ再生が可能な任意のデバイスを表す。ディスプレイ・デバイス１６は、ディスプレイ・デバイス１６が、２Ｄビデオデータ再生をサポートするのか、３Ｄビデオデータ再生をサポートするのか、または２Ｄビデオデータ再生と３Ｄビデオデータ再生の組合せをサポートするのかに応じて、２Ｄビデオ・ディスプレイ・デバイスと呼ばれることがある、テレビジョン（ＴＶ）ディスプレイ、３Ｄビデオ・ディスプレイ・デバイス、またはハイブリッド２Ｄ／３Ｄビデオ・ディスプレイ・デバイスを備え得る。ディスプレイ・デバイス１６は、代替的に、ラップトップ、パーソナルメディア・プレーヤ（ＰＭＰ）、デスクトップ・コンピュータ、ワークステーション、ＰＤＡ、および（ポータブルＤＶＤプレーヤなどの）ポータブルデジタルメディアプレーヤなど、ディスプレイをもつ他のデバイスを備え得る。説明のために、ディスプレイ・デバイス１６が、モバイル・デバイス１２とワイヤレス通信するワイヤレステレビジョンを表すと仮定する。ただし、本開示の技法はワイヤレステレビジョンに限定されるべきではない。
ソース・デバイス１４は、２Ｄビデオ・コンテンツ２０および３Ｄビデオ・コンテンツ２２のうちの１つまたは複数を記憶する記憶モジュール１８を含む。記憶モジュール１８は、ランダム・アクセス・メモリ（ＲＡＭ）、スタティックＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、フラッシュメモリ、読取り専用メモリ（ＲＯＭ）、プログラマブルＲＯＭ（ＰＲＯＭ）、消去可能ＰＲＯＭ（ＥＰＲＯＭ）、および電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）を含む、揮発性メモリまたは不揮発性メモリのいずれかである、メモリを備え得る。記憶モジュール１８は、代替的に、ハードドライブ、オプティカルドライブ、テープドライブおよびディスクドライブなど、ストレージ・デバイスを備え得る。記憶モジュール１８は、いくつかの事例において、１つまたは複数のメモリと１つまたは複数のストレージ・デバイスとの組合せを備え得る。
２Ｄビデオ・コンテンツ２０は、特定の２Ｄビデオデータ・ファイル・フォーマットに従ってフォーマットされた２Ｄビデオデータを表す。例示的な２Ｄビデオデータ・ファイル・フォーマットは、Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅｓ Ｅｘｐｅｒｔ Ｇｒｏｕｐ（ＭＰＥＧ）４、パート１４によって定義されたＭＰ４ファイル・フォーマットを含み得る。ＭＰ４ファイル・フォーマットは、一般にデジタルオーディオとデジタルビデオストリームとを記憶するために使用されるコンテナファイル・フォーマットである。他のコンテナファイル・フォーマットは、３ＧＰと呼ばれるＭＰ４ファイル・フォーマットの簡略版、Ａｄｖａｎｃｅｄ Ｓｙｓｔｅｍｓ Ｆｏｒｍａｔ（ＡＳＦ）、Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｉｎｔｅｒｌｅａｖｅ（ＡＶＩ）ファイル・フォーマット、ＤｉｖＸ Ｍｅｄｉａ Ｆｏｒｍａｔ（ＤＭＦ）、Ｅｎｈａｎｃｅｄ Ｖｉｄｅｏ Ｏｂｊｅｃｔ（ＥＶＯ）ファイル・フォーマット、およびフラッシュビデオファイル・フォーマットを備える。ファイル・フォーマットは、この態様または他の態様では、Ｒｅａｌ−ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ（ＲＴＰ）およびＳｔｒｅａｍ Ｃｏｎｔｒｏｌ Ｔｒａｎｓｍｉｓｓｉｏｎ Ｐｒｏｔｏｃｏｌ（ＳＣＴＰ）など、特定のトランスポートおよび／またはアプリケーション・レイヤプロトコルに関して使用されるファイル・フォーマットを指すこともある。
３Ｄビデオ・コンテンツ２２は、特定の３Ｄビデオデータ・ファイル・フォーマットに従ってフォーマットされたコード化３Ｄビデオデータを表す。例示的な３Ｄビデオデータ・フォーマットは、（一般に「２Ｄ＋ｚ」フォーマットと呼ばれる）２Ｄ＋深さ、２Ｄ＋深さオクルージョンおよびグローバル効果またはマルチビュー２Ｄストリームファイル・フォーマットを備える。この点において、ビデオデータ・ファイル・フォーマットは、概して、符号化されたか否かにかかわらず、ビデオデータをカプセル化する標準的な方法を指す。したがって、ビデオデータ・ファイル・フォーマットは、ビデオデータの記憶および／または送信を可能にするためにビデオデータまたはビデオデータの部分を一般的にカプセル化する方法を定義し得る。ビデオデータは、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ Ｓｅｃｔｏｒ（ＩＴＵ−Ｔ）Ｈ．２６４／ＭＰＥＧ−４、Ｐａｒｔ１０、Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）規格（以下、「Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ」規格）において定義されたコーデックを含む、ＭＰＥＧ−２または他のコーデックなどの様々なコーデックを使用して符号化され得る。ビデオデータはまた、いくつかの事例において、ＩＴＵ−Ｔ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＶＣＥＧ）によって開発中である、Ｈ．２６５または別名で次世代ビデオコーディング（ＮＧＶＣ）と呼ばれるコーデックを使用して符号化され得る。本開示では、ビデオ・コンテンツという用語は、特定のビデオデータ・ファイル・フォーマットに従ってカプセル化されたコード化ビデオデータを指すために使用される。
説明しやすいように、図１には示されていないが、ソース・デバイス１４は、２Ｄビデオ・コンテンツ２０および３Ｄビデオ・コンテンツ２２をキャプチャするための、ビデオ・キャプチャ・モジュールなどの追加のモジュールを含み得る。代替的に、ソース・デバイス１４は、コンテンツ２０、２２を記憶するためのアーカイブまたはリポジトリとして働き得る。いくつかの事例において、ソース・デバイス１４は、ソース・デバイス１４内に含まれるインターフェース２４を介してコンテンツ２０、２２をワイヤレス受信し得る。すなわち、ソース・デバイス１４は、外部デバイスとワイヤレス通信するためのインターフェース２４を含む。いくつかの事例において、これらの外部デバイスは、コンテンツ２０、２２を記憶モジュール１８に記憶するためにインターフェース２４を介してソース・デバイス１４とインターフェースし得る。
上記のように説明のためにワイヤレステレビジョンディスプレイを表し得るディスプレイ・デバイス１６は、インターフェース２６と、ファイル・フォーマット・モジュール２７と、ビデオ・デコーダ２８と、ディスプレイ３０とを含む。インターフェース２４と同様のインターフェース２６は、ディスプレイ・デバイス１６の外部のデバイスがそれによってディスプレイ・デバイス１６と通信し得るインターフェースを表す。この例では、インターフェース２４および２６の各々がワイヤレス・インターフェースを表すと仮定する。ファイル・フォーマット・モジュール２７は、上記で説明したファイル・フォーマットのうちの１つまたは複数を実装するハードウェアまたはハードウェアとソフトウェアとの組合せのモジュールを表す。一般に、ファイル・フォーマット・モジュール２７は、カプセル化解除を実行して、コード化ビデオデータをカプセル化するファイル・フォーマットヘッダを除去し、それによりコード化ビデオデータを出力する。
ビデオ・デコーダ２８は、コード化ビデオデータを復号するための１つまたは複数のビデオコーデックを実装するハードウェアまたはハードウェアとソフトウェアとの組合せのモジュールを表し得る。特に、「コーデック」という用語は、ビデオ・デコーダ２８が所与のコーデックの符号化（すなわち、圧縮）態様と復号（すなわち、復元）態様との両方を実装するかどうかにかかわらず使用される。したがって、ビデオ・デコーダ２８は、コーデックの復元態様のみを実装することによってそのコーデックを実装するものと解釈され得る。この点において、ビデオ・デコーダ２８がコーデックの圧縮態様と復元態様との両方、またはコーデックの復元態様のみを実装するか否かにかかわらず、ビデオ・デコーダ２８はコーデックを実装し得る。
図１の例には示されていないが、ディスプレイ・デバイス１６は、１つまたは複数のオーディオコーデックを実装するハードウェアまたはハードウェアとソフトウェアとの組合せを表す他のモジュールをも含み得る。いくつかの事例において、ビデオモジュールとオーディオモジュールとは同じモジュールにおいて組み合わせられ得、そのモジュールは一般にオーディオ／ビデオ（Ａ／Ｖ）デコーダと呼ばれる。ディスプレイ３０は、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、発光ダイオード（ＬＥＤ）ディスプレイ、プラズマディスプレイ、および陰極線管（ＣＲＴ）ディスプレイを含む、任意のタイプのディスプレイを備え得る。
図１の例では、モバイル・デバイス１２は、それぞれのソース・デバイス１４およびディスプレイ・デバイス１６のインターフェース２４およびインターフェース２６と実質的に同様である１つまたは複数のインターフェース３２をも含む。モバイル・デバイス１２は、本開示で説明する技法の１つまたは複数の態様を実装する制御ユニット３４をも含む。制御ユニット３４は１つまたは複数のプロセッサ（図１に図示せず）を備え得、そのプロセッサは、ストレージ・デバイス（たとえば、ディスクドライブ、またはオプティカルドライブ）、あるいはメモリ（たとえば、フラッシュメモリ、ランダム・アクセス・メモリまたはＲＡＭ）、あるいは本開示で説明する技法をプログラマブル・プロセッサに実行させるための（たとえば、コンピュータ・プログラムまたは他の実行ファイルの形態の）命令を記憶する他のタイプの揮発性または不揮発性メモリなどの、コンピュータ可読記憶媒体（同じく、図１に図示せず）に記憶された、ソフトウェアまたはコンピュータ・プログラムを定義するために使用されるソフトウェア命令などの、ソフトウェア命令を実行する。代替的に、制御ユニット３４は、１つまたは複数の集積回路、１つまたは複数の特定用途向け集積回路（ＡＳＩＣ）、１つまたは複数の特定用途向け専用プロセッサ（ＡＳＳＰ）、１つまたは複数のフィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）などの、専用ハードウェア、または本開示で説明する技法を実行するための専用ハードウェアの上記の例のいずれかの組合せを備え得る。
制御ユニット３４は、変換モジュール３６と、パラメータ発見モジュール３８と、人間視覚系（ＨＶＳ）フィードバック・モジュール４０（「ＨＶＳフィードバック・モジュール４０」）とを含む。変換モジュール３６は、本開示で説明する技法の様々な態様に従って２Ｄビデオ・コンテンツ２０および３Ｄビデオ・コンテンツ２２のいずれか一方または両方を、ディスプレイ・デバイス１６にとって許容できるビデオデータまたはディスプレイ・デバイス１６に適合するビデオデータに変換する、１つまたは複数の構成可能ハードウェア・モジュール、または１つまたは複数のハードウェア構成可能モジュールとソフトウェア構成可能モジュールとの組合せを表す。得られた変換されたビデオデータが、ビデオ・デコーダ２８によってサポートされるビデオコーデックに従って符号化され、ファイル・フォーマット・モジュール２７によってサポートされるファイル・フォーマットに従ってフォーマットされたとき、ビデオデータはディスプレイ・デバイス１６に「適合」し得る。
パラメータ発見モジュール３８は、本開示で説明する技法の１つまたは複数の態様に従って、ディスプレイ・デバイス１６によってサポートされる１つまたは複数のファイル・フォーマットを含む、ディスプレイ・デバイス１６の１つまたは複数のパラメータ４２を発見するためにディスプレイ・デバイス１６とインターフェースする、１つまたは複数のハードウェア・モジュールを表し、そのうちのいくつかはソフトウェアを実行し得る。これらのフォーマットは、一般に、ディスプレイ・デバイス１６のファイル・フォーマット・モジュール２７によってサポートされる１つまたは複数のファイル・フォーマットを備える。しばしば、フォーマット４２は、ビデオ・デコーダ２８によってサポートされる１つまたは複数のタイプのコーデックを暗示し、したがってパラメータ発見モジュール３８は、ビデオ・デコーダ２８によってサポートされる特定のコーデックをも発見し得る。
ファイル・フォーマットに加えて、パラメータ４２は、サポートされる解像度、現在の解像度、サポートされるコントラスト、現在のコントラスト、ディスプレイまたはスクリーンサイズ、ディスプレイ・デバイス１６によってサポートされるオーディオコーデックとビデオコーデック、インターフェース２６のリスト、現在のシャープネス、サポートされるシャープネス、サポートされる色温度、現在の色温度、サポートされる明るさ、現在の明るさ、サポートされるディスプレイ・フォーマット、現在のディスプレイ・フォーマット、サポートされる色設定、現在の色設定、サポートされる入力フォーマット、ディスプレイタイプ、ディスプレイ製造業者、サポートされる深さ範囲、現在の深さ範囲、収束平面（convergence plane）のサポートされるロケーション、収束平面の現在のロケーション、背景オブジェクトの滑らかさのサポートされる程度、背景オブジェクトの現在の滑らかさ、サポートされる目距離（eye-distance）構成、現在の目距離構成、サポートされる利き目構成、現在の利き目構成、サポートされるビューの数、現在のビューの数、サポートされる閲覧距離、現在の閲覧距離、サポートされる閲覧角、現在の閲覧角、スクリーン内の３Ｄビデオ・コンテンツのサポートされるディスプレイ・ロケーション、およびスクリーン内の３Ｄビデオ・コンテンツの現在のロケーション、ならびにディスプレイ・デバイス１６およびディスプレイ・デバイス１６の能力に関係する他のパラメータを含み得る。
いずれの場合も、パラメータ発見モジュール３８は、サポートされるコーデックなど、ファイル・フォーマットとコーディングフォーマットまたは技法との両方を含み得るフォーマットを発見する。たとえば、２Ｄ＋深さと呼ばれる３Ｄファイル・フォーマットを発見することは、ビデオ・デコーダ２８が、たとえば、ＭＰＥＧ−２規格に従って、コーディングされた２Ｄ＋深さファイル・フォーマットのコーディングされた２Ｄビデオデータ部分を復号しながら、ディスプレイ・デバイス３０を介した再生のために３Ｄビデオデータをレンダリングするために２Ｄ＋深さファイル・フォーマットの深さ部分をも復号することが可能な、３Ｄビデオコーデックをサポートすることを暗示する。
ＨＶＳフィードバック・モジュール４０は、ディスプレイ・デバイス１６による３Ｄビデオデータの表示に関する定性的および定量的メトリックを分析する１つまたは複数のハードウェア・モジュールまたはハードウェア・モジュールとソフトウェア・モジュールとの組合せを表す。ＨＶＳフィードバック・モジュール４０は、本開示で説明する技法の様々な態様に従って、定性的および定量的メトリックを分析し、次いで、入力ビデオデータ、たとえば、２Ｄビデオ・コンテンツ２０または３Ｄビデオ・コンテンツ２２を、パラメータ発見モジュール３８によって発見された入力フォーマットに準拠するビデオデータに変換することを改善するように変換モジュール３６を再構成し得る。ＨＶＳフィードバック・モジュール４０は、ディスプレイ・デバイス１６のビデオ・デコーダ２８によって出力されるビデオデータ４４を取り出すためにディスプレイ・デバイス１６とインターフェースし得、次いで、これらの定性的および定量的メトリックを判断するためにビデオデータ４４を分析する。変換モジュール３６のこの再構成を通して、ＨＶＳフィードバック・モジュール４０は、より良い品質の３Ｄビデオデータ再生を促進し得る。
本開示で説明する技法の一態様によれば、モバイル・デバイス１２は、自動的に３Ｄディスプレイ・デバイスの３Ｄ入力ファイル・フォーマットを判断し、３Ｄ入力ファイル・フォーマットに準拠するように２Ｄビデオ・コンテンツ２０を３Ｄビデオデータに変換する。説明のために、ディスプレイ・デバイス１６が、２Ｄビデオ・コンテンツ２０と３Ｄビデオ・コンテンツ２２の両方を提示することが可能なハイブリッド２Ｄ／３Ｄワイヤレステレビジョンを備えると仮定する。モバイル・デバイス１２のパラメータ発見モジュール３８は、３Ｄビデオデータを受信するためにファイル・フォーマット・モジュール２７によってサポートされる少なくとも１つの入力ファイル・フォーマットを判断するためにファイル・フォーマット・モジュール２７に問い合わせるために、ワイヤレス通信チャネル１５を介してディスプレイ・デバイス１６とインターフェースし得る。上記で説明したように、ファイル・フォーマットは、２Ｄ＋深さまたはマルチビュー２Ｄストリーム・フォーマットなど、１つまたは複数の３Ｄファイル・フォーマット、ならびに判断されたファイル・フォーマットによって暗示され得る、３Ｄビデオデータを復号するためにビデオ・デコーダ２８によって実装される１つまたは複数のコーデックを備え得る。
特に、ディスプレイ・デバイス１６は第１のファイル・フォーマットを実装し得、図１には示されていない他のディスプレイ・デバイスは、第１のファイル・フォーマットとは異なる複数の異なるファイル・フォーマットを実装し得る。３Ｄビデオファイル・フォーマットが規格化されておらず、または業界内で全体的には採用されていないので、複数の異なるファイル・フォーマットは、２Ｄビデオデータの、ただし、より詳細には３Ｄビデオデータの、クロスプラットフォーム再生を妨げ得る。ディスプレイ・ファイル・フォーマットを発見し、次いで、任意の入力またはソースビデオデータを発見されたファイル・フォーマットに変換することにより、第２の異なるファイル・フォーマットを受け付けるディスプレイ・デバイス上で第１のファイル・フォーマットでフォーマットされた３Ｄビデオデータを復号し、提示しようと試みるときに起こり得るクロスプラットフォーム再生問題を克服し得る。
初めに、モバイル・デバイス１２のユーザまたは他のオペレータは、ディスプレイ・デバイス１６を選択するかまたは場合によっては発見するために、ユーザ・インターフェース・モジュール（説明しやすいように図１には図示せず）によって提示されるユーザ・インターフェースとインターフェースし得る。ユーザ・インターフェースは、モバイル・デバイス１２の所与の範囲内に位置するデバイスのリスト、またはモバイル・デバイス１２が同様に接続されたネットワーク（８０２．１１ｘワイヤレスネットワーク、超広帯域（ＵＷＢ）ネットワーク、および／またはＢｌｕｅｔｏｏｔｈ（登録商標）ネットワークなど）に接続されたデバイスのリストを提示し得る。オペレータは、ディスプレイ・デバイス１６などのデバイスを選択するためにユーザ・インターフェースとインターフェースし得、その後、ユーザ・インターフェース・モジュールは、選択されたディスプレイ・デバイス１６をパラメータ発見モジュール３８に通知する。
このようにして手動選択が行われ得るが、パラメータ発見モジュール３８は、リスト上の各デバイスについてファイル形態などのパラメータを発見するためにリスト中の各デバイスと自動的にインターフェースし得る。次いで、ユーザ・インターフェースは、リストを提示し、デバイスのうちの１つを選択するオペレータまたは他のユーザからの入力を受信し得る。言い換えれば、パラメータ発見モジュール３８は、モバイル・デバイス１２がインターフェースし得るデバイスのリスト上の所与のデバイスをユーザが選択することに応答して、またはそのような選択を待つことなしに、フォーマットを含むパラメータを自動的に発見し得る。その発見は、さらなるユーザ入力なしにその発見が行われるという意味で「自動」であり得る。パラメータ発見モジュール３８は、ユーザ入力を必要とすることなしに、ディスプレイ・デバイス１６とインターフェースし、たとえば、ファイル・フォーマット・モジュール２７に問い合わせて、パラメータ４２のうちの１つとして、ディスプレイ・デバイス１６によってサポートされるフォーマットを受信し得る。
パラメータ発見モジュール３８は、通信チャネル１５を介してディスプレイ・デバイス１６のインターフェース２６に結合されたインターフェース３２のうちの適切な１つを介してディスプレイ・デバイス１６とインターフェースする。パラメータ発見モジュール３８は、ファイル・フォーマット・モジュール２７と通信するための問合せプロトコルを実装し得る。たとえば、パラメータ発見モジュール３８は、ディスプレイ・デバイス１６の能力および特性として特徴づけられ得る様々なパラメータを判断するための通信チャネルを与える、高解像度マルチメディア・インターフェース（ＨＤＭＩ）プロトコルまたはワイヤレスＨＤＭＩ（ＷＨＤＭＩ）プロトコルなどの、ディスプレイ・インターフェースプロトコルまたは規格の様々な態様を実装し得る。ＷＨＤＭＩを定義する特定の規格はまだ定められていないが、ワイヤードバージョンのＨＤＭＩに目を向けると、その全体が参照により本明細書に組み込まれる、２００６年１１月１０日付けの「Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ Ｓｐｅｃｉｆｉｃａｔｉｏｎ Ｖｅｒｓｉｏｎ １．３Ａ」と題する仕様に記載されているように、サポートされるファイル・フォーマットを含む、ディスプレイ・デバイス１６のパラメータ４２を問い合わせるかまたは場合によっては判断するためのディスプレイデータチャネル（ＤＤＣ）が存在する。
本開示ではＨＤＭＩおよびＷＨＤＭＩに関して説明するが、本技法は、非プロプライエタリ規格などのオープン規格に従って、ならびにプロプライエタリまたはオープンのいずれかである、特にサポートされていないかまたは今のところどの規格にも組み込まれていない、他の仕様に従って実装され得る。たとえば、パラメータ発見モジュール３８は、Ｖｉｄｅｏ Ｅｌｅｃｔｒｏｎｉｃｓ Ｓｔａｎｄａｒｄｓ Ａｓｓｏｃｉａｔｉｏｎによってサポートされるオープン規格において定義されたインターフェースである、モバイルディスプレイデジタルインターフェース（ＭＤＤＩ）を実装し得る。代替的に、またはＭＤＤＩに関連して、パラメータ発見モジュール３８は、ワイヤレスＭＤＤＩ（ＷＭＤＤＩ）と呼ばれる、ＭＤＤＩのワイヤレス拡張を実装し得る。その上、本技法は、モバイル業界プロセッサインターフェース（ＭＩＰＩ）に関して実装され得る。したがって、本技法は、この点において、ＨＤＭＩなどのいずれか１つの標準インターフェースに限定されるべきではなく、他のインターフェースに関して実装され得る。
このようにしてフォーマット４２を発見した後に、パラメータ発見モジュール３８は、次いで、変換モジュール３６を構成するために変換モジュール３６とインターフェースし、変換モジュール３６は、上記で説明したように、２Ｄビデオデータと３Ｄビデオデータの両方を、判断された入力フォーマット４２に準拠する３Ｄビデオデータにコンバートする、１つまたは複数のモジュールを表す。パラメータ発見モジュール３８は、２Ｄビデオ・コンテンツ２０などのビデオ・コンテンツを、入力フォーマット４２に従ってフォーマットされた３Ｄビデオ・コンテンツに変換するように変換モジュール３６を構成するように、構成データを判断し、この構成データを変換モジュール３６にロードし得る。
上記で説明したが、説明しやすくするために図１には示されていないユーザ・インターフェースは、デバイスの別のリストをも提示し得、このリストは、このリストを（「宛先リスト」として特徴づけられ得る）ディスプレイリストと区別するために、ビデオ・コンテンツのためのソースを含む「ソースリスト」と呼ばれることがある。モバイル・デバイス１２は、宛先リストのデバイスを発見するのと同様に、インターフェース３２を介してこれらのデバイスを発見し得る。モバイル・デバイス１２は、一例として、ユーザ・インターフェースが、ソース・デバイス１４を含んでいたソースリストを提示した場合、インターフェース３２と通信チャネル１３とを介してソース・デバイス１４を発見する。オペレータがソース・デバイス１４を選択すると仮定すると、制御ユニット３４は、ソース・デバイス１４の記憶モジュール１８に記憶されたコンテンツ２０および２２を判断するためにソース・デバイス１４とインターフェースするようにインターフェース３２に命令し得る。次いで、制御ユニット３４のユーザ・インターフェースは、判断された２Ｄビデオ・コンテンツ２０と３Ｄビデオ・コンテンツ２２とを表すファイル名、画像または他のデータを提示し得る。オペレータは、選択された宛先デバイス、たとえば、２Ｄビデオ・コンテンツ２０または３Ｄビデオ・コンテンツ２２のいずれかをディスプレイ・デバイス１６上で表示するために選択し得る。
オペレータが２Ｄビデオ・コンテンツ２０を選択されたディスプレイ・デバイス１６上で３Ｄで表示するために選択すると仮定すると、変換モジュール３６は、上記で説明した２Ｄファイル・フォーマットのうちの１つでフォーマットされ、第１のコーデックに従ってコーディングされ得る、２Ｄビデオ・コンテンツ２０を受信し始める。構成された変換モジュール３６は、場合によってはリアルタイムまたはほぼリアルタイムで、ファイル・フォーマットされコーディングされたビデオデータを備える２Ｄビデオ・コンテンツ２０を、コーディングされ、自動的に判断された入力フォーマット４２に準拠するファイル・フォーマットでフォーマットされた、３Ｄビデオデータに動的にコンバートし得る。次いで、変換モジュール３６は、コーディングされ、自動的に判断された入力フォーマット４２に準拠するファイル・フォーマットでフォーマットされた、動的に生成された（３Ｄビデオ・コンテンツ４８として図１に示す）３Ｄビデオデータを、通信チャネル１５とインターフェース３２、２６とを介してディスプレイ・デバイス１６に転送する。
ディスプレイ・デバイス１６のファイル・フォーマット・モジュール２７は、ビデオ・デコーダ２８によってサポートされるコーデックに従ってコーディングされ、次いで、ファイル・フォーマット・モジュール２７によってサポートされる３Ｄファイル・フォーマットに従ってフォーマットされた、３Ｄビデオデータを備える３Ｄビデオ・コンテンツ４８を受信する。ファイル・フォーマット・モジュール２７は、準拠するファイル・フォーマッティングにより、３Ｄビデオ・コンテンツ４８をカプセル化解除して、コーディングされた３Ｄビデオデータ５０を生成する。次いで、ビデオ・デコーダ２８は、適切なコーデックを使用して、コーディングされた３Ｄビデオデータ５０を復号して、３Ｄビデオデータ４４を生成し、ディスプレイ３０は、閲覧者、たとえば、モバイル・デバイス１２のオペレータによる消費のために３Ｄビデオデータ４４を提示する。
このようにして、本技法のこの態様は、ディスプレイ・デバイス１６によってサポートされるフォーマット４２に３Ｄビデオデータが準拠するように、２Ｄビデオ・コンテンツ２０から３Ｄビデオデータを生成するように変換モジュール３６を動的に構成することによって、クロスプラットフォーム３Ｄビデオ再生を可能にする。しばしば、そのような２Ｄビデオ・コンテンツ２０は２Ｄプラットフォームに限定され得、ハイブリッド２Ｄ／３Ｄディスプレイ・デバイス１６は、ハイブリッド２Ｄ／３Ｄプラットフォームの２Ｄ部分を利用して２Ｄビデオ・コンテンツ２０を提示することができると仮定され得るが、閲覧者は、本開示で説明する技法に従って実行されるモバイル・デバイス１２の介在または中間変換能力がなければ、３Ｄ閲覧エクスペリエンスを与えられないであろう。この点において、本開示の技法は、３Ｄビデオ再生プラットフォーム上での２Ｄビデオ・コンテンツ２０の再生を可能にすることによってモバイル・デバイス１２がクロスプラットフォームビデオ再生を促進することを可能にする。
変換モジュール３６は、２Ｄビデオ・コンテンツ２０を変換して、ディスプレイ・デバイス１６によってサポートされるフォーマットで（３Ｄビデオ・コンテンツ４８として図１に示す）３Ｄビデオデータを生成し、変換された３Ｄビデオ・コンテンツ４８をディスプレイ・デバイス１６に転送している間、ＨＶＳフィードバック・モジュール４０は、人間視覚系に対する生成された３Ｄビデオ・コンテンツ４８の３Ｄ可視化の品質を反映するＨＶＳモデルを使用して１つまたは複数のメトリックを判断し得る。より詳細には、いくつかの例では、ＨＶＳフィードバック・モジュール４０は、ディスプレイ・デバイス１６とインターフェースして３Ｄビデオデータ４４を判断し、ＨＶＳモデルを使用して３Ｄビデオデータ４４を分析して、１つまたは複数のメトリックを判断する。
１つまたは複数のメトリックは、いくつかの事例では深さメトリックが時間の関数として表され得る、３Ｄビデオデータ４４によって示される１つまたは複数のオブジェクトの各々についてのサイズおよび／または深さメトリック、３Ｄビデオデータ４４によって示される１つまたは複数のシャドーの各々についてのシャドーメトリック、背景コントラストメトリック、シャープネスメトリック、空間周波数メトリック、ならびに多種多様な他のメトリックを備え得、これらの各々については以下でより詳細に説明する。さらに、ＨＶＳフィードバック・モジュール４０は、サポートされる解像度、現在の解像度、サポートされるコントラスト、現在のコントラスト、ディスプレイまたはスクリーンサイズ、ファイル・フォーマット、あるいはディスプレイ・デバイス１６およびディスプレイ・デバイス１６の能力に関係する他のパラメータなど、パラメータ発見モジュール３８によって判断された１つまたは複数のパラメータを受信するために、パラメータ発見モジュール３８とインターフェースし得る。ＨＶＳフィードバック・モジュール４０は、少なくとも部分的にこれらのパラメータ４２に変換モジュール３８の再構成の基礎をおき得る。
ＨＶＳフィードバック・モジュール４０はまた、所望のシャープネス、所望のコントラスト、所望のディスプレイ・フォーマット、所望の色温度、所望の色設定、所望の明るさ、所望の最大深さ範囲、収束平面の所望のロケーション、背景オブジェクトの滑らかさの所望の程度、所望の目距離構成、所望の利き目構成、所望のビューの数、所望の閲覧距離、所望の閲覧角、スクリーン内の３Ｄビデオ・コンテンツの所望のディスプレイ・ロケーションおよび解像度、あるいはディスプレイ・デバイス１６などのディスプレイ・デバイスによる２Ｄまたは３Ｄ視覚表示に関係する他の選好など、１つまたは複数のユーザ選好を定義するユーザ選好データを記憶し得る。ＨＶＳフィードバック・モジュール４０はまた、同じく、これらのユーザ選好に少なくとも部分的に基づいて変換モジュール３８を再構成し得る。すなわち、ＨＶＳフィードバック・モジュール４０は、これらのユーザ選好に少なくとも部分的に基づいて変換モジュール３８を再構成するために使用される構成データを生成するようにユーザ選好データに従って構成されたＨＶＳモデルを備え得る。
このようにして、ＨＶＳフィードバック・モジュール４０は、変換モジュール３６が、３Ｄビデオ・コンテンツ４８の生成を改良するために３Ｄビデオデータ４４の分析を通して判断されたメトリックに少なくとも基づいて変換モジュール３６を再構成するために、２Ｄビデオ・コンテンツ２０（または、代替事例においては、３Ｄビデオ・コンテンツ２２）を現在変換している間、変換モジュール３６とインターフェースする。この点において、ＨＶＳフィードバック・モジュール４０は、３Ｄビデオ・コンテンツ４８の知覚される視覚的品質を自動的に改良し、おそらく改善するように、変換モジュール３６を動的に再構成し得る。そのような改良が、３Ｄビデオデータ４４から判断されたメトリックに加えてユーザ選好データに基づく場合、ＨＶＳフィードバック・モジュール４０は、特定のユーザに対してまたはユーザごとに、３Ｄビデオ・コンテンツ４８の知覚される品質を改良するように変換モジュール３６を自動的に再構成し得る。したがって、本技法は、クロスプラットフォームビデオ再生を可能にするだけでなく、潜在的にユーザごとに閲覧エクスペリエンスを改善するためにクロスプラットフォームビデオ再生に必要な任意の変換の動的改良を促進することもある。
いくつかの事例において、モバイル・デバイス１２は、ワイヤレス通信媒体を介してディスプレイ・デバイス１６とインターフェースする。ディスプレイ・デバイス１６がハイブリッド２Ｄ／３Ｄワイヤレス・ディスプレイ・デバイスを表すという上記の仮定があるとすれば、モバイル・デバイス１２はディスプレイ・デバイス１６とワイヤレスにインターフェースする。ディスプレイ・デバイス１６とワイヤレスにインターフェースするとき、パラメータ発見モジュール３８は、ディスプレイ・デバイス１６の１つまたは複数のディスプレイ・パラメータ４２を判断するワイヤレス・ディスプレイ（ＷＤ）ホストとして特徴づけられ得る。次いで、パラメータ発見モジュール３８は、変換モジュール３６がディスプレイ・パラメータに基づいて３Ｄビデオ・コンテンツ４８を生成するようにビデオデータを準備するような方法で、変換モジュール３６を構成する。
この準備は、フォーマッティング、またはより詳細には、トランスポート・プロトコルに従って３Ｄビデオデータをカプセル化することに関与し得る。トランスポート・プロトコルは、ビデオデータ・セグメントと、オーディオデータ・セグメントと、深さデータ・セグメントとの各々のカプセル化を複数のパケットのうちの異なる１つにおいて定義する。いくつかの事例において、ビデオ、オーディオおよび深さデータは、単一のパケット内に連続的に記憶され得る。トランスポート・プロトコル・モジュールは、複数のパケットのうちの１つのヘッダ中の随意のデータフィールド内に３Ｄビデオ・コンテンツの再生を向上させるためのメタデータを追加する。このメタデータは、特定の能力を有するデバイス上での再生を可能にするヒントまたは他の指示を与え得る。メタデータはまた、特定の能力またはパラメータをもつ異なる２Ｄまたは３Ｄディスプレイ・デバイス上での再生を可能にするために３Ｄビデオデータを生成するかまたは場合によっては変換するための情報または仕様を定義し得る。
この準備を実行するトランスポート・プロトコル・ユニットは、ハードウェアまたはハードウェアとソフトウェアとの組合せを備えるリアルタイム・トランスポート・プロトコル（ＲＴＰ）ユニットを備え得、ＲＴＰユニットはアプリケーション・レイヤ（および「レイヤ７」または「Ｌ７」としても知られる）プロトコル・ユニットである。「レイヤ」という用語は、開放型システム間相互接続参照モデル（「ＯＳＩモデル」）内のレイヤを指す。一般に、トランスポート・プロトコルは、ＯＳＩモデルの（「レイヤ４」または「Ｌ４」とも呼ばれる）トランスポート・レイヤ内に入ると見なされる。ＲＴＰは、アプリケーション・レイヤ機能を使用して拡張トランスポート・プロトコルを与えるために、ユニバーサル・データグラム・プロトコル（ＵＤＰ）と呼ばれるトランスポート・レイヤ・プロトコルに依拠する。この意味で、ＲＴＰは、ＲＴＰがトランスポート・レイヤではなくアプリケーション・レイヤに存在するという事実にもかかわらず、トランスポート・プロトコルと見なされ得る。したがって「トランスポート・プロトコル」という用語は、トランスポート・レイヤ・プロトコルに限定されるべきではなく、トランスポート・レイヤ機能を与える、ＯＳＩモデルにおける任意のレイヤの任意のプロトコルを含み得る。
上記で説明した方法で３Ｄビデオ・コンテンツ４８を準備した後に、変換モジュール３６は、そのコンテンツをインターフェース３２のうちのワイヤレス・インターフェースに転送し、そのインターフェースはパケットをディスプレイ・デバイス１６に送信する。ディスプレイ・デバイス１６は、パケットを受信し、パケットをアンフォーマットして、符号化オーディオ、符号化ビデオおよび深さデータ、ならびにメタデータをカプセル化解除し、メタデータに従って符号化オーディオおよび符号化ビデオデータを復号して、オーディオおよび拡張ビデオデータを生成し、閲覧者による消費のためにオーディオ再生モジュール（図１に図示せず）およびディスプレイ３０を介してオーディオおよび拡張ビデオデータを提示する。メタデータが、復号と、メタデータの恩恵を用いて復号された得られたビデオデータの再生とを改善し得るという点で、ビデオデータは「拡張」される。
この点において、本技法の様々な態様は、まとまりのあるクロスプラットフォームビデオ再生システムを促進する。一態様では、上記で説明した方法でプラットフォームにわたる再生を改善するように変換モジュール３６を構成するために、ファイル・フォーマットが発見され、使用される。別の態様では、本技法は、変換中に、３Ｄビデオ再生の品質を改良するように、ＨＶＳモデルを使用して判断される動的フィードバックを通して再生の品質を推進する。さらに別の態様では、３Ｄディスプレイ・デバイスによる再生のために３Ｄビデオデータの配信を準備するために、パラメータが自動的に判断され、使用される。この準備は、３Ｄビデオ・コンテンツをディスプレイ・デバイスにワイヤレス送信するために使用されるパケットにメタデータを埋め込むことに関与し得、このメタデータは、３Ｄビデオ・コンテンツの復号とさらなる変換とを可能にするパラメータを定義し得る。いくつかの態様では、このメタデータは、２Ｄ専用ディスプレイ・デバイスなどの、３Ｄビデオ再生をサポートしないディスプレイにこのメタデータが見えないように埋め込まれ得る。
別々のデバイスとして示されているが、ソース・デバイス１２およびモバイル・デバイス１６は、ソース・デバイス１２の機能とモバイル・デバイス１６の機能とを取り入れる単一のデバイスを備え得る。いくつかの事例において、モバイル・デバイス１２はソース・デバイス１４の機能を取り入れ得る。この点において、本技法は、図１に示す例に限定されるべきではない。
その上、モバイル・デバイス１２に関して上記で説明したが、本技法は、本開示で説明する技法に一致するビデオ変換が可能な任意のデバイスによって実装され得る。そのようなデバイスは、本明細書では概して「ビデオ処理デバイス」と呼ばれることがある。この場合も、本技法は、この点において、図１に示す例に限定されるべきではない。
図２は、図１のモバイル・デバイス１２の一例をより詳細に示すブロック図である。図２の例では、モバイル・デバイス１２は、ワイヤレス・インターフェース３２Ａおよびワイヤード・インターフェース３２Ｂなど、複数のインターフェース３２を含む。ワイヤレス・インターフェース３２Ａは、（ＩＥＥＥ８０２．１１ｘ規格群によって定義されたインターフェースなどの）ワイヤレスインターネットインターフェース、Ｂｌｕｅｔｏｏｔｈ（商標）ワイヤレス・インターフェース、ワイヤレスＨＤＭＩインターフェース、赤外ワイヤレス・インターフェース、またはワイヤレス通信がそれによって行われ得る他のインターフェースのうちの１つまたは複数を備え得る。ワイヤード・インターフェース３２Ｂは、ユニバーサルシリアルバス（ＵＳＢ）インターフェース、マイクロＵＳＢインターフェース、ＨＤＭＩインターフェース、コンポジットケーブルインターフェース、同軸ケーブルインターフェース、ビデオグラフィックスアレイインターフェース、またはワイヤード通信がそれによって行われ得る他のインターフェースのうちの１つまたは複数を含み得る。
モバイル・デバイス１２は、ビデオ・キャプチャ・デバイス５０と、ローカル記憶モジュール５２と、内部ディスプレイ５４とをも含む。ビデオ・キャプチャ・デバイス５０は、３Ｄビデオデータを記録するための立体視３Ｄビデオカメラ、または２Ｄビデオデータを記録するための２Ｄビデオカメラを実装する１つまたは複数のハードウェア・モジュールを表し、そのうちのいくつかはソフトウェアを実行し得る。ローカル記憶モジュール５２は、２Ｄおよび３Ｄビデオデータ、またはコーディングされフォーマットされている場合はコンテンツを含む、データをローカルに記憶するためのハードウェアまたはハードウェアとソフトウェアとの組合せのモジュールを表す。ローカル記憶モジュール５２は、制御ユニット３４に関して上記に記載したもののいずれかなど、静的または動的メモリおよび／あるいはストレージ・デバイスを備え得る。内部ディスプレイ５４は、内部ディスプレイ５４の閲覧者による消費のためにビデオデータと画像データとを提示するハードウェアまたはハードウェアとソフトウェアとの組合せのモジュールを表す。内部ディスプレイ５４は、ディスプレイ・デバイス１６のディスプレイ３０に関して上記で言及したディスプレイのいずれかを備え得る。
ビデオ・キャプチャ・デバイス５０と、ローカル記憶モジュール５２と、内部ディスプレイ５４との各々は、図２でさらに詳細に示した制御ユニット３４に結合する。図２の例では、制御ユニット３４は、変換モジュール３６と、パラメータ発見モジュール３８と、ＨＶＳフィードバック・モジュール４０とを備え、これは図１に関して示したのと同じである。ただし、図２の例では、これらのモジュール３６〜４０を、いくつかのサブモジュールおよびデータを含むようにさらに詳細に示した。たとえば、変換モジュール３６は、前処理モジュール５６と、２Ｄ−３Ｄ処理モジュール５８と、後処理モジュール６０と、レンダリング・モジュール６２と、ディスプレイ・フォーマット・モジュール６４とを含む。
これらのモジュールの各々については図３に関してより詳細に説明するが、手短に言えば、前処理モジュール５６は、あるプラットフォームから別のプラットフォームへのビデオデータのコンバージョンを実行するための情報を判断するための前処理を実行する１つまたは複数のハードウェア・モジュールを表し、そのうちのいくつかはソフトウェアを実行し得る。２Ｄ−３Ｄ処理モジュール５８は、「前処理情報」と呼ばれることがある、前処理モジュール５６によって判断された情報に基づいて、その名前が示唆するように、２Ｄビデオデータの３Ｄビデオデータへのコンバージョンを実行するための１つまたは複数のハードウェア・モジュールを表し、そのうちのいくつかはソフトウェアを実行し得る。後処理モジュール６０は、３Ｄビデオ再生の品質を改良するために深さマップなどの生成された３Ｄビデオデータを変更するかまたは場合によっては調整する１つまたは複数のハードウェア・モジュールを表し、そのうちのいくつかはソフトウェアを実行し得る。レンダリング・モジュール６２は、３Ｄシーンをモデル化し、追加のビューを生成し、場合によっては３Ｄビデオ再生をさらに改良する、１つまたは複数のハードウェア・モジュールを表し、そのうちのいくつかはソフトウェアを実行し得る。ディスプレイ・フォーマット・モジュール６４は、所与のファイル・フォーマットに従って、生成され、その後改良された３Ｄビデオデータをフォーマットする、１つまたは複数のハードウェア・モジュールを表し、そのうちのいくつかはソフトウェアを実行し得る。
別の例として、ＨＶＳフィードバック・モジュール４０は、定性的評価モジュール６６と定量的評価モジュール６８とを含み得る。定性的評価モジュール６６は、人間視覚系に対する３Ｄビデオデータ４４の３Ｄ可視化の品質の知覚される品質を部分的に定義するメトリック７０のうちの１つまたは複数を判断するために、外部ディスプレイ・デバイス１６のビデオ・デコーダ２８など、モバイル・デバイス１２の外部のディスプレイ・デバイスによって復号された３Ｄビデオデータ４４の定性分析を実行する、１つまたは複数のハードウェア・モジュールを表し、そのうちのいくつかはソフトウェアを実行し得る。定量的評価モジュール６８は、後処理モジュール６０、レンダリング・モジュール６２およびディスプレイ・フォーマット・モジュール６４など、変換モジュール３６の様々なサブモジュールによって生成された３Ｄビデオデータの定量分析を実行する。この分析により、メトリック７０のうちの追加のメトリックが判断され得る。その場合、これらのメトリック７０は、変換モジュール３６によって生成された３Ｄビデオ・コンテンツ４８を改良するために、変換モジュール３６を形成するモジュール５６〜６４のうちの１つまたは複数の以後の修正または再構成のための基礎を形成し得る。この改良は、定性的メトリック７０と定量的メトリック７０の両方に関して３Ｄビデオデータ４４の再生の改善につながり得る。
制御ユニット３４は、図１の例に関して前に示されていない２つの追加のモジュール、オフライン処理モジュール７２とユーザ・インターフェース・モジュール７４とをも含む。オフライン処理モジュール７２は、概して、照明のタイプおよび方向、オブジェクト反射率、テクスチャ効果および大気効果など、プロパティに関して、画像（またはビデオフレーム）の記述子の統計分析およびモデリングを実行する、１つまたは複数のハードウェア・モジュールを表し、そのうちのいくつかはソフトウェアを実行し得る。これらの記述子は、マルチメディアコンテンツ記述子のための規格を定義する、Ｍｕｌｔｉｍｅｄｉａ Ｃｏｎｔｅｎｔ Ｄｅｓｃｒｉｐｔｉｏｎ Ｉｎｔｅｒｆａｃｅと呼ばれることがある、ＭＰＥＧ−７規格に準拠する記述子を備え得る。いずれの場合も、記述子は、概して、ビデオデータによって示される視覚的特徴の記述を定義するデータを表し得る。しばしば、記述子は、これらの特徴に関連する形状、色、テクスチャまたは動きなど、これらの視覚的特徴の基本特性を記述する。
ユーザ・インターフェース・モジュール７４は、モバイル・デバイス１２のオペレータがモバイル・デバイス１２からデータを入力および受信するために対話するユーザ・インターフェースを提示する、１つまたは複数のハードウェア・モジュールまたはハードウェア・モジュールとソフトウェア・モジュールとの組合せを表す。しばしば、ユーザ・インターフェース・モジュール７４は、グラフィカル・ユーザ・インターフェース（ＧＵＩ）を内部ディスプレイ５４に提示し、内部ディスプレイ５４はそのＧＵＩをユーザに与え得る。いくつかの事例において、内部ディスプレイ５４は、ＧＵＩによって提示される様々なアイテムの選択を定義するデータを入力するためにユーザがそれによって内部ディスプレイ５４と対話し得る、いわゆる「タッチスクリーン」を備え得る。この意味で、内部ディスプレイ５４は、図２の例において例示的に内部ディスプレイ５４がユーザ・インターフェース・モジュール７４とは別個に示されているのとは異なり、ユーザ・インターフェース・モジュール７４の一部と見なされ得る。
初めに、モバイル・デバイス１２のオペレータは、１つまたは複数の宛先ディスプレイを介して表示することをオペレータが望むビデオ・コンテンツを含む１つまたは複数のソースを選択するために、ユーザ・インターフェース・モジュール７４によって提示されるユーザ・インターフェースとインターフェースし得る。これらのソースは、ビデオ・キャプチャ・デバイス５０およびローカル記憶モジュール５２、ならびにワイヤレス通信チャネル１３を介してインターフェース３２に通信可能に結合された、図１の例に示すソース・デバイス１４など、ワイヤレス・インターフェース３２Ａおよびワイヤード・インターフェース３２Ｂ（「インターフェース３２」）を介してモバイル・デバイス１２に通信可能に結合されたソース・デバイスを含み得る。宛先ディスプレイは、内部ディスプレイ５４、およびワイヤレス通信チャネル１５を介してインターフェース３２に通信可能に結合された、図１の例に示す宛先ディスプレイ・デバイス１６など、インターフェース３２に通信可能に結合された１つまたは複数の宛先ディスプレイ・デバイスを備え得る。
１つまたは複数のソースを選択した後に、オペレータは、選択されたソースによって記憶された特定のコンテンツを選択するために、同じく、ユーザ・インターフェース・モジュール７４によって提示されるこのユーザ・インターフェースまたは別のユーザ・インターフェースとインターフェースし得る。たとえば、オペレータは、ビデオ・コンテンツのソースとしてソース・デバイス１２を選択し得る。それに応答して、ユーザ・インターフェース・モジュール７４は、ソース・デバイス１４によって記憶モジュール１８内に記憶されたコンテンツ２０および２２を判断するためにソース・デバイス１２とインターフェースし得る。次いで、ユーザ・インターフェース・モジュール７４は、現在のユーザ・インターフェースを更新するかまたは別のユーザ・インターフェースを提示して、それにより、宛先による再生のために利用可能なコンテンツ２０、２２を表示し得る。オペレータは、２Ｄビデオ・コンテンツ２０および３Ｄビデオ・コンテンツ２２のうちの１つまたは複数を選択するために、提示されたユーザ・インターフェースと対話し得る。説明のために、オペレータが２Ｄビデオ・コンテンツ２０を選択すると仮定する。
２Ｄビデオ・コンテンツ２０を選択した後に、オペレータは、１つまたは複数の宛先を選択するために現在のユーザ・インターフェース、前のユーザ・インターフェースまたは別のユーザ・インターフェースとインターフェースし得る。ここでも、説明のために、オペレータがディスプレイ・デバイス１６を選択するデータを入力するためにこの宛先ユーザ・インターフェースと対話すると仮定する。ソース・デバイス１４によって記憶モジュール１８に記憶された選択された２Ｄビデオ・コンテンツ２０のための宛先としてディスプレイ・デバイス１６を選択すると、ユーザ・インターフェース・モジュール７４は、その選択を示すこのデータを受信し、選択された２Ｄビデオ・コンテンツ２０の受信と、変換モジュール３６による２Ｄビデオ・コンテンツ２０の変換を通して生成された３Ｄビデオ・コンテンツ４８の転送とを開始するように適切なインターフェース３２に命令する。ユーザ・インターフェース・モジュール７４はまた、パラメータ発見モジュール３８が、本開示で説明する技法に従ってパラメータ７６を判断するために適切な宛先とインターフェースし得るように、選択された宛先をパラメータ発見モジュール３８に示すためにパラメータ発見モジュール３８とインターフェースし得る。
モバイル・デバイス１２のオペレータは、１つまたは複数のユーザ選好７８（「ユーザ選好７８」）を指定するデータを入力するために、同じく、ユーザ・インターフェース・モジュール７４によって提示される、前のユーザ・インターフェース、現在のユーザ・インターフェース、または場合によっては異なるユーザ・インターフェースとインターフェースし得る。ユーザ選好７８は、利き目選好、コントラスト選好、シャープネス選好、色相選好、色温度選好、またはビデオデータの表示に関係する他の選好を含み得る。ユーザ選好７８はまた、サラウンドサウンド選好およびボリューム選好など、オーディオ選好を含み得、本技法はビデオ専用ユーザ選好に限定されるべきではない。ユーザ・インターフェース・モジュール７４は、これらのユーザ選好７８をＨＶＳフィードバック・モジュール４０に転送し、ＨＶＳフィードバック・モジュール４０は、本開示で説明する技法に従って変換モジュール３６を構成または再構成するときに、これらの選好７８を採用し得る。
いずれの場合も、ソース・デバイス１２と、宛先ディスプレイ・デバイス１６と、潜在的にソース・デバイス１２に記憶されたコンテンツ２０および２２のうちの１つまたは複数とを選択した後に、パラメータ発見モジュール３８は、パラメータ７６を判断するために、選択された宛先、たとえば、ディスプレイ・デバイス１６とインターフェースし得る。パラメータ発見モジュール７６は、たとえば、言及したＨＤＭＩ規格に準拠するワイヤード・インターフェース３２を介してディスプレイ・デバイス１６とインターフェースし得る。ＨＤＭＩ規格の様々な態様を使用して、パラメータ発見モジュール７６は、３Ｄビデオ・コンテンツを受信するためにファイル・フォーマット・モジュール２７によってサポートされる入力ファイル・フォーマットなどのパラメータ７６を判断し得る。他のパラメータ７６は、サポートされる解像度、現在の解像度、ディスプレイサイズ、サポートされる色温度、現在の色温度など、ディスプレイ３０の様々な能力またはパラメータに関係する上記のパラメータ、あるいはディスプレイ３０と、ビデオ・デコーダ２８によってサポートされるコーデックを含む、ビデオ復号とに関係する他のパラメータを含む。
以下でより詳細に説明するように、パラメータ発見モジュール３８は、これらのパラメータがそれによってワイヤレスに発見されるセッションをホスティングするワイヤレス・ディスプレイ（ＷＤ）ホストとしても特徴づけられ得る。しばしば、これらのワイヤレス・ディスプレイホスト技法を実装するとき、パラメータ発見モジュール３８は、「ワイヤレスＨＤＭＩ」または「ＷＨＤＭＩ」と呼ばれるＨＤＭＩの一形態を実装する。
パラメータ７６を発見した後に、パラメータ発見モジュール３８は、選択された宛先ディスプレイ・デバイス１６のファイル・フォーマット・モジュール２７によってサポートされるファイル・フォーマットに従って３Ｄビデオデータを適切にフォーマットするようにディスプレイ・フォーマット・モジュール６４を構成するために、変換モジュール３６のディスプレイ・フォーマット・モジュール６４とインターフェースし得る。パラメータ発見モジュール３８は、（入力ファイル・フォーマットを含む）パラメータ７６の発見と、ディスプレイ・フォーマット・モジュール６４の構成との両方を自動的に実行し得る。
上記の「自動的に」という用語の使用は、一般に、自動的に行われるものとして示されるアクションを実行するためにオペレータの介在が必要とされないことを示す。ただし、この用語の使用は、言及した自動動作を開始するためにオペレータまたはユーザの入力が必要とされないことがあることを示唆するものではない。例示のために、オペレータがソース、コンテンツおよびデバイスを選択するために様々なユーザ・インターフェースと対話する、上記の例について考える。ユーザ・インターフェースとの対話は、パラメータ７６とディスプレイ・フォーマット・モジュール６４とを判断することの自動性質を損なわない。上記の例では、ユーザは、パラメータ発見モジュール３８がこれらのパラメータ７６を判断し、次いでディスプレイ・フォーマット・モジュール６４を構成することを指定する入力またはデータを与える必要がないので、オペレータは、これらの自動動作に気づいていないことがある。この点において、オペレータは、これらの動作が実行されるべきであることをアクティブに示していないので、自動動作はオペレータの観点から透過的に行われるものと解釈され得る。
パラメータ発見モジュール３８は、ディスプレイ・デバイス１６の判断された入力ファイル・フォーマットをパラメータ発見モジュール３８がそれによって指定し得るアプリケーションプログラミングインターフェース（ＡＰＩ）コールを介してディスプレイ・フォーマット・モジュール６４を構成し得る。２Ｄビデオ・コンテンツ２０を受信するより前に、ＨＶＳフィードバック・モジュール４０は、前処理モジュール５６、２Ｄ−３Ｄ処理モジュール５８、後処理モジュール６０、レンダリング・モジュール６２、およびディスプレイ・フォーマット・モジュール６４とインターフェースして、ユーザ選好７８に基づいてこれらのモジュール５６〜６４をも構成し得る。たとえば、ユーザ選好７８のうちの１つは、ＨＶＳフィードバック・モジュール４０が２Ｄ−３Ｄ処理モジュール５８を構成するときに利用し得る、好適なシャープネスを定義し得る。ＨＶＳフィードバック・モジュール４０は、２Ｄ−３Ｄ処理モジュール５８がシャープ画像不連続性における深さ値を計算するための精度の指示として好適なシャープネスを利用し得る。別の例では、ユーザ選好７８のうちの１つは、ＨＶＳフィードバック・モジュール４０がレンダリング・モジュール６２を構成するときに利用し得る、収束平面の好適なロケーションまたは好適な深さ範囲を定義し得る。ＨＶＳフィードバック・モジュール４０は、モジュール６２のレンダリングパラメータを調整するために好適な収束平面ロケーションまたは深さ範囲を利用し得る。
いずれの場合も、パラメータ発見モジュール３８とＨＶＳフィードバック・モジュール４０の両方は、変換モジュール３６のモジュール５６〜６４のうちの１つまたは複数を構成し得る。構成されると、変換モジュール３６は、単一ビューまたはマルチビュー２Ｄビデオデータを備え得る２Ｄビデオ・コンテンツ２０を受信し得る。単一ビュー２Ｄビデオデータは、単一のビデオ・キャプチャ・デバイスから撮影された単一のビューを備え得る。マルチビュー２Ｄビデオデータは、複数のビデオ・キャプチャ・デバイスから撮影された複数のビューを備え得る。一般に、マルチビュー２Ｄビデオデータは複数のビューのうちのいずれか１つの再生を可能にし、しばしば、閲覧者は、再生中に複数のビューの間で切り替えることができるが、２Ｄディスプレイ・デバイスは、一般に、互いに同時である複数のビューのうちの２つ以上を提示しない。
前処理モジュール５６は、一般に２Ｄビデオ・コンテンツ２０を受信する。オフライン処理モジュール７２は、２Ｄビデオ・コンテンツを受信せず、むしろ、図３に関して以下で説明する方法で前処理モジュール５６をサポートする。手短に言えば、オフライン処理モジュール７２は、一般に、上記のように、前処理モジュール５６によって使用されるモデルを生成するために統計分析およびモデリングを実行するための、様々なアルゴリズムを実装する。
前処理モジュール５６は、２Ｄビデオ・コンテンツ２０を受信し、２Ｄビデオ・コンテンツ２０を形成する様々な画像またはフレームに関するグローバル情報を判断する。このグローバル情報は、２Ｄビデオ・コンテンツ２０の単一の画像またはフレーム、あるいはいくつかの画像またはフレームに関し得る。たとえば、グローバル情報は、大気効果（たとえば、雨、雪、風などの存在を示す情報）を定義し得る。前処理モジュール５６は、２Ｄビデオ・コンテンツの所与の画像またはフレームについてのローカル情報をも判断し得る。ローカル情報を判断するためのそのようなローカル処理は、エッジのロケーションおよび強度、エッジの分類、オブジェクトのセグメンテーション、照明プロパティの検出、ならびに関心領域の検出に関係する情報を判断することに関与し得る。グローバルおよびローカル情報を前処理し、判断した後に、前処理モジュール５６は、２Ｄビデオ・コンテンツ２０とグローバルおよびローカル情報とを２Ｄ−３Ｄ処理モジュール５８に転送する。
２Ｄ−３Ｄ処理モジュール５８は、深さ情報を抽出するために、受信した２Ｄビデオ・コンテンツ２０を処理する。２Ｄ−３Ｄ処理モジュール５８は、前処理モジュール５６によって判断されたグローバルおよびローカル情報に基づいて深さ情報を抽出し得る。たとえば、２Ｄ−３Ｄ処理モジュール５８は、前処理モジュール５６によって判断された情報によって定義されたエッジ情報などの幾何学的線形情報から深さ情報を抽出し得る。２Ｄ−３Ｄ処理モジュール５８は、たとえば、幾何学的構造および動き、フォーカス／デフォーカス、シェーディングおよびシャドー、ならびに上記の幾何学的線形情報から、深さ情報または値を抽出するために、いくつかの深さ抽出アルゴリズムを実装し得る。２Ｄ−３Ｄ処理モジュール５８は、深さマップを生成するために、これらのアルゴリズムのうちの１つまたは複数を介して抽出された深さをマージし得る。深さマップは、２Ｄビデオ・コンテンツ２０のあらゆる画像またはフレームの各ピクセルに深さ値を割り当て、それにより、３Ｄビデオデータを生成し、３Ｄビデオデータを後処理モジュール６０に転送する。
後処理モジュール６０は、２Ｄ−３Ｄ処理モジュール５８によって生成されたこの３Ｄビデオデータを受信し、深さマップを改良するために３Ｄビデオデータを変更する。たとえば、後処理モジュール６０は、ディスプレイ・デバイス１６を介して表示されるときの、得られた変換された３Ｄビデオ・コンテンツ４８の可視化の品質を改善するために、深さマップを変更し得る。この修正は、深さマップをグローバルに平滑化すること、または深さマップに対応するフレーム中のいくつかの関心領域についての深さ情報を選択的に変更することに関与し得る。このようにして深さマップを改良した後に、後処理モジュール６０は、改良された３Ｄビデオデータをレンダリング・モジュール６２に転送する。
レンダリング・モジュール６２は、改良された３Ｄビデオデータを受信し、ディスプレイ・デバイス１６の判断された入力フォーマットがマルチビュー・ストリーム・フォーマットである場合、またはディスプレイ・デバイス１６が別様に複数の２Ｄ＋深さ（ｚ）ビューをサポートする場合のように、１つまたは複数のビューが必要とされる事例では、３Ｄシーンをモデル化する。このビューレンダリングの後に、レンダリング・モジュール６２は、潜在的にマルチビュー３Ｄビデオデータをディスプレイ・フォーマット・モジュール６４に転送し、ディスプレイ・フォーマット・モジュール６４は、続いて、ディスプレイ・デバイス１６によってサポートされる構成された入力ファイル・フォーマットに従ってマルチビュー３Ｄビデオデータをフォーマットして、変換された３Ｄビデオ・コンテンツ４８を生成する。次いで、ディスプレイ・フォーマット・モジュール６４は、閲覧者への提示のために、変換された３Ｄビデオ・コンテンツ４８をディスプレイ・デバイス１６に転送する。
上記で説明した方法で２Ｄビデオ・コンテンツ２０を変換している間、ＨＶＳフィードバック・モジュール４０は、ディスプレイ・デバイス１６のビデオ・デコーダ２８によって出力される３Ｄビデオデータ４４を取り出すために、ディスプレイ・デバイス１６とインターフェースする。次いで、ＨＶＳフィードバック・モジュール４０は、復号された３Ｄビデオデータ４４の定性的および定量的評価を実行する。より詳細には、定性的評価モジュール６６は、（「定性的メトリック７０」と呼ばれることがある）メトリック７０のうちの１つまたは複数を判断するために、復号された３Ｄビデオデータ４４の可視化の品質に関係する定性的評価を実行する。また、可視化のこの品質は、３Ｄビデオデータ４４を閲覧するときの（ユーザ選好７８によって定義された）所与の閲覧者の快適さを含み得る。例示のために、右目が利き目である閲覧者が、３Ｄビデオデータ４４を閲覧するときに自分の右目のほうを選ぶと考える。この場合、定性的評価モジュール６６は、３Ｄビデオデータ４４を分析して、右目ストリームが左目ストリームに優先して選ばれるようにし得る。すなわち、閲覧者の右目が利き目である場合、定性的評価モジュール６６は、所与のフレームまたはピクチャグループについての全体的なメトリックを判断するときに、左目ストリームメトリックに優先して右目ストリームメトリックを重み付けし得る。
定量的評価モジュール６８は、（「定量的メトリック７８」と呼ばれることがある）メトリック７８のうちの１つまたは複数を判断するために３Ｄビデオデータ４４の定量分析を実行し得る。たとえば、定量的評価モジュール６８は、後処理モジュール６０と、レンダリング・モジュール６２と、ディスプレイ・フォーマット・モジュール６４とのうちの１つまたは複数によって生成された３Ｄビデオデータの１つまたは複数のフレーム中のオブジェクトの深さとサイズとの間の関係を評価し得る。定量的メトリック７８は、オブジェクトの深さとサイズとの間のこの関係を１つのメトリックとして含み得る。他の定量的メトリック７８は、フィルタ効力メトリック、可視不連続性メトリック、および補間効力メトリックなど、深さ画像ベースレンダリングに関係するメトリックを含み得る。定量的メトリック７８はまた、深さの正規化において有用なメトリックを含み得る。したがって、定量的メトリック７８は、３Ｄビデオデータによって定義されたオブジェクトの深さとサイズとの間の関係と、３Ｄビデオデータの深さ不連続性と平均領域色不連続性との間の関係と、フィルタ効力メトリックと、補間効力メトリックと、深さの正規化において有用なメトリックと、経時的な深さの不連続性を測定することに関係するメトリックとに関係する少なくとも１つのメトリックを含み得る。定性的評価モジュール６８は、さらに、モジュール６０〜６４によって生成されたビデオデータの経時的な深さの不連続性を測定し、ならびに多数の他の形態の定量分析を実行し得る。
定性的評価モジュール６６および／または定量的評価モジュール６８を使用して、ＨＶＳフィードバック・モジュール４０は幅広い分析を実行し得る。この分析は、上記のように部分的に、モジュール５６〜６４のうちの１つまたは複数によって生成されたか、または３Ｄビデオデータ４４としてディスプレイ・デバイス１６から受信された、３Ｄビデオデータの所与のフレームまたは画像中のいずれかのオブジェクトの深さとサイズとの間の関係を測定し、調整することに関与し得る。その分析はまた、経時的な深さの不連続性と、シャドーまたはシェーディング効果と、背景コントラストと、空間周波数とを測定することに関与し得る。
これらのメトリックに基づいて、ＨＶＳフィードバック・モジュール４０は、次いで、メトリック７０に基づいて構成データ８０を判断し、変換モジュール３６のモジュール５６〜６４のうちの１つまたは複数とインターフェースして、変換された３Ｄビデオ・コンテンツ４８の知覚される視覚的品質を改良するようにこれらのモジュール５６〜６４を再構成し得る。メトリック７０に基づいて構成データ８０を判断することに加えて、ＨＶＳフィードバック・モジュール４０は、パラメータ発見モジュール３８がＨＶＳフィードバック・モジュール４０に転送し得るパラメータ７６にも基づいて構成データ８０を判断し得る。その上、ＨＶＳフィードバック・モジュール４０は、ユーザ選好７８に適応するように構成データ８０を判断するかまたは場合によっては調整し得る。したがって、構成データ８０は、多種多様なメトリック、パラメータおよび選好に従って判断され得る。
一例として、ＨＶＳフィードバック・モジュール８０は、視標追跡（eye tracking）機能が欠如しているディスプレイ・デバイスのフォーカスキューを矯正するように構成データ８０を調整し得る。フォーカスキューは、異なる焦点距離についての所与のフレームにわたる画像の明暸性について説明するデータを備える。この例では、パラメータ７６は、ディスプレイ・デバイス１６の視標追跡機能の欠如を示し得る。このコンテキストでは、（ＨＶＳがそれによってフォーカスを解釈する、３Ｄビデオ・コンテンツ４８におけるキューを備え得る）フォーカスキューを矯正するために、ＨＶＳフィードバック・モジュール４０は、２Ｄ−３Ｄ処理モジュール５８によって実行される深さ抽出を制約するように、および／またはレンダリング・モジュール６２によるマルチビューレンダリングのための深さ解釈を制約するように、２Ｄ−３Ｄ処理モジュール５８および／またはレンダリング・モジュール６２のための構成データ８０を判断し得る。
フォーカスは、両方がディスプレイのサイズから導出され得る、視野と標準閲覧距離とに依存し得るので、ＨＶＳフィードバック・モジュール４０は、ディスプレイ・デバイス１６のディスプレイ３０のサイズを示すパラメータ７６に基づいて、この構成データ８０を生成し得る。フォーカスはまた、（一般に左目と右目との間の距離として定義される）両眼間隔に依存し得、ユーザ選好７８は標準両眼間隔選好を記憶し得る。したがって、ＨＶＳフィードバック・モジュール８０は、上記のフィードバック（たとえば、実際の閲覧距離、実際の目の位置、および実際の両眼間隔）を与えるための視標追跡機構を有しないディスプレイ・デバイス３０においてフォーカスミスキュー（miscue）を矯正するように構成データ８０を生成するためにユーザ選好７８とパラメータ７６との両方にアクセスし得る。
視標追跡がディスプレイ・デバイス１６を通して利用可能である場合、ＨＶＳフィードバック・モジュール４０は、ＨＶＳフィードバック・モジュール４０がそれによって３Ｄビデオ・コンテンツ４４を受信するのと同じインターフェースを介してこのフィードバックを受信し得る。この機構は、ディスプレイ・デバイス１６に結合された外部デバイスであり得る。代替的に、この視標追跡機構はディスプレイ・デバイス１６内に組み込まれ得る。いくつかの例では、その機構は、眼球運動を追跡する必要がなく、より一般的には各ユーザの位置を追跡することがあり、その場合は、閲覧距離と目の位置とが導出され得るので、「視標追跡」という名前は誤称であり得る。
いくつかの事例において、ＨＶＳフィードバック・モジュール４０は、立体視ディスプレイと自動立体視ディスプレイとのためにフォーカスキューを別様に矯正するための構成データ８０を生成し得る。ディスプレイ・デバイス１６が立体視であるか（シャッターメガネなど、３Ｄビデオデータを適切に提示するための追加の閲覧装置を必要とするディスプレイ・デバイス）、自動立体視であるか（３Ｄビデオデータを適切に提示するための追加の閲覧装置を必要としないディスプレイ・デバイス）は、パラメータ発見モジュール３８によって判断され、パラメータ３８のうちの１つとして記憶され得る。
（同じくパラメータ３８のうちの１つを介して示され得る）「ボリュームディスプレイ」と呼ばれる特定のタイプの自動立体視ディスプレイについて考える。ボリュームディスプレイは、（各視点が異なる閲覧者のためのものである）複数の同時視点のために正確な明視野（light field）を提示することが不可能であり得る。その結果、これらのボリュームディスプレイは、通常、自動立体視ディスプレイとして使用されるときにビュー依存照明（遮断、鏡面性、および反射など）を正しく提示することができない。ＨＶＳフィードバック・モジュール４０は、ボリュームディスプレイの立体知覚を改善するように閲覧位置を訂正するように変換モジュール３６の様々なモジュール５６〜６４を構成し得る。
立体視ディスプレイと自動立体視ディスプレイとの間の他の差異が、異なる構成を保証し得、ＨＶＳフィードバック・モジュール４０は、これらのパラメータ７８に基づいて構成データ８０を調整し得る。たとえば、通常、自動立体視ディスプレイと立体視ディスプレイとの間には、深さ知覚および深さパフォーマンスの差異がある。ＨＶＳフィードバック・モジュール４０は、これらのデバイス能力またはパラメータ差異に基づいて構成データ８０を別様に調整し得る。
上記のように、ＨＶＳフィードバック・モジュール４０は、ディスプレイ・デバイス１８の異なるフォームファクタ、およびより詳細には、ディスプレイ３０のサイズに基づいて、フォーカスキューを制約するように構成データ８０を調整し得る。内部ディスプレイ５４は、通常、外部ディスプレイ・デバイス１６のディスプレイ３０よりもはるかに小さいフォームファクタのディスプレイであり、これらの異なるフォームファクタは、立体画像がどのように構築され、表示されるかの差異を暗示し得る。その上、フォームファクタは閲覧オーディエンスの潜在的なサイズを示し得、より小さいフォームファクタは単一の閲覧者を示唆し得、より大きいディスプレイは複数の閲覧者を示唆し得る。ＨＶＳフィードバック・モジュール４０は、これらの異なるフォームファクタを考慮するように構成データ８０を生成し得る。
詳細には、ＨＶＳフィードバック・モジュール４０は、一例では、フォームファクタに基づいて構成データ８０を生成するために、ＨＶＳについて知られている態様を活用し得る。一態様では、最適ボクセル分布が、人間の目の空間およびフォーカス解像度によって規定される。人間の目のこの知られている制限を仮定すれば、ＨＶＳフィードバック・モジュール４０は、ディスプレイのタイプ（３Ｄディスプレイ技術のこれらの２つのタイプの異なるサブクラスを含む、立体視または自動立体視）とディスプレイのサイズとに基づいて特定の空間およびフォーカス解像度を判断する。次いで、ＨＶＳフィードバック・モジュール４０は、深さ処理を変更するために２Ｄ−３Ｄ処理モジュール５６のための構成データ８０を生成し得る。
ＨＶＳフィードバック・モジュール４０はまた、ディスプレイ・デバイス１６に対する閲覧者の特定の視覚軸または閲覧角に基づいてメトリック７０のうちの１つによって示される空間周波数を改良または潜在的に最適化し得る。この視覚軸または閲覧角は３Ｄ視覚データ４４とともに与えられ得、あるいは、パラメータ発見モジュール３８は、（ディスプレイ・デバイス１６内に組み込まれた視標追跡装置または閲覧者追跡装置に関係するという点で）この視覚軸または閲覧角をパラメータ７６のうちの１つとして発見するためにディスプレイ・デバイス１６とインターフェースし得る。ＨＶＳフィードバック・モジュール４０は、現在のディスプレイ解像度がフォーカスキューに影響を及ぼし得るので、このディスプレイ解像度を指定するパラメータ７６のうちの１つまたは複数をも利用し得る。次いで、ＨＶＳフィードバック・モジュール４０は、これらのパラメータ７６に基づいて構成データ８０を生成し得る。
別の例では、ＨＶＳフィードバック・モジュール４０は、深さ画像ベースレンダリング（ＤＩＢＲ）を改良または潜在的に最適化する構成データ８０を生成し得る。ＨＶＳフィードバック・モジュール４０は、ＤＩＢＲの様々な態様を改良するために、３Ｄビデオデータ４４と、後処理モジュール６０とレンダリング・モジュール６２とディスプレイ・フォーマット・モジュール６４とによって生成された３Ｄビデオデータとを分析し得る。一例では、ＨＶＳフィードバック・モジュール４０は、視覚的アーティファクトを最小限に抑え、場合によっては潜在的になくすために、深さ次元における適切なフィルタ処理を保証するために、このビデオデータ４４あるいはモジュール６０〜６４のうちの１つまたは複数によって生成されたビデオデータを分析する。しばしば、深さフィルタ処理改良は、パラメータ発見モジュール３８によって同じく発見可能であり、したがって、パラメータ７６のうちの１つまたは複数を介して知られる、特定のディスプレイ技術または能力を中心に展開する。例示のために、減算ディスプレイはバックライトからの直接照明を可視化し得るので、これらのディスプレイにおいて非深さフィルタ処理レンダリングによる可視不連続性が潜在的にはるかに大きくなることを考える。したがって、ＨＶＳフィードバック・モジュール４０は、異なるディスプレイ能力を考慮するように深さフィルタ処理を調整するための構成データ８０を生成し得る。
ＨＶＳフィードバック・モジュール４０はまた、ホールの充填（たとえば、現在の解像度に適応するように２Ｄビデオ・コンテンツ２０の解像度を調整するときに起こり得る補間）のためのフィルタ処理に関係するメトリック７０に基づいてＤＩＢＲの様々な態様を改良する構成データ８０を生成し得る。フィルタ処理はガウスフィルタ処理またはエッジベースフィルタ処理を備え得る。ＨＶＳフィードバック・モジュール４０はまた、所与の画像またはフレーム中でオクルージョンが起こることが予想される場合、特定のピクセルの深さ値を強制的に０にするように、Ｐ３Ｄと呼ばれるファイル・フォーマットなど、特定のファイル・フォーマットに関係するメトリック７０に基づいてＤＩＢＲを改良する構成データ８０を生成し得る。
同じくＤＩＢＲを改良することに関して、ＨＶＳフィードバック・モジュール４０は、シャドー効果とシェーディングとに関係するメトリック７０に基づいて、可視近傍ピクセルを使用して領域中のシャドー効果／シェーディングを増加させる構成データ８０を生成し得る。ＨＶＳフィードバック・モジュール４０はまた、エッジ不連続性を取り除く傾向がある深さフィルタ処理によるぼけを最小限に抑えるために、高周波強調（ＨＦＥ）によってＤＩＢＲを改良するためにエッジを増補し得る。さらに、ＨＶＳフィードバック・モジュール４０は、深さマップのダイナミックレンジ再整形を可能にする構成データ８０を生成し、それにより、この構成データ８０が、より高い深さ値を拡張し、より低い深さ値を圧縮することによって、ＤＩＢＲを改良し得る。いくつかの事例において、ＨＶＳフィードバック・モジュール４０は、ユーザ選好７８のうちの１つによって定義された所与の閲覧者のＨＶＳの知覚性または感度に基づいて拡張および圧縮の範囲を変調し得る。
このＤＩＢＲ改良はまた、ＨＶＳフィードバック・モジュール４０が、目選好または優位性に関係するユーザ選好７８のうちの１つまたは複数に基づいてＤＩＢＲを調整する構成データ８０を生成することによって行われ得る。例示のために、任意の１つビューについて、閲覧者は左目または右目優位であり得、閲覧者はこの優位性をユーザ選好７８のうちの１つとして示し得ると考える。特に、閲覧者は、優位性を判断するためにユーザ・インターフェースを介して提示されるテストを受け得るかまたは優位性を単に選択し得る。いずれの場合も、ＨＶＳフィードバック・モジュール４０は、最高１２０色ピクセル密度（ｃｐｄ）の良好なボクセル解像度を求めて、視覚軸に沿って＋／−２０度または最高５０度にわたってビューが細かくなるように、目優位性、感度または知覚可能性（perceivability）の差異に関係するユーザ選好７８に基づいて様々なビューを調整する構成データ８０を生成し得る。適切な場合、ＨＶＳフィードバック・モジュール４０は、深さ知覚を改善するために、左目ビューと右目ビューとの知覚される品質が非対称であるかまたは等しくないことを示す非対称品質を採用する構成データ８０を生成し得る。
さらに別の例では、ＨＶＳフィードバック・モジュール４０は、目感度に関係するユーザ選好７８、ならびにコンテンツタイプ、照明レベルなどに関係するメトリック７０のうちの１つまたは複数に基づいて深さを正規化する構成データ８０を生成し得る。ＨＶＳフィードバック・モジュール４０による深さの正規化はまた、ビデオデータ４４と、シーン変化、コンテンツタイプおよび構成（たとえば、無限焦点距離にあるオブジェクトがあるかどうか）に関係するメトリック７０とに基づいて判断される最大深さに依存し得る。ＨＶＳフィードバック・モジュール４０による深さの正規化はまた、レンダリング方法に関係する定量的メトリック７０に加えて、ディスプレイタイプなどのパラメータ７６に依存し得る。
別の例では、ＨＶＳフィードバック・モジュール４０は、ストレス（たとえば、眼精疲労および吐き気）を最小限に抑えるように３Ｄ可視化を改良する構成データ８０を生成し得る。いくつかの態様では、ＨＶＳフィードバック・モジュール４０は、ストレス（たとえば、眼精疲労および吐き気）を最小限に抑えるように３Ｄ可視化を最適化する構成データ８０を生成し得る。ＨＶＳフィードバック・モジュール４０は、ストレスを最小限に抑えるように深さを制約するか、シーン中のオブジェクトのタイプに基づいて選択的深さ抽出を実行するか、シーン中の当該の特定のオブジェクトに対する特定の深さ抽出のための選択的深さレンダリングを実行するか、またはある信頼レベルを上回る深さ値のみを抽出し得る。このようにして、ＨＶＳフィードバック・モジュール４０は、メトリック７０に基づいて構成データ４０とパラメータ７６とユーザ選好７８とを生成し、３Ｄビデオ・コンテンツ４８への２Ｄビデオ・コンテンツ２０の変換を、場合によっては改善し、さらには最適化しないとしても、改良するように変換モジュール３６の１つまたは複数のモジュール５６〜６４を再構成し得る。
変換モジュール３６の再構成されたモジュール５６〜６４は、次いで、構成データ８０に従って２Ｄビデオ・コンテンツ２０を３Ｄビデオ・コンテンツ４８に変換し続け得る。変換モジュール３６は、次いで、この動的再構成の後に、改良された３Ｄビデオ・コンテンツ４８をディスプレイ・デバイス１６に転送することを開始し得、その後、ディスプレイ・デバイス１６は、１人または複数の閲覧者による消費のためにディスプレイ３０を介してこの改良された３Ｄビデオ・コンテンツ４８を提示し得る。ＨＶＳフィードバック・モジュール４０中のこのフィードバック機構は、オペレータによって選択された特定のプラットフォーム、たとえば、ディスプレイ・デバイス１６上での再生のためにこのビデオデータを断続的に改良するかまたはいくつかの態様では最適化するために、３Ｄビデオ・コンテンツ４８への２Ｄビデオ・コンテンツ２０の変換全体の間、継続し得る。この点において、ＨＶＳフィードバック・モジュール４０は、ユーザ選好７８によって定義された、特定の閲覧者に対する特に選択されたディスプレイ・デバイス、たとえば、ディスプレイ・デバイス１６上での再生のために３Ｄビデオ・コンテンツ４８を調整する方法で３Ｄビデオ・コンテンツ４８を改良し、最適化しないとしても潜在的に改善する、（閲覧者の観点から）透過的でリアルタイムまたはほぼリアルタイムの動的フィードバックを可能にし得る。以下に、ＨＶＳフィードバック・モジュール４０が構成データ８０を生成し、構成データ８０に従って変換モジュール３６のモジュール５６〜６４のうちの様々なモジュールを再構成する例を記載する。ＨＶＳフィードバック・モジュール４０はまた、ユーザ選好に従って許容できる３Ｄビデオ品質を維持しながら計算複雑さが低減されるようにモジュール５６〜６４を再構成するために使用され得る、（閲覧者の観点から）透過的でリアルタイムまたはほぼリアルタイムの動的フィードバックを可能にし得る。
図３は、図２のモバイル・デバイス１２の変換モジュール３８とオフライン処理モジュール７２とをより詳細に示すブロック図である。図３の例に示すように、モジュール５６〜６２の各々は、変換された３Ｄビデオ・コンテンツ４８への２Ｄまたは３Ｄビデオ・コンテンツの変換の様々な態様を実行する追加のユニットを備える。たとえば、前処理モジュール５６は、大気（atmospheric）効果検出ユニット８２Ａ（「大気（atmos）効果検出ユニット８２Ａ」）、シーン変化検出ユニット８２Ｂ、およびカメラ動き検出ユニット８２Ｃとして図３の例に示されている少なくとも３つのグローバル処理ユニット８２Ａ〜８２Ｃを備える。これらは、たとえば、それぞれの大気効果、シーン変化およびカメラ動きを検出するために２Ｄビデオ・コンテンツ２０のフレーム全体または複数のフレームをグローバルに分析するので、グローバル処理ユニットと見なされる。
前処理モジュール５６はまた、それぞれ、関心領域（ＲＯＩ）、エッジならびにコントラストおよび／または照明を検出するために、一度に単一のフレーム内の近傍ピクセルの所与の領域に関する入力ビデオデータ２０または２２を処理する（これは、局地的またはローカル処理と見なされる）ローカル処理ユニット８４Ａ〜８４Ｃを含む。図３の例において、これらのローカル処理ユニット８４Ａ〜８４Ｃは、ＲＯＩ検出ユニット８４Ａ、エッジ検出ユニット８４Ｂおよびコントラスト／照明（illumination）検出ユニット８４Ｃ（「コントラスト／照明（illum）検出ユニット８４Ｃ」）として示されている。ＲＯＩ検出ユニット８４Ａは、顔または人体などのＲＯＩを検出する１つまたは複数のハードウェア・モジュールを表し、そのうちのいくつかはソフトウェアを実行し得る。エッジ検出ユニット８４Ｂは、エッジの位置を特定し、エッジを分類する、たとえば、実オブジェクトの境界を画定するものとして、シャドー境界を画定するものとして、またはシェーディング効果を定義するものとしてエッジを分類する、１つまたは複数のハードウェア・モジュールを表し、そのうちのいくつかはソフトウェアを実行し得る。この分類はまた、エッジの強度を判断することに関与し得る。コントラスト／照明検出ユニット８４Ｃは、照明プロパティを検出する１つまたは複数のハードウェア・モジュールを表し、そのうちのいくつかはソフトウェアを実行し得る。
説明しやすいように、図３には示されていないが、前処理モジュール５６は追加のグローバルまたはローカル処理ユニットを含み得る。たとえば、前処理モジュール５６は、所与の画像またはフレームのクロマ成分、画像またはフレームの色成分、あるいは画像またはフレームのクロマ成分と色成分の両方に基づいてオブジェクトのセグメンテーションを実行する別のローカル処理ユニットを含み得る。したがって、本開示に記載する技法は、図３に示す例に限定されるべきではなく、追加のグローバルおよびローカル処理ユニットを含み得る。ユニット８２Ａ〜８２Ｃおよび８４Ａ〜８４Ｃによって抽出された様々な情報は、深さ抽出を可能にするために２Ｄ−３Ｄ処理に転送され得る。
２Ｄ−３Ｄ処理モジュール５８は、マルチフレーム深さ抽出技法と単一フレーム深さ抽出技法の両方を実行するためのいくつかのユニットを含む。マルチフレーム深さ抽出ユニットは、カメラ・モデリング・ユニット８６Ａと移動オブジェクト・モデリング・ユニット８６Ｂとを含む。カメラ・モデリング・ユニット８６Ａは、深さ値を抽出するために幾何学的構造と動きとをモデル化する（たとえば、幾何学的構造と動きとをキャプチャするカメラをモデル化する）１つまたは複数のハードウェア・モジュールを表し、そのうちのいくつかはソフトウェアを実行し得る。移動オブジェクト・モデリング・ユニット８６Ｂは、深さ値を抽出するために独立した移動オブジェクトから背景を区分する１つまたは複数のハードウェア・モジュールを表し、そのうちのいくつかはソフトウェアを実行し得る。
単一フレーム抽出ユニットは、レンズ・モデリング・ユニット８８Ａと、オクルージョン・モデリング・ユニット８８Ｂと、照明モデリング・ユニット８８Ｃと、幾何学的モデリング・ユニット８８Ｄとを含む。レンズ・モデリング・ユニット８８Ａは、所与のフレームまたは画像中で検出されたフォーカスキューとデフォーカスキューとに基づいて深さ値を抽出する１つまたは複数のハードウェア・モジュールを表し、そのうちのいくつかはソフトウェアを実行し得る。オクルージョン・モデリング・ユニット８８Ｂは、所与のフレームまたは画像中の様々なオブジェクト間のオクルージョンをモデル化または場合によっては検出し、これらのオクルージョンに基づいて深さ値を抽出する、１つまたは複数のハードウェア・モジュールを表し、そのうちのいくつかはソフトウェアを実行し得る。照明モデリング・ユニット８８Ｃは、検出されたシャドーおよびシェーディング効果に基づいて単一のフレームまたは画像の深さ値を抽出する１つまたは複数のハードウェア・モジュールを表し、そのうちのいくつかはソフトウェアを実行し得る。幾何学的モデリング・ユニット８８Ｄは、単一のフレームまたは画像内の幾何学的線形パースペクティブのモデリングに基づいて単一のフレームまたは画像の深さ値を抽出する１つまたは複数のハードウェア・モジュールを表し、そのうちのいくつかはソフトウェアを実行し得る。
上記のように、これらのユニット８６Ａ〜８６Ｂおよび８８Ａ〜８８Ｄの多くは、前処理モジュール５６のユニット８２Ａ〜８２Ｃおよび８４Ａ〜８４Ｃによって抽出される情報に依拠する。たとえば、照明モデリング・ユニット８８Ｃは、コントラスト／照明検出ユニット８４Ｃとエッジ検出ユニット８４Ｂとによって判断されたコントラスト／照明情報に深さの抽出の基礎をおき得る。別の例として、オクルージョン・モデリング・ユニット８８Ｂは、エッジ検出ユニット８４Ｂによって検出されたエッジ情報を使用してオクルージョンをモデル化し得る。さらに別の例として、レンズ・モデリング・ユニット８８Ａは、エッジ検出ユニット８４Ｂによって判断されたエッジ情報に深さ抽出の基礎をおき得る。さらなる例として、幾何学的モデリング・ユニット８８Ｄは、エッジ検出ユニット８４Ｂによって判断されたエッジ情報に基づいて深さ値を抽出し得る。カメラ・モデリング・ユニット８６Ａおよび移動オブジェクト・モデリング・ユニット８６Ｂは、大気効果検出ユニット８２Ａと、シーン変化検出ユニット８２Ｂと、カメラ動き検出ユニット８２Ｃとによって判断された情報に基づいて深さ値を抽出し得る。このようにして、２Ｄ−３Ｄ処理モジュール５８は、２Ｄビデオ・コンテンツ２０と３Ｄビデオ・コンテンツ２２の両方から深さ値を抽出し得る。
特に、マルチビュー・ストリームの場合、変換モジュール３６は、複数のキャプチャシステムから同時に収集またはキャプチャされた異なるストリームの各フレームを処理するために複数の２Ｄ−３Ｄ処理モジュールを含み得る（たとえば、複数の２Ｄ−３Ｄ処理モジュールが起動され得る）。単一ビューストリームの場合でも、変換モジュール３６は、２つ以上の連続するフレームまたは画像を処理するための複数の２Ｄ−３Ｄ処理モジュールを備え得る。この単一ビューストリームの場合、複数の２Ｄ−３Ｄ処理モジュールの各々はフィーチャポイントとこれらのポイントの記述子とを抽出する。これらの記述子は、次いで、異なるフレーム中のフィーチャポイント間の対応を設定するために使用され、対応するポイントのロケーションは、深さ値を抽出するために、カメラ・モデリング・ユニット８６Ａによって実装される射影幾何学カメラモデルとともに使用される。
異なるカメラユニット（同じまたは異なるカメラパラメータをもつ、空間的に異なるポイントに位置する各カメラ）を用いて各ビューが同時に収集されるマルチビュー・ストリームに関して、２Ｄ−３Ｄ処理ユニット５８は、レンズ・モデリング・ユニット８８Ａと同様の複数のカメラ・モデリング・ユニットを含み得る。これらのレンズ・モデリング・ユニット８８Ａの各々は、これらのフレームの各々が同時にキャプチャされる異なるマルチビューのフレームを処理する。単一ビューストリームの場合、２Ｄ−３Ｄ処理ユニット５８は、一度に単一ビューストリームの単一の画像またはフレームを処理するためにカメラ・モデリング・ユニット８８Ａを起動し得る。
マルチフレーム処理ユニット８６Ａ〜８６Ｂおよび単一フレーム処理ユニット８８Ａ〜８８Ｄのうちの１つまたは複数を使用して深さ値を判断した後に、２Ｄ−３Ｄ処理モジュール５８は、所与のビューストリーム（または、マルチビュー・ストリームの場合、ビューストリームの各々）の各フレームの合成深さマップを作成するために、様々なマルチフレーム処理ユニット８６Ａ〜８６Ｂおよび単一フレーム処理ユニット８８Ａ〜８８Ｄからの深さ値をマージするか、または場合によってはこれらの深さ値を統合し得る。深さマップは、所与のフレームまたは画像の各ピクセルに深さ値を割り当てる。２Ｄ＋深さファイル・フォーマットに関して、一例として、各フレームの深さマップはグレースケール画像として表され、グレースケール画像の各８ビットピクセル値は、フレーム中の対応するピクセルの深さ値を定義する。
ＨＶＳフィードバック・モジュール４０は、マルチフレーム深さ抽出処理ユニット８６Ａ〜８６Ｂと単一フレーム深さ抽出処理ユニット８８Ａ〜８８Ｄとのうちの１つまたは複数によって深さ抽出を制約するように２Ｄ−３Ｄ処理モジュールを構成する構成データ８０を生成し得る。一例として、ＨＶＳフィードバック・モジュール４０は、有効な対応するポイントを制約するために、他のユニット（たとえば、ユニット８６Ｂおよび８８Ａ〜８８Ｄ）からの結果を使用することによって、カメラシステムをモデル化するために使用される式の線形システムがディスアンビギュエート（disambiguated）され、速度を上げるようにカメラ・モデリング・ユニット８６Ａを構成する構成データ８０を生成し得る。
ＨＶＳフィードバック・モジュール４０はまた、マルチフレーム処理ユニット８６Ａ〜８６Ｂと単一フレーム処理ユニット８８Ａ〜８８Ｄとによって生成された深さマップのマージに影響を及ぼす構成データ８０を生成し得る。たとえば、２Ｄ−３Ｄ処理モジュール５８は、判断または抽出された深さマップの各々に異なる重みを割り当てる加重平均マージ機能を使用して、これらの深さマップをマージし得る。ＨＶＳフィードバック・モジュール４０は、得られた合成深さマップを調整するために、これらの重みを変更または構成する構成データ８０を生成し得る。この調整は、変換された３Ｄビデオ・コンテンツ４８の可視化の品質を改善するか、または場合によっては変換された３Ｄビデオ・コンテンツ４８を閲覧することに関連するストレスを低減し得る。
このようにして２Ｄビデオ・コンテンツ２０を処理した後に、２Ｄ−３Ｄ処理モジュール５８は、２Ｄビデオ・コンテンツ２０と生成された１つまたは（マルチビュー・ストリームの場合）複数の合成深さマップとを後処理モジュール６０に転送する。後処理モジュール６０は、変換された３Ｄビデオ・コンテンツ４８の可視化の品質を改良するために、得られた１つまたは複数の深さマップを変更する深さ知覚ユニット９０を含む。いくつかの事例において、深さ知覚ユニット９０は、変換された３Ｄビデオ・コンテンツ４８の可視化の品質を改善するために、得られた１つまたは複数の深さマップを変更する。深さ知覚ユニット９０は、変換モジュール３６を表すモジュール５６〜６４のパイプライン中にユニットを導入し得、それにより、ＨＶＳフィードバック・モジュール４０は、深さマップを改良するために仲介し得る。例示のために、深さ知覚ユニット９０は、ＨＶＳフィードバック・モジュール４０が深さマップの後処理を実行するためにパイプライン中で仲介し得るように、ＨＶＳフィードバック・モジュール４０が構成データ８０をロードするために対話し得るインターフェースを表し得る。
一例では、ＨＶＳフィードバック・モジュール４０は、複数のフレームまたは３Ｄビデオデータ全体にわたって深さマップをグローバルに平滑化する動作、および／またはＲＯＩ検出ユニット８４Ａによって識別されたいくつかの関心領域の深さ情報を選択的に変更する動作を実行するように深さ知覚ユニット９０を構成する、深さ知覚ユニット９０のための構成データ８０を生成し得る。別の例では、ＨＶＳフィードバック・モジュール４０は、パラメータ７６に基づいて、様々な深さ値が特定のディスプレイ、たとえば、ディスプレイ・デバイス１６のために調整されるように、それらの値を変更し、制約する動作を実行するように深さ知覚ユニット９０を構成する構成データ８０を生成し得る。さらなる一例では、ＨＶＳフィードバック・モジュール４０は、メトリック７０に基づいて、変換された３Ｄビデオデータの定量的改善を可能にするために、動的に深さマップを変更する動作を実行するように深さ知覚ユニット９０を構成する構成データ８０を生成し得る。
１つまたは複数の深さマップを改良した後に、後処理モジュール６０は、２Ｄビデオ・コンテンツと１つまたは複数の改良された深さマップとをレンダリング・モジュール６２に転送する。レンダリング・モジュール６２は、３Ｄモデリング・ユニット９２と、照明モデリング・ユニット９４（「照明モデリング・ユニット９４」）と、補間ユニット９６とを備える。３Ｄモデリング・ユニット９２、照明モデリング・ユニット９４および補間ユニット９６の各々は、２Ｄビデオ・コンテンツ２０からの１つまたは複数の追加のビューの生成を可能にするために３Ｄシーンの様々な態様をモデル化する１つまたは複数のハードウェア・モジュールを表し、そのうちのいくつかはソフトウェアを実行し得る。
３Ｄモデリング・ユニット９２は、３Ｄシーンの生成とその後の１つまたは複数の追加のビューの生成とを可能にするために、後処理モジュール６０からの深さマップを利用し得る。照明モデリング・ユニット９４は、３Ｄシーンの生成とその後の１つまたは複数の追加のビューの生成とを可能にするために、照明モデリング・ユニット８８Ｃおよび／またはコントラスト／照明検出ユニット８４Ｃによって判断された照明情報を利用し得る。補間ユニット９６は、３Ｄシーンの生成とその後の１つまたは複数の追加のビューの生成とを可能にするために２Ｄビデオデータのピクセル情報を利用し得る。この点において、レンダリング・モジュール６２は、単一ビュー２Ｄビデオ・コンテンツ２０からのマルチビュー・ストリーム・フォーマットでの３Ｄビデオ・コンテンツの生成を可能にするために追加のビューを生成する。
ディスプレイ・フォーマット・モジュール６４は、説明しやすいように、図示されていないが、モジュール５６〜６２と同様の追加のユニットを備え、パラメータ発見モジュール３８によって判断された入力ファイル・フォーマット９８に従って、レンダリング・モジュール６２から受信した３Ｄビデオデータをフォーマットするために様々なユニットを起動し得る。一例では、ディスプレイ・フォーマット・モジュール６４は、（たとえば、アナグリフ（anaglyph）ファイル・フォーマットによって必要とされる）色成分が異なる様々なビューをインターリーブするために色インターリービングユニットを起動する。別の例として、ディスプレイ・フォーマット・モジュール６２は、ピクセルロケーションが異なる様々なビューをインターリーブするために空間インターリービングユニットを起動する。複数のビューが生成されるとき、ディスプレイ・フォーマット・モジュール６４は、構成データ８０によって示され、パラメータ７６のうちの１つを介して学習され得るフレーム切替えディスプレイのために様々なビューを時間的に多重化するマルチビューユニットを起動し得る。ディスプレイ・フォーマット要件に加えて、ＨＶＳフィードバック・モジュール４０はまた、メトリック７０および／またはユーザ選好７８に基づいて、３Ｄビデオストリームを強調、フィルタ処理、または、全体的に変更するようにディスプレイ・フォーマット・モジュール６４を構成する構成データ８０を生成し得る。
オフライン処理モジュール７２は、概して、トレーニングセットの様々なプロパティに関して、トレーニングセットの様々なフレームまたは画像のいくつかの記述子の統計分析およびモデリングを実行し得る。様々なプロパティは、照明のタイプおよび方向、オブジェクト反射率、テクスチャおよび大気効果を含み得る。オフライン処理モジュール７２は、前処理モジュール５６の様々なユニット８２Ａ〜８２Ｃおよび８４Ａ〜８４Ｃが使用する１つまたは複数のモデルを作成することによって前処理モジュールのサポートを行う。
オフライン処理モジュール７２は、統計分析およびモデリングを実行するための機械学習ユニット１００を含む。機械学習ユニット１００は、一例として、シェーディングまたは記述子による作成されたエッジにわたる強度の変動を考慮する記述子を定義し、モデル化し、別の例では、シャドーによって生じるエッジにわたる強度の変動を考慮する記述子を定義し、モデル化し得る。さらなる一例では、機械学習ユニット１００は、いくつかの照明条件の下でシーン中のオブジェクトの反射率プロパティを考慮する記述子を定義し、モデル化し得る。
機械学習ユニット１００は、トレーニングセット（図３に図示せず）を使用して各記述子の統計的ビヘイビアをオフラインでモデル化する。このトレーニングセットは、各記述子に影響を及ぼすプロパティのすべての潜在的な変動の下で取得される画像のセットからなり得る。したがって、トレーニングセットを使用してトレーニングを受けた後に機械学習ユニット１００によって作成されるモデルは、所与のシナリオ条件（たとえば、照明の所与の方向）について、記述子が、ある値である確率をキャプチャする。統計的ビヘイビアのモデルは、次いで、前処理モジュール５６のユニットによってオンラインで使用される。前処理モジュール５６は、前処理モジュール５６が現在処理している１つまたは複数の画像またはフレームから取得される所与の記述子の特定の値について、シーンの条件が特定の条件（たとえば、照明のある方向）である最大可能性を判断するためにこれらのモデルを利用する。
これらのモデルは、照明に関係するシナリオだけでなく、シーン中の大気効果（もや、雨、雪など）またはテクスチャ変動にも拡張され得る。記述子はまた、（それらがピクセルの近傍内の情報をキャプチャする場合）ローカルであり得、または（それらが全画像の情報をキャプチャする場合）グローバルであり得る。これらのモデルは、マルコフランダムフィールド（Markov random field）を使用していくつかの記述子間の関係の統計的ビヘイビアをキャプチャし得る。この点において、オフライン処理モジュール７２は、前処理モジュール５６が使用するモデルを生成する機械学習ユニット１００を用いて前処理モジュール５６をサポートし得る。特に、機械学習ユニット１００は、モデリングとその後の変換との改善を可能にし得る新しいトレーニングセットを受信し得る。
図４Ａおよび図４Ｂは、本開示で説明する技法の様々な態様を実装する際の、図２のモバイル・デバイス１２などのモバイル・デバイスの例示的な動作を示すフローチャートである。最初に図４Ａを参照すると、モバイル・デバイス１２の制御ユニット３４内に含まれるユーザ・インターフェース・モジュール７４は、初めに、モバイル・デバイス１２のユーザまたは他のオペレータが、ユーザ選好７８を定義するデータを入力するために対話し得るユーザ・インターフェースを提示し得る。ユーザ・インターフェース・モジュール７４は、ユーザ選好７８を定義するこのデータを受信し、変換モジュール３６を構成または再構成する際に使用するためにユーザ選好７８をＨＶＳフィードバック・モジュール４０に転送する（１０２）。
ユーザ・インターフェース・モジュール７４はまた、ユーザが１つまたは複数のソース・デバイスと１つまたは複数の宛先デバイスとを選択するために対話し得る同じまたは別のユーザ・インターフェースを提示し得る。次いで、ユーザ・インターフェース・モジュール７４は、１つまたは複数のソース・デバイス（たとえば、図１の例に示すソース・デバイス１４）と１つまたは複数の宛先デバイス（たとえば、外部ディスプレイ・デバイス１６）とを選択するデータを受信する（１０４）。これらの選択に基づいて、ユーザ・インターフェース・モジュール７４は、それぞれ、選択された１つまたは複数のソース・デバイス、たとえば、ソース・デバイス１４および選択された１つまたは複数の宛先デバイス、たとえば、外部ディスプレイ・デバイス１６との通信リンクまたはチャネル１３および１５を確立するために、ワイヤレス・インターフェース３２Ａおよびワイヤード・インターフェース３２Ｂのうちの様々なインターフェースとインターフェースし得る。これらのチャネル１３および１５が確立されることを保証した後に、次いで、ユーザ・インターフェース・モジュール７４は、ディスプレイ・デバイス１６の能力に関するパラメータ７６の発見を開始するためにパラメータ発見モジュール３８とインターフェースし得る。
パラメータ発見モジュール３８は、上記で説明した方法で確立された通信チャネル１５を介してパラメータ７６を判断するためにディスプレイ・デバイス１６とインターフェースする（１０６）。パラメータ発見モジュール３８は、これらのパラメータ７６をＨＶＳフィードバック・モジュール４０に転送し得、ＨＶＳフィードバック・モジュール４０は、変換モジュール３６を構成または再構成するときに、これらのパラメータ７６を再び採用し得る。パラメータ７６のうちの１つは、２Ｄおよび／または３Ｄビデオ・コンテンツを受け付けるために、外部ディスプレイ・デバイス１６によってサポートされる１つまたは複数の入力ファイル・フォーマットを備え得る。パラメータ発見モジュール３８は、変換モジュール３６、より詳細には、ディスプレイ・フォーマット・モジュール６４とインターフェースして、判断された入力ファイル・フォーマットに従って、変換された３Ｄビデオデータ４８をフォーマットするようにディスプレイ・フォーマット・モジュール６４を構成する（１０８）。代替的に、ＨＶＳフィードバック・モジュール４０は、ディスプレイ・フォーマット・モジュール６４とインターフェースして、パラメータ発見モジュール３８に関して上記で説明した方法でディスプレイ・フォーマット・モジュール６４を構成し得る。ＨＶＳフィードバック・モジュール４０はまた、変換モジュール３６の他のモジュール５６〜６２とインターフェースして、ユーザ選好７８に従って外部ディスプレイ・デバイス１６による提示のために３Ｄビデオ・コンテンツ４８の生成を調整するように、パラメータ７６とユーザ選好７８とに基づいてこれらのモジュール５６〜６２を初めに構成し得る。
構成された後、変換モジュール３６は、ソース・デバイス１２から２Ｄおよび／または３Ｄビデオ・コンテンツ２０、２２を取り出すために通信チャネル１３を介してソース・デバイス１２とインターフェースする（１１０）。たとえば、２Ｄビデオ・コンテンツ２０を受信すると、変換モジュール３６は、２Ｄビデオ・コンテンツ２０のビデオデータを、判断された入力ファイル・フォーマットに従ってフォーマットされた３Ｄビデオ・コンテンツ４８にコンバートする（１１２）。次いで、変換モジュール３６は、判断された入力ファイル・フォーマットに従ってフォーマットされた３Ｄビデオデータを３Ｄビデオ・コンテンツ４８として出力し、モバイル・デバイス１２は、３Ｄビデオ・コンテンツ４８をディスプレイ・デバイス１６に転送する（１１４、１１６）。
図４Ｂを参照すると、３Ｄビデオ・コンテンツ４８の少なくとも一部分を受信した後に、ディスプレイ・デバイス１６は、入力ファイル・フォーマッティング・ヘッダを除去することによって、受信した３Ｄビデオ・コンテンツ４８をカプセル化解除して、コード化３Ｄビデオデータ５０を生成する。次いで、ディスプレイ・デバイス１６は、コード化３Ｄビデオデータ５０を復号して、３Ｄビデオデータ４４を生成し、ディスプレイ・デバイス１６は、３Ｄビデオデータ４４を、それらの消費のためにディスプレイ３０を介して１人または複数の閲覧者に提示する。このビデオデータ４４を提示し、変換モジュール３６が２Ｄビデオ・コンテンツ２０を３Ｄビデオ・コンテンツ４８にコンバートしている間、ＨＶＳフィードバック・モジュール４０は、ビデオデータ４４を取り出すためにディスプレイ・デバイス１６とインターフェースする（１１８）。
上記で説明したように、ＨＶＳフィードバック・モジュール４０、より詳細には、ＨＶＳフィードバック・モジュール４０の定性的評価モジュール６６は、上記で説明したように、復号ビデオデータ４４の可視化の品質を表す定性的メトリック７０を判断するために復号ビデオデータ４４を分析する（１１９）。ＨＶＳフィードバック・モジュール４０はまた、復号ビデオデータ４４の品質を定量的観点から表す定量的メトリック７０を判断するために定量的評価モジュール６６を採用し得る。これらのメトリック７０に基づいて、ＨＶＳフィードバック・モジュール４０は、復号ビデオデータ４４の可視化の品質を改良するために変換モジュール３６のモジュール５６〜６４を再構成する（１２０）。
ＨＶＳフィードバック・モジュール４０はまた、メトリック７０とパラメータ７６とユーザ選好７８とのうちの２つ以上の組合せにモジュール５６〜６４のこの再構成の基礎をおき得る。たとえば、ユーザの選好コントラストレベルに関係するユーザ選好７８のうちの特定のユーザ選好７８が与えられれば、ＨＶＳフィードバック・モジュール４０は、この選好コントラストレベルに鑑みてメトリック７８（たとえば、知覚コントラストレベル）を分析し、ビデオデータ４４が選好コントラストレベルに等しくない場合、それに近いコントラストレベルを示すように、３Ｄビデオ・コンテンツ４８の後続の生成を改良する構成データを生成し得る。ＨＶＳフィードバック・モジュール４０はまた、後続のビデオデータ４４から分析されるメトリック７８が、パラメータ７８によって定義された特定のディスプレイ能力に関して改善されるように、３Ｄビデオ・コンテンツ４８の生成を改良するためにパラメータ７６に鑑みてメトリック７８を分析し得る。いくつかの事例において、パラメータ７６およびユーザ選好７８が与えられれば、メトリック７０に関して改良された３Ｄビデオ・コンテンツ４８の後続の生成を生成するために、メトリック７０、パラメータ７６およびユーザ選好７８の３つすべてが上記の方法で採用され得る。
上記で説明した方法で再構成された後に、変換モジュール３６は、２Ｄビデオ・コンテンツ２０を３Ｄビデオ・コンテンツ４８にコンバートし続ける（１２２）。次いで、変換モジュール３６は、判断された入力フォーマットに従ってフォーマットされた３Ｄビデオデータを備える、３Ｄビデオ・コンテンツ４８を出力する（１２４）。モバイル・デバイス１２は３Ｄビデオ・コンテンツ４８を外部ディスプレイ・デバイス１６に転送する（１２６）。上記のプロセスは、このようにして、反復の各々について、ビデオ・コンテンツ４８が、ビデオデータ４４の可視化の知覚される品質を定義するメトリック７０に関して改良されるように、反復的プロセスとして特徴づけられ得るものにおいて続き得る（１１８〜１２６）。
上記では、復号された３Ｄビデオデータを分析するＨＶＳフィードバック・モジュール４０に関して説明したが、代替的に、ＨＶＳフィードバック・モジュール４０は、コーディングされた３Ｄビデオデータを分析し得る。その上、ディスプレイ・デバイス１６は、コーディングまたは復号された３Ｄビデオデータを分析するＨＶＳフィードバック・モジュール４０と同様のそれ自体のＨＶＳフィードバック・モジュールを含み得る。このようにして、ディスプレイ・デバイス１６は、それ自体で３Ｄビデオデータを分析し得、それ自体のＨＶＳフィードバック・モジュールで判断された１つまたは複数のメトリックをＨＶＳフィードバック・モジュール４０に転送し得、ＨＶＳフィードバック・モジュール４０は、これらのメトリックを使用して３Ｄビデオデータへのビデオデータの変換を調整し得る。したがって、本技法はこの点において限定されるべきではない。
図５は、本開示で説明する技法の様々な態様を実装する例示的なモバイル・デバイス１２８を示すブロック図である。モバイル・デバイス１２８は、図１のモバイル・デバイス１２と実質的に同様であり得る。特定のデバイス、たとえば、モバイル・デバイス１２８に関して説明するが、本技法は、モバイル・デバイス１２に関して説明する技法の様々な態様を実装することが可能であると上述した他のデバイスを含む、任意のタイプのデバイスによって実装され得る。
図２の例に示すモバイル・デバイス１２と同様に、モバイル・デバイス１２８は、ワイヤレス・インターフェース３２Ａと、ワイヤード・インターフェース３２Ｂと、ビデオ・キャプチャ・モジュール５０と、ローカル記憶モジュール５２と、ユーザ・インターフェース・モジュール７４とを含む。ワイヤレス・インターフェース３２Ａと、ワイヤード・インターフェース３２Ｂと、ビデオ・キャプチャ・モジュール５０と、ローカル記憶モジュール５２との各々は、ビデオデータおよび／またはコンテンツを「ソース」（すなわち、提供）し得、このために、一般に「ソース」と呼ばれることがある。これらのソースは、（２Ｄビデオデータ＋追加の深さ情報、または２Ｄビデオデータ＋追加の深さおよびオクルーデッドエリア（occluded area）情報、または２Ｄビデオデータ＋深さ、オクルーデッドエリアおよびグローバル効果情報を含み得る）２Ｄビデオデータまたは３Ｄビデオデータを備え得る、ビデオデータ１３０を提供し得る。
モバイル・デバイス１２８はまた、画像／ビデオ処理ユニット１３２と、画像／ビデオ・エンコーダ・ユニット１３４と、画像／ビデオ・バッファ・ユニット１３６と、ディスプレイ処理ユニット１３８と、内部ディスプレイ１４０と、ワイヤレス・ディスプレイ（ＷＤ）ホストユニット１４２と、ワイヤレス・ディスプレイ・インターフェース１４４とを含む。画像／ビデオプロセッサユニット１３２は、３Ｄビデオデータ１４６を生成するようにビデオデータ１３０を処理するハードウェア・ユニットまたはハードウェア・ユニットとソフトウェア・ユニットの組合せを表す。画像／ビデオ・エンコーダ・ユニット１３４は、画像／ビデオ・エンコーダ・ユニット１３４によってサポートされる１つまたは複数のコーデックのうちの１つに従ってビデオデータ１４６を符号化して符号化ビデオデータ１４８を生成するハードウェア・ユニットまたはハードウェア・ユニットとソフトウェア・ユニットの組合せを表す。エンコーダとして示されているが、画像／ビデオ・エンコーダ・ユニット１３４は復号をも実行し得る。エンコーダ・ユニット１３４は符号化ビデオデータ１４８を出力し、その符号化ビデオデータ１４８は、上記で説明したメモリとストレージ・デバイスの両方の例など、メモリまたはストレージ・デバイスを備え得る画像／ビデオ・バッファ・ユニット１３６に記憶される。
いくつかの事例において、モバイル・デバイス１２８は、発光ダイオード（ＬＥＤ）ディスプレイ、有機ＬＥＤ（ＯＬＥＤ）ディスプレイ、陰極線管ディスプレイ、プラズマディスプレイ、液晶ディスプレイ（ＬＣＤ）または任意の他のタイプのディスプレイを備え得る内部ディスプレイ１４０上で３Ｄビデオデータ１４６をローカルにプレビューするプレビューモードを与える。このプレビューモードでは、画像／ビデオ処理ユニット１３２はプレビュー・ビデオデータ１５０Ａ、１５０Ｂ（「プレビュー・ビデオデータ１５０」）を生成し得る。プレビュー・ビデオデータ１５０Ａは、３Ｄビデオデータ１４６の右目の遠近感を形成する右目ビデオデータを備え得る。プレビュー・ビデオデータ１５０Ｂは、３Ｄビデオデータ１４６の左目の遠近感を形成する左目ビデオデータを備え得る。ビデオ・キャプチャ・デバイス５０が３Ｄビデオ・キャプチャ・デバイスを備えるとき、この３Ｄビデオ・キャプチャ・デバイス５０は、右目ビデオデータ１５０Ａと左目ビデオデータ１５０Ｂの両方を生成し得、画像／ビデオ処理ユニット１３２はそれらのデータをディスプレイ処理ユニット１３８に転送し得る。
ディスプレイ処理ユニット１３８は、外部ディスプレイ・デバイス１５４Ａ〜１５４Ｎ（「外部ディスプレイ・デバイス１５４」）のうちの１つまたは複数など、外部ディスプレイ・デバイスのうちの１つまたは複数によってサポートされる入力フォーマットに従ってバッファされたビデオデータ１５２をフォーマットするために、バッファされたビデオデータ１５２を処理するハードウェア・ユニットまたはハードウェア・ユニットとソフトウェア・ユニットの組合せを表す。ディスプレイ処理ユニット１３８は、このフォーマットされたバッファされたビデオデータ１５２を３Ｄビデオ・コンテンツ１５６として出力し得る。ディスプレイ処理ユニット１３８は、説明を簡単にするため図５には示されていないが、外部ディスプレイ・デバイス１５４のうちの１つまたは複数によってサポートされる入力ファイル・フォーマットを判断するためのディスプレイ・フォーマット・インターフェース（ＤＦＩ）を含み得る。
ディスプレイ処理ユニット１３８はまた、プレビュー・ビデオデータ１５０のうちの１つまたは複数を受信し、内部ディスプレイ１４０による提示のためにこのプレビュー・ビデオデータ１５０をフォーマットし得る。ディスプレイ処理ユニット１３８は、このフォーマットされたプレビュー・ビデオデータ１５０Ａ、１５０Ｂをプレビュー・ビデオ・コンテンツ１５８Ａ、１５８Ｂ（「プレビュー・ビデオ・コンテンツ１５８」）として出力し得、外部ディスプレイ・デバイス１５４のうちの１つまたは複数に３Ｄビデオ・コンテンツ１５６を出力するのと同時に、内部ディスプレイ１４０はプレビュー・ビデオ・コンテンツ１５８Ａ、１５８Ｂのうちの一方または両方をモバイル・デバイス１２８のユーザに提示し得る。
内部ディスプレイ１４０が３Ｄビデオ・コンテンツ再生をサポートする場合、プレビュー・ビデオデータ１５０は、ディスプレイ処理ユニット１３８が内部ディスプレイ１４０によるディスプレイまたは提示用にフォーマットする３Ｄビデオデータを備え得る。内部ディスプレイ１４０が３Ｄビデオ・コンテンツと２Ｄビデオ・コンテンツの両方の再生をサポートする場合、画像／ビデオ処理ユニット１３２は、ユーザ選好、アプリケーションのタイプ（たとえば、２Ｄビデオデータはしばしば電子メール／テキスト用に好適であるが、コンピュータグラフィックス（ＣＧ）はしばしば３Ｄビデオデータとしてレンダリングされる）、動作電力モード、利用可能なバッテリー電力、ならびにこのタイプの決定に一般に影響を及ぼす他の選好、メトリックおよびパラメータに基づいて、プレビュー・ビデオデータ１５０を２Ｄビデオデータとして生成すべきかまたは３Ｄビデオデータとして生成すべきかを判断し得る。
画像／ビデオ処理ユニット１３２と、画像／ビデオ・エンコーダ・ユニット１３４と、ディスプレイ処理ユニット１３８とは、コンピュータ可読媒体に記憶された１つまたは複数の命令を実行する（コンピュータ処理ユニットまたはＣＰＵと呼ばれることがある）汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、グラフィックス処理ユニット（ＧＰＵ）、あるいは任意の他のタイプのプロセッサなど、１つまたは複数のプロセッサを備え得る。代替的に、画像／ビデオ処理ユニット１３２は、フィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）および特定用途向け集積回路（ＡＳＩＣ）など、専用ハードウェアを備え得る。いくつかの事例において、専用ハードウェアと１つまたは複数のプロセッサとの両方は、ユニット１３２、１３４および１３８に関して本開示で説明する様々な動作を行うために組み合わせられ得る。
上記では、外部ディスプレイ・デバイス１５４によってサポートされる入力ファイル・フォーマットに従って３Ｄビデオ・コンテンツ１５６を生成するために、バッファされたビデオデータ１５２をフォーマットすることについて説明したが、ディスプレイ処理ユニット１３８は、通常、ＨＤＭＩ、ＤＶＩ、および他のワイヤードファイル・フォーマットなど、ワイヤード・インターフェースのためのファイル・フォーマットのみをサポートする。特に、現時点では正式なまたは規格化されたワイヤレス・ファイル・フォーマットがまだ存在しないことを考慮して、ディスプレイ処理ユニット１３８はワイヤレス・ファイル・フォーマットをサポートしないことがある。しかしながら、ＷＤホストユニット１４２は、外部ディスプレイ・デバイス１５４のうちの１つまたは複数がワイヤレス・ファイル・フォーマットをサポートしているかどうかを判断するように、ワイヤレス・ディスプレイ・ファイル・フォーマットをサポートし、そのようなワイヤレス・ディスプレイへのインターフェースを提供し得る。したがって、ＷＤホストユニット１４２は、外部ディスプレイ・デバイス１５４のうちの１つまたは複数によってサポートされるワイヤレス・ディスプレイ・フォーマットを判断し、次いで、判断されたワイヤレス・ディスプレイ・フォーマットに従ってバッファ３Ｄビデオデータ１５２をフォーマットするためのインターフェースを提供する、ハードウェア・ユニットまたはハードウェア・ユニットとソフトウェア・ユニットの組合せを表し得る。したがって、ＷＤホストユニット１４２は、モバイル・デバイス１２８が、１つまたは複数の外部ディスプレイ・デバイス１５４によってサポートされるワイヤレス・ファイル・フォーマットに従って３Ｄビデオ・コンテンツをワイヤレス送信することを可能にすることによって、クロスプラットフォーム再生を可能にし得る。
ＷＤホストユニット１４２は、外部ディスプレイ・デバイス１５４のうちのワイヤレス・ディスプレイを備える外部ディスプレイ・デバイスの能力に関して、サポートされるワイヤレス・ファイル・フォーマットを含めて、ワイヤレス・ディスプレイ・パラメータを判断するために、たとえば、上記で説明したＷＨＤＭＩまたはＷＭＤＤＩプロトコルを実装し得る。ＷＤホストユニット１４２は、ディスプレイ処理ユニット１３８からバッファ３Ｄビデオデータ１５２を受信し、ワイヤレス入力ファイル・フォーマットのうちの判断された１つのフォーマットに従ってバッファ３Ｄビデオデータ１５２をフォーマットまたは（ディスプレイ処理ユニット１３８が初めにこのデータをフォーマットする場合は）再フォーマットし、３Ｄビデオ・コンテンツ１５６をディスプレイ処理ユニット１３８に戻し得る。ディスプレイ処理ユニット１３８は、この３Ｄビデオ・コンテンツ１５６を、ワイヤレス・インターフェース３２Ｂのうちの１つを備え得るが、説明のために別々に示してあるワイヤレス・ディスプレイ・インターフェース１４４に転送する。次いで、ワイヤレス・ディスプレイ・インターフェース１４４は、この３Ｄビデオ・コンテンツ１５６を外部ディスプレイ・デバイス１５４のうちの１つまたは複数に転送する。
モバイル・デバイス１２８内に含まれるものとして示されているが、ＷＤホストユニット１４２は、モバイル・デバイス１２８の外部に常駐し、ワイヤレス・インターフェース３２Ａまたはワイヤード・インターフェース３２Ｂのうちの１つを介してモバイル・デバイス１２８とインターフェースし得る。モバイル・デバイス１２８の外部にあるとき、ＷＤホストユニット１４２は、ワイヤレス・ディスプレイ・インターフェース１４４と同様のワイヤレス・ディスプレイ・インターフェース、または以下でより詳細に説明するＷＤクライアントユニットとの通信を可能にする別の同様なインターフェースを備え得る。いくつかの事例において、ＷＤホストユニット１４２は、ワイヤレス・ファイル・フォーマッティングを実行するためにディスプレイ処理ユニット１３８によって実行されるソフトウェア・モジュールを備え得る。上記の事例においてディスプレイ処理ユニット１３８がＷＤホストユニット１４２を実行するためのハードウェアを含む限り、ＷＤホストユニット１４２はハードウェア・ユニットとソフトウェア・ユニットの両方を備えると考えられ得る。
いくつかの事例において、ＷＤホストユニット１４２は、選択された宛先デバイス、たとえば、外部ディスプレイ・デバイス１５４のうちの２つが、異なるワイヤレス・ファイル・フォーマットをサポートすることを識別し得る。この事例では、ＷＤホストユニット１４２は、第１の判断されたワイヤレス・ファイル・フォーマットに従ってフォーマットされた第１の３Ｄビデオ・コンテンツ１５６と、第２の判断されたワイヤレス・ファイル・フォーマットに従ってフォーマットされた第２の３Ｄビデオ・コンテンツ１５６とを生成する。次いで、ワイヤレス・ディスプレイ・インターフェース１４４は、第１および第２の３Ｄビデオ・コンテンツ１５６を外部ディスプレイ・デバイス１５４のうちの適切な１つに転送する。したがって、図５の例では単一の３Ｄビデオ・コンテンツ１５６のみを送るものとして示しているが、その３Ｄビデオ・コンテンツ１５６は、各バージョンが異なるワイヤレス・ファイル・フォーマットに従ってフォーマットされる、第１および第２のバージョン、または、より一般的には、複数のバージョンの３Ｄビデオ・コンテンツ１５６を備え得る。
１つのワイヤレスフォーマットは、３Ｄビデオ・コンテンツのビデオデータ・セグメントとオーディオデータ・セグメントと深さデータ・セグメントとを複数のパケットのうちの異なる１つの中にカプセル化する、リアルタイム・トランスポート・プロトコル（ＲＴＰ）などのトランスポート・プロトコルを活用するフォーマットを備え得る。その上、このフォーマットは、図８の例に関して以下で示すように、オクルージョン情報および／またはグローバル効果情報に対応する情報の追加のセグメントをカプセル化するためにこのトランスポート・プロトコルを活用し得る。ＷＤホストユニット１４２は、３Ｄビデオ・コンテンツ１５６の様々なセグメントを複数のパケットのうちの異なる１つの中にカプセル化するためのこのトランスポート・プロトコルを実装するトランスポート・ユニット１５８を含む。様々なセグメントを異なるパケットにカプセル化した後に、トランスポート・ユニット１５８は、複数のパケットのうちの１つのヘッダ中の随意のデータフィールド内に３Ｄビデオ・コンテンツ１５６の再生を向上させるためのメタデータを追加する。このメタデータは、追加のビューのレンダリングを可能にし、特定のディスプレイ上での再生を促進するパラメータを定義し得る。メタデータはまた、所望のコントラスト、シャープネス、色温度、２Ｄまたは３Ｄスクリーン解像度、および２Ｄまたは３Ｄ再生フォーマット（ピラーボックス、伸張、オリジナルなど）など、ユーザ選好を定義し得る。
トランスポート・プロトコルに関与するこのファイル・フォーマットに従って３Ｄビデオデータ１５２をフォーマットした後に、ＷＤホストユニット１４２は、得られた３Ｄビデオ・コンテンツ１５６をワイヤレス・ディスプレイ・インターフェース１４４に転送し得、ワイヤレス・ディスプレイ・インターフェース１４４は、パケットを外部ディスプレイ・デバイス１５４のうちの１つまたは複数に送信する。ワイヤレス・ディスプレイ・インターフェース１４４が外部ディスプレイ・デバイス１５４のうちの２つ以上にこのコンテンツ１５６を送信するとき、その送信は３Ｄビデオ・コンテンツ１５６の「ＷＤマルチキャスト」と呼ばれることがある。いずれの場合も、この送信は、内部ディスプレイ１４０を介したプレビュー・ビデオデータ１５０の表示と同時に行われ得る。しばしば、プレビュー・ビデオデータ１５０と３Ｄビデオ・コンテンツ１５６との提示は同期させられる。代替的に、プレビュー・ビデオデータ１５０の提示は、外部ディスプレイ・デバイス１５４のうちの１つまたは複数による３Ｄビデオ・コンテンツ１５６の提示の前に行われ得る。
図６は、本開示で説明する技法の様々な態様を実行する際の、図５の例に示すモバイル・デバイス１２８などのモバイル・デバイスの例示的な動作を示すフローチャートである。初めに、モバイル・デバイス１２８のユーザまたは他のオペレータは、ビデオ・コンテンツの１つまたは複数のソースと、ワイヤレス・ビデオ・コンテンツ配信をサポートする外部ディスプレイ・デバイス１５４（「外部ワイヤレス・ディスプレイ・デバイス」と呼ばれることがある）のうちの１つまたは複数とを選択するデータを入力するために、ユーザ・インターフェース・モジュール７４によって提示されるユーザ・インターフェースと対話し得る。したがって、ユーザ・インターフェース・モジュール７４は、１つまたは複数のソースと、外部ワイヤレス・ディスプレイ・デバイス１５４のうちの１つまたは複数とを選択するデータを受信する（１６２）。ユーザ・インターフェース・モジュール７４は、外部ワイヤレス・ディスプレイ・デバイス１５４の中から選択された１つまたは複数の選択をＷＤホストユニット１４０に転送する。
次いで、ＷＤホストユニット１４０は、外部ワイヤレス・ディスプレイ・デバイス１５４の中から選択された外部ワイヤレス・ディスプレイ・デバイスの１つまたは複数の能力を定義するパラメータを判断するために、ワイヤレス・ディスプレイ・インターフェース１４４などのワイヤレス・ディスプレイ・インターフェースを介して、外部ワイヤレス・ディスプレイ・デバイス１５４の中から選択された外部ワイヤレス・ディスプレイ・デバイスとインターフェースする（１６４）。これらのパラメータは、パラメータ発見モジュール３８によって発見されたパラメータ７６と同様であり得る。１つの例示的なパラメータは、外部ワイヤレス・ディスプレイ・デバイス１５４の中から選択された外部ワイヤレス・ディスプレイ・デバイスによってサポートされるワイヤレス入力ファイル・フォーマットを含み得る。
一方、画像／ビデオ処理ユニット１３２は、選択されたソース３２Ａ、３２Ｂ、５０および５２のうちの１つまたは複数からビデオデータ１３０を受信し得る（１６６）。（図５には「ビデオ・キャプチャ・デバイス５０」として示されている）ソース５０に関して、ビデオ・キャプチャ・デバイス５０は、所与の画像（またはビデオ・キャプチャの場合は一連の画像）に対して２つの視点を与えるために、同時に２つのセンサへの入射画像を同時にキャプチャする２つの画像センサをもつステレオカメラを備え得る。
ビデオ・キャプチャ・デバイス５０は、いくつかの方法で同期式にビデオデータをキャプチャし得る。第１の方法では、２つのセンサから発信したデータは、バッファとともに高速シリアルキャプチャまたはパラレルキャプチャのいずれかを使用して同じメモリバスを介して受信される。シリアルキャプチャの場合、画像／ビデオ処理ユニット１３２は、深さ抽出中に２つの異なるビューのシリアルキャプチャ間の時間オフセットを考慮に入れる。第２の方法では、２つのセンサから発信したデータは、単一バスが２つのセンサ間で共有されるときに生じる弊害を回避するために、異なるメモリバスを介して受信される。第３の方法では、２つのセンサから発信したデータは、一般にストリーミングフォーマットであり、組込みディスプレイまたは外部ディスプレイ上でプレビューされるべきディスプレイバッファに書き込まれる。
このプレビューモードでは、メモリ帯域幅および／または電力を節約するために、一般に、２つの２Ｄ視点のうちの１つのみ、または言い換えれば、２つのセンサのうちの１つからのデータストリームがプレビューされ得る。ユーザ・インターフェース・モジュール７４を介して入力されるユーザ選好は、２Ｄまたは３Ｄのいずれかを示し得る（たとえば、一方または両方の視点がディスプレイプロセッサに送られる）。ユーザ入力は、所与のビデオ記録または画像キャプチャセッションの間にリアルタイムまたはほぼリアルタイムで入力されるか、または一般的な選好として指定され得る。ユーザ選好はまた、上記で説明したように、２Ｄはテキスト、電子メールおよびウェブブラウジング用に使用され、３Ｄはカムコーダおよびメディアプレーヤ用に使用されるように、所与のアプリケーションに基づいてデータを２Ｄで提示すべきかまたは３Ｄで提示すべきかを示し得る。画像／ビデオ処理ユニット１３２は、利用可能なバッテリー電力、あるいは（「自動的」に行われると呼ばれることがある、ユーザ入力／介入を伴うまたは伴わない）電力管理設定に基づいて、ビデオデータ１３０を２Ｄビデオデータに変換すべきかまたは３Ｄビデオデータに変換すべきかを判断し得る。
内部ディスプレイ１４０がプレビュー・ビデオデータ１５０を３Ｄで提示する３Ｄプレビューの場合、ディスプレイ処理ユニット１３８は、未加工（非圧縮）３Ｄまたは画像データを両方の視点について２つの別々のストリーム、たとえば、プレビュー・ビデオデータ１５０Ａおよび１５０Ｂとして受信し得る。ディスプレイ処理ユニット１３８はまた、センサから２Ｄビデオデータ１３０を直接受信し、画像／ビデオ処理ユニット１３２、画像／ビデオ・エンコーダ・ユニット１３４、または３Ｄコード化画像／ビデオファイルから３Ｄ深さ情報を受信し得る。ディスプレイ処理ユニット１３８はまた、（たとえば、ローカル記憶モジュール５２に記憶された）３Ｄ符号化画像／ビデオファイルから圧縮３Ｄデータを受信し得、その圧縮３Ｄデータは、ワイヤードまたはワイヤレス・インターフェース３２Ａ、３２Ｂを介して外部ディスプレイ・デバイス１５４のうちの１つにストリーミングされ得る。この場合、ディスプレイミラーリングが使用可能であれば、内部ディスプレイ１４０は、センサ／信号プロセッサから、圧縮されていないが処理済みのビデオストリームを取得し得る。随意に、内部ディスプレイ１４０は、２Ｄ画像、たとえば、プレビュー・ビデオデータ１５０のうちの１つのみをレンダリングし得る。ディスプレイ処理ユニット１３８はまた、ビデオ・キャプチャ・デバイス５０の単一のセンサから２Ｄデータを受信し得、画像／ビデオ処理ユニット１３２は、２Ｄデータを３Ｄデータにコンバートする図２に示す変換モジュール３６の２Ｄ−３Ｄ変換モジュール５８と同様の２Ｄ−３Ｄ処理モジュールを備え得る。
いずれの場合も、画像／ビデオ処理ユニット１３２は、受信したビデオデータ１３０を３Ｄビデオデータに変換し、または場合によっては３Ｄビデオデータを改良して３Ｄビデオデータ１４６を生成し、潜在的にビデオデータ１５０をプレビューし得る（１６７）。次いで、画像／ビデオ処理ユニット１３２はこのデータを３Ｄ画像／ビデオ・エンコーダに転送し、３Ｄ画像／ビデオ・エンコーダは、３Ｄビデオデータ１４６を符号化して符号化３Ｄビデオデータ１４８を出力する。画像／ビデオ・バッファ・ユニット１３６は、符号化３Ｄビデオデータ１４８をバッファするかまたは場合によっては記憶し、ディスプレイ処理ユニット１３８は、入力ファイル・フォーマットに従ってフォーマットするために、画像／ビデオ・バッファ・ユニット１３６からバッファされたビデオデータ１５２を取り出す。ディスプレイ処理ユニット１３８はまた、上記のように、プレビュー・ビデオデータ１５０を受信し、バッファ３Ｄビデオデータ１５２をフォーマットすることと同時に、内部ディスプレイ１４０上での表示のためにこのビデオデータをフォーマットし得る。
ただし、ディスプレイ処理ユニット１３８が、外部ワイヤレス・ディスプレイ１５４のうちの選択された１つに３Ｄビデオデータ１５２を配信するためのワイヤレス３Ｄファイル・フォーマットをサポートし得ないとすれば、ディスプレイ処理ユニット１３８はデータ１５２をＷＤホストユニット１４２に転送する。次いで、ＷＤホストユニット１４２は、上記で説明した方法で判断されたパラメータに従って３Ｄビデオデータ１５２を準備する（１６８）。特に、ＷＤホストユニット１４２は、外部ワイヤレス・ディスプレイ・デバイス１５４の中から選択された外部ワイヤレス・ディスプレイ・デバイスのうちの１つまたは複数によってサポートされるワイヤレス３Ｄファイル・フォーマットに従って３Ｄビデオデータ１５２をフォーマットし得る。
次いで、ＷＤホストユニット１４２は、準備した３Ｄビデオデータを元のディスプレイ処理ユニット１３８に転送し、ディスプレイ処理ユニット１３８は、この準備した（「３Ｄビデオ・コンテンツ１５６」とも呼ばれ得る）３Ｄビデオデータをワイヤレス・ディスプレイ・インターフェース１４４に転送する。ワイヤレス・ディスプレイ・インターフェース１４４は、外部ワイヤレス・ディスプレイ・デバイス１５４のうちの選択された１つまたは複数とインターフェースして、この準備した３Ｄビデオデータ１５６を外部ワイヤレス・ディスプレイ・デバイス１５４のうちのこれらの１つまたは複数にワイヤレス送信する（１７０）。
代替的に、上記のように、ＷＤホストユニット１４２はワイヤレス・ディスプレイ・インターフェース１４４と一体化され得、その場合、ディスプレイ処理ユニット１３８は、フォーマッティングを実行することなしに、バッファ３Ｄビデオデータ１５２をワイヤレス・ディスプレイ・インターフェース１４４に転送する。ＷＤホストユニット１４２は、この事例では、外部ワイヤレス・ディスプレイ・デバイス１５４の中から選択された外部ワイヤレス・ディスプレイ・デバイスによってサポートされる判断されたワイヤレス・ファイル・フォーマットに従ってバッファ３Ｄビデオデータ１５２をフォーマットする。次いで、ワイヤレス・ディスプレイ・インターフェース１４４は、外部ワイヤレス・ディスプレイ・デバイス１５４の中から選択された外部ワイヤレス・ディスプレイ・デバイスにこの準備した３Ｄビデオデータ１５６を転送する。
図７は、本開示で説明する技法の様々な態様に従ってフォーマットされた、図５の例に関して示した３Ｄビデオ・コンテンツ１５６などの３Ｄビデオ・コンテンツを示すブロック図である。具体的には、ＷＤホストユニット１４２のトランスポート・ユニット１５８は、ＲＴＰに従って３Ｄビデオ・コンテンツ１５６をフォーマットしている。トランスポート・ユニット１５８は、いくつかの異なる部分１７２Ａ〜１７２Ｎ（「部分１７２」）を備えるバッファ３Ｄビデオデータ１５２を受信する。これらの部分は、バッファ３Ｄビデオデータ１５２の一部分を備え得、（ヘッダまたは他の表記法などによって）定義されているかまたはいないにかかわらず、データ１５２のフレーム、スライス、ピクチャグループ、１つまたは複数のマクロブロック、１つまたは複数のブロック、１つまたは複数のピクセル値、あるいは任意の他の部分に対応し得る。図示されていないが、バッファ・ユニット１３６はオーディオデータをもバッファし得、そのオーディオデータは、バッファされたビデオデータ１５２とともに転送され得る。
部分１７２の各々は、ビデオ・セグメント１７４Ａ〜１７４Ｎ（「ビデオ・セグメント１７４」）と深さセグメント１７６Ａ〜１７６Ｎ（「深さセグメント１７６」）の両方、およびバッファオーディオデータ（「オーディオ・セグメント１７８」）のセグメント１７８Ａ〜１７８Ｎを含む、バッファされたビデオデータ１５２の様々なセグメントを備え得る。トランスポート・ユニット１５８は、これらの部分１７２の各々に、図７の例では「ＴＳ １」〜「ＴＳ Ｎ」と示された対応するタイムスタンプ１８０Ａ〜１８０Ｎ（「タイムスタンプ１８０」）を割り当てる。次いで、トランスポート・ユニット１５８は、セグメント１７４〜１７８の各々が存在する部分１７２のうちの対応する１つに割り当てられた、タイムスタンプ１８０のうちの対応する１つとともにセグメント１７４、１７６および１７８の各々をカプセル化する。
たとえば、トランスポート・ユニット１５８は、セグメント１７４Ａ〜１７８Ａが存在する部分１７２Ａに「ＴＳ １」のタイムスタンプ１８０Ａを割り当てる。次いで、トランスポート・ユニット１５８は、「ＴＳ １」のタイムスタンプ１８０Ａとともにセグメント１７４Ａ、１７６Ａおよび１７８Ａの各々をカプセル化し、図７の例に示すカプセル化されたセグメントを生じる。このカプセル化はＲＴＰに準拠し得る。トランスポート・ユニット１５８はまた、ＲＴＰに従って他のヘッダ情報とともにセグメント１７４〜１７８の各々をカプセル化して、セグメント１７４〜１７８のうちの異なる１つを含んでいるパケットを形成し得、ならびに、上記で説明したメタデータを生成し、これらのパケットの各々のヘッダ中に埋め込み得、これについては図８に関して以下でより詳細に説明する。
ＲＴＰとＲＴＰによるパケットの形成とに関するさらなる情報は、その各々の全体が参照により本明細書に組み込まれる、１９９８年１月付けの「RTP Payload Format for MPEG1/MPEG2 Video」と題するｒｅｑｕｅｓｔ ｆｏｒ ｃｏｍｍｅｎｔｓ（ＲＦＣ）２２５０と、１９９９年１２月付けの「Guidelines for Writers of RTP Payload Format Specification」と題するＲＦＣ２７３６と、２０００年１１月付けの「RTP Payload Format for MPEG-4 Audio/Visual Streams」と題するＲＦＣ３０１６と、２００３年７月付けの「RTP: A transport Protocol for Real-Time Applications」と題するＲＦＣ３５５０と、２００３年１１月付けの「RTP Payload Format for Transport of MPEG-4 Elementary Streams」と題するＲＦＣ３６４０と、２００５年２月付けの「RTP Payload Format for H.264 Video」と題するＲＦＣ３９８４と、２００９年１０月付けの「RTP Payload Format for Elementary Streams with MPEG Surround Multi-Channel Audio」と題するＲＦＣ５６９１とにおいて見つけられ得る。
ＲＴＰストリームとしてフォーマットされた３Ｄビデオ・コンテンツ１５６を生成するためにこのようにしてＲＴＰを活用することは、２Ｄ専用ディスプレイ・デバイスがこの３Ｄビデオ・コンテンツ１５６を受信し、深さセグメント１７６を顧慮せずにビデオ・セグメント１７４のみを提示し得るという意味において、後方互換性を可能にし得る。すなわち、この２Ｄ専用ディスプレイ・デバイスは、深さセグメント１７６をドロップするかまたは場合によっては認識しなくてよく、ビデオ・セグメント１７４として送られた２Ｄビデオデータのみを提示する。この点において、２Ｄ専用ディスプレイ・デバイスに対して後方互換性がある深さセグメント１７６を配信するためにＲＴＰの拡張性を活用する上記のファイル・フォーマットは、この後方互換性によってクロスプラットフォーム３Ｄビデオ再生を促進し得る。
図８Ａ〜図８Ｃは、本開示で説明する技法の様々な態様による、メタデータが埋め込まれた例示的なセグメント１８１Ａ〜１８１Ｃを示すブロック図である。図８Ａは、本開示で説明する技法の様々な態様に従って深さメタデータを記憶する例示的なセグメント１８１Ａを示すブロック図である。セグメント１８１Ａは、ペイロード・タイプ・フィールド１８２Ａ（「ペイロード・タイプ１８２Ａ」）と、深さ範囲フィールド１８２Ｂ（「深さ範囲１８２Ｂ」）と、深さ解像度フィールド１８２Ｃ（「深さ解像度１８２Ｃ」）と、カメラ・モデル・パラメータ・フィールド１８２Ｄ（「カメラ・モデル・パラメータ１８２Ｄ」）と、最適閲覧パラメータ・フィールド１８２Ｅ（「最適閲覧パラメータ１８２Ｅ」）と、圧縮タイプ・フィールド１８２Ｆ（「圧縮タイプ１８２Ｆ」）とを含む。
ペイロード・タイプ・フィールド１８２Ａは、ペイロードをカプセル化するヘッダデータとこのデータを区別するために「ペイロード」とも呼ばれることがある、この例では深さデータを示す、セグメントに記憶されるデータのタイプを記憶する。深さ範囲フィールド１８２Ｂは、所与の３Ｄビデオ画像またはビデオの深さ平面の幅とサイズとを対象とするデータを記憶する。深さ平面は、現在の画像と同じサイズであるかまたはそれよりも小さくなり得る。カメラ・モデル・パラメータ・フィールド１８２Ｄは、外部または内部カメラ・モデル・パラメータに関係するデータを記憶する。最適閲覧パラメータ・フィールド１８２Ｅは、閲覧スクリーンのサイズおよび閲覧距離、ならびに収束平面、上記の深さ範囲、明るさおよびいくつかの他の関係するパラメータによって定義される、閲覧角を対象とするデータを記憶する。圧縮タイプ・フィールド１８２Ｆは、ＪＰＥＧ、Ｈ．２６４またはプロプライエタリ圧縮アルゴリズムを示し得る、ビデオのペイロードまたはオーディオ・セグメントにおいて使用される圧縮のタイプを記述するデータを記憶する。
図８Ｂは、本開示で説明する技法の様々な態様に従ってオクルージョンメタデータを記憶する例示的なセグメント１８１Ｂを示すブロック図である。セグメント１８１Ｂは、ペイロード・タイプ・フィールド１８４Ａ（「ペイロード・タイプ１８４Ａ」）と、ベースライン・フィールド１８４Ｂ（「ベースライン１８４Ｂ」）と、オクルージョン解像度フィールド１８４Ｃ（「オクルージョン解像度１８４Ｃ」）と、圧縮タイプ・フィールド１８２Ｄ（「圧縮タイプ１８２Ｄ」）とを含む。ペイロード・タイプ・フィールド１８４Ａは、ペイロードをカプセル化するヘッダデータとこのデータを区別するために「ペイロード」とも呼ばれることがある、この例ではオクルージョンデータを示す、セグメントに記憶されるデータのタイプを記憶する。ベースライン・フィールド１８４Ｂは、現在の画像がそれから収集された第１のビューのロケーションに対してシフトされる水平距離を定義するデータを記憶する。オクルージョン解像度フィールド１８４Ｃは、オクルージョン平面の幅とサイズとを定義するデータを記憶しており、オクルージョン平面は、現在の画像と同じサイズであるかまたはそれよりも小さくなり得る。圧縮タイプ１８４Ｄは、圧縮タイプ１８２Ｆと実質的に同様であり得る。
図８Ｃは、本開示で説明する技法の様々な態様に従ってグローバル効果メタデータを記憶する例示的なセグメント１８１Ｃを示すブロック図である。セグメント１８１Ｃは、ペイロード・タイプ・フィールド１８６（「ペイロード・タイプ１８６」）と、複数のパラメータ１８８Ａ〜１８８Ｎ（「パラメータ１８８」）とを含む。ペイロード・タイプ・フィールド１８４Ａは、ペイロードをカプセル化するヘッダデータとこのデータを区別するために「ペイロード」とも呼ばれることがある、この例ではグローバル効果データを示す、セグメントに記憶されるデータのタイプを記憶する。パラメータ１８８は、もや、雨、雪、および煙など、グローバル効果に対応するデータを記憶している。パラメータ１８８の各々は、異なるタイプのグローバル効果に関係し、所与のグローバル効果のタイプ、密度、ロケーションおよび繰返しを指定し得る。パラメータ１８８は、そのようなグローバル効果がコンピュータグラフィックスにおいて記述される方法と同様の方法でグローバル効果を定義するために、この情報を記憶し得る。
図９は、本開示で説明する技法のフォーマッティング態様を実行する際の、ワイヤレス・ディスプレイ（ＷＤ）ホストユニット、図５の例に示されたＷＤホストユニット１４２の例示的な動作を示すフローチャートである。初めに、ＷＤホストユニット１４２は、ディスプレイ処理ユニット１３８からバッファ３Ｄビデオデータ１５２とオーディオデータとを受信し得る（２００）。３Ｄビデオデータを受信すると、ＷＤホストユニット１４２のトランスポート・ユニット１５８は、図７の例のビデオ・セグメント１７４および深さセグメント１７６など、３Ｄビデオデータ２０２のビデオ・セグメントと深さセグメントとを判断する（２０２）。同様に、トランスポート・ユニット１５８は、オーディオ・セグメント１８０など、オーディオデータのオーディオ・セグメントを判断する（２０４）。
次いで、トランスポート・ユニット１５８は、上記で説明したように、ビデオデータ１５２とオーディオデータとの部分１７２の各々についてタイムスタンプ１８０を判断する（２０６）。トランスポート・ユニット１５８は、同じく上記で説明したように、パケットを形成するためにタイムスタンプ１８０のうちの対応する１つとともに部分１７２のうちの同じ１つのセグメント１７４〜１７８をカプセル化する（２０８）。ＷＤホストユニット１４２は、上記で説明した方法でメタデータを判断し得、その後、トランスポート・ユニット１５８は、判断されたメタデータをパケットのヘッダ中に埋め込む（２１０、２１２）。埋め込まれたメタデータとともに得られたパケットは、図８の例に示すパケットに似ていることがあり得る。メタデータを埋め込んだ後に、トランスポート・ユニット１５８は、パケットをワイヤレスデバイスインターフェース１４４に転送し、ワイヤレスデバイスインターフェース１４４は、外部ワイヤレス・ディスプレイ・デバイス１５４の中から選択された外部ワイヤレス・ディスプレイ・デバイスにパケットを転送することに進む（２１４）。
図１０Ａ〜図１０Ｅは、クロスプラットフォームビデオ再生を促進するために本開示で説明する技法の１つまたは複数の態様を実装する様々なシステム２１６Ａ〜２１６Ｅを示すブロック図である。より詳細には、図１０Ａは、その両方が本開示で説明する技法の様々な態様を実装する、外部ＷＤホストユニット２１８と外部ＷＤクライアントユニット２２２とを含むシステム２１６Ａを示すブロック図である。外部ＷＤホストユニット２１８は、システム２１６Ａのモバイル・デバイス２１７とインターフェースするデバイスを備え得る。モバイル・デバイス２１７がモバイル・デバイス１２８のＷＤホストユニット１４２と同様の一体型または内部ＷＤホストユニットを含まないことを除いて、モバイル・デバイス２１７は、図５のモバイル・デバイス１２８と同様であり得る。外部ＷＤホストユニット２１８は、モバイル・デバイス１２８のワイヤード・インターフェース３２Ｂのうちの１つと同様のワイヤード・インターフェースを通してモバイル・デバイス２１７とインターフェースする、いわゆる「ドングル」を備え得る。たとえば、外部ＷＤホストユニット２１８は、ユニバーサルシステムバス（ＵＳＢ）またはマイクロＵＳＢワイヤード・インターフェースを介してモバイル・デバイス２１７とインターフェースし得る。
外部ＷＤクライアントユニット２２２は、同様に、システム２１６Ａのディスプレイ・プラットフォーム２２３とインターフェースするデバイスを備える。外部ＷＤクライアント２２２は、外部ＷＤホストユニット２１８と同様に、ＵＳＢインターフェース、複合オーディオ／ビデオ（Ａ／Ｖ）インターフェース、ＨＤＭＩインターフェースまたは任意の他のワイヤード・インターフェースなど、ワイヤード・インターフェースを介してディスプレイ・プラットフォーム２２３とインターフェースする、いわゆる「ドングル」を備え得る。
ディスプレイ・プラットフォーム２２３は、デジタル・ビデオディスク（ＤＶＤ）プレーヤ、オーディオ／ビデオ受信機、Ｂｌｕｒａｙ（商標）ディスクプレーヤ、マルチメディアプレーヤ、デジタルビデオレコーダ（ＤＶＲ）、または３Ｄディスプレイ・デバイス２２８とインターフェースするためのプラットフォームを与える任意の他のデバイスなど、システム２１６Ａの３Ｄディスプレイ・デバイス２２８とインターフェースするデバイスを表し得る。いくつかの事例において、ディスプレイ・プラットフォーム２２３は、ラップトップまたはデスクトップ・コンピュータなどのパーソナル・コンピュータ、あるいは２Ｄ−３Ｄコンバージョンの実行専用のデバイスを備え得る。３Ｄディスプレイ・デバイス２２８は、図５の例に示す外部ディスプレイ・デバイス１５４と同様であり得る。３Ｄディスプレイ・デバイス２２８とは別個に示されているが、ディスプレイ・プラットフォーム２２３は、３Ｄディスプレイ・デバイス２２８中に組み込まれ得る。
上記のように、現時点では、ビデオデータをワイヤレスにディスプレイ・デバイスに転送するための規格化されたワイヤレス・ディスプレイプロトコルは存在しない。規格化されたワイヤレス・ディスプレイプロトコルがこのようにないことを仮定すれば、ディスプレイ・プラットフォーム２２３など、たいていのディスプレイ・プラットフォームはワイヤレス・ビデオデータ受信または送信をサポートしない。外部ＷＤホストユニット２１８と外部ＷＤクライアントユニット２２２との使用によってこの制限を克服し得る。
例示のために、モバイル・デバイス２１７は２Ｄビデオデータ２２１をソースし得、外部ＷＤホストユニット２１８は、モバイル・デバイス２１７と上記の外部ＷＤホストユニット２１８との間のワイヤード接続を通してその２Ｄビデオデータ２２１を受信し得るものと考える。外部ＷＤホストユニット２１８は、外部ＷＤクライアントユニット２２２とのワイヤレス・リンク２２０を確立し、次いで、ワイヤレス・リンク２２０を介してセッションを確立し得る。このセッションはＲＴＰセッションを備え得る。外部ＷＤホストユニット２１８が２Ｄビデオデータ２２１を受信した際に、ＷＤホストユニット２１８は、外部ＷＤクライアントユニット２２２によってサポートされるワイヤレス・ディスプレイプロトコルに従って２Ｄビデオデータ２２１をフォーマットする。たとえば、ＷＤホストユニット２１８は、２Ｄビデオデータ２２１が深さセグメントを含まず、したがって、得られたフォーマットされたデータが深さパケットを含まず、各部分がビデオ・セグメントとオーディオ・セグメントとをのみを有することになることを除いて、図７の例に示すファイル・フォーマットに従って２Ｄビデオデータ２２１をフォーマットすることによって２Ｄビデオデータ２１８を準備し得る。
外部ＷＤホストユニット２１８はまた、ディスプレイ・プラットフォーム２２３および／または３Ｄディスプレイ・デバイス２２８の能力を定義するパラメータを判断するために外部ＷＤクライアントユニット２２２とインターフェースし得る。外部ＷＤホストユニット２１８は、これらのパラメータを要求するために外部ＷＤクライアントユニット２２２とインターフェースし得る。この要求に応答して、外部ＷＤクライアントユニット２２２は、上記で説明した方法で（たとえば、ＷＨＤＭＩを使用して）ディスプレイ・プラットフォーム２２３の能力を発見するためにワイヤード・インターフェースを介してディスプレイ・プラットフォーム２２３とインターフェースし得る。ディスプレイ・プラットフォーム２２３はまた、たとえばＨＤＭＩを使用して３Ｄディスプレイ・デバイス２２８とインターフェースしたとき、３Ｄディスプレイ・デバイス２２８のパラメータを発見していることがある。次いで、ディスプレイ・プラットフォーム２２３は、ディスプレイ・プラットフォーム２２３と３Ｄディスプレイ・デバイス２２８の一方または両方の能力を記述するパラメータを戻し得、外部ＷＤクライアントユニット２２２はそのパラメータを外部ＷＤホストユニット２１８に転送する。次いで、外部ＷＤホストユニット２１８は、上記で説明したように、これらのパラメータに基づいてメタデータを生成し、このメタデータを様々なパケットのヘッダ中に埋め込み得る。
いずれの場合も、ＷＤホストユニット２１８は、フォーマットされた２Ｄビデオデータ２２１を、ワイヤレス・リンク２２０を介して外部ＷＤクライアントユニット２２２に送信する。このフォーマットされた２Ｄビデオデータ２２１を受信すると、外部ＷＤクライアントユニット２２２は、様々なセグメントをカプセル化解除して、２Ｄビデオデータ２２１を改良し、ならびにパケットヘッダ中に埋め込まれたメタデータを抽出し得る。次いで、外部ＷＤクライアントユニット２２は、改良された２Ｄビデオデータ２２１をメタデータとともにディスプレイ・プラットフォーム２２３に転送する。
図１０Ａの例に示すように、ディスプレイ・プラットフォーム２２３は、図２の２Ｄ−３Ｄ処理モジュール５８およびディスプレイ・フォーマット・モジュール６４と同様であり得る、２Ｄ−３Ｄ処理モジュール２２４およびディスプレイ・フォーマット・モジュール２２６を含む。同様ではあるが、２Ｄ−３Ｄ処理モジュール２２４およびディスプレイ・フォーマット・モジュール６４は、２Ｄ−３Ｄ処理モジュール２２４が、ある３Ｄビデオデータ（たとえば、別のビューとは反対の深さ）の生成のみをサポートし、ディスプレイ・フォーマット・モジュール２２６が、特定のデバイス固有の３Ｄ入力ファイル・フォーマット（たとえば、マルチビュー・ストリームとは反対に２Ｄ＋Ｚ）のみをサポートし得るという点で、より限定された性質をもち得る。２Ｄ−３Ｄ処理モジュール２２４とディスプレイ・フォーマット・モジュール２２６の両方のより限定された性質にもかかわらず、モジュール２２４とモジュール２２６の両方は、ある程度まで構成可能であり得、受信した２Ｄビデオデータ２２１からの３Ｄビデオ・コンテンツ２２７の生成を改善するために、転送されたメタデータを利用し得る。３Ｄディスプレイ・デバイス２２８は、３Ｄビデオ・コンテンツ２２７を受信し、提示する。
２Ｄ−３Ｄ処理モジュール２２４は、一例として、ハードウェアベースまたはソフトウェアベースのいずれかのメディアプレーヤの場合、プラグインまたは他のソフトウェア・モジュールを備え得る。ディスプレイ・フォーマット・モジュール２２６も、一例では、ハードウェアベースまたはソフトウェアベースのいずれかのメディアプレーヤの場合、プラグインまたは他のソフトウェア・モジュールを備え得る。ディスプレイ・フォーマット・モジュール２２６は、マルチビューディスプレイのために必要であり得るディスプレイ・フォーマットインターリービングを実行し得る。
上記で説明したように、２Ｄ−３Ｄ処理モジュール２２４は、深さ情報を抽出することによって、２Ｄビデオデータ２２１を３Ｄビデオ・コンテンツ２２７の３Ｄビデオデータにコンバートする。この深さ抽出は、２Ｄビデオデータ２２１の１つまたは複数のフレームから大規模フィーチャと小規模フィーチャとを識別し、セグメント化することに関与し得る。深さ抽出はまた、２Ｄビデオデータ２２１を背景領域、オクルージョン領域、および前景領域などの領域に分類することに関与する。分類されると、深さ抽出は２Ｄビデオデータ２２１における構造および動きに基づいて３Ｄモデルにおける移動オブジェクトの位置およびロケーションを識別する。深さ抽出の結果は、２Ｄビデオデータ２２１の２Ｄ画像（またはフレーム）中の各ピクセルについての深さ値であり、各フレームについてのＮビットビットマップ画像として記憶される。代替的に、深さマップが各領域について生成され得、シーンはレンダリング中にオンザフライで構成される。
入力として２Ｄ＋深さフォーマットされた３Ｄビデオ・コンテンツ２２７を取る立体視ディスプレイの場合、深さマップ中の情報および２Ｄビデオデータ２２１は、２Ｄ＋ｚファイル・フォーマットにフォーマットされて、３Ｄディスプレイ・デバイス２２８に入力される。３Ｄディスプレイ・デバイス２２８のためのディスプレイ入力ファイル・フォーマットが複数のストリームファイル・フォーマットであり、ビデオの複数のストリームまたはビューが単一のコンテナ中にカプセル化される場合、２Ｄ−３Ｄ処理モジュール２２４は、２Ｄビデオフレームと関連する深さマップとに基づいて２Ｄビデオデータ２２１に対応する１つまたは複数の追加の２次ビューポイントを生成し得る。次いで、ディスプレイ・フォーマット・モジュール２２６は、必要とされる閲覧角と、ビューの数と、ディスプレイのためにまたはユーザによって（たとえば、メタデータとして）定義された他のパラメータとに応じて、元の２Ｄビデオデータまたは２Ｄビデオデータ２２１を２次ビューでインターリーブする。
図１０Ｂは、その両方が本開示で説明する技法の様々な態様を実装する、外部ＷＤホストユニット２１８と内部ＷＤクライアントユニット２３０とを含むシステム２１６Ｂを示すブロック図である。ディスプレイ・プラットフォーム２２３’が図１０Ａの場合のように外部ＷＤクライアントデバイスとのインターフェースではなく内部ＷＤクライアントユニット２３０を含むことを除いて、システム２１６Ｂはシステム２１６Ａと実質的に同様であり、図１０Ａでは、ディスプレイ・プラットフォーム２２３が外部ＷＤクライアントユニット２２２とインターフェースしている。このために、ディスプレイ・プラットフォーム２２３’は、参照符号「２２３」の次にプライム記号を用いて示される。ワイヤード・インターフェースを介してディスプレイ・プラットフォーム２２３とインターフェースすることを除いて、内部ＷＤクライアントユニット２３０は、外部ＷＤクライアントユニット２２２と実質的に同様の方法で動作し得る。代わりに、内部ＷＤクライアントデバイス２３０はディスプレイ・プラットフォーム２２３’内に組み込まれており、それによってディスプレイ・プラットフォーム２２３’と外部でインターフェースすることを回避する。
図１０Ｃは、その両方が本開示で説明する技法の様々な態様を実装する、外部ＷＤホストユニット２１８と外部ＷＤクライアントユニット２２２とを含む別のシステム２１６Ｃを示すブロック図である。システム２１６Ｃのディスプレイ・プラットフォーム２２３’’が深さ−マルチビュー（Ｚ−ＭＶ）処理モジュール２３４を含むことを除いて、システム２１６Ｃはシステム２１６Ａと同様である。この差異を示すために、ディスプレイ・プラットフォーム２２３’’は、参照符号「２２３」の後に２つのプライム記号を用いて示される。システム２１６Ａとシステム２１６Ｃとの間の別の差異は、モバイル・デバイス２１７が２Ｄ＋ｚファイル・フォーマットに従ってフォーマットされた３Ｄビデオデータ２３２を出力することである。
モバイル・デバイス２１７は、上記で説明したソースのいずれかから２Ｄビデオデータを受信し、非リアルタイムまたはリアルタイムまたはほぼリアルタイムのいずれかで２Ｄ−３Ｄ処理を実行し得る。代替的に、モバイル・デバイス２１７は、３Ｄビデオ・コンテンツを受信し、（ＭＰＥＧ−Ｃパート３において規定されているように）３Ｄビデオ・コンテンツを２Ｄ＋ｚフォーマットに変換し得る。深さマップ（または「ｚ」）情報のためにフレームごとに追加のパケットを搬送するように変更されたＭＰ４などの既存のファイル・フォーマットを使用して、モバイル・デバイス２１７はこの３Ｄビデオデータ２３２をカプセル化し得る。深さパケットのためのカプセル化ヘッダは、ファイル・フォーマット仕様において情報要素としてユーザデータについて規定されたヘッダであり得る。この情報要素を使用することは、２Ｄビデオ・ディスプレイとの後方互換性を可能にし得る。このＭＰ４ワイヤレス・ディスプレイプロトコルにおける深さパケットは、タイミング／同期情報を介して、または代替的に、同様に関連付けのために使用され得る、シーケンス番号などのビデオパケットのためのフレーム固有の識別情報を介して、対応するビデオパケットに関連し得る。
システム２１６Ｃでは、外部ＷＤホストユニット２１８は、３Ｄビデオデータ２３２を受信し、ワイヤレス・ディスプレイプロトコルに従ってこのデータ２３２をフォーマットし、図７に示すそれと同様のフォーマットされた３Ｄビデオデータ２３２を生じる。ＷＤホストユニット２１８は、ＭＰ４ファイルのためのパーサにおいて３Ｄビデオデータ２３２を傍受し、ビデオ、オーディオ、および深さパケットを検索し得る。次いで、ＷＤホストユニット２１８は、ＲＴＰヘッダでこれらのパケットを再カプセル化してＲＴＰストリームを形成し、ＷＤホストユニット２１８は、そのＲＴＰストリームをリアルタイムストリーミングプロトコル（ＲＴＳＰ）を介して、外部ＷＤクライアントデバイス２２２にストリーミングする。これらのストリームは、図７の例に関して上記で説明したフォーマッティングに従ってフォーマットされ得る。実際には、ＷＤホストユニット２１８は、２Ｄ＋ｚ３Ｄビデオデータ２３２を搬送するために、トランスポート・プロトコル（たとえば、ＲＴＰ）を変更する。
外部ＷＤクライアントユニット２２２は、ワイヤレス・リンク２２０を介してこれらのストリームを受信し、２Ｄ＋ｚ符号化に従って符号化された３Ｄビデオデータ２３２をリフォームするために、ストリームをカプセル化解除し、この３Ｄビデオデータ２３２をＺ−ＭＶ処理モジュール２３４に転送する。Ｚ−ＭＶ処理モジュール２３４は、３Ｄビデオデータ２３２からマルチビューをレンダリングすることによって、３Ｄビデオデータ２３２を２Ｄ＋ｚ符号化フォーマットからマルチビュー・ストリーム符号化フォーマットにコンバートする。次いで、ディスプレイ・フォーマット・モジュール２２６は、上記で説明した方法でこれらのマルチビューをインターリーブして３Ｄビデオ・コンテンツ２３６を生成し、３Ｄディスプレイ・デバイス２２８は、３Ｄビデオ・コンテンツ２３６を受信し、１人または複数の閲覧者による消費のために提示する。
図１０Ｄは、その両方が本開示で説明する技法の様々な態様を実装する、外部ＷＤホストユニット２１８と内部ＷＤクライアントユニット２３０とを含む別のシステム２１６Ｄを示すブロック図である。図１０Ｄに示すように、両方のシステム２１６Ｂ、２１Ｄがモバイル・デバイス２１７と、外部ＷＤホストユニット２１８と、内部ＷＤクライアントユニット２３０と、１つまたは複数の３Ｄディスプレイ・デバイス２２８とを含むという点で、システム２１６Ｄはシステム２１６Ｂと同様である。しかしながら、システム２１６Ｂでは、ディスプレイ・プラットフォーム２２３’が内部ＷＤクライアントユニット２３０を含んでいたが、システム２１６Ｄは、内部ＷＤクライアントユニット２３０を含むモバイル・マルチメディア・デバイス２３７を含む。このために、ディスプレイ・プラットフォーム２２３は、この差異を識別するために、参照符号「２２３」の後に３つのプライム記号を用いて示される。
モバイル・マルチメディア・デバイス２３７は、内部ＷＤクライアントユニット２３０とＺ−グラフィックス処理ユニット（ＧＰＵ）処理モジュール２３８（「Ｚ−ＧＰＵ処理モジュール２３８」）とを含むモバイルマルチメディアプロセッサ（図１０Ｄに図示せず）を含み得る。マルチメディアプロセッサはＧＰＵを含み得る。この意味で、ＷＤクライアントユニット２３０およびＺ−ＧＰＵ処理モジュール２３８は、ＧＰＵを用いてマルチメディアプロセッサ上でホスティングされると見なされ得る。Ｚ−ＧＰＵ処理モジュール２３８は、２Ｄ＋ｚフォーマットに従って符号化された３Ｄビデオデータ２３２をマルチビュー符号化フォーマットにコンバートするように、深さ−マルチビュー・コンバージョン・プロセスを実行する。内部ＷＤクライアントユニット２３０および外部ＷＤホストユニット２１８は、図１０Ｂのシステム２１６Ｂ中のこれらの同じユニットに関して説明したのと同様の方法で互いと通信し得るが、図１０Ｃのシステム２１６Ｃに関して説明したように、その通信は３Ｄビデオデータ２３２に関与する。
いずれの場合も、内部ＷＤクライアントユニット２３０は、ワイヤレス・ディスプレイプロトコルに従ってフォーマットされたカプセル化された３Ｄビデオデータ２３２を受信し、このカプセル化された３Ｄビデオデータ２３２をカプセル化解除して、３Ｄビデオデータ２３２をリフォームする。内部ＷＤクライアントユニット２３０は、このデータ２３２をＺ−ＧＰＵ処理モジュール２３８に転送し、Ｚ−ＧＰＵ処理モジュール２３８は、マルチビュー符号化フォーマットに従ってフォーマットされた３Ｄビデオデータ２４２を生成するためにコンバージョン・プロセスを実行する汎用計算エンジンとして、ＧＰＵを利用する。汎用計算エンジンとしてのＧＰＵの使用は、ＯｐｅｎＣＬを使用することに関与し、ＯｐｅｎＣＬは、ＣＰＵとＧＰＵとからなる異種プラットフォームにわたって実行する書込みプログラムのためのフレームワークを備える。ＯｐｅｎＣＬは、ＯｐｅｎＣＬデバイス上で実行する書込み機能と、プラットフォームを定義し、次いで制御するために使用されるアプリケーションプログラマーインターフェース（ＡＰＩ）とのための言語を含む。
Ｚ−ＧＰＵ処理モジュール２３８は、ＧＰＵを使用してリアルタイムまたはほぼリアルタイムの深さ−マルチビュー・コンバージョンを実行し得、それによって２Ｄ＋ｚフォーマットおよびマルチストリームビデオフォーマットなどの異なるフォーマットの３Ｄコンテンツを受け付ける異種ディスプレイとインターフェースすることを可能にし得る。たとえば、Ｚ−ＧＰＵ処理モジュール２３８は、２Ｄ＋ｚフォーマットに従ってフォーマットされた３Ｄビデオデータ２４０を生成し得、３Ｄディスプレイ２２８Ａは、ディスプレイ・プラットフォーム２２３’’による処理を介入することなしに、その３Ｄビデオデータ２４０を直接受け付け得る。Ｚ−ＧＰＵ処理モジュール２３８はまた、マルチビュー・フォーマットに従ってフォーマットされた３Ｄビデオデータ２４１を生成し、このデータ２４１をディスプレイ・プラットフォーム２２３’’’に転送し得る。ディスプレイ・プラットフォーム２２３’’’のディスプレイ・フォーマット・モジュール２２６は、マルチビュー・フォーマットされた３Ｄビデオデータ２４１からストリームをインターリーブして３Ｄビデオデータ２４２を生成し得、３Ｄディスプレイ・デバイス２２８Ｂは、３Ｄビデオデータ２４２を受信し、提示し得る。
図１０Ｅは、本開示で説明する技法の１つまたは複数の態様を実行する別のシステム２１６Ｅを示すブロック図である。モバイル・マルチメディア・デバイス２３７’が内部ＷＤクライアントユニット２３０と２Ｄ−３Ｄ処理モジュール２２４とを含むことを除いて、システム２１６Ｅは、図１０Ｄのシステム２１６Ｄと同様であり得る。この差異を示すために、モバイル・マルチメディア・デバイス２３７’は、参照符号「２３７」の後にプライム記号を含む。
いずれの場合も、モバイル・デバイス２１７は、２Ｄビデオ・コンテンツまたは３Ｄビデオ・コンテンツ２４４を外部ＷＤホストユニット２１８に転送し得、外部ＷＤホストユニット２１８は、上記で説明した方法でワイヤレス・ディスプレイプロトコルに従ってこのコンテンツ２４４をカプセル化し、ワイヤレス・リンク２２０を介してフォーマットされたコンテンツ２４４を内部ＷＤクライアントユニット２３０に転送する。コンテンツが２Ｄビデオ・コンテンツ２４４である場合、内部ＷＤクライアントユニット２３０は、リアルタイムまたはほぼリアルタイムの２Ｄ−３Ｄコンバージョン（たとえば、深さ抽出）を実行するために、このデータ２４４を２Ｄ−３Ｄ処理ユニット２２４に転送し得る。ディスプレイ２２８Ａ、２２８Ｂの一方または両方によって必要とされた場合、２Ｄ−３Ｄ処理モジュール２２４は、上記で説明したように、マルチビュー・フォーマットされた３Ｄビデオデータを生成するために、３ＤビデオデータをＺ−ＧＰＵ処理モジュール２３８に転送し得る。内部ＷＤクライアントユニット２３０が３Ｄビデオ・コンテンツ２４４を受信し、ディスプレイ２２８Ａ、２２８Ｂの一方または両方がマルチビューファイル・フォーマットを必要とする場合、内部ＷＤクライアントユニット２３０は、Ｚ−ＧＰＵ処理モジュール２３８に３Ｄビデオ・コンテンツ２４４を転送し得、Ｚ−ＧＰＵ処理モジュール２３８は、マルチビューファイル・フォーマットに従ってフォーマットされた３Ｄビデオデータ２４１を生成する。
次いで、モバイル・マルチメディア・デバイス２３７’は、上記で説明したようにコンテンツ２４０を３Ｄディスプレイ・デバイス２２８Ａに転送し得る。代替的に、上記で説明したように、モバイル・マルチメディア・デバイス２３７’は、３Ｄビデオデータ２４１をディスプレイ・プラットフォーム２２３’’’に転送し得る。再び上記で説明したように、ディスプレイ・プラットフォーム２２３’’’は、ディスプレイ・フォーマット・モジュール２２６を使用して複数のビューをインターリーブし、得られた３Ｄビデオ・コンテンツ２４２を３Ｄディスプレイ・デバイス２２８Ｂに転送し得る。
システム２１６Ｅでは、モバイル・デバイス２１７は、外部ＷＤホスト／クライアントユニット２１８と内部ＷＤホスト／クライアントユニット２３０とによって実装されたワイヤレス・ディスプレイプロトコルを介して、２Ｄまたは３Ｄビデオ・コンテンツを駆動することを選択し得る。上記のように、ＷＤホストユニット２１８およびＷＤクライアントユニット２３０は、クライアントが接続されたディスプレイ（１つまたは複数のスルーミラーリング）を表すパラメータを交換し得、これらのパラメータは、これらのディスプレイによってサポートされる３Ｄコンテンツ・フォーマットを含む。ワイヤレス・リンク２２０上の利用可能な帯域幅に応じて、モバイル・デバイス２１７ではなく、ＷＤクライアントユニット２３０が２Ｄ−３Ｄコンバージョン・プロセスを実行し得る。また、モバイル・マルチメディア・デバイス２３７’内でコンバージョンを実行することは、より良いユーザエクスペリエンスと視覚的品質とを促進し得る。その上、３Ｄディスプレイのパラメータに応じて、深さ−マルチビュー・コンバージョン・プロセスが実行される。さらに、モバイル・マルチメディア・デバイス２３７’は、ワイヤレス・ディスプレイプロトコルからディスプレイ・フォーマットへのフォーマット変換を実行し得る。
システム２１６Ａ〜２１６Ｅのすべてにおいて、様々な構成要素は、ＷＤホストとクライアントユニットとを利用して、旧来のワイヤード・ディスプレイが、ワイヤレス・ディスプレイになるか、または少なくともワイヤレス接続を介してアクセス可能になることを可能にし得る。したがって、様々な内部および外部ＷＤホストおよびクライアントユニットは、ワイヤード・ディスプレイをワイヤレス・ディスプレイ上にコンバートすることによって、クロスプラットフォーム３Ｄビデオ再生を促進し得る。その上、様々なＷＤホストおよびクライアントユニットは、特定の３Ｄコンテンツ・フォーマットを規定しないが、２Ｄ専用ディスプレイ・デバイスとの後方互換性を依然として可能にすると同時にワイヤレスに３Ｄビデオデータを効率的に送信するためのワイヤレス・ディスプレイトランスポート・プロトコルのみを与える。この点において、様々な内部および外部ＷＤホストおよびクライアントユニットは、クロスプラットフォーム３Ｄビデオ再生をさらに促進し得る。
本明細書に説明される技法は、ハードウェア、ファームウェア、または任意のその組合せにおいて実施され得る。ハードウェアは、場合によっては、ソフトウェアをも実行し得る。モジュール、ユニットまたは構成要素として説明した特徴は、集積論理デバイスにおいて一緒に、または個別であるが相互運用可能な論理デバイスとして別々に実装され得る。場合によっては、様々な特徴は、集積回路チップまたはチップセットなどの集積回路デバイスとして実装され得る。ソフトウェアで実装された場合、これらの技法は、実行されると、上記で説明した方法の１つまたは複数をプロセッサに実行させる命令を備えるコンピュータ可読媒体によって少なくとも部分的に実現され得る。
コンピュータ可読媒体は、パッケージング材料を含むことがある、コンピュータ・プログラム製品の一部を形成し得る。コンピュータ可読媒体は、ランダム・アクセス・メモリ（ＲＡＭ）、同期ダイナミックランダム・アクセス・メモリ（ＳＤＲＡＭ）、読取り専用メモリ（ＲＯＭ）、不揮発性ランダム・アクセス・メモリ（ＮＶＲＡＭ）、電気消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、磁気または光学データ記憶媒体などのコンピュータデータ記憶媒体を備え得る。本技法は、追加または代替として、少なくとも部分的に、命令またはデータ構造の形態でコードを搬送または通信し、コンピュータによってアクセス、読取り、および／または実行され得るコンピュータ可読通信媒体によって実現され得る。
コードまたは命令は、１つまたは複数のＤＳＰ、汎用マイクロプロセッサ、ＡＳＩＣ、フィールドプログラマブルロジックアレイ（ＦＰＧＡ）、または他の等価な集積またはディスクリート論理回路など、１つまたは複数のプロセッサによって実行され得る。したがって、本明細書で使用する「プロセッサ」という用語は、前述の構造、または本明細書で説明する技法の実装に好適な他の構造のいずれかを指すことがある。さらに、いくつかの態様では、本明細書で説明する機能を、専用のソフトウェア・モジュールまたはハードウェア・モジュールの内部に与え得る。本開示はまた、本開示で説明した技法の１つまたは複数を実装する回路を含む様々な集積回路デバイスのいずれかを企図する。そのような回路は、単一の集積回路チップ、またはいわゆるチップセット中の複数の相互運用可能な集積回路チップで提供され得る。そのような集積回路デバイスは様々な適用例において使用され得、適用例のいくつかは携帯電話ハンドセットなどのワイヤレス通信デバイスでの使用を含み得る。
本開示の様々な例について説明した。これらおよび他の例は以下の特許請求の範囲内に入る。
本開示の様々な例について説明した。これらおよび他の例は以下の特許請求の範囲内に入る。
以下に本件出願当初の特許請求の範囲に記載された発明を付記する。
［１］ 装置であって、
３Ｄビデオ・コンテンツのビデオデータ・セグメントとオーディオデータ・セグメントと深さデータ・セグメントとを生成するマルチメディア処理モジュールと、
トランスポート・プロトコルに従って前記ビデオデータ・セグメントと前記オーディオデータ・セグメントと前記深さデータ・セグメントとの各々を複数のパケットのうちの異なる１つの中にカプセル化し、前記３Ｄビデオ・コンテンツの再生を向上させるためのメタデータを前記複数のパケットのうちの少なくとも１つに追加するトランスポート・プロトコル・モジュールと、
前記パケットを前記装置の外部の３Ｄディスプレイ・デバイスに送信するワイヤレス・モジュールと、
を備える装置。
［２］ 前記トランスポート・プロトコル・モジュールが、前記複数のパケットのうちの前記少なくとも１つのヘッダ中の随意のデータフィールド内に前記メタデータを追加する、［１］に記載の装置。
［３］ 前記トランスポート・プロトコルがアプリケーション・レイヤトランスポート・プロトコルを備え、
前記アプリケーション・レイヤトランスポート・プロトコルがリアルタイム・トランスポート・プロトコル（ＲＴＰ）を備える、［１］に記載の装置。
［４］ 前記メタデータが、深さ範囲と、深さ解像度と、カメラ・モデル・パラメータと、最適閲覧パラメータと、圧縮タイプとのうちの１つまたは複数を定義する深さメタデータを備える、［１］に記載の装置。
［５］ 前記メタデータが、オクルージョン解像度と圧縮タイプとのうちの１つまたは複数を定義するオクルージョンメタデータを備える、［１］に記載の装置。
［６］ 前記メタデータが、複数のグローバル効果パラメータのうちの１つまたは複数を定義するグローバル効果メタデータを備え、グローバル効果パラメータが、密度、ロケーションおよび繰返しレートを含む、雨と、もやと、雪と、煙とのうちの１つまたは複数に関係するビデオ効果を記述する、［１］に記載の装置。
［７］ 前記マルチメディア処理モジュールが変換モジュールを備え、
前記装置は、
前記３Ｄディスプレイ・デバイスによってサポートされる能力を定義する１つまたは複数のパラメータを判断するパラメータ発見モジュールであって、前記１つまたは複数のパラメータが、前記３Ｄディスプレイ・デバイスによってサポートされる入力フォーマットを含み、前記判断された入力フォーマットに従って３Ｄビデオデータを生成するように２次元（２Ｄ）ビデオデータを前記３Ｄビデオデータに変換するように前記変換モジュールを構成する、パラメータ発見モジュールをさらに備え、
前記ワイヤレス・モジュールが２Ｄビデオデータを受信し、
前記変換モジュールは、前記３Ｄビデオデータが前記判断された入力フォーマットに準拠するように、前記２Ｄビデオデータを前記３Ｄビデオデータに変換する、［１］に記載の装置。
［８］ 前記マルチメディア処理モジュールが変換モジュールを備え、
前記装置が、
前記３次元（３Ｄ）ディスプレイ・デバイスによってサポートされる能力を定義するパラメータに従って３Ｄビデオデータを生成するように前記変換モジュールを構成するパラメータ発見モジュールをさらに備え、
前記変換モジュールが、前記３Ｄビデオデータを生成するためにビデオデータを変換し、
前記ワイヤレス・モジュールが前記３Ｄビデオデータを前記３Ｄディスプレイ・デバイスに転送し、
前記装置は、
前記変換モジュールが前記ビデオデータを変換している間、人間視覚系に対する前記生成された３Ｄビデオデータの３Ｄ可視化の品質を反映するＨＶＳモデルを使用して１つまたは複数のメトリックを判断し、再び前記変換モジュールが前記ビデオデータを変換している間、前記３Ｄビデオデータの前記生成を改良するために前記判断された１つまたは複数のメトリックに基づいて前記１つまたは複数のモジュールを再構成する、人間視覚系（ＨＶＳ）フィードバック・モジュールをさらに備える、［１］に記載の装置。
［９］ 前記ビデオデータ・セグメントを記憶するためのモジュールと、
前記装置の外部の前記ディスプレイ・デバイスの１つまたは複数のディスプレイ・パラメータを判断し、前記判断されたディスプレイ・パラメータに基づいて３Ｄビデオデータを生成するように前記ビデオデータ・セグメントを準備するワイヤレス・ディスプレイ・ホストモジュールと、
をさらに備える、［１］に記載の装置。
［１０］ 装置のマルチメディア処理モジュールによって、３Ｄビデオ・コンテンツのビデオデータ・セグメントとオーディオデータ・セグメントと深さデータ・セグメントとを生成することと、
前記装置のトランスポート・プロトコル・モジュールによって、トランスポート・プロトコルに従って前記ビデオデータ・セグメントと前記オーディオデータ・セグメントと前記深さデータ・セグメントとの各々を複数のパケットのうちの異なる１つの中にカプセル化し、前記３Ｄビデオ・コンテンツの再生を向上させるためのメタデータを前記複数のパケットのうちの少なくとも１つに追加することと、
前記装置のワイヤレス・モジュールによって、前記パケットを前記装置の外部の３Ｄディスプレイ・デバイスに送信することと、
を備える方法。
［１１］
前記複数のパケットのうちの前記少なくとも１つのヘッダ中の随意のデータフィールド内に前記メタデータを追加することをさらに備える、［１０］に記載の方法。
［１２］ 前記トランスポート・プロトコルがアプリケーション・レイヤトランスポート・プロトコルを備え、
前記アプリケーション・レイヤトランスポート・プロトコルがリアルタイム・トランスポート・プロトコル（ＲＴＰ）を備える、［１０］に記載の方法。
［１３］ 前記メタデータが、深さ範囲と、深さ解像度と、カメラ・モデル・パラメータと、最適閲覧パラメータと、圧縮タイプとのうちの１つまたは複数を定義する深さメタデータを備える、［１０］に記載の方法。
［１４］ 前記メタデータが、オクルージョン解像度と圧縮タイプとのうちの１つまたは複数を定義するオクルージョンメタデータを備える、［１０］に記載の方法。
［１５］ 前記メタデータが、複数のグローバル効果パラメータのうちの１つまたは複数を定義するグローバル効果メタデータを備え、グローバル効果パラメータが、密度、ロケーションおよび繰返しレートを含む、雨と、もやと、雪と、煙とのうちの１つまたは複数に関係するビデオ効果を記述する、［１０］に記載の方法。
［１６］ 前記３Ｄディスプレイ・デバイスによってサポートされる能力を定義する１つまたは複数のパラメータを判断することであって、前記１つまたは複数のパラメータが、前記３Ｄディスプレイ・デバイスによってサポートされる入力フォーマットを含み、前記判断された入力フォーマットに従って３Ｄビデオデータを生成するように２次元（２Ｄ）ビデオデータを前記３Ｄビデオデータに変換するように変換モジュールを構成する、判断することと、
２Ｄビデオデータを受信することと、
前記３Ｄビデオデータが前記判断された入力フォーマットに準拠するように、前記２Ｄビデオデータを前記３Ｄビデオデータに変換することと、
をさらに備える、［１０］に記載の方法。
［１７］ 前記３次元（３Ｄ）ディスプレイ・デバイスによってサポートされる能力を定義するパラメータに従って３Ｄビデオデータを生成するように前記マルチメディア処理モジュールの変換モジュールを構成することと、
前記構成された変換モジュールによって、前記３Ｄビデオデータを生成するためにビデオデータを変換することと、
をさらに備え、
前記パケットを送信することが、前記３Ｄビデオデータを前記３Ｄディスプレイ・デバイスに転送することを備え、
前記方法は、
前記変換モジュールが前記ビデオデータを変換している間、前記装置の人間視覚系（ＨＶＳ）フィードバック・モジュールによって、人間視覚系に対する前記生成された３Ｄビデオデータの３Ｄ可視化の品質を反映するＨＶＳモデルを使用して１つまたは複数のメトリックを判断することと、
前記変換モジュールが前記ビデオデータを変換している間、前記３Ｄビデオデータの前記生成を改良するために前記判断された１つまたは複数のメトリックに基づいて前記変換モジュールを再構成することと、
をさらに備える、［１０］に記載の方法。
［１８］ 前記ビデオデータ・セグメントを記憶することと、
ワイヤレス・ディスプレイホストによって、前記装置の外部の前記ディスプレイ・デバイスの１つまたは複数のディスプレイ・パラメータを判断することと、
前記ワイヤレス・ディスプレイホストによって、前記判断されたディスプレイ・パラメータに基づいて３Ｄビデオデータを生成するように前記ビデオデータ・セグメントを準備することと、
をさらに備える、［１０］に記載の方法。
［１９］ 装置であって、
３Ｄビデオ・コンテンツのビデオデータ・セグメントとオーディオデータ・セグメントと深さデータ・セグメントとを生成するための手段と、
トランスポート・プロトコルに従って前記ビデオデータ・セグメントと前記オーディオデータ・セグメントと前記深さデータ・セグメントとの各々を複数のパケットのうちの異なる１つの中にカプセル化し、前記３Ｄビデオ・コンテンツの再生を向上させるためのメタデータを前記複数のパケットのうちの少なくとも１つに追加するための手段と、
前記パケットを前記装置の外部の３Ｄディスプレイ・デバイスに送信するための手段と、
を備える装置。
［２０］ 前記複数のパケットのうちの前記少なくとも１つのヘッダ中の随意のデータフィールド内に前記メタデータを追加するための手段をさらに備える、［１９］に記載の装置。
［２１］ 前記トランスポート・プロトコルがアプリケーション・レイヤトランスポート・プロトコルを備え、
前記アプリケーション・レイヤトランスポート・プロトコルがリアルタイム・トランスポート・プロトコル（ＲＴＰ）を備える、［１９］に記載の装置。
［２２］ 前記メタデータが、深さ範囲と、深さ解像度と、カメラ・モデル・パラメータと、最適閲覧パラメータと、圧縮タイプとのうちの１つまたは複数を定義する深さメタデータを備える、［１９］に記載の装置。
［２３］ 前記メタデータが、オクルージョン解像度と圧縮タイプとのうちの１つまたは複数を定義するオクルージョンメタデータを備える、［１９］に記載の装置。
［２４］ 前記メタデータが、複数のグローバル効果パラメータのうちの１つまたは複数を定義するグローバル効果メタデータを備え、グローバル効果パラメータが、密度、ロケーションおよび繰返しレートを含む、雨と、もやと、雪と、煙とのうちの１つまたは複数に関係するビデオ効果を記述する、［１９］に記載の装置。
［２５］ 前記３Ｄディスプレイ・デバイスによってサポートされる能力を定義する１つまたは複数のパラメータを判断するための手段であって、前記１つまたは複数のパラメータが、前記３Ｄディスプレイ・デバイスによってサポートされる入力フォーマットを含み、前記判断された入力フォーマットに従って３Ｄビデオデータを生成するように２次元（２Ｄ）ビデオデータを前記３Ｄビデオデータに変換するように変換モジュールを構成する、判断するための手段と、
２Ｄビデオデータを受信するための手段と、
前記３Ｄビデオデータが前記判断された入力フォーマットに準拠するように、前記２Ｄビデオデータを前記３Ｄビデオデータに変換するための手段と
をさらに備える、［１９］に記載の装置。
［２６］ 前記３次元（３Ｄ）ディスプレイ・デバイスによってサポートされる能力を定義するパラメータに従って３Ｄビデオデータを生成するように前記装置の変換モジュールを構成するための手段をさらに備え、
前記構成された変換モジュールが、前記３Ｄビデオデータを生成するためにビデオデータを変換し、
前記パケットを送信するための前記手段が、前記３Ｄビデオデータを前記３Ｄディスプレイ・デバイスに転送するための手段を備え、
前記装置は、
前記変換モジュールが前記ビデオデータを変換している間、人間視覚系に対する前記生成された３Ｄビデオデータの３Ｄ可視化の品質を反映する人間視覚系（ＨＶＳ）モデルを使用して１つまたは複数のメトリックを判断するための手段と、
前記変換モジュールが前記ビデオデータを変換している間、前記３Ｄビデオデータの前記生成を改良するために前記判断された１つまたは複数のメトリックに基づいて前記変換モジュールを再構成するための手段と、
をさらに備える、［１９］に記載の装置。
［２７］ 前記ビデオデータ・セグメントを記憶するための手段と、
前記装置の外部の前記ディスプレイ・デバイスの１つまたは複数のディスプレイ・パラメータを判断するための手段と、
前記判断されたディスプレイ・パラメータに基づいて３Ｄビデオデータを生成するように前記ビデオデータ・セグメントを準備するための手段と、
をさらに備える、［１９］に記載の装置。
［２８］ ３Ｄビデオ・コンテンツのビデオデータ・セグメントとオーディオデータ・セグメントと深さデータ・セグメントとを生成することと、
トランスポート・プロトコルに従って前記ビデオデータ・セグメントと前記オーディオデータ・セグメントと前記深さデータ・セグメントとの各々を複数のパケットのうちの異なる１つの中にカプセル化し、前記３Ｄビデオ・コンテンツの再生を向上させるためのメタデータを前記複数のパケットのうちの少なくとも１つに追加することと、
前記パケットを前記装置の外部の３Ｄディスプレイ・デバイスに送信することと、
をプロセッサに行わせる命令を備えるコンピュータ可読記憶媒体。
［２９］ 前記命令が、前記複数のパケットのうちの前記少なくとも１つのヘッダ中の随意のデータフィールド内に前記メタデータを追加することをプロセッサにさらに行わせる、［２８］に記載のコンピュータ可読記憶媒体。
［３０］ 前記トランスポート・プロトコルがアプリケーション・レイヤトランスポート・プロトコルを備え、
前記アプリケーション・レイヤトランスポート・プロトコルがリアルタイム・トランスポート・プロトコル（ＲＴＰ）を備える
［２８］に記載のコンピュータ可読記憶媒体。
［３１］ 前記メタデータが、深さ範囲と、深さ解像度と、カメラ・モデル・パラメータと、最適閲覧パラメータと、圧縮タイプとのうちの１つまたは複数を定義する深さメタデータを備える、［２８］に記載のコンピュータ可読記憶媒体。
［３２］ 前記メタデータが、オクルージョン解像度と圧縮タイプとのうちの１つまたは複数を定義するオクルージョンメタデータを備える、［２８］に記載のコンピュータ可読記憶媒体。
［３３］ 前記メタデータが、複数のグローバル効果パラメータのうちの１つまたは複数を定義するグローバル効果メタデータを備え、グローバル効果パラメータが、密度、ロケーションおよび繰返しレートを含む、雨と、もやと、雪と、煙とのうちの１つまたは複数に関係するビデオ効果を記述する、［２８］に記載のコンピュータ可読記憶媒体。
［３４］ 前記命令は、
前記３Ｄディスプレイ・デバイスによってサポートされる能力を定義する１つまたは複数のパラメータを判断することであって、前記１つまたは複数のパラメータが、前記３Ｄディスプレイ・デバイスによってサポートされる入力フォーマットを含み、前記判断された入力フォーマットに従って３Ｄビデオデータを生成するように２次元（２Ｄ）ビデオデータを前記３Ｄビデオデータに変換するように変換モジュールを構成する、判断することと、
２Ｄビデオデータを受信することと、
前記３Ｄビデオデータが前記判断された入力フォーマットに準拠するように、前記２Ｄビデオデータを前記３Ｄビデオデータに変換することと、
を前記プロセッサにさらに行わせる、［２８］に記載のコンピュータ可読記憶媒体。
［３５］ 前記命令が、
前記３次元（３Ｄ）ディスプレイ・デバイスによってサポートされる能力を定義するパラメータに従って３Ｄビデオデータを生成するように前記マルチメディア処理モジュールの変換モジュールを構成すること
を前記プロセッサにさらに行わせ、
前記構成された変換モジュールが、前記３Ｄビデオデータを生成するためにビデオデータを変換し、
前記命令は、
前記３Ｄビデオデータを前記３Ｄディスプレイ・デバイスに転送することと、
前記変換モジュールが前記ビデオデータを変換している間、人間視覚系に対する前記生成された３Ｄビデオデータの３Ｄ可視化の品質を反映する人間視覚系（ＨＶＳ）モデルを使用して１つまたは複数のメトリックを判断することと、
前記変換モジュールが前記ビデオデータを変換している間、前記３Ｄビデオデータの前記生成を改良するために前記判断された１つまたは複数のメトリックに基づいて前記変換モジュールを再構成することと、
を前記プロセッサにさらに行わせる、［２８］に記載のコンピュータ可読記憶媒体。
[３６］ 前記命令が、
前記ビデオデータ・セグメントを記憶することと、
ワイヤレス・ディスプレイホストによって、前記装置の外部の前記ディスプレイ・デバイスの１つまたは複数のディスプレイ・パラメータを判断することと、
前記ワイヤレス・ディスプレイホストによって、前記判断されたディスプレイ・パラメータに基づいて３Ｄビデオデータを生成するように前記ビデオデータ・セグメントを準備することと、
を前記プロセッサにさらに行わせる、［２８］に記載のコンピュータ可読記憶媒体。

Claims (36)

  1. 装置であって、
    ３Ｄビデオ・コンテンツのビデオデータ・セグメントとオーディオデータ・セグメントと深さデータ・セグメントとを生成するマルチメディア処理モジュールと、
    トランスポート・プロトコルに従って前記ビデオデータ・セグメントと前記オーディオデータ・セグメントと前記深さデータ・セグメントとの各々を複数のパケットのうちの異なる１つの中にカプセル化し、前記３Ｄビデオ・コンテンツの再生を向上させるためのメタデータを前記複数のパケットのうちの少なくとも１つに追加するトランスポート・プロトコル・モジュールと、
    前記パケットを前記装置の外部の３Ｄディスプレイ・デバイスに送信するワイヤレス・モジュールと、
    を備える装置。
  2. 前記トランスポート・プロトコル・モジュールが、前記複数のパケットのうちの前記少なくとも１つのヘッダ中の随意のデータフィールド内に前記メタデータを追加する、請求項１に記載の装置。
  3. 前記トランスポート・プロトコルがアプリケーション・レイヤトランスポート・プロトコルを備え、
    前記アプリケーション・レイヤトランスポート・プロトコルがリアルタイム・トランスポート・プロトコル（ＲＴＰ）を備える、請求項１に記載の装置。
  4. 前記メタデータが、深さ範囲と、深さ解像度と、カメラ・モデル・パラメータと、最適閲覧パラメータと、圧縮タイプとのうちの１つまたは複数を定義する深さメタデータを備える、請求項１に記載の装置。
  5. 前記メタデータが、オクルージョン解像度と圧縮タイプとのうちの１つまたは複数を定義するオクルージョンメタデータを備える、請求項１に記載の装置。
  6. 前記メタデータが、複数のグローバル効果パラメータのうちの１つまたは複数を定義するグローバル効果メタデータを備え、グローバル効果パラメータが、密度、ロケーションおよび繰返しレートを含む、雨と、もやと、雪と、煙とのうちの１つまたは複数に関係するビデオ効果を記述する、請求項１に記載の装置。
  7. 前記マルチメディア処理モジュールが変換モジュールを備え、
    前記装置は、
    前記３Ｄディスプレイ・デバイスによってサポートされる能力を定義する１つまたは複数のパラメータを判断するパラメータ発見モジュールであって、前記１つまたは複数のパラメータが、前記３Ｄディスプレイ・デバイスによってサポートされる入力フォーマットを含み、前記判断された入力フォーマットに従って３Ｄビデオデータを生成するように２次元（２Ｄ）ビデオデータを前記３Ｄビデオデータに変換するように前記変換モジュールを構成する、パラメータ発見モジュールをさらに備え、
    前記ワイヤレス・モジュールが２Ｄビデオデータを受信し、
    前記変換モジュールは、前記３Ｄビデオデータが前記判断された入力フォーマットに準拠するように、前記２Ｄビデオデータを前記３Ｄビデオデータに変換する、請求項１に記載の装置。
  8. 前記マルチメディア処理モジュールが変換モジュールを備え、
    前記装置が、
    前記３次元（３Ｄ）ディスプレイ・デバイスによってサポートされる能力を定義するパラメータに従って３Ｄビデオデータを生成するように前記変換モジュールを構成するパラメータ発見モジュールをさらに備え、
    前記変換モジュールが、前記３Ｄビデオデータを生成するためにビデオデータを変換し、
    前記ワイヤレス・モジュールが前記３Ｄビデオデータを前記３Ｄディスプレイ・デバイスに転送し、
    前記装置は、
    前記変換モジュールが前記ビデオデータを変換している間、人間視覚系に対する前記生成された３Ｄビデオデータの３Ｄ可視化の品質を反映するＨＶＳモデルを使用して１つまたは複数のメトリックを判断し、再び前記変換モジュールが前記ビデオデータを変換している間、前記３Ｄビデオデータの前記生成を改良するために前記判断された１つまたは複数のメトリックに基づいて前記１つまたは複数のモジュールを再構成する、人間視覚系（ＨＶＳ）フィードバック・モジュールをさらに備える、請求項１に記載の装置。
  9. 前記ビデオデータ・セグメントを記憶するためのモジュールと、
    前記装置の外部の前記ディスプレイ・デバイスの１つまたは複数のディスプレイ・パラメータを判断し、前記判断されたディスプレイ・パラメータに基づいて３Ｄビデオデータを生成するように前記ビデオデータ・セグメントを準備するワイヤレス・ディスプレイ・ホストモジュールと、
    をさらに備える、請求項１に記載の装置。
  10. 装置のマルチメディア処理モジュールによって、３Ｄビデオ・コンテンツのビデオデータ・セグメントとオーディオデータ・セグメントと深さデータ・セグメントとを生成することと、
    前記装置のトランスポート・プロトコル・モジュールによって、トランスポート・プロトコルに従って前記ビデオデータ・セグメントと前記オーディオデータ・セグメントと前記深さデータ・セグメントとの各々を複数のパケットのうちの異なる１つの中にカプセル化し、前記３Ｄビデオ・コンテンツの再生を向上させるためのメタデータを前記複数のパケットのうちの少なくとも１つに追加することと、
    前記装置のワイヤレス・モジュールによって、前記パケットを前記装置の外部の３Ｄディスプレイ・デバイスに送信することと、
    を備える方法。
  11. 前記複数のパケットのうちの前記少なくとも１つのヘッダ中の随意のデータフィールド内に前記メタデータを追加することをさらに備える、請求項１０に記載の方法。
  12. 前記トランスポート・プロトコルがアプリケーション・レイヤトランスポート・プロトコルを備え、
    前記アプリケーション・レイヤトランスポート・プロトコルがリアルタイム・トランスポート・プロトコル（ＲＴＰ）を備える、請求項１０に記載の方法。
  13. 前記メタデータが、深さ範囲と、深さ解像度と、カメラ・モデル・パラメータと、最適閲覧パラメータと、圧縮タイプとのうちの１つまたは複数を定義する深さメタデータを備える、請求項１０に記載の方法。
  14. 前記メタデータが、オクルージョン解像度と圧縮タイプとのうちの１つまたは複数を定義するオクルージョンメタデータを備える、請求項１０に記載の方法。
  15. 前記メタデータが、複数のグローバル効果パラメータのうちの１つまたは複数を定義するグローバル効果メタデータを備え、グローバル効果パラメータが、密度、ロケーションおよび繰返しレートを含む、雨と、もやと、雪と、煙とのうちの１つまたは複数に関係するビデオ効果を記述する、請求項１０に記載の方法。
  16. 前記３Ｄディスプレイ・デバイスによってサポートされる能力を定義する１つまたは複数のパラメータを判断することであって、前記１つまたは複数のパラメータが、前記３Ｄディスプレイ・デバイスによってサポートされる入力フォーマットを含み、前記判断された入力フォーマットに従って３Ｄビデオデータを生成するように２次元（２Ｄ）ビデオデータを前記３Ｄビデオデータに変換するように変換モジュールを構成する、判断することと、
    ２Ｄビデオデータを受信することと、
    前記３Ｄビデオデータが前記判断された入力フォーマットに準拠するように、前記２Ｄビデオデータを前記３Ｄビデオデータに変換することと、
    をさらに備える、請求項１０に記載の方法。
  17. 前記３次元（３Ｄ）ディスプレイ・デバイスによってサポートされる能力を定義するパラメータに従って３Ｄビデオデータを生成するように前記マルチメディア処理モジュールの変換モジュールを構成することと、
    前記構成された変換モジュールによって、前記３Ｄビデオデータを生成するためにビデオデータを変換することと、
    をさらに備え、
    前記パケットを送信することが、前記３Ｄビデオデータを前記３Ｄディスプレイ・デバイスに転送することを備え、
    前記方法は、
    前記変換モジュールが前記ビデオデータを変換している間、前記装置の人間視覚系（ＨＶＳ）フィードバック・モジュールによって、人間視覚系に対する前記生成された３Ｄビデオデータの３Ｄ可視化の品質を反映するＨＶＳモデルを使用して１つまたは複数のメトリックを判断することと、
    前記変換モジュールが前記ビデオデータを変換している間、前記３Ｄビデオデータの前記生成を改良するために前記判断された１つまたは複数のメトリックに基づいて前記変換モジュールを再構成することと、
    をさらに備える、請求項１０に記載の方法。
  18. 前記ビデオデータ・セグメントを記憶することと、
    ワイヤレス・ディスプレイホストによって、前記装置の外部の前記ディスプレイ・デバイスの１つまたは複数のディスプレイ・パラメータを判断することと、
    前記ワイヤレス・ディスプレイホストによって、前記判断されたディスプレイ・パラメータに基づいて３Ｄビデオデータを生成するように前記ビデオデータ・セグメントを準備することと、
    をさらに備える、請求項１０に記載の方法。
  19. 装置であって、
    ３Ｄビデオ・コンテンツのビデオデータ・セグメントとオーディオデータ・セグメントと深さデータ・セグメントとを生成するための手段と、
    トランスポート・プロトコルに従って前記ビデオデータ・セグメントと前記オーディオデータ・セグメントと前記深さデータ・セグメントとの各々を複数のパケットのうちの異なる１つの中にカプセル化し、前記３Ｄビデオ・コンテンツの再生を向上させるためのメタデータを前記複数のパケットのうちの少なくとも１つに追加するための手段と、
    前記パケットを前記装置の外部の３Ｄディスプレイ・デバイスに送信するための手段と、
    を備える装置。
  20. 前記複数のパケットのうちの前記少なくとも１つのヘッダ中の随意のデータフィールド内に前記メタデータを追加するための手段をさらに備える、請求項１９に記載の装置。
  21. 前記トランスポート・プロトコルがアプリケーション・レイヤトランスポート・プロトコルを備え、
    前記アプリケーション・レイヤトランスポート・プロトコルがリアルタイム・トランスポート・プロトコル（ＲＴＰ）を備える、請求項１９に記載の装置。
  22. 前記メタデータが、深さ範囲と、深さ解像度と、カメラ・モデル・パラメータと、最適閲覧パラメータと、圧縮タイプとのうちの１つまたは複数を定義する深さメタデータを備える、請求項１９に記載の装置。
  23. 前記メタデータが、オクルージョン解像度と圧縮タイプとのうちの１つまたは複数を定義するオクルージョンメタデータを備える、請求項１９に記載の装置。
  24. 前記メタデータが、複数のグローバル効果パラメータのうちの１つまたは複数を定義するグローバル効果メタデータを備え、グローバル効果パラメータが、密度、ロケーションおよび繰返しレートを含む、雨と、もやと、雪と、煙とのうちの１つまたは複数に関係するビデオ効果を記述する、請求項１９に記載の装置。
  25. 前記３Ｄディスプレイ・デバイスによってサポートされる能力を定義する１つまたは複数のパラメータを判断するための手段であって、前記１つまたは複数のパラメータが、前記３Ｄディスプレイ・デバイスによってサポートされる入力フォーマットを含み、前記判断された入力フォーマットに従って３Ｄビデオデータを生成するように２次元（２Ｄ）ビデオデータを前記３Ｄビデオデータに変換するように変換モジュールを構成する、判断するための手段と、
    ２Ｄビデオデータを受信するための手段と、
    前記３Ｄビデオデータが前記判断された入力フォーマットに準拠するように、前記２Ｄビデオデータを前記３Ｄビデオデータに変換するための手段と
    をさらに備える、請求項１９に記載の装置。
  26. 前記３次元（３Ｄ）ディスプレイ・デバイスによってサポートされる能力を定義するパラメータに従って３Ｄビデオデータを生成するように前記装置の変換モジュールを構成するための手段をさらに備え、
    前記構成された変換モジュールが、前記３Ｄビデオデータを生成するためにビデオデータを変換し、
    前記パケットを送信するための前記手段が、前記３Ｄビデオデータを前記３Ｄディスプレイ・デバイスに転送するための手段を備え、
    前記装置は、
    前記変換モジュールが前記ビデオデータを変換している間、人間視覚系に対する前記生成された３Ｄビデオデータの３Ｄ可視化の品質を反映する人間視覚系（ＨＶＳ）モデルを使用して１つまたは複数のメトリックを判断するための手段と、
    前記変換モジュールが前記ビデオデータを変換している間、前記３Ｄビデオデータの前記生成を改良するために前記判断された１つまたは複数のメトリックに基づいて前記変換モジュールを再構成するための手段と、
    をさらに備える、請求項１９に記載の装置。
  27. 前記ビデオデータ・セグメントを記憶するための手段と、
    前記装置の外部の前記ディスプレイ・デバイスの１つまたは複数のディスプレイ・パラメータを判断するための手段と、
    前記判断されたディスプレイ・パラメータに基づいて３Ｄビデオデータを生成するように前記ビデオデータ・セグメントを準備するための手段と、
    をさらに備える、請求項１９に記載の装置。
  28. ３Ｄビデオ・コンテンツのビデオデータ・セグメントとオーディオデータ・セグメントと深さデータ・セグメントとを生成することと、
    トランスポート・プロトコルに従って前記ビデオデータ・セグメントと前記オーディオデータ・セグメントと前記深さデータ・セグメントとの各々を複数のパケットのうちの異なる１つの中にカプセル化し、前記３Ｄビデオ・コンテンツの再生を向上させるためのメタデータを前記複数のパケットのうちの少なくとも１つに追加することと、
    前記パケットを前記装置の外部の３Ｄディスプレイ・デバイスに送信することと、
    をプロセッサに行わせる命令を備えるコンピュータ可読記憶媒体。
  29. 前記命令が、前記複数のパケットのうちの前記少なくとも１つのヘッダ中の随意のデータフィールド内に前記メタデータを追加することをプロセッサにさらに行わせる、請求項２８に記載のコンピュータ可読記憶媒体。
  30. 前記トランスポート・プロトコルがアプリケーション・レイヤトランスポート・プロトコルを備え、
    前記アプリケーション・レイヤトランスポート・プロトコルがリアルタイム・トランスポート・プロトコル（ＲＴＰ）を備える
    請求項２８に記載のコンピュータ可読記憶媒体。
  31. 前記メタデータが、深さ範囲と、深さ解像度と、カメラ・モデル・パラメータと、最適閲覧パラメータと、圧縮タイプとのうちの１つまたは複数を定義する深さメタデータを備える、請求項２８に記載のコンピュータ可読記憶媒体。
  32. 前記メタデータが、オクルージョン解像度と圧縮タイプとのうちの１つまたは複数を定義するオクルージョンメタデータを備える、請求項２８に記載のコンピュータ可読記憶媒体。
  33. 前記メタデータが、複数のグローバル効果パラメータのうちの１つまたは複数を定義するグローバル効果メタデータを備え、グローバル効果パラメータが、密度、ロケーションおよび繰返しレートを含む、雨と、もやと、雪と、煙とのうちの１つまたは複数に関係するビデオ効果を記述する、請求項２８に記載のコンピュータ可読記憶媒体。
  34. 前記命令は、
    前記３Ｄディスプレイ・デバイスによってサポートされる能力を定義する１つまたは複数のパラメータを判断することであって、前記１つまたは複数のパラメータが、前記３Ｄディスプレイ・デバイスによってサポートされる入力フォーマットを含み、前記判断された入力フォーマットに従って３Ｄビデオデータを生成するように２次元（２Ｄ）ビデオデータを前記３Ｄビデオデータに変換するように変換モジュールを構成する、判断することと、
    ２Ｄビデオデータを受信することと、
    前記３Ｄビデオデータが前記判断された入力フォーマットに準拠するように、前記２Ｄビデオデータを前記３Ｄビデオデータに変換することと、
    を前記プロセッサにさらに行わせる、請求項２８に記載のコンピュータ可読記憶媒体。
  35. 前記命令が、
    前記３次元（３Ｄ）ディスプレイ・デバイスによってサポートされる能力を定義するパラメータに従って３Ｄビデオデータを生成するように前記マルチメディア処理モジュールの変換モジュールを構成すること
    を前記プロセッサにさらに行わせ、
    前記構成された変換モジュールが、前記３Ｄビデオデータを生成するためにビデオデータを変換し、
    前記命令は、
    前記３Ｄビデオデータを前記３Ｄディスプレイ・デバイスに転送することと、
    前記変換モジュールが前記ビデオデータを変換している間、人間視覚系に対する前記生成された３Ｄビデオデータの３Ｄ可視化の品質を反映する人間視覚系（ＨＶＳ）モデルを使用して１つまたは複数のメトリックを判断することと、
    前記変換モジュールが前記ビデオデータを変換している間、前記３Ｄビデオデータの前記生成を改良するために前記判断された１つまたは複数のメトリックに基づいて前記変換モジュールを再構成することと、
    を前記プロセッサにさらに行わせる、請求項２８に記載のコンピュータ可読記憶媒体。
  36. 前記命令が、
    前記ビデオデータ・セグメントを記憶することと、
    ワイヤレス・ディスプレイホストによって、前記装置の外部の前記ディスプレイ・デバイスの１つまたは複数のディスプレイ・パラメータを判断することと、
    前記ワイヤレス・ディスプレイホストによって、前記判断されたディスプレイ・パラメータに基づいて３Ｄビデオデータを生成するように前記ビデオデータ・セグメントを準備することと、
    を前記プロセッサにさらに行わせる、請求項２８に記載のコンピュータ可読記憶媒体。
JP2012523742A 2009-08-06 2010-08-04 トランスポート・プロトコルに従って３次元ビデオデータをカプセル化すること Expired - Fee Related JP5596146B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US23192109P 2009-08-06 2009-08-06
US61/231,921 2009-08-06
US12/779,757 US8878912B2 (en) 2009-08-06 2010-05-13 Encapsulating three-dimensional video data in accordance with transport protocols
US12/779,757 2010-05-13
PCT/US2010/044471 WO2011017472A1 (en) 2009-08-06 2010-08-04 Encapsulating three-dimensional video data in accordance with transport protocols

Publications (2)

Publication Number Publication Date
JP2013501474A true JP2013501474A (ja) 2013-01-10
JP5596146B2 JP5596146B2 (ja) 2014-09-24

Family

ID=43534527

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2012523742A Expired - Fee Related JP5596146B2 (ja) 2009-08-06 2010-08-04 トランスポート・プロトコルに従って３次元ビデオデータをカプセル化すること
JP2012523741A Expired - Fee Related JP5571188B2 (ja) 2009-08-06 2010-08-04 ワイヤレス・ディスプレイ・プロトコルに従ってビデオデータを準備すること

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2012523741A Expired - Fee Related JP5571188B2 (ja) 2009-08-06 2010-08-04 ワイヤレス・ディスプレイ・プロトコルに従ってビデオデータを準備すること

Country Status (7)

Country Link
US (2) US8878912B2 (ja)
EP (2) EP2462741A1 (ja)
JP (2) JP5596146B2 (ja)
KR (2) KR101311622B1 (ja)
CN (2) CN102474661B (ja)
BR (2) BR112012002558A2 (ja)
WO (2) WO2011017470A1 (ja)

Families Citing this family (108)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10298834B2 (en) 2006-12-01 2019-05-21 Google Llc Video refocusing
KR101512988B1 (ko) * 2007-12-26 2015-04-17 코닌클리케 필립스 엔.브이. 그래픽 오브젝트를 중첩하기 위한 이미지 프로세서
US9986279B2 (en) 2008-11-26 2018-05-29 Free Stream Media Corp. Discovery, access control, and communication with networked services
US8180891B1 (en) 2008-11-26 2012-05-15 Free Stream Media Corp. Discovery, access control, and communication with networked services from within a security sandbox
US9026668B2 (en) 2012-05-26 2015-05-05 Free Stream Media Corp. Real-time and retargeted advertising on multiple screens of a user watching television
US10631068B2 (en) 2008-11-26 2020-04-21 Free Stream Media Corp. Content exposure attribution based on renderings of related content across multiple devices
US10880340B2 (en) 2008-11-26 2020-12-29 Free Stream Media Corp. Relevancy improvement through targeting of information based on data gathered from a networked device associated with a security sandbox of a client device
US9154942B2 (en) * 2008-11-26 2015-10-06 Free Stream Media Corp. Zero configuration communication between a browser and a networked media device
US10419541B2 (en) 2008-11-26 2019-09-17 Free Stream Media Corp. Remotely control devices over a network without authentication or registration
US9386356B2 (en) 2008-11-26 2016-07-05 Free Stream Media Corp. Targeting with television audience data across multiple screens
US10334324B2 (en) 2008-11-26 2019-06-25 Free Stream Media Corp. Relevant advertisement generation based on a user operating a client device communicatively coupled with a networked media device
US10977693B2 (en) 2008-11-26 2021-04-13 Free Stream Media Corp. Association of content identifier of audio-visual data with additional data through capture infrastructure
US10567823B2 (en) 2008-11-26 2020-02-18 Free Stream Media Corp. Relevant advertisement generation based on a user operating a client device communicatively coupled with a networked media device
US9519772B2 (en) 2008-11-26 2016-12-13 Free Stream Media Corp. Relevancy improvement through targeting of information based on data gathered from a networked device associated with a security sandbox of a client device
US9961388B2 (en) 2008-11-26 2018-05-01 David Harrison Exposure of public internet protocol addresses in an advertising exchange server to improve relevancy of advertisements
US8878912B2 (en) * 2009-08-06 2014-11-04 Qualcomm Incorporated Encapsulating three-dimensional video data in accordance with transport protocols
US20110085023A1 (en) * 2009-10-13 2011-04-14 Samir Hulyalkar Method And System For Communicating 3D Video Via A Wireless Communication Link
KR101234495B1 (ko) * 2009-10-19 2013-02-18 한국전자통신연구원 화상회의 시스템을 위한 단말, 중계 노드 및 스트림 처리 방법
US9445072B2 (en) 2009-11-11 2016-09-13 Disney Enterprises, Inc. Synthesizing views based on image domain warping
US8711204B2 (en) * 2009-11-11 2014-04-29 Disney Enterprises, Inc. Stereoscopic editing for video production, post-production and display adaptation
US10095953B2 (en) 2009-11-11 2018-10-09 Disney Enterprises, Inc. Depth modification for display applications
US8773430B2 (en) * 2009-12-09 2014-07-08 Thomson Licensing Method for distinguishing a 3D image from a 2D image and for identifying the presence of a 3D image format by feature correspondence determination
JP2011142585A (ja) * 2010-01-08 2011-07-21 Sony Corp 画像処理装置、情報記録媒体、および画像処理方法、並びにプログラム
US9398289B2 (en) * 2010-02-09 2016-07-19 Samsung Electronics Co., Ltd. Method and apparatus for converting an overlay area into a 3D image
CN102812420B (zh) * 2010-03-18 2016-01-20 富士胶片株式会社 立体显示装置和立体成像装置、用于上述装置的优势眼判定方法
CN102860019B (zh) * 2010-04-28 2015-07-29 富士胶片株式会社 立体图像再生装置及方法、立体摄像装置、立体显示器装置
US9686673B2 (en) * 2010-05-18 2017-06-20 Electric Mirror, Llc Apparatuses and methods for streaming audio and video
US10462651B1 (en) * 2010-05-18 2019-10-29 Electric Mirror, Llc Apparatuses and methods for streaming audio and video
KR20110139497A (ko) * 2010-06-23 2011-12-29 삼성전자주식회사 디스플레이 장치 및 그 디스플레이 방법
US20120005610A1 (en) * 2010-06-30 2012-01-05 Dirk Michael Schulze Methods, apparatus, systems and computer readable mediums for use in transfering information to and/or from user devices
KR101329506B1 (ko) * 2010-08-12 2013-11-13 엘지디스플레이 주식회사 영상표시장치
KR20120023431A (ko) * 2010-09-03 2012-03-13 삼성전자주식회사 깊이 조정이 가능한 2차원/3차원 영상 변환 방법 및 그 장치
US9035939B2 (en) * 2010-10-04 2015-05-19 Qualcomm Incorporated 3D video control system to adjust 3D video rendering based on user preferences
JP5306544B2 (ja) * 2010-11-05 2013-10-02 富士フイルム株式会社 画像処理装置、画像処理プログラム、画像処理方法、及び記憶媒体
US9224240B2 (en) * 2010-11-23 2015-12-29 Siemens Medical Solutions Usa, Inc. Depth-based information layering in medical diagnostic ultrasound
US9386294B2 (en) * 2011-01-05 2016-07-05 Google Technology Holdings LLC Method and apparatus for 3DTV image adjustment
KR101763944B1 (ko) * 2011-02-18 2017-08-01 엘지디스플레이 주식회사 영상표시장치
US20120212575A1 (en) * 2011-02-23 2012-08-23 Broadcom Corporation Gateway/stb interacting with cloud server that performs high end video processing
US8988512B2 (en) * 2011-04-14 2015-03-24 Mediatek Inc. Method for adjusting playback of multimedia content according to detection result of user status and related apparatus thereof
EP2709056B1 (en) 2011-05-11 2021-02-24 I-cubed Research Center Inc. Image processing device, image processing method, and recording medium that has recorded program
EP2525581A3 (en) * 2011-05-17 2013-10-23 Samsung Electronics Co., Ltd. Apparatus and Method for Converting 2D Content into 3D Content, and Computer-Readable Storage Medium Thereof
US9420259B2 (en) 2011-05-24 2016-08-16 Comcast Cable Communications, Llc Dynamic distribution of three-dimensional content
US10007330B2 (en) 2011-06-21 2018-06-26 Microsoft Technology Licensing, Llc Region of interest segmentation
KR20130005153A (ko) * 2011-07-05 2013-01-15 삼성전자주식회사 3ｄ 영상변환장치, 그 구현방법 및 그 저장매체
JP5328852B2 (ja) * 2011-07-25 2013-10-30 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、プログラム及び情報記憶媒体
US20130031589A1 (en) * 2011-07-27 2013-01-31 Xavier Casanova Multiple resolution scannable video
JP6101267B2 (ja) 2011-08-18 2017-03-22 アザーヴァース デジタル インコーポレーテッドＵｔｈｅｒｖｅｒｓｅ Ｄｉｇｉｔａｌ， Ｉｎｃ． 仮想世界の相互作用のシステムおよび方法
KR101680186B1 (ko) * 2011-08-30 2016-11-28 삼성전자주식회사 영상 촬영 장치 및 그 제어 방법
CN102325259A (zh) * 2011-09-09 2012-01-18 青岛海信数字多媒体技术国家重点实验室有限公司 多视点视频中虚拟视点合成方法及装置
US20130201305A1 (en) * 2012-02-06 2013-08-08 Research In Motion Corporation Division of a graphical display into regions
KR101918040B1 (ko) * 2012-02-20 2019-01-29 삼성전자주식회사 스크린 미러링 방법 및 그 장치
CN102629188A (zh) * 2012-03-19 2012-08-08 绍兴县鉴湖中学 一种无线hdmi显示器
US9571864B2 (en) * 2012-03-30 2017-02-14 Intel Corporation Techniques for media quality control
EP2846631A4 (en) 2012-05-10 2017-02-15 President and Fellows of Harvard College A system and method for automatically discovering, characterizing, classifying and semi-automatically labeling animal behavior and quantitative phenotyping of behaviors in animals
US8738826B2 (en) * 2012-06-08 2014-05-27 Apple Inc. System and method for display mirroring
US9723287B2 (en) * 2012-07-09 2017-08-01 Lg Electronics Inc. Enhanced 3D audio/video processing apparatus and method
US20140115484A1 (en) * 2012-10-19 2014-04-24 Electronics And Telecommunications Research Institute Apparatus and method for providing n-screen service using depth-based visual object groupings
CN102970556B (zh) * 2012-12-03 2014-12-03 深圳市维尚视界立体显示技术有限公司 3dv 视频封装、播放方法及其系统
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
US9071866B2 (en) * 2012-12-04 2015-06-30 Untethered, Llc Wireless video/audio signal transmitter/receiver
CN102984483B (zh) * 2012-12-18 2016-08-03 上海晨思电子科技有限公司 一种三维用户界面显示系统及方法
US9652192B2 (en) * 2013-01-25 2017-05-16 Qualcomm Incorporated Connectionless transport for user input control for wireless display devices
KR102029055B1 (ko) * 2013-02-08 2019-10-07 삼성전자주식회사 고차원 데이터의 시각화 방법 및 장치
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
US9483111B2 (en) 2013-03-14 2016-11-01 Intel Corporation Techniques to improve viewing comfort for three-dimensional content
US9571812B2 (en) 2013-04-12 2017-02-14 Disney Enterprises, Inc. Signaling warp maps using a high efficiency video coding (HEVC) extension for 3D video coding
WO2014175919A1 (en) 2013-04-26 2014-10-30 Intel IP Corporation Shared spectrum reassignment in a spectrum sharing context
US20140355683A1 (en) * 2013-05-31 2014-12-04 Altera Corporation Data Encoding for Attenuating Image Encoders
US9264661B2 (en) 2013-06-07 2016-02-16 Apple Inc. Adaptive post-processing for mobile video calling system
EP2816761A1 (en) * 2013-06-17 2014-12-24 Thomson Licensing Wifi display compatible network gateway
TW201503668A (zh) * 2013-07-04 2015-01-16 Novatek Microelectronics Corp 影像顯示系統與其方法
CN104281425A (zh) * 2013-07-08 2015-01-14 联咏科技股份有限公司 图像显示系统与其方法
WO2015019656A1 (ja) * 2013-08-06 2015-02-12 株式会社ソニー・コンピュータエンタテインメント ３次元画像生成装置、３次元画像生成方法、プログラム及び情報記憶媒体
CN104427323B (zh) 2013-08-23 2016-08-10 鸿富锦精密工业（深圳）有限公司 基于深度的三维图像处理方法
US10212022B2 (en) * 2013-09-13 2019-02-19 Microsoft Technology Licensing, Llc Enhanced network virtualization using metadata in encapsulation header
US10373282B2 (en) 2013-11-18 2019-08-06 Samsung Electronics Co., Ltd. Method and system for controlling display parameters through multiple pipelines
US9423853B2 (en) * 2013-12-10 2016-08-23 Qualcomm Incorporated System and method for balanced user experience in a multimedia conferencing community
US9818174B2 (en) * 2014-09-24 2017-11-14 Microsoft Technology Licensing, Llc Streamlined handling of monitor topology changes
US10334223B2 (en) 2015-01-30 2019-06-25 Qualcomm Incorporated System and method for multi-view video in wireless devices
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US10341632B2 (en) * 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US10275898B1 (en) 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
CN105304067B (zh) * 2015-09-24 2017-11-28 武汉精测电子技术股份有限公司 一种发送mipi模组单幅画面控制代码的方法
WO2017066209A1 (en) 2015-10-14 2017-04-20 President And Fellows Of Harvard College Automatically classifying animal behavior
WO2017161167A1 (en) * 2016-03-18 2017-09-21 President And Fellows Of Harvard College Automatically classifying animal behavior
US10475186B2 (en) * 2016-06-23 2019-11-12 Intel Corportation Segmentation of objects in videos using color and depth information
US10503901B2 (en) 2016-09-01 2019-12-10 Cylance Inc. Training a machine learning model for container file analysis
US10637874B2 (en) 2016-09-01 2020-04-28 Cylance Inc. Container file analysis using machine learning model
US10489589B2 (en) * 2016-11-21 2019-11-26 Cylance Inc. Anomaly based malware detection
US10440086B2 (en) * 2016-11-28 2019-10-08 Microsoft Technology Licensing, Llc Reading multiplexed device streams
US10679361B2 (en) 2016-12-05 2020-06-09 Google Llc Multi-view rotoscope contour propagation
US10594945B2 (en) 2017-04-03 2020-03-17 Google Llc Generating dolly zoom effect using light field image data
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
US10354399B2 (en) 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field
WO2018225449A1 (ja) * 2017-06-09 2018-12-13 ソニーセミコンダクタソリューションズ株式会社 映像送信装置および映像受信装置
US10432944B2 (en) 2017-08-23 2019-10-01 Avalon Holographics Inc. Layered scene decomposition CODEC system and methods
US10965862B2 (en) 2018-01-18 2021-03-30 Google Llc Multi-camera navigation interface
CN109640069A (zh) * 2018-12-29 2019-04-16 未来科技（襄阳）有限公司 裸眼3d图像的显示方法及系统
US11736748B2 (en) * 2020-12-16 2023-08-22 Tencent America LLC Reference of neural network model for adaptation of 2D video for streaming to heterogeneous client end-points
US11985381B2 (en) 2022-01-10 2024-05-14 Tencent America LLC Mapping architecture of immersive technologies media format (ITMF) specification with rendering engines
US11917269B2 (en) * 2022-01-11 2024-02-27 Tencent America LLC Multidimensional metadata for parallel processing of segmented media data

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004084560A1 (ja) * 2003-03-20 2004-09-30 Seijiro Tomita 立体映像撮影表示システム
JP2005073049A (ja) * 2003-08-26 2005-03-17 Sharp Corp 立体映像再生装置および立体映像再生方法
JP2005533433A (ja) * 2002-07-16 2005-11-04 韓國電子通信研究院 ２次元および３次元立体ビデオ信号の適応変換装置およびその方法
JP2006191357A (ja) * 2005-01-06 2006-07-20 Victor Co Of Japan Ltd 再生装置および再生プログラム
JP2006238121A (ja) * 2005-02-25 2006-09-07 Canon Inc 情報処理装置
JP2007529960A (ja) * 2004-03-18 2007-10-25 ソニー エレクトロニクス インク 個人用電子機器の３次元情報取得及び表示システム
JP2009100071A (ja) * 2007-10-15 2009-05-07 Victor Co Of Japan Ltd 多視点画像復号方法、多視点画像復号装置及び多視点画像復号プログラム

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998029860A1 (en) 1996-12-27 1998-07-09 Chequemate International Inc. System and method for synthesizing three-dimensional video from a two-dimensional video source
JP4056154B2 (ja) * 1997-12-30 2008-03-05 三星電子株式会社 ２次元連続映像の３次元映像変換装置及び方法並びに３次元映像の後処理方法
US6600788B1 (en) * 1999-09-10 2003-07-29 Xilinx, Inc. Narrow-band filter including sigma-delta modulator implemented in a programmable logic device
JP2001211465A (ja) 1999-11-15 2001-08-03 Hit Design:Kk ３次元画像表示方法およびそれを用いた３次元画像表示装置
JP2001236525A (ja) * 2000-02-23 2001-08-31 Sony Corp 情報処理装置および方法、情報処理システム、並びに記録媒体
US6590513B2 (en) * 2001-06-29 2003-07-08 Texas Instruments Incorporated Data acquisition system using predictive conversion
JP2003101690A (ja) 2001-09-21 2003-04-04 Yamaguchi Technology Licensing Organization Ltd 画像処理方法及びデジタルカメラ並びに記録媒体
JP4093833B2 (ja) * 2002-09-25 2008-06-04 シャープ株式会社 電子機器
EP1567989A4 (en) * 2002-12-03 2010-01-20 Korea Electronics Telecomm DEVICE AND METHOD FOR ADAPTING GRAPHIC CONTENT AND SYSTEM DAF R
JP2004236264A (ja) 2003-02-03 2004-08-19 Tatsuo Shima 画像情報提供装置
GB2402006B (en) * 2003-05-23 2005-08-10 Motorola Inc Analog to digital converter
KR20060041267A (ko) * 2003-07-24 2006-05-11 코닌클리케 필립스 일렉트로닉스 엔.브이. 하이파이 오디오를 위한 개선된 무손실 압축 및 양호한오디오 품질을 가진 노이즈-정형 장치 및 방법
KR100580632B1 (ko) * 2003-12-05 2006-05-16 삼성전자주식회사 2차원과 3차원 영상을 선택적으로 표시할 수 있는디스플레이
US8161388B2 (en) * 2004-01-21 2012-04-17 Rodriguez Arturo A Interactive discovery of display device characteristics
US20050212984A1 (en) * 2004-03-26 2005-09-29 Yi-Chun Wu Dual-mode display system for 2D and 3D viewing
DE102005041249A1 (de) 2005-08-29 2007-03-01 X3D Technologies Gmbh Verfahren zur Erzeugung räumlich darstellbarer Bilder
WO2006042706A1 (de) * 2004-10-15 2006-04-27 X3D Technologies Gmbh Verfahren zur erzeugung räumlich darstellbarer bilder und anordnung zur räumlich wahrnehmbaren darstellung solcher bilder
JP2006135747A (ja) 2004-11-08 2006-05-25 Canon Inc 三次元画像変換装置ならびに制御方法
JP2006140553A (ja) 2004-11-10 2006-06-01 Canon Inc 立体画像生成プログラム、立体画像生成装置および立体画像生成方法
US7756866B2 (en) * 2005-08-17 2010-07-13 Oracle International Corporation Method and apparatus for organizing digital images with embedded metadata
KR101468746B1 (ko) 2005-09-16 2014-12-04 스테레오그래픽스 코포레이션 스테레오스코픽 포맷 변환기
ATE542194T1 (de) * 2005-12-02 2012-02-15 Koninkl Philips Electronics Nv Verfahren und vorrichtung zur stereobildanzeige, verfahren zum erzeugen von 3d-bilddaten aus einer 2d-bilddateneingabe und vorrichtung zum erzeugen von 3d-bilddaten aus einer 2d-bilddateneingabe
US7518503B2 (en) * 2005-12-14 2009-04-14 Sony Ericsson Mobile Communications Ab Portable A/V relay device
EP1826981B1 (en) 2006-02-22 2016-07-06 Alcatel Lucent Interactive multimedia broadcasting system with dedicated advertisement channel
KR101137347B1 (ko) * 2006-05-11 2012-04-19 엘지전자 주식회사 이동통신 단말기 및 그 단말기를 이용한 이미지 표출 방법
CN100558167C (zh) 2006-10-16 2009-11-04 华为技术有限公司 多媒体视频通信方法及系统
JP2008278032A (ja) 2007-04-26 2008-11-13 New Japan Radio Co Ltd アナログ・ディジタル変換回路及びディジタル・アナログ変換回路
US20090006471A1 (en) * 2007-06-29 2009-01-01 Microsoft Corporation Exposing Specific Metadata in Digital Images
KR101167246B1 (ko) * 2007-07-23 2012-07-23 삼성전자주식회사 ３차원 콘텐츠 재생 장치 및 그 제어 방법
US8667144B2 (en) * 2007-07-25 2014-03-04 Qualcomm Incorporated Wireless architecture for traditional wire based protocol
CN101197770A (zh) 2007-10-09 2008-06-11 深圳市丕微科技企业有限公司 一种借助于网络实现多媒体数据传输的方法
EP2063648A1 (en) * 2007-11-24 2009-05-27 Barco NV Sensory unit for a 3-dimensional display
EP2063647A1 (en) * 2007-11-24 2009-05-27 Barco NV Calibration of a 3-dimensional display
JP4991515B2 (ja) 2007-12-25 2012-08-01 キヤノン株式会社 画像処理システム、画像処理システムの制御方法及びコンピュータプログラム
CN101911700A (zh) 2008-01-11 2010-12-08 汤姆逊许可证公司 视频和深度编码
US20090290645A1 (en) * 2008-05-21 2009-11-26 Broadcast International, Inc. System and Method for Using Coded Data From a Video Source to Compress a Media Signal
US20110293240A1 (en) 2009-01-20 2011-12-01 Koninklijke Philips Electronics N.V. Method and system for transmitting over a video interface and for compositing 3d video and 3d overlays
US8878912B2 (en) * 2009-08-06 2014-11-04 Qualcomm Incorporated Encapsulating three-dimensional video data in accordance with transport protocols

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005533433A (ja) * 2002-07-16 2005-11-04 韓國電子通信研究院 ２次元および３次元立体ビデオ信号の適応変換装置およびその方法
WO2004084560A1 (ja) * 2003-03-20 2004-09-30 Seijiro Tomita 立体映像撮影表示システム
JP2005073049A (ja) * 2003-08-26 2005-03-17 Sharp Corp 立体映像再生装置および立体映像再生方法
JP2007529960A (ja) * 2004-03-18 2007-10-25 ソニー エレクトロニクス インク 個人用電子機器の３次元情報取得及び表示システム
JP2006191357A (ja) * 2005-01-06 2006-07-20 Victor Co Of Japan Ltd 再生装置および再生プログラム
JP2006238121A (ja) * 2005-02-25 2006-09-07 Canon Inc 情報処理装置
JP2009100071A (ja) * 2007-10-15 2009-05-07 Victor Co Of Japan Ltd 多視点画像復号方法、多視点画像復号装置及び多視点画像復号プログラム

Also Published As

Publication number Publication date
KR101311622B1 (ko) 2013-09-26
KR20120054617A (ko) 2012-05-30
KR20120054045A (ko) 2012-05-29
BR112012002261A2 (pt) 2016-06-14
WO2011017470A1 (en) 2011-02-10
US8878912B2 (en) 2014-11-04
BR112012002558A2 (pt) 2016-05-24
JP2013501473A (ja) 2013-01-10
KR101331334B1 (ko) 2013-11-20
JP5571188B2 (ja) 2014-08-13
EP2462741A1 (en) 2012-06-13
WO2011017472A1 (en) 2011-02-10
CN102474661A (zh) 2012-05-23
CN102474662A (zh) 2012-05-23
CN102474661B (zh) 2015-11-25
US20110032334A1 (en) 2011-02-10
EP2462739B1 (en) 2015-09-23
CN102474662B (zh) 2015-07-08
JP5596146B2 (ja) 2014-09-24
EP2462739A1 (en) 2012-06-13
US9131279B2 (en) 2015-09-08
US20110032338A1 (en) 2011-02-10

Similar Documents

Publication Publication Date Title
JP5596146B2 (ja) トランスポート・プロトコルに従って３次元ビデオデータをカプセル化すること
JP5475132B2 (ja) ３次元入力フォーマットに従ってビデオデータを変換すること
JP5567132B2 (ja) 人間視覚系フィードバックメトリックに従ってビデオデータを変換すること
US10389994B2 (en) Decoder-centric UV codec for free-viewpoint video streaming
KR101863767B1 (ko) 의사-3d 인위적 원근법 및 장치
TWI526044B (zh) 處理信號之方法及其系統
TWI817273B (zh) 即時多視像視訊轉換方法和系統
US20230379554A1 (en) Multi-view video streaming

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130830

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130903

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20131127

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20131204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140708

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140806

R150 Certificate of patent or registration of utility model

Ref document number: 5596146

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees