JP2013538474A - ３次元画像に対する視差の算出 - Google Patents

Abstract

【解決手段】 装置は、画素についての奥行情報に基づいて２次元画像の画素に対する視差値を算出し、この視差値を用いて第２の画像を生成しうる。画素に対する視差値の算出は、画素の奥行と対応視差範囲との間の直線関係に対応しうる。１つの例において、３次元画像データをレンダリングするための装置は、複数の画素に関連付けられた奥行情報、および、奥行情報がマッピングされる視差範囲に基づいて第１の画像の複数の画素に対する視差値を算出すように構成された視点合成ユニットを含み、視差値は、第２の画像の複数の画素のうちの対応する１つの水平オフセットを記述する。装置は、第１の画像および奥行情報をソースデバイスから受信しうる。装置は、第１の画像および視差値を用いて第２の画像を生成しうる。
【選択図】図２

Description

本開示は、マルチメディアデータのレンダリングに関し、特に、３次元ピクチャおよびビデオデータのレンダリングに関する。

デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、無線ブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、セルラまたは衛星ラジオ電話、ビデオ遠隔会議デバイスなどを含む広範囲のデバイスに組み込まれることが可能である。デジタルビデオデバイスは、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ Ｈ.２６３、または、ＩＴＵ−Ｔ Ｈ.２６４／ＭＥＰＧ−４ パート１０、ＡＶＣ（Advanced Video Coding）によって定義された標準、あるいは、そのような標準の拡張に記述されている技術のようなビデオ圧縮技術を実施し、デジタルビデオ情報をより効率的に送信および受信する。

ビデオ圧縮技術は、空間予測および／または時間予測を実行して、ビデオシーケンス固有の冗長を減らすか、あるいは、除去する。ブロックベースのビデオ符号化について、ビデオフレームまたはスライスは、マクロブロックに分割されうる。各マクロブロックは、さらに分割されることができる。イントラ符号化（Ｉ）フレームまたはスライス内のマクロブロックは、隣接マクロブロックに対して空間予測を用いて符号化される。インター符号化（ＰまたはＢ）フレームまたはスライス内のマクロブロックは、同じフレームまたはスライス内の隣接マクロブロックに対して空間予測を使用するか、１つ以上の他のフレームまたはスライスに対して時間予測を使用しうる。

一般的に、本開示は、３次元ビデオレンダリングをサポートする技術を記述する。より詳細には、本技術は、第１の２次元画像および奥行情報を受信することと、３次元ビデオデータを示すために使用可能な第１の２次元画像および奥行画像を用いて、第２の２次元画像を生成することとを含む。すなわち、これらの技術は、推定されたデプスマップ（depth map）画像に基づく、平面視の（monoscopic）２次元画像から３次元画像へのリアルタイム変換に関する。被写体は、一般的に、スクリーンの手前、スクリーン上、またはスクリーンの後方に現れる。この効果を作り出すために、被写体を表す画素に視差値が割り当てられうる。本開示の技術は、比較的簡単な計算を用いて奥行値を視差値にマッピングすることを含む。

１つの例において、３次元画像データを生成するための方法は、３次元（３Ｄ）レンダリングデバイスを用いて、第１の画像の複数の画素に対する視差値を、複数の画素に関連付けられた奥行情報と、奥行情報がマッピングされる視差範囲とに基づいて算出することと、３Ｄレンダリングデバイスを用いて、第２の画像を第１の画像と視差値とに基づいて生成することとを含み、視差値は、第２の画像の対応する画素についての水平オフセットを記述する。

別の例において、３次元画像データを生成するための装置は、第１の画像の複数の画素に対する視差値を、複数の画素に関連付けられた奥行情報と、奥行情報がマッピングされる視差範囲とに基づいて算出し、第１の画像と視差値とに基づいて第２の画像を生成するように構成された視点合成ユニットを含み、視差値は、第２の画像の対応する画素についての水平オフセットを記述する。

別の例において、３次元画像データを生成するための装置は、第１の画像の複数の画素に対する視差値を、複数の画素に関連付けられた奥行情報と、奥行情報がマッピングされる視差範囲とに基づいて算出するための手段と、第１の画像と視差値とに基づいて第２の画像を生成するための手段とを含み、視差値は、第２の画像の対応する画素についての水平オフセットを記述する。

本開示に記述される技術は、少なくとも部分的にハードウェアで、恐らくはハードウェアと共にソフトウェアまたはファームウェアの態様を用いて実施されうる。ソフトウェアまたはファームウェアで実施された場合、このソフトウェアまたはファームウェアは、マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または、デジタル信号プロセッサ（ＤＳＰ）のような１つ以上のハードウェアプロセッサで実行されうる。本技術を実行するソフトウェアは、最初に、コンピュータ読取可能な媒体に記憶され、プロセッサにおいてロードおよび実行されうる。

それに応じて、別の例では、コンピュータ読取可能な記憶媒体は、実行されると、第１の画像の複数の画素に対する視差値を、複数の画素に関連付けられた奥行情報と、奥行情報がマッピングされる視差範囲とに基づいて算出することと、第１の画像と視差値とに基づいて第２の画像を生成することとを、３次元画像データを生成するためのデバイスのプロセッサに対して行わせる命令を備え、視差値は、第２の画像の対応する画素についての水平オフセットを記述する。

１つ以上の実施例の詳細は、添付の図および以下の記述に示される。他の特徴、目的、および利点は、記述および図から、並びに、請求項から明らかになるであろう。

図１は、ソースデバイスが、３次元画像データを宛先デバイスに送る例示的なシステムを示すブロック図である。 図２は、視点合成ユニットのコンポーネントの例示的な配置を示すブロック図である。 図３Ａは、画素の奥行に基づいて、正の視差値の例を示す概念図である。 図３Ｂは、画素の奥行に基づいて、ゼロの視差値の例を示す概念図である。 図３Ｃは、画素の奥行に基づいて、負の視差値の例を示す概念図である。 図４は、ソースデバイスから受信された奥行情報を使用して、視差値を算出し、シーンの第１の視点および視差値に基づいて、画像のシーンの第２の視点を生成するための例示的な方法を示すフローチャートである。 図５は、画素についての奥行情報に基づいて、画素に対する視差値を算出するための例示的な方法を示すフローチャートである。

本開示の技術は、一般的に、例えば、ピクチャおよびビデオなどの３次元画像の符号化およびレンダリングのサポートに向けられている。より詳細には、本技術は、第１の２次元画像および奥行情報を受信することと、３次元ビデオデータを示すために使用可能な第１の２次元画像および奥行画像を用いて第２の２次元画像を生成することとを含む。本開示の技術は、比較的簡単な計算を用いて、被写体が表示されるべきスクリーンに対する被写体の奥行に基づいて視差値を算出することを含む。計算は、３次元の視聴環境（viewing environment）、ユーザ選好、および／または、コンテンツ自体に基づきうる。本技術は、例として、２次元画像がキャプチャまたは生成された際のカメラパラメータを知る必要がなく、単に、必ずしも極めて正確である必要がない視差範囲およびデプスマップ画像に基づく視点合成アルゴリズムを提供する。本開示において、「符号化（coding）」という用語は、符号化および／または復号のうちの一方または両方を指しうる。

視差（disparity）という用語は、一般的に、３次元効果を生成するための、他の画像の対応画素に対する１つの画像内の画素のオフセットを記述する。すなわち、カメラの焦点に比較的近い被写体を表す画素（スクリーンの奥行で表示されるべき）は、一般的に、例えば、スクリーンの手前またはスクリーンの後方に表示されるべき、カメラの焦点から比較的離れた被写体を表す画素よりも低い視差を有する。より詳細には、スクリーン自体の奥行で表示されるべき被写体がゼロ視差を有し、スクリーンの手前または後方のいずれかで表示されるべき被写体が、被写体を表示するためのスクリーンからの距離に基づいて可変視差値を有しうるように、画像を表示するために使用されるスクリーンは、収束点であるとみなされうる。一般性を損失することなく、スクリーンの手前の被写体は、負の視差を有するとみなれ、スクリーンの後方の被写体は、正の視差を有するとみなされる。

一般的に、本開示の技術は、各画素を、スクリーンに対して３つの領域のうちの１つに属しているとみなす：スクリーンの外側（すなわち、手前）、スクリーン上、あるいは、スクリーンの内側（すなわち、後方）。このように、本開示の技術にしたがって、３次元（３Ｄ）画像表示デバイス（３Ｄレンダリングデバイスとも呼ばれる）は、例えば、奥行と視差との直線数学的関係を用いて、これら３つの領域のうちの１つに基づき、奥行値を各画素に対する視差値にマッピングしうる。次に、画素がマッピングされた領域に基づいて、３Ｄレンダリング装置は、領域（スクリーンの外側、スクリーンの内側、またはスクリーン上である）に関連付けられた視差関数を実行し、この画素に対する視差を算出しうる。それに応じて、画素の奥行値は、最小視差（負でありうる）から正の最大視差値までの可能な視差値の範囲内の視差値にマッピングされうる。あるいは同等に、画素の奥行値は、それがスクリーンの内側にある場合に、ゼロから正の最大視差までの範囲内の視差値に、あるいは、それがスクリーンの外側にある場合に、（負の）最小視差からゼロまでの範囲内の視差値にマッピングされうる。最小視差（負でありうる）から最大視差（正でありうる）までの可能な視差値の範囲が視差範囲と呼ばれうる。

シーンの既存の視点に基づくシーンの仮想視点の生成は、従来、仮想視点を合成する前に被写体の奥行値を推定することによって達成される。奥行推定は、立体写真（stereo pair）または平面視のコンテンツから、被写体とカメラ平面との間の絶対距離または相対距離を推定するプロセスである。通常、中間調の画像で表される推定奥行情報は、ＤＩＢＲ（depth image based rendering）技術に基づいて、仮想視点の任意の角度を生成するために使用されることが可能である。多視点シーケンスが効率的な視点間圧縮（inter-view compression）という課題に直面する典型的な３次元テレビジョン（３ＤＴＶ）システムと比較すると、デプスマップベースのシステムは、効率的に符号化されうる１つだけまたは少数の視点をデプスマップと共に送信することによって帯域幅の使用を減らしうる。デプスマップベースの変換の別の利点は、デプスマップが視点合成に使用される前に、エンドユーザによって容易に制御可能なことである（例えば、スケーリングを通して）。それは、認識された異なる量の奥行を有するカスタマイズ済みの仮想視点を生成することができる。このように、奥行推定および仮想視点合成に基づくビデオ変換は、３Ｄビデオのような３Ｄ画像のアプリケーションに使用されるべき有望なフレームワークとみなされる。１つの視点の２Ｄコンテンツだけが利用可能な、より平面視のビデオに対しても奥行推定が実行されうることに注意されたい。

図１は、宛先デバイス４０が、３次元バージョンの画像を表示する目的で第２の視点５６を構築するために、画像の第１の視点５０について、ソースデバイス２０から奥行情報５２を符号化画像データ５４と共に受信する例示的なシステム１０を示すブロック図である。図１の例において、ソースデバイス２０は、画像センサ２２、奥行処理ユニット２４、符号器２６、送信機２８を含み、宛先デバイス４０は、画像ディスプレイ４２、視点合成ユニット４４、復号器４６、受信機４８を含む。ソースデバイス２０および／または宛先デバイス４０は、無線ハンドセットのような無線通信デバイス、いわゆるセルラまたは衛星ラジオ電話、あるいは、通信チャネルを通してピクチャおよび／またはビデオ情報を通信することができる任意の無線デバイスを備え、このケースにおいて、通信チャネルは、無線通信チャネルを備えうる。宛先デバイス４０が視点合成ユニット４４および画像ディスプレイ４２を含むため、宛先デバイス４０は、３次元ディスプレイデバイスまたは３次元レンダリングデバイスと呼ばれうる。

奥行情報からの視差値の算出に関する本開示の技術は、必ずしも無線アプリケーションまたはセッティングに限定されるべきではない。例えば、これらの技術は、無線経由テレビジョンブロードキャスト、ケーブルテレビジョン送信、衛星テレビジョン送信、インターネットビデオ送信、記憶媒体へと符号化される符号化デジタルビデオ、または他のシナリオに適用されうる。それに応じて、通信チャネルは、符号化ビデオおよび／またはピクチャデータの送信に適した無線媒体または有線媒体のあらゆる組み合わせを備えうる。

画像ソース２２は、例えば、デジタルスチールカメラまたはデジタルビデオカメラなどの画像センサアレイ、１つ以上の記憶画像を備えるコンピュータ読取可能記憶媒体、外部ソースからデジタル画像を受信するためのインターフェース、ビデオゲームまたは他の対話式マルチメディアソースの実行などによってデジタル画像を生成する処理ユニット、あるいは、画像データの他のソースを備えうる。画像ソース２２は、一般的に、キャプチャ画像、事前キャプチャ画像、および／またはコンピュータ生成画像のうちの任意の１つまたは複数のソースに対応しうる。いくつかの例において、画像ソース２２は、セルラ電話のカメラに対応しうる。一般的に、本開示における画像への参照は、スチールピクチャとビデオデータのフレームとの両方を含む。かくして、本開示の技術は、スチールデジタルピクチャおよびデジタルビデオデータのフレームの両方に適用されうる。

画像ソース２２は、画像内の被写体に対する奥行画像を算出するために、第１の視点５０を奥行処理ユニット２４に提供する。奥行処理ユニット２４は、画像内の被写体の奥行値を自動的に算出するように構成されうる。例えば、奥行処理ユニット２４は、輝度情報に基づいて被写体の奥行値を算出しうる。いくつかの例において、奥行処理ユニット２４は、ユーザから奥行情報を受信するように構成されうる。いくつかの例において、画像ソース２２は、異なる観点からシーンの２つの視点をキャプチャし、次に、２つの視点内の被写体間の視差に基づいて、このシーンの被写体についての奥行情報を算出しうる。様々な例において、画像ソース２２は、標準的な２次元カメラ、シーンの立体視の（stereoscopic）視点を提供する２つのカメラシステム、シーンの複数の視点を撮影するカメラアレイ、または、１つの視点と奥行情報とを撮影するカメラを備えうる。

画像ソース２２は、複数の視点を提供しうるが、奥行処理ユニット２４は、複数の視点に基づいて奥行情報を算出し、ソースデバイス２０は、１つだけの視点と、シーンの視点の各ペアについての奥行情報とを送信しうる。例えば、画像ソース２２は、異なる角度から見られるように、シーンの視点の４つのペアを生成することを目的とした８つのカメラアレイを備えうる。ソースデバイス２０は、各ペアについての奥行情報を算出し、各ペアの１つだけの画像と、そのペアについての奥行情報とを宛先デバイス４０に送信しうる。かくして、この例において、ソースデバイス２０は、８つの視点を送信するというよりはむしろ、ビットストリーム５４の形で、４つの視点と、この４つの視点の各々についての奥行情報とを送信しうる。いくつかの例において、奥行処理ユニット２４は、画像についての奥行情報をユーザから受信しうる。

奥行処理ユニット２４は、第１の視点５０および奥行情報５２を符号器２６に渡す。奥行情報５２は、第１の視点５０のデプスマップ画像を備えうる。デプスマップは、表示されるべきエリア（例えば、ブロック、スライス、または、フレーム）に関連付けられた各画素ロケーションの奥行値のマップを備えうる。第１の視点５０がデジタルスチールピクチャである場合、符号器２６は、第１の視点５０を、例えば、ＪＰＥＧ（Joint Photographic Experts Group）画像として符号化するように構成されうる。第１の視点５０がビデオデータのフレームである場合、符号器２６は、例えば、ＭＰＥＧ（Motion Picture Experts Group）、ＭＰＥＧ−２、国際電気通信連合（ＩＴＵ）Ｈ.２６３、ＩＴＵ−Ｔ Ｈ.２６４／ＭＥＰＧ−４、Ｈ.２６４ ＡＶＣ（Advanced Video Coding）、ＩＴＵ−Ｔ Ｈ.２６５などのビデオ符号化標準、あるいは、他のビデオ符号化標準にしたがって第１の視点５０を符号化するように構成されうる。符号器２６は、奥行情報と共に符号化画像データを含むビットストリーム５４を形成するために符号化画像と共に奥行情報５２を含みうる。符号器２６は、ビットストリーム５４を送信機２８に渡す。

いくつかの例において、デプスマップが推定される。１よりも多くの視点が存在し、１よりも多くの視点が利用可能な場合、ステレオマッチングが使用され、デプスマップを推定しうる。しかしながら、２Ｄから３Ｄへの変換において、奥行を推定することは、より難しい可能性がある。それにもかかわらず、様々な方法によって推定されたデプスマップが、ＤＩＢＲに基づいて３Ｄレンダリングに使用されうる。

ＩＴＵ−Ｔ Ｈ.２６４／ＭＰＥＧ−４（ＡＶＣ）標準は、例えば、ＪＶＴ（Joint Video Team）として知られている共同パートナーシップの製品として、ＩＳＯ／ＩＥＣ ＭＰＥＧ（Moving Picture Experts Group）と共にＩＴＵ−Ｔ ＶＣＥＧ（Video Coding Experts Group）によって公式化された。いくつかの態様において、本開示に記述される技術は、一般的に、Ｈ.２６４標準と一致するデバイスに適用されうる。Ｈ.２６４標準は、本明細書において、Ｈ.２６４標準またはＨ.２６４仕様、あるいはＨ.２６４／ＡＶＣ標準または仕様と呼ばれうる、２００５年３月付けの、ＩＴＵ−Ｔ研究グループによる、ＩＴＵ−Ｔ推奨Ｈ.２６４の一般的な視聴覚サービスのための改良型ビデオ符号化（Advanced Video Coding for generic audiovisual services）に記述されている。ＪＶＴは、Ｈ.２６４／ＭＰＥＧ−４ ＡＶＣへの拡張に取り組み続けいている。

奥行処理ユニット２４は、デプスマップの形式で奥行情報５２を生成しうる。符号器２６は、ビットストリーム５４として送信された３Ｄコンテンツの一部としてデプスマップを符号化するように構成されうる。このプロセスは、１つの撮影された視点に対する１つのデプスマップ、あるいは、いくつかの送信された視点に対するデプスマップを生成することができる。符号器２６は、１つ以上の視点を受信し、デプスマップは、複数の視点をまとめて符号化するＨ.２６４／ＡＶＣ、ＭＶＣ、あるいは、奥行およびテキスチャをまとめて符号化することができるスケーラブルビデオ符号化（ＳＶＣ）のようなビデオ符号化標準を用いてそれらを符号化しうる。

第１の視点５０がビデオデータのフレームに対応する場合、符号器２６は、イントラ予測モードあるいはインター予測モードで第１の視点５０を符号化しうる。例として、ＩＴＵ−Ｔ Ｈ.２６４標準は、輝度コンポーネントに対して１６×１６、８×８、または４×４、色度コンポーネントに対して８×８のような様々なブロックサイズでイントラ予測をサポートし、同様に、輝度コンポーネントに対して１６×１６、１６×８、８×１６、８×８、８×４、４×８または４×４、色度コンポーネントに対して対応するスケーリング済みのサイズのような様々なブロックサイズでインター予測をサポートする。本開示において、「Ｎ×Ｎ（NxN）」および「Ｎ×Ｎ（N by N）」という用語は、例えば、１６×１６（１６ｘ１６）画素、あるいは、１６×１６（１６ by １６）画素など、垂直次元および水平次元の観点からブロックの画素次元を指すために交換可能に使用される。一般的に、１６×１６ブロックは、垂直方向に１６画素、水平方向に１６画素を有する。同様に、Ｎ×Ｎブロックは、一般的に、垂直方向にＮ個の画素、水平方向にＮ個の画素を有し、Ｎは、１６よりも大きい可能性のある正の整数値を表す。ブロック内の画素は、列および行に配列されうる。ブロックは、さらに、Ｎ×Ｍでありうる。ここで、ＮおよびＭは、必ずしも同一である必要のない整数である。

１６×１６未満のブロックサイズは、１６×１６のマクロブロックのパーティション（partition）と呼ばれうる。同様に、Ｎ×Ｎブロックの場合、Ｎ×Ｎよりも小さいブロックサイズは、Ｎ×Ｎブロックのパーティションと呼ばれうる。ビデオブロックは、画素ドメインにおいて画素データのブロックを、あるいは、例えば、離散的コサイン変換、整数変換、ウェーブレット変換などの変換、または、概念的に類似した変換を、符号化ビデオブロックと予測ビデオブロックとの画素差分を表す残差ビデオブロックデータに適用した後に、変換ドメインにおいて変換係数のブロックを備えうる。いくつかのケースでは、ビデオブロックは、変換ドメインにおいて量子化変換係数のブロックを備えうる。

類似したビデオブロックは、より良いり解像度を提供することができ、高レベルの詳細を含むビデオフレームのロケーションに対して使用されうる。一般的に、マクロブロックおよび様々なパーティションは、時々、サブブロックと呼ばれ、ビデオブロックとみなされうる。加えて、スライスは、マクロブロックおよび／またはサブブロックのような複数のビデオブロックとみなされうる。各スライスは、独立して復号化可能なビデオフレームのユニットでありうる。あるいは、フレーム自体が復号可能なユニットであるか、あるいは、フレームの他の部分が、復号可能なユニットと定義されうる。「コード化ユニット（coded unit）」あるいは「符号化ユニット（coding unit）」という単語は、フレーム全体、フレームのスライス、シーケンスまたはスーパーフレームとも呼ばれるピクチャのグループ（ＧＯＰ）のような独立して復号可能な任意のビデオフレームのユニット、あるいは、適用可能な符号化技術にしたがって定義される独立して復号可能な別のユニットを指しうる。

一般的に、マクロブロックおよび様々なサブブロックまたはパーティションは、全てがビデオブロックとみなされうる。加えて、スライスは、マクロブロックおよび／またはサブブロックまたはパーティションのような一連のビデオブロックとみなされうる。一般的に、マクロブロックは、１６×１６の画素エリアを定義する色差および輝度値のセットを指しうる。輝度ブロックは、値の１６×１６のセットを備えうるが、８×８ブロック、４×４ブロック、８×４ブロック、４×８ブロック、あるいは、別のサイズなどのより小さいビデオブロックへとさらに分割されうる。２つの異なる色差ブロックは、マクロブロックの色彩を定義し、それぞれ、１６×１６の画素エリアに関連付けられた色彩値の８×８サブサンプルブロックを備えうる。マクロブロックは、マクロブロックに適用される符号化モードおよび／または符号化技術を定義するために構文解析情報を含みうる。

マクロブロックまたは他のビデオブロックは、スライス、フレーム、または、別の独立ユニットのような復号可能なユニットにグループ化されうる。各スライスは、独立して復号可能なビデオフレームのユニットでありうる。あるいは、フレーム自体が復号のユニットであるか、あるいは、フレームの他の部分が、復号可能なユニットと定義されうる。本開示において、「符号化ユニット」という用語は、フレーム全体、フレームのスライス、ピクチャのグループ（ＧＯＰ）のような独立して復号可能な任意のビデオフレームのユニット、あるいは、使用される符号化技術にしたがって定義された独立して復号可能な別のユニットを指しうる。

上述されたように、画像ソース２２は、奥行情報を生成するために、同じシーンの２つの視点を奥行処理ユニット２４に提供しうる。そのような例において、符号器２６は、これらの視点のうちの１つだけを、奥行情報と共に符号化しうる。一般的に、本開示の技術は、画像を、その画像についての奥行情報と共に、宛先デバイス４０のような宛先デバイスに送ることに向けられており、宛先デバイス４０は、奥行情報に基づいて画像の被写体の視差値を算出するように構成されうる。１つの画像だけを奥行情報と共に送ることにより、３次元画像を生成するためにシーンの２つの符号化視点を送ることで生じる帯域幅の消費および／または記憶空間の使用が減らされうる。

送信機２８は、ビットストリーム５４を、宛先デバイス４０の受信機４８に送りうる。例えば、送信機２８は、例えば、ＭＰＥＧ−２システム技術などの転送レベルカプセル化技術を使用してビットストリーム５４をカプセル化しうる。送信機２８は、例えば、ネットワークインターフェース、無線ネットワークインターフェース、ラジオ周波数送信機、送信機／受信機（トランシーバ）、あるいは、他の送信ユニットを備えうる。別の例において、ソースデバイス２０は、例えば、コンパクトディスク、デジタルビデオディスク、ブルーレイディスク、フラッシュメモリのような光記憶媒体、磁気媒体のような物理媒体、あるいは、他の記憶媒体にビットストリーム５４を記憶するように構成されうる。そのような例において、記憶媒体は、宛先デバイス４０のロケーションに物理的に転送され、データを検索するために、適切なインターフェースユニットによって読み取られうる。いくつかの例において、ビットストリーム５４は、送信機２８によって送信される前に、変調器／復調器（ＭＯＤＥＭ）によって変調されうる。

ビットストリーム５４を受信し、データをカプセル解除した後、いくつかの例において、受信機４８は、ビットストリーム５４を復号器４６に（あるいは、いくつかの例において、ビットストリームを復調するＭＯＤＥＭに）提供しうる。復号器４６は、ビットストリーム５４から第１の視点５０および奥行情報５２を復号する。例えば、復号器４６は、第１の視点５０と、第１の視点５０のデプスマップとを奥行情報５２から再度作り出しうる。デプスマップの復号後、視点合成アルゴリズムが採用され、送信されていない他の視点のテキスチャを生成することができる。復号器４６は、さらに、第１の視点５０および奥行情報５２を視点合成ユニット４４に送りうる。視点合成ユニット４４は、第１の視点５０および奥行情報５２に基づいて第２の画像を生成する。

一般的に、人間の視覚システムは、被写体への収束の角度に基づいて奥行を認識する。視聴者に比較的近い被写体は、視聴者の目が、視聴者から比較的離れた被写体よりも大きな角度で被写体に集中するため、視聴者により近いと認識される。ピクチャおよびビデオのようなマルチメディアにおいて３次元をシミュレートするために、１つの画像が視聴者のそれぞれの目に表示されるように、２つの画像が視聴者に表示される。画像内の同じ空間ロケーションに位置付けされた被写体は、一般的に、画像が表示されているスクリーンと同じ奥行であると認識されるであろう。

奥行の錯覚を作り出すために、被写体は、水平軸に沿って、画像の各々のわずかに異なる位置に示されうる。２つの画像内の被写体のロケーション間の差分が視差と呼ばれる。一般的に、スクリーンに対して視聴者のより近くに被写体を表示するために、負の視差値が使用され、スクリーンに対してユーザから離れて被写体を表示するために、正の視差値が使用されうる。正または負の視差を有する画素は、いつくかの例において、鋭さ（sharpness）またはぼやけ（blurriness）を増加または減少させるために、より高い解像度またはより低い解像度で表示され、焦点から正または負の奥行の効果をさらに作り出しうる。

視点合成は、任意の視点角度で視点を生成するために密にサンプリングされた視点を使用するサンプリング問題とみなされうる。しかしながら、実際のアプリケーションにおいて、密にサンプリングされた視点によって要求される記憶または送信帯域幅は大きい可能性がある。よって、まばらにサンプリングされた視点およびそれらのデプスマップに基づく視点合成に関してリサーチが実行された。詳細では異なるが、まばらにサンプリングされた視点に基づくそれらのアルゴリズムは、たいてい、３Ｄワーピング(3D warping)に基づく。３Ｄワーピングにおいて、奥行およびカメラモデムを仮定すれば、最初に、基準視点の画素が、２Ｄカメラ座標から世界座標（world coordinate）のポイントＰに逆投影されうる。次に、ポイントＰは、宛先の視点（生成されるべき仮想視点）に投影されうる。世界座標における同一被写体の異なる投影に対応する２つの画素は、同一の色彩強度(color intensities)を有しうる。

視点合成ユニット４４は、被写体の奥行値に基づいて、画像の被写体に対する視差値（例えば、画素、ブロック、画素のグループ、または、ブロックのグループ）を算出するように構成されうる。視点合成ユニット４４は、視差値を使用して、第１の視点５０から第２の画像５６を生成し、視聴者が一方の目で第１の視点５０を、もう一方の目で第２の画像を見た場合に３次元効果を作り出しうる。視点合成ユニット４４は、第１の視点５０および第２の画像５６を、ユーザに表示するために、画像ディスプレイ４２に渡しうる。

画像ディスプレイ４２は、立体視のディスプレイまたは自動立体視の（autostereoscopic）ディスプレイを備えうる。一般的に、立体視のディスプレイは、１つの画像を片方の目に、第２の画像をもう一方の目に向けるゴーグルまたは眼鏡のような頭部装着型ユニットを視聴者が装着している間、２つの画像を表示することによって３次元をシミュレートする。いくつかの例において、各画像は、例えば、偏光眼鏡または色彩フィルタリング眼鏡を使用することで、同時に表示される。いくつかの例では、画像が素早く交互に入れ替わり、眼鏡またはゴーグルは、正確な画像が対応する目にしか示されないように、ディスプレイと同期してシャッタリング（shuttering）を素早く交互に行う。自動立体視のディスプレイは、眼鏡を使用しないが、代わりに、正確な画像を視聴者の対応する目に直接向けうる。例えば、自動立体視のディスプレイは、視聴者の目がどこに位置するかを決定するためのカメラと、視聴者の目に画像を向けるためのメカニズムおよび／または電子手段とを備えうる。

下により詳細に論述されるように、視点合成ユニット４４は、視聴者に対して、スクリーンの後方、スクリーン上、スクリーンの手前に対する奥行値で構成されうる。視点合成ユニット４４は、ビットストリーム５４の画像データで表される被写体の奥行を視差値にマッピングする関数で構成されうる。それに応じて、視点合成ユニット４４は、被写体の視差値を算出するために、関数のうちの１つを実行しうる。奥行情報５２に基づいて第１の視点５０の被写体の視差値を算出した後、視点合成ユニット４４は、第１の視点５０および視差値から第２の画像５６を生成しうる。

視点合成ユニット４４は、スクリーンの手前または後方に最大奥行（maximum depth）で被写体を表示するための最大視差値で構成されうる。この方式において、視点合成ユニット４４は、ゼロから、正および負の最大視差値までの視差範囲で構成されうる。視聴者は、被写体が宛先デバイス４４によって表示されるスクリーンの手前または後方における最大奥行を変更するために構成を調整しうる。例えば、宛先デバイス４０は、遠隔制御または視聴者が操作しうる他の制御ユニットと通信状態にありうる。遠隔制御は、被写体を表示するスクリーンの手前の最大奥行、および、スクリーン後方の最大奥行を視聴者が制御することを可能にするユーザインターフェースを備えうる。この方式において、視聴者は、視聴経験（viewing experience）を改善するために、画像ディスプレイ４２に対する構成パラメータを調整することができる。

スクリーンの手前およびスクリーンの後方に表示されるべき被写体の最大視差値で構成されることによって、視点合成ユニット４４は、比較的簡単な計算を用いて、奥行情報５２に基づき視差値を算出することができる。例えば、視点合成ユニット４４は、奥行値を視差値にマッピングする関数で構成されうる。この関数は、収束奥行インターバル内の奥行値を有する画素がゼロの視差値にマッピングされ、スクリーンの手前で最大奥行の被写体が（負の）最小視差値にマッピングされ、それによって、スクリーンの手前にあるように示され、さらに、最大奥行の被写体が、スクリーンの後方に対する（正の）最大視差値にマッピングされ、それによってスクリーンの後方にあるように示されるように、奥行と、対応する視差範囲内の１つの視差値との直線関係を備えうる。

実世界座標（real-world coordinate）の１つの例において、奥行範囲は、例えば、［２００，１０００］であり、収束奥行距離は、例えば、約４００でありうる。次に、スクリーンの手前の最大奥行は、２００に対応し、スクリーンの後方の最大奥行は、１０００であり、収束奥行インターバルは、例えば、［３９５，４０５］でありうる。しかしながら、実世界座標における奥行値は、利用可能ではない可能性があるか、あるいは、例えば、８ビット値（０から２５５まで）でありうるより小さいダイナミックレンジに量子化されうる。いくつかの例において、０から２５５までの値を有するそのような量子化奥行値は、デプスマップが記憶または送信されるべきシナリオ、または、デプスマップが推定されるシナリオで使用されうる。典型的なＤＩＢＲプロセスは、視差が算出される前に、低ダイナミックレンジ量子化デプスマップを、実世界デプスマップにおけるマップに変換することを含みうる。従来、より小さい量子化奥行値が実世界座標におけるより大きい奥行値に対応することに注意されたい。しかしながら、本開示の技術において、この変換は必ずしも行われる必要はなく、そのため、実世界座標における奥行範囲、または、量子化奥行値から実世界座標における奥行値への変換関数を知る必要はない。［−ｄｉｓ_ｎ，ｄｉｓ_ｐ］という例示的な視差範囲を考慮すると、量子化奥行範囲がｄ_ｍｉｎ（０でありうる）からｄ_ｍａｘ（２５５でありうる）までの値を含む場合、奥行値ｄ_ｍｉｎは、ｄｉｓ_ｐにマッピングされ、奥行値ｄ_ｍａｘ（２５５でありうる）は、−ｄｉｓ_ｎにマッピングされる。この例において、ｄｉｓ_ｎが正であることに注意されたい。収束デプスマップインターバルが［ｄ_０−δ、ｄ_０＋δ］であると仮定すると、このインターバルにおける奥行値は、０の視差にマッピングされる。一般的に、本開示において、「奥行値（depth value）」という表現は、より低いダイナミックレンジ［ｄ_ｍｉｎ，ｄ_ｍａｘ］の値を指す。δ値は、許容値（tolerance value）と呼ばれ、各方向において同一である必要はない。すなわち、視差値０に全てがマッピングされる奥行値の範囲を［ｄ_０−δ_２，ｄ_０＋δ_１］が表すように、ｄ_０は、第１の許容値δ_１および第２の可能で異なる許容値δ_２だけ変更されうる。

この方式において、宛先デバイス４０は、例えば、焦点距離、仮想カメラパラメータ、および、実世界奥行範囲値のようなさらなる値を考慮にいれる、より複雑な手順を使用することなく視差値を算出しうる。このように、カメラから被写体までの距離を記述する焦点距離値、カメラから様々な被写体までの実際の距離を記述する奥行範囲、２つのカメラの間の距離、視聴者からスクリーンまでの視聴距離（viewing distance）、および、スクリーンの幅、並びに、内因的または外因的なパラメータを含むカメラパラメータに依存する視差を算出するための従来の技術とは異なり、本開示の技術は、例えば、全ての画素または被写体に対する所与の視差範囲、および、画素の奥行（量子化された、あるいは、より低いダイナミックレンジにおける）に基づいて、任意の画素の視差値を算出するための比較的簡単な手順を提供しうる。

図２は、視点合成ユニット４４のコンポーネントの例示的な配置を示すブロック図である。視点合成ユニット４４は、ハードウェア、ソフトウェア、ファームウェア、あるいは、それらの組み合わせで実施されうる。ソフトウェアおよび／またはファームウェアで実施されると、宛先デバイス４０は、例えば、１つ以上のプロセッサまたは処理ユニットのようなソフトウェアを実行するためのハードウェアを含みうる。視点合成ユニット４４のコンポーネントのいずれかまたは全ては、機能的に統合されうる。

図２の例において、視点合成ユニット４４は、画像入力インターフェース６２、奥行情報インターフェース６４、視差算出ユニット６６、視差範囲構成ユニット７２、奥行−視差変換データ７４、視点作成ユニット６８、および、画像出力インターフェース７０を含む。いくつかの例において、画像入力インターフェース６２および奥行情報インターフェース６４は、同一の論理的および／または物理的インターフェースに対応しうる。一般的に、画像入力インターフェース６２は、例えば、第１の視点５０など、ビットストリーム５４から復号バージョンの画像データを受信し、奥行情報インターフェース６４は、第１の視点５０の奥行情報５２を受信しうる。画像入力インターフェース６２は、第１の視点５０を視差算出ユニット６６に渡し、奥行情報インターフェース６４は、奥行情報５２を視差算出ユニット６６に渡しうる。

視差算出ユニット６６は、被写体についての奥行情報５２および／または第１の視点５０の画素に基づいて、第１の視点５０の画素に対する視差値を算出しうる。視差算出ユニット６６は、画素の奥行情報、例えば、画素がスクリーンの短距離内またはスクリーン上で生じるものであるか、スクリーンの後方で生じるものであるか、スクリーンの手前で生じるものであるかを奥行情報が示すかに基づいて、第１の視点５０の画素に対する視差を算出する関数を選択しうる。奥行―視差変換データ７４は、画素の奥行情報、並びに、スクリーンの手前およびスクリーンの後方に最大奥行で表示されるべき画素に対する最大視差値に基づいて、画素に対する視差値を算出する関数に対する命令を記憶しうる。

視差値を算出する関数は、画素の奥行値と、対応する視差値との直線関係を備えうる。例えば、スクリーンは、奥行値ｄ_０が割り当てられうる。ビットストリーム５４についてスクリーンの手前において最大奥行値を有する被写体は、奥行値ｄ_ｍａｘが割り当てられうる。ビットストリーム５４についてスクリーンの後方において最大奥行値を有する被写体は、奥行値ｄ_ｍｉｎが割り当てられうる。すなわち、ｄ_ｍａｘおよびｄ_ｍｉｎは、一般的に、奥行情報５２の最大奥行値を記述しうる。記憶または送信されたデプスマップのダイナミックレンジが８ビットである例において、ｄ_ｍａｘは、２５５の値を有し、ｄ_ｍｉｎは、０の値を有しうる。第１の視点５０がピクチャに対応する場合、ｄ_ｍａｘおよびｄ_ｍｉｎは、ピクチャにおける画素の奥行に対する最大値を記述し、第１の視点５０がビデオデータに対応する場合、ｄ_ｍａｘおよびｄ_ｍｉｎは、ビデオにおける画素の奥行の最大値を記述し、それは、必ずしも第１の視点５０内である必要はない。

記述の目的のために、本開示の技術は、奥行値ｄ_０を有するスクリーンに関して記述される。しかしながら、いくつかの例において、ｄ_０は、代わりに、単に、収束面の奥行に対応しうる。例えば、ユーザが装着しており、ユーザの目のそれぞれに対して個別のスクリーンを有するゴーグルに画像ディスプレイ４２が対応する場合、収束面は、スクリーン自体から比較的離れた奥行値が割り当てられうる。いずれの場合においても、ｄ_０が、一般的に、ディスプレイの奥行に対応するか、あるいは、別のパラメータに基づきうる収束面の奥行を表すことは理解されるべきである。いくつかの例において、ユーザは、画像ディスプレイデバイス４２に通信的に結合された遠隔制御デバイスを利用して、収束奥行値ｄ_０を制御しうる。例えば、遠隔制御デバイスは、ユーザが収束奥行値を増加または減少させることを可能にするボタンを含むユーザインターフェースを含みうる。

奥行―視差変換データ７４は、ｄ_ｍａｘおよびｄ_ｍｉｎに対する値を、スクリーンの手前または後方に最大奥行で表示されるべき被写体の最大視差値と共に記憶しうる。別の例において、ｄ_ｍａｘおよびｄ_ｍｉｎは、所与のダイナミックレンジが提供することができる最大または最小値でありうる。例えば、ダイナミックレンジが８ビットである場合、２５５（２^８−１）から０の間の奥行範囲が存在しうる。よって、ｄ_ｍａｘおよびｄ_ｍｉｎは、システムに対して固定でありうる。視差範囲構成ユニット７２は、遠隔制御デバイスから信号を受信し、最大視差値または最小視差値を増加または減少させ、それは、次にレンダリングされた３Ｄ画像の奥行の認識を増加または減少させうる。視差範囲構成ユニット７２は、追加的または代替的に遠隔制御デバイスに、画像ディスプレイ４２が画像の被写体を表示するスクリーンの手前および後方における視差範囲値をユーザが調整しうるユーザインターフェースを提供しうる。例えば、最大視差を減らすことにより、認識された３Ｄ画像は、スクリーンのそれ程内側（後方）に表示されず、最小視差（すでに負である）を減らすことによって、認識された３Ｄ画像は、スクリーンからより飛び出て表示されうる。

奥行−視差変換データ７４は、ゼロ奥行にマッピングされ、スクリーン上と認識される値の比較的小さい奥行インターバルを制御する奥行値δを含み、そうでなければ、スクリーンから比較的短い距離離れた画素に対応する。いくつかの例において、視差算出ユニット６６は、ゼロの視差を、例えば、奥行値ｄ_０など、スクリーンの手前または後方においてδよりも低い奥行値を有する画素に割り当てうる。すなわち、そのような例において、ｘが画素の奥行値であると仮定すると、（ｄ_０−δ）≦ｘ≦（ｄ_０＋δ）である場合、視差算出ユニット６６は、画素に対してゼロの視差値を割り当てうる。いくつかの例において、ユーザは、画像ディスプレイデバイス４２に通信的に結合された遠隔制御デバイスを利用して、δ値を制御しうる。例えば、遠隔制御デバイスは、より多くの（またはより少ない）画素がスクリーン上に認識されるように、ユーザが値を増加（または減少）させることを可能にするボタンを含むユーザインターフェースを含みうる。

奥行―視差変換データ７４は、視差算出ユニット６６が、スクリーンの後方に表示されるべき被写体の視差値を算出するために実行しうる第１の関数を含みうる。第１の関数は、収束奥行値ｄ_０＋δよりも大きい奥行値に適用されうる。第１の関数は、収束奥行値から最大奥行値までの奥行値を、最小視差値−ｄｉｓ_ｎから０までの範囲内の視差値にマッピングしうる。第１の関数は、奥行の単調減少関数（monotone decreasing function）である。第１の関数を奥行値に適用することで、最も飛び出た画素が、最小の視差値「−ｄｉｓ_ｎ」（ここで、この例では、ｄｉｓ_ｎは、正の値である）を有するように、スクリーンの手前に表示されるべき画素の３Ｄ認識を作り出すための視差値が生成されうる。ｄ_０がスクリーンの奥行であり、δが比較的短い距離であり、ｘが画素の値であると仮定すると、第１の関数は、以下を備えうる：

この方式において、ｆ_１（ｘ）は、画素の奥行値ｘを、−ｄｉｓ_ｎから０までの視差範囲内の視差値にマッピングしうる。いくつかの例において、視差範囲内の視差値は、ｄ_０＋δからｄ_ｍａｘまでのｘの値に比例しうるか、それ以外の場合、単調に減少しうる。

奥行−視差変換データ７４は、さらに、視差算出ユニット６６が、スクリーンの手前に表示されるべき被写体の視差値を算出するために実行しうる第２の関数を含みうる。第２の関数は、収束奥行値ｄ_０−δよりも小さい奥行値に適用されうる。第２の関数は、最小奥行値から収束奥行値までの範囲内の奥行値を、０から最大視差値ｄｉｓ_ｐまでの範囲内の視差値にマッピングしうる。第２の関数は、奥行の単調減少関数である。所与の奥行におけるこの関数の結果は、スクリーンの後方で表示されるべき画素に対する３Ｄ認識を作り出す視差であり、最も深い画素は、最大視差値「ｄｉｓ_ｐ」を有する。ｄ_０がスクリーンの奥行であり、δが比較的短い距離であり、ｘが画素の値であると仮定すると、第２の関数は、以下を備えうる：

この方式において、ｆ_２（ｘ）は、画素の奥行値ｘを、０からｄｉｓ_ｐまでの視差範囲内の視差値にマッピングしうる。いくつかの例において、視差範囲内の視差値は、ｄ_０−δからｄ_ｍｉｎまでのｘの値に比例しうるか、それ以外の場合、単調に減少しうる。

それに応じて、視差算出ユニット６６は、ステップ関数（ここで、ｐは画素を表し、奥行（ｐ）は、ｘの奥行＝奥行（ｐ）を有する画素ｐに関連付けられた奥行値を表す）を使用して、画素に対する視差を算出しうる：

画像ディスプレイ４２が被写体を表示するスクリーンの手前または後方における最大奥行は、必ずしも、ビットストリーム５４からの奥行情報５２の最大奥行と同じである必要はない。画像ディスプレイ４２が被写体を表示するスクリーンの手前または後方における最大奥行は、最大視差値ｄｉｓ_ｎおよびｄｉｓ_ｐに基づいて構成可能でありうる。いくつかの例において、ユーザは、遠隔制御デバイスまたは別のユーザインターフェースを使用して最大視差値を構成しうる。

奥行値ｄ_ｍｉｎおよびｄ_ｍａｘが、必ずしも、最大視差値から生じるスクリーンの手前または後方における最大奥行と同じである必要がないことは理解されるべきである。代わりに、ｄ_ｍｉｎおよびｄ_ｍａｘは、例えば、０から２５５までの定義された範囲を有する既定の値でありうる。奥行処理ユニット２４は、グローバル奥行値として、画素の奥行値を割り当てうる。視点合成ユニット４４により算出され、結果として得られる視差値は、特定の画素の奥行値に関係があり、被写体が表示されるスクリーンの手前または後方における最大奥行は、最大視差値に基づき、それは、必ずしも最大奥行値ｄ_ｍｉｎおよびｄ_ｍａｘである必要はない。

視差範囲構成ユニット７２は、例えば、遠隔制御デバイスまたは他のユーザインターフェースから受信された信号に基づいて、ｄｉｓ_ｎおよびｄｉｓ_ｐの値を変更しうる。Ｎが、２次元画像の水平解像度（すなわち、ｘ軸に沿った画素数）であるとする。次に、値αおよびβ（視差調整値と呼ばれうる）について、ｄｉｓ_ｎ＝Ｎ×αおよびｄｉｓ_ｐ＝Ｎ×βである。この例において、αは、負の視差の最大レート（全体的な画像の幅とは対照的に）であり、それは、スクリーンの外側（または手前）の被写体の３次元認識に対応する。この例において、βは、正の視差の最大レートであり、それは、スクリーンの後方（または内側）の被写体の３次元認識に対応する。いくつかの例において、起点として以下のデフォルト値が使用されうる:αに対して（５±２）％およびβに対して（８±３）％。

最大視差値は、デバイスおよび視聴環境に依存する可能性があり、かつ、製造パラメータの一部ありうる。すなわち、製造業者は、上のデフォルト値を使用するか、あるいは、製造の時点でデフォルトパラメータを更しうる。さらに、変視差範囲構成ユニット７２は、ユーザが、例えば、遠隔制御デバイス、ユーザインターフェースを用いてデフォルト値を調整するメカニズム、または、宛先デバイス４０のセッティングを調整するための他のメカニズムを提供しうる。

被写体がスクリーンの手前に表示される奥行を増加させるためのユーザからの信号に応じて、視差範囲構成ユニット７２は、αを増加させうる。同様に、被写体がスクリーンの手前に表示される奥行を減少させるためのユーザからの信号に応じて、視差範囲構成ユニット７２は、αを減少させうる。同様に、被写体がスクリーンの後方に表示される奥行を増加させるためのユーザからの信号に応じて、視差範囲構成ユニット７２は、βを増加させ、被写体がスクリーンの後方に表示される奥行を減少させるためのユーザからの信号に応じて、視差範囲構成ユニット７２は、βを減少させうる。αおよび／またはβを増加または減少させた後、視差範囲構成ユニット７２は、ｄｉｓ_ｎおよび／またはｄｉｓ_ｐを再度算出し、奥行−視差変換データ７４に記憶されているｄｉｓ_ｎおよび／またはｄｉｓ_ｐの値を更新しうる。この方式において、ユーザは、３Ｄ認識を調整し、より詳細には、例えば、ピクチャを見ている間、あるいは、ビデオの再生中など、画像を見ている間に、スクリーンの手前および／または後方に被写体が表示される認識奥行を調整しうる。

第１の画像５０の画素に対する視差値を算出した後、視差算出ユニット６６は、視差値を視点作成ユニット６８に送りうる。視差算出ユニット６６は、さらに、第１の画像５０を視点作成ユニット６８に転送するか、あるいは、画像入力インターフェース６２が、第１の画像５０を視点作成ユニット６８に転送しうる。いくつかの例において、第１の画像５０は、画像バッファのようなコンピュータ読取可能な媒体に書き込まれ、視差算出ユニット６６および視点作成ユニット６８によって画像バッファから検出されうる。

視点作成ユニット６８は、第１の画像５０と、第１の画像５０の画素に対する視差値とに基づいて第２の画像５６を作り出しうる。例として、視点作成ユニット６８は、第２の画像５６の初期バージョンとして第１の画像５０の複製を作り出しうる。非ゼロ視差値を有する第１の画像５０の各画素について、視点作成ユニット６８は、第１の画像５０の画素から画素の視差値だけオフセットされた第２の画像５６内の位置にある画素の値を変更しうる。このように、視差値ｄを有する位置（ｘ，ｙ）にある画素ｐについて、視点作成ユニット６８は、位置（ｘ＋ｄ，ｙ）にある画素の値を画素ｐの値に変更しうる。視点作成ユニット６８は、さらに、例えば、従来の穴埋め（hole filling）技術を使用して、第２の画像５６の位置（ｘ，ｙ）の画素の値を変更しうる。例えば、第２の画像５６の位置（ｘ、ｙ）にある画素の新しい値は、隣接画素に基づいて算出されうる。

視点作成ユニット６８は、次に、第２の視点５６を画像出力インターフェース７０に送りうる。画像入力インターフェース６２または視点作成ユニット６８は、同様に、第１の画像５０を画像出力インターフェースに送りうる。次に、画像出力インターフェース７０は、第１の画像５０および第２の画像５６を画像ディスプレイ４２に出力しうる。同様に、画像ディスプレイ４２は、例えば、同時にまたは矢継早に第１の画像５０および第２の画像５６を表示しうる。

図３Ａ〜３Ｃは、画素の奥行に基づいて、正、ゼロ、負の視差値の例を示す概念図である。一般的に、３次元効果を作り出すために、例えば、スクリーン上に、２つの画像が示され、スクリーンの手前または後方のいずれかに表示されるべき被写体の画素は、それぞれ、正または負の視差値を有し、スクリーンの奥行で表示されるべき被写体は、ゼロの視差値を有する。いくつかの例において、例えば、ユーザが頭部装着型ゴーグルを装着している場合、「スクリーン」の奥行は、その代わりに、共通奥行ｄ_０に対応しうる。

図３Ａ〜３Ｃの例は、スクリーン８２が、同時か、あるいは、矢継早に、左の画像８４および右の画像８６を表示する例を示す。図３Ａは、スクリーン８２の後方（または内側）に生じる画素８０Ａを描写する例を示す。図３Ａの例において、スクリーン８２は、左の画像の画素８８Ａおよび右の画像の画素９０Ａを表示する。ここで、左の画像の画素８８Ａおよび右の画像の画素９０Ａは、一般的に、同一の被写体に対応し、よって、類似した画素値または同一の画素値を有しうる。いくつかの例において、左の画像の画素８８Ａおよび右の画像の画素９０Ａに対する輝度および色差値は、例えば、わずかに異なる角度から被写体を見たときに生じる照明または色彩差分のわずかな変化を考慮に入れうるためなど、３次元の視聴経験をさらに強めるためにわずかに異なりうる。

左の画像の画素８８Ａの位置は、この例において、スクリーン８２によって表示された場合に右の画像の画素９０Ａの左に生じる。すなわち、左の画像の画素８８Ａと右の画像の画素９０Ａとの間に正の視差が存在する。視差値がｄであり、左の画像の画素９２Ａが左の画像８４の水平位置ｘに生じ、ここで、左の画像の画素９２Ａは左の画像の画素８８Ａに対応する、と仮定すると、右の画像の画素９４Ａは、右の画像８６の水平位置ｘ＋ｄに生じ、ここで、右の画像の画素９４Ａは、左の画像の画素９０Ａに対応する。これは、ユーザの左の目が左の画像の画素８８Ａに焦点をあて、ユーザの右の目が右の画像の画素９０Ａに焦点をあてた場合に視聴者の目を、スクリーン８２の比較的後方のポイントに集中させ、画素８０Ａがスクリーン８２の後方に表示されるという錯覚を作り出す。

左の画像８４は、図１および２に示される第１の画像５０に対応しうる。別の例において、右の画像８６は、第１の画像５０に対応しうる。図３Ａの例において正の視差値を算出するために、視点合成ユニット４４は、左の画像８４と、スクリーン８２の後方の左の画像の画素９２Ａの奥行位置を示す左の画像の画素９２Ａの奥行値とを受信しうる。視点合成ユニット４４は、右の画像８６を形成するために左の画像８４を複製し、左の画像の画素９２Ａの値に一致または類似するように右の画像の画素９４Ａの値を変更しうる。すなわち、右の画像の画素９４Ａは、左の画像の画素９２Ａと同一または類似した輝度および／または色差値を有しうる。よって、画像ディスプレイ４２に対応しうるスクリーン８２は、実質的に同時に、または、矢継早に、左の画像の画素８８Ａおよび右の画像の画素９０Ａを表示し、画素８０Ａがスクリーン８２に生じる効果を作り出しうる。

図３Ｂは、スクリーン８２の奥行で画素８０Ｂを描写する例を示す。図３Ｂの例において、スクリーン８２は、左の画像の画素８８Ｂおよび右の画像の画素９０Ｂを同じ位置に表示する。すなわち、この例では、左の画像の画素８８Ｂと右の画像の画素９０Ｂとの間にゼロの視差が存在する。左の画像８４の左の画像の画素９２Ｂ（スクリーン８２によって表示された左の画像の画素８８Ｂに対応する）が、水平位置ｘに生じると仮定すると、右の画像の画素９４Ｂ（スクリーン８２に表示された右の画像の画素９０Ｂに対応する）もまた、右の画像８６において水平位置ｘに生じる。

視点合成ユニット４４は、左の画像の画素９２Ｂの奥行値が、スクリーン８２の奥行に等しい奥行ｄ０であるか、あるいは、スクリーン８２の奥行から短い距離δ以内であるかを決定しうる。それに応じて、視点合成ユニット４４は、左の画像の画素９２Ｂにゼロの視差値を割り当てうる。左の画像８４および視差値から右の画像８６を構築する場合、視点合成ユニット４４は、右の画像の画素９４Ｂの値を左の画像の画素９２Ｂと同じに保ちうる。

図３Ｃは、スクリーン８２の手前に画素８０Ｃを描写する例を示す。図３Ｃの例において、スクリーン８２は、左の画像の画素８８Ｃを右の画像の画素９０Ｃの右に表示する。すなわち、この例では、左の画像の画素８８Ｃと右の画像の画素９０Ｃとの間に負の視差が存在する。それに応じて、ユーザの目は、スクリーン８２の手前の位置に集中し、それは、画素８０Ｃがスクリーン８２の手前に表示されるという錯覚を作り出しうる。

視点合成ユニット４４は、左の画像の画素９２Ｃの奥行値がスクリーン８２の手前にある奥行にあることを決定しうる。かくして、視点合成ユニット４４は、左の画像の画素９２Ｃの奥行を負の視差値−ｄにマッピングする関数を実行しうる。次に、視点合成ユニット４４は、左の画像８４および負の視差値に基づいて、右の画像８６を構築しうる。例えば、右の画像８６を構築する場合、左の画像の画素９２Ｃが平行位置ｘを有すると仮定すると、視点合成ユニット４４は、右の画像８６の水平位置ｘ−ｄ（すなわち、右の画像の画素９４Ｃ）における画素の値を、左の画像の画素９２Ｃの値に変更しうる。

図４は、ソースデバイスから受信された奥行情報を使用して、視差値を算出し、シーンの第１の視点および視差値に基づいて、画像のシーンの第２の視点を生成するための例示的な方法を示すフローチャートである。最初に、画像ソース２２は、例えば、シーンの第１の視点５０など、第１の視点を含む生のビデオデータを受信する（１５０）。上述されたように、画像ソース２２は、例えば、カメラのような画像センサ、画像データ（例えば、ビデオゲーム用の）を生成する処理ユニット、あるいは、画像を記憶する記憶媒体を備えうる。

次に、奥行処理ユニット２４は、第１の画像を処理して、画像の画素についての奥行情報５２を決定しうる（１５２）。奥行情報は、デプスマップ、すなわち、画像内の各画素の奥行値の表示を備えうる。奥行処理ユニット２４は、奥行情報を画像ソース２２またはユーザから受信するか、あるいは、例えば、第１の画像の画素の輝度値に基づいて奥行情報を算出しうる。いくつかの例において、奥行処理ユニット２４は、シーンの２つ以上の画像を受信し、視点間の差分に基づいて奥行情報を算出しうる。

次に、符号器２６は、奥行情報と共に第１の画像を符号化しうる（１５４）。シーンの２つの画像が画像ソース２２によって撮像されまたは生成される例において、符号器２６は、依然として、奥行処理ユニット２４が画像についての奥行情報を算出した後に、２つの画像のうちの１つだけを符号化しうる。次に、送信機２８は、符号化データを送出、例えば、出力しうる（１５６）。例えば、送信機２８は、電波を通して符号化データをブロードキャストするか、ネットワークを介して符号化データを出力するか、衛星またはケーブル送信を介して符号化データを送信するか、あるいは、他の方法で符号化データを出力しうる。この方式において、ソースデバイス２０は、１つだけの画像と奥行情報とを用いて、シーンの３次元表示を生成するためのビットストリームを生成し、それは、送信機２８が符号化画像データを出力する際の帯域幅の消費を減らしうる。

次に、宛先デバイス４０の受信機４８は、符号化データを受信しうる（１５８）。受信機４８は、符号化データを、復号されように、復号器４６に送りうる。復号器４６は、第１の画像を再生するための受信データと、第１の画像についての奥行情報とを復号し、第１の画像および奥行情報を視点合成ユニット４４に送りうる（１６０）
視点合成ユニット４４は、第１の画像についての奥行情報を分析して、第１の画像の画素に対する視差値を算出しうる（１６２）。例えば、各画素について、視点合成ユニット４４は、画素がスクリーンの後方、スクリーン上、またはスクリーンの手前に表示されるべきことを画素についての奥行情報が示すか否かを決定し、それに応じて、画素に対する視差値を算出しうる。第１の画像の画素に対する視差値を算出する例示的な方法は、図５に関してより詳細に下に記述される。

次に、視点合成ユニット４４は、第１の画像および視差値に基づいて第２の画像を作り出しうる（１６４）。例えば、視点合成ユニット４４は、第１の画像の複製から開始しうる。次に、非ゼロの視差値ｄを有し、位置（ｘ，ｙ）にある第１の画像の各画素について、視点合成ユニット４４は、位置（ｘ+ｄ、ｙ）にある第２の画像内の画素の値を画素の値ｐに変更しうる。視点合成ユニット４４は、さらに、例えば、周囲の画素の値に基づいて、穴埋め技術を用いて、第２の画像の位置（ｘ，ｙ）にある画素の値を変更しうる。第２の画像を合成した後、画像ディスプレイ４２は、第１の画像および第２の画像を、例えば、同時に、または、矢継早に表示しうる。

図５は、画素についての奥行情報に基づいて、この画素に対する視差値を算出するための例示的な方法を示すフローチャートである。図５の方法は、図４のステップ１６４に対応しうる。視点合成モジュール４４は、立体画法ペア、すなわち、シーンの３次元視点を生成するために使用される画像のペア、ここで、ペアの２つの画像は、わずかに異なる角度からの同じシーンの画像である、で第２の画像を生成するための画像内の各画素に対して図５の方法を繰り返しうる。最初に、視点合成モジュール４４は、例えば、デプスマップ画像によって提供されるような、画素の奥行値を決定しうる（１８０）。

次に、視点合成モジュール４４は、画素の奥行値が、例えば、ｄ０などの収束奥行から比較的小さい値δを差し引いたものよりも低いか否かを決定しうる（１８２）。そうである場合（１８２の「はい」分岐の場合）、視点合成モジュール４４は、ユーザが構成可能であり、ゼロから正の最大視差値までの、可能な正の視差値の範囲に奥行値をマッピングする関数を使用して、画素に対する視差値を算出しうる（１８４）。例えば、ｘが画素の奥行値を表し、ｄ_ｍｉｎが画素に対する可能な最小奥行値を表し、ｄｉｓ_ｐが正の最大視差値を表す場合、視点合成モジュールは、以下の式を使用して、画素に対する視差を算出しうる：

一方、画素の奥行値が、スクリーンの奥行から比較的小さい値δを差し引いたものよりも低くない場合（１８２の「いいえ」分岐の場合）、視点合成モジュール４４は、画素の奥行値が、例えばｄ_０などの収束奥行に比較的小さい値δを足したものよりも大きいか否かを決定しうる（１８６）。そうである場合（１８６の「はい」分岐の場合）、視点合成モジュール４４は、ユーザが構成可能であり、ゼロから負の最大視差値までの、可能な負の視差値の範囲に奥行値をマッピングする関数を使用して、画素に対する視差値を算出しうる（１８８）。例えば、ｘが画素の奥行値を表し、ｄ_ｍａｘが画素に対する可能な最大奥行値を表し、−ｄｉｓ_ｎが可能な最大（または最小）視差値を表す場合、視点合成モジュールは、以下の式を使用して、画素に対する視差を算出しうる：

画素がｄ_０−δとｄ_０+δとの間にある場合（１８６の「いいえ」分岐）、視点合成モジュール４４は、画素に対する視差値がゼロであると決定しうる（１９０）。この方式において、宛先デバイス４０は、可能な正および負の視差値の範囲と、各画素の奥行値に基づいて、画像の画素に対する視差値を算出しうる。それに応じて、宛先デバイス４０は、視差値を算出し、最終的には、同時または矢継早に表示されうるシーンの第２の画像をシーンの第１の画像から生成して、シーンを３次元表現で表示するために、焦点距離、実世界にける奥行範囲、仮定されたカメラまたは目の距離、あるいは、他のカメラパラメータを参照する必要はない。

２つの画像の画素間の視差は、一般的に、下記の式によって記述されうる：

ここで、Δｕは、２つの画素間の視差であり、ｔ_ｒは、同じシーンの２つの画像をキャプチャする２つのカメラの距離であり、ｚ_ｗは、画素の奥行値であり、ｈは、カメラの位置と、２つのカメラによって撮影された、シーンの被写体からの収束線が通る、カメラを通過する平面上のポイントとの差分に関するシフト値であり、ｆは、収束線が、主軸と呼ばれる、カメラから収束平面への垂直線と交わる距離を記述する焦点距離である。

シフト値ｈは、典型的に、視差の算出が下記のとおり表されうるように、制御パラメータとして使用される：

ここで、ｚ_ｃは、視差がゼロである奥行を表す。

正の最大視差ｄｉｓ_ｐおよび負の最大視差ｄｉｓ_ｎが存在すると仮定する。対応する実世界奥行範囲が［ｚ_ｎｅａｒ，ｚ_ｆａｒ]であるとすると、実世界座標における画素の奥行は、ｚ_ｗである。次に、画素に対する視差は、焦点距離およびカメラ（または、目）の距離に依存せず、よって、画素に対する視差は、以下のように算出される：

これを実演するために、負の最大視差に対応する最も遠い画素は以下のように定義される：

これは、ｚ_ｆａｒが実世界における最大距離を記述すると仮定されるためである。同様に、正の最大視差に対応する最も近い画素は、以下のように定義される：

同様に、これは、ｚ_ｎｅａｒが実世界における最短距離を記述すると仮定されるためである。よって、ｚ_ｗがｚ_ｃよりも大きい場合、負の視差は、次のように算出されうる：

一方、ｚ_ｗがｚ_ｃよりも小さい場合、正の視差は、次のように算出されうる：

本開示は、画像のデプスマップがエラーを有しうること、および、奥行範囲［ｚ_ｎｅａｒ，ｚ_ｆａｒ]の推定が難しいことを認識する。最大視差値ｄｉｓ_ｎおよびｄｉｓ_ｐを推定すること、および、被写体をｚ_ｃの手前または後方に相対的に位置づけると仮定することは、より容易であろう。シーンは、異なる解像度でキャプチャされ、３次元ワーピングの後、画素に対する視差は、この解像度に比例しうる。換言すると、最大視差値は、正の最大視差が、ｄｉｓ_ｐ＝Ｎ×βとして算出され、負の最大視差が、ｄｉｓ_ｎ=Ｎ×αとして算出されうるように、ディスプレイの解像度Ｎおよびレートαおよびβに基づいて算出されうる。

奥行推定アルゴリズムは、被写体間の相対的な奥行を推定する際、ｚ_ｎｅａｒおよびｚ_ｆａｒに対する完全に正確な奥行範囲を推定するよりも正確でありうる。さらに、例えば、動きまたはぼやけからのいくつかのキューの実世界奥行値への変換の間、不正確性が存在しうる。このように、実際、視差を算出するための「実際の」式は、次のように簡単にされうる：

ここで、ｄは、例えば、０から２５５までの、［ｚ_ｎｅａｒ，ｚ_ｆａｒ]に関する小さい範囲内の奥行値である。

本開示の技術は、単一の奥行値ｄ_０よりもむしろ可能な奥行値の３つの範囲を考慮することがよりロバストであることを認識する。上に記述されたｆ_１（ｘ）が−ｄｉｓ_ｎ×ｇ_１（ｘ)に等しく、ｆ_２（ｘ）がｄｉｓ_ｐ×ｇ_２（ｘ）に等しいと仮定すると、本開示の技術が結果的に生じる。すなわち、ｐが画素を表し、奥行（ｐ）が画素ｐに関連付けられた奥行値を表す場合、ｐの視差は、次のように算出されうる：

１つ以上の例において、記述された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらのあらゆる組み合わせに実施されうる。ソフトウェアで実施された場合、これら機能はコンピュータ読取可能な媒体上の１または複数の命令またはコードとして記憶または送信されうる。コンピュータ読取可能な媒体は、データ記憶媒体のような有形媒体に対応するコンピュータ読取可能な記憶媒体、または、例えば、通信プロトコルにしたがい、ある場所から別の場所へのコンピュータプログラムの移送を容易にする任意の媒体を含む通信媒体を含みうる。この方式において、コンピュータ読取可能な媒体は、一般的に、（１）非一時的である有形のコンピュータ読取可能な記憶媒体、あるいは、（２）信号または搬送波のような通信媒体に対応しうる。データ記憶媒体は、本開示に記述された技術を実施するための命令、コード、および／またはデータ構造を検索するために、１または複数のコンピュータまたは１または複数のプロセッサによってアクセスされることができる任意の利用可能な媒体でありうる。それに制限されない例として、そのようなコンピュータ読取可能な記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭまたは他の光学ディスク記憶装置、磁気ディスク記憶装置または他の磁気記憶デバイス、フラッシュメモリ、もしくは、コンピュータによってアクセスされることができ、命令やデータ構造形で所望のプログラムコードを記憶または記憶するために使用可能な任意の別媒体を備えることができる。任意の接続も適切にコンピュータ読取可能な媒体と呼ばれる。例えば、命令が、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、ラジオ、マイクロ波などの無線テクノロジを使用して、ウェブサイト、サーバ、または他のリモートソースから送信された場合、この同軸ケーブル、光ファイバケーブル、ツイストペア、ＤＳＬ、または赤外線、ラジオ、マイクロ波などの無線テクノロジは、媒体の定義に含まれる。しかしながら、コンピュータ読取可能な記憶媒体およびデータ記憶媒体が、接続、搬送波、信号、または、別の一時的な媒体を含まず、代わりに、非一時的な有形の記憶媒体に向けられることは理解されるべきである。ディスク（ｄｉｓｋ）とディスク（ｄｉｓｃ）は、本明細書で使用される場合、コンパクトディスク（ＣＤ）、レーザディスク、光ディスク、デジタル多用途ディスク（ＤＶＤ）、フロッピー（登録商標）ディスク、ブルーレイ（登録商標）ディスクを含む。ディスク（ｄｉｓｋ）は通常磁気作用によってデータを再生し、ディスク（ｄｉｓｃ）はレーザーで光学的にデータを再生する。上記の組み合わせもコンピュータ読取可能な媒体の範囲に含まれるべきである。

コードは、１つ以上のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、あるいは、別の等価的な集積回路またはディスクリート論理回路のような１または複数のプロセッサによって実行されうる。それに応じて、「プロセッサ（processor）」という用語は、本明細書で使用される場合、前述の構造のいずれか、あるいは、本明細書に記述された技術の実施に適したあらゆる他の構造を指しうる。加えて、いくつかの態様において、本明細書に記述された機能性は、符号化および復号するように構成された専用のハードウェアおよび／またはソフトウェアモジュール内に提供されるか、あるいは、結合コーデックに組み込まれうる。さらに、本技術は、１または複数の回路または論理エレメントに十分に実施されうる。

本開示の技術は、無線ハンドセット、集積回路（ＩＣ）、または、ＩＣのセット（例えば、チップセット）を含む、広範囲のデバイスまたは装置に実施されうる。様々なコンポーネント、モジュール、又はユニットが本開示に記述され、開示された技術を実行するように構成されたデバイスの機能的な態様を強調するが、異なるハードウェアユニットによる実現を必ずしも要求するわけではない。むしろ、上に記述されたように、様々なユニットは、コーデックハードウェアユニットに結合されるか、あるいは、上に記述された１または複数のプロセッサを含む相互作用ハードウェアユニットの一群によって、適切なソフトウェアおよび／またはファームウェアと共に提供されうる。

様々な例が記述されている。これらの例または他の例は、以下の請求項の範囲内である。

視点合成ユニット４４は、スクリーンの手前または後方に最大奥行（maximum depth）で被写体を表示するための最大視差値で構成されうる。この方式において、視点合成ユニット４４は、ゼロから、正および負の最大視差値までの視差範囲で構成されうる。視聴者は、被写体が宛先デバイス４０によって表示されるスクリーンの手前または後方における最大奥行を変更するために構成を調整しうる。例えば、宛先デバイス４０は、遠隔制御または視聴者が操作しうる他の制御ユニットと通信状態にありうる。遠隔制御は、被写体を表示するスクリーンの手前の最大奥行、および、スクリーン後方の最大奥行を視聴者が制御することを可能にするユーザインターフェースを備えうる。この方式において、視聴者は、視聴経験（viewing experience）を改善するために、画像ディスプレイ４２に対する構成パラメータを調整することができる。

Claims (46)

1. ３次元（３Ｄ）画像データを生成するための方法であって、
   ３Ｄレンダリングデバイスが、複数の画素に関連付けられた奥行情報、および、前記奥行情報がマッピングされる視差範囲に基づいて第１の画像の前記複数の画素に対する視差値を算出すること、
   前記３Ｄレンダリングデバイスが、前記第１の画像と前記視差値とに基づいて前記第２の画像を生成することと、
   を備え、前記視差値は、第２の画像の複数の画素のうちの対応する１つの水平オフセットを表す、方法。
2. 前記複数の画素のうちの１つについて前記視差値を算出することは、
   前記奥行情報の奥行値を、定義された視差範囲内の視差値にマッピングする関数を選択することと、
   前記複数の画素の前記１つについて前記奥行情報に基づいて前記選択された視差関数を実行することと、
   を備える、請求項１に記載の方法。
3. 前記複数の画素に対する前記視差値を算出することは、前記複数の画素のうちの少なくとも１つについて、
   前記複数の画素の前記１つについての前記奥行情報の奥行値が、収束奥行値に第１の許容値を足したものよりも大きい奥行値を備える第１の範囲内であるか、前記収束奥行値から第２の許容値を差し引いたものよりも小さい奥行値を備える第２の範囲内であるか、前記収束奥行値に前記第１の許容値を足したものと、前記収束奥行値から前記第２の許容値を差し引いたものとの間の奥行値を備える第３の範囲内であるかを決定することと、
   前記複数の画素の前記１つについての前記奥行情報が前記第１の範囲内である場合に、第１の関数を実行することと、
   前記複数の画素の前記１つについての前記奥行が前記第２の範囲内である場合に、第２の関数を実行することと、
   前記複数の画素の前記１つについての前記奥行情報が前記第３の範囲内である場合に、前記複数の画素の前記１つの前記視差値をゼロに等しく設定することと
   を備える、請求項１に記載の方法。
4. 前記視差範囲は、負の最小視差値−ｄｉｓ_ｎを備え、前記第１の関数は、前記第１の奥行範囲の奥行値を、−ｄｉｓ_ｎから０までの負の視差値にマッピングする単調減少関数を備える、請求項３に記載の方法。
5. 受信された視差調整値にしたがって、前記負の最小視差値を変更することをさらに備える、請求項４に記載の方法。
6. 前記３Ｄディスプレイデバイスに通信的に結合された遠隔制御デバイスから前記視差調整値を受信することをさらに備える、請求項５に記載の方法。
7. 前記受信された視差調整値は、前記第２の画像の幅のパーセンテージで表される、請求項５に記載の方法。
8. 前記視差範囲は、正の最大視差値ｄｉｓ_ｐを備え、前記第２の関数は、前記第２の奥行範囲の奥行値を、０からｄｉｓ_ｐまでの正の視差値にマッピングする単調減少関数を備える、請求項３に記載の方法。
9. 受信された視差調整値にしたがって、前記正の最大視差値を変更することをさらに備える、請求項８に記載の方法。
10. 前記３Ｄディスプレイデバイスに通信的に結合された遠隔制御デバイスから前記視差調整値を受信することをさらに備える、請求項９に記載の方法。
11. 前記受信された視差調整値は、前記第２の画像の幅のパーセンテージで表される、請求項９に記載の方法。
12. 前記第１の関数は、
    

    

    を備え、前記第２の関数は、
    

    

    を備え、ｄ_ｍｉｎは、最小奥行値を備え、ｄ_ｍａｘは、最大奥行値を備え、ｄ_０は、前記収束奥行値を備え、δ_１は、前記第１の許容値を備え、δ_２は、前記第２の許容値を備え、ｘは、前記複数の画素の前記１つに対する前記奥行値を備え、−ｄｉｓ_ｎは、前記視差範囲に対する負の最小視差値を備え、ｄｉｓ_ｐは、前記視差範囲に対する正の最大視差値を備える、請求項３に記載の方法。
13. 前記視差値を算出することは、カメラモデル、焦点距離、実世界奥行範囲値、低ダイナミックレンジ奥行値から実世界奥行値への変換、実世界収束距離、視聴距離、および、表示幅を直接使用することなく、前記視差値を算出することを備える、請求項１に記載の方法。
14. ３次元画像データを生成するための装置であって、
    複数の画素に関連付けられた奥行情報、および、前記奥行情報がマッピングされる視差範囲に基づいて第１の画像の前記複数の画素に対する視差値を算出し、前記第１の画像および前記視差値に基づいて、前記第２の画像を生成するように構成された視点合成ユニットを備え、
    前記視差値は、第２の画像の複数の画素のうちの対応する１つの水平オフセットを記述する、装置。
15. 前記複数の画素のうちの少なくとも１つに対する前記視差値を算出するために、前記視点合成ユニットは、
    前記複数の画素の前記１つについての前記奥行情報の奥行値が、収束奥行値に第１の許容値を足したものよりも大きい奥行値を備える第１の範囲内であるか、前記収束奥行値から第２の許容値を差し引いたものよりも小さい奥行値を備える第２の範囲内であるか、前記収束奥行値に前記第１の許容値を足したものと前記収束奥行値から前記第２の許容値を差し引いたものとの間の奥行値を備える第３の範囲内であるかを決定し、
    前記複数の画素の前記１つについての前記奥行情報が前記第１の範囲内である場合に、第１の関数を実行し、
    前記複数の画素の前記１つについての前記奥行情報が前記第２の範囲内である場合に、第２の関数を実行し、
    前記複数の画素の前記１つについての前記奥行情報が前記第３の範囲内である場合に、前記複数の画素の前記１つの前記視差値をゼロに等しく設定する
    ように構成される、請求項１４に記載の装置。
16. 前記視差範囲は、負の最小視差値−ｄｉｓ_ｎを備え、前記第１の関数は、前記第１の奥行範囲内の奥行値を、−ｄｉｓ_ｎから０までの負の視差値にマッピングする単調減少関数を備える、請求項１５に記載の装置。
17. 受信された視差調整値にしたがって、前記負の最小視差値を変更するように構成された視差範囲構成ユニットをさらに備える、請求項１６に記載の方法。
18. 前記視差範囲構成ユニットは、前記装置に通信的に結合された遠隔制御デバイスから前記視差調整値を受信するように構成される、請求項１７に記載の装置。
19. 前記受信された視差調整値は、前記第２の画像の幅のパーセンテージで表される、請求項１７に記載の装置。
20. 前記視差範囲は、正の最大視差値ｄｉｓ_ｐを備え、前記第２の関数は、前記第２の奥行範囲内の奥行値を、０からｄｉｓ_ｐまでの正の視差値にマッピングする単調減少関数を備える、請求項１５に記載の装置。
21. 受信された視差調整値にしたがって、前記正の最大視差値を変更するように構成された視差範囲構成ユニットをさらに備える、請求項２０に記載の方法。
22. 前記視差範囲構成ユニットは、前記装置に通信的に結合された遠隔制御デバイスから前記視差調整値を受信するように構成される、請求項２１に記載の装置。
23. 前記受信された視差調整値は、前記第２の画像の幅のパーセンテージで表される、請求項２１に記載の装置。
24. 前記第１の関数は、
    

    

    を備え、前記第２の関数は、
    

    

    を備え、ｄ_ｍｉｎは、最小奥行値を備え、ｄ_ｍａｘは、最大奥行値を備え、ｄ_０は、前記収束奥行値を備え、δ_１は、前記第１の許容値を備え、δ_２は、前記第２の許容値を備え、ｘは、前記複数の画素のうちの１つに対する前記奥行値を備え、−ｄｉｓ_ｎは、前記視差範囲に対する負の最小視差値を備え、ｄｉｓ_ｐは、前記視差範囲に対する正の最大視差値を備える、請求項１５に記載の装置。
25. ３次元（３Ｄ）画像データを生成するための装置であって、前記方法は、
    複数の画素に関連付けられた奥行情報、および、前記奥行情報がマッピングされる視差範囲に基づいて第１の画像の前記複数の画素に対する視差値を算出するための手段と、
    前記第１の画像および前記視差値に基づいて前記第２の画像を生成するための手段と、
    を備え、前記視差値は、第２の画像の複数の画素のうちの対応する１つの水平オフセットを表す、装置。
26. 前記複数の画素のうちの１つの前記視差値を算出するための手段は、
    前記複数の画素の前記１つについての前記奥行情報の奥行値が、収束奥行値に第１の許容値を足したものよりも大きい奥行値を備える第１の範囲内であるか、前記収束奥行値から第２の許容値を差し引いたものよりも小さい奥行値を備える第２の範囲内であるか、前記収束奥行値に前記第１の許容値を足したものと、前記収束奥行値から前記第２の許容値を差し引いたものとの間の奥行値を備える第３の範囲内であるかを決定するための手段と、
    前記複数の画素の前記１つについての前記奥行情報が前記第１の範囲内である場合に、第１の関数を実行するための手段と、
    前記複数の画素の前記１つについての前記奥行情報が前記第２の範囲内である場合に、第２の関数を実行するための手段と、
    前記複数の画素の前記１つについての前記奥行情報が前記第３の範囲内である場合に、前記複数の画素のうちの１つの前記視差値をゼロに等しく設定するための手段と
    を備える、請求項２５に記載の装置。
27. 前記視差範囲は、負の最小視差値−ｄｉｓ_ｎを備え、前記第１の関数は、前記第１の奥行範囲内の奥行値を、−ｄｉｓ_ｎから０の範囲までの負の視差値にマッピングする単調減少関数を備える、請求項２６に記載の装置。
28. 受信された視差調整値にしたがって、前記負の最小視差値を変更するための手段をさらに備える、請求項２７に記載の装置。
29. 前記装置に通信的に結合された遠隔制御デバイスから前記視差調整値を受信するための手段をさらに備える、請求項２８に記載の装置。
30. 前記受信された視差調整値は、前記第２の画像の幅のパーセンテージで表される、請求項２８に記載の装置。
31. 前記視差範囲は、正の最大視差値ｄｉｓ_ｐを備え、前記第２の関数は、前記第２の奥行範囲内の奥行値を、０からｄｉｓ_ｐまでの正の視差値にマッピングする単調減少関数を備える、請求項２６に記載の装置。
32. 受信された視差調整値にしたがって、前記正の最大視差値を変更するための手段をさらに備える、請求項３１に記載の装置。
33. 前記装置に通信的に結合された遠隔制御デバイスから前記視差調整値を受信するための手段をさらに備える、請求項３２に記載の装置。
34. 前記受信された視差調整値は、前記第２の画像の幅のパーセンテージで表される、請求項３２に記載の装置。
35. 前記第１の関数は
    

    

    を備え、前記第２の関数は、
    

    

    を備え、ｄ_ｍｉｎは、最小奥行値を備え、ｄ_ｍａｘは、最大奥行値を備え、ｄ_０は、前記収束奥行値を備え、δ_１は、前記第１の許容値を備え、δ_２は、前記第２の許容値を備え、ｘは、前記複数の画素のうちの１つに対する奥行値を備え、−ｄｉｓ_ｎは、前記視差範囲に対する負の最小視差値を備え、ｄｉｓ_ｐは、前記視差範囲に対する正の最大視差値を備える、請求項２６に記載の装置。
36. コンピュータ読取可能な記憶媒体であって、実行された場合に、
    複数の画素に関連付けられた奥行情報、および、前記奥行情報がマッピングされる視差範囲に基づいて、第１の画像の前記複数の画素に対する視差値を算出すること、
    前記第１の画像と前記視差値とに基づいて前記第２の画像を生成すること、
    を、３次元（３Ｄ）画像データを生成するための装置のプロセッサに行わせる命令を備え、前記視差値は、第２の画像の複数の画素のうちの対応する１つの水平オフセットを表す、コンピュータ読取可能な記憶媒体。
37. 前記複数の画素に対する前記視差値を算出させることを前記プロセッサに対して行わせる命令は、前記複数の画素のうちの少なくとも１つについて、
    前記複数の画素の前記１つについての奥行情報の奥行値が、収束奥行値に第１の許容値を足したものよりも大きい奥行値を備える第１の範囲内であるか、前記収束奥行値に第２の許容値を足したものよりも小さい奥行値を備える第２の範囲内であるか、前記収束奥行値に前記第１の許容値したものと、前記収束奥行値から前記第２の許容値を差し引いたもとの間である奥行値を備える第３の範囲内であるかを決定することと、
    前記複数の画素の前記１つについての前記奥行情報が前記第１の範囲内である場合に、第１の関数を実行することと、
    前記複数の画素の前記１つについての前記奥行情報が前記第２の範囲内である場合に、第２の関数を実行することと、
    前記複数の画素の前記１つについての前記奥行情報が前記第３の範囲内である場合に、前記複数の画素のうちの１つの前記視差値をゼロに等しく設定することと
    を、前記プロセッサに行わせる命令を備える、請求項３６に記載のコンピュータ読取可能な記憶媒体。
38. 前記視差範囲は、負の最小視差値−ｄｉｓ_ｎを備え、前記第１の関数は、前記第１の奥行範囲内の奥行値を、−ｄｉｓ_ｎから０までの負の視差値にマッピングする単調減少関数を備る、請求項３７に記載のコンピュータ読取可能な記憶媒体。
39. 受信された視差調整値にしたがって、前記負の最小視差値を変更することを前記プロセッサに行わせる命令をさらに備える、請求項３８に記載のコンピュータ読取可能な記憶媒体。
40. 前記装置に通信的に結合された遠隔制御デバイスから前記視差調整値を受信することを前記プロセッサに行わせる命令をさらに備える、請求項３９に記載のコンピュータ読取可能な記憶媒体。
41. 前記受信された視差調整値は、前記第２の画像の幅のパーセンテージで表される、請求項３９に記載のコンピュータ読取可能な記憶媒体。
42. 前記視差範囲は、正の最大視差値ｄｉｓ_ｐを備え、前記第２の関数は、前記第２の奥行範囲内の奥行値を、０からｄｉｓ_ｐまでの正の視差値にマッピングする単調減少関数を備える、請求項３７に記載のコンピュータ読取可能な記憶媒体。
43. 受信された視差調整値にしたがって、前記正の最大視差値を変更することを前記プロセッサに行わせる命令をさらに備える、請求項４２に記載のコンピュータ読取可能な記憶媒体。
44. 前記装置に通信的に結合された遠隔制御デバイスから前記視差調整値を受信することを前記プロセッサに行わせる命令をさらに備える、請求項４３に記載のコンピュータ読取可能な記憶媒体。
45. 前記受信された視差調整値は、前記第２の画像の幅のパーセンテージで表される、請求項４３に記載のコンピュータ読取可能な記憶媒体。
46. 前記第１の関数は、
    

    

    を備え、前記第２の関数は、
    

    

    を備え、ｄ_ｍｉｎは、最小奥行値を備え、ｄ_ｍａｘは、最大奥行値を備え、ｄ_０は、前記収束奥行値を備え、δ_１は、第１の許容値を備え、δ_２は、前記第２の許容値を備え、ｘは、前記複数の画素のうちの１つに対する前記奥行値を備え、−ｄｉｓ_ｎは、前記視差範囲に対する負の最小視差値を備え、ｄｉｓ_ｐは、前記視差範囲に対する正の最大視差値を備える、請求項３７に記載のコンピュータ読取可能な記憶媒体。

Images