JP2013524625A - ディスパリティ値指標 - Google Patents

Abstract

具体的な実施態様では、ステレオ・ビデオおよびステレオ・ビデオに対応するディスパリティ・マップを受信し、ディスパリティ・マップは実際のディスパリティ値を示さないサンプルを含んでいる。この具体的な実施態様では、サンプルに対応するディスパリティ情報を判定し、ディスパリティ情報に基づいてステレオ・ビデオを処理する。別の実施態様では、ステレオ・ビデオを受信し、ステレオ・ビデオに対応するディスパリティ情報を処理する。さらに別の実施態様では、実際のディスパリティ値を示さないサンプルを含むディスパリティ・マップを生成する。

Description

（関連出願の相互参照）
本願は、２０１０年４月１日出願の「Ｄｉｓｐａｒｉｔｙ Ｖａｌｕｅ Ｉｎｄｉｃａｔｉｏｎｓ（ディスパリティ値指標）」と題する米国仮出願第６１／３１９，９７３号の出願日の利益を主張するものであり、該仮出願の全体が参照によって本明細書内に組み込まれるものとする。

３Ｄに関する実施態様について述べる。様々な具体的な実施態様は、ビデオ・コンテンツのディスパリティ・マップに関する。

立体ビデオでは、左ビデオ画像と右ビデオ画像を含む２つのビデオ画像が与えられる。これら２つのビデオ画像について、奥行き情報（ｄｅｐｔｈ ｉｎｆｏｒｍａｔｉｏｎ）および／またはディスパリティ情報（ｄｉｓｐａｒｉｔｙ ｉｎｆｏｒｍａｔｉｏｎ）が利用可能であり得る。奥行き情報および／またはディスパリティ情報は、これら２つのビデオ画像の様々な処理動作に使用することができる。

一般的な態様によれば、ステレオ・ビデオおよびステレオ・ビデオに対応するディスパリティ・マップが受信され、ディスパリティ・マップは実際のディスパリティ値を示さないサンプルを含んでいる。ディスパリティ情報はサンプルに従って判定される。ステレオ・ビデオは、ディスパリティ情報に基づいて処理される。

別の一般的な態様によれば、ステレオ・ビデオおよびステレオ・ビデオに対応するデンス・ディスパリティ・マップが受信され、ディスパリティ・マップは実際のディスパリティ値を示さないサンプルを含んでいる。ディスパリティ情報はサンプルに従って判定され、サンプルに対応すべき実際のディスパリティ値がある値より小さいかどうか、または大きいかどうかを示す。ステレオ・ビデオは、ディスパリティ情報に基づいて処理され、オーバレイ情報の配置、３Ｄ効果の調節、警告の生成、および新たなビューの合成のうちの少なくとも１つを実行する。

別の一般的な態様によれば、ステレオ・ビデオが受信される。ステレオ・ビデオに対応するディスパリティ情報が処理される。ステレオ・ビデオについてのディスパリティ・マップが生成され、ディスパリティ・マップは、実際のディスパリティ値を示さないサンプルを含んでいる。

１つまたは複数の実施態様の詳細を、添付の図面および以下の記述で説明する。具体的な１つの方法で実施態様が説明されている場合でも、様々な方法で実施態様を構成または実施することができることは明らかであろう。例えば、実施態様は、方法として実行することもできるし、例えば１組の動作を実行するように構成された装置または１組の動作を実行するための命令を記憶した装置などの装置として実施することもできるし、あるいは信号として実施することもできる。その他の態様および特徴は、以下の詳細な説明を、添付の図面および特許請求の範囲と関連付けて考慮すれば、明らかになるであろう。

平行なカメラの実際の奥行き値の絵画的表現図である。 ディスパリティ値の絵画的表現図である。 見かけの奥行きとディスパリティとの間の関係の絵画的表現図である。 輻湊配置されたカメラの絵画的表現図である。 ３Ｄ効果を調節する実施態様を示すブロック図である。 輻湊配置されたカメラおよび輻湊配置されたカメラによって得られる立体画像対の絵画的表現図である。 異なるディスパリティ値を有するオブジェクトを含むピクチャの絵画的表現図である。 影領域の正確なディスパリティ値が未知である立体画像対の絵画的表現図である。 本発明の原理の実施形態による、ディスパリティ・マップを生成する一例を示す流れ図である。 本発明の原理の実施形態による、ディスパリティ・マップを処理してディスパリティ値またはその他のディスパリティ情報を取得する一例を示す流れ図である。 １つまたは複数の実施態様で使用することができる画像処理システムの一例を示すブロック図である。 １つまたは複数の実施態様で使用することができる画像処理システムの別の例を示すブロック図である。

本願で示す特徴の一部の事前説明として、少なくとも１つの実施態様では、ディスパリティ・マップ中のサンプルを使用して、ディスパリティ値またはその他のディスパリティ情報を示す。正確なディスパリティ値が分かっており、それが規定範囲内に収まっている場合には、サンプルはディスパリティ値を指定する。そうでない場合には、サンプルは、ディスパリティ値が所定値または計算値より大きい、または小さいことを示してもよい。この所定値は、上記規定範囲の上限または下限、近傍位置のディスパリティ値、特定値、あるいは特定位置のディスパリティ値であってもよい。計算値は、他の位置における１つまたは複数のディスパリティ値に基づいて計算することができる。また、サンプルは、現在の位置についてディスパリティ値に関する情報が入手できないということを示すこともできる。

上記の事前説明から戻り、図１は、ビデオ画像における奥行きの概念を示している。図１は、センサ１０７を備える右カメラ１０５と、センサ１１２を備える左カメラ１１０とを示している。両カメラ１０５，１１０は、オブジェクト１１５の画像をキャプチャしている。説明上、オブジェクト１１５は物理的な十字架であり、その十字架の右側に配置された任意のディテール１１６を有している（図２参照）。右カメラ１０５は、キャプチャ角１２０を有し、左カメラ１１０は、キャプチャ角１２５を有する。２つのキャプチャ角１２０，１２５は、３Ｄステレオ領域１３０において重なり合う。

オブジェクト１１５は３Ｄステレオ領域１３０内にあるので、オブジェクト１１５は、両方のカメラ１０５，１１０から見ることができ、従って、オブジェクト１１５は、奥行きを有するものとして知覚することができる。オブジェクト１１５は、実際の奥行き１３５を有する。実際の奥行き１３５は、一般に、オブジェクト１１５からカメラ１０５，１１０までの距離である。さらに詳細には、実際の奥行き１３５は、オブジェクト１１５からステレオ・カメラ基線１４０までの距離であってもよく、ステレオ・カメラ基線１４０は、両カメラ１０５，１１０の入射瞳平面によって画定される平面である。カメラの入射瞳平面は、通常はズーム・レンズ内にあるので、通常は物理的にアクセスすることはできない。

また、カメラ１０５，１１０は、焦点距離１４５を有するものとして示されている。焦点距離１４５は、射出瞳平面からセンサ１０７，１１２までの距離である。説明上、入射瞳平面と出射瞳平面とは一致するものとして示してあるが、多くの場合、これらの平面はわずかに離れている。さらに、カメラ１０５，１１０は、基線長１５０を有するものとして示されている。基線長１５０は、カメラ１０５，１１０の入射瞳の中心間の距離であるので、ステレオ・カメラ基線１４０で測定される。

オブジェクト１１５は、カメラ１０５および１１０のそれぞれによって、センサ１０７および１１２のそれぞれで実画像として撮像される。これらの実画像は、センサ１０７上のディテール１１６の実画像１１７と、センサ１１２上のディテール１１６の実画像１１８とを含む。図１に示すように、これらの実画像は、当技術分野で既知のように反転されている。

奥行きは、ディスパリティと密接な関係がある。図２は、カメラ１１０からキャプチャされた左画像２０５およびカメラ１０５からキャプチャされた右画像２１０を示している。両画像２０５，２１０は、ディテール１１６を有するオブジェクト１１５の表示を含む。画像２１０は、オブジェクト１１５のオブジェクト画像２１７を含み、画像２０５は、オブジェクト１１５のオブジェクト画像２１８を含む。ディテール１１６の右遠端は、左画像２０５ではオブジェクト画像２１８の画素２２０でキャプチャされ、右画像２１０ではオブジェクト画像２１７の画素２２５でキャプチャされている。画素２２０の位置と画素２２５の位置との間の水平方向の差が、ディスパリティ２３０である。オブジェクト画像２１７，２１８は、両画像２０５，２１０におけるディテール１１６の画像の垂直方向位置が同じであるように、垂直方向には位置合わせされているものと仮定する。ディスパリティ２３０により、視聴者の左眼が左画像２０５を見て、右眼が右画像２１０を見たときに、オブジェクト１１５の奥行きを知覚することが可能になる。

図３は、ディスパリティと知覚奥行きとの間の関係を示している。３人の観察者３０５，３０７，３０９が、それぞれのスクリーン３１０，３２０，３３０上のオブジェクトの立体画像対を見ているものとして示されている。

第１の観察者３０５は、オブジェクトの左ビュー３１５と、正のディスパリティを有するオブジェクトの右ビュー３１７とを見ている。正のディスパリティは、スクリーン３１０上でオブジェクトの左ビュー３１５がオブジェクトの右ビュー３１７の左側にあることを反映している。ディスパリティが正であることにより、知覚されるオブジェクト３１９、すなわち実際上のオブジェクト３１９は、スクリーン３１０の面より後方にあるように見える。

第２の観察者３０７は、オブジェクトの左ビュー３２５と、ゼロのディスパリティを有するオブジェクトの右ビュー３２７とを見ている。ゼロのディスパリティは、スクリーン３２０上でオブジェクトの左ビュー３２５がオブジェクトの右ビュー３２７と同じ水平方向位置にあることを反映している。ディスパリティがゼロであることにより、知覚されるオブジェクト３２９、すなわち実際上のオブジェクト３２９は、スクリーン３２０と同じ奥行きのところにあるように見える。

第３の観察者３０９は、オブジェクトの左ビュー３３５と、負のディスパリティを有するオブジェクトの右ビュー３３７とを見ている。負のディスパリティは、スクリーン３３０上でオブジェクトの左ビュー３３５がオブジェクトの右ビュー３３７の右側にあることを反映している。ディスパリティが負であることにより、知覚されるオブジェクト３３９、すなわち実際上のオブジェクト３３９は、スクリーン３３０の面より前方にあるように見える。図２では、右画像中の画素２２５が左画像中の画素２２０の左側にあり、これによりディスパリティ２３０の符号が負になっていることに留意されたい。従って、オブジェクト画像２１７および２１８は、（オブジェクト３３９がスクリーン３３０より近くに見えるのと同じように）オブジェクトがスクリーンより近くにあるように見えることになる。

ここで、特に示さない限り、または文脈上必要とされない限り、実施態様においてはディスパリティと奥行きとは交換可能に用いることができることに留意されたい。数式１を用いて、発明者等は、ディスパリティがシーン奥行きに反比例することを知っている。

ここで、「Ｄ」は、奥行き（図１の１３５）を示し、「ｂ」は、２つのステレオ画像カメラ間の基線長（図１の１５０）であり、「ｆ」は、各カメラの焦点距離（図１の１４５）であり、「ｄ」は、２つの対応する特徴点のディスパリティ（図２の２３０）である。

上記の数式１は、同じ焦点距離を有する平行なカメラの場合に有効である。それ以外のシナリオの場合には、さらに複雑な数式を定義することができるが、たいていの場合には、数式１を近似式として使用することができる。ただし、これに加えて、輻湊配置されたカメラの場合には、以下の数式２が有効である。

ここで、ｄ_∞は、無限遠にあるオブジェクトのディスパリティの値である。ｄ_∞は、輻湊角および焦点距離によって決まり、画素数ではなく（例えば）メートル単位で表される。焦点距離については、図１および焦点距離１４５に関連して上述した。輻湊角を、図４に示す。

図４は、図１の平行構成ではなく、輻湊配置構成で位置決めされたカメラ１０５およびカメラ１１０を含む。輻湊角４１０は、輻湊するカメラ１０５，１１０の焦線を示す。

ディスパリティ・マップは、ビデオ画像についてのディスパリティ情報を提供することに用いられる。ディスパリティ・マップは、一般に、関連するビデオ画像中の画素に対応するジオメトリー（幾何学的形状）を有する１組のディスパリティ値を指す。

デンス（密）・ディスパリティ・マップ（ｄｅｎｓｅ ｄｉｓｐａｒｉｔｙ ｍａｐ）とは、一般に、関連するビデオ画像の解像度と同一の空間解像度および時間解像度を有するディスパリティ・マップを指す。時間解像度は、例えばフレーム・レートを指し、例えば５０Ｈｚまたは６０Ｈｚとすることができる。従って、デンス・ディスパリティ・マップは、一般に、画素位置あたり１つのディスパリティ・サンプルを有することになる。デンス・ディスパリティ・マップのジオメトリーは、通常は、対応するビデオ画像のジオメトリーと同じであり、例えば、以下のような水平方向サイズおよび垂直方向サイズ（単位：画素）を有する長方形となる。
（ｉ）１９２０×１０８０（または１９２０×１２００）、
（ｉｉ）１４４０×１０８０（または１４４０×９００）、
（ｉｉｉ）１２８０×７２０（または１２８０×１０２４，１２８０×９６０，１２８０×９００，１２８０×８００）、
（ｉｖ）９６０×６４０（または９６０×６００，９６０×５７６，９６０×５４０）、
（ｖ）２０４８×１５３６（または２０４８×１１５２）、
（ｖｉ）４０９６×３０７２（または４０９６×３１１２，４０９６×２３０４，４０９６×２４００，４０９６×２１６０，４０９６×７６８）、あるいは
（ｖｉｉ）８１９２×４３０２（または８１９２×８１９２，８１９２×４０９６，７６８０×４３２０）

デンス・ディスパリティ・マップの解像度は、関連する画像の解像度と実質的には同じであるが、異なる可能性がある。１つの例では、画像の境界におけるディスパリティ情報を取得することが困難である場合には、境界画素におけるディスパリティを含まないように選択することができ、ディスパリティ・マップは関連する画像より小さくなる。

ダウンサンプリングされたディスパリティ・マップは、一般に、元のビデオの解像度より低い（例えば４の倍数で割った）解像度を有するディスパリティ・マップを指す。ダウンサンプリングされたディスパリティ・マップは、例えば、画素ブロックあたり１つのディスパリティ値を有することになる。

スパース（疎）・ディスパリティ・マップ（ｓｐａｒｓｅ ｄｉｓｐａｒｉｔｙ ｍａｐ）とは、一般に、対応するビデオ画像中で容易に追跡できると考えられる限られた数の画素（例えば１０００）に対応する１組のディスパリティを指す。選択される限られた数の画素は、一般に、コンテンツ自体によって決まる。１つの画像に、１００万または２００万個以上（１２８０×７２０または１９２０×１０８０）の画素があることが多い。画素サブセットの選択は、一般に、特徴点を検出することができるトラッカ・ツールによって、自動的または半自動的に行われる。トラッカ・ツールは、容易に入手することができる。特徴点は、例えば、他の画像中で容易に追跡することができるピクチャ中の縁部または角部の点とすることができる。一般に、オブジェクトの高コントラスト縁部を表す特徴が、画素サブセットとして好ましい。

ディスパリティ・マップ、またはより一般的にはディスパリティ情報は、様々な処理動作に使用することができる。このような動作としては、例えば、一般消費者向け装置上での３Ｄ効果を調節し、インテリジェントな字幕配置、視覚効果、およびグラフィック挿入を実現するためのビュー補間（レンダリング）が挙げられる。

１つの具体例では、グラフィックが、画像の背景に挿入される。一例では、３Ｄ提示は、両者が共に前景にいるスポーツキャスターとフットボール選手との間の立体ビデオ・インタビューを含むことができる。背景は、スタジアムの景色を含む。この例では、ディスパリティ・マップを使用して、対応するディスパリティ値が所定値未満である（すなわち所定値に対応する位置より手前であることを示す）ときに、立体ビデオ・インタビューから画素を選択する。これに対して、ディスパリティ値が所定値より大きい（すなわち所定値に対応する位置より奥であることを示す）場合は、グラフィックから画素を選択する。これにより、例えば、ディレクタは、インタビューの参加者を、実際のスタジアム背景の手前ではなく、グラフィック画像の手前に示すことができる。その他の変形形態では、背景は、例えば選手の最近の得点シーンのリプレイ中のフィールドなど、別の環境で置換される。

一実施態様では、３Ｄ効果は、ユーザの好みに基づいて緩和（低減）される。３Ｄ効果を低減する（ディスパリティの絶対値を小さくする）ためには、ディスパリティおよびビデオ画像を用いて新たなビューを補間する。例えば、既存の左ビューと右ビューとの間の位置に新たなビューを位置づけ、左ビューおよび右ビューの一方を、この新たなビューで置換する。その結果、新たな立体画像対ではディスパリティが低下しているので、３Ｄ効果が低減される。別の実施態様では、それほどよく用いられる方法ではないが、外挿（ｅｘｔｒａｐｏｌａｔｉｏｎ）を行って、画像の見かけの奥行きを強調することができる。図５は、３Ｄ効果調節を実行する画像処理システムを示している。このシステムは、ステレオ・ビデオおよびディスパリティ・マップを、入力部５１０で受信する。ブロック５２０で、これらのステレオ・ビデオおよびディスパリティ・マップに基づいて、ビュー補間／外挿によって新たなビューが生成される。３Ｄ効果の強度に関して、各個人は、それぞれ異なる許容性／選好性を有し得る。すなわち、ある個人が強い３Ｄ効果を好む一方で、別の個人は刺激の少ない３Ｄ効果を好むことがある。このような３Ｄ許容性／選好性は、ユーザ・インタフェース５５０で受信され、ブロック５３０に送られ、それに応じて奥行きが調節される。その後、調節されたステレオ・ビデオは、ディスプレイ５４０に出力される。

別の実施態様では、ディスパリティ・マップを使用して、視聴者の不快感を低減または解消するように、ステレオ・ビデオ中で字幕をインテリジェントに位置決めする。例えば、字幕は、一般に、その字幕が隠している任意のオブジェクトの手前になるような知覚奥行きを有していなければならない。しかし、知覚奥行きは、一般に、関心領域（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）と同程度の奥行きでなければならず、関心領域内にあるオブジェクトより手前過ぎてはならない。

多くの３Ｄ処理動作では、例えば、ユーザによる制御が可能な３Ｄ効果を可能にするためにディスパリティ・マップが使用され得るときには、ダウンサンプリングされたディスパリティ・マップまたはスパース・ディスパリティ・マップよりも、デンス・ディスパリティ・マップの方が好まれる。このような動作では、スパース・ディスパリティ・マップまたはダウンサンプリングされたディスパリティ・マップを用いると合成後のビューの画質が劣化することがあるので、良好な結果を得るためには、画素ごとのディスパリティ情報が必要である。

ディスパリティ値は、様々なフォーマットで表現することができる。いくつかの実施態様では、記憶または伝送のために、以下のフォーマットを用いてディスパリティ値を表現している。
− 符号付き整数：２の補数
・負のディスパリティ値は、スクリーンより手前の奥行きを示す。
・ゼロは、スクリーン面内のオブジェクトのディスパリティ値に対して使用される。
− １／８画素単位
− １６ビットでディスパリティ値を表す
・通常のディスパリティ範囲は＋８０画素から−１５０画素の範囲である。これは、一般に、水平解像度が１９２０または２０４８画素の４０インチ・ディスプレイでは十分である。
・１／８画素精度では、この範囲は＋６４０単位から−１２００単位であり、これは、１１ビット＋符号の分の１ビット＝１２ビットで表すことができる。
・８Ｋディスプレイ（１９２０画素幅または２０４８画素幅のディスプレイの水平解像度の約４倍の解像度を有する）上で同じ３Ｄ効果を維持するためには、通常は、ディスパリティの符号化にさらに２ビット必要となり、１２＋２＝１４ビットが必要となる。
・これにより、２ビットが将来使用するために残される。

さらに、上記のフォーマットを使用する様々な実施態様も、デンス・ディスパリティ・マップを備えている。従って、それらの実施態様のためのデンス・ディスパリティ・マップを完成させるために、上記の１６ビット・フォーマットが対応するビデオ画像中のすべての画素位置で実施される。

上述のように、通常のディスパリティ範囲は、＋８０画素から−１５０画素の範囲である。瞳孔間隔（すなわち両目間の距離）が６５ｍｍであるものと仮定すると、瞳孔間隔は、１９２０×１０８０の空間解像度を有する４０インチ・ディスプレイでは、約１４３画素で測定される。＋８０は瞳孔間隔の測定値の約半分であるので、正のディスパリティ境界は、スクリーンの手前にいる視聴者とほぼ同程度スクリーンから奥に引っ込む遠い方の奥行きに対応する。負のディスパリティ境界は瞳孔間隔の測定値とほぼ等しいので、負のディスパリティ境界は、視聴者とスクリーンとの間のほぼ中程の近い方の奥行きに対応する。この範囲は、一般に、４０インチ・ディスプレイでは十分である。ただし、ステレオ・ビデオの撮影状態が悪い、またはステレオ・ビデオが３Ｄ特殊効果を含む場合には、ディスパリティがこれらの通常は十分な限界を超えることもある。

図６は、輻湊配置されたカメラ６２０および６３０を用いてシーン６１０を撮影したときの、正のオーバフロー（例えば、ディスパリティ値が＋８０画素より大きい）の一例を示している。シーン６１０は、前景に「Ｘ」として示すオブジェクトを含み、背景に数字１〜９を含む。オブジェクト「Ｘ」は、左カメラ６２０では、左画像６４０中の「６」と「７」との間の背景とともにキャプチャされ、右カメラ６３０では、右画像６５０中の「３」と「４」との間にキャプチャされる。ユーザ６６０が「４」に焦点を合わせようと決めた場合、ユーザの右眼は、（右画像６５０中の数字「４」と関連付けて示すように）わずかに右に移動し、ユーザの左眼は、（左画像６４０中の数字「４」と関連付けて示すように）大きく左に移動することになる。これは、平行を超えて目を開散（ｄｉｖｅｒｇｅｎｃｅ）させることになる。すなわち、背景の数字「４」のディスパリティは、ユーザ６６０の瞳孔間隔の測定値より大きく、正のディスパリティ境界およびその正確なディスパリティ値は、上述のディスパリティ・マップ・フォーマットで指定することができない。すなわち、ディスパリティ値は、このフォーマットの表現から「オーバフロー」し、さらにそのオーバフローは、正の方向である。すなわち、真のディスパリティ値は、上記表現で許容される最大の正のディスパリティより大きい。

図７は、負のオーバフロー（例えば、ディスパリティ値が−１５０画素より小さい）の一例を示している。図７は、オブジェクト７１０，７２０，７３０および７４０を含むピクチャを示している。ピクチャの下部には、オブジェクト７１０が視聴者に向かって飛び出していることを示す−１９５画素のディスパリティを有するオブジェクト７１０がある。オブジェクト７２０は、スクリーン・レベルにあり、ディスパリティはほぼゼロであるが、オブジェクト７３０および７４０は、上述のフォーマットの＋８０画素から−１５０画素の範囲内に収まるディスパリティ＋１０および−１０をそれぞれ有している。このピクチャにおいて、オブジェクト７１０は−１９５画素のディスパリティを有し、これは、負のディスパリティ境界を越えている。図６に示す例と同様に、オブジェクト７１０の正確なディスパリティ値は、上述のディスパリティ・マップ表現のフォーマットでは指定することができない。

なお、上記の例において、＋８０画素から−１５０画素の範囲は、ディスパリティが規定のディスパリティ範囲を超える可能性があることを示すために用いたものであることに留意されたい。しかし、この範囲の両端の値またはこの範囲自体のサイズはどちらも、様々なディスパリティ・マップ・フォーマットにおいて変えることができる。１つの例では、テーマパークにおける表現では、効果をより劇的にするために、さらに厳しい負のディスパリティ（すなわちスクリーンから手前中程よりさらに近くまでオブジェクトが来る）が必要とされることもある。別の例では、専門職用の装置が、一般消費者向けの装置より広い範囲のディスパリティに対応していることもある。

ステレオ・ビデオおよび他の入力（例えば前後の画像対との相関）から正確なディスパリティ値を決定することができることは、当業者には周知である。すなわち、十分に高い信頼度で、実際のディスパリティ値を決定することができる。ただし、信頼性レベルが極めて低く、正確なディスパリティ値が実質的に「未知」である可能性がある。例えば、スクリーンの縁部またはオクルージョンによって生じた影領域では、ディスパリティの正確な値が未知である可能性がある。オクルージョンによって未知のディスパリティが生じたとき、正確なディスパリティ値が未知であっても、ディスパリティの限界を導出することはできる。平行な左カメラおよび右カメラを示す図８は、このような例を提供している。

図８は、平行な左カメラ８２０および右カメラ８２５でそれぞれシーン８１０を撮影したときにオクルージョンが起こる例を含んでいる。シーン８１０は、前景に「Ｘ」として示すオブジェクトを含み、背景に数字１〜９を含む。左カメラ８２０は、左画像８３０中にシーン８１０をキャプチャし、右カメラ８２５は、右画像８３５中にシーン８１０をキャプチャしている。画像８３０および８３５中の「Ｘ」の周辺の影領域は、他方のカメラから見えないシーン８１０の部分を示している。例えば、左画像８３０は、左カメラ８２０からは見えるが、右カメラ８２５からは「Ｘ」によって遮られているために見ることができない右カメラ８２５からの画像の部分である影領域を示している。従って、この影部分については、ディスパリティを正確に計算することができない。

プロット８５０および８６０は、水平線８４０に沿った左画像８３０のディスパリティ情報の２つの表現を示す。ディスパリティ値８４１は、中心線８４０沿いに背景が見えるところでは、背景（すなわち数字１〜９）のディスパリティに対応する。この例では、ディスパリティ値８４１は、上記のフォーマット例で許容される最大の正のディスパリティ値より小さい。ディスパリティ値８４２は、中心線８４０に沿った「Ｘ」のディスパリティに対応し、このディスパリティは、「Ｘ」が前景にあるので、ディスパリティ値８４１より負寄り（すなわち正の度合いが低い）である。

しかし、右画像８３５との相関を持たない、左画像８３０中の影付きの「Ｘ」で示されたオクルージョンのために、この領域の実際のディスパリティ値を決定することができず、従って、プロット８５０には、上記のフォーマット例で表現することができる正の極値から負の極値までの任意の値である可能性を表し、さらに正または負のオーバフローである可能性を含む未知の値８５１が示されている。

しかし、ディスパリティの制約を導出して、影部分のディスパリティについてさらなる情報を提供することはできる。例えば、右カメラ８２５の視角が与えられれば、画像８３０中の任意の所与の遮蔽点におけるディスパリティは、未知ではあるが、遮蔽領域の左右の既知のディスパリティ間の直線補間値より大きくなる（より背景側に引っ込む）ことは分かる。このように考えることができるのは、仮にディスパリティが直線補間値より小さい（すなわち手前側）であるとすると、その位置が視聴者側に飛び出すことになり、カメラ８２５に見えているはずだからである。従って、プロット８６０には、ディスパリティ値８６１の制約が示されており、これは、正の極値（さらに正のオーバフローも含む）からディスパリティ値８４２以上のディスパリティ値までの任意の値である可能性が表されている。ディスパリティ値８６１は、遮蔽領域の左端縁部でディスパリティ値８４１に等しく、右端でディスパリティ値８４２に等しい、線形に増加する値以上でなければならない。さらに、状況によっては、ディスパリティの正側の端に同様の境界が存在する可能性がある（例えば、図示はしないが、「Ｘ」が細い場合）。すなわち、遮蔽領域中の未知のディスパリティ値８６１は、あまりに大き過ぎるディスパリティを有することができない。そうでなければ、背景の奥側に引っ込み過ぎて、「Ｘ」の反対側では右カメラから見えなくなってしまう可能性があるからである。

従って、正確なディスパリティ値が未知であるときでも、発明者等は、ディスパリティが特定の値と特定の値との間にある、または特定値より大きい（または小さい）という指標を依然として提供することができる。このようなディスパリティ情報は、字幕を配置するときに使用することができる。例えば、シーン８１０の中心に３Ｄで字幕を配置しなければならない場合に、プロット８５０が与えられたら、「未知」のディスパリティ値８５１が字幕を透過して提示不良を生じる恐れがあるので、遮蔽領域を避けてどこか他の場所に字幕を配置しなければならない。しかし、ディスパリティ値８６１のように、ディスパリティ値が未知であるが制約がある場合には、提示不良の恐れなく、字幕を安全にディスパリティ８４２に（またはそれよりわずかに低い値に、すなわちより手前に）配置することができる可能性がある。従って、未知のディスパリティ表現８５１は、字幕の配置を無用に妨げる（この位置は配置不可）が、未知ではあるが制約のあるディスパリティ表現８６１は、より効果的に使用することができる。

なお、プロット８５０および８６０において、縦軸は、例えば＋８０画素から−１５０画素まで、またはディスパリティ・マップ・フォーマットによって指定される正のディスパリティ境界と負のディスパリティ境界との間、または符号「＋」および「−」で示されるその他の値など、ディスパリティの範囲であることを意図することに留意されたい。

例として、＋８０画素から−１５０画素のディスパリティ範囲および図６〜図８を用いると、この範囲をディスパリティ・マップ・フォーマットで固定したときに、ディスパリティが正確に分からない、または規定の範囲内に収まらない場合があり得ることが示されている。このような場合には、正確なディスパリティ値を指定することはできなくても、何らかのディスパリティ情報をディスパリティ・マップにおいて提供することが有用である。１つのこのような実施態様では、ディスパリティ・マップの所与の位置におけるディスパリティ・サンプルは、単に実際のディスパリティ値が「未知」であることを示すこともできる。上述のように、例えば、字幕が画像中の何かと干渉する可能性があるので、このような情報を使用して、その場所に字幕を挿入することを避けることができる。

しかし、他の実施態様では、単に「未知」のディスパリティを示す以上の精度および情報を提供することもできる。いくつかの状態におけるディスパリティの実際の値またはディスパリティの制約が分かっているので、その他の指標を使用して、追加情報を提供することができる。これらの指標は、例えば、普通なら特定のディスパリティ値を指定する際に使用されないはずの複数の所定値を用いて与えることができる。この場合、プロセッサは、上記複数の所定値をそれぞれの対応する情報と相関させることにより、実際のディスパリティ値を示していないサンプルに関する情報を判定することができる。

その他の考えられる指標としては、例えば以下が含まれる。
（ｉ）正のオーバフロー（例えば正のディスパリティ境界より大きい）。
（ｉｉ）負のオーバフロー（例えば負のディスパリティ境界より小さい）。
（ｉｉｉ）別の位置（例えばある画素の位置）のディスパリティ値より小さい、または大きい。
− 左側の位置のディスパリティ値より小さい。
− 右側の位置のディスパリティ値より小さい。
− 左側の位置のディスパリティ値より大きい。
− 右側の位置のディスパリティ値より大きい。
（ｉｖ）特定の算出されたディスパリティ値より小さい、または大きい。
− 他の２つの既知のディスパリティ値の間の補間値であるディスパリティ値より小さい。
− 他の２つの既知のディスパリティ値の間の補間値であるディスパリティ値より大きい。
（ｖ）２つのディスパリティ値の間（これらのディスパリティ値の一方または両方は、例えば特定の位置の値であってもよいし、算出された、あるいは既知の又は求められた特定の値であってもよい）。

例えば上記に列挙したようなその他の指標は、様々な用途に使用することができる。そのような用途としては、例えば、オーバレイ情報の配置、３Ｄ効果の調節、新たなビューの合成、警告の生成が含まれる。

オーバレイ情報の配置
「未知」のディスパリティが背景にある（「正のオーバフロー」である）ことが実際に分かった場合には、一般に、字幕を画像のその部分の上に配置することが許容される。しかし、「未知」のディスパリティが実際には前景にある（「負のオーバフロー」である）場合には、一般に、字幕が画像のその部分に配置されると、視聴者にとって不快である。例えば「正のオーバフロー」など、これらのその他の指標により、設計者は、画像の上に重ねられるなどしてユーザに対して示される字幕ならびに他の特徴の適切な位置を決定する際に、さらなる情報を使用することが可能になる。こうした他の特徴としては、選択メニュー、ボリューム・レベルおよび他の制御ボタンまたはシステム構成の表示、情報をユーザに対して表示するための追加ウィンドウまたは追加領域が含まれる。

３Ｄ効果の調節
ユーザによっては、図５に示すように３Ｄ効果を強化したり低減したりすることを好むこともある。例えば、ユーザが３Ｄ効果に敏感である場合、そのユーザは、ユーザまでの距離の２５％または５０％を超えてオブジェクトがスクリーンから飛び出して見えることを望まない可能性がある。従って、ディスプレイまたはセット・トップ・ボックスが、ユーザの好みおよびディスパリティ値に基づいて３Ｄ効果を減衰させることがある。しかし、「未知」のディスパリティ値によって、３Ｄ効果の低減は曖昧になるが、制約付きのディスパリティの値では、３Ｄ効果の低減はそれほど曖昧にならない。対照的に、「負のオーバフロー」を使用すると、オブジェクトがユーザのところまで飛び出すというさらに極端な場合となり、従って、３Ｄ効果が低減されるようにディスパリティが修正されることをユーザが好むことになる。

新たなビューの合成
図８の例に示すように、前景のオブジェクトに近い位置のディスパリティ値は、左画像または右画像が前景のオブジェクトによって遮蔽されるために、定めることができないことが多い。オクルージョンにより、ディスパリティ推定方法では、左画像および右画像の両方において対応する位置を見つけることができない。これにより、新たなビューをレンダリング（合成）することが、さらに困難になる。ただし、これらの位置については、実際のディスパリティが未知である場合であっても、ディスパリティに関する情報は大量に入手できることが多い。ディスパリティの制約などの追加情報により、ビュー合成のためのディスパリティの手がかりがさらに多く得られる。

警告の生成
極端なディスパリティ値によって、不快な３Ｄ効果が生じる場合がある。ディスパリティが単に「未知」としかラベリングされていない場合には、そのディスパリティが不快な３Ｄ効果を生み出すのか否かが、ポストプロダクションのオペレータ（例えばステレオグラファなど）に明らかでない。さらに精度の高い指標を用いれば、例えば警告という形態で、有用な情報をステレオグラファに提供して、ステレオグラファが必要に応じて３Ｄ効果を調節できるようにすることができる。図６は、ユーザが、互いに向けて斜めに置かれたカメラを用いて撮影したクローズアップの前景のオブジェクトを見ている例を示している。この場合に、ユーザが背景のオブジェクトを見ようとする可能性があり、その場合、ユーザの目は開散することになる。このような開散はユーザにとって不快である可能性があるので、ステレオグラファは、警告を受け取った場合には、ディスパリティを修正する決断を下すことが可能である。「正のオーバフロー」の指標により、このような警告をステレオグラファに与えることができる。さらに、この警告は、「正のオーバフロー」が発生したこと、および立体画像対が輻湊配置されたカメラでキャプチャされたことを前提として行うことができる。

図９は、一実施例に従ってディスパリティ・マップが生成される方法の一例を示している。この方法では、ディスパリティ・マップの各位置におけるディスパリティ情報が考慮される。上述のように、考慮対象のディスパリティ情報は、正確なディスパリティ値に限定されない。本発明の原理によれば、ディスパリティ値の制約が活用され、これがディスパリティ・マップ中に示される。すなわち、考慮対象のディスパリティ情報には、利用可能な全てのディスパリティに関する情報、例えば正確なディスパリティ値や、図８に示すようなディスパリティ値の制約が含まれる。さらに、正確なディスパリティ値は既知であるが、その値が規定のディスパリティ値の範囲を超えるほど大きい、または小さい場合には、本発明のディスパリティ・マップ・フォーマットは、この情報もキャプチャし、それに応じた指標をディスパリティ・マップ中に含める。これらの指標は、普通なら特定のディスパリティ値を指定する際には使用されないはずの所定値を用いて与えられる。すなわち、正確なディスパリティ値が既知であり、特定の位置で規定の範囲内に収まる場合には、サンプル値はディスパリティ値に設定される。そうでない場合には、サンプル値は、利用可能なディスパリティ情報に従って設定される。全ての位置のサンプル値が設定されると、ディスパリティ・マップが生成される。

図９を参照すると、ディスパリティ値またはその他のディスパリティ情報に基づいてディスパリティ・マップを生成する例示的な方法の全体が、参照番号９００で示されている。方法９００は、機能ブロック９０７に制御を移す開始ブロック９０５を含む。ブロック９０７で、ステレオ・ビデオを受信する。ループ端ブロック９１０で、位置の変数ｉ＝１、…、＃を用いて、ディスパリティ・マップ中の各位置についてループを開始する。ｉ番目の位置についてのディスパリティ情報は、機能ブロック９１５で取得される。ディスパリティ情報は、入力として与えられることもできるし、あるいは、ステレオ・ビデオから特定することもできる。ブロック９２０で、ディスパリティ値（Ｄ）が既知か否かを確認する。ディスパリティ値が既知である場合には、ブロック９３０で、ディスパリティ値が負の限界Ｔ_ｌ未満であるかどうかを確認する。ＤがＴ_ｌ未満である場合には、「負のオーバフロー」であることを示すために、機能ブロック９３５で変数ＳをＳ_ｎｏに設定する。ＤがＴ_ｌ未満でない場合には、ブロック９４０で、Ｄを正の限界Ｔ_ｈと比較する。ＤがＴ_ｈより大きい場合には、「正のオーバフロー」であることを示すために、機能ブロック９４５でＳをＳ_ｐｏに設定する。ＤがＴ_ｈより大きくない（すなわちＤが範囲内にある）場合には、機能ブロック９５０で、Ｓをディスパリティ値Ｄに設定する。

正確なディスパリティ値が指定されていない場合には、ブロック９２５で、ディスパリティに関する他の情報が利用可能であるかどうかを確認する。利用可能な他の情報がない場合には、「未知」であることを示すために、機能ブロック９９３でＳをＳ_ｕに設定する。

他のディスパリティ情報がある場合には、ブロック９５５で、近接位置（左および右）に関するディスパリティ情報が利用可能であるか否かを確認する。近接位置の情報が利用可能である場合には、ブロック９６０で、Ｄがその左のディスパリティ値（Ｄ_ｌ）または右のディスパリティ値（Ｄ_ｒ）より大きいかどうかを確認する。ＤがＤ_ｌ（Ｄ_ｒ）より大きい場合には、その左（右）の位置のディスパリティ値より大きいディスパリティ値であることを示すために、機能ブロック９７０でＳをＳ_ｇｌ（Ｓ_ｇｒ）に設定する。ＤがＤ_ｌ（Ｄ_ｒ）より大きくない場合には、その左（右）の位置のディスパリティ値より大きくないディスパリティ値であることを示すために、機能ブロック９６５でＳをＳ_ｌｌ（Ｓ_ｌｒ）に設定する。近接位置に関する情報が利用できない場合には、ブロック９７５で、計算値（Ｄ_ｃ）に関するディスパリティ情報が利用可能であるかどうかを確認する。計算値は、例えば、他の２つの既知のディスパリティ値の間の補間値とすることができる。計算値Ｄ_ｃに関する情報が利用可能である場合には、ブロック９８０で、ＤがＤ_ｃより大きいか否かを確認する。ＤがＤ_ｃより大きい場合には、ディスパリティ値が計算値より大きいことを示すために、機能ブロック９８６でＳをＳ_ｇｃに設定する。ＤがＤ_ｃより大きくない場合には、ディスパリティ値が計算値未満であることを示すために、機能ブロック９８３でＳをＳ_ｌｃに設定する。Ｄ_ｃに関する情報が利用できない場合には、上記各ブロックに情報が含まれないことを示すために、機能ブロック９８９でＳをＳ_ｎｉに設定する。

様々な状況に対する変数Ｓを取得した後で、機能ブロック９９６で、サンプル値を、ディスパリティ・マップ中のｉ番目の位置のＳに設定する。ブロック９９７で、ループを閉じる。ブロック９９８で、ディスパリティ・マップを出力し、制御を終了ブロック９９９に移す。

あるいは、様々な実施態様では、図９に示すディスパリティ情報より少ないまたは多いディスパリティ情報を考慮することができる。例えば、ある方法では、ディスパリティ境界を示すだけであってもよい。別の例では、方法は、ディスパリティ値が指定値または指定位置のディスパリティ値より小さいかどうか、または大きいかどうかをさらに考慮してもよい。さらに別の例では、方法は、ステレオ・ビデオが平行なカメラでキャプチャされたものか、輻湊配置されたカメラでキャプチャされたものかをさらに考慮してもよい。本発明の原理の教示が与えられれば、当業者なら、ディスパリティ情報を示す他の様々な方法を容易に企図するであろう。

前述のように、通常のディスパリティ範囲は、＋８０画素から−１５０画素の間とすることができる。すなわち、Ｔ_ｌ＝−１５０画素、Ｔ_ｈ＝＋８０画素である。ディスパリティ値以外のディスパリティ情報を示すためには、＋８０画素から−１５０画素の範囲外の値を使用する。例えば、表１にまとめるように、Ｓ_ｎｏ＝８１、Ｓ_ｐｏ＝８２、Ｓ_ｕ＝８３、Ｓ_ｇｌ＝８４、Ｓ_ｇｒ＝８５、Ｓ_ｌｌ＝８６、Ｓ_ｌｒ＝８７、Ｓ_ｇｃ＝８８、Ｓ_ｌｃ＝８９、およびＳ_ｎｉ＝９０である。この表現では、サンプル値を１５０画素だけずらして０から２３０の範囲として、Ｔ_ｌ＝０、Ｔ_ｈ＝２３０とし、２３１から２４０を指標のために残すようにしてもよい。当業者なら、例えば他の値だけずらしたりスケーリングしたりすることによって、他の表現を企図することもできる。

ディスパリティ境界が異なるときには、Ｔ_ｌおよびＴ_ｈについて他の値を使用して、この違いを反映しなければならず、また他のディスパリティ情報を示す値も、それに応じて設定しなければならない。

図１０は、図９に従って生成したディスパリティ・マップを構文解析して、どのようにしてディスパリティ値または他のディスパリティ情報を判定することができるかを示している。この方法では、ディスパリティ・マップの各位置のサンプルを構文解析して、ディスパリティ値または他のディスパリティ情報の何れかを出力する。すなわち、現在の位置におけるサンプル値がディスパリティ範囲内であるときには、このサンプル値をディスパリティ値として採用し、そうでない場合には、このサンプル値を所定の条件と比較して、ディスパリティ情報を与える。

図１０を参照すると、ディスパリティを構文解析する例示的な方法の全体が、参照番号１０００で示されている。方法１０００は、制御を機能ブロック１００７に移す開始ブロック１００５を含む。ブロック１００７で、ステレオ・ビデオおよび対応するディスパリティ・マップを受信する。ループ端ブロック１０１０で、位置の変数ｉ＝１、…、＃を用いて、ディスパリティ・マップ中の各位置についてループを開始する。機能ブロック１０１５で、ｉ番目の位置のサンプルを読み取る。ブロック１０２０で、サンプル値（Ｓ）がＴ_ｌとＴ_ｈとの間の範囲内であるかどうかを確認する。Ｓがこの範囲内にある場合には、機能ブロック１０２５で、ディスパリティ値をＳに設定する。Ｓがこの範囲内にない場合には、ブロック１０５５で、ＳがＳ_ｐｏまたはＳ_ｎｏに等しいかどうかを確認する。ＳがＳ_ｐｏまたはＳ_ｎｏに等しい場合には、機能ブロック１０３０で、ディスパリティ情報を「正のオーバフロー」または「負のオーバフロー」として示す。すなわち、サンプルに対応しているはずの実際のディスパリティ値は、正のディスパリティ境界より大きい（「正のオーバフロー」）か、負のディスパリティ限界より小さい（「負のオーバフロー」）。ＳがＳ_ｐｏまたはＳ_ｎｏと等しくない場合には、ブロック１０６０で、ＳがＳ_ｌｌまたはＳ_ｌｒと等しいかどうかを確認する。ＳがＳ_ｌｌまたはＳ_ｌｒと等しい場合には、機能ブロック１０３５で、ディスパリティ値がその左または右の位置のディスパリティ値よりも小さいと示す。ＳがＳ_ｌｌまたはＳ_ｌｒと等しくない場合には、ブロック１０６５で、ＳがＳ_ｇｌまたはＳ_ｇｒと等しいかどうかを確認する。ＳがＳ_ｇｌまたはＳ_ｇｒと等しい場合には、機能ブロック１０４０で、ディスパリティ値がその左または右の位置のディスパリティ値より大きいと示す。ＳがＳ_ｇｌまたはＳ_ｇｒと等しくない場合には、ブロック１０７０で、ＳがＳ_ｇｃまたはＳ_ｌｃと等しいかどうかを確認する。ＳがＳ_ｇｃまたはＳ_ｌｃと等しい場合には、機能ブロック１０４５で、ディスパリティ値が計算値より大きいまたは小さいと示す。計算値は、ディスパリティ・マップの生成で使用したものと同じ計算を用いて計算される。ＳがＳ_ｇｃまたはＳ_ｌｃと等しくない場合には、ブロック１０７５で、ＳがＳ_ｎｉと等しいかどうかを確認する。ＳがＳ_ｎｉと等しい場合には、ディスパリティ情報が上記各ブロックに含まれない情報を有していると示す。ブロック１０５０で示すこの情報の意味は、ディスパリティ・マップを生成したときの意味（図９，９８９）と同一でなければならない。ＳがＳ_ｎｉと等しくない場合には、ディスパリティ値が未知であると示す。ｉ番目の位置のサンプルを構文解析した後で、ｉ番目の位置について、ディスパリティ値または他のディスパリティ情報を決定する。ブロック１０９０で、ループを閉じる。ブロック１０９５で、決定したディスパリティ値または他のディスパリティ情報に基づいてステレオ・ビデオを処理し、制御を終了ブロック１０９９に移す。

なお、ディスパリティ・マップの構文解析は、通常はディスパリティ・マップの生成と逆であることに留意されたい。例えば、ディスパリティ・マップの生成中および構文解析中には、同じディスパリティ境界を使用しなければならず、またその他のディスパリティ情報の指標が同じ意味を有していなければならない。オフセットやスケーリングなどの動作を使用してディスパリティ・マップを生成するときには、構文解析中に、逆のステップをさらに使用しなければならない。上述のように、ディスパリティ・マップを生成する様々な実施態様が考えられるので、それに応じてそれに対応するディスパリティ・マップを構文解析する様々な実施態様もある。

次に、図１１を参照すると、上述の特徴および原理を適用することができるビデオ伝送システムまたは装置１１００が示してある。例えば、ビデオ伝送システムまたは装置１１００は、例えば、衛星、ケーブル、電話回線または地上波放送など様々な媒体の何れかを用いて信号を伝送するヘッド・エンドまたは伝送システムであってもよい。同様に、またはあるいは、ビデオ伝送システムまたは装置１１００は、例えば記憶用の信号を提供するために使用することもできる。伝送は、インターネットまたはその他の何らかのネットワークを介して行うことができる。ビデオ伝送システムまたは装置１１００は、例えばビデオ・コンテンツや、その他の例えば奥行き値および／またはディスパリティ値を含む奥行きの指標などのコンテンツを生成し、配信することができる。図１１のブロックは、ビデオ伝送システムまたは装置のブロック図を提供するだけでなく、ビデオ伝送プロセスの流れ図を提供していることも明らかであろう。

ビデオ伝送システムまたは装置１１００は、プロセッサ１１０１から入力されるステレオ・ビデオおよびディスパリティ・マップを受信する。一実施態様では、プロセッサ１１０１は、図９に示す方法またはその他の変形形態に従って、ディスパリティ情報を処理してディスパリティ・マップを生成する。プロセッサ１１０１は、例えば入力画像の解像度、ディスパリティ境界、およびどのタイプのディスパリティ情報を考慮するかを示すメタデータを、ビデオ伝送システムまたは装置１１００に提供することもできる。

ビデオ伝送システムまたは装置１１００は、エンコーダ１１０２および符号化信号を伝送することができる送信器１１０４を含む。エンコーダ１１０２は、プロセッサ１１０１からビデオ情報を受信する。ビデオ情報は、例えば、ビデオ画像および／またはディスパリティ（もしくは奥行き）画像を含むことができる。エンコーダ１１０２は、ビデオ情報および／またはディスパリティ情報に基づいて、１つまたは複数の符号化信号を生成する。エンコーダ１１０２は、例えば、ＡＶＣエンコーダとすることができる。ＡＶＣエンコーダは、ビデオ情報およびディスパリティ情報の両方に適用することができる。ＡＶＣは、既存のＩｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ／Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ（ＩＳＯ／ＩＥＣ） Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ−４ （ＭＰＥＧ−４） Ｐａｒｔ １０ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）規格／Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ、Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｅｃｔｏｒ（ＩＴＵ−Ｔ）Ｈ．２６４勧告（以下、「Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ規格」、あるいは「ＡＶＣ規格」、「Ｈ．２６４規格」または単に「ＡＶＣ」もしくは「Ｈ．２６４」などの変形名で記載する）を指す。ステレオ・ビデオおよびディスパリティ・マップを両方とも符号化する場合には、同じエンコーダを同じ符号化構成で使用することも、または同じエンコーダを異なる符号化構成で使用することもできるし、あるいは、例えばステレオ・ビデオにＡＶＣエンコーダを使用してディスパリティ・マップにはロスレス・データ・コンプレッサを使用するなど、異なるエンコーダを使用することもできる。

エンコーダ１１０２は、例えば様々な情報を受信して記憶または伝送に適した構造のフォーマットにアセンブルするアセンブリ・ユニットを含むサブモジュールを含むことができる。この様々な情報としては、例えば、符号化または未符号化ビデオ、符号化または未符号化ディスパリティ（または奥行き）値、ならびに例えば動きベクトル、符号化モード指標およびシンタックス要素などの符号化または未符号化要素が挙げられる。実施態様によっては、エンコーダ１１０２がプロセッサ１１０１を含み、従って、プロセッサ１１０１の動作を実行する。

送信器１１０４は、エンコーダ１１０２から１つまたは複数の符号化信号を受信し、１つまたは複数の出力信号においてその１つまたは複数の符号化信号を送信する。送信器１１０４は、例えば、符号化ピクチャおよびまたは／それに関連する情報を表す１つまたは複数のビットストリームを有するプログラム信号を伝送するようにすることができる。通常の送信器は、例えば、誤り訂正符号化を実行する、信号にデータをインタリーブする、信号中のエネルギーをランダム化する、および変調器１１０６を用いて信号を１つまたは複数の搬送波で変調するなどの機能のうちの１つまたは複数を実行する。送信器１１０４は、アンテナ（図示せず）を含む、またはアンテナ（図示せず）とインタフェース接続することができる。さらに、送信器１１０４の実施態様が変調器１１０６に限定されることもある。

また、ビデオ伝送システムまたは装置１１００は、記憶ユニット１１０８に通信可能に結合される。一実施態様では、記憶ユニット１１０８は、エンコーダ１１０２に結合され、エンコーダ１１０２からの符号化ビットストリームを記憶する。別の実施態様では、記憶ユニット１１０８は、送信器１１０４に結合され、送信器１１０４からのビットストリームを記憶する。送信器１１０４からのビットストリームは、例えば、送信器１１０４によってさらに処理された１つまたは複数の符号化ビットストリームを含むこともある。記憶ユニット１１０８は、別の実施態様では、標準的なＤＶＤ、ブルーレイ・ディスク、ハード・ドライブ、またはその他の何らかの記憶装置のうちの１つまたは複数である。

次に図１２を参照すると、上述の特徴および原理を適用することができるビデオ受信システムまたは装置１２００が示されている。ビデオ受信システムまたは装置１２００は、例えば、記憶装置、衛星、ケーブル、電話回線または地上波放送など様々な媒体を介して信号を受信するように構成することができる。信号は、インターネットまたはその他の何らかのネットワークを介して受信することができる。図１２のブロックは、ビデオ受信システムまたは装置のブロック図を提供するだけでなく、ビデオ受信プロセスの流れ図を提供していることも明らかであろう。

ビデオ受信システムまたは装置１２００は、例えば、携帯電話、コンピュータ、セット・トップ・ボックス、テレビジョン、または例えば符号化ビデオを受信して復号ビデオ信号を表示（例えばユーザに対する表示）、処理または記憶に供するその他の装置とすることができる。従って、ビデオ受信システムまたは装置１２００は、例えばテレビジョンのスクリーン、コンピュータモニタ、コンピュータ（記憶用、処理用、または表示用）、あるいはその他の何らかの記憶装置、処理装置または表示装置に、その出力を提供することができる。

ビデオ受信システムまたは装置１２００は、ビデオ情報を受信して処理することができ、ビデオ情報は、例えば、ビデオ画像および／またはディスパリティ（もしくは奥行き）画像を含むことができる。ビデオ受信システムまたは装置１２００は、例えば本願の実施態様で記載した信号などの符号化信号を受信する受信器１２０２を含む。受信器１２０２は、例えば、ステレオ・ビデオおよび／またはディスパリティ画像の１つまたは複数を与える信号、あるいは図１１のビデオ伝送システム１１００から出力される信号を受信することができる。

受信器１２０２は、例えば、符号化ピクチャを表す複数のビットストリームを有するプログラム信号を受信するようにすることができる。通常の受信器は、例えば変調および符号化されたデータ信号を受信する、復調器１２０４を用いて１つまたは複数の搬送波からデータ信号を復調する、信号中のエネルギーをランダム化解除する、信号中のデータをインタリーブ解除する、および信号を誤り訂正復号するなどの機能のうちの１つまたは複数を実行する。受信器１２０２は、アンテナ（図示せず）を含む、またはアンテナ（図示せず）とインタフェース接続することができる。受信器１２０２の実施態様は、復調器１２０４に限定されることもある。

ビデオ受信システムまたは装置１２００は、デコーダ１２０６を含む。受信器１２０２は、受信信号をデコーダ１２０６に提供する。受信器１２０２によってデコーダ１２０６に提供された信号は、１つまたは複数の符号化ビットストリームを含むことができる。デコーダ１２０６は、例えばビデオ情報を含む復号ビデオ信号などの復号信号を出力する。デコーダ１２０６は、例えばＡＶＣデコーダとすることができる。

また、ビデオ受信システムまたは装置１２００は、記憶ユニット１２０７に通信可能に結合される。一実施態様では、記憶ユニット１２０７は、受信器１２０２に結合され、受信器１２０２は、記憶ユニット１２０７からのビットストリームにアクセスする。別の実施態様では、記憶ユニット１２０７は、デコーダ１２０６に結合され、デコーダ１２０６は、記憶ユニット１２０７からのビットストリームにアクセスする。記憶ユニット１２０７からアクセスされるビットストリームは、別の実施態様では、１つまたは複数の符号化ビットストリームを含む。記憶ユニット１２０７は、別の実施態様では、標準的なＤＶＤ、ブルーレイ・ディスク、ハード・ドライブ、またはその他の何らかの記憶装置のうちの１つまたは複数である。

デコーダ１２０６からの出力ビデオは、一実施態様では、プロセッサ１２０８に提供される。プロセッサ１２０８は、一実施態様では、例えば図１０に示すものなどのディスパリティ・マップ構文解析を実行するように構成されたプロセッサである。実施態様によっては、デコーダ１２０６は、プロセッサ１２０８を含み、従って、プロセッサ１２０８の動作を実行する。その他の実施態様では、プロセッサ１２０８は、例えばセット・トップ・ボックスやテレビジョンなど下流側の装置の一部である。

なお、少なくとも１つの実施態様では、実際のディスパリティ値を指定することができないときに、ディスパリティに関する情報を示すことに留意されたい。例えば、システムは、例えばディスパリティの正の境界、負の境界、近接位置または指定位置のディスパリティ値、あるいは計算値など、ある値より大きいまたは小さいディスパリティを示す。さらなる実施態様では、さらに多くのディスパリティ情報を提供することができ、従って、さらに多くの手がかりを後続の処理のために与えることができる。

ディスパリティは、例えば、動きベクトルを計算するのと同様の方法で計算することができる。あるいは、ディスパリティは、既知のように、また上述のように、奥行き値から計算することもできる。

以上、発明者等は、特定の特性および特徴を有する１つまたは複数の実施態様を提供する。特に、発明者等は、ディスパリティ・マップに関する実施態様をいくつか提供する。ディスパリティ・マップは、例えば一般消費者向け装置における比較的複雑な３Ｄ効果調節や、ポストプロダクションにおける比較的簡単な字幕配置など、様々な用途を可能にする可能性がある。ただし、これらの実施態様の変形形態およびさらなる用途は、本開示によって企図されるものであって、その範囲内に含まれるものであり、記載した実施態様の特性および特徴は、その他の実施態様に適合させることができる。

本願に記載する実施態様および特徴の一部は、ＡＶＣ規格および／またはＡＶＣのＭＶＣ拡張（Ａｎｎｅｘ Ｈ）および／またはＡＶＣのＳＶＣ拡張（Ａｎｎｅｘ Ｇ）の状況で使用することができる。さらに、これらの実施態様および特徴は、別の規格（既存の規格または将来の規格）の状況でも、あるいは規格とは関係のない状況でも使用することができる。

本発明の原理の「一実施例」もしくは「実施例」または「一実施態様」もしくは「実施態様」、ならびにその他のその変形例と述べている場合、それは、当該実施例に関連して述べられる特定の特徴、構造、特性などが、本発明の原理の少なくとも１つの実施例に含まれるという意味である。従って、本明細書の全体を通して様々な箇所に見られる「一実施例において」もしくは「実施例において」または「一実施態様において」もしくは「実施態様において」という表現、ならびに任意のその他の変形表現の出現は、その全てが必ずしも同じ実施例のことを指しているわけではない。

さらに、本願または本願の特許請求の範囲では、様々な情報を「決定する」と述べていることがある。情報を決定するとは、例えば情報を推定する、情報を計算する、情報を予測する、または情報をメモリから取り出すなどのうちの１つまたは複数を含むことができる。

例えば「Ａ／Ｂ」、「Ａおよび／またはＢ」ならびに「ＡおよびＢの少なくとも１つ」の場合には、「／」、「および／または」ならびに「の少なくとも１つ」の何れかを使用することは、１番目に挙げた選択肢（Ａ）のみを選択すること、または２番目に挙げた選択肢（Ｂ）のみを選択すること、または両方の選択肢（ＡおよびＢ）を選択することを含むということであることを理解されたい。さらに別の例として、「Ａ、Ｂおよび／またはＣ」、「Ａ、ＢおよびＣの少なくとも１つ」ならびに「Ａ、ＢまたはＣの少なくとも１つ」の場合には、この表現は、１番目に挙げた選択肢（Ａ）のみを選択すること、または２番目に挙げた選択肢（Ｂ）のみを選択すること、または３番目に挙げた選択肢（Ｃ）のみを選択すること、または１番目と２番目に挙げた選択肢（ＡおよびＢ）のみを選択すること、または１番目と３番目に挙げた選択肢（ＡおよびＣ）のみを選択すること、または２番目と３番目に挙げた選択肢（ＢおよびＣ）のみを選択すること、または３つ全ての選択肢（ＡおよびＢおよびＣ）を選択することを含むということである。当技術分野および関連技術分野の当業者には容易に分かるように、このことは、列挙されている項目の数に応じて拡張することができる。

さらに、多くの実施態様は、エンコーダ（例えばエンコーダ１１０２）、デコーダ（例えばデコーダ１２０６）、デコーダからの出力を処理するポストプロセッサ（例えばプロセッサ１２０８）、またはエンコーダへの入力を提供するプリプロセッサ（例えばプロセッサ１１０１）のうちの１つまたは複数で実施することができる。さらに、その他の実施態様が本開示によって企図される。

本明細書に記載した実施態様は、例えば、方法またはプロセス、装置、ソフトウェア・プログラム、データ・ストリーム、あるいは信号で実施することができる。１つの形態の実施態様の状況でしか述べていない（例えば方法としてしか述べていない）場合でも、述べられている特徴の実施態様を、その他の形態（例えば装置やプログラム）で実施することもできる。装置は、例えば適当なハードウェア、ソフトウェア、およびファームウェアで実施することができる。方法は、例えば、プロセッサなどの装置で実施することができ、プロセッサは、一般に例えばコンピュータ、マイクロプロセッサ、集積回路またはプログラマブル論理デバイスを含む処理デバイスを指す。また、プロセッサとしては、例えばコンピュータ、携帯電話、携帯情報端末（「ＰＤＡ」）、およびエンド・ユーザ間での情報の通信を容易にするその他のデバイスなどの通信デバイスが挙げられる。

本明細書に記載した様々なプロセスおよび特徴の実施態様は、様々な異なる機器またはアプリケーションで実施することができ、具体的には例えば、データの符号化、データの復号、ビューの生成、奥行きまたはディスパリティの処理、ならびに画像とそれに関連する奥行きマップおよび／またはディスパリティ・マップのその他の処理に関連する機器またはアプリケーションで実施することができる。このような機器の例としては、エンコーダ、デコーダ、デコーダからの出力を処理するポストプロセッサ、エンコーダへの入力を提供するプリプロセッサ、ビデオ・コーダ、ビデオ・デコーダ、ビデオ・コーデック、ウェブ・サーバ、セット・トップ・ボックス、ラップトップ、パーソナル・コンピュータ、携帯電話、ＰＤＡ、およびその他の通信デバイスが挙げられる。機器は、移動機器であってもよいし、あるいは移動可能な車両に設置してもよいことは明らかであろう。

さらに、これらの方法は、プロセッサによって命令を実行することによって実施することができ、これらの命令（および／または実施態様により生成されるデータ値）は、例えば集積回路、ソフトウェア・キャリア、あるいは例えばハードディスク、コンパクト・ディスク（「ＣＤ」）、光ディスク（例えばディジタル多用途ディスクまたはディジタル・ビデオ・ディスクと呼ばれることが多いＤＶＤなど）、ランダム・アクセス・メモリ（「ＲＡＭ」）、または読取り専用メモリ（「ＲＯＭ」）などその他の記憶デバイスなどのプロセッサ可読媒体に記憶することができる。これらの命令は、プロセッサ可読媒体上に有形に実施されるアプリケーション・プログラムを形成することができる。命令は、例えば、ハードウェア、ファームウェア、ソフトウェア、または組合せに含めることができる。命令は、例えば、オペレーティング・システム、別個のアプリケーション、またはその両者の組合せに見ることができる。従って、プロセッサは、例えば、プロセスを実行するように構成されたデバイスおよびプロセスを実行するための命令を有するプロセッサ可読媒体（記憶デバイスなど）を含むデバイスの両方の特徴を有することができる。さらに、プロセッサ可読媒体は、命令に加えて、または命令の代わりに、実施態様によって生成されるデータ値を記憶することもできる。

当業者には明らかなように、実施態様は、例えば記憶または伝送することができる情報を担持するようにフォーマット化された様々な信号を生成することができる。このような情報としては、例えば、方法を実行するための命令、または記載した実施態様の１つによって生成されるデータが挙げられる。例えば、信号は、記載した実施例のシンタックスを書き込む、または読み取るための規則をデータとして担持するように、あるいは記載した実施例によって書き込まれた実際のシンタックス値をデータとして担持するようにフォーマット化することができる。このような信号は、例えば、（例えばスペクトルの無線周波部分を用いて）電磁波として、またはベースバンド信号として、フォーマット化することができる。フォーマット化は、例えば、データ・ストリームの符号化、および符号化済みデータ・ストリームによる搬送波の変調を含むことができる。信号が担持する情報は、例えば、アナログ情報またはディジタル情報とすることができる。信号は、既知の通り、様々な異なる有線または無線リンクを介して伝送することができる。信号は、プロセッサ可読媒体に記憶することができる。

いくつかの実施態様について説明した。しかし、様々な修正を加えることができることを理解されたい。例えば、異なる実施態様の要素を組み合わせ、補足し、修正し、または除去して、その他の実施態様を生み出すこともできる。さらに、その他の構造およびプロセスを、開示した構造およびプロセスの代わりに用いることもでき、その結果得られる実施態様では、開示した実施態様と少なくとも実質的には同じである１つまたは複数の機能が、少なくとも実質的には同じである１つまた複数の方法で実行されて、少なくとも実質的には同じである１つまたは複数の結果が得られることは、当業者なら理解するであろう。従って、本願では、上記およびその他の実施態様を企図する。

Claims (21)

1. ステレオ・ビデオおよび前記ステレオ・ビデオに対応するディスパリティ・マップを受信するステップであって、前記ディスパリティ・マップは実際のディスパリティ値を示さないサンプルを含んでいる該ステップ（１００７）と、
   前記サンプルに従ってディスパリティ情報を判定するステップ（１０３０，１０３５，１０４０，１０４５，１０５０，１０８０）と、
   前記ディスパリティ情報に基づいて前記ステレオ・ビデオを処理するステップ（１０９５）と、を含む方法。
2. 前記ディスパリティ・マップはデンス・ディスパリティ・マップであり、前記判定されたディスパリティ情報は前記サンプルに関連付けられた画素に関するディスパリティ情報である、請求項１に記載の方法。
3. 前記ディスパリティ情報は、前記サンプルに関連付けられた画素のグループに関するディスパリティ情報である、請求項１に記載の方法。
4. 前記サンプルは、前記ディスパリティ情報を与える１つまたは複数の選択肢から選択される、請求項１に記載の方法。
5. 前記サンプルは、前記サンプルに対応すべき実際のディスパリティ値がある値より小さいかどうか、または大きいかどうかを示す、請求項４に記載の方法。
6. 前記値は所定値または計算値である、請求項５に記載の方法。
7. 前記計算値は、他の位置における１つまたは複数のディスパリティ値に基づいて計算される、請求項６に記載の方法。
8. 前記計算値は、他の位置における２つのディスパリティ値の補間に基づいて計算される、請求項７に記載の方法。
9. 前記判定するステップは、前記サンプルを複数の所定のディスパリティ条件の各々と相関させて前記ディスパリティ情報を提供することを含む、請求項１に記載の方法。
10. 前記処理するステップは、オーバレイ情報の配置、３Ｄ効果の調節、警告の生成、および新たなビューの合成のうちの１つを含む、請求項１に記載の方法。
11. ３Ｄ効果の強度についてのユーザの好みをユーザ・インタフェースから受信するステップをさらに含み、前記処理するステップは、前記ユーザの好みに応じて前記ステレオ・ビデオを処理することを含む、請求項１に記載の方法。
12. ステレオ・ビデオおよび前記ステレオ・ビデオに対応するデンス・ディスパリティ・マップを受信するステップであって、前記デンス・ディスパリティ・マップは実際のディスパリティ値を示さないサンプルを含んでいる該ステップ（１００７）と、
    前記サンプルに従ってディスパリティ情報を判定するステップであって、前記ディスパリティ情報は、前記サンプルに対応すべき実際のディスパリティ値がある値より小さいかどうか、または大きいかどうかを示す該ステップ（１０３０，１０３５，１０４０，１０４５）と、
    前記ディスパリティ情報に基づいて前記ステレオ・ビデオを処理して、オーバレイ情報の配置、３Ｄ効果の調節、警告の生成、および新たなビューの合成のうちの少なくとも１つを実行するステップ（１０９５）と、を含む方法。
13. ステレオ・ビデオを受信するステップ（９０７）と、
    前記ステレオ・ビデオに対応するディスパリティ情報を処理するステップ（９３５，９４５，９５０，９９３，９６５，９７０，９８３，９８６，９８９）と、
    前記ステレオ・ビデオについてのディスパリティ・マップを生成するステップであって、前記ディスパリティ・マップは実際のディスパリティ値を示さないサンプルを含んでいる該ステップ（９９６，９９８）と、を含む方法。
14. 前記ディスパリティ・マップはデンス・ディスパリティ・マップである、請求項１３に記載の方法。
15. 前記サンプルは、前記ディスパリティ情報を与える１つまたは複数の選択肢から選択される、請求項１３に記載の方法。
16. 前記サンプルは、ある値より小さいまたは大きい実際のディスパリティ値を示す、請求項１５に記載の方法。
17. ステレオ・ビデオおよび前記ステレオ・ビデオに対応するディスパリティ・マップを受信する入力部であって、前記ディスパリティ・マップは実際のディスパリティ値を示さないサンプルを含んでいる該入力部と、
    前記サンプルに従ってディスパリティ情報を判定し、前記ディスパリティ情報に基づいて前記ステレオ・ビデオを処理するプロセッサと、
    を含む装置。
18. ステレオ・ビデオおよび前記ステレオ・ビデオに対応するデンス・ディスパリティ・マップを受信する入力部であって、前記デンス・ディスパリティ・マップは実際のディスパリティ値を示さないサンプルを含んでいる該入力部と、
    前記サンプルに従ってディスパリティ情報を判定し、前記ディスパリティ情報に基づいて前記ステレオ・ビデオを処理して、オーバレイ情報の配置、３Ｄ効果の調節、警告の生成、および新たなビューの合成のうちの少なくとも１つを実行するプロセッサであって、前記情報は、前記サンプルに対応すべき実際のディスパリティ値がある値より小さいかどうか、または大きいかどうかを示す該プロセッサと、を含む装置。
19. ステレオ・ビデオおよび前記ステレオ・ビデオに対応するディスパリティ・マップを受信する手段であって、前記ディスパリティ・マップは実際のディスパリティ値を示さないサンプルを含んでいる該手段と、
    前記サンプルに従ってディスパリティ情報を判定し、前記ディスパリティ情報に基づいて前記ステレオ・ビデオを処理する手段と、を含む装置。
20. ステレオ・ビデオおよび前記ステレオ・ビデオに対応するディスパリティ・マップを受信するステップであって、前記ディスパリティ・マップは実際のディスパリティ値を示さないサンプルを含んでいる該ステップと、
    前記サンプルに従ってディスパリティ情報を判定し、前記ディスパリティ情報に基づいて前記ステレオ・ビデオを処理するステップとを、
    １つまたは複数のプロセッサに共同で実行させる命令を記憶した、プロセッサ可読媒体。
21. ステレオ・ビデオを受信する入力部と、
    前記ステレオ・ビデオに対応するディスパリティ情報を処理するプロセッサと、
    前記ステレオ・ビデオのディスパリティ・マップを生成する出力部であって、前記ディスパリティ・マップは実際のディスパリティ値を示さないサンプルを含んでいる該出力部と、を含む装置。

Images