JP2011223583A - 立体画像を処理するための方法および対応する装置 - Google Patents

Abstract

【課題】本発明は、ビデオシーケンスの少なくとも１つの画像のビデオを処理する方法に関する。
【解決手段】ビデオシーケンスは、複数の画像のペアを含む。各画像のペアは、第１画像および第２画像を含む。第１画像および第２画像は、立体画像を形成することを目的とする。表示不良を減らすために、方法は、動き補償された時間的な補間によって、少なくとも２つの第２画像から、少なくとも１つの第３画像を生成するステップを含む。
【選択図】図２

Description

本発明は、画像またはビデオ処理の分野に関し、より詳細には、三次元（３Ｄ）画像および／またはビデオの処理に関する。本発明は、動き補償による画像の補間の分野にも関する。

先行技術によると、レリーフの知覚を復元するためにビデオ処理で使用される方法の１つは、立体視である。この方法によると、２つの異なるビデオカメラまたは２つの異なるスチールカメラによって、互いに対して横方向にオフセットされた２つの異なる視点から、同じ場面の２つの視界が記録される。２つの異なるカメラによる同じ場面のキャプチャーは、特定の実施形態により図１に示される。２つのカメラ（左カメラＧ１１、および右カメラＤ１２と呼ぶ）によって撮影される場面は、２つの円柱から構成される。これらの第１の円柱１００は、静止している。これらの第２の円柱１１０は、左から右へ行く水平な動きに従って移動して、時刻Ｔ１、Ｔ２、およびＴ３に、３つの連続する空間的位置をとる。左カメラＧ１１、および右カメラＤ１２は、所定の距離（例えば、６．５センチメートル−個人の眼が離れている平均距離に対応する距離）に従って、互いに離間されて、２つの異なる視点（それぞれ１１１および１２１）より、同じ場面を記録する。カメラＧ１１およびＤ１２の各々は、３つの画像で構成されるビデオシーケンスを撮影する。３つの画像の各々は、それぞれ時刻Ｔ１、Ｔ２、およびＴ３にキャプチャーされる。このビデオシーケンスの取得は、図１のタイミングチャート１３にあらわされている。カメラＧ１１は、３つの連続する画像１４、１５、および１６を、それぞれ時刻Ｔ１、Ｔ２、およびＴ３に記録する。カメラＤ１２は、３つの連続する画像１７、１８、および１９を、それぞれ画像１４、１５、および１６と同じ時刻であるＴ１、Ｔ２、およびＴ３に記録する。本説明の残りでは、画像１４、１５、および１６を左画像と呼び、画像１７、１８、および１９を右画像と呼ぶこととする。左画像１４および右画像１７は、同期された方法でキャプチャーされ、時刻Ｔ１において円柱１００および１１０を表わすものである。左画像１５および右画像１８は、同期された方法でキャプチャーされ、時刻Ｔ２において円柱１００および１１０を表わすものである。左画像１６および右画像１９もまた、同期された方法でキャプチャーされ、時刻Ｔ３において円柱１００および１１０を表わすものである。左画像１４および右画像１７は、空間的にオフセットされたカメラ１１および１２によってキャプチャーされる。円柱１００ｇおよび１１０ｇによって左画像１４において表わされる円柱１００および１１０の位置は、円柱１００ｄおよび１１０ｄによって右画像１７において表わされる同じ円柱１００および１１０の位置と同一ではない。２つの画像１４および１７は、同一の寸法である（例えば、１９２０×１０８０画素のＨＤ（High Definition）フォーマット）。一方の円柱１００ｇおよび１１０ｇの位置と、他方の円柱１００ｄおよび１１０ｄの位置との間の違いは、時刻Ｔ２に撮られる画像１５と１８のペア、時刻Ｔ３に撮られる画像１６と１９のペアにもあらわれる。

画像１４〜１９は、二次元でキャプチャーされたとしても、左画像と右画像の各ペア（すなわち、時刻Ｔ１における左画像１４と右画像１７、時刻Ｔ２における左画像１５と右画像１８、および、時刻Ｔ３における左画像１６と右画像１９）は、時刻Ｔ１、Ｔ２、およびＴ３における場面１０の三次元レンダリングを復元する、立体画像を形成することを目的としている。立体画像の復元を可能にする、画像のペア１４／１７、１５／１８、および１６／１９を表示するいくつかの技術がある。これらの技術の１つは、例えば、以下の時間的シーケンス：１４−１７−１５−１８−１６−１９により、左画像の次に右画像を交互に表示することからなる。このような、時間によって左画像と右画像を交互に表示することは、時間的なシーケンシャル表示として知られている。シーケンスの画像の３Ｄでのレンダリングを観ることを欲するユーザは、特定の眼鏡をかけなければならない。特定の眼鏡は、例えばアクティブ眼鏡であり、左目と右目の視界の遮りは、それぞれ、例えばＬＣＤまたはプラズマのタイプの表示装置上の右画像と左画像の表示と同期される。

キャプチャーされた画像の領域が動きを示すとき、時間的なシーケンシャル表示（すなわち、連続する左画像と右画像の表示）は、表示不良につながる。これは、時間において連続して表示される左画像と右画像が、同期された方法でキャプチャーされるという事実に起因している。

本発明の目的は、これらの先行技術の欠点の少なくとも１つを克服することである。

より詳細には、本発明の目的は、動く物体を含むシーケンスの立体表示の表示不良を顕著に減らすことである。

本発明は、少なくとも１つのビデオシーケンスのビデオを処理する方法に関する。ビデオシーケンスは、複数の画像のペアを含む。各画像のペアは、第１画像および第２画像を含む。第１画像および第２画像は、立体画像を形成することを目的とする。この方法は、少なくとも２つの第２画像から動き補償された時間的な補間によって、少なくとも１つの第３画像を生成するステップを含む。

特定の特徴によると、この方法は、少なくとも２つの第２画像から、第３画像の複数の画素における各画素の動きベクトルを推定するステップを含む。

有利なことに、この方法は、表示装置上に第１画像と第３画像を表示するステップを含む。第１画像と第３画像は、それぞれシーケンシャルに表示される。

具体的な特徴によると、この方法は、少なくとも２つの第１画像から動き補償された時間的な補間によって、少なくとも１つの第４画像を生成するステップを含む。

有利なことに、この方法は、表示装置上に第３画像と第４画像を表示するステップを含む。第３画像と第４画像は、それぞれシーケンシャルに表示される。

以下の説明を読むことにより、本発明がより理解され、他の具体的な特徴および有利な点が明らかになるであろう。説明は、添付図面を参照する。

前述したように、従来技術の特定の実施形態によって、２つの記録装置による場面１０を表わすビデオシーケンスの画像のキャプチャーを示す図である。 本発明の実施形態によって、図１に記載された方法によりキャプチャーされた画像の時間的な登録の方法を示す図である。 本発明の特定の実施形態によって、図１に記載された方法によりキャプチャーされた画像の時間的な補間の方法を示す図である。 本発明の２つの実施形態によって、図１に記載された方法によりキャプチャーされた画像の時間的な補間の２つのモードを示す図である。 本発明の２つの実施形態によって、図１に記載された方法によりキャプチャーされた画像の時間的な補間の２つのモードを示す図である。 本発明の特定の実施形態によって、画像処理装置の構造を図示する図である。 本発明の２つの特定の実施形態によって、図５の処理装置で実施されるビデオ画像を処理する方法を示す図である。 本発明の２つの特定の実施形態によって、図５の処理装置で実施されるビデオ画像を処理する方法を示す図である。

図２は、本発明の実施形態による、図１に関して述べたようにキャプチャーされた画像の時間的な登録の方法を示す。図１の要素と同一である図２の要素は、図１と同一の参照番号である。２つの画像を取得する装置（それぞれ左がＧ１１、右がＤ１２）は、２つの異なる視点（それぞれ、左の視点および右の視点）による同一場面の画像シーケンスを記録する。これらの記録の結果は、ビデオシーケンスの取得のタイミングチャート１３によって示される。図２の実装例によると、左のビデオシーケンスは、３つの連続する左画像１４、１５、および１６を含む。これらの画像の各々は、それぞれ時刻Ｔ１、Ｔ２、およびＴ３にキャプチャーされた２つの円柱を含む場面を表わしている。また、右のビデオシーケンスは、３つの連続する右画像１７、１８、および１９を含む。これらの画像は、左画像と同一場面を表わすものであるが、左画像とは別の視点よりキャプチャーされている。３つの右画像１７〜１９は、それぞれ時刻Ｔ１、Ｔ２、およびＴ３にキャプチャーされている。ゆえに、画像１４と１７は、同期された方法で（すなわち、同じ時刻に）、時刻Ｔ１に記録される。画像１５と１８は、同期された方法で、時刻Ｔ２に記録される。画像１６と１９は、同期された方法で、時刻Ｔ３に記録される。右画像と左画像の各ペア１４／１７、１５／１８、および１６／１９は、左と右の取得装置１１と１２の空間距離のおかげで、記録した場面の三次元の視界を復元する、立体画像を形成するのに適している。取得装置１１と１２は、２つの異なる視点より、同一場面を記録する。取得装置１１と１２によって取得された場面の立体視像を、表示装置（例えば、プラズマディスプレイパネル、ＬＣＤ（Liquid Crystal Display）スクリーン）上で復元するため、キャプチャーされた左と右の画像は、次のスキームにより時間においてシーケンシャルに表示される。すなわち、左画像１４、右画像１７、左画像１５、右画像１８、左画像１６、右画像１９など、である。図２に関して示される例によると、右画像１７、１８、および１９は、時間的なシーケンシャル表示と呼ばれる当業者に周知の方法により、それぞれ左画像１４、１５、および１６に対してほんの少し遅れて表示される。表示の遅れは、表示装置２０のアドレッシングの期間に対応し、例えば表示周波数が１００ヘルツのとき１０ミリ秒である。左画像から構成されるビデオシーケンスは、鑑賞者の左目によって見られ、右画像から構成されるビデオシーケンスは、鑑賞者の右目によって見られる。この鑑賞者は、右目のために左画像を遮断し、左目のために右画像を遮断することが可能である適応した眼鏡をかけなければならない。同期された方法で取得された左画像と右画像の表示の時間的なずれは、画像の振動によって特徴づけられる立体画像の表示不良につながる。表示不良は、動く要素（例えば、物体、人）を含むビデオシーケンスを再生するときにあらわれる。この表示不良を減らすために、または取り除くために、ほんの少し遅れて（または、ほんの少し早く）表示される画像の時間的な登録が実行される。図２の例によると、ビデオ処理は、右のビデオシーケンス上で行われる。右画像１７、１８、および１９から構成されるビデオシーケンスの時間的な登録は、時間的に補間される。補間された右画像１７ｉ、１８ｉ、および１９ｉから構成される、補間されたビデオシーケンスが取得される。補間される右画像１７ｉは、右のビデオシーケンスのソース（すなわち、右の取得装置１２によって取得される、右のビデオシーケンス）の画像１７と１８の時間的な補間によって取得される。補間される右画像１８ｉは、右のビデオシーケンスのソースの画像１８と１９の時間的な補間によって取得される。補間される右画像１９ｉは、右のビデオシーケンスのソースの画像１９と画像１９のすぐ後に続く画像（図２に図示せず）の時間的な補間によって取得される。各補間される画像１７ｉ〜１９ｉは、取得した場面を構成する円柱の表現を含む。画像１７ｉ、１８ｉ、および１９ｉは、それぞれ、静止している円柱の表現２００、および３つの異なる時刻に移動する円柱の表現２１０を含む。３つの異なる時刻は、それぞれ、Ｔ１＋δｔ、Ｔ２＋δｔ、およびＴ３＋δｔである。δｔは、先行するソース画像と対応する補間される画像との間の時間的なずれに対応する。すなわち、ソースビデオシーケンスのソース画像の取得時刻と、対応する表示ビデオシーケンスで補間される画像の表示時刻との間の時間的なずれである。ソース画像の表示に関連している表示不良を減らすために、または取り除くために、右画像の補間が動き補償によって実行される。動き補償された補間によって、円柱２００と２１０の位置は、補間される画像の表示の時（すなわち、画像１７ｉはＴ１＋δｔ、画像１８ｉはＴ２＋δｔ、画像１９ｉはＴ３＋δｔ）に決定することが可能である。ゆえに、右ビデオシーケンスに適用される、動き補償による画像の補間は、補間される画像が、キャプチャー時刻からのずれδｔに対応する内容を有するよう生成され、すなわち、表示装置上の左画像と右画像との表示間にある継続期間からずらされることを可能にし、関連するソース画像（すなわち、補間される画像１７iのソース画像１７、補間される画像１８ｉのソース画像１８、補間される画像１９ｉのソース画像１９）の実際のキャプチャー時刻と一致しない。

変形形態によると、左画像１４〜１６は、それぞれ右画像１７〜１９に対してほんの少し早く表示される。この変形形態によると、動き補償された補間は、左画像を含む左ビデオシーケンス上で実行される。

他の変形形態によると、左画像１４〜１６は、それぞれ右画像１７〜１９に対してほんの少し遅れて表示される。この変形形態によると、動き補償された補間は、左画像を含む左ビデオシーケンス上で実行される。

他の変形形態によると、動き補償された補間は、左ビデオシーケンス上および右ビデオシーケンス上で実行される。

変形形態によると、画像１４と１７のペア、画像１５と１８のペア、および画像１６と１９のペアは、共通のクロックと比べて同期された方法で記録される。すなわち、画像１４と１７は所定の遅れで取得され、画像１５と１８は同じ所定の遅れで取得され、画像１６と１９は同じ所定の遅れで取得されることが可能である。

図３は、本発明の非制限的な実施形態により、図１および２に関連して記載された方法によってキャプチャーされたソース画像の動き補償された補間の方法を示す。補間される画像Ｉ ３１は、ソースビデオシーケンスの２つのソース画像３０と３２から補間される。これらのソース画像の第１のもの３０を先行ソース画像Ｔ−１と呼び、これらのソース画像の第２のもの３２を現行ソース画像Ｔと呼ぶ。先行ソース画像Ｔ−１ ３０と補間されるＩ ３１の画像との間の時間的なずれは、δｔ１に等しい。補間されるＩ ３１の画像と現行ソース画像Ｔ３２との間の時間的なずれは、δｔ２に等しい。動き補償されたビデオの補間は、有利なことに、動き推定のステップ、その後に補間のステップを含む。動き推定は、補間するＩ３１の画像の各点の動きベクトルを定義することからなる。画像Ｉ ３１は、２つのソース画像Ｔ−１ ３０とＴ ３２との間に、時間的に位置する。動き推定のステップは、有利なことに、２ステップ、すなわち、予測のステップおよび補正のステップで実行される。予測のステップは、補間されるＩ ３１の画像の画素の各々について、隣接画素について既に計算された動きベクトルからの動きベクトルおよび先行ソース画像Ｔ−１ ３０について計算された動きベクトルの推定を定義することと、補間される画像Ｉ ３１と考えられる画素を渡すことからなる。すでに計算されている動きベクトルは、例えば、先行する画素ラインのｎ個の隣接した画素である。予測は、その後、事前計算されている動きベクトルｎ＋１の中から、選択することからなる。動きベクトルは、最も小さなＤＦＤ（Displacement Frame Difference）値を生成する。補正のステップは、その後、可能であれば、補間されるＩ ３１の画像と考えられる画素のＤＦＤをさらに減らすために選択された動きベクトルをその軸の周りで回転することからなる。動き推定は、有利なことに、補間されるＩ ３１の画像のいくつかの画素（例えば、画素全体の２５パーセント、または画素全体の４分の１または５０パーセント、または２分の１など）について実行される。変形形態によると、動き推定は、補間されるＩ ３１の画像の画素のセットで実行される。他の変形形態によると、動き推定のステップは、１つのステップで実行される。

動き推定のステップに続く補間のステップは、有利なことに、バイリニアの補間である。先行ソース画像Ｔ−１ ３０と現行ソース画像Ｔ ３２との間で補間される画像Ｉ ３１の場合、前に定義された動きベクトルは、各ソース画像の画像点を指し示している。この画像点は、１画素または４画素間に位置している点のいずれかである。シングルフレーム補間の場合、バイリニアの補間は、補間される画像の見なされた画素Ｐ_I３０１に値を割り当てることからなる。この値は、画素Ｐ_Iの推定動きベクトルによるソース画像（例えば、現行ソース画像）のうちの１つにおいて指し示される４画素の値のバイリニア関数ｆである。例えば、ＮＶ₁、ＮＶ₂、ＮＶ₃、およびＮＶ₄が、現行ソース画像Ｔ ３２における動きベクトルによる、指し示された画像Ｐ_T３０２の点に近い４画素の値（たとえば、それらのビデオレベルＮＶ）を指定する場合、かつ、α₁、α₂、α₃、およびα₄が、画像点Ｐ_Tと前記画素の近接性を表わす重み付け係数である場合、補間されるＩ ３１の画像の画素Ｐ_I３０１に割り当てられる値は、

である。動きベクトルが、４画素のうち特定の画素を指し示す場合、３つの他の画素に割り当てられた重み付け係数はゼロであり、見なされた画素に割り当てる値はこの特定の画素の値である。ダブルフレーム補間の場合、バイリニアの補間が同一の方法にてなされるが、８画素、すなわち先行ソース画像の４画素と現行ソース画像の４画素である。変形形態によると、動きベクトル（または、その反対）によって指し示されるソース画像は、先行ソース画像Ｔ−１ ３０であり、指し示される画像点は、Ｐ_t-1３００である。変形形態によると、例えば、固定領域で時間的なバイリニアの補間によって、画像の重要な領域（すなわち、動きベクトルの信頼性が低い領域）での時空間フィルタリングによって、または、当業者に周知のいずれかの方法によって、補間は実行される。他の変形形態によると、補間は、前述の方法のいずれかの組み合わせによって実行される。

変形形態によると、動き補償された補間は、単一ステップで実行される。

図４Ａおよび４Ｂは、本発明の２つの特定の実施形態によって、図１および２に関して記載された方法によりキャプチャーされたソース画像の時間的な補間の２つのモードを示す。

図４Ａは、動き補償された時間的な補間の第１の例を示す。図４Ａにて、実線のピーク４０１ｇ、４０２ｇ、および４０３ｇは、左取得装置によって取得されるソース左画像をあらわす。左画像４０２ｇは、現行画像Ｔと呼ばれる画像に対応する。左画像４０１ｇは、先行画像Ｔ−１と呼ばれる画像に対応する。左画像４０３ｇは、後行画像Ｔ＋１と呼ばれる画像に対応する。３つの左画像４０１ｇ〜４０３ｇは、左ビデオシーケンスに属し、時間的な観点から連続している。実線のピーク４０１ｄ、４０２ｄ、および４０３ｄは、右取得装置によって取得されるソース右画像をあらわす。右画像４０２ｄは、現行画像Ｔと呼ばれる画像に対応する。右画像４０１ｄは、先行画像Ｔ−１と呼ばれる画像に対応する。右画像４０３ｄは、後行画像Ｔ＋１と呼ばれる画像に対応する。３つの右画像４０１ｄ〜４０３ｄは、右ビデオシーケンスに属し、時間的な観点から連続している。図４Ａで示すように、左画像４０１ｇは、右画像４０１ｄと時間的に同期された方法で取得され、左画像４０２ｇは、右画像４０２ｄと時間的に同期された方法で取得され、左画像４０３ｇは、右画像４０３ｄと時間的に同期された方法で取得された。破線のピーク４０４ｉと４０５ｉは、取得装置によって取得された右画像（ソース右画像とも呼ばれる）から補間される右画像をあらわす。補間される右画像４０４ｉは、ソース右画像４０１ｄと４０２ｄから補間される。補間される右画像４０５ｉは、ソース右画像４０２ｄと４０３ｄから補間される。図４Ａの例によると、補間される右画像４０４ｉは、時間的な観点からソース右画像４０１ｄと４０２ｄの中心に位置づけられる。補間される右画像４０５ｉは、時間的な観点からソース右画像４０２ｄと４０３ｄの中心に位置づけられる。２つのソース画像（例えば、４０１ｄと４０２ｄ）を分ける継続期間が、フレーム時間Ｔに対応する場合、補間される画像４０４ｉのソース画像４０１ｄを分ける継続期間δｔ１は、補間される画像４０４ｉからソース画像４０２ｄを分ける継続期間δｔ２と等しく、フレーム時間の２分の１と等しい。同様に、後続の補間される画像４０５ｉは、フレーム時間の２分の１を囲む各ソース右画像４０２ｄと４０３ｄから時間的に離される。この実装の例は、２つのソースビデオシーケンスのうちの１つ（すなわち、右ソースビデオシーケンス）のみで、動き補償された時間的な補間を実行するという有利な点を提供する。変形形態によると、動き補償された補間は、左ソースビデオシーケンスＧで実行され、右ソースビデオシーケンスＤで実行されない。

図４Ｂは、動き補償された時間的な補間の第２の例を示す。図４Ｂにて、実線のピーク４０１ｇ、４０２ｇ、４０３ｇ、４０１ｄ、４０２ｄ、および４０３ｄは、取得された左と右のソース画像をあらわし、同じ参照番号を有する図４Ａに関して記載されたものと等しい。破線のピーク４０６ｉと４０８ｉは、補間される左画像をあらわす。補間される画像４０６ｉは、左ソース画像４０１ｇと４０２ｇから補間される。補間される画像４０８ｉは、左ソース画像４０２ｇと４０３ｇから補間される。この例によると、補間される画像４０６ｉから左ソース画像４０１ｇを分ける継続期間は、フレーム時間の４分の３に等しい。現行左ソース画像４０２ｇから補間される画像４０６ｉを分ける継続期間は、フレーム時間の４分の１に等しい。補間される画像４０６ｉは、先行左ソース画像４０１ｇよりも、現行左ソース画像４０２ｇに時間的に近い。すなわち、時間的に３倍近い。同様に、補間される画像４０８ｉから現行左ソース画像４０２ｇを分ける継続期間は、フレーム時間の４分の３に等しい。後行左ソース画像４０３ｇから補間される画像４０８ｉを分ける継続期間は、フレーム時間の４分の１に等しい。補間される画像４０８ｉは、現行左ソース画像４０２ｇよりも、後行左ソース画像４０３ｇに時間的に近い。すなわち、時間的に３倍近い。破線のピーク４０６ｉと４０８ｉは、補間される左画像をあらわす。補間される画像４０６ｉは、左ソース画像４０１ｇと４０２ｇから補間される。補間される画像４０８ｉは、左ソース画像４０２ｇと４０３ｇから補間される。この例によると、補間される画像４０７ｉから先行右ソース画像４０１ｄを分ける継続期間は、フレーム時間の４分の１に等しい。現行右ソース画像４０２ｄから補間される画像４０７ｉを分ける継続期間は、フレーム時間の４分の３に等しい。右の補間される画像４０７ｉは、現行右ソース画像４０２ｄよりも、先行右ソース画像４０１ｄに時間的に近い。すなわち、時間的に３倍近い。同様に、右の補間される画像４０９ｉから現行右ソース画像４０２ｄを分ける継続期間は、フレーム時間の４分の１に等しい。後行右ソース画像４０３ｄから右の補間される画像４０９ｉを分ける継続期間は、フレーム時間の４分の３に等しい。補間される画像４０９ｉは、後行右ソース画像４０３ｄよりも、現行右ソース画像４０２ｄに時間的に近い。すなわち、時間的に３倍近い。図４Ａに示す例であろうと、または図４Ｂに示す例であろうと、左画像（図４Ａのソース画像、図４Ｂの補間される画像）と右画像（図４Ａおよび４Ｂの補間される画像）との間の表示レベルにおける時間的な違いは、一定であり、２分の１に等しい。この実施例は、動き補償された時間的な補間に関連する誤りを最小限にするという有利な点を提供する。補間される画像は、時間的にソース画像に近い（すなわち、４分の１フレーム）。

変形形態によると、いくつかの補間される画像（例えば、補間される２、３または４つの画像）は、２つのソース画像の間で生成される。２つのソース画像の間におけるいくつかの補間される画像の生成により、表示のための画像の数を増やすことが可能であり、結果として、表示装置上の画像の表示周波数を増やすことが可能である。この変形形態によると、ソース画像および補間される画像は、有利なことに、時間的な観点から一様に分配される。すなわち、それらを分ける継続期間は、すべての画像に対して等しい。

図５は、本発明の特定の実施形態による、表示装置の処理装置５のハードウェアの実施形態を図示する。処理装置５は、例えば、ＦＰＧＡ（Field-Programmable Gate Array）タイプなどのプログラム可能な論理回路、ＡＳＩＣ（Application-Specific Integrated Circuit）またはＤＳＰ（Digital Signal Processor）の形態をとる。処理装置は、前述した方法の実施に適合される。

処理装置５は、以下の要素を備える。
−プレフィルター５０
−動き推定器５１
−メモリ５２、５３、および５６。例えば、１またはさまざまなソース画像を記憶できる、ＲＡＭ（Random Access Memory）、または、フラッシュのタイプなど。
−補間器５４
−同期装置５５
−データバス５１０、５１１、５１２、５１３、５１４、および５１５
−クロックバス５１６

右ソースビデオシーケンスを表わす第１の信号ＲＶＢｄ（赤、緑、青の右）５０１は、右取得装置によって取得される右ソース画像を含む。信号ＲＶＢｄ５０１は、データバス５１１を介して処理装置５のプレフィルター５０へ入力される。例えば、決められた空間スキームに従い、ソース画像の４画素の画素、または、ソース画像の２画素の画素を計算により決定しながら、プレフィルター５０は、右ソース画像（すなわち、現行ソース画像Ｔおよび先行ソース画像Ｔ−１）を含む画素をフィルターして、メモリ５２に、現行ソース画像Ｔおよび先行画像Ｔ−１のそれぞれの複数の画素を格納する。動き推定器５１は、補間される画像の各画素の動きベクトル（Ｖｘ，Ｖｙ）を決定する。動きベクトルが決定される各画素は、メモリ５２に格納される現行ソース画像Ｔおよび先行ソース画像Ｔ−１のいくつかの画素（上記の例によると、４または２）に関連付けられる。同じ動きベクトル（Ｖｘ，Ｖｙ）は、ソース画像ＴおよびＴ−１のいくつかの画素と関連付けられる。これらの決定した動きベクトル（Ｖｘ，Ｖｙ）は、データバス５１３を介して、補間器５４へ送信される。同時に、補間器５４は、現行右ソース画像Ｔおよび先行右ソース画像Ｔ−１を表わす信号ＲＶＢｄ５０１の入力を受信する。現行画像Ｔおよび先行画像Ｔ−１のそれぞれの各画素のビデオレベルは、メモリ５３に格納される。補間器５４は、現行右ソース画像Ｔおよび先行右ソース画像Ｔ−１ならびに関連する動きベクトル（Ｖｘ，Ｖｙ）から補間される右画像を生成する。ソース右ビデオシーケンスの補間される右画像を表わす信号ＲＶＢｄ，ｉ（補間される赤、緑、青の右）は、補間される右画像を含む補間された右ビデオシーケンスを表示するために、データバス５１５を介して、表示装置５０２へ送信される。表示装置５０２は、有利なことに、処理装置５の外部である。補間された右ビデオシーケンスは、動きにおいて補間される右画像から構成される。右画像は、ソース右ビデオシーケンスに含まれるソース右画像を置換する。ゆえに、表示装置上に表示される右画像は、補間される右画像であり、ソース右画像ではない。ビデオ処理は、ソース右ビデオシーケンス上で行われている。ずれは、内容が補間される右画像のそれぞれに対応する、関連した左画像に対して表示装置５０２での補間される画像の伝送レベルで生成される。表示装置５０２での信号ＲＶＢｇ（赤、緑、青の左）５００と信号ＲＶＢｄ，ｉ ５０４との伝送の同期をとるために、信号ＲＶＢｇ５００は、同期装置５５を介して、メモリ５６における１または複数の左画像の記憶によって、遅延される。信号ＲＶＢｇ５００は、データバス５１０を介して、同期装置５５へ供給される。同期装置５５は、クロックバス５１６を介して、クロック信号５４を補間器５４へ送信して、補間される右画像の表示装置５０２への送信をトリガし、関連した補間される左画像と右画像を含む画像のペアから立体画像を生成するために、内容が補間される右画像に対応する左画像の直後に、補間される右画像が表示装置によって受信されるようにする。立体画像を形成することを意図する画像のペアの左画像は、データバス５１４を介して、同期装置５５によって、表示装置５０２へ送信される。

変形形態によると、処理装置５は、ソース画像のデシメーションを含まない。すなわち、動き推定は、先行ソース画像Ｔ−１と現行ソース画像Ｔを構成するすべての画素で実行される。この変形形態によると、画素がソース画像のいくつかの画素に対して決定されるときよりも、プレフィルタは機能的により単純である（例えば、ソース画像のガウシアン平滑化を実行するだけである）。この変形形態によると、メモリ５２は、単一の画像、すなわち先行する画像のみを格納する。現行の画像は、事前に記憶されることなく、動き推定器へ直接送信される。同様に、メモリ５３は、単一の画像、すなわち先行する画像のみを格納する。補間は、補間器によって受信される現行の画像、および、記憶された先行する画像から実行される。補間の後、現行の画像は、新しい現行の画像の先行する画像となり、古い先行する画像を上書きしてメモリ５３に格納される。

別の変形形態によると、メモリ５２および５３は、シングルメモリのみを形成する。

別の変形形態によると、左ソースビデオシーケンスを表わす信号ＲＶＢｇも、動き補償とともに補間される。この変形形態によると、処理装置５は、プレフィルタ５０、動き推定器５１、補間器５４、およびそれらに関連した、右画像の補間を対象としたメモリ５２および５３に加えて、第２のプレフィルタ、第２の動き推定器、第２の補間器、およびそれらに関連した、左画像の動き補償された補間のためのメモリを含む。第２のプレフィルタ、動き推定器、補間器の機能は、前述した右画像の処理と等しい。

図６は、本発明の非制限的な特に有利な実施形態に従い、処理装置５で実施されるビデオ画像の処理方法を示す。

初期化ステップ６０の間、処理装置の異なるパラメータは更新される。

ステップ６１の間、画像は、ビデオシーケンスの２つのソース画像から補間される。ビデオシーケンスは、２つのビデオシーケンスの組み合わせから生じる。２つのビデオシーケンスは、左ビデオシーケンスおよび右ビデオシーケンスと呼ばれる。左と右のビデオシーケンスは、同期された方法でそれぞれ左カメラと右カメラによって撮影された同じ場面のそれぞれ左画像と右画像を含む。左と右のビデオシーケンスの組み合わせから生じるビデオシーケンスは、時間的に交互に連続する左と右のビデオシーケンスの左と右の画像から構成される。すなわち、左と右画像は、次のように−左画像、右画像、左画像、右画像、左画像など−時間的に交互に入れ替わる。言い換えると、ビデオシーケンスは、時間的に互いに連続する複数の左と右画像の組み合わせを含む、左と右のビデオシーケンス組み合わせから生じる。画像の各ペアは、同じ時刻Ｔにキャプチャーされた同じ場面をあらわす左画像と右画像を含む。各画像のペアは、立体画像、すなわち場面の三次元画像を生成することを意図する。画像のペアの左画像は、第１画像とも呼ばれる。画像のペアの右画像は、第２画像とも呼ばれる。左と右のビデオシーケンスの組み合わせから生じるビデオシーケンスは、本説明の残りの部分で、第１ビデオシーケンスと呼ぶこととする。補間される画像は、第３画像と呼ばれ、有利なことに、第１ビデオシーケンスにおいて時間的に連続する２つの第２画像から動き補償により補間される。第３画像は、時間的に２つの第２画像の間に入る。第３画像に（時間的な観点から）先行する第２画像と第３画像を分ける時間的な間隔は、δｔ１に等しい。第３画像に（時間的な観点から）続く第２画像と第３画像を分ける時間的な間隔は、δｔ２に等しい。有利なことに、δｔ１はδｔ２と等しい。

変形形態によると、いくつかの第３画像は、２つの第２画像から動き補償により補間され、特に、第１ビデオシーケンスの画像の周波数を増加させる。

他の変形形態によると、第３画像（単数）または第３画像（複数）は、時間的にお互いに続く２つの左画像から補間される。この変形形態によると、上述と同じ語彙を維持するために、画像のペアの左画像を、第２画像と呼び、画像のペアの右画像を、第１画像と呼ぶ。

別の変形形態によると、第３画像は、第２画像と呼ばれる２つの右画像から動き補償により補間される。第４画像は、第１画像と呼ばれる２つの左画像の動き補償された補間から生じる。この変形形態によると、第４画像に（時間的な観点から）先行する第１画像と第４画像を分ける時間的な間隔は、δｔ１´に等しい。第４画像に（時間的な観点から）続く第１画像と第４画像を分ける時間の間隔は、δｔ２´に等しい。この変形形態によると、有利なことに、δｔ１は厳密にδｔ２より小さい。すなわち、第３画像は、先行する第２画像より時間的に近い。δｔ１´は厳密にδｔ２´より大きい。すなわち、第４画像は、後続する第１画像より時間的に近い。第４画像から第３画像を分ける時間的な間隔は、左ビデオシーケンス（すなわち、取得装置によって取得される）で２つの第１画像を分ける時間の半分と等しい。

第３画像および／または第４画像の動き補償された補間は、有利なことに、第１ビデオシーケンスのすべての第２画像を、補間される画像（すなわち第３画像）に置き換える方法で、および／または、第１ビデオシーケンスのすべての第１画像を、補間される画像（すなわち第４画像）に置き換える方法で、繰り返される。

図７は、本発明の非制限的な特に有利な実施形態に従い、処理装置５で実施されるビデオ画像の処理方法を示す。

初期化ステップ７０の間、処理装置の異なるパラメータは更新される。

その後、ステップ７１の間、動きベクトルは補間される画像、すなわち、第３画像および／または第４画像の複数の画素の各画素について、例えば、２つに１画素または４つに１画素計算される。変形形態によると、動きベクトルは、画像の各画素で決定される。第３画像では、動きベクトルは、２つの第２画像から決定され、第４画像では、動きベクトルは、２つの第１画像から決定される。

ステップ７２の間、第３画像および／または第４画像は、２つの第２画像（それぞれ２つの第１画像から）から、および、ステップ７１で決定された動きベクトルから補間される。動きベクトルが、第３画像のいくつかの画素のみで決定されたとき、例えば４つに1画素のとき、４つの中の画素で計算された動きベクトルは、補間される画像、すなわち第３画像の画素セットについて補間を実行する方法で、３つの他の画素のためにコピーされる。残りについては、ステップ７２は、図６に関して記載されたステップ６１と同一である。

最後に、ステップ７３の間、第１と第３の画像は、時間的にシーケンシャルな方法で、すなわち、第１画像に続いて第３画像などのように、連続して交互に表示装置上に表示される。もとの第２画像の代わりとして、動き補償により補間された第３画像を表示することによって、それらに関連する（すなわち、同じ瞬間Ｔにキャプチャーした）第１画像に関する第２画像のオフセット表示につながる表示不良を正すことが可能である。第２画像の表示は第１画像の表示に続く。つまり、第３画像は、時間的に登録された（動き補償による時間的な補間によって）第２画像を置き換えて、表示装置上で表示されるビデオシーケンスにおける第３画像の時間的な位置決めは、動き補償される内容とコヒーレントである。変形形態によると、第４画像および第３画像は、時間的にシーケンシャルな方法で、すなわち、第３画像に続いて第４画像などのように、連続して交互に表示装置上に表示される。

当然、本発明は、前述の実施形態に制限されるものではない。

特に、本発明は、画像を処理する方法に制限されず、そのような方法を実施する処理装置、および画像を処理する方法を実施する処理装置を含む表示装置にまで及ぶ。

有利なことに、左と右の各ビデオシーケンスは、３つの画像より多く含む。画像の数は、ビデオシーケンスの継続期間によって決まる（例えば、ビデオモードでは５０または６０ヘルツで取得される、つまり１秒あたり５０または６０画像、フィルムモードでは２４ヘルツで取得される、つまり１秒あたり２４画像）。

Claims (9)

1. 立体画像のペアのシーケンスのビデオ処理のための方法であって、各立体画像のペアは、同期された方法で取得される第１画像、および第２画像を含み、動き補償された時間的な補間によって、少なくても２つの第２画像から、少なくとも１つの第３画像を生成するステップを含むことを特徴とする方法。
2. 前記少なくとも２つの第２画像から、前記第３画像の複数の画素の各画素について動きベクトルを推定するステップを含むことを特徴とする請求項１に記載の方法。
3. 表示装置上に、前記第１画像および第３画像を表示するステップを含み、前記第１画像および第３画像は、それぞれシーケンシャルに表示されることを特徴とする請求項１および２に記載の方法。
4. 動き補償された時間的な補間によって、少なくとも２つの第１画像から、少なくとも１つの第４画像を生成するステップを含むことを特徴とする請求項１および２に記載の方法。
5. 表示装置上に、前記第３画像および第４画像を表示するステップを含み、前記第３画像および第４画像は、それぞれシーケンシャルに表示されることを特徴とする請求項４に記載の方法。
6. 第３画像は、時間的な観点から直に連続する２つの第２画像から生成され、第３画像を第３画像に時間的に先行する第２画像から分ける第１の時間的な間隔、第３画像を第３画像に時間的に続く第２画像から分ける第２の時間的な間隔であって、第１の時間的な間隔は厳密に第２の時間的な間隔より小さく、第４画像は、時間的な観点から直に連続する２つの第１画像から生成され、第４画像を第４画像に時間的に先行する第１画像から分ける第３の時間的な間隔、第４画像を第４画像に時間的に続く第１画像から分ける第４の時間的な間隔であって、第４の時間的な間隔は厳密に第３の時間的な間隔より小さいことを特徴とする請求項４および５に記載の方法。
7. 第１の時間的な間隔と第４の時間的な間隔は等しく、第２の時間的な間隔と第３の時間的な間隔は等しいことを特徴とする請求項６に記載の方法。
8. 複数の第３画像は、時間的な観点から直に連続する２つの第２画像から生成され、同じ複数の第４画像は、時間的な観点から直に連続する２つの第１画像から生成されることとを特徴とする請求項４から５に記載の方法。
9. 前記複数を生成する第３画像は、時間的な観点から、２つの第２画像の間で、一様に分配され、前記複数を生成する第４画像は、第３画像と同じ方法で、２つの第１画像の間で、時間的に分配されることを特徴とする請求項８に記載の方法。