JP2016513384A - 中間ビュー画像を生成するためのシステム - Google Patents

Abstract

ステレオ画像７０１から中間画像の列７２１を生成するための方法７００が開示される。ステレオ画像７０１は左視点に対応する左画像１０１と右視点に対応する右画像１０２を有する。中間画像の列７２１は左視点と右視点の少なくとも一方を有する視点範囲における空間的に連続する視点に対応する。方法７００は、ターゲット視点７１１を中心とする空間的に連続する視点に対応する中間画像の列７２１の予測画質に基づいてターゲット視点７１１を決定するステップ７１０と、ターゲット視点７１１を中心とする空間的に連続する視点に対しステレオ画像７０１から中間画像の列７２１を生成するステップ７２０を有する。

Description

本発明はステレオデータから中間画像の列（ｓｅｒｉｅｓ）を生成することに関する。

ステレオ画像は三次元（３Ｄ）画像データの共通表現である。ステレオ画像は左ビューに対応する左画像と右ビューに対応する右画像を有する。ステレオ画像を見るためのステレオ表示手段を用いて、観察者の左目は左画像を見て、観察者の右目は右画像を見て、観察者に３Ｄ知覚を生じる。

マルチビューディスプレイを用いて、３Ｄ画像はそれぞれの空間的に連続する視点に対応する画像の列を用いて表示される。マルチビューディスプレイのマルチビューの各々は空間的に連続する視点における視点の一つに対応する画像を表示する。従って、入力画像がステレオ画像であるとき、３Ｄ画像をマルチビューディスプレイ上に表示することはステレオ画像から中間画像の列を生成することを要する。中間画像の列は、典型的には左視点と右視点の少なくとも一方を有する視点範囲内に位置するそれぞれの空間的に連続する視点に対応する。

ＵＳ２０１１／００２６８００９Ａ１はオートステレオスコピック３Ｄ ＴＶディスプレイのために左右画像ピクセルデータ画像及び視差マップを用いて異なる視点から中間ビューピクセルデータを生成するための方法を記載する。方法は左画像と右画像を用いて左画像視差マップと右画像視差マップを計算する。そして方法は中間視点のために第一の中間ビューピクセルデータと第二の中間ビューピクセルデータを生成する。第一の中間ビューピクセルデータは左画像ピクセルデータと左画像視差マップから生成される。第二の中間ビューピクセルデータは右画像ピクセルデータと右画像視差マップから生成される。そして中間ビューピクセルデータは左中間ビューピクセルデータと右中間ビューピクセルデータを組み合わせることによって生成される。異なる（マルチ）中間視点についてこれを繰り返すことによって、マルチビュー三次元画像ピクセルデータが左画像ピクセルデータと右画像ピクセルデータから生成される。

中間ビューピクセルデータの画質は中間視点によって、及び左画像と右画像のコンテンツであるステレオコンテンツによって異なる。画質に影響する可視画像アーチファクトは、画像ディテールアーチファクト（ブラー若しくはゴースト発生）及びオクルージョンアーチファクトである。ディテールアーチファクトは典型的には左視点と右視点の間の中間視点について、及び多くのディテールを含むステレオ画像について見られる。オクルージョンアーチファクトは典型的には横の中間視点について、従って左視点の左及び右視点の右において、及び大きな奥行遷移を含むステレオ画像について見られる。

視点範囲は左視点と右視点の間に中間視点を有する。上記の通り、一部のステレオコンテンツについて、この視点範囲における各中間視点に対応する中間ビューピクセルデータ（すなわち中間画像）は高画質を持たない。従来技術の方法の欠点は、このように視点範囲における中間視点に対する中間ビューピクセルデータの画質が様々なステレオコンテンツについて高くないことである。

ステレオ画像から中間画像の列を生成するための方法を提供することが本発明の目的であり、中間画像は改良された画質を持つ。

本発明はステレオ画像から中間画像の列を生成するための方法を開示し、ステレオ画像は左視点に対応する左画像と右視点に対応する右画像を有し、中間画像の列は空間的に連続する視点に対応し、空間的に連続する視点の最初と最後は左視点と右視点の少なくとも一方を有する視点範囲を定義し、方法は、異なるターゲット視点を中心とする空間的に連続する視点に対する中間画像の列の予測画質に基づいてターゲット視点を決定するステップであって、予測画質はステレオ画像の画像特徴に基づく、ステップと；決定されたターゲット視点を中心とする空間的に連続する視点についてステレオ画像から中間画像の列を生成するステップとによって、空間的に連続する視点の中心をターゲット視点に位置付けるステップを有する。

ターゲット視点を決定することは、ターゲット視点を中心とする中間視点の列について画質を予測することを有し、中間視点の列は空間的に連続する視点である。視点範囲は中間視点の列の最初と最後によって定義され、中間視点の列の位置は、視点範囲の中心にある中間視点である、ターゲット視点によって決定される。中間視点の列において偶数のビューがある場合、ターゲット視点は従って二つの中心ビューの間の"仮想"視点に対応し、一方中間視点の列において奇数のビューがある場合、ターゲット視点はその中心ビューのものに対応する。

中間視点の列をセンタリングするために使用されるターゲット視点は、対応する中間画像の列の予測画質によって決定される。中間画像の列の画質を予測することは、ステレオ画像において検出された画像ディテールに基づいて画像ディテールアーチファクトの可視性を予測することを有し得るか、又はステレオ画像に対応する視差データにおいて検出された視差／奥行遷移に基づいてオクルージョンアーチファクトの可視性を予測し得る。ターゲット視点を決定することはステレオ画像に結合されるメタデータから事前に計算されるターゲット視点を読み出すことも有し得る。

中間画像の列はターゲット視点を中心とする中間視点の各列に対して生成される。中間画像は中間視点の列における各視点についてステレオ画像から生成され、従って中間画像の列が生成される。

ステレオ画像から中間画像の列を生成するために構成されるシステムであって、ステレオ画像は左視点に対応する左画像と右視点に対応する右画像を有し、中間画像の列は空間的に連続する視点に対応し、空間的に連続する視点の最初と最後は、右視点と左視点の少なくとも一方を有する視点範囲を定義し、空間的に連続する視点の中心をターゲット視点に位置付けるために構成される当該システムは、異なるターゲット視点を中心とする空間的に連続する視点に対する中間画像の列の予測画質に基づいてターゲット視点を決定するための決定ユニットであって、予測画質はステレオ画像の画像特徴に基づく、決定ユニットと；決定されたターゲット視点を中心とする空間的に連続する視点についてステレオ画像から中間画像の列を生成するための生成ユニットとを有する。

本発明の効果は、中間画像の列が高画質を持つことである。本発明の文脈において'高画質'とは、画像が可視画像アーチファクトをほとんど若しくは全く有さないことに関する。

本発明のこれらの及び他の態様は以下に記載の実施形態から明らかとなり、それらを参照して説明される。

ステレオデータから中間画像を生成するための方法を図示する。 オフラインで混合ポリシーを決定するポリシー決定プロセスを図示する。 画像ディテールの検出を用いるポリシー決定プロセスを図示する。 マルチビューディスプレイのマルチビューを図示する。 線形混合ポリシーを図示する。 二つの非線形混合ポリシーを図示する。 ステレオビデオフレームを有するステレオビュービデオシーケンスの三連続シーンを図示する。 六つのサブ図の各々において、ターゲット視点を中心とする中間視点の列に対応するマルチディスプレイビューを有するマルチビューディスプレイを図示する。 ステレオデータから中間画像を生成するためのシステムを三つの構成で、及び中間画像を表示するためのディスプレイを図示する。 ステレオ画像から中間画像の列を生成するための方法を図示する。

異なる図において同じ参照番号を持つ項目は同じ構造的特徴及び同じ機能を持つか、又は同じ信号であることが留意されるべきである。このような項目の機能及び／又は構造が説明されている場合、詳細な説明においてその説明を繰り返す必要はない。

図１ａはステレオデータ１０５から中間画像を生成するための方法を図示する。方法の出力は中間視点Ｂ １５５に対応する中間画像ＩＢ １６１である。中間視点Ｂ １５５は視点の範囲内の相対位置における視点をあらわし、範囲は典型的には左視点と右視点を有し、左視点と右視点の一方を少なくとも有する。方法の入力は左データＳＬ １０３と右データＳＲ １０４を有するステレオデータである。左データＳＬは左画像ＩＬ １０１と左視差データＤＬ １１１を有する。右データＳＲは右画像ＩＲ １０２と右視差データＤＲ １１２を有する。

当業者に明らかな通り、奥行きは視差に反比例するが、ディスプレイデバイスにおける視差への奥行の実際のマッピングは、ディスプレイによって生成され得る視差の総量、ゼロ視差へ特定の奥行値を割り当てる選択、許容される交差視差の量などといった、様々な設計上の選択に左右される。しかしながら、ステレオデータを備える及び／又は入力ステレオデータから得られる奥行データは、奥行依存的に画像をワープするために使用される。従って視差データはここでは定性的に奥行データと解釈される。

ワーピングプロセスＷＡＲＰ １３０は三つの入力：（ｉ）左画像ＩＬ、（ｉｉ）左視差データＤＬ、（ｉｉｉ）中間視点Ｂ １５５から左中間画像ＩＢＬ １３１を生成する。左ワーピングプロセスＷＡＲＰ １３０は事実上、左画像ＩＬを中間視点Ｂへ'ワープ'するために左視差データＤＬを用いて、左中間画像ＩＢＬを生成する。同様に、ワーピングプロセスＷＡＲＰ １４０は右画像ＩＲ、右視差データＤＲ、中間視点Ｂから右中間画像ＩＢＲ １４１を生成する。画像ベースレンダリグのために奥行／視差を使用するこのようなワーピングプロセスの一例はＵＳ５，９２９，８５９に開示される。ワーピングのより複雑な例はＵＳ７，６８９，０３１に提示される。

混合プロセスＭＩＸ １８０は左中間画像ＩＢＬと右中間画像ＩＢＲの混合を実行する。混合は中間視点Ｂと、混合が中間視点Ｂにどのように依存するかを記述する混合ポリシーＰＯＬ １５６とに依存する。混合プロセスＭＩＸの出力は中間画像ＩＢ １６１である。ポリシー決定プロセスＰＯＬＤＥＴ １７０はステレオ画像に基づいて、すなわち左画像ＩＬと右画像ＩＲに基づいて混合ポリシーＰＯＬを決定する。

オプションとして、方法は左視差データＤＬと右視差データＤＲを左画像ＩＬと右画像ＩＲから計算する視差計算プロセスを有する。奥行／視差推定アルゴリズムの例は３Ｄビデオ処理の当業者に周知であり、そのようなアルゴリズムの例はＵＳ６，６２５，３０４及びＵＳ６，９８５，６０４で提供される。オプションとして、ワーピングプロセスＷＡＲＰ １３０及びＷＡＲＰ １４０はステレオビュービデオシーケンスから取得される事前に計算された視差データを用いて中間画像を生成し、各ステレオビュービデオフレームはステレオ画像だけでなく対応する視差データを有する。

図１ａに図示の通り混合プロセスＭＩＸは係数計算プロセスＡＣＯＭＰ １５０とブレンディングプロセスＢＬＥＮＤ １６０から成る。係数計算プロセスＡＣＯＭＰ １５０は中間視点Ｂと混合ポリシーＰＯＬから混合係数Ａを計算し、混合ポリシーＰＯＬは混合係数Ａが中間視点Ｂにどのように依存するかを記述する。係数計算プロセスＡＣＯＭＰは混合ポリシーＰＯＬに従って中間視点Ｂから混合係数Ａを計算する。そしてブレンディングプロセスＢＬＥＮＤは混合係数Ａを用いて中間画像ＩＢＬとＩＢＲを混合することによって中間画像ＩＢを生成する。オプションとして、ブレンディングプロセスＢＬＥＮＤはさらに以下で説明される'アルファブレンディング'と一般に知られる技術を有する。

混合ポリシーＰＯＬは中間画像ＩＢＬ及びＩＢＲの混合が中間視点Ｂにどのように依存するかを記述する。ポリシー決定プロセスＰＯＬＤＥＴは混合プロセスＭＩＸが高画質で中間画像ＩＢを生成するように混合ポリシーＰＯＬを決定する。処理ＰＯＬＤＥＴは混合によって生成される中間画像の画質に対する混合ポリシーの影響についての知識を用いて、中間画像ＩＢの画質に対する混合ポリシーの影響を予測する。言い換えれば、ポリシー決定プロセスＰＯＬＤＥＴは複数の混合ポリシーの各々に対して及び所与のステレオ画像コンテンツに対して中間画像の画質を予測し、そして複数の混合ポリシーからどの混合ポリシーＰＯＬが高画質で中間画像を生成するかを決定する。

オプションとして、混合ポリシープロセスＰＯＬＤＥＴは混合ポリシーを有するメタデータから混合ポリシーＰＯＬを決定し、メタデータはステレオデータによって含まれる。例えば、メタデータは（１）様々な混合ポリシーを用いて図１の方法を用いてステレオデータから中間画像を生成する、（２）生成された中間画像の画質を測定する、（３）高画質を持つ生成された中間画像を決定する、及び（４）高画質を持つ生成された中間画像に対応する混合ポリシーを決定するアルゴリズムによってオフラインで生成される。

図１ｂはオフラインで混合ポリシーを決定するポリシー決定プロセスを図示する。混合ポリシー決定プロセス１７９は入力としてステレオ画像を、すなわち左画像ＩＬ １０１及び右画像ＩＲ １０２を受け取る。第一の中間画像ＩＢ１ １７３は第一の混合ポリシーＰＯＬ１ １７１とステレオ画像を用いる生成方法ＧＥＮ １７５によって生成される。同様に、第二の中間画像ＩＢ２ １７４は第二の混合ポリシーＰＯＬ２ １７２とステレオ画像を用いる生成方法ＧＥＮ １７６によって生成される。生成方法ＧＥＮ １７５，１７６は各混合ポリシーＰＯＬ１，ＰＯＬ２を用いて中間画像を生成するための図１ａの方法を利用する。生成方法ＧＥＮ １７５，１７６はその画質を測定するために使用されるべき中間画像を生成するために中間視点を選択する。判定プロセスＪＤＧ １７７において、一人以上の観察者が中間画像ＩＢ１，ＩＢ２の画質を判定し、高いと判断される画質を持つ中間画像ＩＢ１，ＩＢ２のうちの一方を選択する。そして高画質を持つ中間画像に対応する混合ポリシーが混合ポリシーＰＯＬ １５６として決定される。例えば、中間画像ＩＢ１が第二の中間画像ＩＢ２と比較して高画質を持つと判断される場合、混合ポリシーＰＯＬは第二の混合ポリシーＰＯＬ２として決定され、従ってＰＯＬ＝ＰＯＬ２である。

オプションとして、判定プロセスＪＤＧは観察者によって実行されるのではなく、代わりに中間画像ＩＢ１及びＩＢ２の画質を定量化して判断するアルゴリズムによって自動的に実行される。

オプションとして、図１ｂのポリシー決定プロセス１７９はポリシーＰＯＬ１及びＰＯＬ２の各々に対するマルチ中間画像の画質に基づいて混合ポリシー１５６を決定する。生成プロセスＧＥＮ １７５，１７６各々は各マルチビューについてマルチ中間画像ＩＢ１及びＩＢ２を生成する。そして判定プロセスＪＤＧはマルチ中間画像ＩＢ１の平均画質を判断し、マルチ中間画像ＩＢ１の平均画質を判断し、高いと判断される平均画質を持つマルチ中間画像を選択する。そして高平均画質を持つ中間画像に対応する混合ポリシーは混合ポリシーＰＯＬ １５６として決定される。

代替的に、ポリシー決定プロセスＰＯＬＤＥＴはステレオ画像における画像ディテールの存在の検出を有し、検出された存在を混合ポリシーの決定に使用する。一部の混合ポリシーを使用するとき、生成された中間画像における画像ディテールの画質は、他の混合ポリシーを使用するときよりも高い。視差データＤＬ，ＤＲの不正確さは各中間画像ＩＢＬ，ＩＢＬＲにおいて不正確に生成された画像ディテールにつながる。従って中間画像ＩＢＬ，ＩＢＲから不正確に生成された画像ディテールの混合は混合から生じる中間画像ＩＢにおけるアーチファクトにつながる。アーチファクトはディテールブラー、すなわちディテールシャープネスの低下、及び／又はゴースト発生、すなわち画像ディテールの二重出現を有する。これらのアーチファクトは、中間画像の一方を主に使用する混合を定義する混合ポリシーに従って混合が実行されるときに少なくなる。しかしながら、中間画像の一方を主に使用することは、今度はオクルージョンアーチファクトにつながる。従って、中間画像の一方を主に使用する混合を定義する混合ポリシーは、オクルージョンアーチファクトが画質に与える影響がディテールブラーアーチファクトよりも少なくなるように、ステレオ画像が十分な画像ディテールを有する場合にのみ決定される。

図１ｃは画像ディテールの検出を用いるポリシー決定プロセスを図示する。ポリシー決定プロセス１８９は、混合ポリシーＰＯＬ １５６がステレオデータにおける検出された画像ディテールの存在に基づいてどのように決定されるかをあらわす。混合ポリシー決定プロセス１８９は入力としてステレオ画像を、すなわち左画像ＩＬ １０１及び右画像ＩＲ １０２を受け取る。プロセスＤＴＬＤＥＴ １８１はステレオ画像における画像ディテールＤＴＬ １８４を検出するディテール検出アルゴリズムを有する。画質予測プロセスＱＰＲＥＤ １８２は検出された画像ディテールＤＴＬと第一の混合ポリシーＰＯＬ １７１を受け取り、第一の混合ポリシーＰＯＬ１を用いて生成され得る中間画像の予測画質Ｑ１ １８５を決定する。画質予測プロセスＱＰＲＥＤ １８３は検出された画像ディテールＤＴＬと第二の混合ポリシーＰＯＬ２ １７２を受け取り、第二の混合ポリシーを用いて生成され得る中間画像の予測画質Ｑ２ １８６を決定する。画質予測プロセスＱＰＲＥＤ１８２，１８３は混合ポリシーＰＯＬ１，ＰＯＬ２を用いて生成される中間画像の画質に対する混合ポリシーＰＯＬ１，ＰＯＬ２の影響についての統計的知識を用いて画質を予測する。プロセスＳＥＬ １８７は予測画質Ｑ１，Ｑ２の一方を高いと決定し、高予測画質に対応する混合ポリシーを混合ポリシーＰＯＬ １５６として決定する。例えば、予測画質Ｑ２が予測画質Ｑ１と比較して高い場合、混合ポリシーＰＯＬは第二の混合ポリシーＰＯＬ２として決定され、従ってＰＯＬ＝ＰＯＬ２である。予測画質Ｑ１及びＱ２は各々単一値によってあらわされ得るが、二つの予測画質Ｑ１，Ｑ２のうち高い方が高画質と決定される。

オプションとして、ディテール検出アルゴリズムはステレオ画像の左画像及び右画像のうち一方のみを使用する。

オプションとして、予測画質の決定はオクルージョンアーチファクトに基づく。例えば、ディテール検出アルゴリズムを用いるのと類似した方法で、プロセス決定プロセスは視差データＤＬ，ＤＲの少なくとも一方を受け取り、視差の大きな遷移を検出する視差遷移検出アルゴリズムを使用する。様々な混合ポリシーで生成される中間画像の画質に対する視差遷移の影響についての統計的知識を用いて、ポリシー決定プロセスは混合ポリシーを決定する。この実施例はポリシー決定プロセスが視差データＤＬ，ＤＲの少なくとも一方を受け取ることを示唆することが留意される。

オプションとして、図１ｂ及び図１ｃの決定混合プロセス１７９，１８９は複数の混合ポリシーから混合ポリシーを決定し、複数の混合ポリシーは二つの混合ポリシーＰＯＬ１，ＰＯＬ２よりも多くの混合ポリシーを有する。例えば、複数とは三つの追加混合ポリシーＰＯＬ３，ＰＯＬ４及びＰＯＬ５を有する。

以下では、画質に関して、中間画像の生成に対する混合ポリシーの影響が図２を用いて説明される。

図２はマルチビューディスプレイのビューに対応するマルチ視点を図示する。マルチ視点は水平に隣接するビューの列を形成する縦縞として示される。各視点について、マルチビューディスプレイは対応する中間画像ＩＢを示す。複数の視点が数字２０１，２０２及び２１０‐２１３で示される。全視点は視点範囲２３０内にある。ステレオ画像の元の視点は左視点Ｌ ２０１及び右視点Ｒ ２０２として示される。視点範囲２３０は三つの部分：（ｉ）中央視点範囲２２０、（ｉｉ）左横視点範囲２２１、及び（ｉｉｉ）右横視点範囲２２２にわけられる。視点２１０は左視点Ｌと右視点Ｒの中間にある中心ステレオ視点である。対照的に、視点２１１及び２１２はそれぞれ横視点範囲２２１及び２２２にある。

図２に示す通りビュー構成はレンチキュラベース若しくはバリアベースのオートステレオスコピックディスプレイの使用から生じ得る例示的なビュー構成をあらわす。このようなレンチキュラベースマルチビューディスプレイの一例はＵＳ６，０６４，４２４に開示される。

以下では図２の説明において、（ａ）中央視点範囲２３０内の視点について両中間画像ＩＢＬ，ＩＢＲを用いる混合を定義する、（ｂ）左横視点範囲２１１内のビューについて左中間画像ＩＢＬのみを用いる混合を定義する、及び（ｃ）右横視点範囲２１２内のビューについて右中間画像ＩＢＲのみを用いる混合を定義する、典型的な混合ポリシーが使用される。混合は左中間画像ＩＢＬの相対寄与と右中間画像ＩＢＲの相対寄与を加えることを有する。

中央視点範囲２３０内のビューについて、中間画像ＩＢＬ，ＩＢＲの両方は中間画像ＩＢに混合され、混合への左中間画像ＩＢＬの相対寄与は視点Ｌに近い視点については大きく、視点Ｌから遠い視点については低く、その結果、混合への右中間画像ＩＢＲの相対寄与は視点Ｒに近い視点については大きく、視点Ｒから遠い視点については低い。

左視点Ｌを含む左横視点範囲２２１では、混合プロセスが中間左画像ＩＢＬをその出力ＩＢに単にコピーするように、従ってＩＢ＝ＩＢＬになるように、左中間画像ＩＢＬの相対寄与は１００％であり、右中間画像ＩＢＲの相対寄与は０％である。これは左横ビューにおいて中間画像がワーピングプロセスＷＡＲＰ １３０のみによって生成され、従って左元画像ＩＬから事実上補外されることを示唆する。左視点Ｌの特定の場合において、ワーピングプロセスＷＡＲＰ １３０はＩＢＬ＝ＩＬ従ってＩＢ＝ＩＢＬ＝ＩＬになるように入力ＩＬをその出力ＩＢＬに単にコピーし、これは元の左画像ＩＬが視点Ｌにおいて表示されることを示唆する。

右視点Ｒを含む右横視点範囲２２２では、混合プロセスが中間右画像ＩＢＲをその出力ＩＢに単にコピーするように、従ってＩＢ＝ＩＢＲになるように、右中間画像ＩＢＲの相対寄与は１００％であり、左中間画像ＩＢＬの相対寄与は０％である。これは右横ビューにおいて中間画像がワーピングプロセスＷＡＲＰ １４０のみによって生成され、従って右元画像ＩＲから事実上補外されることを示唆する。右視点Ｒの特定の場合において、ワーピングプロセスＷＡＲＰ １４０はＩＢＲ＝ＩＲ従ってＩＢ＝ＩＢＲ＝ＩＲになるように入力ＩＲをその出力ＩＢＲに単にコピーし、これは元の右画像ＩＲが視点Ｒにおいて表示されることを示唆する。

図２は左目２３１が視点２１０において中間画像を見て、右目２３２が視点２１３において中間画像を見る観察者２３０を概略的に示す。観察者の目２３１及び２３２の各々が中間画像ＩＢＬ及びＩＢＲの混合によって生成される中間画像を見るように、視点２１０及び２１３は中央視点範囲２２０内に、従って元のビューＬ及びＲの間に位置する。混合は、中央視点範囲２２０内のビューについて、中間画像の画質に関して利益と欠点を持つ。利益は、オクルージョンアーチファクトが中間画像において顕著に存在しないことであるが、欠点は中間画像における画像ディテールがブラー及びゴースト発生に悩まされることである。利益は混合が事実上中間画像ＩＢＬ及びＩＢＲの間の補間であることに起因し、その結果として（補間された）中間画像は顕著なオクルージョンアーチファクトを有さない。欠点は視差データＤＬ及びＤＲにおける不正確さに起因し、以下の通り説明される。左視差データＤＬにおける単一データ値は（１）元の左画像ＩＬにおける画像ディテールのピクセル位置と（２）元の画像ＩＲにおける同じ画像ディテールの対応するピクセル位置との間のピクセル距離を有する。左視差データＤＬは元の左画像ＩＬから中間視点Ｂにおいて左中間画像ＩＢＬを生成するためにワーピングプロセスＷＡＲＰ １３０によって使用される。右視差データＤＲは元の右画像ＩＲから視点Ｂにおいて右中間画像ＩＢＲを生成するためにワーピングプロセスＷＡＲＰ １４０によって使用される。従って視差データＤＬ，ＤＲにおける不正確さは中間画像ＩＢＬ，ＩＢＲの不正確なピクセル位置において画像ディテールを生成させ、その結果中間画像ＩＢＬ，ＩＢＲの画像ディテールの混合は典型的にはブラー若しくはゴースト発生アーチファクトに悩まされる画像ディテールを有する中間画像ＩＢの生成をもたらす。

図２は左目２４１が視点２１１において中間画像を見て、右目２４２が視点２０１において中間画像を見る観察者２４０を概略的に示す。従って右目２４２は定義により高画質を持つ元の左画像を見る。対照的に、左目２４１は元の左画像ＩＬから左横中間視点２１１において生成された、事実上元の左画像から補外される中間画像を見る。視点２１１における中間画像は画質に関して利益と欠点を持つ。利益は画像ディテールが画像ディテールのブラー若しくはゴースト発生に悩まされないことである。欠点は左画像のみからの補外に起因するオクルージョンアーチファクトの出現である。同じ利益と欠点は視点２１２などの右横視点にも当てはまる。

本発明の一実施形態において、中間画像の生成において使用される混合ポリシーは元のステレオデータのコンテンツに適応する。多くのディテールを有するステレオ画像の場合、ポリシー決定プロセスＰＯＬＤＥＴは中間画像ＩＢＬ，ＩＢＲの両方を用いるのではなく中間画像ＩＢＬ，ＩＢＲの一方のみを用いる混合を定義する混合ポリシーを決定する。実施形態の第一の実施例として、混合ポリシーは視点範囲２３０内の全中間ビューについて左中間画像ＩＢＬを中間画像ＩＢに単にコピーする混合を定義する。実施形態の第二の実施例として、混合ポリシーは視点範囲２３０内の全中間ビューについて右中間画像ＩＢＲを中間画像ＩＢに単にコピーする混合を定義する。実施形態の第三の実施例として、混合ポリシーは（ａ）中心ステレオ視点２１０の左のビューについては左中間画像ＩＢＬから、及び（ｂ）中心ステレオ視点２１０の右のビューについては右中間画像ＩＢＲから、中間画像ＩＢをコピーする混合を定義する。画像ディテールのブラーが顕著に見えないように元のステレオ画像が少ない画像ディテールを有する場合、中間画像ＩＢＬ，ＩＢＲの両方を用いる混合を定義する混合ポリシーが決定される。

以下では、混合プロセスＭＩＸ １８０はブレンディングプロセスＢＬＥＮＤ及び係数計算プロセスＡＣＯＭＰを有する。図３ａ及び３ｂは二つの中間画像データＩＢＬ及びＩＢＲの混合のための混合係数を定義する混合ポリシーを図示する。

図３ａは線形混合ポリシーを図示する。組み合わされる二つの曲線ＡＬ ３０１及びＡＲ ３０２は単一混合ポリシーをあらわす。曲線ＡＬ ３０１及びＡＬ ３０２は混合係数Ａ ３０４が中間視点Ｂ ３０３にどのように依存するかを記述する。曲線ＡＬ ３０１は左中間画像ＩＢＬに対応する混合係数を記述し、曲線ＡＲ ３０２は右中間画像ＩＢＲに対応する混合係数を記述する。曲線ＡＬ及びＡＲの混合係数は相補的であり合計すると１になる、すなわちＡＬ＋ＡＲ＝１である。混合係数ＡＬ及びＡＲは中間視点Ｂに線形従属する。値Ｂ＝０における目盛３１１は元の左視点Ｌに対応し、値Ｂ＝１における目盛３１２は元の右視点Ｒに対応し、値Ｂ＝０．５における目盛３１３は中心ステレオ視点、例えば図２の視点２１０に対応することが留意される。ブレンディングプロセスＢＬＥＮＤにおける混合の一実施例はアルファブレンディングに従った混合であり、これは以下の通り実行される：
ＩＢ＝ＡＬ^＊ＩＢＬ＋ＡＲ^＊ＩＢＲ、ここでＡＬ＋ＡＲ＝１

図３ａ及び３ｂにおいて、元の視点Ｌにおける中間画像ＩＢはＢ＝０における元の左画像ＩＬに等しく、従ってＩＢ＝ＩＢＬ＝ＩＬである。元の視点Ｒにおける中間画像ＩＢはＢ＝１における元の右画像ＩＲに等しく、従ってＩＢ＝ＩＢＲ＝ＩＲである。中心視点における、従ってＢ＝０．５における中間画像ＩＢは中間画像ＩＢＲ及びＩＢＬの平均に等しく、従ってＩＢ＝０．５^＊ＩＢＬ＋０．５^＊ＩＢＲである。

混合係数ＡＬは混合における左中間画像ＩＢＬの相対寄与をあらわし、混合係数ＡＲは混合における右中間画像ＩＢＲの相対寄与をあらわすことが留意される。この文脈における混合係数は一般に'ブレンド係数'ともよばれる。

横視点範囲、従ってＢ＜０及びＢ＞１についての混合ポリシーは図３ａに示されないことが留意される。従ってこれにより、左横視点範囲内のビューについて、従ってＢ＜０についてはＡＬ＝１であり、右横視点範囲内のビューについて、従ってＢ＞１についてはＡＬ＝０であることが示唆される。その結果として、左横視点範囲内のビューについてはＡＲ＝０であり、右横視点範囲内のビューについてはＡＲ＝１である。

図３ｂは二つの非線形混合ポリシーを図示する。曲線３５１及び３５２は図３ａの各曲線ＡＬ３０１及びＡＬ３０２と同様であり、曲線３５１及び３５２が中間視点Ｂに非線形従属する点が異なる。曲線３５１及び３５２は図３ａの線形曲線の代案を提示する。曲線３５１，３５２を用いる非線形混合ポリシーの効果は、線形曲線３０１を用いるのと比較して非線形曲線３５１を用いるとき、左中間画像ＩＢＬによる混合における相対寄与が、中心ステレオ視点の左におけるビューについてより大きくなることである。同様に、右中間画像ＩＢＲによる混合における相対寄与は、線形曲線３０２を用いるのと比較して非線形曲線３５２を用いるとき、中心視点の右におけるビューについてより大きくなる。

図３ｂは非対称非線形混合ポリシーも示す。非線形非対称曲線３６１，３６２は非線形性という意味で各曲線３５１，３５２と同様であるが、非対称という意味で異なる。曲線３６２は平均で曲線３６１よりも大きいので、曲線３６１，３６２は混合係数が平均で右中間画像ＩＢＲについてより高いことを示す。その結果として、中心ステレオ視点において、すなわちＢ＝０．５において、中間画像ＩＢへの右中間画像ＩＢＲの相対寄与（曲線３６２）は中間画像ＩＢへの左中間画像ＩＢＬの相対寄与（曲線３６１）よりも大きい。言い換えれば、混合における右中間画像ＩＢＲの相対寄与は混合における左中間画像ＩＢＬの相対寄与より優位である。

図３ｂの曲線における左右非対称性は、曲線における非対称性が非対称パラメータＰａｒＡを変えることによって増加若しくは減少され得るように、非対称パラメータＰａｒＡによって制御される。

曲線３６１及び３６２の非対称性をさらに増加させることによって、曲線３６１と３６２の交点はさらにいっそう左の方へ、従ってＢ＝０の方へシフトし、従って曲線３６２は平均でさらにいっそうＡ＝１の方へ傾く。その結果、増加するビューについて、中間画像ＩＢがますます右中間画像ＩＢＲに類似し、徐々に左中間画像ＩＢＬに類似しなくなるように、混合における右中間画像ＩＢＲの大きな相対寄与を用いて中間画像ＩＢが生成されることになる。非対称パラメータＰａｒＡをその正の最大値ＰａｒＡ＝＋１に増加させることによって、上記右中間画像ＩＢＲの相対寄与は全中間ビューＢについて１になる。言い換えれば、中間画像ＩＢが右画像ＩＲ、右視差データＤＲ及び中間視点Ｂのみを用いて生成されるように、各中間画像ＩＢは右中間画像ＩＢＲのコピーになる。後者の場合は一般に'画像プラス奥行からのレンダリング'としても知られる。

同様に、非対称パラメータＰａｒＡは交点を右の方へ、すなわち従ってＢ＝１．０の方へ動かして他方の方向に非対称性をシフトするために使用され得る。前の実施例と類似して、上記交点を右へますますシフトすると、中間画像ＩＢへの左中間画像ＩＢＬの相対寄与はさらに増加する。非対称パラメータＰａｒＡをその負の最大値ＰａｒＡ＝−１に増加させることによって、上記左中間画像ＩＢＬの相対寄与はＢ＝０とＢ＝１の間の全中間ビューＢについて１になる。言い換えれば、中間画像ＩＢが左画像ＩＬ、左視差データＤｌ及び中間視点Ｂのみを用いて生成されるように、中間画像ＩＢは左中間画像ＩＢＬのコピーになる。

よりゼロに近い値を仮定する非対称パラメータＰａｒＡの場合、図３ｂの曲線はあまり非対称でなくなり、これは上記中間画像ＩＢＬ，ＩＢＲの相対寄与がより等しくなる混合ポリシーに対応する。ＰａｒＡ＝０である、非対称パラメータの一つの特定の値の場合、曲線は曲線３５１，３５２によって図示されるような対称非線形混合ポリシーを記述する。

従って非対称パラメータは事実上、混合ポリシーを段階的にスイッチし、それによって（ａ）左データ及び右データの両方から中間画像を生成することと、（ｂ）左データ及び右データの一方のみから中間画像を生成することを段階的に切り替えるために使用され得る'ソフトスイッチ'である。混合ポリシーの当該段階的スイッチは本明細書において以下でさらに詳述される。

オプションとして、中間画像はステレオビュー静止画像によって含まれるステレオデータから生成される。オプションとして、中間画像はステレオビュービデオシーケンスのステレオビューフレームによって含まれるステレオデータから生成される。

オプションとして、二つの中間画像は新たなステレオ画像の新たな左画像と新たな右画像を形成するために生成され、新たな左画像は新たな左視点に対応し、新たな右画像は新たな右視点に対応し、新たな左視点と新たな右視点はそれぞれ元の左視点及び右視点とは異なる。このような二つの中間画像の生成は一般にステレオ‐ステレオ変換ともよばれ、ステレオデータの奥行範囲を縮小若しくは拡大するために適用され得る。新たなステレオ画像はステレオビュー眼鏡を用いて観察者によって専用ステレオビューディスプレイ上で見られ得る。

オプションとして、中間画像の列において画像を同時に表示することができるマルチビューオートステレオスコピックディスプレイ上で見るために、ビューの水平列に対応する中間画像の列が生成される。列は典型的には二つよりも多くのビューを有する。例えば、マルチビューオートステレオスコピックディスプレイは９ビューを有する。

オプションとして、中間画像の列はステレオビュービデオシーケンスの各フレームから各ビュー列に対して生成される。ビュー列は連続中間ビューを有する。中間画像の列は例えばマルチビューオートステレオスコピックディスプレイ上で見られる。

オプションとして、ステレオビュービデオシーケンスは様々なシーンを有し、単一の混合ポリシーが一つのシーン内で使用される。シーンはマルチ連続ステレオビュービデオフレームを有し、この場合、各ステレオビュービデオフレームから中間画像を生成するためにシーン内で同じ混合ポリシーが使用される。シーン内で使用される混合ポリシーは後続シーン内で使用される混合ポリシーとは異なり得る。シーン変化検出器を用いることによって、次のシーンの開始が検出され、次の混合ポリシーが新たなシーンの最初のフレームにおいて決定される。次のシーン内では次の混合ポリシーが使用される。シーン変化検出器を用いるのではなく、シーン変化はシーン変化インジケータを有するメタデータによって示されてもよく、メタデータはステレオビュービデオシーケンスによって含まれる。

従来技術のシーン検出、若しくはショット遷移検出法、並びにそれらの作用の分析の概要は、引用により本明細書に組み込まれる、Ａｌａｎ Ｆ．Ｓｍｅａｔｏｎ，"Ｖｉｄｅｏ ｓｈｏｔ ｂｏｕｎｄａｒｙ ｄｅｔｅｃｔｉｏｎ：Ｓｅｖｅｎ ｙｅａｒｓ ｏｆ ＴＲＥＣＶｉｄ ａｃｔｉｖｉｔｙ"，Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ １１４（２０１０）４１１‐４１８，２０１０において得られる。図４はステレオビデオフレームを有するステレオビュービデオシーケンス４００の三連続シーン４１０，４２０，４３０を図示する。ステレオビデオシーケンスは左画像と右画像を有するステレオビデオフレームから成る。図４における水平軸は時間軸をあらわす。セクション４１０，４２０，４３０は各々（時間）インスタンス４０１，４０２，４０３においてそれぞれ開始するステレオビュービデオシーケンスのセクションを提示し、セクション４３０はインスタンス４０４において終了する。セクション４１０，４２０，４３０はシーンをあらわし、インスタンス４０２及び４０３はシーン変化をあらわす。本文脈において使用される'シーン'という語は'ショット'という語によって一般によばれるものと同じことをあらわす。

シーン内で単一の混合ポリシーが使用される上記実施形態が、以下の実施例でさらに説明される。セクション４１０は多くのディテールを有するフレームを含み、従って左中間画像ＩＢＬのみを用いる混合を定義する混合ポリシーが決定される。セクション４２０は少ないディテールを含み、従って図３ａの曲線によって記述される混合ポリシーなど、左中間画像ＩＢＬと右中間画像ＩＢＲの両方を用いる混合を定義する混合ポリシーが決定される。セクション４１０と同様に、セクション４３０は多くのディテールを有するフレームを含み、従って右中間画像ＩＢＲのみを用いる混合を定義する混合ポリシーが決定される。シーン変化がインスタンス４０２及び４０３において検出され、その結果新たな混合ポリシーが決定され、中間画像ＩＢの生成において使用される。

前の実施例に加えて追加の実施例として、中間ビューの各列に対応する中間画像の列が各ステレオビデオフレームから生成され、中間画像の列はマルチビューオートステレオスコピックディスプレイ上で見られる。

オプションとして、混合ポリシーの決定はステレオビュービデオシーケンスのシーン内で段階的に変化する。これは図３ｂの説明において上記した通り非対称パラメータを用いる混合で実現される。以下の実施例を考える。シーンの前期フレームから生成するために、左中間画像ＩＢＬのみを用いる混合を定義する、従って事実上（元の）左データのみから中間画像ＩＢを生成する、第一の混合ポリシーが決定される（ＰａｒＡ＝−１を用いる）。シーンの後期フレームから生成するために、二つの中間画像ＩＢＬ，ＩＢＲの両方を用いる混合を定義する、従って事実上左データと右データの両方から中間画像ＩＢを生成する、第二の混合ポリシーが決定される（ＰａｒＡ＝０を用いる）。さらに、中間画像ＩＢにおける急な遷移を防止するために、混合ポリシーは前期フレームと後期フレームの間のフレームについて第一の混合ポリシーから第二の混合ポリシーへ段階的に変更される。二フレーム間で非対称パラメータを段階的に変化させることによって、混合ポリシーにおいて段階的な変化が確立され、その結果中間画像も段階的に変化する。従って前期フレームと後期フレームの間のフレームについて、非対称パラメータは前期フレームに対するＰａｒＡ＝−１から後期フレームに対するＰａｒＡ＝０へと段階的に変化する。

図５は、六つのサブ図の各々において、ターゲット視点Ｔ ５０４を中心とする中間視点の列に対応するマルチディスプレイビューを有するマルチビューディスプレイを図示する。サブ図５１０‐５５０の各々はディスプレイビューの列を有するマルチビューディスプレイを図示する。各ディスプレイビューにおいて、ディスプレイは中間視点に対応する中間画像を表示し、従ってディスプレイビューの列は事実上中間視点の列を示す。中間視点の列内の中間視点の相対位置は全てのサブ図において同じままであり、従って中間視点は列におけるそれらの相対順序とそれらの二つの隣接中間視点への距離を維持する。元のステレオ視点Ｌ ５０１及びＲ ５０２は左視点と右視点が中間視点の列内のどこにあるかを示す。中心ステレオ視点ＣＳ ５０３は視点Ｌと視点Ｒの真ん中にある中間視点を示す。中間視点の列における中心要素はターゲット視点Ｔである（破線垂直線も参照）。ターゲット視点Ｔは元の視点Ｌ及びＲの間若しくは付近の任意の中間視点であり得る。視点Ｌ，Ｒ及びＣからターゲット視点Ｔがどの中間視点に対応するかが推定される。サブ図５１０‐５５０の各々は異なるターゲット視点Ｔに対応する（同じターゲット視点Ｔに対応するサブ図５５０及び５６０を除く）。

例えばサブ図５１０において、ターゲット視点Ｔは中心ステレオ視点ＣＳに対応する。対照的に、サブ図５５０においてターゲット視点Ｔは元の左視点Ｌに対応する。各サブ図から次のサブ図へ、例えば５１０から５２０へ、ターゲット視点は１視点だけシフトする。従って、サブ図５１０‐５５０のシーケンスはターゲット視点Ｔの段階的シフト、すなわち後続サブ図間で１ディスプレイビューだけシフトする、サブ図５１０における中心ステレオ視点からサブ図５５０における元の左視点への段階的シフトを示す。しかしながらサブ図５５０とサブ図５６０の間でターゲット視点Ｔはシフトされず、これは以下の実施例において使用される。

オプションとして、図１の方法はステレオデータから中間画像の列を生成するために使用され、中間画像がステレオデータの所与のコンテンツに対して高画質を持つようにターゲット視点Ｔが決定される。以下の実施例を考えると、ステレオデータはステレオビデオシーケンスによって含まれ、混合ポリシーは全フレームに対して同じ混合を定義する。混合ポリシーは、図３ａによって記述される混合ポリシーなど、両中間画像ＩＢＬ及びＩＢＲを使用する混合を定義する。この実施例の文脈において、サブ図５１０‐５６０はステレオビュービデオシーケンスの後続フレームに対応する。サブ図５１０はこの実施例においてフレーム１とよばれる、ステレオビデオフレームから生成される中間画像の列をマルチビューディスプレイが表示する状況に対応する。同様に、サブ図５２０‐５６０は各フレーム２‐６に対応する。ポリシー検出プロセスは画像ディテールの存在を検出するディテール検出器を使用し、検出された存在に基づいてターゲット視点Ｔを選択する。フレーム１について、システムは、ディテール検出器を用いて、ディテールアーチファクトが見えないように少ないディテールが存在すると結論付け、従ってターゲット視点Ｔとして中心ステレオ視点ＣＳを選択する。その結果、方法は中間ビューの列に対する中間画像を生成し、列の中心視点は中心ステレオ視点ＣＳに対応する。しかしながら、フレーム２に対し、システムは過剰のディテールが存在すると結論付け、従って、例えばディテールアーチファクトは中心ステレオ視点ＣＳ付近のビューよりも元の左視点Ｌ付近のビューで少なく見えるので、ターゲット視点Ｔとして左視点Ｌを用いることによって高画質が生成されると結論付ける。中間画像における瞬間遷移（例えば３Ｄ画像が不快な観察経験をもたらす突然の'ジャンプ'をなすような）を防止するために、ターゲット視点Ｔは第二のフレームから中間画像の列を生成するために左視点Ｌへ単一ステップでシフトされない。代わりに、元の左視点Ｌへ向かってターゲット視点Ｔの段階的シフトがフレーム２‐５中に実行され、フレーム５において段階的シフトを完了する。

オプションとして、例えばシーン変化が一つのフレームとその次のフレームの間で検出されるとき、システムは一つのフレームとその次のフレームの間でターゲット視点Ｔの瞬間シフトを（段階的シフトを実行するのとは対照的に）実行する。ステレオビデオフレームのコンテンツが、全体として、シーン変化において一つのフレームとその次のフレームの間で変化するので、ターゲット視点Ｔにおける瞬間変化は観察者によって気付かれない。

オプションとして、ポリシー決定プロセスはターゲット視点Ｔのシフトを完了した後に新たな混合ポリシーを決定する。例えば、上記の通りフレーム１‐５中の段階的シフトを考える。フレーム６（サブ図５６０参照）について、混合ポリシーは例えば左中間画像ＩＢＬのみを用いる（若しくは言い換えれば事実上'画像プラス奥行'を用いる）混合を定義する新たな混合ポリシーに変更される。

オプションとして、前の段落に類似して、ポリシー決定プロセスはターゲット視点Ｔのシフトを開始する前に新たな混合ポリシーを決定する。新たな混合ポリシーは段階的シフト中に変化しない。

オプションとして、ポリシー決定プロセスは段階的シフトと同時に混合ポリシーを段階的に変更する。フレーム１‐５中の段階的シフトを考えるが、混合ポリシーは非対称パラメータＰａｒＡによって制御される非線形非対称混合ポリシーである（図３ｂも参照）。フレーム１において、混合は図３ｂにおける曲線３５１‐３５２によって記述されるような両中間画像ＩＢＬ及びＩＢＲを用いて決定される。フレーム５において、混合は左中間画像ＩＢＬのみを使用する。フレーム１，２，３，４，５における混合はそれぞれＰａｒＡ＝０．０，−０．２５，−０．５，−０．７５，−１．０によって定義される。

オプションとして、ターゲット視点Ｔは離れた複数フレームであるフレームにおいてシフトされる。例えば、ターゲット視点Ｔは１０フレームごとに一度１ビューだけシフトされ、毎フレームごとに１ビューだけシフトするのと比較して段階的シフトをより遅くする。

オプションとして、ターゲット視点Ｔはビューの一部だけ、若しくは１ビューよりも多くシフトされる。

オプションとして、ターゲット視点Ｔは複数のターゲット視点Ｔについて画質を予測し、最高画質に対応する一つを複数のターゲット視点から選択することによって決定される。中間画像の列の予測画質は予測画質パラメータによって定量化される。例えば、複数のターゲット視点Ｔは三視点：元の左視点Ｌ、元の右視点Ｒ、及び中心ステレオ視点ＣＳから成る。この実施例において、ステレオ画像は多くのディテールを含み、中心ステレオ視点ＣＳに対する予測画質パラメータはその結果低く（可視ディテールアーチファクトが中心ステレオ視点付近で予測されるので）、一方元の視点Ｌ及びＲに対する予測画質パラメータは高い（可視ディテールアーチファクトが元の視点Ｌ及びＲ付近で予測されないので）。この場合、元の視点Ｌに対する予測画質パラメータは他の二視点、Ｒ及びＣＳに対する予測画質パラメータと比較して最高である。従って元の視点Ｌが選択され、中間視点の列は元の視点Ｌを中心とする。言い換えれば、中間視点の列は元の視点Ｌ付近の領域内にある。

オプションとして、予測画質パラメータは視点あたり予測画質パラメータの列の平均として計算され、一つの視点あたりパラメータは中間視点の列における各中間視点について計算される。そして中間視点の列に対する予測画質パラメータは視点あたり予測画質パラメータの平均として計算される。

オプションとして、中間画像の列の予測画質パラメータは中間視点の列における単一中間視点に対する視点あたり予測画質パラメータとして計算される。例えば、単一中間視点は中間視点の列におけるターゲット視点Ｔである。中間視点の列が奇数の長さＮを持つ場合、ターゲット視点Ｔは列における（Ｎ＋１）／２番目の中間視点をあらわす。そして中間画像の列の予測画質はターゲット視点Ｔに対応する中間画像の視点あたり予測画質パラメータによってあらわされる。

オプションとして、ターゲット視点Ｔは事前に計算され、元の左画像と元の右画像を補完するメタデータとしてレンダリングシステム若しくはレンダリングデバイスに提供され得る。この文脈において'補完する'という語は、メタデータがステレオデータと一緒に提供されるという意味で'結合される'ことをあらわし、'補完する'という語は本明細書の他の場所において同じ意味を持つことが留意される。

図７は上記の通りステレオ画像から中間画像の列を生成するための方法を図示する。方法への入力は左画像１０１と右画像１０２を有するステレオ画像ＩＳ ７０１である。決定プロセス７１０はターゲット視点７１１を決定し、生成プロセス７２０ ＳＩＢＧＥＮはステレオ画像ＩＳから、ターゲット視点ＴＡＲを中心とする中間視点の列に対して、中間画像の列ＳＩＢを生成する。

決定プロセスＴＡＲＤＥＴ ７１０は中間視点の列の予測画質にターゲット視点の決定を基づかせる。決定プロセスはターゲット視点ＴＡＲを中心とする中間視点の列に対する中間画像の画質を予測する予測プロセス（図７に不図示）を有する。例えば、予測プロセスはディテール検出器を有し、この場合、ステレオ画像において多量のディテールを検出する。この場合、予測プロセスは中心ステレオ視点ＣＳにおける予測画質が低く、従って適切なターゲット視点でないと結論付け、その結果元の左視点Ｌをターゲット視点ＴＡＲとして決定する。従って、ターゲット視点ＴＡＲは、中間視点の列がターゲット視点ＴＡＲを中心とした場合に生成プロセスＳＩＢＧＥＮから生じ得る中間画像の列ＳＩＢの予測画質に基づく。

オプションとして、ターゲット視点決定プロセス７１０は元のステレオ画像７０１を補完するメタデータとして（事前に計算された）ターゲット視点ＴＡＲを読み出す。オプションとしてターゲット視点決定プロセス７１０はターゲット視点を決定するために左画像ＩＬと右画像ＩＲの一方のみを用いる。例えば、上記の通り、予測画質パラメータがディテール検出器を用いて計算される場合、左画像ＩＬと右画像ＩＲの一方のみを用いることはディテールを検出するために十分である。

オプションとして、生成プロセス７２１は図１に図示されたように生成機能を使用し、生成機能は中間視点の列における中間視点の一つに対してステレオ画像ＩＳから中間画像を生成する。生成プロセス７２１は生成機能を使用して中間視点の列ＳＢにおける各中間視点に対して中間画像を生成し、従って中間画像の列ＳＩＢを生成する。生成機能は中間画像を生成するために視差データを使用し、ステレオ画像ＩＳから視差データを計算する。オプションとして、視差データはステレオ画像ＩＳから計算されるのではなく、代わりにステレオ画像ＩＳを補完するメタデータとして読み出される。

ターゲット視点、オプションの混合ポリシー及びオプションの奥行／視差データを有するメタデータの提供により、より高画質の中間画像の列がレンダリングされ得る；すなわち画質要求がエンコーディング時に承認／考慮されている中間画像の列がレンダリングされ得る。

上記において、ターゲット視点と混合ポリシーは主に個別に最適化されているが、これが当てはまる必要はない。特にターゲット視点と混合ポリシーの選択がコンテンツレビュアー委員会によって評価されるときは、多数の選択肢を評価し、組み合わせた両パラメータを最適化することが可能である。このように可視アーチファクトを軽減しながらもディレクターの選好に従う選択がなされ得る。図７のターゲット視点ＴＡＲ ７１１は図５のターゲット視点Ｔ ５０４と同じものをあらわすことが留意される。

図７の方法を実行するように構成されるシステムはターゲット視点決定ユニットと列生成ユニットを有する。ターゲット決定ユニットは決定プロセスＴＡＲＤＥＴを実行するように構成される。列生成ユニットは生成プロセスＳＩＢＧＥＮを実行するように構成される。システムへの入力はステレオ画像ＩＳである。システムの出力は中間画像の列ＳＩＢである。

図６は三構成で、ステレオデータから中間画像を生成するため及びディスプレイ上に中間画像を表示するためのシステムを図示する。システムは生成された中間画像をディスプレイ上に表示するために構成される。生成ユニットＧＵ ６３０，６４０，６５０は全て中間画像ＩＢ ６１１を生成するように構成され、全てステレオ画像ＩＬ，ＩＲと中間視点Ｂ ６０３を受け取るように構成される。ディスプレイユニットＤＩＳＰ ６６６は生成ユニットＧＵ ６３０，６４０，６５０の一つから受け取る中間画像ＩＢを表示するように構成される。

図６はステレオ画像から中間画像ＩＢ ６１１を生成するための、及びディスプレイＤＩＳＰ上に中間画像ＩＢ ６１１を表示するためのシステム６００を図示する。生成ユニットＧＵ ６３０はステレオ画像ＩＬ，ＩＲから中間画像ＩＢ ６１１を生成するように、及び元の左画像ＩＬ、右画像ＩＲ及び中間視点Ｂ ６０３をその入力において受け取るように構成される。プロセスＧＵ ６３０は以下の機能を有する：
（ａ）元の左及び右画像ＩＬ，ＩＲを受け取り、左及び右画像ＩＬ，ＩＲから左視差データＤＬを計算し、計算された左視差データＤＬを左ワーピング機能へ渡す、左視差計算機能；並びに、
（ｂ）元の左及び右画像ＩＬ，ＩＲを受け取り、左及び右画像ＩＬ，ＩＲから右視差データＤＲを計算し、計算された右視差データＤＲを右ワーピング機能へ渡す、右視差計算機能；並びに、
（ｃ）中間視点Ｂ ６０３、左画像ＩＬ、及び左視差データＤＬを受け取り、左中間画像ＩＢＬを生成し、左中間画像ＩＢＬを混合機能へ渡す、左ワーピング機能；並びに、
（ｄ）中間視点Ｂ ６０３、右画像ＩＲ、及び右視差データＤＲを受け取り、右中間画像ＩＢＲを生成し、右中間画像ＩＢＲを混合機能へ渡す、右ワーピング機能；並びに、
（ｅ）元の左画像ＩＬ及び元の右画像ＩＲを受け取り、その混合ポリシーを用いてシステムによって生成される中間画像の予測画質に基づいて混合ポリシーを決定し、混合ポリシーを混合機能へ渡す、ポリシー決定機能；並びに、
（ｆ）左ワーピング機能から左中間画像ＩＢＬを受け取り、右ワーピング機能から右中間画像ＩＢＲを受け取り、中間視点Ｂ ６０３を受け取り、ポリシー決定機能から混合ポリシーを受け取り、中間視点Ｂ ６０３と混合ポリシーを用いて中間画像ＩＢＬ，ＩＢＲの混合によって中間画像ＩＢ ６１１を生成する、混合機能。

オプションとして、生成ユニットはシステムの機能を実行するソフトウェアを有する汎用プロセッサである。オプションとして、生成ユニットはシステムの機能を実行する専用アプリケーションロジックを有するＡＳＩＣである。

オプションとして、システム６００は左ワーピング機能と右ワーピング機能の代わりに単一ワーピング機能を有する。左ワーピング機能と右ワーピング機能は同一であり、同じ計算を実行するように構成され、それらが処理する入力においてのみ異なる。単一ワーピング機能は左ワーピング機能若しくは右ワーピング機能と同一である。システム６００は連続的に中間画像ＩＢＬ，ＩＢＲを計算する単一ワーピング機能を有する。例えば、単一ワーピング機能は以下の通り実行される。単一ワーピング機能は最初に左データＩＬ，ＤＬ、中間視点Ｂを受け取り、左中間画像ＩＢＬを生成し、左中間画像ＩＢＬを混合プロセスに渡す。そして単一ワーピング機能は右データＩＲ，ＤＲ、中間視点Ｂを受け取り、右中間画像ＩＢＲを生成し、右中間画像ＩＢＲを混合プロセスに渡す。システム６００は一旦四つの入力ＩＢＬ，ＩＢＲ，Ｂ，ＰＯＬ全てを受け取ると混合を実行する混合機能を有する。オプションとして、単一ワーピング機能は最初に右中間画像ＩＢＲを、そして左中間画像ＩＢＬを時系列で生成する。

図６はステレオ画像及び混合ポリシーから中間画像を生成するために、並びに中間画像をディスプレイ上に表示するように構成されるシステム６１０を図示する。生成ユニットＧＵ ６４０は以下の違いを除きユニットＧＵ ６３０と同じである。ユニットＧＵ ６４０はポリシー決定機能を有しておらず、混合機能がＧＵ ６４０の入力から混合ポリシーＰＯＬ ６０４を受け取るように構成される。

図６はステレオ画像から、及び視差データから中間画像を生成するために、並びに中間画像をディスプレイ上に表示するように構成されるシステム６２０を図示する。生成ユニットＧＵ ６５０は以下の違いを除きユニットＧＵ ６３０と同じである。生成ユニットＧＵ ６５０は視差処理機能を有していない。左ワーピング機能は入力から直接左視差ＤＬ ６１１を受け取るように構成される。同様に、右ワーピング機能は入力から直接右視差ＤＲ ６１２を受け取るように構成される。

オプションとして、ディスプレイユニットＤＩＳＰはそのディスプレイビューの一つにおいて中間画像ＩＢを表示するマルチビューディスプレイである。

オプションとして、ディスプレイユニットＤＩＳＰはステレオビューディスプレイであり、左中間視点ＢＬと右中間視点ＢＲを生成ユニットＧＵへ提供するようにヘッドトラッキングデバイスが構成される。生成ユニットＧＵは各中間ビューＢＬ，ＢＲを用いて新たな左画像と新たな右画像を生成するように、及び生成されたステレオ画像をディスプレイユニットＤＩＳＰへ提供するように構成される。ディスプレイユニットＤＩＳＰはステレオ画像を表示するように構成され、これは観察者がディスプレイユニットＤＩＳＰ上で３Ｄ画像を知覚することを可能にするように構成されるステレオ眼鏡を用いて観察者によって見られる。生成ユニットＧＵとディスプレイユニットＤＩＳＰを有する、得られるシステムは、観察者が３Ｄ画像を視覚的に知覚するように、及び能動的頭部運動をなすことにより３Ｄ画像におけるフォアグラウンドオブジェクトの後ろを見るように構成される。

追加の実施形態として、コンピュータプログラム製品は図７に図示の方法の決定プロセス７１０と生成プロセス７２０をプロセッサシステムに実行させるための命令を有する。例えば、プロセッサシステムはビデオグラフィックカードと汎用プロセッサを持つＰＣを有し、マルチビューディスプレイに接続される。プロセッサシステムはステレオ画像を中間画像の列に変換し、各ディスプレイビュー上で中間画像の列を表示するためにマルチビューディスプレイを駆動する。図７の方法は汎用プロセッサ上及び／又はビデオグラフィックカード上のコンピュータプログラム上のソフトウェアにおいて実行する。ステレオ画像はビデオフレームを有するステレオビデオシーケンスを提供するソースから受信され、各ビデオフレームは左画像と右画像を有する。ソースはプロセッサシステムが接続されるインターネットであってもよく、そこからステレオビデオシーケンスがプロセッサシステムへストリーミングされる。ソースはコンピュータプログラムが保存されるメディアデータキャリアであってもよい。メディアデータキャリアは例えばＢｌｕ‐ｒａｙ（登録商標）ディスク若しくはフラッシュメモリを有するＵＳＢストレージデバイスであり得る。

上記の通り、ターゲット視点及びオプションとして混合ポリシーは事前に計算され、元のステレオデータを補完するメタデータとしてレンダリングシステム若しくはレンダリングデバイスに提供されてもよい。従って本発明はステレオ画像７０１から中間画像の列７２１を生成する方法において使用するための出力ステレオデータを生成する方法も有利に可能にし、ステレオ画像７０１は左視点に対応する左画像１０１と右視点に対応する右画像１０２を有し、出力ステレオデータを生成する方法は、ターゲット視点７１１を中心とする空間的に連続する視点に対応する中間画像の列７２１の予測画質に基づいてターゲット視点７１１を決定するステップと；決定されたターゲット視点７１１を記述するメタデータを含む出力ステレオデータを生成するステップを有する。

ターゲット視点を決定することは、それぞれの複数のターゲット視点に対して複数の予測画質パラメータを計算すること、及び複数の予測画質パラメータの中で最高値を持つ予測画質パラメータに対応するターゲット視点７１１を決定することを有する。代替的に若しくは付加的に、決定することはディテール検出器を用いてステレオ画像７０１における画像ディテールの量を測定すること、及び測定された画像ディテールの量に基づいて予測画質を計算することを有する。代替的に若しくは付加的に、決定すること７１０はオクルージョンアーチファクトを予測するために奥行遷移検出器を用いてステレオ画像７０１における奥行遷移を検出すること、及び予測されたオクルージョンアーチファクトを用いて予測画質を決定することを有する。さらに代替的に、ステレオ画像７０１から中間画像の列７２１を生成する方法において使用するための出力ステレオデータを生成する方法は、中間画像の列７２１を生成するのに使用するための混合ポリシーＰＯＬを決定することをさらに有し、混合ポリシーＰＯＬを記述するメタデータとして出力ステレオデータに決定された混合ポリシーＰＯＬを含めることをさらに有する。上記の通り出力ステレオデータは、中間画像の列７２１を生成するために構成されるシステムが、ターゲット視点及び／又は混合ポリシーを使用すること（提供されるとき）、メタデータのエンコーディング時に設定された要求を満たす中間画像の列の生成を可能することを可能にするという点で、従来技術と比較して中間画像の列７２１の改良された生成を可能にするために使用され得る。

本発明はステレオ画像７０１から中間画像の列７２１を生成するシステムにおいて使用するための出力ステレオデータを生成するためのシステムも可能にし、ステレオ画像７０１は左視点に対応する左画像１０１と右視点に対応する右画像１０２を有し、出力ステレオデータを生成するためのシステムは、ターゲット視点７１１を中心とする空間的に連続する視点に対応する中間画像の列７２１の予測画質に基づいてターゲット視点７１１を決定するため；及びターゲット視点７１１を記述するメタデータを含む出力ステレオデータを生成するために構成される生成ユニットを有する。

生成ユニットによる決定は、それぞれの複数のターゲット視点に対して複数の予測画質パラメータを計算すること、及び複数の予測画質パラメータの中で最高値を持つ予測画質パラメータに対応するターゲット視点７１１を決定することを有する。代替的に若しくは付加的に、生成ユニットによる決定はディテール検出器を用いてステレオ画像７０１における画像ディテールの量を測定すること、及び測定された画像ディテールの量に基づいて予測画質を計算することを有し得る。代替的に若しくは付加的に、生成ユニットによる決定はオクルージョンアーチファクトを予測するために奥行遷移検出器を用いてステレオ画像７０１における奥行遷移を検出すること、及び予測されたオクルージョンアーチファクトを用いて予測画質を決定することを有する。さらに代替的に、ステレオ画像７０１から中間画像の列７２１を生成するシステムにおいて使用するための出力ステレオデータを生成するシステムは、生成ユニットが中間画像の列７２１を生成するのに使用するための混合ポリシーＰＯＬを決定することをさらに有し、混合ポリシーＰＯＬを記述するメタデータとして出力ステレオデータの生成中に決定された混合ポリシーＰＯＬを含めるようにさらに構成される。

上記の通り出力ステレオデータは、中間画像の列７２１を生成するために構成されるシステムが、ターゲット視点及び／又は混合ポリシーを使用すること（提供されるとき）、メタデータのエンコーディング時に設定された要求を満たす中間画像の列の生成を可能することを可能にするという点で、従来技術と比較して中間画像の列７２１の改良された生成を可能にするために使用され得る。

ターゲット視点及び／又は出力ステレオデータに含まれる混合ポリシー情報／メタデータは、ステレオペアに関してターゲット視点の位置を記述する、又は別の方法でレンダリングが適切な中間画像の列を生成することを可能にする情報を有し得る。

ターゲット視点配向を示すメタデータは相対的であり、すなわちステレオペアの左右視点の位置をターゲット視点の基準とする（図５で使用されるＴの表現に相当）。

単純な２進表現の一実施例はターゲット視点を示すために３ビットを使用するものであり、ここでは０００がＬに、１００がＬ＆Ｒの中間に、００１がＬから１／８でＲから７／８などに対応し得る。フレームがこのメタデータを含まない場合、これは前のフレームから利用可能な最後のターゲット視点表示を使用し得る。

代替的に配向は例えばディスプレイ面配向若しくはディスプレイ面法線を基準にして絶対配向としてあらわされ得る。

ステレオペアがビデオシーケンスの一部である場合、上記ターゲット視点は経時的に変化し得る。結果としてターゲット視点はフレームあたり提供され得るか、又は例えばＧＯＰあたり（コーディング規格に関する粒度のレベル）若しくはショット／シーンあたりのより高い粒度で（ショットレベルにおける連続性などの要求に対処することを可能にする粒度のレベル）、マルチフレームを有する集合した形のビデオ構造において提供され得る。

後者はさらに、経時的にターゲット視点の配向を示す区分線形表現若しくはスプライン表現の形で機能記述を用いることなどによって、より高い抽象化レベルでターゲットビュー配向が記述されることを可能にする。

オプションとして、メタデータはターゲット視点自体を有するのではなく、ターゲット視点を決定するためのデータを有する。例えば、メタデータは特定ビデオフレームについて予測画質が基づくべき画像特徴を有してもよく、画像特徴は画像ディテール若しくはオクルージョンアーチファクトであり、例えばあるビデオフレームに対し予測画質は画像ディテールに基づき、別のビデオフレームに対し予測画質はオクルージョンアーチファクトに基づく。

混合ポリシー情報、若しくは混合ポリシーメタデータが出力ステレオデータに含まれるとき、これは上記の通りマルチビューディスプレイを駆動するのに使用するための混合係数若しくはブレンド係数、非対称パラメータ、ターゲット視点Ｔ記述、ビュー位置割り当てに及ぶ情報を有し得る。この情報はフレームあたり、若しくは好適にはシーン内の各フレームにパラメータをリンクするシーンあたりのルックアップテーブルの形で、又は例えば区分線形若しくはスプラインベース表現を用いて機能記述の形で提供され、表現は再生デバイスが機能記述からフレームに対し適切なパラメータを導き出すことを可能にする。

上記方法に従って生成される出力ステレオデータはマルチビューディスプレイデバイス上でのレンダリングにおいて使用するための追加メタデータ及び／又は情報をさらに含み得る。

上記方法若しくはシステムを用いて生成される出力ステレオデータはブロードキャスト用の信号として、又はローカルネットワーク、企業イントラネット若しくはインターネットなどのデジタルネットワークを介した伝送用の信号として、出力され得る。

上記の信号はステレオ画像からの中間画像の列７２１の改良された生成を可能にするために使用され得る。上記の通りターゲットビュー情報は単一ステレオ画像ペアに対して、又はステレオビデオシーケンスにおけるステレオ画像ペアのシーケンスに対して提供され得る。ターゲット視点を記述するメタデータは混合ポリシー、及び／又は奥行／視差データ（最大解像度で若しくは低解像度で）及び／又は中間画像の列を生成するのに使用され得る追加パラメータなどの情報でさらに補完され得る。

とりわけ、ターゲット視点を記述するメタデータはターゲット視点における中間画像の列のセンタリングを可能にするデータである。例えば、中間画像の列に偶数のビューが存在する場合（二つの中心ビューがあることを示唆する）、元の左右画像に対する左中心ビューの位置は（及び各中間画像間の距離が固定されないとしても）中間画像の列の分布を決定するために十分である。代替的に左中心ビューと右中心ビューの（角度）位置が使用され得る（及び列におけるさらなるビュー間の距離が左中心及び右中心画像間の距離に基づいて推定され得る）。さらに代替的に各ビュー間の距離が左右ステレオ画像に関して事前に定義されるとき、これはステレオペアの左右画像に関する左（若しくは右）中心ビューの位置をエンコードするために十分である。当業者に明らかな通り、多くの異なるデータ表現が、中間画像の列がセンタリングされるターゲット視点を決定するデータのために使用され得る。

信号はＢｌｕ‐ｒａｙ（登録商標）ディスクの形の光学データキャリア、若しくは均等な光学データキャリアなどのデジタルデータキャリア上に、又はフラッシュ若しくはソリッドステートストレージデバイスなどの電子不揮発性媒体上に記録され得る。Ｂｌｕ‐ｒａｙ（登録商標）ディスクフォーマットについてより詳しくは、引用により本明細書に組み込まれるhttp://blu-raydisc.com/assets/Downloadablefile/BD-ROM-AV-WhitePaper_110712.pdfで見られる。好適にはビューレンダリングと関連するメタデータは、ユーザデータメッセージ；シグナリングエレメンタリストリーム情報［ＳＥＩ］メッセージ（特にフレームアキュレート若しくはＧＯＰアキュレートエンコーディングが要求されるときに有用である）；エントリポイントテーブル；若しくはＸＭＬベース記述のうちの少なくとも一つにおいて、デコーディング情報として規格に従って含まれる。

元の入力ステレオデータ１０５にわたって出力ステレオデータを分散させる利点は、作者側でコンテンツは典型的には全て利用可能であり、結果としてより高価な及び／又は時間のかかるアルゴリズム（若しくはユーザアシストアルゴリズム）が適切なターゲット視点及び／又は混合ポリシーを決定するために使用され得ることである。

上述の実施形態は本発明を限定するのではなく例示し、当業者は添付のクレームの範囲から逸脱することなく多くの代替的な実施形態を設計することができることが留意されるべきである。

クレーム中、括弧の間に置かれる任意の参照符号はクレームを限定するものと解釈されてはならない。"有する"という動詞及びその活用の使用はクレームに列挙されるもの以外の要素若しくはステップの存在を除外しない。ある要素に先行する冠詞"ａ"若しくは"ａｎ"はかかる要素の複数の存在を除外しない。本発明は複数の別個の要素を有するハードウェアを用いて、適切にプログラムされたコンピュータを用いて、実施され得る。複数の手段を列挙する装置クレームにおいてこれら手段の一部はハードウェアの一つの同じ項目によって具体化され得る。特定の手段が相互に異なる従属クレームに列挙されるという単なる事実は、これら手段の組み合わせが有利に使用されることができないことを示さない。

Claims (15)

1. ステレオ画像から中間画像の列を生成するための方法であって、前記ステレオ画像は左視点に対応する左画像と右視点に対応する右画像を有し、前記中間画像の列は空間的に連続する視点に対応し、前記空間的に連続する視点の最初と最後が、前記左視点と前記右視点の少なくとも一方を有する視点範囲を定義し、当該方法は、
   異なるターゲット視点を中心とする前記空間的に連続する視点に対する中間画像の列の予測画質に基づいてターゲット視点を決定するステップであって、前記予測画質は前記ステレオ画像の画像特徴に基づく、ステップと、
   決定された前記ターゲット視点を中心とする前記空間的に連続する視点に対し前記ステレオ画像から中間画像の列を生成するステップと
   によって、前記空間的に連続する視点の中心を前記ターゲット視点に位置付けるステップを有する、方法。
2. 前記決定するステップが、前記ステレオ画像を補完するメタデータから前記ターゲット視点を決定するためのデータを読み出すステップを有する、請求項１に記載の方法。
3. 前記決定するステップが、それぞれの複数のターゲット視点に対し複数の予測画質パラメータを計算するステップと、前記複数の予測画質パラメータの中で最高値を持つ予測画質パラメータに対応するターゲット視点を決定するステップとを有する、請求項１に記載の方法。
4. 前記決定するステップが、
   ディテール検出器を用いて前記ステレオ画像における画像ディテールの量を測定するステップと、
   測定された前記画像ディテールの量に基づいて前記予測画質を計算するステップと
   を有する、請求項１に記載の方法。
5. 前記決定するステップが、オクルージョンアーチファクトを予測するために奥行遷移検出器を用いて前記ステレオ画像における奥行遷移を検出するステップと、予測された前記オクルージョンアーチファクトを用いて前記予測画質を決定するステップとを有する、請求項１に記載の方法。
6. 前記中間画像の列を生成するステップが、ステレオビュービデオシーケンスの各後続フレームから中間画像の後続列を生成するステップを有し、各後続フレームの各々がステレオ画像を有する、請求項１に記載の方法。
7. 前記決定するステップが、
   時間における第一のインスタンスにおいて第一のフレームから第一の中間画像列を第一に生成するための第一のターゲット視点を決定するステップと、
   時間における第二のインスタンスにおいて第二のフレームから第二の中間画像列を第二に生成するための第二のターゲット視点を決定するステップと、
   時間における第三のインスタンスにおいて第三のフレームから第三の中間画像列を第三に生成するための第三のターゲット視点を決定するステップと
   を有し、時間における前記第三のインスタンスは時間における前記第一のインスタンスの後及び時間における前記第二のインスタンスの前に起こり、前記第三のターゲット視点は前記第一のターゲット視点と前記第二のターゲット視点の間に位置し、前記ターゲット視点が経時的に段階的にシフトすることを可能にする、請求項６に記載の方法。
8. 前記決定するステップが、
   時間における第一のインスタンスにおいて第一のフレームから第一の中間画像列を第一に生成するための第一のターゲット視点を決定するステップと、
   時間における第二のインスタンスにおいて第二のフレームから第二の中間画像列を第二に生成するための第二のターゲット視点を決定するステップと
   を有し、前記第二のターゲット視点を決定するステップが、時間における前記第一のインスタンスと時間における前記第二のインスタンスの間のシーン変化の発生を決定するステップと、前記シーン変化の発生に依存して前記第二のターゲット視点を決定するステップとを有し、前記第二のターゲット視点は前記第一のターゲット視点と異なる、
   請求項６に記載の方法。
9. 前記シーン変化の発生を決定するステップが、前記ステレオ画像を補完するメタデータから当該発生を読み出すステップを有する、請求項８に記載の方法。
10. ステレオ画像から中間画像の列を生成するために構成されるシステムであって、前記ステレオ画像は左視点に対応する左画像と右視点に対応する右画像を有し、前記中間画像の列は空間的に連続する視点に対応し、前記空間的に連続する視点の最初と最後が、前記左視点と前記右視点の少なくとも一方を有する視点範囲を定義し、当該システムは、前記空間的に連続する視点の中心をターゲット視点に位置付けるために構成され、
    異なるターゲット視点を中心とする前記空間的に連続する視点に対する中間画像の列の予測画質に基づいて前記ターゲット視点を決定するための決定ユニットであって、前記予測画質は前記ステレオ画像の画像特徴に基づく、決定ユニットと、
    決定された前記ターゲット視点を中心とする前記空間的に連続する視点に対し前記ステレオ画像から中間画像の列を生成するための生成ユニットと
    を有する、システム。
11. 前記決定ユニットが、複数のターゲット視点に対し中間画像の列の画質を予測すること、及び前記中間画像の列の予測画質に基づいて前記複数のターゲット視点からターゲット視点を選択することによって、前記ターゲット視点を決定するために構成される、請求項１０に記載のシステム。
12. 前記決定ユニットが、前記ステレオ画像を補完するメタデータから前記ターゲット視点を決定するためのデータを読み出すために構成される、請求項１０に記載のシステム。
13. プロセッサシステムに請求項１に記載の方法を実行させるための命令を有するコンピュータプログラム製品。
14. ステレオ画像を有するビデオデータであって、前記ステレオ画像は左視点に対応する左画像と右視点に対応する右画像を有し、前記ビデオデータは空間的に連続する視点の中心をターゲット視点に位置付けるためのメタデータを有し、前記空間的に連続する視点の最初と最後が、前記左視点と前記右視点の少なくとも一方を有する視点範囲を定義し、前記位置付けが、
    異なるターゲット視点を中心とする前記空間的に連続する視点に対する中間画像の列の予測画質に基づいて前記ターゲット視点を決定するステップであって、前記予測画質は前記ステレオ画像の画像特徴に基づく、ステップと、
    決定された前記ターゲット視点を中心とする前記空間的に連続する視点に対し前記ステレオ画像から中間画像の列を生成するステップと
    によって実行される、ビデオデータ。
15. 請求項１４に記載のビデオデータを有するメディアデータキャリア。

Images