JP2021514138A - ３ｄディスプレイのためのオーバースキャン - Google Patents

Abstract

３Ｄディスプレイ上でのディスプレイのために、三次元［３Ｄ］画像データを処理するためのディスプレイプロセッサ、およびコンピュータにより実装される方法が提供される。３Ｄディスプレイは、複数のビューイング位置における３Ｄ画像データの立体ビューイングができるようにする３Ｄ画像データの一連のビューを放射するようになされている。一連のビューは、オーバースキャンを使用して３Ｄディスプレイ上に表示され得る。オーバースキャンの程度は、１つ以上の奥行き範囲パラメータに応じて決定され得、１つ以上の奥行き範囲パラメータは、一連のビューが３Ｄディスプレイ上に表示されるときに視聴者によって知覚される奥行きの程度を少なくとも部分的に特徴付ける。

Description

本発明は、３Ｄディスプレイ上でのディスプレイのために、三次元［３Ｄ］画像データを処理するためのディスプレイプロセッサ、およびコンピュータにより実装される方法に関する。本発明は、ディスプレイプロセッサを備える３Ｄディスプレイ、およびプロセッサシステムに本方法を行うようになされた命令を表す一時的データまたは非一時的データを含むコンピュータ可読媒体にさらに関する。

テレビ受像機、デジタル写真フレーム、タブレットおよびスマートフォンなどのディスプレイデバイスは、このようなデバイス上でコンテンツを視るときに奥行きの知覚をユーザに提供するための３Ｄディスプレイをますます備えつつある。その目的のために、このような３Ｄディスプレイデバイスは、それら単独で、またはユーザによって着用される眼鏡と相俟って、立体視に基づく奥行きの知覚、例えば奥行きの立体知覚をユーザに提供するために、各々の眼において異なる画像をユーザに提供することができる。

３Ｄディスプレイデバイスは、コンテンツをある程度の奥行きを有するものとしてスクリーン上に確立するために、通常、奥行き情報を含むコンテンツを使用する。奥行き情報は、コンテンツの中で黙示的に提供され得る。例えばいわゆる立体コンテンツの場合、奥行き情報は、ステレオコンテンツの左側の画像信号と右側の画像信号の差によって提供される。したがって左側の画像信号と右側の画像信号が相俟って立体３Ｄ画像信号を構成している。また、奥行き情報は、コンテンツの中で明示的にも提供され得る。例えばいわゆる画像＋奥行き形式で符号化されたコンテンツでは、奥行き情報は、２Ｄ画像信号内のオブジェクトが有するカメラまたは視聴者までの距離を示す奥行き値を含む２Ｄ奥行き信号によって提供される。奥行き値の代わりにディスパリティ（ｄｉｓｐａｒｉｔｙ）値を使用することも可能であり、例えば２Ｄ奥行き信号は２Ｄディスパリティ信号であっても、または一般的には２Ｄ奥行き関連信号であってもよい。例えば自動立体ディスプレイのためのビュー合成のために、ステレオ３Ｄ画像信号から２Ｄ奥行き関連信号を生成する技法が知られている。

これらの自動立体ディスプレイは、視聴者による偏光色フィルタに基づく眼鏡の着用または偏光シャッターに基づく眼鏡の着用を必要とすることなく、奥行きの前記立体知覚を提供している。その目的のために、ディスプレイが３Ｄディスプレイ上の各々の所与の点からビューイングコーンを放射できるようにするレンチキュラーレンズアレイ（またはより一般的なレンチキュラー手段または障壁手段）などの光学構成要素が使用され、ビューイングコーンは、場面の少なくとも左側のビューおよび右側のビューを含んでいる。これには、視聴者が、ビューイングコーン内に適宜に位置付けられるときに各々の眼を使用して異なる画像を見ることができるようにする。自動マルチスコピックディスプレイと呼ばれることもある特定の自動立体ディスプレイは、左側のビューおよび右側のビューだけよりもむしろ、同じ場面の複数のビューを提供している。これは、視聴者が、依然として場面の立体知覚を得、また、運動視差（ｐａｒａｌｌａｘ）も経験しながら、ビューイングコーン内の複数の位置をとること、例えばディスプレイの前を左−右に移動することを可能にする。

このような自動立体ディスプレイの例は、ＳＰＩＥ Ｐｒｏｃｅｅｄｉｎｇｓ Ｖｏｌ．２６５３、１９９６年、３２−３９頁において発表されている、Ｃ．ｖａｎ Ｂｅｒｋｅｌらによる、「Ｍｕｌｔｉｖｉｅｗ ３Ｄ−ＬＣＤ」という題名の論文、およびＧＢ−Ａ−２１９６１６６に説明されている。これらの例では、自動立体ディスプレイは、ピクセル（ディスプレイ素子）の行および列を有する、光源からの光を変調する空間光変調器として作用する行列ＬＣ（液晶）ディスプレイパネルを備えている。ディスプレイパネルは、他のディスプレイ用途、例えば二次元形態でディスプレイ情報を提示するためのコンピュータディスプレイスクリーンに使用される種類のディスプレイパネルであってもよい。例えば重合体材料のモールドされたまたは機械加工されたシートの形態のレンチキュラーシートは、そのレンチキュラー素子でディスプレイパネルの出力側を覆うことができ、レンチキュラー素子は、（半）円筒状レンズ素子を備え、列方向に延びており、各々のレンチキュラー素子は、ディスプレイ素子の２つ以上の隣接する列のそれぞれのグループと関連付けられており、ディスプレイ素子列と平行に走っている平面内を延びている。各々のレンチキュールがディスプレイ素子の２つの列と関連付けられる配置では、ディスプレイパネルは、垂直方向にインターリーブされた２つの２Ｄ副画像を含むコンポジット画像を表示するように駆動され得、ディスプレイ素子の交互の列は２つの画像を表示し、各々の列のディスプレイ素子は、それぞれの２Ｄ（副）画像の垂直方向のスライスを提供する。レンチキュラーシートは、これらの２つのスライスおよび対応するスライスを、他のレンチキュールと関連付けられたディスプレイ素子列からシートの前の視聴者の左眼および右眼にそれぞれ方向づけ、そのため視聴者は、適切な双眼ディスパリティを有する副画像を使用して単一の立体画像を知覚することができる。各々のレンチキュールが行方向の３つ以上の隣接するディスプレイ素子のグループと関連付けられ、各々のグループ内のディスプレイ素子の対応する列が、それぞれの２−Ｄ（副）画像から垂直方向のスライスを提供するために適切に配置される他のマルチビュー配置では、それで、視聴者の頭が移動すると、例えば辺りを見回す印象を作り出すために連続する一連の異なる立体ビューが知覚される。

上記の種類の自動立体ディスプレイは、様々な用途、例えば家庭用または携帯型娯楽画像化、医療画像化およびコンピュータ支援設計（ＣＡＤ）のために使用され得る。

自動立体ディスプレイは、しばしば、それらの上に表示される（仮想）世界の上にウィンドウを提供すると言われている。自動立体ディスプレイの場合、このようなディスプレイによって提供される運動視差は、視聴者が、場面がディスプレイ平面の背後に表示されていることを仮定してベゼルを見回すことを可能にする。後者は、いわゆるウィンドウ侵害（ｗｉｎｄｏｗ ｖｉｏｌａｔｉｏｎ）を回避するための３Ｄディスプレイにおける場合であることがしばしばである。コンテンツは、既存のコンテンツから変換され、ディスプレイと一致する１６：９などのアスペクト比の標準分解能で配信されることがしばしばであるため、場面のうちの、ベゼルの隅を見回すことによって見えるようになる部分は、ソースビデオには存在しない。

１つのオプションは、例えばしばしば背景情報を反復することによって利用可能な画像データから見ることができるようになるものを外挿し、または別のやり方でそれを予測することによって、あらゆるデ−オクルージョン（ｄｅ−ｏｃｃｌｕｓｉｏｎ）が取り扱われるように、これを取り扱うことである。

別のオプションは、コンテンツをディスプレイ平面に対して例えば水平方向に、または水平方向および垂直方向の両方に引き伸ばして、「隅を見回した」ときだけ、引き伸ばされたビデオの外縁が見えるようになるようにすることであってもよい。この原理は、テレビ受像機およびテレビ放送で知られている「オーバースキャン」の原理と概念的に同じであり、以下では単純にオーバースキャンとも呼ばれている。

英国特許出願公開第２１９６１６６号明細書 米国特許第６，０６４，４２４号明細書

ＳＰＩＥ Ｐｒｏｃｅｅｄｉｎｇｓ Ｖｏｌ．２６５３、１９９６年、３２−３９頁において発表されている、Ｃ．ｖａｎ Ｂｅｒｋｅｌらによる、「Ｍｕｌｔｉｖｉｅｗ ３Ｄ−ＬＣＤ」という題名の論文

本発明者らは、３Ｄ画像データにオーバースキャンを適用することの欠点は、引き伸ばすことが、画像データに適用されるべき１．０よりわずかに大きいスケールファクタにつながり得、それが画像データの補間のために使用される位相の遅い変化により引き起こされる（極めて）低い周波数のエイリアシングにつながり得ることであることを認識した。視差の変化はこの極めて低い周波数パターンの可視性を妨害し、それにより減らすため、これは、３Ｄコンテンツが有意な奥行きを含んでいるとき、大きな妨害にはならないことが分かっている。しかしながら、コンテンツが比較的平らであり、例えば奥行き情報をほとんど含んでいないとき、さもなければエイリアシングの可視性を減らすことになり得る視差変化が存在しないか、またはほとんど存在しない可能性があるため、コンテンツのディスプレイ品質が劣化され得る。

別の欠点は、例えばこのようなワーストケースの状況においてコンテンツを外挿しなければならないことを回避するために、有意な量の奥行きを含む場面を扱うべく、比較的大きくなるようにオーバースキャンの程度が選択され得るようにしなければならないことである。したがってオーバースキャンの程度は、平均的なコンテンツのために必要とされる程度より高くなるように選択され得る。

本発明の目的の１つは、上述した問題のうちの少なくとも１つに対処する、３Ｄディスプレイのための改良型オーバースキャンを得ることである。

本発明の第１の態様は、３Ｄディスプレイ上でのディスプレイのために、三次元［３Ｄ］画像データを処理するためのディスプレイプロセッサであって、
３Ｄディスプレイは、３Ｄ画像データの一連のビューを隣接して放射するようになされており、一連のビューは、複数のビューイング位置における３Ｄ画像データの立体ビューイングを可能にし、
ディスプレイプロセッサは：
− ３Ｄ画像データの一連のビューを生成し；
− １つ以上の奥行き範囲パラメータに応じて、一連のビューを３Ｄディスプレイ上に表示するために使用されるオーバースキャンの程度を決定し、１つ以上の奥行き範囲パラメータは、一連のビューが３Ｄディスプレイ上に表示されるときに視聴者によって知覚される奥行きの程度を少なくとも部分的に特徴付ける
ように構成される、ディスプレイプロセッサを提供する。

本発明のさらなる態様は、ディスプレイプロセッサを備える３Ｄディスプレイを提供する。

本発明のさらなる態様は、３Ｄディスプレイ上でのディスプレイのために、三次元［３Ｄ］画像データを処理する、コンピュータにより実装される方法であって、
３Ｄディスプレイは、３Ｄ画像データの一連のビューを隣接して放射するようになされており、一連のビューは、複数のビューイング位置における３Ｄ画像データの立体ビューイングを可能にし、
方法は：
− ３Ｄ画像データの一連のビューを生成することと；
− 一連のビューを３Ｄディスプレイ上に表示するために使用されるオーバースキャンの程度を１つ以上の奥行き範囲パラメータに応じて決定することであって、１つ以上の奥行き範囲パラメータは、一連のビューが３Ｄディスプレイ上に表示されるときに視聴者によって知覚される奥行きの程度を少なくとも部分的に特徴付ける、ことと
を含む、コンピュータにより実装される方法を提供する。

本発明のさらなる態様は、プロセッサシステムに、方法を行わせるようになされた命令を表す一時的データまたは非一時的データを含む、コンピュータ可読媒体を提供する。

上記方策は、複数のビューイング位置における３Ｄ画像データの立体ビューイングを提供する自動立体３Ｄディスプレイ上に３Ｄ画像データを表示するときに使用されるオーバースキャンの程度を選択することを伴う。このような３Ｄディスプレイはそれ自体が知られており、レンチキュラーレンズアレイを利用して、３Ｄ画像データによって表された場面の一連のビューを視聴者に提供するために３Ｄディスプレイによって放射される光の方向を、典型的にはビューイングコーンと呼ばれているものの中に向け直すことができる。いくつかのディスプレイは、一連の反復されるビューイングコーンの各々の中にこのような一連のビューを放射することができる。

当技術でそれ自体が知られているように、このような一連のビューは、３Ｄ画像データに基づいてディスプレイプロセッサによって生成され得る。例えば３Ｄ画像データが２Ｄ画像データおよび奥行き関連データを含んでいるか、またはそれらからなっている場合、ビューはビューレンダリング技法またはビュー合成技法によって生成され得る。一般に、このようなビューを生成することは、どのビューからのどの画像データが（サブ−）ピクセルによって表示されることになるかが、ディスプレイの（サブ−）ピクセル毎に対して決定される、知られている「ウィービング（ｗｅａｖｉｎｇ）」ステップまたは「相互嵌合（ｉｎｔｅｒｄｉｇｉｔａｔｉｏｎ）」ステップを伴うことができる。出力は、それぞれのビューのサブサンプリングされた画像データの「ウィービング」に類似していてもよい。ウィービングは、例えば一連のビューが生成された後の追加ステップとして行われてもよく、または一連のビューの生成の一体となった部分として行われてもよいことに留意されたい。一連のビューの生成の一体となった部分として行われる場合、ウィービングの間にすべての（サブ−）ピクセルに対して最初にビューをレンダリングまたは合成し、次に前記ビューの画像データのサブセットを選択する代わりに、どのビューが特定のサブ−ピクセルによって示されることになるかを最初に決定するステップを伴うことができ、その後にその特定のサブ−ピクセルのためのビューの画像データのみがレンダリングまたは合成される（ビューと関連付けられたすべての他の（サブ−）ピクセルに対しても同様である）。

このようなタイプの３Ｄディスプレイは、視聴者が、事実上、３Ｄディスプレイのベゼルを「見回す」ことができるようにするため、このような場合におけるデ−オクルージョンアーチファクトを回避するために、３Ｄ画像データにオーバースキャンを適用することが望ましいことがあり得る。このオーバースキャンは、例えばビューイングコーンの真ん中のビューのために場面の中央でクロップされたビューを提示することを伴うことができ、周囲の「クロップ−アウトされた」画像データを使用して、ビューイングコーン内の他のビューにおけるデ−オクルージョン領域を充填することができる。３Ｄ画像データのこのようなタイプのクロッピングは図３Ａに示されているが、他のタイプのクロッピングも同様に考えられる。

次にオーバースキャンの程度が適応的に、すなわち一連のビューが３Ｄディスプレイ上に表示されるときに視聴者によって知覚される奥行きを少なくとも部分的に特徴付ける１つ以上の奥行き範囲パラメータに基づいて、選択される。本発明の様々な実施形態において明らかにされてもいるように、このようなパラメータは様々な形態を取ることができるが、一般的には視聴者が３Ｄディスプレイのベゼルを「見回す」ことができる程度を表すことができ、それによりオーバースキャンが適用されない場合におけるデ−オクルージョンの程度を表すことができる。本発明者らは、これらの１つ以上の奥行き範囲パラメータに基づいてオーバースキャンの程度を適応的に選択するべく工夫した。例えば奥行き範囲パラメータが比較的大きい奥行きを示しており、それによりベゼルにおけるデ−オクルージョンが比較的高い危険を示している場合、比較的大きいオーバースキャンが選択され得、一方、奥行き範囲パラメータが比較的小さい奥行きを示しており、それによりベゼルにおけるデ−オクルージョンが比較的低い危険を示している場合、比較的小さいオーバースキャンが選択され得る。

有利には、デ−オクルージョンアーチファクトの発生は回避され得るか、または少なくとも減らされ得る。このようなデ−オクルージョンアーチファクトは、外挿または他の手段によって「充填」されていない画像データによって、またはこのような「充填」が不完全であることによって引き起こされることがあり、それにより画像アーチファクトを引き起こすことがある。それと同時に、オーバースキャンの程度は、場面によって提示される奥行きを考えた上で実際に余儀なくされる最小に維持され得る。

任意選択で、３Ｄ画像データは、二次元［２Ｄ］画像データおよび奥行き関連データを含み、１つ以上の奥行き範囲パラメータは、３Ｄ画像データの一連のビューを生成するときに奥行き関連データの値に適用されるマッピングを定義する１つ以上のマッピングパラメータを含み、オーバースキャンの程度は、前記１つ以上のマッピングパラメータに基づいて決定される。

３Ｄ画像データが２Ｄ画像データおよび奥行き関連データを含んでいるか、またはそれらからなっている場合、ビューは、自動立体３Ｄディスプレイの技術でそれ自体が知られているビューレンダリング技法またはビュー合成技法によって生成され得、これらの技法は、奥行き関連値を視差シフト値にマッピングし、それにより２Ｄ画像データの画像データが一連のビュー全体にわたって局所的に変位され得る。このようなマッピングはパラメータ化され得るか、または少なくとも、一連のビューが３Ｄディスプレイ上に表示されるときに視聴者によって知覚される奥行きの程度に影響を及ぼし得る、１つ以上のマッピングパラメータによって部分的に決定され得る。例えばマッピングは、ビューレンダリング中に奥行き値を視差シフト値にマッピングするときに奥行き値に適用される利得パラメータおよびオフセットパラメータを含むことができる。このような利得パラメータは、場面内の奥行き差の大きさに影響を及ぼし得、例えば奥行き利得係数に対応し、一方、オフセットパラメータは、ディスプレイ平面に対する場面全体の前方／後方プレースメントに影響を及ぼし得、例えば奥行きオフセット値に対応する。いずれのパラメータも、ディスプレイのベゼルにおけるデ−オクルージョンの程度に影響を及ぼし得る。したがってオーバースキャンの程度は、前記マッピングパラメータのうちのいずれか、または両方に基づいて適応的に調整され得る。

例えばディスプレイプロセッサは、公称オーバースキャン値と利得パラメータとの積に応じてオーバースキャンの程度を決定するように構成され得る。事実上、利得パラメータは公称オーバースキャン値を変調するために使用され得る。ここでは「公称」という形容詞は、例えば工場デフォルト値である、または較正によって得られた値、等々によって、予め選択された値を参照し得る。追加または代替として、ディスプレイプロセッサは、前記積とオフセットパラメータの絶対値の合計としてオーバースキャンの程度を決定するように構成され得る。ここではオフセットのゼロ値は、ディスプレイプロセッサに場面の前方／後方変位を行わせない（「ゼロ」）ことが仮定され得、一方、非ゼロ値は、ディスプレイプロセッサにオフセットパラメータの前記値の符号および大きさに応じて変位を行わせることができる。負または正のオフセットの量は、オーバースキャンの程度に寄与し得る。利得パラメータおよび／またはオフセットパラメータに応じてオーバースキャンの程度を決定する様々な他の方法も同様に考えられる。

任意選択で、１つ以上の奥行き範囲パラメータは、３Ｄ画像データのコンテンツの奥行き範囲を示す１つ以上のコンテンツパラメータを含む。マッピングパラメータの使用に対する追加または代替として、コンテンツパラメータを使用してもオーバースキャンの程度が決定され得る。このようなコンテンツパラメータは、例えば測定値またはその予測値を表すことによって、画像データのコンテンツの奥行き範囲を示すことができる。例えばこのようなコンテンツパラメータは、３Ｄ画像データに対するメタデータとして生成され得、特定の画像、またはビデオショットなどの時間的フラグメントに対して、コンテンツの奥行き範囲を規定することができる。この奥行き範囲は、具体的にはオーバースキャンを適応させる目的のために規定され得、いくつかの場合では、奥行き範囲の単なる測定値ではなく、例えばコンテンツ作者の美的考察に基づくことができる。

本明細書の要約書によれば、３Ｄディスプレイ上でのディスプレイのために、三次元［３Ｄ］画像データを処理するためのディスプレイプロセッサ、およびコンピュータにより実装される方法が提供される。３Ｄディスプレイは、複数のビューイング位置における３Ｄ画像データの立体ビューイングを可能にする３Ｄ画像データの一連のビューを放射するためになされている。一連のビューは、オーバースキャンを使用して３Ｄディスプレイ上に表示され得る。オーバースキャンの程度は、１つ以上の奥行き範囲パラメータに応じて決定され得、１つ以上の奥行き範囲パラメータは、一連のビューが３Ｄディスプレイ上に表示されるときに視聴者によって知覚される奥行きの程度を、少なくとも部分的に特徴付ける。

本発明の上述した実施形態、実装および／または態様のうちの２つ以上は、有用とみなされている任意の方法で組み合わされ得ることは当業者には認識されよう。

処理されたディスプレイの説明されている修正および変更に対応する、方法および生成されるすべてのデータの修正および変更は、この説明に基づいて当業者によって実施され得る。

本発明のこれらおよび他の態様は、以下で説明される実施形態から明らかであり、それらを参照して解明される。

ディスプレイプロセッサと、一連のビューイングコーンの各々における一連のビューを隣接して放射するための３Ｄディスプレイとを示す図である。 場面を示す２Ｄ画像の例を示す図である。 ２Ｄ画像に対応する奥行きマップを示す図である。 オーバースキャンがない、特定のビューイング位置におけるビューを例示する図である。 オーバースキャンが適用された、ビューイング位置におけるビューを例示する図である。 ディスプレイプロセッサを備える３Ｄディスプレイを示す図である。 ３Ｄ画像データを処理するための方法を示す図である。 プロセッサシステムが方法を行うための命令を表す非一時的データを含むコンピュータ可読媒体を示す図である。

異なる図において同じ参照番号を有する項目は、同じ構造的特徴および同じ機能を有するか、または同じ信号であることに留意されたい。このような項目の機能および／または構造が説明された部分には、詳細な説明の中でそれらを反復して説明する必要はない。

参照および略語のリスト
参照および略語の以下のリストは、図面の解釈を容易にするために提供されたものであり、特許請求の範囲を限定するものとして解釈されるべきではない。

０−５ 一連のビュー
１００ 一連の反復されるビューイングコーン
１０２−１０６ ビューイングコーン
１１０ 第１のビューイング位置
１１２ 第２のビューイング位置
１２０ ディスプレイプロセッサ
１２２ 一連の画像を表すデータ
１４０ ３Ｄディスプレイ
１４２ 光生成部分
１４４ 光学手段
２００ ２Ｄ画像
２１０ 奥行きマップ
２２０ オーバースキャンがない、第２のビューイング位置におけるビュー
２２２ デ−オクルージョンアーチファクト
２２４ オーバースキャンの程度の尺度
２３０ オーバースキャンを有する、第２のビューイング位置におけるビュー
３００ ３Ｄ画像データを処理するための方法
３１０ オーバースキャンの程度を決定すること
３２０ 一連のビューを生成すること
３５０ コンピュータ可読媒体
３６０ 命令を表す非一時的データ

図１は、３Ｄディスプレイ１４０に接続され、一連の画像を例えばディスプレイデータ１２２の形態で３Ｄディスプレイに提供するために構成されるディスプレイプロセッサ１２０を示したものである。３Ｄディスプレイ１４０は、ユーザが眼鏡を着用する必要なく、その上に表示されたコンテンツの立体ビューイングを可能にするための自動立体３Ｄディスプレイである。３Ｄディスプレイ１４０は、典型的には発光素子または光変調素子のアレイからなる光生成部分１４２を備えている。例えば光生成部分１４２は、ディスプレイの技術分野で知られている液晶ディスプレイ（ＬＣＤ）パネルおよびバックライトによって形成され得る。

３Ｄディスプレイ１４０は、光生成部分１４２によって生成される光を異なる方向に向け直すための光学手段１４４をさらに備えている。光生成部分１４２は、一連のビュー０−５がビューイングコーン１０４の形態で３Ｄディスプレイ１４０から放射されるよう、適切に配置され得、光学手段１４４と協同する。さらに、３Ｄディスプレイ１４０は、一連の画像１２２を提供されているとき、一連のビュー０−５の中に前記画像を隣接して放射するように配置され得る。したがって視聴者は、一連のビュー０−５のうちの１つを視るときに一連の画像１２２のうちのそれぞれの画像を知覚することになる。一連の画像１２２は、３Ｄ画像データに含まれている場面と面し、および、前記場面の前を前記場面に対して左から右へ移動するカメラに対応し得る。したがってビューイングコーン１０４内のビューイング位置１１０に位置付けられた視聴者は、一連のビュー０−５のうちの２つの異なるビュー２、３を知覚することができ、それにより前記場面の立体ビューイングを得ることができる。

上記構成の３Ｄディスプレイ、および、一連の画像１２２を一連のビュー１０４としてディスプレイのために処理するやり方は、それ自体知られていることに留意されたい。例えばＵＳ６，０６４，４２４は、光学手段１４４としてレンチキュラー素子を有する自動立体ディスプレイ装置を開示しており、ディスプレイ素子とレンチキュラー素子間の関係を考察している。また、光学手段１４４としていわゆる視差障壁を備える自動立体ディスプレイが知られている。

図１は、一連の反復されるビューイングコーン１００の中央のビューイングコーンであるビューイングコーン１０４を示しており、ビューイングコーン１０２、１０４、１０６の各々は一連のビュー０−５を備えている。反復されているビューイングコーン１０４は、３Ｄディスプレイ１４０の光学手段１４４の望ましくあり、および、固有でもある特性であり得る。ビューイングコーンを反復することは、上記ＵＳ６，０６４，４２４の中でも考察されている。

視聴者は、図１では２つのビューイング位置１１０、１１２に示されている。第１のビューイング位置１１０では、視聴者は、彼の左眼でビュー２を知覚し、一方、彼の右眼でビュー３を知覚する。場面の前を場面に対して左から右へ移動するカメラへの一連の画像１２２の上記対応に起因して、視聴者は、第１のビューイング位置１１０で立体ビューイングを得ることになる。ビューイングコーン１０４のさらに右側（視聴者から見て）の第２のビューイング位置１１２では、視聴者は、彼の左眼でビュー４を知覚し、一方、彼の右眼でビュー５を知覚する。したがって視聴者は、第２のビューイング位置１１２で立体ビューイングを得ることにもなるが、例えば第１のビューイング位置１１０における場面の前を場面に対して右に向かって位置付けられた（立体）カメラに対応する、場面の別の眺めを提供されることになる。

図２Ａは場面の２Ｄ画像２００を示したものであり、一方、図２Ｂは場面の奥行きマップ２１０を示したものである。２Ｄ画像２００および奥行きマップ２１０は、相俟って、３Ｄディスプレイのためのビューレンダリングを行うためにディスプレイプロセッサによって使用され得る３Ｄ画像データを表すことができる。奥行きマップ２１０は、図２Ｂでは、奥行きマップの強度が視聴者までの距離に反比例し、例えばより高い強度が視聴者により近いことに対応し、より低い強度は視聴者からさらに離れていることに対応するように再現されている。この例では、ディスプレイ平面の背後に表示されるように場面全体が意図され得、例えば奥行き値自体が遠い距離を表すことができ、および／または奥行き値をディスプレイ領域にマッピングすることは、場面がディスプレイ平面の背後にレンダリングされるようにさせ得る。

事実上、３Ｄディスプレイは、その背後に図２Ａの場面が表示されるウィンドウであるように視聴者に見え得る。２Ｄ画像２００および奥行きマップ２１０が、オーバースキャンがないビューレンダリングのために使用される場合、これは、例えば視聴者が彼／彼女の頭を３Ｄディスプレイの前で、例えば右または左に向かって移動することによってベゼルを「見回す」と、３Ｄディスプレイのベゼルにデ−オクルージョンが生じ得ることを意味する。

これに関して、上記および以下において、「奥行きマップ」という用語は、行および列で配置される奥行きデータを参照していることに留意されたい。さらに、「奥行き」という形容詞は、カメラに対する画像の部分の奥行きを示すものとして理解されたい。したがって奥行きマップは奥行き値によって構成され得るが、例えばディスパリティ値または視差シフト値によっても構成され得る。したがって本質的には奥行きマップは、ディスパリティマップまたは視差シフトマップを構成することができる。ここではディスパリティという用語は、ユーザの左眼または右眼を使用して知覚されるときのオブジェクトの位置の差を参照している。視差シフトという用語は、前記ディスパリティをユーザに提供するための２つのビュー間のオブジェクトの変位を参照している。ディスパリティおよび視差シフトは、一般的には、距離または奥行きと負に相関される。すべての上記のタイプのマップおよび／または値の間の変換のためのデバイスおよび方法は知られている。

図３Ａおよび図３Ｂは、ビューレンダリングにおけるオーバースキャンの総合概念を例示したものである。図３Ａは、図１のビューイングコーン１０２−１０６のビュー５を視るときに視聴者に見え得る、図２Ａの２Ｄ画像２００および図２Ｂの奥行きマップ２１０によって表された場面のビュー２２０を示したものである。場面は一般的にはディスプレイ平面の背後に位置しており、および、視聴者はビューイングコーンの最も右側に位置しており、したがって事実上、ディスプレイの左側のベゼルを「見回す」ことができることに起因して、デ−オクルージョンアーチファクト２２２は、ビュー２２０の左側に見えることが分かる。

図３Ｂは、図１の第２のビューイング位置１１２における場面のビュー２３０を例示したものであり、生成されたビューにオーバースキャンが適用されている。例えばこのようなオーバースキャンは、ビューの画像データの側部をクロップし、クロップされた画像データを例えばクロッピング前の画像データの所望の寸法にスケールすることによって適用され得る。図３Ｂは、水平方向のクロッピングおよび水平方向のスケーリングによるこのようなオーバースキャンを示している。しかしながら、本明細書の他の場所でも示されているように、オーバースキャンは、水平方向および垂直方向の両方、または水平方向のみ、または垂直方向のみにも適用され得る。

これに関して、図３Ａは、この場合はピクセルにおける例えば水平方向および／または垂直方向（図３Ａは水平方向のみを示している）に沿ったクロッピング距離である、オーバースキャンの程度の尺度２２４も例示していることに留意されたい。オーバースキャンの程度の様々な他の定量化も同様に考えられる。

このオーバースキャンの程度は様々な方法で決定され得る。第１の例は、コンテンツ自身内の奥行き範囲を解析し、画像の境界に残っている十分な「見回し」画像データを使用してコンテンツをレンダリングするために必要とされるオーバースキャンの量を決定することである。例えば画像境界におけるコンテンツの絶対奥行きおよび奥行き変化が解析され得る。このような解析はディスプレイプロセッサによって行われ得るが、第三者によっても行われ、例えばコンテンツ作者またはコンテンツ提供者によって行われ得る。第三者は、例えばビデオショットなどの時間的フラグメント全体を解析し、次に時間的フラグメント毎に必要なオーバースキャンを決定することによってオフライン方式のやり方でコンテンツを解析することができる。これは、画像（ビデオフレーム）毎のオーバースキャンの程度の動的な変化と比較すると、時間的安定性を保証することができる。オーバースキャンの決定された量を表すパラメータは、コンテンツ、例えば３Ｄ画像データと共にメタデータとして伝達され得る。追加または代替として、ビデオショットの開始時に、ビデオショットの奥行き範囲が伝達され得る。

オーバースキャンの程度の上で説明された決定に対する追加または代替として、前記オーバースキャンは、奥行きの量および前方／後方位置付けを示す自動立体ディスプレイに使用されるマッピングパラメータに依存するようにもされ得る。この量および位置付けは、３Ｄディスプレイにおいて、「係数」および「オフセット」制御機能を使用してユーザによって制御され得、「係数」は利得係数を表す。このような制御は、典型的には、ディスプレイ上に提示されるディスパリティの量に対する直接的な効果を有しており、したがって必要とされるオーバースキャンの程度に対する直接的な効果を有する。

例えばオーバースキャンの程度は、例えばデフォルト係数（例えば１．０の利得に対応する１００％）、およびデフォルトオフセット（例えば０、これはディスプレイ平面における「ニュートラルな」ディスプレイ奥行きに対して定義され得る）における平均的なコンテンツに対する、引き伸ばしに起因する歪みの量と、ディスプレイのベゼルにおけるデ−オクルージョンの程度との間の（最適）トレード−オフを表す公称オーバースキャンとして決定され得る。この場合、実際のオーバースキャンは、例えばユーザによって、または自動的に選択される係数およびオフセットの現在の設定に対して調整される公称オーバースキャンに基づき得る。

例えば係数が０であり、オフセットが０である極端な場合では、場面は平らになり、ディスプレイ平面に表示され、オーバースキャンは必要とされない。しかしながら、係数が２倍にされて２００％になると、ディスプレイの背後のすべての場面は、２倍の量のオーバースキャンを必要とし得る。したがって実際のオーバースキャンａに到達するために、公称オーバースキャンｎが係数ｆ倍され得る（正規化されることが仮定されている）：
ａ＝ｆ＊ｎ

係数ｆは、ユーザにより制御される係数ｆ_ｕ（例えばユーザのために適切に選択され得る範囲を有することができ、１００％は、所与のディスプレイが示すことができる公称奥行きに対応する）と、特定のタイプのディスプレイに対して、ユーザ設定がどのように公称奥行きにスケールされるかを決定することができるディスプレイ特定係数ｆ_ｓの組合せであってもよい。後者の設定は、異なる量のディスパリティ（視差シフトのピクセルの数に関して）が生成されること（例えばディスプレイの解像度すなわちＤＰＩに応じて、もっと多くの、またはもっと少ないピクセルのディスパリティ）を必要とし得る異なるタイプのディスプレイに対して、ユーザ設定１００％は適切な量の奥行きを提供することができることを保証するために使用され得る。いくつかの実施形態では、両方がディスプレイの特質および最適性能のためになされたトレード−オフに関連する一時的な設定であるため、ｆ_ｓは公称オーバースキャンにおいて既に考慮されていてもよい。他の実施形態では、ｆ_ｓは公称オーバースキャンにおいて考慮されなくてもよいが、公称ｆ_ｓ ^ｎに関するｆ_ｓの変化は、以下：
ａ＝ｆ_ｕ＊ｆ_ｓ／ｆ_ｓ ^ｎ＊ｎ
のように考慮され得る。

係数の次の別のマッピングパラメータは、事実上、ニュートラルなディスプレイ奥行きに対して画面を前方に引く、または画面を後方に押すオフセットｏであってもよい。ディスプレイの前で生成されるディスパリティ（負のディスパリティ）またはディスプレイの背後で生成されるディスパリティ（正のディスパリティ）の量に少なくとも関する奥行き範囲はディスプレイ平面に対して対称であることを仮定すると、オフセットを適用することが、オフセットが正であるか、または負であるかどうかとは無関係に、生成され得る最大ディスパリティを大きくすることができる。したがってオフセットの絶対値は、オーバースキャンの程度を決定するときに上記項に加えられ得る：
ａ＝ｆ_ｕ＊ｆ_ｓ／ｆ_ｓ ^ｎ＊ｎ＋｜ｏ｜

ここでは、ｏは、絶対値１が公称係数に対する最大ディスパリティの大きさに対応するようにスケールされ得る。係数およびオフセットが奥行き値に適用される順序に応じて：
ａ＝ｆ_ｕ＊ｆ_ｓ／ｆ_ｓ ^ｎ＊（ｎ＋｜ｏ｜）
を使用することもできる。

やはりオフセットが正規化されることを仮定するさらに別のオプションは、また、乗算係数を介してオフセットを適用することである：
ａ＝ｆ_ｕ＊ｆ_ｓ／ｆ_ｓ ^ｎ＊（１＋｜ｏ｜）＊ｎ

代替としては、例えばオフセットの絶対値を取らずに、むしろ場面が後方へ移動される範囲にオフセットをクリップすることにより、およびそれにより場面を視聴者のより近くへ引くオフセットに対するオフセットの絶対値の代わりにゼロを使用することにより、画像コンテンツをディスプレイ平面の背後に位置付けさせるオフセットのみが考慮され得る。しかしながら、たとえそれがそれ自体デ−オクルージョンではなくても、側部から見るときに、より多くの前景オブジェクトが見えるようにならなければならないため（たとえこれがウィンドウ侵害を構成することになっても）、ディスプレイ平面の前に置かれるコンテンツは、また、充填の必要性を提供することができる。したがって場合によっては、前記クリッピングを使用するのではなく、オフセットの絶対値を使用することが好ましい。

前に示したように、メタデータは３Ｄ画像データのために提供され得、例えば表示している間、コンテンツ作者またはコンテンツ提供者がオーバースキャンの量に影響を及ぼすことができるよう、オーバースキャンのためのコンテンツ依存スケーリング係数を示すことができる。このようなメタデータがディスプレイプロセッサに利用可能である場合、コンテンツ依存スケーリング係数は、公称オーバースキャンのためのある（別の）スケーリング係数として使用され得る。追加または代替として、コンテンツの奥行き範囲を示すメタデータが提供され得る。このメタデータは、公称オーバースキャンのスケーリングを改善するために使用され得る。例えば小さい奥行き範囲を有するビデオショットは、たとえ係数またはオフセットが高い場合であっても、有意な量のオーバースキャンを必要としない可能性があり、反対に、極めて大きい奥行き範囲を有するコンテンツは、係数またはオフセットが公称に設定されたとしても、大きいオーバースキャンを必要とする可能性もある。ｄ⁻およびｄ^＋（ディスパリティ値として表現された最小奥行き範囲および最大奥行き範囲）が与えられると、現在のオフセットに対する奥行きの量は、ｍａｘ（｜ｄ^＋−ｏ｜，｜ｏ−ｄ⁻｜）として計算され得、この場合、オフセットは依然として奥行きと同じ範囲に存在することができ、これは、奥行きも正規化される場合、正規化され得（上記のように）、スクリーン奥行きの周りの中心にある。公称オーバースキャンが決定された公称量の奥行きｄ^ｎと比較したこの数の比率は、スケールされた実際のオーバースキャン：
ａ＝ｆ_ｕ＊ｆ_ｓ／ｆ_ｓ ^ｎ＊ｍａｘ（｜ｄ^＋−ｏ｜，｜ｏ−ｄ⁻｜）／ｄ^ｎ＊ｎ
を計算するために使用され得る。

奥行き範囲を示すメタデータが利用可能である場合、ｄ^＋＝ｄ^ｎおよびｄ⁻＝−ｄ^ｎを仮定することができ、この場合、上記の式は、オフセットｏが公称奥行き範囲に対して正規化され、値ゼロがｄ⁻、ｄ^＋ならびにｄ^ｎの値に対するディスプレイ平面に対応する奥行きに対応するように解釈されると仮定して、倍率として説明されるオフセットを有する先行するバージョンに戻る。上記の式の変形が存在し、これは、例えば奥行き値およびオフセットのいずれも０の周りの中心にあり得ないことを考慮することができることに留意されたい。一般に、上記の式は、奥行き値は既にディスパリティ／視差を表していることを仮定している。奥行き値がむしろ視聴者からの距離を表している場合、式は、距離とディスパリティの間の１／ｘ関係を考慮するように修正されなければならない。このような変換は、３Ｄディスプレイおよび処理の分野でそれ自体が知られている。

一般に、オーバースキャンは、コンテンツのアスペクト比が維持され、例えば水平方向および垂直方向に等しくアスペクト比が維持されるやり方で適用され得ることに留意されたい。代替として、オーバースキャンは、水平方向または垂直方向にのみ適用され得、これは、コンテンツのアスペクト比を（わずかに）修正し得る。一般に、オーバースキャンは、各々のそれぞれの方向に沿ってコンテンツの両側に等しく適用され得、例えば水平方向に左および右へ、垂直方向に一番上および一番下へ適用され得るが、４つの側部（左、右、一番上、一番下）から選択された側部へ、および／または異なるやり方で、４つの側部のうちの異なる側部へも適用され得る。オーバースキャンの決定された量を表すパラメータが例えばメタデータとして利用可能にされる場合、パラメータは、上記に従ってオーバースキャンを定義することができる。

オーバースキャンは、生成されたビューの画像データの側部をクロップし、クロップされた画像データを所望の寸法に、例えばクロッピング前の画像データの寸法にスケールすることによって適用され得る。事実上、オーバースキャンは、生成されたビューに適用され得る。代替としては、オーバースキャンはビューレンダリングまたはビュー合成に部分的に統合され得る。例えばビューレンダリングまたはビュー合成は、後でクロップされるアップ−スケールされたビューを生成するように構成され得る。したがってスケーリングは、ビューレンダリングまたはビュー合成によって行われ得る。さらに、ビューの画像データを明示的にクロップする代わりに、ビューレンダリングまたはビュー合成は、さもなければクロップされることになるこのような画像データを生成することを、省略するように構成され得る。一般に、オーバースキャンのための任意のスケーリングが、ビューレンダリングの前、ビューレンダリング中またはビューレンダリングの後に行われ得る。オーバースキャンのための任意のスケーリングが１つ以上の他のスケーリングステップと組み合わされ得る。オーバースキャンを適用する様々な他の方法も同様に考えられることは認識されよう。

図４は、生成された一連のビューのデータ１２２を内部で出力する３Ｄディスプレイ１４０の内部構成要素の形態のディスプレイプロセッサ１２０を示したものである。この図では、説明されていない参照数字は図１の参照数字に対応している。しかしながら、ディスプレイプロセッサは、個別のデバイスの中で、または個別のデバイスとして具現化されることもでき、例えばセット−トップボックス、パーソナルコンピュータ、ゲーミングコンソール、または３Ｄディスプレイに接続することができる同様のデバイスの中で、またはセット−トップボックス、パーソナルコンピュータ、ゲーミングコンソール、または３Ｄディスプレイに接続することができる同様のデバイスとして具現化されることもできる。一般に、ディスプレイプロセッサはデバイスまたは装置によって実装され得る。デバイスまたは装置は、適切なソフトウェアを実行する１つ以上の（マイクロ）プロセッサを備えることができる。機能の機能性を実装するソフトウェアは、対応する１つのメモリまたは複数のメモリ、例えばＲＡＭなどの揮発性メモリの中、またはフラッシュなどの不揮発性メモリの中にダウンロードおよび／または記憶され得る。代替としては、ディスプレイプロセッサの機能は、プログラム可能論理の形態のデバイスまたは装置の中で、例えばフィールドプログラマブルゲートアレイ（ＦＰＧＡ）として実装され得る。一般に、ディスプレイプロセッサは回路として実装され得る。

図５は、３Ｄディスプレイ上でのディスプレイのために、３Ｄ画像データを処理するためのコンピュータにより実装される方法３００を示したものである。方法３００は、「オーバースキャンの程度を決定すること」というタイトルのステップの中に、一連のビューを３Ｄディスプレイ上に表示するために使用されるオーバースキャンの程度を１つ以上の奥行き範囲パラメータに応じて決定すること３１０を含むことができ、１つ以上の奥行き範囲パラメータは、一連のビューが３Ｄディスプレイ上に表示されるときに視聴者によって知覚される奥行きの程度を少なくとも部分的に特徴付ける。方法は、「一連のビューを生成すること」というタイトルのステップの中に、オーバースキャンの決定された程度に基づいて３Ｄ画像データの一連のビューを生成すること３２０をさらに含むことができる。

方法３００は、プロセッサシステム、例えばコンピュータ上で、コンピュータにより実装される方法として、専用ハードウェアとして、または両方の組合せとして実装され得る。また、図６に例示されているように、コンピュータのための命令、例えば実行可能コードは、例えば一連の機械可読物理マーク３６０の形態で、および／あるいは異なる電気的特性もしくは値、例えば磁気的特性もしくは値、または光学特性もしくは値を有する一連の要素として、コンピュータ可読媒体３５０上に記憶され得る。実行可能コードは、一時的なやり方または非一時的やり方で記憶され得る。コンピュータ可読媒体の例は、メモリデバイス、光記憶デバイス、集積回路、サーバ、オンラインソフトウェア、等々を含む。図６は光ディスク３５０を示したものである。

上述した実施形態は、本発明を限定するものではなく、本発明を例示したものであること、および、当業者は、多くの代替実施形態を設計することができるであろうことに留意されたい。

特許請求の範囲では、括弧の間に置かれている任意の参照符号は、特許請求の範囲を制限するものとして解釈されるべきではない。動詞「備える」およびその変化の使用は、特許請求の範囲の中で明言されている要素またはステップ以外の要素またはステップの存在を排除しない。要素に先行する冠詞「１つ（ａ）」または「１つ（ａｎ）」は、複数のこのような要素の存在を排除しない。本発明は、いくつかの全く異なる要素を備えるハードウェアによって、および適切にプログラムされたコンピュータによって実装され得る。いくつかの手段を列挙しているデバイス請求項では、これらの手段のうちのいくつかは、１つの同じアイテムのハードウェアによって具現化され得る。特定の方策が相互に異なる従属請求項に記載されている、という単なる事実は、これらの方策の組合せがより有利に使用され得ないことを示しているわけではない。

Claims (13)

1. ３Ｄディスプレイ（１４０）上でのディスプレイのために、三次元［３Ｄ］画像データを処理するためのディスプレイプロセッサ（１２０）であって、
   ３Ｄディスプレイは、３Ｄ画像データの一連のビュー（０−５）を隣接して放射するようになされており、一連のビューは、複数のビューイング位置（１１０、１１２）における３Ｄ画像データの立体ビューイングを可能にし、
   ディスプレイプロセッサは、
   − ３Ｄ画像データの一連のビューを生成し（１２２）、
   − １つ以上の奥行き範囲パラメータに応じて、一連のビューを３Ｄディスプレイ上に表示するために使用されるオーバースキャンの程度（２２４）を決定し、１つ以上の奥行き範囲パラメータは、一連のビューが３Ｄディスプレイ上に表示されるときに視聴者によって知覚される奥行きの程度を少なくとも部分的に特徴付ける
   ように構成される、ディスプレイプロセッサ（１２０）。
2. ３Ｄ画像データが、二次元［２Ｄ］画像データ（２００）および奥行き関連データ（２１０）を含み、１つ以上の奥行き範囲パラメータが、３Ｄ画像データの一連のビューを生成するときに奥行き関連データの値に適用されるマッピングを定義する１つ以上のマッピングパラメータを含み、オーバースキャンの程度（２２４）が、前記１つ以上のマッピングパラメータに基づいて決定される、請求項１に記載のディスプレイプロセッサ（１２０）。
3. マッピングが、利得パラメータおよびオフセットパラメータを含む、請求項２に記載のディスプレイプロセッサ（１２０）。
4. ディスプレイプロセッサが、公称オーバースキャン値と利得パラメータとの積に応じてオーバースキャンの程度（２２４）を決定するように構成される、請求項３に記載のディスプレイプロセッサ（１２０）。
5. ディスプレイプロセッサが、前記積とオフセットパラメータの絶対値との合計としてオーバースキャンの程度（２２４）を決定するように構成される、請求項４に記載のディスプレイプロセッサ（１２０）。
6. １つ以上の奥行き範囲パラメータが、３Ｄ画像データのコンテンツの奥行き範囲を示す１つ以上のコンテンツパラメータを含む、請求項１から５のいずれか一項に記載のディスプレイプロセッサ（１２０）。
7. １つ以上のコンテンツパラメータが、３Ｄ画像データのコンテンツの奥行き範囲の測定値を表す、請求項６に記載のディスプレイプロセッサ（１２０）。
8. １つ以上のコンテンツパラメータが、画像内の奥行き範囲を示し、および／または３Ｄ画像データが３Ｄビデオを表している場合、複数の画像上の奥行き範囲を示す、請求項７に記載のディスプレイプロセッサ（１２０）。
9. １つ以上のコンテンツパラメータが、ビデオショット内の奥行き範囲を示す、請求項６に記載のディスプレイプロセッサ（１２０）。
10. 請求項１から９のいずれか一項に記載のディスプレイプロセッサ（１２０）を備える、３Ｄディスプレイ（１４０）。
11. ３Ｄ画像データおよび３Ｄ画像データと関連付けられたメタデータ（３６０）を含み、メタデータは、請求項６から９のいずれか一項によって定義される１つ以上のコンテンツパラメータを表す、コンピュータ可読媒体（３５０）。
12. ３Ｄディスプレイ上でのディスプレイのために、三次元［３Ｄ］画像データを処理する、コンピュータにより実装される方法（３００）であって、
    ３Ｄディスプレイは、３Ｄ画像データの一連のビューを隣接して放射するようになされており、一連のビューは、複数のビューイング位置における３Ｄ画像データの立体ビューイングを可能にし、
    方法は、
    − ３Ｄ画像データの一連のビューを生成すること（３２０）と、
    − 一連のビューを３Ｄディスプレイ上に表示するために使用されるオーバースキャンの程度を、１つ以上の奥行き範囲パラメータに応じて決定すること（３１０）であって、１つ以上の奥行き範囲パラメータは、一連のビューが３Ｄディスプレイ上に表示されるときに視聴者によって知覚される奥行きの程度を少なくとも部分的に特徴付ける、こと（３１０）と
    を含む、コンピュータにより実装される方法（３００）。
13. プロセッサシステムに、請求項１２に記載の方法を行わせるようになされた命令を表す一時的データまたは非一時的データ（３６０）を含む、コンピュータ可読媒体（３５０）。

Images