JP2009516864A

JP2009516864A - マルチビューディスプレイ装置のためのビューの描画

Info

Publication number: JP2009516864A
Application number: JP2008541864A
Authority: JP
Inventors: ライノウツヴェルブルフ; ラルフブラスペニング
Original assignee: Koninklijke Philips NV; Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2005-11-23
Filing date: 2006-11-17
Publication date: 2009-04-23
Also published as: CN101313596A; WO2007060584A2; WO2007060584A3; US20080309756A1; CN101313596B; EP1955553A2; US9036015B2

Abstract

マルチビューディスプレイ装置１００のためのビューを描画する方法が開示される。マルチビューディスプレイ装置１００は、マルチビューディスプレイ装置１００に対する相互に異なる方向でそれぞれのビューを表示するための幾つかの表示手段１０４、１１０を持つ。前記方法は、入力画像の時間シーケンスの第１の入力画像及び入力画像の時間シーケンスの第２の入力画像に基づいて、第１の動きベクトル場を計算するステップと、前記第１の動きベクトル場、前記第１の入力画像及び／又は前記第２の入力画像に基づいて、第１の動き補償された中間画像を計算するステップと、前記第１の動き補償された中間画像を、幾つかの表示手段１０４、１１０のうちの第１のものに供給するステップと、を有する。

Description

本発明は、マルチビューディスプレイ装置のためのビューを描画する方法であって、前記マルチビューディスプレイ装置は、前記マルチビューディスプレイ装置に対する相互に異なる方向でそれぞれのビューを表示するための幾つかの表示手段を持つ方法に関する。

本発明は更に、斯かるマルチビューディスプレイ装置に関する。

本発明は更に、マルチビューディスプレイ装置のためのビューを描画するための命令を有する、コンピュータ装置によってロードされるコンピュータプログラムであって、前記コンピュータ装置は処理手段及びメモリを有するコンピュータプログラムに関する。

ディスプレイ装置の導入以来、現実的な３次元（３Ｄ）ディスプレイ装置は長年にわたって夢であった。斯かるディスプレイ装置に導くであろう多くの原理が、研究されてきた。幾つかの原理は、特定の体積で現実的な３Ｄオブジェクトを生成しようとするものである。例えば、A. Sullivanによる論文「Solid-state Multi-planar Volumetric Display」（SID'03論文集、1531-1533、2003年）に開示されたディスプレイ装置においては、高速プロジェクタにより、平面のアレイに情報が配置される。各平面は、切り換え可能なディフューザである。平面の数が十分に多ければ、人間の脳は画像を統合して現実的な３Ｄオブジェクトを観測する。該原理は、観測者が、或る程度オブジェクトを見回すことを可能とする。該ディスプレイ装置においては、全てのオブジェクトが（半）透明である。

他の多くのものは、両眼視差のみに基づく３Ｄディスプレイ装置を造り出そうと試みるものである。これらのシステムにおいては、観測者の左眼と右眼とが別の画像を知覚し、それによって観測者が３Ｄ画像を知覚する。これらの概念の概要は、D. F. MacAllister（Ed.）による書籍「Stereo Computer Graphics and Other True 3D Technologies」（Princeton University Press、1993年）において見出され得る。第１の原理は、例えばＣＲＴと組み合わせてシャッターグラスを利用する。奇数番目のフレームが表示されている場合には左眼に対する光が遮断され、偶数番目のフレームが表示されている場合には右眼に対する光が遮断される。

付加的な器具の必要なく３Ｄを見せる表示装置は、自動立体視（auto-stereoscopic）ディスプレイ装置と呼ばれる。

第１の眼鏡を不要とするディスプレイ装置は、観測者の左及び右の眼に向けられた光の円錐を生成する障壁を有する。該円錐は、例えば奇数番目及び偶数番目のサブ画素列に対応する。これらの列を適切な情報を用いてアドレシングすることにより、観測者が正しい位置に位置している場合には、該観測者は該観測者の左眼と右眼とで異なるビューを得、３Ｄ画像を知覚することが可能となる。

第２の眼鏡を不要とするディスプレイ装置は、観測者の左眼及び右眼に、奇数番目及び偶数番目のサブ画素列の光を結像するためのレンズのアレイを有する。

上述の眼鏡を不要とするディスプレイ装置の欠点は、観測者が一定の位置にとどまる必要がある点である。観測者を誘導するため、観測者に該観測者が正しい位置にいることを示すインジケータが提案されている。例えば、障壁平面が赤色及び緑色のＬＥＤと組み合わせられた、米国特許US5986804を参照されたい。観測者が正しく位置している場合には観測者が緑色の光を見、そうでなければ赤色の光を見る。

一定の場所にとどまることから観測者を解放するため、マルチビュー型自動立体視ディスプレイ装置が提案されてきた。例えば、米国特許US6064424及びUS20000912を参照されたい。米国特許US6064424及びUS20000912に開示されたディスプレイ装置においては、斜めのレンチキュラが利用され、該レンチキュラの幅は２つのサブ画素よりも大きい。このようにして、互いに隣接する幾つかのビューが存在し、観測者は左及び右へと移動する幾分かの自由度を持つ。

自動立体視ディスプレイ装置の欠点は、３Ｄ画像の生成に伴う解像度の損失である。これらディスプレイ装置が２次元（２Ｄ）モードと３Ｄモード、即ち単一ビューモードとマルチビューモードとの間で切り換え可能であることが有利である。比較的高い解像度が必要とされる場合には、単一ビューモードのほうが高い解像度を持つため、単一ビューモードに切り換えることが可能である。

斯かる切り換え可能なディスプレイ装置の例は、J. Eichenlaubによる論文「A lightweight compact 2D/3D autostereoscopic LCD backlight for games, monitor and notebook applications」（SPIE3295論文集、1998年）に記載されている。２Ｄモードと３Ｄモードとの間を切り換えるため、切り換え可能なディフューザが利用されることが開示されている。切り換え可能な自動立体視ディスプレイ装置の他の例は、切り換え可能なレンチキュラを形成するためＬＣベースのレンズが利用される、国際特許出願公開WO2003/015424に記述されている。米国特許6069650も参照されたい。

３Ｄ画像を可視化するため、ディスプレイ装置は適切な画像データを供給される必要がある。好適には、３Ｄ画像の取得のためにマルチカメラ構成が利用される。しかしながら、多くの場合において、通常の２Ｄカメラが画像データの取得のために利用されてきた。２Ｄ画像データの３Ｄ画像データへの変換のための幾つかの技術が存在する。一般にこれら技術は、画像内容の解析に基づくものである。目的はこの場合、深度マップを推定することである。深度マップは、場面中の各点について、カメラに対する距離を含む。このことは、２Ｄ画像の画素について深度値が推定されることを意味する。例えば鮮明さ、色、輝度、オブジェクトのサイズ及びオブジェクトの輪郭の境界のような、当該推定のための幾つかの手掛かりが知られている。

２Ｄ画像に属する深度マップが計算されると、合わせて３Ｄ画像を形成する幾つかのビューが描画されることができる。該描画は一般に、ビューを生成するためにディスプレイ装置を駆動するためのそれぞれの駆動画像を計算するための、２Ｄ画像の変換の適用に基づく。該変換は、推定された深度マップに基づく。

深度マップの方法は一般に、場面の幾分かの分割に帰着する。１つのセグメント内で（知覚可能な）深度差を生成することは、容易ではない。結果として、観測者はボール紙を観ているかのような印象を得てしまい得る。

深度マップを時間的に安定なものとすることも容易ではなく、３Ｄ画像のシーケンスにおいて不快なゆらぎに帰着する。また、より極端なビュー、即ち中心のビューから比較的はなれたビューは、深度マップにおける誤り及び変動に非常に影響され易い。

本発明の目的は、比較的高い画質の３Ｄ画像に帰着する、最初のパラグラフにおいて記載された種類の代替の方法を提供することにある。

本発明の本目的は、前記方法が、
入力画像の時間シーケンスの第１の入力画像及び入力画像の時間シーケンスの第２の入力画像に基づいて、第１の動きベクトル場を計算するステップと、
前記第１の動きベクトル場、前記第１の入力画像及び／又は前記第２の入力画像に基づいて、第１の動き補償された中間画像を計算するステップと、
前記第１の動き補償された中間画像を、前記幾つかの表示手段のうちの第１のものに供給するステップと、
を有することにより達成される。

本発明による方法においては、駆動画像即ち表示手段に供給されるべき画像が、時間的な補間に基づく。簡単に言えば、異なる時間位置を持つ複数の駆動画像が単一の３Ｄ画像へとマッピングされ、ここで該複数の駆動画像の少なくとも１つが、入力画像の時間シーケンスの時間的な補間に直接に基づく。時間的な補間とは、第１の入力画像及び／又は第２の入力画像からの画素値が、第１及び第２の入力画像に基づいて計算されるそれぞれの動きベクトルに基づいて、及び第１の入力画像と第２の入力画像との間の必要とされる時間位置に基づいて、取り出され及び／又は投影されることを意味する。このことは例えば、第１の動き補償された中間画像が、入力画像の時間シーケンスの第１の入力画像及び第２の入力画像に対して中間である第１の時間インスタンス、即ち時間位置について計算されることを意味する。

深度マップを生成するために、オブジェクトのサイズ及び位置のような、実際の入力画像内容の解析の必要はない。中間画像は、第１の入力画像及び第２の入力画像と時間的な関係を持つ。このことは、画素の群、好ましくは画素のブロックについての動きが、第１の入力画像及び第２の入力画像に基づいて推定され、次いで第１の動き補償された画像が時間的な補間によって直接に計算されることを意味する。該時間的な補間は、推定された動きベクトル場及び必要とされる時間的な位置即ち時間インスタンスに基づいて実行される。

本発明による方法の一実施例は更に、
前記第１の動きベクトル場に対応する第１の時間インスタンスとは異なる第２の時間インスタンスについて、第２の動きベクトル場を計算するステップと、
前記第２の動きベクトル場、前記第１の入力画像及び／又は前記第２の入力画像に基づいて、第２の動き補償された中間画像を計算するステップと、
前記第１の動き補償された中間画像を、前記幾つかの表示手段のうちの第１のものに供給するステップと略同時に、前記第２の動き補償された中間画像を、前記幾つかの表示手段のうちの第２のものに供給するステップと、
を有する。

上述したように、異なる時間的な位置を持つ複数の駆動画像が単一の３Ｄ画像へとマッピングされ、略同時に表示される。本実施例においては、該複数の駆動画像の第２のものもまた、第２の動きベクトル場を利用した時間的な補間に基づく。ここで、第２の動きベクトル場は第１の動きベクトル場とは異なる。第２の動きベクトル場は、第１の動きベクトル場に基づいて計算されても良い。このことは再タイミングと呼ばれる。このことは、国際特許出願公開WO01/88852に開示されている。

本発明による方法の一実施例は更に、
前記入力画像の時間シーケンスの第２の入力画像及び第３の入力画像に基づいて、第３の動きベクトル場を計算するステップと、
前記第３の動きベクトル場、前記第２の入力画像及び／又は前記第３の入力画像に基づいて、第３の動き補償された中間画像を計算するステップと、
前記第１の動き補償された中間画像を、前記幾つかの表示手段のうちの第１のものに供給するステップと略同時に、前記第３の動き補償された中間画像を、前記幾つかの表示手段のうちの第３のものに供給するステップと、
を有する。

単一の３Ｄ画像は、入力画像の単一の対に基づく、動き補償された中間画像を有しても良い。しかし好適には、単一の３Ｄ画像は、入力画像の複数の対に基づく、動き補償された中間画像をも有する。本発明による方法の本実施例においては、単一の３Ｄ画像は、第１の動き補償された中間画像及び第３の動き補償された中間画像を供給することにより生成される。ここで、第１の動き補償された中間画像は、入力画像の第１の対と、入力画像の第２の対に基づく第３の動き補償された中間画像とに基づく。該第１の対と第２の対とは部分的にオーバラップする。本発明による本実施例の利点は、比較的強い奥行きの印象が生成され得る点である。他の利点は、中間画像の再利用が可能である点である。このことは例えば、第１の３Ｄ画像及び続く第２の３Ｄ画像を生成するために第３の中間画像を適用することにより達成される。

本発明による方法の一実施例は更に、前記第１の動き補償された中間画像を、前記幾つかの表示手段のうちの第１のものに供給するステップと略同時に、前記第１の画像を、前記幾つかの表示手段のうちの第４のものに供給するステップを有する。好適には、入力画像の時間シーケンスの入力画像が、３Ｄ画像のビューを描画するために直接に利用される。第１の入力画像を供給することに加え、第２の入力画像をも供給することも有益である。

本発明による方法の一実施例は更に、２つの隣接する中間画像間に必要とされる時間的な距離である現在時間間隔を、推定される動きに基づいて計算するステップを有する。上述したように、異なる時間的な位置を持つ複数の駆動画像が略同時に表示され、それ故単一の３Ｄ画像へとマッピングされる。該複数の駆動画像のそれぞれは、自身の時間的な位置を持つ。２つの時間的な位置の間の差は、時間の差である。該時間の差は好ましくは、時間の関数として一定ではなく、入力画像の時間シーケンスに基づいて計算される。該時間の差は好ましくは、３Ｄ画像の駆動画像については一定である。

ここで隣接するとは、駆動画像同士が時間的に即ち時間ドメインにおいて直接に隣接することを意味する。一般に（必須ではないが）「隣接する」とは、隣接する駆動画像が、互いに対して隣接する角度方向を持つ表示手段にマッピングされることをも意味する。

単一の３Ｄ画像が９個のビューを有すると仮定する。該９個のビューに対してとり得るマッピングは、以下のようになり得る。第１の入力画像が第１のビューにマッピングされ、第２の入力画像が第９のビューにマッピングされ、第１の入力画像と第２の入力画像との間に時間的に等間隔で位置する７個の中間ビューが残りの７個のビューにマッピングされる。代替のマッピングは、以下のようになり得る。第１の入力画像が第１のビューにマッピングされ、第２の入力画像が第５のビューにマッピングされ、第３の入力画像が第９のビューにマッピングされ、第１の入力画像と第２の入力画像とに基づく３個の中間画像がビュー番号２、３及び４にマッピングされ、第２の入力画像と第３の入力画像とに基づく他の３個の中間画像がビュー番号６、７及び８にマッピングされる。後者の場合において、隣接する駆動画像間の時間的な距離即ち時間の差は、前者の場合におけるものより２倍大きいことは明らかであろう。

推定された動き（好ましくは動きベクトル場の１つの動きベクトルの平均に基づく）が比較的小さい場合には、時間の差が比較的大きい。推定された動きが比較的大きい場合には、時間の差は比較的小さい。

しかしながら、現在の時間間隔即ち時間的な距離は好ましくは一定ではなく、時間的な距離が時間の関数として滑らかに変化することが好ましい。このことは一般に、現在の時間的な距離が、以前に計算された時間的な距離に基づくことを意味する。時間的な距離を滑らかに変化させることにより、奥行きの印象も滑らかに適合される。本発明による方法により達成される加えられた奥行きの印象は、入力画像の時間シーケンスにおける動きに主に基づくことに留意されたい。加えられた奥行きの印象が急激に変化することを防ぐため、動きの急な変化は平滑化される。

本発明による方法の一実施例は更に、所定の遅延の後に、前記第１の動き補償された中間画像を、前記幾つかの表示手段のうちの第２のものに供給するステップを有する。利点は、動き推定された中間画像の再利用が為される点である。このことは例えば、第１の３Ｄ画像及び続く第２の３Ｄ画像を生成するため、第１の動き推定された中間画像を適用することにより達成される。典型的に、このことは以下のように動作する。ディスプレイ装置が９個のビューを持つと仮定する。このことは、単一の３Ｄ画像が９個のビューを持つことを意味する。第１の３Ｄ画像を表示するため、９個の駆動画像が供給され、そのうち２個は受信された入力画像に基づき、７個の駆動画像は動き補償された中間画像である。続く第２の３Ｄ画像を表示するため、例えば３個の新たな動き補償された中間画像が計算され、第１の３Ｄ画像のために利用された駆動画像のうち６個が再利用される。第２の３Ｄ画像の生成のために、駆動画像の再マッピングが必要とされることは明らかであろう。一般に、再マッピングはシフトを有する。例えば、本例においては、第１の３Ｄ画像の第６のビューに対応する表示手段に供給された中間画像は、第２の３Ｄ画像の第３のビューに対応する表示手段に供給される。

好適には、第１の動き補償された中間画像が幾つかの表示手段のうち第２のものに供給されるまでの所定の遅延は、第１の入力画像と第２の入力画像との間の時間的な距離よりも短い。本発明による本方法の本実施例は、２Ｄ画像の３Ｄ画像への変換を時間的なアップコンバージョンと組み合わせて、入力画像の時間シーケンスの周波数に対して表示周波数を増大させる。それ故、本実施例の利点は、低減された広範囲のちらつき、及び動きの振動の除去である。動き補償された中間画像の計算は、本実施例における２つの目標、即ち、
−拡張された３Ｄ印象のため、略同時に表示される動き補償された中間画像を生成すること、及び
−拡張された動き描写のため、入力画像の時間シーケンスの入力周波数よりも高い表示周波数で表示される動き補償された中間画像を生成すること、
のために実行される。

本発明の別の目的は、比較的高い画質の３Ｄ画像を表示するように構成された、最初のパラグラフにおいて記載された種類のマルチビューディスプレイ装置を提供することにある。

本発明の本目的は、前記マルチビューディスプレイ装置が、
入力画像の時間シーケンスの第１の入力画像及び入力画像の時間シーケンスの第２の入力画像に基づいて、第１の動きベクトル場を計算するための動き推定ユニットと、
前記第１の動きベクトル場、前記第１の入力画像及び／又は前記第２の入力画像に基づいて、第１の動き補償された中間画像を計算するための補間ユニットと、
前記第１の動き補償された中間画像を、前記幾つかの表示手段のうちの第１のものに供給するための駆動手段と、
を有することにより達成される。

本発明の別の目的は、比較的高い画質の３Ｄ画像に帰着する、最初のパラグラフにおいて記載された種類のコンピュータプログラムを提供することにある。

本発明の本目的は、マルチビューディスプレイ装置のためのビューを描画するための命令を有する、コンピュータ装置によってロードされるコンピュータプログラムであって、前記コンピュータ装置は処理手段及びメモリを有し、前記コンピュータプログラムは、ロードされた後に、前記処理手段に、
入力画像の時間シーケンスの第１の入力画像及び入力画像の時間シーケンスの第２の入力画像に基づいて、第１の動きベクトル場を計算するステップと、
前記第１の動きベクトル場、前記第１の入力画像及び／又は前記第２の入力画像に基づいて、第１の動き補償された中間画像を計算するステップと、
前記第１の動き補償された中間画像を、前記幾つかの表示手段のうちの第１のものに供給するステップと、
を実行する機能を提供する、コンピュータプログラムにより達成される。

前記マルチビューディスプレイ装置の変更及び変形は、記載される前記方法及び前記コンピュータプログラムの変更及び変形に対応し得る。

本発明によるマルチビューディスプレイ装置のこれらの及び他の態様は、以下に説明される実装及び実施例に関連して、及び添付図面を参照しながら説明され、明らかとなるであろう。

図面を通して、類似する部分を示すために同一の参照番号が利用される。

図１は、本発明によるマルチビューディスプレイ装置１００の実施例を模式的に示す。該マルチビューディスプレイ装置は、マルチビューディスプレイ装置１００に対する相互に異なる方向１２０、１２２及び１２４に、幾つかのビューを表示するように構成される。マルチビューディスプレイ装置１００は、所謂自動立体視ディスプレイ装置である。このことは、ユーザがビューを分離するために特殊な眼鏡を装着する必要がないことを意味する。ビューは、入力コネクタ１１１において供給される信号に基づく。該信号は、入力画像の時間シーケンスを表す。

マルチビューディスプレイ装置１００は、以下を有する。
−情報信号を受信するための受信手段１０１。該情報信号は、アンテナ又はケーブルを介して受信される放送信号であっても良いが、ＶＣＲ（Video Cassette Recorder）又はＤＶＤ（Digital Versatile Disk）のような記憶装置からの信号であっても良い。該情報信号は、ＰＣ（Personal Computer）又は他の何らかのマルチメディア装置により供給されても良い。
−入力画像に基づいて動きベクトル場を計算するための動き推定ユニット１０２。
−前記動きベクトル場及び入力画像に基づいて、動き補償された中間画像を計算するための補間ユニット１０３。
−駆動画像、即ち動き補償された中間画像及び任意に入力画像を、幾つかの表示手段１０４、１１０に供給するための駆動手段１０９。
ここで、表示手段１０４、１１０は、
−光生成素子１０５乃至１０８の構造体１０４に供給される駆動画像のそれぞれの画素値に基づいて光を生成するための、光生成素子１０５乃至１０８の構造体１０４と、
−マルチビューディスプレイ装置１００に対する異なる方向１２０、１２２及び１２４に前記生成された光を向けるための光ディレクトリ手段１１０と、
を有する。

光生成素子１０５乃至１０８の構造体１０４は第１の平面に配置され、光ディレクトリ手段１１０は光ディレクトリ素子１１２乃至１１８の群を有する。該素子のそれぞれは、光生成素子１０５乃至１０８のそれぞれの群に関連する。光ディレクトリ手段１１０は、第１の平面における光生成素子１０５乃至１０８に重なり、第１の平面に対する相互に異なる角度方向に光生成素子１０５乃至１０８の出力を向ける。

光生成素子１０５乃至１０８の構造体１０４は、ＬＣＤ、ＣＲＴ、ＰＤＰ又は代替のディスプレイ画面であっても良い。好適には、該ディスプレイ画面の表示周波数は比較的高く、例えば５０Ｈｚより高い。

好適には、光ディレクトリ手段１１０は、レンズ１１２乃至１１８のセットを有する。該光ディレクトリ手段１１０は例えば、米国特許US6069650に開示されたようなものである。

代替として、光ディレクトリ手段１１０は、障壁１１２乃至１１８のセットを有する。該光ディレクトリ手段１１０は例えば、米国特許US6437915に開示されたようなものである。

受信手段１０１、動き推定ユニット１０２、補間ユニット１０３及び駆動手段１０９は、１つのプロセッサを用いて実装されても良い。通常、これらの機能は、ソフトウェアプログラムの制御の下で実行される。実行の間、該ソフトウェアプログラムは通常、ＲＡＭのようなメモリへとロードされ、該メモリから実行される。該プログラムは、ＲＯＭ、ハードディスク又は磁気及び／又は光記録装置のようなバックグラウンドメモリからロードされても良いし、又はインターネットのようなネットワークを介してロードされても良い。任意に、特定用途向け集積回路が、開示される機能を提供する。

動き推定ユニット１０２は例えば、G. de Haanらによる論文「True-Motion Estimation with 3-D Recursive Search Block Matching」（「IEEE Transaction on circuits and systems for video technology」、Vol. 3、no. 5、1993年10月、368-379頁）に規定されたようなものである。

補間ユニット１０３は、好適には米国特許US5,534,946に開示されたようなものである。

マルチビューディスプレイ装置１００の動作は、以下のとおりである。入力コネクタ１１１において、入力画像の時間シーケンスを表す信号が供給される。該入力画像の時間的な補間に基づいて、付加的な画像が生成される。これら付加的な画像は、時間的に中間に、即ち、入力画像の時間シーケンスの連続する入力画像の間に位置している。それ故これら付加的な画像は、動き補償された中間画像と呼ばれる。該中間画像の画素値及び任意に前記入力画像の幾つかの画素値は、光生成素子１０５乃至１０８の構造体１０４に供給される。該光生成素子が、第１の平面に対して相互に異なる方向に向けられる光を生成する。駆動画像のセット、即ち光生成素子１０５乃至１０８の構造体１０４に略同時に供給される動き補償された中間画像及び任意に入力画像は、３Ｄ画像と呼ばれる。

駆動画像の１つに基づいてアドレシングされる光生成素子のサブセットの出力は、ビューと呼ばれる。例えば、本マルチビューディスプレイ装置が９ビューのディスプレイ装置であると仮定すると、９個の駆動画像が光生成素子１０５乃至１０８の構造体１０４に供給される。光生成素子１０５乃至１０８の完全な構造体１０４は、光生成素子の９個のサブセットとみなされ得る。斯かる光生成素子のサブセット及び関連する光ディレクトリ手段は、それぞれの表示手段である。

適切な位置から本マルチビューディスプレイ装置１００のディスプレイ画面を見る観測者は、該観測者の左眼で第１のビューを、該観測者の右眼で第２のビューを見る。入力画像の時間シーケンスにおける動きの結果、第１のビューと第２のビューとは異なり、それ故観測者は３Ｄの印象を得る。マルチビューディスプレイ装置のディスプレイ画面とは、光ディレクトリ手段１１０が配置された層を意味する。

図２は、入力画像ｉｎｐ１乃至ｉｎｐ４の時間シーケンス、及び該入力画像ｉｎｐ１乃至ｉｎｐ４の時間シーケンスから導出される駆動画像ｄｒ１乃至ｄｒ１３のシーケンスを模式的に示す。駆動画像ｄｒ１乃至ｄｒ１３のシーケンスは、光生成素子１０５乃至１０８の構造体１０４を駆動するために利用される。駆動画像ｄｒ１乃至ｄｒ１３のシーケンスは、入力画像ｉｎｐ１乃至ｉｎｐ４の時間的な補間により計算された動き補償された中間画像を有し、更に任意に、入力画像ｉｎｐ１乃至ｉｎｐ４のコピーを有する。

典型的には、入力画像ｉｎｐ１乃至ｉｎｐ４の時間シーケンスはビデオデータに対応する。このことは、入力画像ｉｎｐ１乃至ｉｎｐ４がビデオフレームに対応することを意味する。図２において、時間の次元は、「時間」なる注釈を伴う水平方向の矢印により示される。２５Ｈｚのビデオフレームの場合においては、連続する入力画像間即ちビデオフレーム間の時間的な距離ＴＤＩ（Temporal Distance Input）は、１／２５秒である。

インデクスｉを持つ３Ｄ画像についての連続する駆動画像ｄｒ１乃至ｄｒ１３の間の時間的な距離ＴＤＤ（ｉ）（Temporal Distance Driving）は、連続する入力画像の間の時間的な距離ＴＤＩよりも小さい。代替として、「隣接する」駆動画像間の時間的な距離ＴＤＤ（ｉ）について述べることもできる。図２に示された例においては、時間的な距離の間の関係は、以下の式（１）において規定される：
ＴＤＩ＝４＊ＴＤＤ（ｉ）（１）
しかしながら、これは単なる例であることに留意されたい。

幾つかの駆動画像は合わせて、マルチビューディスプレイ装置の観測者によって観測され得る３Ｄ画像を形成する。図２において、ｄｒ１乃至ｄｒ９によって示される駆動画像が第１の３Ｄ画像ｏｕｔ１へと組み合わせられ、ｄｒ４乃至ｄｒ１１によって示される駆動画像が後続する第２の３Ｄ画像ｏｕｔ２へと組み合わせられることが示されている。第１の３Ｄ画像ｏｕｔ１を形成する駆動画像ｄｒ１乃至ｄｒ９のセットと、第２の３Ｄ画像ｏｕｔ２を形成する駆動画像ｄｒ４乃至ｄｒ１１のセットとに、強いオーバラップｄｒ４乃至ｄｒ９があることに留意されたい。

以下の表１において、異なる駆動画像がどのように時間の関数として組み合わせられ、連続する３Ｄ画像を形成するのかが示される。このことは、表１が、それぞれのビューを生成するための駆動画像のマッピングの例を提供することを意味する。３Ｄ画像のビューを略同時に表示する時間インスタンスもが、表１の第１の列に示されていることに留意されたい。

表１は、時間インスタンスｔ＝０．００において、幾つかの表示手段に対して駆動画像ｄｒ１乃至ｄｒ９を供給することより３Ｄ画像ｏｕｔ１が生成され、時間インスタンスｔ＝０．０２において、幾つかの表示手段に対して駆動画像ｄｒ２乃至ｄｒ１０を供給することより３Ｄ画像ｏｕｔ２が生成されること等を示している。

連続する出力画像ｏｕｔ１乃至ｏｕｔ７間の時間遅延は０．０２秒である。それ故、本マルチビューディスプレイ装置の表示周波数は５０Ｈｚである。表１は、駆動画像ｄｒ１乃至ｄｒ１５の再利用があることを明らかに示している。特定の駆動画像ｄｒ５は、時間インスタンスｔ＝０．００においてビュー５のために利用され、時間インスタンスｔ＝０．０２においてビュー４のために利用され、時間インスタンスｔ＝０．０４においてビュー３のために利用される等する。基本的に表１は、特定の駆動画像が、第１のビューから、第１のビューに隣接する第２のビューへとシフトされることを示している。所謂ビューシフトＶＳ（ｉ）は、本例においては１に等しい。

表２は、時間インスタンスｔ＝０．００において、幾つかの表示手段に対して駆動画像ｄｒ１乃至ｄｒ９を供給することより３Ｄ画像ｏｕｔ１が生成され、時間インスタンスｔ＝０．０４において、幾つかの表示手段に対して駆動画像ｄｒ２乃至ｄｒ１０を供給することより３Ｄ画像ｏｕｔ２が生成されること等を示している。

連続する出力画像ｏｕｔ１乃至ｏｕｔ７間の時間遅延は０．０４秒である。それ故、本マルチビューディスプレイ装置の表示周波数は２５Ｈｚである。表２は、特定の駆動画像が、第１のビューから、第１のビューに隣接する第２のビューへとシフトされることを示している。ビューシフトＶＳ（ｉ）は、本例においては１に等しい。

表１及び表２の例を比較することにより、本発明によるマルチビューディスプレイ装置を用いると、種々の表示周波数が実現され得ることが明らかとなる。該種々の表示周波数は、所謂時間変換（temporal conversion）に帰着する、入力周波数よりも高い周波数を含む。２５Ｈｚの入力周波数を持つ入力画像の時間シーケンスを直接に表示することは、駆動画像の時間的にアップコンバージョンされたシーケンスを表示する場合とは異なる動きの描写に帰着するであろうことに留意されたい。表示周波数と入力周波数との間の比は、時間アップコンバージョン係数ＴｕｐＣと呼ばれる。

表３は、時間インスタンスｔ＝０．００において、幾つかの表示手段に対して駆動画像ｄｒ１乃至ｄｒ９を供給することより３Ｄ画像ｏｕｔ１が生成され、時間インスタンスｔ＝０．０２において、幾つかの表示手段に対して駆動画像ｄｒ３乃至ｄｒ１１を供給することより３Ｄ画像ｏｕｔ２が生成されること等を示している。

連続する出力画像ｏｕｔ１乃至ｏｕｔ７間の時間遅延は０．０２秒である。それ故、本マルチビューディスプレイ装置の表示周波数は５０Ｈｚである。表３は、特定の駆動画像が、第１のビューから、第１のビューに隣接する第２のビューへとシフトされることを示している。ビューシフトＶＳ（ｉ）は、本例においては２に等しい。

表１及び表３の例を比較することにより、ビューシフトＶＳが一定ではないが設定可能であることが明らかとなる。ＶＳ（ｉ）及びＴＤＤ（ｉ）の値を選択することにより、奥行きの印象の量が設定される（増大させられる／減少させられる）ことができる。

上述したように、駆動画像ｄｒ１乃至ｄｒ１５は、入力画像ｉｎｐ１乃至ｉｎｐ４に基づく。駆動画像の計算は、以下のようになる。

第１に、インデクスｉにより示される生成されるべき３Ｄ画像について、連続する駆動画像間の必要とされる実際の時間的な距離ＴＤＤ（ｉ）が決定される。該連続する駆動画像間の必要とされる実際の時間的な距離ＴＤＤ（ｉ）は、動きの量と、前の３Ｄ画像ｉ−１のために利用された時間的な距離ＴＤＤ（ｉ−１）とに基づく。

第２に、３Ｄ画像ｉについて、マルチビューディスプレイ装置の中心ビュー（ｊ＝ｃｖ）に対応する駆動画像ｊの時間的位置ＴＰ（ｉ，ｊ＝ｃｖ）が決定される。好適には、該中心ビューは、ディスプレイ画面に略直角な角度方向に対応するビューである。時間的位置ＴＰ（ｉ，ｊ＝ｃｖ）は、前の３Ｄ画像ｉ−１の時間的位置ＴＰ（ｉ−１，ｊ＝ｃｖ）に依存する。典型的には、時間的位置ＴＰ（ｉ，ｊ＝ｃｖ）はまた、式２において規定された連続する入力画像間の時間的な距離ＴＤＩ、及び時間アップコンバージョン係数ＴｕｐＣに関連する：
ＴＰ（ｉ，ｊ＝ｃｖ）＝ＴＰ（ｉ−１，ｊ＝ｃｖ）＋ＴＤＩ／ＴｕｐＣ（２）

好適には、中心ビュー（ｊ＝ｃｖ）に対応する駆動画像ｊの時間的位置ＴＰ（ｉ，ｊ＝ｃｖ）は、入力画像の１つの時間インスタンスに対応する。このことは、好適には、中心ビューに対応する駆動画像ｊが、入力画像の１つのコピーであることを意味する。１と等しくない時間アップコンバージョン係数ＴｕｐＣを用いると、中心ビュー（ｊ＝ｃｖ）に対応する駆動画像ｊの幾つかは、入力画像のコピーとはなり得ないことは明らかであろう。この場合には、最大限の数の中心ビューに対応する駆動画像が、入力画像のコピーであることが好適である。

第３に、残りの駆動画像ｊの時間的位置ＴＰ（ｉ，ｊ）が計算される。これら時間的位置ＴＰ（ｉ，ｊ）は、ビューの数Ｎ、即ち３Ｄ画像ｉについての駆動画像の数に関連する。式（３）は、時間的位置ＴＰ（ｉ，ｊ）がどのように計算されるかを規定する：
ＴＰ（ｉ，ｊ）＝ＴＰ（ｉ，ｊ＝ｃｖ）＋（ｊ−ｃｖ）＊ＴＤＤ（ｉ）（３）

典型的には、中心ビューの値はｃｖ＝（Ｎ＋１）／２であり、例えば９個のビューの場合には中心ビューの値はｃｖ＝５である。

ＴＰ（ｉ，ｊ）＝ＴＰ（ｉ，ｊ＝ｃｖ）＋（ｊ−（Ｎ＋１）／２）＊ＴＤＤ（ｉ）（４）

時間的位置ＴＰ（ｉ，ｊ）に基づいて、駆動画像が計算される。好適には、駆動画像の時間位置に比較的近い入力画像が、該計算のために利用される。例えば、図２における駆動画像ｄｒ２は入力画像ｉｎｐ１と入力画像ｉｎｐ２とに基づくものとなり、駆動画像ｄｒ７は入力画像ｉｎｐ２と入力画像ｉｎｐ３とに基づくものとなる。

実際の時間的な距離ＴＤＤ（ｉ）が前の時間的な距離ＴＤＤ（ｉ−１）に等しい場合には、表１、２及び３に関連して説明されたように、前に計算された駆動画像の再利用が為される。図５も参照されたい。

表４は、それぞれのビューを生成するための駆動画像のマッピングの第４の例を示す。表４においては、種々の駆動画像及びそれ故ビューについての時間インスタンスが列記されている。以下が当てはまる：ＴＤＩ＝０．０４、ＴｕｐＣ＝１．００、ｃｖ＝５、ＴＤＤ（ｉ）＝０．０１（一定）。

ビューシフトＶＳ（ｉ）は、本例においては４に等しい。

表５は、それぞれのビューを生成するための駆動画像のマッピングの第５の例を示す。表５においては、種々の駆動画像及びそれ故ビューについての時間インスタンスが列記されている。以下が当てはまる：ＴＤＩ＝０．０４、ＴｕｐＣ＝２．００、ｃｖ＝５、ＴＤＤ（ｉ）＝０．０１（一定）。

従って、表４に示された第４の例に比較した相違点は、時間アップコンバージョン係数ＴｕｐＣである。

ビューシフトＶＳ（ｉ）は、本例においては２に等しい。

実際の時間的な距離ＴＤＤ（ｉ）は数学的な量であり、その意味で正及び負となり得る。表６は、それぞれのビューを生成するための駆動画像のマッピングの第６の例を示し、ここではＴＤＤ（ｉ）の値が時間の関数として滑らかに変化する。以下が当てはまる：ＴＤＩ＝０．０４、ＴｕｐＣ＝２．００、ｃｖ＝５。

表６は、変化するＴＤＤ（ｉ）の効果を示す。このことは、図３、図４及び図６にも示される。

図３は、減少させられるＴＤＤ（ｉ）の効果を示す。即ち、整数値ｋについてＴＤＤ（ｉ＋ｋ）＜ＴＤＤ（ｉ）である。図３は、入力画像ｉｎｐ１乃至ｉｎｐ３に基づく駆動画像ｄｒ１乃至ｄｒ９が、ＴＤＤ（ｉ）＝ＴＤＩ／４でビュー１乃至ビュー９にマッピングされることを示す。後に、入力画像ｉｎｐ１０乃至ｉｎｐ１２に基づく駆動画像ｄｒ１４乃至ｄｒ２２が、ＴＤＤ（ｉ）＝ＴＤＩ／８でビュー１乃至ビュー９にマッピングされる。

図４は、ＴＤＤ（ｉ）の変化する符号の効果を示す。該効果は、マッピングの順番が変化すること、即ち、中心ビュー（ｃｖ＝５）よりも大きい数を持つ第１のビューが、中心ビューの時間位置よりも高い時間位置に対応する点である（表６及び図６も参照されたい）。

次いで、負の値のＴＤＤ（ｉ）については、中心ビューよりも大きな数を持つビューが、中心ビューの時間位置よりも低い時間位置に対応する。

図５は、駆動画像の再利用を示す。ｘ軸は、３Ｄ画像ｏｕｔ１乃至ｏｕｔ１４に対応する。ｙ軸は、９個のビューのうち５個にマッピングされる駆動画像についての時間位置ＴＰ（ｉ，ｊ）を示す。図５は、時間位置ＴＰ（ｉ，ｊ）＝１．０４を持つ駆動画像ｄｒ９（表５も参照されたい）が最初にｏｕｔ１（ビュー９）のために利用され、次いでｏｕｔ２（ビュー７）のために利用され、次いでｏｕｔ３（ビュー５）のために利用され、次いでｏｕｔ４（ビュー３）のために利用され、最後にｏｕｔ５（ビュー１）のために利用されることを、明らかに示している。

図５はまた、時間位置ＴＰ（ｉ，ｊ）＝１．１４を持つ駆動画像ｄｒ１９（表５も参照されたい）が最初にｏｕｔ６（ビュー９）のために利用され、次いでｏｕｔ７（ビュー７）のために利用され、次いでｏｕｔ８（ビュー５）のために利用され、次いでｏｕｔ９（ビュー３）のために利用され、最後にｏｕｔ１０（ビュー１）のために利用されることも示している。本プロットは表５から得られているため、表５に関連する説明も参照されたい。

図６は、変化するＴＤＤ（ｉ）の効果を示す。ｘ軸は、３Ｄ画像ｏｕｔ１乃至ｏｕｔ１４に対応する。ｙ軸は、９個のビューのうち３個にマッピングされる駆動画像についての時間位置ＴＰ（ｉ，ｊ）を示す。本プロットは表６から得られているため、表６に関連する説明も参照されたい。

最初は（ｏｕｔ１乃至ｏｕｔ４）、ビュー９は、中心ビュー即ちビュー５の時間位置よりも高い時間位置を持つ駆動画像を持ち、ビュー１は、中心ビューの時間位置よりも低い時間位置を持つ駆動画像を持つ。

次いで（ｏｕｔ５）、全てのビューが、相互に等しい時間位置を持つ駆動画像を持つ。

次いで（ｏｕｔ６乃至ｏｕｔ１２）、負の値のＴＤＤ（ｉ）について、ビュー９は、中心ビュー即ちビュー５の時間位置よりも低い時間位置を持つ駆動画像を持ち、ビュー１は、中心ビューの時間位置よりも高い時間位置を持つ駆動画像を持つ。

次いで（ｏｕｔ１３）、全てのビューが、相互に等しい時間位置を持つ駆動画像を持つ。

最後に（ｏｕｔ１４）、ビュー９は、中心ビューの時間位置よりも高い時間位置を持つ駆動画像を持ち、ビュー１は、中心ビューの時間位置よりも低い時間位置を持つ駆動画像を持つ。

カメラが移動方向を変化させる場面については、ＴＤＤ（ｉ）は好適には徐々に減少し、ビューを時間的にアコーディオンのように圧縮し、次いで再び増大する（しかしながら逆符号）。このことは、２つのパン方向間の、非常に滑らかで実質的に不可視な遷移を実現する。ＴＤＤ（ｉ）はまた、奥行きの印象を安定化させるため、背景の動きの大きさに依存するものとされても良い。好適には、動きベクトル場の動きベクトルの平均サイズが、ＴＤＤ（ｉ）の値を制御するために計算される。代替として、動きベクトルの水平成分のみが、ＴＤＤ（ｉ）の制御のための動きの尺度を計算するために利用される。好適には、ＴＤＤ（ｉ）を制御するため、背景の動きと前景の動きとが独立に決定される。

マルチビューディスプレイ装置の好適な構成は、以下のようになる：
−左から右へと移動する背景については、正のＴＤＤ（ｉ）が、該背景について正の動き視差を与える（即ちディスプレイ画面の後となる）。
−右から左へと移動する背景については、負のＴＤＤ（ｉ）が、該背景について正の動き視差を与える。

上述の実施例は本発明を限定するものではなく説明するものであって、当業者は添付する請求項の範囲から逸脱することなく多くの代替実施例を設計することが可能であろうことは留意されるべきである。請求項において、括弧に挟まれたいずれの参照記号も、請求の範囲を限定するものとして解釈されるべきではない。「有する（comprise）」なる語は、請求項に記載されたもの以外の要素又はステップの存在を除外するものではない。要素に先行する「１つの（a又はan）」なる語は、複数の斯かる要素の存在を除外するものではない。本発明は、幾つかの別個の要素を有するハードウェアによって、及び適切にプログラムされたコンピュータによって実装されても良い。幾つかの手段を列記したユニットの請求項において、これら手段の幾つかは同一のハードウェア又はソフトウェアのアイテムによって実施化されても良い。「第１の（first）」、「第２の（second）」及び「第３の（third）」等の語の使用は、何らかの順序を示すものではない。これらの語は名称として解釈されるべきである。

本発明によるマルチビューディスプレイ装置の実施例を模式的に示す。入力画像の時間シーケンス、及び該入力画像の時間シーケンスから導出された入力画像のシーケンスを模式的に示す。減少させられたＴＤＤ（ｉ）の効果を示す。負のＴＤＤ（ｉ）の効果を示す。駆動画像の再利用を示す。変化するＴＤＤ（ｉ）の効果を示す。

Claims

マルチビューディスプレイ装置のためのビューを描画する方法であって、前記マルチビューディスプレイ装置は、前記マルチビューディスプレイ装置に対する相互に異なる方向でそれぞれのビューを表示するための幾つかの表示手段を持ち、前記方法は、
入力画像の時間シーケンスの第１の入力画像及び入力画像の時間シーケンスの第２の入力画像に基づいて、第１の動きベクトル場を計算するステップと、
前記第１の動きベクトル場、前記第１の入力画像及び／又は前記第２の入力画像に基づいて、第１の動き補償された中間画像を計算するステップと、
前記第１の動き補償された中間画像を、前記幾つかの表示手段のうちの第１のものに供給するステップと、
を有する方法。
前記第１の動きベクトル場に対応する第１の時間インスタンスとは異なる第２の時間インスタンスについて、第２の動きベクトル場を計算するステップと、
前記第２の動きベクトル場、前記第１の入力画像及び／又は前記第２の入力画像に基づいて、第２の動き補償された中間画像を計算するステップと、
前記第１の動き補償された中間画像を、前記幾つかの表示手段のうちの第１のものに供給するステップと略同時に、前記第２の動き補償された中間画像を、前記幾つかの表示手段のうちの第２のものに供給するステップと、
を更に有する、請求項１に記載のビューを描画する方法。
前記入力画像の時間シーケンスの第２の入力画像及び第３の入力画像に基づいて、第３の動きベクトル場を計算するステップと、
前記第３の動きベクトル場、前記第２の入力画像及び／又は前記第３の入力画像に基づいて、第３の動き補償された中間画像を計算するステップと、
前記第１の動き補償された中間画像を、前記幾つかの表示手段のうちの第１のものに供給するステップと略同時に、前記第３の動き補償された中間画像を、前記幾つかの表示手段のうちの第３のものに供給するステップと、
を更に有する、請求項１又は２に記載のビューを描画する方法。
前記第１の動き補償された中間画像を、前記幾つかの表示手段のうちの第１のものに供給するステップと略同時に、前記第１の画像を、前記幾つかの表示手段のうちの第４のものに供給するステップを更に有する、請求項１乃至３のいずれか一項に記載のビューを描画する方法。
前記第１の動き補償された中間画像を、前記幾つかの表示手段のうちの第１のものに供給するステップと略同時に、前記第２の画像を、前記幾つかの表示手段のうちの第５のものに供給するステップを更に有する、請求項１乃至４のいずれか一項に記載のビューを描画する方法。
前記幾つかの表示手段のうちの第１のものの第１の方向は、前記ディスプレイ装置の平面に略垂直である、請求項１乃至５のいずれか一項に記載のビューを描画する方法。
２つの隣接する中間画像間に必要とされる時間的な距離である現在時間間隔を、推定される動きに基づいて計算するステップを更に有する、請求項１乃至６のいずれか一項に記載のビューを描画する方法。
前記現在時間間隔は、以前に計算された時間間隔に基づく、請求項７に記載のビューを描画する方法。
所定の遅延の後に、前記第１の動き補償された中間画像を、前記幾つかの表示手段のうちの第２のものに供給するステップを更に有する、請求項１乃至８のいずれか一項に記載のビューを描画する方法。
前記所定の遅延は、前記第１の入力画像と前記第２の入力画像との間の時間的な距離よりも短い、請求項９に記載のビューを描画する方法。
マルチビューディスプレイ装置であって、前記マルチビューディスプレイ装置に対する相互に異なる方向でそれぞれのビューを表示するための幾つかの表示手段を持つマルチビューディスプレイ装置において、
入力画像の時間シーケンスの第１の入力画像及び入力画像の時間シーケンスの第２の入力画像に基づいて、第１の動きベクトル場を計算するための動き推定ユニットと、
前記第１の動きベクトル場、前記第１の入力画像及び／又は前記第２の入力画像に基づいて、第１の動き補償された中間画像を計算するための補間ユニットと、
前記第１の動き補償された中間画像を、前記幾つかの表示手段のうちの第１のものに供給するための駆動手段と、
を有する、マルチビューディスプレイ装置。
マルチビューディスプレイ装置のためのビューを描画するための命令を有する、コンピュータ装置によってロードされるコンピュータプログラムであって、前記コンピュータ装置は処理手段及びメモリを有し、前記コンピュータプログラムは、ロードされた後に、前記処理手段に、
入力画像の時間シーケンスの第１の入力画像及び入力画像の時間シーケンスの第２の入力画像に基づいて、第１の動きベクトル場を計算するステップと、
前記第１の動きベクトル場、前記第１の入力画像及び／又は前記第２の入力画像に基づいて、第１の動き補償された中間画像を計算するステップと、
前記第１の動き補償された中間画像を、前記幾つかの表示手段のうちの第１のものに供給するステップと、
を実行する機能を提供する、コンピュータプログラム。