JP2009515404A - マルチビューディスプレイのための画像データの再生 - Google Patents

マルチビューディスプレイのための画像データの再生 Download PDF

Info

Publication number
JP2009515404A
JP2009515404A JP2008538476A JP2008538476A JP2009515404A JP 2009515404 A JP2009515404 A JP 2009515404A JP 2008538476 A JP2008538476 A JP 2008538476A JP 2008538476 A JP2008538476 A JP 2008538476A JP 2009515404 A JP2009515404 A JP 2009515404A
Authority
JP
Japan
Prior art keywords
view
image
intensity function
dependent
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008538476A
Other languages
English (en)
Inventor
ロベルト−パウル エム ベルレッティ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2009515404A publication Critical patent/JP2009515404A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/349Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H04N13/351Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying simultaneously
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H04N13/125Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues for crosstalk reduction

Abstract

本発明は、レンチキュラ式自動立体視ディスプレイのための画像データのような、マルチビューディスプレイのための画像データの再生に関する。本方法は、画像についてのビュー依存の画像データを供給するステップと、前記画像についてのビュー依存の強度関数(又は輝度関数)を決定するステップと、前記強度関数のビュー依存の座標に対して空間フィルタリング(ローパスフィルタリング、ハイパスフィルタリング、又はローパスフィルタリングとハイパスフィルタリングとの組み合わせのような)を適用するステップと、前記ビュー依存の強度関数を複数のサブ画像にサンプリングするステップと、を有し、各前記サブ画像は前記画像の観測方向に関連する。

Description

本発明は、マルチビューディスプレイのための画像データを再生する方法に関する。本発明は特に、画像が幾つかの方向から観測されるマルチビューディスプレイのための画像データを再生する方法に関する。本発明は更に、マルチビューディスプレイ、信号再生システム、及び前記方法を実装するためのコンピュータ読み取り可能なコードに関する。
マルチビューディスプレイは、観測方向に依存して異なる画像を観測者に提示することが可能であり、それにより画像中のオブジェクトが異なる角度から観測され得るディスプレイである。マルチビューディスプレイの例は、観測者の左眼に対して右眼と異なる画像を提示することが可能な、自動立体視(auto-stereoscopic)ディスプレイである。種々のマルチビュー技術が存在しており、斯かる技術の1つは、レンチキュラベースのものである。レンチキュラディスプレイは、異なる水平方向の観測方向に対して複数の画像を表示することが可能な視差3次元(3D)ディスプレイである。このようにして、観測者は、例えば運動視差及び立体視の手掛かりを体験することができる。
マルチビューディスプレイに関連する1つの問題は、異なる観測方向についての画像がオーバラップし、それによってゴースト画像又は画像間のクロストークを引き起こし得る点である。他の問題は、観測方向の数が比較的少なくなり得(典型的には8又は9個)、幾つかの観測方向においてエイリアシング(aliasing)効果を引き起こし得る点である。
米国特許出願公開US2003/0117489は、3D自動立体視ディスプレイの左眼画像と右眼画像との間のクロストークを低減する3次元ディスプレイ及び方法を開示している。該開示されたクロストークを低減する方法は、左画像及び右画像の双方の全画素に基本レベルのグレイを加算して、背景のグレイレベルを増大させることに基づく。
本発明の発明者は、画像データを再生する改善された方法が有益であると認識し、その結果本発明を発明した。
本発明は、マルチビューディスプレイのための画像データを再生するための改善された手段を提供することを目的とし、またマルチビューディスプレイの観測者即ちユーザに知覚される画質を改善するフィルタリング手法を提供することを目的とする。好ましくは本発明は、上述した欠点又は他の欠点の1つ以上を、単独で又は組み合わせて軽減、緩和又は除去する。
従って、第1の態様において、マルチビューディスプレイのための画像データを再生する方法であって、
画像についてのビュー依存の画像データを供給するステップと、
前記画像についてのビュー依存の強度関数を決定するステップと、
前記強度関数のビュー依存の座標に対して空間フィルタリングを適用するステップと、
前記ビュー依存の強度関数を複数のサブ画像にサンプリングするステップと、
を有し、各前記サブ画像は前記画像の観測方向に関連する方法が提供される。
マルチビューディスプレイにおいて、画像データは一般に適切な表現のために再生される。該画像は、該画像の空間的な即ち3Dの次元を観測者が知覚するように、観測者に対して投射された2D画像データに基づくものであり得るため、該再生が必要とされ得る。画像の各観測方向について、当該観測方向から観測される該画像のサブ画像が生成され、該サブ画像は関連する観測方向に投射される。
再生処理は典型的に、例えば画像データの入力フォーマット、ディスプレイ装置、画像データのタイプ等に依存する、幾つかの演算又はステップを有する。ビュー依存の画像データが、第1のステップにおいて供給される。該第1のステップは、再生処理全体の最初のステップである必要はない。ビュー依存の画像データから、ビュー依存の、又は多次元の、強度関数が決定される。該ビュー依存の強度関数は、とり得るビュー方向についてのディスプレイの発光強度又は輝度に関連する。該強度関数のビュー依存の座標は空間フィルタリングされ、該空間フィルタリングされた強度関数は、複数のサブ画像へとサンプリングされる。該ビュー依存の座標は、画像データの座標表現に依存する。典型的な座標表現においては、画像の強度関数は、ディスプレイ画面上の位置及び観測者の水平観測方向を表す角度を参照する空間座標セットで記述される。該角度は、ビュー依存の座標である水平観測方向を表す。しかしながら、マルチビューディスプレイのタイプ、画像データ、再生処理等に応じて、代替の座標表現が想像され得ることは理解されるべきである。
第1の態様による本発明は、幾つかの理由により、特に(本態様のみではないが)有利である。本方法においては、再生処理は実際の3次元フィルタリング処理とみなされ、それにより画像データの再生と該画像が提示されるディスプレイ装置との間の直接的且つ直感的なリンクを提供する。このことは、種々の異なるディスプレイ装置における本方法の単純且つ頑強な実装を容易化する。更に本方法は、クロストーク及びエイリアシングアーティファクトのようなアーティファクトの低減に効果的に対処する。なぜなら、これらアーティファクトは明確な再生段において対処され、クロストーク又はエイリアシングアーティファクトを更に除去又は減少させるための前処理又は後処理のような更なる処理を不必要とする。更に本方法は、画像データの入力又は出力フォーマットに対して非常に少ない制限しか課さない、又は制限を課さない、非常に一般的な方法である。ビュー依存の強度関数が幾つかの画像フォーマットから生成されても良く、いずれかの出力画像フォーマットが該ビュー依存の強度関数に基づいて生成又はサンプリングされても良い。
請求項2乃至4において定義された任意の特徴は、ローパスフィルタリング、ハイパスフィルタリング及び/又はこれら2つの組み合わせにより実行される空間フィルタリングは、種々の方法で実装され得る良く知られたバンドパスフィルタリング手法であり、それによって頑強且つ汎用的な実装を確実とするため、有利である。
請求項5において定義された任意の特徴は、所定の周波数を超える周波数に対して正の利得を加えることにより強度関数がシャープにされ得、それによってクロストーク効果に効果的に対処するため、有利である。
請求項6において定義された任意の特徴は、ローパスフィルタリングにおいてナイキスト(Nyquist)周波数を超える周波数を除去することにより、エイリアシング効果が効果的に対処されるため、有利である。
請求項7において定義された任意の特徴は、ビュー依存の強度関数を画像の色成分へと分割し、該画像の少なくとも1つの色成分に対して空間フィルタリングを適用することにより、異なる色成分の強度が別個に対処され、画像データのより効率的な処理に導き得るため、有利である。
請求項8乃至10において定義された任意の特徴は、ビュー依存の強度関数がどのように生成されるかの有利な実施例を記述しているため、有利である。請求項8においては、ビュー依存の強度関数は、例えばマルチビューディスプレイのレンズ配置のような、光学素子の配置に従って生成される。このことは、ビュー依存の強度関数が光学素子に依存し得るため、有利である。請求項9においては、ビュー依存の強度関数は、色及び深度情報を含む画像フォーマットから生成される。このことは、深度マップが画像データに関連していない場合であっても斯かる深度マップが生成され得、それ故本方法が、色及び深度を含む画像フォーマットに対しても、色のみを含み深度情報が次いで生成されるような画像フォーマットに対しても、共に適用され得るため、有利である。請求項10においては、ビュー依存の強度関数は、多数の画像から生成される。このことは、画像のビュー依存性が、例えば種々の視点からとられた画像に基づいて生成され得るため、有利である。
請求項11において定義された任意の特徴は、任意の数の観測方向にビュー依存の強度関数をサンプリングすることにより、本方法が、分数個のビューを呈するディスプレイ及び整数個のビューを呈するディスプレイのいずれにも適用され得るため、有利である。分数のビュー数は、例えば観測距離補正のために有利に適用され得る。
請求項12において定義された任意の特徴は、2.5Dのビデオ画像フォーマットは標準的であり広く利用されているフォーマットであるため、有利である。
本発明の第2の態様によれば、マルチビューディスプレイ装置であって、前記装置は、
それぞれが画像の観測方向に関連する群に配置された表示要素のアレイを有するディスプレイパネルと、
前記表示要素の群から発せられた光が前記群の観測方向に関連する角度分布に向けられるように、前記ディスプレイパネルから発せられる光を導くための光学素子と、
画像についてのビュー依存の画像データを受信するための入力モジュールと、
前記画像についてのビュー依存の強度関数を決定し、前記強度関数のビュー依存の座標に対して空間フィルタリングを適用するための再生モジュールと、
前記ビュー依存の強度関数を複数のサブ画像に出力するための出力モジュールと、
を有し、各前記サブ画像は前記表示要素の群及び前記画像の観測方向に関連する装置が提供される。
本ディスプレイ装置は、第1の態様の再生方法によって拡張されたマルチビューディスプレイ装置である。該マルチビューディスプレイ装置は、本発明の第1の態様による機能を備えて製造されたディスプレイ装置であっても良く、又は本発明の第1の態様による機能を備えて製造されたものではないが後に本発明の機能により拡張されたディスプレイ装置であっても良いことは、本発明の利点である。
入力モジュール、再生モジュール及び出力モジュールは、本発明の第3の態様による信号再生システムとして提供されても良い。
本発明の第4の態様によれば、第1の態様による方法を実装するためのコンピュータ読み取り可能なコードが提供される。
一般的に、本発明の種々の態様は、本発明の範囲内で、いずれかのとり得る方法で組み合わせられ結合されても良い。本発明のこれら及びその他の態様、特徴及び/又は利点は、以下に説明される実施例を参照しながら説明され明らかとなるであろう。
本発明の実施例が、図面を参照しながら、単に例として説明される。
図1は、3Dレンチキュラディスプレイの原理を示す。レンチキュラディスプレイは、LCDパネルディスプレイ1に基づき、該LCDパネルディスプレイ1の前面にレンズ2が取り付けられている。該レンズは特定の観測角φに対応し、観測者3は基となるLCDの画素のサブセットのみを観測する。種々の観測方向に関連する画素のサブセットに対して適切な値が設定される場合には、観測者は異なる観測角度から異なる画像を観測する。それにより、観測者3は画像の中央のビューを観測し、一方で該観測者は6で示された観測角度からは画像の側面図を観測することとなる。
各レンズは幾つかの画素4、5をカバーし、これら画素を、7で示された幾つかの画素により示されるように投射する。観測者は、画素の1つのサブセット4を右眼で観測し、画素の他のサブセット5を左眼で観測する。これによって3D体験が得られる。
図2Aは、レンチキュラディスプレイの略図を上面図で示す。該ディスプレイは、従来のLCマトリクスディスプレイパネルのような、表示要素20即ち画素のアレイを有する。ここで該画素は群で配置され、各群は画像の1つの観測方向と関連する。画素の各群はサブ画像を構成し、各サブ画像は1つの観測方向と関連する。光学素子即ちレンズが、画素から発せられた光を誘導し、画素の群から発せられた光が該群の観測方向に関連する角度分布へと向けられるようにし、それにより観測者の各眼に対して別個の画像を提供する。
レンチキュラレンズは、図示された実施例においては、画素の列に対して僅かな角度で即ち斜めに配置されており、これにより該レンズの主縦軸が、表示要素の列方向に対して角度を付けられている。該配置においては、観測者は、レンズの方向22に沿ってサンプリングされる点を観測することとなる。9ビューのディスプレイにおいては、9個の画像(各ビュー方向に対して1個)が同時に計算され、サブ画像に関連する画素の群に表示される。画素が発光させられると、該画素の上にあるレンズ全体が照射され(21)(このことは図2Bに示される)、これにより特定の観測方向について該画素の上にあるレンズ全体が観測される。
図1、2A及び2BはLCDレンチキュラディスプレイを示したが、本発明はこのタイプのディスプレイに限定されるものではないことは、理解されるべきである。例えば本発明は、障壁型ディスプレイのようなディスプレイにより適用されても良く、マトリクスディスプレイパネルは、LCパネルではなく、空間光変調器又はその他のタイプのディスプレイパネル(エレクトロルミネセンスパネル又はプラズマパネルのような)といった形態のものであっても良い。
単一の観測方向からの隣接するビューからのサブ画像の可視性は、クロストークのようなアーティファクトを引き起こし得る。このことは、4と2/3ディスプレイについて、即ち各レンズが水平方向に4と2/3個の画素をカバーするディスプレイについて、観測角の関数として可視光Iを示した図3において示される。異なるサブ画像からの角度分布30乃至34がオーバラップしていることが分かる。観測者に知覚される画像は、各角度分布からの光の合計であり、本例については、3つのサブ画像が、各観測方向の知覚画像に寄与することが分かる。
本発明の発明者は、適切なフィルタリングにより、クロストーク、ゴースト画像及びエイリアシングに関する問題が除去又は少なくとも低減され得ることを認識した。
これらの問題は、3Dディスプレイについての再生を、実際の3次元フィルタリング処理とみなすことにより対処される。ディスプレイ40の各位置(x,y)及び観測角φについて、強度(又は輝度)関数L(x,y,φ)が与えられる。該強度関数は、ディスプレイの強度(又はディスプレイからの輝度発光)を記述する。
図4Aは、ユーザが全ての方向から同一の画像を観測する、通常の2Dディスプレイの状況を示す。理想的な3Dディスプレイにおいては(図4B)、観測者は異なる観測方向から異なる画像を観測する。即ち、2つの観測方向41及び42からは、異なる画像が観測される。
観測者が異なる観測方向から異なる画像を観測することは、強度関数に反映される。2Dディスプレイに関連する強度関数は、種々の観測角φについて一定である(図5A)。一方、3Dディスプレイに関連する強度関数は観測角φの関数であり、この例は図5Bに与えられる。
図6は、強度関数のバンドパスフィルタリングの効果を示す。該フィルタリングの後、ビュー依存の強度関数は、複数のサブ画像にサンプリングされる。その結果の画素値は、該サブ画像がディスプレイ上に形成されるように、該ディスプレイに割り当てられる。
図6は、強度のグラフ60を観測角の関数として示す。61で示された破線は、元の強度関数を示す。62で示された点線は、ローパスフィルタリングが適用された後の関数を示し、63で示される連続線は、ハイパスフィルタリングが適用された後の関数を示す。本例においては、ローパスフィルタリングが最初に適用され、次いでハイパスフィルタリングが適用される。その結果の、サブ画像にサンプリングされた強度関数は、本例においては、両方のバンドパスフィルタリングを適用した後の関数63である。
ローパスフィルタリングは、ディスプレイのビューの数に依存する8又は9個のような少ない数のサブ画像への強度関数のサンプリングに関連する、典型的にはエイリアス問題のような問題を緩和する。該ローパスフィルタリングにおいて、ナイキスト周波数よりも高い周波数が除去される。ハイパスフィルタリングは、観測方向においてぼけ(blur)をもたらすクロストークに関連する問題を緩和する。ハイパスフィルタリングは、高周波数(例えばナイキスト周波数よりも低い周波数)を、これら周波数を増大させることにより、即ち所定の周波数よりも高い周波数に対して正の利得を加えることにより、増幅する。ハイパスフィルタリングとローパスフィルタリングとの組み合わせは図6に示されるが、これらフィルタリングは別個に適用されても良く、ハイパスフィルタリングのみが適用されても良いし又はローパスフィルタリングのみが適用されても良い。ハイパスフィルタリングとローパスフィルタリングとの組み合わせが適用される実施例については、フィルタリングの順序は図6の順序と異なっても良い。バンドパスフィルタリングは、ビュー依存の座標即ちφのフーリエ変換によって、又はその他の適切な変換によって、実行されても良い。
一実施例において、観測者に示されるべき画像データを含む信号が、入力モジュールに入力される。再生モジュールにおいて、該入力された画像データからビュー依存の強度関数が再構築又は決定される。該再生モジュールは、典型的にはプロセッサユニットである。ビュー依存の強度関数は、光学素子の配置に従って(例えばレンズの数、レンズのタイプ又は形状、レンズの位置等を考慮することによって)、再構築又は生成されても良い。ビュー依存の強度関数はまた、2.5Dビデオフォーマットのような、画像の色及び深度情報を含む入力信号から再構築されても良い。ビュー依存の強度関数はまた、多数の観測方向からの画像を記述する、多数の画像のような、いずれかの数のビューから再構築されても良い。ビュー依存の座標の空間フィルタリングもまた再生モジュールにおいて適用され、フィルタリングされた強度関数が出力モジュールにおいて複数のサブ画像に対して出力される。各サブ画像は、表示要素の群及び画像の観測方向に関連する。入力モジュール、再生モジュール及び出力モジュールは、別個のエンティティである必要はないが、別個のエンティティであっても良い。
再生モジュールはまた、更なる再生機能を画像データに適用しても良い。例えば、画像データは、観測解像度に対して適切にスケーリングされ、色が調節される等しても良い。画像信号の再生は、異なる色成分について別個に実行されても良く、ビュー依存の強度関数が画像の少なくとも1つの色成分ついて決定され、該画像の少なくとも1つの色成分に空間フィルタリングが適用されても良い。例えば、RGB信号においては、緑成分が最も明るい成分であるため、空間フィルタリングは一実施例においては緑成分にのみ適用されても良い。
ビュー依存の強度関数は、任意の数の観測方向にサンプリングされても良く、それにより画素が整数個のビュー数に関連しないディスプレイ(例えば4.4999ビューシステム)に適用可能なビュー依存の強度関数を再生しても良い。該状況においては、ディスプレイの各画素について、非整数のビュー数が計算され、ビュー依存の強度関数は画素の位置においてサンプリングされる。非整数ディスプレイに対する強度関数のサンプリングは、観測距離補正のために適用され得る。通常マルチビューディスプレイは、特定の観測距離に対して最適化されている。特定の画素が第1の観測距離から観測され、同一の画像が第2の観測距離から観測されるべき場合には、異なる画素が画素値を割り当てられる。観測点が画面に近づく又は遠ざかる方向に移動するにつれて、画素に割り当てられるビューの数は変化する。しかしながら、このことは小さな補正であり、分数個のビュー数に帰着する。一実施例においては、該補正はレンズ幅のために利用される値を調節することにより為され得る。観測点が近くなるにつれてレンズは僅かに多くの画素をカバーするように見え、観測点が遠ざかるとその逆となるからである。
一実施例においては、再生を実行するため2つの段が利用される。第1の段において、空間ドメインにおいて適切な前置フィルタリングを利用して幾つかの中間ビューが再生される。該前置フィルタリングは、中間ビューが適切な中間解像度で生成されること、エイリアシングのようなアーティファクトが再生処理によって引き起こされないこと、等を確実にする。各出力ラインについて、このことは、レンズのそれぞれに対して、計算されたビューのそれぞれに対応する幾つかのRGB色に帰着する。
第2の段において、観測方向における連続的な信号がビューサンプルから再構築され(即ち強度関数が再構築される)、適切な空間フィルタリングされた関数(即ち図6において63で示された強度曲線に対応する関数)を利用して当該空間位置について必要とされる出力ビューに再サンプリングされる。このことは、1つの空間位置について、ビュー信号の1D再構築によって為され得る。代替として、4と1/2(9個のビュー)及び4と2/3(7又は14個のビュー)ディスプレイのような、1つよりも多いビューが(隣接するレンズからの)所定の方向から可視となるようなディスプレイについては、隣接するレンズからのサンプルを考慮に入れ、2Dフィルタリングを実行することも可能である。
該2段の手法は、非常に一般的である。第1の段において生成されるビューの数は、出力のために必要とされるビューの数とは異なる数についてさえ、パラメータ化されても良い。幾つかの画像が既に利用可能である場合(例えば複数のカメラによるショット又はCGIを利用して生成されたショット)、第2の段はこれら画像をインタリーブするために利用されても良く、このようにして例えば9ビューディスプレイのための9個の画像ショットが、14(4と2/3)ディスプレイのために再生されることができる。
本手法の一般性のため、第2の段において必要とされない色が第1の段において計算されても良い。特定のディスプレイタイプのための最適な効率的実装のために、アルゴリズムが特殊化されても良い。
図7は、本発明の実施例のフロー図を示す。第1のステップ70において、画像のためのビュー依存の画像データが、例えば入力モジュールにおいて供給される。該画像についてのビュー依存の強度関数が次いで、入力データから生成され又は供給される(71)。続いて、例えば再生モジュールにおいて、前記強度関数のビュー依存の座標に対して空間フィルタリングが適用され(72)、ビュー依存の強度関数が複数のサブ画像にサンプリングされる(73)。各サブ画像は、画像の観測方向に関連する。該サンプリングは、出力モジュールにおいて実行されても良い。
図面において示された特徴の幾つかは典型的にはソフトウェアで実装され、それ自体がソフトウェアウェアモジュール又はオブジェクトのようなソフトウェアエンティティを表す。
本発明は、ハードウェア、ソフトウェア、ファームウェア又はこれらのいずれかの組み合わせを含む、いずれの適切な形態で実装されても良い。本発明は、1以上のデータプロセッサ及び/又はディジタル信号プロセッサ上で動作するコンピュータソフトウェアとして実装されても良い。本発明の実施例の要素及びコンポーネントは、物理的、機能的及び論理的に、いずれの適切な態様で実装されても良い。実際に、機能は単一のユニットで実装されても良いし、複数のユニットで実装されても良いし、又は他の機能ユニットの一部として実装されても良い。従って、本発明は単一のユニットで実装されても良いし、種々のユニット及びプロセッサ間で物理的及び機能的に分散されても良い。
本発明は好適な実施例と関連して説明されたが、本発明はここで開示された特定の形態に限定されることを意図したものではない。本発明の範囲は、添付する請求項によってのみ限定される。
本節において、本発明の明確且つ完全な理解を提供するために、開示された実施例の特定の具体的な詳細は、限定ではなく説明の目的で示された。しかしながら、本発明は、本開示の精神及び範囲から著しく逸脱することなく、ここで開示された詳細に正確には合致しない他の実施例において実施され得ることは、当業者には容易に理解されるべきである。更に、これに関連して、簡潔さ及び明確さのため、良く知られた装置、回路及び方法の詳細な説明は、不必要な詳説及び起こり得る混乱を回避するために省略されている。
参照記号が請求項に包含されているが、該参照記号の包含は単に明確さのためのものであり、請求の範囲を限定するものとして解釈されるべきではない。
3Dレンチキュラディスプレイの原理を示す。 レンチキュラディスプレイの略図を上面図で示す。 レンチキュラディスプレイの略図を上面図で示す。 隣接するビューからのサブ画像間のクロストークを示す。 2Dディスプレイについて、種々の角度から固定点を観測する観測者を示す。 3Dレンチキュラディスプレイについて、種々の角度から固定点を観測する観測者を示す。 ビュー依存の強度関数の例を示す。 ビュー依存の強度関数の例を示す。 強度関数のバンドパスフィルタリングの効果を示す。 本発明の実施例のフロー図を示す。

Claims (15)

  1. マルチビューディスプレイのための画像データを再生する方法であって、
    画像についてのビュー依存の画像データを供給するステップと、
    前記画像についてのビュー依存の強度関数を決定するステップと、
    前記強度関数のビュー依存の座標に対して空間フィルタリングを適用するステップと、
    前記ビュー依存の強度関数を複数のサブ画像にサンプリングするステップと、
    を有し、各前記サブ画像は前記画像の観測方向に関連する方法。
  2. 前記空間フィルタリングはハイパスフィルタリングである、請求項1に記載の方法。
  3. 前記空間フィルタリングはローパスフィルタリングである、請求項1に記載の方法。
  4. 前記空間フィルタリングは、ハイパスフィルタリングとローパスフィルタリングとの組み合わせである、請求項1に記載の方法。
  5. 前記ハイパスフィルタリングは、所定の周波数を超える周波数に対して正の利得を加える、請求項2に記載の方法。
  6. 前記ローパスフィルタリングにおいて、ナイキスト周波数を超える周波数が除去される、請求項3に記載の方法。
  7. 前記ビュー依存の強度関数は、前記画像の少なくとも1つの色成分について決定され、前記空間フィルタリングは、前記画像の前記少なくとも1つの色成分に適用される、請求項1に記載の方法。
  8. 前記ビュー依存の強度関数は、光学素子の配置に従って生成される、請求項1に記載の方法。
  9. 前記ビュー依存の強度関数は、色及び深度情報を含む画像フォーマットから生成される、請求項1に記載の方法。
  10. 前記ビュー依存の強度関数は、多数の画像から生成される、請求項1に記載の方法。
  11. 前記ビュー依存の強度関数は、任意の数の観測方向にサンプリングされる、請求項1に記載の方法。
  12. 前記画像データの画像フォーマットは2.5Dビデオ画像フォーマットである、請求項1に記載の方法。
  13. マルチビューディスプレイ装置であって、前記装置は、
    それぞれが画像の観測方向に関連する群に配置された表示要素のアレイを有するディスプレイパネルと、
    前記表示要素の群から発せられた光が前記群の観測方向に関連する角度分布に向けられるように、前記ディスプレイパネルから発せられる光を導くための光学素子と、
    画像についてのビュー依存の画像データを受信するための入力モジュールと、
    前記画像についてのビュー依存の強度関数を決定し、前記強度関数のビュー依存の座標に対して空間フィルタリングを適用するための再生モジュールと、
    前記ビュー依存の強度関数を複数のサブ画像に出力するための出力モジュールと、
    を有し、各前記サブ画像は前記表示要素の群及び前記画像の観測方向に関連する装置。
  14. 画像についてのビュー依存の画像データを受信するための入力モジュールと、
    前記画像についてのビュー依存の強度関数を決定し、前記強度関数のビュー依存の座標に対して空間フィルタリングを適用するための再生モジュールと、
    前記ビュー依存の強度関数を出力するための出力モジュールと、
    を有する信号再生システム。
  15. 請求項1に記載の方法を実装するためのコンピュータ読み取り可能なコード。
JP2008538476A 2005-11-04 2006-10-31 マルチビューディスプレイのための画像データの再生 Pending JP2009515404A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP05110369 2005-11-04
PCT/IB2006/054025 WO2007052216A1 (en) 2005-11-04 2006-10-31 Rendering of image data for multi-view display

Publications (1)

Publication Number Publication Date
JP2009515404A true JP2009515404A (ja) 2009-04-09

Family

ID=37810305

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008538476A Pending JP2009515404A (ja) 2005-11-04 2006-10-31 マルチビューディスプレイのための画像データの再生

Country Status (7)

Country Link
US (1) US9532038B2 (ja)
EP (1) EP1946566B1 (ja)
JP (1) JP2009515404A (ja)
CN (1) CN101300855B (ja)
AT (1) ATE480106T1 (ja)
DE (1) DE602006016635D1 (ja)
WO (1) WO2007052216A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11016579B2 (en) 2006-12-28 2021-05-25 D3D Technologies, Inc. Method and apparatus for 3D viewing of images on a head display unit
US11228753B1 (en) 2006-12-28 2022-01-18 Robert Edwin Douglas Method and apparatus for performing stereoscopic zooming on a head display unit
US11275242B1 (en) 2006-12-28 2022-03-15 Tipping Point Medical Images, Llc Method and apparatus for performing stereoscopic rotation of a volume on a head display unit
US11315307B1 (en) 2006-12-28 2022-04-26 Tipping Point Medical Images, Llc Method and apparatus for performing rotating viewpoints using a head display unit

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101322418B (zh) 2005-12-02 2010-09-01 皇家飞利浦电子股份有限公司 图像信号的深度相关的滤波
JP4958689B2 (ja) * 2007-08-30 2012-06-20 学校法人早稲田大学 立体画像生成装置およびプログラム
TWI457853B (zh) * 2009-03-24 2014-10-21 Ind Tech Res Inst 提供深度資訊之影像處理方法及其影像處理系統
KR101728821B1 (ko) 2010-09-28 2017-05-04 삼성디스플레이 주식회사 3차원 표시 장치
US20120229595A1 (en) * 2011-03-11 2012-09-13 Miller Michael L Synthesized spatial panoramic multi-view imaging
WO2013027280A1 (ja) * 2011-08-24 2013-02-28 株式会社東芝 画像処理装置及び方法、並びに、立体画像表示装置
US9756316B2 (en) * 2013-11-04 2017-09-05 Massachusetts Institute Of Technology Joint view expansion and filtering for automultiscopic 3D displays
US9967538B2 (en) 2013-11-04 2018-05-08 Massachussetts Institute Of Technology Reducing view transitions artifacts in automultiscopic displays

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3612658A (en) * 1970-02-16 1971-10-12 Gen Dynamics Corp Signal analyzer having varying bandwidth resolution
US4698816A (en) * 1982-12-20 1987-10-06 General Electric Co. Optical transmission filter
US5177611A (en) * 1990-07-31 1993-01-05 Rca Licensing Corporation Method and apparatus for canceling quadrature distortion as for video signals having in-phase and quadrature phase components
US6392689B1 (en) * 1991-02-21 2002-05-21 Eugene Dolgoff System for displaying moving images pseudostereoscopically
US5412423A (en) * 1991-05-01 1995-05-02 Canon Kabushiki Kaisha Still image recording apparatus which prevents aliasing distortion by forming color difference signals having respectively mixed and weighted luminance signals
US6347163B2 (en) * 1994-10-26 2002-02-12 Symbol Technologies, Inc. System for reading two-dimensional images using ambient and/or projected light
KR0176520B1 (ko) * 1995-07-11 1999-05-01 김광호 입체 투영장치
US6055012A (en) * 1995-12-29 2000-04-25 Lucent Technologies Inc. Digital multi-view video compression with complexity and compatibility constraints
US6400403B1 (en) * 1996-07-03 2002-06-04 Sony Corporation Solid-state imaging device having improved resolution without generating a pseudo signal
WO1998004087A1 (fr) * 1996-07-18 1998-01-29 Sanyo Electric Co., Ltd. Dispositif et procede pour convertir des signaux video bidimensionnels en signaux video tridimensionnels
GB2317291A (en) * 1996-09-12 1998-03-18 Sharp Kk Observer tracking directional display
US6157402A (en) * 1997-02-13 2000-12-05 Torgeson; W. Lee Autostereoscopic image presentation system using a screen assembly
GB9713658D0 (en) * 1997-06-28 1997-09-03 Travis Adrian R L View-sequential holographic display
US7006132B2 (en) * 1998-02-25 2006-02-28 California Institute Of Technology Aperture coded camera for three dimensional imaging
GB2336963A (en) 1998-05-02 1999-11-03 Sharp Kk Controller for three dimensional display and method of reducing crosstalk
US6359693B2 (en) * 1999-02-04 2002-03-19 Cymer, Inc. Double pass double etalon spectrometer
GB2358980B (en) 2000-02-07 2004-09-01 British Broadcasting Corp Processing of images for 3D display
HU0000752D0 (en) * 2000-02-21 2000-04-28 Pixel element for three-dimensional screen
US6999110B2 (en) * 2000-08-30 2006-02-14 Japan Science And Technology Corporation Three-dimensional image display system
WO2002029718A2 (en) 2000-10-04 2002-04-11 Sun Microsystems, Inc. Dynamic depth-of-field emulation based on eye-tracking
AU2003263557A1 (en) 2002-10-23 2004-05-13 Koninklijke Philips Electronics N.V. Method for post-processing a 3d digital video signal
EP1460857A1 (en) 2003-03-17 2004-09-22 Deutsche Thomson-Brandt Gmbh Method and device for compensating ghost images in time sequential stereoscopic images
JP4002875B2 (ja) 2003-09-16 2007-11-07 株式会社東芝 立体画像表示装置
JP4125252B2 (ja) * 2004-03-02 2008-07-30 株式会社東芝 画像生成装置、画像生成方法、及び画像生成プログラム
US8521411B2 (en) * 2004-06-03 2013-08-27 Making Virtual Solid, L.L.C. En-route navigation display method and apparatus using head-up display
JP4652727B2 (ja) * 2004-06-14 2011-03-16 キヤノン株式会社 立体画像生成システムおよびその制御方法
US7324687B2 (en) * 2004-06-28 2008-01-29 Microsoft Corporation Color segmentation-based stereo 3D reconstruction system and process
JP2006030507A (ja) * 2004-07-15 2006-02-02 Toshiba Corp 三次元空間画像表示装置及び三次元空間画像表示方法
US7728878B2 (en) * 2004-12-17 2010-06-01 Mitsubishi Electric Research Labortories, Inc. Method and system for processing multiview videos for view synthesis using side information
US7468745B2 (en) * 2004-12-17 2008-12-23 Mitsubishi Electric Research Laboratories, Inc. Multiview video decomposition and encoding
ES2860754T3 (es) * 2005-04-29 2021-10-05 Koninklijke Philips Nv Un aparato de visualización estereoscópica
JP4215782B2 (ja) * 2005-06-30 2009-01-28 富士通テン株式会社 表示装置、および表示装置の音声調整方法
US7609906B2 (en) * 2006-04-04 2009-10-27 Mitsubishi Electric Research Laboratories, Inc. Method and system for acquiring and displaying 3D light fields
US7916934B2 (en) * 2006-04-04 2011-03-29 Mitsubishi Electric Research Laboratories, Inc. Method and system for acquiring, encoding, decoding and displaying 3D light fields

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11016579B2 (en) 2006-12-28 2021-05-25 D3D Technologies, Inc. Method and apparatus for 3D viewing of images on a head display unit
US11036311B2 (en) 2006-12-28 2021-06-15 D3D Technologies, Inc. Method and apparatus for 3D viewing of images on a head display unit
US11228753B1 (en) 2006-12-28 2022-01-18 Robert Edwin Douglas Method and apparatus for performing stereoscopic zooming on a head display unit
US11275242B1 (en) 2006-12-28 2022-03-15 Tipping Point Medical Images, Llc Method and apparatus for performing stereoscopic rotation of a volume on a head display unit
US11315307B1 (en) 2006-12-28 2022-04-26 Tipping Point Medical Images, Llc Method and apparatus for performing rotating viewpoints using a head display unit
US11520415B2 (en) 2006-12-28 2022-12-06 D3D Technologies, Inc. Interactive 3D cursor for use in medical imaging

Also Published As

Publication number Publication date
CN101300855A (zh) 2008-11-05
US9532038B2 (en) 2016-12-27
ATE480106T1 (de) 2010-09-15
EP1946566A1 (en) 2008-07-23
US20080291268A1 (en) 2008-11-27
DE602006016635D1 (de) 2010-10-14
CN101300855B (zh) 2010-06-09
WO2007052216A1 (en) 2007-05-10
EP1946566B1 (en) 2010-09-01

Similar Documents

Publication Publication Date Title
US9595128B2 (en) Depth dependent filtering of image signal
JP2009515404A (ja) マルチビューディスプレイのための画像データの再生
JP5011316B2 (ja) 出力画像のレンダリング
JP4861309B2 (ja) 2.5dグラフィックスをレンダリングするためのゴースト・アーチファクト削減
JP5213701B2 (ja) レンダリング方法、信号処理システム、ディスプレイ装置及びコンピュータ可読媒体
US8767046B2 (en) Image based 3D video format
JP5150255B2 (ja) ビューモードの検出
JP5706826B2 (ja) 3d画像信号を符号化する方法及びシステム、符号された3d画像信号、3d画像信号を復号する方法及びシステム
JP4762994B2 (ja) 視差マップ
JP5366547B2 (ja) 立体視表示装置
EP1839267B1 (en) Depth perception
EP1599053A2 (en) Method for displaying three-dimensional image, method for capturing three-dimensional image, and three-dimentional display apparatus
US20010048507A1 (en) Processing of images for 3D display
JP2006520921A (ja) 3次元ディスプレイ用自動立体視再現システム
CA2666393A1 (en) Method and device for the creation of pseudo-holographic images
JP2010226500A (ja) 立体画像表示装置および立体画像表示方法
Ludé New Standards for Immersive Storytelling through Light Field Displays
Tövissy et al. AUTOMATED STEREOSCOPIC IMAGE CONVERSION AND RECONSTRUCTION. DISPLAYING OBJECTS IN THEIR REAL DIMENSIONS (STEREOSCOPIC IMAGE CONVERSION)
Brouwer Frequency analysis on a 3D display

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091028

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111129

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120229

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120516

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120605

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120905

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120912

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20120920

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121205

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130108