JP2011511508A - マルチビューディスプレイ内の知覚される画像クロストークを低減する方法 - Google Patents

マルチビューディスプレイ内の知覚される画像クロストークを低減する方法 Download PDF

Info

Publication number
JP2011511508A
JP2011511508A JP2010541476A JP2010541476A JP2011511508A JP 2011511508 A JP2011511508 A JP 2011511508A JP 2010541476 A JP2010541476 A JP 2010541476A JP 2010541476 A JP2010541476 A JP 2010541476A JP 2011511508 A JP2011511508 A JP 2011511508A
Authority
JP
Japan
Prior art keywords
image
display
image field
perceived
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010541476A
Other languages
English (en)
Other versions
JP2011511508A5 (ja
JP5390533B2 (ja
Inventor
イー. キャスナー,グレン
シー. シュルツ,ジョン
ジェイ. サイコラ,マイケル
イー. ブルックス,ブライアン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
3M Innovative Properties Co
Original Assignee
3M Innovative Properties Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 3M Innovative Properties Co filed Critical 3M Innovative Properties Co
Publication of JP2011511508A publication Critical patent/JP2011511508A/ja
Publication of JP2011511508A5 publication Critical patent/JP2011511508A5/ja
Application granted granted Critical
Publication of JP5390533B2 publication Critical patent/JP5390533B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/144Processing image signals for flicker reduction
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/16Determination of a pixel data signal depending on the signal applied in the previous frame

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

マルチビューディスプレイ内の知覚される画像クロストークを低減する方法。一方法は、ディスプレイの第1の側からディスプレイの反対側の第2の側まで延在する水平次元を有するディスプレイに、画像ストリームを供給する工程を含む。画像ストリームは、画像の時系列を含み、ディスプレイ上に少なくとも第1の画像視野及び次に第2の画像視野が時間配列的に表示される。画像の時系列が表示される前に、画像の時系列を調節して、前記第1の画像視野と第2の画像視野との間の知覚される表示画像クロストークを低減する。調節する工程は、水平次元のための不均一クロストーク補正関数に基づいて、水平次元に沿った、少なくとも選択された画素の色強度を修正する工程を含む。

Description

本開示は、マルチビューディスプレイ内の知覚される画像クロストークを低減する方法に関する。
マルチビューディスプレイは、画像クロストーク又はゴースト画像と呼ばれるかく乱効果に悩まされる。画像クロストークは、1つの視点が別の視点のために意図された刺激を受けるときに発生する。これにより、その画像の上に、知覚される又は目に見える影又はゴーストが発生し、これが鑑賞者のディスプレイ体験を低下させ、又は妨害さえする。
ディスプレイにおける2種類の画像クロストークには、光学的画像クロストーク及びタイミング画像クロストークがある。タイミング画像クロストークとは、光源及びディスプレイパネル上の画像表示のタイミングを指す。したがって、ディスプレイパネルに供給される第2の画像の照明以前に第1の視野画像を消去できない場合、第1の視野画像が正しくない視点から認識でき、タイミング画像クロストークを招く。
光学的画像クロストークとは、第1の視野から他の視野に展開し、拡散し、ないしは別の方法で分散した光の任意の非理想的な光学的分布を指す。例えば、第2の視野画像の空間的又は角度的位置において第1の視野画像からの光の輝度が非ゼロである場合、タイミング画像クロストークと同様に、第1の視野画像が正しくない視点から認識でき、光学的画像クロストークを招く。
本開示は、マルチビューディスプレイ内の知覚される画像クロストークを低減する方法に関する。具体的には、本開示は、マルチビュー画像を調節して、マルチビューディスプレイ内で知覚される画像クロストークを低減する方法を提供する。この調節する工程は、知覚画像が低減された量の知覚される画像クロストークを有するように各画像視野の画素輝度を変更又は修正することで、観察者の鑑賞体験を改善する、減算式クロストーク低減法を含む。多くの実施形態において、この調節する工程は、ディスプレイの水平次元に既知の不均一クロストーク関数を適用することによって、ディスプレイの水平次元の少なくとも選択された画素の各マルチビュー画像フレームの色強度を修正するソフトウェアによって、実行される。
第1の実施形態において、この方法は、ディスプレイに画像ストリームを供給する工程を含む。このディスプレイは、ディスプレイの第1の側からディスプレイの反対側の第2の側まで延在する水平次元を含む。画像ストリームは、画像の時系列を含み、ディスプレイ上に少なくとも第1の画像視野及び次に第2の画像視野が時間配列的に表示される。画像の時系列がディスプレイ上に表示される前に、画像の時系列を調節して、少なくとも第1の画像視野と第2の画像視野との間の知覚される表示画像クロストークを低減する。この調節する工程は、水平次元のための不均一クロストーク補正関数に基づいて、水平次元に沿った、少なくとも選択された画素の色強度を修正する工程を含む。
別の実施形態において、この方法は、ディスプレイに画像ストリームを供給する工程を含む。このディスプレイは、ディスプレイの第1の側からディスプレイの反対側の第2の側まで延在する水平次元を含む。画像ストリームは、画像の時系列を含み、ディスプレイ上に少なくとも第1の画像視野及び次に第2の画像視野が時間配列的に表示される。画像の時系列がディスプレイ上に表示される前に、画像の時系列を調節して、少なくとも第1の画像視野と第2の画像視野との間の知覚される表示画像クロストークを低減する。この調節する工程は、水平次元のための不均一クロストーク補正関数に基づいて、水平次元に沿った、少なくとも選択された画素の色強度を修正する工程、及び第1の画像視野及び第2の画像視野の色強度の範囲を再スケーリングして修正された色強度が色強度の範囲内となるようにする工程を含む。
別の実施形態において、マルチビューディスプレイ内の知覚される画像クロストークを低減する方法は、ディスプレイに画像ストリームを供給する工程を含む。このディスプレイは、ディスプレイの第1の側からディスプレイの反対側の第2の側まで延在する水平次元を含む。この画像ストリームは、少なくとも第1の画像視野及び第2の画像視野を含む。ディスプレイ上に第1の画像視野及び第2の画像視野が表示される前に、第1の画像視野及び第2の画像視野を調節して、少なくとも第1の画像視野と第2の画像視野との間の知覚される表示画像クロストークを低減する。この調節する工程は、水平次元のための不均一クロストーク補正関数に基づいて、水平次元に沿った、少なくとも選択された画素の色強度を修正する工程を含む。
添付の図面と共に以下の本発明の様々な実施形態の詳細な説明を検討することで、本発明はより完全に理解され得る。
例示的なディスプレイ装置の概略的側面図。 動作中である図1の例示的なディスプレイ装置の概略的側面図。 動作中である図1の例示的なディスプレイ装置の概略的側面図。 別の例示的なディスプレイ装置の概略的側面図。 動作中である図3の例示的なディスプレイ装置の概略的側面図。 動作中である図3の例示的なディスプレイ装置の概略的側面図。 例示的なディスプレイの概略的正面図。 第1の方向及び第2の方向の水平画素線に沿ったクロストーク率の例示的なグラフ。 マルチビューディスプレイ内の知覚される画像クロストークを低減する一例示的方法のフローチャート。 マルチビューディスプレイ内の知覚される画像クロストークを低減する別の例示的方法のフローチャート。
図面は、必ずしも縮尺に従っていない。図面で用いられる同様の番号は、同様の構成要素を指す。しかしながら、所定の図中の構成要素を指す数字の使用は、同じ数字を付けられた別の図中の構成要素を限定することを意図するものではないことが理解されよう。
以下の記述において、本明細書の一部を構成する添付の図面を参照し、幾つかの特定の実施形態を例として示す。本発明の範囲又は趣旨を逸脱せずに、その他の実施形態が考えられ、実施され得ることを理解すべきである。したがって、以下の「発明を実施するための形態」は、限定する意味で理解すべきではない。
本発明で使用する全ての科学用語及び専門用語は、特に指示がない限り、当該技術分野において一般的に使用される意味を有する。本明細書にて提供される定義は、本明細書でしばしば使用される特定の用語の理解を促進しようとするものであり、本開示の範囲を限定するものではない。
他に指示がない限り、本明細書及び特許請求の範囲で使用される形状、量、物理特性を表わす数字はすべて、どの場合においても用語「約」によって修飾されるものとして理解されるべきである。それ故に、そうでないことが示されない限り、前述の明細書及び添付の特許請求の範囲で示される数値パラメータは、当業者が本明細書で開示される教示内容を用いて、目標対象とする所望の特性に応じて、変化し得る近似値である。
端点による数値範囲の詳述には、その範囲内に組み入れられる全ての数(例えば1〜5には、1、1.5、2、2.75、3、3.80、4、及び5が包含される)、並びにその範囲内の任意の範囲が包含される。
本明細書及び添付の特許請求の範囲において使用されるとき、単数形「a」、「an」及び「the」は、その内容が特に明確に指示しない限り、複数の指示対象を有する実施形態を包含する。
「オート立体的」という用語は、ユーザー又は鑑賞者の側で専用のヘッドギア又は眼鏡を使用することなく視聴されることができる3次元画像を表示することを指す。これらの方法は、画像が平面デバイスによって作製されたとしても、鑑賞者に奥行き感覚を作り出す。立体的3Dという用語は、オート立体的装置の分野を含むが、平坦なディスプレイからの立体的3Dを見るために専用のヘッドギア、例えばシャッター眼鏡又は偏光眼鏡が必要となる立体的3D表示の場合をも含む。
液晶ディスプレイは、サンプルホールド表示装置であり、任意の特定の点での画像は、その点又はピクセルが次の画像リフレッシュ時間、通常は1/60秒又はそれより速い時間内で更新されるまで安定している。そのようなサンプルホールド式のシステムにおいて、ディスプレイの順次的なリフレッシュ期間中に、異なる画像、具体的には、3D表示用の交互に入れ替わる左用画像と右用画像とを表示するには、例えば、左目用光源が右目用のデータの表示中にはオンとならず、逆もまた同様となるように、バックライト光源の綿密なシーケンスが要求される。
本開示は、マルチビューディスプレイ内で知覚される画像クロストークを低減する方法に関する。本開示は、画像視野を調節して、マルチビューディスプレイ内の知覚される画像クロストークを低減する工程を提供する。この調節する工程は、知覚画像が低減された量の知覚される画像クロストークを有するように各画像視野の画素輝度を変更又は修正することで、観察者の鑑賞体験を改善する、減算式クロストーク低減法を含む。多くの実施形態において、この調節する工程は、少なくとも選択された水平画素線に既知の不均一クロストーク関数を適用することによって、少なくともこれら水平画素線の少なくとも選択された画素の各画像視野フレームの色強度を修正するソフトウェアによって、実行される。多くの実施形態において、このクロストーク関数は、選択された画素線について経験的に決定され、画素線の反対方向については、画素線に沿って異なってもよい。修正された画像は、時間的に順番に表示されて、知覚される画像クロストークを低減することができる。開示の方法は、不均一なクロストーク及び/又は均一なクロストークに対応するように実施できる。例えば、クロストーク補正アルゴリズムは、ディスプレイ上の任意の特定の場所におけるクロストークの量に関する詳細な情報を使用して、画素ごとのクロストークを補正できる。本発明を限定するものではないが、本発明の種々の態様は以下に提供する実施例の考察を通して正しく認識されるであろう。
図1は、例示的な立体的ディスプレイ装置10の概略的側面図である。ディスプレイ装置は、10ミリ秒未満、5ミリ秒未満、又は3ミリ秒未満のフレーム応答時間を有する液晶ディスプレイパネル20、及び液晶ディスプレイパネル20に光を供給するように配置されたバックライト30を含む。バックライト30は、少なくとも90ヘルツの速度で、右目用画像の固体光源32と左目用画像の固体光源34との間で変調されることが可能な、右目用画像の固体光源32及び左目用画像の固体光源34を含む。両面プリズムフィルム40が、液晶ディスプレイパネル20とバックライト30との間に設けられている。
液晶ディスプレイパネル20及び/又はバックライト30は、任意の有効な形状又は外形を有することができる。多くの実施形態において、液晶ディスプレイパネル20及びバックライト30は、正方形又は長方形の形状を有する。しかしながら、幾つかの実施形態では、液晶ディスプレイパネル20及び/又はバックライト30は、4つを超える辺を有するか又は湾曲した形状である。図1は、シャッター眼鏡又は1つを超える光導体及びそれに関連した液晶ディスプレイパネルを必要とするものを含めた任意の立体的3Dバックライトに関するが、本開示は、オート立体的ディスプレイに特に有用である。他の実施形態において、ディスプレイはOLEDディスプレイ、プラズマディスプレイなどである。
同期駆動要素50は、バックライト30の光源32、34及び液晶ディスプレイパネル20と電気的に接続されている。同期駆動要素50は、1秒当たり90フレーム以上の速度で、画像フレームが液晶ディスプレイパネル20に供給されるように、右目用画像の固体光源32及び左目用画像の固体光源34の作動及び停止(即ち、変調)を同期させて、ちらつきのない静止画像シーケンス、ビデオストリーム、又はレンダリングされたコンピューターグラフィックスを生成する。画像(例えば、ビデオ又はコンピューターでレンダリングされたグラフィックス)の供給源60が、同期駆動要素50に接続されており、画像フレーム(例えば、右目用画像及び左目用画像)を液晶ディスプレイパネル20に供給する。
液晶ディスプレイパネル20は、10ミリ秒未満又は5ミリ秒未満のフレーム応答時間を有する任意の透過型液晶ディスプレイパネルであってよい。10ミリ秒未満、又は5ミリ秒未満、又は3ミリ秒未満のフレーム応答時間を有する市販の透過性の液晶ディスプレイパネルは、例えば、東芝松下ディスプレイ社(Toshiba Matsushita Display)(TMD)の任意に補正されるベンド(optionally compensated bend:OCB)モードパネルLTA090A220F(日本国の東芝松下ディスプレイテクノロジー社(Toshiba Matsushita Display Technology Co., Ltd.))である。
バックライト30は、右眼用画像の固体光源32と左眼用画像の固体光源34との間で少なくとも90ヘルツ、又は100ヘルツ、又は110ヘルツ、又は120ヘルツ、又は120ヘルツを超える速度で変調され得る有用な任意のバックライトであってもよい。図示のバックライト30は、右目用画像の固体光源32に隣接する第1の光入力表面31、及びその反対側の、左目用画像の固体光源34に隣接する第2の光入力表面33、並びに光出力表面35を含む。固体光源は、少なくとも90ヘルツの速度で変調されることができる、任意の有用な固定光源であってもよい。多数の実施形態において、固体光源は、例えば日亜NSSW020B(日本、日亜化学工業社(Nichia Chemical Industries, Ltd.))などの複数の発光ダイオードである。他の実施形態において、固体光源は、複数のレーザーダイオード又は有機発光ダイオード(即ち、OLED)である。固体光源は、白、赤、青及び/又は緑などの任意の数の可視光波長を放射することができる。バックライトは、両端に光源を有する光学的に明澄な材料の単一層、又は、1層ごとに光源を有する光学的に明澄な材料の二重(又はそれ以上の)層であることができ、その二重層は、各層ごとに所望の方向に光を優先的に抽出する。
両面プリズムフィルム40は、第1の面上にレンズ構造及び対向面上にプリズム構造を有する任意の有用なプリズムであり得る。両面プリズムフィルム40は、鑑賞者が表示された画像の奥行きを知覚するように、バックライトから液晶ディスプレイパネル20へと正確な角度で光を透過する。参照によりその全文が本明細書内に組み込まれる米国特許出願公開第2005/0052750号及び第2005/0276071号には、有用な両面プリズムフィルムが説明されている。これら両面プリズムフィルムは、約60度の開放角を有し、鑑賞者の両目間の距離にほぼ等しい(即ち約6度)の画像の分離を提供する。
画像ソース60は、例えば、ビデオソース又はコンピューターでレンダリングされたグラフィックソースなどの画像フレーム(例えば、第1の画像視野及び左眼用画像視野)を供給することができる任意の有用な画像ソースであってよい。多数の実施形態において、ビデオの供給源は、50ヘルツ〜60ヘルツ以上で画像フレームを供給することができる。多数の実施形態において、コンピューターでレンダリングされたグラフィックの供給源は、100ヘルツ〜120ヘルツ以上で画像フレームを供給することができる。
コンピューターでレンダリングされたグラフィックの供給源は、ゲームコンテンツ、医学画像コンテンツ、計算機支援設計コンテンツなどを供給することができる。コンピューターでレンダリングされたグラフィックの供給源は、例えば、Nvidia FX5200グラフィックスカード、Nvidia GeForce 9750 GTXグラフィックスカード、又はラップトップコンピューターなどの可搬式のためのNvidia GeForce GO 7900 GSグラフィックスカードなどのグラフィックス処理装置を有してもよい。コンピューターでレンダリングされたグラフィックの供給源はまた、例えば、OpenGL、DirectX、又はNvidia専用の3Dステレオドライバなどの適切なステレオドライバソフトウェアを組み入れることもできる。
ビデオの供給源は、ビデオコンテンツを供給することができる。ビデオの供給源は、例えばNvidia Quadro FX1400グラフィックスカードなどのグラフィックス処理装置を有することができる。ビデオの供給源はまた、例えば、OpenGL、DirectX、又はNvidia専用の3Dステレオドライバなどの適切なステレオドライバソフトウェアを組み入れることもできる。
同期駆動要素50は、右目用画像の固体光源32及び左目用画像の固体光源34の作動及び停止(即ち変調)を、1秒当たり90フレーム以上の割合で液晶ディスプレイパネル20に供給される画像フレームと同期させて、ちらつきのないビデオ又はレンダリングされたコンピューターグラフィックスを生成する任意の有用な駆動要素を含むことができる。同期駆動要素50は、例えば特注の固体光源駆動電子装置に結合されたWestar VP−7ビデオアダプタ(ミズーリ州セントチャールズ(St. Charles)のウェスターディスプレイテクノロジーズ社(Westar Display Technologies, Inc.))などのビデオインターフェイスを有することができる。
図2A及び図2Bは、動作中である例示的な立体的ディスプレイ装置10の概略的側面図である。図2Aでは、左眼用画像の固体光源34が点灯しており、右眼用画像の固体光源32は点灯していない。この状態で、左目用画像の固体光源34から発せられた光は、バックライト30、両面プリズムシート40、及び鑑賞者又は観察者の左目1aに向けられた第1の画像視野(即ち左目用画像)を提供する液晶パネル20を透過する。
図2Bでは、右目用画像の固体光源32が点灯しており、左目用画像の固体光源34は点灯していない。この状態で、右目用の固体光源32から発せられた光は、バックライト30、両面プリズムシート40、及び鑑賞者又は観察者の右目1bに向けられた第2の画像視野(即ち右目用画像)を提供する液晶パネル20を透過する。
1秒当たり、少なくとも45枚の左目用画像及び少なくとも45枚の右目用画像(左目用画像と右目用画像とで交互に切り替わり、画像はおそらくは以前の画像の対を繰り返すものである)を鑑賞者に提供することで、ちらつきのない3D画像が鑑賞者に提供される。したがって、コンピューターでレンダリングされた画像又は静止画像カメラ若しくはビデオ画像カメラから取得された画像による、異なる右視点画像及び左視点画像の対が表示されると、光源32及び34の切り替えと同期して表示される場合、鑑賞者は2つの異なる画像を視覚的に融合することができ、フラットパネルディスプレイから奥行きの知覚が生み出される。この視覚的にちらつきのない動作の限界は、上で議論したように、液晶ディスプレイパネル上に表示されている新しい画像が安定化するまでバックライトがオンとなるべきでなく、さもなければクロストーク及び劣った立体的画像が知覚されるということである。
図3は、例示的なデュアルビュー2Dディスプレイ装置110の概略的側面図である。このディスプレイ装置は、上述のような液晶ディスプレイパネル120、及び上述のような液晶ディスプレイパネル120に光を供給するように配置されたバックライト130を含む。バックライト130は、上述の通り、少なくとも90ヘルツの速度で、右視野画像用の固体光源132と左視野画像用の固体光源134との間で変調されることが可能な、右視野画像用の固体光源132及び左視野画像用の固体光源134を含む。両面プリズムフィルム140が、液晶ディスプレイパネル120とバックライト130との間に設けられている。
同期駆動要素150は、バックライト130の光源132、134及び液晶ディスプレイパネル120と電気的に接続されている。同期駆動要素150は、上述のように、右視野画像用の固体光源132及び左視野画像用の固体光源134の作動及び停止(即ち変調)を同期させる。画像(例えば、ビデオ又はコンピューターでレンダリングされたグラフィックス)ソース160は、同期駆動要素150に接続されており、上述の通り、画像フレーム(例えば、右視野画像及び左視野画像)を液晶ディスプレイパネル120に供給する。
上述のように、バックライト130は、任意の有用なバックライトであってよい。図示のバックライト130は、右視野画像用の固体光源132に隣接する第1の光入力表面131、及びその反対側の、左視野画像用の固体光源134に隣接する第2の光入力表面133、並びに光出力表面135を含む。上述のように、固体光源は、任意の有用な固体光源であってよい。
上述のように、両面プリズムフィルム140は、第1の面上にレンズ構造及び反対側の面上にプリズム構造を有する任意の有用なプリズムフィルムであってよい。両面プリズムフィルム140は、各鑑賞者が正しく表示された画像を知覚するように、バックライトから液晶ディスプレイパネル120へと正確な角度で光を透過する。参照によりその全文が完全に説明されているかのように本明細書内に組み込まれる米国特許出願公開第2005/0052750号及び第2005/0276071号には、有用な両面プリズムフィルムが説明されている。この参照文献は、3D画像に有用な両面プリズムフィルムについて説明しているが、プリズムの開放角及びピッチを変更して、各画像視野の出力視野角を分離することで、2人の鑑賞者による鑑賞用に2つの画像視野を分離することができる。例えば、2Dデュアルビューディスプレイの各画像視野の正しい出力視野角を形成するためには、プリズム開放角は、70〜89度の範囲内であり得、プリズムピッチは、1〜50マイクロメートルの範囲内であり得る。他の実施形態では、2Dマルチビューディスプレイには、下記のように、両面プリズムフィルムは必要ない。
画像ソース160は、上述のように、例えば、ビデオソース又はコンピューターでレンダリングされたグラフィックソースなどの画像フレーム(例えば、第1の画像視野及び左眼用画像視野)を供給することができる任意の有用な画像ソースであってよい。同期駆動要素150は、上述のように、右視野画像用の固体光源132及び左視野画像用の固体光源134の駆動及び停止(即ち、変調)の同期化を行い、画像フレームを毎秒90フレーム以上の速度で液晶ディスプレイパネル120に供給して、ちらつきのないビデオ又はレンダリングされたコンピューターグラフィックスを作り出す、有用な任意の駆動要素を含むことができる。
図4A及び図4Bは、動作中である例示的なデュアルビューディスプレイ装置110の概略的側面図である。図4Aでは、左視野画像用の固体光源134が点灯しており、右視野画像用の固体光源132は点灯していない。この状態で、左視野画像用の固体光源134から発せられた光は、バックライト130、両面プリズムシート140、及び左側の鑑賞者100a又は観察者100aに向けられた第1の画像視野(即ち左視野画像)を提供する液晶パネル120を透過する。
図4Bでは、右視野画像用の固体光源132が点灯しており、左視野画像用の固体光源134は点灯していない。この状態で、右視野用の固体光源132から発せられた光は、バックライト130、両面プリズムシート140、及び右側の鑑賞者100b又は観察者100bに向けられた第2の画像視野(即ち、右視野画像)を提供する液晶パネル120を透過する。
本明細書内で説明する知覚される画像クロストークを低減する方法は、3つ以上の別個の画像視野を表示するディスプレイにも適用することができる。マルチビュー2D/3Dディスプレイの説明に役立つ実例は、例えば、この参照によってその全文が完全に説明されているかのように本明細書内に組み込まれるIJzerman et al.,「Design of 2D/3D Switchable Displays」,SID 2005 DIGEST,pg.98〜101、及びKim et al.,「A 2.4inch 4−view 3D Display」,IDW 2007,pg.2263〜2266に説明されている。これらのディスプレイの幾つかは、ディスプレイにマルチビュー画像を同時に供給する。
本開示は、画像視野を調節して、マルチビューディスプレイ内の知覚される画像クロストークを低減する工程を説明する。この調節する工程は、知覚画像が低減された量の知覚される画像クロストークを有するように各画像視野(即ち、1つ以上の画像視野)の画素輝度を変更又は修正することで、観察者の鑑賞体験を改善する、減算式クロストーク低減法を含む。概念としては、表示された画像の少なくとも選択された画素、又は各画素から輝度の量を減じて、前の画像フレーム又は次の画像フレームからの知覚される画像漏れの輝度を補正するものである。幾つかの実施形態では、表示される画素が初期の輝度を有するように画像の色強度スケールを再スケーリングして、初期の輝度を必要な量だけ修正することを可能とする。この方法は、下記のように、ソフトウェアソリューションによって達成でき、リアルタイムで実施できる。
これらの方法は、ディスプレイに画像ストリームを供給する工程と、画像ストリームの画素の色強度を調節してマルチビューディスプレイ内の知覚される画像クロストークを低減する工程と、を含む。画像ストリームは、画像の時系列を含み、ディスプレイ上に少なくとも第1の画像視野及び次に第2の画像視野が時間配列的に、又は同時に表示される。クロストークは、ディスプレイの幅の関数(不均一)として、又はディスプレイの水平次元に沿った関数として、判定され、補正される。
蛍光体残光に悩まされる立体的CRTディスプレイの画面高さの関数としての不均一クロストーク低減の方法については、参照によりその全文が完全に説明されているかのように本明細書内に組み込まれる、Smit et al.,「Non−Uniform Crosstalk Reduction for Dynamic Scenes,」IEEE Virtual Reality Conference 2007 March 10〜14,pages 139〜146の学術論文に述べられている。
図5を参照すると、ディスプレイ200は、ディスプレイの第1の側Rからディスプレイの反対側の第2の側Lまで延在する水平次元221、222、223(即ち、ディスプレイの幅に亘って)を含む。水平次元221、222、223は、第1の端部221、222、223、及び反対側の第2の端部221、222、223を有し、その間の長さを画定している。水平次元221、222、223は、第1の端部から第2の端部まで、又はその逆の方向に、ディスプレイの幅に亘って水平に延伸する、ディスプレイ上の複数の点、画素又は区域によって形成されている。水平次元は、ディスプレイの幅に亘ってを真っ直ぐに(222)延伸してもよいし、又はディスプレイの幅に亘って斜めに(221、223)延伸してもよい。
画像又は画像の時系列は、ディスプレイ上に表示される前に調節又は修正されて、少なくとも第1の画像視野と第2の画像視野との間の知覚される表示画像クロストークを低減する。この調節する工程は、水平次元のための不均一クロストーク補正関数に基づいて、水平次元に沿った、少なくとも選択された画素の色強度を修正する工程を含む。
図6は、第1の方向D及び第2の方向Dの水平次元に沿ったクロストーク率の例示的なグラフである。多くの実施形態において、クロストーク率は水平方向D若しくはD、又は水平次元の長さに亘る不均一関数である。多くの実施形態において、クロストーク率は水平方向D若しくはD、又は水平次元の長さに亘る非線形関数である。幾つかの実施形態において、クロストーク率は水平方向D若しくはD、又は水平次元の長さに亘る線形関数である。多くの実施形態において、第1の方向Dの水平次元に沿ったクロストーク率は、第2の方向Dの水平次元に沿ったクロストーク率の関数とは異なる関数である。更に、水平次元は、第1の方向D及び第2の方向Dの水平次元に沿って異なるクロストーク率を有することができる。多くの実施形態において、水平次元に亘るこれらクロストーク率の値は、特定のディスプレイについて経験的に判定され、次に、曲線適合解析が、本明細書内で説明した方法に有用な関数又は等式(幅又は長さに応じて)を提供する。
幾つかの実施形態において、各色の色強度は、各色の修正された色強度がその色の色強度の範囲内であるように、再スケーリングされる。色強度の範囲は、例えば、0〜63(6ビット)、0〜255(8ビット)、0〜1023(10ビット)、12ビット、14ビット又は16ビットなどの、任意の有用な範囲であってよい。したがって、例えば、所望の画素の色強度が10であって修正された画素の色強度が0に設定されている場合、8ビットの色強度は、20〜255に再スケーリングできる。
図7は、マルチビューディスプレイ内の知覚される画像クロストークを低減する一例示的方法のフローチャート300である。第1の工程は、ブロック310において第1の画像視野のために意図された画像を特定し、ブロック312において第2の画像視野のために意図された画像を特定する工程である。この例では、赤色310、312、緑色310、312、及び青色310、312の色強度の値が、意図された各画像視野について決定される。色マップは、例示されたRGB色マップ以外の色マップを含む、任意の有用な色マップであってよい。
知覚画像であるブロック320、322は、各色強度の値に関して、1マイナス意図された画像視野のクロストーク率プラス意図されない画像視野のクロストーク率の合成である。例えば、意図された画素の値が10であり、ディスプレイのその特定の位置のクロストークの量が10パーセントであり、意図されない画像の画素の値が100である場合、予測される知覚される画素の値は19となる。
したがって、補正された画像であるブロック330、332は、意図された画像プラス意図された画像と予測される知覚される画像との差に等しい。例えば、意図された画像の所定の画素における色強度が10であるべきであり、その画素における意図されない画像からの10%のクロストークに起因してその画素が19と知覚されると予測される場合、補正された画像における画素は1となる。
例えば、10パーセントの均一クロストークを伴うディスプレイを仮定し、補正後には、90パーセントの補正後の意図された画像及び10パーセントの補正後の意図されない画像の合成が鑑賞者に届くとする。補正されていない意図された画素の値は10であり、補正されていない意図されない画素の値は100であるとする。10パーセントのクロストークに起因する第1の画像の「予測される知覚される値」は、0.910+0.1100=19となる。10パーセントのクロストークに起因する第2の画像の「予測される知覚される値」は、0.9100+0.110=91となる。第1の画像の補正されていない予測される知覚される値と意図された値との差は、19−10=9となり、第1の画像の補正係数は−9となることに注目されたい。第2の画像の補正されていない予測される知覚される値と意図された値との差は、91−100=−9となり、第1の画像の補正係数は9となることに注目されたい。したがって、10パーセントのクロストークに起因する第1の画像の補正後の「予測される知覚される値」は、0.9(10−9)+0.1(100+9)=11.8となる。したがって、10パーセントのクロストークに起因する第2の画像の補正後の「予測される知覚される値」は、0.9(100+9)+0.1(10−9)=98.2となる。これら補正後の予測される知覚される値は意図された値により近くなるが、ディスプレイ内のクロストークを完全には補正しない。これを改善するには、補正後の「予測される知覚される値」が意図された値に等しくないときにループを再度実行するなど、多くの方法がある。
この方法の考えられる一実施として以下が挙げられる。i=1:Image_height、及びj=Image−width、並びにA=第1の画像視野の色強度、B=第2の画像視野の色強度、k及びlは、ディスプレイの所定の画素線の第1の方向(即ちk)及び第2の反対方向(即ちl)における、ディスプレイ全幅に亘る水平方向のクロストークの観点からディスプレイを特徴付ける関数(即ち等式)である。
k=((0.0000012712(j))−(0.0001655478(j))+(0.1049456489))
l=((0.0000012712(j))−(0.0011565091(j))+(0.3625955732))
Perceived_A_Red(i,j)=((1−k)Intended_A_Red(i,j)+kIntended_B_Red(i,j)
Corrected_A_Red(i,j)=Intended_A_Red(i,j)+(Intended_A_Red(i,j)−Perceived_A_Red(i,j)))
図8は、マルチビューディスプレイ内の知覚される画像クロストークを低減する別の例示的な方法のフローチャート400である。第1の工程は、ブロック410において第1の画像視野のために意図された画像を特定し、ブロック412において第2の画像視野のために意図された画像を特定する工程である。この例では、赤色410、412、緑色410、412、及び青色410、412の色強度の値が、意図された各画像視野について決定される。
次に、赤色410、412、緑色410、412、及び青色410、412について、意図された画像視野410及び412の色強度の値が、ブロック415及びブロック417において各々独立して再スケーリングされ、ブロック430及びブロック432において補正された画像は、元の色強度のスケール(即ち、8ビットスケールでは0〜255)を維持する。この再スケーリングによって、全ての画素の値の知覚されるクロストークの低減が可能となる(即ち、再スケーリングしないと、幾つかの画素の値については知覚されるクロストークを低減できない場合がある)。考え得る一実施としては、
1)correction_factor=((255−((255(1−maximum_crosstalk_percentage))+(crosstalk_percentage0))))及び、
2)Rescaler=1−(2ディスプレイ内のmaximum_crosstalk_percentage)が挙げられる。
この実施では、最大再スケーリングが必要であると仮定している。即ち、この実施は、少なくとも1つの画素位置について、意図された画像の値の1つが255であり、第2の意図された画像における対応する画素の値が0であるという条件が存在すると仮定している。したがって、A=「第1の画像視野の色強度」、B=「第2の画像視野の色強度」であるとき、この実施は、以下の等式によって特徴付けることができる。
Rescaled_A_Red=intended_A_RedRescaler+補正係数
Rescaled_B_Red=intended_B_RedRescaler+補正係数
Rescaled_A_Green=intended_A_GreenRescaler+補正係数
Rescaled_B_Green=intended_B_GreenRescaler+補正係数
Rescaled_A_Blue=intended_A_BlueRescaler+補正係数
Rescaled_B_Blue=intended_B_BlueRescaler+補正係数
知覚される画像であるブロック320、322は、各色強度の値の、1マイナス再スケーリングされた画像視野のクロストーク率プラス意図されない再スケーリングされた画像視野のクロストーク率の合成である。例えば、意図された再スケーリングされた画素の値が10であり、ディスプレイのその特定の位置のクロストークの量が10パーセントであり、意図されない再スケーリングされた画像の画素の値が100である場合、予測される知覚される画素の値は19となる。
したがって、補正された画像であるブロック330、332は、再スケーリングされた意図された画像プラス再スケーリングされた意図された画像と予測される知覚される画像との差に等しい。例えば、意図された再スケーリングされた画像の所定の画素が10であるべきであり、意図されない画像からのX量のクロストークに起因して画素が19と知覚されると予測される場合、補正された画像における画素は1となる。
この方法の考えられる一実施として以下が挙げられる。i=1:Image_height、及びj=Image−width、並びにk及びlは、ディスプレイの所定の画素線の第1の方向(即ちk)及び第2の反対方向(即ちl)における、ディスプレイ全幅に亘る水平方向のクロストークの観点からディスプレイを特徴付ける関数(即ち等式)である。
k=((0.0000012712(j))−(0.0001655478(j))+(0.1049456489))
l=((0.0000012712(j))−(0.0011565091(j))+(0.3625955732))
Perceived_A_Red(i,j)=((1−k)Rescaled_A_Red(i,j)+kRescaled_B_Red(i,j)
Corrected_A_Red(i,j)=Rescaled_A_Red(i,j)+(Rescaled_A_Red(i,j)−Perceived_A_Red(i,j)))
以下は、マルチビューディスプレイ内の知覚される画像クロストークを低減する少なくとも選択された方法を実施する上で有用なソフトウェアプログラムコードの実施例である。
−−−−−−−−−知覚されるクロストークの低減方法−−−−−−−−−
以下は、知覚されるクロストークを低減する方法の説明である。画素(x、y、z)の左右のセットの絶対差と等しくなるkを決定する。同側性の百分率は、(100−k×((ディスプレイのその視野のその部分におけるクロストーク率)÷255)によって定義される。
−−−−−−−−−−−−ステレオペアのロード−−−−−−−−−−−−
globe=imread(‘GL_MMM0000.jpg’);intended_left=globe(:,1:640,:);intended_right=globe(:,641:1280,:);
intended_left=imread(‘map.tif’);
intended_right=imread(‘mnt.tif’);
crosstalk_percentage=.3626;
ディスプレイ内のクロストークの最大量を判定する必要あり。計算値i、j、k、lを参照。
−−−−−−−−−画像をディスプレイ幅に画素数でリサイズ−−−−−−−−−
intended_left=imresize(intended_left,[NaN 640]);
intended_right=imresize(intended_right,[NaN 640]);
intended_left=double(intended_left);
intended_right=double(intended_right);
altered_left=intended_left;
altered_right=intended_right;
−−−−−−−−−−−−赤色、緑色、青色の成分に分離−−−−−−−−−−−−
intended_left_r=intended_left(:,:,1);
intended_left_g=intended_left(:,:,2);
intended_left_b=intended_left(:,:,3);
intended_right_r=intended_right(:,:,1);
intended_right_g=intended_right(:,:,2);
intended_right_b=intended_right(:,:,3);
−−−−−−−−−−−−−−画像サイズを決定−−−−−−−−−−−−−−
Image_size=size(intended_left);
Image_height=Image_size(1,1);
Image_width=Image_size(1,2);
Image_width_cropped=Image_width−50;
−−−−−−−−−−−−−−新規の左及び右を定義−−−−−−−−−−−−−−
Perceived_left_r=intended_left_r;
Perceived_right_r=intended_right_r;
Corrected_left_r=intended_left_r;
Corrected_right_r=intended_right_r;
Perceived_left_g=intended_left_g;
Perceived_right_g=intended_right_g;
Corrected_left_g=intended_left_g;
Corrected_right_g=intended_right_g;
Perceived_left_b=intended_left_b;
Perceived_right_b=intended_right_b;
Corrected_left_b=intended_left_b;
Corrected_right_b=intended_right_b;
Predicted_left_r=intended_left_r;
Perceived_after_correction_left_r=intended_left_r;
Predicted_right_r=intended_right_r;
Perceived_after_correction_right_r=intended_right_r;
Predicted_left_g=intended_left_g;
Perceived_after_correction_left_g=intended_left_g;
Predicted_right_g=intended_right_g;
Perceived_after_correction_right_g=intended_right_g;
Predicted_left_b=intended_left_b;
Perceived_after_correction_left_b=intended_left_b;
Predicted_right_b=intended_right_b;
Perceived_after_correction_right_b=intended_right_b;
−−−CorL及びCorRが0〜255となるようにIntL及びIntRを再スケーリング−−−
Rescaler=(max−(2maximum_adjustment)/max。最大クロストーク率36.26%について、適切な再スケーラーは、((255−(292.463))/255)=0.2748である。Offset=max_adjustment又は92.463である。
correction_factor=((255−((255(1−crosstalk_percentage))+(crosstalk_percentage0))));
Rescaler=1−(2crosstalk_percentage);
Rescaled_left_r=intended_left_r.Rescaler+correction_factor;
Rescaled_right_r=intended_right_r.Rescaler+correction_factor;
Rescaled_left_g=intended_left_g.Rescaler+correction_factor;
Rescaled_right_g=intended_right_g.Rescaler+correction_factor;
Rescaled_left_b=intended_left_b.Rescaler+correction_factor;
Rescaled_right_b=intended_right_b.Rescaler+correction_factor;
−−−−−−両方の視野の「知覚される値」及び「補正値」を決定−−−−−−
コードのこの部分は、1)以前に決定され又は予測されたクロストーク率の等式に基づいて画素ごとに(ディスプレイの水平方向全幅に亘って)再スケーリングされた左目用視野及び右目用視野が表示された場合、各視点(eyeview)が知覚するものを予測し、2)補正された適切な視点画像を決定し、工程3)及び4)は、知覚されるクロストークの補正が削除でき、理論上の目的でのみ計算された後に各視点が見るものを予測する2つの方法である。現在、ディスプレイは、約520半ばの画素数しか表示しないので、クロストークは、これらの画素についてのみ測定されており、したがって、適切な再スケーリングが行われたこれらの画素についてのみ、正しい。
i=1:Image_height;
j=51:Image_width_cropped;
k=((0.0000012712(j−50)2)−(0.0001655478(j−50))+(0.1049456489));
l=((0.0000012712(j−50)2)−(0.0011565091(j−50))+(0.3625955732));
Perceived_left_r(i,j)=((1−k)Rescaled_left_r(i,j)+kRescaled_right_r(i,j));
Corrected_left_r(i,j)=(Rescaled_left_r(i,j)+(Rescaled_left_r(i,j)−Perceived_left_r(i,j)));
Perceived_right_r(i,j)=((1−l)Rescaled_right_r(i,j)+lRescaled_left_r(i,j));
Corrected_right_r(i,j)=(Rescaled_right_r(i,j)+(Rescaled_right_r(i,j)−Perceived_right_r(i,j)));
Perceived_after_correction_left_r(i,j)=((1−k)Corrected_left_r(i,j)+kCorrected_right_r(i,j));
Perceived_after_correction_right_r(i,j)=((1−l)Corrected_right_r(i,j)+lCorrected_left_r(i,j));
Perceived_left_g(i,j)=((1−k)Rescaled_left_g(i,j)+kRescaled_right_g(i,j));
Corrected_left_g(i,j)=(Rescaled_left_g(i,j)+(Rescaled_left_g(i,j)−Perceived_left_g(i,j)));
Perceived_right_g(i,j)=((1−l)Rescaled_right_g(i,j)+lRescaled_left_g(i,j));
Corrected_right_g(i,j)=(Rescaled_right_g(i,j)+(Rescaled_right_g(i,j)−Perceived_right_g(i,j)));
Perceived_after_correction_left_g(i,j)=((1−k)Corrected_left_g(i,j)+kCorrected_right_g(i,j));
Perceived_after_correction_right_g(i,j)=((1−l)Corrected_right_g(i,j)+lCorrected_left_g(i,j));
Perceived_left_b(i,j)=((1−k)Rescaled_left_b(i,j)+kRescaled_right_b(i,j));
Corrected_left_b(i,j)=(Rescaled_left_b(i,j)+(Rescaled_left_b(i,j)−Perceived_left_b(i,j)));
Perceived_right_b(i,j)=((1−l)Rescaled_right_b(i,j)+lRescaled_left_b(i,j));
Corrected_right_b(i,j)=(Rescaled_right_b(i,j)+(Rescaled_right_b(i,j)−Perceived_right_b(i,j)));
Perceived_after_correction_left_b(i,j)=((1−k)Corrected_left_b(i,j)+kCorrected_right_b(i,j));
Perceived_after_correction_right_b(i,j)=((1−l)Corrected_right_b(i,j)+lCorrected_left_b(i,j));
Predicted_left_r(i,j)=((1−k)Corrected_left_r(i,j)+kRescaled_right_r(i,j));
Predicted_right_r(i,j)=((1−l)Corrected_right_r(i,j)+lRescaled_left_r(i,j));
Predicted_left_g(i,j)=((1−k)Corrected_left_g(i,j)+kRescaled_right_g(i,j));
Predicted_right_g(i,j)=((1−l)Corrected_right_g(i,j)+lRescaled_left_g(i,j));
Predicted_left_b(i,j)=((1−k)Corrected_left_b(i,j)+kRescaled_right_b(i,j));
Predicted_right_b(i,j)=((1−l)Corrected_right_b(i,j)+lRescaled_left_b(i,j));
end
end
−−−−−−−−−−−−−元のファイル書式の復元−−−−−−−−−−−−−
ここでも、Predicted及びPerceived_after_correctionの工程を削除することができる。
Corrected_left_r=uint8(Corrected_left_r);
Corrected_right_r=uint8(Corrected_right_r);
Corrected_left_g=uint8(Corrected_left_g);
Corrected_right_g=uint8(Corrected_right_g);
Corrected_left_b=uint8(Corrected_left_b);
Corrected_right_b=uint8(Corrected_right_b);
Predicted_left_r=uint8(Predicted_left_r);
Predicted_right_r=uint8(Predicted_right_r);
Predicted_left_g=uint8(Predicted_left_g);
Predicted_right_g=uint8(Predicted_right_g);
Predicted_left_b=uint8(Predicted_left_b);
Predicted_right_b=uint8(Predicted_right_b);
Perceived_left_r=uint8(Perceived_left_r);
Perceived_right_r=uint8(Perceived_right_r);
Perceived_left_g=uint8(Perceived_left_g);
Perceived_right_g=uint8(Perceived_right_g);
Perceived_left_b=uint8(Perceived_left_b);
Perceived_right_b=uint8(Perceived_right_b);
Perceived_after_correction_left_r=uint8(Perceived_after_correction_left_r);
Perceived_after_correction_right_r=uint8(Perceived_after_correction_right_r);
Perceived_after_correction_left_g=uint8(Perceived_after_correction_left_g);
Perceived_after_correction_right_g=uint8(Perceived_after_correction_right_g);
Perceived_after_correction_left_b=uint8(Perceived_after_correction_left_b);
Perceived_after_correction_right_b=uint8(Perceived_after_correction_right_b);
−−−−−−−−−−−−r層、g層及びb層の合成−−−−−−−−−−−−
ここでも、Predicted、Perceived及びPerceived_after_correctionの工程を削除できる。
altered_left(:,:,1)=Corrected_left_r;
altered_left(:,:,2)=Corrected_left_g;
altered_left(:,:,3)=Corrected_left_b;
altered_right(:,:,1)=Corrected_right_r;
altered_right(:,:,2)=Corrected_right_g;
altered_right(:,:,3)=Corrected_right_b;
predicted_left(:,:,1)=Predicted_left_r;
predicted_left(:,:,2)=Predicted_left_g;
predicted_left(:,:,3)=Predicted_left_b;
predicted_right(:,:,1)=Predicted_right_r;
predicted_right(:,:,2)=Predicted_right_g;
predicted_right(:,:,3)=Predicted_right_b;
Perceived_left(:,:,1)=Perceived_left_r;
Perceived_left(:,:,2)=Perceived_left_g;
Perceived_left(:,:,3)=Perceived_left_b;
Perceived_right(:,:,1)=Perceived_right_r;
Perceived_right(:,:,2)=Perceived_right_g;
Perceived_right(:,:,3)=Perceived_right_b;
Perceived_after_correction_left(:,:,1)= Perceived_after_correction_left_r;
Perceived_after_correction_left(:,:,2)= Perceived_after_correction_left_g;
Perceived_after_correction_left(:,:,3)= Perceived_after_correction_left_b;
Perceived_after_correction_right(:,:,1)= Perceived_after_correction_right_r;
Perceived_after_correction_right(:,:,2)= Perceived_after_correction_right_g;
Perceived_after_correction_right(:,:,3)= Perceived_after_correction_right_b;
−−−−−−−−−−−−ファイルへの画像の書き込み−−−−−−−−−−−−
Perceived、Predicted又はPredicted_after_correctionの書き込みは不要である。
imwrite(uint8(altered_left),‘CPCR_map.tif’,‘TIFF’);
imwrite(uint8(altered_right),‘CPCR_mnt.tif’,‘TIFF’);
imwrite(uint8(Perceived_left),‘CPCR_map_perceived.tif’,‘TIFF’);
imwrite(uint8(Perceived_right),‘CPCR_mnt_perceived.tif’,‘TIFF’);
imwrite(uint8(predicted_left),‘CPCR_map_predicted.tif’,‘TIFF’);
imwrite(uint8(predicted_right),‘CPCR_mnt_predicted.tif’,‘TIFF’);
imwrite(uint8(Perceived_after_correction_left),‘CPCR_map_predicted_afterPCR.tif’,‘TIFF’);
imwrite(uint8(Perceived_after_correction_right),‘CPCR_mnt_predicted_afterPCR.tif’,‘TIFF’);
このように、マルチビューディスプレイ内の知覚される画像クロストークを低減する方法の実施形態が開示されている。本発明は、開示されたもの以外の実施形態でも実施可能であることを、当業者は理解するであろう。開示された実施形態は制限ではなく説明を目的として提示されており、本発明は以下の特許請求の範囲及びその等価物によってのみ制限される。

Claims (20)

  1. マルチビューディスプレイ内の知覚される画像クロストークを低減する方法であって、
    ディスプレイに画像ストリームを供給する工程であって、前記ディスプレイは、該ディスプレイの第1の側から該ディスプレイの反対側の第2の側まで延在する水平次元を含み、前記画像ストリームは、画像の時系列を含み、前記ディスプレイ上に少なくとも第1の画像視野及び次に第2の画像視野が時間配列的に表示される工程と、
    前記画像の時系列が前記ディスプレイ上に表示される前に、前記画像の時系列を調節して、前記少なくとも第1の画像視野と前記第2の画像視野との間の知覚される表示画像クロストークを低減する工程であって、前記調節する工程は、前記水平次元のための不均一クロストーク補正関数に基づいて、前記水平次元に沿った、少なくとも選択された画素の色強度を修正する工程を含む、工程と、
    を含む、方法。
  2. 前記不均一クロストーク補正関数は、前記水平次元について経験的に決定される、請求項1に記載の方法。
  3. 第1の不均一クロストーク補正関数は、前記第1の画像視野の前記水平次元について前記第1の側から前記第2の側まで決定され、第2の不均一クロストーク補正関数は、前記第2の画像視野の前記水平次元について前記第2の側から前記第1の側まで決定される、請求項1に記載の方法。
  4. 前記画像ストリームは、裸眼立体ディスプレイを提供し、前記第1の画像視野は、主として前記ディスプレイの鑑賞者の右目に画像を提供し、前記第2の画像視野は、主として前記ディスプレイの前記視野の左目に画像を提供して、知覚される3次元表示画像を形成する、請求項1に記載の方法。
  5. 前記画像ストリームは、少なくとも第3の画像視野を更に提供する、請求項1に記載の方法。
  6. 前記画像ストリームは、デュアルビュー表示を提供し、前記第1の画像視野は、主として前記ディスプレイの第1の鑑賞者に画像を提供し、前記第2の画像視野は、主として前記ディスプレイの第2の鑑賞者に画像を提供する、請求項1に記載の方法。
  7. 前記不均一クロストーク補正関数は、非線形関数である、請求項1に記載の方法。
  8. マルチビューディスプレイ内の知覚される画像クロストークを低減する方法であって、
    ディスプレイに画像ストリームを供給する工程であって、前記ディスプレイは、該ディスプレイの第1の側から該ディスプレイの反対側の第2の側まで延在する水平次元を含み、前記画像ストリームは、画像の時系列を含み、前記ディスプレイ上に少なくとも第1の画像視野及び次に第2の画像視野が時間配列的に表示される工程と、
    前記ディスプレイ上に前記画像ストリームが表示される前に、前記画像ストリームの前記第1の画像視野及び前記第2の画像視野を調節して、前記第1の画像視野と第2の画像視野との間の知覚される表示画像クロストークを低減する工程であって、前記調節する工程は、前記水平次元のための不均一クロストーク補正関数に基づいて、前記水平次元に沿った、少なくとも選択された画素の色強度を修正する工程、及び前記第1の画像視野及び第2の画像視野の色強度の範囲を再スケーリングして前記修正された色強度が前記色強度の範囲内となるようにする工程を含む、工程と、
    を含む、方法。
  9. 各色の色強度は、各色の前記修正された色強度がその色の前記色強度の範囲内となるように、再スケーリングされる、請求項8に記載の方法。
  10. 前記色強度の範囲は、0〜255、又は0〜1023である、請求項8に記載の方法。
  11. 前記不均一クロストーク補正関数は、前記水平次元について経験的に決定される、請求項8に記載の方法。
  12. 第1の不均一クロストーク補正関数は、前記第1の画像視野の前記水平次元について、前記第1の側から前記第2の側まで決定され、第2の不均一クロストーク補正関数は、前記第2の画像視野の前記水平次元について、前記第2の側から前記第1の側まで決定される、請求項8に記載の方法。
  13. 前記画像ストリームは、裸眼立体ディスプレイを提供し、前記第1の画像視野は、主として前記ディスプレイの鑑賞者の右目に画像を提供し、前記第2の画像視野は、主として前記ディスプレイの前記視野の左目に画像を提供して、知覚される3次元表示画像を形成する、請求項8に記載の方法。
  14. 前記画像ストリームは、少なくとも第3の画像視野を更に提供する、請求項8に記載の方法。
  15. 前記画像ストリームは、デュアルビュー表示を提供し、前記第1の画像視野は、主として前記ディスプレイの第1の鑑賞者に画像を提供し、前記第2の画像視野は、主として前記ディスプレイの第2の鑑賞者に画像を提供する、請求項8に記載の方法。
  16. 前記不均一クロストーク補正関数は、非線形関数である、請求項8に記載の方法。
  17. マルチビューディスプレイ内の知覚される画像クロストークを低減する方法であって、
    ディスプレイに画像ストリームを供給する工程であって、前記ディスプレイは、該ディスプレイの第1の側から該ディスプレイの反対側の第2の側まで延在する水平次元を含み、前記画像ストリームは、少なくとも第1の画像視野及び第2の画像視野を含む、工程と、
    前記ディスプレイ上に前記第1の画像視野及び第2の画像視野が表示される前に、前記第1の画像視野及び前記第2の画像視野を調節して、前記少なくとも第1の画像視野と第2の画像視野との間の知覚される表示画像クロストークを低減する工程であって、前記調節する工程は、前記水平次元のための不均一クロストーク補正関数に基づいて、前記水平次元に沿った、少なくとも選択された画素の色強度を修正する工程を含む、工程と、
    を含む、方法。
  18. 前記第1の画像視野及び前記第2の画像視野は、前記ディスプレイ上に同時に表示される、請求項17に記載の方法。
  19. 第1の不均一クロストーク補正関数は、前記第1の画像視野の前記水平次元について前記第1の側から前記第2の側まで決定され、第2の不均一クロストーク補正関数は、前記第2の画像視野の前記水平次元について前記第2の側から前記第1の側まで決定される、請求項17に記載の方法。
  20. 前記調節する工程は、前記修正された色強度が前記色強度の範囲内となるように、前記第1の画像視野及び第2の画像視野の前記色強度の範囲を再スケーリングする工程を含む、請求項17に記載の方法。
JP2010541476A 2008-01-02 2008-12-16 マルチビューディスプレイ内の知覚される画像クロストークを低減する方法 Expired - Fee Related JP5390533B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/968,332 US8339333B2 (en) 2008-01-02 2008-01-02 Methods of reducing perceived image crosstalk in a multiview display
US11/968,332 2008-01-02
PCT/US2008/086907 WO2009088658A1 (en) 2008-01-02 2008-12-16 Methods of reducing perceived image crosstalk in a multiview display

Publications (3)

Publication Number Publication Date
JP2011511508A true JP2011511508A (ja) 2011-04-07
JP2011511508A5 JP2011511508A5 (ja) 2012-01-26
JP5390533B2 JP5390533B2 (ja) 2014-01-15

Family

ID=40797596

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010541476A Expired - Fee Related JP5390533B2 (ja) 2008-01-02 2008-12-16 マルチビューディスプレイ内の知覚される画像クロストークを低減する方法

Country Status (6)

Country Link
US (1) US8339333B2 (ja)
EP (1) EP2238767A4 (ja)
JP (1) JP5390533B2 (ja)
KR (1) KR101562415B1 (ja)
CN (1) CN101946520B (ja)
WO (1) WO2009088658A1 (ja)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101362771B1 (ko) * 2008-09-17 2014-02-14 삼성전자주식회사 입체 영상 표시 방법 및 장치
JP5589311B2 (ja) * 2009-06-09 2014-09-17 ソニー株式会社 映像表示装置および映像表示システム
US9143748B2 (en) * 2009-07-02 2015-09-22 Thomson Licensing Method and system for differential distortion correction for three-dimensional (3D) projection
WO2011014692A1 (en) * 2009-07-29 2011-02-03 Thomson Licensing Method for crosstalk correction for three-dimensional (3d) projection
KR101056306B1 (ko) * 2009-07-31 2011-08-11 삼성모바일디스플레이주식회사 디지털 표시장치 및 그의 이미지 배열 방법
WO2011016845A1 (en) 2009-08-05 2011-02-10 Thomson Licensing Optical compensation for ghosting in stereoscopic displays
CN102474640B (zh) * 2009-08-12 2015-03-04 汤姆逊许可证公司 用于三维(3d)放映的干扰和失真修正的方法和系统
EP3375891B1 (en) 2009-09-10 2020-02-19 DiaSorin S.p.A. Methods and devices for compensation of spectral crosstalk in multiplex nucleic acid amplification
US8520061B2 (en) * 2009-12-14 2013-08-27 3M Innovative Properties Company Zero-D dimming for 3D displays
US8964013B2 (en) 2009-12-31 2015-02-24 Broadcom Corporation Display with elastic light manipulator
US8854531B2 (en) 2009-12-31 2014-10-07 Broadcom Corporation Multiple remote controllers that each simultaneously controls a different visual presentation of a 2D/3D display
US9247286B2 (en) 2009-12-31 2016-01-26 Broadcom Corporation Frame formatting supporting mixed two and three dimensional video data communication
US8823782B2 (en) * 2009-12-31 2014-09-02 Broadcom Corporation Remote control with integrated position, viewer identification and optical and audio test
US8570319B2 (en) * 2010-01-19 2013-10-29 Disney Enterprises, Inc. Perceptually-based compensation of unintended light pollution of images for projection display systems
US8611005B2 (en) * 2010-01-19 2013-12-17 Disney Enterprises, Inc. Compensation for self-scattering on concave screens
CN101895778B (zh) * 2010-07-15 2011-12-07 华映视讯(吴江)有限公司 减轻立体影像鬼影的方法及系统
CN101951528B (zh) * 2010-08-13 2012-05-23 四川大学 采用滤色片减小柱面光栅立体显示器图像串扰的方法
US20120062709A1 (en) * 2010-09-09 2012-03-15 Sharp Laboratories Of America, Inc. System for crosstalk reduction
KR101232086B1 (ko) * 2010-10-08 2013-02-08 엘지디스플레이 주식회사 액정표시장치 및 그의 로컬디밍 제어방법
DE102010043005A1 (de) * 2010-10-27 2012-05-03 Epson Imaging Devices Corp. Vorrichtung zur Ansteuerung einer Anzeige sowie Anzeige mit einer Vorrichtung zur Ansteuerung
US20120113153A1 (en) * 2010-11-04 2012-05-10 3M Innovative Properties Company Methods of zero-d dimming and reducing perceived image crosstalk in a multiview display
US8786598B2 (en) * 2010-11-19 2014-07-22 Ati Technologies, Ulc Pixel-intensity modulation technique for frame-sequential stereo-3D displays
JP5673142B2 (ja) * 2011-01-27 2015-02-18 セイコーエプソン株式会社 電気光学装置及び電子機器
US9148645B2 (en) * 2011-05-14 2015-09-29 Dolby Laboratories Licensing Corporation Crosstalk cancellation in 3D displays
CN102654994B (zh) * 2011-07-07 2014-08-06 京东方科技集团股份有限公司 双视显示器显示方法和双视显示器
TWI448146B (zh) 2011-10-14 2014-08-01 Au Optronics Corp 可改善鬼影現象之立體影像處理方法及其立體顯示裝置
CN102710955B (zh) * 2012-05-31 2014-07-02 深圳超多维光电子有限公司 降低立体显示串扰的方法及立体显示装置
US9509970B2 (en) 2012-07-18 2016-11-29 Qualcomm Incorporated Crosstalk reduction with location-based adjustment in multiview video processing
EP2700806A1 (en) 2012-08-23 2014-02-26 Continental Automotive GmbH Fuel injector, fuel injection assembly and use of a sealing ring
CN103780893B (zh) * 2012-10-19 2015-09-02 瀚宇彩晶股份有限公司 立体显示模块及可显示立体图像的电子装置
KR101364883B1 (ko) * 2012-11-14 2014-02-27 서울과학기술대학교 산학협력단 3차원 입체 영상의 크로스토크 감소 방법 및 3차원 입체 영상의 크로스토크 감소 장치
WO2014129134A1 (ja) * 2013-02-19 2014-08-28 パナソニック株式会社 画像表示装置
US8947563B2 (en) 2013-03-15 2015-02-03 Hewlett-Packard Development Company, L.P. Reducing crosstalk
US9784902B2 (en) 2013-03-25 2017-10-10 3M Innovative Properties Company Dual-sided film with split light spreading structures
US9261641B2 (en) 2013-03-25 2016-02-16 3M Innovative Properties Company Dual-sided film with compound prisms
CN103763540B (zh) * 2014-01-08 2017-01-04 深圳超多维光电子有限公司 立体显示方法和立体显示装置
KR101966152B1 (ko) * 2014-08-07 2019-04-05 삼성전자주식회사 다시점 영상 디스플레이 장치 및 그 제어 방법
US10192477B2 (en) * 2015-01-08 2019-01-29 Lighthouse Technologies Limited Pixel combination of full color LED and white LED for use in LED video displays and signages
CN109791748B (zh) * 2016-09-28 2021-01-08 富士胶片株式会社 光栅显示体、光栅图像的形成方法、光栅显示体的制造方法、及存储介质
KR102447101B1 (ko) 2017-09-12 2022-09-26 삼성전자주식회사 무안경 3d 디스플레이를 위한 영상 처리 방법 및 장치
CN112885300B (zh) * 2019-11-29 2024-04-05 美国像素公司 使用多个非线性模型的面板校准
KR20220067950A (ko) * 2020-11-18 2022-05-25 삼성전자주식회사 디스플레이 장치 및 그의 제어 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001054142A (ja) * 1999-08-05 2001-02-23 Nippon Hoso Kyokai <Nhk> 時分割方式による立体画像表示におけるクロストーク低減方法および装置
WO2006128066A2 (en) * 2005-05-26 2006-11-30 Real D Ghost-compensation for improved stereoscopic projection

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4266240A (en) * 1979-07-20 1981-05-05 Levy Paul M Television system
US4287528A (en) * 1979-07-20 1981-09-01 Levy Paul M Television system
US4517592A (en) * 1982-08-20 1985-05-14 Levy Paul M Television system
WO1994023415A1 (en) * 1993-04-05 1994-10-13 Cirrus Logic, Inc. System for compensating crosstalk in lcds
US5774261A (en) * 1993-11-19 1998-06-30 Terumo Kabushiki Kaisha Image display system
GB9506954D0 (en) 1995-04-04 1995-05-24 Street Graham S B Method and apparatus for image enhancement
JP3096614B2 (ja) 1995-05-30 2000-10-10 三洋電機株式会社 立体映像表示装置の映像信号処理装置
JPH1011607A (ja) 1996-06-27 1998-01-16 Toshiba Corp 両眼立体視システムおよび両眼立体視方法
GB2336963A (en) * 1998-05-02 1999-11-03 Sharp Kk Controller for three dimensional display and method of reducing crosstalk
JP2000134644A (ja) 1998-10-27 2000-05-12 Nippon Hoso Kyokai <Nhk> 立体画像表示におけるクロストーク低減方法および装置
JP2001045524A (ja) 1999-01-26 2001-02-16 Denso Corp 立体表示装置
JP2001054143A (ja) 1999-08-05 2001-02-23 Nippon Hoso Kyokai <Nhk> 時分割方式による立体画像表示におけるクロストーク低減方法および装置
JP2001298754A (ja) 2000-04-11 2001-10-26 Tomohiko Hattori 立体画像におけるクロストーク消去方式および装置
WO2001097531A2 (en) * 2000-06-12 2001-12-20 Vrex, Inc. Electronic stereoscopic media delivery system
CN100376924C (zh) * 2002-09-19 2008-03-26 三菱电机株式会社 显示装置和具有该显示装置的电子设备
GB0314895D0 (en) * 2003-06-26 2003-07-30 Koninkl Philips Electronics Nv Light emitting display devices
JP2005077437A (ja) 2003-08-29 2005-03-24 Olympus Corp 映像表示装置及び立体映像表示装置並びに車載用映像表示装置
GB2406731A (en) 2003-08-30 2005-04-06 Sharp Kk Multiple view display having directional backlight
US7224529B2 (en) * 2003-09-09 2007-05-29 3M Innovative Properties Company Microreplicated article
WO2005029873A1 (en) * 2003-09-20 2005-03-31 Koninklijke Philips Electronics N.V. Image display device
GB0322058D0 (en) * 2003-09-20 2003-10-22 Koninkl Philips Electronics Nv A multi-view display based on in-cell polar or retarder
WO2005071474A2 (en) 2004-01-20 2005-08-04 Sharp Kabushiki Kaisha Directional backlight and multiple view display device
JP3792246B2 (ja) * 2004-05-13 2006-07-05 シャープ株式会社 クロストーク解消回路、液晶表示装置、及び表示制御方法
US7023451B2 (en) * 2004-06-14 2006-04-04 Sharp Laboratories Of America, Inc. System for reducing crosstalk
JP2006154756A (ja) * 2004-11-02 2006-06-15 Fujitsu Ten Ltd 映像信号処理方法、映像信号処理装置、及び、表示装置
KR101170120B1 (ko) * 2005-07-27 2012-07-31 삼성전자주식회사 비안경식 3차원 디스플레이 장치
US7839549B2 (en) * 2005-10-20 2010-11-23 Zoran Mihajlovic Three-dimensional autostereoscopic display and method for reducing crosstalk in three-dimensional displays and in other similar electro-optical devices
TWI320161B (en) * 2005-12-01 2010-02-01 Method for controlling a plurality of displaying regions of a display panel
US7530721B2 (en) * 2007-04-18 2009-05-12 Skc Haas Display Films Co., Ltd. Double-sided turning film
US20120113153A1 (en) * 2010-11-04 2012-05-10 3M Innovative Properties Company Methods of zero-d dimming and reducing perceived image crosstalk in a multiview display

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001054142A (ja) * 1999-08-05 2001-02-23 Nippon Hoso Kyokai <Nhk> 時分割方式による立体画像表示におけるクロストーク低減方法および装置
WO2006128066A2 (en) * 2005-05-26 2006-11-30 Real D Ghost-compensation for improved stereoscopic projection

Also Published As

Publication number Publication date
EP2238767A1 (en) 2010-10-13
CN101946520A (zh) 2011-01-12
WO2009088658A1 (en) 2009-07-16
EP2238767A4 (en) 2013-03-27
CN101946520B (zh) 2014-08-13
KR20100121608A (ko) 2010-11-18
KR101562415B1 (ko) 2015-10-21
US20090167639A1 (en) 2009-07-02
JP5390533B2 (ja) 2014-01-15
US8339333B2 (en) 2012-12-25

Similar Documents

Publication Publication Date Title
JP5390533B2 (ja) マルチビューディスプレイ内の知覚される画像クロストークを低減する方法
US7750982B2 (en) Autostereoscopic display with fresnel lens element and double sided prism film adjacent a backlight having a light transmission surface with left and right eye light sources at opposing ends modulated at a rate of at least 90 hz
JP5319664B2 (ja) 黒色データ挿入を用いたステレオスコピック3d液晶ディスプレイ装置
KR101486604B1 (ko) 무안경 입체 액정 디스플레이 장치
US20120113153A1 (en) Methods of zero-d dimming and reducing perceived image crosstalk in a multiview display
US8179362B2 (en) Stereoscopic 3D liquid crystal display apparatus with scanning backlight
CN102668574B (zh) 三维显示器的零维调暗
KR20110031461A (ko) 픽셀화된 조명 기구를 갖는 무안경 입체 디스플레이
JP5755318B2 (ja) 立体映像表示装置及びその駆動方法
EP2595395A1 (en) Display apparatus and driving method thereof
US10715792B2 (en) Display device and method of controlling the same
KR102126532B1 (ko) 멀티뷰 영상 생성 방법과 이를 이용한 입체 영상 표시 장치
KR20160021650A (ko) 렌티큘러 렌즈 방식의 입체영상표시장치
KR101843198B1 (ko) 멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치
KR101829466B1 (ko) 입체영상 표시장치

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111202

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111202

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130530

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130611

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130815

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130910

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131010

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees