JP2010503003A - マルチビュー表示装置による表示用の画像データを処理する方法および装置 - Google Patents

Abstract

本方法は、好ましくない人為的な影響の視認性を低減させるような、マルチビュー表示装置（２４）による表示用の画像データの処理を提供する。画像または画像の連続のそれぞれ画素明度を表している画像画素データが、受信される（２０、２１）。画素データは、単向性フィルタを適用することによって処理される（２２）。それから、画像に関する処理済の画素データは、交互配置され（２３）、かつ表示装置（２４）に供給される。

Description

本発明は、マルチビュー表示装置による表示用の画像データを処理する方法および装置に関する。

マルチビューディスプレイは、自動立体３次元画像表示を提供するためのものとして、および異なる閲覧者に対して異なる方向に異なる画像を表示するためのものとして知られている。マルチビューディスプレイの例は、欧州特許出願公開第０ ８２９ ７４４号明細書、英国特許公開公報第２ ３９０ １７２号明細書および欧州特許出願公開第１ ４２７ ２２３号明細書に開示されている。

国際公開第２００６／０４３７２０号パンフレットには、車両において用いるマルチビューディスプレイについて開示されている。例えば、各画像の明度、コントラストおよび大きさを向上するような画質の向上を行なう技術が開示されている。

米国特許第６，９７３，２１０号明細書および米国出願公開第２００５／０２３８２２８号明細書には、所望の程度の輝度および色精度を達成するように、ローパスフィルタを用いて、色成分画素に対して複合色画素群を割り当てる技術が開示されている。この技術は、出力に要求されるサンプリング周波数よりも高いサンプリング周波数を有する（または出力よりも高いサンプリング周波数を有するようにスケーリングされている）、継続的な３チャンネル入力信号または分離した入力を必要とする。フィルタを通された結果のサンプリングは、画像データの空間的に異なる領域を選択すること、および複合画素群に対してではなくて色成分画素に対してそれらを割り当てることによって処理される。

米国特許出願公開第２００３／０２１０８２９号明細書には、水平方向および垂直方向に適用されるハイパスフィルタおよびローパスフィルタの組み合わせを用いて、画質を高める技術が開示されている。

米国特許出願公開第２００６／０１５８４６６号明細書には、元の画像よりも少ない画素を有する画像をディスプレイに上表示するための画像処理技術が開示されている。この技術は、ディスプレイに要求される駆動集積回路の数の低減を目指している。

Jinsung OH, Changhoon LEE and Younam KIM, “Minimum-Maximum Exclusive Weighted-Mean Filter with Adaptive Window”, IEICE TRANS. FUNDAMENTALS, Vol. E88-A, No. 9, September 2005, pages 2451-2454には、劣化した画像からインパルスノイズを除去する適応フィルタが開示されている。条件付フィルタは、ノイズが検出されるか否かに依存して適用される。ノイズが検出されない場合には、未処理の画素値が使用される。ノイズが検出された場合には、画素値がノイズに影響されていない隣接する画素値の重み付け総和によって置き換えられる。

国際公開第２００６／１１０６４６Ａ２号パンフレットには、傾斜レンズ要素を用いた自動立体ディスプレイ、ならびに“ブリードスルー（ｂｌｅｅｄ ｔｈｒｏｕｇｈ）”およびぼかしを適用することによって画質を向上させる方法が開示されている。“ブリードスルー”は、所定のビューに使用される画素に関するデータがまた、隣接するビューにおいて可視である場合に生じる。これは、傾斜レンズ要素の構成が、画素が物理的に両方のビューにおいて可視であるか、または画像を処理することによって、例えば、ぼかし処理によって、１つのビューからのデータが隣接するビューに重なるようになっているからであり得る。さらに、国際公開第２００６／１１０６４６Ａ２号パンフレットにおいて使用されるぼかし機能は、例えば、Ｐｈｏｔｏｓｈｏｐ（登録商標）画像処理ソフトウェアにみられるような、標準的な機能である。

多くの公知のマルチビューディスプレイは、空間光変調器の形態である表示装置（例えば、画素構造が視差光学素子（例えば、平行バリアまたはレンズ状画面）と協同して、画素が可視である表示領域を制御する、液晶装置）に基づいている。そのような構成の典型的な例が、添付図面の図１に示されている。個々の色成分画素（サブ画素成分）は、２つの画像からの組み合わせ画像データを受け取って、２表示ディスプレイを提供する。赤、緑および青の画素は、Ｒ、ＧおよびＢのそれぞれによって示される。第１および第２の画像を表示する画素は、添え字の１および２によって特定される。画素構造は、第１の画像を表示する画素Ｒ_１、Ｇ_１およびＢ_１のみが閲覧者１に対して可視である一方、第２の画像を表示する画素Ｒ_２、Ｇ_２およびＢ_２のみが閲覧者２に対して可視であるように、視差バリア１におけるスリットを伴って配置されている。

ある好ましくない色の人為的な影響が、特定の画像特性に関して可視になり得るが、そのような例は、図１に示されている。この例において、両方のビューは、２に図示されているような１つの複合色画素群幅の画像特性を含む。隣接する複合色画素群は、例えば、３および４に示されるように黒である。表示される特性は、白であると意図される。しかし、閲覧者１は、この特性の緑成分画素のみを見て取る一方において、閲覧者２は、この特性の赤および青の成分のみを見て取る。従って、白であると思われるべき特性が、緑または赤紫のいずれかであると知覚される。このようにして、狭い線または“鋭い”端部といった特性に関して、不正確な色が知覚される。

添付図面の図２は、ほんの一例として、２タイプの視差バリアディスプレイを例示している。図２の上部の（ａ）に示されているタイプは、バリアの高さの全体に渡って伸びている細長いスリットが、不透明な領域によって分かれている、ストリップバリア型に属する。図２の（ｂ）に示されているディスプレイは、“スリット”または開口が、格子縞模様に配置されている、異なるタイプの視差バリアを有する。前述された好ましくない色の人為的な影響は、いずれの種類のバリアにも起因して、かつ他のバリアの種類および他の種類の視差光学素子にも起因して生じ得る。

本発明の第１の特徴によれば、複数の集合のそれぞれが画像または画像の連続のそれぞれの明度を表す、画像画素データの当該複数の集合を受信すること；ならびに少なくとも１つの集合のそれぞれに対して単向性フィルタを適用することによって、画素データの上記集合を処理することを包含する、マルチビュー表示装置による表示用の画像データを処理する方法を提供される。

上記集合のすべては、交互配置の前に、単向性フィルタのそれぞれによって処理され得る。単向性フィルタは、同種のものであり得る。

各集合は、複合色成分画素群データを包含し得、かつ上記フィルタまたは上記フィルタのそれぞれが、隣接する複合画素群に対して作用し得る。上記フィルタまたは上記フィルタのそれぞれは、隣接する複合画素群の同じ色成分の画素データに対して作用し得る。

上記フィルタまたは上記フィルタのそれぞれは、未処理の画素データおよび少なくとも１つの隣接する画素データの一次結合として、処理済の画素データのそれぞれを形成し得る。少なくとも１つの隣接する画素データは、１つの隣接する画素データであり得る。一次結合は、規定化された一次結合であり得る。少なくとも１つの隣接する画素データ少なくとも１つの縦に隣接する画素を表し得る。

上記フィルタまたは上記フィルタのそれぞれは、実時間において作用し得る。

本発明の第２の特徴によれば、複数の集合のそれぞれが画像または画像の連続のそれぞれの画素明度を表し、画像画素データの当該複数の集合を受信すること；各部分集合が同数の画素群の明度を表し、かつ各画素群が少なくとも１つの画素を包含し、少なくとも１つの上記集合のそれぞれの複数の当該部分集合のそれぞれについて、第１の予め決められたパターンと上記部分集合の画素群の明度パターンを比較することによって、画素データの上記集合を処理すること；ならびに上記画素明度パターンが、第１の予め決められたパターンと実質的に適合する場合に、第１のフィルタを適用して、上記部分集合の少なくとも１つの画素群の第１の処理済の明度を導き出すことを包含する、マルチビュー表示装置による表示用の画素データを処理する方法を提供される。

比較する工程は、各部分集合のすぐ隣にある画素の明度の間における差を形成することを包含し得る。比較する工程は、少なくとも１つの閾値を用いて差を比較することを包含し得る。

各画素群は、色成分画素の複合色画素群を包含し得る。各画素群の明度は、色成分画素の明度の重み付け総和として形成され得る。代替案として、各画素群の明度は、１つの色成分画素の明度として形成され得る。各画素群の明度は、色成分画素の１つの緑の明度として形成され得る。

画素明度パターンが、第１の予め決定されたパターンと実質的に適合しない場合に、第２のフィルタが適用されて、少なくとも１つの画素群の第２の処理済の明度を導き出し得る。第２のフィルタは、単向性フィルタであり得る。

画素明度パターンが、第１の予め決定されたパターンと実質的に適合しない場合に、少なくとも１つの画素群の明度を導き出すフィルタが適用されなくてもよい。

方法は、複数の集合のそれぞれについて、第２の予め決定されたパターンと部分集合の画素群の明度パターンを比較すること、および画素明度パターンが第２の予め決定されたパターンと実質的に適合する場合に、部分集合の少なくとも１つの画素群の第３の処理済の明度パターンを適用することを包含し得る。

各部分集合の画素は、連続し得、かつ１次元に実質的に伸び得る。

各部分集合の画素は、連続する２次元の配列を包含し得る。

比較する工程は、各画素群データの受信に続いて繰り返され得る。

方法は、表示装置に供給する処理済の集合を交互配置することを包含し得る。

本発明の第３の特徴によれば、複数の集合のそれぞれが画像または画像の連続のそれぞれの画素明度を表し、画像画素データの当該複数の集合を受信すること；ならびに少なくとも１つの集合のぞれぞれの各画素に対して、同じ集合の少なくとも１つの省かれた隣接する画素の非存在を補填する補正を適用することによって、画素データの上記集合を処理することを包含する、マルチビュー表示装置による表示用の画像データを処理する方法を提供される。

少なくとも１つの省かれた隣接する画素は、連続する交互配置する工程の間に省かれ得る。

方法は、表示装置に供給する処理済の集合に対して交互配置する工程を実施することを包含し得る。

少なくとも１つの集合は、集合のすべてを包含し得る。

画素は、２値画像の階調を表し得る。

画素は、色成分の明度を表し得、かつ少なくとも１つの省かれた隣接する画素は、画素として同じ色成分に属し得る。

補正は、画素データおよび少なくとも１つの隣接する画素データの一次結合を表すデータに、画素データを置き換えることを包含し得る。一次結合は、画素データおよび複数の隣接する画素データの規定化された重み付け総和と；省かれた隣接する画素データを省く隣接する画素データの重み付け総和との間における、規定化された差を包含し得る。規定化された総和の重み付けは、すくなくとも１つのガウス関数に実質的に従い得る。少なくとも１つの関数は、処理済の画素について回転対称的である関数を包含し得る。代替案として、少なくとも１つの上記関数が、第１の偏差を有する横軸のガウスの関数、および第１の偏差とは異なる第２の偏差を有する縦軸のガウスの関数を包含し得る。第１の偏差は、第２の偏差よりも小さくあり得る。重み付けが、上記ガウスの関数または上記ガウスの関数のそれぞれに対して、整数近似であり得る。

表示装置が配置されて、画像または画像の連続を同時に表示し得る。

表示装置は、交互配置画像表示装置であり得る。

表示装置は、画像表示装置および視差光学素子を包含し得る。

集合は、連続するデータストリームのそれぞれを包含し得る。

本発明の第４の特徴によれば、本発明の第１または第２または第３の特徴に係る方法を実施するために配置される装置を提供される。

このようにして、本明細書の前段に記載されている好ましくない色の人為的な影響が、除去されるか、または閲覧者に知覚できなくさせることを可能にする技術を提供することが、可能である。表示画像における鮮明さが、公知の画像フィルタリング技術と比較して向上され得る。処理手段は、画像処理のより複雑な公知の技術を用いるよりも、少なく要求される。例えば、特定の処理が、特定用途向け集積回路（ＡＳＩＣ）においてか、またはフィールドプログラム可能ゲートアレイ（ＦＰＧＡ）において実施され得、かつより少ない“手段”が要求され得る。例えば、より少ないゲート；データバッファリンッグ用のより少なくメモリ；厳密性のより低いタイミング；より短い待ち時間；およびより低い消費電力のうちのあらゆる１つ以上を伴って、処理が実施され得る。

画像に対して適用される実際のフィルタリングが、１つ以上の画像特性の検出に依存する場合の実施形態において、向上した知覚される画質が得られ得る。例えば、画像内容にかかわりのない一般的な目的のフィルタを適用する代わりに、フィルタリングが画像内容の特性に従って選択され得る。このようにして、知覚される色の欠陥および画像の鮮明さが改善され得る。

また、交互配置過程の間に省かれる画素の損失の視覚的な影響を少なくとも部分的に補正することが可能である。

公知の種類のマルチビューディスプレイを説明する模式的な断面図である。 異なる種類の視差バリアを説明する概略図である。 車両の表示配置物を説明する模式的なブロック図である。 図３の配置物の一部をより詳細に説明する模式的なブロック図である。 ２つの画像を交換配置する、（ａ）および（ｂ）の異なる交換配置技術を説明する。 図３に示される配置物における画像処理を経るデータの流れを説明する模式的なブロック図である。 本発明の実施形態を構成する画像の横のフィルタリングを説明する図である。 異なる種類のフィルタを説明する図である。 さらなる種類のフィルタを説明する図である。 ４×１画面用の階調プロファイルの決定を説明する図である。 本発明の実施形態を構成する条件付の画素処理技術を説明するフローチャートである。 本発明の実施形態を構成するもう１つの条件付の画素処理技術を説明するフローチャートである。 本発明の実施形態を構成するさらなる条件付の画素処理技術を説明するフローチャートである。 本発明の実施形態を構成するさらなるもう１つの条件付の画素処理技術を説明するフローチャートである。 本発明の実施形態を構成するさらに他の条件付の従来の画素処理技術を説明するフローチャートである。 ３×３画面を用いた処理を説明する図である。 種々の画像特性に関する表示プロファイルを説明する図である。 ３×３表示の利用を説明する図である。 フィルタ重み付けの例を説明する図である。

図３に示される構成は、車両の計器盤に搭載され、かつ運転手および助手席の乗客によって閲覧される独立して選択可能な画像または画像の連続を提供する、マルチビュー（ｍｕｌｔｉｐｌｅ−ｖｉｅｗ（ｍｕｌｔｉｖｉｅｗ））ディスプレイ１０を構成する。このシステムは、例えば、娯楽画像を供給するＤＶＤプレーヤーを含む車内娯楽システム１１を包含する。当該画像は、車両が使用中である場合に乗客にとってのみ可視でなければないが、車両が使用中ではない場合に運転手にとって利用可能であり得る。このシステムは、ナビゲーション画像を供給する衛星ナビゲーションシステム１２を備える。当該画像は、車両が使用中である場合に運転手にとって利用可能であることを一般的に求められ、かつ乗客がそれらの閲覧を望む場合にいつでも乗客によって閲覧され得る。

娯楽システム１１からの、および衛星ナビゲーションシステム１２からの画像は、後述されるフィルタリング処理を実施する画像処理ユニット１３に供給される。また、ユニット１３は、異なる閲覧者によって同時に閲覧される２つの画像に関するデータを、表示の前に画像処理を完了するように交互配置する（インターレースさせる）。それから、処理済のデータは、マルチビューディスプレイ１０内にある表示装置（例えば、液晶装置）に対して適切な信号を順次供給するドライバ電子機器１４に供給される。また、表示装置１０は、本実施形態においてスリットまたは開口の格子縞模様を有する視差バリアを含む。しかし、あらゆる好適なスリットパターン（例えば、連続する垂直のスリット）が使用可能であり、かつ他の視差光学素子（例えば、レンチキュラースクリーン）が使用可能である。

図４は、画像処理ユニット１３内において実施される基本的な処理工程を模式的に説明する。ｘ人の閲覧者によって同時に閲覧されるｘの画像に関する処理が説明されている。各画像に関する入力データは、より詳細に後述されているように、それぞれの処理工程１５_１、１５_２・・・１５_ｘにおいて個々に処理される。それから、個々に処理される画像に関するデータは、表示装置による表示用に要求される形式にデータをフォーマットするデータフォーマッティング工程１６に供給される。特に、工程１６は、個々の画像が、表示装置において交互配置された色成分画素として表示されるように、交互配置または交錯を実施する。

図５は、２つの画像に関する画像データを交互配置する２つの例を説明するが、これ以外にもあらゆる好適な種類の交互配置が使用され得る。（ａ）に説明されている例は、画像“表示１”および“表示２”のそれぞれが、各画像における交互に並ぶ色成分画素が無視されるように、工程１５_１および１５_２において処理されている。従って、各画像は、元の半分の水平空間解像度で表示される。

図５の（ｂ）に示されている交互配置技術においては、画像は、元の画像の半分にまで水平解像度を低下させるように処理される。それから、処理された画像データは、表示装置による表示にとって正しい順番に組み合わせられる。

入力の数は、変化し得る。より少ない入力は、閲覧者のすべてが同時に同じ画像を見る場合である。逆に言えば、上限は、表示装置が同時に表示できる画像またはビューの最大数によって決定される。画像データを交互配置する前における画像の処理は、好ましくない可視の人為的な影響（例えば、好ましくない色の人為的な影響）を低減または除去する一方、最高の画像の鮮明さを可能にする。

図６は、画像処理を経るデータの流れを説明する。各ビューに関する画像データが、ステップ２０において、複合色画素群に関する画像データを表すワードのそれぞれを用いた典型的なシリアルデータワード形式にて供給される。それから、ステップ２１において、赤、緑および青の色成分データそれぞれを包含するＮ個の複合色画素のバッファリングがもたらされる。

バッファリングにおいて要求される画素の数Ｎは、連続処理が実施されるために十分でなければならない。後述する最も簡単なフィルタリングを可能にするためには、１つの画素をバッファすれば十分であるが、後述するフィルタリングの他の例は、２つ以上の複合色画素群の十分なバッファリングを要求する。それから、最新の、およびバッファされている複合色画素群は、１つの複合色画素群に関する処理済のデータを提供するために、ステップ２２において処理され、かつ処理済の画素データはステップ２３にて出力される。そのデータは、例えば、要求に従って表示装置のリフレッシュによって、ステップ２４において表示される。

本発明の一連の実施形態において、画素処理ステップ２２は、入力画像の画素データに対するフィルタリングの適用を含むものであり、かつ図７は、適用されるフィルタリングの種類を説明するものである。これらの実施形態においては、同じフィルタが画素のすべてに対して適用され、かつ当該同じフィルタは単向性フィルタ型に属する。従って、各画素に関する処理済の値は、処理される画素の入力値と、および処理される画素の片側において直線を形成する１つ以上の隣接する画素の入力値との関数（例えば、一次結合）となる。図７は、画素Ｐ_ｎが受信されている場合に画素Ｐ_ｎ−１のそれぞれに対して適用される、やや一般的な種類の“１次元水平”フィルタを示すものである。水平に隣接する画素の値がｐ_ｎ−２、ｐ_ｎ−１およびｐ_ｎによって表されるとすれば、そのとき、画素ｐ_ｎ−１の処理済の値は、
ｆ（ｐ_ｎ−１）＝（１／Ｓ）（（Ａ．ｐ_ｎ−２）＋（Ｂ．ｐ_ｎ−１）＋（Ｃ．ｐ_ｎ））
（ここで、Ａ、ＢおよびＣは、フィルタ係数であり、かつ一般的に定数であり、Ｓは、処理済の画素値の規定化を実施し、かつ一般的に（Ａ＋Ｂ＋Ｃ）に等しい）
によって与えられる。

画素値ｐ_ｉが、単一の単色の画素か、または黒および白の画素に関する場合には、３つの隣接する画素に関する画素値が処理される。しかし、赤、緑および青を包含する複合色画素群の場合には、フィルタは、隣接する複合画素群の色成分画素値に対して、順次適用される。

図７は、係数Ａ、ＢおよびＣが、Ｓが２に等しくなるように０、１および１を有する単向性フィルタの例を示す。フィルタは、画素値１、０．５および０に対して適用され、画素ｐ_ｎ−１の処理済の値は０．２５となっている。

同じフィルタが、隣接する複合色画素群の色成分のそれぞれに対して使用され得るが、これは必須ではなく、異なるフィルタが異なる色成分画素に適用され得る。図７に示されるフィルタの例は、画素ｐ_ｎ−１に関する処理済の画素データがその画素およびそれの右にある画素の関数であるように“先導する”係数Ａがゼロに設定されるので、単向性である。フィルタの他の例は、図８に示される。２５、２６および２７に示されているフィルタは、単向性フィルタである一方において、２８に説明されているフィルタは、処理済の値が、その画素および水平に向かってすぐ隣にある両側の画素の未処理の値から得られるような、非単向性フィルタである。

多くの適用に関して、比較的単純な単向性フィルタが画像データに対して適用可能であり、かつ前述された種類の色の人工的な影響の可視性を除去するか、または低減することの実質的な改善を達成することが見出されている。さらに、当該フィルタは、処理済の画像が比較的鮮明さを維持するように、比較的少ないぼかしを提供する。当該フィルタは、比較的すくない画素バッファリングおよび処理手段を要求し、かつそれ故に複雑性および費用の点の不利益を最小として容易に導入され得る。

本発明の他の一連の実施形態において、処理される画像における１つ以上の特性を特定すること、および特定された特性に従って異なるフィルタを適用することによって、向上された性能が達成される。画像の特性は、現在の画素および１つ以上の隣接する画素の周辺にある画面（window）を形成する近隣の画素の間における、階調差を測定することによって特定され得る。例えば、最も単純な場合においては、２つの画素幅および１つの画素高さを有する２×１画面であり得る。画面における画素間の階調差が算出され、かつ階調差が“高い”または“低い”であるか否かを決定するための１つ以上の閾値を用いて比較される。単一の閾値が使用され得、かつ階調差は、閾値を上回っているか下回っているか否かに依存して、高いか、または低いとして分類され得る。あるいは、第１の閾値を越えた場合に階調差が高いとして分類され、第１の閾値よりも低い第２の閾値より小さい場合に低いと分類されるように、異なる閾値が使用されてもよい。上記分類は、フィルタリングが現在の画素に対して適用されるか、または２つの可能なフィルタが適用されるか否かを決定するために使用され得る。例えば、階調差が高いと分類される場合に前述した種類の単向性フィルタが適用され、階調差が低いと分類される場合にフィルタが適用されないようにしてもよい。当該技術は、フィルタリングが必要であるかまたは好ましい場合にのみ適用されるように、フィルタリングが特定の端部または直線の一端に対して適用されることを可能にする。この状況において、かつ本明細書の全体に渡って、“差”という用語は、差の絶対値または“大きさ”を指す。

隣接する画素間における階調の変化に基づいて単純にフィルタを適用することによっては、不正確に処理され得る画像特性がある。そのような特性の例は、２つの画素幅を有する直線である。当該直線は、単向性フィルタがそれに対して適用される場合に、色の人為的な影響を被る。この種の特性を検出することによって、他の場合に適用される例えば単向性フィルタの代わりに、特別なフィルタが適用されてもよい。

検出されるべきである画像特性の他の例は、１つの画素幅を有する直線である。

４×１画面を用いることによって、２つの画素幅の直線といった特性は、適切な“条件付フィルタリング”が適用されるので、良好な信頼性を有して検出され得る。図１０に示されるように、現在処理されている画素ｐ_ｎ−１を含む４つの水平に隣接する画素は、すぐ隣にある画素の対に関する画素値の減算を実施すること、およびそれから高い（Ｈ）または低い（Ｌ）階調差を決定するための前述の比較を実施することによって、評価される。このようにして、強度プロファイルは、それぞれの要素がＨまたはＬを含む配列として決定され得る。このとき、２つの画素幅の直線は、ＨＬＨの強度プロファイルによって表される。

図９は、フィルタリングなしの場合に対応する３０に示されるフィルタリング係数を含めて、使用される“特例”フィルタのいくつかの例を示す。特定の特性に対応する強度プロファイルパターンについて試験することによって、現在の画素に対してフィルタを適用すべきか否かについて、かつ適用すべき場合には利用可能な複数のフィルタが適用されるべきであるかについて、選択がなされ得る。

図１１は、４×１画面に基づく、現在の画素ｐ_ｎに対する条件付の処理の例を説明する。次の画素ｐ_ｎ＋１が受信される場合に、異なるプロファイルがステップ３１において決定され、かつステップ３２では、これが２つの画素幅を示すＨＬＨパターンに適合するか否かを決定する。適合しない場合には、ステップ３３において、そのとき現在の画素に対して単向性フィルタを適用し、かつ処理済の画素値または一連の値がステップ３４にて出力される。これとは逆に、適合が見られる場合には、ステップ３５および３４にて、特例フィルタが適用され、かつ結果として生じる処理済のデータが出力される。この特別の例において、２つの画素幅の直線が特定されると、単向性フィルタは左側のエッジに対してすでに適用されており、特例フィルタが直線の右側のエッジに対して適用される。このようにして、知覚される画像に対する好ましくない色の人為的な影響の追加または生成を回避することが可能である。

図１２に説明されている条件付処理は、特例フィルタが２つの画素幅の直線の左側のエッジに対して適用されることを除いて、図１１に説明されている処理と同様である。そして、単向性フィルタは、直線の右側のエッジに対して適用される。

図１３は、特例フィルタが上記特性の右側のエッジの後の画素に対して適用されるような、条件付の処理を説明する。階調プロファイルは、ステップ３１において判断され、かつステップ３６では、特別のフラッグが立っているか否かを判断する。フラッグが立っていない場合には、ステップ３２にて、階調プロファイルがＨＬＨのパターンと適合するか否かを判断する。適合しない場合には、ステップ３３において、単向性フィルタが画素ｐ_ｎ−１に対して適用される。そうでなければ、ステップ３７にてフィルタが画素ｐ_ｎに対して適用されないが、特別フラッグがステップ３８において立てられる。

ステップ３６にて特別なフラッグが立てられていることと判断された場合に、特例フィルタがステップ３９において画素ｐ_ｎに対して適用される。それから、特例フラッグは、ステップ４０において消去される。このようにして、２つの画素幅の直線が特定される場合に、単向性フィルタが左側のエッジに対して適用され、直線自身に対してフィルタが適用されず、かつ特例フィルタが、右側のエッジの後における画素に対して適用される。

図１４は、特定される特性の周囲において処理が生じないような、条件付の処理を説明する。処理される現在の画素は、４×１画面の左側の末端にある。

階調プロファイルを判断した後に、ステップ４１では、カウンタ値Ｉがゼロと等しいか否かを判断する。カウンタ値Ｉがゼロと等しくない場合には、ステップ４３では、現在の画素に対してフィルタを適用せず、かつステップ４４では、カウンタ値を１だけ引き下げる。ステップ４１でカウンタ値Ｉがゼロと等しいと判断された場合には、ステップ３２において階調プロファイルが２ビット幅の直線を表すＨＬＨのパターンに適合するか否かを判断する。階調プロファイルがＨＬＨのパターンに適合する場合には、ステップ３７では、フィルタを適用せず、かつステップ４２では、カウンタ値を２に等しく設定する。ステップ３２における適合がない場合には、単向性フィルタがステップ３３において適用される。

このようにして、ＨＬＨのパターンが階調プロファイルにおいて検出される場合には、フィルタは適用されないが、カウンタが２に設定される。次の２つの画素が処理されるときに、カウンタは、フィルタがこれらの画素のいずれかに対して適用されないように、ゼロではない値を有する。その次の画素に届いた時点では、単向性フィルタが通常のように適用されるように、カウンタはゼロに戻っている。

図１５に説明される条件付処理は、特例フィルタが２つの画素幅の直線の両側に対して適用される点について、図１４に説明される処理と異なる。従って、ステップ４１、３２、３３、２７および４２は、ステップ３７が画素ｐ_ｎに対して第１の特別なフィルタＡを適用することを除いて、図１４における対応するステップと実質的に同じである。

ステップ４１にてカウンタ値Ｉがゼロと等しくないと判断した場合に、ステップ４６では、Ｉが２と等しいか否かを決定する。Ｉが２と等しくない場合には、他の特別なフィルタＢがステップ４８において画素ｐ_ｎに対して適用される。Ｉが２と等しい場合には、ステップ４７において画素ｐ_ｎに対してフィルタが適用されない。いずれの場合においても、ステップ４４では、カウンタ値を１だけ引き下げる。このようにして、特別なフィルタＡは、２つの画素幅の直線の左側のエッジに対して適用され、特別なフィルタＢは、当該直線の右側のエッジに対して適用され、直線自身に対してはフィルタが適用されず、かつ単向性フィルタは他の場所に対して適用される。

例えば、異なる処理を要求する他の画像特性を検出できるように、他の画面サイズが現在の画素の周囲に適用されてもよい。テスト画面は、水平方向ではなく垂直方向に伸ばされても良く、あるいは、水平方向および垂直方向に伸ばされても良い。そのような画面サイズの例として、２×１、１×２、２×２および３×３のサイズが使用できる。３画素幅および３画素高さである“正方形の”画面の例は、画面の中央の位置に現在の画素を配置するものとして、図１６に示されている。

この例における階調差プロファイルは、現在の画素と周囲の画素のそれぞれとの間における階調差を比較することによって評価される。見本の画素値による当該プロファイルの特別な例は、図１６に説明されている。結果として生じるプロファイルは、特別な画像特性の存在を判断するためのプロファイルのセットと比較される。そのようなプロファイルのセットの例は、図１７に示されている。値ＨおよびＬは前述された通りであるが、値Ｉはあらゆる画素に対して割り当てられ、ここで、その値は、画像特性に関するテストに対して無関係である。このようにして、（ａ）および（ｂ）に示されるパターンは、斜線であると特定することができ、（ｃ）および（ｄ）に示されるパターンは、横線の末端部であると特定することがき、かつ（ｅ）および（ｆ）に示されるパターンは、縦線の末端部であると特定することができる。

すでに述べたように、フィルタは、各画素に対する重み付け、結果の合計および規定化を適用することによって、画面における画素に対して適用され得る。これは、図１８の上部に説明されており、かつ具体例が、画面におけるフィルタ要素および画素の実際の値について、下部に説明されている。異なるフィルタは、画像処理の向上された品質を提供するために、各テストパターンと関連付けられ得る。当該フィルタの特定の例は、図１９に説明される。従って、図１９におけるフィルタｆは、プロファイルが図１７のｆ）に示されるテストパターンと適合する場合に適用され得、フィルタｅは、テストパターンｅ）に対して適用され得、フィルタｃは、テストパターンｃ）に対して適用され得、および図１９左下のフィルタは、残りのテストパターンａ）、ｂ）およびｃ）に対して適用され得る。

これらのテストパターンを利用するためには、画面の画素のすべてが処理される現在の画素のそれぞれについて利用可能なように、多数の画素をバッファすることが必要である。３×３画面の場合に処理が実施されるためには、２列を越える画素データがバッファされることを要求される。

以前の画素処理からのいくつかの結果を記憶することによって、各画素を処理するために実施されるべきである計算の回数を減らすことができる。例えば、各対の画素間における階調差は現在の画像に関して一定であるので、以前の画素対に関するＨまたはＬ値を連続利用のために記憶してもよい。４×１画面の例においては、新しい画素のそれぞれを処理する場合に、１つの画素の差の計算のみが要求されるように、最も新しい２つの結果が記憶され得る。３×３画面の場合においては、４つの結果が各画素について記憶され得る。それから、４つの新しい結果が、８つの結果を計算する代わりに、処理される新しい画素のそれぞれについて計算されなければならない。このようにして、以前の結果を記憶することによって、メモリにおける要求は増加するが、処理に対する要求は減少する。

前述したように、異なる２つの閾値が、階調差のＨおよびＬ値を決定するために使用され得る。例えば、０から１の比較範囲に対して、高い閾値は０．３であり得る一方、低い閾値は０．１であり得る。

前述した階調差の閾値テストは、複合色画素群のそれぞれが異なる色成分画素（例えば、赤、緑および青）を包含する色表示に関して、種々の方法において実施され得る。１つの例においては、赤、緑および青のデータは、フルカラー画素群の間における比較を実施する前に、標準的な重み付けを用いて単一の階調値に変換される。他の例においては、赤、緑および青の値は、赤、緑および青について階調に変換される場合に用いられる数量化関連によって重み付けされた閾値と別々に比較される。さらなる例においては、赤、緑および青のデータは、例えば、結果として生じる階調が比較された後に、２の累乗による乗算または除算を採用するハードウェアによる実行に好適な重み付けを用いて、単一の階調値に変換され得る。さらに他の例においては、単一の色成分が、フルカラー画素の階調を表すために使用され得る。例えば、緑色成分は、緑が一般的に主要な色成分であり、フルカラー色画素群の階調等価物に最も大きな貢献をもたらすので、階調を表すために使用され得る。

他の好ましくない視覚的な人為的な影響は、交互配置過程のために、いくつかの種類のマルチビューディスプレイにおいて生じる。特に、各画素の知覚される明度は、隣接する画素の明度によって影響される。

異なる画像または画像の連続に関する画素データが表示装置における表示に関して交互配置される場合に、各画素は、処理および交互配置の前における元の画像よりも少ない可視サブピクセルによって取り囲まれる。この影響に対して何ら補正をしなければ、画素は、人間の観察者にとって目的とされるものとは異なるように見える。この影響を解消するか低減するために、各画素に対して補正が以下のように適用される。

画素の見え方は、元の画像において隣接するかまたは囲まれる画素の見え方によって影響され、かつ人間の観察者によって知覚される画素の見え方は、当該画素およびその近隣の重み付けされた寄与を合計することによって決定される。表示が単色の画像か、または黒および白の画像を提供する場合には、画面内の画素のすべては、重み付けの総和に寄与する。フルカラー表示または異なる色成分画素の色複合画素群を含む類似の表示の場合には、同じ色のサブピクセルのみが、画面内にあると見做される。

典型的な例において、横３列および縦３列の画面は、処理される画素を中心にされる。例えば、複合色画素群の各色成分は、順次処理され、かつ赤色成分画素Ｖ_ｘｙについて、８つのすぐ隣の赤色成分画素が画面内にある。画素Ｖ_ｘｙの実際の見かけまたは明度Ｖ_ｒは、以下のような重み付け総和の形態：

（ここで、処理される画素の寄与は、重み付けｗ_３によって重み付けされ、縦に隣接する画素Ｖ_{ｘ，ｙ−１}およびＶ_{ｘ，ｙ＋１}の寄与は、重み付けｗ_２ａによって重み付けされ、横に隣接する画素Ｖ_{ｘ−１，ｙ}およびＶ_{ｘ＋１，ｙ}は、重み付けｗ_２ｂを用いて重み付けされ、斜めに隣接する画素Ｖ_{ｘ−１，ｙ−１}、Ｖ_{ｘ＋１，ｙ−１}、Ｖ_{ｘ−１，ｙ＋１}およびＶ_{ｘ＋１、ｙ＋１}は、重み付けｗ_１を用いて重み付けされ、括弧内の寄与は、一次結合または重み付け総和を形成するために合計され、かつ画像における画素の相対位置は、括弧内に説明されている通りである）
において、画面内にある画素の寄与の一次結合によって得られる。

表示装置において空間的に多重化される複合画像を形成するための画像の交互配置処理の後に、画素のいくつかは、例えば、視差要素（例えば、視差光学素子（例えば、視差バリア）における開口）のパターンに対応するパターンにおいて、画面から省かれる。例えば、図２の（ｂ）に示される格子模様のバリアの種類が使用される場合において、横および縦に隣接する画素は、交互配置過程において省かれ、かつこのため、マルチビュー表示が人間の観察者によって閲覧される場合に画素Ｖ_ｘ，ｙの見かけに寄与しない。その代わりに、マルチビュー表示装置における画素を観察するものにとって画素Ｖ_ｘ，ｙの見かけＶ_ｐが、

（ここで、Ｗ＝（４ｗ_１＋２＊ｗ_２ａ＋２＊ｗ_２ｂ＋ｗ_３）／（４＊ｗ_１＋ｗ_３））
によって示される。画素が目的とするように見えるために、そのデータまたは値は、知覚される見かけＶ_ｒを示すように、新しい値Ｖ’_ｘ，ｙに補正される。それから、補正された値は、以下の方程式：

から求められる。

この方程式は、処理される画素に関する補正された明度または階調を示すように、Ｖ’_ｘ，ｙについて解かれて、

を与える。交互配置（本明細書の前段に記載されるさらなる処理を伴うか、または伴わない）の前に元の画像の各画素に対してこれを適用することによって、交互配置処理によって省かれる画素を補償することが可能である。これらの画素は、他の画像または画像の連続に対応する画素によって置き換えられるが、このような他の画素は、視差光学素子によって被われ、かつこのため、処理される画素の見かけに寄与しない。

重み付けｗ_１、ｗ_２ａ、ｗ_２ｂおよびｗ_３は、“欠落”画素に関して適切な補正または補償を提供するように、選ばれる。典型低な例において、重み付けは、処理される画素からの表示装置における隔たりのガウス関数に従って選ばれる。例えば、重み付けは、以下の値：
ｗ_１＝０．０２４０、ｗ_２ａ＝ｗ_２ｂ＝０．１０７０、ｗ_３＝０．４７５９
を有し得る。

これらの重み付けは、表示装置における画素の横および縦の均等な空間配置に関して、処理される画素を中心にした回転対称的なガウス関数にとって適切である。

これらの重み付けは、良好な品質を提供するために求められているが、処理は、複合化演算を必要とし、かつハードウェアに関して比較的高価である。許容範囲にある結果は、実施される桁移動演算、加算演算および減算演算のみを必要とする、ガウス関数に近似するような、重み付けの整数値を選ぶことによって達成され得る。好適な整数重み付けの例は、以下の通りである：
ｗ_１＝１、ｗ_２ａ＝ｗ_２ｂ＝２、ｗ_３＝４。

ガウス関数に対する整数近似の他の例において、異なる標準偏差の縦軸および横軸のガウス関数が、使用され得る。好適な整数値重み付け化の例は、以下の通りである：
ｗ_１＝１、ｗ_２ａ＝８、ｗ_２ｂ＝２、ｗ_３＝１６。

この場合において、横軸のガウス関数の標準偏差は、縦軸のガウス関数の標準偏差よりも小さい。これは、２つの直交軸において提供されるべきである、視覚的な人為的な影響の平滑化および補正の間における異なる妥協を可能にする。この平滑化および補正は、水平方向よりも垂直方向における解像度に対してより過敏にさせる人間の目の性向を利用する。

上述の処理は、Ｖ_ｐおよびＶ_ｒの値の無関係なすべての画素に関して、実施され得る。あるいは、上記処理は、Ｖ_ｐおよびＶ_ｒの値に依存し得る。例えば、Ｖ_ｐおよびＶ_ｒの間における差の絶対値｜Ｖ_ｐ−Ｖ_ｒ｜が、予め決定された閾値よりも大きい場合に、処理済の値が使用され得る一方において、そうではない場合に、未処理の値が使用され得る。

前述した技術は、処理方法を実施するためのプログラム可能なデータ処理装置を制御するために使用される、ソフトウェアにおいて実施され得る。代替可能に、処理は、例えば、表示装置に供給されるような画像データストリームの処理用の、ハードウェアにおいて実施され得る。

マルチビューディスプレイの利用の他の例は、公開閲覧モードにおいてか、または個人閲覧モードにおいて操作され得るディスプレイを提供することである。公開閲覧モードにおいて、ディスプレイは、例えば、ディスプレイが種々の閲覧者によって同時に閲覧され得るように、比較的に広い範囲の閲覧範囲の全体に同じ画像または画像の連続を表示することを求められる。しかし、個人閲覧モードに切り替えられた場合に、目的とする閲覧者にとっての閲覧範囲は、表示される画像または画像の連続が他の誰によっても閲覧され得ないように、比較的に狭くされる。前述したマルチビューディスプレイは、この目的に使用され得る。

公開モードにおいて、同じ画像または画像の連続は、広い閲覧範囲を提供できるように画素のすべてに表示される。本明細書の前段に記載されている処理技術は、閲覧者のすべてによって知覚される画質を向上させるように、適用される。

個人モードにおいて、２つ以上の異なる画像が表示される。個人画像は、例えば許可された閲覧者によって、比較的に狭い閲覧範囲において閲覧可能なように、画素の集合の１つによって表示される。画素の他の集合または複数の集合は、異なる範囲の表示を提供する。例えば、画素の他の集合または複数の集合は、許可されていない閲覧者に知覚できないように、個人の画像または画像の連続を隠すことを助ける黒い画像または暗いパターンを表示し得る。しかし、絵、文章または単色もしくは単一の明度の画像といった他の画像が、表示され得る。

英国特許公開公報第２４２８１０１号明細書には、原始画像（主要な画像）に対して高頻度の変化（２次的な画像）を加えることによって、ＬＣＤディスプレイにプライバシー効果をもたらす技術が開示されている。２次的な画像は、主要な画像に対して加えられた予防（ｖａｃｃｉｎａｔｉｏｎ）を調整するために使用されて、プライバシー効果を達成する。例えば、変化は、他の種類のディスプレイにおける視差バリアによってもたらされる、規則正しい格子模様と類似であり得る。画像に対して加えられる変化は、他のマルチビューディスプレイにおいて見られるような、例えば本明細書の前段に記載されているような、色の人為的な影響と同様のものを作り出し得る。本明細書の前段に記載されているような技術を用いて主要な画像を処理することによって、色の人為的な影響は、実質的に補正され得る。

Claims (43)

1. 複数の集合のそれぞれが各画像または画像の連続のそれぞれの画素明度を表すような、画像画素データの当該複数の集合を受信すること、ならびに、
   少なくとも１つの集合のそれぞれの画素データに対して単向性フィルタを適用することによって、画素データの上記集合を処理することを含むマルチビュー表示装置による表示用の画像データの処理方法。
2. 上記集合のすべてが、交互配置の前にそれぞれの単向性フィルタによって処理される請求項１に記載の方法。
3. 上記単向性フィルタが、同種のものである請求項２に記載の方法。
4. 各集合が、複合色成分画素群を包含し、かつ上記フィルタまたは上記フィルタのそれぞれが、隣接する複合画素群に対して作用する請求項１から３のいずれか１項に記載の方法。
5. 上記フィルタまたは上記フィルタのそれぞれが、隣接する複合画素群の同じ色成分の画素データに対して作用する請求項４に記載の方法。
6. 上記フィルタまたは上記フィルタのそれぞれが、未処理の画素データおよび少なくとも１つの隣接する画素データの一次結合として、処理済の画素データのそれぞれを形成する請求項１から５のいずれか１項に記載の方法。
7. 上記少なくとも１つの隣接する画素データが、１つの隣接する画素データである請求項６に記載の方法。
8. 上記一次結合が、正規化された一次結合である請求項６または７に記載の方法。
9. 上記少なくとも１つの隣接する画素データが、少なくとも１つの水平方向に隣接する画素を表す請求項６から８のいずれか１項に記載の方法。
10. 上記フィルタまたは上記フィルタのそれぞれが、リアルタイムで作用する請求項１から９のいずれか１項に記載の方法。
11. 複数の集合のそれぞれが画像または画像の連続のそれぞれの画素明度を表すような、画像画素データからなる当該複数の集合を受信すること、
    各部分集合が同数の画素群の明度を表し、かつ各画素群が少なくとも１つの画素を包含し、少なくとも１つの上記集合の複数の当該部分集合のそれぞれについて、第１の予め決められたパターンと上記部分集合の画素群の明度パターンを比較することによって、画素データの上記集合を処理すること、ならびに、
    上記画素明度パターンが、第１の予め決められたパターンと実質的に適合する場合に、第１のフィルタを適用して、上記部分集合の少なくとも１つの画素群の第１の処理済の明度を導き出すことを包含するマルチビュー表示装置による表示用の画像処理方法。
12. 上記比較するステップが、各部分集合のすぐ隣り合う画素群の明度の間における差を形成することを包含する請求項１１に記載の方法。
13. 上記比較するステップが、少なくとも１つの閾値を用いて上記差を比較することをさらに包含する請求項１２に記載の方法。
14. 画素群のそれぞれが、複数の色成分画素からなる複合色画素群を包含する請求項１１から１３のいずれか１項に記載の方法。
15. 画素群のそれぞれの上記明度が、上記複数の色成分画素の上記明度の重み付け総和として形成されている請求項１４に記載の方法。
16. 画素群のそれぞれの上記明度が、上記複数の色成分画素の１つの明度として形成されている請求項１４に記載の方法。
17. 画素群のそれぞれの上記明度が、上記複数の色成分画素の１つの緑画素の明度として形成されている請求項１６に記載の方法。
18. 上記画素明度パターンが上記第１の予め決められたパターンと実質的に適合しない場合に、第２のフィルタが適用されて、少なくとも１つの画素群の第２の処理済の明度を導き出す請求項１１から１７のいずれか１項に記載の方法。
19. 上記第２のフィルタが、単向性フィルタである請求項１８に記載の方法。
20. 上記画素明度パターンが上記第１の予め決められたパターンと実質的に適合しない場合に、少なくとも１つの上記画素群の明度を導き出すフィルタが適用されない請求項１１から１７のいずれか１項に記載の方法。
21. 上記複数の部分集合のそれぞれについて、画素群の上記明度を第２の予め決められたパターンと比較すること、および上記画素明度パターンが上記第２の予め決められたパターンと実質的に適合しない場合に、第３のフィルタを適用して、上記部分集合の少なくとも１つの画素群の第３の処理済の明度を導き出すことを包含する請求項１１から２０のいずれか１項に記載の方法。
22. 各部分集合の上記画素が、連続しており、かつ１次元に実質的に伸びている請求項１１から２１のいずれか１項に記載の方法。
23. 各部分集合の上記画素が、連続する２次元の配列を包含する請求項１１から２１のいずれか１項に記載の方法。
24. 上記比較するステップが、各画素群データ受信に続いて繰り返される請求項１１から２３のいずれか１項に記載の方法。
25. 表示装置に供給する処理済の集合を交互配置することを包含する請求項１から２４のいずれか１項に記載の方法。
26. 複数の集合のそれぞれが画像または画像の連続のそれぞれの画素明度を表し、画像画素データからなる当該複数の集合を受信すること、ならびに、
    少なくとも１つの集合のぞれぞれの各画素に対して、同じ集合の少なくとも１つの省かれた隣接する画素の非存在を補填する補正を適用することによって、画素データの上記集合を処理することを包含するマルチビュー表示装置による表示用の画像データの処理方法。
27. 少なくとも１つの省かれた隣接する画素は、連続する交互配置するステップの間に省かれる請求項２６に記載の方法。
28. 表示装置に供給する処理済の集合に対して上記交互配置するステップを実施することを包含する請求項２７に記載の方法。
29. 上記少なくとも１つの集合が、集合のすべてを包含する請求項２６または２８のいずれか１項に記載の方法。
30. 上記画素が、２値画像の階調を表す請求項２６から２９のいずれか１項に記載の方法。
31. 上記画素が、色成分の明度を表し、かつ上記少なくとも１つの省かれた隣接する画素が、画素として同じ色成分に属する請求項２６から２９のいずれか１項に記載の方法。
32. 上記補正が、上記画素データおよび少なくとも１つの隣接する画素データの一次結合を表すデータに、上記画素データを置き換えることを包含する請求項２６から３１のいずれか１項に記載の方法。
33. 上記一次結合が、画素データおよび複数の隣接する画素データの規定化された重み付け総和と、省かれた隣接する画素データを省く隣接する画素データの重み付け総和との間における、規定化された差を包含する請求項３２に記載の方法。
34. 規定化された総和の重み付けが、少なくとも１つのガウス関数に実質的に従う請求項３３に記載の方法。
35. 少なくとも１つの上記関数が、処理済の画素について回転対称的である関数を包含する請求項３４に記載の方法。
36. 少なくとも１つの上記関数が、第１の偏差を有する横軸のガウスの関数、および第１の偏差とは異なる第２の偏差を有する縦軸のガウスの関数を包含する請求項３４に記載の方法。
37. 第１の偏差が、第２の偏差よりも小さい請求項３６に記載の方法。
38. 重み付けが、上記ガウス関数または上記ガウス関数のそれぞれに対して、整数近似である請求項３４から３７のいずれか１項に記載の方法。
39. 上記表示装置が、画像または画像の連続を同時に表示するように配置されている請求項１から３８のいずれか１項に記載の方法。
40. 上記表示装置が、交互配置画像表示装置である請求項１から３９のいずれか１項に記載の方法。
41. 上記表示装置が、画像表示装置および視差光学素子を包含する請求項１から４０のいずれか１項に記載の方法。
42. 上記集合が、連続するデータストリームを包含する請求項１から４１のいずれか１項に記載の方法。
43. 請求項１から４２に記載の方法を実施するために配置される装置。

Images